当“更多计算”不再是答案:LoopCoder-v2重新定义测试时计算当“更多计算”不再是答案:LoopCoder-v2重新定义测试时计算 在AI领域,有一个近乎被奉为圭臬的信念:模型的输出质量与它投入的推理成本成正比。无论是OpenAI的o系列、Anthropic的C...软件科技# 7B参数模型# AI推理优化# LoopCoder-v23个月前1.1K
当模型权重不再是最大负担:KV Cache压缩技术的三国杀当模型权重不再是最大负担:KV Cache压缩技术的三国杀 说实话,每次看到大模型上下文窗口突破百万token的新闻,我都会下意识地算一笔账:这背后到底需要多少显存?答案是惊人的——对于一个70B参数...软件科技# AI推理优化# EpiCache# H100 GPU3个月前1.1K