550B参数、100万token上下文,NVIDIA开源了一个”怪物级”AI Agent模型550B参数、100万token上下文,NVIDIA开源了一个"怪物级"AI Agent模型 说实话,当我第一次看到Nemotron 3 Ultra的参数规格时,我以为自己看错了——550B总参数,但...软件科技# 550B参数# AI Agent模型# AI基础设施3个月前1.7K
当模型权重不再是最大负担:KV Cache压缩技术的三国杀当模型权重不再是最大负担:KV Cache压缩技术的三国杀 说实话,每次看到大模型上下文窗口突破百万token的新闻,我都会下意识地算一笔账:这背后到底需要多少显存?答案是惊人的——对于一个70B参数...软件科技# AI推理优化# EpiCache# H100 GPU3个月前1.1K