标签：稀疏注意力

当模型权重不再是最大负担：KV Cache压缩技术的三国杀 说实话，每次看到大模型上下文窗口突破百万token的新闻，我都会下意识地算一笔账：这背后到底需要多少...

当注意力变成奢侈品：MiniMax如何让大模型'选择性失明' 说实话，每次看到大模型处理超长上下文时那缓慢的输出速度，我都忍不住想——Transformer的核心注意力机...