Sparse Attention

当注意力变成奢侈品：MiniMax如何让大模型"选择性失明" 说实话，每次看到大模型处理超长上下文时那缓慢的输出速度，我都忍不住想——Transformer的核心注意力机制，是不是从一开始就被设计错了...