当注意力变成奢侈品:MiniMax如何让大模型”选择性失明”当注意力变成奢侈品:MiniMax如何让大模型"选择性失明" 说实话,每次看到大模型处理超长上下文时那缓慢的输出速度,我都忍不住想——Transformer的核心注意力机制,是不是从一开始就被设计错了...软件科技# GPU显存# GQA# Minimax3个月前1.2K
MiniMax M3开源:428B参数、1M上下文,国产大模型向AGI狂飙MiniMax M3开源:428B参数、1M上下文,国产大模型向AGI狂飙 当行业还在争论"小参数模型能否打赢大模型"的时候,MiniMax悄悄放了一颗"深水炸弹"。 6月13日,这家中国AI独角兽在...软件科技# 100万上下文# 428B参数# AGI3个月前1.1K
关于月之暗面融资背景的信息补充 估值300亿:月之暗面的“钞能力”背后,藏着什么? 一家成立不到三年的公司,凭什么值300亿美元? 300亿美元,约合人民币2100亿——这是什么概念?相当于一个中型城市一年的GDP,或者可以买下...软件科技# AI独角兽# Kimi# Kimi智能助手3个月前1.1K