模型压缩

当机器人的"大脑"终于跟上了手：上交+百度这项突破可能改变整个行业 你有没有想过，为什么现在的机器人总是慢半拍？你给它下个指令，它要"思考"好几秒才能动一下。这不是机器人不想快，是它的"大脑"根本来不...

50%显存削减仅损失3.1%性能：这项研究重新定义了大模型推理的效率边界 大模型推理的显存焦虑，可能即将迎来一个被忽视的解法。 当所有人都在讨论如何通过量化、剪枝来压缩模型体积时，一篇来自工业界的研究...

小模型学不会的技能，大模型为何天生就会？答案藏在数据里 你是否想过，为什么GPT-4能准确写出代码、解释量子物理，而一个仅有几亿参数的小模型却总是在这些任务上“卡壳”？ 大多数人的直觉是：模型太小，装...

模型太大跑不动？聊聊大模型量化的门道 说实话，这几年大模型发展太快了，快到普通开发者都有点跟不上的感觉。我记得两年前GPT-3的1750亿参数还让人觉得遥不可及，现在国内很多团队都在训千亿级别的模型...

当AI不再需要云端：Stanford团队用OpenJarvis撕开一道口子 老实说，这几年我和很多科技圈的朋友聊起大模型，绕不开的一个词就是“焦虑”。不是技术焦虑，是数据主权焦虑、隐私焦虑、成本焦虑...