模型太大跑不动?聊聊大模型量化的门道模型太大跑不动?聊聊大模型量化的门道 说实话,这几年大模型发展太快了,快到普通开发者都有点跟不上的感觉。我记得两年前GPT-3的1750亿参数还让人觉得遥不可及,现在国内很多团队都在训千亿级别的模型...软件科技# 显存优化# 权重矩阵# 模型压缩3个月前884