50%显存削减仅损失3.1%性能：这项研究重新定义了大模型推理的效率边界
50%显存削减仅损失3.1%性能：这项研究重新定义了大模型推理的效率边界 大模型推理的显存焦虑，可能即将迎来一个被忽视的解法。 当所有人都在讨论如何通过量化、剪枝来压缩模型体积时，一篇来自工业界的研究...
排序
模型太大跑不动？聊聊大模型量化的门道
模型太大跑不动？聊聊大模型量化的门道 说实话，这几年大模型发展太快了，快到普通开发者都有点跟不上的感觉。我记得两年前GPT-3的1750亿参数还让人觉得遥不可及，现在国内很多团队都在训千亿级别的模型...
VoxCPM：一个让中文大模型训练「降本增效」的开源利器
VoxCPM是清华大学NLP团队（OpenBMB）开源的中文大模型训练框架，专为解决百亿参数模型训练中的显存不足、训练缓慢和成本失控三大痛点而设计。通过PyTorch FSDP参数分片技术，VoxCP...