当Transformer遇见粒子云:一种理解大模型的全新物理学视角当Transformer遇见粒子云:一种理解大模型的全新物理学视角 你有没有想过,当你向ChatGPT输入一句话时,那几个简单的文字在模型的“脑海”里究竟经历了什么? 我第一次读到“把Transfor...软件科技# GPT-3# Hopfield神经网络# Query Key Value3个月前917
50%显存削减仅损失3.1%性能:这项研究重新定义了大模型推理的效率边界50%显存削减仅损失3.1%性能:这项研究重新定义了大模型推理的效率边界 大模型推理的显存焦虑,可能即将迎来一个被忽视的解法。 当所有人都在讨论如何通过量化、剪枝来压缩模型体积时,一篇来自工业界的研究...软件科技# GQA# KV cache# MQA3个月前1K
当AI智能体开始”断舍离”:AdaCoM如何用上下文管理让长任务效率飙升39%当AI智能体开始"断舍离":AdaCoM如何用上下文管理让长任务效率飙升39% 被上下文淹没的智能体:AI Agent的阿喀琉斯之踵 我一直觉得,这两年AI Agent概念火得一塌糊涂,但真正用过的人...软件科技# AdaCoM# AI Agent# AI智能体3个月前987