将 600 亿参数大模型装进手机的瓶颈，终于被中国 AI 公司突破了via 爱范儿 (author: Selina)

一个 8B 参数的大模型，通常需要约 16GB 显存。参数越多，越吃显存，这就是为什么，内存价格一天比一天高。 现在，有一种方法，可以省下 6 倍显存，却几乎不损耗模型性能。 过去两年，围绕这个看似极端的思路，一条全球性的技术竞赛正在成型。而就在这条赛道上，一个完全基于国产算力的方案，刚刚给出了自己的第一个回答。 模型被压到了不到 3B，同时，能力却可以保留 97%，甚至更进一步，如果结合 MoE 架构，未来可以直接在一部 8GB 内存的手机，运行 600 亿参数的大模型。 听上去匪夷所思，怎么做到的？