对话郑纬民院士：用超算做AI大模型训练 成本只需英伟达1/6via cnBeta全文版

在训练人工智能大模型的过程中，采购超级计算服务或存储器，也正在成为有效缓解算力焦虑的新途径。近日，中国工程院院士、清华大学计算机系教授郑纬民在与新浪科技沟通中指出，“过去训练一个大模型要投入几十亿，但如果把大模型训练拿到超算上去做，价钱只需要用到英伟达的六分之一。” 此外，郑纬民还指出了一种全新的AI推理发展新趋势——“以存换算”。他以清华大学与AI独角兽企业月之暗面共同开发的Mooncake技术框架为例，介绍了该技术基于“以存换算”思路，帮助月之暗面kimi智能助手缓解算力紧张需求的原理，从而避免服务器宕机。…