15:50 · 2024年12月31日 · 周二 对话郑纬民院士:用超算做AI大模型训练 成本只需英伟达1/6via cnBeta全文版 Telegraph 对话郑纬民院士:用超算做AI大模型训练 成本只需英伟达1/6 在训练人工智能大模型的过程中,采购超级计算服务或存储器,也正在成为有效缓解算力焦虑的新途径。近日,中国工程院院士、清华大学计算机系教授郑纬民在与新浪科技沟通中指出,“过去训练一个大模型要投入几十亿,但如果把大模型训练拿到超算上去做,价钱只需要用到英伟达的六分之一。” 此外,郑纬民还指出了一种全新的AI推理发展新趋势——“以存换算”。他以清华大学与AI独角兽企业月之暗面共同开发的Mooncake技术框架为例,介绍了该技术基于“以存换算”思路,帮助月之暗面kimi智能助手缓解算力紧张需求的原理,从而避免服务器宕机。…