微软发布1比特AI大模型 可在CPU运行
微软研究人员推出20亿参数的1.58比特大模型BitNet b1.58 2B4T。该模型极其轻量，非嵌入式内存占用仅400MB，因此可在CPU上高效运行，甚至能在苹果M2芯片上运行。
虽然比特数减少影响精度，但得益于4万亿Token训练，其在多项基准测试中表现优于部分同类模型。不过，实现高效运行需依赖特定的bitnet.cpp推理框架，该模型已在Hugging Face开源。
Tom's Hardware
📮投稿 ☘️频道 🌸聊天
via 科技圈🎗在花频道📮 - Telegram Channel
微软研究人员推出20亿参数的1.58比特大模型BitNet b1.58 2B4T。该模型极其轻量，非嵌入式内存占用仅400MB，因此可在CPU上高效运行，甚至能在苹果M2芯片上运行。
虽然比特数减少影响精度，但得益于4万亿Token训练，其在多项基准测试中表现优于部分同类模型。不过，实现高效运行需依赖特定的bitnet.cpp推理框架，该模型已在Hugging Face开源。
Tom's Hardware
📮投稿 ☘️频道 🌸聊天
via 科技圈🎗在花频道📮 - Telegram Channel
