腾讯推出 Hunyuan-Large 开源大模型：389B 总参数、52B 激活参数腾讯今日宣布推出Hunyuan-Large 大模型，官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型，拥有 3890 亿总参数（389B）和 520 亿激活参数（52B），训练token数量为7T，最大上下文长度为256K

1. 16:52 · 2024年11月5日 · 周二

   腾讯推出 Hunyuan-Large 开源大模型：389B 总参数、52B 激活参数
   
   腾讯今日宣布推出Hunyuan-Large 大模型，官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型，拥有 3890 亿总参数（389B）和 520 亿激活参数（52B），训练token数量为7T，最大上下文长度为256K。
   
   Arxiv｜GitHub｜Hugging Face｜腾讯云
   
   📮投稿☘️频道🛍新一轮双11抽奖
   
   via 科技圈🎗在花频道📮