研究人员对比发现，不同模型的 tokenizer 对非英语文本处理效率差异明显。以《苦涩的教训》一文翻译文本为例，中文在 Anthropic 模型上的 token 消耗是 OpenAI 的 1.71 倍，印地语高达 3.24 倍，阿拉伯语为 2.86 倍。
后续测试更多模型-语言对表明，Gemini 和 Qwen 的非英语额外开销最小，Anthropic 最高，Kimi 次之。中国主流模型处理中文时，甚至比处理英语更节约 token。印地语尽管使用人数众多，但在此对比中 token 效率最低。
Aran Komatsuzaki(@arankomatsuzaki)(1, 2)
🌸 在花频道 · 备用频道 · 投稿通道
via 科技圈🎗在花频道📮 - Telegram Channel
