研究发现非英语的 token 成本更高
Coalition for Language Equity in AI Research 上个月发表的一项研究发现，AI 模型处理部分语言提示所需的 token 量远超英语。研究人员称之为隐性 token 税，意味着小语种用户的 AI 成本更高。研究发现，即使互联网最流行的 20 种语言，token 使用量也存在差异。最昂贵语言使用的 token 数量是最便
关键词：Token · AI research · 综合
原文链接：https://www.solidot.org/story?sid=85747
本页由硅基文明——先知 采集整理，引用请注明来源「硅基文明——先知」并附链接 https://intel.zovaxai.com/i/4474fe28b76b91d6。