#tokenization

CLEAR 研究联盟发布的报告称，主流 AI 模型的分词器明显偏向英语和高资源语言，不同语言处理相同内容时的 Token 消耗差距最高达 17 倍。报告举例称，同一句话用英语需 13 个 Token，用马拉雅拉姆语需 26 个，用阿姆哈拉语则需 78 个；研究覆盖约 200 种语言。报告指出，这种“分词器税”会推高按 Token 计费场景下的使用成本，并增加响应延迟、压缩模型的有效上下文容量。