CNF-MCE分词框架提升压缩率67%

2026年10月14日，InfoQ中文报道，arXiv预印版论文《Counting and Min-Cost Encoding for Tokenization in Large Language Models》提出CNF-MCE分词框架。该框架将词表构建与文本编码分开：先用直接计数加使用频率过滤构建词表，再用最小代价编码做全局最优切分。报道称，在百万词表规模下，该框架使压缩率提升67.0%。目前该工作以预印版论文形式发布，后续进展有待观察。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。