InfoQ 中文·· 7 小时前AI 评估 · 53/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
arXiv 论文提出 CNF-MCE 分词框架，百万词表压缩率提升 67.0%
Token 压缩率飙升60%：大模型分词告别贪心合并
AI 导读
arXiv 预印版论文《Counting and Min-Cost Encoding for Tokenization in Large Language Models》提出 CNF-MCE 框架，将词表构建与文本编码分开，用直接计数加使用频率过滤构建词表，再用最小代价编码做全局最优切分。
来源：InfoQ 中文 · mp.weixin.qq.com