谷歌牵头 32 位作者 154 页综述：把大模型「Token」认字机制讲明白

谷歌联合 20 多家研究机构、32 位作者发布 154 页综述，系统梳理大模型的分词（Token）机制，指出模型数不清 strawberry 里有几个 r、多位数算术出错，病根在文本进入模型前的分词环节。