核心模型与趋势·· 1 天前AI 评估 · 68/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
NVIDIA 与 AI4Bharat 发布 2.8 万亿 token 印度语言预训练语料及开放数据生成流程
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA 联合 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1,覆盖 22 种印度语言、约 2.8 万亿 token,其中原生文字 2601.0 亿 token、罗马化 224.6 亿 token(按 Gemma-4 tokenizer 计)。
来源:核心模型与趋势 · huggingface.co