国际大厂·· 1 天前精选AI 评估 · 77/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
清华团队开源 Puro-2B 预训练方案，RTX 5090 训练成本不到 5090 美元
小团队也能预训练！普罗2B：RTX5090训练成本不到5090美元
AI 导读
清华大学陈文光、吕凯风团队推出全流程开源的 Puro-2B（普罗-2B），开源训练数据、框架、配置和模型权重，在 RTX 5090 集群上从头训练约 20 亿参数模型，最多使用 1.4 万亿 token。
推荐理由
读者可了解一套全流程开源的十亿级预训练方案，以及各环节效率收益如何叠加压低成本。
来源：国际大厂 · mp.weixin.qq.com