elvis(@omarsar0)· elvis (@omarsar0)·· 3 小时前AI 评估 · 48/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
NVIDIA 论文提出 LoGRA：用 RL 更新全部权重，内存占用低于 LoRA
Recommended NVIDIA paper on memory-efficient post-training RL. A very interesting technique for sca...
AI 导读
NVIDIA 论文提出 LoGRA，一种面向 LLM 后训练 RL 的内存高效技术，可在用 RL 更新模型全部权重的同时把内存压到低于 LoRA。1.5B 模型上 LoGRA 平均训练内存 7.2 GiB，rank-256 LoRA 需 13.2 GiB，Pass @4 分别为 81.8% 和 81.4%，Pass @1 低约 2 个点。
来源：elvis(@omarsar0) · x.com