Modular Manifolds：用流形约束重塑神经网络优化

Thinking Machines 发布技术博客 Modular Manifolds，探讨将神经网络各层权重矩阵约束在子流形上，并提出一种权重约束于 Stiefel 流形的 Muon 优化器流形版本。文章还定义了"模块化流形"概念，即一种可组合流形，旨在让大型网络的扩展与训练更易实现。