19 世纪热物理学的数学如何帮助 LLM 理解句子

1822 年 Joseph Fourier 研究热传导时用正弦、余弦函数组合表示复杂温度分布，这套数学工具如今出现在现代语言模型的 Transformer 架构中。正弦、余弦函数能把位置转换为结构化数值模式，为模型提供词序信息，而模型通过训练学会利用这些信息判断词序对含义的影响。文章还介绍了注意力机制如何理解顺序以及 RoPE 的工作原理。