Andrej Karpathy(@karpathy)· Andrej Karpathy (@karpathy)·· 2026-03-26AI 评估 · 17/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
Andrej Karpathy：所有 LLM 都会过度依赖上下文信息，或与训练方式有关
(I cycle through all LLMs over time and all of them seem to do this so it's not any particular imple...
AI 导读
Andrej Karpathy 指出，他陆续使用过的所有 LLM 都表现出过度依赖上下文信息的倾向，因此这不是某个具体实现的问题，而是更深层的原因。他推测，训练时上下文窗口中大量信息与任务相关，使模型形成“优先使用给定内容”的偏好，进而在测试时对通过记忆功能 RAG 进来的内容过拟合。
来源：Andrej Karpathy(@karpathy) · x.com