Harrison Chase(@hwchase17)· Harrison Chase (@hwchase17)·· 1 天前AI 评估 · 22/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
Harrison Chase：eval 驱动开发适用于窄范围任务，自主智能体难以靠它爬坡
This is great point Goodharts law: when a measure becomes a target, it ceases to be a good measure ...
AI 导读
Harrison Chase 认为，Goodhart 定律下指标一旦成为目标就不再是好指标，eval 驱动开发只适用于范围狭窄的任务，对更自主的 AI 智能体并不奏效。他援引 Hunter Gerlach 的说法提出循环路径：不断创建高价值 eval，同时正视并对抗 Goodhart 定律，再回到第一步。
来源：Harrison Chase(@hwchase17) · x.com