跳到正文
原文
Harrison Chase(@hwchase17)· Harrison Chase (@hwchase17)·· 1 天前AI 评估 · 28/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

LangSmith 评测中的 Jev 判官:轨迹标注不是单一通过/失败,而是多维打分

trajectory labeling is really several questions, not one pass/fail - nice framing here that's how J...

AI 导读

LangSmith 评测中的 Jev 判官把轨迹标注拆成多个问题,难度和正确性各自得到带类型的答案,且在一次 pass 中、对每条 trace 完成。该框架认为轨迹标注需覆盖任务难度、方案正确性、设计选择多样性和思考方向等维度,规模化标注百万级 agent 及其子 agent 的 token 成本仍待大幅降低。

来源:Harrison Chase(@hwchase17) · x.com