跳到正文
原文
投资融资·· 3 小时前AI 评估 · 63/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

Ai2 发布 FairStress 基准,评测 LLM 决策公平性

FairStress: A deeper evaluation of fairness in LLM decision-making

AI 导读

Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、医疗、借贷等 29 个领域做人员相关决策时的群体公平性,覆盖 300 个双候选人场景,并扩展出超过 1300 万个测试用例。该基准不只比较最终选择,还加入支持不同候选人的对抗前缀,测量模型在证据充分时改变决定的难易程度。团队同时发布 5 万条子集 FairStress-Core,并已将其集成到 Olmo-eval 评测工作台。

来源:投资融资 · huggingface.co