如何评估长上下文问答系统

长上下文问答评估面临信息过载、位置偏差、"lost in the middle"、多跳推理与幻觉放大等挑战，评估需兼顾忠实性（答案仅依据原文、避免幻觉、正确说"不知道"）与有用性（相关、全面且简洁）。忠实性对法律合同、医疗保险表单等场景尤为关键，QASPER 等基准还评估引用准确性；Xu et al.（2023）发现领域专家更偏好既忠实又全面的长回答，而众包工作者更看重简洁。