OpenAI发布编程评测审计报告，称SWE-Bench Pro约三成题目不适合作为有效评测。该评测集原本用于测试AI agent的真实编程能力，OpenAI曾推荐其替代SWE-Bench Verified。审计显示，SWE-Bench Pro的731道公开题中，自动流程标出200道问题题目，占27.4%人工标注发现249道，占34.1%。主要问题包括题目描述不完整、测试要求过严、隐藏测试检查了额外要求，以及测试覆盖不足。OpenAI指出，这会导致模型跑分失真，前沿模型在这组公开题上的通过率在8个月内从23.3%升至80.3%。但在题目本身存在噪声的情况下，这类涨分需要更谨慎解读。OpenAI已撤回此前采用SWE-Bench Pro的建议，并呼吁社区重新构建更可信的编程评测。
OpenAI发布编程评测审计报告，称SWE-Bench Pro约三成题目有问题
生成海报
分享到:
扫码关注我们，了解最新AI资讯~
扫码关注我们，了解最新AI资讯~