根據 OpenAI 發布的審計報告，SWE-Bench Pro 中的 731 個公開問題約有 30% 不適合用於可靠的 AI 編程評估。自動篩選發現 200 個有問題的問題（27.4%），而人工審查則發現 249 個問題（34.1%）。主要問題包括任務描述不完整、測試要求過於嚴格、隱藏測試以檢查未披露的需求，以及測試覆蓋範圍不足。OpenAI 指出，最先進模型在這些公開問題上的通過率從 23.3% 提升至 80.3%，但由於基準測試的噪聲，這樣的進展應謹慎解讀。該公司已撤回先前建議採用 SWE-Bench Pro，並呼籲社群建立更可靠的編程基準。
免責聲明：本頁面資訊可能來自第三方來源，僅供參考，不代表 Gate 的立場或觀點，亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險，請勿僅依賴本頁資訊作出決策。詳情請參閱
免責聲明。
