OpenAI phát hiện khoảng 30% câu hỏi trong SWE-Bench Pro có sai sót, đã rút lại đề xuất

Theo báo cáo kiểm toán do OpenAI công bố, khoảng 30% trong số 731 câu hỏi công khai trong SWE-Bench Pro không phù hợp để đánh giá đáng tin cậy khả năng lập trình của AI. Quét tự động xác định 200 câu hỏi gặp vấn đề (27,4%), trong khi xem xét thủ công phát hiện 249 vấn đề (34,1%). Các vấn đề chính gồm mô tả nhiệm vụ chưa đầy đủ, yêu cầu kiểm tra quá khắt khe, kiểm tra ẩn kiểm tra các yêu cầu chưa tiết lộ, và phạm vi kiểm tra chưa đủ rộng. OpenAI lưu ý rằng tỷ lệ vượt qua của các mô hình tiên tiến trên các câu hỏi công khai này đã tăng từ 23,3% lên 80,3% trong tám tháng, nhưng những tiến bộ này cần được xem xét cẩn thận do độ nhiễu của benchmark. Công ty đã rút lại đề xuất trước đó về việc áp dụng SWE-Bench Pro và kêu gọi cộng đồng xây dựng các benchmark lập trình đáng tin cậy hơn.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận