OpenAI descubre que aproximadamente el 30% de las preguntas de SWE-Bench Pro son defectuosas y retira la recomendación

Según un informe de auditoría publicado por OpenAI, aproximadamente el 30% de las 731 preguntas públicas en SWE-Bench Pro son inapropiadas para una evaluación confiable de programación con IA. La revisión automatizada identificó 200 preguntas problemáticas (27,4%), mientras que la revisión manual encontró 249 problemas (34,1%). Los principales problemas incluyen descripciones incompletas de tareas, requisitos de prueba demasiado estrictos, pruebas ocultas que verifican requisitos no divulgados y cobertura insuficiente de las pruebas. OpenAI señaló que la tasa de aprobación de los modelos de última generación en estas preguntas públicas aumentó del 23,3% al 80,3% en ocho meses, pero tales avances deben interpretarse con cautela debido al ruido en el benchmark. La compañía ha retirado su recomendación previa de adoptar SWE-Bench Pro y ha llamado a la comunidad a construir benchmarks de programación más confiables.
Aviso legal: La información en esta página puede provenir de fuentes de terceros y es solo para referencia. No representa las opiniones ni puntos de vista de Gate y no constituye asesoramiento financiero, de inversión ni legal. El comercio de activos virtuales implica un alto riesgo. No te bases únicamente en la información presentada en esta página para tomar decisiones. Para más detalles, consulta el Aviso legal.
Comentar
0/400
Sin comentarios