OpenAI constate qu'environ 30 % des questions du SWE-Bench Pro sont incorrectes et retire sa recommandation.

Selon un rapport d'audit publié par OpenAI, environ 30 % des 731 questions publiques de SWE-Bench Pro sont inadaptées à une évaluation fiable de la programmation par intelligence artificielle. Le tri automatisé a identifié 200 questions problématiques (27,4 %), tandis qu'une revue manuelle a relevé 249 problèmes (34,1 %). Les principaux problèmes concernent des descriptions de tâches incomplètes, des exigences de test trop strictes, des tests cachés vérifiant des exigences non divulguées et une couverture de test insuffisante. OpenAI a noté que le taux de réussite des modèles de pointe sur ces questions publiques est passé de 23,3 % à 80,3 % en huit mois, mais ces progrès doivent être interprétés avec prudence en raison du bruit dans le benchmark. La société a retiré sa recommandation précédente d’adopter SWE-Bench Pro et a appelé la communauté à élaborer des benchmarks de programmation plus fiables.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire