OpenAI audita SWE-Bench Pro y halla que ~30% de sus tareas están rotas

Por TheSequence.

El artículo parte de una idea incómoda: una puntuación de benchmark puede parecer muy precisa —por ejemplo, un 80.3 por ciento con un decimal exacto, suficiente para ordenar modelos y sustentar afirmaciones de producto— y aun así ser una mala medida de lo que dice medir. Precisión no es lo mismo que validez. Si un benchmark rechaza soluciones correctas, acepta soluciones incompletas, o exige comportamientos que su propio enunciado nunca especificó, entonces el número resultante mide otra cosa distinta de la capacidad real de programar del modelo.

Esa es la conclusión de la auditoría que OpenAI ha realizado sobre SWE-Bench Pro. Este benchmark se diseñó originalmente para corregir debilidades de evaluaciones de código anteriores: tareas de horizonte más largo, repositorios más realistas y código pensado para reducir la contaminación por datos de entrenamiento. En su split público de 731 tareas, el rendimiento de los modelos de frontera pasó del 23.3 por ciento al 80.3 por ciento en solo ocho meses. En lugar de interpretar esa curva ascendente simplemente como progreso indiscutible, OpenAI se planteó una pregunta más incómoda y más importante: ¿cuánto de esa mejora proviene realmente del modelo, y cuánto proviene de fallos o sesgos en el propio test?

La respuesta que encontraron es contundente. Según las estimaciones de OpenAI, aproximadamente un 30 por ciento del benchmark público está roto. Concretamente, su auditoría asistida por agentes etiquetó 200 tareas —un 27.4 por ciento del total— como defectuosas. En paralelo, una campaña de revisión realizada por ingenieros de software con experiencia etiquetó 249 tareas, equivalentes a un 34.1 por ciento, también como defectuosas. Ambas cifras, obtenidas por vías independientes (una automatizada con agentes, otra manual con humanos), convergen en un orden de magnitud similar, lo que refuerza la seriedad del hallazgo.

Como consecuencia directa de estos resultados, OpenAI ha retirado su recomendación anterior de que la comunidad adoptara SWE-Bench Pro como referencia estándar para evaluar agentes de codificación.

El texto cierra con una reflexión que da título temático a la pieza: los benchmarks de código funcionan, en el fondo, como especificaciones ejecutables —excepto cuando no lo son—, y sugiere que los propios agentes de codificación podrían convertirse en herramientas necesarias para auditar los benchmarks que se usan para calificarlos, cerrando así un cierto círculo entre las herramientas evaluadas y las herramientas de evaluación.

El correo, publicado por el newsletter TheSequence en su edición 'AI of the Week #895', se corta en este punto tal como fue recibido, sin más detalles adicionales sobre metodología específica de la auditoría o ejemplos concretos de tareas defectuosas.