Opus 5 triplica su marca en ARC-AGI en dos meses: lo relevante es el ritmo, no el 30%

El hecho, tal y como se ha difundido: Opus 5 ha marcado un 30% en ARC-AGI, un salto que triplica el rendimiento del modelo anterior de la misma familia en un intervalo de apenas dos meses. No es un récord en una lista de tareas de programación ni un Elo de preferencia de usuarios: es el benchmark diseñado precisamente para castigar la memorización.

Conviene explicar qué se está midiendo, porque cambia la lectura. ARC-AGI plantea puzles de razonamiento abstracto sobre problemas nuevos: la idea es que haber visto medio internet no sirva de mucho, y que solo puntúe alto un sistema capaz de inferir una regla desde cero y aplicarla. Es, por diseño, el examen más incómodo para los modelos actuales, y por eso llevaba años siendo el contraejemplo favorito de quienes sostienen que estos sistemas solo interpolan.

Dicho eso, seamos precisos con la magnitud. Un 30% significa que el modelo sigue fallando la mayoría de los ejercicios: en términos absolutos es una nota mala. Lo interesante no es el nivel, es la derivada. Triplicar en dos meses es una pendiente que, sostenida, cambia el mapa muy rápido; una pendiente que se aplana en el siguiente intento, no. Y aquí toca aplicar nuestra regla de siempre: antes de comprar el titular hay que conocer las condiciones de la prueba —cómputo por tarea, si el conjunto es público o reservado, número de intentos—, porque son esas variables las que separan una mejora de capacidad de una mejora de presupuesto. También hemos aprendido que los benchmarks dejan de informar cuando se saturan; ARC-AGI, con un 30%, está lejos de ese problema, y eso lo convierte por ahora en una de las pocas señales limpias que quedan.

Nuestra lectura: si hubiera que elegir una sola métrica para anticipar cuándo la IA empieza a aportar de verdad en ciencia, sería esta y no las de codificación. Erradicar enfermedades o entender un sistema biológico no consiste en repetir soluciones conocidas, sino en formular hipótesis sobre lo que nadie ha visto todavía —exactamente lo que ARC-AGI intenta capturar en miniatura. Que la curva se mueva ahí, y no solo en las tablas donde el marketing es más cómodo, es la mejor noticia de fondo de las últimas semanas.

En el corto plazo, cero euforia: un 30% en un test de puzles no arregla un diagnóstico, ni un empleo, ni un laboratorio. El salto no cambia nada esta semana. Pero es el tipo de avance que, si se confirma en verificaciones independientes y se repite en el siguiente ciclo de dos meses, marca la diferencia entre modelos que automatizan lo que ya sabemos hacer y modelos que empiezan a ayudarnos con lo que no sabemos. Anotemos la fecha y esperemos el siguiente punto de la serie: es ahí donde se verá si esto era una tendencia o un buen día.