La anatomía de un buen entorno de entrenamiento: cuando la verificabilidad no basta

Por TheSequence · Opinion #892.

Este artículo de opinión del boletín TheSequence (edición Opinion #892) arranca con una nota personal del autor, que recuerda que lleva más de dos años publicando el newsletter sin patrocinadores, a pesar de recibir constantemente propuestas de sponsors. Lo presenta como un proyecto personal que mantiene desde hace más de cinco años, con el objetivo de preservar su carácter de profundidad técnica, objetividad y contenido original sobre IA, e invita a los lectores a apoyarlo mediante suscripción gratuita o de pago.

El cuerpo central del texto parte de una idea que el autor dice haber tomado de un episodio reciente del podcast de Dwarkesh Patel con Grant Sanderson, en el que este último plantea que la 'grindability' (algo así como la capacidad de un dominio para ser 'trabajado' o explotado de forma incremental por un sistema de entrenamiento) es tan importante como la verificabilidad a la hora de determinar si un dominio es propicio para el progreso de la IA. Esa idea, según el autor, le ayudó a cristalizar una reflexión que llevaba meses elaborando.

La pregunta que se plantea el artículo es, en sus propias palabras, deceptivamente simple: ¿qué hace que un dominio sea 'bueno' para la IA? No en el sentido de interesante comercialmente, sino en el sentido de que, si se apunta un pipeline de entrenamiento moderno hacia ese dominio, la capacidad del modelo realmente se acumula y mejora con el tiempo.

La respuesta estándar a esa pregunta suele ser la verificabilidad (es decir, la posibilidad de comprobar automáticamente si una solución es correcta), y el autor no la descarta, pero sostiene que se trata de un solo eje dentro de un espacio de propiedades de mayor dimensión. Según su argumento, los dominios en los que la IA ha sorprendido positivamente —las matemáticas, la programación, los juegos de mesa— son precisamente aquellos que puntúan alto simultáneamente en todos esos ejes. En cambio, los dominios donde el progreso ha sido lento y decepcionante —el uso de ordenadores por parte de agentes, la robótica, y el trabajo de conocimiento abierto o poco estructurado— suelen ser fuertes en uno o dos de esos ejes, pero fallan silenciosamente en los demás.

El autor promete recorrer esos ejes uno a uno en el resto del artículo, aportando en cada caso un ejemplo de dominio que posee la propiedad en cuestión y otro que carece notoriamente de ella, argumentando que es precisamente en ese contraste donde reside la intuición útil. Plantea que entender este marco de propiedades ayuda a explicar varios fenómenos actuales del sector que de otro modo resultan confusos: por qué los modelos de razonamiento se volvieron competentes en matemáticas antes que en tareas cotidianas como gestionar el correo electrónico (usando la bandeja de entrada como ejemplo), por qué ha surgido de repente una industria de startups dedicadas a construir 'entornos' de refuerzo (RL environments) que manejan presupuestos de miles de millones de dólares, y por qué el autor anticipa que algunas de esas empresas de entornos van a decepcionar a sus compradores/inversores.

El correo, tal como se recibió, se corta justo cuando el autor comienza a desarrollar el primer eje de su marco —la propia verificabilidad— por lo que el contenido detallado sobre cada uno de los ejes adicionales (más allá de la verificabilidad y la 'grindability' mencionadas) no está disponible en el texto proporcionado.