DiscoRL de DeepMind: la IA aprende a diseñar sus propios algoritmos de aprendizaje

Por TheSequence · Tue, 20 Oct 2026 11:03:20 +0000.

El número #954 de The Sequence Knowledge aborda la automejora recursiva (RSI, por sus siglas en inglés) a través de un caso concreto: DiscoRL, el trabajo de DeepMind. El correo recibido contiene solo el resumen (TLDR) y el arranque del artículo; el texto completo está en la web de la publicación, por lo que este resumen se limita a lo que aparece en el cuerpo.

La tesis de partida es que la mayoría de los sistemas de IA mejoran en sus tareas sin mejorar en su capacidad de aprender. El ejemplo que propone el texto es el de un sistema que se convierte en mejor jugador de ajedrez sin ser mejor aprendiendo ajedrez: con más entrenamiento sus jugadas mejoran, pero la maquinaria que convierte la experiencia en mejora puede seguir igual. La automejora recursiva obliga a examinar esa maquinaria y plantea la pregunta de qué ocurre cuando el propio algoritmo de aprendizaje pasa a ser algo que una máquina puede aprender.

Según el correo, DiscoRL funciona así: una red neuronal representa la regla de actualización, y una población de agentes aporta la experiencia que se usa para descubrir reglas que produzcan mejores aprendices. La regla descubierta, llamada Disco57, se obtuvo en Atari57 y se usó para entrenar agentes nuevos en ProcGen y DMLab-30 sin meta-entrenamiento adicional. El texto la presenta como un caso concreto de inteligencia aplicada al procedimiento que crea inteligencia, y señala que el algoritmo resultante rinde con solidez en varios benchmarks de aprendizaje por refuerzo, incluidos entornos fuera de su conjunto de descubrimiento.

El artículo completo, según su resumen, recorre el linaje de ideas desde MAML, los optimizadores aprendidos y Learned Policy Gradient. A continuación desgrana el problema de asignación de crédito en dos niveles dentro del bucle de DiscoRL y analiza qué pone realmente a prueba la transferencia zero-shot de una regla de aprendizaje.

También aborda la economía del enfoque, que se reduce a amortizar el coste del descubrimiento entre muchas ejecuciones de entrenamiento, y la importancia de la interpretabilidad antes de que nadie adopte una regla aprendida.

Por último, el texto plantea qué tendría que demostrar un paso verdaderamente recursivo: que las mejoras descubiertas sigan produciendo ganancias medibles una vez descontados el cómputo y el esfuerzo de evaluación. El correo termina antes de desarrollar ninguno de estos puntos, por lo que no hay más datos disponibles en el cuerpo.