Una breve historia de la destilación de modelos

Por TheSequence · 7 de julio de 2026.

El artículo arranca cuestionando la narrativa habitual sobre el origen de la destilación de conocimiento (knowledge distillation), que suele situarse en 2015 con el trabajo de Geoffrey Hinton, Oriol Vinyals y Jeff Dean, quienes introdujeron el truco de la 'temperatura' en el softmax y acuñaron la expresión 'dark knowledge' (conocimiento oscuro), una frase que rápidamente se quedó fijada en el vocabulario del campo.

Según el autor, esa historia, aunque atractiva, está incompleta, ya que ignora casi una década de trabajo previo. La historia real sería más silenciosa y pragmática, y merece la pena rescatarla porque los movimientos conceptuales que el campo fue dando entre 2006 y 2015 siguen definiendo cómo entendemos la destilación de modelos en la actualidad.

El texto sostiene que, aunque el vocabulario y los diagramas han cambiado con el tiempo, la pregunta de fondo sigue siendo la misma: ¿qué es exactamente lo que se transfiere de un modelo 'profesor' (teacher) a un modelo 'alumno' (student)? Para entender el panorama moderno de técnicas como la destilación on-policy, la destilación de razonamiento (reasoning distillation) y la transferencia entre arquitecturas distintas, el autor propone repasar tres artículos fundacionales, señalando que cada uno resolvió un problema distinto en el camino hacia, en esencia, la misma idea.

El cuerpo del correo comienza a desarrollar esta línea temporal con un primer hito fechado en 2006, bajo el título 'Compression as Mimicry' (compresión como mimetismo), pero el texto se corta en ese punto y no se dispone de más contenido para resumir con precisión.