Distillation en la era de los LLM: cuando el alumno empezó a responder

Por TheSequence · 13 de julio de 2026.

Este artículo de TheSequence Knowledge arranca revisando el famoso paper de distillation de 2015 (el de Hinton et al. sobre "dark knowledge"), pero no para hablar de su truco de la temperatura ni de esa idea de conocimiento oscuro, sino para señalar algo más de fondo: el mundo conceptual que ese paper daba por hecho. En aquel esquema había una distribución de entrada fija, un modelo profesor que producía un vector de probabilidad sobre un conjunto cerrado de clases, y un modelo alumno entrenado para imitar ese vector. Se pasaba el dataset por ambos modelos, se calculaba la pérdida, se hacía backprop, y todo el proceso tenía una especie de inocencia mecánica: cada pieza se quedaba en su carril.

Según el autor, esa inocencia se rompió en cuanto llegaron los modelos de lenguaje. Una a una, las asunciones originales del paper de 2015 dejaron de sostenerse. El artículo se presenta como el relato de esa ruptura: la parte de la historia de la distillation en la que el campo dejó de pensar en términos de compresión (crear una copia más pequeña de una función fija) para empezar a pensar en términos de transferencia de capacidades, es decir, conseguir que un modelo pequeño realmente sepa hacer algo difícil con la ayuda de un modelo más grande.

Según TheSequence, ese cambio de paradigma se produjo a lo largo de unos cinco años y atravesó tres etapas reconocibles. Cada una de ellas, en su momento, parecía una simple mejora de ingeniería, pero vista en retrospectiva supuso un cambio de fondo en cómo se entendía el propio concepto de distillation. El cuerpo del correo se corta justo al empezar a describir la primera de esas etapas, titulada "Stage One: Sequences Are Not Pictures" ("las secuencias no son imágenes"), sin llegar a desarrollar su contenido ni las etapas dos y tres, que presumiblemente se explican en el artículo completo enlazado.

En general, este tipo de piezas de TheSequence Knowledge suelen formar parte de una serie más larga sobre la evolución técnica de conceptos de machine learning, en este caso la distillation, trazando su recorrido desde la visión por computador (de ahí la referencia a que "las secuencias no son imágenes") hasta su aplicación en modelos de lenguaje de gran escala.