Destilación de conocimiento: cuando el dataset se convierte en el profesor

Por TheSequence.

Este número de la serie educativa "Sequence Knowledge" trata sobre la destilación (distillation) entendida como una forma de generar datos sintéticos para entrenar modelos más pequeños a partir de modelos más grandes y capaces.

El texto arranca con una reflexión histórica: durante la mayor parte de la historia del machine learning, los datos se trataban como si fueran geología. Ya existían en el mundo -en libros, páginas web, repositorios de código, conversaciones, fotografías y bases de datos- y el trabajo del investigador consistía simplemente en excavarlos, limpiarlos, tokenizarlos y alimentar con ellos a un modelo.

Según explica el correo, los grandes modelos de lenguaje (LLMs) han transformado esa relación. Un modelo suficientemente capaz ya no es solo un consumidor de datos: puede producir preguntas, respuestas, explicaciones, críticas, etiquetas de preferencia, trazas de uso de herramientas, libros de texto, ejercicios de código e incluso currículos completos en miniatura.

Esto, señala el texto, da lugar a un nuevo primitivo de entrenamiento. En lugar de recurrir a un modelo caro para que responda a cada consulta de producción de forma indefinida, se le pide que fabrique la experiencia de aprendizaje de la que se nutrirá un modelo más pequeño. El modelo "profesor" se ejecuta offline; sus salidas se convierten en un conjunto de datos (dataset); ese dataset entrena al modelo "alumno"; y aunque el profesor desaparece en el momento de la inferencia, parte de su comportamiento queda incorporado en el alumno.

El fragmento del correo concluye con la idea central de la pieza: eso es precisamente lo que constituye "los datos sintéticos como destilación" (synthetic data as distillation). El cuerpo del mensaje se corta en este punto -es un extracto introductorio- y remite al lector al artículo completo publicado en Substack para profundizar en el desarrollo técnico del concepto.