En pocas palabras
Transfiere capacidades de un modelo profesor a otro más pequeño mediante entrenamiento.
Qué problema resuelve
Inferencia demasiado costosa o lenta para una tarea especializada o un dispositivo limitado.
Cuándo utilizarlo
Clasificación y asistentes acotados. Ejemplo: entrenar un modelo pequeño con ejemplos revisados de soporte.
De la idea a la práctica
Funcionamiento, ejemplos y decisiones para pasar al siguiente nivel.
En el Radar compartido: Trial (valoración de la edición aportada).
Cómo funciona
El profesor genera respuestas, distribuciones u otras señales para entrenar al estudiante. La técnica busca conservar capacidades útiles con menos recursos de inferencia.
Ejemplo de uso
Crear ejemplos de clasificación de tickets con un modelo grande, revisar una muestra y entrenar el estudiante. Comparar exactitud, fallos por categoría, latencia y coste con un conjunto independiente.
Variantes
| Variante | Qué aprende el estudiante | Requisito |
|---|---|---|
| Basada en respuestas | Las salidas del profesor como etiquetas (datos sintéticos) | Solo acceso a la API del profesor |
| Basada en logits (soft targets) | La distribución de probabilidad completa del profesor | Acceso a los logits; mismo vocabulario |
| Basada en características | Representaciones intermedias | Acceso a los pesos del profesor |
| On-policy | Correcciones del profesor sobre las salidas del propio estudiante | Profesor disponible durante el entrenamiento |
La variante basada en respuestas es la más habitual en empresas: un modelo grande por API genera ejemplos y un modelo pequeño se ajusta con ellos.
Pérdida clásica con soft targets
L = α · CE(y, softmax(z_s)) + (1 − α) · T² · KL( softmax(z_t / T) ‖ softmax(z_s / T) )T (temperatura) suaviza las distribuciones para que el estudiante aprenda también qué clases incorrectas son «casi correctas»; α equilibra etiquetas reales y profesor.
Pipeline práctico
- Definir la tarea con precisión: clasificar tickets en 12 categorías, extraer campos de un documento.
- Recopilar entradas reales representativas (anonimizadas con Presidio).
- Generar etiquetas con el profesor usando un prompt bien evaluado y salida estructurada.
- Filtrar: descartar respuestas de baja confianza, revisar una muestra con expertos.
- Entrenar el estudiante (ajuste completo o LoRA) con small language models como base.
- Evaluar contra un conjunto independiente etiquetado por personas, por categoría.
- Servir con vLLM u otro motor y monitorizar deriva.
Cuándo compensa
| Señal | Lectura |
|---|---|
| Tarea estrecha y estable con mucho volumen | Gran ahorro de coste y latencia |
| Necesidad de ejecutar en local o en el dispositivo | Destilar a un modelo pequeño es casi la única vía |
| Datos que no pueden salir de la infraestructura en producción | El profesor solo se usa en la fase de entrenamiento con datos permitidos |
| Tarea abierta y cambiante | Probablemente mejor un modelo general con buen prompt |
Riesgos
- Errores heredados: el estudiante aprende también los fallos y sesgos del profesor.
- Términos de uso: muchos proveedores restringen usar sus salidas para entrenar modelos que compitan con ellos; revisa las condiciones antes de destilar.
- Deriva: si cambian los datos de entrada, el estudiante se degrada; planifica reentrenamientos.
Criterios de implementación
Evitar contaminación entre entrenamiento y evaluación. La cuantización reduce precisión numérica y la poda elimina parámetros; pueden complementar la destilación, pero son técnicas diferentes.
Continúa en las fuentes
Documentación oficial para verificar detalles y explorar más.