En pocas palabras
Uso de modelos de lenguaje de menor tamaño relativo para tareas acotadas, buscando reducir memoria, latencia y costo, o facilitar ejecución local.
Qué problema resuelve
Consumo excesivo de recursos y dependencia de conectividad o servicios externos para tareas que un modelo más pequeño puede resolver.
Cuándo utilizarlo
Clasificación, extracción, asistentes especializados y dispositivos con recursos limitados. Ejemplo: clasificar solicitudes localmente y derivar los casos complejos a un modelo con mayor capacidad.
De la idea a la práctica
Funcionamiento, ejemplos y decisiones para pasar al siguiente nivel.
En el Radar compartido: Trial (valoración de la edición aportada).
Cómo funciona
Se selecciona un modelo cuya capacidad cubra la tarea y se compara con alternativas. La cuantización puede reducir memoria, pero también cambiar calidad y rendimiento; no define por sí sola que un modelo sea pequeño.
Ejemplo: elegir con una evaluación
| Dimensión | Qué comparar con la misma carga |
|---|---|
| Calidad | Aciertos y errores por tipo de consulta |
| Operación | Memoria, concurrencia y latencia |
| Costo | Costo por respuesta que cumple el criterio de calidad |
| Restricciones | Hardware, conectividad y licencia |
Para un clasificador, utiliza casos de categorías frecuentes y ambiguas. Define cómo derivar los casos fuera de alcance; una puntuación de confianza del propio modelo no basta sin calibración.
Estimar la memoria necesaria
memoria de pesos ≈ parámetros × bytes por parámetro
7 000 M × 2 bytes (FP16/BF16) ≈ 14 GB
7 000 M × 1 byte (INT8/FP8) ≈ 7 GB
7 000 M × ~0,5 bytes (4 bits) ≈ 4 GB
+ caché KV: crece con la longitud de contexto y la concurrencia
+ sobrecarga del runtimeUn modelo de 3–8 mil millones de parámetros cuantizado a 4 bits cabe en una GPU de consumo, un portátil reciente o incluso un móvil de gama alta.
Familias habituales
Phi (Microsoft), Gemma (Google), Llama en tamaños pequeños (Meta), Qwen (Alibaba), Mistral y Ministral, SmolLM (Hugging Face), entre otras. Publican nuevas versiones con frecuencia: compara siempre en tu tarea, no por el ranking general, y revisa la licencia de cada modelo para uso comercial.
Runtimes
| Runtime | Uso |
|---|---|
| llama.cpp / Ollama | CPU y GPU de consumo, formato GGUF cuantizado, local |
| vLLM | Servidor de alto rendimiento en GPU |
| MLX | Apple Silicon |
| ONNX Runtime, ExecuTorch, LiteRT | Dispositivos móviles y edge |
ollama run qwen2.5:7b # descarga y ejecuta localmente con API compatiblePatrones de uso
| Patrón | Descripción |
|---|---|
| Tarea especializada | Clasificación, extracción, enrutado, resumen corto |
| Cascada / router | El modelo pequeño responde lo fácil y escala a uno grande lo difícil |
| Ajuste fino | LoRA sobre datos del dominio o destilación desde un modelo grande |
| Local por privacidad | Datos que no pueden salir del dispositivo o la red |
| Edge / offline | Apps móviles, sucursales, campo sin conectividad |
Un SLM ajustado para una tarea estrecha puede igualar a un modelo grande genérico en esa tarea con una fracción del coste y la latencia.
Mejorar sin cambiar de tamaño
Antes de saltar a un modelo mayor: mejorar el prompt y los ejemplos, usar salida estructurada con gramática, recuperar mejor contexto, dividir la tarea en pasos y ajustar finamente con datos del dominio. Mide cada cambio con el mismo conjunto de evaluación.
Criterios de implementación
Evalúa con contexto y documentos representativos. Ajusta formato de salida y recuperación antes de aumentar el tamaño. El alojamiento local puede dar mayor control sobre datos, pero necesita permisos, registros y gestión de actualizaciones.
Continúa en las fuentes
Documentación oficial para verificar detalles y explorar más.