Fine-tuning con LoRA y Unsloth en local: datos, entrenamiento y evaluación

Cuándo hacer fine-tuning y cuándo basta con prompt o RAG

LoRA adapta el comportamiento de un modelo entrenando matrices de bajo rango añadidas a determinadas capas. Reduce parámetros entrenables y memoria frente a un ajuste completo. No introduce por sí sola una base de conocimiento actualizable ni garantiza que el modelo cite fuentes.

Antes de entrenar, crea una línea base con el modelo original. Si un prompt o una recuperación bien diseñada resuelven la tarea, conservarás un sistema más fácil de actualizar y auditar.

LoRA, QLoRA, SFT, adaptador y fusión

Un adaptador no es autónomo: registra el identificador exacto del modelo base, tokenizer, plantilla, configuración y licencia. Cargarlo sobre otra variante puede producir errores o un comportamiento impredecible.

Elegir una familia que ya esté cerca del resultado deseado

Fine-tuning no convierte un modelo pequeño en uno de capacidad ilimitada. Selecciona primero una familia que siga instrucciones, entienda castellano y soporte el contexto, visión o herramientas que necesitas. Evalúa Qwen, Llama, Gemma, DeepSeek-R1 o gpt-oss según tarea y licencia, y registra la variante concreta.

1. Prueba en cero ejemplos. Ejecuta el banco de evaluación con el modelo base.
2. Prueba prompting. Añade instrucciones y pocos ejemplos representativos.
3. Comprueba la licencia. Uso, adaptación, redistribución y modelo derivado.
4. Verifica formato. Tokenizer, plantilla de chat y soporte de la biblioteca de entrenamiento.
5. Estima memoria. Pesos, cuantización, activaciones, gradientes, optimizador y longitud de secuencia.
6. Conserva una alternativa. Una familia menor o mayor permite saber si el límite es adaptación o capacidad.

La guía modelos de IA local explica cómo comparar familias y cuantizaciones antes del entrenamiento.

Construir ejemplos que representen producción y no enseñen errores

La calidad del dataset domina el resultado. Un conjunto grande de respuestas inconsistentes puede empeorar el modelo. Define una política de redacción, revisa cada ejemplo y separa datos de entrenamiento, validación y prueba por origen para evitar filtraciones.

Formato conversacional

{"messages": [
  {"role": "system", "content": "Política de la tarea"},
  {"role": "user", "content": "Entrada representativa"},
  {"role": "assistant", "content": "Respuesta aprobada"}
]}

Utiliza la plantilla oficial de la variante. No concatentes manualmente tokens especiales sin comprobar el tokenizer. Filtra secuencias demasiado largas y registra cuántos ejemplos se truncarían.

Datos personales y confidenciales

Minimiza, anonimiza cuando sea posible y limita acceso al dataset. Un modelo puede memorizar fragmentos. No introduzcas secretos, credenciales, correos completos o documentos sin una finalidad, base y evaluación claras.

Instalar Unsloth en un entorno reproducible

Unsloth optimiza el ajuste de modelos compatibles y ofrece cuadernos y ejemplos que cambian con rapidez. Utiliza un entorno virtual o contenedor, comprueba compatibilidad entre GPU, controlador, CUDA, PyTorch, bitsandbytes y la biblioteca. Fija versiones una vez que el entrenamiento funciona.

python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip

# Instala PyTorch para tu plataforma y después la pila de entrenamiento.
pip install unsloth datasets trl peft

El comando es orientativo. Revisa las instrucciones vigentes para tu plataforma antes de instalar. En DGX Spark o cualquier sistema ARM64, confirma que cada dependencia y kernel dispone de soporte para la arquitectura.

• GPU visible desde PyTorch
• Precisión BF16 o FP16 compatible
• Espacio para modelo, dataset y checkpoints
• Directorio de salida fuera del entorno efímero
• Semilla, configuración y commit registrados
• Sin acceso de red no necesario durante el trabajo

Elegir secuencia, lote, rango y módulos mediante una prueba pequeña

Empieza con un subconjunto y una ejecución corta. Comprueba que la pérdida baja, los checkpoints se guardan y la evaluación funciona. Solo después aumenta pasos o dataset.

La precisión mixta reduce memoria y puede acelerar entrenamiento. QLoRA reduce la memoria del modelo base, pero activaciones y longitud siguen siendo determinantes. Gradient checkpointing intercambia cálculo por menor memoria.

Entrenar con controles de pérdida, validación y recuperación

1. Carga modelo y tokenizer. Registra el identificador y la revisión.
2. Aplica la plantilla. Convierte cada conversación exactamente como se usará en inferencia.
3. Filtra y tokeniza. Informa de ejemplos vacíos, truncados y distribución de longitud.
4. Crea el adaptador. Define rango, alpha, dropout y módulos objetivo.
5. Ejecuta una prueba corta. Confirma memoria, velocidad y guardado.
6. Entrena con validación. Observa pérdida de entrenamiento y validación; detén si se separan.
7. Guarda adaptador y configuración. Incluye tokenizer, plantilla y métricas.
8. Evalúa el checkpoint. No selecciones solo el último; compara en el banco de pruebas.

Artefactos mínimos
- modelo base y revisión
- tokenizer y chat template
- configuración LoRA
- configuración de entrenamiento
- dataset y división versionados
- métricas y logs
- adaptador por checkpoint
- informe de evaluación

Una pérdida baja no demuestra utilidad. El modelo puede memorizar el dataset, alterar capacidades generales o empeorar seguridad. La evaluación externa decide.

Comparar base y adaptado con casos que el entrenamiento no ha visto

Ejecuta varias semillas o checkpoints cuando el coste lo permita. Revisa muestras humanas con una rúbrica. Conserva la línea base para demostrar qué aporta el ajuste y qué empeora.

Prueba de memorización

Busca fragmentos únicos del dataset mediante prompts directos e indirectos. La ausencia de reproducción en una prueba no garantiza privacidad, pero la presencia es una señal de retirada o rediseño.

Servir el adaptador, fusionar o cuantizar sin perder la trazabilidad

Puedes mantener modelo base y adaptador separados, fusionar una copia o exportar a un formato de inferencia. Cada opción cambia almacenamiento, flexibilidad y riesgo.

1. Exporta a una carpeta nueva; no sobrescribas el checkpoint aprobado.
2. Calcula hashes y registra configuración.
3. Carga en el runtime de destino.
4. Repite el banco de pruebas después de merge o cuantización.
5. Mide memoria, contexto y velocidad.
6. Publica con un identificador inmutable y plan de reversión.

Para Ollama, crea un Modelfile o importa un formato compatible según la ruta de exportación. El modelo servido debe conservar la plantilla usada durante entrenamiento.

Resolver falta de memoria, pérdida inestable y modelo que no aprende

Dimensionar entrenamiento, no inferencia

La memoria de entrenamiento incluye más componentes que los pesos cuantizados de inferencia. Longitud y microbatch pueden dominar. Una GPU discreta es más rápida cuando el trabajo cabe. DGX Spark aporta 128 GB coherentes y puede permitir adaptaciones que no caben en VRAM convencional, aunque debes validar compatibilidad ARM64 y velocidad. RTX PRO 6000 ofrece 96 GB de VRAM y gran ancho de banda. DGX Station amplía de forma sustancial la memoria para modelos, lotes y usuarios mayores.

Para recomendar hardware necesitamos modelo base, cuantización, longitud, microbatch, acumulación, módulos LoRA, dataset, tiempo objetivo y si el equipo también servirá inferencia.

Publicar un modelo adaptado con evidencia y reversión

• Finalidad y razón para entrenar documentadas
• Modelo base, licencia y revisión registradas
• Dataset con procedencia, permisos y retirada posible
• Divisiones sin duplicados ni filtración
• Configuración y entorno reproducibles
• Evaluación frente al modelo base
• Pruebas de seguridad, privacidad y abstención
• Artefacto, hashes y plantilla versionados
• Monitorización de calidad y regresiones
• Plan para volver al modelo anterior

Conectar el entrenamiento con conocimiento, gobierno y servicio