Modelos de IA local: cómo elegir familia, tamaño y cuantización

Qué aporta cada familia

La biblioteca cambia con frecuencia. Por eso el texto mantiene las familias y remite a ollama.com/library para etiquetas, tamaños y variantes actuales. No descargues una etiqueta solo por su nombre: abre su ficha y revisa memoria, cuantización, contexto y licencia.

Del número de parámetros a la memoria real

Una aproximación de los pesos es:

memoria de pesos ≈ parámetros × bits por peso ÷ 8

El resultado no incluye escalas de cuantización, metadatos, caché KV, buffers del motor, contexto, adaptadores, embeddings ni memoria del sistema. Para una compra, utiliza la variante real y añade margen.

Estas bandas son orientativas. Un modelo con menos pesos activos puede seguir necesitando almacenar muchos expertos, y una ventana de contexto amplia puede añadir una cantidad considerable de caché.

Empieza con una prueba mínima y comparable

Una batería pequeña vale más que una clasificación genérica

1. Reúne entre veinte y cincuenta tareas representativas. Incluye casos normales, difíciles, ambiguos y entradas que deberían rechazarse.
2. Fija los parámetros. Misma temperatura, contexto, prompt de sistema, formato y hardware.
3. Mide calidad por criterio. Exactitud, cobertura, citas, formato, seguridad y tasa de abstención.
4. Mide las dos fases. Tiempo hasta el primer token, prefill, generación y latencia total.
5. Incluye memoria y concurrencia. Observa el modelo con una sesión y con el número real de usuarios.
6. Revisa la licencia. Registra familia, variante, hash, fuente y condiciones aplicables.

Para RAG, evalúa por separado el recuperador y el generador. Un modelo competente no puede citar un documento que el sistema no recupera. La arquitectura se explica en IA con los datos de tu empresa.

Cuando el modelo cabe y cuando deja de caber

Una GPU discreta ofrece gran ancho de banda y suele ser la opción más rápida si pesos, contexto y caché caben en su VRAM. DGX Spark se vuelve relevante con modelos grandes, contexto amplio o varios componentes que requieren más de la VRAM habitual. Para una escala muy superior, DGX Station combina 252 GB HBM3e con 496 GB LPDDR5X.

Evita utilizar toda la memoria anunciada para los pesos. El sistema, el motor y la caché necesitan margen. En Ollama, ollama ps ayuda a comprobar si la carga está en GPU, parcialmente en CPU o completamente en CPU.

Separar familia, variante, formato y tarea antes de comparar modelos

«Modelo» se utiliza para varias cosas distintas. Una familia define arquitectura y entrenamiento; una variante puede cambiar tamaño o capacidades; una cuantización modifica cómo se almacenan los pesos; el formato determina qué motor puede cargarlos; y la plantilla de chat condiciona cómo se presentan las instrucciones. Registrar solo un nombre corto impide reproducir una prueba.

En Ollama conviene consultar la biblioteca actual antes de descargar. Verifica tamaño, capacidades, licencia, contexto anunciado y etiquetas disponibles. Después confirma la ventana que realmente utiliza tu servidor: el máximo teórico del modelo no garantiza que la aplicación lo haya configurado.

Qué aporta cada familia y qué debes comprobar por tu cuenta

Una lista no es una recomendación permanente. Las bibliotecas cambian. Esta guía conserva el método: selecciona varias familias, fija casos propios y registra la variante aprobada.

Estimar pesos, caché KV y margen de ejecución sin confundirlos

La aproximación inicial de los pesos es parámetros multiplicados por bits y divididos entre ocho. No es el consumo final: el fichero añade metadatos y el motor necesita buffers, activaciones y caché. Además, una arquitectura de mezcla de expertos puede tener muchos parámetros totales y activar solo una parte por token, pero los pesos que deben estar disponibles siguen condicionando la memoria.

memoria aproximada de pesos = parámetros × bits / 8
memoria de servicio = pesos + caché KV + buffers + margen del sistema

La cuantización se decide con una prueba de degradación

Empieza con una cuantización intermedia que deje margen. Ejecuta los mismos casos en una variante de más precisión y otra de menos. Mide exactitud, formato, uso de herramientas y velocidad. En tareas de extracción, código o razonamiento, una diferencia pequeña en memoria puede tener más valor que una respuesta ligeramente más rápida.

El contexto anunciado no es el contexto útil

Una ventana grande solo aporta valor si el modelo encuentra y utiliza la información adecuada. Documentos largos sin recuperación pueden diluir instrucciones, elevar el prefill y reducir la concurrencia. Para conocimiento empresarial, un RAG bien evaluado suele ser más controlable que introducir toda una biblioteca en cada consulta.

Crear un banco de pruebas que mida utilidad y no solo preferencia

Construye un conjunto de casos a partir del trabajo real. El evaluador debe conocer la respuesta esperada o los criterios de aceptación. Incluye casos negativos en los que el modelo deba abstenerse, solicitudes con instrucciones contradictorias y entradas que intenten alterar el sistema.

1. Define la tarea. Resume una política, extrae campos, clasifica un correo, genera una consulta o propone una función. No mezcles objetivos en una puntuación opaca.
2. Fija el contrato de salida. Texto breve, tabla, JSON con esquema o llamada a herramienta. Valida el formato mediante código.
3. Prepara la referencia. Respuesta correcta, fuentes aceptables, campos obligatorios y errores críticos.
4. Ejecuta varias veces. La variabilidad forma parte del comportamiento. Registra temperatura y semilla cuando estén disponibles.
5. Mide operación. Tiempo hasta el primer token, velocidad de generación, memoria, longitud de salida y errores.
6. Clasifica fallos. Dato inventado, omisión, formato, razonamiento, cita, seguridad, herramienta o idioma.
7. Selecciona el menor que cumple. Conserva margen de memoria y una variante de respaldo.

Licencia, procedencia y seguridad también forman parte del modelo

Antes de aprobar una variante, conserva su procedencia, licencia, hash o identificador, términos aplicables, finalidad y limitaciones. «Disponible para descargar» no significa que todos los usos, redistribuciones o modificaciones estén autorizados. Revisa también el código que carga los pesos y evita formatos ejecutables de origen desconocido.

• Fuente oficial o repositorio reconocido y versión identificable
• Licencia revisada para uso comercial, adaptación y redistribución
• Plantilla de chat compatible con el motor
• Filtros y límites definidos fuera del modelo
• Casos adversarios y de abstención incluidos en evaluación
• Plan de retirada cuando una variante deja de estar aprobada

Un modelo no es una frontera de autorización. Aunque siga instrucciones con fiabilidad, no debe decidir por sí solo qué documentos puede leer ni qué acciones puede ejecutar.

Traducir la variante aprobada a una configuración de hardware

Entrega al dimensionador: familia, etiqueta exacta, cuantización, contexto, tokens de entrada y salida, usuarios simultáneos, tiempo objetivo, visión, herramientas, RAG y número de modelos residentes. Sin esos datos, cualquier recomendación es una aproximación.