Ollama: ejecutar modelos locales, controlar la memoria y servir una API

Qué hace Ollama

Ollama gestiona modelos, plantillas, parámetros y un servicio de inferencia accesible desde línea de comandos o API. Su ventaja es reducir la fricción: descargar una variante, arrancarla y conectarla a una aplicación requiere pocas operaciones.

No es una interfaz empresarial completa ni un sistema de gobierno. Para usuarios, permisos, conversaciones y documentos compartidos se suele añadir Open WebUI. Para automatizaciones se puede integrar con n8n o con código propio.

La aplicación Ollama tiene su propia licencia, mientras que cada modelo conserva la suya. Descargar una variante no concede automáticamente derechos comerciales, de redistribución o de uso sobre determinados datos.

Local no es lo mismo que cloud

Para un servidor que deba funcionar solo con modelos locales:

OLLAMA_NO_CLOUD=1

También puede utilizarse la opción disable_ollama_cloud en la configuración del servidor. Después hay que reiniciar el servicio y comprobar que las etiquetas utilizadas no sean cloud.

RGPD: ejecutar el modelo localmente facilita el control sobre la transferencia, pero no garantiza el cumplimiento. Finalidad, base jurídica, minimización, retención, seguridad, derechos y evaluación de riesgos siguen siendo necesarios. Consulta la guía para empresas españolas.

Comandos que conviene conocer

Utiliza la biblioteca oficial para elegir una familia y revisar las etiquetas vigentes. En el texto general de esta web se mantienen las familias Qwen, Llama, Gemma, DeepSeek-R1, gpt-oss y Mistral para evitar recomendaciones que caduquen con rapidez.

Una ventana larga consume memoria

Ollama ajusta valores predeterminados de contexto según la memoria de GPU disponible: sistemas por debajo de 24 GiB parten de 4K, entre 24 y 48 GiB de 32K y a partir de 48 GiB de 256K, de acuerdo con su documentación vigente. Las herramientas de código y agentes pueden necesitar al menos 64K para trabajar con repositorios o historiales amplios.

Un límite alto no implica que debas utilizarlo en todas las solicitudes. La caché KV crece con los tokens, la concurrencia y la arquitectura del modelo. Aumentar contexto puede reducir el número de usuarios simultáneos o provocar descarga a CPU.

1. Empieza con el contexto mínimo útil. Mide si la respuesta necesita realmente más historial.
2. Comprueba ollama ps. Verifica que el modelo sigue usando el acelerador previsto.
3. Separa documentos con RAG. Recuperar fragmentos relevantes suele ser mejor que introducir toda la biblioteca en cada prompt.
4. Prueba concurrencia. Una sesión de laboratorio no representa la carga de un equipo.

API local y exposición segura

El servicio local escucha normalmente en 127.0.0.1:11434. Esa dirección limita el acceso al propio equipo. Para que otro contenedor o servidor se conecte puede ser necesario cambiar el enlace, pero publicar 0.0.0.0 sin controles deja el servicio accesible en todas las interfaces.

curl http://127.0.0.1:11434/api/generate   -d '{"model":"<modelo-local>","prompt":"Resume este texto","stream":false}'

En una red de empresa, coloca una capa frontal con TLS, autenticación, autorización, límites, tamaño máximo de entrada y registros mínimos. Segmenta el puerto, restringe orígenes y evita acceso directo desde Internet.

Ollama implementa partes de interfaces compatibles con OpenAI y otras integraciones. Valida cada endpoint, campo, streaming, herramientas y formato de error: la compatibilidad no es necesariamente completa.

GPU, memoria unificada y descarga a CPU

El mejor escenario es mantener pesos y caché en el acelerador. Si el modelo no cabe, Ollama puede descargar parte del trabajo a CPU, con una reducción de velocidad que depende de memoria, bus y modelo. Esto permite ejecutar algunas cargas mayores, pero no convierte la RAM del sistema en VRAM de igual rendimiento.

Para modelos que caben, una GPU discreta suele ser la opción más rápida. Para modelos y contextos que superan esa VRAM, DGX Spark aporta 128 GB coherentes con CUDA. El recomendador parte de la tarea y del número de usuarios.

De la descarga a un servicio local bien administrado

Una instalación útil de Ollama no termina cuando aparece una respuesta en la terminal. Debes saber qué modelo se ha descargado, dónde se guardan sus pesos, qué acelerador utiliza, cuánto contexto consume, qué proceso escucha en la red y qué aplicaciones pueden conectarse. Esta secuencia evita que una prueba personal se convierta en un servicio difícil de mantener.

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama

docker run -d --gpus=all \
  -v ollama:/root/.ollama \
  -p 127.0.0.1:11434:11434 \
  --name ollama ollama/ollama

1. Instala y verifica el binario. Ejecuta ollama --version y confirma que el servicio responde.
2. Descarga una variante concreta. Usa el nombre completo que aparece en la biblioteca de Ollama; no presupongas que la etiqueta predeterminada es la mejor para tu equipo.
3. Comprueba la carga real. Con el modelo en ejecución, ollama ps indica si reside en GPU, CPU o en ambas.
4. Mide una tarea representativa. Prueba un prompt real, con el contexto y el formato que utilizarás en producción.
5. Define el límite de red. Mantén 127.0.0.1 para uso individual o diseña autenticación, TLS y segmentación para acceso compartido.
6. Documenta modelo, licencia y configuración. Registra la familia, la variante, el contexto, los parámetros y la finalidad.

Resultado esperado: una respuesta correcta no basta. La instalación se considera verificada cuando sabes qué variante responde, dónde se ejecuta, cuánta memoria ocupa y desde qué interfaces puede alcanzarse.

Los conceptos que determinan calidad, memoria y velocidad

Estos conceptos explican por qué dos equipos con el mismo modelo pueden ofrecer resultados distintos. También evitan una comparación incorrecta entre capacidad máxima, rendimiento interactivo y capacidad multiusuario.

Cómo elegir el primer modelo sin depender de una clasificación genérica

Empieza por la tarea, no por el nombre más conocido. El objetivo es encontrar el modelo más pequeño que alcance la calidad exigida con margen de memoria. Ese margen permite ampliar contexto, mantener el modelo residente y atender más de una petición sin descargar trabajo a CPU.

1. Prepara entre veinte y cincuenta casos. Incluye respuestas fáciles, ambiguas, negativas y entradas adversarias.
2. Fija el mismo prompt y contexto. Compara modelos con condiciones equivalentes y registra la variante exacta.
3. Evalúa calidad y operación. Mide exactitud, latencia inicial, velocidad de generación, memoria y estabilidad.
4. Comprueba la licencia. La disponibilidad en la biblioteca no equivale a autorización automática para cualquier uso comercial o redistribución.
5. Conserva un modelo alternativo. Una actualización puede cambiar estilo, rendimiento o compatibilidad con herramientas.

La página Modelos de IA local desarrolla el método de dimensionamiento y evaluación sin fijar una recomendación que caduque cuando cambien las etiquetas.

Si prefieres una interfaz de escritorio para comparar variantes antes de convertirlas en servicio, consulta la guía de LM Studio. Ollama encaja mejor como runtime y API automatizable; LM Studio facilita la exploración visual. La elección depende del flujo, no de una superioridad universal.

Comandos, Modelfile y parámetros para operar con criterio

ollama list
ollama ps
ollama show <modelo>

ollama pull <modelo>
ollama cp <origen> <alias>
ollama stop <modelo>
ollama rm <modelo>

Crear un perfil reproducible con Modelfile

Un Modelfile permite fijar un modelo base, instrucciones y parámetros. No entrena de nuevo los pesos: crea una configuración reproducible que puede versionarse junto al proyecto.

FROM <familia-y-variante-validada>
PARAMETER temperature 0.2
PARAMETER num_ctx 16384
SYSTEM """
Eres un asistente interno. Responde solo con la información aportada.
Cuando falte evidencia, indícalo y solicita la fuente necesaria.
"""

ollama create asistente-interno -f Modelfile
ollama run asistente-interno

No guardes secretos en el Modelfile. Las instrucciones pueden inspeccionarse y no sustituyen la autorización de la aplicación. Las credenciales, permisos y filtros de datos deben vivir fuera del prompt.

Parámetros que conviene cambiar solo después de medir

Variables de entorno que cambian red, memoria y residencia del dato

Las variables se aplican al proceso que ejecuta el servidor. En Linux suelen configurarse mediante una ampliación de systemd; en macOS mediante el entorno de la aplicación, y en Windows desde las variables de usuario o sistema. Después de cualquier cambio, reinicia Ollama y verifica los registros.

sudo systemctl edit ollama.service

[Service]
Environment="OLLAMA_NO_CLOUD=1"
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_CONTEXT_LENGTH=16384"

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl status ollama

API local: chat, salida estructurada, embeddings y métricas

La API nativa permite generar texto, conversar, crear embeddings y consultar modelos. Las respuestas finales incluyen tiempos y contadores útiles para separar carga, prefill y generación. Guarda estas métricas junto a la variante y al contexto para que una comparación sea reproducible.

Chat no streaming para una prueba controlada

curl http://127.0.0.1:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<modelo-local>",
    "stream": false,
    "messages": [
      {"role": "system", "content": "Responde de forma precisa."},
      {"role": "user", "content": "Resume los riesgos indicados."}
    ]
  }'

Salida estructurada que la aplicación vuelve a validar

curl http://127.0.0.1:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<modelo-local>",
    "stream": false,
    "prompt": "Clasifica la incidencia",
    "format": {
      "type": "object",
      "properties": {
        "categoria": {"type": "string"},
        "prioridad": {"type": "string"},
        "requiere_revision": {"type": "boolean"}
      },
      "required": ["categoria", "prioridad", "requiere_revision"]
    }
  }'

Embeddings para búsqueda semántica

curl http://127.0.0.1:11434/api/embed \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<modelo-de-embeddings>",
    "input": ["política de devoluciones", "procedimiento de garantía"]
  }'

Compatibilidad OpenAI: Ollama implementa partes de interfaces compatibles en /v1/. Configurar una URL base facilita migrar clientes, pero debes verificar endpoints, herramientas, streaming, errores y formatos. No presupongas equivalencia completa.

Qué medir en una llamada

Problemas frecuentes y una secuencia de comprobación

1. Reproduce desde la CLI. Elimina temporalmente la interfaz o el orquestador de la ecuación.
2. Fija una variante. Evita comparar una etiqueta que haya cambiado entre pruebas.
3. Observa memoria y procesador. Diferencia falta de capacidad, configuración y problema de red.
4. Reduce el caso. Prueba un prompt corto y después añade contexto, herramientas y usuarios de uno en uno.
5. Conserva los registros necesarios. Evita datos personales innecesarios y documenta versión, error y condiciones.