Ollama paso a paso: ejecuta tu primera IA local

De la descarga a un servicio local bien administrado

Una instalación útil de Ollama no termina cuando aparece una respuesta en la terminal. Debes saber qué modelo se ha descargado, dónde se guardan sus pesos, qué acelerador utiliza, cuánto contexto consume, qué proceso escucha en la red y qué aplicaciones pueden conectarse. Esta secuencia evita que una prueba personal se convierta en un servicio difícil de mantener.

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama

docker run -d --gpus=all \
  -v ollama:/root/.ollama \
  -p 127.0.0.1:11434:11434 \
  --name ollama ollama/ollama

1. Instala y verifica el binario. Ejecuta ollama --version y confirma que el servicio responde.
2. Descarga una variante concreta. Usa el nombre completo que aparece en la biblioteca de Ollama; no presupongas que la etiqueta predeterminada es la mejor para tu equipo.
3. Comprueba la carga real. Con el modelo en ejecución, ollama ps indica si reside en GPU, CPU o en ambas.
4. Mide una tarea representativa. Prueba un prompt real, con el contexto y el formato que utilizarás en producción.
5. Define el límite de red. Mantén 127.0.0.1 para uso individual o diseña autenticación, TLS y segmentación para acceso compartido.
6. Documenta modelo, licencia y configuración. Registra la familia, la variante, el contexto, los parámetros y la finalidad.

Resultado esperado: una respuesta correcta no basta. La instalación se considera verificada cuando sabes qué variante responde, dónde se ejecuta, cuánta memoria ocupa y desde qué interfaces puede alcanzarse.

Los conceptos que determinan calidad, memoria y velocidad

Estos conceptos explican por qué dos equipos con el mismo modelo pueden ofrecer resultados distintos. También evitan una comparación incorrecta entre capacidad máxima, rendimiento interactivo y capacidad multiusuario.

Cómo elegir el primer modelo sin depender de una clasificación genérica

Empieza por la tarea, no por el nombre más conocido. El objetivo es encontrar el modelo más pequeño que alcance la calidad exigida con margen de memoria. Ese margen permite ampliar contexto, mantener el modelo residente y atender más de una petición sin descargar trabajo a CPU.

1. Prepara entre veinte y cincuenta casos. Incluye respuestas fáciles, ambiguas, negativas y entradas adversarias.
2. Fija el mismo prompt y contexto. Compara modelos con condiciones equivalentes y registra la variante exacta.
3. Evalúa calidad y operación. Mide exactitud, latencia inicial, velocidad de generación, memoria y estabilidad.
4. Comprueba la licencia. La disponibilidad en la biblioteca no equivale a autorización automática para cualquier uso comercial o redistribución.
5. Conserva un modelo alternativo. Una actualización puede cambiar estilo, rendimiento o compatibilidad con herramientas.

La página Modelos de IA local desarrolla el método de dimensionamiento y evaluación sin fijar una recomendación que caduque cuando cambien las etiquetas.

Si prefieres una interfaz de escritorio para comparar variantes antes de convertirlas en servicio, consulta la guía de LM Studio. Ollama encaja mejor como programa que ejecuta el modelo y API automatizable; LM Studio facilita la exploración visual. La elección depende del flujo, no de una superioridad universal.

Comandos, Modelfile y parámetros para operar con criterio

ollama list
ollama ps
ollama show <modelo>

ollama pull <modelo>
ollama cp <origen> <alias>
ollama stop <modelo>
ollama rm <modelo>

Crear un perfil reproducible con Modelfile

Un Modelfile permite fijar un modelo base, instrucciones y parámetros. No entrena de nuevo los pesos: crea una configuración reproducible que puede versionarse junto al proyecto.

FROM <familia-y-variante-validada>
PARAMETER temperature 0.2
PARAMETER num_ctx 16384
SYSTEM """
Eres un asistente interno. Responde solo con la información aportada.
Cuando falte evidencia, indícalo y solicita la fuente necesaria.
"""

ollama create asistente-interno -f Modelfile
ollama run asistente-interno

No guardes secretos en el Modelfile. Las instrucciones pueden inspeccionarse y no sustituyen la autorización de la aplicación. Las credenciales, permisos y filtros de datos deben vivir fuera del prompt.

Parámetros que conviene cambiar solo después de medir

Variables de entorno que cambian red, memoria y residencia del dato

Las variables se aplican al proceso que ejecuta el servidor. En Linux suelen configurarse mediante una ampliación de systemd; en macOS mediante el entorno de la aplicación, y en Windows desde las variables de usuario o sistema. Después de cualquier cambio, reinicia Ollama y verifica los registros.

sudo systemctl edit ollama.service

[Service]
Environment="OLLAMA_NO_CLOUD=1"
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_CONTEXT_LENGTH=16384"

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl status ollama

API local: chat, salida estructurada, embeddings y métricas

La API nativa permite generar texto, conversar, crear embeddings y consultar modelos. Las respuestas finales incluyen tiempos y contadores útiles para separar carga, prefill y generación. Guarda estas métricas junto a la variante y al contexto para que una comparación sea reproducible.

Chat no streaming para una prueba controlada

curl http://127.0.0.1:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<modelo-local>",
    "stream": false,
    "messages": [
      {"role": "system", "content": "Responde de forma precisa."},
      {"role": "user", "content": "Resume los riesgos indicados."}
    ]
  }'

Salida estructurada que la aplicación vuelve a validar

curl http://127.0.0.1:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<modelo-local>",
    "stream": false,
    "prompt": "Clasifica la incidencia",
    "format": {
      "type": "object",
      "properties": {
        "categoria": {"type": "string"},
        "prioridad": {"type": "string"},
        "requiere_revision": {"type": "boolean"}
      },
      "required": ["categoria", "prioridad", "requiere_revision"]
    }
  }'

Embeddings para búsqueda semántica

curl http://127.0.0.1:11434/api/embed \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<modelo-de-embeddings>",
    "input": ["política de devoluciones", "procedimiento de garantía"]
  }'

Compatibilidad OpenAI: Ollama implementa partes de interfaces compatibles en /v1/. Configurar una URL base facilita migrar clientes, pero debes verificar endpoints, herramientas, streaming, errores y formatos. No presupongas equivalencia completa.

Qué medir en una llamada

Problemas frecuentes y una secuencia de comprobación

1. Reproduce desde la CLI. Elimina temporalmente la interfaz o el orquestador de la ecuación.
2. Fija una variante. Evita comparar una etiqueta que haya cambiado entre pruebas.
3. Observa memoria y procesador. Diferencia falta de capacidad, configuración y problema de red.
4. Reduce el caso. Prueba un prompt corto y después añade contexto, herramientas y usuarios de uno en uno.
5. Conserva los registros necesarios. Evita datos personales innecesarios y documenta versión, error y condiciones.