Transcripción local con Whisper: instalar, procesar reuniones y proteger los datos

Qué hace Whisper y qué no resuelve por sí solo

Whisper es una familia de modelos de reconocimiento automático del habla. Recibe audio y produce texto, puede detectar idioma y traducir determinados flujos al inglés. La ejecución puede hacerse localmente después de descargar pesos y dependencias.

El modelo no identifica con certeza jurídica quién habla, no garantiza nombres propios ni convierte automáticamente una conversación en un acta aprobada. Ruido, solapamiento, acentos, micrófono, vocabulario y compresión afectan al resultado. Una canalización profesional conserva el audio o los segmentos necesarios para revisar las partes dudosas.

Preparar Python, FFmpeg y un entorno aislado

La implementación oficial utiliza Python y necesita FFmpeg para leer formatos de audio. Crea un entorno virtual por proyecto. Instala primero PyTorch con la variante adecuada para tu sistema y acelerador, y después Whisper. Las instrucciones de PyTorch cambian según plataforma; no copies un comando CUDA de otro equipo sin comprobarlo.

python -m venv .venv

# Linux o macOS
source .venv/bin/activate

# Windows PowerShell
.venv\Scripts\Activate.ps1

python -m pip install --upgrade pip
pip install -U openai-whisper

Instala FFmpeg mediante el gestor de paquetes de tu sistema y comprueba ambos componentes:

ffmpeg -version
python -c "import whisper; print(whisper.available_models())"

1. Confirma el dispositivo. Verifica que PyTorch detecta CUDA cuando utilizas una GPU NVIDIA.
2. Descarga un modelo contenido. La primera ejecución guarda los pesos en la caché local.
3. Prueba un audio corto. Utiliza voz clara conocida y compara con una transcripción manual.
4. Registra versiones. Python, PyTorch, Whisper, controlador y modelo forman parte del resultado.
5. Bloquea red si se exige aislamiento. Después de descargar dependencias y pesos, prueba en una red sin salida.

No ejecutes archivos de audio no confiables con privilegios elevados. El flujo incluye decodificadores y dependencias. Utiliza un usuario limitado, actualizaciones y aislamiento para cargas externas.

Transcribir un archivo y conservar marcas temporales

La línea de comandos permite obtener varios formatos. Para una primera prueba en castellano, indica idioma cuando lo conoces y solicita una salida que conserve segmentos.

whisper reunion.m4a \
  --model small \
  --language Spanish \
  --task transcribe \
  --output_format all \
  --output_dir salida

La orden descarga el modelo si no existe, procesa el audio y crea archivos de texto y subtítulos. La etiqueta del modelo es un ejemplo de punto de partida; compara tamaños con tu audio, idioma y hardware.

Comprobaciones después de la primera ejecución

• El idioma detectado o indicado es correcto
• La duración de los segmentos cubre todo el audio útil
• Nombres, cifras y referencias se comparan con el audio
• Los silencios no generan texto inventado
• Las marcas temporales permiten volver al fragmento
• El proceso utiliza la GPU prevista
• El tiempo y la memoria quedan registrados

Uso desde Python

import whisper

model = whisper.load_model("small")
result = model.transcribe(
    "reunion.m4a",
    language="es",
    task="transcribe",
    verbose=False,
)

for segment in result["segments"]:
    print(segment["start"], segment["end"], segment["text"])

Valida rutas, tamaño y tipo de archivo antes de procesar. En un servicio, no aceptes una ruta proporcionada directamente por el usuario; utiliza identificadores internos y una carpeta aislada.

Elegir tamaño por idioma, precisión, velocidad y volumen

La familia ofrece varios tamaños con un compromiso entre memoria, velocidad y exactitud. Los modelos pequeños permiten iterar y procesar en CPU con más facilidad; los mayores suelen mejorar en audio difícil a cambio de recursos. La variante turbo prioriza inferencia, pero debe compararse con la opción de mayor calidad sobre tu muestra.

No elijas únicamente por WER promedio. Clasifica errores: nombres de clientes, referencias, cantidades, negaciones, términos técnicos y cambios de hablante. Un modelo más rápido que altera una cifra puede ser inaceptable.

Mejorar la entrada antes de aumentar el modelo

La calidad del micrófono y la separación entre voz y ruido pueden aportar más que cambiar de modelo. Conserva el original y crea una copia normalizada para el proceso.

1. Convierte a un formato estable. PCM mono y una frecuencia apropiada eliminan variaciones del contenedor.
2. Normaliza sin saturar. Eleva voz baja con cuidado y evita recortar picos.
3. Detecta silencio. Divide grabaciones largas en segmentos con contexto suficiente.
4. Evita cortes dentro de una palabra. Añade un pequeño solapamiento y combina resultados por tiempo.
5. Identifica canales. Si cada participante está en un canal, transcribelos por separado antes de mezclarlos.
6. Conserva metadatos. Fuente, duración, idioma, consentimiento y responsable.

ffmpeg -i reunion.m4a \
  -ac 1 -ar 16000 \
  -c:a pcm_s16le \
  reunion-normalizada.wav

La normalización no repara una señal ausente. Para reuniones importantes, mejora la captación: micrófonos cercanos, menos reverberación y canales separados.

Combinar transcripción y diarización sin afirmar identidades no verificadas

Whisper produce texto y segmentos; la diarización suele requerir un componente adicional. El resultado habitual es «Hablante A», «Hablante B» y turnos temporales. Asociar esos turnos a nombres requiere una fuente fiable o revisión humana.

Audio → VAD → diarización → segmentos por hablante
      → Whisper → texto con tiempo → alineación → revisión

De la transcripción al acta

Genera decisiones, tareas y preguntas como una segunda fase. Cada elemento debe enlazar a uno o más segmentos. El revisor confirma responsable, compromiso y cualquier cifra. La IA local puede redactar; no convierte automáticamente la conversación en un acuerdo formal.

Procesar una carpeta o cola sin perder archivos ni duplicar trabajos

1. Recibe el archivo en una carpeta de entrada sin ejecución.
2. Calcula hash y crea un identificador idempotente.
3. Valida formato, duración, tamaño y antivirus cuando corresponde.
4. Normaliza el audio y guarda la copia temporal.
5. Encola la transcripción con modelo e idioma.
6. Guarda texto, segmentos, métricas y estado.
7. Ejecuta resumen o extracción en una segunda cola.
8. Notifica al revisor y aplica retención a audio y temporales.

Separa trabajos interactivos de lotes largos. Limita número de audios simultáneos y memoria. Un proceso que falla debe reanudarse desde un estado conocido, no comenzar indefinidamente desde cero.

Definir consentimiento, acceso, retención y finalidad antes de grabar

El audio puede contener datos personales, información confidencial y voces de terceros. Ejecutarlo en local reduce transferencias, pero no elimina obligaciones. Informa de la grabación, limita usuarios, cifra almacenamiento cuando corresponda y define cuándo se borran audio, transcripción, resumen y copias.

• Finalidad y base revisadas
• Información a participantes antes de grabar
• Acceso por reunión, proyecto o grupo
• Audio original separado de la salida de trabajo
• Revisión de nombres, cifras y decisiones
• Retención independiente para audio y texto
• Procedimiento de corrección y borrado
• Sin entrenamiento posterior con reuniones salvo análisis específico

No utilices la diarización para identificar personas por voz sin un análisis específico. Separar turnos y reconocer una identidad son finalidades y riesgos diferentes.

Amplía los controles en IA local y RGPD.

Dimensionar por horas de audio, modelo y plazo de entrega

Los modelos de voz caben en GPUs más pequeñas que muchos LLM, por lo que DGX Spark no es el punto de partida automático. Una GPU NVIDIA discreta suele ofrecer el mejor rendimiento cuando el modelo cabe. Spark aporta valor cuando comparte infraestructura con modelos grandes, RAG o varias cargas que necesitan memoria amplia.

Entrega para dimensionar: horas de audio al día, pico, idiomas, modelo aprobado, factor de tiempo real objetivo, diarización, resumen, retención y número de trabajos simultáneos.

Integrar la transcripción en un flujo completo