Programa del Curso

Introducción y Fundamentos Diagnósticos

  • Visión general de los modos de fallo en sistemas LLM y problemas específicos comunes de Ollama
  • Establecimiento de experimentos reproducibles y entornos controlados
  • Herramientas de depuración: registros locales, capturas de solicitudes/responses y aislamiento (sandboxing)

Reproducción e Isolación de Fallos

  • Técnicas para crear ejemplos fallidos mínimos y semillas
  • Interacciones con estado vs sin estado: aislar errores relacionados con el contexto
  • Determinismo, aleatoriedad y control del comportamiento no determinista

Evaluación de Comportamiento y Métricas

  • Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración e indicadores de perplexity
  • Evaluciones cualitativas: puntuación en bucle humano y diseño de rúbricas
  • Chequeos específicos del tarea y criterios de aceptación

Pruebas Automatizadas y Regresión

  • Pruebas unitarias para prompts y componentes, pruebas por escenario y end-to-end
  • Creación de suites de regresión y líneas base de ejemplos dorados (golden examples)
  • Integración CI/CD para actualizaciones del modelo Ollama y puertas de validación automatizadas

Observabilidad y Monitoreo

  • Registro estructurado, trazas distribuidas e IDs de correlación
  • Métricas operacionales clave: latencia, uso de tokens, tasas de error y señales de calidad
  • Alertas, paneles (dashboards) y SLIs/SLOs para servicios respaldados por modelos

Análisis de Causa Raíz Avanzado

  • Rastreo a través de prompts graficados, llamadas a herramientas y flujos multivuelta (multi-turn)
  • Diagnóstico comparativo A/B e investigaciones de ablation
  • Proveniencia de datos, depuración de conjuntos de datos y resolución de fallos inducidos por datasets

Seguridad, Robustez y Estrategias de Remediación

  • Mitigaciones: filtrado, anclaje (grounding), mejora de recuperación e infraestructura para prompts
  • Patrón de despliegue faseado con rollback y canary para actualizaciones del modelo
  • Post-mortems, lecciones aprendidas y bucles de mejora continua

Resumen y Próximos Pasos

Requerimientos

  • Experiencia sólida en la construcción y despliegue de aplicaciones LLM
  • Familiaridad con los flujos de trabajo de Ollama y el alojamiento de modelos
  • Comfort con Python, Docker y herramientas básicas de observabilidad

Público objetivo

  • Ingenieros de IA
  • Profesionales de ML Ops
  • Equipos de QA responsables de sistemas LLM en producción
 35 Horas

Número de participantes


Precio por Participante​

Próximos cursos

Categorías Relacionadas