Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Programa del Curso
Introducción y Fundamentos Diagnósticos
- Visión general de los modos de fallo en sistemas LLM y problemas específicos comunes de Ollama
- Establecimiento de experimentos reproducibles y entornos controlados
- Herramientas de depuración: registros locales, capturas de solicitudes/responses y aislamiento (sandboxing)
Reproducción e Isolación de Fallos
- Técnicas para crear ejemplos fallidos mínimos y semillas
- Interacciones con estado vs sin estado: aislar errores relacionados con el contexto
- Determinismo, aleatoriedad y control del comportamiento no determinista
Evaluación de Comportamiento y Métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración e indicadores de perplexity
- Evaluciones cualitativas: puntuación en bucle humano y diseño de rúbricas
- Chequeos específicos del tarea y criterios de aceptación
Pruebas Automatizadas y Regresión
- Pruebas unitarias para prompts y componentes, pruebas por escenario y end-to-end
- Creación de suites de regresión y líneas base de ejemplos dorados (golden examples)
- Integración CI/CD para actualizaciones del modelo Ollama y puertas de validación automatizadas
Observabilidad y Monitoreo
- Registro estructurado, trazas distribuidas e IDs de correlación
- Métricas operacionales clave: latencia, uso de tokens, tasas de error y señales de calidad
- Alertas, paneles (dashboards) y SLIs/SLOs para servicios respaldados por modelos
Análisis de Causa Raíz Avanzado
- Rastreo a través de prompts graficados, llamadas a herramientas y flujos multivuelta (multi-turn)
- Diagnóstico comparativo A/B e investigaciones de ablation
- Proveniencia de datos, depuración de conjuntos de datos y resolución de fallos inducidos por datasets
Seguridad, Robustez y Estrategias de Remediación
- Mitigaciones: filtrado, anclaje (grounding), mejora de recuperación e infraestructura para prompts
- Patrón de despliegue faseado con rollback y canary para actualizaciones del modelo
- Post-mortems, lecciones aprendidas y bucles de mejora continua
Resumen y Próximos Pasos
Requerimientos
- Experiencia sólida en la construcción y despliegue de aplicaciones LLM
- Familiaridad con los flujos de trabajo de Ollama y el alojamiento de modelos
- Comfort con Python, Docker y herramientas básicas de observabilidad
Público objetivo
- Ingenieros de IA
- Profesionales de ML Ops
- Equipos de QA responsables de sistemas LLM en producción
35 Horas