Programa del Curso

Introducción a la Afinación Eficiente de Parámetros (PEFT)

  • Motivación y limitaciones de la afinación completa
  • Visión general de PEFT: objetivos y beneficios
  • Aplicaciones y casos de uso en la industria

LoRA (Adaptación de Rango Bajo)

  • Concepto e intuición detrás de LoRA
  • Implementación de LoRA usando Hugging Face y PyTorch
  • Práctica: Afinamiento de un modelo con LoRA

Afinado con Adaptadores

  • Cómo funcionan los módulos adaptador
  • Integración con modelos basados en transformadores
  • Práctica: Aplicando Afinado con Adaptadores a un modelo de transformador

Afinado con Prefijos

  • Uso de prompts suaves para el afinamiento
  • Ventajas y limitaciones en comparación con LoRA y adaptadores
  • Práctica: Afinado con Prefijos en una tarea de LLM

Evaluación y Comparación de Métodos PEFT

  • Métricas para evaluar el rendimiento y la eficiencia
  • Compromisos en velocidad de entrenamiento, uso de memoria y precisión
  • Experimentos de benchmarking e interpretación de resultados

Implementación de Modelos Afinados

  • Guardado y carga de modelos afinados
  • Consideraciones de implementación para modelos basados en PEFT
  • Integración en aplicaciones y pipelines

Prácticas Recomendadas y Extensiones

  • Combinación de PEFT con cuantización y distilación
  • Uso en entornos de recursos limitados y multilingües
  • Direcciones futuras y áreas de investigación activa

Resumen y Próximos Pasos

Requerimientos

  • Comprensión de los fundamentos del aprendizaje automático
  • Experiencia trabajando con modelos de lenguaje grandes (LLMs)
  • Familiaridad con Python y PyTorch

Publido objetivo

  • Científicos de datos
  • Ingenieros de IA
 14 Horas

Número de participantes


Precio por Participante​

Próximos cursos

Categorías Relacionadas