Cursos de AI Security en Columbia

Esta formación en vivo dirigida por un instructor en Columbia (en línea o presencial) está destinada a líderes empresariales de nivel intermedio que desean comprender cómo gobernar y asegurar sistemas de IA responsablemente y de conformidad con los marcos globales emergentes como el Reglamento UE sobre IA, GDPR, ISO/IEC 42001 y la Orden Ejecutiva de EE. UU. sobre IA. Al finalizar esta formación, los participantes podrán:

• Comprender los riesgos legales, éticos y regulatorios del uso de IA en diferentes departamentos.
• Interpretar y aplicar marcos principales de gobernanza de IA (Reglamento UE sobre IA, Marco de Gestión de Riesgos de AI de NIST, ISO/IEC 42001).
• Establecer políticas de seguridad, auditoría y supervisión para la implementación de IA en la empresa.
• Desarrollar directrices de adquisición y uso para sistemas de IA de terceros y internos.

Esta formación en vivo dirigida por un instructor en Columbia (en línea o presencial) está destinada a desarrolladores, arquitectos e instructores de productos intermedios y avanzados que desean identificar y mitigar los riesgos asociados con las aplicaciones impulsadas por LLM, incluyendo inyección de prompts, filtración de datos y salida no filtrada, mientras incorporan controles de seguridad como validación de entrada, supervisión humana en el ciclo (human-in-the-loop) y barreras de salida. Al finalizar esta formación, los participantes podrán:

• Comprender las vulnerabilidades principales de sistemas basados en LLM.
• Aplicar principios de diseño seguro a la arquitectura de aplicaciones LLM.
• Usar herramientas como Guardrails AI y LangChain para validación, filtrado y seguridad.
• Integrar técnicas como sandboxing, red teaming y revisión humana en el ciclo (human-in-the-loop) en pipelines de producción.

Descripción general de la arquitectura LLM y superficie de ataque

• Cómo se construyen, implementan y acceden a los LLM mediante APIs
• Componentes clave en pilas de aplicaciones LLM (por ejemplo, prompts, agentes, memoria, APIs)
• Dónde y cómo surgen problemas de seguridad en el uso real

Inyección de Prompts y Ataques de Escape

• Qué es la inyección de prompts y por qué es peligrosa
• Casos directos e indirectos de inyección de prompts
• Técnicas de escape para eludir filtros de seguridad
• Estrategias de detección y mitigación

Filtración de Datos y Riesgos a la Privacidad

• Exposición accidental de datos a través de respuestas
• Vulnerabilidades de PII y uso indebido de memoria del modelo
• Diseño de prompts conscientes de la privacidad y generación aumentada por recuperación (RAG)

Filtrado y Protección de Salida LLM

• Uso de Guardrails AI para filtrado y validación de contenido
• Definición de esquemas y restricciones de salida
• Monitoreo y registro de salidas inseguras

Supervisión Humana en el Ciclo (Human-in-the-Loop) y Enfoques de Flujo de Trabajo

• Dónde y cuándo introducir supervisión humana
• Colas de aprobación, umbrales de puntuación, manejo de respaldos
• Calibración de confianza y papel de la explicabilidad

Aplicaciones LLM Seguras Design Patterns

• Mínimos privilegios y sandboxing para llamadas a API y agentes
• Límites de velocidad, trottling y detección de abuso
• Cadenas robustas con LangChain y aislamiento de prompts

Compliance, Registro e Governance

• Asegurar la auditoría de las salidas LLM
• Mantener trazabilidad y control de versiones del prompt
• Alinear con políticas internas de seguridad y necesidades regulatorias

Resumen y Próximos Pasos La seguridad de aplicaciones LLM es la disciplina de diseñar, construir y mantener sistemas seguros, confiables y acordes a las políticas utilizando modelos de lenguaje grandes. Esta formación en vivo dirigida por un instructor (en línea o presencial) está destinada a desarrolladores, arquitectos e instructores de productos intermedios y avanzados que desean identificar y mitigar los riesgos asociados con las aplicaciones impulsadas por LLM, incluyendo inyección de prompts, filtración de datos y salida no filtrada, mientras incorporan controles de seguridad como validación de entrada, supervisión humana en el ciclo (human-in-the-loop) y barreras de salida. Al finalizar esta formación, los participantes podrán:

• Comprender las vulnerabilidades principales de sistemas basados en LLM.
• Aplicar principios de diseño seguro a la arquitectura de aplicaciones LLM.
• Usar herramientas como Guardrails AI y LangChain para validación, filtrado y seguridad.
• Integrar técnicas como sandboxing, red teaming y revisión humana en el ciclo (human-in-the-loop) en pipelines de producción.

Formato del Curso

• Conferencia interactiva y discusión.
• Muchos ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de Personalización del Curso

• Para solicitar una formación personalizada para este curso, por favor contáctenos para organizarlo.

Requisitos Previos

• Entendimiento de modelos de lenguaje grandes y interfaces basadas en prompts
• Experiencia construyendo aplicaciones LLM usando Python
• Familiaridad con integraciones API y despliegues basados en la nube

Audiencia

• Desarrolladores de IA
• Arquitectos de aplicaciones y soluciones
• Gestores técnicos de productos que trabajan con herramientas LLM

Esta formación en vivo dirigida por un instructor en Columbia (en línea o presencial) está destinada a profesionales de nivel intermedio en aprendizaje automático y ciberseguridad que desean comprender y mitigar las amenazas emergentes contra modelos de IA, utilizando tanto marcos conceptuales como defensas prácticas como el entrenamiento robusto y la privacidad diferencial. Al finalizar esta formación, los participantes podrán:

• Identificar y clasificar amenazas específicas de AI como ataques adversarios, inversión y envenenamiento.
• Utilizar herramientas como el Adversarial Robustness Toolbox (ART) para simular ataques y probar modelos.
• Aplicar defensas prácticas que incluyen entrenamiento adversario, inyección de ruido y técnicas de preservación de la privacidad.
• Diseñar estrategias de evaluación de modelos conscientes de amenazas en entornos de producción.

Introducción al Modelado de Amenazas para IA

• ¿Qué hace que los sistemas de AI sean vulnerables?
• Superficie de ataque de AI vs sistemas tradicionales
• Vectores de ataque clave: capas de datos, modelo, salida e interfaz

Ataques Adversarios en Modelos de IA

• Comprender ejemplos adversarios y técnicas de perturbación
• Ataques de caja blanca vs caja negra
• Métodos FGSM, PGD y DeepFool
• Visualización y creación de muestras adversarias

Inversión del Modelo y Fugas de Privacidad

• Inferir datos de entrenamiento a partir de la salida del modelo
• Ataques de inferencia de membresía
• Riesgos de privacidad en modelos de clasificación y generativos

Envenenamiento de Datos e Inyecciones de Puertas Traseras

• Cómo los datos envenenados influyen en el comportamiento del modelo
• Puertas traseras basadas en desencadenantes y ataques Troyano
• Estrategias de detección y saneamiento

Robustez y Técnicas Defensivas

• Entrenamiento adversario y aumento de datos
• Mascaramiento del gradiente y preprocesamiento de entrada
• Técnicas de suavizado y regularización del modelo

Defensas de AI que Preservan la Privacidad

• Introducción a la privacidad diferencial
• Inyección de ruido y presupuestos de privacidad
• Aprendizaje federado y agregación segura

AI Security en Práctica

• Evaluación y despliegue de modelos conscientes de amenazas
• Uso del ART (Adversarial Robustness Toolbox) en configuraciones aplicadas
• Casos de estudio de la industria: fugas reales y mitigaciones

Resumen y Próximos Pasos La seguridad de modelos de AI es la disciplina de defender sistemas de aprendizaje automático contra amenazas específicas del modelo, como entradas adversarias, envenenamiento de datos, ataques de inversión y fugas de privacidad. Esta formación en vivo dirigida por un instructor (en línea o presencial) está destinada a profesionales de nivel intermedio en aprendizaje automático y ciberseguridad que desean comprender y mitigar las amenazas emergentes contra modelos de AI, utilizando tanto marcos conceptuales como defensas prácticas como el entrenamiento robusto y la privacidad diferencial. Al finalizar esta formación, los participantes podrán:

• Identificar y clasificar amenazas específicas de AI como ataques adversarios, inversión y envenenamiento.
• Utilizar herramientas como el Adversarial Robustness Toolbox (ART) para simular ataques y probar modelos.
• Aplicar defensas prácticas que incluyen entrenamiento adversario, inyección de ruido y técnicas de preservación de la privacidad.
• Diseñar estrategias de evaluación de modelos conscientes de amenazas en entornos de producción.

Formato del Curso

• Conferencia interactiva y discusión.
• Muchos ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de Personalización del Curso

• Para solicitar una formación personalizada para este curso, por favor contáctenos para acordarlo.

Requisitos previos

• Comprensión de los flujos de trabajo del aprendizaje automático y el entrenamiento del modelo
• Experiencia con Python y marcos comunes de ML como PyTorch o TensorFlow
• Familiaridad con conceptos básicos de seguridad o modelado de amenazas es útil

Audiencia

• ingenieros de aprendizaje automático
• analistas de ciberseguridad
• investigadores de AI y equipos de validación del modelo

Esta formación en vivo dirigida por un instructor en Columbia (en línea o presencial) está destinada a profesionales principiantes de seguridad IT, riesgo y cumplimiento que desean comprender conceptos fundamentales de seguridad AI, vectores de amenaza y marcos globales como NIST AI RMF e ISO/IEC 42001.Al finalizar esta formación, los participantes podrán:

• Comprender los riesgos de seguridad únicos introducidos por los sistemas AI.
• Identificar vectores de amenaza como ataques adversarios, envenenamiento de datos y inversión de modelo.
• Aplicar modelos de gobernanza fundamentales como el Marco NIST AI Risk Management.
• Alinear el uso de AI con estándares emergentes, directrices de cumplimiento y principios éticos.