Entrar em Contato

Programa do Curso

O Cenário de Ameaças de IA

  • Por que a segurança de IA é diferente: não-determinismo, raciocínio opaco e prompt como superfície de ataque.
  • Taxonomia de ataques: ataques no tempo de treinamento vs. inferência vs. cadeia de suprimentos.
  • O modelo do adversário de ML: quem ataca os sistemas de IA e por quê.

OWASP Top 10 para Aplicações LLM

  • Injeção de prompt: vetores de ataque diretos e indiretos.
  • Manipulação insegura de saída e falsificação de requisições entre plugins (cross-plugin request forgery).
  • Envenenamento dos dados de treinamento e vulnerabilidades da cadeia de suprimentos.
  • Dnegação de serviço do modelo, divulgação de informações sensíveis e agência excessiva.
  • Laboratório prático: explorando cada categoria do OWASP contra uma aplicação de teste.

Red Teaming de Injeção de Prompt e Jailbreak

  • Taxonomia das técnicas de injeção: direta, indireta, multi-turn (em várias rodadas) e multimodal.
  • Red teaming automatizado com Giskard, Garak e ferramentas de fuzzing personalizadas.
  • Classificação de jailbreak e avaliação de defesas.
  • Criação de um ambiente harness para red team visando testes contínuos de segurança de LLM.

Ataques e Defesas em Nível de Modelo

  • Extração de modelo: roubo dos pesos e funcionalidade do modelo por meio de consultas à API.
  • Inferência de associação: determinar se os dados estiveram no conjunto de treinamento.
  • Exemplos adversários: perturbações que enganam classificadores e embeddings.
  • Envenenamento de dados: corromper os dados de treinamento para induzir backdoors ou degradar o desempenho.

Controles de Segurança de Entrada e Saída

  • Sanitização de entrada além das defesas web tradicionais.
  • Filtragem de saída: toxicidade, vazamento de PII (informações pessoais identificáveis) e execução de código alucinada.
  • Guardrails como infraestrutura de segurança: NeMo, Guardrails AI e políticas personalizadas.
  • Aplicação rigorosa de saída estruturada como limite de segurança.

Segurança da Cadeia de Suprimentos de IA

  • Procedência do modelo: verificação da autenticidade e integridade do modelo.
  • Análise de dependências para frameworks de ML e formatos de modelo.
  • Servidorização segura de modelos: sandboxing, isolamento de rede e acesso de menor privilégio.
  • Avaliação de modelos finetuned (ajustados) e da comunidade quanto a malware embutido.

Segurança Operacional para Sistemas de IA

  • Controle de acesso para endpoints de modelo, stores vetoriais e ferramentas de agentes.
  • Registro de auditoria para cada interação e decisão do modelo.
  • Resposta a incidentes específicos da IA: quando o próprio modelo é comprometido.
  • Testes contínuos de segurança em CI/CD para pipelines de ML.

Construção de um Programa de Segurança de IA

  • Modelo de maturidade e roteiro para segurança de IA.
  • Integração da segurança de IA em programas existentes de AppSec e cloud security.
  • Estruturas de governança e regulamentações emergentes para sistemas de IA.
  • Criação e manutenção de um playbook organizacional de segurança de IA.

Requisitos

  • Experiência na implantação de modelos de ML ou aplicações LLM em produção.
  • Conhecimento dos conceitos de segurança, incluindo autenticação, autorização e modelagem de ameaças.
  • Proficiência em Python para exercícios de testes adversários.

Público-Alvo

  • Engenheiros de segurança que estão expandindo suas áreas para superfícies de ameaça de IA/ML.
  • Engenheiros de ML responsáveis pela segurança e robustez dos modelos.
  • Membros de red team que estão incluindo sistemas de IA em seu escopo de testes.
 14 Horas

Treinamento Corporativo Personalizado

Soluções de treinamento projetadas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, treinamento online ao vivo, a partir de 2600 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Próximas Formações Provisórias

Categorias Relacionadas