Programa do Curso

Introdução ao Red Teaming de IA

  • Compreendendo o cenário de ameaças da IA
  • Papéis das equipes vermelhas na segurança de IA
  • Considerações éticas e legais

Adversarial Machine Learning

  • Tipos de ataques: evasão, envenenamento, extração, inferência
  • Geração de exemplos adversariais (por exemplo, FGSM, PGD)
  • Ataques direcionados vs não direcionados e métricas de sucesso

Testando a Robustez do Modelo

  • Avaliando robustez sob perturbações
  • Explorando cegos e modos de falha dos modelos
  • Testes de estresse em modelos de classificação, visão e NLP

Red Teaming Pipelines de IA

  • Superfície de ataque das pipelines de IA: dados, modelo, implantação
  • Explorando APIs e pontos finais do modelo inseguros
  • Inversão de engenharia do comportamento e saídas do modelo

Simulação e Ferramentas

  • Usando a Adversarial Robustness Toolbox (ART)
  • Red teaming com ferramentas como TextAttack e IBM ART
  • Ferramentas de sandbox, monitoramento e observabilidade

Estratégia e Defesa da Equipe Vermelha de IA Collaboration

  • Desenvolvendo exercícios e objetivos da equipe vermelha
  • Comunicando achados para equipes azuis
  • Incorporando red teaming no gerenciamento de riscos de IA

Resumo e Próximos Passos

Requisitos

  • Compreensão das arquiteturas de aprendizado de máquina e aprendizado profundo
  • Experiência com Python e frameworks de ML (por exemplo, TensorFlow, PyTorch)
  • Familiaridade com conceitos de cibersegurança ou técnicas de segurança ofensiva

Público-alvo

  • pesquisadores de segurança
  • equipes de segurança ofensiva
  • profissionais de garantia de AI e red team
 14 Horas

Próximas Formações Provisórias

Categorias Relacionadas