Programa do Curso

Introdução ao Red Teaming de IA

  • Compreendendo a ameaça no cenário da IA
  • Papéis das equipes red team na segurança de IA
  • Considerações éticas e legais

Aprendizado de Máquina Adversário

  • Tipos de ataques: evasão, envenenamento, extração, inferência
  • Gerando exemplos adversários (por exemplo, FGSM, PGD)
  • Ataques direcionados vs. não direcionados e métricas de sucesso

Testando a Robustez do Modelo

  • Avaliando a robustez sob perturbações
  • Explorando cegueiras e modos de falha do modelo
  • Testes de estresse em modelos de classificação, visão e NLP

Red Teaming de Pipelines de IA

  • Superfície de ataque dos pipelines de IA: dados, modelo, implantação
  • Explorando APIs e endpoints de modelos inseguros
  • Engenharia reversa do comportamento e saídas do modelo

Simulação e Ferramentas

  • Usando a Adversarial Robustness Toolbox (ART)
  • Red teaming com ferramentas como TextAttack e IBM ART
  • Ferramentas de sandbox, monitoramento e observabilidade

Estratégia de Red Team de IA e Colaboração com a Defesa

  • Desenvolvendo exercícios e objetivos de red team
  • Comunicando descobertas para equipes blue team
  • Integrando red teaming na gestão de riscos de IA

Resumo e Próximos Passos

Requisitos

  • Compreensão de arquiteturas de aprendizado de máquina e deep learning
  • Experiência com Python e frameworks de ML (por exemplo, TensorFlow, PyTorch)
  • Familiaridade com conceitos de cibersegurança ou técnicas de segurança ofensiva

Público-Alvo

  • Pesquisadores de segurança
  • Equipes de segurança ofensiva
  • Profissionais de garantia e red team de IA
 14 Horas

Próximas Formações Provisórias

Categorias Relacionadas