Programa do Curso

Introdução ao Red Teaming em IA

  • Compreendendo o cenário de ameaças da IA
  • Papéis das equipes vermelhas na segurança de IA
  • Considerações éticas e legais

Adversários Machine Learning

  • Tipos de ataques: evasão, envenenamento, extração, inferência
  • Gerando exemplos adversariais (por exemplo, FGSM, PGD)
  • Ataques direcionados vs não direcionados e métricas de sucesso

Teste da Robustez do Modelo

  • Avaliando robustez sob perturbações
  • Explorando pontos cegos e modos de falha dos modelos
  • Testes de estresse em modelos de classificação, visão e processamento de linguagem natural (NLP)

Red Teaming em Pipelines de IA

  • Superfície de ataque das pipelines de IA: dados, modelo, implantação
  • Explorando APIs e endpoints de modelos inseguros
  • Engenharia reversa do comportamento e saídas dos modelos

Simulação e Ferramentas

  • Utilizando a Adversarial Robustness Toolbox (ART)
  • Red teaming com ferramentas como TextAttack e IBM ART
  • Ferramentas de sandboxing, monitoramento e observabilidade

Estratégias e Defesas da Equipe Vermelha em IA Collaboration

  • Desenvolvendo exercícios e objetivos para equipes vermelhas
  • Comunicando descobertas às equipes azuis
  • Integrando red teaming no gerenciamento de riscos em IA

Resumo e Próximos Passos

Requisitos

  • Compreensão de aprendizado de máquina e arquiteturas de deep learning
  • Experiência com Python e frameworks de ML (por exemplo, TensorFlow, PyTorch)
  • Familiaridade com conceitos de cibersegurança ou técnicas de segurança ofensiva

Público-alvo

  • Pesquisadores em segurança
  • Equipes de segurança ofensiva
  • Profissionais de garantia de IA e equipes vermelhas
 14 Horas

Próximas Formações Provisórias

Categorias Relacionadas