Curso de Segurança do OWASP GenAI

Dia 1: Fundamentos e Ameaças Principais

Módulo 1: Introdução ao Projeto OWASP GenAI Security (1 hora)

Objetivos de Aprendizado:

• Compreender a evolução do OWASP Top 10 para os desafios de segurança específicos da IA generativa.
• Explorar o ecossistema e os recursos do Projeto OWASP GenAI Security.
• Identificar as principais diferenças entre a segurança tradicional de aplicações e a segurança de IA.

Tópicos Abordados:

• Panorama geral da missão e do escopo do Projeto OWASP GenAI Security.
• Introdução ao framework Threat Defense COMPASS.
• Compreensão do cenário de segurança de IA e dos requisitos regulatórios.
• Superfícies de ataque de IA versus vulnerabilidades tradicionais de aplicações web.

Exercício Prático: Configuração da ferramenta OWASP Threat Defense COMPASS e realização de uma avaliação inicial de ameaças.

Módulo 2: OWASP Top 10 para LLMs - Parte 1 (2,5 horas)

Objetivos de Aprendizado:

• Dominar as cinco vulnerabilidades críticas dos LLMs.
• Compreender vetores de ataque e técnicas de exploração.
• Aplicar estratégias práticas de mitigação.

Tópicos Abordados:

LLM01: Injeção de Prompt (Prompt Injection)

• Técnicas de injeção direta e indireta de prompts.
• Ataques com instruções ocultas e contaminação cruzada de prompts.
• Exemplos práticos: Jailbreaking de chatbots e burlar medidas de segurança.
• Estratégias de defesa: Sanitização de entrada, filtragem de prompts, privacidade diferencial.

LLM02: Divulgação de Informações Sensíveis

• Extração de dados de treinamento e vazamento do prompt do sistema.
• Análise do comportamento do modelo para exposição de informações sensíveis.
• Implicações de privacidade e considerações de conformidade regulatória.
• Mitigação: Filtragem de saída, controles de acesso, anonimização de dados.

LLM03: Vulnerabilidades da Cadeia de Suprimentos

• Dependências de modelos de terceiros e segurança de plugins.
• Datasets de treinamento comprometidos e envenenamento de modelos (model poisoning).
• Avaliação de riscos de fornecedores para componentes de IA.
• Práticas de implantação segura de modelos e verificação.

Exercício Prático: Laboratório prático demonstrando ataques de injeção de prompt contra aplicações LLM vulneráveis e implementação de medidas defensivas.

Módulo 3: OWASP Top 10 para LLMs - Parte 2 (2 horas)

Tópicos Abordados:

LLM04: Envenenamento de Dados e Modelos

• Técnicas de manipulação de dados de treinamento.
• Modificação do comportamento do modelo por meio de entradas envenenadas.
• Ataques de porta dos fundos (backdoor) e verificação da integridade dos dados.
• Prevenção: Pipelines de validação de dados, rastreamento de proveniência.

LLM05: Manipulação Inadequada de Saídas (Improper Output Handling)

• Processamento inseguro de conteúdo gerado por LLMs.
• Injeção de código por meio de saídas geradas por IA.
• Cross-site scripting (XSS) por meio de respostas da IA.
• Frameworks de validação e sanitização de saída.

Exercício Prático: Simulação de ataques de envenenamento de dados e implementação de mecanismos robustos de validação de saída.

Módulo 4: Ameaças Avançadas de LLM (1,5 horas)

Tópicos Abordados:

LLM06: Agência Excessiva (Excessive Agency)

• Riscos de tomada de decisão autônoma e violação de limites.
• Gestão de autoridade e permissões de agentes.
• Interações não intencionais com o sistema e escalada de privilégios.
• Implementação de barreiras de segurança (guardrails) e controles de supervisão humana.

LLM07: Vazamento do Prompt do Sistema

• Vulnerabilidades na exposição de instruções do sistema.
• Divulgação de credenciais e lógica por meio de prompts.
• Técnicas de ataque para extrair prompts do sistema.
• Proteção de instruções do sistema e configurações externas.

Exercício Prático: Design de arquiteturas de agentes seguras com controles de acesso e monitoramento adequados.

Dia 2: Ameaças Avançadas e Implementação

Módulo 5: Ameaças Emergentes de IA (2 horas)

Objetivos de Aprendizado:

• Compreender ameaças avançadas de segurança de IA.
• Implementar técnicas avançadas de detecção e prevenção.
• Projetar sistemas de IA resilientes contra ataques sofisticados.

Tópicos Abordados:

LLM08: Fraquezas em Vetores e Embeddings

• Vulnerabilidades de sistemas RAG e segurança de bancos de dados vetoriais.
• Envenenamento de embeddings e ataques de manipulação de similaridade.
• Exemplos adversariais em buscas semânticas.
• Proteção de repositórios vetoriais e implementação de detecção de anomalias.

LLM09: Desinformação e Confiabilidade do Modelo

• Deteção e mitigação de alucinações.
• Amplificação de viés e considerações de justiça (fairness).
• Mecanismos de verificação de fatos e confirmação de fontes.
• Validação de conteúdo e integração de supervisão humana.

LLM10: Consumo Descontrolado (Unbounded Consumption)

• Esgotamento de recursos e ataques de negação de serviço (DoS).
• Estratégias de limitação de taxa e gestão de recursos.
• Otimização de custos e controles de orçamento.
• Sistemas de monitoramento de desempenho e alertas.

Exercício Prático: Construção de um pipeline RAG seguro com proteção de banco de dados vetorial e detecção de alucinações.

Módulo 6: Segurança de IA Agente (2 horas)

Objetivos de Aprendizado:

• Compreender os desafios únicos de segurança de agentes de IA autônomos.
• Aplicar a taxonomia OWASP Agentic AI em sistemas do mundo real.
• Implementar controles de segurança para ambientes multi-agente.

Tópicos Abordados:

• Introdução à IA Agente e sistemas autônomos.
• Taxonomia de Ameaças OWASP Agentic AI: Design do Agente, Memória, Planejamento, Uso de Ferramentas, Implantação.
• Riscos de segurança e coordenação em sistemas multi-agente.
• Ataques de mau uso de ferramentas, envenenamento de memória e sequestro de objetivos (goal hijacking).
• Proteção da comunicação entre agentes e dos processos de tomada de decisão.

Exercício Prático: Exercício de modelagem de ameaças usando a taxonomia OWASP Agentic AI em um sistema multi-agente de atendimento ao cliente.

Módulo 7: Implementação do OWASP Threat Defense COMPASS (2 horas)

Objetivos de Aprendizado:

• Dominar a aplicação prática do Threat Defense COMPASS.
• Integrar a avaliação de ameaças de IA nos programas de segurança organizacionais.
• Desenvolver estratégias abrangentes de gestão de riscos de IA.

Tópicos Abordados:

• Análise aprofundada da metodologia Threat Defense COMPASS.
• Integração do ciclo OODA (Observe, Orient, Decide, Act): Observar, Orientar, Decidir, Agir.
• Mapeamento de ameaças para os frameworks MITRE ATT&CK e ATLAS.
• Criação de painéis estratégicos de Resiliência a Ameaças de IA.
• Integração com ferramentas e processos de segurança existentes.

Exercício Prático: Avaliação completa de ameaças usando o COMPASS para um cenário de implantação do Microsoft Copilot.

Módulo 8: Implementação Prática e Melhores Práticas (2,5 horas)

Objetivos de Aprendizado:

• Projetar arquiteturas seguras de IA desde a base.
• Implementar monitoramento e resposta a incidentes para sistemas de IA.
• Criar estruturas de governança para a segurança da IA.

Tópicos Abordados:

Ciclo de Vida de Desenvolvimento Seguro de IA:

• Princípios de segurança por design para aplicações de IA.
• Práticas de revisão de código para integrações de LLMs.
• Metodologias de teste e varredura de vulnerabilidades.
• Segurança na implantação e endurecimento (hardening) da produção.

Monitoramento e Detecção:

• Requisitos de logging e monitoramento específicos para IA.
• Detecção de anomalias em sistemas de IA.
• Procedimentos de resposta a incidentes para eventos de segurança da IA.
• Técnicas de forense e investigação.

Governança e Conformidade:

• Estruturas e políticas de gestão de riscos de IA.
• Considerações de conformidade regulatória (GDPR, AI Act, etc.).
• Avaliação de riscos de terceiros para fornecedores de IA.
• Treinamento de conscientização sobre segurança para equipes de desenvolvimento de IA.

Exercício Prático: Projetar uma arquitetura de segurança completa para um chatbot corporativo de IA, incluindo monitoramento, governança e procedimentos de resposta a incidentes.

Módulo 9: Ferramentas e Tecnologias (1 hora)

Objetivos de Aprendizado:

• Avaliar e implementar ferramentas de segurança de IA.
• Compreender o cenário atual de soluções de segurança de IA.
• Desenvolver capacidades práticas de detecção e prevenção.

Tópicos Abordados:

• Ecossistema de ferramentas de segurança de IA e cenário de fornecedores.
• Ferramentas de código aberto: Garak, PyRIT, Giskard.
• Soluções comerciais para segurança e monitoramento de IA.
• Padrões de integração e estratégias de implantação.
• Critérios de seleção de ferramentas e frameworks de avaliação.

Exercício Prático: Demonstração prática de ferramentas de teste de segurança de IA e planejamento de implementação.

Módulo 10: Tendências Futuras e Encerramento (1 hora)

Objetivos de Aprendizado:

• Compreender ameaças emergentes e desafios futuros de segurança.
• Desenvolver estratégias de aprendizado contínuo e melhoria.
• Criar planos de ação para programas de segurança de IA organizacionais.

Tópicos Abordados:

• Ameaças emergentes: Deepfakes, injeção avançada de prompts, inversão de modelos.
• Desenvimentos futuros do projeto OWASP GenAI e roteiro (roadmap).
• Construção de comunidades de segurança de IA e compartilhamento de conhecimento.
• Melhoria contínua e integração de inteligência de ameaças.

Exercício de Planejamento de Ação: Desenvolver um plano de ação de 90 dias para implementar práticas de segurança OWASP GenAI nas organizações dos participantes.