Curso de OWASP GenAI Security

Dia 1: Fundamentos e Ameaças Principais

Módulo 1: Introdução ao Projeto OWASP GenAI Security (1 hora)

Objetivos de Aprendizagem:

• Compreender a evolução dos OWASP Top 10 para desafios de segurança específicos de GenAI
• Explorar o ecossistema e os recursos do Projeto OWASP GenAI Security
• Identificar as principais diferenças entre a segurança de aplicações tradicional e a segurança da IA

Temas Abarcados:

• Visão geral da missão e do âmbito do Projeto OWASP GenAI Security
• Introdução ao quadro Threat Defense COMPASS
• Compreensão do panorama da segurança da IA e dos requisitos regulatórios
• Superfícies de ataque da IA vs vulnerabilidades de aplicações web tradicionais

Exercício Prático: Configuração da ferramenta OWASP Threat Defense COMPASS e realização de uma avaliação inicial de ameaças

Módulo 2: OWASP Top 10 para LLMs - Parte 1 (2.5 horas)

Objetivos de Aprendizagem:

• Dominar as cinco vulnerabilidades críticas de LLMs
• Compreender os vetores de ataque e as técnicas de exploração
• Aplicar estratégias práticas de mitigação

Temas Abarcados:

LLM01: Injeção de Prompts

• Técnicas de injeção de prompts direta e indireta
• Ataques de instruções ocultas e contaminação entre prompts
• Exemplos práticos: jailbreaking de chatbots e contornar medidas de segurança
• Estratégias de defesa: sanitização de entrada, filtragem de prompts, privacidade diferencial

LLM02: Divulgação de Informações Sensíveis

• Extração de dados de treino e fuga de prompts do sistema
• Análise do comportamento do modelo para exposição de informação sensível
• Implicações de privacidade e considerações de conformidade regulatória
• Mitigação: filtragem de saída, controlos de acesso, anonimização de dados

LLM03: Vulnerabilidades na Cadeia de Fornecimento

• Dependências de modelos de terceiros e segurança de plugins
• Conjuntos de dados de treino comprometidos e envenenamento de modelos
• Avaliação de risco do fornecedor para componentes de IA
• Práticas de implementação e verificação seguras de modelos

Exercício Prático: Laboratório prático demonstrando ataques de injeção de prompts contra aplicações LLM vulneráveis e implementação de medidas defensivas

Módulo 3: OWASP Top 10 para LLMs - Parte 2 (2 horas)

Temas Abarcados:

LLM04: Envenenamento de Dados e Modelos

• Técnicas de manipulação de dados de treino
• Modificação do comportamento do modelo através de entradas envenenadas
• Ataques de porta dos fundos (backdoors) e verificação da integridade dos dados
• Prevenção: pipelines de validação de dados, rastreabilidade de origem

LLM05: Processamento Inadequado da Saída

• Processamento inseguro de conteúdo gerado por LLMs
• Injeção de código através de saídas geradas por IA
• Scripting entre sítios (XSS) via respostas de IA
• Quadros de validação e sanitização de saída

Exercício Prático: Simulação de ataques de envenenamento de dados e implementação de mecanismos robustos de validação de saída

Módulo 4: Ameaças Avançadas de LLMs (1.5 horas)

Temas Abarcados:

LLM06: Agência Excessiva

• Riscos de tomada de decisão autônoma e violação de limites
• Gestão de autoridade e permissões de agentes
• Interações de sistema não intencionais e escalada de privilégios
• Implementação de limitações (guardrails) e controlos de supervisão humana

LLM07: Fuga de Prompts do Sistema

• Vulnerabilidades de exposição de instruções do sistema
• Divulgação de credenciais e lógica através de prompts
• Técnicas de ataque para extrair prompts do sistema
• Proteção de instruções do sistema e configuração externa

Exercício Prático: Projeto de arquiteturas de agentes seguras com controlos de acesso e monitorização adequados

Dia 2: Ameaças Avançadas e Implementação

Módulo 5: Ameaças Emergentes de IA (2 horas)

Objetivos de Aprendizagem:

• Compreender ameaças de segurança de IA de última geração
• Implementar técnicas avançadas de deteção e prevenção
• Projetar sistemas de IA resilientes contra ataques sofisticados

Temas Abarcados:

LLM08: Fraquezas em Vetores e Incorporações (Embeddings)

• Vulnerabilidades em sistemas RAG e segurança de bases de dados vetoriais
• Ataques de envenenamento de incorporações e manipulação de similaridade
• Exemplos adversariais em pesquisa semântica
• Proteção de repositórios vetoriais e implementação de deteção de anomalias

LLM09: Desinformação e Fiabilidade do Modelo

• Deteção e mitigação de alucinações
• Amplificação de enviesamentos (bias) e considerações de equidade
• Mecanismos de verificação de factos e validação de fontes
• Validação de conteúdo e integração de supervisão humana

LLM10: Consumo Sem Limites

• Esgotamento de recursos e ataques de negação de serviço
• Estratégias de limitação de taxa e gestão de recursos
• Otimização de custos e controlos orçamentais
• Sistemas de monitorização de desempenho e alertas

Exercício Prático: Construção de um pipeline RAG seguro com proteção da base de dados vetorial e deteção de alucinações

Módulo 6: Segurança de IA Agentic (2 horas)

Objetivos de Aprendizagem:

• Compreender os desafios únicos de segurança dos agentes de IA autônomos
• Aplicar a taxonomia OWASP Agentic AI a sistemas do mundo real
• Implementar controlos de segurança para ambientes multi-agente

Temas Abarcados:

• Introdução à IA Agentic e sistemas autônomos
• Taxonomia de Ameaças OWASP Agentic AI: Design do Agente, Memória, Planeamento, Uso de Ferramentas, Implementação
• Segurança de sistemas multi-agente e riscos de coordenação
• Ataques de mau uso de ferramentas, envenenamento de memória e sequestro de objetivos
• Proteção da comunicação e dos processos de tomada de decisão dos agentes

Exercício Prático: Exercício de modelação de ameaças utilizando a taxonomia OWASP Agentic AI num sistema de serviço ao cliente multi-agente

Módulo 7: Implementação do OWASP Threat Defense COMPASS (2 horas)

Objetivos de Aprendizagem:

• Dominar a aplicação prática do Threat Defense COMPASS
• Integrar a avaliação de ameaças à IA nos programas de segurança organizacionais
• Desenvolver estratégias abrangentes de gestão de riscos de IA

Temas Abarcados:

• Análise aprofundada da metodologia Threat Defense COMPASS
• Integração do Loop OODA: Observar, Orientar, Decidir, Agir
• Mapeamento de ameaças para os quadros MITRE ATT&CK e ATLAS
• Construção de Painéis de Estratégia de Resiliência a Ameaças de IA
• Integração com ferramentas e processos de segurança existentes

Exercício Prático: Avaliação completa de ameaças utilizando o COMPASS para um cenário de implementação do Microsoft Copilot

Módulo 8: Implementação Prática e Boas Práticas (2.5 horas)

Objetivos de Aprendizagem:

• Projetar arquiteturas de IA seguras desde o início
• Implementar monitorização e resposta a incidentes para sistemas de IA
• Criar quadros de governança para segurança de IA

Temas Abarcados:

Ciclo de Vida de Desenvolvimento Seguro de IA:

• Princípios de segurança por design para aplicações de IA
• Práticas de revisão de código para integrações de LLMs
• Metodologias de teste e varrimento de vulnerabilidades
• Segurança da implementação e endurecimento (hardening) em produção

Monitorização e Deteção:

• Requisitos de registo (logging) e monitorização específicos para IA
• Deteção de anomalias para sistemas de IA
• Procedimentos de resposta a incidentes para eventos de segurança de IA
• Técnicas de forense e investigação

Governança e Conformidade:

• Quadros e políticas de gestão de riscos de IA
• Considerações de conformidade regulatória (RGPD, AI Act, etc.)
• Avaliação de risco de terceiros para fornecedores de IA
• Formação de sensibilização para segurança para equipas de desenvolvimento de IA

Exercício Prático: Projeto de uma arquitetura de segurança completa para um chatbot de IA empresarial, incluindo monitorização, governança e procedimentos de resposta a incidentes

Módulo 9: Ferramentas e Tecnologias (1 hora)

Objetivos de Aprendizagem:

• Avaliar e implementar ferramentas de segurança de IA
• Compreender o panorama atual das soluções de segurança de IA
• Construir capacidades práticas de deteção e prevenção

Temas Abarcados:

• Ecossistema de ferramentas de segurança de IA e panorama de fornecedores
• Ferramentas de segurança open-source: Garak, PyRIT, Giskard
• Soluções comerciais para segurança e monitorização de IA
• Padrões de integração e estratégias de implementação
• Critérios de seleção de ferramentas e quadros de avaliação

Exercício Prático: Demonstração prática de ferramentas de teste de segurança de IA e planeamento de implementação

Módulo 10: Tendências Futuras e Encerramento (1 hora)

Objetivos de Aprendizagem:

• Compreender ameaças emergentes e desafios futuros de segurança
• Desenvolver estratégias de aprendizagem e melhoria contínuas
• Criar planos de ação para programas de segurança de IA organizacionais

Temas Abarcados:

• Ameaças emergentes: Deepfakes, injeção avançada de prompts, inversão de modelos
• Desenvolimentos futuros e roteiro do projeto OWASP GenAI
• Construção de comunidades de segurança de IA e partilha de conhecimento
• Melhoria contínua e integração de inteligência de ameaças

Exercício de Planeamento de Ação: Desenvolvimento de um plano de ação de 90 dias para implementar práticas de segurança OWASP GenAI nas organizações dos participantes