Programa do Curso
Módulo 1 — Como as Aplicações de IA Falham
Lab: nenhum — visita técnica à arquitetura e discussão
O modelo mental do construtor sobre a superfície de ataque.
Tópicos:
- Arquiteturas de LLM, RAG e agentes do lado do desenvolvedor
- O ciclo de vida da solicitação/resposta de um recurso de IA
- Fluxo de prompt: mensagens do sistema, do desenvolvedor, do usuário e das ferramentas
- Onde os dados não confiáveis entram (e reentram) no modelo
- Os limites de confiança que um desenvolvedor possui versus herda
- Por que os ataques de IA são semânticos, não sintáticos
- Mapeando o OWASP Top 10 de LLM para o código que você escreve
Insight-chave: Cada lugar onde texto não confiável alcança o modelo — ou a saída do modelo alcança seu código — é um limite que você possui.
Módulo 2 — Injeção de Prompt para Construtores
Lab: Lab 01 — 01-Prompt-Injection
O "momento da injeção de SQL" para a IA — mas você não pode escapar totalmente dele.
Tópicos:
- injeção de prompt direta versus indireta
- instruções ocultas em documentos, páginas da web e saída de ferramentas
- jailbreaks e confusão de papéis
- por que a separação entre instruções e dados importa
- design defensivo de prompts (delimitadores, estrutura, autoridade mínima)
- por que a prevenção é parcial — projetar para contenção
Mão na massa:
- atacar seu próprio chatbot
- burlar um filtro ingênuo
- reestruturar o prompt para reduzir o alcance da explosão
Módulo 3 — Tratando a Saída do Modelo como Não Confiável
Lab: Lab 02 — 02-Output-Handling
A classe de bugs que os desenvolvedores mais subestimam.
Tópicos:
- a saída do modelo como entrada não confiável para o resto do aplicativo
- manipulação insegura da saída (LLM02): XSS, SSRF, injeção de comando/SQL em downstream
- nunca executar/executar/renderizar a saída crua do modelo
- saídas estruturadas e validação de schema
- codificação da saída e listas de permissão (allowlists)
- renderização segura em contextos web/UI
Mão na massa:
- encontrar e corrigir uma vulnerabilidade de manipulação insegura da saída
- impor um schema JSON nas respostas do modelo
Módulo 4 — Segurança em RAG
Lab: Lab 03 — 03-RAG-Security
Uma das novas superfícies de ataque mais significativas — e ela é construída por você.
Tópicos:
- ameaças ao banco de dados vetorial e à recuperação
- sanitização na ingestão
- procedência de documentos e pontuação de confiança
- escopo da recuperação e isolamento de metadados
- instruções ocultas no conteúdo recuperado (injeção indireta)
- fuga de dados via recuperação
Mão na massa: - envenenar um pipeline de RAG com um documento malicioso - adicionar sanitização na ingestão e escopo na recuperação para defendê-lo
Módulo 5 — Segurança de Agentes e Ferramentas
Lab: Lab 04 — 04-Agent-Safety
Onde um bug se torna uma ação.
Tópicos:
- agência excessiva (LLM06) e abuso de ferramentas
- mínimo privilégio para agentes
- listas de permissão de ferramentas e validação de argumentos
- portas de aprovação e intervenção humana
- sandboxing da execução de ferramentas
- credenciais escopadas e de curta duração para agentes
- limitando loops autônomos e encadeamentos
Mão na massa:
- bloquear um agente com permissões excessivas
- adicionar uma lista de permissão + porta de aprovação a uma ferramenta perigosa
Módulo 6 — Segredos, Identidade e Custos
Lab: Lab 05 — 05-Secrets-and-Cost
Os erros operacionais que causam dano mais rapidamente.
Tópicos:
- gerenciamento de chaves de API e segredos (nunca em prompts, código ou logs)
- autenticação e autorização por usuário para recursos de IA
- propagação da identidade do usuário para ferramentas e recuperação
- negação de carteira: consumo ilimitado de tokens/custos
- limites de taxa, orçamentos de tokens e timeouts
- log sem vazamento de segredos ou dados pessoais (PII)
Mão na massa:
- remover segredos do caminho do prompt/código
- adicionar limites de taxa por usuário e um orçamento de tokens/custo
Módulo 7 — Bibliotecas de Guardrails (Controles)
Lab: Lab 06 — 06-Guardrails
Comprar versus construir para a segurança de entrada/saída.
Tópicos:
- o que as estruturas de guardrails fazem (e o que não fazem)
- guardrails de entrada: classificadores de injeção/PII/tópicos
- guardrails de saída: validação, filtragem, verificações de fundamentação
- quando um guardrail é apropriado versus sua própria verificação determinística
- camadas de guardrails com os controles dos módulos anteriores
- desempenho, falsos positivos e modos de falha
Mão na massa:
- adicionar uma camada de guardrail de entrada/saída a um recurso de IA
- medir o que ele captura e o que ele perde
Módulo 8 — Red-Teaming do Seu Próprio Aplicativo
Lab: Lab 07 — 07-Red-Teaming
Entregue como se um atacante já o tivesse comprometido.
Tópicos:
- construir um conjunto de testes/abuso para recursos de IA
- testes automatizados de injeção de prompt e jailbreak
- teste de regressão em guardrails e políticas
- execução de verificações de segurança de IA no CI
- cadeia de suprimentos de modelos e dependências (procedência, fixação)
- uma lista de verificação de segurança pré-entrega para recursos de IA
Mão na massa:
- escrever testes automatizados de red-team para um recurso de IA
- integrá-los a uma verificação no CI
Módulo 9 — Pontuando a Segurança de IA: O Framework SAIS-100
Lab: nenhum — exercício de pontuação (utiliza o aplicativo Capstone)
Transforme tudo o que você construiu em uma pontuação repetível.
Tópicos:
- O Hexágono de Segurança de IA: seis perguntas em vez de "é seguro?"
- as seis categorias pontuadas (Dados, Prompt, Agente, Cadeia de Suprimentos, Detecção, Governança)
- a rubrica de 100 pontos e seus pesos
- bandas de veredito e a regra de overrides por categoria única
- A Pontuação de IA Segura (SAIS-100) como um framework reexecutável e com marca própria
- pontuar antes/depois do endurecimento como métrica
Mão na massa:
- pontuar o aplicativo Capstone na escala de 100 pontos
- indicar a única alteração que mais aumenta a pontuação
Insight-chave: As três categorias com maior peso mapeiam os limites de confiança que um desenvolvedor possui — portanto, a pontuação mede exatamente o que este curso ensinou.
Capstone
Os alunos endurecem uma aplicação de IA deliberadamente vulnerável de ponta a ponta.
O aplicativo inicial contém:
- um prompt injetável
- manipulação insegura da saída
- um pipeline de RAG sem escopo
- um agente com permissões excessivas
- segredos no caminho do prompt
- sem limites de custo
Os alunos aplicam o curso:
- reestruturar prompts para contenção
- validar e codificar a saída do modelo
- sanitizar e escoper a recuperação
- aplicar mínimo privilégio e portas de aprovação ao agente
- mover segredos para fora e adicionar limites de custo/taxa
- adicionar guardrails e testes automatizados de red-team
Entregável: um aplicativo endurecido mais uma autoavaliação curta do OWASP Top 10 de LLM.
Mapeamento de Módulo para Lab
Os labs rodam na ordem dos labs, que segue a ordem dos módulos. O curso tem 9 módulos e 7 labs: o Módulo 1 é uma visita técnica à arquitetura/discussão e o Módulo 9 é um exercício de pontuação, portanto, nenhum deles possui sua própria pasta de lab.
- Lab 01 - 01-Prompt-Injection: Atacar seu chatbot e projetar para contenção (Módulo 2)
- Lab 02 - 02-Output-Handling: Corrigir um bug de manipulação insegura da saída (Módulo 3)
- Lab 03 - 03-RAG-Security: Envenenar depois defender um pipeline de RAG (Módulo 4)
- Lab 04 - 04-Agent-Safety: Bloquear um agente com permissões excessivas (Módulo 5)
- Lab 05 - 05-Secrets-and-Cost: Proteger chaves + adicionar guardrails de custo (Módulo 6)
- Lab 06 - 06-Guardrails: Adicionar uma camada de guardrail de entrada/saída (Módulo 7)
- Lab 07 - 07-Red-Teaming: Testes automatizados de red-team no CI (Módulo 8)
O Módulo 1 (Como as Aplicações de IA Falham) não tem lab — ele roda como uma visita técnica à arquitetura e discussão. O Módulo 9 (Pontuando a Segurança de IA) não tem pasta de lab — ele roda como um exercício de pontuação contra o aplicativo Capstone.
Requisitos
- Nível de habilidade: Intermediário.
- Os alunos devem estar confortáveis com: construção e consumo de APIs REST, linguagens de script (os laboratórios utilizam Python), autenticação básica de aplicativos, git e CLI.
- Não é necessário background em machine learning — este é um curso de segurança de aplicações para pessoas que constroem com LLMs, não aquelas que os treinam.
Público-Alvo
- Engenheiros de software / backend construindo recursos de LLM
- Desenvolvedores full-stack e de APIs
- Engenheiros de aplicações de IA/ML
- Engenheiros de plataforma entregando copilots e agentes
- Líderes técnicos e engenheiros seniores responsáveis por recursos de IA
Treinamento Corporativo Personalizado
Soluções de treinamento projetadas exclusivamente para empresas.
- Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
- Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
- Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Preço por grupo privado, treinamento online ao vivo, a partir de 3900 € + VAT*
Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes
Testemunhos de Clientes (2)
Gostei muito de aprender sobre ataques de IA e as ferramentas disponíveis para começar a praticar e usar ativamente na segurança. Saí da aula com bastante conhecimento que eu não tinha no começo, e o curso foi exatamente o que eu esperava. A parte que mais me chamou atenção na apresentação foi o Comet Browser, e fiquei impressionado com o que ele pode fazer. Com certeza investigarei isso mais a fundo. No geral, foi um ótimo curso e aproveitei muito para aprender o OWASP Top 10 para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Máquina Traduzida
O conhecimento profissional e a maneira como ele o apresentou a nós
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Máquina Traduzida
