Entrar em Contato

Programa do Curso

Introdução ao LLMOps

  • LLMOps vs. MLOps: desafios únicos na operação de LLMs
  • O ciclo de vida da aplicação com LLM: prompt, avaliação, implantação, monitoramento
  • Checklist de prontidão para produção em aplicações GenAI

Gestão e Versionamento de Prompts

  • Sistemas de modelagem de prompts e injeção de variáveis
  • Versionamento semântico de prompts com testes de regressão automatizados
  • Registros de prompts e workflows de colaboração

Avaliação de LLM em Escala

  • Dimensões de avaliação: precisão, relevância, segurança, fundamentação (groundedness)
  • Métricas de 'LLM as a judge' e pipelines de avaliação humana
  • Ferramentas automatizadas de avaliação: RAGAS, DeepEval e evaluators personalizados
  • Gates de qualidade em CI/CD para implantações de LLM

Barreiras de Segurança e Governança de Conteúdo

  • Barreiras de entrada e saída: NeMo Guardrails e Guardrails AI
  • Detectão de PII, filtragem de toxicidade e definição de limites de tópicos
  • Estratégias de defesa contra jailbreak e injeção de prompts
  • Testes de invasão (red-teaming) em aplicações LLM para garantia de segurança

Observabilidade e Monitoramento de LLM

  • Telemetria: uso de tokens, latência, custos e métricas de qualidade
  • Deteção de deriva (drift) nas saídas dos LLMs e em espaços de embedding
  • Rastreamento por sessão para conversas multi-turno com agentes
  • Painéis de controle (dashboards) e alertas com LangSmith, Arize e OpenTelemetry

Gateway de IA e Orquestração de Modelos

  • Roteamento multi-provedor com LiteLLM e Portkey
  • Estratégias de fallback, lógica de retry e circuit breakers
  • Seleção de modelos consciente de custos e balanceamento de carga
  • Limitação de taxa (rate limiting), gestão de quotas e governança de chaves de API

Otimização de Desempenho

  • Caching semântico com stores vetoriais e estratégias de correspondência exata
  • Aplicação de saída estruturada com decoding restrito
  • Padrões de batching, streaming e concorrência
  • Otimização de latência entre provedores de modelos

Governança, Conformidade e Auditoria

  • Rastros de auditoria de LLM: logs de prompts, logs de respostas e proveniência das decisões
  • Considerações sobre residência de dados e privacidade para APIs de LLM
  • Política como código (policy-as-code) para o uso de LLMs dentro das organizações
  • Elaboração de um manual interno de operações de LLM

Requisitos

  • Experiência na construção ou integração de aplicações impulsionadas por LLMs.
  • Familiaridade com Python e APIs REST.
  • Conhecimento básico de conceitos de engenharia de prompts.

Público-Alvo

  • Engenheiros de ML e praticantes de MLOps que estão migrando para operações com LLMs.
  • Engenheiros de plataforma responsáveis pela infraestrutura de LLM.
  • Líderes técnicos que gerenciam implantações de GenAI em produção.
 14 Horas

Treinamento Corporativo Personalizado

Soluções de treinamento projetadas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, treinamento online ao vivo, a partir de 2600 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Testemunhos de Clientes (2)

Próximas Formações Provisórias

Categorias Relacionadas