Entrar em Contato
 Duração 35 horas

Programa do Curso

Introdução e Fundamentos do Diagnóstico

  • Visão geral dos modos de falha em sistemas de LLM e problemas específicos do Ollama
  • Estabelecimento de experimentos reproduzíveis e ambientes controlados
  • Kit de ferramentas de depuração: logs locais, capturas de solicitação/resposta e sandboxing

Reprodução e Isolamento de Falhas

  • Técnicas para criar exemplos de falha mínimos e sementes
  • Interações com estado vs sem estado: isolamento de bugs relacionados ao contexto
  • Determinismo, aleatoriedade e controle do comportamento não determinístico

Avaliação de Comportamento e Métricas

  • Métricas quantitativas: precisão, variantes de ROUGE/BLEU, calibração e proxies de perplexidade
  • Avaliações qualitativas: pontuação com humanos no circuito e design de rubricas
  • Verificações de fidelidade específicas de tarefa e critérios de aceitação

Testes Automatizados e Regressão

  • Testes unitários para prompts e componentes, testes de cenário e de ponta a ponta
  • Criação de suítes de regressão e linhas de base de exemplos padrão (golden)
  • Integração de CI/CD para atualizações de modelos Ollama e portões de validação automatizados

Observabilidade e Monitoramento

  • Log estruturado, rastreamentos distribuídos e IDs de correlação
  • Métricas operacionais-chave: latência, uso de tokens, taxas de erro e sinais de qualidade
  • Alertas, dashboards e SLIs/SLOs para serviços suportados por modelos

Análise Avançada da Causa Raiz

  • Rastreamento por prompts grafados, chamadas de ferramentas e fluxos de múltiplas rodadas
  • Diagnóstico comparativo A/B e estudos de ablação
  • Proveniência dos dados, depuração de conjuntos de dados e tratamento de falhas induzidas por dados

Segurança, Robustez e Estratégias de Correção

  • Mitigações: filtragem, ancoragem, aumento de recuperação e estruturação de prompts
  • Padrões de rollback, canary e lançamento gradual para atualizações de modelos
  • Pós-mortems, lições aprendidas e ciclos de melhoria contínua

Resumo e Próximos Passos

Requisitos

  • Experiência sólida na construção e implantação de aplicações de LLM
  • Familiaridade com fluxos de trabalho do Ollama e hospedagem de modelos
  • Conforto com Python, Docker e ferramentas básicas de observabilidade

Público-Alvo

  • Engenheiros de IA
  • Profissionais de MLOps
  • Equipes de QA responsáveis por sistemas de LLM em produção

Treinamento Corporativo Personalizado

Soluções de treinamento projetadas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, treinamento online ao vivo, a partir de 6500 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Próximas Formações Provisórias

Categorias Relacionadas