Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Programa do Curso
Introdução e Fundamentos Diagnósticos
- Visão geral dos modos de falha em sistemas LLM e problemas específicos do Ollama comuns
- Criação de experimentos reprodutíveis e ambientes controlados
- Conjunto de ferramentas para depuração: logs locais, capturas de solicitações/respostas e sandboxing
Reproduzindo e Isolando Falhas
- Técnicas para criar exemplos mínimos com falha e sementes
- Interações stateful vs. stateless: isolamento de bugs relacionados ao contexto
- Determinismo, aleatoriedade e controle do comportamento não determinístico
Avaliação Comportamental e Métricas
- Métricas quantitativas: precisão, variantes ROUGE/BLEU, calibração e proxies de perplexidade
- Avaliações qualitativas: pontuação com humanos no loop e design de rubricas
- Verificações de fidelidade específicas para tarefas e critérios de aceitação
Testes Automatizados e Regressão
- Testes unitários para prompts e componentes, cenários e testes end-to-end
- Criação de suítes de regressão e baseline de exemplos dourados
- Integração CI/CD para atualizações do modelo Ollama e portões de validação automatizados
Observabilidade e Monitoramento
- Registro estruturado, rastreamento distribuído e IDs de correlação
- Métricas operacionais-chave: latência, uso de tokens, taxas de erros e sinais de qualidade
- Avisos, painéis de controle e SLIs/SLOs para serviços com suporte do modelo
Análise Avançada da Causa Raiz
- Rastreamento através de prompts grafados, chamadas de ferramentas e fluxos multirrodadas
- Diagnóstico comparativo A/B e estudos de ablação
- Proveniência de dados, depuração do conjunto de dados e abordagem a falhas induzidas por conjuntos de dados
Saúde, Robustez e Estratégias de Remediação
- Mitigações: filtragem, ancoragem, augmentação de recuperação e estruturas para prompts
- Padrões de rollback, canário e implantações faseadas para atualizações do modelo
- Análises pós-mortem, lições aprendidas e loops de melhoria contínua
Resumo e Próximos Passos
Requisitos
- Experiência sólida em construir e implantar aplicações de LLM
- Familiaridade com fluxos de trabalho do Ollama e hospedagem de modelos
- Comfortável com Python, Docker e ferramentas básicas de observabilidade
Público-alvo
- Engenheiros de IA
- Profissionais de ML Ops
- Times de QA responsáveis por sistemas LLM em produção
35 Horas