Entrar em Contato
 Duração 21 horas

Programa do Curso

Introdução ao Escalonamento do Ollama

  • Arquitetura do Ollama e considerações para escalonamento
  • Gargalos comuns em implantações de múltiplos usuários
  • Boas práticas para prontidão da infraestrutura

Alocação de Recursos e Otimização de GPU

  • Estratégias de utilização eficiente de CPU/GPU
  • Considerações sobre memória e largura de banda
  • Restrições de recursos em nível de container

Implantação com Containers e Kubernetes

  • Containerização do Ollama com Docker
  • Execução do Ollama em clusters Kubernetes
  • Balanceamento de carga e descoberta de serviços

Autoscaling e Loteamento (Batching)

  • Desenho de políticas de autoscaling para o Ollama
  • Técnicas de inferência em lote para otimização de throughput
  • Compromissos entre latência e throughput

Otimização de Latência

  • Perfis de desempenho de inferência
  • Estratégias de cache e aquecimento de modelos
  • Redução de sobrecarga de E/S e comunicação

Monitoramento e Observabilidade

  • Integração com Prometheus para métricas
  • Criação de dashboards com Grafana
  • Alertas e resposta a incidentes para a infraestrutura do Ollama

Gestão de Custos e Estratégias de Escalonamento

  • Alocação de GPU consciente de custos
  • Considerações sobre implantação em nuvem vs. local (on-prem)
  • Estratégias para escalonamento sustentável

Resumo e Próximos Passos

Requisitos

  • Experiência com administração de sistemas Linux
  • Compreensão de containerização e orquestração
  • Familiaridade com a implantação de modelos de aprendizado de máquina

Público-Alvo

  • Engenheiros DevOps
  • Equipes de infraestrutura de ML
  • Engenheiros de confiabilidade de sites (SRE)

Treinamento Corporativo Personalizado

Soluções de treinamento projetadas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, treinamento online ao vivo, a partir de 3900 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Próximas Formações Provisórias

Categorias Relacionadas