Programa do Curso
Introdução
- Visão geral dos desafios de escalonamento da aprendizagem profunda
- Visão geral do DeepSpeed e seus recursos
- DeepSpeed vs. outras bibliotecas de aprendizagem profunda distribuídas
Primeiros passos
- Configurando o ambiente de desenvolvimento
- Instalando PyTorch e DeepSpeed
- Configurando o DeepSpeed para treinamento distribuído
Recursos de otimização do DeepSpeed
- Pipeline de treinamento do DeepSpeed
- ZeRO (otimização de memória)
- Checkpointing de ativação
- Checkpointing de gradiente
- Paralelismo do pipeline
Escalonamento de modelos com DeepSpeed
- Escalonamento básico usando DeepSpeed
- Técnicas avançadas de escalonamento
- Considerações de desempenho e práticas recomendadas
- Técnicas de depuração e solução de problemas
Tópicos avançados do DeepSpeed
- Técnicas avançadas de otimização
- Usando DeepSpeed com treinamento de precisão mista
- DeepSpeed em diferentes hardwares (por exemplo, GPUs, TPUs)
- DeepSpeed com múltiplos nós de treinamento
Integrando DeepSpeed com PyTorch
- Integrando DeepSpeed com fluxos de trabalho PyTorch
- Usando DeepSpeed com PyTorch Lightning
Solução de problemas
- Depurando problemas comuns do DeepSpeed
- Monitoramento e registro
Resumo e próximos passos
- Recapitulação dos principais conceitos e recursos
- Práticas recomendadas para usar o DeepSpeed em produção
- Outros recursos para aprender mais sobre o DeepSpeed
Requisitos
- Conhecimento intermédio dos princípios da aprendizagem profunda
- Experiência com PyTorch ou estruturas de aprendizagem profunda semelhantes
- Familiaridade com a programação Python
Público-alvo
- Cientistas de dados
- Engenheiros de aprendizagem automática
- Programadores
Treinamento Corporativo Personalizado
Soluções de treinamento projetadas exclusivamente para empresas.
- Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
- Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
- Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Preço por grupo privado, treinamento online ao vivo, a partir de 3900 € + VAT*
Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes
Testemunhos de Clientes (3)
Gostei muito do final, quando tivemos tempo para brincar com o CHAT GPT. O ambiente não estava configurado da melhor maneira para isso - em vez de uma grande mesa, algumas mesas menores teriam ajudado a formar grupos pequenos e favorecido a brainstorming.
Nola - Laramie County Community College
Curso - Artificial Intelligence (AI) Overview
Máquina Traduzida
Trabalhando a partir de princípios fundamentais de forma focada e avançando para a aplicação de estudos de caso no mesmo dia
Maggie Webb - Department of Jobs, Regions, and Precincts
Curso - Artificial Neural Networks, Machine Learning, Deep Thinking
Máquina Traduzida
Que estava aplicando dados reais de uma empresa. O instrutor teve uma abordagem muito boa, fazendo com que os participantes se envolvessem e competissem.
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Curso - Applied AI from Scratch in Python
Máquina Traduzida