Obrigado por enviar sua consulta! Um dos membros da nossa equipe entrará em contato com você em breve.
Obrigado por enviar sua reserva! Um dos membros da nossa equipe entrará em contato com você em breve.
Programa do Curso
Introdução
- Visão geral dos desafios de escalonamento da aprendizagem profunda
- Visão geral do DeepSpeed e seus recursos
- DeepSpeed vs. outras bibliotecas de aprendizagem profunda distribuídas
Primeiros passos
- Configurando o ambiente de desenvolvimento
- Instalando PyTorch e DeepSpeed
- Configurando o DeepSpeed para treinamento distribuído
Recursos de otimização do DeepSpeed
- Pipeline de treinamento do DeepSpeed
- ZeRO (otimização de memória)
- Checkpointing de ativação
- Checkpointing de gradiente
- Paralelismo do pipeline
Escalonamento de modelos com DeepSpeed
- Escalonamento básico usando DeepSpeed
- Técnicas avançadas de escalonamento
- Considerações de desempenho e práticas recomendadas
- Técnicas de depuração e solução de problemas
Tópicos avançados do DeepSpeed
- Técnicas avançadas de otimização
- Usando DeepSpeed com treinamento de precisão mista
- DeepSpeed em diferentes hardwares (por exemplo, GPUs, TPUs)
- DeepSpeed com múltiplos nós de treinamento
Integrando DeepSpeed com PyTorch
- Integrando DeepSpeed com fluxos de trabalho PyTorch
- Usando DeepSpeed com PyTorch Lightning
Solução de problemas
- Depurando problemas comuns do DeepSpeed
- Monitoramento e registro
Resumo e próximos passos
- Recapitulação dos principais conceitos e recursos
- Práticas recomendadas para usar o DeepSpeed em produção
- Outros recursos para aprender mais sobre o DeepSpeed
Requisitos
- Conhecimento intermédio dos princípios da aprendizagem profunda
- Experiência com PyTorch ou estruturas de aprendizagem profunda semelhantes
- Familiaridade com a programação Python
Público-alvo
- Cientistas de dados
- Engenheiros de aprendizagem automática
- Programadores
21 Horas
Declaração de Clientes (2)
Organização, seguindo a agenda proposta, o amplo conhecimento do treinador sobre este assunto
Ali Kattan - TWPI
Curso - Natural Language Processing with TensorFlow
Máquina Traduzida
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Curso - TensorFlow for Image Recognition
Máquina Traduzida