Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Programa do Curso
Introdução
- Visão geral dos desafios de escalonamento da aprendizagem profunda
- Visão geral do DeepSpeed e seus recursos
- DeepSpeed vs. outras bibliotecas de aprendizado profundo distribuídas
Começar a trabalhar
- Configurando o ambiente de desenvolvimento
- Instalando PyTorch e DeepSpeed
- Configurando o DeepSpeed para treinamento distribuído
Funcionalidades de otimização do DeepSpeed
- Pipeline de formação DeepSpeed
- ZeRO (otimização da memória)
- Checkpointing de ativação
- Ponto de controlo do gradiente
- Paralelismo do pipeline
Modelos de escala com DeepSpeed
- Escalonamento básico usando DeepSpeed
- Técnicas avançadas de escalonamento
- Considerações sobre desempenho e práticas recomendadas
- Técnicas de depuração e solução de problemas
Tópicos avançados do DeepSpeed
- Técnicas de otimização avançadas
- Usando DeepSpeed com treinamento de precisão mista
- DeepSpeed em hardware diferente (por exemplo, GPUs, TPUs)
- DeepSpeed com múltiplos nós de treinamento
Integrando DeepSpeed com PyTorch
- Integrando DeepSpeed com fluxos de trabalho PyTorch
- Usando DeepSpeed com PyTorch Lightning
Resolução de problemas
- Depuração de problemas comuns do DeepSpeed
- Monitorização e registo
Resumo e próximas etapas
- Recapitulação dos principais conceitos e características
- Práticas recomendadas para usar o DeepSpeed na produção
- Outros recursos para aprender mais sobre o DeepSpeed
Requisitos
- Conhecimento intermédio dos princípios de aprendizagem profunda
- Experiência com PyTorch ou frameworks similares de deep learning
- Familiaridade com programação Python
Público
- Cientistas de dados
- Engenheiros de aprendizagem automática
- Desenvolvedores
21 horas