Programa do Curso

Introdução

  • Visão geral dos desafios de escalonamento da aprendizagem profunda
  • Visão geral do DeepSpeed e seus recursos
  • DeepSpeed vs. outras bibliotecas de aprendizado profundo distribuídas

Começar a trabalhar

  • Configurando o ambiente de desenvolvimento
  • Instalando PyTorch e DeepSpeed
  • Configurando o DeepSpeed para treinamento distribuído

Funcionalidades de otimização do DeepSpeed

  • Pipeline de formação DeepSpeed
  • ZeRO (otimização da memória)
  • Checkpointing de ativação
  • Ponto de controlo do gradiente
  • Paralelismo do pipeline

Modelos de escala com DeepSpeed

  • Escalonamento básico usando DeepSpeed
  • Técnicas avançadas de escalonamento
  • Considerações sobre desempenho e práticas recomendadas
  • Técnicas de depuração e solução de problemas

Tópicos avançados do DeepSpeed

  • Técnicas de otimização avançadas
  • Usando DeepSpeed com treinamento de precisão mista
  • DeepSpeed em hardware diferente (por exemplo, GPUs, TPUs)
  • DeepSpeed com múltiplos nós de treinamento

Integrando DeepSpeed com PyTorch

  • Integrando DeepSpeed com fluxos de trabalho PyTorch
  • Usando DeepSpeed com PyTorch Lightning

Resolução de problemas

  • Depuração de problemas comuns do DeepSpeed
  • Monitorização e registo

Resumo e próximas etapas

  • Recapitulação dos principais conceitos e características
  • Práticas recomendadas para usar o DeepSpeed na produção
  • Outros recursos para aprender mais sobre o DeepSpeed

Requisitos

  • Conhecimento intermédio dos princípios de aprendizagem profunda
  • Experiência com PyTorch ou frameworks similares de deep learning
  • Familiaridade com programação Python

Público

  • Cientistas de dados
  • Engenheiros de aprendizagem automática
  • Desenvolvedores
 21 horas

Cursos Relacionados

Categorias Relacionadas