Programa do Curso

Visão Geral das Capacidades de Otimização CANN

  • Como o desempenho da inferência é gerenciado no CANN
  • Objetivos de otimização para sistemas AI de borda e embarcados
  • Compreendendo a utilização do AI Core e alocação de memória

Usando o Graph Engine para Análise

  • Introdução ao Graph Engine e à pipeline de execução
  • Visualizando gráficos de operadores e métricas de tempo real
  • Modificando grafos computacionais para otimização

Ferramentas de Perfis e Métricas de Desempenho

  • Usando a Ferramenta de Perfilamento CANN (profiler) para análise de carga de trabalho
  • Analisando o tempo de execução do kernel e gargalos
  • Perfilamento de acesso à memória e estratégias de tiling

Desenvolvimento de Operadores Personalizados com TIK

  • Visão geral do TIK e modelo de programação de operadores
  • Implementando um operador personalizado usando o DSL TIK
  • Testando e benchmarking do desempenho do operador

Otimização Avançada de Operadores com TVM

  • Introdução à integração do TVM com CANN
  • Estratégias de auto-ajuste para grafos computacionais
  • Quando e como alternar entre TVM e TIK

Técnicas de Otimização de Memória

  • Gerenciamento da disposição da memória e alocação de buffers
  • Técnicas para reduzir o consumo de memória on-chip
  • Melhores práticas para execução assíncrona e reutilização

Implantação no Mundo Real e Estudos de Caso

  • Estudo de caso: ajuste de desempenho para a pipeline da câmera inteligente da cidade
  • Estudo de caso: otimização do stack de inferência do veículo autônomo
  • Diretrizes para perfilamento iterativo e melhoria contínua

Resumo e Próximos Passos

Requisitos

  • Compreensão sólida das arquiteturas de modelos de aprendizado profundo e fluxos de trabalho de treinamento
  • Experiência com a implantação de modelos usando CANN, TensorFlow ou PyTorch
  • Familiaridade com CLI Linux, shell scripting e programação Python

Público-alvo

  • Engenheiros de desempenho de IA
  • Especialistas em otimização de inferência
  • Desenvolvedores trabalhando com IA de borda ou sistemas em tempo real
 14 Horas

Próximas Formações Provisórias

Categorias Relacionadas