Curso de Compreendendo Redes Neurais Profundas

Parte 1 – Conceitos de Deep Learning e DNN

Introdução à IA, Machine Learning e Deep Learning

• História, conceitos básicos e aplicações usuais da inteligência artificial, além das fantasias atribuídas a esse domínio
• Inteligência Coletiva: agregando conhecimento compartilhado por muitos agentes virtuais
• Algoritmos genéticos: evoluir uma população de agentes virtuais por seleção
• Máquina de Aprendizado usual: definição
• Tipos de tarefas: aprendizado supervisionado, não supervisionado e por reforço
• Tipos de ações: classificação, regressão, agrupamento (clustering), estimativa de densidade, redução de dimensionalidade
• Exemplos de algoritmos de Machine Learning: Regressão Linear, Naive Bayes, Random Tree
• Machine Learning vs Deep Learning: problemas em que o Machine Learning continua sendo o estado da arte (Random Forests e XGBoosts)

Conceitos Básicos de uma Rede Neural (Aplicação: perceptron multicamadas)

• Revisão das bases matemáticas
• Definição de uma rede de neurônios: arquitetura clássica, ativação
• Ponderação de ativações anteriores, profundidade de uma rede
• Definição do aprendizado de uma rede de neurônios: funções de custo, retropropagação, descida do gradiente estocástico, máxima verossimilhança
• Modelagem de uma rede neural: modelagem dos dados de entrada e saída conforme o tipo de problema (regressão, classificação...). Maldição da dimensionalidade
• Distinção entre dados multivariados e sinal. Escolha de uma função de custo conforme os dados
• Aproximação de uma função por uma rede de neurônios: apresentação e exemplos
• Aproximação de uma distribuição por uma rede de neurônios: apresentação e exemplos
• Aumento de dados: como equilibrar um conjunto de dados
• Generalização dos resultados de uma rede de neurônios
• Inicialização e regularização de uma rede neural: regularização L1/L2, Normalização por Lote
• Algoritmos de otimização e convergência

Ferramentas Padrão de ML/DL

Está prevista uma apresentação simples com vantagens, desvantagens, posição no ecossistema e uso.

• Ferramentas de gestão de dados: Apache Spark, Ferramentas Apache Hadoop
• Machine Learning: Numpy, Scipy, Sci-kit
• Frameworks de alto nível para DL: PyTorch, Keras, Lasagne
• Frameworks de baixo nível para DL: Theano, Torch, Caffe, TensorFlow

Redes Neurais Convolucionais (CNN)

• Apresentação das CNNs: princípios fundamentais e aplicações
• Operação básica de uma CNN: camada convolucional, uso de um kernel
• Padding e stride, geração de mapas de características, camadas de pooling. Extensões 1D, 2D e 3D
• Apresentação das diferentes arquiteturas de CNN que alcançaram o estado da arte em classificação
• Imagens: LeNet, Redes VGG, Network in Network, Inception, ResNet. Apresentação das inovações trazidas por cada arquitetura e suas aplicações mais globais (Convolução 1x1 ou conexões residuais)
• Uso de um modelo de atenção
• Aplicação a um caso comum de classificação (texto ou imagem)
• CNNs para geração: super-resolução, segmentação pixel-a-pixel. Apresentação
• Principais estratégias para aumentar os mapas de características para geração de imagens

Redes Neurais Recorrentes (RNN)

• Apresentação das RNNs: princípios fundamentais e aplicações
• Operação básica da RNN: ativação oculta, retropropagação no tempo, versão desdobrada
• Evoluções para as Unidades Recorrentes com Portas (GRUs) e LSTM (Long Short Term Memory)
• Apresentação dos diferentes estados e das evoluções trazidas por essas arquiteturas
• Problemas de convergência e gradiente desaparecente
• Arquiteturas clássicas: predição de séries temporais, classificação...
• Arquitetura tipo RNN Encoder Decoder. Uso de um modelo de atenção
• Aplicações em PLN: codificação de palavra/caractere, tradução
• Aplicações em Vídeo: predição da próxima imagem gerada de uma sequência de vídeo

Modelos Generativos: Autoencoder Variacional (VAE) e Redes Adversariais Generativas (GAN)

• Apresentação dos modelos generativos, relação com as CNNs
• Autoencoder: redução de dimensionalidade e geração limitada
• Autoencoder Variacional: modelo generativo e aproximação da distribuição de um dado. Definição e uso do espaço latente. truque de reparametrização. Aplicações e limites observados
• Redes Adversariais Generativas: Fundamentos
• Arquitetura de Rede Dual (Gerador e Discriminador) com aprendizado alternado, funções de custo disponíveis
• Convergência de uma GAN e dificuldades encontradas
• Melhorias na convergência: Wasserstein GAN, Began. Distância de Movimento de Terra
• Aplicações para geração de imagens ou fotografias, geração de texto, super-resolução

Aprendizado Profundo por Reforço

• Apresentação do aprendizado por reforço: controle de um agente em um ambiente definido
• Por um estado e ações possíveis
• Uso de uma rede neural para aproximar a função de estado
• Deep Q Learning: replay de experiência e aplicação ao controle de um jogo de vídeo
• Otimização da política de aprendizado. On-policy e off-policy. Arquitetura Actor Critic. A3C
• Aplicações: controle de um único jogo de vídeo ou de um sistema digital

Parte 2 – Theano para Deep Learning

Básicos do Theano

• Introdução
• Instalação e Configuração

Funções do Theano

• entradas, saídas, atualizações, dados fornecidos (givens)

Treinamento e Otimização de uma rede neural usando Theano

• Modelagem de Rede Neural
• Regressão Logística
• Camadas Ocultas
• Treinando uma rede
• Computação e Classificação
• Otimização
• Perda Logística (Log Loss)

Testando o modelo

Parte 3 – DNN usando TensorFlow

Básicos do TensorFlow

• Criação, Inicialização, Salvamento e Restauração de variáveis do TensorFlow
• Alimentação, Leitura e Pré-carregamento de Dados do TensorFlow
• Como usar a infraestrutura do TensorFlow para treinar modelos em escala
• Visualização e Avaliação de modelos com TensorBoard

Mecânica do TensorFlow

• Preparar os Dados
• Download
• Entradas e Placeholders
• Construir os Grafos
  • Inferência
  • Perda
  • Treinamento
• Treinar o Modelo
  • O Grafo
  • A Sessão
  • Loop de Treinamento
• Avaliar o Modelo
  • Construir o Grafo de Avaliação
  • Saída de Avaliação

O Perceptron

• Funções de ativação
• O algoritmo de aprendizado do perceptron
• Classificação binária com o perceptron
• Classificação de documentos com o perceptron
• Limitações do perceptron

Do Perceptron às Máquinas Vetor de Suporte

• Kernels e o truque do kernel
• Classificação de margem máxima e vetores de suporte

Redes Neurais Artificiais

• Fronteiras de decisão não lineares
• Redes neurais artificiais feedforward e com feedback
• Perceptrons multicamadas
• Minimizando a função de custo
• Propagação direta
• Retropropagação
• Melhorando a forma como as redes neurais aprendem

Redes Neurais Convolucionais

• Objetivos
• Arquitetura do Modelo
• Princípios
• Organização do Código
• Iniciar e Treinar o Modelo
• Avaliando um Modelo

Introduções Básicas a serem dadas aos módulos abaixo (Introdução breve a ser fornecida com base na disponibilidade de tempo):

TensorFlow - Uso Avançado

• Threads e Filas
• TensorFlow Distribuído
• Escrita de Documentação e Compartilhamento do seu Modelo
• Personalização de Leitores de Dados
• Manipulação de Arquivos de Modelo do TensorFlow

TensorFlow Serving

• Introdução
• Tutorial Básico de Serving
• Tutorial Avançado de Serving
• Tutorial de Serving do Modelo Inception