Programa do Curso
Introdução
Entendendo Big Data
Visão geral do Spark
Visão geral do Python
Visão geral do PySpark
- Distribuindo dados usando a estrutura de conjuntos de dados distribuídos resilientes
- Distribuindo Computação Usando Operadores da API Spark
Configurando Python com Spark
Configurando o PySpark
Usando as instâncias do Amazon Web Services (AWS) EC2 para o Spark
Configurando bancos de dados
Configurando o cluster EMR da AWS
Aprendendo os Fundamentos da Programação Python
- Introdução ao Python
- Usando o Notebook Jupyter
- Usando Variáveis e Tipos de Dados Simples
- Trabalhando com Listas
- Usando se declarações
- Usando entradas do usuário
- Trabalhando com Loops While
- Funções de Implementação
- Trabalhando com Classes
- Trabalhando com arquivos e exceções
- Trabalhando com projetos, dados e APIs
Aprendendo os Fundamentos do DataFrame Spark
- Introdução ao Spark DataFrames
- Implementando Operações Básicas com Spark
- Usando o Groupby e as Operações Agregadas
- Trabalhando com Timestamps e Datas
Trabalhando em um exercício do projeto Spark DataFrame
Entendendo o Aprendizado de Máquina com o MLlib
Trabalhando com MLlib, Spark e Python para Aprendizado de Máquina
Entendendo as regressões
- Aprendendo a Teoria da Regressão Linear
- Implementando um Código de Avaliação de Regressão
- Trabalhando em um exercício de regressão linear de amostra
- Aprendendo a Teoria da Regressão Logística
- Implementando um Código de Regressão Logística
- Trabalhando em um exercício de regressão logística de amostra
Entendendo Florestas Aleatórias e Árvores de Decisão
- Teoria dos Métodos da Árvore de Aprendizagem
- Implementando Árvores de Decisão e Códigos de Floresta Aleatórios
- Trabalhando em um exercício de classificação aleatória da amostra
Trabalhando com o K-means Clustering
- Entendendo a Teoria do Cluster de K-means
- Implementando um código de cluster de K-means
- Trabalhando em um exercício de cluster de amostra
Trabalhando com sistemas de recomendação
Implementando o Processamento de Linguagem Natural
- Entendendo o Processamento de Linguagem Natural (PNL)
- Visão geral das ferramentas de PNL
- Trabalhando em um exercício de PNL de exemplo
Streaming com Spark em Python
- Visão geral de streaming com o Spark
- Exemplo de exercício de streaming de Spark
Comentários finais
Requisitos
- Habilidades Gerais de Programação
Público
- Programadores
- Profissionais de TI
- Cientistas de dados