Curso de PySpark e Machine Learning

PySpark & Machine Learning 

Módulo 1: Fundamentos de Big Data e Spark

• Visão geral do ecossistema de Big Data e do papel do Spark nas plataformas de dados modernas
• Compreensão da arquitetura do Spark: driver, executores, cluster manager, avaliação preguiçosa (lazy evaluation), DAG e planeamento de execução
• Diferenças entre as APIs RDD e DataFrame e quando utilizar cada abordagem
• Criação e configuração de SparkSession e compreensão dos fundamentos da configuração de aplicações

Módulo 2: DataFrames PySpark

• Leitura e escrita de dados a partir de fontes e formatos empresariais (CSV, JSON, Parquet, Delta)
• Trabalho com DataFrames PySpark: transformações, ações, expressões de colunas, filtragem, junções e agregações
• Implementação de operações avançadas, como funções de janela (window functions), tratamento de timestamps e trabalho com dados aninhados
• Aplicação de verificação de qualidade de dados e escrita de código PySpark reutilizável e manutível

Módulo 3: Processamento Eficiente de Grandes Conjuntos de Dados

• Compreensão dos fundamentos de desempenho: estratégias de particionamento, comportamento de shuffle, cache e persistência
• Utilização de técnicas de optimização, incluindo broadcast joins e análise de planos de execução
• Processamento eficiente de grandes conjuntos de dados e melhores práticas para workflows de dados escaláveis
• Compreensão da evolução de esquemas (schema evolution) e dos formatos de armazenamento modernos utilizados em ambientes empresariais

Módulo 4: Engenharia de Features em Larga Escala

• Realização de engenharia de features com Spark MLlib: tratamento de valores em falta, codificação de variáveis categóricas e escala de features
• Desenho de passos de pré-processamento reutilizáveis e preparação de conjuntos de dados para pipelines de Machine Learning
• Introdução à seleção de features e ao tratamento de conjuntos de dados desequilibrados

Módulo 5: Machine Learning com Spark MLlib

• Compreensão da arquitetura do MLlib e do padrão Estimator/Transformer
• Treino de modelos de regressão e classificação em larga escala (Regressão Linear, Regressão Logística, Árvores de Decisão, Random Forest)
• Comparação de modelos e interpretação de resultados em workflows distribuídos de Machine Learning

Módulo 6: Pipelines ML de Ponta a Ponta

• Construção de pipelines de Machine Learning de ponta a ponta, combinando pré-processamento, engenharia de features e modelação
• Aplicação de estratégias de divisão treino/validação/teste (train/validation/test split)
• Realização de validação cruzada e ajuste de hiperparâmetros utilizando pesquisa em grade (grid search) e pesquisa aleatória (random search)
• Estruturação de experimentos de Machine Learning reproduzíveis

Módulo 7: Avaliação de Modelos & Decisões Práticas de ML

• Aplicação de métricas de avaliação adequadas para problemas de regressão e classificação
• Identificação de overfitting e underfitting e tomada de decisões práticas de seleção de modelos
• Interpretação da importância das features e compreensão do comportamento dos modelos

Módulo 8: Produção & Práticas Empresariais

• Persistência e carregamento de modelos no Spark
• Implementação de workflows de inferência em lote (batch inference) em grandes conjuntos de dados
• Compreensão do ciclo de vida de Machine Learning em ambientes empresariais
• Introdução aos conceitos de versionamento, rastreio de experimentos e estratégias básicas de testes

Resultado Prático

• Capacidade de trabalhar autonomamente com PySpark
• Capacidade de processar grandes conjuntos de dados de forma eficiente
• Capacidade de realizar engenharia de features em larga escala
• Capacidade de construir pipelines de Machine Learning escaláveis