Curso de Processamento Eficiente de Dados no Kubernetes com PySpark, Pandas e Polars

Módulo 1: Fundamentos de Big Data e Spark

• Visão geral do ecossistema de Big Data e o papel do Spark em plataformas de dados modernas
• Entendendo a arquitetura do Spark: driver, executores, gerenciador de cluster, avaliação preguiçosa (lazy evaluation), DAG e planejamento de execução
• Diferenças entre as APIs de RDD e DataFrame e quando usar cada abordagem
• Criação e configuração de SparkSession e compreensão dos fundamentos da configuração de aplicativos

Módulo 2: DataFrames no PySpark

• Leitura e escrita de dados a partir de fontes e formatos empresariais: CSV, JSON, Parquet e Delta
• Trabalhando com DataFrames no PySpark: transformações, ações, expressões de colunas, filtragem, junções e agregações
• Implementando operações avançadas, como funções de janela, tratamento de timestamps e trabalho com dados aninhados
• Aplicando verificações de qualidade de dados e escrevendo código PySpark reutilizável e mantenhível

Módulo 3: Fundamentos de Kubernetes e Docker para Usuários de Spark

• Entendendo como as imagens Docker e os pods do Kubernetes se relacionam com os processos de driver e executor do Spark — uma visão conceitual para consumidores do cluster, não administradores
• Entendendo o que acontece quando um trabalho Spark é executado no Kubernetes: agendamento de pods, solicitações e limites de recursos e como as configurações de sessão mapeiam sobre eles
• Entendendo o que você controla através dos parâmetros de sessão do Spark versus o que a equipe de plataforma controla através do provisionamento do cluster — e por que essa fronteira é importante para o ajuste fino (tuning)
• Exercício prático: Inspecionar um trabalho Spark-on-Kubernetes em execução no cluster de sandbox e identificar os pods de driver e executor

Módulo 4: Configuração de Sessão do Spark no Kubernetes — Análise Detalhada

• Entendendo contagem de executores versus tamanho do executor: compensações entre memória e núcleos e como raciocinar sobre elas
• Alocação de memória para driver e executores, sobrecarga de memória (memory overhead) e como essas se traduzem em recursos de pod
• Alocação dinâmica: como ela se comporta no Kubernetes, quando salva recursos e quando não salva
• Exercício prático: Executar o mesmo trabalho sob diferentes configurações de executores e núcleos e comparar tempo de execução e uso de recursos

Módulo 5: Comportamento de Escala e Otimização de Custos

• Entendendo como a adição ou remoção de nós altera o comportamento do trabalho, o tempo de conclusão e o consumo de recursos
• Comparando muitos executores pequenos versus menos executores grandes: compensações entre desempenho e custo
• Comportamento de shuffle e ajuste de partições de shuffle, incluindo estimativa do impacto no custo das escolhas de configuração
• Exercício prático: Escalar o cluster de sandbox de cinco para dez nós e observar o efeito no tempo de conclusão do trabalho e no consumo de recursos

Módulo 6: Ingestão Eficiente de Dados e Particionamento

• Entendendo o problema dos pequenos arquivos: por que fontes divididas em muitos arquivos Parquet de 1–5 MB degradam o desempenho e distorcem o particionamento
• Estratégias de reparticionamento e coalescimento
• Controlando o tamanho das partições na leitura e na escrita
• Escrita eficiente de Parquet para evitar a recreação do problema de pequenos arquivos a jusante
• Exercício prático: Carregar um conjunto de dados composto por muitas pequenas partições Parquet, aplicar diferentes estratégias de reparticionamento e comparar o desempenho antes e depois da otimização

Módulo 7: Gerenciamento de Memória do Pandas e Diagnóstico de Falhas

• Entendendo as causas raiz de erros de memória insuficiente (out-of-memory) no Pandas e reconhecendo os sintomas
• Aplicando padrões de conversão eficientes em memória entre Spark e Pandas
• Evitando explosões de memória ao escrever grandes conjuntos de dados em CSV
• Usando processamento em lotes (chunked processing) e otimização de dtype para ambientes restritos
• Exercício prático: Reprodzir um cenário típico de memória insuficiente no Pandas e resolvê-lo usando processamento em lotes e otimização de dtype

Módulo 8: Polars como Ferramenta Complementar

• Posicionamento do Polars em relação ao Pandas: características de desempenho, avaliação preguiçosa e comportamento de memória
• Entendendo onde o Polars se encaixa junto com PySpark e Pandas em pilhas de dados em nuvem modernas e mapas de migração, incluindo ambientes AWS
• Exercício prático: Reescrever uma transformação intensiva em Pandas no Polars e comparar o uso de memória e a velocidade de processamento

Módulo 9: Aplicando Otimização a Cargas de Trabalho ETL e de ML

• Aplicando princípios de configuração, particionamento e gerenciamento de memória em um pipeline ETL realista
• Entendendo considerações de otimização específicas para cargas de trabalho de aprendizado de máquina executadas no mesmo cluster
• Aplicando um fluxo de trabalho prático de ajuste fino para diagnosticar sistematicamente problemas de custo e desempenho
• Exercício prático: Concluir um mini-projeto de ponta a ponta combinando carga de dados, transformação e uma etapa simples de treinamento de modelo, com os participantes ajustando a configuração do Spark por conta própria