Cursos de PySpark em Portugal

Nesta formação ao vivo dirigida por um instrutor em Portugal, os participantes aprenderão a utilizar o Python e o Spark em conjunto para analisar big data, enquanto trabalham em exercícios práticos.

Ao final desta formação, os participantes serão capazes de:

• Aprender a utilizar o Spark com o Python para analisar Big Data.
• Trabalhar em exercícios que imitam casos do mundo real.
• Utilizar diferentes ferramentas e técnicas para análise de big data utilizando o PySpark.

Esta formação ao vivo, orientada por um instrutor (online ou presencial), destina-se a engenheiros de dados, analistas de dados e profissionais de dados que desejem utilizar o Databricks e o PySpark para construir pipelines de dados escaláveis e migrar workflows SQL existentes.

Esta formação oferece uma introdução prática à criação de pipelines escaláveis de processamento de dados e de Machine Learning utilizando PySpark. Os participantes aprendem como o Apache Spark opera nos ecossistemas de Big Data modernos e como processar eficientemente grandes conjuntos de dados utilizando os princípios da computação distribuída.

Este curso prático de três dias foca-se na construção e otimização de cargas de trabalho de processamento de dados eficientes, utilizando PySpark, Pandas e Polars em ambientes baseados em Kubernetes.

Os participantes desenvolverão uma compreensão prática de como as aplicações Spark são executadas no Kubernetes e de como as decisões de configuração a nível de aplicação influenciam o desempenho, a escalabilidade, o consumo de recursos e os custos. O curso abrange áreas-chave de otimização, incluindo a dimensionamento dos executors, a alocação de memória, a alocação dinâmica, estratégias de particionamento, o comportamento do shuffle, problemas relacionados com ficheiros pequenos e o processamento eficiente de Parquet.

O curso aborda também desafios comuns ao trabalhar com Pandas, incluindo limitações de memória e falhas por exceder a memória disponível (out-of-memory), e apresenta o Polars como uma alternativa de alto desempenho para cargas de trabalho de processamento de dados selecionadas. Através de exercícios práticos, os participantes diagnosticarão problemas de desempenho e de memória, compararão diferentes estratégias de configuração e aplicarão técnicas de otimização a cenários realistas de ETL e de aprendizado de máquina.

A ênfase durante todo o curso recai sobre a tomada de decisão prática: compreender como identificar gargalos, selecionar a ferramenta adequada, configurar o Spark de forma eficiente e equilibrar o desempenho com o consumo de recursos da infraestrutura e os custos.