Programa do Curso
Fundamentos da Plataforma Databricks e do Lakehouse
- Arquitetura e componentes do Lakehouse do Databricks
- Organização de workspaces e catálogos
Workspace e Notebooks do Databricks
- Navegação no workspace e desenvolvimento baseado em notebooks
- Estruturação de código em notebooks reutilizáveis
Arquitetura e Execução do Apache Spark
- Arquitetura de runtime e modelo de execução do Spark
- Avaliação preguiçosa (lazy evaluation) e o DAG de tarefas
DataFrames PySpark e a API de DataFrames
- Abstrações e esquemas de DataFrames
- Operações principais de DataFrames e expressões de colunas
Tradução de SQL para DataFrames PySpark
- Tradução de cláusulas SQL principais para operações de DataFrame
- Funções de janela e agregações no PySpark
Leitura e Escrita de Dados no Databricks
- Leitura a partir de fontes comuns de ficheiros e bases de dados
- Escrita e particionamento de dados no Lakehouse
Delta Lake e Gestão de Tabelas
- Tabelas Delta e transações ACID
- Time travel e evolução de esquemas
Padrões de Limpeza e Transformação de Dados
- Limpeza de dados e conversão de tipos
- Construção de lógica de transformação reutilizável
Funções Definidas pelo Utilizador e Código Modular
- UDFs Python e UDFs pandas
- Modularização de lógica procedural em funções
Otimização de Desempenho e Ajuste Fino
- Estratégias de particionamento e cache
- Diagnóstico de gargalos com a Spark UI
Fundamentos de Streaming Estruturado
- Modelos de processamento em lote versus streaming
- DataFrames de streaming e agregações básicas
Tarefas Databricks e Orquestração de Workflows
- Agendamento de notebooks como tarefas e jobs
- Construção de workflows multi-etapas com dependências
Unity Catalog e Governança de Dados
- Arquitetura e namespaces do Unity Catalog
- Controlo de acesso e linhagem de dados
Testes, Depuração e Práticas de Produção
- Teste unitário de lógica PySpark
- Depuração e padrões de qualidade de código
Casos de Uso de Serviços Financeiros de Ponta a Ponta
- Construção de um pipeline ETL bancário de ponta a ponta
- Tradução de processos SQL legados para PySpark
Migração de Cargas de Trabalho SQL para PySpark
- Estratégia de migração e padrões de planeamento
- Conversão incremental de workflows SQL para PySpark
Requisitos
- Experiência em programação em Python, incluindo funções e tipos de dados
- Compreensão do SQL, incluindo junções, agregações e subconsultas
- Não é necessária experiência prévia com Databricks ou PySpark
Público-Alvo
- Engenheiros de dados, analistas de dados e profissionais de dados
- Equipes que estão a migrar workflows baseados em SQL existentes para o Databricks e PySpark
Formação Empresarial Personalizada
Soluções de formação concebidas exclusivamente para empresas.
- Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
- Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
- Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Preço por grupo privado, formação online em direto, a partir de 6500 € + VAT*
Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes
Testemunhos de Clientes (2)
Apresentando diferentes maneiras de otimizar nossas consultas do PySpark.
Ivan Abrashev - UBB + DZI (KBC GROUP)
Curso - Efficient Data Processing on Kubernetes with PySpark, Pandas & Polars
Máquina Traduzida
Gostei do fato de ser prático. Adorei aplicar o conhecimento teórico com exemplos práticos.
Aurelia-Adriana - Allianz Services Romania
Curso - Python and Spark for Big Data (PySpark)
Máquina Traduzida