Entrar em Contato
 Duração 35 horas

Programa do Curso

Fundamentos da Plataforma Databricks e do Lakehouse

  • Arquitetura e componentes do Lakehouse do Databricks
  • Organização de workspaces e catálogos

Workspace e Notebooks do Databricks

  • Navegação no workspace e desenvolvimento baseado em notebooks
  • Estruturação de código em notebooks reutilizáveis

Arquitetura e Execução do Apache Spark

  • Arquitetura de runtime e modelo de execução do Spark
  • Avaliação preguiçosa (lazy evaluation) e o DAG de tarefas

DataFrames PySpark e a API de DataFrames

  • Abstrações e esquemas de DataFrames
  • Operações principais de DataFrames e expressões de colunas

Tradução de SQL para DataFrames PySpark

  • Tradução de cláusulas SQL principais para operações de DataFrame
  • Funções de janela e agregações no PySpark

Leitura e Escrita de Dados no Databricks

  • Leitura a partir de fontes comuns de ficheiros e bases de dados
  • Escrita e particionamento de dados no Lakehouse

Delta Lake e Gestão de Tabelas

  • Tabelas Delta e transações ACID
  • Time travel e evolução de esquemas

Padrões de Limpeza e Transformação de Dados

  • Limpeza de dados e conversão de tipos
  • Construção de lógica de transformação reutilizável

Funções Definidas pelo Utilizador e Código Modular

  • UDFs Python e UDFs pandas
  • Modularização de lógica procedural em funções

Otimização de Desempenho e Ajuste Fino

  • Estratégias de particionamento e cache
  • Diagnóstico de gargalos com a Spark UI

Fundamentos de Streaming Estruturado

  • Modelos de processamento em lote versus streaming
  • DataFrames de streaming e agregações básicas

Tarefas Databricks e Orquestração de Workflows

  • Agendamento de notebooks como tarefas e jobs
  • Construção de workflows multi-etapas com dependências

Unity Catalog e Governança de Dados

  • Arquitetura e namespaces do Unity Catalog
  • Controlo de acesso e linhagem de dados

Testes, Depuração e Práticas de Produção

  • Teste unitário de lógica PySpark
  • Depuração e padrões de qualidade de código

Casos de Uso de Serviços Financeiros de Ponta a Ponta

  • Construção de um pipeline ETL bancário de ponta a ponta
  • Tradução de processos SQL legados para PySpark

Migração de Cargas de Trabalho SQL para PySpark

  • Estratégia de migração e padrões de planeamento
  • Conversão incremental de workflows SQL para PySpark

Requisitos

  • Experiência em programação em Python, incluindo funções e tipos de dados
  • Compreensão do SQL, incluindo junções, agregações e subconsultas
  • Não é necessária experiência prévia com Databricks ou PySpark

Público-Alvo

  • Engenheiros de dados, analistas de dados e profissionais de dados
  • Equipes que estão a migrar workflows baseados em SQL existentes para o Databricks e PySpark

Formação Empresarial Personalizada

Soluções de formação concebidas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, formação online em direto, a partir de 6500 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Testemunhos de Clientes (2)

Próximas Formações Provisórias

Categorias Relacionadas