Curso de Oficina de Migração para Databricks: De Procedimentos Armazenados ao Lakehouse (Intensivo de 5 Dias)

Introdução, Objetivos e Estratégia de Migração

• Objetivos do curso, alinhamento do perfil dos participantes e critérios de sucesso
• Abordagens de migração de alto nível e considerações de risco
• Configuração de workspaces, repositórios e conjuntos de dados para laboratórios

Dia 1 — Fundamentos de Migração e Arquitetura

• Conceitos de Lakehouse, visão geral do Delta Lake e arquitetura do Databricks
• Diferenças entre SMP e MPP e implicações para a migração
• Design Medallion (Bronze→Prata→Ouro) e visão geral do Unity Catalog

Laboratório Dia 1 — Tradução de um Procedimento Armazenado

• Migração prática de um procedimento armazenado de exemplo para um notebook
• Mapeamento de tabelas temporárias e cursores para transformações de DataFrame
• Validação e comparação com a saída original

Dia 2 — Delta Lake Avançado & Carga Incremental

• Transações ACID, logs de commit, versionamento e time travel
• Auto Loader, padrões de MERGE INTO, upserts e evolução de esquema
• OPTIMIZE, VACUUM, Z-ORDER, particionamento e ajuste de armazenamento

Laboratório Dia 2 — Ingestão & Otimização Incrementais

• Implementação de ingestão via Auto Loader e workflows de MERGE
• Aplicação de OPTIMIZE, Z-ORDER e VACUUM; validação dos resultados
• Medição das melhorias no desempenho de leitura/escrita

Dia 3 — SQL no Databricks, Desempenho & Depuração

• Recursos analíticos de SQL: funções de janela, funções de ordem superior, tratamento de JSON/arrays
• Leitura do Spark UI, DAGs, shuffles, estágios, tarefas e diagnóstico de gargalos
• Padrões de ajuste de consultas: broadcast joins, hints, cache e redução de spills

Laboratório Dia 3 — Refatoração de SQL & Ajuste de Desempenho

• Refatorar um processo pesado em SQL para Spark SQL otimizado
• Usar traces do Spark UI para identificar e corrigir problemas de skew e shuffle
• Realizar benchmark antes/depois e documentar os passos de ajuste

Dia 4 — PySpark Tático: Substituindo Lógica Procedural

• Modelo de execução do Spark: driver, executores, avaliação preguiçosa (lazy evaluation) e estratégias de particionamento
• Transformando loops e cursores em operações vetorizadas de DataFrame
• Modularização, UDFs/pandas UDFs, widgets e bibliotecas reutilizáveis

Laboratório Dia 4 — Refatoração de Scripts Procedurais

• Refatorar um script ETL procedural para notebooks PySpark modulares
• Introdução à parametrização, testes em estilo unitário e funções reutilizáveis
• Revisão de código e aplicação de lista de verificação de melhores práticas

Dia 5 — Orquestração, Pipeline Ponta a Ponta & Melhores Práticas

• Databricks Workflows: design de jobs, dependências de tarefas, gatilhos e tratamento de erros
• Design de pipelines Medallion incrementais com regras de qualidade e validação de esquema
• Integração com Git (GitHub/Azure DevOps), CI e estratégias de teste para lógica PySpark

Laboratório Dia 5 — Construção de um Pipeline Completo Ponta a Ponta

• Montagem do pipeline Bronze→Prata→Ouro orquestrado com Workflows
• Implementação de logging, auditoria, tentativas (retries) e validações automatizadas
• Execução do pipeline completo, validação das saídas e preparação das notas de implantação

Operacionalização, Governança e Prontidão para Produção

• Melhores práticas de governança com Unity Catalog, linhagem de dados e controles de acesso
• Custos, dimensionamento de clusters, autoscaling e padrões de concorrência de jobs
• Lista de verificação de implantação, estratégias de rollback e criação de runbooks

Revisão Final, Transferência de Conhecimento e Próximos Passos

• Apresentações dos participantes sobre o trabalho de migração e lições aprendidas
• Análise de lacunas, atividades de acompanhamento recomendadas e entrega dos materiais de treinamento
• Referências, caminhos de aprendizado adicionais e opções de suporte