Programa do Curso
Revisão dos Fundamentos do Apache Airflow
- Conceitos-chave: DAGs, tarefas e operadores
- Arquitetura e componentes do Airflow
- Resumo de casos de uso e workflows comuns
Otimização do Desempenho dos Workflows
- Identificação de gargalos nos pipelines Airflow
- Técnicas de otimização ao nível da tarefa
- Exploração de repetições de tarefas, paralelismo e concorrência
Gestão de Dependências Complexas
- Definição de dependências dinâmicas em workflows
- Tratamento de workflows condicionais e ramificados
- Utilização eficaz de grupos de tarefas e sub-DAGs
Funcionalidades Avançadas no Apache Airflow
- Criação de operadores e hooks personalizados
- Implementação de sensores para gatilhos externos
- Integração de serviços de terceiros e plugins
Escala das Implementações do Apache Airflow
- Abordagens de escala horizontal e vertical
- Utilização de Executores Celery para execução distribuída
- Melhores práticas de escala em ambientes na cloud
Monitorização e Depuração de Workflows
- Configuração de registos de eventos e alertas para monitorização de workflows
- Utilização da interface do utilizador e da CLI do Airflow para resolução de problemas
- Identificação e resolução de problemas comuns em implementações Airflow
Segurança do Apache Airflow
- Autenticação e controlo de acesso no Airflow
- Proteção de dados sensíveis e configurações de ambiente
- Implementação de trilhos de auditoria para workflows
Casos de Uso Empresariais e Melhores Práticas
- Design de workflows robustos para ambientes de produção
- Aproveitamento do Airflow para engenharia de dados e pipelines ETL
- Exploração de estudos de caso reais de implementações escaláveis do Airflow
Síntese e Próximos Passos
Requisitos
- Conhecimentos básicos do Apache Airflow
- Familiaridade com a programação em Python e os conceitos de orquestração de workflows
- Experiência na gestão e implementação de aplicações em ambientes Linux
Público-Alvo
- Engenheiros de dados
- Profissionais de DevOps
- Desenvolvedores de software
Formação Empresarial Personalizada
Soluções de formação concebidas exclusivamente para empresas.
- Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
- Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
- Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Preço por grupo privado, formação online em direto, a partir de 3900 € + VAT*
Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes
Testemunhos de Clientes (1)
O instrutor adaptou o treinamento ao nível dos participantes e respondeu a todas as perguntas. Ele foi muito comunicativo, e foi fácil interagir com ele. Achei o formato do treinamento excelente, que incluiu muitos exercícios práticos. No geral, foi uma sessão muito envolvente e bem organizada.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Curso - Apache Airflow: Building and Managing Data Pipelines
Máquina Traduzida
