Programa do Curso
Introdução ao Apache Airflow
- O que é orquestração de fluxos de trabalho
- Principais recursos e benefícios do Apache Airflow
- Melhorias do Airflow 2.x e visão geral do ecossistema
Arquitetura e Conceitos Fundamentais
- Processos de agendador, servidor web e trabalhadores (workers)
- DAGs, tarefas e operadores
- Executores e backends (Local, Celery, Kubernetes)
Instalação e Configuração
- Instalando o Airflow em ambientes locais e em nuvem
- Configurando o Airflow com diferentes executores
- Configurando bancos de dados de metadados e conexões
Navegando pela interface gráfica (UI) e linha de comandos (CLI) do Airflow
- Explorando a interface web do Airflow
- Monitorando execuções de DAGs, tarefas e logs
- Utilizando a CLI do Airflow para administração
Criação e Gerenciamento de DAGs
- Criando DAGs com a API TaskFlow
- Usando operadores, sensores e ganchos (hooks)
- Gerenciando dependências e intervalos de agendamento
Integração do Airflow com Serviços de Dados e Nuvem
- Conectando-se a bancos de dados, APIs e filas de mensagens
- Executando pipelines ETL com Airflow
- Integrações em nuvem: operadores AWS, GCP, Azure
Monitoramento e Observabilidade
- Logs de tarefas e monitoramento em tempo real
- Métricas com Prometheus e Grafana
- Alertas e notificações por e-mail ou Slack
Segurança no Apache Airflow
- Controle de acesso baseado em papéis (RBAC)
- Autenticação com LDAP, OAuth e SSO
- Gerenciamento de segredos com Vault e cofres de segredos em nuvem
Escalabilidade do Apache Airflow
- Paralelismo, concorrência e filas de tarefas
- Usando CeleryExecutor e KubernetesExecutor
- Implantando o Airflow no Kubernetes com Helm
Boas Práticas para Produção
- Controle de versão e CI/CD para DAGs
- Testes e depuração de DAGs
- Mantendo confiabilidade e desempenho em escala
Solução de Problemas e Otimização
- Depuração de DAGs e tarefas falhas
- Otimização do desempenho de DAGs
- Erros comuns e como evitá-los
Resumo e Próximos Passos
Requisitos
- Experiência com programação em Python
- Familiaridade com conceitos de engenharia de dados ou DevOps
- Compreensão de ETL ou orquestração de fluxos de trabalho
Público Alvo
- Cientistas de dados
- Engenheiros de dados
- Engenheiros de DevOps e infraestrutura
- Desenvolvedores de software
Treinamento Corporativo Personalizado
Soluções de treinamento projetadas exclusivamente para empresas.
- Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
- Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
- Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Preço por grupo privado, treinamento online ao vivo, a partir de 3900 € + VAT*
Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes
Testemunhos de Clientes (7)
O instrutor adaptou o treinamento ao nível dos participantes e respondeu a todas as perguntas. Ele foi muito comunicativo, e foi fácil interagir com ele. Achei o formato do treinamento excelente, que incluiu muitos exercícios práticos. No geral, foi uma sessão muito envolvente e bem organizada.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Curso - Apache Airflow: Building and Managing Data Pipelines
Máquina Traduzida
O treinamento foi perfeito. Teoria e exercícios muito úteis.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
O treinamento foi excelente em todos os aspectos. Aspectos teóricos úteis e exercícios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
O treinamento foi perfeito em todos os aspectos. Conteúdos teóricos úteis e exercícios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
O treinamento foi perfeito em todos os aspectos. Aspectos teóricos úteis e exercícios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
O treinamento foi perfeito em todos os aspectos. Aspectos teóricos úteis e exercícios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
O treinamento foi perfeito em todos os aspectos. Aspectos teóricos úteis e exercícios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida