Programa do Curso
Introdução ao Apache Airflow
- O que é a orquestração de fluxos de trabalho
- Principais funcionalidades e benefícios do Apache Airflow
- Melhorias do Airflow 2.x e visão geral do ecossistema
Arquitetura e Conceitos Fundamentais
- Processos de agendador (scheduler), servidor web e workers
- DAGs, tarefas (tasks) e operadores
- Executores e backends (Local, Celery, Kubernetes)
Instalação e Configuração
- Instalação do Airflow em ambientes locais e em nuvem
- Configuração do Airflow com diferentes executores
- Definição de bases de dados de metadados e ligações
Navegação na interface de utilizador e CLI do Airflow
- Exploração da interface web do Airflow
- Monitorização de execuções de DAGs, tarefas e registos (logs)
- Utilização da CLI do Airflow para administração
Criação e Gestão de DAGs
- Criação de DAGs com a TaskFlow API
- Utilização de operadores, sensores (sensors) e hooks
- Gestão de dependências e intervalos de agendamento
Integração do Airflow com Serviços de Dados e Nuvem
- Ligação a bases de dados, APIs e filas de mensagens
- Execução de pipelines ETL com o Airflow
- Integrações em nuvem: operadores AWS, GCP, Azure
Monitorização e Observabilidade
- Registos de tarefas (task logs) e monitorização em tempo real
- Métricas com Prometheus e Grafana
- Alertas e notificações via e-mail ou Slack
Segurança do Apache Airflow
- Controlo de acesso baseado em papéis (RBAC)
- Autenticação com LDAP, OAuth e SSO
- Gestão de segredos com Vault e lojas de segredos em nuvem
Escalonamento do Apache Airflow
- Paralelismo, concorrência e filas de tarefas
- Utilização de CeleryExecutor e KubernetesExecutor
- Implementação do Airflow no Kubernetes com Helm
Boas Práticas para Produção
- Controlo de versões e CI/CD para DAGs
- Testes e depuração de DAGs
- Manutenção da fiabilidade e desempenho em grande escala
Resolução de Problemas e Otimização
- Depuração de DAGs e tarefas com falha
- Otimização do desempenho dos DAGs
- Erros comuns e como evitá-los
Resumo e Próximos Passos
Requisitos
- Experiência em programação Python
- Familiaridade com conceitos de engenharia de dados ou DevOps
- Compreensão de ETL ou orquestração de fluxos de trabalho
Público-Alvo
- Cientistas de dados
- Engenheiros de dados
- Engenheiros DevOps e de infraestrutura
- Desenvolvedores de software
Formação Empresarial Personalizada
Soluções de formação concebidas exclusivamente para empresas.
- Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
- Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
- Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Preço por grupo privado, formação online em direto, a partir de 3900 € + VAT*
Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes
Testemunhos de Clientes (7)
O instrutor adaptou o treinamento ao nível dos participantes e respondeu a todas as perguntas. Ele foi muito comunicativo, e foi fácil interagir com ele. Achei o formato do treinamento excelente, que incluiu muitos exercícios práticos. No geral, foi uma sessão muito envolvente e bem organizada.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Curso - Apache Airflow: Building and Managing Data Pipelines
Máquina Traduzida
O treinamento foi perfeito. Teoria e exercícios muito úteis.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
O treinamento foi excelente em todos os aspectos. Aspectos teóricos úteis e exercícios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
O treinamento foi perfeito em todos os aspectos. Conteúdos teóricos úteis e exercícios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
O treinamento foi perfeito em todos os aspectos. Aspectos teóricos úteis e exercícios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
O treinamento foi perfeito em todos os aspectos. Aspectos teóricos úteis e exercícios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
O treinamento foi perfeito em todos os aspectos. Aspectos teóricos úteis e exercícios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Máquina Traduzida
