Entrar em Contato
 Duração 21 horas

Programa do Curso

Introdução ao Apache Airflow

  • O que é orquestração de fluxos de trabalho
  • Principais recursos e benefícios do Apache Airflow
  • Melhorias do Airflow 2.x e visão geral do ecossistema

Arquitetura e Conceitos Fundamentais

  • Processos de agendador, servidor web e trabalhadores (workers)
  • DAGs, tarefas e operadores
  • Executores e backends (Local, Celery, Kubernetes)

Instalação e Configuração

  • Instalando o Airflow em ambientes locais e em nuvem
  • Configurando o Airflow com diferentes executores
  • Configurando bancos de dados de metadados e conexões

Navegando pela interface gráfica (UI) e linha de comandos (CLI) do Airflow

  • Explorando a interface web do Airflow
  • Monitorando execuções de DAGs, tarefas e logs
  • Utilizando a CLI do Airflow para administração

Criação e Gerenciamento de DAGs

  • Criando DAGs com a API TaskFlow
  • Usando operadores, sensores e ganchos (hooks)
  • Gerenciando dependências e intervalos de agendamento

Integração do Airflow com Serviços de Dados e Nuvem

  • Conectando-se a bancos de dados, APIs e filas de mensagens
  • Executando pipelines ETL com Airflow
  • Integrações em nuvem: operadores AWS, GCP, Azure

Monitoramento e Observabilidade

  • Logs de tarefas e monitoramento em tempo real
  • Métricas com Prometheus e Grafana
  • Alertas e notificações por e-mail ou Slack

Segurança no Apache Airflow

  • Controle de acesso baseado em papéis (RBAC)
  • Autenticação com LDAP, OAuth e SSO
  • Gerenciamento de segredos com Vault e cofres de segredos em nuvem

Escalabilidade do Apache Airflow

  • Paralelismo, concorrência e filas de tarefas
  • Usando CeleryExecutor e KubernetesExecutor
  • Implantando o Airflow no Kubernetes com Helm

Boas Práticas para Produção

  • Controle de versão e CI/CD para DAGs
  • Testes e depuração de DAGs
  • Mantendo confiabilidade e desempenho em escala

Solução de Problemas e Otimização

  • Depuração de DAGs e tarefas falhas
  • Otimização do desempenho de DAGs
  • Erros comuns e como evitá-los

Resumo e Próximos Passos

Requisitos

  • Experiência com programação em Python
  • Familiaridade com conceitos de engenharia de dados ou DevOps
  • Compreensão de ETL ou orquestração de fluxos de trabalho

Público Alvo

  • Cientistas de dados
  • Engenheiros de dados
  • Engenheiros de DevOps e infraestrutura
  • Desenvolvedores de software

Treinamento Corporativo Personalizado

Soluções de treinamento projetadas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, treinamento online ao vivo, a partir de 3900 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Testemunhos de Clientes (7)

Próximas Formações Provisórias

Categorias Relacionadas