Entrar em Contato
 Duração 21 horas

Programa do Curso

Fundamentos do NiFi e Fluxo de Dados

  • Dados em movimento vs. dados em repouso: conceitos e desafios
  • Arquitetura do NiFi: núcleos, controlador de fluxo, proveniência e boletim
  • Componentes-chave: processadores, ligações, controladores e proveniência

Contexto e Integração de Big Data

  • O papel do NiFi nos ecossistemas de Big Data (Hadoop, Kafka, armazenamento na cloud)
  • Visão geral do HDFS, MapReduce e alternativas modernas
  • Casos de utilização: ingestão de fluxos, envio de registos, pipelines de eventos

Instalação, Configuração e Definição de Cluster

  • Instalação do NiFi em nó único e modo de cluster
  • Configuração de cluster: papéis dos nós, Zookeeper e equilíbrio de carga
  • Orquestração de implementações NiFi: utilização de Ansible, Docker ou Helm

Conceção e Gestão de Fluxos de Dados

  • Encaminhamento, filtragem, divisão e fusão de fluxos
  • Configuração de processadores (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
  • Tratamento de esquemas, Enriquecimento e operações de transformação
  • Tratamento de erros, relações de repetição e backpressure

Cenários de Integração

  • Ligação a bases de dados, sistemas de mensageria e APIs REST
  • Streaming para sistemas analíticos: Kafka, Elasticsearch ou armazenamento na cloud
  • Integração com Splunk, Prometheus ou pipelines de registo

Monitorização, Recuperação e Proveniência

  • Utilização da interface do NiFi, métricas e visualizador de proveniência
  • Conceção de recuperação autónoma e gestão de falhas adequada
  • Cópia de segurança, versionamento de fluxos e gestão de alterações

Ajuste de Desempenho e Otimização

  • Ajuste da JVM, heap, pools de threads e parâmetros de clustering
  • Otimização do desenho do fluxo para reduzir gargalos
  • Isolamento de recursos, priorização de fluxos e controlo de taxa de transferência

Boas Práticas e Governança

  • Documentação de fluxos, normas de nomenclatura, design modular
  • Segurança: TLS, autenticação, controlo de acesso, encriptação de dados
  • Controlo de alterações, versionamento, acesso baseado em funções, registos de auditoria

Resolução de Problemas e Resposta a Incidentes

  • Problemas comuns: deadlocks, fugas de memória, erros de processadores
  • Análise de registos, diagnóstico de erros e investigação da causa raiz
  • Estratégias de recuperação e reversão de fluxos

Laboratório Prático: Implementação de um Pipeline de Dados Realista

  • Criação de um fluxo completo: ingestão, transformação, entrega
  • Implementação de tratamento de erros, backpressure e escalabilidade
  • Teste de desempenho e ajuste do pipeline

Resumo e Próximos Passos

Requisitos

  • Experiência com a linha de comandos Linux
  • Compreensão básica de redes e sistemas de dados
  • Contacto prévio com conceitos de streaming de dados ou ETL

Público-Alvo

  • Administradores de sistemas
  • Engenheiros de dados
  • Programadores
  • Profissionais de DevOps

Formação Empresarial Personalizada

Soluções de formação concebidas exclusivamente para empresas.

  • Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
  • Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
  • Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Investimento

Preço por grupo privado, formação online em direto, a partir de 3900 € + VAT*

Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes

Testemunhos de Clientes (7)

Próximas Formações Provisórias

Categorias Relacionadas