Programa do Curso
Fundamentos do NiFi e Fluxo de Dados
- Dados em movimento vs. dados em repouso: conceitos e desafios
- Arquitetura do NiFi: núcleos, controlador de fluxo, proveniência e boletim
- Componentes-chave: processadores, ligações, controladores e proveniência
Contexto e Integração de Big Data
- O papel do NiFi nos ecossistemas de Big Data (Hadoop, Kafka, armazenamento na cloud)
- Visão geral do HDFS, MapReduce e alternativas modernas
- Casos de utilização: ingestão de fluxos, envio de registos, pipelines de eventos
Instalação, Configuração e Definição de Cluster
- Instalação do NiFi em nó único e modo de cluster
- Configuração de cluster: papéis dos nós, Zookeeper e equilíbrio de carga
- Orquestração de implementações NiFi: utilização de Ansible, Docker ou Helm
Conceção e Gestão de Fluxos de Dados
- Encaminhamento, filtragem, divisão e fusão de fluxos
- Configuração de processadores (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
- Tratamento de esquemas, Enriquecimento e operações de transformação
- Tratamento de erros, relações de repetição e backpressure
Cenários de Integração
- Ligação a bases de dados, sistemas de mensageria e APIs REST
- Streaming para sistemas analíticos: Kafka, Elasticsearch ou armazenamento na cloud
- Integração com Splunk, Prometheus ou pipelines de registo
Monitorização, Recuperação e Proveniência
- Utilização da interface do NiFi, métricas e visualizador de proveniência
- Conceção de recuperação autónoma e gestão de falhas adequada
- Cópia de segurança, versionamento de fluxos e gestão de alterações
Ajuste de Desempenho e Otimização
- Ajuste da JVM, heap, pools de threads e parâmetros de clustering
- Otimização do desenho do fluxo para reduzir gargalos
- Isolamento de recursos, priorização de fluxos e controlo de taxa de transferência
Boas Práticas e Governança
- Documentação de fluxos, normas de nomenclatura, design modular
- Segurança: TLS, autenticação, controlo de acesso, encriptação de dados
- Controlo de alterações, versionamento, acesso baseado em funções, registos de auditoria
Resolução de Problemas e Resposta a Incidentes
- Problemas comuns: deadlocks, fugas de memória, erros de processadores
- Análise de registos, diagnóstico de erros e investigação da causa raiz
- Estratégias de recuperação e reversão de fluxos
Laboratório Prático: Implementação de um Pipeline de Dados Realista
- Criação de um fluxo completo: ingestão, transformação, entrega
- Implementação de tratamento de erros, backpressure e escalabilidade
- Teste de desempenho e ajuste do pipeline
Resumo e Próximos Passos
Requisitos
- Experiência com a linha de comandos Linux
- Compreensão básica de redes e sistemas de dados
- Contacto prévio com conceitos de streaming de dados ou ETL
Público-Alvo
- Administradores de sistemas
- Engenheiros de dados
- Programadores
- Profissionais de DevOps
Formação Empresarial Personalizada
Soluções de formação concebidas exclusivamente para empresas.
- Conteúdo Personalizado: Adaptamos o programa e os exercícios práticos aos objetivos e necessidades reais do seu projeto.
- Horário Flexível: Datas e horários adaptados à agenda da sua equipe.
- Formato: Online (ao vivo), In-Company (em suas instalações) ou Híbrido.
Preço por grupo privado, formação online em direto, a partir de 3900 € + VAT*
Entre em contato conosco para obter um orçamento preciso e conhecer nossas promoções mais recentes
Testemunhos de Clientes (7)
Exercícios práticos. A turma deveria ter durado 5 dias, mas os 3 dias ajudaram a esclarecer muitas das minhas dúvidas sobre o trabalho com NiFi.
James - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Achei que o ritmo do instrutor foi bom. Ele não deixou nenhum aluno para trás com sua abordagem. Ele foi muito solidário conosco, INICIANTES, que podem não ter tido um papel de Administrador de Sistema ou Infraestrutura durante nossas carreiras ou que reviveram essas habilidades de um período anterior de nossas carreiras.
Pamdrea Ivory - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Gostei da seção prática. Ela me ajudou a reter melhor as informações ao completar os exercícios fornecidos. Além disso, a habilidade do instrutor de envolver toda a classe me deixou confortável para fazer perguntas sobre os assuntos dos quais não tinha certeza.
Leila - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Cenários de uso e exemplos para a construção de fluxos de dados do NiFi. Trabalhamos na solução de problemas comuns e armadilhas.
Nelson - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Eu amei a estrutura. No primeiro dia, mergulhamos nos fundamentos do NiFi, conceitos, casos de uso, etc. No segundo dia, colocamos em prática o conhecimento adquirido no Dia 1, construindo fluxos para atender aos requisitos dos cenários. No terceiro dia, vimos o NiFi Registry e controle de versão, multitenância e fizemos uma sessão de perguntas e respostas.
Adam - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
Gostei da forma como ele conseguiu elaborar sobre o NiFi e quão poderoso ele é. Basicamente, você pode usá-lo para qualquer infraestrutura e utilizar muitas diferentes linguagens de programação. Também fiquei feliz que conseguimos resolver o problema de renovação do certificado do NiFi que estávamos enfrentando com o Truststore.
Joachim Martin - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida
conhecimentos gerais e as possibilidades oferecidas pelo treinamento em termos da ferramenta.
Nalfis Tobar - BHG Financial
Curso - Apache NiFi for Administrators
Máquina Traduzida