Cursos de Stream Processing with Kafka Streams

Esta formação em direto, ministrada por um formador, em Portugal (online ou no local) destina-se a programadores que pretendam integrar Apache Kafka em bases de dados e aplicações existentes para processamento, análise, etc.

No final desta formação, os participantes serão capazes de

• Usar o Kafka Connect para ingestão de grandes volumes de dados de um banco de dados em tópicos do Kafka.
• Ingerir dados de log gerados por servidores de aplicativos em tópicos do Kafka.
• Make quaisquer dados coletados disponíveis para processamento de fluxo.
• Exportar dados dos tópicos do Kafka para sistemas secundários para armazenamento e análise.

Apache Beam é um modelo de programação unificado e de código aberto para definir e executar pipelines de processamento de dados paralelos. O seu poder reside na sua capacidade de executar pipelines em lote e em fluxo contínuo, sendo a execução efectuada por um dos back-ends de processamento distribuído suportados pelo Beam: Apache Apex, Apache Flink, Apache Spark e Google Cloud Dataflow. A solução Apache Beam é útil para tarefas de ETL (Extrair, Transformar e Carregar), como mover dados entre diferentes mídias de armazenamento e fontes de dados, transformar dados em um formato mais desejável e carregar dados em um novo sistema.

Neste treinamento ao vivo conduzido por instrutor (no local ou remoto), os participantes aprenderão como implementar os SDKs Apache Beam em um aplicativo Java ou Python que define um pipeline de processamento de dados para decompor um grande conjunto de dados em pedaços menores para processamento paralelo e independente.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar Apache Beam.
• Utilizar um único modelo de programação para efetuar o processamento em lote e em fluxo a partir da sua aplicação Java ou Python.
• Executar pipelines em vários ambientes.

Formato do curso

• Parte palestra, parte discussão, exercícios e muita prática

Nota

• Este curso estará disponível Scala no futuro. Por favor, contacte-nos para organizar.

este instrutor liderada, treinamento ao vivo (no local ou remoto) destina-se a engenheiros que desejam usar confluent (uma distribuição de Kafka) para construir e gerenciar uma plataforma de processamento de dados em tempo real para suas aplicações.

no final deste treinamento, os participantes poderão:

• Instalar e configurar o Confluent Platform.
• Utilizar as ferramentas e serviços de gerenciamento do Confluent para executar o Kafka de forma mais fácil.
• Armazenar e processar dados de fluxo de entrada.
• Otimizar e gerenciar clusters do Kafka.
• Proteger fluxos de dados.

formato do curso

• Aula interativa e discussão.
• Muitos exercícios e prática.
• Implementação hands-on em um ambiente de laboratório ao vivo.

Opções de personalização do curso

• Este curso é baseado na versão open source do Confluent: Confluent Open Source.
• Para solicitar um treinamento personalizado para este curso, por favor entre em contato conosco para agendar.

Apache Kafka é uma plataforma de streaming distribuída. É, de fato, um padrão para a construção de pipelines de dados e resolve muitos casos de uso diferentes em torno do processamento de dados: ele pode ser usado como uma fila de mensagens, um log distribuído, um processador de fluxo etc.

Vamos começar com alguma teoria por trás dos pipelines de dados em geral, depois continuar com conceitos fundamentais por trás de Kafka. Também descobriremos componentes importantes como o Kafka Streams e o Kafka Connect.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) apresenta os princípios e abordagens por trás do fluxo distribuído e do processamento de dados em lote, e orienta os participantes na criação de um aplicativo de streaming de dados em tempo real em Apache Flink.

No final deste treinamento, os participantes serão capazes de:

• Configurar um ambiente para o desenvolvimento de aplicativos de análise de dados.
• Entender como funciona a biblioteca de processamento de gráficos do Apache Flink (Gelly).
• Empacotar, executar e monitorar aplicativos de streaming de dados baseados em Flink, tolerantes a falhas.
• Gerenciar diversas cargas de trabalho.
• Realizar análises avançadas.
• Configurar um cluster Flink de vários nós.
• Medir e otimizar o desempenho.
• Integrar o Flink com diferentes sistemas Big Data.
• Comparar os recursos do Flink com os de outros frameworks de processamento de big data.

Neste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto), os participantes aprenderão como configurar e integrar diferentes estruturas Stream Processing com sistemas de armazenamento de big data existentes e aplicativos de software relacionados e microsserviços.

No final desta formação, os participantes serão capazes de

• Instalar e configurar diferentes Stream Processing frameworks, como Spark Streaming e Kafka Streaming.
• Compreender e selecionar a estrutura mais apropriada para o trabalho.
• Processar dados de forma contínua, simultânea e de forma registo a registo.
• Integrar Stream Processing soluções com bancos de dados existentes, data warehouses, data lakes, etc.
• Integrar a biblioteca de processamento de fluxo mais adequada com aplicativos corporativos e microsserviços.

Este curso destina-se a arquitetos, desenvolvedores, administradores de sistemas e qualquer pessoa que queira entender e usar um sistema de mensagens distribuídas de alto rendimento. Se você tiver requisitos mais específicos (por exemplo, apenas lado da administração do sistema), este curso pode ser adaptado para atender melhor às suas necessidades.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a administradores de sistemas que desejam configurar, implantar, gerenciar e otimizar um cluster Kafka de nível empresarial.

No final desta formação, os participantes serão capazes de

• Configurar e administrar um cluster do Kafka.
• Avaliar os benefícios e desvantagens da implantação do Kafka no local versus na nuvem.
• Implantar e monitorar o Kafka usando várias ferramentas de ambiente no local e na nuvem.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos Apache Kafka no fluxo de dados com Python.

No final deste treinamento, os participantes poderão usar Apache Kafka para monitorar e gerenciar condições em fluxos de dados contínuos usando a programação Python.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores que desejam implementar o processamento de fluxo Apache Kafka sem escrever código.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Confluent KSQL.
• Configurar um pipeline de processamento de fluxo usando apenas comandos SQL (sem codificação Java ou Python).
• Realizar filtragem de dados, transformações, agregações, junções, janelamento e sessionização inteiramente em SQL.
• Conceber e implementar consultas interactivas e contínuas para ETL de fluxo contínuo e análise em tempo real.

Neste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto), os participantes aprenderão como implantar e gerenciar Apache NiFi em um ambiente de laboratório ao vivo.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apachi NiFi.
• Fonte, transformar e gerenciar dados de fontes de dados díspares e distribuídas, incluindo bancos de dados e grandes lagos de dados.
• Automatizar fluxos de dados.
• Habilitar a análise de streaming.
• Aplicar várias abordagens para a ingestão de dados.
• Transformar Big Data em informações comerciais.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando Apache NiFi.

No final deste treinamento, os participantes serão capazes de:

• Compreender a arquitetura do NiFi e os conceitos de fluxo de dados.
• Desenvolver extensões usando NiFi e APIs de terceiros.
• Desenvolver seu próprio processador Apache Nifi.
• Ingerir e processar dados em tempo real de formatos de arquivos e fontes de dados diferentes e incomuns.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos Spark Streaming no processamento e análise de dados em tempo real.

No final deste treinamento, os participantes poderão usar Spark Streaming para processar fluxos de dados ao vivo para uso em bancos de dados, sistemas de arquivos e painéis ao vivo.