Cursos de Processamento em tempo real (Stream processing) em Gaia

este instrutor liderada, treinamento ao vivo (no local ou remoto) destina-se a engenheiros que desejam usar confluent (uma distribuição de Kafka) para construir e gerenciar uma plataforma de processamento de dados em tempo real para suas aplicações. no final deste treinamento, os participantes poderão:

• instalar e configurar plataforma confluente.
• use ferramentas de gestão confluentes & #39; s e serviços para executar Kafka mais facilmente.
• armazenar e processar dados de fluxo de entrada.
• otimizar e gerenciar clusters Kafka.
fluxos de dados
• Secure.

formato do curso

• palestra interativa e discussão.
• lotes de exercícios e prática.
• implementação hands-on em um ambiente de laboratório ao vivo.

Opções de personalização do curso

• este curso é baseado na versão de código aberto de confluent: fonte aberta confluente.
• para solicitar um treinamento personalizado para este curso, entre em contato conosco para organizar.

Neste treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto), os participantes aprenderão como configurar e integrar diferentes estruturas Stream Processing com sistemas de armazenamento de big data existentes e aplicativos de software relacionados e microsserviços. No final desta formação, os participantes serão capazes de

• Instalar e configurar diferentes Stream Processing frameworks, como Spark Streaming e Kafka Streaming.
• Compreender e selecionar a estrutura mais apropriada para o trabalho.
• Processar dados de forma contínua, simultânea e de forma registo a registo.
• Integrar Stream Processing soluções com bancos de dados existentes, data warehouses, data lakes, etc.
• Integrar a biblioteca de processamento de fluxo mais adequada com aplicativos corporativos e microsserviços.

Este treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos do Apache Kafka em streaming de dados com Python. No final deste treinamento, os participantes serão capazes de usar o Apache Kafka para monitorar e gerenciar condições em fluxos de dados contínuos usando a programação Python.

O Kafka Streams é uma biblioteca do lado do cliente para criar aplicativos e microsserviços cujos dados são transmitidos para e de um sistema de mensagens Kafka. Tradicionalmente, o Apache Kafka conta com o Apache Spark ou o Apache Storm para processar dados entre produtores e consumidores de mensagens. Ao chamar a API Kafka Streams de dentro de um aplicativo, os dados podem ser processados diretamente no Kafka, ignorando a necessidade de enviar os dados para um cluster separado para processamento. Neste treinamento ao vivo conduzido por instrutor, os participantes aprenderão a integrar o Kafka Streams em um conjunto de aplicativos Java de amostra que transmitem dados para e do Apache Kafka para processamento de fluxo. No final deste treinamento, os participantes serão capazes de:

• Entenda os recursos e vantagens do Kafka Streams em relação a outras estruturas de processamento de fluxo
• Processar dados do fluxo diretamente dentro de um cluster Kafka
• Escreva um aplicativo ou microsserviço Java ou Scala que se integre com Kafka e Kafka Streams
• Escrever código conciso que transforma tópicos de entrada do Kafka em tópicos de saída do Kafka
• Construa, empacote e implante o aplicativo

Público

• Desenvolvedores

Formato do curso

• Palestra parcial, parte discussão, exercícios e prática prática

Notas

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para

O Apache Samza é uma estrutura computacional assíncrona e de tempo real de código aberto para processamento de fluxo. Ele usa o Apache Kafka para mensagens e o Apache Hadoop YARN para tolerância a falhas, isolamento do processador, segurança e gerenciamento de recursos. Este treinamento ao vivo conduzido por instrutor introduz os princípios por trás dos sistemas de mensagens e do processamento de fluxo distribuído, enquanto percorre os participantes através da criação de um projeto baseado em Samza e execução de tarefas. No final deste treinamento, os participantes serão capazes de:

• Use o Samza para simplificar o código necessário para produzir e consumir mensagens.
• Desacoplar o tratamento de mensagens de um aplicativo.
• Use o Samza para implementar computação assíncrona em tempo quase real.
• Use o processamento de fluxo para fornecer um nível mais alto de abstração nos sistemas de mensagens.

Público

• Desenvolvedores

Formato do curso

• Palestra parcial, parte discussão, exercícios e prática prática

Este treinamento ao vivo conduzido por instrutor em Gaia (online ou no local) apresenta os princípios e abordagens por trás do fluxo distribuído e processamento de dados em lote, e orienta os participantes através da criação de um aplicativo de fluxo de dados em tempo real em Apache Flink. No final desta formação, os participantes serão capazes de

Configurar um ambiente para desenvolver aplicações de análise de dados. Entender como funciona a biblioteca de processamento de gráficos do Apache Flink (Gelly). Empacotar, executar e monitorar aplicativos de streaming de dados baseados no Flink, tolerantes a falhas. Gerenciar diversas cargas de trabalho. Realizar análises avançadas. Configurar um cluster Flink de vários nós. Medir e otimizar o desempenho. Integrar o Flink com diferentes sistemas Big Data. Comparar os recursos do Flink com os de outros frameworks de processamento de big data.

Nesta formação ao vivo orientada por um instrutor em Gaia (no local ou remoto), os participantes aprenderão a implementar e gerir Apache NiFi num ambiente de laboratório ao vivo. No final desta formação, os participantes serão capazes de

• Instalar e configurar o Apachi NiFi.
• Fonte, transforme e gerencie dados de fontes de dados díspares e distribuídas, incluindo bancos de dados e grandes lagos de dados.
• Automatizar fluxos de dados.
• Habilitar a análise de streaming.
• Aplicar várias abordagens para a ingestão de dados.
• Transformar Big Data e em insights de negócios.

Neste treinamento ao vivo conduzido por instrutor em Gaia, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando Apache NiFi. No final desta formação, os participantes serão capazes de

• Compreender a arquitetura do NiFi's e conceitos de dataflow.
• Desenvolver extensões usando NiFi e APIs de terceiros.
• Desenvolver seu próprio processador Apache Nifi.
• Ingestão e processamento de dados em tempo real de formatos de arquivos e fontes de dados díspares e incomuns.

Apache Storm é um motor de computação em tempo real distribuído usado para permitir a inteligência de negócios em tempo real. Ele faz isso, permitindo que as aplicações processem de forma confiável fluxos de dados ilimitados (por exemplo. Processamento de fluxo). "Storm é para processamento em tempo real o que Hadoop é para processamento de batch!" Neste treinamento ao vivo liderado por instrutores, os participantes aprenderão como instalar e configurar Apache Storm, depois desenvolver e implantar uma Apache Storm aplicação para processar grandes dados em tempo real. Alguns dos tópicos incluídos nesta formação incluem:

• Apache Storm no contexto de Hadoop
• Trabalhar com dados ilimitados
• Computação contínua
• Análise em Tempo Real
• Processamento distribuído RPC e ETL

Solicite este curso agora! Auditoria

• Desenvolvedores de software e ETL
• Profissionais de Mainframe
• Cientistas de Dados
• Analistas de Big Data
• Hadoop Profissionais

Formato do curso

• palestras em parte, discussões em parte, exercícios e práticas pesadas

Apache Apex é uma plataforma YARNnative que unifica fluxo e processamento em lote Ele processa grandes datainmotion de uma forma escalonável, performant, fault-tolerant, stateful, secure, distributed e easily operable Este treinamento ao vivo com instrutor apresenta a arquitetura de processamento de fluxo unificado do Apache Apex e conduz os participantes por meio da criação de um aplicativo distribuído usando o Apex no Hadoop No final deste treinamento, os participantes serão capazes de: Entender conceitos de pipeline de processamento de dados, como conectores para fontes e coletores, transformações de dados comuns etc Construa, dimensione e otimize um aplicativo Apex Processe fluxos de dados em tempo real de forma confiável e com latência mínima Use o Apex Core e a biblioteca Apex Malhar para permitir o rápido desenvolvimento de aplicativos Use a API do Apex para gravar e reutilizar o código Java existente Integrar o Apex a outros aplicativos como um mecanismo de processamento Ajustar, testar e dimensionar aplicativos Apex Público Desenvolvedores Arquitetos corporativos Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

Apache Beam é um modelo de programação unificado de código aberto para definir e executar pipelines de processamento de dados paralelos. Seu poder reside em sua capacidade de executar pipelines de lote e streaming, com a execução sendo executada por um dos back-ends de processamento distribuído suportados pela Beam: Apache Apex , Apache Flink , Apache Spark , Apache Spark e Go ogle Cloud Dataflow. Apache Beam é útil para tarefas ETL (Extrair, Transformar e Carregar), como mover dados entre diferentes mídias de armazenamento e fontes de dados, transformar dados em um formato mais desejável e carregar dados em um novo sistema. Neste treinamento ao vivo, conduzido por instrutor (no local ou remoto), os participantes aprenderão como implementar os SDKs do Apache Beam em um aplicativo Java ou Python que define um pipeline de processamento de dados para decompor um conjunto de grandes dados em blocos menores para processamento independente e paralelo . Ao final deste treinamento, os participantes serão capazes de:

• Instale e configure o Apache Beam .
• Use um único modelo de programação para executar o processamento em lote e fluxo a partir do aplicativo Java ou Python .
• Execute pipelines em vários ambientes.

Formato do Curso

• Parte palestra, parte discussão, exercícios e prática prática pesada

Nota

• Este curso estará disponível no Scala no futuro. Entre em contato conosco para agendar.

Esta formação ao vivo orientada por um instrutor em Gaia (online ou no local) destina-se a programadores que pretendam aprender os princípios subjacentes ao armazenamento persistente e puro na memória à medida que avançam na criação de um projeto de amostra de computação na memória. No final desta formação, os participantes serão capazes de

Utilize o Ignite para persistência na memória e no disco, bem como uma base de dados na memória puramente distribuída. Obter persistência sem sincronizar os dados com uma base de dados relacional. Utilizar o Ignite para efetuar SQL e junções distribuídas. Melhorar o desempenho deslocando os dados para mais perto da CPU, utilizando a RAM como armazenamento. Espalhar conjuntos de dados por um cluster para obter escalabilidade horizontal. Integrar o Ignite com RDBMS, NoSQL, Hadoop e processadores de aprendizagem automática.

Este treinamento ao vivo conduzido por instrutor em Gaia (online ou no local) é destinado a desenvolvedores que desejam implementar o processamento de fluxo Apache Kafka sem escrever código. No final desta formação, os participantes serão capazes de

• Instalar e configurar Confluent KSQL.
• Configurar um pipeline de processamento de fluxo usando apenas comandos SQL (sem codificação Java ou Python).
• Realizar filtragem de dados, transformações, agregações, junções, janelamento e sessionização inteiramente em SQL.
• Projetar e implantar consultas interativas e contínuas para ETL de streaming e análise em tempo real.

Este treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos Spark Streaming no processamento e análise de dados em tempo real. No final desta formação, os participantes serão capazes de utilizar Spark Streaming para processar fluxos de dados em tempo real para utilização em bases de dados, sistemas de ficheiros e painéis de controlo em tempo real.