Cursos de Processamento em tempo real (Stream processing)

Apache Ignite é uma plataforma de computação in-Memory que fica entre o aplicativo e camada de dados para melhorar a velocidade, escala e disponibilidade 。

neste treinamento ao vivo ministrado por instrutor, os participantes aprenderão os princípios por trás do armazenamento in-Memory persistente e puro enquanto passam pela criação de um projeto de computação em memória de amostra.

até o final deste treinamento, os participantes poderão:

- use Ignite para a persistência na memória, no disco, bem como um banco de dados de memória puramente distribuído.
- alcançar persistência sem sincronizar dados de volta para um banco de dados relacional.
- use Ignite para realizar SQL e junções distribuídas.
- melhorar o desempenho movendo dados mais perto da CPU, usando RAM como um armazenamento.
- spread conjuntos de dados em um cluster para obter escalabilidade horizontal.
- integrar Ignite com RDBMS, NoSQL, Hadoop e processadores de aprendizado de máquina.

formato do curso

- palestra interativa e discussão.
- lotes de exercícios e prática.
- implementação hands-on em um ambiente de laboratório ao vivo.

Opções de personalização do curso

- para solicitar um treinamento personalizado para este curso, por favor contacte-nos para organizar.

Apache Apex é uma plataforma YARNnative que unifica fluxo e processamento em lote Ele processa grandes datainmotion de uma forma escalonável, performant, fault-tolerant, stateful, secure, distributed e easily operable Este treinamento ao vivo com instrutor apresenta a arquitetura de processamento de fluxo unificado do Apache Apex e conduz os participantes por meio da criação de um aplicativo distribuído usando o Apex no Hadoop No final deste treinamento, os participantes serão capazes de: Entender conceitos de pipeline de processamento de dados, como conectores para fontes e coletores, transformações de dados comuns etc Construa, dimensione e otimize um aplicativo Apex Processe fluxos de dados em tempo real de forma confiável e com latência mínima Use o Apex Core e a biblioteca Apex Malhar para permitir o rápido desenvolvimento de aplicativos Use a API do Apex para gravar e reutilizar o código Java existente Integrar o Apex a outros aplicativos como um mecanismo de processamento Ajustar, testar e dimensionar aplicativos Apex Público Desenvolvedores Arquitetos corporativos Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

O Apache Beam é um modelo de programação unificada e de código aberto para a definição e execução de pipelines de processamento de dados paralelos Seu poder está na capacidade de executar pipelines em lote e de streaming, com a execução sendo executada por um dos back-ends de processamento distribuído suportados pela Beam: Apache Apex, Apache Flink, Apache Spark e Google Cloud Dataflow O Apache Beam é útil para tarefas ETL (Extrair, Transformar e Carregar), como mover dados entre diferentes mídias de armazenamento e fontes de dados, transformar dados em um formato mais desejável e carregar dados em um novo sistema Neste treinamento instructorled, ao vivo (no local ou remoto), os participantes aprenderão a implementar os SDKs do Apache Beam em um aplicativo Java ou Python que define um pipeline de processamento de dados para decompor um big data em blocos menores para processamento paralelo e independente No final deste treinamento, os participantes serão capazes de: Instalar e configurar o Apache Beam Use um único modelo de programação para executar o processamento em lote e em fluxo a partir do aplicativo Java ou Python Execute pipelines em vários ambientes Público Desenvolvedores Formato do Curso Palestra parcial, parte discussão, exercícios e prática handson pesada Nota Este curso estará disponível Scala no futuro Por favor entre em contato conosco para organizar .

este instrutor liderada, treinamento ao vivo (no local ou remoto) destina-se a engenheiros que desejam usar confluent (uma distribuição de Kafka) para construir e gerenciar uma plataforma de processamento de dados em tempo real para suas aplicações.

no final deste treinamento, os participantes poderão:

- instalar e configurar plataforma confluente.
- use ferramentas de gestão confluentes & #39; s e serviços para executar Kafka mais facilmente.
- armazenar e processar dados de fluxo de entrada.
- otimizar e gerenciar clusters Kafka.
fluxos de dados - Secure.

formato do curso

- palestra interativa e discussão.
- lotes de exercícios e prática.
- implementação hands-on em um ambiente de laboratório ao vivo.

Opções de personalização do curso

- este curso é baseado na versão de código aberto de confluent: fonte aberta confluente.
- para solicitar um treinamento personalizado para este curso, entre em contato conosco para organizar.

Apache Flink é uma estrutura de código aberto para processamento de dados em lote e fluxo escalável.

este treinamento ao vivo, ministrado por instrutor, introduz os princípios e abordagens por trás do processamento distribuído de dados em lote e de fluxo, e percorre os participantes através da criação de um aplicativo de streaming de dados em tempo real no Apache Flink.

até o final deste treinamento, os participantes poderão:

- configurar um ambiente para o desenvolvimento de aplicativos de análise de dados.
- empacotar, executar e monitorar aplicativos de streaming de dados baseados em Flink, tolerantes a falhas.
- gerencie cargas de trabalho diversas.
- executar análises avançadas usando o Flink ML.
- configurar um cluster Flink de vários nós.
- medir e otimizar o desempenho.
- integrar Flink com diferentes sistemas de Big Data.
- Compare os recursos do Flink com os de outras estruturas de processamento de Big Data.

formato do curso

- parte palestra, discussão parte, exercícios e prática hands-on pesado

Processamento de Fluxo refere-se ao processamento em tempo real de "dados em movimento", isto é, a realização de cálculos em dados à medida que são recebidos Esses dados são lidos como fluxos contínuos de fontes de dados, como eventos de sensores, atividade de usuários de sites, transações financeiras, furtos de cartão de crédito, fluxos de cliques etc As estruturas Stream Processing podem ler grandes volumes de dados recebidos e fornecer informações valiosas quase instantaneamente Neste treinamento instructorled, ao vivo (no local ou remoto), os participantes aprenderão como configurar e integrar diferentes estruturas de Stream Processing com sistemas de armazenamento de big data existentes e aplicativos de software e microsserviços relacionados No final deste treinamento, os participantes serão capazes de: Instale e configure diferentes estruturas de Stream Processing, como Spark Streaming e Kafka Streaming Entenda e selecione a estrutura mais apropriada para o trabalho Processo de dados continuamente, simultaneamente, e em um registro por meio de um registro Integre soluções de Stream Processing com bancos de dados existentes, data warehouses, data lagkes, etc Integrando a biblioteca de processamento de fluxo mais apropriada com aplicativos corporativos e microsserviços Público Desenvolvedores Arquitetos de software Formato do Curso Palestra parcial, parte discussão, exercícios e prática handson pesada Notas Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar .

O Kafka Streams é uma biblioteca do lado do cliente para criar aplicativos e microsserviços cujos dados são passados ​​para e de um sistema de mensagens Kafka Tradicionalmente, o Apache Kafka conta com o Apache Spark ou o Apache Storm para processar dados entre produtores e consumidores de mensagens Ao chamar a API do Kafka Streams de dentro de um aplicativo, os dados podem ser processados ​​diretamente no Kafka, ignorando a necessidade de enviar os dados para um cluster separado para processamento Neste treinamento presencial instruído, os participantes aprenderão como integrar o Kafka Streams em um conjunto de aplicativos Java de amostra que transmitem dados para e do Apache Kafka para processamento de fluxo No final deste treinamento, os participantes serão capazes de: Entenda os recursos e vantagens do Kafka Streams em relação a outras estruturas de processamento de fluxo Processar dados do fluxo diretamente em um cluster Kafka Escreva um aplicativo ou microsserviço Java ou Scala que se integre com Kafka e Kafka Streams Escrever código conciso que transforma tópicos de entrada do Kafka em tópicos de saída do Kafka Construa, empacote e implante o aplicativo Público Desenvolvedores Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada Notas Para solicitar um treinamento personalizado para este curso, entre em contato conosco para .

Neste treinamento presencial instruído, os participantes aprenderão os principais conceitos por trás da Arquitetura MapR Stream à medida que desenvolvem um aplicativo de streaming em tempo real No final deste treinamento, os participantes poderão criar aplicativos para produtores e consumidores para o processamento de dados em fluxo em tempo real Público Desenvolvedores Administradores Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada Nota Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar .

O Apache NiFi (Hortonworks DataFlow) é uma plataforma de logística de dados integrada e processamento de eventos simples em tempo real que permite a movimentação, rastreamento e automação de dados entre sistemas Ele é escrito usando programação baseada em fluxo e fornece uma interface de usuário baseada na web para gerenciar fluxos de dados em tempo real Neste treinamento ao vivo com instrutores, os participantes aprenderão como implantar e gerenciar o Apache NiFi em um ambiente de laboratório ao vivo No final deste treinamento, os participantes serão capazes de: Instalar e configurar o Apachi NiFi Gerencie, transforme e gerencie dados de fontes de dados distribuídas e díspares, incluindo bancos de dados e grandes lagos de dados Automatize os fluxos de dados Ativar análise de fluxo contínuo Aplicar várias abordagens para ingestão de dados Transforme Big Data e insights de negócios Público Administradores do sistema Engenheiros de dados Desenvolvedores DevOps Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

Apache NiFi (Hortonworks DataFlow) é uma logística de dados integrada em tempo real e plataforma de processamento de eventos simples que permite a movimentação, rastreamento e automação de dados entre sistemas. Ele é escrito usando a programação baseada em fluxo e fornece uma interface de usuário baseada na Web para gerenciar fluxos de dados em tempo real.

neste treinamento ao vivo ministrado por instrutor, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando o Apache NiFi.

até o final deste treinamento, os participantes poderão:

- entender a arquitetura de NiFi & #39; s e os conceitos de fluxo de dados.
- desenvolver extensões usando NiFi e APIs de terceiros.
- Custom desenvolver seu próprio processador Apache NIFI.
- ingerir e processar dados em tempo real de formatos de arquivo diferentes e incomuns e fontes de dados.

formato do curso

- palestra interativa e discussão.
- lotes de exercícios e prática.
- implementação hands-on em um ambiente de laboratório ao vivo.

Opções de personalização do curso

- para solicitar um treinamento personalizado para este curso, por favor contacte-nos para organizar.

O Apache Samza é um framework computacional assíncrono para o processamento de fluxo Ele usa o Apache Kafka para mensagens e o Apache Hadoop YARN para tolerância a falhas, isolamento do processador, segurança e gerenciamento de recursos Este treinamento ao vivo instruído introduz os princípios por trás dos sistemas de mensagens e processamento de fluxo distribuído, enquanto percorre os participantes através da criação de um projeto de amostra com Samzabased e execução de trabalho No final deste treinamento, os participantes serão capazes de: Use o Samza para simplificar o código necessário para produzir e consumir mensagens Desacoplar o manuseio de mensagens de um aplicativo Use o Samza para implementar computação assíncrona em tempo quase real Use o processamento de fluxo para fornecer um nível mais alto de abstração nos sistemas de mensagens Público Desenvolvedores Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

O Apache Storm é um mecanismo de computação distribuído em tempo real usado para ativar a inteligência de negócios em tempo real Isso é feito permitindo que os aplicativos processem de forma confiável fluxos de dados ilimitados (também conhecido como processamento de fluxo) "Storm é para processamento em tempo real o que o Hadoop é para processamento em lote!" Neste treinamento ao vivo com instrutores, os participantes aprenderão como instalar e configurar o Apache Storm, em seguida, desenvolver e implantar um aplicativo Apache Storm para processar grandes volumes de dados em tempo real Alguns dos tópicos incluídos neste treinamento incluem: Apache Storm no contexto do Hadoop Trabalhando com dados ilimitados Computação contínua Análise em tempo real Processamento distribuído de RPC e ETL Solicite este curso agora! Público Desenvolvedores de software e ETL Profissionais de mainframe Cientistas de dados Analistas de big data Profissionais do Hadoop Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

O Tigon é um framework de processamento de fluxo aberto, em tempo real, de baixa latência, alto throughput, nativo do YARN, que fica no topo do HDFS e do HBase para persistência Os aplicativos Tigon abordam casos de uso, como detecção e análise de invasão de rede, análise de mercado de mídia social, análise de localização e recomendações em tempo real para os usuários Este treinamento ao vivo com instrutores introduz a abordagem da Tigon para misturar processamento em tempo real e em lote, enquanto conduz os participantes através da criação de um aplicativo de amostra No final deste treinamento, os participantes serão capazes de: Crie aplicativos poderosos de processamento de fluxo para manipular grandes volumes de dados Fontes de fluxo de processo, como Twitter e Logs do servidor da Web Use o Tigon para junção rápida, filtragem e agregação de fluxos Público Desenvolvedores Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .