Cursos de Processamento em tempo real (Stream processing)

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability。

In this instructor-led, live training, participants will learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

- Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
- Achieve persistence without syncing data back to a relational database.
- Use Ignite to carry out SQL and distributed joins.
- Improve performance by moving data closer to the CPU, using RAM as a storage.
- Spread data sets across a cluster to achieve horizontal scalability.
- Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the course

- Part lecture, part discussion, exercises and heavy hands-on practice

Apache Apex é uma plataforma YARNnative que unifica fluxo e processamento em lote Ele processa grandes datainmotion de uma forma escalonável, performant, fault-tolerant, stateful, secure, distributed e easily operable Este treinamento ao vivo com instrutor apresenta a arquitetura de processamento de fluxo unificado do Apache Apex e conduz os participantes por meio da criação de um aplicativo distribuído usando o Apex no Hadoop No final deste treinamento, os participantes serão capazes de: Entender conceitos de pipeline de processamento de dados, como conectores para fontes e coletores, transformações de dados comuns etc Construa, dimensione e otimize um aplicativo Apex Processe fluxos de dados em tempo real de forma confiável e com latência mínima Use o Apex Core e a biblioteca Apex Malhar para permitir o rápido desenvolvimento de aplicativos Use a API do Apex para gravar e reutilizar o código Java existente Integrar o Apex a outros aplicativos como um mecanismo de processamento Ajustar, testar e dimensionar aplicativos Apex Público Desenvolvedores Arquitetos corporativos Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

O Apache Beam é um modelo de programação unificada e de código aberto para a definição e execução de pipelines de processamento de dados paralelos Seu poder está na capacidade de executar pipelines em lote e de streaming, com a execução sendo executada por um dos back-ends de processamento distribuído suportados pela Beam: Apache Apex, Apache Flink, Apache Spark e Google Cloud Dataflow O Apache Beam é útil para tarefas ETL (Extrair, Transformar e Carregar), como mover dados entre diferentes mídias de armazenamento e fontes de dados, transformar dados em um formato mais desejável e carregar dados em um novo sistema Neste treinamento instructorled, ao vivo (no local ou remoto), os participantes aprenderão a implementar os SDKs do Apache Beam em um aplicativo Java ou Python que define um pipeline de processamento de dados para decompor um big data em blocos menores para processamento paralelo e independente No final deste treinamento, os participantes serão capazes de: Instalar e configurar o Apache Beam Use um único modelo de programação para executar o processamento em lote e em fluxo a partir do aplicativo Java ou Python Execute pipelines em vários ambientes Público Desenvolvedores Formato do Curso Palestra parcial, parte discussão, exercícios e prática handson pesada Nota Este curso estará disponível Scala no futuro Por favor entre em contato conosco para organizar .

este instrutor liderada, treinamento ao vivo (no local ou remoto) destina-se a engenheiros que desejam usar confluent (uma distribuição de Kafka) para construir e gerenciar uma plataforma de processamento de dados em tempo real para suas aplicações.

no final deste treinamento, os participantes poderão:

- instalar e configurar plataforma confluente.
- use ferramentas de gestão confluentes & #39; s e serviços para executar Kafka mais facilmente.
- armazenar e processar dados de fluxo de entrada.
- otimizar e gerenciar clusters Kafka.
fluxos de dados - Secure.

formato do curso

- palestra interativa e discussão.
- lotes de exercícios e prática.
- implementação hands-on em um ambiente de laboratório ao vivo.

Opções de personalização do curso

- este curso é baseado na versão de código aberto de confluent: fonte aberta confluente.
- para solicitar um treinamento personalizado para este curso, entre em contato conosco para organizar.

O Apache Flink é uma estrutura de código aberto para fluxo escalável e processamento de dados em lote Este treinamento ao vivo com instrutores apresenta os princípios e as abordagens por trás do fluxo de dados em lote e do processamento de dados e conduz os participantes por meio da criação de um aplicativo de fluxo de dados em tempo real No final deste treinamento, os participantes serão capazes de: Configurar um ambiente para desenvolver aplicativos de análise de dados Empacotar, executar e monitorar aplicativos de fluxo de dados baseados em Flink e tolerantes a falhas Gerenciar cargas de trabalho diversas Realize análises avançadas usando o Flink ML Configurar um cluster multinode Flink Meça e otimize o desempenho Integre o Flink com diferentes sistemas de Big Data Compare os recursos do Flink com os de outras estruturas de processamento de big data Público Desenvolvedores Arquitetos Engenheiros de dados Profissionais de análise Gerentes técnicos Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

Processamento de Fluxo refere-se ao processamento em tempo real de "dados em movimento", isto é, a realização de cálculos em dados à medida que são recebidos Esses dados são lidos como fluxos contínuos de fontes de dados, como eventos de sensores, atividade de usuários de sites, transações financeiras, furtos de cartão de crédito, fluxos de cliques etc As estruturas Stream Processing podem ler grandes volumes de dados recebidos e fornecer informações valiosas quase instantaneamente Neste treinamento instructorled, ao vivo (no local ou remoto), os participantes aprenderão como configurar e integrar diferentes estruturas de Stream Processing com sistemas de armazenamento de big data existentes e aplicativos de software e microsserviços relacionados No final deste treinamento, os participantes serão capazes de: Instale e configure diferentes estruturas de Stream Processing, como Spark Streaming e Kafka Streaming Entenda e selecione a estrutura mais apropriada para o trabalho Processo de dados continuamente, simultaneamente, e em um registro por meio de um registro Integre soluções de Stream Processing com bancos de dados existentes, data warehouses, data lagkes, etc Integrando a biblioteca de processamento de fluxo mais apropriada com aplicativos corporativos e microsserviços Público Desenvolvedores Arquitetos de software Formato do Curso Palestra parcial, parte discussão, exercícios e prática handson pesada Notas Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar .

O Kafka Streams é uma biblioteca do lado do cliente para criar aplicativos e microsserviços cujos dados são passados ​​para e de um sistema de mensagens Kafka Tradicionalmente, o Apache Kafka conta com o Apache Spark ou o Apache Storm para processar dados entre produtores e consumidores de mensagens Ao chamar a API do Kafka Streams de dentro de um aplicativo, os dados podem ser processados ​​diretamente no Kafka, ignorando a necessidade de enviar os dados para um cluster separado para processamento Neste treinamento presencial instruído, os participantes aprenderão como integrar o Kafka Streams em um conjunto de aplicativos Java de amostra que transmitem dados para e do Apache Kafka para processamento de fluxo No final deste treinamento, os participantes serão capazes de: Entenda os recursos e vantagens do Kafka Streams em relação a outras estruturas de processamento de fluxo Processar dados do fluxo diretamente em um cluster Kafka Escreva um aplicativo ou microsserviço Java ou Scala que se integre com Kafka e Kafka Streams Escrever código conciso que transforma tópicos de entrada do Kafka em tópicos de saída do Kafka Construa, empacote e implante o aplicativo Público Desenvolvedores Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada Notas Para solicitar um treinamento personalizado para este curso, entre em contato conosco para .

Neste treinamento presencial instruído, os participantes aprenderão os principais conceitos por trás da Arquitetura MapR Stream à medida que desenvolvem um aplicativo de streaming em tempo real No final deste treinamento, os participantes poderão criar aplicativos para produtores e consumidores para o processamento de dados em fluxo em tempo real Público Desenvolvedores Administradores Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada Nota Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar .

O Apache NiFi (Hortonworks DataFlow) é uma plataforma de logística de dados integrada e processamento de eventos simples em tempo real que permite a movimentação, rastreamento e automação de dados entre sistemas Ele é escrito usando programação baseada em fluxo e fornece uma interface de usuário baseada na web para gerenciar fluxos de dados em tempo real Neste treinamento ao vivo com instrutores, os participantes aprenderão como implantar e gerenciar o Apache NiFi em um ambiente de laboratório ao vivo No final deste treinamento, os participantes serão capazes de: Instalar e configurar o Apachi NiFi Gerencie, transforme e gerencie dados de fontes de dados distribuídas e díspares, incluindo bancos de dados e grandes lagos de dados Automatize os fluxos de dados Ativar análise de fluxo contínuo Aplicar várias abordagens para ingestão de dados Transforme Big Data e insights de negócios Público Administradores do sistema Engenheiros de dados Desenvolvedores DevOps Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

O Apache NiFi (Hortonworks DataFlow) é uma plataforma de logística de dados integrada e processamento de eventos simples em tempo real que permite a movimentação, rastreamento e automação de dados entre sistemas Ele é escrito usando programação baseada em fluxo e fornece uma interface de usuário baseada na web para gerenciar fluxos de dados em tempo real Neste treinamento presencial instruído, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando o Apache NiFi No final deste treinamento, os participantes serão capazes de: Entenda os conceitos de arquitetura e fluxo de dados da NiFi Desenvolva extensões usando NiFi e APIs de terceiros Custom desenvolve seu próprio processador Apache Nifi Ingerir e processar dados em tempo real de formatos de arquivo e origens de dados diferentes e incomuns Público Desenvolvedores Engenheiros de dados Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

O Apache Samza é um framework computacional assíncrono para o processamento de fluxo Ele usa o Apache Kafka para mensagens e o Apache Hadoop YARN para tolerância a falhas, isolamento do processador, segurança e gerenciamento de recursos Este treinamento ao vivo instruído introduz os princípios por trás dos sistemas de mensagens e processamento de fluxo distribuído, enquanto percorre os participantes através da criação de um projeto de amostra com Samzabased e execução de trabalho No final deste treinamento, os participantes serão capazes de: Use o Samza para simplificar o código necessário para produzir e consumir mensagens Desacoplar o manuseio de mensagens de um aplicativo Use o Samza para implementar computação assíncrona em tempo quase real Use o processamento de fluxo para fornecer um nível mais alto de abstração nos sistemas de mensagens Público Desenvolvedores Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

O Apache Storm é um mecanismo de computação distribuído em tempo real usado para ativar a inteligência de negócios em tempo real Isso é feito permitindo que os aplicativos processem de forma confiável fluxos de dados ilimitados (também conhecido como processamento de fluxo) "Storm é para processamento em tempo real o que o Hadoop é para processamento em lote!" Neste treinamento ao vivo com instrutores, os participantes aprenderão como instalar e configurar o Apache Storm, em seguida, desenvolver e implantar um aplicativo Apache Storm para processar grandes volumes de dados em tempo real Alguns dos tópicos incluídos neste treinamento incluem: Apache Storm no contexto do Hadoop Trabalhando com dados ilimitados Computação contínua Análise em tempo real Processamento distribuído de RPC e ETL Solicite este curso agora! Público Desenvolvedores de software e ETL Profissionais de mainframe Cientistas de dados Analistas de big data Profissionais do Hadoop Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

O Tigon é um framework de processamento de fluxo aberto, em tempo real, de baixa latência, alto throughput, nativo do YARN, que fica no topo do HDFS e do HBase para persistência Os aplicativos Tigon abordam casos de uso, como detecção e análise de invasão de rede, análise de mercado de mídia social, análise de localização e recomendações em tempo real para os usuários Este treinamento ao vivo com instrutores introduz a abordagem da Tigon para misturar processamento em tempo real e em lote, enquanto conduz os participantes através da criação de um aplicativo de amostra No final deste treinamento, os participantes serão capazes de: Crie aplicativos poderosos de processamento de fluxo para manipular grandes volumes de dados Fontes de fluxo de processo, como Twitter e Logs do servidor da Web Use o Tigon para junção rápida, filtragem e agregação de fluxos Público Desenvolvedores Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .