Cursos de Big Data and its Management Process

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como construir um Data Vault.

No final desta formação, os participantes serão capazes de

• Compreender a arquitetura e os conceitos de design por trás do Data Vault 2.0 e sua interação com Big Data, NoSQL e IA.
• Utilizar técnicas de data vaulting para permitir a auditoria, rastreamento e inspeção de dados históricos em um data warehouse.
• Desenvolver um processo ETL (Extrair, Transformar, Carregar) consistente e repetível.
• Construir e implantar armazéns altamente escaláveis e repetíveis.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos Spark Streaming no processamento e análise de dados em tempo real.

No final desta formação, os participantes serão capazes de utilizar Spark Streaming para processar fluxos de dados em tempo real para utilização em bases de dados, sistemas de ficheiros e painéis de controlo em tempo real.

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a desenvolvedores que desejam implementar o processamento de fluxo Apache Kafka sem escrever código.

No final desta formação, os participantes serão capazes de

• Instalar e configurar Confluent KSQL.
• Configurar um pipeline de processamento de fluxo usando apenas comandos SQL (sem codificação Java ou Python).
• Realizar filtragem de dados, transformações, agregações, junções, janelamento e sessionização inteiramente em SQL.
• Projetar e implantar consultas interativas e contínuas para ETL de streaming e análise em tempo real.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam é um modelo de programação unificado de código aberto para definir e executar pipelines de processamento de dados paralelos. Seu poder reside em sua capacidade de executar pipelines de lote e streaming, com a execução sendo executada por um dos back-ends de processamento distribuído suportados pela Beam: Apache Apex , Apache Flink , Apache Spark , Apache Spark e Go ogle Cloud Dataflow. Apache Beam é útil para tarefas ETL (Extrair, Transformar e Carregar), como mover dados entre diferentes mídias de armazenamento e fontes de dados, transformar dados em um formato mais desejável e carregar dados em um novo sistema.

Neste treinamento ao vivo, conduzido por instrutor (no local ou remoto), os participantes aprenderão como implementar os SDKs do Apache Beam em um aplicativo Java ou Python que define um pipeline de processamento de dados para decompor um conjunto de grandes dados em blocos menores para processamento independente e paralelo .

Ao final deste treinamento, os participantes serão capazes de:

• Instale e configure o Apache Beam .
• Use um único modelo de programação para executar o processamento em lote e fluxo a partir do aplicativo Java ou Python .
• Execute pipelines em vários ambientes.

Formato do Curso

• Parte palestra, parte discussão, exercícios e prática prática pesada

Nota

• Este curso estará disponível no Scala no futuro. Entre em contato conosco para agendar.

Apache Apex é uma plataforma YARNnative que unifica fluxo e processamento em lote Ele processa grandes datainmotion de uma forma escalonável, performant, fault-tolerant, stateful, secure, distributed e easily operable Este treinamento ao vivo com instrutor apresenta a arquitetura de processamento de fluxo unificado do Apache Apex e conduz os participantes por meio da criação de um aplicativo distribuído usando o Apex no Hadoop No final deste treinamento, os participantes serão capazes de: Entender conceitos de pipeline de processamento de dados, como conectores para fontes e coletores, transformações de dados comuns etc Construa, dimensione e otimize um aplicativo Apex Processe fluxos de dados em tempo real de forma confiável e com latência mínima Use o Apex Core e a biblioteca Apex Malhar para permitir o rápido desenvolvimento de aplicativos Use a API do Apex para gravar e reutilizar o código Java existente Integrar o Apex a outros aplicativos como um mecanismo de processamento Ajustar, testar e dimensionar aplicativos Apex Público Desenvolvedores Arquitetos corporativos Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

Apache Storm é um motor de computação em tempo real distribuído usado para permitir a inteligência de negócios em tempo real. Ele faz isso, permitindo que as aplicações processem de forma confiável fluxos de dados ilimitados (por exemplo. Processamento de fluxo).

"Storm é para processamento em tempo real o que Hadoop é para processamento de batch!"

Neste treinamento ao vivo liderado por instrutores, os participantes aprenderão como instalar e configurar Apache Storm, depois desenvolver e implantar uma Apache Storm aplicação para processar grandes dados em tempo real.

Alguns dos tópicos incluídos nesta formação incluem:

• Apache Storm no contexto de Hadoop
• Trabalhar com dados ilimitados
• Computação contínua
• Análise em Tempo Real
• Processamento distribuído RPC e ETL

Solicite este curso agora!

Auditoria

• Desenvolvedores de software e ETL
• Profissionais de Mainframe
• Cientistas de Dados
• Analistas de Big Data
• Hadoop Profissionais

Formato do curso

• palestras em parte, discussões em parte, exercícios e práticas pesadas

Nesta formação ao vivo orientada por um instrutor em Portugal (no local ou remoto), os participantes aprenderão a implementar e gerir Apache NiFi num ambiente de laboratório ao vivo.

No final desta formação, os participantes serão capazes de

• Instalar e configurar o Apachi NiFi.
• Fonte, transforme e gerencie dados de fontes de dados díspares e distribuídas, incluindo bancos de dados e grandes lagos de dados.
• Automatizar fluxos de dados.
• Habilitar a análise de streaming.
• Aplicar várias abordagens para a ingestão de dados.
• Transformar Big Data e em insights de negócios.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando Apache NiFi.

No final desta formação, os participantes serão capazes de

• Compreender a arquitetura do NiFi's e conceitos de dataflow.
• Desenvolver extensões usando NiFi e APIs de terceiros.
• Desenvolver seu próprio processador Apache Nifi.
• Ingestão e processamento de dados em tempo real de formatos de arquivos e fontes de dados díspares e incomuns.

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) apresenta os princípios e abordagens por trás do fluxo distribuído e processamento de dados em lote, e orienta os participantes através da criação de um aplicativo de fluxo de dados em tempo real em Apache Flink.

No final desta formação, os participantes serão capazes de

Configurar um ambiente para desenvolver aplicações de análise de dados. Entender como funciona a biblioteca de processamento de gráficos do Apache Flink (Gelly). Empacotar, executar e monitorar aplicativos de streaming de dados baseados no Flink, tolerantes a falhas. Gerenciar diversas cargas de trabalho. Realizar análises avançadas. Configurar um cluster Flink de vários nós. Medir e otimizar o desempenho. Integrar o Flink com diferentes sistemas Big Data. Comparar os recursos do Flink com os de outros frameworks de processamento de big data.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como usar Python e Spark juntos para analisar big data enquanto trabalham em exercícios práticos.

No final desta formação, os participantes serão capazes de

• Aprenda a usar o Spark com Python para analisar Big Data.
• Trabalhar em exercícios que imitam casos do mundo real.
• Utilizar diferentes ferramentas e técnicas para análise de big data usando PySpark.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão sobre as ofertas de tecnologia e abordagens de implementação para o processamento de dados gráficos. O objetivo é identificar objetos do mundo real, suas características e relacionamentos, depois modelar esses relacionamentos e processá-los como dados usando uma abordagem Graph Computing (também conhecida como Graph Analytics). Começaremos com uma visão geral e concentrar-nos-emos em ferramentas específicas à medida que avançamos numa série de estudos de casos, exercícios práticos e implementações em direto.

No final desta formação, os participantes serão capazes de

• Compreender como os dados de grafos são persistidos e percorridos.
• Selecionar o melhor framework para uma determinada tarefa (de bancos de dados de grafos a frameworks de processamento em lote.)
• Implementar Hadoop, Spark, GraphX e Pregel para realizar computação de grafos em muitas máquinas em paralelo.
• Ver problemas de big data do mundo real em termos de grafos, processos e travessias.

O MLlib é a biblioteca de aprendizado de máquina (ML) do Spark. Seu objetivo é tornar prático o aprendizado de máquina escalável e fácil. Ele consiste em algoritmos e utilitários de aprendizado comuns, incluindo classificação, regressão, agrupamento, filtragem colaborativa, redução de dimensionalidade, além de primitivas de otimização de nível inferior e APIs de pipeline de nível superior.

Divide-se em dois pacotes:

• O spark.mllib contém a API original construída sobre os RDDs.

• O spark.ml fornece uma API de alto nível, construída sobre os DataFrames, para a construção de pipelines de ML.

Público

Este curso é direcionado a engenheiros e desenvolvedores que desejam utilizar uma biblioteca de máquinas integrada para o Apache Spark

Formato do curso

• Palestra e discussão interactivas.
• Muitos exercícios e prática.
• Implementação prática num ambiente de laboratório ao vivo.

Opções de personalização do curso

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.

A descoberta de conhecimentos em bases de dados (KDD) é o processo de descoberta de conhecimentos úteis de uma coleção de dados. Aplicações de vida real para esta técnica de mineração de dados incluem marketing, detecção de fraude, telecomunicações e fabricação.

Neste curso guiado por instrutores, apresentamos os processos envolvidos no KDD e realizamos uma série de exercícios para praticar a implementação desses processos.

Auditoria

• Analistas de dados ou qualquer pessoa interessada em aprender como interpretar dados para resolver problemas

O formato do curso

• Após uma discussão teórica do KDD, o instrutor apresentará casos de vida real que exigem a aplicação do KDD para resolver um problema. Os participantes prepararão, selecionarão e limparão conjuntos de dados de amostra e usarão seus conhecimentos prévios sobre os dados para propor soluções com base nos resultados das suas observações.