Cursos de Big Data & Database Systems Fundamentals

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a administradores de banco de dados ou desenvolvedores que desejam usar Microsoft Azure Cosmos DB para desenvolver e gerenciar aplicativos altamente responsivos e de baixa latência.

No final desta formação, os participantes serão capazes de

• Provisione os recursos necessários do Cosmos DB para começar a criar bancos de dados e aplicativos.
• Dimensione o desempenho e o armazenamento de aplicativos utilizando APIs no Cosmos DB. 
• Gerenciar operações de banco de dados e reduzir custos otimizando os recursos do Cosmos DB.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como construir um Data Vault.

Ao final deste treinamento, os participantes serão capazes de:

• Entenda os conceitos de arquitetura e design por trás do Data Vault 2.0 e sua interação com Big Data, NoSQL e AI.
• Use técnicas de abóbada de dados para permitir a auditoria, o rastreamento e a inspeção de dados históricos em um data warehouse.
• Desenvolver um processo ETL (Extrair, Transformar, Carregar) consistente e repetível.
• Criar e implementar armazéns altamente escaláveis e repetíveis.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a engenheiros de dados, cientistas de dados e programadores que desejam usar os recursos Spark Streaming no processamento e análise de dados em tempo real.

No final deste treinamento, os participantes poderão usar Spark Streaming para processar fluxos de dados ao vivo para uso em bancos de dados, sistemas de arquivos e painéis ao vivo.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores que desejam implementar o processamento de fluxo Apache Kafka sem escrever código.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Confluent KSQL.
• Configurar um pipeline de processamento de fluxo usando apenas comandos SQL (sem codificação Java ou Python).
• Realizar filtragem de dados, transformações, agregações, junções, janelamento e sessionização inteiramente em SQL.
• Conceber e implementar consultas interactivas e contínuas para ETL de fluxo contínuo e análise em tempo real.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores que desejam aprender os princípios por trás do armazenamento persistente e puro na memória à medida que avançam na criação de um projeto de computação na memória de amostra.

No final deste treinamento, os participantes serão capazes de:

• Use o Ignite para persistência na memória e no disco, bem como um banco de dados na memória puramente distribuído.
• Alcançar a persistência sem sincronizar os dados de volta a um banco de dados relacional.
• Usar o Ignite para realizar SQL e junções distribuídas.
• Melhorar o desempenho deslocando os dados para mais perto da CPU, utilizando a RAM como armazenamento.
• Espalhar conjuntos de dados por um cluster para obter escalabilidade horizontal.
• Integrar o Ignite com RDBMS, NoSQL, Hadoop e processadores de aprendizagem automática.

Apache Beam é um modelo de programação unificado e de código aberto para definir e executar pipelines de processamento de dados paralelos. O seu poder reside na sua capacidade de executar pipelines em lote e em fluxo contínuo, sendo a execução efectuada por um dos back-ends de processamento distribuído suportados pelo Beam: Apache Apex, Apache Flink, Apache Spark e Google Cloud Dataflow. A solução Apache Beam é útil para tarefas de ETL (Extrair, Transformar e Carregar), como mover dados entre diferentes mídias de armazenamento e fontes de dados, transformar dados em um formato mais desejável e carregar dados em um novo sistema.

Neste treinamento ao vivo conduzido por instrutor (no local ou remoto), os participantes aprenderão como implementar os SDKs Apache Beam em um aplicativo Java ou Python que define um pipeline de processamento de dados para decompor um grande conjunto de dados em pedaços menores para processamento paralelo e independente.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar Apache Beam.
• Utilizar um único modelo de programação para efetuar o processamento em lote e em fluxo a partir da sua aplicação Java ou Python.
• Executar pipelines em vários ambientes.

Formato do curso

• Parte palestra, parte discussão, exercícios e muita prática

Nota

• Este curso estará disponível Scala no futuro. Por favor, contacte-nos para organizar.

Apache Apex é uma plataforma nativa YARN que unifica o processamento em fluxo e em lote. Ele processa grandes dados em movimento de uma forma que é escalável, performática, tolerante a falhas, com estado, segura, distribuída e facilmente operável.

Este treinamento ao vivo conduzido por instrutor apresenta a arquitetura de processamento de fluxo unificado de Apache Apex e orienta os participantes na criação de um aplicativo distribuído usando o Apex em Hadoop.

Ao final deste treinamento, os participantes serão capazes de:

• Compreender os conceitos de pipeline de processamento de dados, como conectores para fontes e sumidouros, transformações de dados comuns, etc.
• Construir, dimensionar e otimizar um aplicativo Apex
• Processar fluxos de dados em tempo real de forma confiável e com latência mínima
• Utilizar o Apex Core e a biblioteca Apex Malhar para permitir o desenvolvimento rápido de aplicações
• Utilizar a API Apex para escrever e reutilizar código Java existente
• Integrar o Apex noutras aplicações como um motor de processamento
• Afinar, testar e escalar aplicações Apex

Formato do curso

• Palestra interactiva e discussão.
• Muitos exercícios e prática.
• Implementação prática num ambiente de laboratório ao vivo.

Opções de personalização do curso

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.

Apache Storm é um motor de computação distribuído e em tempo real utilizado para permitir a inteligência empresarial em tempo real. Para tal, permite que as aplicações processem de forma fiável fluxos de dados ilimitados (também conhecido como processamento de fluxos).

"Storm é para o processamento em tempo real o que Hadoop é para o processamento em lote!"

Neste treinamento ao vivo conduzido por instrutor, os participantes aprenderão como instalar e configurar Apache Storm e, em seguida, desenvolver e implantar um aplicativo Apache Storm para processar big data em tempo real.

Alguns dos tópicos incluídos neste treinamento incluem:

• Apache Storm no contexto de Hadoop
• Trabalhar com dados ilimitados
• Computação contínua
• Análise em tempo real
• RPC distribuído e processamento ETL

Solicite este curso agora!

Público alvo

• Desenvolvedores de software e ETL
• Profissionais de mainframe
• Cientistas de dados
• Analistas de Big Data
• Profissionais Hadoop

Formato do curso

• Parte palestra, parte discussão, exercícios e prática prática pesada

Neste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto), os participantes aprenderão como implantar e gerenciar Apache NiFi em um ambiente de laboratório ao vivo.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apachi NiFi.
• Fonte, transformar e gerenciar dados de fontes de dados díspares e distribuídas, incluindo bancos de dados e grandes lagos de dados.
• Automatizar fluxos de dados.
• Habilitar a análise de streaming.
• Aplicar várias abordagens para a ingestão de dados.
• Transformar Big Data em informações comerciais.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando Apache NiFi.

No final deste treinamento, os participantes serão capazes de:

• Compreender a arquitetura do NiFi e os conceitos de fluxo de dados.
• Desenvolver extensões usando NiFi e APIs de terceiros.
• Desenvolver seu próprio processador Apache Nifi.
• Ingerir e processar dados em tempo real de formatos de arquivos e fontes de dados diferentes e incomuns.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) apresenta os princípios e abordagens por trás do fluxo distribuído e do processamento de dados em lote, e orienta os participantes na criação de um aplicativo de streaming de dados em tempo real em Apache Flink.

No final deste treinamento, os participantes serão capazes de:

• Configurar um ambiente para o desenvolvimento de aplicativos de análise de dados.
• Entender como funciona a biblioteca de processamento de gráficos do Apache Flink (Gelly).
• Empacotar, executar e monitorar aplicativos de streaming de dados baseados em Flink, tolerantes a falhas.
• Gerenciar diversas cargas de trabalho.
• Realizar análises avançadas.
• Configurar um cluster Flink de vários nós.
• Medir e otimizar o desempenho.
• Integrar o Flink com diferentes sistemas Big Data.
• Comparar os recursos do Flink com os de outros frameworks de processamento de big data.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como usar Python e Spark juntos para analisar big data enquanto trabalham em exercícios práticos.

Ao final deste treinamento, os participantes serão capazes de:

• Aprenda a usar o Spark com Python para analisar Big Data.
• Trabalhe em exercícios que imitam casos do mundo real.
• Use diferentes ferramentas e técnicas para análise de big data usando PySpark.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão sobre as ofertas de tecnologia e abordagens de implementação para o processamento de dados gráficos. O objetivo é identificar objetos do mundo real, suas caraterísticas e relacionamentos, depois modelar esses relacionamentos e processá-los como dados usando uma abordagem Graph Computing (também conhecida como Graph Analytics). Começamos com uma visão geral e nos concentramos em ferramentas específicas à medida que avançamos em uma série de estudos de caso, exercícios práticos e implantações ao vivo.

No final deste treinamento, os participantes serão capazes de:

• Entender como os dados do gráfico são persistidos e percorridos.
• Selecionar a melhor estrutura para uma determinada tarefa (de bancos de dados de gráficos a estruturas de processamento em lote).
• Implementar Hadoop, Spark, GraphX e Pregel para realizar a computação de gráficos em muitas máquinas em paralelo.
• Ver problemas reais de grandes volumes de dados em termos de grafos, processos e travessias.

Este curso destina-se a programadores e cientistas de dados que pretendam compreender e implementar a IA nas suas aplicações. É dada especial atenção à análise de dados, à IA distribuída e ao processamento de linguagem natural.