Cursos de Hadoop and Spark for Administrators

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como usar Python e Spark juntos para analisar big data enquanto trabalham em exercícios práticos.

No final desta formação, os participantes serão capazes de

• Aprenda a usar o Spark com Python para analisar Big Data.
• Trabalhar em exercícios que imitam casos do mundo real.
• Utilizar diferentes ferramentas e técnicas para análise de big data usando PySpark.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão sobre as ofertas de tecnologia e abordagens de implementação para o processamento de dados gráficos. O objetivo é identificar objetos do mundo real, suas características e relacionamentos, depois modelar esses relacionamentos e processá-los como dados usando uma abordagem Graph Computing (também conhecida como Graph Analytics). Começaremos com uma visão geral e concentrar-nos-emos em ferramentas específicas à medida que avançamos numa série de estudos de casos, exercícios práticos e implementações em direto.

No final desta formação, os participantes serão capazes de

• Compreender como os dados de grafos são persistidos e percorridos.
• Selecionar o melhor framework para uma determinada tarefa (de bancos de dados de grafos a frameworks de processamento em lote.)
• Implementar Hadoop, Spark, GraphX e Pregel para realizar computação de grafos em muitas máquinas em paralelo.
• Ver problemas de big data do mundo real em termos de grafos, processos e travessias.

O MLlib é a biblioteca de aprendizado de máquina (ML) do Spark. Seu objetivo é tornar prático o aprendizado de máquina escalável e fácil. Ele consiste em algoritmos e utilitários de aprendizado comuns, incluindo classificação, regressão, agrupamento, filtragem colaborativa, redução de dimensionalidade, além de primitivas de otimização de nível inferior e APIs de pipeline de nível superior.

Divide-se em dois pacotes:

• O spark.mllib contém a API original construída sobre os RDDs.

• O spark.ml fornece uma API de alto nível, construída sobre os DataFrames, para a construção de pipelines de ML.

Público

Este curso é direcionado a engenheiros e desenvolvedores que desejam utilizar uma biblioteca de máquinas integrada para o Apache Spark

Formato do curso

• Palestra e discussão interactivas.
• Muitos exercícios e prática.
• Implementação prática num ambiente de laboratório ao vivo.

Opções de personalização do curso

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) apresenta Hortonworks Data Platform (HDP) e orienta os participantes na implantação da solução Spark + Hadoop.

No final desta formação, os participantes serão capazes de

Utilize a Hortonworks para executar Hadoop de forma fiável em grande escala. Unifique os recursos de segurança, governança e operações do Hadoop com os fluxos de trabalho analíticos ágeis do Spark. Use a Hortonworks para investigar, validar, certificar e dar suporte a cada um dos componentes de um projeto Spark. Processe diferentes tipos de dados, incluindo dados estruturados, não estruturados, em movimento e em repouso.

Apache Ambari é uma plataforma de gerenciamento de código aberto para provisionamento, gerenciamento, monitoramento e proteção de clusters do Apache Hadoop .

Neste treinamento ao vivo orientado por instrutor, os participantes aprenderão as ferramentas e práticas de gerenciamento fornecidas pelo Ambari para gerenciar com sucesso os clusters do Hadoop .

No final deste treinamento, os participantes serão capazes de:

• Configurar um cluster de Big Data ativo usando o Ambari
• Aplique os recursos avançados e as funcionalidades do Ambari em vários casos de uso
• Adicione e remova os nós sem problemas conforme necessário
• Melhore o desempenho de um cluster do Hadoop por meio de ajustes e ajustes

Público

• DevOps
• Administradores de sistema
• DBAs
• Profissionais de teste do Hadoop

Formato do curso

• Palestra parcial, parte discussão, exercícios e prática prática

O Cloudera Impala é um query engine SQL MPP de código aberto feito para clusters Apache Hadoop.
Ele permite aos usuarios a abertura de queries SQL de latencia baixa para todos os dados guardados no Hadoop Distributed File System e Apache Hbase sem requerir movimento de dados ou transformacao.
Este curso vai dirigido a analistas de sistemas e cientístas de dados.

Este curso cobre o básico sobre como utilizar a linguagem Hive SQL, para todas aquelas pessoas que querem extraír dados do Hive. O objetivo deste curso é proporcionar todas as ferramentas necessárias para que os participantes possam analizar os dados de forma clara e precisa.

Este é um curso de introdução ao Apache Spark, os participantes aprenderão como é que esse programa participa do ecossistema Big Data, e como utiliza-lo para analizar dados. O curso cobre Spark para analise de dados, internalidades do Spark, Spark APIs, Spark SQL, Spark Streaming, Machine Learning e graphX.

O Magellan é um motor de execução distribuído de código aberto para análise geoespacial em big data. Implementado em cima de Apache Spark, ele estende o Spark SQL e fornece uma abstração relativa para a análise geoespacial.

Este treinamento ao vivo, liderado por instrutores, introduz os conceitos e abordagens para a implementação de análises geoespaciais e caminha os participantes através da criação de uma aplicação de análise preditiva usando Magellan no Spark.

No final do curso, os participantes poderão:

• Pergunte efetivamente, parse e junta conjuntos de dados geoespaciais em escala
• Implementação de dados geoespaciais em inteligência empresarial e aplicações de análise preditiva
• Use o contexto espacial para expandir as capacidades de dispositivos móveis, sensores, logs e portáteis

O formato do curso

• Interação e discussão interativa.
• Muitos exercícios e práticas.
• Implementação de mão em um ambiente de laboratório ao vivo.

Opções de Customização

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.

O Spark SQL é o módulo do Apache Spark para trabalhar com dados estruturados e não estruturados. O Spark SQL fornece informações sobre a estrutura dos dados, bem como a computação que está sendo executada. Esta informação pode ser usada para realizar otimizações. Dois usos comuns para o Spark SQL são:
- para executar consultas SQL .
- para ler dados de uma instalação existente do Hive .

Neste treinamento ao vivo conduzido por instrutor (no local ou remoto), os participantes aprenderão a analisar vários tipos de conjuntos de dados usando o Spark SQL .

No final deste treinamento, os participantes serão capazes de:

• Instale e configure o Spark SQL .
• Realize a análise de dados usando o Spark SQL .
• Consultar conjuntos de dados em diferentes formatos.
• Visualize dados e resultados de consulta.

Formato do Curso

• Palestra interativa e discussão.
• Muitos exercícios e prática.
• Implementação prática em um ambiente de laboratório ao vivo.

Opções de personalização de curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Neste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto), os participantes aprenderão como configurar e integrar diferentes estruturas Stream Processing com sistemas de armazenamento de big data existentes e aplicativos de software relacionados e microsserviços.

No final desta formação, os participantes serão capazes de

• Instalar e configurar diferentes Stream Processing frameworks, como Spark Streaming e Kafka Streaming.
• Compreender e selecionar a estrutura mais apropriada para o trabalho.
• Processar dados de forma contínua, simultânea e de forma registo a registo.
• Integrar Stream Processing soluções com bancos de dados existentes, data warehouses, data lakes, etc.
• Integrar a biblioteca de processamento de fluxo mais adequada com aplicativos corporativos e microsserviços.

A análise de big data envolve o processo de examinar grandes quantidades de conjuntos de dados variados para descobrir correlações, padrões ocultos e outras informações úteis.

A indústria da saúde tem enormes quantidades de dados médicos e clínicos heterogêneos complexos. A aplicação de análise de big data em dados de saúde apresenta um enorme potencial para obter insights para melhorar a prestação de serviços de saúde. No entanto, a enormidade desses conjuntos de dados apresenta grandes desafios em análises e aplicações práticas para um ambiente clínico.

Neste treinamento ao vivo conduzido por instrutor (remoto), os participantes aprenderão como executar a análise de big data na área da saúde enquanto realizam uma série de exercícios práticos de laboratório ao vivo.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar ferramentas de análise de big data, como o Hadoop MapReduce e o Spark
• Entenda as características dos dados médicos
• Aplicar técnicas de big data para lidar com dados médicos
• Estudar grandes sistemas de dados e algoritmos no contexto de aplicações de saúde

Público

• Desenvolvedores
• Cientistas de dados

Formato do Curso

• Palestra parte, parte discussão, exercícios e prática hands-on pesado.

Nota

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

A curva de aprendizado do Apache Spark está aumentando lentamente no início, e é preciso muito esforço para obter o primeiro retorno. Este curso tem como objetivo pular a primeira parte difícil. Depois de fazer este curso, os participantes entenderão o básico do Apache Spark , diferenciarão claramente o RDD do DataFrame, aprenderão as APIs Python e Scala , entenderão os executores e as tarefas, etc. implantação na nuvem, Databricks e AWS. Os alunos também entenderão as diferenças entre o AWS EMR e o AWS Glue, um dos últimos serviços Spark da AWS.

PÚBLICO:

Engenheiro de dados, DevOps , cientista de dados