Cursos de Hadoop em Gaia

Este treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto) é destinado a desenvolvedores que desejam usar e integrar o Spark, Hadoop e Python para processar, analisar e transformar conjuntos de dados grandes e complexos.

No final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente necessário para iniciar o processamento de big data com Spark, Hadoop e Python.
• Compreender os recursos, componentes principais e arquitetura do Spark e Hadoop.
• Aprender como integrar Spark, Hadoop e Python para o processamento de big data.
• Explorar as ferramentas do ecossistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka e Flume).
• Construir sistemas de recomendação de filtragem colaborativa semelhantes a Netflix, YouTube, Amazon, Spotify e Google.
• Utilizar o Apache Mahout para escalar algoritmos de aprendizagem automática.

Este curso cobre o básico sobre como utilizar a linguagem Hive SQL, para todas aquelas pessoas que querem extraír dados do Hive. O objetivo deste curso é proporcionar todas as ferramentas necessárias para que os participantes possam analizar os dados de forma clara e precisa.

Público-alvo:

O curso é destinado a especialistas em TI que procuram uma solução para armazenar e processar conjuntos grandes de dados em um ambiente de sistema distribuído.

Pré-requisitos:

Conhecimento profundo na administração de clusters Hadoop.

A análise de big data envolve o processo de examinar grandes quantidades de conjuntos de dados variados para descobrir correlações, padrões ocultos e outras informações úteis.

A indústria da saúde tem enormes quantidades de dados médicos e clínicos heterogêneos complexos. A aplicação de análise de big data em dados de saúde apresenta um enorme potencial para obter insights para melhorar a prestação de serviços de saúde. No entanto, a enormidade desses conjuntos de dados apresenta grandes desafios em análises e aplicações práticas para um ambiente clínico.

Neste treinamento ao vivo conduzido por instrutor (remoto), os participantes aprenderão como executar a análise de big data na área da saúde enquanto realizam uma série de exercícios práticos de laboratório ao vivo.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar ferramentas de análise de big data, como o Hadoop MapReduce e o Spark
• Entenda as características dos dados médicos
• Aplicar técnicas de big data para lidar com dados médicos
• Estudar grandes sistemas de dados e algoritmos no contexto de aplicações de saúde

Público

• Desenvolvedores
• Cientistas de dados

Formato do Curso

• Palestra parte, parte discussão, exercícios e prática hands-on pesado.

Nota

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

O curso é dedicado a especialistas em TI que estão procurando uma solução para armazenar e processar grandes conjuntos de dados em um ambiente de sistema distribuído

Objetivo do curso:

Adquirir conhecimento sobre administração de cluster Hadoop

Apache Hadoop é o framework mais popular para processamento Big Data em clusters de servidores. Neste curso de três (opcionalmente, quatro) dias, os participantes aprenderão sobre os benefícios comerciais e casos de uso para Hadoop e seu ecossistema, como planejar a implantação e o crescimento do cluster, como instalar, manter, monitorar, solucionar problemas e otimizar Hadoop. Eles também praticarão o carregamento em massa de dados no cluster, se familiarizarão com várias distribuições Hadoop e praticarão a instalação e gerenciamento das ferramentas do ecossistema Hadoop. O curso termina com uma discussão sobre a segurança do cluster com Kerberos.

"... Os materiais foram muito bem preparados e abrangentes. A Labs foram muito úteis e bem organizadas"
— Andrew Nguyen, Engenheiro de Integração DW Principal, Microsoft Online Advertising

Público-Alvo

Administradores do Hadoop

Formato

Aulas e laboratórios práticos, aproximadamente 60% aulas, 40% labs.

Apache Hadoop é o framework mais popular para processamento Big Data em clusters de servidores. Este curso introduzirá ao desenvolvedor aos diversos componentes (HDFS, MapReduce, Pig, Hive e HBase) do ecossistema Hadoop.

Apache Hadoop é um dos frameworks mais populares para processamento Big Data em clusters de servidores. Este curso aborda a gestão de dados no HDFS, Pig avançado, Hive, e HBase.  Essas técnicas de programação avançadas serão benéficas para desenvolvedores experientes com Hadoop.

Público-alvo: desenvolvedores

Duração: três dias

Formato: palestras (50%) e laboratórios práticos (50%).

Público-alvo:

Este curso tem como objetivo desmistificar a tecnologia de big data/Hadoop e mostrar que ela não é difícil de entender.

Este treinamento ao vivo conduzido por instrutor em Gaia (online ou no local) é destinado a administradores de sistema que desejam aprender como configurar, implantar e gerenciar clusters Hadoop em sua organização.

No final desta formação, os participantes serão capazes de

• Instalar e configurar o Apache Hadoop.
• Compreender os quatro principais componentes do ecossistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common.
• Usar o HDFS (Hadoop Distributed File System) para dimensionar um cluster para centenas ou milhares de nós.  
• Configurar o HDFS para operar como mecanismo de armazenamento para implantações do Spark no local.
• Configurar o Spark para acessar soluções de armazenamento alternativas, como Amazon S3 e sistemas de banco de dados NoSQL, como Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Realizar tarefas administrativas, como provisionamento, gerenciamento, monitoramento e segurança de um cluster Apache Hadoop.

Este curso introduz HBase, e é dirigido a todos aqueles desenvolvedores que utilizarão o HBase para desenvolver aplicações, e administradores que vao manejar clusters HBase.

Vamos a guiar um desenvolvedor através da arquitetura HBase e modelagem de dados e desenvolvimento de aplicações em HBase. Também vamos discutir utilizando MapReduce com HBase, e alguns tópicos administrativos.

Duração : 3 dias

Público - alvo : desenvolvedores e administradores

Este treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto) apresenta Hortonworks Data Platform (HDP) e orienta os participantes na implantação da solução Spark + Hadoop.

Ao final deste treinamento, os participantes serão capazes de:

• Usar o Hortonworks para executar Hadoop de forma confiável em grande escala.
• Unificar os recursos de segurança, governança e operações do Hadoop com os fluxos de trabalho analíticos ágeis do Spark.
• Use a Hortonworks para investigar, validar, certificar e dar suporte a cada um dos componentes de um projeto Spark.
• Processar diferentes tipos de dados, incluindo dados estruturados, não estruturados, em movimento e em repouso.

Cloudera Impala é um motor de consulta de processamento paralelo em larga escala (MPP) SQL de código aberto para clusters Apache Hadoop.

Impala permite que os usuários enviem consultas de baixa latência SQL a dados armazenados no Sistema de Arquivos Distribuído Hadoop e no Apache Hbase sem exigir movimentação ou transformação dos dados.

Público-alvo

Este curso é destinado a analistas e cientistas de dados que realizam análises em dados armazenados no Hadoop usando ferramentas Business Intelligence ou SQL.

Após este curso, os participantes serão capazes de

• Extrair informações significativas de clusters Hadoop com o Impala.
• Escriver programas específicos para facilitar a Business Intelligence no Impala em dialeto SQL.
• Solucionar problemas do Impala.

Neste treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto), os participantes aprenderão como implantar e gerenciar Apache NiFi em um ambiente de laboratório ao vivo.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apachi NiFi.
• Fonte, transformar e gerenciar dados de fontes de dados díspares e distribuídas, incluindo bancos de dados e grandes lagos de dados.
• Automatizar fluxos de dados.
• Habilitar a análise de streaming.
• Aplicar várias abordagens para a ingestão de dados.
• Transformar Big Data em informações comerciais.

Neste treinamento ao vivo conduzido por instrutor em Gaia, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando Apache NiFi.

No final deste treinamento, os participantes serão capazes de:

• Compreender a arquitetura do NiFi e os conceitos de fluxo de dados.
• Desenvolver extensões usando NiFi e APIs de terceiros.
• Desenvolver seu próprio processador Apache Nifi.
• Ingerir e processar dados em tempo real de formatos de arquivos e fontes de dados diferentes e incomuns.