Cursos de Apache Spark SQL

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como usar Python e Spark juntos para analisar big data enquanto trabalham em exercícios práticos.

No final desta formação, os participantes serão capazes de

• Aprenda a usar o Spark com Python para analisar Big Data.
• Trabalhar em exercícios que imitam casos do mundo real.
• Utilizar diferentes ferramentas e técnicas para análise de big data usando PySpark.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão sobre as ofertas de tecnologia e abordagens de implementação para o processamento de dados gráficos. O objetivo é identificar objetos do mundo real, suas características e relacionamentos, depois modelar esses relacionamentos e processá-los como dados usando uma abordagem Graph Computing (também conhecida como Graph Analytics). Começaremos com uma visão geral e concentrar-nos-emos em ferramentas específicas à medida que avançamos numa série de estudos de casos, exercícios práticos e implementações em direto.

No final desta formação, os participantes serão capazes de

• Compreender como os dados de grafos são persistidos e percorridos.
• Selecionar o melhor framework para uma determinada tarefa (de bancos de dados de grafos a frameworks de processamento em lote.)
• Implementar Hadoop, Spark, GraphX e Pregel para realizar computação de grafos em muitas máquinas em paralelo.
• Ver problemas de big data do mundo real em termos de grafos, processos e travessias.

O MLlib é a biblioteca de aprendizado de máquina (ML) do Spark. Seu objetivo é tornar prático o aprendizado de máquina escalável e fácil. Ele consiste em algoritmos e utilitários de aprendizado comuns, incluindo classificação, regressão, agrupamento, filtragem colaborativa, redução de dimensionalidade, além de primitivas de otimização de nível inferior e APIs de pipeline de nível superior.

Divide-se em dois pacotes:

• O spark.mllib contém a API original construída sobre os RDDs.

• O spark.ml fornece uma API de alto nível, construída sobre os DataFrames, para a construção de pipelines de ML.

Público

Este curso é direcionado a engenheiros e desenvolvedores que desejam utilizar uma biblioteca de máquinas integrada para o Apache Spark

Formato do curso

• Palestra e discussão interactivas.
• Muitos exercícios e prática.
• Implementação prática num ambiente de laboratório ao vivo.

Opções de personalização do curso

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.

Este é um curso de introdução ao Apache Spark, os participantes aprenderão como é que esse programa participa do ecossistema Big Data, e como utiliza-lo para analizar dados. O curso cobre Spark para analise de dados, internalidades do Spark, Spark APIs, Spark SQL, Spark Streaming, Machine Learning e graphX.

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) apresenta Hortonworks Data Platform (HDP) e orienta os participantes na implantação da solução Spark + Hadoop.

No final desta formação, os participantes serão capazes de

Utilize a Hortonworks para executar Hadoop de forma fiável em grande escala. Unifique os recursos de segurança, governança e operações do Hadoop com os fluxos de trabalho analíticos ágeis do Spark. Use a Hortonworks para investigar, validar, certificar e dar suporte a cada um dos componentes de um projeto Spark. Processe diferentes tipos de dados, incluindo dados estruturados, não estruturados, em movimento e em repouso.

O Magellan é um motor de execução distribuído de código aberto para análise geoespacial em big data. Implementado em cima de Apache Spark, ele estende o Spark SQL e fornece uma abstração relativa para a análise geoespacial.

Este treinamento ao vivo, liderado por instrutores, introduz os conceitos e abordagens para a implementação de análises geoespaciais e caminha os participantes através da criação de uma aplicação de análise preditiva usando Magellan no Spark.

No final do curso, os participantes poderão:

• Pergunte efetivamente, parse e junta conjuntos de dados geoespaciais em escala
• Implementação de dados geoespaciais em inteligência empresarial e aplicações de análise preditiva
• Use o contexto espacial para expandir as capacidades de dispositivos móveis, sensores, logs e portáteis

O formato do curso

• Interação e discussão interativa.
• Muitos exercícios e práticas.
• Implementação de mão em um ambiente de laboratório ao vivo.

Opções de Customização

• Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.

Neste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto), os participantes aprenderão como configurar e integrar diferentes estruturas Stream Processing com sistemas de armazenamento de big data existentes e aplicativos de software relacionados e microsserviços.

No final desta formação, os participantes serão capazes de

• Instalar e configurar diferentes Stream Processing frameworks, como Spark Streaming e Kafka Streaming.
• Compreender e selecionar a estrutura mais apropriada para o trabalho.
• Processar dados de forma contínua, simultânea e de forma registo a registo.
• Integrar Stream Processing soluções com bancos de dados existentes, data warehouses, data lakes, etc.
• Integrar a biblioteca de processamento de fluxo mais adequada com aplicativos corporativos e microsserviços.

A análise de big data envolve o processo de examinar grandes quantidades de conjuntos de dados variados para descobrir correlações, padrões ocultos e outras informações úteis.

A indústria da saúde tem enormes quantidades de dados médicos e clínicos heterogêneos complexos. A aplicação de análise de big data em dados de saúde apresenta um enorme potencial para obter insights para melhorar a prestação de serviços de saúde. No entanto, a enormidade desses conjuntos de dados apresenta grandes desafios em análises e aplicações práticas para um ambiente clínico.

Neste treinamento ao vivo conduzido por instrutor (remoto), os participantes aprenderão como executar a análise de big data na área da saúde enquanto realizam uma série de exercícios práticos de laboratório ao vivo.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar ferramentas de análise de big data, como o Hadoop MapReduce e o Spark
• Entenda as características dos dados médicos
• Aplicar técnicas de big data para lidar com dados médicos
• Estudar grandes sistemas de dados e algoritmos no contexto de aplicações de saúde

Público

• Desenvolvedores
• Cientistas de dados

Formato do Curso

• Palestra parte, parte discussão, exercícios e prática hands-on pesado.

Nota

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

A curva de aprendizado do Apache Spark está aumentando lentamente no início, e é preciso muito esforço para obter o primeiro retorno. Este curso tem como objetivo pular a primeira parte difícil. Depois de fazer este curso, os participantes entenderão o básico do Apache Spark , diferenciarão claramente o RDD do DataFrame, aprenderão as APIs Python e Scala , entenderão os executores e as tarefas, etc. implantação na nuvem, Databricks e AWS. Os alunos também entenderão as diferenças entre o AWS EMR e o AWS Glue, um dos últimos serviços Spark da AWS.

PÚBLICO:

Engenheiro de dados, DevOps , cientista de dados

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a engenheiros de software que desejam transmitir grandes dados com Spark Streaming e Scala.

No final desta formação, os participantes serão capazes de

• Criar aplicativos Spark com a linguagem de programação Scala.
• Use Spark Streaming para processar fluxos contínuos de dados.
• Processe fluxos de dados em tempo real com Spark Streaming.

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a cientistas de dados que desejam usar a pilha SMACK para construir plataformas de processamento de dados para soluções de big data.

No final desta formação, os participantes serão capazes de

• Implementar uma arquitetura de pipeline de dados para processar big data.
• Desenvolver uma infraestrutura de cluster com Apache Mesos e Docker.
• Analisar dados com Spark e Scala.
• Gerenciar dados não estruturados com o Apache Cassandra.

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a engenheiros que desejam configurar e implantar o sistema Apache Spark para processar grandes quantidades de dados.

No final desta formação, os participantes serão capazes de

• Instalar e configurar o Apache Spark.
• Processe e analise rapidamente conjuntos de dados muito grandes.
• Compreender a diferença entre o Apache Spark e o Hadoop MapReduce e quando usar qual deles.
• Integrar o Apache Spark com outras ferramentas de aprendizado de máquina.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto)  destina-se a desenvolvedores que desejam realizar análise de big data usando Apache Spark em seus aplicativos .NET.

No final desta formação, os participantes serão capazes de

• Instalar e configurar o Apache Spark.
• Entender como o .NET implementa as APIs do Spark para que elas possam ser acessadas a partir de um aplicativo .NET.
• Desenvolver aplicativos de processamento de dados usando C# ou F#, capazes de lidar com conjuntos de dados cujo tamanho é medido em terabytes e pedabytes.
• Desenvolver recursos de aprendizado de máquina para um aplicativo .NET usando recursos do Apache Spark.
• Realizar análises exploratórias usando SQL consultas em grandes conjuntos de dados.

Este treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a administradores de sistema que desejam aprender como configurar, implantar e gerenciar clusters Hadoop em sua organização.

No final desta formação, os participantes serão capazes de

• Instalar e configurar o Apache Hadoop.
• Compreender os quatro principais componentes do ecossistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common.
• Usar o HDFS (Hadoop Distributed File System) para dimensionar um cluster para centenas ou milhares de nós.  
• Configurar o HDFS para operar como mecanismo de armazenamento para implantações do Spark no local.
• Configurar o Spark para acessar soluções de armazenamento alternativas, como Amazon S3 e sistemas de banco de dados NoSQL, como Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Realizar tarefas administrativas, como provisionamento, gerenciamento, monitoramento e segurança de um cluster Apache Hadoop.