Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Programa do Curso
- Scala primer Uma rápida introdução ao Scala Labs: Conhecendo o Scala Spark Noções básicas e histórico Conceitos e arquitetura do Spark e Hadoop Spark Eco system do Spark (core, spark sql, mlib, streaming) Labs: Instalando e executando o Spark Primeiramente veja o Spark Executando o Spark em modo local Spark web UI Spark shell Analisando conjunto de dados – parte 1 Inspecionando RDDs Laboratórios: exploração de Spark shell RDDs Conceitos de RDDs Partições RDD Operações/transformações Tipos de RDD Par chave-valor RDDs MapReduce em RDD Armazenamento em cache e persistência Laboratórios: criando e inspecionando RDDs; Armazenamento em cache de RDDs Programação da API Spark Introdução à API Spark / API RDD Envio do primeiro programa para o Spark Depuração/registro de propriedades de configuração Laboratórios: Programação na API Spark, envio de trabalhos Suporte ao Spark SQL SQL em Spark Dataframes Definição de tabelas e importação de conjuntos de dados Consulta de dados frames usando SQL Formatos de armazenamento: JSON/Parquet Labs: Criação e consulta de frames de dados; avaliando formatos de dados MLlib Introdução ao MLlib Algoritmos MLlib Laboratórios: Escrevendo aplicativos MLib Visão geral da biblioteca GraphX GraphX APIs GraphX Laboratórios: Processando dados gráficos usando Spark Spark Streaming Visão geral do streaming Avaliando plataformas de streaming Operações de streaming Operações de janela deslizante Laboratórios: Escrevendo aplicativos de streaming spark Spark e Hadoop Introdução ao Hadoop ( HDFS / YARN) Arquitetura Hadoop + Spark Executando Spark no Hadoop YARN Processando arquivos HDFS usando Spark Spark Desempenho e ajuste Variáveis de transmissão Acumuladores Gerenciamento de memória e cache Operações Spark Implantando Spark em produção Exemplos de modelos de implantação Configurações Monitoramento Solução de problemas
Requisitos
PRÉ-REQUISITOS
familiaridade com as linguagens Java / Scala / Python (os nossos laboratórios em Scala e Python) conhecimentos básicos do ambiente de desenvolvimento Linux (navegação na linha de comandos / edição de ficheiros usando VI ou nano)
21 horas
