Programa do Curso

Introdução

Scala Revisão da Programação em Profundidade

  • Sintaxe e estrutura
  • Controlo do fluxo e funções

Internos do Spark

  • Conjuntos de dados distribuídos resilientes (RDD)
  • Script Spark para criar gráficos no cluster

Visão geral de Spark Streaming

  • Arquitetura do fluxo contínuo
  • Intervalos no streaming
  • Tolerância a falhas

Preparando o ambiente de desenvolvimento

  • Instalando e configurando o Apache Spark
  • Instalando e configurando o Scala IDE
  • Instalando e configurando o JDK

Spark Streaming De principiante a avançado

  • Trabalhar com RDD's de chave/valor
  • Filtragem de RDD's
  • Melhorando scripts Spark com expressões regulares
  • Partilhar dados num cluster
  • Trabalhar com conjuntos de dados de rede
  • Implementação de algoritmos BFS
  • Criando scripts de driver Spark
  • Acompanhamento em tempo real com scripts
  • Escrever aplicações contínuas
  • Regressão linear em fluxo contínuo
  • Utilização da biblioteca Spark Machine Learning

Spark e Clusters

  • Agrupamento de dependências e scripts Spark usando a ferramenta SBT
  • Usando EMR para ilustrar clusters
  • Otimização através do particionamento de RDD's
  • Usando logs do Spark

Integração em Spark Streaming

  • Integrar o Apache Kafka e trabalhar com tópicos do Kafka
  • Integrando o Apache Fume e trabalhando com configurações Flume baseadas em pull/push
  • Escrevendo uma classe recetora personalizada
  • Integrando Cassandra e expondo dados como serviços em tempo real

Em produção

  • Empacotar uma aplicação e executá-la com o Spark-Submit
  • Solução de problemas, ajuste e depuração de jobs e clusters do Spark

Resumo e conclusão

Requisitos

  • Programming e experiência de programação

Público

  • Engenheiros de software
  21 horas
 

Declaração de Clientes (4)

Cursos Relacionados

Categorias Relacionadas