Programa do Curso

Introdução

Descrição geral das características e da arquitetura do Spark Streaming

  • Fontes de dados suportadas
  • APIs principais

Preparar o ambiente

  • Dependências
  • Spark e contexto de streaming
  • Ligação ao Kafka

Processamento de mensagens

  • Análise de mensagens de entrada como JSON
  • Processos ETL
  • Iniciar o contexto de fluxo contínuo

Execução de uma janela Stream Processing

  • Intervalo de diapositivos
  • Configuração da entrega de pontos de controlo
  • Lançamento do ambiente

Prototipagem do código de processamento

  • Ligar a um tópico do Kafka
  • Recuperar JSON da fonte de dados usando Paw
  • Variações e processamento adicional

Transmissão em fluxo contínuo do código

  • Variáveis de controlo do trabalho
  • Definição de valores para correspondência
  • Funções e condições

Aquisição de saída de fluxo

  • Contadores
  • Saída Kafka (correspondente e não correspondente)

Resolução de problemas

Resumo e conclusão

Requisitos

  • Experiência com Python e Apache Kafka
  • Familiaridade com plataformas de processamento de fluxo

Público

  • Engenheiros de dados
  • Cientistas de dados
  • Programadores
 7 horas

Declaração de Clientes (5)

Categorias Relacionadas