Cursos de Python e Spark para Big Data (PySpark)

Código do Curso

sparkpython

Duração

21 horas (usualmente 3 dias incluindo pausas)

Requisitos

  • Habilidades Gerais de Programação

Visão geral

Python é uma linguagem de programação de alto nível famosa por sua sintaxe clara e com legibilidade de código. O Spark é um mecanismo de processamento de dados usado na consulta, análise e transformação de big data. O PySpark permite que os usuários façam interface com o Spark com o Python.

Neste treinamento os participantes aprenderão como usar o Python e o Spark juntos para analisar big data enquanto trabalham em exercícios práticos.

No final deste treinamento, os participantes serão capazes de:

  • Aprender a usar o Spark com Python para analisar Big Data
  • Trabalhar em exercícios que imitam as circunstâncias do mundo real
  • Usar diferentes ferramentas e técnicas para análise de big data usando o PySpark


Público

Desenvolvedores
Profissionais de TI
Cientistas de dados
Formato do curso

Palestra, discussão, exercícios e prática

Programa do Curso

Introdução

Entendendo Big Data

Visão geral do Spark

Visão geral do Python

Visão geral do PySpark

  • Distribuindo dados usando a estrutura de conjuntos de dados distribuídos resilientes
  • Distribuindo Computação Usando Operadores da API Spark

Configurando Python com Spark

Configurando o PySpark

Usando as instâncias do Amazon Web Services (AWS) EC2 para o Spark

Configurando bancos de dados

Configurando o cluster EMR da AWS

Aprendendo os Fundamentos da Programação Python

  • Introdução ao Python
  • Usando o Notebook Jupyter
  • Usando Variáveis e Tipos de Dados Simples
  • Trabalhando com Listas
  • Usando se declarações
  • Usando entradas do usuário
  • Trabalhando com Loops While
  • Funções de Implementação
  • Trabalhando com Classes
  • Trabalhando com arquivos e exceções
  • Trabalhando com projetos, dados e APIs

Aprendendo os Fundamentos do DataFrame Spark

  • Introdução ao Spark DataFrames
  • Implementando Operações Básicas com Spark
  • Usando o Groupby e as Operações Agregadas
  • Trabalhando com Timestamps e Datas

Trabalhando em um exercício do projeto Spark DataFrame

Entendendo o Aprendizado de Máquina com o MLlib

Trabalhando com MLlib, Spark e Python para Aprendizado de Máquina

Entendendo as regressões

  • Aprendendo a Teoria da Regressão Linear
  • Implementando um Código de Avaliação de Regressão
  • Trabalhando em um exercício de regressão linear de amostra
  • Aprendendo a Teoria da Regressão Logística
  • Implementando um Código de Regressão Logística
  • Trabalhando em um exercício de regressão logística de amostra

Entendendo Florestas Aleatórias e Árvores de Decisão

  • Teoria dos Métodos da Árvore de Aprendizagem
  • Implementando Árvores de Decisão e Códigos de Floresta Aleatórios
  • Trabalhando em um exercício de classificação aleatória da amostra

Trabalhando com o K-means Clustering

  • Entendendo a Teoria do Cluster de K-means
  • Implementando um código de cluster de K-means
  • Trabalhando em um exercício de cluster de amostra

Trabalhando com sistemas de recomendação

Implementando o Processamento de Linguagem Natural

  • Entendendo o Processamento de Linguagem Natural (PNL)
  • Visão geral das ferramentas de PNL
  • Trabalhando em um exercício de PNL de exemplo

Streaming com Spark em Python

  • Visão geral de streaming com o Spark
  • Exemplo de exercício de streaming de Spark

Comentários finais

Declaração de Clientes

★★★★★
★★★★★

Categorias Relacionadas

Cursos Relacionados

Ofertas Especiais

Newsletter Ofertas Especiais

Nós respeitamos a privacidade dos seus dados. Nós não vamos repassar ou vender o seu email para outras empresas.
Você sempre poderá editar as suas preferências ou cancelar a sua inscriçāo.

Nossos Clientes

is growing fast!

We are looking for a good mixture of IT and soft skills in Portugal!

As a NobleProg Trainer you will be responsible for:

  • delivering training and consultancy Worldwide
  • preparing training materials
  • creating new courses outlines
  • delivering consultancy
  • quality management

At the moment we are focusing on the following areas:

  • Statistic, Forecasting, Big Data Analysis, Data Mining, Evolution Alogrithm, Natural Language Processing, Machine Learning (recommender system, neural networks .etc...)
  • SOA, BPM, BPMN
  • Hibernate/Spring, Scala, Spark, jBPM, Drools
  • R, Python
  • Mobile Development (iOS, Android)
  • LAMP, Drupal, Mediawiki, Symfony, MEAN, jQuery
  • You need to have patience and ability to explain to non-technical people

To apply, please create your trainer-profile by going to the link below:

Apply now!

This site in other countries/regions