Curso de Ciência de Dados para Análise de Big Data

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas de dados que desejam usar o ecossistema Anaconda para capturar, gerenciar e implantar pacotes e fluxos de trabalho de análise de dados em uma única plataforma.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar componentes e bibliotecas Anaconda.
• Compreender os principais conceitos, recursos e benefícios do Anaconda.
• Gerenciar pacotes, ambientes e canais usando o Anaconda Navigator.
• Usar pacotes Conda, R e Python para ciência de dados e aprendizado de máquina.
• Conhecer alguns casos de uso práticos e técnicas para gerenciar vários ambientes de dados.

A análise de big data envolve o processo de examinar grandes volumes de conjuntos de dados variados para descobrir correlações, padrões ocultos e outras insights úteis.

A indústria da saúde possui enormes quantidades de dados médicos e clínicos complexos e heterogêneos. Aplicar a análise de big data aos dados de saúde apresenta um grande potencial para derivar insights que melhorem a prestação de cuidados à saúde. No entanto, a magnitude desses conjuntos de dados representa grandes desafios em análises e aplicações práticas ao ambiente clínico.

Nesta formação conduzida por instrutor (remota), os participantes aprenderão como realizar análise de big data na saúde enquanto passam por uma série de exercícios práticos em laboratório.

Ao final desta formação, os participantes serão capazes de:

• Instalar e configurar ferramentas de análise de big data, como Hadoop MapReduce e Spark
• Compreender as características dos dados médicos
• Aplicar técnicas de big data para lidar com dados médicos
• Estudar sistemas e algoritmos de big data no contexto de aplicações em saúde

Público-alvo

• Desenvolvedores
• Cientistas de Dados

Formato do Curso

• Parte aula, parte discussão, exercícios e muita prática hands-on.

Nota

• Para solicitar uma formação personalizada para este curso, entre em contato conosco para agendar.

Este treinamento liderado por instrutor (online ou presencial) é direcionado a administradores de sistemas que desejam aprender como configurar, implantar e gerenciar clusters Hadoop dentro de sua organização.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apache Hadoop.
• Compreender as quatro principais componentes do ecossistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common.
• Usar o Hadoop Distributed File System (HDFS) para escalar um cluster para centenas ou milhares de nós.
• Configurar o HDFS para operar como mecanismo de armazenamento para implantações de Spark on-premise.
• Configurar o Spark para acessar soluções de armazenamento alternativas, como Amazon S3 e sistemas de banco de dados NoSQL, como Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Realizar tarefas administrativas, como provisionamento, gerenciamento, monitoramento e segurança de um cluster Apache Hadoop.

Neste treinamento ministrado por um instrutor em Portugal (presencial ou remoto), os participantes aprenderão a configurar e integrar diferentes frameworks de Processamento de Streams com sistemas existentes de armazenamento de big data e aplicativos de software relacionados e microserviços.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar diferentes frameworks de Processamento de Streams, como Spark Streaming e Kafka Streaming.
• Entender e selecionar o framework mais apropriado para a tarefa.
• Processar dados continuamente, concorrentemente e de forma registro por registro.
• Integrar soluções de Processamento de Streams com bancos de dados existentes, data warehouses, data lakes, etc.
• Integrar a biblioteca de processamento de streams mais adequada com aplicativos empresariais e microserviços.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas de dados e desenvolvedores que desejam aprender e construir suas carreiras em Data Science usando Kaggle.

Ao final deste treinamento, os participantes serão capazes de:

• Aprender sobre ciência de dados e aprendizado de máquina.
• Explorar a análise de dados.
• Aprender sobre Kaggle e como ele funciona.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas e desenvolvedores de dados que desejam usar Modin para criar e implementar cálculos paralelos com Pandas para uma análise de dados mais rápida.

No final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente necessário para começar a desenvolver fluxos de trabalho Pandas em escala com Modin.
• Compreender os recursos, a arquitetura e as vantagens de Modin.
• Conhecer as diferenças entre Modin, Dask e Ray.
• Realizar operações Pandas mais rapidamente com Modin.
• Implementar toda a API Pandas e as funções.

Este treinamento presencial, ministrado pelo instrutor em Portugal (online ou localmente), é destinado a cientistas de dados e desenvolvedores que desejam usar o RAPIDS para construir pipelines de dados aceleradas por GPU, fluxos de trabalho e visualizações, aplicando algoritmos de aprendizado de máquina, como XGBoost, cuML, etc.

Ao final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente de desenvolvimento necessário para criar modelos de dados com NVIDIA RAPIDS.
• Compreender as funcionalidades, componentes e vantagens do RAPIDS.
• Utilizar GPUs para acelerar pipelines de dados e análise de ponta a ponta.
• Implementar a preparação de dados e ETL acelerados por GPU com cuDF e Apache Arrow.
• Aprender como realizar tarefas de aprendizado de máquina com algoritmos XGBoost e cuML.
• Construir visualizações de dados e executar análise de gráficos com cuXfilter e cuGraph.

Este treinamento presencial, liderado pelo instrutor em Portugal (online ou no local), é voltado para cientistas de dados que desejam utilizar a pilha SMACK para construir plataformas de processamento de dados para soluções de big data.

Ao final deste treinamento, os participantes serão capazes de:

• Implementar uma arquitetura de pipeline de dados para processamento de big data.
• Desenvolver uma infraestrutura de cluster com Apache Mesos e Docker.
• Analisar dados com Spark e Scala.
• Gerenciar dados não estruturados com Apache Cassandra.

Este treinamento conduzido por instrutor (online ou presencial) em Portugal é voltado para engenheiros que desejam configurar e implantar o sistema Apache Spark para processar grandes volumes de dados.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apache Spark.
• Ler rapidamente e analisar grandes conjuntos de dados.
• Entender a diferença entre Apache Spark e Hadoop MapReduce e quando usar cada um.
• Integrar o Apache Spark com outras ferramentas de aprendizado de máquina.

A curva de aprendizagem do Apache Spark aumenta lentamente no início, exigindo muito esforço para obter o primeiro retorno. Este curso visa ultrapassar a primeira parte difícil. Após concluir este curso, os participantes compreenderão os fundamentos do Apache Spark, distinguirão claramente RDD de DataFrame, aprenderão as APIs Python e Scala, entenderão executores e tarefas, etc. Seguindo as melhores práticas, este curso se concentra fortemente na implantação em nuvem, Databricks e AWS. Os alunos também compreenderão as diferenças entre AWS EMR e AWS Glue, um dos últimos serviços de Spark da AWS.

PÚBLICO:

Data Engineer, DevOps, Data Scientist

OBJETIVO:

Este curso introduzirá o Apache Spark. Os alunos aprenderão como o Spark se encaixa no ecossistema de Big Data e como usá-lo para análise de dados. O curso abrange o shell do Spark para análise interativa de dados, as entranhas internas do Spark, as APIs do Spark, o Spark SQL, o Spark streaming e machine learning com GraphX.

PÚBLICO ALVO :

Desenvolvedores / Analistas de Dados

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas de dados e desenvolvedores que desejam usar Spark NLP, construído em cima de Apache Spark, para desenvolver, implementar e dimensionar modelos e pipelines de processamento de texto em linguagem natural.

No final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente de desenvolvimento necessário para começar a construir pipelines de PNL com Spark NLP.
• Compreender os recursos, a arquitetura e os benefícios do uso de Spark NLP.
• Utilizar os modelos pré-treinados disponíveis em Spark NLP para implementar o processamento de texto.
• Aprender a construir, treinar e escalar modelos de Spark NLP para projectos de nível de produção.
• Aplicar classificação, inferência e análise de sentimentos em casos de uso real (dados clínicos, insights sobre o comportamento do cliente, etc.).

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como usar Python e Spark juntos para analisar big data enquanto trabalham em exercícios práticos.

Ao final deste treinamento, os participantes serão capazes de:

• Aprenda a usar o Spark com Python para analisar Big Data.
• Trabalhe em exercícios que imitam casos do mundo real.
• Use diferentes ferramentas e técnicas para análise de big data usando PySpark.

O Spark SQL é o módulo do Apache Spark para trabalhar com dados estruturados e não estruturados. O Spark SQL fornece informações sobre a estrutura dos dados, bem como os cálculos sendo realizados. Essas informações podem ser usadas para realizar otimizações. Dois usos comuns do Spark SQL são:
- executar consultas SQL.
- ler dados de uma instalação existente do Hive.

Neste treinamento conduzido por um instrutor (presencial ou remoto), os participantes aprenderão a analisar vários tipos de conjuntos de dados usando Spark SQL.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Spark SQL.
• Realizar análise de dados usando Spark SQL.
• Consultar conjuntos de dados em diferentes formatos.
• Visualizar dados e resultados de consultas.

Formato do Curso

• Aula interativa e discussão.
• Muitos exercícios e práticas.
• Implementação prática em um ambiente de laboratório ao vivo.

Opções de Customização do Curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

A Stratio é uma plataforma centrada em dados que integra big data, IA e governança em uma única solução. Seus módulos Rocket e Intelligence permitem a exploração rápida de dados, transformação e análises avançadas em ambientes empresariais.

Esta formação presencial (online ou no local), orientada por instrutor, é direcionada a profissionais de dados intermediários que desejam usar os módulos Rocket e Intelligence na Stratio efetivamente com PySpark, focando em estruturas de repetição, funções definidas pelo usuário e lógica de dados avançada.

Ao final deste treinamento, os participantes serão capazes de:

• Navegar e trabalhar dentro da plataforma Stratio usando os módulos Rocket e Intelligence.
• Aplicar PySpark no contexto de ingestão de dados, transformação e análise.
• Usar loops e lógica condicional para controlar fluxos de trabalho de dados e tarefas de engenharia de recursos.
• Criar e gerenciar funções definidas pelo usuário (UDFs) para operações reutilizáveis em PySpark.

Formato do Curso

• Aula interativa e discussão.
• Muitos exercícios e prática.
• Implementação hands-on em um ambiente de laboratório ao vivo.

Opções de Personalização do Curso

• Para solicitar uma formação personalizada para este curso, entre em contato conosco para agendar.