Curso de Ciência de Dados para Análise de Big Data

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas de dados que desejam usar o ecossistema Anaconda para capturar, gerenciar e implantar pacotes e fluxos de trabalho de análise de dados em uma única plataforma.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar componentes e bibliotecas Anaconda.
• Compreender os principais conceitos, recursos e benefícios do Anaconda.
• Gerenciar pacotes, ambientes e canais usando o Anaconda Navigator.
• Usar pacotes Conda, R e Python para ciência de dados e aprendizado de máquina.
• Conhecer alguns casos de uso práticos e técnicas para gerenciar vários ambientes de dados.

A análise de big data envolve o processo de examinar grandes quantidades de conjuntos de dados variados para descobrir correlações, padrões ocultos e outras informações úteis.

A indústria da saúde tem enormes quantidades de dados médicos e clínicos heterogêneos complexos. A aplicação de análise de big data em dados de saúde apresenta um enorme potencial para obter insights para melhorar a prestação de serviços de saúde. No entanto, a enormidade desses conjuntos de dados apresenta grandes desafios em análises e aplicações práticas para um ambiente clínico.

Neste treinamento ao vivo conduzido por instrutor (remoto), os participantes aprenderão como executar a análise de big data na área da saúde enquanto realizam uma série de exercícios práticos de laboratório ao vivo.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar ferramentas de análise de big data, como o Hadoop MapReduce e o Spark
• Entenda as características dos dados médicos
• Aplicar técnicas de big data para lidar com dados médicos
• Estudar grandes sistemas de dados e algoritmos no contexto de aplicações de saúde

Público

• Desenvolvedores
• Cientistas de dados

Formato do Curso

• Palestra parte, parte discussão, exercícios e prática hands-on pesado.

Nota

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Este treinamento liderado por instrutor (online ou presencial) é direcionado a administradores de sistemas que desejam aprender como configurar, implantar e gerenciar clusters Hadoop dentro de sua organização.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apache Hadoop.
• Compreender as quatro principais componentes do ecossistema Hadoop: HDFS, MapReduce, YARN e Hadoop Common.
• Usar o Hadoop Distributed File System (HDFS) para escalar um cluster para centenas ou milhares de nós.
• Configurar o HDFS para operar como mecanismo de armazenamento para implantações de Spark on-premise.
• Configurar o Spark para acessar soluções de armazenamento alternativas, como Amazon S3 e sistemas de banco de dados NoSQL, como Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Realizar tarefas administrativas, como provisionamento, gerenciamento, monitoramento e segurança de um cluster Apache Hadoop.

Neste treinamento liderado por instrutor (no local ou remoto), os participantes aprenderão a configurar e integrar diferentes frameworks de Processamento de Fluxo com sistemas de armazenamento de big data existentes e aplicativos e microserviços relacionados.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar diferentes frameworks de Processamento de Fluxo, como Spark Streaming e Kafka Streaming.
• Compreender e selecionar o framework mais apropriado para cada tarefa.
• Processar dados continuamente, simultaneamente e em um fluxo registro a registro.
• Integrar soluções de Processamento de Fluxo com bancos de dados existentes, data warehouses, data lakes, etc.
• Integrar a biblioteca de processamento de fluxo mais adequada com aplicativos empresariais e microserviços.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas de dados e desenvolvedores que desejam aprender e construir suas carreiras em Data Science usando Kaggle.

Ao final deste treinamento, os participantes serão capazes de:

• Aprender sobre ciência de dados e aprendizado de máquina.
• Explorar a análise de dados.
• Aprender sobre Kaggle e como ele funciona.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas e desenvolvedores de dados que desejam usar Modin para criar e implementar cálculos paralelos com Pandas para uma análise de dados mais rápida.

No final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente necessário para começar a desenvolver fluxos de trabalho Pandas em escala com Modin.
• Compreender os recursos, a arquitetura e as vantagens de Modin.
• Conhecer as diferenças entre Modin, Dask e Ray.
• Realizar operações Pandas mais rapidamente com Modin.
• Implementar toda a API Pandas e as funções.

Este treinamento presencial, ministrado pelo instrutor em Portugal (online ou localmente), é destinado a cientistas de dados e desenvolvedores que desejam usar o RAPIDS para construir pipelines de dados aceleradas por GPU, fluxos de trabalho e visualizações, aplicando algoritmos de aprendizado de máquina, como XGBoost, cuML, etc.

Ao final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente de desenvolvimento necessário para criar modelos de dados com NVIDIA RAPIDS.
• Compreender as funcionalidades, componentes e vantagens do RAPIDS.
• Utilizar GPUs para acelerar pipelines de dados e análise de ponta a ponta.
• Implementar a preparação de dados e ETL acelerados por GPU com cuDF e Apache Arrow.
• Aprender como realizar tarefas de aprendizado de máquina com algoritmos XGBoost e cuML.
• Construir visualizações de dados e executar análise de gráficos com cuXfilter e cuGraph.

Este treinamento presencial, liderado pelo instrutor em Portugal (online ou no local), é voltado para cientistas de dados que desejam utilizar a pilha SMACK para construir plataformas de processamento de dados para soluções de big data.

Ao final deste treinamento, os participantes serão capazes de:

• Implementar uma arquitetura de pipeline de dados para processamento de big data.
• Desenvolver uma infraestrutura de cluster com Apache Mesos e Docker.
• Analisar dados com Spark e Scala.
• Gerenciar dados não estruturados com Apache Cassandra.

Este treinamento conduzido por instrutor (online ou presencial) em Portugal é voltado para engenheiros que desejam configurar e implantar o sistema Apache Spark para processar grandes volumes de dados.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Apache Spark.
• Ler rapidamente e analisar grandes conjuntos de dados.
• Entender a diferença entre Apache Spark e Hadoop MapReduce e quando usar cada um.
• Integrar o Apache Spark com outras ferramentas de aprendizado de máquina.

A curva de aprendizagem do Apache Spark aumenta lentamente no início, exigindo muito esforço para obter o primeiro retorno. Este curso visa ultrapassar a primeira parte difícil. Após concluir este curso, os participantes compreenderão os fundamentos do Apache Spark, distinguirão claramente RDD de DataFrame, aprenderão as APIs Python e Scala, entenderão executores e tarefas, etc. Seguindo as melhores práticas, este curso se concentra fortemente na implantação em nuvem, Databricks e AWS. Os alunos também compreenderão as diferenças entre AWS EMR e AWS Glue, um dos últimos serviços de Spark da AWS.

PÚBLICO:

Data Engineer, DevOps, Data Scientist

OBJETIVO:

Este curso introduzirá o Apache Spark. Os alunos aprenderão como o Spark se encaixa no ecossistema de Big Data e como usá-lo para análise de dados. O curso abrange o shell do Spark para análise interativa de dados, as entranhas internas do Spark, as APIs do Spark, o Spark SQL, o Spark streaming e machine learning com GraphX.

PÚBLICO ALVO :

Desenvolvedores / Analistas de Dados

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a cientistas de dados e desenvolvedores que desejam usar Spark NLP, construído em cima de Apache Spark, para desenvolver, implementar e dimensionar modelos e pipelines de processamento de texto em linguagem natural.

No final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente de desenvolvimento necessário para começar a construir pipelines de PNL com Spark NLP.
• Compreender os recursos, a arquitetura e os benefícios do uso de Spark NLP.
• Utilizar os modelos pré-treinados disponíveis em Spark NLP para implementar o processamento de texto.
• Aprender a construir, treinar e escalar modelos de Spark NLP para projectos de nível de produção.
• Aplicar classificação, inferência e análise de sentimentos em casos de uso real (dados clínicos, insights sobre o comportamento do cliente, etc.).

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como usar Python e Spark juntos para analisar big data enquanto trabalham em exercícios práticos.

Ao final deste treinamento, os participantes serão capazes de:

• Aprenda a usar o Spark com Python para analisar Big Data.
• Trabalhe em exercícios que imitam casos do mundo real.
• Use diferentes ferramentas e técnicas para análise de big data usando PySpark.

O Spark SQL é o módulo do Apache Spark para trabalhar com dados estruturados e não estruturados. O Spark SQL fornece informações sobre a estrutura dos dados, bem como os cálculos sendo realizados. Essas informações podem ser usadas para realizar otimizações. Dois usos comuns do Spark SQL são:
- executar consultas SQL.
- ler dados de uma instalação existente do Hive.

Neste treinamento conduzido por um instrutor (presencial ou remoto), os participantes aprenderão a analisar vários tipos de conjuntos de dados usando Spark SQL.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Spark SQL.
• Realizar análise de dados usando Spark SQL.
• Consultar conjuntos de dados em diferentes formatos.
• Visualizar dados e resultados de consultas.

Formato do Curso

• Aula interativa e discussão.
• Muitos exercícios e práticas.
• Implementação prática em um ambiente de laboratório ao vivo.

Opções de Customização do Curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

A Stratio é uma plataforma centrada em dados que integra big data, IA e governança em uma única solução. Seus módulos Rocket e Intelligence permitem a exploração rápida de dados, transformação e análises avançadas em ambientes empresariais.

Esta formação presencial (online ou no local), orientada por instrutor, é direcionada a profissionais de dados intermediários que desejam usar os módulos Rocket e Intelligence na Stratio efetivamente com PySpark, focando em estruturas de repetição, funções definidas pelo usuário e lógica de dados avançada.

Ao final deste treinamento, os participantes serão capazes de:

• Navegar e trabalhar dentro da plataforma Stratio usando os módulos Rocket e Intelligence.
• Aplicar PySpark no contexto de ingestão de dados, transformação e análise.
• Usar loops e lógica condicional para controlar fluxos de trabalho de dados e tarefas de engenharia de recursos.
• Criar e gerenciar funções definidas pelo usuário (UDFs) para operações reutilizáveis em PySpark.

Formato do Curso

• Aula interativa e discussão.
• Muitos exercícios e prática.
• Implementação hands-on em um ambiente de laboratório ao vivo.

Opções de Personalização do Curso

• Para solicitar uma formação personalizada para este curso, entre em contato conosco para agendar.