Cursos de Big Data em Coimbra

Esta formação ao vivo, orientada por um instrutor em Coimbra (online ou presencial), destina-se a cientistas de dados e engenheiros de nível intermédio que desejam utilizar o Google Colab e o Apache Spark para o processamento e análise de Big Data.

Ao final desta formação, os participantes poderão:

• Configurar um ambiente de Big Data utilizando Google Colab e Spark.
• Processar e analisar grandes conjuntos de dados de forma eficiente com o Apache Spark.
• Visualizar dados em grandes volumes (Big Data) num ambiente colaborativo.
• Integrar o Apache Spark com ferramentas baseadas em cloud.

Os participantes que concluírem esta formação ao vivo, dirigida por instrutores, em Coimbra adquirirão um conhecimento prático e aplicado do mundo real sobre Big Data e as tecnologias, metodologias e ferramentas associadas.

Terão a oportunidade de aplicar este conhecimento na prática através de exercícios práticos. A interação em grupo e o feedback do instrutor constituem componentes importantes da formação.

O curso começa com uma introdução aos conceitos fundamentais de Big Data, evoluindo depois para as linguagens de programação e metodologias utilizadas para realizar a Análise de Dados. Por fim, discutiremos as ferramentas e infraestruturas que permitem o armazenamento de Big Data, o Processamento Distribuído e a Escalabilidade.

Esta formação ao vivo, conduzida por um instrutor, em Coimbra (online ou presencial), destina-se a profissionais de dados avançados que desejam otimizar fluxos de trabalho de processamento de dados, garantir a integridade dos dados e implementar soluções robustas de data lakehouse capazes de lidar com as complexidades das aplicações modernas de big data.

No final desta formação, os participantes serão capazes de:

• Adquirir uma compreensão aprofundada da arquitetura do Iceberg, incluindo a gestão de metadados e a disposição de ficheiros.
• Configurar o Iceberg para desempenho ótimo em vários ambientes e integrá-lo com múltiplos motores de processamento de dados.
• Gerir tabelas Iceberg em grande escala, executar alterações complexas de esquema e lidar com a evolução de partições.
• Dominar técnicas para otimizar o desempenho das consultas e a eficiência da varrência de dados em grandes conjuntos de dados.
• Implementar mecanismos para assegurar a consistência dos dados, gerir garantias transacionais e lidar com falhas em ambientes distribuídos.

Esta formação ao vivo, conduzida por instrutor em Coimbra (online ou presencial), destina-se a profissionais de dados em nível iniciante que pretendam adquirir os conhecimentos e as competências necessários para utilizar eficazmente o Apache Iceberg na gestão de grandes conjuntos de dados, garantindo a integridade dos dados e otimizando os fluxos de trabalho de processamento de dados.

No final desta formação, os participantes serão capazes de:

• Adquirir uma compreensão aprofundada da arquitetura, funcionalidades e benefícios do Apache Iceberg.
• Aprender sobre formatos de tabela, particionamento, evolução de esquemas e capacidades de viagem no tempo (time travel).
• Instalar e configurar o Apache Iceberg em diferentes ambientes.
• Criar, gerir e manipular tabelas Iceberg.
• Compreender o processo de migração de dados a partir de outros formatos de tabela para o Iceberg.

Esta formação ao vivo, conduzida por instrutor em Coimbra (online ou presencial), destina-se a profissionais de TI de nível intermédio que desejam aprimorar as suas competências em arquitetura de dados, governança, computação em nuvem e tecnologias de Big Data, para gerir e analisar eficientemente grandes conjuntos de dados no âmbito de migrações de dados nas suas organizações.

No final desta formação, os participantes serão capazes de:

• Compreender os conceitos fundamentais e os componentes das diversas arquiteturas de dados.
• Adquirir uma compreensão abrangente dos princípios de governança de dados e da sua importância em ambientes regulatórios.
• Implementar e gerir quadros de governança de dados, como Dama e Togaf.
• Explorar plataformas em nuvem para um armazenamento, processamento e gestão de dados eficientes.

Esta formação ao vivo, conduzida por um instrutor, em Coimbra (online ou presencial), destina-se a engenheiros de dados de nível intermédio que pretendem aprender a utilizar o Azure Data Lake Storage Gen2 para criar soluções eficazes de análise de dados.

No final desta formação, os participantes estarão aptos a:

• Compreender a arquitetura e as principais funcionalidades do Azure Data Lake Storage Gen2.
• Otimizar o armazenamento e o acesso a dados para reduzir custos e melhorar o desempenho.
• Integrar o Azure Data Lake Storage Gen2 com outros serviços do Azure para análise e processamento de dados.
• Desenvolver soluções utilizando a API do Azure Data Lake Storage Gen2.
• Diagnóstico e resolução de problemas comuns e otimização das estratégias de armazenamento.

Esta formação ao vivo, conduzida por instrutores em Coimbra (online ou presencial), destina-se a programadores que desejem utilizar e integrar o Spark, o Hadoop e o Python para processar, analisar e transformar conjuntos de dados grandes e complexos.

À conclusão desta formação, os participantes serão capazes de:

• Configurar o ambiente necessário para iniciar o processamento de big data com Spark, Hadoop e Python.
• Compreender as funcionalidades, componentes principais e arquitetura do Spark e do Hadoop.
• Aprender a integrar o Spark, o Hadoop e o Python para o processamento de big data.
• Explorar as ferramentas do ecossistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka e Flume).
• Construir sistemas de recomendação com filtragem colaborativa, semelhantes aos da Netflix, YouTube, Amazon, Spotify e Google.
• Utilizar o Apache Mahout para escalar algoritmos de machine learning.

Esta formação ao vivo, conduzida por formador, em Coimbra abrange técnicas avançadas de big data, computação distribuída e machine learning em escala. Foi concebida para profissionais de dados avançados que pretendam dominar a análise em tempo real, a integração de deep learning e estratégias robustas de governação de dados.

Esta formação ao vivo, dirigida por instrutor, em Coimbra (online ou presencial), destina-se a profissionais de TI de nível intermédio que pretendam adquirir uma compreensão abrangente do IBM DataStage, tanto da perspetiva administrativa como da de desenvolvimento, permitindo-lhes gerir e utilizar esta ferramenta de forma eficaz nos respetivos locais de trabalho.

No final desta formação, os participantes deverão ser capazes de:

• Compreender os conceitos fundamentais do DataStage.
• Aprender a instalar, configurar e gerir eficazmente ambientes DataStage.
• Ligar-se a diversas fontes de dados e extrair dados eficientemente de bases de dados, ficheiros planos e fontes externas.
• Implementar técnicas eficazes de carga de dados.

Esta formação ao vivo, dirigida por instrutores, em Coimbra (online ou presencial), destina-se a administradores de sistemas de nível iniciante a intermédio que desejam implantar, manter e otimizar clusters Spark.

No final desta formação, os participantes serão capazes de:

• Instalar e configurar o Apache Spark em vários ambientes.
• Gerir os recursos do cluster e monitorizar as aplicações Spark.
• Otimizar o desempenho dos clusters Spark.
• Implementar medidas de segurança e garantir a alta disponibilidade.
• Depurar e resolver problemas comuns do Spark.

Nesta formação ao vivo dirigida por um instrutor em Coimbra, os participantes aprenderão a utilizar o Python e o Spark em conjunto para analisar big data, enquanto trabalham em exercícios práticos.

Ao final desta formação, os participantes serão capazes de:

• Aprender a utilizar o Spark com o Python para analisar Big Data.
• Trabalhar em exercícios que imitam casos do mundo real.
• Utilizar diferentes ferramentas e técnicas para análise de big data utilizando o PySpark.

Nesta formação ao vivo, ministrada por instrutores em Coimbra, os participantes aprenderão a mentalidade necessária para abordar as tecnologias de Big Data, avaliar o seu impacto nos processos e políticas existentes e implementar estas tecnologias para identificar atividade criminal e prevenir o crime. Serão examinados estudos de caso de organizações de aplicação da lei de todo o mundo para obter conhecimentos sobre as suas abordagens de adoção, desafios e resultados.

No final desta formação, os participantes serão capazes de:

• Combinar a tecnologia de Big Data com os processos tradicionais de recolha de dados para reconstituir um enredo durante uma investigação.
• Implementar soluções de armazenamento e processamento de Big Data a nível industrial para análise de dados.
• Preparar uma proposta para a adoção das ferramentas e processos mais adequados para permitir uma abordagem orientada por dados na investigação criminal.

Esta formação ao vivo, orientada por um instrutor (online ou presencial), destina-se a engenheiros de dados, analistas de dados e profissionais de dados que desejem utilizar o Databricks e o PySpark para construir pipelines de dados escaláveis e migrar workflows SQL existentes.

Esta formação oferece uma introdução prática à criação de pipelines escaláveis de processamento de dados e de Machine Learning utilizando PySpark. Os participantes aprendem como o Apache Spark opera nos ecossistemas de Big Data modernos e como processar eficientemente grandes conjuntos de dados utilizando os princípios da computação distribuída.

Este curso prático de três dias foca-se na construção e otimização de cargas de trabalho de processamento de dados eficientes, utilizando PySpark, Pandas e Polars em ambientes baseados em Kubernetes.

Os participantes desenvolverão uma compreensão prática de como as aplicações Spark são executadas no Kubernetes e de como as decisões de configuração a nível de aplicação influenciam o desempenho, a escalabilidade, o consumo de recursos e os custos. O curso abrange áreas-chave de otimização, incluindo a dimensionamento dos executors, a alocação de memória, a alocação dinâmica, estratégias de particionamento, o comportamento do shuffle, problemas relacionados com ficheiros pequenos e o processamento eficiente de Parquet.

O curso aborda também desafios comuns ao trabalhar com Pandas, incluindo limitações de memória e falhas por exceder a memória disponível (out-of-memory), e apresenta o Polars como uma alternativa de alto desempenho para cargas de trabalho de processamento de dados selecionadas. Através de exercícios práticos, os participantes diagnosticarão problemas de desempenho e de memória, compararão diferentes estratégias de configuração e aplicarão técnicas de otimização a cenários realistas de ETL e de aprendizado de máquina.

A ênfase durante todo o curso recai sobre a tomada de decisão prática: compreender como identificar gargalos, selecionar a ferramenta adequada, configurar o Spark de forma eficiente e equilibrar o desempenho com o consumo de recursos da infraestrutura e os custos.

Esta formação conduzida por instrutor, em Coimbra (online ou presencial), destina-se a engenheiros que pretendem configurar e implementar o sistema Apache Spark para processar grandes volumes de dados.

À conclusão desta formação, os participantes serão capazes de:

• Instalar e configurar o Apache Spark.
• Processar e analisar rapidamente conjuntos de dados muito grandes.
• Compreender as diferenças entre o Apache Spark e o Hadoop MapReduce e identificar quando utilizar cada uma destas tecnologias.
• Integrar o Apache Spark com outras ferramentas de aprendizagem de máquina.

Esta formação ao vivo, conduzida por um instrutor, em Coimbra (online ou presencial), destina-se a profissionais técnicos que desejam implementar o Talend Open Studio for Big Data para simplificar o processo de leitura e processamento de dados em larga escala.

No final desta formação, os participantes serão capazes de:

• Instalar e configurar o Talend Open Studio for Big Data.
• Estabelecer ligações a sistemas de Big Data, como Cloudera, HortonWorks, MapR, Amazon EMR e Apache.
• Compreender e configurar os componentes e conectores de big data do Open Studio.
• Configurar parâmetros para a geração automática de código MapReduce.
• Utilizar a interface de arrastar e largar do Open Studio para executar tarefas Hadoop.
• Prototipar pipelines de big data.
• Automatizar projetos de integração de big data.