Cursos de Big Data em Portugal

Este treinamento ao vivo, conduzido por instrutor em Portugal (online ou presencial), é direcionado a cientistas de dados e engenheiros intermediários que desejam usar Google Colab e Apache Spark para processamento e análise de big data.

Ao final deste treinamento, os participantes serão capazes de:

• Configurar um ambiente de big data usando Google Colab e Spark.
• Processar e analisar grandes conjuntos de dados eficientemente com Apache Spark.
• Visualizar big data em um ambiente colaborativo.
• Integrar Apache Spark com ferramentas baseadas na nuvem.

Data Warehousing é a prática de projetar, construir e operar repositórios centralizados de dados que suportam análise, relatórios e tomada de decisões.

Este treinamento liderado por instrutor (online ou presencial) é voltado para profissionais de dados intermediários que desejam modelar dados dimensionais, construir pipelines ETL robustos e otimizar cargas de trabalho analíticas.

Ao final deste treinamento, os participantes serão capazes de:

• Explicar conceitos e arquiteturas fundamentais de data warehousing.
• Projetar modelos dimensionais e escolher entre esquemas estrela e neve.
• Construir e orquestrar pipelines ETL e ELT de forma confiável.
• Diferenciar cargas de trabalho OLTP versus OLAP e otimizar para análise.

Formato do Curso

• Aula interativa e discussão.
• Muitos exercícios e prática.
• Implementação prática em um ambiente de laboratório ao vivo.

Opções de Personalização do Curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Os participantes que concluírem este treinamento ao vivo conduzido por instrutor em Portugal obterão uma compreensão prática e real do Big Data e de suas tecnologias, metodologias e ferramentas relacionadas.

Os participantes terão a oportunidade de colocar esse conhecimento em prática por meio de exercícios práticos. A interação em grupo e o feedback do formador constituem uma componente importante da aula.

O curso começa com uma introdução aos conceitos elementares de Big Data, depois avança para as linguagens de programação e metodologias usadas para executar Data Analysis. Finalmente, discutimos as ferramentas e a infraestrutura que permitem o armazenamento Big Data, o Processamento Distribuído e a Scalabilidade.

O Greenplum é uma plataforma de dados open-source de processamento massivamente paralelo (MPP) projetada para análise e ambientes de dados em larga escala.

Este treinamento presencial, ministrado por um instrutor (online ou presencial), é voltado para usuários técnicos de nível intermediário a avançado que desejam compreender a arquitetura interna do Greenplum, construir modelos de dados otimizados e aplicar SQL de alto desempenho em ambientes distribuídos.

Ao final deste treinamento, os participantes serão capazes de:

• Compreender a arquitetura sem compartilhamento (shared-nothing) e o modelo de paralelismo do Greenplum.
• Projetar estruturas de tabelas distribuídas e partições otimizadas para desempenho de consultas.
• Utilizar estratégias de indexação, formatos de armazenamento e técnicas de design físico.
• Interpretar planos EXPLAIN e otimizar consultas utilizando as melhores práticas.

Formato do Curso

• Aula interativa com discussão.
• Muitos exercícios e prática.
• Implementação prática em um ambiente de laboratório ao vivo.

Opções de Customização do Curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

O Greenplum é uma plataforma de dados massivamente paralela de código aberto baseada no PostgreSQL, projetada para análise avançada e armazenamento de dados em larga escala.

Este treinamento ministrado por instrutor (online ou presencial) visa administradores de nível intermediário que desejam instalar, configurar e gerenciar ambientes Greenplum efetivamente, incluindo a gestão de atualizações do sistema e bibliotecas.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar um cluster Greenplum pronto para produção.
• Gerenciar atualizações do sistema e aplicar patches com segurança.
• Lidar com a gestão de bibliotecas Greenplum para análises e extensões.
• Solucionar problemas e monitorar sistemas Greenplum.

Formato do Curso

• Aula interativa e discussão.
• Uso prático do Greenplum em um ambiente de laboratório controlado.
• Exercícios guiados focados na configuração de clusters, fluxos de trabalho de atualização e extensões do sistema.

Opções de Personalização do Curso

• Para solicitar um treinamento personalizado para este curso com base no seu ambiente ou plataforma de dados, entre em contato conosco para agendar.

Este treinamento presencial, conduzido por um instrutor em Portugal (online ou no local), é direcionado a profissionais de dados de nível avançado que desejam otimizar fluxos de trabalho de processamento de dados, garantir a integridade dos dados e implementar soluções robustas de data lakehouse capazes de lidar com as complexidades das aplicações de big data modernas.

Ao final deste treinamento, os participantes serão capazes de:

• Obter uma compreensão aprofundada da arquitetura do Iceberg, incluindo gerenciamento de metadados e layout de arquivos.
• Configurar o Iceberg para desempenho ótimo em diferentes ambientes e integrá-lo com múltiplos motores de processamento de dados.
• Gerenciar tabelas do Iceberg em larga escala, realizar alterações complexas no esquema e lidar com a evolução das partições.
• Dominar técnicas para otimizar o desempenho de consultas e a eficiência da leitura de dados em grandes conjuntos de dados.
• Implementar mecanismos para garantir a consistência dos dados, gerenciar garantias transacionais e lidar com falhas em ambientes distribuídos.

Este treinamento presencial, ministrado por um instrutor em Portugal (online ou no local), é voltado para profissionais de dados de nível iniciante que desejam adquirir os conhecimentos e habilidades necessários para utilizar efetivamente o Apache Iceberg na gestão de conjuntos de dados de grande escala, garantindo a integridade dos dados e otimizando fluxos de trabalho de processamento de dados.

Ao final deste treinamento, os participantes serão capazes de:

• Obter uma compreensão aprofundada da arquitetura, recursos e benefícios do Apache Iceberg.
• Aprender sobre formatos de tabelas, particionamento, evolução de esquemas e capacidades de viagem no tempo.
• Instalar e configurar o Apache Iceberg em diferentes ambientes.
• Criar, gerenciar e manipular tabelas do Iceberg.
• Compreender o processo de migração de dados de outros formatos de tabela para o Iceberg.

Este treinamento ministrado por instrutor (online ou presencial) é voltado para profissionais de TI de nível intermediário que desejam aprimorar suas habilidades em arquitetura de dados, governança, computação em nuvem e tecnologias de big data para gerenciar e analisar conjuntos de dados grandes eficazmente para migração de dados em suas organizações.

Ao final deste treinamento, os participantes serão capazes de:

• Compreender os conceitos e componentes fundamentais de várias arquiteturas de dados.
• Obter uma compreensão abrangente dos princípios de governança de dados e sua importância em ambientes regulatórios.
• Implementar e gerenciar frameworks de governança de dados, como Dama e Togaf.
• Utilizar plataformas em nuvem para armazenamento, processamento e gestão eficientes de dados.

Este treinamento ministrado por instrutor (online ou presencial) em Portugal é voltado para engenheiros de dados de nível intermediário que desejam aprender a usar o Azure Data Lake Storage Gen2 para soluções de análise de dados eficazes.

Ao final deste treinamento, os participantes serão capazes de:

• Compreender a arquitetura e as principais características do Azure Data Lake Storage Gen2.
• Otimizar o armazenamento de dados e o acesso para custo e desempenho.
• Integrar o Azure Data Lake Storage Gen2 com outros serviços do Azure para análise e processamento de dados.
• Desenvolver soluções usando a API do Azure Data Lake Storage Gen2.
• Solucionar problemas comuns e otimizar estratégias de armazenamento.

Este treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a desenvolvedores que desejam usar e integrar o Spark, Hadoop e Python para processar, analisar e transformar conjuntos de dados grandes e complexos.

No final deste treinamento, os participantes serão capazes de:

• Configurar o ambiente necessário para iniciar o processamento de big data com Spark, Hadoop e Python.
• Compreender os recursos, componentes principais e arquitetura do Spark e Hadoop.
• Aprender como integrar Spark, Hadoop e Python para o processamento de big data.
• Explorar as ferramentas do ecossistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka e Flume).
• Construir sistemas de recomendação de filtragem colaborativa semelhantes a Netflix, YouTube, Amazon, Spotify e Google.
• Utilizar o Apache Mahout para escalar algoritmos de aprendizagem automática.

Big Data e Advanced Analytics é a aplicação de técnicas e ferramentas sofisticadas para analisar conjuntos de dados grandes e complexos com insights operacionais e decisões estratégicas.

Este treinamento dirigido pelo instrutor (online ou presencial) destina-se a profissionais avançados de dados que desejam aproveitar métodos analíticos de ponta e tecnologias big data para análise preditiva, prescritiva e em tempo real.

Ao final deste treinamento, os participantes serão capazes de:

• Projetar e implementar pipelines de processamento de dados em grande escala para dados estruturados e não estruturados.
• Aplique técnicas avançadas de aprendizado de máquina e deep learning a conjuntos de dados massivos.
• Leverage frameworks de computação distribuída para análise em tempo real e fluxo de dados.
• Integrar análises big data em sistemas de inteligência empresarial e tomada de decisões.

Formato do Curso

• Aula interativa e discussão.
• Muitos exercícios e prática.
• Implementação hands-on em um ambiente de laboratório ao vivo.

Opções de Customização do Treinamento

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Este treinamento conduzido por instrutor, ao vivo em Portugal (online ou presencial), é voltado para profissionais de TI intermediários que desejam ter uma compreensão abrangente do IBM DataStage tanto do ponto de vista administrativo quanto do desenvolvimento, permitindo-lhes gerenciar e utilizar esta ferramenta efetivamente em seus respectivos ambientes de trabalho.

Ao final deste treinamento, os participantes serão capazes de:

• Compreender os conceitos principais do DataStage.
• Aprender a instalar, configurar e gerenciar ambientes do DataStage efetivamente.
• Conectar-se a várias fontes de dados e extrair dados de forma eficiente de bancos de dados, arquivos planos e fontes externas.
• Implementar técnicas eficazes de carregamento de dados.

Os participantes que completarem este treinamento presencial, ministrado por um instrutor, em Portugal adquirirão uma compreensão prática e baseada em situações reais do Big Data e das tecnologias, metodologias e ferramentas relacionadas.

Eles terão a oportunidade de colocar esse conhecimento em prática através de exercícios práticos. A interação em grupo e o feedback do instrutor são componentes importantes da turma.

O curso começa com uma introdução aos conceitos fundamentais do Big Data, avança para as linguagens de programação e metodologias usadas na Análise de Dados e, finalmente, discute as ferramentas e infraestruturas que permitem o armazenamento, o Processamento Distribuído e a Escalabilidade do Big Data.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como usar Python e Spark juntos para analisar big data enquanto trabalham em exercícios práticos.

Ao final deste treinamento, os participantes serão capazes de:

• Aprenda a usar o Spark com Python para analisar Big Data.
• Trabalhe em exercícios que imitam casos do mundo real.
• Use diferentes ferramentas e técnicas para análise de big data usando PySpark.

Avanços em tecnologias e o aumento cada vez maior da quantidade de informações estão transformando a forma como os negócios são conduzidos em muitas indústrias, incluindo o governo. As taxas de geração e arquivamento digital de dados governamentais estão em ascensão devido ao rápido crescimento de dispositivos móveis e aplicativos, sensores inteligentes e dispositivos, soluções de computação em nuvem e portais voltados para os cidadãos. À medida que as informações digitais se expandem e ficam mais complexas, a gestão, processamento, armazenamento, segurança e disposição desses dados também se tornam mais complexos. Novas ferramentas de captura, pesquisa, descoberta e análise estão ajudando organizações a obter insights de seus dados não estruturados. O mercado governamental está em um ponto de inflexão, reconhecendo que a informação é um ativo estratégico, e o governo precisa proteger, aproveitar e analisar tanto informações estruturadas quanto não estruturadas para melhor servir e cumprir suas missões. Conforme os líderes governamentais buscam evoluir organizações baseadas em dados para realizar com sucesso sua missão, estão estabelecendo as bases para correlacionar dependências entre eventos, pessoas, processos e informações.

Soluções de alto valor para o governo serão criadas a partir de uma mistura das tecnologias mais disruptivas:

• Dispositivos móveis e aplicativos
• Serviços em nuvem
• Tecnologias de negócios sociais e redes sociais
• Big Data e análise

O Big Data é uma das soluções inteligentes da indústria e permite que o governo tome melhores decisões baseadas em padrões revelados pela análise de grandes volumes de dados — relacionados ou não, estruturados ou não estruturados.

Mas alcançar esses feitos vai muito além de simplesmente acumular quantidades massivas de dados. “Dar sentido a esses volumes de Big Data requer ferramentas e tecnologias de ponta capazes de analisar e extrair conhecimento útil de fluxos vastos e diversos de informações”, escreveram Tom Kalil e Fen Zhao do Escritório de Ciência e Tecnologia da Casa Branca em um post no blog OSTP.

A Casa Branca deu um passo importante para ajudar as agências a encontrar essas tecnologias quando estabeleceu a Iniciativa Nacional de Pesquisa e Desenvolvimento Big Data em 2012. A iniciativa incluiu mais de $200 milhões para aproveitar ao máximo a explosão do Big Data e as ferramentas necessárias para analisá-lo.

Os desafios que o Big Data apresenta são quase tão formidáveis quanto sua promessa é encorajadora. Armazenar dados de forma eficiente é um desses desafios. Como sempre, os orçamentos são apertados, então as agências devem minimizar o custo por megabyte de armazenamento e manter os dados acessíveis para que os usuários possam obtê-los quando quiserem e da forma como precisam. Fazer backup de quantidades massivas de dados aumenta ainda mais esse desafio.

Analisar os dados efetivamente é outro grande desafio. Muitas agências empregam ferramentas comerciais que lhes permitem vasculhar montanhas de dados, identificando tendências que podem ajudá-las a operar com mais eficiência. (Um estudo recente da MeriTalk revelou que executivos de TI federais acreditam que o Big Data poderia ajudar as agências a economizar mais de $500 bilhões enquanto também cumprem suas missões.).

Ferramentas personalizadas de Big Data também estão permitindo que as agências abordem a necessidade de analisar seus dados. Por exemplo, o Laboratório Nacional Oak Ridge, por meio do Grupo de Análise de Dados Computacionais, disponibilizou seu sistema de análise de dados Piranha para outras agências. O sistema ajudou pesquisadores médicos a encontrar um link que pode alertar os médicos sobre aneurismas da aorta antes que ocorram. Também é usado para tarefas mais mundanas, como filtrar currículos para conectar candidatos a vagas com gerentes de contratação.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão a mentalidade com a qual abordar as tecnologias Big Data, avaliar seu impacto nos processos e políticas existentes e implementar essas tecnologias com o objetivo de identificar atividades criminosas e prevenir crimes. Serão analisados estudos de casos de organizações de aplicação da lei de todo o mundo para obter informações sobre as suas abordagens de adoção, desafios e resultados.

No final desta formação, os participantes serão capazes de:

• Combinar a tecnologia Big Data com os processos tradicionais de recolha de dados para reunir uma história durante uma investigação.
• Implementar soluções industriais de armazenamento e processamento de big data para análise de dados.
• Preparar uma proposta para a adoção das ferramentas e processos mais adequados para permitir uma abordagem baseada em dados para a investigação criminal.

Big Data é um termo que se refere a soluções destinadas ao armazenamento e processamento de grandes conjuntos de dados. Desenvolvido inicialmente pelo Google, essas soluções Big Data evoluíram e inspiraram outros projetos semelhantes, muitos dos quais estão disponíveis como open-source. R é uma linguagem de programação popular na indústria financeira.

Quando as tecnologias de armazenamento tradicionais não conseguem lidar com a quantidade de dados que é necessário armazenar, existem centenas de alternativas. Este curso tenta orientar os participantes sobre as alternativas para armazenar e analisar Big Data e quais são os seus prós e contras.

Este curso centra-se sobretudo na discussão e apresentação de soluções, embora estejam disponíveis exercícios práticos a pedido.

O curso faz parte do conjunto de habilidades do Data Scientist (Domínio: Dados e Tecnologia).

Esta sessão de treinamento em sala de aula explorará Big Data. Os delegados terão exemplos baseados em computador e exercícios de estudo de caso para realizar com ferramentas relevantes de big data

Público

Se você tentar entender os dados aos quais tem acesso ou quiser analisar dados não estruturados disponíveis na rede (como o Twitter, Linked in, etc ...), este curso é para você.

É principalmente destinado a tomadores de decisão e pessoas que precisam escolher quais dados valem a pena coletar e o que vale a pena analisar.

Não se destina a pessoas que configuram a solução, essas pessoas irão se beneficiar do quadro geral.

Modo de entrega

Durante o curso, os delegados serão apresentados a exemplos de trabalho, principalmente de tecnologias de código aberto.

Aulas curtas serão seguidas de apresentação e exercícios simples pelos participantes

Conteúdo e Software utilizados

Todo o software utilizado é atualizado cada vez que o curso é executado, por isso, verificamos as versões mais recentes possíveis.

Abrange o processo de obter, formatar, processar e analisar os dados, para explicar como automatizar o processo de tomada de decisão com o aprendizado de máquina.

O big data refere-se a conjuntos de dados que são tão volumosos e complexos que os aplicativos tradicionais de processamento de dados não conseguem lidar com eles. Os desafios do big data incluem captura de dados, armazenamento de dados, análise de dados, busca, compartilhamento, transferência, visualização, consulta, atualização e privacidade de informações.

Apache Hadoop é o framework mais popular para processamento Big Data em clusters de servidores. Neste curso de três (opcionalmente, quatro) dias, os participantes aprenderão sobre os benefícios comerciais e casos de uso para Hadoop e seu ecossistema, como planejar a implantação e o crescimento do cluster, como instalar, manter, monitorar, solucionar problemas e otimizar Hadoop. Eles também praticarão o carregamento em massa de dados no cluster, se familiarizarão com várias distribuições Hadoop e praticarão a instalação e gerenciamento das ferramentas do ecossistema Hadoop. O curso termina com uma discussão sobre a segurança do cluster com Kerberos.

"... Os materiais foram muito bem preparados e abrangentes. A Labs foram muito úteis e bem organizadas"
— Andrew Nguyen, Engenheiro de Integração DW Principal, Microsoft Online Advertising

Público-Alvo

Administradores do Hadoop

Formato

Aulas e laboratórios práticos, aproximadamente 60% aulas, 40% labs.

Neste treinamento ministrado por um instrutor em Portugal (presencial ou remoto), os participantes aprenderão a configurar e integrar diferentes frameworks de Processamento de Streams com sistemas existentes de armazenamento de big data e aplicativos de software relacionados e microserviços.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar diferentes frameworks de Processamento de Streams, como Spark Streaming e Kafka Streaming.
• Entender e selecionar o framework mais apropriado para a tarefa.
• Processar dados continuamente, concorrentemente e de forma registro por registro.
• Integrar soluções de Processamento de Streams com bancos de dados existentes, data warehouses, data lakes, etc.
• Integrar a biblioteca de processamento de streams mais adequada com aplicativos empresariais e microserviços.

Este treinamento conduzido por um instrutor, realizado em Portugal (online ou presencial), é voltado para profissionais técnicos que desejam aprender como implementar uma estratégia de aprendizado de máquina, maximizando o uso de big data.

No final deste treinamento, os participantes irão:

• Compreender a evolução e as tendências para o aprendizado de máquina.
• Saber como o aprendizado de máquina está sendo utilizado em diferentes indústrias.
• Ficar familiarizados com as ferramentas, habilidades e serviços disponíveis para implementar o aprendizado de máquina dentro de uma organização.
• Compreender como o aprendizado de máquina pode ser usado para aprimorar a mineração e análise de dados.
• Aprender o que é um backend de dados intermediário e como ele está sendo utilizado pelas empresas.
• Compreender o papel que o big data e aplicativos inteligentes estão desempenhando em diferentes indústrias.

O Apache NiFi é uma plataforma de integração e processamento de eventos baseada em fluxo. Ele permite a roteirização, transformação e mediação automatizadas e em tempo real de dados entre sistemas heterogêneos, com uma interface web e controle granular.

Este treinamento liderado por instrutor (presencial ou remoto) é direcionado a administradores e engenheiros intermediários que desejam implantar, gerenciar, proteger e otimizar fluxos de dados do NiFi em ambientes de produção.

No final deste treinamento, os participantes serão capazes de:

• Instalar, configurar e manter clusters Apache NiFi.
• Projetar e gerenciar fluxos de dados de várias fontes e destinos.
• Implementar lógica de automação, roteirização e transformação de fluxo.
• Otimizar o desempenho, monitorar operações e solucionar problemas.

Formato do Curso

• Aula interativa com discussão de arquitetura no mundo real.
• Laboratórios práticos: construção, implantação e gerenciamento de fluxos.
• Exercícios baseados em cenários em um ambiente de laboratório ao vivo.

Opções de Customização do Curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para organizar.

Neste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão os fundamentos da programação baseada em fluxo à medida que desenvolvem uma série de extensões de demonstração, componentes e processadores usando Apache NiFi.

No final deste treinamento, os participantes serão capazes de:

• Compreender a arquitetura do NiFi e os conceitos de fluxo de dados.
• Desenvolver extensões usando NiFi e APIs de terceiros.
• Desenvolver seu próprio processador Apache Nifi.
• Ingerir e processar dados em tempo real de formatos de arquivos e fontes de dados diferentes e incomuns.

Este treinamento presencial, liderado pelo instrutor em Portugal (online ou no local), é voltado para cientistas de dados que desejam utilizar a pilha SMACK para construir plataformas de processamento de dados para soluções de big data.

Ao final deste treinamento, os participantes serão capazes de:

• Implementar uma arquitetura de pipeline de dados para processamento de big data.
• Desenvolver uma infraestrutura de cluster com Apache Mesos e Docker.
• Analisar dados com Spark e Scala.
• Gerenciar dados não estruturados com Apache Cassandra.

A curva de aprendizagem do Apache Spark aumenta lentamente no início, exigindo muito esforço para obter o primeiro retorno. Este curso visa ultrapassar a primeira parte difícil. Após concluir este curso, os participantes compreenderão os fundamentos do Apache Spark, distinguirão claramente RDD de DataFrame, aprenderão as APIs Python e Scala, entenderão executores e tarefas, etc. Seguindo as melhores práticas, este curso se concentra fortemente na implantação em nuvem, Databricks e AWS. Os alunos também compreenderão as diferenças entre AWS EMR e AWS Glue, um dos últimos serviços de Spark da AWS.

PÚBLICO:

Data Engineer, DevOps, Data Scientist

Este treinamento ministrado por instrutor (online ou presencial) em Portugal é voltado para profissionais técnicos que desejam implantar o Talend Open Studio for Big Data para simplificar o processo de leitura e processamento de big data.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar o Talend Open Studio for Big Data.
• Conectar-se a sistemas de big data, como Cloudera, HortonWorks, MapR, Amazon EMR e Apache.
• Entender e configurar os componentes e conectores de big data do Open Studio.
• Configurar parâmetros para gerar automaticamente código MapReduce.
• Usar a interface arrastar-e-soltar do Open Studio para executar jobs Hadoop.
• Prototipar pipelines de big data.
• Automatizar projetos de integração de big data.