Cursos de Apache Iceberg Fundamentals
O Apache Iceberg é um formato de tabela de código aberto para conjuntos de dados em grande escala que traz a fiabilidade e a simplicidade das tabelas SQL para os grandes volumes de dados. Foi concebido para resolver os desafios da gestão de grandes dados em lagos de dados, que muitas vezes envolvem o manuseamento de esquemas complexos, ficheiros grandes e diversas fontes de dados.
Este treinamento ao vivo conduzido por instrutor (no local ou remoto) é destinado a profissionais de dados de nível iniciante que desejam adquirir o conhecimento e as habilidades necessárias para utilizar efetivamente o Apache Iceberg para gerenciar conjuntos de dados em grande escala, garantindo a integridade dos dados e otimizando os fluxos de trabalho de processamento de dados.
No final deste treinamento, os participantes serão capazes de:
- Obter uma compreensão completa da arquitetura, dos recursos e dos benefícios do Apache Iceberg.
- Aprender sobre formatos de tabela, particionamento, evolução do esquema e recursos de viagem no tempo.
- Instalar e configurar o Apache Iceberg em diferentes ambientes.
- Criar, gerenciar e manipular tabelas do Iceberg.
- Compreender o processo de migração de dados de outros formatos de tabela para o Iceberg.
Formato do curso
- Palestra e discussão interactiva.
- Muitos exercícios e prática.
- Implementação prática num ambiente de laboratório ao vivo.
Opções de personalização do curso
- Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.
Programa do Curso
Introdução ao Apache Iceberg
- Descrição geral do Apache Iceberg
- Importância e casos de utilização na arquitetura de dados moderna
- Principais características e benefícios
Conceitos fundamentais
- Formato e arquitetura da tabela Iceberg
- Comparação com outros formatos de tabela
- Particionamento e evolução do esquema
- Viagem no tempo e controle de versão de dados
Configurando o Apache Iceberg
- Instalação e configuração
- Integração do Iceberg com vários motores de processamento de dados
- Configuração de um ambiente Iceberg numa máquina local
Operações básicas
- Criar e gerir tabelas Iceberg
- Escrita e leitura de tabelas Iceberg
- Operações CRUD básicas
Migração e integração de dados
- Migração de dados de Hive e de outros sistemas para o Iceberg
- Integração com ferramentas de BI
- Migração de um conjunto de dados de exemplo para o Iceberg
Otimização do desempenho
- Técnicas de afinação de desempenho
- Otimização de consultas e pesquisas de dados
- Otimização do desempenho no Iceberg
Visão geral dos recursos avançados
- Evolução de partições e particionamento oculto
- Evolução de tabelas e alterações de esquemas
- Recursos de viagem no tempo e reversão
- Implementando recursos avançados no Iceberg
Resumo e próximos passos
Requisitos
- Familiaridade com conceitos como tabelas, esquemas, partições e ingestão de dados
- Conhecimentos básicos de SQL
Público-alvo
- Engenheiros de dados
- Arquitectos de dados
- Analistas de dados
- Programadores de software
Precisa de ajuda para escolher o curso certo?
Cursos de Apache Iceberg Fundamentals - Enquiry
Apache Iceberg Fundamentals - Solicitação de Consultoria
Solicitação de Consultoria
Declaração de Clientes (3)
O formador tinha um bom domínio dos conceitos
Josheel - Verizon Connect
Curso - Amazon Redshift
Máquina Traduzida
funções analíticas
khusboo dassani - Tech Northwest Skillnet
Curso - SQL Advanced
Máquina Traduzida
como o instrutor demonstra seu conhecimento sobre o assunto que está ensinando
john ernesto ii fernandez - Philippine AXA Life Insurance Corporation
Curso - Data Vault: Building a Scalable Data Warehouse
Máquina Traduzida
Próximas Formações Provisórias
Cursos Relacionados
SQL Advanced
14 HorasThis instructor-led, live training in Portugal (online or onsite) is aimed at intermediate-level database administrators, developers, and analysts who wish to master advanced SQL functionalities for complex data operations and database management.
By the end of this training, participants will be able to:
- Perform advanced querying techniques using unions, subqueries, and complex joins.
- Add, update, and delete data, tables, views, and indexes with precision.
- Ensure data integrity through transactions and manipulate database structures.
- Create and manage databases efficiently for robust data storage and retrieval.
Amazon Redshift
21 HorasAmazon Redshift é um serviço de data warehouse baseado em nuvem em escala de petabyte na AWS.
Neste treinamento ao vivo conduzido por instrutor, os participantes aprenderão os fundamentos de Amazon Redshift.
Ao final deste treinamento, os participantes serão capazes de:
- Instalar e configurar Amazon Redshift
- Carregar, configurar, implantar, consultar e visualizar dados com Amazon Redshift
Público-alvo
- Desenvolvedores
- Profissionais de TI
Formato do curso
- Parte palestra, parte discussão, exercícios e prática prática pesada
Nota
- Para solicitar uma formação personalizada para este curso, por favor contacte-nos para combinar.
Advanced Apache Iceberg
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de dados de nível avançado que desejam otimizar os fluxos de trabalho de processamento de dados, garantir a integridade dos dados e implementar soluções robustas de data lakehouse que podem lidar com as complexidades dos aplicativos modernos de big data.
No final deste treinamento, os participantes serão capazes de:
- Obter uma compreensão profunda da arquitetura do Iceberg, incluindo gerenciamento de metadados e layout de arquivos.
- Configurar o Iceberg para obter o melhor desempenho em vários ambientes e integrá-lo a vários mecanismos de processamento de dados.
- Gerir tabelas Iceberg de grande escala, efetuar alterações complexas ao esquema e lidar com a evolução das partições.
- Dominar técnicas para otimizar o desempenho das consultas e a eficiência da pesquisa de dados em grandes conjuntos de dados.
- Implementar mecanismos para assegurar a consistência dos dados, gerir garantias transaccionais e lidar com falhas em ambientes distribuídos.
Big Data Consulting
21 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de TI de nível intermediário que desejam aprimorar suas habilidades em arquitetura de dados, governança, computação em nuvem e tecnologias de big data para gerenciar e analisar com eficácia grandes conjuntos de dados para migração de dados em suas organizações.
No final deste treinamento, os participantes serão capazes de:
- Compreender os conceitos fundamentais e os componentes de várias arquiteturas de dados.
- Obter uma compreensão abrangente dos princípios de governança de dados e sua importância em ambientes regulatórios.
- Implementar e gerenciar estruturas de governança de dados, como Dama e Togaf.
- Aproveitar as plataformas de nuvem para armazenamento, processamento e gerenciamento eficientes de dados.
Big Data & Database Systems Fundamentals
14 HorasO curso faz parte do conjunto de habilidades do Data Scientist (Domínio: Dados e Tecnologia).
Azure Data Lake Storage Gen2
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a engenheiros de dados de nível intermediário que desejam aprender como usar o Azure Data Lake Storage Gen2 para soluções eficazes de análise de dados.
No final deste treinamento, os participantes serão capazes de:
- Compreender a arquitetura e os principais recursos do Azure Data Lake Storage Gen2.
- Otimizar o armazenamento e o acesso aos dados para custo e desempenho.
- Integrar o Azure Data Lake Storage Gen2 com outros serviços Azure para análise e processamento de dados.
- Desenvolver soluções utilizando a API do Azure Data Lake Storage Gen2.
- Solucionar problemas comuns e otimizar estratégias de armazenamento.
Data Vault: Building a Scalable Data Warehouse
28 HorasNeste treinamento ao vivo conduzido por instrutor em Portugal, os participantes aprenderão como construir um Data Vault.
Ao final deste treinamento, os participantes serão capazes de:
- Entenda os conceitos de arquitetura e design por trás do Data Vault 2.0 e sua interação com Big Data, NoSQL e AI.
- Use técnicas de abóbada de dados para permitir a auditoria, o rastreamento e a inspeção de dados históricos em um data warehouse.
- Desenvolver um processo ETL (Extrair, Transformar, Carregar) consistente e repetível.
- Criar e implementar armazéns altamente escaláveis e repetíveis.
Apache Druid for Real-Time Data Analysis
21 HorasApache Druid é um armazenamento de dados distribuído, de código aberto e orientado a colunas, escrito em Java . Ele foi projetado para ingerir rapidamente grandes quantidades de dados de eventos e executar consultas OLAP de baixa latência nesses dados. O Druid é comumente usado em aplicativos de inteligência de negócios para analisar grandes volumes de dados históricos e em tempo real. Também é adequado para alimentar painéis analíticos rápidos, interativos e para usuários finais. O Druid é usado por empresas como Alibaba, Airbnb, Cisco , eBay, Netflix, Paypal e Yahoo.
Neste curso ao vivo, ministrado por instrutor, exploramos algumas das limitações das soluções de data warehouse e discutimos como o Druid pode complementar essas tecnologias para formar uma pilha de análise de streaming flexível e escalável. Percorremos vários exemplos, oferecendo aos participantes a chance de implementar e testar soluções baseadas em Druid em um ambiente de laboratório.
Formato do Curso
- Palestra em parte, discussão em parte, prática prática pesada, testes ocasionais para avaliar a compreensão
Greenplum Database
14 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (online ou no local) é destinado a administradores que desejam configurar Greenplum Database para soluções de inteligência de negócios e armazenamento de dados.
No final desta formação, os participantes serão capazes de
- Atender às necessidades de processamento com o Greenplum.
- Realizar operações ETL para processamento de dados.
- Utilizar as infra-estruturas de processamento de consultas existentes.
IBM Datastage For Administrators and Developers
35 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de TI de nível intermediário que desejam ter uma compreensão abrangente do IBM DataStage, tanto do ponto de vista administrativo quanto do desenvolvimento, permitindo que eles gerenciem e utilizem essa ferramenta efetivamente em seus respectivos locais de trabalho.
No final deste treinamento, os participantes serão capazes de:
- Compreender os principais conceitos do DataStage.
- Aprender a instalar, configurar e gerenciar efetivamente os ambientes DataStage.
- Conectar-se a várias fontes de dados e extrair dados eficientemente de bancos de dados, arquivos simples e fontes externas.
- Implementar técnicas eficazes de carregamento de dados.
Apache Kylin: Real-Time OLAP on Big Data
14 HorasEsta formação presencial em Portugal (online ou no local) é direcionada a profissionais de big data intermediários que desejam utilizar o Apache Kylin para construir warehouses de dados em tempo real e realizar análises multidimensionais em conjuntos de dados de grande escala.
No final desta formação, os participantes serão capazes de:
- Configurar e configurar o Apache Kylin com fontes de dados de streaming em tempo real.
- Diseñar e construir cubos OLAP para tanto dados por lotes quanto streaming.
- Realizar consultas complexas com latência subsegundo usando a interface SQL do Kylin.
- Integrar o Kylin com ferramentas BI para visualização interativa de dados.
- Otimizar desempenho e gerenciar recursos efetivamente no Kylin.
Oracle SQL for Development and Database Management
35 HorasEste treinamento ao vivo conduzido por instrutor em Portugal (no local ou remoto) é destinado a profissionais de banco de dados de nível intermediário que desejam aprimorar suas habilidades em Oracle SQL desenvolvimento e administração.
No final deste treinamento, os participantes serão capazes de:
- Construir e otimizar consultas SQL complexas.
- Gerir bases de dados de forma eficiente utilizando Oracle SQL ferramentas.
- Aplicar as melhores práticas no desenvolvimento e manutenção de bases de dados.
- Administrar o acesso dos utilizadores e a segurança da base de dados num ambiente Oracle.