Cursos de Big Data em Gaia

Os participantes que concluírem este treinamento ao vivo conduzido por instrutor em Gaia obterão uma compreensão prática e real do Big Data e de suas tecnologias, metodologias e ferramentas relacionadas.

Os participantes terão a oportunidade de colocar esse conhecimento em prática por meio de exercícios práticos. A interação em grupo e o feedback do formador constituem uma componente importante da aula.

O curso começa com uma introdução aos conceitos elementares de Big Data, depois avança para as linguagens de programação e metodologias usadas para executar Data Analysis. Finalmente, discutimos as ferramentas e a infraestrutura que permitem o armazenamento Big Data, o Processamento Distribuído e a Scalabilidade.

Greenplum é uma plataforma de dados paralela em grande escala baseada em PostgreSQL, projetada para análises avançadas e armazenamento de dados em larga escala.

Este treinamento presencial (online ou no local) é direcionado a administradores intermediários que desejam instalar, configurar e gerenciar ambientes Greenplum efetivamente, incluindo o gerenciamento de atualizações do sistema e bibliotecas.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar um cluster Greenplum pronto para produção.
• Gerenciar atualizações do sistema e aplicar patches com segurança.
• Lidar com o gerenciamento de bibliotecas Greenplum para análises e extensões.
• Detectar problemas e monitorar sistemas Greenplum.

Formato do Curso

• Aula interativa e discussão.
• Uso prático do Greenplum em um ambiente de laboratório controlado.
• Exercícios guiados focados na configuração do cluster, fluxos de trabalho de atualização e extensões do sistema.

Opções de Personalização do Curso

• Para solicitar um treinamento personalizado para este curso baseado no seu ambiente ou plataforma de dados, entre em contato conosco para agendar.

Este treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto) é destinado a profissionais de dados de nível iniciante que desejam adquirir o conhecimento e as habilidades necessárias para utilizar efetivamente o Apache Iceberg para gerenciar conjuntos de dados em grande escala, garantindo a integridade dos dados e otimizando os fluxos de trabalho de processamento de dados.

No final deste treinamento, os participantes serão capazes de:

• Obter uma compreensão completa da arquitetura, dos recursos e dos benefícios do Apache Iceberg.
• Aprender sobre formatos de tabela, particionamento, evolução do esquema e recursos de viagem no tempo.
• Instalar e configurar o Apache Iceberg em diferentes ambientes.
• Criar, gerenciar e manipular tabelas do Iceberg.
• Compreender o processo de migração de dados de outros formatos de tabela para o Iceberg.

Big Data e Advanced Analytics é a aplicação de técnicas e ferramentas sofisticadas para analisar conjuntos de dados grandes e complexos com insights operacionais e decisões estratégicas.

Este treinamento dirigido pelo instrutor (online ou presencial) destina-se a profissionais avançados de dados que desejam aproveitar métodos analíticos de ponta e tecnologias big data para análise preditiva, prescritiva e em tempo real.

Ao final deste treinamento, os participantes serão capazes de:

• Projetar e implementar pipelines de processamento de dados em grande escala para dados estruturados e não estruturados.
• Aplique técnicas avançadas de aprendizado de máquina e deep learning a conjuntos de dados massivos.
• Leverage frameworks de computação distribuída para análise em tempo real e fluxo de dados.
• Integrar análises big data em sistemas de inteligência empresarial e tomada de decisões.

Formato do Curso

• Aula interativa e discussão.
• Muitos exercícios e prática.
• Implementação hands-on em um ambiente de laboratório ao vivo.

Opções de Customização do Treinamento

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Este treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto) é destinado a analistas de dados de nível iniciante a intermediário e cientistas de dados que desejam usar Weka para executar tarefas de mineração de dados.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar Weka.
• Compreender o ambiente e o workbench do Weka.
• Executar tarefas de mineração de dados usando Weka.

Este treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto) é destinado a administradores de sistema de nível iniciante a intermediário que desejam implantar, manter e otimizar clusters Spark.

Ao final deste treinamento, os participantes serão capazes de:

• Instalar e configurar Apache Spark em vários ambientes.
• Gerenciar recursos de cluster e monitorar aplicativos Spark.
• Otimizar o desempenho dos clusters do Spark.
• Implementar medidas de segurança e garantir alta disponibilidade.
• Depurar e solucionar problemas comuns do Spark.

Os participantes que concluírem este treinamento ao vivo conduzido por instrutor em Gaia ganharão uma compreensão prática e real de Big Data e suas tecnologias, metodologias e ferramentas relacionadas.

Os participantes terão a oportunidade de pôr em prática estes conhecimentos através de exercícios práticos. A interação em grupo e o feedback do instrutor constituem uma componente importante da aula.

O curso começa com uma introdução aos conceitos elementares de Big Data, depois avança para as linguagens de programação e metodologias utilizadas para realizar a Análise de Dados. Finalmente, são discutidas as ferramentas e infra-estruturas que permitem o armazenamento de Big Data, o processamento distribuído e a Scalabilidade.

Os avanços nas tecnologias e a quantidade crescente de informações estão transformando a forma como os negócios são conduzidos em muitos setores, inclusive no governo. Goas taxas de geração de dados e arquivamento digital no governo estão aumentando devido ao rápido crescimento de dispositivos e aplicativos móveis, sensores e dispositivos inteligentes, soluções de computação em nuvem e portais voltados para os cidadãos. À medida que a informação digital se expande e se torna mais complexa, o gerenciamento, o processamento, o armazenamento, a segurança e a disposição da informação também se tornam mais complexos. Novas ferramentas de captura, pesquisa, descoberta e análise estão ajudando as organizações a obter insights a partir de seus dados não estruturados. O mercado governamental está num ponto de viragem, percebendo que a informação é um activo estratégico, e o governo precisa de proteger, alavancar e analisar tanto a informação estruturada como a não estruturada para melhor servir e cumprir os requisitos da missão. À medida que os líderes governamentais se esforçam para desenvolver organizações orientadas por dados para cumprirem com êxito a missão, estão a estabelecer as bases para correlacionar dependências entre eventos, pessoas, processos e informações.

Soluções governamentais de alto valor serão criadas a partir de uma combinação das tecnologias mais disruptivas:

Dispositivos móveis e aplicativos Serviços em nuvem Tecnologias de negócios sociais e redes Big Data e análises

A IDC prevê que, até 2020, a indústria de TI atingirá 5 biliões de dólares, aproximadamente 1,7 biliões de dólares a mais do que hoje, e que 80% do crescimento da indústria será impulsionado por estas tecnologias da 3ª Plataforma. A longo prazo, estas tecnologias serão ferramentas essenciais para lidar com a complexidade do aumento da informação digital. Big Data é uma das soluções inteligentes da indústria e permite que o governo tome melhores decisões, agindo com base em padrões revelados pela análise de grandes volumes de dados – relacionados e não relacionados, estruturados e não estruturados.

Mas realizar essas façanhas exige muito mais do que simplesmente acumular grandes quantidades de dados. “Entender esses volumes de Big Data requer ferramentas e tecnologias de ponta que possam analisar e extrair conhecimento útil de vastos e diversos fluxos de informações”, Tom Kalil e Fen Zhao, do Escritório de Política Científica e Tecnológica da Casa Branca, escreveu em um post no Blog OSTP.

A Casa Branca deu um passo para ajudar as agências a encontrar essas tecnologias quando estabeleceu a Iniciativa Nacional Big Data de Pesquisa e Desenvolvimento em 2012. A iniciativa incluiu mais de US$ 200 milhões para aproveitar ao máximo a explosão de Big Data e as ferramentas necessárias para analise-o.

Os desafios que Big Data coloca são quase tão assustadores quanto a sua promessa é encorajadora. Armazenar dados de forma eficiente é um desses desafios. Como sempre, os orçamentos são apertados, por isso as agências devem minimizar o preço por megabyte de armazenamento e manter os dados com fácil acesso para que os usuários possam obtê-los quando quiserem e como precisarem. Fazer backup de grandes quantidades de dados aumenta o desafio.

Analisar os dados de forma eficaz é outro grande desafio. Muitas agências empregam ferramentas comerciais que lhes permitem examinar montanhas de dados, identificando tendências que podem ajudá-las a operar com mais eficiência. (Um estudo recente da MeriTalk descobriu que os executivos federais de TI acham que Big Data poderia ajudar as agências a economizar mais de US$ 500 bilhões e, ao mesmo tempo, cumprir os objetivos da missão.).

Ferramentas desenvolvidas sob medida Big Data também permitem que as agências atendam à necessidade de analisar seus dados. Por exemplo, o Grupo de Análise de Dados Computacionais do Laboratório Nacional de Oak Ridge disponibilizou seu sistema de análise de dados Piranha para outras agências. O sistema ajudou pesquisadores médicos a encontrar um link que pode alertar os médicos sobre aneurismas da aorta antes que eles atacassem. Também é usado para tarefas mais mundanas, como examinar currículos para conectar candidatos a empregos com gerentes de contratação.

Dia 1 - fornece uma visão geral de alto nível das principais áreas de tópicos do Big Data . O módulo é dividido em uma série de seções, cada uma das quais é acompanhada por um exercício prático.

Dia 2 - explora uma variedade de tópicos que relacionam práticas de análise e ferramentas para ambientes de Big Data . Ele não entra em detalhes de implementação ou programação, mas mantém a cobertura em um nível conceitual, concentrando-se em tópicos que permitem aos participantes desenvolver uma compreensão abrangente das funções e recursos de análise comuns oferecidos pelas soluções de Big Data .

Dia 3 - fornece uma visão geral das áreas de tópicos fundamentais e essenciais relacionadas à arquitetura da plataforma de solução Big Data . Ele abrange os mecanismos de Big Data necessários para o desenvolvimento de uma plataforma de solução Big Data e opções de arquitetura para a montagem de uma plataforma de processamento de dados. Cenários comuns também são apresentados para fornecer uma compreensão básica de como uma plataforma de solução Big Data é geralmente usada.

Dia 4 - baseia-se no Dia 3, explorando tópicos avançados relacionados à arquitetura da plataforma de solução Big Data . Em particular, diferentes camadas de arquitetura que compõem a plataforma de solução Big Data são introduzidas e discutidas, incluindo fontes de dados, entrada de dados, armazenamento de dados, processamento de dados e segurança.

Dia 5 - abrange uma série de exercícios e problemas projetados para testar a capacidade dos delegados de aplicar o conhecimento dos tópicos abordados nos dias 3 e 4.

A análise de big data envolve o processo de examinar grandes quantidades de conjuntos de dados variados para descobrir correlações, padrões ocultos e outras informações úteis.

A indústria da saúde tem enormes quantidades de dados médicos e clínicos heterogêneos complexos. A aplicação de análise de big data em dados de saúde apresenta um enorme potencial para obter insights para melhorar a prestação de serviços de saúde. No entanto, a enormidade desses conjuntos de dados apresenta grandes desafios em análises e aplicações práticas para um ambiente clínico.

Neste treinamento ao vivo conduzido por instrutor (remoto), os participantes aprenderão como executar a análise de big data na área da saúde enquanto realizam uma série de exercícios práticos de laboratório ao vivo.

No final deste treinamento, os participantes serão capazes de:

• Instalar e configurar ferramentas de análise de big data, como o Hadoop MapReduce e o Spark
• Entenda as características dos dados médicos
• Aplicar técnicas de big data para lidar com dados médicos
• Estudar grandes sistemas de dados e algoritmos no contexto de aplicações de saúde

Público

• Desenvolvedores
• Cientistas de dados

Formato do Curso

• Palestra parte, parte discussão, exercícios e prática hands-on pesado.

Nota

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Neste treinamento ao vivo conduzido por instrutor em Gaia, os participantes aprenderão a mentalidade com a qual abordar as tecnologias Big Data, avaliar seu impacto nos processos e políticas existentes e implementar essas tecnologias com o objetivo de identificar atividades criminosas e prevenir crimes. Serão analisados estudos de casos de organizações de aplicação da lei de todo o mundo para obter informações sobre as suas abordagens de adoção, desafios e resultados.

No final desta formação, os participantes serão capazes de:

• Combinar a tecnologia Big Data com os processos tradicionais de recolha de dados para reunir uma história durante uma investigação.
• Implementar soluções industriais de armazenamento e processamento de big data para análise de dados.
• Preparar uma proposta para a adoção das ferramentas e processos mais adequados para permitir uma abordagem baseada em dados para a investigação criminal.

Big Data é um termo que se refere a soluções destinadas a armazenar e processar grandes conjuntos de dados. Desenvolvido pela Go Ogle inicialmente, estes Big Data soluções evoluíram e inspirou outros projectos semelhantes, muitos dos quais estão disponíveis como código-fonte aberto. R é uma linguagem de programação popular no setor financeiro.

Quando as tecnologias de armazenamento tradicionais não conseguem lidar com a quantidade de dados que é necessário armazenar, existem centenas de alternativas. Este curso tenta orientar os participantes sobre as alternativas para armazenar e analisar Big Data e quais são os seus prós e contras.

Este curso centra-se sobretudo na discussão e apresentação de soluções, embora estejam disponíveis exercícios práticos a pedido.

O curso faz parte do conjunto de habilidades do Data Scientist (Domínio: Dados e Tecnologia).

Esta sessão de treinamento em sala de aula explorará Big Data. Os delegados terão exemplos baseados em computador e exercícios de estudo de caso para realizar com ferramentas relevantes de big data

Este treinamento ao vivo conduzido por instrutor em Gaia (no local ou remoto) é destinado a analistas de dados que desejam programar com R em SAS para análise de cluster.

No final desta formação, os participantes serão capazes de

• Utilizar a análise de clusters para a extração de dados
• Mestrar a sintaxe do R para soluções de clustering.
• Implementar clustering hierárquico e não hierárquico.
• Tomar decisões baseadas em dados para ajudar a melhorar as operações comerciais.

este instrutor liderada, treinamento ao vivo (no local ou remoto) destina-se a engenheiros que desejam usar confluent (uma distribuição de Kafka) para construir e gerenciar uma plataforma de processamento de dados em tempo real para suas aplicações.

no final deste treinamento, os participantes poderão:

• Instalar e configurar o Confluent Platform.
• Utilizar as ferramentas e serviços de gerenciamento do Confluent para executar o Kafka de forma mais fácil.
• Armazenar e processar dados de fluxo de entrada.
• Otimizar e gerenciar clusters do Kafka.
• Proteger fluxos de dados.

formato do curso

• Aula interativa e discussão.
• Muitos exercícios e prática.
• Implementação hands-on em um ambiente de laboratório ao vivo.

Opções de personalização do curso

• Este curso é baseado na versão open source do Confluent: Confluent Open Source.
• Para solicitar um treinamento personalizado para este curso, por favor entre em contato conosco para agendar.

Público

Se você tentar entender os dados aos quais tem acesso ou quiser analisar dados não estruturados disponíveis na rede (como o Twitter, Linked in, etc ...), este curso é para você.

É principalmente destinado a tomadores de decisão e pessoas que precisam escolher quais dados valem a pena coletar e o que vale a pena analisar.

Não se destina a pessoas que configuram a solução, essas pessoas irão se beneficiar do quadro geral.

Modo de entrega

Durante o curso, os delegados serão apresentados a exemplos de trabalho, principalmente de tecnologias de código aberto.

Aulas curtas serão seguidas de apresentação e exercícios simples pelos participantes

Conteúdo e Software utilizados

Todo o software utilizado é atualizado cada vez que o curso é executado, por isso, verificamos as versões mais recentes possíveis.

Abrange o processo de obter, formatar, processar e analisar os dados, para explicar como automatizar o processo de tomada de decisão com o aprendizado de máquina.

Objetivo:

Os delegados serão capazes de analisar grandes conjuntos de dados, extrair padrões, escolher a variável correta que tem impacto nos resultados, de modo a que um novo modelo seja previsto com resultados preditivos.

Esta formação presencial ou online, conduzida por instrutor, é direcionada a analistas de dados e cientistas de dados que desejam implementar técnicas mais avançadas de análise de dados para mineração de dados usando Python.

Ao final desta formação, os participantes serão capazes de:

• Compreender áreas importantes da mineração de dados, incluindo mineração de regras de associação, análise de sentimentos em texto, resumir automaticamente textos e detecção de anomalias nos dados.
• Comparar e implementar várias estratégias para resolver problemas de mineração de dados do mundo real.
• Compreender e interpretar os resultados. 

Formato do Curso

• Palestra interativa e discussão.
• Muitos exercícios e prática.
• Implementação pratica em um ambiente de laboratório ao vivo.

Opções de Personalização do Curso

• Para solicitar uma formação personalizada para este curso, entre em contato conosco para agendar.

R é uma linguagem de programação livre e de código aberto para computação estatística, análise de dados e gráficos. R é usado por um número crescente de gerentes e analistas de dados dentro das corporações e da academia. R possui uma ampla variedade de pacotes para mineração de dados.

Este curso destina-se a engenheiros e tomadores de decisão que trabalham em mineração de dados e descoberta de conhecimento.

Você aprenderá a criar enredos e formas eficazes de apresentar e representar seus dados de uma maneira que atrairá os tomadores de decisão e os ajudará a entender as informações ocultas.

Big data é um conjunto de dados tão volumoso e complexo que os aplicativos tradicionais de processamento de dados são inadequados para lidar com eles. Os desafios do big data incluem a captura de dados, armazenamento de dados, análise de dados, pesquisa, compartilhamento, transferência, visualização, consulta, atualização e privacidade de informações.

A Plataforma KNIME Analytics é uma opção líder de código aberto para inovação orientada a dados, ajudando a descobrir o potencial oculto em seus dados, buscando novas informações ou prever novos futuros. Com mais de 1000 módulos, centenas de exemplos prontos para execução, uma ampla variedade de ferramentas integradas e a maior variedade de algoritmos avançados disponíveis, a KNIME Analytics Platform é a caixa de ferramentas perfeita para qualquer cientista de dados e analista de negócios.

Este curso para a Plataforma KNIME Analytics é uma oportunidade ideal para iniciantes, usuários avançados e especialistas em KNIME serem apresentados ao KNIME , para aprender como usá-lo com mais eficiência e como criar relatórios claros e abrangentes com base nos KNIME trabalho do KNIME

Este treinamento ao vivo conduzido por instrutor em Gaia (online ou no local) é destinado a pessoas técnicas que desejam aprender como implementar uma estratégia de aprendizado de máquina enquanto maximizam o uso de big data.

No final desta formação, os participantes irão

• Compreender a evolução e as tendências do aprendizado de máquina.
• Saber como o aprendizado de máquina está sendo usado em diferentes setores.
• Familiarizar-se com as ferramentas, habilidades e serviços disponíveis para implementar o aprendizado de máquina em uma organização.
• Compreender como o aprendizado de máquina pode ser usado para aprimorar a mineração e a análise de dados.
• Saiba o que é um backend intermediário de dados e como ele está sendo usado pelas empresas.
• Entenda o papel que o big data e os aplicativos inteligentes estão desempenhando em todos os setores.

O Spark SQL é o módulo do Apache Spark para trabalhar com dados estruturados e não estruturados. O Spark SQL fornece informações sobre a estrutura dos dados, bem como a computação que está sendo executada. Esta informação pode ser usada para realizar otimizações. Dois usos comuns para o Spark SQL são:
- para executar consultas SQL .
- para ler dados de uma instalação existente do Hive .

Neste treinamento ao vivo conduzido por instrutor (no local ou remoto), os participantes aprenderão a analisar vários tipos de conjuntos de dados usando o Spark SQL .

No final deste treinamento, os participantes serão capazes de:

• Instale e configure o Spark SQL .
• Realize a análise de dados usando o Spark SQL .
• Consultar conjuntos de dados em diferentes formatos.
• Visualize dados e resultados de consulta.

Formato do Curso

• Palestra interativa e discussão.
• Muitos exercícios e prática.
• Implementação prática em um ambiente de laboratório ao vivo.

Opções de personalização de curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Este treinamento ao vivo conduzido por instrutor em Gaia (online ou no local) é destinado a pessoas técnicas que desejam implantar o Talend Open Studio for Big Data para simplificar o processo de leitura e análise de Big Data.

No final desta formação, os participantes serão capazes de

• Instalar e configurar o Talend Open Studio para Big Data.
• Conectar-se com sistemas de Big Data, como Cloudera, HortonWorks, MapR, Amazon EMR e Apache.
• Compreender e configurar os componentes e conectores de big data do Open Studio's.
• Configurar parâmetros para gerar automaticamente o código MapReduce.
• Utilizar a interface de arrastar e soltar do Open Studio' para executar trabalhos do Hadoop.
• Prototipar pipelines de big data.
• Automatize projetos de integração de big data.

O ZooKeeper é um serviço centralizado para manter as informações de configuração, nomear, fornecer sincronização distribuída e fornecer serviços de grupo.