Cursos de Big Data

Python é uma linguagem de programação escalável, flexível e amplamente utilizada para ciência de dados e aprendizagem de máquina. O Spark é um motor de processamento de dados usado na pesquisa, análise e transformação de dados grandes, enquanto Hadoop é um framework de biblioteca de software para armazenamento e processamento de dados em grande escala. Este treinamento ao vivo guiado por instrutores (online ou on-site) é dirigido a desenvolvedores que desejam usar e integrar Spark, Hadoop, e Python para processar, analisar e transformar grandes e complexos conjuntos de dados. No final do curso, os participantes poderão:

Crie o ambiente necessário para iniciar o processamento de grandes dados com o Spark, Hadoop, e Python. Compreenda as características, os componentes essenciais e a arquitetura do Spark e Hadoop. Aprenda a integrar Spark, Hadoop, e Python para o processamento de dados grandes. Explore as ferramentas no ecossistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, e Flume). Construa sistemas de recomendação de filtragem colaborativa semelhantes a Netflix, YouTube, Amazon, Spotify e Google. Use o Apache Mahout para escalar algoritmos de aprendizagem de máquina.

O formato do curso

Interação e discussão interativa. Muitos exercícios e práticas. Implementação de mão em um ambiente de laboratório ao vivo.

Opções de Customização

Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.

Waikato Environment for Knowledge Analysis (Weka) é um software de visualização de mineração de dados de código aberto. Fornece uma coleção de algoritmos de aprendizagem de máquina para a preparação de dados, classificação, clustering e outras atividades de mineração de dados. Este treinamento ao vivo guiado por instrutores (online ou on-site) é dirigido a analistas de dados e cientistas de dados que desejam usar Weka para realizar tarefas de mineração de dados. No final do curso, os participantes poderão:

Instalar e configurar Weka Compreender o ambiente Weka e o banco de trabalho. Realizar tarefas de mineração de dados usando Weka.

O formato do curso

Interação e discussão interativa. Muitos exercícios e práticas. Implementação de mão em um ambiente de laboratório ao vivo.

Opções de Customização

Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.

IBM SPSS Modeler é um software usado para mineração de dados e análise de texto. Ele fornece um conjunto de ferramentas de mineração de dados que podem construir modelos preditivos e realizar tarefas de análise de dados. Este treinamento guiado por instrutores, ao vivo (online ou on-site) é dirigido a analistas de dados ou qualquer pessoa que deseja usar SPSS Modeler para realizar atividades de mineração de dados. No final do curso, os participantes poderão:

Conheça os fundamentos da mineração de dados. Saiba como importar e avaliar a qualidade dos dados com o Modeler. Desenvolver, implementar e avaliar modelos de dados de forma eficiente.

O formato do curso

Interação e discussão interativa. Muitos exercícios e práticas. Implementação de mão em um ambiente de laboratório ao vivo.

Opções de Customização

Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.

Os participantes que completam esta formação guiada por instrutor, ao vivo, obterão uma compreensão prática e real de Big Data e suas tecnologias, metodologias e ferramentas relacionadas. Os participantes terão a oportunidade de colocar esse conhecimento em prática através de exercícios práticos. A interação de grupo e o feedback do instrutor constituem um componente importante da classe. O curso começa com uma introdução aos conceitos elementares de Big Data, depois progride nas linguagens de programação e metodologias usadas para realizar Data Analysis. Finalmente, discutimos as ferramentas e infraestruturas que permitem Big Data armazenamento, Processamento Distribuído e Scalabilidade. O formato do curso

Lição parcial, discussão parcial, prática e implementação, quizing ocasional para medir o progresso.

In this instructor-led, live training in Portugal, participants will learn how to use Python and Spark together to analyze big data as they work on hands-on exercises. By the end of this training, participants will be able to:

• Learn how to use Spark with Python to analyze Big Data.
• Work on exercises that mimic real world cases.
• Use different tools and techniques for big data analysis using PySpark.

This course covers how to use Hive SQL language (AKA: Hive HQL, SQL on Hive, HiveQL) for people who extract data from Hive

A descoberta de conhecimentos em bases de dados (KDD) é o processo de descoberta de conhecimentos úteis de uma coleção de dados. Aplicações de vida real para esta técnica de mineração de dados incluem marketing, detecção de fraude, telecomunicações e fabricação. Neste curso guiado por instrutores, apresentamos os processos envolvidos no KDD e realizamos uma série de exercícios para praticar a implementação desses processos. Auditoria

Analistas de dados ou qualquer pessoa interessada em aprender como interpretar dados para resolver problemas

O formato do curso

Após uma discussão teórica do KDD, o instrutor apresentará casos de vida real que exigem a aplicação do KDD para resolver um problema. Os participantes prepararão, selecionarão e limparão conjuntos de dados de amostra e usarão seus conhecimentos prévios sobre os dados para propor soluções com base nos resultados das suas observações.

Apache Kylin é um motor de análise extremamente distribuído para dados grandes. Neste treinamento ao vivo liderado por instrutores, os participantes aprenderão como usar Apache Kylin para configurar um armazém de dados em tempo real. No final do curso, os participantes poderão:

Consumo de dados de streaming em tempo real usando Kylin Utilize Apache Kylin's poderosas características, enriquecido SQL interface, cobertura de spark e latência de consulta subsequente

Notícia

Usamos a versão mais recente de Kylin (segundo esta escrita, Apache Kylin v2.0)

Auditoria

Engenheiros de Big Data Big Data Os analistas

Formato do curso

Parte de palestras, parte de discussão, exercícios e prática pesada

O Datameer é uma plataforma de business intelligence e análise construída sobre o Hadoop Ele permite que os usuários finais acessem, explorem e correlacionem dados em larga escala, estruturados, semi-estruturados e não estruturados de maneira fácil Neste treinamento presencial instruído, os participantes aprenderão como usar o Datameer para superar a curva de aprendizado do Hadoop à medida que avançam na configuração e análise de uma série de fontes de big data No final deste treinamento, os participantes serão capazes de: Crie, organize e explore interativamente um lago de dados corporativos Acessar data warehouses de business intelligence, bancos de dados transacionais e outras lojas analíticas Use uma interface de usuário de planilha para projetar pipelines de processamento de dados de ponta Acesse funções pré-construídas para explorar relacionamentos de dados complexos Use os assistentes de draganddrop para visualizar dados e criar painéis Use tabelas, gráficos, gráficos e mapas para analisar os resultados da consulta Público Analistas de dados Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

A mineração de dados é o processo de identificação de padrões em big data com métodos de ciência de dados, como aprendizado de máquina. Usando o Excel como um conjunto analítico de dados, os usuários podem executar a mineração e análise de dados. Esse treinamento ao vivo conduzido por instrutor (no local ou remoto) é destinado a cientistas de dados que desejam usar o Excel para mineração de dados. Ao final deste treinamento, os participantes serão capazes de:

• Explore dados com o Excel para realizar a mineração e análise de dados.
• Use algoritmos da Microsoft para mineração de dados.
• Entenda os conceitos na mineração de dados do Excel .

Formato do Curso

• Palestra e discussão interativa.
• Muitos exercícios e prática.
• Implementação prática em um ambiente de laboratório ao vivo.

Opções de personalização do curso

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para agendar.

Dremio é uma plataforma de dados de código aberto "self-service" que acelera a consulta de diferentes tipos de fontes de dados. Dremio integra com bases de dados relativas, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, e outras fontes de dados. Ele suporta SQL e fornece um UI web para consultas de construção. Neste treinamento guiado por instrutores, os participantes aprenderão como instalar, configurar e usar Dremio como uma camada unificadora para as ferramentas de análise de dados e os repositórios de dados subjacentes. No final do curso, os participantes poderão:

Instalar e configurar Dremio Executar consultas contra várias fontes de dados, independentemente da localização, tamanho ou estrutura Integra Dremio com BI e fontes de dados como Tableau e Elasticsearch

Auditoria

Cientistas de Dados Business Os analistas Engenheiros de dados

Formato do curso

Parte de palestras, parte de discussão, exercícios e prática pesada

Notas

Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.

O Apache Drill é um mecanismo de consulta SQL colunar, distribuído e sem esquema, para Hadoop, NoSQL e outros sistemas de armazenamento em nuvem e de arquivos O poder do Apache Drill reside na sua capacidade de juntar dados de vários armazenamentos de dados usando uma única consulta O Apache Drill suporta vários bancos de dados NoSQL e sistemas de arquivos, incluindo HBase, MongoDB, MapRDB, HDFS, MapRFS, Amazon S3, Armazenamento de Blobs do Azure, Google Cloud Storage, Swift, NAS e arquivos locais O Apache Drill é a versão de código aberto do sistema Dremel do Google, que está disponível como um serviço de infraestrutura chamado Google BigQuery Neste treinamento presencial instruído, os participantes aprenderão os fundamentos do Apache Drill, depois aproveitarão o poder e a conveniência do SQL para consultar de forma interativa os grandes dados em várias fontes de dados, sem escrever código Os participantes também aprenderão como otimizar suas consultas Drill para execução SQL distribuída No final deste treinamento, os participantes serão capazes de: Realize a exploração de "self-service" em dados estruturados e semi-estruturados no Hadoop Consulta conhecida assim como dados desconhecidos usando consultas SQL Entenda como o Apache Drills recebe e executa consultas Escrever consultas SQL para analisar diferentes tipos de dados, incluindo dados estruturados no Hive, dados semi-estruturados em tabelas HBase ou MapRDB e dados salvos em arquivos como Parquet e JSON Use o Apache Drill para executar a descoberta do esquema flyfly, ignorando a necessidade de operações complexas de ETL e esquema Integre o Apache Drill com ferramentas de BI (Business Intelligence), como Tableau, Qlikview, MicroStrategy e Excel Público Analistas de dados Cientistas de dados Programadores SQL Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

Apache Arrow is an open-source in-memory data processing framework. It is often used together with other data science tools for accessing disparate data stores for analysis. It integrates well with other technologies such as GPU databases, machine learning libraries and tools, execution engines, and data visualization frameworks. In this onsite instructor-led, live training, participants will learn how to integrate Apache Arrow with various Data Science frameworks to access data from disparate data sources. By the end of this training, participants will be able to:

• Install and configure Apache Arrow in a distributed clustered environment
• Use Apache Arrow to access data from disparate data sources
• Use Apache Arrow to bypass the need for constructing and maintaining complex ETL pipelines
• Analyze data across disparate data sources without having to consolidate it into a centralized repository

Audience

• Data scientists
• Data engineers

Format of the Course

• Part lecture, part discussion, exercises and heavy hands-on practice

Note

• To request a customized training for this course, please contact us to arrange.

The objective of the course is to enable participants to gain a mastery of how to work with the SQL language in Oracle database for data extraction at intermediate level.

Advances in technologies and the increasing amount of information are transforming how business is conducted in many industries, including government. Government data generation and digital archiving rates are on the rise due to the rapid growth of mobile devices and applications, smart sensors and devices, cloud computing solutions, and citizen-facing portals. As digital information expands and becomes more complex, information management, processing, storage, security, and disposition become more complex as well. New capture, search, discovery, and analysis tools are helping organizations gain insights from their unstructured data. The government market is at a tipping point, realizing that information is a strategic asset, and government needs to protect, leverage, and analyze both structured and unstructured information to better serve and meet mission requirements. As government leaders strive to evolve data-driven organizations to successfully accomplish mission, they are laying the groundwork to correlate dependencies across events, people, processes, and information. High-value government solutions will be created from a mashup of the most disruptive technologies:

• Mobile devices and applications
• Cloud services
• Social business technologies and networking
• Big Data and analytics

IDC predicts that by 2020, the IT industry will reach $5 trillion, approximately $1.7 trillion larger than today, and that 80% of the industry's growth will be driven by these 3rd Platform technologies. In the long term, these technologies will be key tools for dealing with the complexity of increased digital information. Big Data is one of the intelligent industry solutions and allows government to make better decisions by taking action based on patterns revealed by analyzing large volumes of data — related and unrelated, structured and unstructured. But accomplishing these feats takes far more than simply accumulating massive quantities of data.“Making sense of thesevolumes of Big Datarequires cutting-edge tools and technologies that can analyze and extract useful knowledge from vast and diverse streams of information,” Tom Kalil and Fen Zhao of the White House Office of Science and Technology Policy wrote in a post on the OSTP Blog. The White House took a step toward helping agencies find these technologies when it established the National Big Data Research and Development Initiative in 2012. The initiative included more than $200 million to make the most of the explosion of Big Data and the tools needed to analyze it. The challenges that Big Data poses are nearly as daunting as its promise is encouraging. Storing data efficiently is one of these challenges. As always, budgets are tight, so agencies must minimize the per-megabyte price of storage and keep the data within easy access so that users can get it when they want it and how they need it. Backing up massive quantities of data heightens the challenge. Analyzing the data effectively is another major challenge. Many agencies employ commercial tools that enable them to sift through the mountains of data, spotting trends that can help them operate more efficiently. (A recent study by MeriTalk found that federal IT executives think Big Data could help agencies save more than $500 billion while also fulfilling mission objectives.). Custom-developed Big Data tools also are allowing agencies to address the need to analyze their data. For example, the Oak Ridge National Laboratory’s Computational Data Analytics Group has made its Piranha data analytics system available to other agencies. The system has helped medical researchers find a link that can alert doctors to aortic aneurysms before they strike. It’s also used for more mundane tasks, such as sifting through résumés to connect job candidates with hiring managers.

Público Se você tentar entender os dados aos quais tem acesso ou quiser analisar dados não estruturados disponíveis na rede (como o Twitter, Linked in, etc ...), este curso é para você. É principalmente destinado a tomadores de decisão e pessoas que precisam escolher quais dados valem a pena coletar e o que vale a pena analisar. Não se destina a pessoas que configuram a solução, essas pessoas irão se beneficiar do quadro geral. Modo de entrega Durante o curso, os delegados serão apresentados a exemplos de trabalho, principalmente de tecnologias de código aberto. Aulas curtas serão seguidas de apresentação e exercícios simples pelos participantes Conteúdo e Software utilizados Todo o software utilizado é atualizado cada vez que o curso é executado, por isso, verificamos as versões mais recentes possíveis. Abrange o processo de obter, formatar, processar e analisar os dados, para explicar como automatizar o processo de tomada de decisão com o aprendizado de máquina.

Dia 1 - fornece uma visão geral de alto nível das principais áreas de tópicos do Big Data . O módulo é dividido em uma série de seções, cada uma das quais é acompanhada por um exercício prático. Dia 2 - explora uma variedade de tópicos que relacionam práticas de análise e ferramentas para ambientes de Big Data . Ele não entra em detalhes de implementação ou programação, mas mantém a cobertura em um nível conceitual, concentrando-se em tópicos que permitem aos participantes desenvolver uma compreensão abrangente das funções e recursos de análise comuns oferecidos pelas soluções de Big Data . Dia 3 - fornece uma visão geral das áreas de tópicos fundamentais e essenciais relacionadas à arquitetura da plataforma de solução Big Data . Ele abrange os mecanismos de Big Data necessários para o desenvolvimento de uma plataforma de solução Big Data e opções de arquitetura para a montagem de uma plataforma de processamento de dados. Cenários comuns também são apresentados para fornecer uma compreensão básica de como uma plataforma de solução Big Data é geralmente usada. Dia 4 - baseia-se no Dia 3, explorando tópicos avançados relacionados à arquitetura da plataforma de solução Big Data . Em particular, diferentes camadas de arquitetura que compõem a plataforma de solução Big Data são introduzidas e discutidas, incluindo fontes de dados, entrada de dados, armazenamento de dados, processamento de dados e segurança. Dia 5 - abrange uma série de exercícios e problemas projetados para testar a capacidade dos delegados de aplicar o conhecimento dos tópicos abordados nos dias 3 e 4.

Este curso é um curso base de programação para todos aqueles interessados em trabalhar com BigData e tem o objetivo de madquirir conhecimentos em R, uma linguagem muito usada e funcional no contexto das Tecnologías de Informação.

Quando as tecnologias tradicionais de armazenamento não lidam com a quantidade de dados que você precisa armazenar, existem centenas de alternativas Este curso tenta orientar os participantes sobre quais são as alternativas para armazenar e analisar Big Data e quais são os prós e contras deles Este curso é focado principalmente na discussão e apresentação de soluções, embora exercícios manuais estejam disponíveis sob demanda .

O curso faz parte do conjunto de habilidades do Data Scientist (Domínio: Dados e Tecnologia).

Big data é um conjunto de dados tão volumoso e complexo que os aplicativos tradicionais de processamento de dados são inadequados para lidar com eles. Os desafios do big data incluem a captura de dados, armazenamento de dados, análise de dados, pesquisa, compartilhamento, transferência, visualização, consulta, atualização e privacidade de informações.

Vespa um mecanismo de processamento e exibição de big data de grande porte criado pelo Yahoo Ele é usado para responder a consultas de usuários, fazer recomendações e fornecer conteúdo e anúncios personalizados em tempo real Este treinamento presencial instruído apresenta os desafios de servir dados em larga escala e conduz os participantes através da criação de um aplicativo que pode calcular as respostas às solicitações do usuário, em grandes conjuntos de dados em tempo real No final deste treinamento, os participantes serão capazes de: Use a Vespa para calcular rapidamente os dados (armazenar, pesquisar, classificar, organizar) no tempo de exibição enquanto um usuário aguarda Implemente a Vespa em aplicativos existentes que envolvem pesquisa de recursos, recomendações e personalização Integre e implemente a Vespa com sistemas de big data existentes, como o Hadoop e o Storm Público Desenvolvedores Formato do curso Palestra parcial, parte discussão, exercícios e prática handson pesada .

Para atender a conformidade dos reguladores, os CSPs (provedores de serviços de Communication ) podem acessar o Big Data Analytics, que não apenas os ajuda a atender a conformidade, mas dentro do escopo do mesmo projeto podem aumentar a satisfação do cliente e reduzir a rotatividade. De facto, uma vez que a conformidade está relacionada com a Qualidade de serviço ligada a um contrato, qualquer iniciativa para cumprir a conformidade melhorará a “vantagem competitiva” dos CSPs. Portanto, é importante que os Reguladores possam aconselhar / orientar um conjunto de práticas analíticas de Big Data para os CSPs que serão de benefício mútuo entre os reguladores e os CSPs. O curso consiste em 8 módulos (4 no dia 1 e 4 no dia 2)

Os avanços nas tecnologias e a quantidade crescente de informações estão transformando a maneira como a aplicação da lei é conduzida. Os desafios que o Big Data coloca são quase tão assustadores quanto a promessa do Big Data . Armazenar dados com eficiência é um desses desafios; efetivamente analisá-lo é outro. Neste treinamento ao vivo, ministrado por instrutor, os participantes aprenderão a mentalidade com a qual abordar as tecnologias de Big Data , avaliarão seu impacto nos processos e políticas existentes e implementarão essas tecnologias com o objetivo de identificar atividades criminosas e prevenir crimes. Os estudos de caso de organizações policiais em todo o mundo serão examinados para obter insights sobre suas abordagens de adoção, desafios e resultados. Ao final deste treinamento, os participantes serão capazes de:

• Combine a tecnologia Big Data com os processos tradicionais de coleta de dados para reunir uma história durante uma investigação
• Implementar soluções industriais de armazenamento e processamento de big data para análise de dados
• Preparar uma proposta para a adoção das ferramentas e processos mais adequados para permitir uma abordagem baseada em dados à investigação criminal

Público

• Especialistas em aplicação da lei com formação técnica

Formato do curso

• Parte palestra, parte discussão, exercícios e prática prática pesada

This classroom based training session will explore Big Data. Delegates will have computer based examples and case study exercises to undertake with relevant big data tools

Objetivo : Este curso de treinamento visa ajudar os participantes a entender por que o Big Data está mudando nossas vidas e como isso está alterando a forma como as empresas nos veem como consumidores. De fato, os usuários de big data nas empresas descobrem que o big data libera uma riqueza de informações e insights que se traduzem em lucros maiores, custos reduzidos e menos riscos. No entanto, a desvantagem foi a frustração, por vezes, ao enfatizar demais as tecnologias individuais e não se concentrar o suficiente nos pilares do gerenciamento de big data. Os participantes aprenderão durante este curso como gerenciar o big data usando seus três pilares de integração de dados, governança de dados e segurança de dados para transformar grandes volumes de dados em valor comercial real. Diferentes exercícios conduzidos em um estudo de caso de gerenciamento de clientes ajudarão os participantes a entender melhor os processos subjacentes.

This instructor-led, live training in Portugal (online or onsite) is aimed at technical persons who wish to learn how to implement a machine learning strategy while maximizing the use of big data. By the end of this training, participants will:

• Understand the evolution and trends for machine learning.
• Know how machine learning is being used across different industries.
• Become familiar with the tools, skills and services available to implement machine learning within an organization.
• Understand how machine learning can be used to enhance data mining and analysis.
• Learn what a data middle backend is, and how it is being used by businesses.
• Understand the role that big data and intelligent applications are playing across industries.

Apache Sqoop é uma interface de linha de comando para mover dados de bancos de dados relacionais e Hadoop. Apache Flume é um software distribuído para gerenciar big data. Usando Sqoop e Flume, os usuários podem transferir dados entre sistemas e importar big data para arquiteturas de armazenamento, como Hadoop. Este treinamento ao vivo (no local ou remoto) liderado por instrutores é voltado para engenheiros de software que desejam usar sqoop e Flume para transferir dados entre sistemas. Ao final deste treinamento, os participantes poderão:

• Ingestão de big data com Sqoop e Flume.
• Ingestão de dados de múltiplas fontes de dados.
• Mova dados de bancos de dados relacionais para HDFS e Hive.
• Exportar dados do HDFS para um banco de dados relacional.

Formato do Curso

• Palestra interativa e discussão.
• Muitos exercícios e prática.
• Implementação prática em um ambiente de laboratório ao vivo.

Opções de personalização de cursos

• Para solicitar um treinamento personalizado para este curso, entre em contato conosco para organizar.

Talend Open Studio for Big Data é uma ferramenta ETL de código aberto para o processamento de dados grandes. Inclui um ambiente de desenvolvimento para interagir com Big Data fontes e objetivos, e executar trabalhos sem ter que escrever código. Este treinamento guiado por instrutores, ao vivo (online ou on-site) é dirigido a pessoas técnicas que desejam implantar Talend Open Studio para Big Data para simplificar o processo de leitura e crunching através Big Data. No final do curso, os participantes poderão:

Instale e configure Talend Open Studio para Big Data. Conecte-se com sistemas Big Data como Cloudera, HortonWorks, MapR, Amazon EMR e Apache. Entender e configurar os grandes componentes de dados e conectores do Open Studio. Configure parâmetros para gerar automaticamente o código MapReduce. Use a interface do Open Studio's drag-and-drop para executar trabalhos. Protótipos de grandes tubos de dados. Projetos de integração automática de big data.

O formato do curso

Interação e discussão interativa. Muitos exercícios e práticas. Implementação de mão em um ambiente de laboratório ao vivo.

Opções de Customização

Para solicitar uma formação personalizada para este curso, por favor contacte-nos para organizar.

The course is dedicated to IT specialists that are looking for a solution to store and process large data sets in distributed system environment Course goal: Getting knowledge regarding Hadoop cluster administration