Curso de Inteligência de Negócios Big Data para Agências do Governo

Cada sessão tem 2 horas

Dia 1: Sessão -1: Visão Geral de Negócio do Porquê da Business Intelligence de Big Data no Governo

• Estudos de caso do NIH, DOE
• Taxa de adaptação do Big Data nas agências governamentais e como estão a alinhar as suas futuras operações em torno das Análises Preditivas de Big Data
• Áreas de Aplicação em Grande Escala no DoD, NSA, IRS, USDA, etc.
• Interfacing Big Data com dados legacy
• Compreensão básica das tecnologias habilitadoras nas análises preditivas
• Integração de Dados e visualização em Dashboard
• Gestão de Fraude
• Geração de Regras de Negócio/Deteção de Fraude
• Deteção de Ameaças e perfis
• Análise de custo-benefício para implementação de Big Data

Dia 1: Sessão-2: Introdução ao Big Data-1

• Principais características do Big Data – volume, variedade, velocidade e veracidade. Arquitetura MPP para volume.
• Armazéns de Dados – esquema estático, conjunto de dados em evolução lenta
• Bases de Dados MPP como Greenplum, Exadata, Teradata, Netezza, Vertica, etc.
• Soluções Baseadas em Hadoop – sem condições sobre a estrutura do conjunto de dados.
• Padrão típico: HDFS, MapReduce (crunch), recuperação do HDFS
• Lote – adequado para análises/não interativas
• Volume: streaming de dados CEP
• Escolhas típicas – produtos CEP (ex. Infostreams, Apama, MarkLogic, etc.)
• Menos preparado para produção – Storm/S4
• Bases de Dados NoSQL – (colunas e chave-valor): Mais adequado como complemento analítico para o armazém de dados/banco de dados

Dia 1: Sessão -3: Introdução ao Big Data-2

Soluções NoSQL

• KV Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• KV Store - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• KV Store (Hierárquico) - GT.m, Cache
• KV Store (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• KV Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Tuple Store - Gigaspaces, Coord, Apache River
• Banco de Dados de Objetos - ZopeDB, DB40, Shoal
• Document Store - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Wide Columnar Store - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Variedades de Dados: Introdução ao problema de Limpeza de Dados em Big Data

• RDBMS – estrutura/esquema estático, não promove ambiente ágil e exploratório.
• NoSQL – semi-estruturado, estrutura suficiente para armazenar dados sem esquema exato antes do armazenamento
• Problemas de limpeza de dados

Dia 1: Sessão-4: Introdução ao Big Data-3: Hadoop

• Quando selecionar Hadoop?
• ESTRUTURADO - Armazéns de dados/bancos de dados empresariais podem armazenar dados massivos (a um custo) mas impõem estrutura (não bom para exploração ativa)
• Dados SEMI ESTRUTURADOS – difícil de fazer com soluções tradicionais (DW/DB)
• Armazenar dados = Enorme esforço e estático mesmo após a implementação
• Para variedade e volume de dados, processados em hardware comercial – HADOOP
• Hardware comercial necessário para criar um Cluster Hadoop

Introdução ao MapReduce /HDFS

• MapReduce – distribuição de computação por múltiplos servidores
• HDFS – disponibilizar dados localmente para o processo de computação (com redundância)
• Dados – podem ser não estruturados/sem esquema (ao contrário dos RDBMS)
• Responsabilidade do desenvolvedor dar sentido aos dados
• Programar MapReduce = trabalhar com Java (prós/contras), carregamento manual de dados para o HDFS

Dia 2: Sessão-1: Ecossistema de Big Data-Construindo ETL de Big Data: universo de Ferramentas de Big Data-qual usar e quando?

• Hadoop vs. Outras soluções NoSQL
• Para acesso aleatório interativo a dados
• Hbase (base de dados orientada a colunas) sobre o Hadoop
• Acesso aleatório a dados mas com restrições impostas (máx 1 PB)
• Não bom para análises ad-hoc, bom para logging, contagem, séries temporais
• Sqoop - Importação de bases de dados para Hive ou HDFS (acesso JDBC/ODBC)
• Flume – Fluxo de dados (ex. dados de log) para HDFS

Dia 2: Sessão-2: Sistema de Gestão de Big Data

• Partes móveis, nós de computação iniciar/falhar: ZooKeeper - Para serviços de configuração/coordenação/nomenclatura
• Pipeline/workflow complexo: Oozie – gerir workflow, dependências, cadeia serial
• Implantar, configurar, gestão de cluster, upgrade, etc. (sys admin): Ambari
• Na Cloud: Whirr

Dia 2: Sessão-3: Análises preditivas em Business Intelligence -1: Técnicas Fundamentais & BI baseado em Machine Learning:

• Introdução ao Machine Learning
• Técnicas de aprendizagem de classificação
• Previsão Bayesiana-preparação de ficheiro de treino
• Support Vector Machine
• KNN p-Tree Algebra & mineração vertical
• Rede Neural
• Problema de grandes variáveis em Big Data - Random forest (RF)
• Problema de Automação em Big Data – Ensemble multi-modelo RF
• Automação através de Soft10-M
• Ferramenta de análise de texto-Treeminer
• Aprendizagem Ágil
• Aprendizagem baseada em agentes
• Aprendizagem Distribuída
• Introdução a Ferramentas Open source para análises preditivas: R, Rapidminer, Mahut

Dia 2: Sessão-4 Ecossistema de análises preditivas-2: Problemas comuns de análise preditiva no Governo.

• Análise de insights
• Análise de visualização
• Análise preditiva estruturada
• Análise preditiva não estruturada
• Perfis de Ameaça/Fraudestar/Fornecedor
• Motor de Recomendação
• Deteção de Padrões
• Descoberta de Regras/Cenários –falha, fraude, otimização
• Descoberta de causa raiz
• Análise de Sentimentos
• Análise de CRM
• Análise de Rede
• Análise de Texto
• Revisão assistida por tecnologia
• Análise de Fraude
• Análise em Tempo Real

Dia 3: Sessão-1: Análises em Tempo Real e Escaláveis sobre Hadoop

• Por que algoritmos de análise comuns falham no Hadoop/HDFS
• Apache Hama- para computação distribuída em lote síncrona
• Apache SPARK- para computação de cluster para análise em tempo real
• CMU Graphics Lab2- Abordagem assíncrona baseada em grafos para computação distribuída
• Abordagem baseada em KNN p-Algebra do Treeminer para redução do custo de hardware de operação

Dia 3: Sessão-2: Ferramentas para eDiscovery e Forense

• eDiscovery sobre Big Data vs. Dados Legacy – uma comparação de custo e desempenho
• Codificação preditiva e revisão assistida por tecnologia (TAR)
• Demonstração ao vivo de um produto Tar (vMiner) para entender como o TAR funciona para descoberta mais rápida
• Indexação mais rápida através de HDFS – velocidade de dados
• NLP ou Processamento de Linguagem Natural – diversas técnicas e produtos open source
• eDiscovery em línguas estrangeiras-tecnologia para processamento de língua estrangeira

Dia 3: Sessão 3: Big Data BI para Cibersegurança – Compreensão da visão 360 graus da recolha rápida de dados à identificação de ameaças

• Compreensão dos básicos da análise de segurança-superfície de ataque, má configuração de segurança, defesas do host
• Infraestrutura de Rede/ Grande datapipe / Resposta ETL para análise em tempo real
• Prescritivo vs preditivo – Baseado em regras fixas vs auto-descoberta de regras de ameaça a partir dos Metadados

Dia 3: Sessão 4: Big Data na USDA : Aplicação na Agricultura

• Introdução ao IoT (Internet das Coisas) para agricultura-Big Data baseado em sensores e controlo
• Introdução ao imageamento por satélite e sua aplicação na agricultura
• Integração de dados de sensores e imagens para fertilidade do solo, recomendação de cultivo e previsão
• Seguro agrícola e Big Data
• Previsão de Perdas de Colheita

Dia 4: Sessão-1: BI de prevenção de fraude a partir de Big Data no Governo-Análise de fraude:

• Classificação básica de análises de fraude- baseada em regras vs análises preditivas
• Machine learning supervisionado vs não supervisionado para deteção de padrões de fraude
• Fraude/Faturação excessiva de fornecedores para projetos
• Fraude Medicare e Medicaid- técnicas de deteção de fraude para processamento de reclamações
• Fraudes em reembolsos de viagem
• Fraudes em reembolsos do IRS
• Estudos de caso e demonstração ao vivo serão fornecidos sempre que houver dados disponíveis.

Dia 4: Sessão-2: Análise de Mídias Sociais- Coleta e análise de inteligência

• API de ETL de Big Data para extração de dados de mídias sociais
• Texto, imagem, metadados e vídeo
• Análise de sentimentos a partir do feed de mídias sociais
• Filtragem contextual e não contextual do feed de mídias sociais
• Dashboard de Mídias Sociais para integrar diversas mídias sociais
• Perfilamento automatizado de perfil de mídias sociais
• Uma demonstração ao vivo de cada análise será feita através da ferramenta Treeminer.

Dia 4: Sessão-3: Análise de Big Data em processamento de imagens e feeds de vídeo

• Técnicas de Armazenamento de Imagens em Big Data- Solução de armazenamento para dados excedendo petabytes
• LTFS e LTO
• GPFS-LTFS (Solução de armazenamento em camadas para grandes dados de imagem)
• Fundamentos da análise de imagens
• Reconhecimento de objetos
• Segmentação de imagens
• Rastreamento de movimento
• Reconstrução de imagem 3D

Dia 4: Sessão-4: Aplicações de Big Data no NIH:

• Áreas emergentes de Bioinformática
• Meta-genômica e problemas de mineração de Big Data
• Análise Preditiva de Big Data para Farmacogenômica, Metabolômica e Proteômica
• Big Data no processo de genômica a jusante
• Aplicação de análises preditivas de Big Data em Saúde Pública

Dashboard de Big Data para acessibilidade rápida de dados diversos e exibição:

• Integração da plataforma de aplicação existente com o Dashboard de Big Data
• Gestão de Big Data
• Estudo de Caso de Dashboard de Big Data: Tableau e Pentaho
• Usar app de Big Data para impulsionar serviços baseados em localização no Governo.
• Sistema de Rastreio e gestão

Dia 5: Sessão-1: Como justificar a implementação de BI de Big Data dentro de uma organização:

• Definindo o ROI para implementação de Big Data
• Estudos de caso para poupança de tempo do Analista na recolha e preparação de Dados –aumento do ganho de produtividade
• Estudos de caso de ganho de receita da poupança do custo de base de dados licenciada
• Ganho de receita a partir de serviços baseados em localização
• Poupança a partir da prevenção de fraude
• Uma abordagem integrada de folha de cálculo para calcular aproximadamente despesa vs. ganho de receita/poupança da implementação de Big Data.

Dia 5: Sessão-2: Procedimento passo a passo para substituir sistema de dados legacy para Sistema de Big Data:

• Compreensão do Roadmap Prático de Migração de Big Data
• Quais são as informações importantes necessárias antes de arquitetar uma implementação de Big Data
• Quais são as diferentes formas de calcular volume, velocidade, variedade e veracidade dos dados
• Como estimar o crescimento de dados
• Estudos de caso

Dia 5: Sessão 4: Revisão de Vendedores de Big Data e revisão dos seus produtos. Sessão Q/A:

• Accenture
• APTEAN (Anteriormente CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Anteriormente 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware (Parte da EMC)