Curso de Business Intelligence de Big Data para Análise de Inteligência Criminal

Dia 01

Visão geral do Business Intelligence de Big Data para Análise de Inteligência Criminal

• Estudos de Caso em Aplicação da Lei - Policiamento Preditivo
• Taxa de adoção de Big Data nas Organizações de Aplicação da Lei e como estão a alinhar as suas operações futuras em torno da Análise Preditiva de Big Data
• Soluções tecnológicas emergentes, como sensores de disparos, vídeo de vigilância e redes sociais
• Utilização da tecnologia de Big Data para mitigar a sobrecarga de informação
• Interfacing de Big Data com dados Legados (Legacy)
• Compreensão básica das tecnologias habilitadoras em análise preditiva
• Integração de Dados e visualização em Dashboards
• Gestão de Fraudes
• Regras de Negócio e deteção de fraudes
• Deteção e perfilagem de ameaças
• Análise custo-benefício para implementação de Big Data

Introdução ao Big Data

• Principais características do Big Data - Volume, Variedade, Velocidade e Veracidade.
• Arquitetura MPP (Massivamente Parallel Processing)
• Repositórios de Dados (Data Warehouses) - esquema estático, conjunto de dados com evolução lenta
• Bases de Dados MPP: Greenplum, Exadata, Teradata, Netezza, Vertica, etc.
• Soluções baseadas em Hadoop - sem condições sobre a estrutura do conjunto de dados.
• Padrão típico: HDFS, MapReduce (crunch), recolha do HDFS
• Apache Spark para processamento em fluxo
• Batch- adequado para análise/não interativo
• Volume: CEP streaming data
• Escolhas típicas - produtos CEP (ex.: Infostreams, Apama, MarkLogic, etc)
• Menos preparados para produção - Storm/S4
• Bases de Dados NoSQL - (colunares e chave-valor): Mais adequados como adjunto analítico ao repositório de dados/base de dados

Soluções NoSQL

• KV Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• KV Store - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• KV Store (Hierárquico) - GT.m, Cache
• KV Store (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• KV Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Tuple Store - Gigaspaces, Coord, Apache River
• Base de Dados de Objetos - ZopeDB, DB40, Shoal
• Document Store - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Wide Columnar Store - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Variedades de Dados: Introdução às questões de Limpeza de Dados em Big Data

• RDBMS - estrutura/esquema estático, não promove um ambiente ágil e exploratório.
• NoSQL - semi estruturado, estrutura suficiente para guardar dados sem um esquema exato antes da recolha de dados
• Questões de limpeza de dados

Hadoop

• Quando selecionar Hadoop?
• ESTRUTURADO - Os repositórios/bases de dados empresariais podem guardar dados massivos (a um custo), mas impõem estrutura (não bom para exploração ativa)
• Dados SEMI ESTRUTURADOS - difícil de executar com soluções tradicionais (DW/DB)
• Guarda de dados = ESFORÇO ENORME e estático mesmo após a implementação
• Para variedade e volume de dados, processados em hardware comercial - HADOOP
• Necessário hardware comercial para criar um Cluster Hadoop

Introdução ao Map Reduce /HDFS

• MapReduce - distribuir computação por vários servidores
• HDFS - tornar dados disponíveis localmente para o processo de computação (com redundância)
• Dados - podem ser não estruturados/sem esquema (ao contrário dos RDBMS)
• Responsabilidade do desenvolvedor fazer sentido dos dados
• Programação MapReduce = trabalhar com Java (prós/contras), carregamento manual de dados para o HDFS

Dia 02

Ecossistema de Big Data -- Construção de Big Data ETL (Extrair, Transformar, Carregar) -- Que ferramentas de Big Data usar e quando?

• Hadoop vs. Outras soluções NoSQL
• Para acesso interativo e aleatório a dados
• Hbase (base de dados orientada a colunas) por cima do Hadoop
• Acesso aleatório a dados mas com restrições impostas (máx. 1 PB)
• Não adequado para análise ad-hoc, bom para registo, contagem, séries temporais
• Sqoop - Importação de bases de dados para Hive ou HDFS (acesso JDBC/ODBC)
• Flume - Streaming de dados (ex.: logs) para o HDFS

Sistema de Gestão de Big Data

• Movimentação de peças, nós de computação arranque/falha: ZooKeeper - Para serviços de configuração/coordenação/nomenclatura
• Complex pipeline/workflow: Oozie - gestão de workflow, dependências, cadeia em cascata
• Implantação, configuração, gestão de cluster, atualização, etc. (administração de sistemas): Ambari
• Na Cloud: Whirr

Análise Preditiva -- Técnicas Fundamentais e Business Intelligence baseado em Aprendizagem Automática

• Introdução à Aprendizagem Automática (Machine Learning)
• Técnicas de classificação de aprendizagem
• Predição Bayesiana - preparação de um ficheiro de treino
• Suporte Vector Machine (SVM)
• KNN p-Tree Algebra & mineração vertical
• Redes Neuronais
• Problema de grandes variáveis em Big Data - Random forest (RF)
• Problema de automação em Big Data - Multi-model ensemble RF
• Automação através de Soft10-M
• Ferramenta de análise textual - Treeminer
• Aprendizagem ágil
• Aprendizagem baseada em agentes
• Aprendizagem distribuída
• Introdução a Ferramentas Open Source para análise preditiva: R, Python, Rapidminer, Mahut

Ecossistema de Análise Preditiva e a sua aplicação na Análise de Inteligência Criminal

• Tecnologia e o processo de investigação
• Análise de insights
• Análise de visualização
• Análise preditiva estruturada
• Análise preditiva não estruturada
• Perfilagem de ameaças/golpistas/fornecedores
• Motor de Recomendação
• Deteção de padrões
• Descoberta de Regras/Cenários - falha, fraude, otimização
• Descoberta da causa raiz
• Análise de sentimentos
• Analítica CRM
• Análise de redes
• Análise de texto para obtenção de insights a partir de transcrições, declarações de testemunhas, conversas na internet, etc.
• Revisão assistida por tecnologia
• Analítica de Fraude
• Análise em Tempo Real

Dia 03

Análise em Tempo Real e Escalável sobre Hadoop

• Por que algoritmos de análise comuns falham em Hadoop/HDFS
• Apache Hama - para computação distribuída Sincronizada em Lote
• Apache SPARK - para computação em cluster e análise em tempo real
• CMU Graphics Lab2- Abordagem assíncrona baseada em grafos para computação distribuída
• KNN p -- Abordagem baseada em álgebra do Treeminer para reduzir o custo de hardware de operação

Ferramentas para eDiscovery e Forensics

• eDiscovery sobre Big Data vs. dados Legados - uma comparação de custo e desempenho
• Codificação preditiva e Revisão Assistida por Tecnologia (TAR)
• Demonstração ao vivo do vMiner para entender como a TAR permite descoberta mais rápida
• Indexação mais rápida através do HDFS - Velocidade dos dados
• NLP (Processamento de Linguagem Natural) - produtos e técnicas open source
• eDiscovery em idiomas estrangeiros -- tecnologia para processamento de línguas estrangeiras

Big Data BI para Cibersegurança - Obter uma visão a 360 graus, recolha de dados rápida e identificação de ameaças

• Compreensão das bases da analítica de segurança -- superfície de ataque, configuração de segurança incorreta, defesas do host
• Infraestrutura de rede / Grande datapipe / ETL de Resposta para análise em tempo real
• Prescritivo vs preditivo - Baseado em regras fixas vs auto-descoberta de regras de ameaças a partir de Meta dados

Recolha de dados dispersos para Análise de Inteligência Criminal

• Utilização do IoT (Internet das Coisas) como sensores para captura de dados
• Utilização de Imagens Satelitais para Vigilância Doméstica
• Utilização de dados de vigilância e imagem para identificação criminal
• Otras tecnologias de recolha de dados -- drones, câmaras corporais, sistemas de GPS tagging e tecnologia de imagem térmica
• Combinação da recolha automática de dados com dados obtidos de informadores, interrogatórios e pesquisa
• Predição de atividade criminal

Dia 04

BI de prevenção de fraudes a partir de Big Data em Analítica de Fraude

• Classificação básica de Analítica de Fraude - baseada em regras vs análise preditiva
• Aprendizagem supervisionada vs não supervisionada para deteção de padrões de fraude
• Fraude entre empresas, fraude em declarações médicas, fraude no seguro, evasão fiscal e branqueamento de capitais

Analítica de Redes Sociais -- Recolha e análise de inteligência

• Como as Redes Sociais são usadas pelos criminosos para se organizarem, recrutar e planear
• API de ETL de Big Data para extrair dados de redes sociais
• Texto, imagem, meta dados e vídeo
• Análise de sentimentos a partir do feed de redes sociais
• Filtragem contextual e não contextual do feed de redes sociais
• Dashboard de Redes Sociais para integrar diversas redes sociais
• Perfilagem automática de perfis de redes sociais
• Será dada uma demonstração ao vivo de cada análise através da Ferramenta Treeminer

Analítica de Big Data em processamento de imagem e feeds de vídeo

• Técnicas de Armazenamento de Imagem em Big Data - Solução de armazenamento para dados que excedem petabytes
• LTFS (Linear Tape File System) e LTO (Linear Tape Open)
• GPFS-LTFS (General Parallel File System - Linear Tape File System) -- solução de armazenamento em camadas para grandes dados de imagem
• Fundamentos da analítica de imagem
• Reconhecimento de objetos
• Segmentação de imagem
• Rastreamento de movimento
• Reconstrução de imagem 3D

Biometria, ADN e Programas de Identificação de Nova Geração

• Mais além da leitura de impressões digitais e reconhecimento facial
• Reconhecimento de fala, padrão de digitação (análise do padrão de digitação de um utilizador) e CODIS (Combined DNA Index System)
• Mais além do cruzamento de ADN: utilização de fenótipo forense de ADN para construir um rosto a partir de amostras de ADN

Big Data Dashboard para acessibilidade rápida de dados diversos e exibição:

• Integração da plataforma de aplicação existente com o Big Data Dashboard
• Gestão de Big Data
• Estudo de Caso de Big Data Dashboard: Tableau e Pentaho
• Utilizar apps de Big Data para impulsionar serviços baseados em localização no Gov.
• Sistema de rastreio e gestão

Dia 05

Como justificar a implementação de Big Data BI dentro de uma organização:

• Definição do ROI (Retorno sobre o Investimento) para implementação de Big Data
• Estudos de caso para poupança de Tempo do Analista na recolha e preparação de Dados - aumento da produtividade
• Aumento de receita da redução do custo de licenciamento de bases de dados
• Aumento de receita dos serviços baseados em localização
• Poupança de custos da prevenção de fraudes
• Uma abordagem integrada de folha de cálculo para calcular despesas aproximadas vs. ganho de receita/poupança da implementação de Big Data.

Procedimento passo a passo para substituir um sistema de dados legado por um Sistema de Big Data

• Mapa de Migração de Big Data
• Que informação crítica é necessária antes de projetar um sistema de Big Data?
• Quais são as diferentes formas de calcular o Volume, Velocidade, Variedade e Veracidade dos dados
• Como estimar o crescimento dos dados
• Estudos de caso

Revisão de Fornecedores de Big Data e revisão dos seus produtos.

• Accenture
• APTEAN (Antes CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Antes 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware (Parte da EMC)

Sessão de Perguntas/Respostas