Métodos Quantitativos em Processos Decisórios - Aula 02: Dados para Tomada de Decisões

Métodos Quantitativos em Processos Decisórios AULA 02 Dados para tomada de Decisões Profa Anna Célia Affonso dos Santos A evolução do Big Data NASCIMENTO 1880 Censo Americano 50 milhões de pessoas 7 anos para ser concluído ADOLESCÊNCIA 1950 Big Science Programas espaciais Previsão do tempo Pesquisas Médicas 1890 Censo Americano Hollerity Tabulating System 6 semanas A evolução do Big Data JUVENTUDE 1970 Big Business ERP Data Base Data Warehouse ebanking ecommerce egovernment ebusiness MATURIDADE 2000 Big People Big Things Big Data Internet 20 Social Networks Sensores Gera um crescimento exponencial das informações Categorias de dados Dados Estruturados Dados planejados e organizados dentro de estruturas e processos de coleta armazenamento e utilização prédefinidos normalmente gerenciados por ferramentas de bancos de dados corporativos Dados Não Estruturados Dados contidos em textos imagens vídeos áudios produzidos livremente não planejados e não organizados normalmente contidos em comunicações ou registros pessoais dispersos Dados Semi Estruturados Dados que contém características das duas categorias anteriores modernamente gerenciados por ferramentas denominadas Data Lake que utilizam metadados para organizar os dados estruturados e nãoestruturados A explosão de dados é essencialmente dos dados não estruturados Através de novas tecnologias os dados não estruturados são transformados em dados analíticos e carregados em Data Lakes Dados não estruturados representam mais de 80 dos dados coletados pelas organizações O que é Big Data Big data is highvolume highvelocity and highvariety information assets that demand costeffective innovative forms of information processing for enhanced insight and decision making Gartner IT Big Data é definido como o uso de quantidades massivas de dados para suportar diferentes tipos de processos de tomadas de decisão Davenport 2014 Goes 2014 Dados e Análises são chave para a Aceleração Digital Viabilizam Diferenciação Competitiva Inovação Automação e processos eficientes Novos modelos de negócio Dados o novo petróleo do mundo Ref httpsbakertillybrcombrdadosnovopetroleo Big Data 5 empresas na frente da concorrência 1 Target Maior assertividade das ofertas após criar perfis de comprador baseandose em suas compras e dados demográficos 2 American Express Análise de dados e Machine Learning para detectar fraudas no cartão Os algoritmos através dos dados aprendem o padrão de consumo de cada usuário Sempre que há algum tipo de transação que foge do usual o usuário e a empresa são notificados Resultado economia de milhões 3 Shell Redução dos seus custos de operação após análise das ondas sísmicas de baixa frequência abaixo da superfície da Terra indicando por área o tamanho provável dos recursos de petróleo e gás 4 Amazon Através de Machine Learning e do armazenamento em cloud computing eles aprendem como cada consumidor se comporta viabilizando ofertas mais personalizadas para cada pessoa Resultado cliente satisfeito empresa vendendo mais 5 Delta Airlines Rastreamento das bagagens resolve uma das maiores dores dos passageiros quando viajam bagagem extraviada Dados como ativo intangível Mudanças nos pressupostos estratégicos da era analógica para a era digital De Para Dados são dispendiosos de gerar nas empresas Dados são gerados continuamente em todos os lugares O desafio dos dados é armazenálos e gerenciálos O desafio dos dados é convertêlos em informações valiosas As empresas usam apenas dados estruturados Os dados não estruturados são cada vez mais úteis e valiosos Os dados são gerenciados em departamentos operacionais O valor dos dados é conectálos entre os departamentos Os dados são ferramentas para gerenciar processos Os dados são ativo intangível importante para criar valor Ref Transformação Digital David Rogers 2019 Ferramentas de análise transformam dados em Inteligência Gerenciadores de Dados Bancos de Dados Relacionais SQL Bancos de Dados Não Relacionais NoSQL Arquivos de dados nãoestruturados Infraestrutura para Big Data Hadoop Software Aplicativo Linguagem R Phython IBM SPSS SAS Microsoft Excel Microsoft Power BI Tableau E muitas outras As fontes de dados da empresa e mercado viabilizam o conhecimento dos Processos e Clientes Forma de Pagamento Cliente SKU Loja Atendimento Vendas Dados Cadastrais Dados Transacionais Dados de Interação Dados de Comportamento Dados Externos Dados de Pesquisa Dados Analíticos Atividades para disponibilização dos dados Onde achar os dados necessários Aquisição de Dados Como extrair os dados de sua origem Fonte de Dados Como integrar dados provenientes de diversas fontes Integração de Dados O que os dados significam Descrição e Entendimento Como avaliar a qualidade dos dados Consistência dos Dados Como limpar os dados Como estruturar e expressar dados em variáveis Como lidar com dados faltantes ou incompletos Todos os dados possuem a mesma importância Como filtrar os dados evitando os não desejados anomalias Como lidar com dados temporais Como reduzir a quantidade de dados Como criar novos dados a partir dos dados obtidos PREPARAÇÃO DOS DADOS TRATAMENTO DOS DADOS Armazenamento em objetos de dados Objetos de dados são conjuntos de dados com significado e utilidade para gerar informações sobre algo Objetos de dados representam entidades eventos ou fatos de interesse para uma organização Entidades Pessoas produtos materiais bens organismos etc Eventos Vendas compras transações etc Quando armazenados em um Banco de Dados Relacional os objetos de dados são normalmente referidos como registros ou linhas Armazenamento em objetos de dados Um Atributo representa uma característica aspecto ou dimensão de um Objeto de Dado Atributos descrevendo o Objeto de Dado PESSOA podem incluir por exemplo CPF identificação Nome Endereço Sexo Data de Nascimento Nome da Mãe Estado Civil Educação etc Quando armazenados em um Banco de Dados os Atributos ou Dados são usualmente referidos como Colunas ou Campos Data warehouse é um depósito de dados digitais que serve para armazenar informações detalhadas relativamente a uma empresa Um Data mart é uma subdivisão ou subconjunto de um data warehouse Os data marts são como pequenas fatias de data warehouse que armazenam subconjuntos de dados Normalmente o data mart é direcionado para uma linha de negócios ou equipe Consolidação dos objetos em Repositório de dados Características das ferramentas para análise dos dados Medição Medidas de desempenho e de benchmarking Análise Análise de dados e descoberta de características do negócio Visualização Criação de painéis dinâmicos e visualizações Integração Mecanismos para interoperar com outras ferramentas para troca de dados e de resultados analíticos Conhecimento Gerenciamento do conhecimento do negócio O que é Business Intelligence Business Intelligence é um termo cunhado pelo Gartner Group em 1992 e que o define como Um conjunto de conceitos métodos e recursos tecnológicos que habilitam a obtenção e distribuição de informações geradas a partir de dados operacionais históricos e externos visando proporcionar subsídios para a tomada de decisões gerenciais e estratégicas Business Intelligence e Business Analytics BUSINESS ANALYTICS BA BUSINESS INTELLIGENCE BI Soluções usadas para construir modelos de análise e simulações para criar cenários entender realidades e prever estados futuros BA é proativo altamente técnico e foco no futuro para Prever tendências Descobrir padrões Prescrever ações para melhores resultados Métodos usados Coleta de dados e multimidia Modelos Descritivos Simulação e otimização Análises quantitativas e estatísticas Benefícios Melhorar a qualidade de decisões 82 Melhorar o planejamento e previsões 76 Ter dados consistentes em toda a empresa 73 Aprimorar a velocidade simplicidade e facilidade de uso 68 Abaixar os custos e aumentar a eficácia operacional 67 Identificar oportunidades de negócios 69 Otimizar ou usar precificação dinâmica 65 Medir a produtividade 63 Otimizar vendas e gastos de marketing 62 Prever comportamento de consumidores 61 Um termo guardachuva que se refere a uma variedade de softwares usados para analisar dados brutos de uma empresa BI é reativo produz relatórios e foco nos dados passados e atuais Garantir entendimento de desempenho Informar a tomada de decisão Identificar problemas de negócio Métodos usados Automação de monitoramento Gestão de desempenho Processamento analítico online OLAP Relatórios KPIs métricas Benefícios Como evoluir na análise de dados Análise Descritiva Data Mining Business Intelligence Data Visualization Dashboards Análise de Diagnóstico O que aconteceu no passado Análise Preditiva Análise Big Data O que pode acontecer no futuro Análise Prescritiva O que precisa ser feito O que aconteceu Porque aconteceu O que vai acontecer Como podemos fazer algo acontecer VALOR DIFICULDADE Fonte Garner httpshbspharvardeduinspiringminds18businessvideosyourefreetouseinclass httpshbrorgvideo2386816175001businessanalyticsdefined DECISÃO Criar estratégias CONHECIMENTO Entender o comportamento do Cliente INFORMAÇÃO Analisar os dados DADOS Obter os dados corretos Porque os dados importam Dados refletem a Realidade Conhecimentos suportam as decisões Horário de Pico Vendas por dia mês ano Ticket médio Faixa de Gasto por loja por período Comparativo de Lojas Como alocar as vendedoras na loja As vendas estão crescendo Este efeito é sazonal Posso realizar uma promoção na loja para compras acima de um valor Quais as lojas com melhor e pior performance Transformando dados em informação e conhecimento de negócio Dados da Compra Ticket Valor da compra LocalLoja Quantidade de itens Preço dos produtos DataHora Dado Informação Conhecimento Quantidade de vendas por produto por período Quantidade de vendas por produto com quebra por preço Lucratividade por produto Modelo de associação de vendas Quais os produtos com maior volume de vendas Quais os produtos com maior lucratividade Descontos nos produtos aumentam as vendas Elasticidade do produto Quem compra um produto possui alta probabilidade de compra de outro produto Dados da Compra Ticket Item de Compra SKU Preço do Produto Quantidade de vendas Custo do Produto Dado Informação Conhecimento Transformando dados em informação e conhecimento de negócio Ticket médio do Cliente Frequência de compras por Cliente Gasto médio do Cliente Concentração de gasto por região Vendas por perfil demográfico Como definir metas de gasto por cliente Onde devo abrir minha próxima loja Como adequar minha oferta ao perfil do meu cliente Quais os melhores clientes da empresa Estou adquirindo clientes melhores ou piores visão safra Dados da Compra Ticket Dados cadastrais do Cliente Programa de Fidelidade Identificador do cliente CPF Endereço Dados de contato Sexo Idade Renda Item de Compra SKU Dado Informação Conhecimento Transformando dados em informação e conhecimento de negócio Dados da Compra Ticket Dados cadastrais do Cliente Programa de Fidelidade Item de Compra SKU Interação do Cliente nos canais Resposta email Resposta SMS Midia Social Vendas por canal Uso do canal por horário Resultado de campanhas Palavraschaves mais utilizadas Como e em qual canal posso abordar minha base de Clientes Como rentabilizar meu gasto em marketing O que o cliente está dizendo sobre minha marca e produtos Dado Informação Conhecimento Transformando dados em informação e conhecimento de negócio Dados da Compra Ticket Dados cadastrais do Cliente Programa de Fidelidade Item de Compra SKU Interação do Cliente nos canais Palavraschaves na busca Autoridade de Domínio Ranking na buscas Menções positivas negativas ou neutras Como o cliente fala da minha marca Como está minha presença orgânica nas buscas Identificar brand lovers e haters Presença da Marca SEO Midia Ganha Dado Informação Conhecimento Transformando dados em informação e conhecimento de negócio Uso de Dados na definição de produtos 2018 Smirnoff Ice Ref Eleonora Diniz httpswwwyoutubecomwatchv4lpteyxudi8 Diferentes origens do dado Tipo de dados Exemplos Utilidade Dados sobre processos de negócio Estoques e cadeia de fornecimento Vendas Faturamento Recursos humanos Gerenciar e otimizar as operações de negócios reduzir riscos elaborar relatórios externos Dados sobre produtos ou serviços Pesquisas Dados externos Dados sobre mapas Dados sobre empresas Dados sobre clima Cumprir a proposta de valor central dos produtos ou serviços da empresa Dados sobre os clientes Compras Comportamento e interações Comentários e revisões Demografia Resposta em pesquisa Oferecer uma visão completa do cliente e permitir interações mais relevantes e valiosas Ref Transformação Digital David Rogers 2019 Dados externos para criação de vantage competitiva Empresa de conteúdo Dados estratégicos 13 da economia dos Estados Unidos é influenciada por variações no clima Previsão de alta e baixa nas vendas Ajustes nas verbas de publicidade e investimentos em mídias sociais Setores atendidos Supermercados Lojas de roupa Seguros Carro Farmácia medicamentos para alergia gripe Automotiva pneus para neve Alimentação Aplicando o conhecimento Discussão em grupo Objetivo Identificar os dados chaves das empresas em que os alunos estão inseridos Responder as seguintes perguntas no Forms Ramo da empresa e departamento Quais os dados chaves de suporte nas decisões no departamento onde você trabalha Que tipo de informações relatórios e análises a empresa utiliza hoje Que tipo de informações relatórios e análises a empresa poderia utilizar visando maior eficiência httpsformsgle1PNXNCDD3XKQUpHb6 Primeiro acesso httpscloudjamoviorg ou Realizar o download do Jamovi em wwwjamoviorg Criar usuário e senha Abertura de arquivo Para abrir o conjunto de dados no jamovi online Salve o conjunto de dados no seu computador arquivo no Moodle Atividades Físicas Se estiver zipado zip descompacte o arquivo cliquedireito extrair tudo extrair Clique nas 3 linhas no canto superior esquerdo Clique em Abrir Este dispositivo Localize a pasta e o arquivo a ser aberto Clique em Abrir Esperar abrir Pronto para uso 1 2 3 4 5 6 1