Revisão para a Prova - Métodos Quantitativos em Processos Decisórios

Métodos Quantitativos em Processos Decisórios AULA Revisão para a Prova 2 Profa Anna Célia Affonso dos Santos Trilha da disciplina Dados e decisões de negócio Transformação Digital Big Data Business Intelligence Evolução Analítica Análise Descritiva Estatística Básica Visualização Preparação do dado Padronização Outliers Teste de Hipóteses Distribuição Normal Teste tstudent Teste Quiquadrado Análises Multivariadas ANOVA Correlação Regressão Fatorial Exercícios práticos Projetos de aplicação Como os dados auxiliam na tomada de decisão Como os dados auxiliam na tomada de decisão Como os dados auxiliam na tomada de decisão Teste quiquadrado Teste Paramétrico e não paramétrico Normal Teste Paramétrico Teste Não Paramétrico Teste Mann Whitney Independente Quiquadrado Teste t simples Teste t independente Teste t pareado SIM NÃO Teste Welch independente 1 amostra 2 grupos distintos Variância Homogênea 1 amostra Teste Wilcoxon Quiquadrado 2 grupos distintos Teste Wilcoxon Pareado Quiquadrado SIM NÃO NÃO SIM SIM NÃO Teste quiquadrado Objetivo Verificar se existem diferenças entre duas amostras Teste nãoparamétrico Pode ser utilizado para dados nominais ordinais e intervalares Comparação entre frequências Amostragem aleatória Frequências esperadas não podem ser muito pequenas Tabela 2x2 nenhuma frequência esperada deve ser menor do que 5 Homens Mulheres Prova A Prova B 20 30 14 26 Exemplo Número de casos analisados frequência em uma tabela 2 x 2 Passos para o teste Quiquadrado no Jamovi 1 passo Realizar o cálculo quiquadrado para a amostra JAMOVI FREQUENCIAS TABELAS DE CONTINGÊNCIA AMOSTRAS INDEPENDENTES EM CÉLULAS SELECIONAR CONTAGENS ESPERADAS Avaliar resultado Amostras distintas se p005 2 passo Avaliar contagens esperadas e observadas JAMOVI Na tabela de contingência em células selecionar as contagens observadas e esperadas 3º Passo Complementar com visualização gráfica da informação JAMOVI ANÁLISES EXPLORAÇÃO ou no teste quiquadrado em GRÁFICOS GRÁFICO DE BARRAS Exemplo de resultado no Teste Quiquadrado A taxa de aprovação é diferente entre homens e mulheres Para verificar se os resultados se a taxa de aprovação é diferente entre homens e mulheres variável binária foi realizado o teste de quiquadrado Como o resultado apresentou valor p001 rejeitase a hipótese nula das amostras serem iguais Ou seja a taxa de aprovação é distinta entre homens e mulheres As aprovações no sexo masculino 42 são superiores do que no sexo feminino 247 sendo estatisticamente diferentes Esta diferença é demonstrada no gráfico de barras ao lado Conceitoschave Teste Quiquadrado Tipos de variáveis Racional do cálculo Tabela de Contingência Validação Estatística Conceitoschave Teste Quiquadrado Tipos de variáveis Racional do cálculo Tabela de Contingência Validação Estatística Qualitativas categóricas Frequências observadas e esperadas Matriz de cruzamento das variáveis Pvalor do teste χ2 005 p 005 Rejeita Ho p 005 Não rejeita Ho ANOVA ANOVA Análise de Variância Técnica estatística para estudar as diferenças entre médias de duas ou mais populações Método estatístico que por meio de teste de igualdade de médias verifica se fatores variáveis independentes produzem mudanças sistemáticas em alguma variável de interesse variável dependente EXEMPLO Os usuários frequentes médios ocasionais ou não usuários de cereais diferem em sua preferência pelo cereal Total Fator variável independente Uso do produto frequente médio eventual e nenhum Variável dependente preferência pelo Cereal medida em escala razão Tratamento Uma combinação determinada de níveis de fator N de grupos 1 ou 2 Testet Student Normal Testes não paramétricos Wilcoxon MannWhitney sim Ho μ1 μ2 Ho μ1 μ2 μ3 μp não 3 ou Normal Testes não paramétricos KruskalWallis sim não σ1 σ2 Testet Welch sim não ANOVA Fisher σ1 σ2 σp ANOVA Welch sim não Escolha do método e análise O nível de promoção incentiva as vendas Banco de dados malhotra 435 ANOVAsav Vendas é uma variável quantitativa e promoção é uma variável ordinal com 3 categorias Portanto devese utilizar ANOVA para comparação das médias de vendas Inicialmente avalio os pressupostos para escolha do teste recomendado Como o teste de normalidade retornou p0327 005 vendas possui distribuição normal Como o teste de Levene retornou p0275 005 vendas apresenta variância homogênea Portanto o teste ANOVA recomendado é o de Fischer O teste de Fischer apresenta p0001 indicando rejeição da hipótese nula de igualdade das médias Ou seja pelo menos uma média das vendas em uma das promoções é diferente das demais 3 1 2 O nível de promoção incentiva as vendas Banco de dados malhotra 435 ANOVAsav Para verificar a diferença nas médias utilizo o Teste de Tukey É possível afirmar que as médias das vendas com promoção elevada média e baixa são diferentes entre si Análise gráfica O gráfico mostra as linhas dos valores da médias em cada tipo de promoção Considerando o intervalo de confiança as médias são diferentes alturas diferentes 2 FATORES níveis de promoção alto médio baixo níveis de cupom não sim Se fizéssemos análises separadas seriam duas ANOVA uma com 3 grupos e outra com 2 Com a ANOVAII comparamos as médias de todos os grupos de uma vez só Cupom Promoção baixo médio alto não 4 5 6 sim 1 2 3 Em vez de 5 grupos temos 6 Assim conseguimos avaliar a interação ANOVA para 2 ou mais fatores Exemplo em que há interação forte Vendas baixo médio alto Promoção Cupom sim Cupom não ANOVA para 2 ou mais fatores Passos para o teste ANOVA no Jamovi 1 passo Escolher o tipo de teste JAMOVI ANOVA ANOVA A 1 FATOR No teste marcar todas as variâncias as estatísticas adicionais e a verificação de pressupostos 2 passo Avaliar o resultado Avaliar inicialmente os pressupostos para depois avaliar o resultado de ANOVA p 005 rejeita H0 ou seja as médias são diferentes 3º Passo Rodar o teste Tukey para verificar a diferença entre as médias JAMOVI Dentro de ANOVA a 1 fator TESES POSTHOC Marcar Tukey e Sinalizar comparações significativas ANOVA a 1 fator 1 variável dependente e somente 1 independente ANOVA 1 variável dependente e duas independentes 1 passo Escolher o tipo de teste JAMOVI ANOVA Avaliar os resultados para cada variável e para a interação entre elas p 005 rejeita H0 ou seja as médias são diferentes 2 passo Avaliar graficamente a interação entre as variáveis JAMOVI Dentro de ANOVA MÉDIAS MARGINAIS ESTIMADAS Colocar as duas variáveis independente em Termo 1 Conceitoschave Teste ANOVA Tipos de variáveis Racional do cálculo Escolha do teste pressupostos Validação Estatística Verificação Gráfica Conceitoschave Teste ANOVA Tipos de variáveis Racional do cálculo Escolha do teste pressupostos Validação Estatística Verificação Gráfica Quantitativas com análise para 3 ou mais categorias Teste F Variância entre e dentro dos grupos Normalidade e homegeneidade das variâncias pvalor do teste F 005 Teste de Tukey e Visualização gráfica Médias marginais estimadas interação entre fatores p 005 Rejeita Ho p 005 Não rejeita Ho Análise de Correlação Definição de Correlação Duas variáveis são ditas correlacionadas se as mudanças em um variável são associadas com as mudanças na outra HAIR Jr p 139 2005 Correlação momentoproduto r Estatística que resume a intensidade da associação entre duas variáveis métricas MALHOTRA p 455 2001 Y Y Y Y X X X X Forte relação positiva Ausência de relação Fraca relação negativa Relação linear perfeita Gráficos de dispersão Medidas de correlação COVARIÂNCIA COEFICIENTE DE CORRELAÇÃO DE PEARSON Mede a variação conjunta entre duas variáveis quantitativas X e Y Determina se existe uma relação linear entre X e Y Coeficiente de correlação de Pearson r Indicador da força de uma relação linear entre duas variáveis Sinal Positivo crescimento no mesmo sentido Negativo crescimento em sentidos opostos Nulo não há relação entre as variáveis Magnitude Alta associação forte entre variáveis Baixa associação fraca entre variáveis Regra geral Módulo abaixo de 03 baixa Módulo acima de 07 alta EXEMPLO 08 Alta correlação positiva 08 Alta correlação negativa Atenção ao rodar a correlação Pressupostos da correlação Variáveis numéricas Relação linear reta Ausência de outliers As duas variáveis analisadas possuem distribuição normal Correlação de Pearson Pelo menos umas das variáveis não possui distribuição normal ou é medida em escala ordinal Correlação de Spearman Passos para rodar a correlação 1º passo Verificar se variável escalar ou qualitativa ordinal Jamovi VARIÁVEIS 2º passo Verificar presença de observações outliers Jamovi ANÁLISES EXPLORAÇÃO GRÁFICOS BOX PLOT 3º passo Para variável escalar verificar pressuposto de normalidade Jamovi ANÁLISES EXPLORAÇÃO ESTATÍSTICA DESCRITIVA ESTATÍSTICAS NORMALIDADE 4º passo Para duas variáveis analisar gráfico de dispersão Jamovi EXPLORAÇÃO GRÁFICO DE DISPERSÃO 5º passo Rodar Matriz de correlação Jamovi ANÁLISE REGRESSÃO MATRIZ DE CORRELAÇÃO Se variáveis com distribuição normal avaliar Correlação de Pearson default Se pelo menos uma das variáveis com distribuição não normal avaliar Correção de Spearman 6º passo Primeiro avaliar se correlação é significativa p005 Se sim analisar o resultado da correlação Comentar Exemplo de resultado na Correlação Qual variável tem maior relação com o IMC Inicialmente utilizando o gráfico Box Plot foi possível verificar que a base não possui outliers Em seguida através do teste de normalidade foi possível constatar que as variáveis não seguem uma distribuição normal p001 indicando que o teste adequado de correlação é o de Spearman Analisando a matriz de correlação foi possível identificar que a variável com maior correlação com o IMC é o peso r0970 Conceitoschave Correlação Tipos de variáveis Racional do cálculo Escolha do teste pressupostos Validação Estatística Verificação Gráfica Conceitoschave Correlação Tipos de variáveis Racional do cálculo Escolha do teste pressupostos Validação Estatística Verificação Gráfica Quantitativas Estatística r Correlação de Pearson ou Spearman Normalidade pvalor do teste 005 Gráfico de Dispersão ou Matriz Análise de Regressão Como utilizar técnicas multivariadas PROCEDIMENTO MULTIVARIADOS Métodos de Interdependência ou dependência Objetivo Classificação e Agrupamento Redução de Dados Exemplos de técnicas Análise de Conglomerado Análise Fatorial Escalonamento Análise de Correspondência Objetivo Investigação de dependência Previsão Exemplos de técnicas Regressão Múltipla Regressão Logística Análise Discriminante Análise Conjunta MÉTODOS DE INTERDEPENDÊNCIA MÉTODOS DE DEPENDÊNCIA O que é a análise de regressão Y b0 b1 V1 b2 V2 e Técnica utilizada para analisar a relação entre uma única variável dependente e diversas variáveis independentes preditoras O conjunto de variáveis independentes ponderadas forma a equaçãomodelo de regressão Quando utilizar Quando as variáveis dependente e independentes são métricas ou adequadamente transformadas Variável Dependente métrica Intercepto Coeficiente De Regressão Variável Independente métrica Erro Resíduo Análise do Modelo de Regressão Avaliar as variáveis independentes VI que entraram no modelo Nas medidas de ajustamento do modelo R2 E R2 ajustado da variância da Variável dependente que é explicada pelo modelo Coeficientes do modelo Utilizados para escrever a equação Estimativas estandardizadas Avalia a força ou importância da VI para explicar a VD Valorp Testa a hipótese que cada coeficiente é igual a zero se p005 rejeitamos H0 e aceitamos que o coeficiente de regressão é significante VI explica parte da variação da VD Regressão Linear Descrever a relação entre duas variáveis Projetar uma das variáveis dependente em função da outra preditora independente Etapas para realizar a regressão linear Análise da regressão linear múltipla 1 Identificar se existe correlação entre as variáveis 2 Verificar a qualidade da projeção 21 Avaliar confiabilidade estatística 22 Avaliar resíduos 3 Escrever a equação da regressão Regressão Linear Múltipla Descrever a relação entre três ou mais variáveis Projetar uma das variáveis dependente em função das outras preditoras independentes Etapas para realizar a regressão linear Análise da regressão linear múltipla 1 Identificar se existe correlação entre as variáveis 2 Manter no modelo variáveis independentes com baixa correlação 3 Verificar a qualidade da projeção 21 Avaliar confiabilidade estatística 22 Avaliar resíduos 4 Escolher modelo com maior R2 5 Escrever a equação da regressão Passos para análise de regressão no Jamovi 1º Passo Avaliar Correlação entre as variáveis JAMOVI Análises Exploração Gráfico de Dispersão JAMOVI Análises Regressão Matriz de Correlações 2º Passo Rodar a análise de regressão múltipla Jamovi Análises Regressão Regressão Linear 3º Passo Avaliar multicolinearidade Jamovi Regressão Linear Verificação de Pressupostos Estatísticas de Colinearidade Se VIF5 existe multicolinearidade 4º Passo Excluir as variáveis independentes com maior pvalue excluir uma variável por vez 5º Passo Teste a normalidade dos resíduos no modelo final Jamovi Regressão Linear Verificação de Pressupostos Teste à normalidade e Gráfico QQ Resíduos 6º Passo Avaliar o coeficiente de determinação R2 ou R2 ajustado e o valorp do teste F 7º Passo Escrever a fórmula final da regressão Rodar e comentar as análises Exemplo de resultado na Análise de Regressão A imagem do fabricante x4 depende das variáveis x1 X2 X5 X7 e x8 Inicialmente rodando a análise de correlação foi possível verificar que existem variáveis com alta correlação com a variável x4 x2 x5 e x7 Foi necessário rodar a análise de regressão mais de uma vez excluindo as variáveis com p005 Após este processo as variáveis x5 e x7 mostraram ser estatisticamente significantes para determinar o valor de x4 O teste de colinearidade foi atendido com valores de VIF menores do que 5 Os testes de normalidade foram atendidos com p005 No entanto o modelo apresenta R2 ajustado de 0136 possuindo baixa previsão para a variável x4 A equação do modelo é x4 2804 0468x5 0155x7 Conceitoschave Regressão Tipos de variáveis Análise prévia Racional do cálculo Validação Estatística Análise de Resultado Conceitoschave Regressão Tipos de variáveis Análise prévia Racional do cálculo Validação Estatística Análise de Resultado Dependente Quantitativa PreditorasIndependentes Quantitativas ou dummy Correlação entre as variáveis preditoras e dependente Equação de regressão cálculo do intercepto e dos coeficientes das variáveis VIF 5 ausência de multicolinearidade entre as variáveis preditoras Coeficientes das variáveis significante 005 Modelo significativo Teste F 005 Normalidade dos resíduos Shapiro com pvalor 005 Valor R2 Coeficiente de Determinação de variância explicada pelo modelo Definição da equação de Regressão Análise Fatorial ANÁLISE FATORIAL Técnica de análise multivariada que identifica um número relativamente pequeno de fatores que podem ser usados para representar relações entre muitas variáveis que estão interrelacionadas Um tipo de processo destinado essencialmente à redução e à sumarização dos dados Premissas Existência de estrutura subjacente no conjunto de variáveis Variáveis conceitualmente válidas apoio em referências bibliográficas Tamanho da amostra No mínimo 50 casos e de preferência maior ou igual a 100 proporção de pelo menos 5 casos observações por variável Lógica da Análise Fatorial Variáveis que apresentam correlação expressiva compartilham algum fator em comum que poderá substituílas preservandose uma boa da variabilidade dos dados originais Principais estatísticas da técnica Específicas Correlação entre pares de variáveis Carga fatorial Comunalidade MSA Measure Sample Adequacy Medida de Adequação da Amostra da variância dos dados explicada por cada fator Gerais KMO Kaiser Meyer Olkin da variância dos dados explicada por todos os fatores juntos Teste de Bartlett Comunalidade Soma dos quadrados das cargas fatoriais para cada variável variância de cada variável captada pelos fatores em conjunto Desejável valores maiores ou iguais a 50 Os valores das comunalidades são os mesmos antes e depois da rotação ANTES DA ROTAÇÃO 91 07392 02274 01056 04032 02095 Cargas ao quadrado 0546417 0051711 0011151 016257 004389 Comunalidade 0815739 Comunalidade 082 DEPOIS DA ROTAÇÃO 91 02829 00351 0802 01447 02652 Cargas ao quadrado 0080032 0001232 0643204 0020938 0070331 Comunalidade 0815738 Comunalidade 082 Passos para rodar a análise fatorial 1 Verificar se existe correlação entre as variáveis 11 Em regressão avaliar Matriz de correlação 12 Em fator avaliar Mapa Térmico de correlação em Análise de Fiabilidade 2 Rodar análise fatorial e verificar pressupostos 21 Correlações significativas Bartlett 005 22 Adequação da amostra KMO e MASMAA 05 Retirar fatores escolhendo o fator com menor MAA 3 Definir número de fatores 31 Variável pode ser analisada dentro do grupo Singularidades 05 32 Verificar quais variáveis pertencem a cada fator Selecionar maior beta de cada fator 33 Verificar variância explicada pelos fatores de variância total e acumulada 34 Valores próprios 1 e Gráfico de Declive Scree Plot 4 Nomear os fatores 41 Gravar pontuação dos componentes Rodando a Fatorial no Jamovi 1º Verificar variáveis do banco de dados Jamovi VARIÁVEIS 2º Verificar se as variáveis estão correlacionadas Jamovi ANÁLISE REGRESSÃO MATRIZ DE CORRELAÇÃO ANÁLISES FATOR ANÁLISE DE FIABILIDADE Escolher variáveis e Marcar MAPA TÉRMICO DE CORRELAÇÃO 3º Verificar pressupostos Jamovi ANÁLISES FATOR ANÁLISE COMPONENTES PRINCIPAIS OU ANÁLISE FATORIAL EXPLORATÓRIA O teste de especificidade de Bartlett p005 indica que existem relações significativas Fatores com MAS menores do que 05 devem ser eliminados um por vez Buscar KMO 05 4º Rodar análise fatorial rotação Varimax Jamovi ANÁLISES FATOR ANÁLISE COMPONENTES PRINCIPAIS 5º Verificar medidas de ajustamento do modelo e determinar número de fatores Singularidade 05 de variância total 60 Autovalores 1 e Scree Plot 6º Nomear os fatores Exemplo de resultado na Análise Fatorial Quais os benefícios que os consumidores esperam da compra de um dentifrício Inicialmente rodando a análise de correlação foi possível verificar que existem dois grupos de variáveis com alta correlação 1 previnecaries gengivassadias e dentesadionaoimportante 2 dentesclaros hálitopuro e denteatraente Após rodar a análise fatorial validouse que os pressupostos foram atendidos com KMO05 e MAA das variáveis 05 Como o teste de esfericidade de Bartlett possui valor 005 existem relações significativas entre as variáveis A singularidade 05 das variáveis validam que todas devem compor a análise fatorial Foram reduzidas 6 variáveis para 2 fatores nomeados como Benefício para a saúde e Benefício social Os dois fatores explicam 825 da variabilidade dos dados originais FATOR 1 Benefício para a saúde FATOR 2 Benefício social Conceitoschave Fatorial Tipos de variáveis Análise prévia Validação Estatística Definição do número de fatores Nomeação dos fatores Conceitoschave Fatorial Tipos de variáveis Análise prévia Validação Estatística Definição do número de fatores Nomeação dos fatores Quantitativas Correlação entre as variáveis Singularidade 05 ou Comunalidade 05 KMO e MAA validação da amostra 05 Teste de Bartlett pvalor 005 Variância explicada maior do que 70 Fatores com valores próprios 1 Análise das variáveis que explicam o fator maior coeficiente na linha Bons estudos annasantosmackenziebr