Revisão para a Prova 1 - Métodos Quantitativos em Processos Decisórios

Métodos Quantitativos em Processos Decisórios AULA 12 Revisão para a Prova 1 Profa Anna Célia Affonso dos Santos Trilha da disciplina Dados e decisões de negócio Transformação Digital Big Data Business Intelligence Evolução Analítica Análise Descritiva Estatística Básica Visualização Preparação do dado Padronização Outliers Teste de Hipóteses Distribuição Normal Teste tstudent Quiquadrado Análises Multivariadas ANOVA Correlação Regressão Conglomerado Fatorial Exercícios práticos Projetos de aplicação DECISÃO Criar estratégias CONHECIMENTO Entender o comportamento do Cliente INFORMAÇÃO Analisar os dados DADOS Obter os dados corretos Porque os dados importam Dados refletem a Realidade Conhecimentos suportam as decisões Dados e Análises são chave para a Aceleração Digital Viabilizam Diferenciação Competitiva Inovação Automação e processos eficientes Novos modelos de negócio Como evoluir na análise de dados Análise Descritiva Data Mining Business Intelligence Data Visualization Dashboards Análise de Diagnóstico O que aconteceu no passado Análise Preditiva Análise Big Data O que pode acontecer no futuro Análise Prescritiva O que precisa ser feito O que aconteceu Porque aconteceu O que vai acontecer Como podemos fazer algo acontecer VALOR DIFICULDADE Fonte Garner Como definir a técnica adequada de análise INÍCIO Quantas variáveis são analisadas simultaneamente Análise univariada Análise bivariada Análise multivariada Média Desvio Padrão Mediana Desvio quartílico Moda Frequência absoluta Coef Corr Linear Regressão Simples UMA DUAS MAIS DE DUAS ANOVA Regressão Múltipla Análise Fatorial A segunda língua da organização O Vocabulário da Informação UTILIZAÇÃO DO DADO V I A O Modelo VIA Gartner Análises Quais métodos analíticos são aplicados para o os dados Informação Quais dados e fontes estão envolvidas Valor Qual a questão ou problema de negócio que quero responder Como irá trazer valor para o negócio Variáveis e mensuração 3 Não métricas ou Qualitativas Nominal Ordinal Métricas ou Quantitativas Intervalar Razão Classifica as unidades em classes ou categorias As categorias se diferenciam apenas pelo nome Classifica as unidades em classes ou categorias estabelecendo uma relação de ordem entre as unidades das diferentes categorias Possui uma unidade de medida constante A origem ou ponto zero é arbitrário Possui uma unidade de medida constante A origem ou ponto zero expressa ausência de quantidade Classificação com relação ao número de categorias Variável Categórica Qualitativas Dicotômica ou Binária Dummy Policotômica Variável Métricas Quantitativas Discreta Contínua Assume duas categorias 1 característica está presente 0 característica não está presente Assume mais do que duas categorias Conjunto finito e enumerável contagem Intervalo de números reais Tipos de variáveis Variável qualitativa Escala categórica Nominal Dicotômica ou Policotômica Ordinal Variável quantitativa Escala numérica escalar cardinal Escala Discreta ou contínua Princípios da geração de insights Visualizar o dado Acrescentar conhecimentoexpertise no assunto e mercado Usar Comparações e Benchmarks Apresentações tabulares e gráficos para sintetizar dados Ref Anderson et al 2021 Medidas estatísticas Medidas de tendência central Média Média Ponderada Mediana Moda Medidas Separatrizes Medidas de dispersão ou variabilidade Amplitude ou range Amplitude interquartil Variância Desvio Padrão Coeficiente de variação Boxplots Diagramas em caixa Apresentação gráfica de dados que se baseia em Menor valor Primeiro quartil Q1 Mediana Q2 Terceiro valor Q3 Maior valor No excel Gráficos estatísticos Caixa Estreita Possibilita a identificação de outliers Padronização de Variáveis Tratase de um procedimento para possibilitar a comparação de variáveis que apresentam Medidas extraídas em diferentes situações Medidas em diferentes ordens de grandeza eou Transformações possíveis para padronização da variável A variável padronizada terá média 0 e desviopadrão 1 Z Score A variável padronizada terá amplitude 1 Range 1 A variável padronizada terá amplitude 1 Range 1 A variável padronizada terá máximo igual a 1 Máxima magnitude A variável padronizada terá media 1 Média A variável padronizada terá desviopadrão 1 Desvio Padrão 𝑋 𝑚é𝑑𝑖𝑎 𝑑𝑒𝑠𝑣𝑖𝑜 𝑝𝑎𝑑𝑟ã𝑜 𝑋 𝑎𝑚𝑝𝑙𝑖𝑡𝑢𝑑𝑒 𝑡𝑜𝑡𝑎𝑙 𝑋 𝑚í𝑛𝑖𝑚𝑜 𝑎𝑚𝑝𝑙𝑖𝑡𝑢𝑑𝑒 𝑋 𝑚á𝑥𝑖𝑚𝑜 𝑋 𝑀é𝑑𝑖𝑎 𝑋 𝑑𝑒𝑠𝑣𝑖𝑜 𝑝𝑎𝑑𝑟ã𝑜 Escorez O escorez muitas vezes é denominado valor padronizado Pode ser interpretado como o número de desvios padrão que xi está afastado da média Se z1 1 indica que x1 é 1 desvio padrão maior que média amostral Se z2 05 indica que x2 é 05 desvio padrão menor que a média amostral Um escorez igual a zero indica que o valor da observação é igual à média Teste de hipótese Uma hipótese estatística é uma suposição sobre determinado parâmetro da população como média desviopadrão coeficiente de correlação etc Um teste de hipótese é um procedimento para decisão sobre a veracidade ou falsidade de determinada hipótese Para que a hipótese estatística seja validade ou rejeitada com certeza seria necessário examinarmos toda a população o que na prática é inviável Como alternativa extraímos um amostra aleatória da população de interesse Formulação das Hipóteses Normalmente são formuladas duas hipóteses H0 hipótese nula É uma afirmação do status quo É aquela em que as coisas estão acontecendo como esperadas Não há diferença com frequência tem o sinal de igualdade O parâmetro populacional é assumido como o esperado H1 hipótese alternativa que será aceita se não for possível provar que H0 é verdadeira Exemplo H0 mulheres vivem o mesmo ou mais que os homens H1 mulheres vivem menos que os homens Criação de hipóteses As hipóteses podem ter várias formas Onde µ0 é o valor numérico específico que está sendo considerado nas hipóteses nula e alternativa As hipóteses alternativas sempre são o complemento da hipótese nula Teste 1 Bilateral 2 Unilateral 21 À direita 22 À esquerda H0 µ µ0 Ha µ µ0 H0 µ µ0 Ha µ µ0 H0 µ µ0 Ha µ µ0 Criação de hipótese Dicas no Word Houve alteração Qual a probabilidade de ser diferente O efeito aumentou Qual a probabilidade de ser maior O efeito diminuiu Qual a probabilidade de ser menor Comparação de médias Testes paramétricos Normal Testes não paramétricos sim não Tipos de testes Testes paramétricos São usados quando a variável dependente é uma variável intervalarrazão e segue alguns requisitos DISTRIBUIÇÃO CONHECIDA Testes não paramétricos Contém resultados estatísticos provenientes de uso de ordenação São usados para variáveis dependentes do tipo intervalarrazão ou ordinal e para dados distorcidos não normais ou que contém outliers DISTRIBUIÇÃO NÃO CONHECIDALIVRE Distribuição Normal A mais importante distribuição de probabilidade para descrever uma variável aleatória contínua Descreve uma ampla variedade de conceitos como altura e peso das pessoas notas de exames medições científicas Testes estatísticos de normalidade SHAPIROWILK O teste de ShapiroWilk SW é baseado em Shapiro e Wilk 1965 e pode ser aplicado para amostras de tamanho 4n2000 sendo uma alternativa ao teste de normalidade de KolmogorovSmirnovKS no caso de pequenas amostras n30 KOLMOGOROVSMIRNOV O teste de KolmogorovSmirnov KS testa se os valores amostrais são oriundos de uma população com distribuição normal H0 A amostra provém de uma população com distribuição N µσ H1 A amostra não provém de uma população com distribuição N µσ Sig 005 Rejeita Ho Sig 005 Não rejeita Ho p 005 Rejeita Ho p 005 Não rejeita Ho Output dos softwares Artigos de um modo geral usam valorp Ao longo do semestre usaremos vários testes de hipóteses Na hipótese nula ou H zero assumimos que não há diferença não há relação não há efeito ou efeito é nulo Probabilidade de significância Dado que a distribuição é normal na população qual a probabilidade de obtermos uma amostra como essa Se valorp for muito baixo p005 rejeitamos a H0 Nível descritivo ou Valorp Considerando um nível de significância de 95 Distribuição Normal e escoreZ A distância entre a média e um ponto qualquer é dado em número de desvios padrões z Normal padronizada Normal não padronizada z x µ µ x 0 z P P Estimação usando distribuição tstudent Quando não conheço o desvio padrão populacional σ ou minha amostra é muito pequena utilizo a distribuição tstudent para estimar o valor z Na estatística de t o desvio padrão amostral s é usado para estimar o desvio padrão populacional t ҧ𝑥𝜇 𝑠 𝑛 para a tStudent A consulta na tabela retorna o valor de tcrítico considerando um nível de significância e graus de liberdade tamanho da amostra 1 especificados Resumo da estimação intervalar CURVA NORMAL TESTE TSTUDENT Como realizar Testes de Hipótese Passo 1 Interprete a situação de modo a obter a média μ Passo 2 Construa as hipóteses dizendo se é bilateral ou unilateral considerando a média em questão Passo 3 Obtenha o grau de significância Passo 4 Verifique qual o tipo de distribuição mais apropriado normal ou tStudent Como realizar Testes de Hipótese Passo 5 Calcule a estatística de teste usando 𝑍 ҧ𝑥𝜇 𝜎 𝑛 para a normal 𝑡 ҧ𝑥𝜇 𝑠 𝑛 para a tStudent Após 28 dias de curagem o cimento de uma certa marca tem uma resistência compressiva média de 4000psi Suponha que a resistência tem uma distribuição normal com desviopadrão de 120psi Qual a probabilidade de se comprar um pacote de cimento com resistência compressiva de 28 dias menor que 3850psi 1056 01056 1 25 Z P 3850 4000 Escala efetiva Área em vermelho z 125 03944 Área desejada 050 03944 01056 1056 1 25 120 4000 3850 X z 1º Tipo de exercício Especifico ponto x e determino a probabilidade Probabilidade menor que 3850psi Unilateral Média 4000 psi Desvio Padrão 120 psi Ponto X 3850 psi Pz 125 125 0 Escala padronizada A vida média de uma marca de televisão é de 8 anos com desviopadrão de 18 anos A campanha de lançamento diz que todos os produtos que tiverem defeito dentro do prazo de garantia serão substituídos por novos Se você fosse o gerente de produção qual seria o tempo de garantia que você especificaria para ter no máximo 5 de trocas Considerando somente 5 de troca identifico na tabela o z 2º Tipo de exercício Especifico a probabilidade e determino o x Transformo o valor de z no valor efetivo 164 𝑋 8 18 𝑋 8 164 18 𝑋 8 2952 𝑋 504 O gerente deve estipular um tempo de garantia de 5 anos z x µ 3º Tipo de exercício Especifico o grau de confiança e calculo tcrítico e z O INMETRO decidiu inspecionar pacotes de café de 500g de um a determinada marca Aceitase como razoável um desviopadrão de 3g Após pesar 25 unidades selecionadas em diversos mercados chegouse a uma média amostral de 502g Podese afirmar o peso médio do produto atende às especificações Use um nível de confiança de 95 Teste de hipótese para a diferença entre duas médias ou proporções populacionais Ex Diferença entre o salário médio de uma população de homens e o salário médio de uma população de mulheres Tipos de amostras Independentes Duas amostras são independentes se os elementos da amostra um não estão relacionados com os elementos da amostra dois Os grupos são compostos de pessoas diferentes Muitas vezes as amostras tem tamanhos diferentes Ex Masculino e Feminino Baixo e Alto DependentesRelacionadasEmparelhadas Duas amostras são dependentes se cada membro de uma amostra corresponde à um membro da outra amostra Cada pessoa fornece um par de valores de dados são as mesmas pessoas Ex Mesmo indivíduo antes e depois Tipos de teste t 1 amostra Média amostral x diferente da média populacional µ Se p005 média amostra é diferente média populacional p005 médias iguais Independente Testa o efeito de uma variável categórica com dois níveis grupos sob uma variável dependente contínua Se p005 Grupo 1 Grupo 2 efeito do grupo p005 Grupos iguais sem efeito do grupo Pareado Testa o efeito da exposição a uma intervenção ou do tempo pré e pós teste Se p005 Medida 1 Medida 2 efeito da intervenção p005 Medidas iguais sem efeito da intervenção 1 grupo Teste T Simples 2 grupos Correlação Teste T para amostras pareadas Teste T para amostras independentes SIM NÃO SIM SIM NÃO p 005 Rejeita Ho p 005 Não rejeita Ho Teste Paramétrico e não paramétrico Normal Teste Paramétrico Teste Não Paramétrico Teste Mann Whitney independente Teste t simples Teste t independente Teste t pareado SIM NÃO Teste Welch independente 1 amostra 2 grupos distintos Variância Homogênea 1 amostra Teste Wilcoxon 2 grupos distintos Teste Wilcoxon pareado SIM NÃO NÃO SIM SIM NÃO a Comparação de 1 média X valor fixo Distribuição normal teste de ShapiroWilk Usar sim p005 Testet não p005 Nãoparamétrico Wilcoxon b Comparação de 2 médias independentes Distribuição normal teste de ShapiroWilk variância homogênea teste de Levene Usar sim p005 sim p005 Testet sim p005 não p005 Testet de Welch não p005 Nãoparamétrico MannWhitney ou Wilcoxon c Comparação de 2 médias pareadas Distribuição normal teste de ShapiroWilk Usar sim p005 Testet não p005 Nãoparamétrico Wilcoxon Teste de normalidade por grupo Teste de normalidade por variável ou da diferença Uso de testes de comparação de médias