Análise de Regressão e Correlação: Modelos Probabilísticos e Inferências

UNIDADE 08 UNIDADE 08 Sabrina Alves de Freitas sabrinaafcearufpbbr REGRESSÃO E CORRELAÇÃO REGRESSÃO E CORRELAÇÃO Análise de Regressão Modelo Probabilístico Linear Método dos mínimos quadrados Inferências sobre o parâmetro de inclinação b1 Correlação Inferências sobre o coeficiente de correlação populacional r REGRESSÃO E REGRESSÃO E CORRELAÇÃO CORRELAÇÃO Análise de regressão Objetivo Objetivo Explorar a relação entre duas ou mais variáveis de modo que possamos obter informações sobre uma delas por meio dos valores conhecidos das outras Análise de regressão Exemplo 081 Suponha que decidamos alugar uma van por um dia e que o valor do aluguel seja R 2500 mais R 030 por quilômetro rodado Sendo x o número de quilômetros rodados e y a despesa de aluguel então y 25 03x A van é dirigida por 100 quilômetros x 100 então y 25 03100 55 X e Y são variáveis que estão relacionadas deterministicamente Análise de regressão A análise de regressão investiga a relação entre duas ou mais variáveis relacionadas de maneira não determinística Exemplos x idade de uma criança e y tamanho do vocabulário dessa criança x tamanho de um motor cm3 e y consumo de combustível de um automóvel equipado com esse motor x força de tração aplicada e y quantidade de alongamento de uma tira de metal Análise de regressão A relação matemática determinística mais simples entre duas variáveis x e y é uma relação linear y b1x b0 X variável independente preditora ou explanatória Y variável dependente ou variável resposta Intercepto Inclinação Modelo probabilístico linear O modelo de regressão linear simples Existem parâmetros b0 b1 e s2 de forma que para qualquer valor fixo da variável independente x a variável dependente é uma variável aleatória relacionada a x por meio da equação modelo y b1x b0 e A quantidade e desvio resíduo ou erro aletatório do modelo na equação do modelo é uma variável aleatória com distribuição normal com Ee 0 e Ve s2 Modelo probabilístico linear Reta que minimiza erros Modelo probabilístico linear y b1x b0 e Þ e y b1x b0 Soma dos erros Não eficaz Modelo probabilístico linear y b1x b0 e Þ e y b1x b0 Soma dos módulos dos erros Não diferenciabilidade na origem Soma dos quadrados dos erros Minimizar é minimizar Derivadas parciais 0 Modelo probabilístico linear y b1x b0 e Þ e y b1x b0 Considere Modelo probabilístico linear y b1x b0 e Þ e y b1x b0 Considere Modelo probabilístico linear y b1x b0 e Þ e y b1x b0 Das equações Podemos encontrar e Modelo probabilístico linear y b1x b0 e Þ e y b1x b0 Além disso Também pode ser escrito como onde Modelo probabilístico linear Proposição 082 A estimativa dos mínimos quadrados do coeficiente de inclinação b1 da reta de regressão verdadeira é A estimativa dos mínimos quadrados do intercepto b0 da reta de regressão verdadeira é Modelo probabilístico linear Exemplo 083 O número de cetano é uma propriedade crítica ao especificar a qualidade de ignição de um combustível usado em um motor a diesel A determinação deste número para o biodiesel é cara e demorada O artigo Relating the cetane number of biodiesel fuels to their fatty acid composition a critical study J of Automobile Engr 2009 565583 incluiu os seguintes dados sobre x índice de iodo g e y número de cetano para uma amostra de 14 biocombustíveis O índice de iodo é a quantidade de iodo necessária para saturar uma amostra de 100g de óleo Os autores do artigo ajustaram um modelo de regressão linear simples a esses dados portanto vamos acompanhar seu raciocínio Modelo probabilístico linear Exemplo 083 As quantidades necessárias para o cálculo manual podem ser obtidas ao colocar os valores x em uma coluna e os valores y em outra e criar colunas para x2 e xy Modelo probabilístico linear Exemplo 083 Modelo probabilístico linear Exemplo 083 Como e Temos Portanto a equação da reta de regressão estimada reta de mínimos quadrados é y75212 02094x Modelo probabilístico linear Exemplo 083 y75212 02094x 50 60 70 80 90 100 110 120 130 140 0 10 20 30 40 50 60 70 fx 021 x 7521 R² 079 Modelo probabilístico linear Os valores ajustados ou preditos são obtidos substituindose sucessivamente x1 xn na equação da reta de regressão estimada Os resíduos são as diferenças entre os valores y observados e ajustados Modelo probabilístico linear Exemplo 084 A alta densidade populacional do Japão provocou milhares de problemas relacionados ao uso de seus recursos Uma dificuldade especialmente importante diz respeito à remoção de lixo O artigo Innovative sludge handling through pelletization thickening Water Research 1999 32453252 descreveu o desenvolvimento de uma nova máquina de compressão para processamento do lodo de esgoto Uma parte importante da investigação relacionou o controle da umidade de grânulos comprimidos y em com a taxa de filtragem da máquina x em kgDSmh Os dados a seguir foram reproduzidos de um gráfico desse artigo Modelo probabilístico linear Exemplo 084 Modelo probabilístico linear Exemplo 084 Modelo probabilístico linear Exemplo 084 60 80 100 120 140 160 180 200 220 74 75 76 77 78 79 80 81 82 fx 004 x 7296 R² 080 Modelo probabilístico linear SQE Somas dos quadrados dos erros Estimativa de s2 Modelo probabilístico linear Exemplo 084 Continuação A alta densidade populacional do Japão provocou milhares de problemas relacionados ao uso de seus recursos Uma dificuldade especialmente importante diz respeito à remoção de lixo O artigo Innovative sludge handling through pelletization thickening Water Research 1999 32453252 descreveu o desenvolvimento de uma nova máquina de compressão para processamento do lodo de esgoto Uma parte importante da investigação relacionou o controle da umidade de grânulos comprimidos y em com a taxa de filtragem da máquina x em kgDSmh Os dados a seguir foram reproduzidos de um gráfico desse artigo Modelo probabilístico linear Exemplo 084 Continuação Modelo probabilístico linear Exemplo 084 Continuação Modelo probabilístico linear Exemplo 085 O artigo Promising quantitative nondestructive evaluation techniques for composite materials Materials Evaluation 1985 561565 relata um estudo para investigar como a propagação de uma onda de tensão ultrassônica por meio de uma substância depende das propriedades dela Os dados a seguir sobre resistência à ruptura x como uma porcentagem da resistência à tração extrema e atenuação y em nepercm o decréscimo de amplitude da onda de tensão em compósitos de poliéster reforçados por fibra de vidro foram reproduzidos de um gráfico apresentado nesse artigo O modelo de regressão linear simples é sugerido pelo padrão linear significativo do gráfico de dispersão Modelo probabilístico linear Exemplo 085 Pela fórmula alternativa Pela definição Modelo probabilístico linear SQT Soma de quadrados total Soma do quadrado dos desvios sobre a média amostral Coeficiente de determinação R2 Proporção da variação do y observado que pode ser explicada pelo modelo de regressão linear simples Quanto mais alto o valor de R2 melhor o modelo de regressão linear simples consegue explicar a variação de y Modelo probabilístico linear Modelo probabilístico linear Exemplo 083 Continuação O número de cetano é uma propriedade crítica ao especificar a qualidade de ignição de um combustível usado em um motor a diesel A determinação deste número para o biodiesel é cara e demorada O artigo Relating the cetane number of biodiesel fuels to their fatty acid composition a critical study J of Automobile Engr 2009 565583 incluiu os seguintes dados sobre x índice de iodo g e y número de cetano para uma amostra de 14 biocombustíveis O índice de iodo é a quantidade de iodo necessária para saturar uma amostra de 100g de óleo Os autores do artigo ajustaram um modelo de regressão linear simples a esses dados portanto vamos acompanhar seu raciocínio Modelo probabilístico linear Exemplo 083 Continuação Modelo probabilístico linear Exemplo 083 Continuação y7521 021x 50 60 70 80 90 100 110 120 130 140 0 10 20 30 40 50 60 70 fx 021 x 7521 R² 079 Exercício 081 O peso X e o nível de colesterol total Y de 20 mulheres selecionadas aleatoriamente no grupo de idade de 30 a 40 anos são dados a seguir Suponha que um modelo de regressão linear simples seja apropriado para esses dados aConstrua um diagrama de dispersão para esses dados bRegistre as estimativas de mínimos quadrados dos coeficientes de regressão Modelo probabilístico linear Inferências sobre o parâmetro de inclinação b1 Proposição 086 Inferências sobre o parâmetro de inclinação b1 Proposição 086 A variável padronizada tem uma distribuição t com n 2 graus de liberdade Inferências sobre o parâmetro de inclinação b1 Como um IC de 1001 a para a inclinação b1 da reta de regressão verdadeira é Inferências sobre o parâmetro de inclinação b1 Exemplo 087 Quando ocorrem danos em uma estrutura de madeira pode ser mais econômico reparar a área danificada do que substituir a estrutura inteira O artigo Simplified model for strength assessment of timber beams joined by bonded plates J of Materials in Civil Engr 2013 980990 investigou uma determinada estratégia de reparos Os dados a seguir foram utilizados pelos autores do artigo como base para ajustar o modelo de regressão linear simples A variável dependente é y carga de ruptura N e a variável independente é comprimento de ancoragem o comprimento adicional do material utilizado para conectar a junção em mm Inferências sobre o parâmetro de inclinação b1 Exemplo 087 x 50 50 80 80 110 110 140 140 170 170 y 17052 14063 26264 19600 21952 26362 26362 26754 31654 32928 40 60 80 100 120 140 160 180 0 5000 10000 15000 20000 25000 30000 35000 Inferências sobre o parâmetro de inclinação b1 Exemplo 087 x 50 50 80 80 110 110 140 140 170 170 y 17052 14063 26264 19600 21952 26362 26362 26754 31654 32928 40 60 80 100 120 140 160 180 0 5000 10000 15000 20000 25000 30000 35000 fx 123643 x 10698333 R² 0829 Inferências sobre o parâmetro de inclinação b1 Exemplo 087 Inferências sobre o parâmetro de inclinação b1 Exemplo 087 Inferências sobre o parâmetro de inclinação b1 Procedimentos de testes de hipóteses Inferências sobre o parâmetro de inclinação b1 Procedimentos de testes de hipóteses O par de hipóteses sobre b1 mais comumente encontrado é H0 b1 0 versus Ha b1 ¹ 0 Quando H0 é verdadeira mY x b0 independentemente de x Então o conhecimento de x não dá informações a respeito do valor de y O teste dessas duas hipóteses em geral é chamado teste de utilidade do modelo na regressão linear simples A menos que n seja muito pequeno H0 será rejeitada e a utilidade do modelo será confirmada precisamente quando R2 for razoavelmente grande Inferências sobre o parâmetro de inclinação b1 Exemplo 088 As scooters são bastante populares na Europa porque são baratas e fáceis de operar No entanto podem ser perigosas se as características de desempenho forem modificadas Um dos aspectos comumente manipulados é a velocidade máxima O artigo Procedure to verify the maximum speed of automatic transmission mopeds in periodic motor vehicle inspections J of Automotive Engr 2008 16151623 incluiu uma análise de regressão linear simples das variáveis x velocidade do teste em circuito kmh e y velocidade do teste de rolamento Os dados a seguir foram reproduzidos de um gráfico desse artigo x 422 426 433 435 437 441 449 453 457 y 44 44 44 45 45 46 46 46 47 x 457 459 46 462 462 468 468 471 472 y 48 48 48 47 48 48 49 49 49 Inferências sobre o parâmetro de inclinação b1 Exemplo 088 41 42 43 44 45 46 47 48 41 42 43 44 45 46 47 48 49 50 fx 1083 x 2224 R² 0923 Inferências sobre o parâmetro de inclinação b1 Exemplo 088 41 42 43 44 45 46 47 48 41 42 43 44 45 46 47 48 49 50 fx 1083 x 2224 R² 0923 Correlação O coeficiente de correlação amostral r para os n pares x1 y1 xnyn é O valor de r independe das unidades com as quais x e y são medidos 1 r 1 r 1 se e somente se todos os pares xi yi estiverem alinhados em linha reta crescente ou decrescente Inferências sobre o coeficiente de correlação populacional r Inferências sobre o coeficiente de correlação populacional r Exemplo 089 O artigo Lipid peroxidation in workers exposed to manganese Scand J of Work and Environ Health 1996 381386 apresenta dados sobre x concentração de manganês no sangue ppb e y concentração mmolL de malondialdeído um produto estável de peroxidação lipídica ambos para uma amostra de 22 trabalhadores expostos ao manganês e para uma amostra controle de 45 indivíduos O valor de r da amostra controle é 029 do qual Inferências sobre o coeficiente de correlação populacional r Exemplo 089 Em relação à amostra de trabalhadores expostos Inferências sobre o coeficiente de correlação populacional r O procedimento para testar H0 r r0 quando r0 ¹ 0 não é equivalente a qualquer procedimento da análise de regressão A estatística de teste assim como uma fórmula do intervalo de confiança é baseada em uma transformação de R desenvolvida pelo estatístico R A Fisher Inferências sobre o coeficiente de correlação populacional r Inferências sobre o coeficiente de correlação populacional r Inferências sobre o coeficiente de correlação populacional r Exemplo 0810 O artigo Size effect in shear strength of large beams behavior and finite element modelling Mag of Concrete Res 2005 497 509 tratou a respeito de um estudo de diversas características de grandes vigas rasas e profundas de concreto armado testadas até a falha Considere os seguintes dados em que x resistência do cubo e y resistência do cilindro ambas em MPa Inferências sobre o coeficiente de correlação populacional r Exemplo 0810 Inferências sobre o coeficiente de correlação populacional r Exemplo 0810 Nossa interpretação anterior da correlação positiva moderada foi 05 r 08 portanto gostaríamos de testar H0 r 05 versus Ha r 05 Logo o valor calculado de V é A hipótese nula pode portanto ser rejeitada no nível de significância 005 mas não no nível 001 Inferências sobre o coeficiente de correlação populacional r Inferências sobre o coeficiente de correlação populacional r Exemplo 0811 Referindonos a Leonardo da Vinci sabiase que x altura e y envergadura medida da ponta do dedo de uma das mãos à da outra mão com os braços totalmente estendidos lateralmente estão intimamente relacionadas Eis as medidas de uma amostra aleatória de alunos fazendo um curso de estatística Inferências sobre o coeficiente de correlação populacional r Exemplo 0811 Um diagrama de dispersão mostra um padrão linear aproximado 62 64 66 68 70 72 74 76 0 10 20 30 40 50 60 70 80 90 fx 1194 x 12737 R² 0888 Inferências sobre o coeficiente de correlação populacional r Exemplo 0811 Observe que o intervalo inclui somente valores que excedem 08 por isso aparentemente existe uma forte associação linear entre as duas variáveis na população amostrada Inferências sobre o coeficiente de correlação populacional r Exercício 082 Consulte o exercício 081 a Teste a hipótese H0 b1 0 contra Ha b1 0 com 005 α b Teste a hipótese H0 0 contra H ρ a 0 com 005 ρ α Calcule o valor p c Construa um intervalo bilateral de confiança de 95 para o coeficiente de correlação