Regressão Linear Simples: Definição, Estimação e Interpretação

Regressão Linear Simples Definição Estimação e Interpretação Professor Guilherme Lopes de Oliveira guilhermeoliveiracefetmgbr Departamento de Computação Centro Federal de Educação Tecnológica de Minas Gerais CEFETMG Relação entre Variáveis Muitos problemas em diversas áreas da ciência envolvem a exploração da relação entre duas ou mais variáveis Tais relações podem ocorrer de diferentes formas Por exemplo o deslocamento de uma partícula em certo tempo está relacionado à sua velocidade Se d0 for o deslocamento da partícula a partir da origem no tempo t 0 e v for a velocidade então o deslocamento no tempo t é dt d0 vt Este é um exemplo de uma relação linear determinística Montgo mery e Runger 2012 pois sem considerar os erros de medida o modelo prevê perfeitamente o deslocamento Entretanto existem muitas situações em que a relação entre variáveis não é determinística seja ela linear ou não Regressão Linear A coleção de ferramentas estatísticas usadas para modelar relações entre variáveis que estão relacionadas de maneira não determinística é chamada de análise de regressão modelagem empírica O objetivo em geral é prever o valor de uma variável dependente ou resposta Y a partir da informação de variáveis independentes ou preditoras X1 X2 Xp Em muitos problemas práticos onde a variável resposta Y é quantita tiva uma estrutura linear pode ser adotada na modelagem e fornecer bons resultados Vamos estudar o caso que há uma relação linear entre a variável resposta Y e uma única variável preditora X A Equação da Reta Figura Diagrama de dispersão para o Exemplo 1 Há uma forte indicação de que os pontos são aleatoriamente disper sos em torno de uma linha reta Assim é razoável considerar que a média da Y esteja relacionada a X pela seguinte relação linear EY X µY X β0 β1X A Equação da Reta Figura Diagrama de dispersão para o Exemplo 1 Há uma forte indicação de que os pontos são aleatoriamente disper sos em torno de uma linha reta Assim é razoável considerar que a média da va Y esteja relacionada a X pela seguinte relação linear EY X µY X β0 β1X O Modelo de Regressão Linear Simples Enquanto a média da va Y é uma função linear de X o seu valor observado não cai exatamente na reta Uma generalização é feita assumindo que para um valor fixado de Xi temse Yi β0 β1Xi ϵi i 1 n onde o intercepto β0 e o coeficiente angular inclinação β1 são coeficientes parâmetros desconhecidos do modelo e ϵi repre senta um termo de erro aleatório Assumese que Eϵi 0 e Varϵi σ2 para todo i implicando em EYiXi β0 β1Xi e VarYiXi Varϵi σ2 Figura Regressão linear simples Fonte Profª Ilka Reis UFMG Interpretação dos Parâmetros O intercepto β0 representa a média de Y quando X 0 e o coeficiente angular β1 representa o quanto varia a média de Y para um aumento de uma unidade da variável X Figura Representação do modelo Bussab e Morettin 2010 Mas Afinal Qual Reta Devemos Utilizar Figura Possíveis retas ajustadas aos dados Fonte Profª Ilka Reis UFMG Estimacdo dos Parametros do Modelo 9 e Jy A estimacdo dos valores de 9 e 3 é feita a partir de uma amos tra de n pares de valores das variaveis resposta e explicativa x1 y1 x y2 sey Xn Yn As estimativas de Go e 3 devem resultar em uma reta que seja em algum sentido o melhor ajuste para os dados O cientista alem4o Karl Gauss 17771855 propds estimar os parametros 39 e 3 de modo a minimizar a soma dos quadrados dos erros SQE sendo SQE SoG S vi Bo Baxi i1 i1 Como SQES oe S yi Bo xi i1 i1 os estimadores de minimos quadrados de Bo 21 OS quais serdo denotados respectivamente por 39 e 3 tém de satisfazer oe A A 2 v Bo Axi 0 OPo d roa A A aa 2 v Bo Axi x 0 OP d As derivadas de segunda ordem sAo 5 2n e 2 x O80 OFT a Apos algumas manipulacdes algébricas no sistema formado por estas duas equacdes podese mostrar o seguinte resultado Os Estimadores de Minimos Quadrados para 9 e 1 sao Bo y fix sr XY Sha xLia S By il XiYi n xy sr 2 S071 x Sux i1 7 A o a yac Apos algumas manipulacdes algébricas no sistema formado por estas duas equacdes podese mostrar o seguinte resultado Os Estimadores de Minimos Quadrados para 3 e 1 sao Bo y fix S Ve Sia xiSia i S By il XiYi n xy yn D ha xi Sxx 4 Xo i1 n A reta estimada ajustada a qual pode ser usada para se fazer previsOes para a média da va Y é entdo denotada por Vi Bo Pix i 1 vey A Exemplo 1 Os dados abaixo relacionam os pesos em centenas de libras e as taxas de consumo de combustível em rodovia em migal para uma amostra de 10 carros de passeio de certo modelo X Peso Y Combustível 29 31 35 27 28 29 44 25 25 31 34 29 30 28 33 28 28 28 24 33 X Peso XY 29 31 841 961 899 35 27 1225 729 945 28 29 784 841 812 44 25 1936 625 1100 25 31 625 961 775 34 29 1156 841 986 30 28 900 748 840 33 28 1089 748 924 28 28 784 748 784 24 33 576 1089 792 310 8857 Logo 10 10 12 n10 yey 310 S772 x 9916 S 306 Sie vi 289 S72 v2 8399 STI2 xiv 8857 Sy 102 Com isto temos que ˆβ1 Sxy Sxx 102 306 0 33 ˆβ0 y ˆβ1x 28 9 0 3331 0 39 13 A reta estimada é então denotada por ˆyi 39 13 0 33xi i 1 n Interpretação ˆβ0 39 13 neste caso representa um nível médio basal para o consumo de combustível em migal já que neste caso X 0 não faz sentido prático ˆβ1 0 33 indica que o consumo de combustível em migal reduz em média 033 unidades quando o peso do carro em centenas de libras é acrescido de uma unidade Com isto temos que ˆβ1 Sxy Sxx 102 306 0 33 ˆβ0 y ˆβ1x 28 9 0 3331 0 39 13 A reta estimada é então denotada por ˆyi 39 13 0 33xi i 1 n Interpretação ˆβ0 39 13 neste caso representa um nível médio basal para o consumo de combustível em migal já que neste caso X 0 não faz sentido prático ˆβ1 0 33 indica que o consumo de combustível em migal reduz em média 033 unidades quando o peso do carro em centenas de libras é acrescido de uma unidade Usando o Modelo Ajustado para Fazer Previsões Uma vez que o modelo tenha sido ajustado ele pode ser usado para prever estimar o valor médio de Y para algum valor de X x0 Idealmente x0 deve estar dentro do intervalo de valores observados de X para evitar extrapolação Se denotamos esta estimativa da média por ˆµx0 EY X x0 então teremos ˆµx0 ˆβ0 ˆβ1x0 Exemplo 1 Se estamos interessados por exemplo em estimar a resposta média de Y quando X 40 então usamos o modelo ajustado para obter ˆµ40 39 13 0 33 40 25 93 Portanto estimase que um carro com peso de 40 centenas de libras terá um consumo médio de 2593 milhas por galão de combustível Usando o Modelo Ajustado para Fazer Previsões Uma vez que o modelo tenha sido ajustado ele pode ser usado para prever estimar o valor médio de Y para algum valor de X x0 Idealmente x0 deve estar dentro do intervalo de valores observados de X para evitar extrapolação Se denotamos esta estimativa da média por ˆµx0 EY X x0 então teremos ˆµx0 ˆβ0 ˆβ1x0 Exemplo 1 Se estamos interessados por exemplo em estimar a resposta média de Y quando X 40 então usamos o modelo ajustado para obter ˆµ40 39 13 0 33 40 25 93 Portanto estimase que um carro com peso de 40 centenas de libras terá um consumo médio de 2593 milhas por galão de combustível Resíduos Note que cada par de observações xi yi satisfaz a relação yi ˆβ0 ˆβ1xi ei sendo ei yi ˆyi chamado de resíduo O resíduo descreve o erro no ajuste do modelo para a iésima observação yi Os resíduos são comumente usados para avaliar a adequação do modelo Exercício Freund 2006 A tabela a seguir mostra há quantas semanas seis pessoas estam trabalhando num posto de inspeção de automóveis e quantos carros cada uma inspecionou entre o meio dia e as 14h em um determinado dia Estime e interprete o modelo de regressão para explicar y em função de x neste problema Exercício Montgomery e Runger 2012 Considere os dados abaixo em que y é a pureza do oxigênio produ zido em um processo químico de destilação e x é a porcentagem de hidrocarbonetos presentes no condensador principal da unidade de destilação Estime e interprete o modelo de regressão para explicar y em função de x neste problema