Slide - Regressão

Estatística II Prof. Moacir Manoel Rodrigues Junior Regressão UFRJ Regressão Linear Múltipla Regressão Variáveis Dependente e Independente: • No estudo da regressão deve-se distinguir claramente os conceitos de variável independente e variável dependente. • As variáveis independentes (denotadas por 𝑋1, 𝑋2, … , 𝑋𝑘) são variáveis preditoras ou explicativas de uma variável dependente. • A variável dependente Y é afetada, ou determinada, pelos valores assumidos nas variáveis independentes com algum grau de relacionamento. Também denotada por variável predita. Modelos para uso de Regressões Regressão Exemplos Variável Dependente Variáveis Independentes 𝑌 – produção agrícola 𝑋1 - precipitação pluviométrica 𝑋2 - grau de fertilização do solo 𝑋3 - radiação solar diária média 𝑌 – volume de vendas 𝑋1 - preço do produto 𝑌 – consumo do veículo automotor 𝑋1 - potência do motor 𝑋2 - peso do veículo i Xi Yi 1 2,7 2,2 2 3,8 3,7 3 5,2 2,3 4 6,0 6,6 5 7,0 4,2 6 7,4 8,6 7 9,5 6,7 8 10,0 5,2 9 11,0 9,5 10 12,4 7,0 Tabela de dados: exemplo de uma variável independente (𝑚 = 10) X Y 1 2 10 3 4 5 6 7 8 9 Gráfico de Dispersão Regressão Vamos admitir que o valor esperado de 𝑌 dependem de um conjunto de variáveis aleatórias, ou o que pode ser chamada de valor esperado de 𝑌 condicionado aos valores de 𝑋. 𝐸 𝑌 𝑋 = 𝑌𝑖 = 𝜇 𝑋𝑖 + 𝑢𝑖 Regressão Componente Determinística ou “Prevista” do Valor Observado. Componente Estocástica ou Aleatória do Valor Observado. Admitiremos que os valores de 𝜇 𝑋𝑖 , ou ෠𝑌𝑖, resultem da soma de duas componentes: (i) uma relação linear e determinística chamada de equação de regressão, cujos coeficientes 𝛽𝑖 são chamados de coeficientes da equação de regressão; 𝑌 = 𝛽0 + 𝛽1𝑋 Regressão (ii) um desvio não-explicado 𝑢𝑖, ou erro residual, que é uma variável aleatória, responsável pelas variações de 𝑌𝑖 em torno do valor calculado pela equação de regressão. Desta forma; ෠𝑌𝑖 = ෢ 𝛽0 + ෢ 𝛽1𝑋𝑖 𝑌𝑖 = ෠𝑌𝑖 + 𝑢𝑖 = ෢ 𝛽0 + ෢ 𝛽1𝑋𝑖 + 𝑢𝑖 A respeito destes dados... Y X escolhida uma reta de regressão ෠𝑌 = መ𝛽0 + መ𝛽1𝑋 ...para um ponto qualquer i 𝑌𝑖 𝑢𝑖 iYˆ 𝑋𝑖 ... o erro residual 𝑢𝑖 é a diferença entre o valor observado 𝑌𝑖 e o calculado pela equação de regressão. Regressão Estimador de Mínimos Quadrados Ordinais 10 Da estimação dos coeficientes da Regressão: Para o exemplo da tabela a equação de regressão linear será 𝑌 = 𝛽0 + 𝛽1𝑋 + 𝑢𝑖 No entanto, a partir da tabela de dados, podem-se obter apenas estimativas (aproximações) dos coeficientes 𝛽0, 𝛽1 mediante valores calculados por um método conhecido como Método dos Mínimos Quadrados (Ordinary Least Square- OLS) Mínimos Quadrados Ordinais O objetivo do Método dos Mínimos Quadrados Ordinais é minimizar os desvios entre os valores observados dos valores estimados: min 𝑄 = ෍ 𝑖=1 𝑛 𝑢𝑖 2 = ෍ 𝑖=1 𝑛 𝑌𝑖 − ෠𝑌𝑖 2 Substituindo-se as pela reta de regressão: min 𝑄 𝛽0, 𝛽1 = ෍ 𝑖=1 𝑛 𝑌𝑖 − ෢ 𝛽0 − ෢ 𝛽1𝑋 2 a cada observação i (𝑖 = 1,2, … , 𝑛) corresponde a um erro residual Mínimos Quadrados Ordinais O método dos mínimos quadrados determina os coeficientes 𝛽0, 𝛽1 que minimizam a Variância Não Explicada (VNE). O mínimo ocorre quando as derivadas da VNE em relação aos coeficientes 𝛽0, 𝛽1 se anulam. 𝜕𝑄 𝜕𝛽0 = ෍ 𝑖=1 𝑛 2 −1 𝑌𝑖 − 𝛽0 − 𝛽1𝑋𝑖 = 0 𝜕𝑄 𝜕𝛽1 = ෍ 𝑖=1 𝑛 2 −𝑋𝑖 𝑌𝑖 − 𝛽0 − 𝛽1𝑋𝑖 = 0 Mínimos Quadrados Ordinais           = + + − = + + −   = = 0 .2 0 .2 1 0 1 1 0 2 1 n i i i n i i i i i X Y X X Y X           = + + − = + + −       = = = = = = n i n i i n i i n i i n i i n i i i X Y X X Y X 1 0 1 1 1 1 0 1 2 1 1 0 0           = + + − = + + −      = = = = = n i n i i i n i n i n i i i i i n X Y X X Y X 1 1 0 1 1 1 1 0 2 1 0 0           = + = +      = = = = = n i n i i i n i n i i i i n i i Y n X X Y X X 1 1 0 1 1 1 0 1 2 1     Mínimos Quadrados Ordinais ,13532 ,0 5662X Yˆ + = i Xi Yi XiYi Xi 2 1 2,7 2,2 5,94 7,29 2 3,8 3,7 14,06 14,44 3 5,2 2,3 11,96 27,04 4 6,0 6,6 39,60 36,00 5 7,0 4,2 29,40 49,00 6 7,4 8,6 63,64 54,76 7 9,5 6,7 63,65 90,25 8 10,0 5,2 52,00 100,00 9 11,0 9,5 104,50 121,00 10 12,4 7,0 86,80 153,76 S 75,0 56,0 471,55 653,54 Utilizando-se       = + = +      = = = = = n i n i i i n i n i i i i n i i Y n X X Y X X 1 1 0 1 1 1 0 1 2 1     Mínimos Quadrados Ordinais Valores observados e reta de regressão Valores calculados e resíduos ,13532 ,0 5662X Yˆ + = O método dos mínimos quadrados conduz à equação i Xi Yi Calcul.  i 1 2,7 2,2 2,88 -0,68 2 3,8 3,7 3,50 0,20 3 5,2 2,3 4,30 -2,00 4 6,0 6,6 4,75 1,85 5 7,0 4,2 5,32 -1,12 6 7,4 8,6 5,54 3,06 7 9,5 6,7 6,73 -0,03 8 10,0 5,2 7,02 -1,82 9 11,0 9,5 7,58 1,92 10 12,4 7,0 8,37 -1,37 X Y 1 2 10 3 4 5 6 7 8 9 Mínimos Quadrados Ordinais Regressão - Exemplo Suponha que se deseja conhecer o peso de uma mulher, dada a sua estatura, a partir dos dados da Tabela. Então, deve ser efetuada a regressão das estaturas para os pesos, de forma que está sendo considerada uma relação do tipo 𝑌𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝑢𝑖 ou 𝑝𝑒𝑠𝑜 = 𝛽0 + 𝛽1 𝑒𝑠𝑡𝑎𝑡𝑢𝑟𝑎 + 𝑢𝑖 Regressão Linear Múltipla •Uma regressão linear é considerada múltipla quando existem 𝑘 variáveis independentes utilizadas para estimar o valor de 𝑌. O modelo algébrico é dado por: 𝑌𝑖 = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + ⋯ + 𝛽𝑘𝑋𝑘 + 𝑢𝑖 O modelo de estimação também é usual utilizar o método dos mínimos quadrados (OLS) Inferência em Regressão e Correlação 20 Qualidade do ajuste de Regressões (Coeficiente de Determinação - 𝑹𝟐) Considerando a estrutura de variância do modelo de regressão. ෍ 𝑖=1 𝑛 𝑌𝑖 − ത𝑌 2 = ෍ 𝑖=1 𝑛 ෡𝑌𝑖 − ത𝑌 2 + ෍ 𝑖=1 𝑛 𝑌𝑖 − ෡𝑌𝑖 2 Para 𝑌𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝑢𝑖 ෍ 𝑖=1 𝑛 𝑌𝑖 − ത𝑌 2 = ෍ 𝑖=1 𝑛 ෡𝑌𝑖 − ത𝑌 2 + ෍ 𝑖=1 𝑛 𝑢𝑖 2 O Coeficiente de Determinação seria o equivalente à proporção da variação explicada pelo modelo frente a Variação Total da Variável Dependente: 𝑅2 = 𝑆𝑄𝑅𝑒𝑔 𝑆𝑄𝑇 = 𝑆𝑄𝑅𝑒𝑔 𝑆𝑄𝑅𝑒𝑔 + 𝑆𝑄𝑅𝑒𝑠 = 1 − 𝑆𝑄𝑅𝑒𝑠 𝑆𝑄𝑇 𝑹𝟐 = σ𝒊=𝟏 𝒏 ෢ 𝒀𝒊 − ഥ𝒀 𝟐 σ𝒊=𝟏 𝒏 ෢ 𝒀𝒊 − ഥ𝒀 𝟐 + σ𝒊=𝟏 𝒏 𝒖𝒊 𝟐 = 𝟏 − σ𝒊=𝟏 𝒏 𝒖𝒊 𝟐 σ𝒊=𝟏 𝒏 𝒀𝒊 − ഥ𝒀 𝟐 Significância Geral do Modelo (Análise de Variância – ANOVA) •Teste ANOVA. Serve para verificar se o modelo linear, explica um percentual significativo de 𝑌. 𝐻0 - 𝛽0 = 𝛽1 = ⋯ = 𝛽𝑘 = 0 𝐻1 - existe pelo menos 𝛽𝑗 ≠ 0 •Teste ANOVA. •Assume-se: 𝑉𝑎𝑟 𝑌𝑖 − ത𝑌 = 𝑉𝑎𝑟 𝑌𝑖 − ෠𝑌𝑖 + ෠𝑌𝑖 − ത𝑌 = 𝑉𝑎𝑟 𝑌𝑖 − ෠𝑌𝑖 + ෠𝑌𝑖 − ത𝑌 = 𝑉𝑎𝑟 𝑢𝑖 + ෠𝑌𝑖 − ത𝑌 𝑉𝑎𝑟 𝑌𝑖 − ത𝑌 = 𝑉𝑎𝑟 𝑢𝑖 + 𝑉𝑎𝑟 ෠𝑌𝑖 − ത𝑌 𝑽𝒂𝒓 𝒀𝒊 − ഥ𝒀 = 𝑽𝒂𝒓 ෡𝒀𝒊 − ഥ𝒀 + 𝑽𝒂𝒓 𝒖𝒊 Variância Total Variância Explicada Variância Não-Explicada Significância Geral do Modelo (Análise de Variância – ANOVA) • Teste ANOVA. – Teste F: 𝐹 = Variância Explicada Variância Não−Explicada 𝐹 = 𝑆𝑄𝑅 𝑘 − 1 𝑆𝑄𝑈 𝑛 − 𝑘 = σ𝑖=1 𝑛 ෡𝑌𝑖 − ത𝑌 2 𝑘 − 1 σ𝑖=1 𝑛 𝑢𝑖 2 𝑛 − 𝑘 Testa-se a hipótese por meio da distribuição F-Snedecor (𝐹~𝐹 𝑘 − 1 , 𝑛 − 𝑘 ) Significância Geral do Modelo (Análise de Variância – ANOVA) Erro-Padrão das Estimativas • Erro Padrão da Regressão. 𝑠. 𝑒. = σ𝑖=1 𝑛 𝑢𝑖 2 𝑛 − 𝑘 Significância dos Coeficientes do Modelo (𝜷’s) • Teste Significância dos 𝛽𝑖. Serve para verificar se um determinado coeficiente 𝛽𝑖 é significativamente diferente de zero. 𝐻0 - 𝛽𝑖 = 0 𝐻1 - 𝛽𝑖 ≠ 0 • Teste Significância dos 𝛽𝑖. A estimativa da estatística do teste é dada por: 𝑡𝛽𝑖 = መ𝛽𝑖 ො𝜎𝑖 መ𝛽𝑖 𝑡𝛽𝑖~𝑡(𝑛 − 𝑘) O teste deve ser de duas caldas, ou seja 𝑡𝛼 2. ෝ𝜎𝑖 መ𝛽𝑖 = 𝑠. 𝑒. ∙ 𝑎𝑖𝑖 Onde 𝑎𝑖𝑖 é o elemento da diagonal principal da Matriz das variáveis independentes Significância dos Coeficientes do Modelo (𝜷’s)