Slide - Aula 22 - Regressão Linear Simples - Estatística 2 - 2024-1

Cássius Henrique EST002 – Estatística II Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo ▪ Deseja-se verificar se há relação entre os gastos e as receitas anuais de uma empresa. ▪ As rendas foram pré-estabelecidas por contrato (com validade de 5 anos) e esses valores são: R1 = R$ 220 000,00 R2 = R$ 225 000,00 R3 = R$ 230 000,00 R4 = R$ 235 000,00 Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo Observação Gastos (x1000) em R$ Receitas (x1000) em R$ 1 137 220 2 137 220 3 137 220 4 136 220 5 135 220 6 135 225 7 133 225 8 132 225 9 133 225 10 133 225 11 128 230 12 124 230 13 126 230 14 129 230 15 126 230 16 122 235 17 122 235 18 122 235 19 119 235 20 122 235 Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo – Gráficos para Análise Exploratória dos Dados Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Análise Descritiva Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo 220 225 230 235 120 125 130 135 Dureza ~ Temperatura Temperatura Dureza Gastos Receitas Gastos ~ Receitas Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Modelo de Regressão Linear Simples ▪ Definimos o seguinte modelo de regressão linear simples entre Y (variável resposta) e X (variável regressora ou explicativa). ▪ Consideremos duas variáveis X e Y. Dados n pares (X1,Y1),(X2,Y2),...,(Xn,Yn), se Y é função linear de X, pode-se estabelecer uma regressão linear simples cujo modelo estatístico é: Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Interpretação dos parâmetros do modelo ▪ O parâmetro 0 é chamado intercepto ou coeficiente linear e representa o ponto em que a reta regressora corta o eixo y, quando x = 0. ▪ O parâmetro 1 representa a inclinação da reta regressora e é dito coeficiente de regressão ou coeficiente angular. ▪ Para um aumento de uma unidade na variável x, o valor E(Y|x) aumenta ou diminui 1 unidades. ▪ Observação: Note que os valores de x são fixos (porque constituem a amostra) Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Interpretação dos parâmetros do modelo Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Em um modelo de regressão linear, algumas das principais suposições são: ▪ Linearidade: A relação entre as variáveis independentes (preditoras) e a variável dependente (resposta) é linear. ▪ Independência dos Erros: As observações devem ser independentes umas das outras. Isso significa que não deve haver correlação serial entre os resíduos (erros) ▪ Homoscedasticidade: A variância dos erros deve ser constante ao longo de todos os níveis das variáveis independentes. Em outras palavras, os erros devem ter variância constante ▪ Normalidade dos Erros: Os erros devem seguir uma distribuição normal com média zero. Isso é especialmente importante para a validade dos intervalos de confiança e testes de hipóteses ▪ Ausência de Multicolinearidade: As variáveis independentes não devem ser altamente correlacionadas entre si. Multicolinearidade pode levar a estimativas de coeficientes instáveis e não confiáveis ▪ Ausência de Outliers e Influenciadores Excessivos: Outliers ou pontos de dados que têm uma influência excessiva podem distorcer a relação linear e afetar significativamente os resultados da regressão. ▪ Exogeneidade dos Preditores: As variáveis independentes não devem estar correlacionadas com os erros. Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Endogeneidade vs. Exogeneidade Suponha que uma empresa quer determinar se o treinamento dos funcionários (preditor) afeta a produtividade dos mesmos (variável dependente). ▪ Exogeneidade dos Preditores: Imagine que a empresa oferece um programa de treinamento padrão que é aplicado de maneira uniforme a todos os funcionários, independentemente do nível atual de produtividade deles. Em outras palavras, a decisão de fornecer treinamento é completamente independente do desempenho dos funcionários. ▪ Endogeneidade dos Preditores: Agora, imagine que a empresa decide fornecer treinamento apenas para aqueles funcionários que já são altamente produtivos, na esperança de melhorar ainda mais o desempenho deles. Aqui, a decisão de oferecer treinamento não é independente, pois está baseada no nível atual de produtividade dos funcionários Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Algumas suposições para o modelo Ao estabelecer o modelo linear para os dados, pressupomos que: Assim: Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Consequências dessas suposições • Como Yi é a soma de um termo constante, 0 + 1x, com um termo aleatório, i, • Yi e Yj também não são correlacionados. • A suposição de normalidade é necessária para a elaboração dos testes de hipóteses e obtenção de intervalos de confiança. Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Estimação dos Parâmetros do modelo ▪ Supondo que a relação linear entre as variáveis Y e X é satisfatória, podemos estimar a linha de regressão ▪ O problema de estimar os parâmetros 0 e 1 é o mesmo que ajustar a melhor reta em um gráfico de dispersão. • O Método dos Mínimos Quadrados é uma eficiente estratégia de estimação dos parâmetros da regressão e sua aplicação não é limitada apenas às relações lineares. Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Estimação dos Parâmetros do modelo Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Estimação dos Parâmetros do modelo ▪ Objetivo: estimar os parâmetros 0 e 1 de modo que os desvios (i) entre os valores observados e estimados sejam mínimos. Isso equivale a minimizar o comprimento do vetor de erros i = (1 , 2 , ..., n )t ▪ Uma forma de obter essas estimativas é o Método de Mínimos Quadrados. Este método consiste em minimizar a soma dos quadrados dos desvios L: Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Estimação dos Parâmetros do modelo Derivando, temos: Otimizando, temos: Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Estimação dos Parâmetros do modelo Simplificando as expressões, temos Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Estimação dos Parâmetros do modelo Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Estimação dos Parâmetros do modelo Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Estimação dos Parâmetros do modelo Modelo de regressão linear simples é: Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Notações Importantes! As quantidades x e y são as médias amostrais de x e y . Sxx e Syy são as somas dos quadrados dos desvios das médias __ __ Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Notações Importantes! Sxy é a soma dos produtos cruzados dos desvios de x e y . Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Notações Importantes! Consequências... Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo – Continuação Observação Gastos (x1000) em R$ Receitas (x1000) em R$ 1 137 220 2 137 220 3 137 220 4 136 220 5 135 220 6 135 225 7 133 225 8 132 225 9 133 225 10 133 225 11 128 230 12 124 230 13 126 230 14 129 230 15 126 230 16 122 235 17 122 235 18 122 235 19 119 235 20 122 235 Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo 220 225 230 235 120 125 130 135 Dureza ~ Temperatura Temperatura Dureza Gastos Receitas Gastos ~ Receitas Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo Ajuste o Modelo Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Solução Ajuste o Modelo Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo Observação Receitas (x) Gastos (y) x² y² xy 1 220 137 48.400 18.769 30.140 2 220 137 48.400 18.769 30.140 3 220 137 48.400 18.769 30.140 4 220 136 48.400 18.496 29.920 5 220 135 48.400 18.225 29.700 6 225 135 50.625 18.225 30.375 7 225 133 50.625 17.689 29.925 8 225 132 50.625 17.424 29.700 9 225 133 50.625 17.689 29.925 10 225 133 50.625 17.689 29.925 11 230 128 52.900 16.384 29.440 12 230 124 52.900 15.376 28.520 13 230 126 52.900 15.876 28.980 14 230 129 52.900 16.641 29.670 15 230 126 52.900 15.876 28.980 16 235 122 55.225 14.884 28.670 17 235 122 55.225 14.884 28.670 18 235 122 55.225 14.884 28.670 19 235 119 55.225 14.161 27.965 20 235 122 55.225 14.884 28.670 Soma 4.550 2.588 1.035.750 335.594 588.125 Média 227,5 129,4 Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Solução . Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo – Solução As estimativas dos parâmetros 0 e 1 são, respectivamente Modelo proposto Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Solução Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Resíduos A diferença entre o valor observado Yi e o correspondente valor ajustado Yi, é chamada de resíduo e é denotada por: Propriedade ^ Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Estimador da Variância Residual Assim como os parâmetros 0 e 1 , a variância ² dos termos do erro i precisa ser estimada, já que inferências a respeito da função de regressão e da predição de Y requerem uma estimativa de ². Desta forma, definimos a Soma de Quadrados dos Resíduos (Erros) Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo – Continuação Obtenha uma estimador não viciado para a variância residual Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo – Solução Obtenha uma estimador não viciado para a variância residual Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Distribuição Amostral para 0 e 1 Os parâmetros da regressão linear simples seguem distribuições normais. ^ ^ Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo – Continuação Obtenha as estimativas de variância dos parâmetros do modelo Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo – Solução Obtenha as estimativas de variância dos parâmetros do modelo Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo 125 130 135 -3 -2 -1 0 1 2 3 Fitted values Residuals Residuals vs Fitted 6 12 19 -2 -1 0 1 2 -2 -1 0 1 2 Theoretical Quantiles Standardized residuals Normal Q-Q 6 12 19 125 130 135 0.0 0.4 0.8 1.2 Fitted values Standardized residuals Scale-Location 6 12 19 0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 -2 -1 0 1 2 Leverage Standardized residuals Cook's distance 0.5 0.5 Residuals vs Leverage 19 5 6 Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo 125 130 135 -3 -2 -1 0 1 2 3 Fitted values Residuals Residuals vs Fitted 6 12 19 -2 -1 0 1 2 -2 -1 0 1 2 Theoretical Quantiles Standardized residuals Normal Q-Q 6 12 19 125 130 135 0.0 0.4 0.8 1.2 Fitted values Standardized residuals Scale-Location 6 12 19 0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 -2 -1 0 1 2 Leverage Standardized residuals Cook's distance 0.5 0.5 Residuals vs Leverage 19 5 6 Aula 22 Regressão linear simples: método de estimação dos coeficientes de regressão por mínimos quadrados Cássius Henrique EST002 – Estatística II Exemplo 220 225 230 235 120 125 130 135 Dureza ~Temperatura Temperatura Dureza Gastos Receitas Gastos ~ Receitas