Propriedades dos Estimadores de Mínimos Quadrados 2022-1

O Modelo de Regressão Linear Simples Antonio Matheus Sá Um Modelo Econômico 𝑬(𝒚|𝒙) = 𝝁𝒚|𝒙 = 𝜷𝟏 + 𝜷𝟐 𝒙 Uma função de regressão simples é assim chamada por haver apenas uma variável econômica no lado direito da equação. Os parâmetros de regressão 𝜷𝟏 e 𝜷𝟐 desconhecidos são, respectivamente, o intercepto e coeficiente angulas da função de regressão. Algebricamente, 𝜷𝟐 = ∆𝑬(𝒚|𝒙) ∆𝒙 = 𝒅𝑬(𝒚|𝒙) 𝒅𝒙 , em que ∆ denota a variação e 𝒅𝑬(𝒚|𝒙) 𝒅𝒙 denota a derivada de 𝑬(𝒚|𝒙) em relação a 𝒙. Os parâmetros do modelo 𝜷𝟏 e 𝜷𝟐 são grandezas que ajudam a caracterizar o comportamento econômico e servem de base para a tomada de decisões. Um Modelo Econométrico O modelo 𝑬(𝒚|𝒙) = 𝝁𝒚|𝒙 = 𝜷𝟏 + 𝜷𝟐 𝒙 descreve o comportamento econômico, mas é uma abstração da realidade. Para que o modelo econométrico seja completo, a suposição básica é que a dispersão dos valores de 𝒚 em torno de sua média seja a mesma para todos os níveis de renda 𝒙. Ou seja, 𝒗𝒂𝒓(𝒚|𝒙) = 𝝈𝟐 para todos os valores de 𝒙. O conjunto de dados que satisfaz a condição 𝒗𝒂𝒓(𝒚|𝒙) = 𝝈𝟐 chama-se homocedástico. Se essa suposição é violada, de forma que 𝒗𝒂𝒓(𝒚|𝒙) ≠ 𝝈𝟐 para todos os valores da renda 𝒙, o conjunto de dados é nomeado como heterocedástico. Considerando em seguida a amostra como aleatória, ou seja, quando se coletam os dados eles são estatisticamente independentes. Assim, se 𝒚𝒊 e 𝒚𝒋 denotam as despesas de duas casas selecionados aleatoriamente, então o conhecimento de uma dessas variáveis (aleatórias) nada nos diz quanto ao valor que a outra pode tomar. Às vezes assume-se que a distribuição de 𝒚, 𝒇(𝒚|𝒙), é normal. A justificativa para isso é que por vezes é razoável admitir que uma variável econômica se distribua normalmente em torno de sua média. Introdução do Termo Erro A essência da análise de regressão é que qualquer observação sobre a variável dependente 𝒚 pode decompor-se em dois componentes, um sistemático outro aleatório. O componente sistemático de 𝒚 é sua média 𝑬(𝒚), que não é aleatória, pois é uma esperança matemática. O componente aleatório de 𝒚 é a diferença entre 𝒚 e seu valor médio 𝑬(𝒚). Chamado de erro aleatório, esse componente se define como 𝒆 = 𝒚 − 𝑬(𝒚) = 𝒚 − 𝜷𝟏 − 𝜷𝟐 𝒙. Rearranjando, obtém-se o modelo de regressão linear simples 𝒚 = 𝜷𝟏 + 𝜷𝟐 𝒙 + 𝒆. Pressupostos do Modelo de Regressão Linear Simples O valor médio de 𝒚 para cada valor de 𝒙 é dado pela regressão linear 𝑬(𝒚) = 𝜷𝟏 + 𝜷𝟐 𝒙. Para cada valor de 𝒙, os valores de 𝒚 se distribuem em torno de seu valor médio, segundo distribuições de probabilidade que têm todas a mesma variância 𝒗𝒂𝒓(𝒚) = 𝝈𝟐. Os valores de 𝒚 são todos não correlacionados e têm covariância zero, portanto não há associação linear entre eles, 𝒄𝒐𝒗(𝒚𝒊,𝒚𝒋) = 𝟎. Essa suposição pode ser reforçada admitindo-se que os valores de 𝒚 sejam todos estatisticamente independentes. A variável 𝒙 não é aleatória e deve tomar ao menos dois valores diferentes. (Opcional) Para cada valor de 𝒙, os valores de 𝒚 se distribuem normalmente em torno de sua média, 𝒚~𝑵[(𝜷𝟏 + 𝜷𝟐 𝒙), 𝝈𝟐]. O valor de 𝒚, para cada valor de 𝒙, é 𝒚 = 𝜷𝟏 + 𝜷𝟐 𝒙 + 𝒆. O valor médio do erro aleatório é 𝑬(𝒆) = 𝟎. Pois admitimos que 𝑬(𝒚) = 𝜷𝟏 + 𝜷𝟐 𝒙. A variância do erro aleatório 𝒆 é 𝒗𝒂𝒓(𝒆) = 𝝈𝟐 = 𝒗𝒂𝒓(𝒚). Pois 𝒚 e 𝒆 diferem apenas por uma constante, o que não altera a variância. A covariância entre qualquer par de erros aleatórios, 𝒆𝒊 e 𝒆𝒋, é 𝒄𝒐𝒗(𝒆𝒊, 𝒆𝒋) = 𝒄𝒐𝒗(𝒚𝒊, 𝒚𝒋) = 𝟎. Se os valores de 𝒚 são estatisticmante independentes, também o são os erros aleatórios 𝒆, e vice-versa. A variável 𝒙 não é aleatória e deve tomar pelo menos dois valores diferentes. (Opcional) Os valores de 𝒆 se distribuem normalmente em torno de sua média 𝒆~𝑵(𝟎, 𝝈𝟐) se os valores de 𝒚 são distribuídos normalmente, e vice-versa. O Princípio dos Mínimos Quadrados Para estimar 𝜷𝟏 e 𝜷𝟐 necessitamos de uma regra, ou fórmula, que nos diga como utilizar as observações amostrais. Há muitas regras possíveis, mas a que vamos empregar baseia-se no princípio dos mínimos quadrados. Esse princípio afirma que, para ajustar uma reta aos valores dos dados, devemos procurar a reta tal que a soma dos quadrados das distâncias verticais de cada ponto à reta seja a menor possível. O intercepto e o coeficiente angular dessa reta (a reta que melhor se ajusta aos dados pelo critério dos mínimos quadrados) são 𝒃𝟏 e 𝒃𝟐, as estimativas de mínimos quadrados de 𝜷𝟏 e 𝜷𝟐. A reta ajustada é 𝒚𝒕̂ = 𝒃𝟏 + 𝒃𝟐 𝒙𝒕. As distâncias verticais de cada ponto à reta ajustada são os resíduos de mínimos quadrados, que são dados por 𝒆𝒕̂ = 𝒚𝒕 − 𝒚𝒕̂ = 𝒚𝒕 − 𝒃𝟏 − 𝒃𝟐 𝒙𝒕. O problema agora é encontrar uma forma conveniente para determinar 𝒃𝟏 e 𝒃𝟐. Dados as observações amostrais sobre 𝒙 e 𝒚, devemos achar valores dos parâmetros desconhecidos 𝜷𝟏 e 𝜷𝟐 que minimizem a função soma de quadrados 𝑺(𝜷𝟏, 𝜷𝟐) = ∑ (𝒚𝒕 − 𝜷𝟏 − 𝜷𝟐 𝒙𝒕)𝟐 𝑻 𝒕=𝟏 𝜷. De posse dos dados, nosso objetivo é achar, entre todos os valores possíveis que 𝜷𝟏 e 𝜷𝟐 podem assumir, o ponto (𝒃𝟏, 𝒃𝟐) em que a função soma de quadrados 𝑺 é mínima. As derivadas parciais de 𝑺 em relação a 𝜷𝟏 e 𝜷𝟐 são: 𝝏𝑺 𝝏𝜷𝟐 = 𝟐 𝑻 𝜷𝟏 − 𝟐 ∑ 𝒚𝒕 + 𝟐 ∑ 𝒙𝒕 𝜷𝟐 𝝏𝑺 𝝏𝜷𝟐 = 𝟐 ∑ 𝒙𝒕 𝟐 𝜷𝟐 − 𝟐 ∑ 𝒙𝒕 𝒚𝒕 + 𝟐 ∑ 𝒙𝒕 𝜷𝟏 Algebricamente, para obter o ponto (𝒃𝟏, 𝒃𝟐), igualamos as derivadas parciais de 𝑺 a zero e substituímos 𝜷𝟏 e 𝜷𝟐 por 𝒃𝟏 e 𝒃𝟐, respectivamente. 𝟐 (∑ 𝒚𝒕 − 𝑻 𝒃𝟏 − ∑ 𝒙𝒕 𝒃𝟐) = 𝟎 𝟐 (∑ 𝒙𝒕 𝒚𝒕 − ∑ 𝒙𝒕 𝒃𝟏 − ∑ 𝒙𝒕 𝟐 𝒃𝟐) = 𝟎 Reordenando, chegamos a outras duas equações, conhecidas como equações normais. 𝑻 𝒃𝟏 + ∑ 𝒙𝟏 𝒃𝟐 = ∑ 𝒚𝒕 ∑ 𝒙𝒕 𝒃𝟏 + ∑ 𝒙𝒕 𝟐 𝒃𝟐 = ∑ 𝒙𝒕 𝒚𝒕 Elas constituem um conjunto de duas equações lineares em duas incógnitas 𝒃𝟏 e 𝒃𝟐. Obtemos as estimativas de mínimos quadrados resolvendo essas equalçoes em relação a 𝒃𝟏 e 𝒃𝟐, multiplicamos a primeira equação 𝑻 𝒃𝟏 + ∑ 𝒙𝟏 𝒃𝟐 = ∑ 𝒚𝒕 por ∑ 𝒙𝒕, e a segunda ∑ 𝒙𝒕 𝒃𝟏 + ∑ 𝒙𝒕 𝟐 𝒃𝟐 = ∑ 𝒙𝒕 𝒚𝒕 por 𝑻. Assim, subtraímos a segunda da primeira e isolamos 𝒃𝟐 no termo esquerdo. Para resolver em relação a 𝒃𝟏, dividimos ambos os termos de 𝑻 𝒃𝟏 + ∑ 𝒙𝟏 𝒃𝟐 = ∑ 𝒚𝒕 por 𝑻. As fórmulas para as estimativas de mínimos quadrados de 𝜷𝟏 e 𝜷𝟐 são: 𝒃𝟐 = 𝑻 ∑ 𝒙𝒕𝒚𝒕 − ∑ 𝒙𝒕 ∑ 𝒚𝒕 𝑻 ∑ 𝒙𝒕 𝟐 − (∑ 𝒙𝒕)𝟐 𝒃𝟏 = 𝒚̅ − 𝒃𝟐𝒙̅ Em que 𝒚̅ = ∑ 𝒚𝒕 𝑻 e 𝒙̅ = ∑ 𝒙𝒕 𝑻 são as médias amostrais das observações de 𝒚 e 𝒙. Para distribuir esses dois casos, as regras ou formulas gerais de 𝒃𝟏 e 𝒃𝟐 são chamadas de estimadores de mínimos quadrados. E os números obtidos com a aplicação das fórmulas a determinada amostra são as estimativas de mínimos quadrados. Os estimadores de mínimos quadrados são fórmulas gerais, e são variáveis aleatórias. As estimativas de mínimos quadrados são os valores observados de variáveis aleatórias.