Modelo Clássico de Regressão Linear Normal mcrln capítulo 4 - Gujarati e Poter Econometria Básica 5a Ed

ECONOMETRIA BÁSICA\nCapítulo 4\nMODELO CLÁSSICO DE REGRESSÃO LINEAR NORMAL (MCRLN)\nQuinta edição\nDamodar N. Gujarati\nDawn C. Porter\nMcGraw Hill\nbookman Capítulo 4\nModelo clássico de regressão linear normal (MCRLN)\nO que é conhecido como teoria clássica da inferência estatística consiste em dois ramos: a estimação e o teste de hipóteses. Até agora, abordamos o tema da estimação dos parâmetros do modelo de regressão linear (com duas variáveis). Utilizando o método dos MQO, conseguimos estimar parâmetros \\(\\beta_{1}, \\beta_{2}, \\sigma^{2}\\). Sob as hipóteses do modelo clássico de regressão linear, demonstramos que os estimadores desses parâmetros, \\(\\hat{\\beta}_{1}, \\hat{\\beta}_{2}, \\hat{\\sigma}^{2}\\), satisfazem várias propriedades estatísticas desejáveis, como a de não viés, variância mínima (i.e., Lembre-se da propriedade de melhor estimador linear não viesado [ou não tendencioso]: MELT ou BLUE). Note que, como são estimadores, seus valores mudam de amostra para amostra. Portanto, esses estimadores são variáveis aleatórias.\n\nMas como esta regressão está baseada em uma amostra de 55 famílias, com sabemos que a PMC estimada de 0,4368 representa a (verdadeira) PMC da população como um todo?\n\nPortanto, como \\(\\hat{\\beta}_{1}, \\hat{\\beta}_{2} \\sim \\sigma^{2}\\) são variáveis aleatórias, precisamos descobrir suas distribuições de probabilidade, pois, em seu conhecimento, não serão capazes de relacioná-las aos seus verdadeiros valores.\n\n4.1 A distribuição de probabilidade dos termos de erro \\(u_{i}\\)\nPara descrever a distribuição de probabilidade dos estimadores de mínimos quadrados ordinários, procedemos como a seguir. Especificamente, considere \\(\\hat{\\beta}_{2}\\). Como mostramos no Apêndice 3.2,\n\\(\\hat{\\beta}_{2} = \\sum k_{i}y_{i} \\qquad (4.1.1)\\)\n\nem que \\(k_{i} = x_{i}/\\sum x^{2}_{i}\\). Mas, como supomos que os \\(X\\) são fixos, ou não estocásticos, porque nossa análise de regressão é condicional, ou seja, condicionada aos valores dos \\(X\\), que mostra que \\(\\hat{\\beta}_{2}\\) é uma função linear de \\(y_{i}\\, que é aleatória por hipótese. Devido ao fato de \\(y_{i} = \\beta_{1} + \\beta_{2}X_{i} + u_{i}\\), podemos escrever a Equação (4.1.1) como\n\\(\\hat{\\beta}_{2} = \\sum k_{i}(\\beta_{1} + \\beta_{2}X_{i} + u_{i})\\) (4.1.2) Capítulo 4 Modelo clássico de regressão linear normal (MCRLN)\n4.2 A hipótese de normalidade de \\(u_{i}\\)\nO modelo clássico de regressão linear normal supõe que cada \\(u_{i}\\) seja distribuído normalmente:\nMédia: \\(E(u_{i}) = 0\\) (4.2.1)\nVariância: \\(Var(u_{i}) = E[(u_{i} - E(u_{i}))^{2}] = E[(u_{i})^{2}] = \\sigma^{2}\\) (4.2.2)\ncov(\\(u_{i}, u_{j}\\)) = E[(u_{i} - E(u_{i})) (u_{j} - E(u_{j}))] = \\sigma^{2} = 0 \\quad (i \\neq j)\\) (4.2.3)\\nu_{i} \\sim N(0, \\sigma^{2})\\)\n\nem que \\(\\sim\\) significa \"distribuído como\" e \\(N\\) representa a distribuição normal, os termos entre parênteses são os dois parâmetros da distribuição normal: a média e a variância.\n\nConforme observado no Apêndice A, no caso de duas variáveis com distribuição normal, covariância em correlação iguais a zero significam independência das duas variáveis. Dada a hipótese de normalidade, a Equação (4.2.4) indica que \\(u_{i}\\) e \\(u_{j}\\) não estão correlacionados e são distribuídos independentemente.\n\nDessa forma, podemos escrever a Equação (4.2.4) como\n\\(u_{i} \\sim NID(0, \\sigma^{2}) \\qquad (4.2.5)\\)\n\nem que NID representa normal e independentemente distribuído.\n\nPor que utilizamos a hipótese de normalidade? Existem diversas razões:\n1. De acordo com a Seção 2.5, refere a influência combinada (sobre a variável dependente) de um grande número de variáveis não incluídas explicitamente no modelo de regressão. Espera-se que essa influência dessas variáveis omitidas ou não explicadas não afete as hipóteses, aleatórias. O conhecido teorema central do limite (TCL) da estatística, veja o Apêndice A para maiores detalhes, permite demonstrar que, se há um grande número de variáveis aleatórias independentes e com distribuição idêntica, então, com poucas exceções, a distribuição de suas somas Capítulo 4 Modelo clássico de regressão linear normal (MCRLN) 123\n\nResumo e conclusões\n\n1. Este capítulo abordou o modelo clássico de regressão linear normal (MCRLN).\n2. A diferença entre este modelo e o modelo clássico de regressão linear (MCRL) é que o primeiro supõe especificamente que o termo de erro u é modelo de regressão bem distribuído normal. O modelo de regressão linear clássico não requer qualquer hipótese sobre a distribuição de probabililidade u; apenas exige que o valor médio de u seja igual a zero e sua variância seja uma constante finita.\n3. A justificativa teórica da hipótese de normalidade e o teorema central do limite.\n4. Sem a hipótese de normalidade, sob as demais hipóteses examinadas no Capítulo 3, o teorema de Gauss-Markov mostrou que os estimadores de MQO são os melhores estimadores lineares não viciados (MELNT ou BLUE).\n5. Como a hipótese adicional de normalidade, os estimadores de MQO não são apenas melhores estimadores não viciados (MENT ou BUE), mas também seguem distribuídos de probabilidade conhecidas. Os estimadores de mínimos quadrados ordinários e o estimador de coeficiente angular variar são eles próprios normalmente distribuídos e o estimador do variance de u (σ²) relaciona-se à distribuição qui-quadrado.\n6. Os parâmetros explicitados se miscrosensam como este conhecimento é útil para inferência sobre os valores dos parâmetros populacionais.\n7. Uma alternativa ao método dos mínimos quadrados é o da máxima verossimilhança (MV). No entanto, para aplicar este método, é preciso fazer uma suposição sobre a distribuição de probabilidade do termo de erro u. No contexto de regressão, a suposição mais empregada é de que u segue a distribuição normal.\n8. Sob a hipótese de normalidade, os estimadores de MV e de MQO dos parâmetros do intercepto e do coeficiente angular do modelo de regressão são idênticos. No entanto, os estimadores de MQO e os de MV à variância de u são diferentes. Em grandes amostras, os dois estimadores convergem.\n9. O método de máxima verossimilhança é conhecido como método de amostras grandes. Ele tem uma aplicação mais ampla, já que também pode ser usado para modelos de regressão não lineares nos parâmetros. Neste último caso, o método dos MQO em geral não é usado. Para mais detalhes, veja o Capítulo 14.\n10. Neste livro, usaremos muito o método dos mínimos quadrados ordinários por questões práticas: (a) comparado ao método da máxima verossimilhança, os mínimos quadrados é fácil de aplicar; (b) os estimadores de máxima verossimilhança e os de mínimos quadrados ordinários de β1 e β2 são idênticos (o que também é válido para as regressões múltiplas); e (c) mesmo em amostras relativamente grandes, os estimadores de σ² dos mínimos quadrados citados não diferem demasiadamente.\n\nNo entanto, para os leitores com mais inclinação à matemática, apresentamos uma breve introdução ao método da máxima verossimilhança no apêndice a seguir e também no Apêndice A. Apendíce 4A\n\n4A.1 Estimação de máxima verossimilhança de um modelo de regressão com duas variáveis\n\nSuponha que no modelo de duas variáveis Y_i = β_1 + β_2X_i + u_i osY_i sejam normal e independentemente distribuídos, com média μ = β_1 + β_2 X_i e variância σ². (Veja a Equação (4.3.9). Em consequência, a função de densidade de probabilidade conjunta pode ser escrita como...\n\nf(Y_1, Y_2, ..., Y_n | β_1 + β_2 X_i, σ²)\n\nMas, tendo em vista a independência dos Y_i essa função de densidade de probabilidade conjunta pode ser expressa como um produto de funções de densidade individuais\n\nf(Y_1, Y_2, ..., Y_n | β_1 + β_2 X_i, σ²) = \prod_{i=1}^n f(Y_i | β_1 + β_2 X_i, σ²)\n\nque é a função de densidade de uma variável com distribuição normal, dadas a média e a variância. (Nota: excp significa e elevado à potência de expressão indicada por {}}\n\nSubstituindo a Equação (2) por cada Y_i na Equação (1) obtemos\n\nFV(β_1, β_2, σ²) = (1 / (σ√(2π))) exp {−\frac{1}{2σ²}∑_{i=1}^n (Y_i − β_1 − β_2 X_i)²}\n\nSe Y_1, Y_2, ..., Y_n são conhecidos ou dados, mas β_1, β_2 e σ² não são, o final na Equação (3) é chamada de função de verossimilhança, denotada por FV(β_1, β_2, σ²), expressa como\n\nFV(β_1, β_2, σ²) = (1 / (σ√(2π))) exp {−\frac{1}{2σ²}∑_{i=1}^n (Y_i − β_1 − β_2 X_i)²}\n\nO método de máxima verossimilhança, como o nome indica, consiste em estimar os parâmetros necessários de maneira que a probabilidade de observar os dados Y seja a maior (ou a máxima) possível. Precisamos encontrar o máximo da função na Equação (4). Isso é um exercício direto de cálculo diferencial. Para fazê-lo, é mais fácil expressar a Equação (4) em forma logarítmica, como a seguir: (Nota: ln é log natural.)\n\nln FV = -n ln n − n / 2 ln (2π) − 1 / 2σ² ∑(Y_i − β_1 − β_2 X_i)²\n\nDerivando a Equação (5) parcialmente em relação à β_1, β_2 e σ², obtemos\n\n∂ ln FV / ∂β_1 = -\frac{1}{2σ²}∑(Y_i − β_1 − β_2X_i)(-1)\n∂ ln FV / ∂σ² = -\frac{n}{2σ²} + \frac{1}{2σ^4}∑(Y_i − β_1 − β_2X_i)² \n\nou seja, igualando essas equações a zero (condição de primeira ordem para a otimização) e denotando os estimados de máxima verossimilhança por β̂_1, β̂_2, σ²̂ obtemos...\n Capítulo 4 Modelo clássico de regressão linear normal (MCRLN) 125\n\n3... \n\nApós a simplificação, as Equações (9) e (10) ficam como...\n\n∑Y_i = nβ_1 + β_2 ∑X_i\n∑Y_iX_i + β_2 ∑X_i² = ...\n\nque são exatamente as equações normais da teoria dos mínimos quadrados nas Equações (3.1.6) e (3.1.7). Essa igualdade não é acidental. examinando a verossimilhança (5), vemos que o último termo entra como sendo...\n\nMaximizar a Equação (6) é mesmo que minimizar esse termo, que justamente é o que a abordagem dos mínimos quadrados é como se pode ver na Equação (3).\n\nSubstituindo na Equação (11) os estimadores de máxima verossimilhança para o estimador de MQO: ...\n\nCom base na Equação (14) fica óbvio que o estimador de máxima verossimilhança σ² difere do estimador de MQO σ² ^ = [1 / (n − 2)∑(Y_i)²], que como já foi demonstrado no Apêndice 3A é um estimador não viciado de σ². Assim, o estimador de máxima verossimilhança de σ² é viciado. A magnitude desse viés pode ser determinada em facilidade do seguinte modo:\n\nTomando-se e esperando matemática da Equação (14) de ambos os lados, obtemos...\n\nE(σ²) = 1/n E(∑a²_i)\n− (n−2) / n usando a Equação (16) da Seção 3A5 do Apêndice 3A\n\nque mostra que σ²̂ é viciado para baixo (isto é, subestima o verdadeiro σ²) em amostras pequenas. Note que quando n, o tamanho da amostra, aumenta indefinidamente, o segundo termo na Equação (15), o fator de viés, tende a zero. 4A.2 Estimativa de máxima verossimilhança das despesas com alimentação na Índia\n\nVolte ao Exemplo 3.2 e à Equação (3.7), que mostram a regressão das despesas com alimentação contra as despesas totais em 55 domicílios rurais na Índia. Como, sob a hipótese da normalidade, os estimadores dos coeficientes de regressão são os mesmos nos métodos dos mínimos quadrados ordinários e de máxima verossimilhança, obtivemos os estimadores de MV como \\( \\hat{\\beta}_1 = 94.2407 \\) e \\( \\hat{\\beta}_2 = 0.4366 \\). O estimador de MQO de \\( \\hat{\\sigma}^2 \\) = 4.469.6913, mas o estimador de MV, \\( \\hat{\\sigma}^2 = 44.107.563 \\), que é menor que o estimador de MQO. Como observado, em amostras pequenas, o estimador de máxima verossimilhança é viésado para baixo; subestimando em relação à verdadeira variância de \\( \\sigma^2 \\). Naturalmente, como seria de se esperar, quando o tamanho aumenta, a diferença entre os dois estimadores desaparece. Inserindo os valores dos estimadores na fórmula logarítmica de verossimilhança, obtemos valores de -306,1625. Se quiser o valor máximo de MV, basta contar o algaritmo de -306,1626. Nenhum outro valor dos parâmetros proporcionou uma probabilidade maior de obter as amostras utilizada na análise.\n\nApêndice 4A Exercícios\n\n4.1. \"Se duas variáveis aleatórias são estaticamente independentes, o coeficiente de correlação entre elas é igual a zero. No inverso não é necessariamente verdadeiro, isto é, o correlação zero não implica independência estatística. Continue. Como a distribuição das variáveis, correlação igual a zero implica\n\nprobabilidade conjunta de duas variáveis, \\( Y_1 \\) e \\( Y_2 \\), normalmente distribuídas (essa função de densidade de probabilidade conjunta é conhecida como função de densidade de probabilidade normal bivariada):\n\n\\[ f(Y_1, Y_2) = \\frac{1}{2 \\pi \\sigma_1 \\sigma_2 \\sqrt{1 - \\rho^2}} \\exp \\left[ - \\frac{1}{2(1 - \\rho^2)} \\left( \\frac{(Y_1 - \\mu_1)^2}{\\sigma_1^2} + \\frac{(Y_2 - \\mu_2)^2}{\\sigma_2^2} - 2\\rho \\frac{(Y_1 - \\mu_1)(Y_2 - \\mu_2)}{\\sigma_1 \\sigma_2} \\right) \\right] \\]\n\nem que \\( \\mu_1 = \\) média de \\( Y_1 \\)\n\\( \\mu_2 = \\) média de \\( Y_2 \\)\n\\( \\sigma_1 = \\) desvio padrão de \\( Y_1 \\)\n\\( \\sigma_2 = \\) desvio padrão de \\( Y_2 \\)\n\\( \\rho = \\) coeficiente de correlação entre \\( Y_1 \\) e \\( Y_2 \\)\n\n4.2. Aplicando as condições de segunda ordem para a otimização (teste da derivada segunda), mostre que estimador de máxima verossimilhança \\( \\hat{\\beta}_1, \\hat{\\beta}_2 \\) e \\( \\hat{\\sigma}^2 \\) obtidos pela solução das Equações (9), (10) e (11) maximizam, de fato, a função de verossimilhança na Equação (4).\n\n* Veja no Apêndice A uma discussão geral das propriedades dos estimadores de máxima verossimilhança, bem como a distinção entre propriedade assintótica de ausência de viés e propriedade de consistência. Grosso modo, na propriedade assintótica de ausência de viés, tentamos encontrar o limite de \\( \\hat{\\sigma}^2 \\) quando n tende a infinito, em e não o tamanho da amostra em que se embaçou a estimação, enquanto na consistência, processamos verificar como \\( \\hat{\\sigma}^2 \\) se comporta quando aumenta indefinidamente. Note que a propriedade de não viés é de amostras repetidas em um estimador baseado em uma amostra de dado tamanho, embora na consistência estamos preocupados com o comportamento de um estimador à medida que a amostra aumenta indefinidamente.