Notas de Aula0003

AULA 03\nEm forma matrcial temos\ny = y1\n = 1 x1 β0 + u1\n 1 x2 β1 + u2\n 1 x3 z1x1\n . . .\n 1 x_m 1 u_m\n = xβ + u\n\nonde x = 1 x1\n β = β0\n 1 x2\n β1 e u = u1\n . . .\n 1 x_m\n u_m\n\nLogo, pelo métodos dos mínimos quadrados temos\n\\hat{β} = argmin ∑_i u_i²\n = argmin u'u , pois u'u = ∑_iu_i²\n = argmin [y - xβ]'[y - xβ]\n = argmin y'y - (xβ)'y - y'xβ + (xβ)'xβ\n = argmin y'y - β'x'y - y'xβ + β'x'y\n dado que (AB)' = B'A' = argmin y'y - 2β'x'y + β'xβ\n y' x_m\n β2 = constante\n = β'x'y\n = -2 x'y + 2x' xβ = 0\n\npois ∂A x = x\n\nLogo, x'y = x xβ\n (x'x)'y = (x'x)'xβ\n = I, pois A'A = I\n ⇒ \n \\hat{β} = (x'x)'y\n\nDa mesma forma, temos\ny = xβ + u (* x')\n x'y = x'xβ + x'u\n E[x'y] = E[Xβ] + E[x'u] E[x'y] = E[x]β\nUtilizando os momentos amostrais temos\n x'y = x'xβ\n \\hat{β} = (x'x)'x'y\n \\hat{β} = [1 1 1 x] y\n [x1]\n = [1 1 1 x] [1 -\n [ x1]\n = [y x1 y] β\n\nA = [ a b ] = 1 [ d -b ] = 1 [ -b ]\n [ c d ] det(A) -c a ad-bc -c a\n\nLogo,\n [ β0 ]\n [ β1 ]\n = 1 [ ∑x² -∑x ] [ ∑y ]\n [m ∑xi² - (∑xi)²] -∑xi ∑xij β̂1 = mΣxiyi − ΣxiΣyi\n mΣxi2 − (Σxi)2\n\n = mΣxiyi − mΣxiȳ\n mΣxi2 − mΣxiȳ\n\n = Σxi(yi − ȳ) = Σ(xi − x̄)(yi − ȳ)\n Σxi(xi − x̄) Σ(xi − x̄)2\n\nβ0 = ȳ − β̂1x̄\n\nNote que pela condição de primeira ordem,\nx'y - x'Xβ = 0\nx'γ - x'Xβ = 0\nx'u = 0\n\n⇒ 1' \nX' \n2xm\n= Σm=1ui = 0\nΣm=1xili\n\nExercício 1: Prove que em um modelo com intercepto a reta de regressão ȳ = xβ sempre passa por (x̄, ȳ). Exercício 2: Pela condição de segunda ordem, mostre que o problema de mínimos quadrados da soma do quadrado dos resíduos resulta realmente em um mínimo.\n(Dica: monte a matriz hessiana e mostre que seu determinante é positivo).\nExemplo 1:\n\nEduc Renda\n2 3500\n3 4500\n4 4800\n5 5300\n\n6000\n5000\n4000\n3000\nA\n\n1 2 3 4 5\n x̄ y xi − x̄ yi − ȳ (xi − x̄)(yi − ȳ) (xi − x̄)2\n3.5 4525 -1.5 1025 1537.5 2.25\n-0.5 -25 12.5 0.25\n0.5 275 137.5 0.25\n15 775 1162.5 2.25\nΣ | 2850\n\nβ̂1 = 2850 = 570\n 5\n\nβ0 = 4525 − 570 × 3.5 = 25 30\n\nLoso\n y β0 + β̂1 × \nu\n2500 3670 -170\n4500 4240 260\n4900 4810 -10\n5300 5380 -80\n\nExemplo 2:\n\nEduc Renda\n2 2900\n3 6000\n4 3600\n5 600\n\n6000\n5000\n4000\n3000\n x̄ ȳ x̄ - ȳ ȳ - ȳ (x̄ - x̄)(ȳ - ȳ) (x̄ - ȳ)²\n35 4955 -1.5 -1625 2437.5 2.25\n-45 1475 -737.5 0.25\n0.5 925 -462.5 0.25\n1.5 1075 -1612.5 2.25\nΣ 2850\nf̂1 = 2850 / 5 = 570\nf̂0 = 4525 - 570 x 3.5 = 2530\n\n\nLogo\n y = f̂0 + β1x\n 2800 3670 -770\n 6000 4240 1760\n 36.00 4810 -1210\n 5600 5380 220\n\nAs duas amostras têm mesma regressão amortal. No entanto, pode-se notar que os resultados são bem melhores no exemplo 2 quando comparado ao exemplo 1.\n\nLogo vem a questão:\nQue medida usar para saber quando o modelo ne ajusta bem aos dados? Dito de outra forma, que modelo tem um bom poder preditivo?