Introdução à Regressão Linear e Método dos Mínimos Quadrados

Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto Modelagem Numerica Metodo dos Mınimos Quadrados MMQ para Domınio Discreto Docente William R P Conti DCMar IMarUnifesp 2º semestre letivo Docente William R P Conti Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto Sumario desta Aula 1 Introduc ao 2 Regressao Linear 3 Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto 4 Referˆencias Docente William R P Conti Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto 1 Introduc ao 2 Regressao Linear 3 Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto 4 Referˆencias Docente William R P Conti Regressao Linear Método dos Minimos Quadrados Caso Geral para Dominio Discreto Nas aulas destinadas ao tdpico interpolagao polinomial foiforam desenvolvidas técnicas para fornecer uma expressao matematica para o comportamento de um conjunto de pontos pares ordenados yi A ideia consistia em prescrever uma fungao modelo dependente de uma quantidade de parametros Sempre tomavamos polinémios e entao determinar o valor dos mesmos exigindo que a fungao assuma os valores y em cada x A exigéncia de que a fungao modelo se iguale a y nos pontos x pode ser substituida por uma outra exigéncia menos estrita Por exemplo poderiamos estar interessados em limitar de alguma forma os erros cometidos na representagao do comportamento dos pontos pelo modelo Seja entao gx uma fungao candidata a modelar o comportamento dos dados Se relaxarmos a exigéncia de que g é uma interpolagao em cada ponto x a fungao pode nao valer exatamente y Nesse caso havera um residuo xX yi 9 Agora 0 objetivo é controlar o total desses residuos Para tanto os parametros que definem g devem ser tais que a totalidade desses residuos seja a menor possivel mas sem que sejam todos iguais a zero necessariamente E possivel demonstrar que a melhor escolha de parametros para g é dada pelo minimo valor que oe I pode assumir Por essa razdo a tarefa de determinar a fungao g que satisfaga esse critério 6 denominada ajuste de minimos quadrados Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto Exemplo 1 Diagrama de dispersao que sugere um ajuste por uma parabola Docente William R P Conti Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto Exemplo 2 Diagrama de dispersao que sugere um ajuste por uma reta Docente William R P Conti Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto 1 Introduc ao 2 Regressao Linear 3 Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto 4 Referˆencias Docente William R P Conti Introdugao Regressao Linear Método dos Minimos Quadrados Caso Geral para Dominio Discreto Nesta segao vamos nos preocupar em aproximar uma fungao f tabelada x x Xo te Xn Fx fx1 fx FX onde n 2 por uma fungao g da familia a bx utilizando 0 método dos minimos quadrados Este caso particular 6 conhecido como regressao linear Aproximar uma fungao f tabelada nos pontos x Xo Xn pelo método dos minimos quadrados significa determinar os parametros ae b da reta gx a bx de modo que a soma dos quadrados dos erros em cada ponto seja minima O residuo em cada ponto x yj x fx dado por xX yi 9 Portanto queremos determinar ae b que minimizam n n 2 2 Mab SF Sy a bx i1 i1 Para isto é necessario que OMa b OMa b oMa 6 0 e OM a b b 0 0a ob resultado visto em FVV Introdugao Regressao Linear Método dos Minimos Quadrados Caso Geral para Dominio Discreto ou seja n n 20 a bx10 e 250 a bxx 0 i1 i1 Portanto n n n adotbyou oy i1 i1 i1 e n n n 2 ay x by ox So xy i1 i1 i1 Usando notagao matricial temos o seguinte sistema linear n n n 1 x yi i i1 al i1 1 n n b n 2 UX dx i1 i1 i1 Este sistema 6 denominado sistema normal Nao é dificil mostrar que este sistema tem determinante positivo e portanto tem solugao Unica Introdugao Regressao Linear Método dos Minimos Quadrados Caso Geral para Dominio Discreto Se considerarmos x como um vetor em R x R com componentes x X2 Xn YE R com componentes yi Y2n 0 vetor 1 R com componentes 1 1 1 podemos notar que os somatorios indicados nas matrizes de 1 podem ser escritos como produtos escalares em R n n n 2 So11 Sox 1x Sox x1 i1 i1 i1 n n Soya ly Soxy xly i1 i1 Reescrevendo o sistema 1 em termos desses produtos escalares obtemos 11 x a tly 1x xx b xly J cuja solugao é dada por q GING gp AID Ody Gly A 2 11 xx 1x 11xx 1 x Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto Exemplo 3 Como resultado de algum experimento suponha que obtivemos os seguintes valores para a func ao f x 0 1 2 3 4 fx 0 1 1 4 4 Vamos determinar a reta que melhor se ajusta a esta func ao segundo o metodo dos mınimos quadrados Identificamos que x 0 1 2 3 4 e y 0 1 1 4 4 ambos vetores em R5 Entao 11 12 12 12 12 12 5 1x 1 0 1 1 1 2 1 3 1 4 10 xx 02 12 22 32 42 30 1y 1 0 1 1 1 1 1 4 1 4 10 xy 0 0 1 1 2 1 3 4 4 4 31 Substituindo esses valores nas expressoes 2 temos que a 10 30 10 31 5 30 102 10 50 1 5 e b 5 31 10 10 5 30 102 55 50 11 10 Portanto gx 1 5 11 10 x e a reta aproximadora obtida Docente William R P Conti Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto 1 Introduc ao 2 Regressao Linear 3 Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto 4 Referˆencias Docente William R P Conti Regressao Linear Método dos Minimos Quadrados Caso Geral para Dominio Discreto Nesta segao estudaremos a aproximagao de uma fungao f por uma fungao g da familia m SE ax gx k0 linear nos parametros pelo método dos minimos quadrados A escolha das fungdes g deve ter sido feito a priori baseada tanto no comportamento da fungao f quanto nas propriedades desejadas para a fungao aproximadora Com 0 Método dos Minimos Quadrados é possivel tratar dois tipos distintos de problemas o primeiro como na segao anterior quando a fungao f é tabelada ou seja o dominio da fungao que se quer aproximar é discreto o segundo quando o dominio de f é continuo Nesta UC daremos atengao somente para o primeiro deles 0s coeficientes a determinar a am aparecem linearmente Introdugao Regressao Linear Método dos Minimos Quadrados Caso Geral para Dominio Discreto Dominio Discreto Para aproximar uma fungao f tabelada em n pontos distintos x1 x2 X por uma fungao g da forma m Se ax ae k0 precisamos determinar a a1 m que minimizam a soma dos quadrados dos residuos Ma 1m NOS pontos xj i 1 Como n n Maa18m r0 SO FOG 9xi i1 i n ST TFO aogoxi a191 x1 amgmxi i1 precisamos determinar a a Am tais que para cada O0 m aM Ba a dm 2 STUfx a090xi a1 gi xi amGmxigi 0 i1 ou seja n n n n O1G0 a GX 10 Am D GX 9mX D GX FX 3 i1 i1 i1 i1 Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto Usando a notac ao vetorial gl glx1 glx2 glxn Rn para 0 l m e f fx1 fx2 fxn Rn podemos reescrever 3 sob a forma de produto escalar obtendo o sistema linear g0g0 g0g1 g0gm g1g0 g1g1 g1gm gmg0 gmg1 gmgm a0 a1 am g0f g1f gmf Este sistema e denominado sistema normal Pela propriedade do produto escalar gigj gjgi vˆese que o sistema normal e simetrico Se este sistema admitir uma unica soluc ao esta nos fornece o elemento da famılia escolhida que melhor aproxima a func ao f pelo metodo dos mınimos quadrados Docente William R P Conti Introdugao Regressao Linear Método dos Minimos Quadrados Caso Geral para Dominio Discreto Exemplo 4 Observando um sinal no osciloscépio verificase que ele corresponde a superposigao de dois efeitos um oscilatorio e outro crescente Nestas condigdes vamos aproximalo por uma fungao g da familia ax bcos xX a9oX a191x Medindo alguns valores deste sinal obtevese a seguinte tabela x 0 15 30 45 60 fx 100 157 200 430 700 Trabalhando em representagao de ponto flutuante com 4 algarismos significativos e lembrando que x deve ser tomado em radianos temos 5 90190 S x7 0 15 3 45 6 675 i1 5 90191 9190 Sox cos Xj 0cos0 15cos153cos3 45cos 45 6cos6 1948 i1 5 9191 S cos x cos 0 cos 15 cos 3 cos 45 cos 6 2951 i1 5 Golf S xifxi OF0 15f15 3f3 45445 6f6 6971 i1 91 f cos xifx cos OF0 cos 15f15 cos 3f3 cos 45f45 cos 6f6 4946 i1 Introdugao Regressao Linear Método dos Minimos Quadrados Caso Geral para Dominio Discreto Portanto 0 sistema normal fica 675 1948 a 6971 1948 2951 a 4946 e a sua solugao a 1003 e a 1013 fornece 9x 1003x 1013 cos x que é a fungao aproximadora desejada Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto Domınio Discreto Ajuste com Polinˆomios Quadraticos e Ordem Superior Docente William R P Conti Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto Domınio Discreto Linearizac ao de Equac oes NaoLineares Nos Parˆametros Docente William R P Conti Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto 1 Introduc ao 2 Regressao Linear 3 Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto 4 Referˆencias Docente William R P Conti Introduc ao Regressao Linear Metodo dos Mınimos Quadrados Caso Geral para Domınio Discreto Referˆencias 1 M A G Ruggiero V L R Lopes Calculo Numerico Aspectos Teoricos e Computacionais 2ª edic ao Sao Paulo Makron 1997 2 A F P C Humes I S H Melo L K Yoshida W T Martins Noc oes de Calculo Numerico Sao Paulo McGrawHill do Brasil 1984 v 1 201 p 3 J Kiusalaas Numerical Methods in Engineering with Python 3 Cambridge University Press 2013 4 A Gilat V Subramaniam Metodos Numericos para Engenheiros e Cientistas Uma Introduc ao com Aplicac oes Usando o MATLAB Grupo A Bookman 2009 5 C Moler Numerical Computing with MATLAB A Web edition esta disponıvel no site httpwwwmathworkscommolerchaptershtml Docente William R P Conti