Regressão Linear e Nao-Linear - Metodos dos Minimos Quadrados

Aula 5 Regressão linear e nãolinear 1 Conteúdo 51 Introdução 75 52 Ajuste de curvas e a prática da engenharia 76 53 Revisão de estatística 77 531 Estatísticas básicas 77 532 A distribuição normal 80 533 Estimativa dos intervalos de confiança 81 54 Regressão por mínimos quadrados 85 55 Regressão linear 85 551 Critério para um melhor ajuste 87 552 Ajuste dos mínimos quadrados de uma linha reta 89 553 Quantificação do erro na regressão linear 90 554 Linearização de relações nãolineares 93 555 Considerações sobre a regressão linear 97 56 Regressão Polinomial 97 57 Regressão linear múltipla 100 51 Introdução Engenheiros e cientistas são frequentemente solicitados a analisar sistemas complexos tanto físicos quanto químicos e desenvolver modelos que sejam capazes de simular o comportamento desses sistemas Através de experimentos o engenheiro ou cientista consegue muitas vezes dados discretos ao longo de um continuum No entanto estimativas de valores em pontos entre o valores discretos podem ser úteis ou necessárias Além disso pode ser necessária uma versão simplificada de uma função complexa Uma maneira de conseguir essas estimativas é computar valores da função em um número de valores discretos ao longo do intervalo de interesse Então uma função mais simples pode ser derivada para ajustar esses valores Ambas essas aplicações são conhecidas como ajuste de curvas Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda Nesse tópico será abordada a regressão por mínimos quadrados Nesse tipo de abordagem os dados possuem um grau significante de erro ou ruído a estratégia é então derivar uma única curva que represente a tendência geral desses dados Pelo fato de que cada um dos pontos individuais pode estar incorreto não se faz o esforço para se interceptar cada um dos pontos individualmente observado na Interpolação Em vez disso a curva é projetada para seguir o padrão adotado pelos pontos como um grupo 52 Ajuste de curvas e a prática da engenharia O primeiro contato de um engenheiro com o ajuste de curvas se dá geralmente na determinação de dados intermediários a partir de dados tabulados por exemplo de tabelas de juros para engenharia econômica ou de tabelas de vapor para termodinâmica Por todo o resto de sua carreira o engenheiro é repetidamente solicitado a estimar esses valores de tais tabelas Apesar de muitas propriedades de uso comum em engenharia estarem tabuladas há um grande número de propriedades que infelizmente não estão apresentadas nessa conveniente forma Casos especiais e novos problemas contextuais frequentemente demandam que o experimentalista meça seus próprios dados e desenvolva suas próprias relações preditivas Dois tipos de aplicações são comumente encontradas quando se ajusta dados experimentais análise de tendência e teste de hipótese Análise de tendência representa o processo de utilizar o padrão dos dados para fazer predições Para casos onde os dados são medidos com alta precisão é necessário utilizar polinômios interpoladores Dados imprecisos são frequentemente analisados com regressão por mínimos quadrados Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda Análise de tendência pode ser utilizada para predizer ou prever valores da variável dependente Isso pode envolver extrapolação além dos limites dos dados observados ou interpolação dentro do intervalo Todos os ramos de engenharia comumente envolvem problemas desse tipo Uma segunda aplicação do ajuste experimental de curvas é o teste de hipóteses Aqui um modelo matemático existente é comparado com dados medidos Se os coeficientes do modelo são desconhecidos pode ser necessário determinar valores que melhor ajustem os dados observados Por outro lado se as estimativas dos coeficientes do modelo já estão disponíveis pode ser apropriado comparar valores predidos com o modelo com os valores observados para testar a adequação do modelo Frequentemente modelos alternativos são comparados e o melhor é selecionado com base nas observações empíricas Além das aplicações em engenharia acima mencionadas o ajuste de curvas é importante em outros métodos numéricos tal como integração e soluções aproximadas de equações diferenciais Finalmente técnicas de ajuste de curvas podem ser utilizadas para derivar desde funções simples até funções mais complicadas 53 Revisão de estatística A regressão por mínimos quadrados necessita de informações e conceitos estatísticos Devese ter em mente conceitos como média desvio padrão soma residual dos quadrados distribuição normal e intervalos de confiança Para isso essa seção tem como objectivo relembrar alguns conceitos básicos 531 Estatísticas básicas Suponha que no curso de engenharia várias medições foram feitas para uma quantidade em particular Por exemplo a Tabela 51 contém 24 leituras do coeficiente de expansão térmica de um aço estrutural Tabela 51 Medições do coeficiente de expansão térmica do aço estrutural 106 ininº F 6945 6595 6615 6635 6485 6555 6665 6505 6435 6625 6715 6655 6755 6625 6715 6575 6555 6605 6565 6515 6555 6395 6775 6685 Tomado pelos valores nominais esses dados fornecem um montante limitado de informação que é os valores estão num intervalo entre um mínimo 6395 a um máximo de 6775 Podese adquirir uma melhor compreensão resumindose esses dados em uma ou mais estatísticas bem escolhidas que trasmitem tanta informação quanto possível sobre características específicas do conjunto de dados Essas estatísticas descritivas são mais frequentemente selecionadas para representar 1 o local do centro da distribuição desses dados e 2 o grau de espalhamento do conjunto de dados A estatística de localidade mais comum é a média aritmética A média aritmética ȳ de uma amostra é definida como a soma dos pontos individuais yi dividida pelo número de pontos n ou Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda por ȳ 2sy a ȳ 2sy englobará 95 por cento Por exemplo para os dados na Tabela 51 ȳ 66 e sy 0097133 podese a partir disso afirmar que aproximadamente 95 por cento das leituras devem estar entre 6405734 e 6794266 Se por um acaso informa uma medição de 735 devese suspeitar que essa medição pode estar errada A seção a seguir aprofunda essas avaliações 533 Estimativa dos intervalos de confiança Como deve ter ficado claro das seções anteriores um dos objetivos principais da estatística é estimar as propriedades de uma população baseada em uma amostra limitada retirada daquela população Claramente é impossível medir o coeficiente de expansão térmica de todos os pedaços de aço estrutural já produzidos Consequentemente como visto nas tabelas colocadas nas seções anteriores podese randomicamente fazer um número de medições e com base na amostra tentar caracterizar propriedades da população inteira Como nesse processo são inferidas propriedades da população desconhecida a partir de uma amostra limitada o procedimento é chamado inferência estatística Como os resultados são frequentemente reportados como estimativas dos parâmetros da população pode também ser chamado de estimação Já foi mostrado como estimar a tendência central média amostral ȳ e a distribuição ou espalhamento desvio padrão e variância amostral de uma amostra limitada Agora será descrito brevemente como podese atribuir afirmações probabilísticas à qualidade dessas estimativas Em particular podese discutir como definir um intervalo de confiança em torno da estimativa da média Esse tópico tem especial relação com a regressão de modelos que será descrita nas próximas aulas e requer muita atenção Na discussão que se segue a nomenclatura ȳ e sy referese à média e ao desvio padrão amostral respectivamente A nomenclatura μ e σ referese à média e ao desvio padrão populacional respectivamente Aos primeiros algumas vezes referese como média e desvio padrão estimados enquanto que aos outros referese como média e desvio padrão verdadeiros Um estimador de intervalo fornece a extensão dos valores dentro da qual esperase que o parâmetro se encontre com dada probabilidade Tais intervalos são descritos como sendo unilateral ou bilateral Como o nome implica o intervalo unilateral expressa a confiança de que aquela estimativa de parâmetros é menor do que ou maior do que o valor real Em contraste o intervalo bilateral lida com uma proposição mais geral de que a estimativa concorda com a realidade desconsiderando o sinal da discrepância Por sua maior generalidade a atenção será voltada para o intervalo bilateral Um intervalo bilateral pode ser descrito pela declaração PL μ U 1 α 57 a qual se lê a probabilidade de que a média verdadeira de y μ esteja dentro das fronteiras estabelecidas de L a U é 1 α A quantidade α é chamada nível de significância Então o problema de se definir um intervalo de confiança se reduz a estimar L e U Apesar de não ser absolutamente necessário é comum observar intervalos bilaterais com a probabilidade α distribuída igualmente como α2 em cada cauda da distribuição Fig 52 81 Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda Figura 52 Intervalo e de confiança bilateral Se a variância real da distribuição de y σ² é conhecida que geralmente não é o caso a teoria estatística afirma que a média amostral ȳ é proveniente de uma distribuição normal com média μ e variância σ²n No caso ilustrado na Figura 52 realmente não se sabe μ Portanto não se sabe onde exatamente a curva normal está localizada com respeito a ȳ Para contornar esse problema calculase uma nova quantidade a estimativa normal padrão z ȳ μ σn 58 que representa a distância normalizada entre ȳ e μ De acordo com a teoria estatística essa quantidade deve ser normalmente distribuída com uma média de 0 e uma variância de 1 Além disso a probabilidade de que z esteja dentro da região delimitada por α2 da Figura 52 deve ser de 1 α Portanto a afirmação que pode ser feita é ȳ μ σn zα2 ou ȳ μ σn zα2 59 com uma probabilidade de α A quantidade zα2 é uma variável randômica normal padrão Essa é a distância medida ao longo do eixo normalizado acima e abaixo a média que engloba a probabilidade 1 α Fig 52 Valores de zα2 são tabulados em livros de estatística e podem também ser calculados utilizando funções de alguns pacotes de softwares comerciais como Excel Matlab e Mathcad Por exemplo para α 005 em outras palavras definindo um intervalo que engloba até 95 zα2 é igual a em torno de 196 Isso significa que um intervalo em torno da média com com uma largura de 196 vezes o desvio padrão deve englobar aproximadamente 95 da distribuição Esses resultados podem ser rearranjados para resultar em L μ U 510 82 Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda com uma probabilidade de 1 α onde L ȳ σn zα2 U ȳ σn zα2 511 Agora apesar do acima mencionado fornecer uma estimativa de L e U ela é baseada no conhecimento da variância real Para o caso usual sabese que somente a variância estimada está disponível sy Uma alternativa direta pode ser desenvolver uma versão da Equação 58 baseada em sy t ȳ μ syn 512 Mesmo quando se tem uma amostra de uma distribuição normal essa fração não será normalmente distribuída particularmente quando n é pequeno Foi descoberto por WS Gosset que a variável aleatória definida pela equação 512 segue a então chamada tStudent ou simplesmente a distribuição t Para esse caso L ȳ syn tα2n1 U ȳ syn tα2n1 513 onde tα2n1 é a variável aleatória padrão para a distribuição t para uma probabilidade de α2 Como é o caso para zα2 valores são tabulados em livros de estatística e podem também ser calculados usando pacotes de softwares e bibliotecas Por exemplo se α 005 e n 20 tα2n1 2086 A distribuição t pode ser vista como uma modificação da distribuição normal que leva em conta o fato de que temse uma estimativa imperfeita do desvio padrão Quando n é pequeno ela tende a ser mais achatada do que a normal Figura 53 Portanto para pequenos números de medições ela resulta em um intervalo de confiança mais amplo e consequentemente mais conservador Na medida em que n cresce a distribuição t converge para a normal Figura 53 Comparação entre a distribuição normal e a distribuição t 83 Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda Exemplo Intervalo de confiança em torno da média Determine a média e o correspondente intervalo de confiança dos dados da Tabela 51 Faça as três estimativas baseadas em a os primeiros 8 b os primeiros 16 c todas as medições Solução A média e o desvio padrão para os primeiros 8 pontos é ȳ 52 728659 sy 347 4814 52 72²88 1 0 089921 A estatística t apropriada pode ser calculada como t005281 t002572364623 Que pode ser utilizada para computar o intervalo Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda Os resultados observados na Figura 54 e dispostos na tabela indicam que o resultado esperado é que o intervalo de confiança se torne mais estreito na medida em que n aumenta Portanto quanto mais medições são feitas mais a estimativa do valor real se torna refinada O exemplo simples disposto acima mostra como estatísticas podem ser usadas para fazer julgamentos relacionados com dados incertos Esses conceitos terão também grande relevância à nossa discussão de modelos de regressão 54 Regressão por mínimos quadrados Quando um erro substancial está associado aos dados a interpolação polinomial é inapropriada e pode levar a resultados insatisfatórios tentando predizer valores intermediários Dados experimentais frequentemente se enquandram nesse tipo Por exemplo a Figura 55a mostra sete dados experimentais que exibem variabilidade significativa A inspeção visual desses dados sugerem uma relação positiva entre x e y Isto é a tendência geral indica que valores mais altos de y são associados com valores mais altos de x Agora se um polinômio interpolador de sexto grau é ajustado a esses dados Figura 55b ele passará exatamente através de todos esses pontos No entanto por causa da variabilidade apresentada pelos dados a curva oscila com grande amplitude no intervalo entre os pontos Em particular os valores interpolados em x1 5 e x6 5 parecem estar bem além do intervalo sugerido por esses dados Uma estratégia mais apropriada para esses casos é derivar uma função aproximadora que se ajuste ao formato ou à tendência geral dos dados sem necessariamente passar pelos pontos originais A Figura 55c ilustra como uma linha reta pode ser utilizada para caracterizar genericamente a tendência desses dados sem passar através de um ponto em particular Uma maneira para determinar a linha disposta na Figura 55c é inspecionar visualmente os dados plotados e então esboçar a melhor linha através desses pontos Apesar desses cálculos de olho tenham um grande apelo de senso comum e sejam válidos para cálculos preliminares e estimativas eles são deficientes pois são arbitrários Isto é a não ser que os pontos definam uma linha reta perfeitamente e nesse caso a interpolação seria adequada análises diferentes podem gerar diferentes linhas Para remover essa subjetividade algum critério deve ser estabelecido como base para o ajuste Um caminho proposto é derivar uma curva que minimize a discrepância entre os dados e a curva Uma técnica para atingir esse objetivo chamada mínimos quadrados será apresentada ao longo das próximas aulas 55 Regressão linear O exemplo mais simples de uma aproximação por mínimos quadrados é o ajuste de uma linha reta a um conjunto de observações pareadas x1 y1 x2y2 xn yn A expressão matemática para a linha reta é y a0 a1x e 515 Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda a b c Figura 55 Interpolação Polinomial e Ajuste linear onde a0 e a1 são coeficientes representando o intercepto e o coeficiente angular respectivamente e e é o erro ou residual entre o modelo e as observações o qual pode ser obtido rearranjando a Equação 515 como e y a0 a1x 516 Então o erro ou residual é a discrepância entre o valor verdadeiro de y e o valor aproximado a0 a1x predito pela equação linear 551 Critério para um melhor ajuste Uma estratégia para ajustar uma melhor linha através dos dados pode ser minimizar a soma dos erros residuais para todos os dados disponíveis como em Σ i1n ei Σ i1n yi a0 a1xi 517 Onde n é o número total de pontos No entanto esse é um critério inadequado como o ilustrado pela Figura 56a a qual retrata o ajuste de uma linha reta entre dois pontos Obviamente o melhor ajuste é a linha conectando os pontos No entanto qualquer linha reta passando através do ponto médio da linha conectora com exceção de uma linha perfeitamente vertical resulta em um valor mínimo da Equação 517 igual a zero pois os erros se cancelam A partir desse resultado outro critério lógico seria minimizar a soma dos valores absolutos das discrepâncias tal como em Σ i1n ei Σ i1n yi a0a1xi 518 A Figura 56b demonstra porque esse critério também é inadequado Para os quatro pontos mostrados qualquer linha reta que se encontre na região entre as linhas tracejadas minimizará a soma dos valores absolutos Então esse critério também não resulta em um único melhor ajuste Uma terceira estratégia para ajustar uma melhor linha é o critério minimax Nessa técnica a linha é escolhida para minimizar a máxima distância que um ponto individual se encontre em relação à linha Como retratado na Figura 56c essa estratégia não é bem acondicionada para a regressão pois dá uma influência indevida para um outlier ou seja um único ponto com um grande erro Devese notar que o princípio minimax é algumas vezes adequado para o ajuste de uma função complicada em uma função simples Uma estratégia que supera os contratempos encontrados nas abordagens mencionadas acima é minimizar a soma dos quadrados dos resíduos entre os valores de y medidos e os y calculados pelo modelo linear Sr Σ i1n ei2 Σ i1n yimedido yimodelo2 Σ i1n yi a0 a1xi2 519 Esse critério possui várias vantagens incluindo o fato de que resulta em uma única linha para um dado conjunto de dados Antes de discutir essas propriedades será apresentada uma técnica para a determinação de valores de a0 e a1 que minimizam a Equação 519 13 a b c 14 552 Ajuste dos mínimos quadrados de uma linha reta Para determinar valores de a0 e a1 a equação 519 é diferenciada com respeito a cada coeficiente Sra0 2 Σ i1n yi a0 a1xi 520 Sra1 2 Σ i1n yi a0 a1xix1 521 Igualandose essas derivadas a zero resultará em um mínimo Sr Se isso é feito as equações podem ser expressas como 0 Σ i1n yi Σ i1n a0 Σ i1n a1x1 522 0 Σ i1n yixi Σ i1n a0xi Σ i1n a1xi2 523 Tendose que Σ i1n a0 na0 podese expressar as equações como um conjunto de duas equações lineares simultâneas com duas incógnitas a0 e a1 na0 Σ i1n xia1 Σ i1n yi 524 Σ i1n xi a0 Σ i1n xi2 Σ i1n xiyi 525 Essas são chamadas equações normais Elas podem ser resolvidas simultaneamente a1 n Σ i1n xiyi Σ i1n xi Σ i1n yi n Σ i1n xi2 Σ i1n xi2 526 Esse resultado pode ser usado em conjunção com a equação 525 para resolver para a0 ȳ a1x 527 onde ȳ e x são as médias de y e x respectivamente Exemplo Regressão Linear Ajuste de uma linha reta correspondente aos valores de x e y nas duas primeiras colunas da tabela xi yi yi y yi a0 a1 xi2 1 05 85765 01687 2 25 08622 05625 3 20 20408 03473 4 40 03265 03265 5 35 00051 05896 6 60 66122 07972 7 55 42908 01993 240 227143 29911 Solução Primeiramente são computadas as seguintes quantidades n 7 Σ i1 a n xi yi 1195 Σ i1 a n xi2 140 Σ i1 a n xi 28 x 287 4 Σ i1 a n yi 24 y 247 3428571 Utilizando as Equações 526 e 527 a1 71195 2824 7140 282 083928557 a0 3428571 08392857 007142857 Assim o ajuste por mínimos quadrados é y 007142857 x 08392857 528 553 Quantificação do erro na regressão linear Qualquer reta diferente do que a computada no exemplo anterior resulta em uma maior soma dos quadrados dos resíduos Portanto a linha é única e em termos do critério escolhido é a melhor linha através dos pontos Um número adicional de propriedades desse ajuste pode ser elucidado examinandose mais detalhadamente a maneira pela qual os resultados são computados Relembrando que a soma dos quadrados é definida como Sr Σ i1 a n ei2 Σ i1 a nyi a0 a1 xi2 529 Podese notar a semelhança entre a equação apresentada na Aula 10 St Σ i1 a nyi y2 e a equação acima No primeiro caso o quadrado dos resíduos representou o quadrado da discrepância entre os dados e uma única estimativa da medida da tendência central a média Já na Equação 529 o quadrado dos resíduos representa o quadrado da distância vertical entre os dados e outra medida de tendência central a linha reta Figura 56 Figura 56 Erro A analogia pode ser estendida para casos onde 1 o espalhamento dos pontos em torno da linha tem magnitude similar ao longo de todo o intervalo de dados 2 a distribuição desses pontos em torno da linha é normal Pode ser demonstrado que se esses critérios são atendidos a regressão por mínimos quadrados proverá a melhor ou seja a mais próxima estimativa de a0 e a1 Isso é chamado princípio da máxima verossimilhança em estatística Além disso se esses critérios são atendidos um desvio padrão para a linha de regressão pode ser determinado como syx sqrtSr n 2 530 onde syx é chamado erro padrão da estimativa A notação subscrita y x indica que o erro para um valor predito de y corresponde a uma valor particular de x Além disso podese notar que agora a divisão é por n2 pois são usadas duas estimativas baseadas em dados a0 e a1 para computar Sr portanto perdese dois graus de liberdade Assim como na discussão sobre o desvio padrão desenvolvida anteriormente outra justificativa para se dividir por n 2 é a de que não há tal coisa como distribuição de dados em torno de uma linha reta conectando dois pontos Dessa forma para o caso onde n2 a Equação 530 resulta em infinito não tendo significado Tal como no caso do desvio padrão o erro padrão da estimativa quantifica o espalhamento dos dados No entanto syx quantifica o espalhamento em torno da linha de regressão como mostrado na Figura 57b ao contrário do desvio padrão sy que quantifica o espalhamento em torno da média Figura 57a Figura 57 aDesvio em relação à média bDesvio em relação ao ajuste linear Os conceitos acima podem ser usados para quantificar a qualidade do ajuste Isso é particularmente útil para a comparação de várias regressões Figuras 58a e 58b Para fazer isso retornase aos dados origináis e determinase a soma total dos quadrados em torno da média para a variável dependente no caso y Essa quantidade é indicada por St e repreenta a magnitude do erro residual associado com a variável dependente antes da regressão Depois de feita a regressão podese computar Sr a soma dos quadrados dos resíduos em torno da linha de regressão Isso caracteriza o erro residual que resta depois da regressão Isso é por esse motivo algumas vezes chamado de soma dos quadrados inexplicável A diferença entre as duas quantidades St Sr quantifica a melhora ou redução no erro devido à descrição dos dados em termos de um linha reta em lugar do valor da média Por causa da magnitude dessa quantidade der dependente da escala de trabalho a diferença é normalizada a St para resultar Figura 58 apequeno erro residual bgrande erro residual r2 St Sr St 531 onde r2 é chamado o coeficiente de determinação e r é o coeficiente de correlação sqrtr2 Para um ajuste perfeito Sr 0 e r r2 1 significando que a linha explica 100 da variabilidade dos dados Para r r2 0 Sr St e o ajuste não representa nenhuma melhoria Uma alternativa de formulação para r que é mais conveniente computacionalmente é r n Σi1n xi yi Σi1n xiΣi1n yi sqrtn Σi1n xi2 Σi1n xi2 sqrtn Σi1n yi2 Σi1n yi2 Exemplo Estimação dos erros para o ajuste por mínimos quadrados Computar o desvio padrão total o erro padrão da estimativa e o coeficiente de correlação para os dados do exemplo anterior Solução As somas foram feitas e apresentadas no exemplo A partir delas o desvio padrão é sy sqrt227143 7 1 19457 e o erro padrão da estimativa é syx sqrt29911 7 1 07735 Dessa forma sendo syx sy o modelo de regressão linear tem mérito O tamanho do ganho por ser então quantificado r2 227143 29911 227143 0868 ou r sqrt0868 0932 Esses resultados indicam que 868 da incerteza original pode ser explicada por um modelo linear Antes de prosseguir é importante colocar um ponto sobre o valor de r Apesar do coeficiente de correlação fornecer uma medida prática da qualidade do ajuste devese tomar cuidado para não se atribuir mais significado a ele do que lhe é garantido Por exemplo é possível obter valores relativamente altos de r quando a relação entre y e x não é nem mesmo linear Além disso devese sempre no mínimo verificar um gráfico dos dados em torno de sua curva de regressão 554 Linearização de relações nãolineares A regressão linear fornece uma técnica poderosa para ajustar a melhor linha aos dados No entanto é pressuposto o fato de que a relação entre a variável dependente e independente seja linear Esse não é sempre o caso e o primeiro passo em qualquer análise de regressão deve ser plotado e inspecionado visualmente para se certificar se o modelo linear se aplica Por exemplo a Figura 59a mostra alguns dados que são obviamente curvilíneos Em alguns casos técnicas como regressão polinomial que será descrita futuramente são apropriadas Para outros transformações podem ser utilizadas para expressar os dados em uma forma que seja compatível como uma regressão linear a b Figura 59 aAjuste por uma reta bAjuste por um polinômio de grau 2 Um exemplo é o modelo exponencial y α1 eβ1 x 533 onde α1 e β1 são constantes Esse modelo é utilizado em muitos campos da engenharia para caracterizar quantidades que aumentam β1 positivo ou diminuem β1 negativo a uma taxa que seja proporcional à sua própria magnitude Por exemplo crescimento populacional ou decaimento radioativo podem exibir tal comportamento Como esboçado na Figura 510a a equação representa uma relação nãolinear para β 0 entre y e x Outro exemplo de um modelo nãolinear é a equação de potência y α2 x2β 534 onde α2 e β2 são coeficientes constantes Esse modelo tem grande aplicabilidade em todos os campos da engenharia Como apresentado na Figura 510b a equação β2 0 ou 1 não é linear Um terceiro exemplo de modelo nãolinear é a equação da taxa de saturaçãocrescimento y α3 x β3 x 535 onde α3 e β3 são coeficientes constantes Esse modelo o qual é particularmente bemcondicionado para caracterizar a taxa de crescimento populacional sob condições limitantes também representa uma relação nãolinear entre y e x Figura 510c que se nivela ou satura na medida em que x aumenta Técnicas de regressão nãolinear estão disponíveis para ajustar essas equações a seus dados experimentais diretamente No entanto uma alternativa mais simples é utilizar manipulações matemáticas para transformar as equações em uma forma linear Então a regressão linear simples pode ser empregada para ajustar as equações aos dados Por exemplo a Equação 533 pode ser linearizada tomandose o logaritmo natural para resultar em ln y ln α1 β1 x ln e como ln e 1 ln y ln α1 β1 x 536 Portanto um gráfico de lny versus x resultará em uma linha reta com um coeficiente angular β1 e intercepto de ln α1 Figura 510d a b c d e f Figura 510 aAjuste por uma reta bAjuste por um polinômio de grau 2 A equação 534 é linearizada tomandose seu logaritmo na base 10 resultando em log y β2 log x log α2 537 Dessa forma um gráfico de log y versus log x resulta em uma linha reta com um coeficiente angular de β2 e um intercepto de log α2 Figura 510e E finalmente a Equação 535 é linearizada a partir de sua inversão para resultar em 1 y β3 α3 1 x 1 α3 538 Assim um gráfico de 1y versus 1x será linear com coeficiente angular de β3 α3 e o intercepto de 1 α3 Figura 510f Em suas formas transformadas esses modelos podem utilizar regressão linear para avaliar os coeficientes constantes Eles devem ser então transformados de volta em seu estado original e utilizados para propósitos preditivos Exemplo Linearização de uma equação de potência Desejase ajustar parâmetros da equação 534 aos dados na tabela abaixo usando a transformação logarítmica dos dados Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda x y log x log y 1 05 0000 0301 2 17 0301 0226 3 34 0477 0534 4 57 0602 0753 5 84 0699 0922 Solução A Figura 511a é um gráfico dos dados originais em seu estado antes da transformação A Figura 511b mostra o gráfico dos dados transformados a b Uma regressão linear da transformação logarítmica dos dados resulta em log y 175 log x 0300 539 Então o intercepto log α2 é igual a 0300 e portanto tomandose o antilogaritmo α 1003 05 O coeficiente angular é β2 175 Consequentemente a equação de potência é y 05x175 540 Essa curva plotada na Figura 511a indica um bom ajuste 96 Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda 555 Considerações sobre a regressão linear Antes de prosseguir para ajustes mais complexos é importante colocar aqui de forma objetiva algumas premissas que são inerentes no processo de mínimos quadrados 1 Cada um dos x tem um valor fixado não é aleatório e é conhecido sem erro 2 Os valores de y são variáveis aleatórias independentes e todos possuem a mesma variância 3 Os valores de y para um dado x devem ser normalmente distribuídos Tais premissas são relevantes para uma derivação adequada e uso da regressão Por exemplo a primeira premissa significa que 1 os valores de x devem ser livres de erro e 2 a regressão de y versus x não é a mesma de x versus y 56 Regressão Polinomial Anteriormente foi desenvolvido um procedimento para derivar a equação de uma linha reta usando o critério dos mínimos quadrados Alguns dados de engenharia apesar de apresentarem um padrão claro como visto na Figura 59a são mal representados por uma linha reta Para esses casos uma curva deve ser melhor para ajustar os dados Como discutido anteriormente um método possível é utilizar transformações Outra alternativa é ajustar polinômios aos dados utilizando regressão polinomial O procedimento de mínimos quadrados pode ser prontamente estendido para ajustar dados a um polinômio de ordem superior Por exemplo supõese que é desejado ajustar um polinômio de segunda ordem ou quadrático y a0 a1x a22 e 541 Para esse caso a soma dos quadrados dos resíduos é Sr Σni1yi a0 a1xi a2x2i 2 542 Seguindo o mesmo procedimento do caso linear são calculadas as derivadas da equação acima com respeito a cada um dos coeficientes do polinômio assim Sra0 2Σni1yi a0 a1xi a2x2i 543 Sra1 2Σni1 xiyi a0 a1xi a2x2i 544 Sra2 2Σni1 x2i yi a0 a1xi a2x2i 545 97 Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda Essas equações podem ser igualadas a zero e rearranjadas para se desenvolver o seguinte conjunto de equações normais na0 Σni1 xi a1 Σni1 x2i a2 Σni1 yi 546 Σni1 xi a0 Σni1 x2i a1 Σni1 x3i a2 Σni1 xiy i 547 Σni1 x2i a0 Σni1 x3i a1 Σni1 x4i a2 Σni1 x2i yi 548 é possível notar que as três equações acima são lineares e possuem três incógnitas a0 a1 e a2 Os coeficientes das incógnitas podem ser calculados diretamente dos dados observados Para esse caso observase que o problema de se determinar o polinômio de segunda ordem através dos mínimos quadrados é equivalente a resolver um sistema de três equações lineares simultâneas O caso bidimensional pode ser facilmente estendido para um polinômio de ordem m tal como y a0 a1x a2x2 amxm e 549 A análise anterior pode ser estendida para esse caso mais geral Assim é possível dizer que a determinação dos coeficientes de um polinômio de ordem m é equivalente a resolver um sistema de m 1 equações lineares simultâneas Para esse caso o erro padrão é formulado como syx Srn m 1 550 Essa quantidade é dividida por nm1 pois m1 coeficientes derivados dos dados a0 a1 am são usados para computar Sr dessa forma perdese m1 graus de liberdade Adicionalmente ao erro padrão um coeficiente de determinação pode também ser computado com a equação r2 St SrSt 551 Exemplo Ajuste de um polinômio de segundo grau aos dados das duas primeiras colunas da Tabela 53 Solução A partir dos dados 98 Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda Tabela 53 Análise do erro do ajuste por mínimos quadrados xi yi yi y² yi a0 a1xi a2x²i² 0 21 54444 014332 1 77 31447 100286 2 136 14003 108158 3 272 312 080491 4 409 23922 061951 5 611 127211 009439 1526 251639 374657 m 2 i1n xi 15 i1n x⁴i 979 n 6 i1n yi 1526 i1n xiyi 5856 x 25 i1n x²i 55 i1n x²i yi 24888 ȳ 25433 i1n x³i 225 Portanto as equações lineares simultâneas são 6 15 25 15 55 225 55 225 979a0 a1 a2 1526 5856 24888 Resolvendo essas equações obtémse como resultado a0 247857 a1 235929 a2 186071 Assim a equação quadrática obtida através dos mínimos quadrados para esse caso y 247857 235929x 186071x² 552 O erro padrão da estimativa baseada na regressão polinomial é syx 37465763 112 553 O coeficiente de determinação é r² 251339 374657251339 099851 554 E o coeficiente de correlação é r 099925 Esses resultados indicam que 99851 por cento da incerteza original é explicada pelo modelo Esse resultado suporta a conclusão de que a equação quadrática representa um ajuste excelente o que fica evidente também a partir da Figura 511 99 Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda Figura 511 Ajuste Polinomial 57 Regressão linear múltipla Uma extensão útil da regressão linear é o caso onde y é uma função linear de duas ou mais variáveis independentes Por exemplo y pode ser uma função linear de x₁ e x₂ tal como em y a₀ a₁x₁ a₂x₂ e 555 Tal equação é particularmente útil quando ajustando dados experimentais onde a variável sendo estudada é frequentemente uma função de duas outras variáveis Para essa caso bidimensional a linha se torna um plano de regressão Como nos casos anteriores os melhores valores dos coeficientes são determinados obtendose a soma dos quadrados dos resíduos Sr i1n yi a₀ a₁x₁i a₂x₂i² 556 E diferenciando com respeito a cada um dos coeficientes desconhecidos Sra₀ 2 i1n yi a₀ a₁x₁i a₂x₂i 557 Sra₁ 2 i1n x₁i yi a₀ a₁x₁i a₂x₂i 558 Sra₂ 2 i1n x₂i yi a₀ a₁x₁i a₂x₂i 559 Os coeficientes resultantes dos mínimos quadrados dos resíduos são obtidos igualandose as derivadas parciais a zero e expressando o resultado em forma de matriz 100 Modelagem e Simulação de Processos II Prof Dr Júlio Cesar de Carvalho Miranda n i1n x₁i i1n x₂i i1n x₁i i1n x₁i² i1n x₁i x₂i i1n x₂i i1n x₁i x₂i i1n x₂i² a₀ a₁ a₂ i1n yi i1n x₁i yi i1n x₂i yi 560 Exemplo Regressão Linear Múltipla Os dados a seguir foram calculados da equação y 5 4x₁ 3x₂ x₁ x₂ y 0 0 5 2 1 10 25 2 9 1 3 0 4 6 3 7 2 27 Utilize regressão linear múltipla para ajustar esses dados Solução As somas necessárias para desenvolver a Equação 560 estão computadas na Tabela 54 O resultado é Tabela 54 Cálculos necessários para o desenvolvimento das equações y x₁ x₂ x₁² x₂² x₁x₂ x₁y x₂y 5 0 0 0 0 0 0 0 10 2 1 4 1 2 20 10 9 25 2 625 4 5 225 18 0 1 3 1 9 3 0 0 3 4 6 16 36 24 12 18 27 7 2 49 4 14 189 54 54 165 14 7625 54 48 2435 100 6 165 14 165 7625 48 14 48 54a₀ a₁ a₂ 54 2435 100 561 sistema qual que quando resolvido resulta em a₀ 5 a₁ 4 a₂ 3 562 que é consistente com a equação original da qual esses dados são derivados O caso bidimensional demonstrado pode ser facilmente estendido para m dimensões tal como em 101 y a0 a1 x1 a2 x2 am xm e 563 onde o erro padrão é formulado como syx sqrtSr n m 1 564 e o coeficiente de determinação calculado pela 551 Além de haver muitos casos de aplicação direta onde uma variável é linearmente relacionada com duas ou mais variáveis a regressão linear múltipla tem utilidade adicional na derivação de equações de potência na forma geral y a0 x1a1 x2a2 xmam 565 Tais equações são extremamente úteis no ajuste de dados experimentais Para usar uma regressão linear múltipla a equação é transformada efetuandose o logaritmo resultando em log y log a0 a1 log x1 a2 log x2 am log xm 566 Essa transformação é similar às transformações utilizadas para uma variável Bibliografia 1 A Constantinides and N Mostoufi Numerical Methods for Chemical Engineers with MATLAB Applications Prentice Hall PTR 1999 2 S C Chapra and R P Canale Numerical Methods for Engineers McGrawHill 2015