Notas de Aula - Redes Neurais Artificiais RNA - Métodos Quantitativos Decisão

Notas de Aula da Disciplina de Métodos Quantitativos para Tomada de Decisão Prof Edgard Pedroso Arquivo de aulas n o 14 Métodos metaheurísticos Redes Neurais Artificiais RNA As Redes Neurais Artificiais RNAs são compostas de muitos elementos simples inspirados pelo sistema nervoso biológico que operam em paralelo A função da rede é determinada pelas conexões entre os seus elementos Podese treinar uma rede neural para executar uma função particular ajustandose os valores das conexões entre os elementos As RNAs servem para Classificação Previsão Agrupamento e Associação de Padrões As RNAs têm sido treinadas para executar funções complexas em vários campos de aplicação e como exemplo de aplicação temse a Reconhecimento classificação de padrões de idiomas b Reconhecimento de padrões de sintomas p diagnóstico médico c Reconhecimento classificação de padrões de bons e maus pagadores para concessão crédito bancário d Predição de falência bancária e Predições na área financeira f Predições de demanda g Na área de robótica e outras Introdução as Redes Neurais Artificiais RNAs artificial neural networks aspectos básicos Exemplo Podese utilizar uma base de dados de registros históricos de clientes em uma rede bancária para treinar uma RNA com o propósito de inferir reconhecer classificar separar sobre novos clientes o perfil de adimplência ou inadimplência Adimplentes Inadimplentes Usamos o aprendizado adquirido com experiências passadas para inferir sobre o futuro Reta que separa os perfis Resumo com alguns eventos relevantes década perdida de 70 a 80 1943 McCulloch e Pitts 1º modelo matemático Inspiração no neurônio biológico Excitaçãoinibição Sem aprendizado 1949 Hebb 1º método de treinamento Aprendizado Adaptação 1957 Frank Rosenblatt Rede Perceptron 1º NeurocomputadorMark I Reconhecimento de padrões Convertem um vetor de entrada em um vetor de saída 1960 Widrow Hoff Rede Adaline ADAptive LINear Element Aplicáveis a em problemas linearmente separáveis Processador ADALINE com um algoritmo de treinamento que diminui a função do Erro Quadrático Médio EQM Sistema linear capaz de responder a trocas do seu ambiente enquanto operaSaída contínua 1962 Widrow Hoff Rede Madaline Multiple ADALINE Múltiplas camadas ADALINE 1969 Minsky Papert Problema que envolve padrões não linearmente separáveis denominado OUExclusivo ou XOR Porque um único perceptron clássico não resolve este problema mas um perceptron morfológico com dois dendritos é capaz de resolvêlo httpwwwimeunicampbrvallePDFfil esSLMPreportpdf 1974 Werbos Gradiente reverso Embasamento p Back Propagation 1982 Hopfield Redes Recorrentes Memórias AutoAssociativas Baseadas em funções de energia Aplicada p o PCV caixeiro viajante 1986 Rumelhart McClelland e Williams Algoritmo de treinamento de retro propagação Back Propagation Generaliza a aprendizagem de W H p redes de múltiplas camadas e as funções de transferência diferenciáveis nãolineares 1 Os dendritos captam os estímulos vindos de outros neurônios ou do meio externo sentidos da visão do olfato do paladar da audição e do tato e os conduzem para corpo somático 2 Do corpo somático o impulso nervoso é transmitido ao longo do axônio até as terminações nervosas de transmissão As terminações nervosas fazem contato com os muitos dendritos de outras células nervosas 3 As sinapses excitantes ou inibidoras são as conexões que possibilitam a transferência de impulsos elétricos das terminações nervosas do axônio de um neurônio para os dendritos de outros Obs O sinal de saída é o valor final produzido pelo neurônio em relação a um determinado conjunto de sinais de entrada e pode ser utilizado por outros neurônios sequencialmente interligados Inspiração das RNAs Neurônios Biológicos Corpo somático 1 Os sinais são apresentados à entrada 2 Cada sinal é multiplicado por um peso sináptico que indica sua influência na saída da célula 3 Executase a soma ponderada i ou Ʃ ou net dos sinais acrescida do BIAS θ O resultado dessa soma produz um nível de atividade denominado potencial de ativação net 4 O potencial de ativação alimenta a função de ativação F que modela a forma como o neurônio responde ao nível de excitação ou inibição limitando definindo e padronizando a saída resposta da rede OBS Os pesos w e o bias θ tem valores ou ajustáveis variáveis livres A variável bias θ é usada para aumentar o número de graus de liberdade do modelo dando a ele maior flexibilidade durante o aprendizado podendo aumentar se ou diminuir se a entrada da função de ativação Nem todas as redes adotam o uso da variável biasθ O bias θ pode ser interpretada como um peso sináptico associado a uma entrada de valor constante igual a 1 Estrutura do neurônio artificial ou elemento processador As redes neurais são constituídas de neurônios que aqui são representados por unidades matemáticas denominadas de neurônios artificiais a F n θ Fw x θ x w F F F a n 1 j j j net i resumo Em Saída Entrada Pesos θ n Ʃ x1 x2 xn w1 w2 wn Função de ativação F Bias limiar Soma ponderada net i Potencial de Ativação ou 1 θ Σ F θ Modelo do neurônio unidade matemática básica X Entrada a Saída W Bias O modelo do neurônio pode receber várias entradas bias Σ F θ X1 Entradas a Bias θ F w x θ x w x w x Fw a n n 2 2 1 1 X2 Xn w1 w2 wn Saída w w w w n 2 1 x x x x n 2 1 Entrada Saída Unidade biológica básica Rede c uma camada de m neurônios cada um deles recebendo o mesmo conjunto de n entradas respectivos bias Σ F θ1 X1 Entradas Camada de neurônios a1 Bias X2 Xn w11 w12 Saídas w1n Σ F a2 w21 w22 w2n Σ F wmn wm2 wm1 am θ2 θm a θ Fw x 1 2 1 1 2 1 1 2 1 2 1 2 22 21 1 12 11 m m m m n n m n mn m m n n a a a x x x w w w w w w w w w Modelo de rede c k camadas de m neurônios com Funções de ativação cada neurônio dentro de uma mesma camada recebe o mesmo conjunto de n entradas respectivos bias mas camadas diferentes tem diferentes conjuntos de n entradas Σ F1 θ11 X1 Camada de entrada Camada Neural 1 a1 Bias X2 Xn w11 w12 Camada de saída w1n Σ a2 w21 w22 w2n Σ wmn wm2 wm1 am θ21 θm1 Σ θ12 Bias Σ Σ θ22 θm2 Σ θ1k Bias Σ Σ θ2k θmk F1 F1 F2 F2 F2 FK FK FK Camada Neural 2 Camada Neural k Usualmente as camadas são classificadas em três grupos Camada de Entrada recebem os imputs apresentados à rede Camadas Intermediárias ocultas escondidas processam os imputs ponderados com diferentes conjuntos de valores afim de reconhecer as características preponderantes mais importantes ao bom desempenho da rede em sua função Camada de Saída apresentam o resultado final Organização em camadas Em função do fluxo de dados as redes neurais podem ser classificadas em redes feed forward se nelas os dados se propagam apenas unidirecionalmente ou seja apenas para a frente ou redes feedback ou recorrentes se o fluxo de dados pode se dar nos dois sentidos Fluxo de Dados em uma RN a1 x2 x1 x1 a1 a2 Camada de saída Camada de saída a2 Camada de entrada Camada de entrada Rede feedback rede Hopfield cíclica recorrente Rede feedforward acíclica Camadas ocultas Z1 Z1 funcionam de forma mais parecida com o cérebro humano porém são mais complexas Função de ativação ou de transferência do neurônio artificial A função de ativação é muito importante para o comportamento de um neurônio porque é ela transforma normaliza a combinação dos valores de entrada em um sinal de saída e portanto define o caminho pelo qual a informação é conduzida Enquanto o neurônio biológico tem saída binária ativo ou inativo o neurônio artificial pode ter saída binária ou contínua linear ou não linear dependendo da função de ativação Fi usada 1 Função passo ou limiar threshold proposta por McCulloch e Pitts produz uma saída binária similar aos neurônios reais e seu uso demonstrouse inadequado para o algoritmo de aprendizagem Entre outros destacaremos os seguintes tipos de função de ativação i 0 1 F PASSO degrau K0 1 F PASSO degrau bipolar ou sinal Fi 1 i k Saídas a 1 ou a 1 Função considerando o uso do Bias Ɵ como um peso de sobre entrada 1 Saídas a 0 ou a 1 Função sem considerar o uso do Bias Ɵ como um peso de sobre entrada 1 Função considerando o uso do Bias Ɵ como um peso de sobre entrada 1 Função sem considerar o uso do Bias Ɵ como um peso de sobre entrada 1 k 0 se i k 1 se i Fi Fi θ x w F F a n 1 j j j i k 0 se i k 1 se i Fi n 1 j wj xj F F a i 0 1 se i 0 1 se i Fi θ x w F F a n 1 j j j i 0 1 se i 0 1 se i Fi n 1 j wj xj F F a i 2 Função linear ou pseudolinear elimina a descontinuidade da F passo 1i 0 1 2i F LINEAR i Fi 1i 0 1 2i F LINEAR i Fi 1 i 0 se i i i se i 01 i 1 se i F i 1 2 1 2 i 1 se i i i se i 1 1 i 1 se i F i 1 2 1 2 Saídas 0 a 1 Saídas 1 a 1 3 Função sigmoidal ou sigmóide logística adiciona a não linearidade em relação a Função linear i 0 1 F BINÁRIA SIGMOIDAL c σ 1 i 0 1 F BIPOLAR SIGMOIDAL c σ 1 Fi 1 e i 1 1 Fi Saídas 0 a 1 Saídas 1 a 1 OBS gx derivada 1 1 1 f i f i i f e i f i derivada 1 2 1 1 1 1 1 2 1 2 g i g i i g e e e f i i g i i i 1 fi i i gi 0 1 1 1 Fi Forma usada na resolução dos exemplos aqui abordados Processos de Aprendizado 1 A propriedade mais importante das redes neurais é a habilidade de aprender de seu ambiente e com isso melhorar seu desempenho 2 Isso é feito através de um processo iterativo de ajustes aplicado a seus pesos o treinamento 3 O aprendizado ocorre quando a rede neural atinge uma solução generalizada para uma classe de problemas 1 Algoritmo de aprendizado é um conjunto de regras bem definidas para a solução de um problema de aprendizado 2 Existem muitos tipos de algoritmos de aprendizado específicos para determinados modelos de redes neurais estes algoritmos diferem entre si principalmente pelo modo como os pesos são modificados Aqui será dada enfase ao algoritmo denominado backpropagation Algoritmo de Aprendizado Alguns tipos de aprendizado Supervisionado quando é utilizado um agente externo supervisor que indica à rede a resposta desejada para o padrão de entrada NãoSupervisionado quando somente um conjunto de entradas é dado e temse que classificálo extraindo quaisquer propriedades estatísticas de acordo com algumas representações internas Modelos deste tipo de treinamento foram desenvolvidos por Kohonen e Hopfield REDE NEURAL REGRA DE APRENDIZAGEM ESTÍMULO RESPOSTA RESPOSTA DESEJADA REDE NEURAL REGRA DE APRENDIZAGEM ESTÍMULO RESPOSTA Os Modelos de Redes Neurais Pode reconhecer os padrões de um conjunto depois de um número finito de tentativas treinamento São treinadas utilizando exemplos de comportamento correto dados históricos A regra de aprendizagem ajusta os pesos e biases em função da entrada X e do erro obtido O erro é a diferença entre a resposta obtida e a saída desejada 0 ou 1 para o padrão A cada ajuste de pesos e biases a rede terá uma melhor chance de obter as saídas corretas Converge para uma solução em um número finito de iterações se a solução existe 1 Rede Perceptron Rosenblatt1957 i 0 1 F PASSO Entradas Neurônio Saída Na versão básica perceptron simples consiste em um único neurônio artificial com pesos ajustáveis e um BIAS O termo Perceptron é usado atualmente para significar diferentes combinações do modelo original uma distinção é feita entre perceptrons de camada única e multicamadas MLP As redes Perceptron convertem um vetor de entrada em um vetor de saída e portanto representam uma memória associativa simples Exemplo como concebido originalmente a Os valores de saída podem ser somente 0 ou 1 função passo de transferência b Podem classificar somente conjuntos de vetores entradas linearmente separáveis Características das Redes de Perceptron Exemplo 05 05 10 05 05 10 03 01 00 00 10 00 Entradas Saídas desejadas a As entradas b Separação inicial do espaço c Separação final Pesos finais w1 21642 w2 06922 06433 a mostra os vetores de entrada plotados b mostra a linha de como a rede inicial divide o espaço de entradas c mostra como a rede ajustou seus pesos e biases para classificar o espaço de entradas até a solução ser encontrada após 4 iterações Obs Os Perceptrons podem achar soluções diferentes se iniciarem o processo de aprendizado de diferentes condições iniciais pesos e biases Uma amostra de 4 padrões históricos com saídas conhecidas para treinamento de rede x1 x2 A função de transferência é linear As saídas podem ser qualquer valor entre 0 e 1 e não apenas os valores 0 e 1 como nas redes Perceptron Utilizam a regra de aprendizagem de WidrowHoff Mínimos Quadrados Lineares Least Mean SquareLMS para ajustar os pesos e biases de acordo com a magnitude dos erros 2 Redes Lineares 1i 0 1 2i F LINEAR Entradas Saída OBS Como na rede Perceptron os biases são úteis para aumentar o número de graus de liberdade disponíveis no modelo e podem ser ajustados para obterem o desempenho desejado da rede A rede pode ser chamada de MADALINE quando possui múltiplas camadas ou múltiplas ADALINEs A regra de WidrowHoff pode treinar somente redes lineares de uma única camada Dois problemas podem ser abordados no modelo de Rede Linear a Quando se deseja projetar uma rede linear para que ao se apresentar um conjunto de vetores de entrada as saídas correspondam aos vetores desejados supervisionado Para cada vetor de entrada calculase o vetor de saída da rede A diferença entre o vetor de saída e o vetor alvo é o erro O objetivo é achar valores para os pesos e biases da rede tal que a soma dos quadrados dos erros erro quadrático seja minimizada b Quando se deseja projetar um sistema linear que possa responder a trocas do seu ambiente enquanto ele está operando não supervisionado Tal sistema é chamado de sistema adaptativo Widrow e Hoff Adaptive Linear Element ADALINE atenção a Erro da Rede b Caminho da rede para achar a solução Neste exemplo só temos um peso e um bias sendo então possível plotar o erro da rede para um intervalo de valores de pesos e bias A rede leva 12 iterações para convergir para a solução w 02354 07066 a Múltiplas camadas em uma rede linear não resultam necessariamente em uma rede mais poderosa de modo que uma única camada não é uma limitação b Redes Lineares resolvem problemas lineares ou seja contendo relações lineares entre as entradas e os alvos saídas desejadas Características das Redes Lineares 07066 02354 a b Minimização da função de erro quadrático Exemplo 10 05 12 10 Entradas Saídas desejadas x1 w Usam em geral o algoritmo de treinamento supervisionado backpropagation Werbos 1974 Parker 1982 Rumelhart McClelland e Williams 1986 Foram criadas generalizando a regra de aprendizagem de WidrowHoff para redes de múltiplas camadas e as funções de transferência diferenciáveis nãolineares Vetores de entrada e os correspondentes vetores de saída são usados para treinar a rede até que ela possa aproximar uma função que classifique os vetores de entrada de maneira apropriada O treinamento backpropagation pode conduzir a um erro quadrático mínimo local ao invés de global O erro mínimo local achado pode ser satisfatório mas se não for uma rede com mais neurônios poderá fazer um trabalho melhor 3 Redes de Múltiplas Camadas Redes Feedforward unidirecionais i 0 1 F SIGMOIDAL Entradas Saída Camada Neural 1 Camada Neural 2 Algoritmo backpropagation O número de neurônios ou camadas adequados não é de determinação simples Podese usar diferentes conjuntos de soluções iniciais na procura de uma melhor solução para o problema Estas redes usam frequentemente a função de transferência sigmoidal entre outras A função sigmoidal não linear gera saídas entre 0 e 1 para entradas variando de Redes de Múltiplas Camadas Redes Feedforward unidirecionais Continuação O treinamento da rede utilizando o algoritmo backpropagation retropropagação é descrita através de uma sequência de ações 1 um padrão é apresentado à camada de entrada da rede 2 a atividade resultante é propagada pela rede camada por camada até que a resposta seja produzida pela camada de saída 3 a saída obtida é comparada à saída desejada para um padrão em particular 4 se a saída não estiver correta o erro é calculado 5 o erro é então retro propagado a partir da camada de saída até a camada de entrada 6 os pesos das conexões das unidades das camadas internas vão sendo modificados conforme o erro é retro propagado derivadas 7 o processo é repetido para todos os vetores de entrada da rede até que o erro das saídas da rede tenha diminuído ao nível satisfatório Fonte Wikipédia Validação Cruzada Testase o modelo com a parte reservada do conjunto de dados que não foi utilizada no treinamento da rede em questão Assim podese verificar se o modelo sofreu ou não um sobre ajuste overfitting em seu treinamento perdendo ou não sua capacidade de generalização ou seja se o modelo se ajusta muito bem aos dados históricos porém é ineficaz na caracterização de novos casos Banco de dados disponíveis 100 Amostra separada para treinamento ou seja para aprendizagem da rede de 60 a 90 Amostra separada para testar e validar o modelo construído de 10 a 40 Modelo sobre ajustado Modelo regularizado ou suavizado de transferência de cada neurônio Funções neurônios em cada camada Número de neurônios de camadas Número a rede Arquitetur Sugestões bibliográficas para o no de neurônios na camada oculta 1 Entre o no de neurônios nas camadas de entrada e saída 2 23 do no de neurônios da camada de entrada somado ao no na camada de saída 3 Menor que duas vezes o tamanho da camada de entrada Coletar Dados Inicializar Pesos e Biases Validar a Rede Escolher a Rede Configurar a Rede Treinar a Rede Usar a Rede Fluxograma das RNAs 1 a 0 1 1 p p i p p j j j p e a x w i FORWARD p frente Propagação W1 Wn x1 xn Σ F Saída ap θ 1 1 Os wi iniciais são determinados aleatoriamente 2 ip INPUT do padrão p 3 ap OUTPUT do padrão p O somatório combinação linear agrega todos os sinais de entrada ponderados pelos seus respectivos pesos sinápticos para produzir um potencial de ativação Função sigmoidal j janterior jnovo j p j j p p p p p w w w 1 γ taxa de aprendizagem passo0 γ dos w δ adequação γ x Δw valor desejado para o padrão p d erro δ a d δ DELTA R BACKWARD p trás Propagação É o vetor de pesos W que determina o que a rede neural sabe e como ela responderá a qualquer entrada arbitrária do meio ambiente Em geral é muito difícil designar um W apropriado para a tarefa de classificação Uma solução geral é fazer com que a rede aprenda treinandoa com padrões históricos O algoritmo de aprendizagem backpropagation procurará através do espaço de W por um conjunto de pesos que resulte o melhor ajuste para os pesos apresentados no início do processo Este algoritmo consiste de duas fases Propagação forward e propagação backward Algoritmo BackPropagation Dados os padrões do conjunto A com as seguinte entradas A1 0 2 A2 1 2 A3 1 3 que devem ter resposta igual a 1 e dados os padrões do conjunto B com as seguinte entradas B1 1 0 B2 21 que devem ter resposta igual a 0 faça o treinamento de uma Rede Neural para executar a tarefa deste reconhecimento padrão do conjunto A ou padrão do conjunto B utilizando o Algoritmo BackPropagation em uma rede do tipo feedforward Rede com 2 entradas e com 1 um neurônio Faça os pesos iniciais serem todos iguais a zero e use a taxa de aprendizagem Faça 2 iterações completas apresentando a análise da situação atual após cada iteração Faça a interpretação geométrica Use o número e igual a 272 08 γ 1 0 Dados Históricos x2 x1 ap F Σ Saída Neurônio Entradas Exemplo resolvido de forma simplificada sem aplicação de derivadas Exemplo Entradas Saída Padrões amostra x1 partes x2 material d desejada A1 0 bico 2 aço 1 avião A2 1 asa 2 aço 1 avião A3 1 asa 3 tinta 1 avião B1 1 asa 0 pena 0 ave B2 2pé 1 pele 0 ave θ A1 0 2 A2 1 2 A3 1 3 B1 1 0 B2 2 1 Respostas desejadas Amostra de Padrões Bias Resposta desejada d 1 para o padrão A Resposta desejada d 0 para o padrão B COTEXTUALIZAÇÃO Padrõesx1x2 A1 0 2 A2 1 2 A3 1 3 B1 1 0 B2 2 1 1 0 080 γ 1 γ de aprendizagem 0 taxa 000 θ w w pesos dados Valores 2 1 Passamos o padrão A1 0 2 pela rede 050 2 1 a 1 1 1 a e 1 1 a 000 0 0 2 0 0 1 1 1 A A 000 A θ x w x w i 2 2 1 1 A1 X10 Σ F aA1 050 X22 w1 0 θ 0 1 w2 0 1 a 0 e 1 1 θ e a x w i p i p p j j j p p FORWARD Propagação Faça os cálculos com arredondamentos após cada operação para duas casas decimais Se a terceira casa decimal for 0123 ou 4 mantenha 2ª casa caso contrário se a terceira for 5678 ou 9 some um na 2ª casa 0 40 0 40 00 0 0 80 0 80 00 0 0 00 0 00 00 0 0 40 0 50 0 80 1 0 80 0 50 80 2 0 0 00 0 50 80 0 0 0 50 0 50 1 δ Erro 1 A Δθ θ θ Δw w w Δw w w Δw w w δ 1 Δθ δ x Δw δ x Δw a d δ a d δ anterior novo 2 2anterior 2novo 1 1anterior 1novo j janterior jnovo A A 2 2 A 1 1 A A A p p p 1 1 1 1 1 1 BACKWARD Propagação x1x2 A1 0 2 A2 1 2 A3 1 3 B1 1 0 B2 21 1 0 08 γ 1 γ de aprendizagem 0 taxa 0 θ w w pesos dados Valores 2 1 Σ F aA1 050 θ 040 w2 080 w1 000 Passamos o padrão A1 0 2 pela rede Passamos o padrão A2 1 2 pela rede 088 014 1 1 740 1 1 1 272 1 1 1 272 1 1 a θ x w x w i 2 2 A 2 2 1 1 A 200 200 200 040 2 080 1 0 X11 Σ F aA2 088 X22 θ 040 1 w2 080 w1 000 1 a 0 e 1 1 θ e a x w i p i p p j j j p p FORWARD Propagação Faça os cálculos com arredondamentos após cada operação para duas casas decimais Se a terceira casa decimal for 0123 ou 4 mantenha 2ª casa caso contrário se a terceira for 5678 ou 9 some um na 2ª casa Passamos o padrão A2 1 2 pela rede 0 50 010 0 40 Δθ θ θ 0 99 019 0 80 w w w 010 010 0 w w w w w w 010 012 0 80 1 γ 1 δ Δθ 019 012 0 80 2 δ γ x Δw 010 012 0 80 1 δ γ x Δw 012 0 88 1 δ a d δ a d δ Erro BACKWARD Propagação anterior novo 2 2anterior 2novo 1 1anterior 1novo j janterior jnovo A A 2 2 A 1 1 A A A A p p p 2 2 2 2 2 2 2 Σ F aA2 088 θ 050 w2 099 w1 010 Passamos o padrão A3 1 3 pela rede 097 a 003 1 1 a 3540 1 1 1 a 2 72 1 1 a 3 57 050 3 099 1 010 3 3 3 3 A A A 57 3 A θ x w x w i 2 2 1 1 A3 X11 Σ F aA3097 X23 θ 050 1 w2 099 w1 010 1 a 0 e 1 1 θ e a x w i p i p p j j j p p FORWARD Propagação Passamos o padrão A3 1 3 pela rede 0 52 0 02 0 50 Δθ θ θ 1 06 0 07 0 99 w w w 012 0 02 010 w w w w w w 0 02 0 03 0 80 1 γ 1 δ Δθ 0 07 0 03 0 80 3 δ γ x Δw 0 02 0 03 0 80 1 δ γ x Δw 0 03 0 97 1 δ a d δ a d δ Erro BACKWARD Propagação anterior novo 2 2anterior 2novo 1 1anterior 1novo j janterior jnovo A A 2 2 A 1 1 A A A A p p p 3 3 3 3 3 3 3 Σ F aA3 097 θ 052 w2 106 w1 012 Passamos o padrão B1 10 pela rede 065 a 053 1 1 a 190 1 1 1 a 2 72 1 1 a 0 64 052 0 1 06 1 012 1 1 1 1 B B B 64 0 B θ x w x w i 2 2 1 1 B1 X11 Σ F aB1 065 X20 θ052 1 w2106 w1012 1 a 0 e 1 1 θ e a x w i p i p p j j j p p FORWARD Propagação Passamos o padrão B1 10 pela rede 0 00 0 52 52 0 1 06 0 00 06 1 0 40 0 52 12 0 0 52 0 65 0 80 1 1 δ γ 0 00 0 65 0 80 0 δ x γ 0 52 0 65 0 80 1 δ x γ 0 65 0 65 0 δ a d δ a d δ Erro 1 1 1 1 1 1 1 B B 2 B 1 B B B B p p p Δθ θ θ Δw w w Δw w w Δw w w Δθ Δw Δw anterior novo 2 2anterior 2novo 1 1anterior 1novo j janterior jnovo 2 1 BACKWARD Propagação Σ F aB1 065 θ 000 w1 040 w2 106 Passamos o padrão B2 21 pela rede 056 a 077 1 1 a 130 1 1 1 a 2 72 1 1 a 0 26 000 1 06 1 2 040 2 2 2 2 B B B 26 0 B θ x w x w i 2 2 1 1 B2 X12 Σ F aB2 056 X21 θ 000 1 w2 106 w1 040 1 a 0 e 1 1 θ e a x w i p i p p j j j p p FORWARD Propagação Passamos o padrão B2 21 pela rede 0 45 0 45 0 00 Δθ θ θ 0 61 0 45 1 06 w w w 130 0 90 0 40 w w w w w w 0 45 0 56 0 80 1 γ 1 δ Δθ 0 45 0 56 0 80 1 δ γ x Δw 0 90 0 56 0 80 2 δ γ x Δw 0 56 0 56 0 δ a d δ a d δ Erro BACKWARD Propagação anterior novo 2 2anterior 2novo 1 1anterior 1novo j janterior jnovo B B 2 2 B 1 1 B B B B p p p 2 2 2 2 2 2 2 Σ F aB2 056 θ 045 w1 130 w2 061 Fazse a propagação FORWARD para os 5 padrões Após o treinamento da rede padrões cujas saídas estiverem contidas no intervalo 05 1 são tratadas como tendo resposta 1 e no intervalo 0 05 como resposta 0 A1 0 2 A2 1 2 A3 1 3 B1 10 B2 21 1 a 0 46 1 1 216 1 1 1 2 72 1 1 0 77 045 0 61 2 0 30 1 0 77 05 1 068 θ x w x w i 1 1 A 2 2 1 1 A θ x w i p j j p 0 a 0 05 037 θ x w x w i 2 2 A 2 2 1 1 A 1 70 1 1 2 72 1 1 e 1 1 0 53 0 45 0 61 2 1 30 1 0 53 0 537 1 052 a 093 1 1 108 1 1 1 2 72 1 1 0 08 045 0 61 3 1 130 0 08 1 05 θ x w x w i 3 3 A 2 2 1 1 A 0 015 0 05 a θ x w x w i 1 1 B 2 2 1 1 B 5 76 1 1 2 72 1 1 e 1 1 1 75 045 0 61 0 1 30 1 1 75 1 757 0 008 a 1 1 49 1 1 2 72 1 1 e 1 1 2 44 045 0 61 1 2 130 2 44 2 450 05 0 θ x w x w i 2 2 B 2 2 1 1 B 1 a 0 e 1 1 a p i p p Análise da situação atual aprendizado Fim da primeira iteração Cálculo do erro Quadrático 03793 2 07586 2 00064 00225 02304 03969 01024 2 0 08 0 015 0 0 52 1 0 37 1 0 68 1 2 2 2 2 2 E a 2d 1 E k p 1 p 2 p p to do expoente quando da diferenciação de OBS A constante foi introduzid a para permitir o cancelamen E 2 1 a A2 037 a A1 068 052 a 3 A 015 aB1 008 a 2 B A1 0 2 A2 1 2 A3 1 3 B2 21 B1 10 Resumo das saídas obtidas ao final da 1ª iteração Padrõesx1x2 A1 0 2 A2 1 2 A3 1 3 B1 1 0 B2 21 1 0 080 γ 1 γ de aprendizagem 0 taxa 45 0 0 61 θ 130 w w pesos obtidos no fim da primeira iteração Valores 2 1 Começo da segunda iteração 0683 a 0 465 1 1 a e 1 1 a 0 766 0454 0 610 2 0 130 θ x w x w i 1 1 1 1 A A 0 766 A 2 2 1 1 A 1 a 0 e 1 1 a θ x w i p i p p j j j p p FORWARD Propagação 0 200 0 254 454 0 1117 0 507 610 0 1303 0 303 1 0 254 0 317 1 80 0 507 0 317 2 80 0 0 317 0 80 0 317 683 Δθ θ θ w w w w w w w w w γ 1 δ Δθ δ γ x Δw δ γ x Δw 0 1 δ a d δ a d δ Erro BACKWARD Propagação anterior novo 2 2anterior 2novo 1 1anterior 1novo j janterior jnovo A A 2 2 A 1 1 A A A A p p p 1 1 1 1 1 1 1 Passamos o padrão A1 0 2 pela rede Passamos o padrão A2 1 2 pela rede 0675 a 0481 1 1 a e 1 1 a 0 731 0200 1117 2 1 1303 θ x w x w i 2 2 2 2 A A 731 0 A 2 2 1 1 A 1 a 0 e 1 1 a θ x w i p i p p j j j p p FORWARD Propagação 0 060 0 260 200 0 1 637 0 520 117 1 1 043 0 260 303 1 0 260 0 325 1 80 0 520 0 325 2 80 0 260 0 325 1 80 325 0 Δθ θ θ w w w w w w w w w γ 1 δ Δθ δ γ x Δw δ γ x Δw 0675 1 δ a d δ a d δ Erro BACKWARD Propagação anterior novo 2 2anterior 2novo 1 1anterior 1novo j janterior jnovo A A 2 2 A 1 1 A A A A p p p 2 2 2 2 2 2 2 Passamos o padrão A3 1 3 pela rede 0980 a 0020 1 1 a e 1 1 a 3 928 0 060 1 637 3 1 1 043 θ x w x w i 3 3 3 3 A A 928 3 A 2 2 1 1 A 1 a 0 e 1 1 a θ x w i p i p p j j j p p FORWARD Propagação 0 076 0 016 060 0 1 685 0 048 637 1 1 027 0 016 043 1 0 016 0 020 1 80 0 048 0 020 3 80 0 016 0 020 1 80 0 020 980 Δθ θ θ w w w w w w w w w γ 1 δ Δθ δ γ x Δw δ γ x Δw 0 1 δ a d δ a d δ Erro BACKWARD Propagação anterior novo 2 2anterior 2novo 1 1anterior 1novo j janterior jnovo A A 2 2 A 1 1 A A A A p p p 3 3 3 3 3 3 3 Passamos o padrão B1 10 pela rede 0278 a 2590 1 1 a e 1 1 a 0 951 0076 1 685 0 1 1 027 θ x w x w i 1 1 1 1 B B 0 951 B 2 2 1 1 B 1 a 0 e 1 1 a θ x w i p i p p j j j p p FORWARD Propagação 0146 0 222 076 0 1 685 0 685 1 1 249 0 222 027 1 0 222 0 278 1 80 0 0 278 0 80 0 222 0 278 1 80 0 278 278 Δθ θ θ w w w w w w w w w γ 1 δ Δθ δ γ x Δw δ γ x Δw 0 0 δ a d δ a d δ Erro BACKWARD Propagação anterior novo 2 2anterior 2novo 1 1anterior 1novo j janterior jnovo B B 2 2 B 1 1 B B B B p p p 1 1 1 1 1 1 1 Passamos o padrão B2 21 pela rede 0277 a 2 611 1 1 a e 1 1 a 0 959 0146 1 685 1 2 1 249 θ x w x w i 2 2 2 2 B B 0 959 B 2 2 1 1 B 1 a 0 e 1 1 a θ x w i p i p p j j j p p FORWARD Propagação 0 368 0 222 146 0 1 463 0 222 685 1 1 692 0 443 249 1 0 222 0 1 80 0 222 0 1 80 0 443 0 2 80 0 Δθ θ θ w w w w w w w w w 277 γ 1 δ Δθ 277 δ γ x Δw 277 δ γ x Δw 277 0277 0 δ a d δ a d δ Erro BACKWARD Propagação anterior novo 2 2anterior 2novo 1 1anterior 1novo j janterior jnovo B B 2 2 B 1 1 B B B B p p p 2 2 2 2 2 2 2 Fazse a propagação FORWARD para os 5 padrões Após o treinamento da rede padrões cujas saídas estiverem contidas no intervalo 05 1 são tratadas como tendo resposta 1 e no intervalo 0 05 como resposta 0 A1 0 2 A2 1 2 A3 1 3 B1 10 B2 21 θ x w i p j j p 1 a 0 e 1 1 a p i p p Análise da situação atual aprendizado 1 0930 a A1 0 077 1 1 e 1 1 2 558 0 368 1 463 2 0 692 1 2 558 1 05 θ x w x w i 2 2 1 1 A1 1 0704 a A2 0 420 1 1 e 1 1 0 866 0 368 1 463 2 1 692 1 0 866 1 05 θ x w x w i 2 2 1 1 A2 1 0911 a A3 0 097 1 1 e 1 1 2 329 0 368 1 463 3 1 692 1 2 329 1 05 θ x w x w i 2 2 1 1 A3 0 0113 a B1 7 856 1 1 e 1 1 e 1 1 2 060 0 368 1 463 0 1 692 1 2 060 060 2 05 0 θ x w x w i 2 2 1 1 B1 0 0091 a B2 9 969 1 1 e 1 1 e 1 1 2 298 0 368 1 463 1 2 1 692 2 298 298 2 05 0 θ x w x w i 2 2 1 1 B2 Fim da segunda iteração OBS Cálculo do erro Quadrático 00607435 2 0121487 2 0008281 0012769 0007921 0087616 00049 E 2 0 091 0 0113 0 0 911 1 0 704 1 0 930 1 2 2 2 2 2 k p 1 p 2 p p a 2d 1 E to do expoente quando da diferenciação de OBS A constante foi introduzid a para permitir o cancelamen E 2 1 A1 0 2 A2 1 2 A3 1 3 B2 21 B1 10 0930 a 1 A 0704 a 2 A 0911 a 3 A 0113 a 1 B 0091 a 2 B A1 A2 A3 B1 Padrõesx1x2 A1 0 2 A2 1 2 A3 1 3 B1 1 0 B2 2 1 1 0 B2 Os resultados do RNA fornece a equação da Reta Separadora dos padrões é dada por 0 θ x w x w 2 2 1 1 0 368 463 0 368 463 2 1 2 1 2 2 1 1 x 1 1692 x 0 x 1 1692 x 0 θ x w x w 0 368 1 463 θ 1692 w w obtidos no fim da 2ª iteração Valores 2 1 0 368 1 463 x 1692 x 2 1 x1 x2 0 025 022 0 3 3721 2 1 1 2 3 3 4 A qual das classes A ou B pertence um novo padrão C 11 0 0355 C 1817 1 1 e 1 1 a 0 597 0 368 1 463 1 1 1 692 0 597 0 05 1 a 0 e 1 1 a θ x w x w i θ x w i p i p 2 2 1 1 C p j j j p p Logo o padrão C seria classificado como sendo pertencente a classe B Entradas Saída desejada Padrões amostra x1 partes x2 material d A1 0 bico 2 aço 1 avião A2 1 asa 2 aço 1 avião A3 1 asa 3 tinta 1 avião B1 1 asa 0 pena 0 ave B2 2 pé 1 pele 0 ave C 1 asa 1 pele 0 ave 0 A B pele material asa parte 1 x 1 x 2 1 C ENTRADA 597 0 Ci 0 0 355 P a B SAÍDA EXEMPLO Dados os padrões do conjunto A com as seguinte entradas A1 0 1 A2 0 2 A3 1 1 que devem ter resposta igual a 1 e dados os padrões do conjunto B com as seguinte entradas B1 2 0 B2 21 que devem ter resposta igual a 0 faça o treinamento de uma Rede Neural para executar a tarefa deste reconhecimento padrão do conjunto A ou padrão do conjunto B utilizando o Algoritmo BackPropagation em uma rede do tipo feedforward Redes de Múltiplas Camadas Problema proposto para ser resolvido de forma simplificada 49 Rede com 2 entradas e com 1 um neurônio Faça os pesos iniciais serem todos iguais a zero e uso a taxa de aprendizagem Faça 2 iterações completas apresentando a análise da situação atual após cada iteração Faça a interpretação geométrica γ 08 Notas de Aula Prof Edgard 1 Arenales M Armentano V Morabito R E Yanasse H Pesquisa Operacional para cursos de Engenharia Editora Campus Rio de Janeiro 2007 2 Bodin L Golden B Assad A and Ball M Routing and Scheduling of veicles and crews Special edition of Computer and Operations Research col 10 n2 1983 3 Bronson R Pesquisa Operacional São Paulo Schaum McGrawHill do Brasil Ltda 1985 4 Goldbarg M C e Luna H P Otimização Combinatória e Programação Linear Modelos e Algoritmos Editora Campus Rio de Janeiro 2000 5 Hillier F S e Lieberman G J Introdução à Pesquisa Operacional traduzido McGrawHill São Paulo 2006 6 Murty K Linear and Combinatorial Programming Robert E Krieger Publishing Company Malabar Florida 1985 7 Puccini A de L e Pizzolato N D Programação Linear Livros Técnicos e Científicos Ed Ltda Rio de Janeiro 1990 8 Steiner M T Arns Notas de aula Importante Este material tem finalidade única e exclusivamente didática e serve apenas como notas de apoio às aulas da disciplina de Métodos Quantitativos para Tomada de Decisão do Curso de Graduação de Engenharia de Produção Este material não pode ser utilizado como referência bibliográfica e muito menos comercialmente Recomendase consultar as seguintes obras