Aula 8: Redes Neurais Multi Layer Perceptron (MLP)

Inteligência Artificial Aula 8 MLP Hesdras Viana Hesdrasvianauninassauedubr ADELINE X MLP MLP Redes de uma camada resolvem apenas problemas linearmente separáveis Solução utilizar mais de uma camada Multi Layer Perceptron MLP MLP TE073 Processamento Digital de Sinais II 5 MultiLayer Perceptron MLP Rede mais utilizada atualmente Função de Ativação NãoLinear Problema Não se conhece o erro das camadas intermediárias para ajuste dos pesos Caixa Preta Solução Error BackPropagation Regra Delta Generalizada o1 3y1 o2 3y2 on3 3yn3 x1 x2 xn0 o1 2 on2 2 o1 1 on1 1 MLP Aproximação de Funções Aproximador Universal 7 Backpropagation Rede é treinada com pares entradasaída Cada entrada de treinamento está associada a uma saída desejada Treinamento em duas fases cada uma percorrendo a rede em um sentido Fase forward Fase backward Sinal forward Erro backward Problemas NãoLinearmente Separáveis 9 Rede MLP camada de entrada camadas intermediárias camada de saída conexões 10 Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a D e s e j a d a 11 RNA Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a D e s e j a d a 12 RNA Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a D e s e j a d a 13 RNA Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a D e s e j a d a 14 RNA Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a D e s e j a d a 15 RNA Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a D e s e j a d a 16 RNA Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a D e s e j a d a 17 RNA Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a S a í d a D e s e j a d a Erro 18 RNA Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a D e s e j a d a 19 RNA Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a D e s e j a d a 20 RNA Aprendizado camada de entrada camadas intermediárias camada de saída P a d r ã o S a í d a D e s e j a d a Funcionamento do BackPropagation Forward a rede gera suas saídas a partir das entradas Backward a rede ajusta seus pesos a partir das saídas caso contrário net f w se for nodo de saída net f y d t onde t x t w onde w t w t w j l l j l j j j j i j ij ij j i i j 1 j j j y d E 2 2 1 Backpropagation Fase Forward Apresentase o padrão à rede que gera uma saída Padrão y Saída da rede Backpropagation caso contrário net f w se for nodo de saída net f y d t onde t x t w j l l j l j j j j i j ij Fase Backward Ajusta os pesos da rede a partir da camada de saída w é de um nodo de saída w x w d y f net Saída desejada y f x net wi xi Backpropagation caso contrário net f w se for nodo de saída net f y d t onde t x t w j l l j l j j j j i j ij w1 não é de um nodo de saída w1 1 x1 w1 1 w f net1 net1 f x1 w Calculado anteriormente 25 Treinamento 1 Iniciar todas as conexões com valores aleatórios 2 Repita erro 0 Para cada par de treinamento X d Para cada camada k 1 a N Para cada neurônio J 1 a Mk Calcular a saída yjk Se erro e Então Para cada camada k N a 1 Para cada neurônio J 1 a Mk Atualizar pesos Até erro e 26 Teste 1 Apresentar padrão X a ser reconhecido 2 Para cada camada k 1 a N Para cada neurônio J 1 a Mk Calcular a saída yjk Comparar saída yNj com dcj para cada classe c Classificar padrão como pertencente a classe cuja saída desejada é mais próxima da saída produzida 27 Dificuldades de aprendizado Backpropagation é muito lento em superfícies complexas Considerar efeitos de segunda ordem para gradiente descendente Mínimos locais solução estável que não fornece saída correta Taxa de aprendizado decrescente Adicionar nós intermediários Utilizar momentum Adicionar ruído 28 Dificuldades de aprendizado Overfitting Depois de um certo ponto do treinamento a rede piora ao invés de melhorar Memoriza padrões de treinamento incluindo suas peculiaridades piora generalização Alternativas Encerrar treinamento cedo Reduzir pesos 29 Dicas para melhorias Projeto de uma RNA utilizando backpropagation é mais uma arte que uma ciência Envolve inúmeros fatores Resultado da experiência do projetista Utilizar função sigmoidal assimétrica tangente hiperbólica Aprendizado mais rápido em geral Igual a função logística com bias e reescalada 30 Atualização dos pesos Momentum wijt 1 xiyj1 yjj a wijt wijt 1 Aumenta velocidade de aprendizado evitando perigo de instabilidade Pode acelerar treinamento em regiões muito planas da superfície de erro Suprime oscilação de pesos em vales e ravinas