·
Engenharia Elétrica ·
Outros
Send your question to AI and receive an answer instantly
Preview text
Inteligência Artificial EE0172 Prof Msc Marcus Pantoja Universidade Federal do Amapá 23042022 Inteligência Artificial EE0172 Aprendizado de Redes Neurais Artificiais Definição Podese dizer então que o conhecimento de uma rede está distribuído nos pesos sinápticos O aprendizado ou treinamento de uma rede neural ocorre através da modificação dos pesos sinápticos parâmetros livres Essa modificação vai ocorrer de acordo com o algoritmo de aprendizagem implementado Inteligência Artificial EE0172 Tipos de Aprendizagem Supervisionado Não supervisionado Inteligência Artificial EE0172 Tipos de Aprendizagem Aprendizado Supervisionado É o tipo de aprendizado mais comumente utilizado Necessita de um professor para indicar explicitamente se um determinado comportamento é bom ou ruim Precisará de um conjunto de treinamento entradasaída que a rede utilizará como base para modificar seus parâmetros Inteligência Artificial EE0172 Tipos de Aprendizagem Aprendizado Supervisionado Assim submetese a rede a um conjunto de treinamento que possui um vetor de entrada X e uma respectiva saída desejada d Quando a rede não está treinada ao se submeter X a rede terá como provável resposta um valor y d O algoritmo de aprendizagem tem por finalidade modificar os pesos da rede de forma que aproxime y da resposta desejada d Inteligência Artificial EE0172 Tipos de Aprendizagem Aprendizado Não Supervisionado Não necessita de professor Os pesos sinápticos são alterados de forma que exemplos de entradas semelhantes façam a rede responder de forma semelhante Muito utilizado para agrupamento de dados ou para o reconhecimento de padrões quando não se sabe as classes nas quais as entradas serão enquadradas Inteligência Artificial EE0172 Algoritmos de Aprendizagem Regra Delta O aprendizado do perceptron A regra delta de aprendizado foi desenvolvida por Widrow Hoff 1960 e foi utilizada numa variação do perceptron chamada Adaline É baseada no aprendizado de Hebb se duas unidades são ativadas simultaneamente suas conexões tendem a se fortalecer Hebb wij λyiyj Regra Delta wij λdj yjyi Inteligéncia Artificial EEQ172 Algoritmos de Aprendizagem Regra Delta m Erro Médio Quadratico Minimo LMS WidrowHoff m Erro para o késimo vetor de entrada Ex dy y resposta desejada resposta obtida m Erro Médio Quadratico 1 n EX WC yk n k1 Inteligência Artificial EE0172 Regra Delta Determinação do Conjunto de Pesos W pelo método da descida mais íngreme Steepest Descent Busca com Aprimoramento Iterativo similar a subida de encosta Hill Climbing Descrevese W peso como uma função do tempo Vetor de pesos inicial W 0 Vetor de pesos num passo t W t Inteligéncia Artificial EEQ172 Regra Delta Exemplo E ldégico 1 0 00 20 10 3 10 0 0 0 xp fp a8 teem 1 1 x3 fp 0 1 Jams Inteligência Artificial EE0172 Regra Delta Passo a Passo Inteligéncia Artificial EEQ172 Regra Delta Passo a Passo Exemplo pw 02 003 wo 04 03 fi 00 0 2011 0 3 1 0 0 0 0 a fp a 9 Pade 1 1 x3 fp 0 1 Jams Inteligência Artificial EE0172 Regra Delta Passo a Passo Figure Implementação simples do algortimo delta Matlab Inteligência Artificial EE0172 Exercício Conforme tabela abaixo com o conjunto de treinamento dos 22 vetores n x1 x2 d n x1 x2 d 1 0 1 1 12 2 0 0 2 0 2 1 13 2 1 0 3 1 1 1 14 3 0 0 4 1 2 1 15 3 1 0 5 1 3 1 16 3 3 0 6 2 2 1 17 4 0 0 7 2 3 1 18 4 2 0 8 3 2 1 19 5 0 0 9 4 1 1 20 5 1 0 10 4 3 1 21 5 2 0 11 0 3 1 22 5 3 0 Inteligência Artificial EE0172 Exercício Após 20 iterações apresente o conjunto de testes de 8 vetores dado abaixo n x1 x2 d n x1 x2 d 23 0 0 1 27 4 2 5 1 24 1 0 0 28 1 5 1 5 1 25 4 5 0 5 0 29 2 0 5 0 26 3 5 1 5 1 30 2 5 2 5 1 Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation É utilizado em redes diretas e com múltiplas camadas As redes que utilizam o algoritmo de aprendizagem backpropagation retropropagação também são conhecidas como MultiLayer Perceptron MLP O treinamento é supervisionado Diferente do perceptron esta rede consegue classificar padrões nãolinearmente separáveis Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation É utilizado em redes diretas e com múltiplas camadas As redes que utilizam o algoritmo de aprendizagem backpropagation retropropagação também são conhecidas como MultiLayer Perceptron MLP O treinamento é supervisionado Diferente do perceptron esta rede consegue classificar padrões nãolinearmente separáveis Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Porém foi só em 1986 que Rumelhart Hinton e Williams do grupo PDP Parallel Distributed Program do MIT divulgou e popularizou o uso do Backpropagation como algoritmo de aprendizagem para redes neurais É responsável pelo retorno do interesse no estudo de redes neurais É a técnica de aprendizado mais largamente utilizada Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Funcionamento do Backpropagation A rede aprende um conjunto prédefinido de pares de exemplos entradasaída em ciclos de propagação adaptação O algoritmo de retropropagação é dividido em duas etapas Na primeira o vetor de treinamento é apresentado à rede e propagado por todos os nós até a camada de saída Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Funcionamento do Backpropagation Comparase o valor de saída com o valor desejado calculandose o erro médio quadrático O valor de W é calculado e os pesos da camada de saída são atualizados A segunda etapa consiste na retropropagação de forma que cada camada recalcula o valor de W e atualiza seus pesos até a camada de entrada Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Funcionamento do Backpropagation Após atualizar todos os pesos da rede o processo recomeça Um ciclo completo e chamado de época Quando uma época é completada a tendência é que o erro quadrático médio diminua até alcançar um mínimo préestabelecido momento no qual a rede converge Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Funcionamento do Backpropagation Utiliza o mesmo princípio da regra delta por isso muitas vezes é chamado de regra delta generalizada Minimização da soma dos erros médios quadráticos sobre um conjunto de treinamento utilizando a técnica de busca do gradientedescendente A principal diferença é a mudança da função de saída do neurônio por funções contínuas e suaves ao invés da função de limiar lógico Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Funcionamento do Backpropagation Neste algoritmo o treinamento da RNA é feito em duas fases Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Forward Entrada é apresentada à primeira camada da rede e propaga em direção à saída Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Forward Os neurônio da camada i calculam seus sinais de saída e propagam à camada i 1 Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Forward A última camada oculta calcula seus sinais de saída e os envia à camada de saída Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward A camada de saída calcula o erro da rede δj Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward Calcula o termo de correção dos pesos wji αδjxj Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward Envia o erro para a última camada oculta Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward A camada oculta calcula o seu erro Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward Calcula o termo de correção dos pesos Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward A camada oculta calcula o seu erro Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward Cada unidade atualiza seus pesos Inteligência Artificial EE0172 Generalização x Overfitting Quando o treinamento é nem sucedido a rede se torna capaz de classificar corretamente os padrões ensinados Entretanto o objetivo do treinamento é que a rede consiga identificar corretamente também padrões que não foram ensinados a essa capacidade damos o nome de generalização Inteligência Artificial EE0172 Generalização x Overfitting Porém caso a rede só consiga classificar os padrões contidos no conjunto de treinamento dizemos que está se encontra num estado de Overfitting Para se alcançar uma boa generalização da rede é um caso de pura heurística porém alguns fatores são mais influentes 1 Número de camadas intermediárias 2 Número de neurônio nas camadas intermidiárias 3 Erro mínimo para o qual a rede deve convergir Inteligência Artificial EE0172 Dicas práticas Inicialização dos pesos Valores entre 1 e 1 ou entre 05 e 05 Valor para a taxa de aprendizado Entre 001 e 01 Se a função de saída for sigmoidal escalar os valores de saída Usar valores 01 e 09 para representar o menor e o maior valor de saída Se a função de saída for tangente hiperbólica escalar os valores de saída Usar valores 09 e 09 para representar o menor e o maior valor de saída Taxas de aprendizagem com valores altos fazem com que o algoritmo convirja mais rápido mas pode ocasionar um problema de pico Inteligência Artificial EE0172 Classificação de Vinhos Base de dados pode ser encontrada em httpsarchiveicsuciedumldatasetsWine Desses dados são resultados de uma análise química de vinhos cultivados na mesma região da Itália mas derivados de três cultivares diferentes A análise determinou as quantidades de 13 constituintes encontrados em cada um dos três tipos de vinhos Inteligência Artificial EE0172 Classificação de Vinhos Atributos Álcool Ácido málico Cinzas Alcalinidade das cinzas Magnésio Fenóis totais Flavonóides Fenóis não flavonóides Proantocianinas Intensidade da cor Matiz OD280OD315 de vinhos diluídos Prolina Nessa base de dados a primeira coluna representa a classe 1 2 ou 3 Inteligência Artificial EE0172 Classificação de Vinhos Dividiremos o conjunto de dados em 2 partes Treino Teste Inteligência Artificial EE0172 Bibliografia básica 1 RICH E KNIGHT K Inteligência artificial 2ª ed Makron Books São Paulo 1994 2 TEIXEIRA J de F Filosofia da mente e inteligência artificial São Paulo UNICAMP 1996 Inteligência Artificial EE0172 Bibliografia complementar 1 LUGER George Inteligência Artificial Estruturas e Estratégias para a Solução Bookman Porto Alegre 2004 2 RUSSELL S NORVIG P Inteligência Artificial Campus Rio de Janeiro 2004 Inteligência Artificial EE0172 Perguntas
Send your question to AI and receive an answer instantly
Preview text
Inteligência Artificial EE0172 Prof Msc Marcus Pantoja Universidade Federal do Amapá 23042022 Inteligência Artificial EE0172 Aprendizado de Redes Neurais Artificiais Definição Podese dizer então que o conhecimento de uma rede está distribuído nos pesos sinápticos O aprendizado ou treinamento de uma rede neural ocorre através da modificação dos pesos sinápticos parâmetros livres Essa modificação vai ocorrer de acordo com o algoritmo de aprendizagem implementado Inteligência Artificial EE0172 Tipos de Aprendizagem Supervisionado Não supervisionado Inteligência Artificial EE0172 Tipos de Aprendizagem Aprendizado Supervisionado É o tipo de aprendizado mais comumente utilizado Necessita de um professor para indicar explicitamente se um determinado comportamento é bom ou ruim Precisará de um conjunto de treinamento entradasaída que a rede utilizará como base para modificar seus parâmetros Inteligência Artificial EE0172 Tipos de Aprendizagem Aprendizado Supervisionado Assim submetese a rede a um conjunto de treinamento que possui um vetor de entrada X e uma respectiva saída desejada d Quando a rede não está treinada ao se submeter X a rede terá como provável resposta um valor y d O algoritmo de aprendizagem tem por finalidade modificar os pesos da rede de forma que aproxime y da resposta desejada d Inteligência Artificial EE0172 Tipos de Aprendizagem Aprendizado Não Supervisionado Não necessita de professor Os pesos sinápticos são alterados de forma que exemplos de entradas semelhantes façam a rede responder de forma semelhante Muito utilizado para agrupamento de dados ou para o reconhecimento de padrões quando não se sabe as classes nas quais as entradas serão enquadradas Inteligência Artificial EE0172 Algoritmos de Aprendizagem Regra Delta O aprendizado do perceptron A regra delta de aprendizado foi desenvolvida por Widrow Hoff 1960 e foi utilizada numa variação do perceptron chamada Adaline É baseada no aprendizado de Hebb se duas unidades são ativadas simultaneamente suas conexões tendem a se fortalecer Hebb wij λyiyj Regra Delta wij λdj yjyi Inteligéncia Artificial EEQ172 Algoritmos de Aprendizagem Regra Delta m Erro Médio Quadratico Minimo LMS WidrowHoff m Erro para o késimo vetor de entrada Ex dy y resposta desejada resposta obtida m Erro Médio Quadratico 1 n EX WC yk n k1 Inteligência Artificial EE0172 Regra Delta Determinação do Conjunto de Pesos W pelo método da descida mais íngreme Steepest Descent Busca com Aprimoramento Iterativo similar a subida de encosta Hill Climbing Descrevese W peso como uma função do tempo Vetor de pesos inicial W 0 Vetor de pesos num passo t W t Inteligéncia Artificial EEQ172 Regra Delta Exemplo E ldégico 1 0 00 20 10 3 10 0 0 0 xp fp a8 teem 1 1 x3 fp 0 1 Jams Inteligência Artificial EE0172 Regra Delta Passo a Passo Inteligéncia Artificial EEQ172 Regra Delta Passo a Passo Exemplo pw 02 003 wo 04 03 fi 00 0 2011 0 3 1 0 0 0 0 a fp a 9 Pade 1 1 x3 fp 0 1 Jams Inteligência Artificial EE0172 Regra Delta Passo a Passo Figure Implementação simples do algortimo delta Matlab Inteligência Artificial EE0172 Exercício Conforme tabela abaixo com o conjunto de treinamento dos 22 vetores n x1 x2 d n x1 x2 d 1 0 1 1 12 2 0 0 2 0 2 1 13 2 1 0 3 1 1 1 14 3 0 0 4 1 2 1 15 3 1 0 5 1 3 1 16 3 3 0 6 2 2 1 17 4 0 0 7 2 3 1 18 4 2 0 8 3 2 1 19 5 0 0 9 4 1 1 20 5 1 0 10 4 3 1 21 5 2 0 11 0 3 1 22 5 3 0 Inteligência Artificial EE0172 Exercício Após 20 iterações apresente o conjunto de testes de 8 vetores dado abaixo n x1 x2 d n x1 x2 d 23 0 0 1 27 4 2 5 1 24 1 0 0 28 1 5 1 5 1 25 4 5 0 5 0 29 2 0 5 0 26 3 5 1 5 1 30 2 5 2 5 1 Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation É utilizado em redes diretas e com múltiplas camadas As redes que utilizam o algoritmo de aprendizagem backpropagation retropropagação também são conhecidas como MultiLayer Perceptron MLP O treinamento é supervisionado Diferente do perceptron esta rede consegue classificar padrões nãolinearmente separáveis Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation É utilizado em redes diretas e com múltiplas camadas As redes que utilizam o algoritmo de aprendizagem backpropagation retropropagação também são conhecidas como MultiLayer Perceptron MLP O treinamento é supervisionado Diferente do perceptron esta rede consegue classificar padrões nãolinearmente separáveis Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Porém foi só em 1986 que Rumelhart Hinton e Williams do grupo PDP Parallel Distributed Program do MIT divulgou e popularizou o uso do Backpropagation como algoritmo de aprendizagem para redes neurais É responsável pelo retorno do interesse no estudo de redes neurais É a técnica de aprendizado mais largamente utilizada Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Funcionamento do Backpropagation A rede aprende um conjunto prédefinido de pares de exemplos entradasaída em ciclos de propagação adaptação O algoritmo de retropropagação é dividido em duas etapas Na primeira o vetor de treinamento é apresentado à rede e propagado por todos os nós até a camada de saída Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Funcionamento do Backpropagation Comparase o valor de saída com o valor desejado calculandose o erro médio quadrático O valor de W é calculado e os pesos da camada de saída são atualizados A segunda etapa consiste na retropropagação de forma que cada camada recalcula o valor de W e atualiza seus pesos até a camada de entrada Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Funcionamento do Backpropagation Após atualizar todos os pesos da rede o processo recomeça Um ciclo completo e chamado de época Quando uma época é completada a tendência é que o erro quadrático médio diminua até alcançar um mínimo préestabelecido momento no qual a rede converge Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Funcionamento do Backpropagation Utiliza o mesmo princípio da regra delta por isso muitas vezes é chamado de regra delta generalizada Minimização da soma dos erros médios quadráticos sobre um conjunto de treinamento utilizando a técnica de busca do gradientedescendente A principal diferença é a mudança da função de saída do neurônio por funções contínuas e suaves ao invés da função de limiar lógico Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Funcionamento do Backpropagation Neste algoritmo o treinamento da RNA é feito em duas fases Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Forward Entrada é apresentada à primeira camada da rede e propaga em direção à saída Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Forward Os neurônio da camada i calculam seus sinais de saída e propagam à camada i 1 Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Forward A última camada oculta calcula seus sinais de saída e os envia à camada de saída Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward A camada de saída calcula o erro da rede δj Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward Calcula o termo de correção dos pesos wji αδjxj Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward Envia o erro para a última camada oculta Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward A camada oculta calcula o seu erro Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward Calcula o termo de correção dos pesos Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward A camada oculta calcula o seu erro Inteligência Artificial EE0172 Algoritmo de Aprendizagem Backpropagation Fase Backward Cada unidade atualiza seus pesos Inteligência Artificial EE0172 Generalização x Overfitting Quando o treinamento é nem sucedido a rede se torna capaz de classificar corretamente os padrões ensinados Entretanto o objetivo do treinamento é que a rede consiga identificar corretamente também padrões que não foram ensinados a essa capacidade damos o nome de generalização Inteligência Artificial EE0172 Generalização x Overfitting Porém caso a rede só consiga classificar os padrões contidos no conjunto de treinamento dizemos que está se encontra num estado de Overfitting Para se alcançar uma boa generalização da rede é um caso de pura heurística porém alguns fatores são mais influentes 1 Número de camadas intermediárias 2 Número de neurônio nas camadas intermidiárias 3 Erro mínimo para o qual a rede deve convergir Inteligência Artificial EE0172 Dicas práticas Inicialização dos pesos Valores entre 1 e 1 ou entre 05 e 05 Valor para a taxa de aprendizado Entre 001 e 01 Se a função de saída for sigmoidal escalar os valores de saída Usar valores 01 e 09 para representar o menor e o maior valor de saída Se a função de saída for tangente hiperbólica escalar os valores de saída Usar valores 09 e 09 para representar o menor e o maior valor de saída Taxas de aprendizagem com valores altos fazem com que o algoritmo convirja mais rápido mas pode ocasionar um problema de pico Inteligência Artificial EE0172 Classificação de Vinhos Base de dados pode ser encontrada em httpsarchiveicsuciedumldatasetsWine Desses dados são resultados de uma análise química de vinhos cultivados na mesma região da Itália mas derivados de três cultivares diferentes A análise determinou as quantidades de 13 constituintes encontrados em cada um dos três tipos de vinhos Inteligência Artificial EE0172 Classificação de Vinhos Atributos Álcool Ácido málico Cinzas Alcalinidade das cinzas Magnésio Fenóis totais Flavonóides Fenóis não flavonóides Proantocianinas Intensidade da cor Matiz OD280OD315 de vinhos diluídos Prolina Nessa base de dados a primeira coluna representa a classe 1 2 ou 3 Inteligência Artificial EE0172 Classificação de Vinhos Dividiremos o conjunto de dados em 2 partes Treino Teste Inteligência Artificial EE0172 Bibliografia básica 1 RICH E KNIGHT K Inteligência artificial 2ª ed Makron Books São Paulo 1994 2 TEIXEIRA J de F Filosofia da mente e inteligência artificial São Paulo UNICAMP 1996 Inteligência Artificial EE0172 Bibliografia complementar 1 LUGER George Inteligência Artificial Estruturas e Estratégias para a Solução Bookman Porto Alegre 2004 2 RUSSELL S NORVIG P Inteligência Artificial Campus Rio de Janeiro 2004 Inteligência Artificial EE0172 Perguntas