Roteiro Aula Pratica - Redes Neurais Perceptron Weka - Inteligencia Artificial

TÉCNICAS DE INTELIGÊNCIA ARTIFICIAL Roteiro Aula Prática 2 ROTEIRO DE AULA PRÁTICA NOME DA DISCIPLINA Técnicas de Inteligência Artificial OBJETIVOS Definição dos objetivos da aula prática Explorar o Software Weka afim de criar uma Rede Neural Perceptron de multicamadas para previsão de diferentes tipos de outputs e interpretar corretamente os resultados do modelo INFRAESTRUTURA Instalações Para a realização desta aula pratica você deverá ter o software Weka instalado no seu computador em sua última versão disponível Para instalação do Weka você pode buscar por tutoriais na internet e encontrará várias orientações disponíveis para cumprimento desta etapa Materiais de consumo Descrição Quantidade de materiais por procedimentoatividade Software Sim X Não Em caso afirmativo qual Pago Não Pago X Tipo de Licença Freeware Descrição do software Weka é uma coleção de algoritmos de aprendizado de máquina para tarefas de mineração de dados Ele contém ferramentas para preparação de dados classificação regressão agrupamento mineração de regras de associação e visualização Equipamento de Proteção Individual EPI NSA PROCEDIMENTOS PRÁTICOS Para a realização desta aula pratica você deverá ter o software Weka instalado no seu computador 1 Abra o Weka e clique em Explorer 2 Clique em Open file 3 3 Procure no seu computador o diretório de instalação do software abra a pasta do Weka e procure dentro desse diretório uma pasta chamada data Esta pasta contém alguns dados que ficam disponibilizados gratuitamente para o uso direto no software 4 Abra o arquivo diabetesarff 5 Observe que esta base de dados contém 9 atributos colunas contendo 768 instâncias linhas 6 Clique em Visualize All no canto direito da janela para visualizar a distribuição das variáveis da base de dados e depois feche esta janela dos gráficos Atividade proposta Implementar uma Rede Neural Perceptron de multicamadas em uma base de dados no Weka afim de prever via Classificação os outputs e comparar os resultados do modelo de acordo com a variação no tamanho dos dados de teste e treino Procedimentos para a realização da atividade Feito isso clique em Classify no canto superior esquerdo da janela e em Classifer clique no botão Choose na pasta function selecione a função MultilayerPercepton Em Test options selecione a opção Use training set e em seguida clique em Start Na janela Classifier clique sobre o nome MultilayerPerceptron 4 Esta janela contém algumas configurações que podemos editar acerca do nosso modelo de Rede Neural Clique na caixa de seleção GUI e selecione a opção True Depois clique em Ok Rode novamente o modelo clicando no botão Start e uma janela nova com uma imagem semelhante a essa deverá aparecer Nesta nova janela chamada Neural Network clique em Start e depois no botão Accept No Classifer output printe e analise os resultados da tela Classifier output principalmente os valores de Root mean squared error e da Confusion Matrix 5 Agora divida os dados de tal forma que 75 sejam dados para teste e o resto seja dados para treino do nosso modelo Vá em Test options e clique na opção Percentage split e digite 75 no campo ao lado do símbolo de Depois clique em Start A janela Neural Network se abrirá novamente e cliente em Start e depois Accept nesta janela quantas vezes forem necessárias até fechar Printe e compare os valores da Root mean squared error e Confusion Matrix com o do modelo anterior Checklist Exploração do software Weka Configuração e criação de um modelo de Rede Neural Perceptron Interpretação dos resultados do modelo criado Criação de um split de dados de treino e teste e avaliação do modelo RESULTADOS Resultados da aula prática O aluno deverá entregar a imagem da Rede Neural Perceptron de multicamadas treinada que foi gerada pelo software Weka e a interpretaçãoprint dos resultados quando aplicamos o modelo a base de dados proposta Testes Software Weka Choose MultilayerPerceptron L 03 M 02 N 500 V 0 S 0 E 20 H a G R Test options o Use training set o Supplied test set Set o Crossvalidation Folds 10 Percentage split 66 More options Nom class Start Stop Result list rightclick for options 220903 functionsMultilayerPerceptron 221005 functionsMultilayerPerceptron Classifier output Run information Scheme wekaclassifiersfunctionsMultilayerPerceptron L 03 M 02 N 500 V 0 S 0 E 20 H a G R Relation pimadiabetes Instances 768 Attributes 9 preg plas pres skin insu mass pedi age class Test mode evaluate on training data Neural Network preg plas pres skin insu mass pedi age testednegative testedpositive Controls Start Epoch 500 Num Of Epochs 500 Error per Epoch 01323345 Accept Learning Rate 03 Momentum 02 Status Building model on training data 6 Classifier Choose MultilayerPerceptron L 03 M 02 N 500 V 0 S 0 E 20 H a G R Test options o Use training set o Supplied test set Set o Crossvalidation Folds 10 o Percentage split 66 More options Nom class Start Stop Result list rightclick for options 220903 functionsMultilayerPerceptron 221005 functionsMultilayerPerceptron Classifier output Time taken to build model 11583 seconds Evaluation on training set Time taken to test model on training data 002 seconds Summary Correctly Classified Instances 619 80599 Incorrectly Classified Instances 149 19401 Kappa statistic 05904 Mean absolute error 02852 Root mean squared error 03815 Relative absolute error 6275 Root relative squared error 800495 Total Number of Instances 768 Detailed Accuracy By Class TP Rate FP Rate Precision Recall FMeasure MCC ROC Area PRC Area Class 0802 0187 0889 0802 0843 0596 0872 0917 testednegative 0813 0198 0688 0813 0745 0596 0872 0796 testedpositive Weighted Avg 0806 0191 0819 0806 0809 0596 0872 0874 Confusion Matrix a b classified as 401 99 a testednegative 50 218 b testedpositive Status OK Com 75 Classifier Choose MultilayerPerceptron L 03 M 02 N 500 V 0 S 0 E 20 H a G R Test options o Use training set o Supplied test set Set o Crossvalidation Folds 10 o Percentage split 75 More options Nom class Start Stop Result list rightclick for options 220903 functionsMultilayerPerceptron 221005 functionsMultilayerPerceptron 222126 functionsMultilayerPerceptron Classifier output Run information Scheme wekaclassifiersfunctionsMultilayerPerceptron L 03 M 02 N 500 V 0 S 0 E 20 H a G R Relation pimadiabetes Instances 768 Attributes 9 preg plas pres skin insu mass pedi age class Test mode split 750 train remainder test Neural Network preg plas pres skin insu mass pedi age testednegative testedpositive Controls Start Epoch 500 Num Of Epochs 500 Error per Epoch 01323345 Accept Learning Rate 03 Momentum 02 Status Building model on training data Log x1 7 Neural Network preg plas pres skin insu mass pedi age testednegative testedpositive Controls Start Epoch 500 Num Of Epochs 500 Error per Epoch 01323345 Accept Learning Rate 03 Momentum 02 Classifier Choose MultilayerPerceptron L 03 M 02 N 500 V 0 S 0 E 20 H a G R Test options o Use training set o Supplied test set Set o Crossvalidation Folds 10 o Percentage split 75 More options Nom class Start Stop Result list rightclick for options 220903 functionsMultilayerPerceptron 221005 functionsMultilayerPerceptron 222126 functionsMultilayerPerceptron Classifier output Time taken to build model 5045 seconds Evaluation on test split Time taken to test model on test split 001 seconds Summary Correctly Classified Instances 148 770833 Incorrectly Classified Instances 44 229167 Kappa statistic 0448 Mean absolute error 02902 Root mean squared error 04146 Relative absolute error 645182 Root relative squared error 884192 Total Number of Instances 192 Detailed Accuracy By Class TP Rate FP Rate Precision Recall FMeasure MCC ROC Area PRC Area Class 0877 0452 0803 0877 0838 0453 0790 0843 testednegative 0548 0120 0680 0548 0607 0453 0790 0712 testedpositive Weighted Avg 0771 0346 0763 0771 0764 0453 0790 0801 Confusion Matrix a b classified as 114 16 a testednegative 28 34 b testedpositive Status OK Comparativo entre os Testes 1 Taxa de Classificação Correta Primeiro Teste 80599 Segundo Teste 770833 Observase que o primeiro teste apresentou uma taxa de classificação correta ligeiramente superior comparado ao segundo 2 Kappa Statistic Primeiro Teste 05904 Segundo Teste 0448 Neste caso o primeiro teste também obteve um valor de Kappa Statistic mais alto indicando uma melhor concordância entre as previsões do modelo e os rótulos reais 3 Erro Médio Absoluto Mean Absolute Error Primeiro Teste 02852 Segundo Teste 02902 Ambos os testes têm valores de erro médio absoluto relativamente baixos e não há uma diferença significativa entre eles 4 Root Mean Squared Error RMSE Primeiro Teste 03815 Segundo Teste 04146 Observase que o RMSE do primeiro teste é menor o que indica um melhor ajuste do modelo aos dados 5 Outros Erros Relativos No Relative Absolute Error e no Root Relative Squared Error observase que são ligeiramente mais baixos no primeiro teste indicando um melhor desempenho em relação a essas métricas 6 Matriz de confusão No primeiro teste a matriz mostra que o modelo classificou 401 instâncias como testednegative e 218 instâncias como testedpositive E existem 99 falsos positivos classificados como testednegative quando deveriam ser testedpositive e 50 falsos negativos classificados como testedpositive quando deveriam ser testednegative Já na matriz do segundo teste observase que o modelo classificou 114 instâncias como testednegative e 34 instâncias como testedpositive E existem 16 falsos positivos e 28 falsos negativos Como o conjunto total de dados entre os dois testes são divergentes sendo o primeiro bem maior que o segundo podese fazer uma comparação mais justa por meio do cálculo de taxas Primeiro Teste com 768 instâncias Taxa de verdadeiros positivos TPR 218 768 100 2839 Taxa de verdadeiros negativos TNR 401 768 100 5208 Taxa de falsos positivos FPR 99 768 100 1289 Taxa de falsos negativos FNR 50 768 100 651 Segundo Teste com 192 instâncias Taxa de verdadeiros positivos TPR 34 192 100 1771 Taxa de verdadeiros negativos TNR 114 192 100 5938 Taxa de falsos positivos FPR 16 192 100 833 Taxa de falsos negativos FNR 28 192 100 1458 Com base nas taxas podemos observar que o segundo teste teve uma taxa de verdadeiros negativos TNR superior e uma taxa de falsos positivos FPR ligeiramente inferior em comparação com o primeiro teste No entanto o primeiro teste teve uma taxa de verdadeiros positivos TPR mais alta e uma taxa de falsos negativos FNR menor Testes Software Weka Weka Explorer Preprocess Classify Cluster Associate Select attributes Visualize Classifier Choose MultilayerPerceptron L 03 M 02 N 500 V 0 S 0 E 20 H a G R Test options Use training set Supplied test set Set Crossvalidation Folds 10 Percentage split 66 More options Nom class Start Stop Result list rightclick for options 220903 functionsMultilayerPerceptron 221005 functionsMultilayerPerceptron Classifier output Run information Scheme wekaclassifiersfunctionsMultilayerPerceptron L 03 M 02 N 500 V 0 S 0 E 20 H a G R Relation pimadiabetes Instances 768 Attributes 9 preg plas pres skin insu mass pedi age class Test mode evaluate on training data Neural Network preg plas pres skin insu mass pedi age testednegative testedpositive Controls Start Epoch 500 Num Of Epochs 500 Error per Epoch 01323345 Learning Rate 03 Accept Momentum 02 Log x 1 Status Building model on training data Classifier Choose MultilayerPerceptron L 03 M 02 N 500 V 0 S 0 E 20 H a G R Test options Use training set Supplied test set Set Crossvalidation Folds 10 Percentage split 66 More options Nom class Start Stop Result list rightclick for options 220903 functionsMultilayerPerceptron 221005 functionsMultilayerPerceptron Status OK Classifier output Time taken to build model 11583 seconds Evaluation on training set Time taken to test model on training data 002 seconds Summary Correctly Classified Instances 619 80599 Incorrectly Classified Instances 149 19401 Kappa statistic 05904 Mean absolute error 02852 Root mean squared error 03815 Relative absolute error 6275 Root relative squared error 800495 Total Number of Instances 768 Detailed Accuracy By Class TP Rate FP Rate Precision Recall FMeasure MCC ROC Area PRC Area Class 0802 0187 0889 0802 0843 0596 0872 0917 testednegative 0813 0198 0688 0813 0745 0596 0872 0796 testedpositive Weighted Avg 0806 0191 0819 0806 0809 0596 0872 0874 Confusion Matrix a b classified as 401 99 a testednegative 50 218 b testedpositive Neural Network preg plas pres skin insu mass pedi age testednegative testedpositive Controls Start Epoch 500 Num Of Epochs 500 Error per Epoch 01323345 Learning Rate 03 Accept Momentum 02 Classifier Choose MultilayerPerceptron L 03 M 02 N 500 V 0 S 0 E 20 H a G R Test options Use training set Supplied test set Set Crossvalidation Folds 10 Percentage split 75 More options Nom class Start Stop Result list rightclick for options 220903 functionsMultilayerPerceptron 221005 functionsMultilayerPerceptron 222126 functionsMultilayerPerceptron Status OK Classifier output Time taken to build model 5045 seconds Evaluation on test split Time taken to test model on test split 001 seconds Summary Correctly Classified Instances 148 770833 Incorrectly Classified Instances 44 229167 Kappa statistic 0448 Mean absolute error 02902 Root mean squared error 04146 Relative absolute error 645182 Root relative squared error 884192 Total Number of Instances 192 Detailed Accuracy By Class TP Rate FP Rate Precision Recall FMeasure MCC ROC Area PRC Area Class 0877 0452 0803 0877 0838 0453 0790 0843 testednegative 0548 0120 0680 0548 0607 0453 0790 0712 testedpositive Weighted Avg 0771 0346 0763 0771 0764 0453 0790 0801 Confusion Matrix a b classified as 114 16 a testednegative 28 34 b testedpositive Comparativo entre os Testes 1 Taxa de Classificação Correta Primeiro Teste 80599 Segundo Teste 770833 Observase que o primeiro teste apresentou uma taxa de classificação correta ligeiramente superior comparado ao segundo 2 Kappa Statistic Primeiro Teste 05904 Segundo Teste 0448 Neste caso o primeiro teste também obteve um valor de Kappa Statistic mais alto indicando uma melhor concordância entre as previsões do modelo e os rótulos reais 3 Erro Médio Absoluto Mean Absolute Error Primeiro Teste 02852 Segundo Teste 02902 Ambos os testes têm valores de erro médio absoluto relativamente baixos e não há uma diferença significativa entre eles 4 Root Mean Squared Error RMSE Primeiro Teste 03815 Segundo Teste 04146 Observase que o RMSE do primeiro teste é menor o que indica um melhor ajuste do modelo aos dados 5 Outros Erros Relativos No Relative Absolute Error e no Root Relative Squared Error observase que são ligeiramente mais baixos no primeiro teste indicando um melhor desempenho em relação a essas métricas 6 Matriz de confusão No primeiro teste a matriz mostra que o modelo classificou 401 instâncias como testednegative e 218 instâncias como testedpositive E existem 99 falsos positivos classificados como testednegative quando deveriam ser testedpositive e 50 falsos negativos classificados como testedpositive quando deveriam ser testednegative Já na matriz do segundo teste observase que o modelo classificou 114 instâncias como testednegative e 34 instâncias como testedpositive E existem 16 falsos positivos e 28 falsos negativos Como o conjunto total de dados entre os dois testes são divergentes sendo o primeiro bem maior que o segundo podese fazer uma comparação mais justa por meio do cálculo de taxas Primeiro Teste com 768 instâncias Taxa de verdadeiros positivos TPR 218 768 100 2839 Taxa de verdadeiros negativos TNR 401 768 100 5208 Taxa de falsos positivos FPR 99 768 100 1289 Taxa de falsos negativos FNR 50 768 100 651 Segundo Teste com 192 instâncias Taxa de verdadeiros positivos TPR 34 192 100 1771 Taxa de verdadeiros negativos TNR 114 192 100 5938 Taxa de falsos positivos FPR 16 192 100 833 Taxa de falsos negativos FNR 28 192 100 1458 Com base nas taxas podemos observar que o segundo teste teve uma taxa de verdadeiros negativos TNR superior e uma taxa de falsos positivos FPR ligeiramente inferior em comparação com o primeiro teste No entanto o primeiro teste teve uma taxa de verdadeiros positivos TPR mais alta e uma taxa de falsos negativos FNR menor