Template Projeto Big Data Datascience Analytics Fase 2 - JASP

Template para entrega do projeto da disciplina Big Data Datascience e Analytics Fase 2 Nome do estudante Insira aqui seu nome Desenvolva um processo de ciência de dados no JASP cobrindo os elementos a seguir Problema de Ciência de dados Qual o problema de ciência de dados vai ser resolvida e a justificativa da resposta Técnicas utilizadas para solucionar o problema Descreva todas as técnicas exploratórias e de machine learning utilizadas para solucionar o problema de ciência de dados Análise descritivas correlações técnicas não supervisionadas técnicas supervisionadas etc Exploração dos dados Sobre cada coluna das 22 do conjunto de dados para cada coluna Qual o tipo de dados NominalOrdinalNuméricoData eou hora Quais são os valores considerados válidos Quantos valores distintos aparecem na coluna Qual o menor e o maior valor e qual a moda Os valores da coluna são numéricos Qual a média e qual o desviopadrão Qual a mediana Você pode apresentar essas informações da maneira como entender mais conveniente como por exemplo em uma tabela parágrafos etc Escolha de ao menos dois algoritmos de aprendizado para a modelagem Apresente os algoritmos utilizados e justifique a escolha Execução dos testes e comparação das métricas de aprendizado Descreva o processo e os resultados obtidos apresentando pelo menos 3 métricas de aprendizado comparando entre os algoritmos escolhidos Utilize e apresente o set seed de acordo com os últimos 4 dígitos da sua matrícula de estudante PUCRS deve estar no arquivo JASP Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Recomendações Gerenciais Apresente uma reflexão acerca dos resultados obtidos com este projeto Apresentando recomendações gerenciais consistente relacionados as análises utilizadas Arquivo JASP Apresente o Arquivo JASP do projeto completo com todos os testes e devidos comentários Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Template para entrega do projeto da disciplina Big Data Datascience e Analytics Fase 2 Nome do estudante Insira aqui seu nome Desenvolva um processo de ciência de dados no JASP cobrindo os elementos a seguir Problema de Ciência de dados Qual o problema de ciência de dados vai ser resolvida e a justificativa da resposta Intentase prosseguir com o problema que aborda o desempenho dos alunos no ensino secundário de duas escolas portuguesas Os atributos dos dados incluem notas dos alunos características demográficas sociais e relacionadas com a escola e foram recolhidos através de relatórios escolares e questionários Os dados fornecem informações sobre o desempenho em matemática As variáveisalvo podem ser G1 Nota do primeiro período do aluno G2 Nota do segundo período do aluno G3 Nota final do aluno As variáveis preditoras incluem informações sobre informações demográficas e status dos alunos escola Escola do aluno GP Gabriel Pereira ou MS Mousinho da Silveira sexo sexo do aluno Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr idade idade do aluno endereço Tipo de endereço residencial do aluno U urbano ou R rural famsize Tamanho da família binário LE3 menor ou igual a 3 ou GT3 maior que 3 faltas Número de faltas escolares Técnicas utilizadas para solucionar o problema Além de análises descritivas de dados em termos do levantamento de estatísticas descritivas como medidas inferenciais e de dispersão podese fazer uso das seguintes técnicas de Aprendizado de Máquina Regressão Classificação Clusterização e Predição Exploração dos dados Sobre cada coluna das 30 do conjunto de dados para cada coluna Qual o tipo de dados NominalOrdinalNuméricoData eou hora Os dados nas colunas não são todos numéricos São em sua maioria categóricos nominais ou ordinais Apenas alguns poucos são numéricos idade faltas e notas G1 G2 G3 A maior parte é de dados ordinais distribuídos em uma faixa de correspondência de 1 a 5 e alguns deles são nominais contendo rótulos de texto yes ou no ou escola GP ou MS gênero M ou F e outras com legendas específicas como por exemplo as colunas mJob fJob e reason Quais são os valores considerados válidos Para colunas nominais yesno ou strings contidas em um padrão adequado para cada rótulo Nas colunas de idade faltas os numerais são livres para notas G1 G2 G3 números na escala de 0 a 20 para sexo M ou F Enfim a maior parte de colunas segue um padrão específico nominal Quantos valores distintos aparecem na coluna School 2 Sex 2 Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Age 8 Address 2 Famsize 2 Pstatus 2 Medu 5 Fedu 5 Mjob 5 Fjob 5 Reason 4 Guardian 3 Traveltime 4 Studytime 4 Failures 4 Schoolsup 2 Famsup 2 Paid 2 Activities 2 Nursery 2 Higher 2 Internet 2 Romantic 2 Famrel 5 Freetime 5 Goout 5 Dalc 5 Walc 5 Health 5 Absences 34 G1 19 G2 17 G3 18 Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Qual o menor e o maior valor e qual a moda Boa parte das colunas não possui moda ou valores máximo e mínimo apenas as puramente numéricas como por exemplo idade que possui valor mínimo 15 máximo 22 e moda 16 Os valores da coluna são numéricos Qual a média e qual o desviopadrão Qual a mediana Igualmente poucas variáveis admitem o cálculo de média No exemplo de idade a média e o desvio padrão vale respectivamente 166962 school sex age address famsize Pstatus Medu Fedu Mjob Fjob reason guardian traveltime studytime Moda ND ND 16 ND ND ND 4 2 ND ND ND ND 1 2 Média DIV0 DIV0 166962 DIV0 DIV0 DIV0 2749367 2521519 DIV0 DIV0 DIV0 DIV0 1448101 2035443 Desvio DIV0 DIV0 1274426 DIV0 DIV0 DIV0 1093349 1086822 DIV0 DIV0 DIV0 DIV0 0696621 0838177 Escolha de ao menos dois algoritmos de aprendizado para a modelagem Apresente os algoritmos utilizados e justifique a escolha Para modelagem utilizase como teste duas técnicas de classificação discriminantes linear e pelo fato de que os valores numéricos e nominais suscitam tarefas de classificação e de estimação de parâmetros Execução dos testes e comparação das métricas de aprendizado Descreva o processo e os resultados obtidos apresentando pelo menos 3 métricas de aprendizado comparando entre os algoritmos escolhidos Utilize e apresente o set seed de acordo com os últimos 4 dígitos da sua matrícula de estudante PUCRS deve estar no arquivo JASP Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr São feitos 3 testes determinação do discriminante linear em que para cada escola se selecionam como características idade faltas e notas G1 G2 e G2 Linear Discriminant Classification Linear Discriminant Classification Linear Discriminants Method nTrainnTestTest Accuracy 1 Moment 316 79 0899 Data Split Confusion Matrix Predicted GP MS Observe d GP 71 1 MS 7 0 Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr árvore de decisão em que para cada escola se selecionam como características idade faltas e notas G1 G2 e G2 Decision Tree Classification Decision Tree Classification SplitsnTrainnTestTest Accuracy 33 316 79 0899 Data Split Feature Importance Relative Importance age 42441 absences 29183 G3 12276 G2 9039 G1 7061 Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Splits in Tree Obs in Split Split Point Improvement age 316 1000 10473 absences 89 0224 5677 G3 60 1619 1595 G3 47 0019 1283 absences 23 0651 1340 Note For each level of the tree only the split with the highest improvement in deviance is shown ROC Curves Plot Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Andrews Curves Plot Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Decision Tree Plot Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Decision Boundary Matrix Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr SVM em que para cada escola se selecionam como características idade faltas e notas G1 G2 e G2 Support Vector Machine Classification Support Vector Machine Classification Support Vectors nTrain nTestTest Accuracy 84 316 79 0848 Data Split Confusion Matrix Predicted GP MS Observe d GP 66 1 MS 11 1 Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Class Proportions Data SetTraining SetTest Set GP 0884 0892 0848 M S 0116 0108 0152 Evaluation Metrics GP MS Average Total Support 67 12 79 Accuracy 0848 0848 0848 Precision Positive Predictive Value 0857 0500 0803 Recall True Positive Rate 0985 0083 0848 False Positive Rate 0917 0015 0466 False Discovery Rate 0143 0500 0321 F1 Score 0917 0143 0799 Matthews Correlation Coefficient 0156 0156 0156 Area Under Curve AUC 0534 0534 0534 Negative Predictive Value 0500 0857 0679 True Negative Rate 0083 0985 0534 False Negative Rate 0015 0917 0466 False Omission Rate 0500 0143 0321 Threat Score 2870 0077 1473 Statistical Parity 0975 0025 1000 Note All metrics are calculated for every class against all other classes Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Support Vectors Rowage15 age1 6 age17age18age19age20 age2 1 age22absences G1 G2 G3 11 0000 0000 0000 0000 1000 0000 0000 0000 0713 1178 1519 2273 16 0000 0000 0000 1000 0000 0000 0000 0000 0286 2383 1519 1182 20 0000 0000 1000 0000 0000 0000 0000 0000 0713 1479 1519 2273 22 0000 0000 1000 0000 0000 0000 0000 0000 0463 0329 0342 0128 23 0000 0000 0000 0000 1000 0000 0000 0000 0713 1233 0342 0346 34 0000 0000 1000 0000 0000 0000 0000 0000 0713 0876 0342 0346 37 0000 0000 0000 1000 0000 0000 0000 0000 0588 0329 0342 0346 40 0000 0000 0000 1000 0000 0000 0000 0000 0161 1534 1139 1437 43 0000 0000 0000 0000 1000 0000 0000 0000 0214 0876 0721 0527 47 0000 0000 1000 0000 0000 0000 0000 0000 0036 2136 1937 1656 52 0000 0000 1000 0000 0000 0000 0000 0000 0214 0630 0076 0128 53 0000 0000 1000 0000 0000 0000 0000 0000 0713 1534 1139 1001 59 0000 0000 0000 1000 0000 0000 0000 0000 0161 0876 0987 0527 63 0000 0000 1000 0000 0000 0000 0000 0000 0286 0630 0076 0128 64 0000 0000 0000 1000 0000 0000 0000 0000 0713 1233 1139 1001 65 0000 0000 0000 1000 0000 0000 0000 0000 0588 0630 0342 0346 66 0000 0000 1000 0000 0000 0000 0000 0000 0463 0630 0608 0564 75 0000 0000 0000 1000 0000 0000 0000 0000 0161 1479 1519 0964 79 0000 0000 1000 0000 0000 0000 0000 0000 1036 1479 Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Support Vectors Rowage15 age1 6 age17age18age19age20 age2 1 age22absences G1 G2 G3 1519 1182 83 0000 0000 1000 0000 0000 0000 0000 0000 0588 0329 0874 1001 88 0000 0000 0000 1000 0000 0000 0000 0000 0713 0630 0608 0564 91 0000 0000 0000 0000 1000 0000 0000 0000 0713 1780 2848 2273 94 0000 0000 0000 1000 0000 0000 0000 0000 0214 0274 0190 0091 105 0000 0000 0000 1000 0000 0000 0000 0000 0338 0575 0342 0128 107 0000 0000 0000 1000 0000 0000 0000 0000 0089 2136 1937 1874 108 0000 0000 0000 1000 0000 0000 0000 0000 0036 1780 1253 0964 120 0000 0000 0000 0000 0000 1000 0000 0000 0661 0575 0456 0309 122 0000 0000 0000 0000 1000 0000 0000 0000 0286 0876 0987 0527 125 0000 0000 0000 1000 0000 0000 0000 0000 8658 0274 0456 0309 128 0000 0000 0000 0000 1000 0000 0000 0000 0713 0274 0456 2273 131 1000 0000 0000 0000 0000 0000 0000 0000 0713 1534 1937 1874 134 0000 0000 0000 1000 0000 0000 0000 0000 1911 1835 1937 1656 137 0000 0000 0000 0000 1000 0000 0000 0000 0536 0876 0721 0527 138 0000 0000 0000 1000 0000 0000 0000 0000 0713 0027 0190 0091 Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Support Vectors Rowage15 age1 6 age17age18age19age20 age2 1 age22absences G1 G2 G3 141 0000 0000 0000 1000 0000 0000 0000 0000 0911 1835 1671 1437 143 0000 0000 0000 1000 0000 0000 0000 0000 0713 0630 0608 0564 144 0000 0000 0000 0000 1000 0000 0000 0000 0713 1479 1519 2273 146 0000 0000 0000 0000 1000 0000 0000 0000 4285 0630 0076 0128 148 0000 0000 1000 0000 0000 0000 0000 0000 0713 0274 2848 2273 150 0000 0000 0000 0000 1000 0000 0000 0000 0338 0630 0076 0128 153 0000 0000 0000 0000 1000 0000 0000 0000 0786 0931 0608 0564 154 0000 0000 0000 1000 0000 0000 0000 0000 0713 0274 0456 0309 156 0000 0000 0000 1000 0000 0000 0000 0000 0089 1178 1253 0745 159 0000 0000 0000 1000 0000 0000 0000 0000 0713 1479 2848 2273 163 0000 0000 0000 0000 0000 0000 1000 0000 0338 0274 0721 0745 166 0000 0000 0000 0000 1000 0000 0000 0000 0786 0027 0076 0128 171 0000 0000 0000 0000 1000 0000 0000 0000 0713 0575 0456 2273 172 0000 0000 0000 0000 1000 0000 0000 0000 0214 0027 0342 0128 174 0000 0000 0000 1000 0000 0000 0000 0000 0338 0931 0342 0346 177 0000 0000 1000 0000 0000 0000 0000 0000 0713 0931 1139 1001 179 0000 0000 0000 0000 1000 0000 0000 0000 0089 0876 0456 0309 Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Support Vectors Rowage15 age1 6 age17age18age19age20 age2 1 age22absences G1 G2 G3 183 0000 0000 1000 0000 0000 0000 0000 0000 0713 1534 1671 1437 184 0000 0000 0000 1000 0000 0000 0000 0000 0713 0027 0342 0091 185 0000 0000 0000 1000 0000 0000 0000 0000 0214 1233 0874 0782 187 0000 0000 1000 0000 0000 0000 0000 0000 0463 0027 0076 0091 188 0000 0000 1000 0000 0000 0000 0000 0000 0713 1178 0721 2273 197 0000 0000 0000 1000 0000 0000 0000 0000 0463 0027 0076 0128 202 0000 0000 1000 0000 0000 0000 0000 0000 2286 2136 1937 1656 206 0000 0000 1000 0000 0000 0000 0000 0000 0214 1780 1519 0964 208 0000 0000 0000 1000 0000 0000 0000 0000 0536 0027 0608 0564 209 0000 0000 0000 0000 1000 0000 0000 0000 0463 1178 0721 0309 214 0000 0000 1000 0000 0000 0000 0000 0000 0713 1534 1139 1001 219 0000 0000 1000 0000 0000 0000 0000 0000 0463 0876 0721 0091 221 0000 0000 0000 1000 0000 0000 0000 0000 0713 1178 2848 2273 224 0000 0000 0000 1000 0000 0000 0000 0000 0713 0329 0608 0564 231 0000 0000 0000 1000 0000 0000 0000 0000 0713 0274 0190 0309 238 0000 0000 0000 0000 0000 0000 0000 1000 1286 1479 0721 0527 Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Support Vectors Rowage15 age1 6 age17age18age19age20 age2 1 age22absences G1 G2 G3 240 0000 0000 0000 1000 0000 0000 0000 0000 0463 0876 0721 0527 241 0000 0000 0000 1000 0000 0000 0000 0000 0214 1233 0874 0782 251 0000 0000 0000 1000 0000 0000 0000 0000 0713 0027 0076 0091 261 0000 1000 0000 0000 0000 0000 0000 0000 0463 1534 1937 1656 266 0000 0000 0000 1000 0000 0000 0000 0000 0713 1178 2848 2273 267 0000 0000 1000 0000 0000 0000 0000 0000 0713 1835 1671 1656 271 0000 0000 0000 1000 0000 0000 0000 0000 0713 0931 0608 0782 272 0000 0000 0000 1000 0000 0000 0000 0000 0713 0575 0190 2273 275 0000 0000 1000 0000 0000 0000 0000 0000 0713 1178 1253 2273 280 0000 0000 1000 0000 0000 0000 0000 0000 0713 1780 0721 0745 289 0000 0000 1000 0000 0000 0000 0000 0000 0338 0931 1405 1219 292 0000 0000 0000 1000 0000 0000 0000 0000 0713 2438 1937 1874 293 0000 0000 1000 0000 0000 0000 0000 0000 0713 0876 0721 0309 294 0000 0000 0000 0000 1000 0000 0000 0000 1786 1233 0874 0564 297 0000 0000 0000 1000 0000 0000 0000 0000 0463 0630 0342 0346 305 0000 0000 0000 0000 1000 0000 0000 0000 0214 1178 0987 0309 309 0000 0000 1000 0000 0000 0000 0000 0000 0713 0329 0076 0346 Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Andrews Curves Plot Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Decision Boundary Matrix Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr Recomendações Gerenciais Apresente uma reflexão acerca dos resultados obtidos com este projeto Apresentando recomendações gerenciais consistente relacionados as análises utilizadas As técnicas utilizadas podem ser ampla e irrestritamente mescladas de modo a fornecer uma visão completa sobre classificação de padrões em diferentes estratos e nuances das características numéricas nominais e ordinais Arquivo JASP Apresente o Arquivo JASP do projeto completo com todos os testes e devidos comentários Campus Central Av Ipiranga 6681 CEP 90619900 Porto Alegre RS Brasil Fone 51 33203503 Email relacionamentogradonlinepucrsbr wwwonlinepucrsbr