Aprendizagem de Maquina

ACH2177 Introdução à Ciência de Dados Primeiro Exercício Prático Norton T Roman 21032025 1 Instruções Gerais Esse trabalho pode ser feito individualmente ou em grupos de até 5 pessoas Cada grupo deve planejar um Estudo Exploratório seguindo os passos vistos em aula Aula 02 Esse planejamento deve então servir como um guia para a execução dos experimentos exploratórios que virão da análise dos dados É imprescindível que esse planejamento inclua alguma técnica de Aprendizado de Máquina muito embora qual técnica será usada possa ser deixado em aberto nesse documento Por ser um planejamento a ser executado em um Trabalho Prático posterior a esse é de fundamental importância que ele seja suficientemente detalhado pois deverá ser seguido à risca no segundo Trabalho O planejamento deve ser específico o suficiente para que vocês possam seguilo na fase de execução Segundo Trabalho Prático mas também geral o suficiente para permitir uma certa exploração dos dados não devendo ser pormenorizado a ponto de impedir vocês de buscarem padrões interessantes e explorarem alternativas Lembrem que a execução desse planejamento deverá ser feita em um período de aproximadamente um mês então o planejamento deve também contemplar uma lista dos passos a serem seguidos durante a execução bem como um pequeno cronograma indicando semanaasemana o desenvolvimento desses passos 2 Planejamento do Estudo Exploratório Mesmo um estudo exploratório precisa ser minimamente planejado Conforme visto em aula esse planejamento segue alguns passos gerais Cada um desses passos será apresentado nas seções que seguem tomando como exemplo nossa base sobre relatos de avistamentos de OVNIs O exemplo mostrado nesse documento não deve ser entendido como algo a ser seguido à risca mas apenas como uma referência de como seu estudo pode ser planejado permitindo um grau de detalhamento suficiente para sua reprodução mas com grande liberdade para exploração Naturalmente essa é uma questão subjetiva e definir o limiar entre detalhamento e liberdade caberá a vocês 21 Passo 1 Formule uma questão de pesquisa geral Tratase do que queremos saber de uma questão geral 1 Exemplo Estudar possíveis padrões nos relatos de avistamentos de OVNIs 22 Passo 2 Defina a população e colete os dados Aqui devese definir a quem ou a que a questão de pesquisa se aplica além de descrever o procedimento que levou à obtenção dos dados Note que isso implica vocês já terem obtido uma base para análise Qual base utilizar fica a seu critério Exemplo Nossa populaçãoalvo é formada idealmente por todo registro existente no planeta acerca de relato de OVNIs Dadas então essa questão e populaçãoalvo uma busca pela web levou a várias possibilidades Dentre as opções o conjunto escolhido foi o disponibilizado em httpswwwkagglecomdatasetsNUFO RCufosightings Esse conjunto foi escolhido por conter a base oficial da NUFORC National UFO Research Center acrescentado de informação de latitude e longitude para o caso dos EUA Ainda que provavelmente contendo viés tal base tem o potencial de ser bastante abrangente em termos geográficos O conjunto como um todo contém 141261 relatos Desses uma amostra aleatória de aproximada mente 10 foi obtida contendo 14126 relatos a partir de uma distribuição uniforme Essa amostra será utilizada para esse planejamento e análises exploratórias iniciais sendo então descartada para as análises posteriores Observações Notem que aqui foi descrito o processo de obtenção dos dados justificando as escolhas feitas além de apresentar uma potencial limitação Notem também que o conjunto de dados foi baixado sendo verificado tão somente seu tamanho Até agora nada mais foi visto evitando assim qualquer viés além naturalmente do gerado pelo conhecimento do número de observações totais que poderia limitar a escolha do algoritmo de aprendizado de máquina a ser implementado Na ausência de qualquer informação podemos apelar para a amostragem aleatória simples como feito aqui sem estratificação Essa decisão no entanto e a depender do conjunto de dados pode ter de ser revista quando separarmos o conjunto em treino e teste por exemplo O tamanho da amostra também foi detalhado 23 Passo 3 Explore os dados visualize Aqui é onde será dada uma maior liberdade Embora o passoapasso visto em aula diga para olhar distribuições etc esse não é o momento ainda pois estamos planejando a exploração Ainda assim algumas questões precisam ser respondidas sempre a partir da análise da amostra e não do 2 conjunto todo Em especial os tipos dos dados devem ser determinados bem como a necessidade de préprocessamento Exemplo A amostra coletada já está organizada em formato de tabela em que cada linha corresponde a um relato de avistamento de OVNI A tabela possui as seguintes colunas summary texto não estruturado Resumo da descrição do avistamento country texto qualitativo nominal Nome do país onde se deu o avistamento city texto qualitativo nominal Nome da cidade onde se deu o avistamento state texto qualitativo nominal Nome do estado ou província onde se deu o avistamento datetime texto qualitativo ordinal Data e hora do avistamento no formato AAAAMM DDTHHMMSS onde AAAA é o ano 4 algarismos MM o mês 2 algarismos DD o dia 2 algarismos HH a hora 2 algarismos MM o número de minutos 2 algarismos e SS o número de segundos 2 algarismos shape texto qualitativo nominal formato do objeto avistado duration texto quantitativo de razão tempo de duração do avistamento stats texto não estruturado Estatísticas do evento como quando ocorreu quando foi relatado etc reportlink texto qualitativo nominal URL para acesso ao texto do relato text texto não estruturado Descrição completa do avistamento posted texto qualitativo ordinal Data e hora da postagem do relato no formato AAAA MMDDTHHMMSS onde AAAA é o ano 4 algarismos MM o mês 2 algarismos DD o dia 2 algarismos HH a hora 2 algarismos MM o número de minutos 2 algarismos e SS o número de segundos 2 algarismos citylatitude real quantitativo intervalar latitude da cidade onde se deu o avistamento citylongitude real quantitativo intervalar longitude da cidade onde se deu o avistamento Dada a predominância de dados textuais mesmo que apresentando uma estrutura será necessária sua transformação Assim dados correspondentes a datas datetime e posted serão padronizados de modo a apresentarem seu horário UTC em vez de horário local se for constatado que o horário local é o que foi apresentado Também deverá ser feita uma análise sobre a possibilidade de se transformar a variável duration em um valor quantitativo de razão permitindo assim seu tratamento computacional Além disso uma análise das variáveis nominais se fará necessária de modo a identificar potenciais redundâncias nas classes Detectadas as redundâncias as classes equivalentes serão unificadas sob uma mesma categoria Foi constatada também a presença de valores faltantes em algumas variáveis Estas são Variável NAs 3 summary 0 country 0 city 0 state 0 datetime 0 shape 0 duration 1 stats 0 reportlink 0 text 0 posted 0 citylatitude 2509 citylongitude 2509 A exploração futura dos dados por meio de distribuições gráficos etc se dará nessa mesma amostra de modo a não comprometer análises futuras que dependam de uma quantidade maior de dados como a aplicação de algoritmos de aprendizado de máquina A partir da identificação de algum padrão interessante por meio da exploração dos dados na base reduzida pretendese verificar a possibilidade de aprendizado automático desse padrão de modo a que se possa predizer futuras observações com relação a eles Para tal serão implementados modelos de aprendizado de máquina modelos estes que serão aplicados treinados validados e testados no conjunto restante dos dados ou seja nos 90 da amostra inicial Observações A exploração futura se dar na amostra de 10 é uma decisão metodológica Naturalmente esse conjunto está sujo por ter sido olhado para que as decisões aqui descritas pudessem ser tomadas No entanto e como nenhum dado foi realmente visto ou analisado não se espera que seja uma poluição grande O importante é justificar e não usar esse conjunto para conclusões finais Note que foram descritos o formato do dado texto número real etc seu tipo não estruturado estruturado quantitativo etc bem como seu nível nominal intervalar etc Também já foram adiantadas possíveis transformações nos dados além da identificação de problemas 24 Passo 4 Refine as questãoões de pesquisas Naturalmente por este ser um planejamento não teremos as questões propriamente ditas Contudo podemos prever sua existência futura Exemplo A partir de uma análise gráfica e estatística da amostra de dados serão levantadas questões mais específicas a serem verificadas no conjunto de dados não vistos Nesse sentido algumas possíveis questões passíveis de serem exploradas são 4 Há alguma variação ou padrão entre a forma do objeto avistado e o país ou cidade do avistamento Existe tal variação ou padrão em relação ao horário de avistamento separado em diurno e noturno por exemplo mês ou ano Quais países e cidades apresentam mais relatos de avistamentos O número de avistamentos dependeu da latitude ou da longitude Seria possível predizer automaticamente dado um subconjunto das variáveis apresentadas algum dos padrões detectados A adequabilidade das questões supracitadas necessita naturalmente de comprovação a partir da análise exploratória Essas questões bem como as novas questões levantadas a partir da análise da amostra deverão ser posteriormente verificadas por meio de análises estatísticas ou aplicação de métodos de aprendizado de máquina A definição de qual método usar dependerá da quantidade de dados disponíveis bem como da questão a ser respondida a partir da qual será definida a abordagem a ser utilizada se supervisionada de regressão ou de classificação ou se não supervisionada 3 Material para Entrega A entrega será feita unica e exclusivamente via eDisciplinas Você deve criar um arquivo NoUSPpdf em que NoUSP é seu número USP contendo a descrição do planejamento do experimento Deve ser submetido um único arquivo por grupo ou seja um único integrante irá fazer a submis são sendo que o documento do planejamento deverá conter o nome e número usp de todos os participantes 4 Data de Entrega A data final de entrega é 20042025 5 Critérios de Avaliação Para a avaliação serão observados os seguintes critérios A exequibilidade geral do experimento ou seja o quanto o planejamento permite a execução do experimento sempre lembrando de permitir também passos para exploração A exequibilidade do experimento no tempo ou seja se sua execução é factível no tempo que será dado para tal 6 Por fim O exemplo mostrado nesse documento como mencionado deve ser tomado apenas como um guia Note que ele descreve um procedimento passível de reprodução cujo objetivo é identificar questões de pesquisa descrevendo como essas poderão ser respondidas mas sem esquecer de dar um alto 5 grau de liberdade ao pesquisador De fato as únicas amarras feitas se referem ao tema geral conforme definido pela questão inicial e à base de dados analisada O cronograma para isso tudo via depender de vocês 6