Analise Textual de Resumos Cientificos - Trabalho Academico

Unidade Curricular de Inglês Instrumental e Pensamento Digital 2º Semestre de 2023 Prof Flávio Augusto Rezende Calado Profa Cynthia Pichini 1 Trabalho Final A3 Análise Textual de Resumos Científicos Introdução A análise textual é um campo da linguística e da ciência da computação que se concentra na interpretação e compreensão de textos escritos Ela envolve a aplicação de técnicas e métodos para extrair informações úteis identificar padrões analisar estruturas linguísticas e obter insights a partir de documentos de texto Ela é aplicada nos estudos de pensamentos crenças e opiniões produzidas em relação a determinado fenômeno tema de investigação permitindo a quantificação de variáveis essencialmente qualitativas originadas de textos a fim de descrever o material produzido por determinado sujeito ou sujeitos Existem várias métricas estatísticas e análises comumente usadas na para extrair informações úteis Algumas das mais comuns incluem Frequência de Palavras Isso envolve contar quantas vezes cada palavra aparece no texto Pode ajudar a identificar as palavraschave mais relevantes em um documento TFIDF Term FrequencyInverse Document Frequency Avalia a importância de uma palavra em relação a um documento específico e a coleção de documentos Ajuda a identificar palavraschave que são exclusivas ou significativas para um documento em particular Análise de Sentimento É usada para determinar o sentimento geral de um texto se é positivo negativo ou neutro Isso pode ser útil em análises de opinião do cliente por exemplo Análise de Tópicos Identifica os tópicos principais em um conjunto de documentos Unidade Curricular de Inglês Instrumental e Pensamento Digital 2º Semestre de 2023 Prof Flávio Augusto Rezende Calado Profa Cynthia Pichini 2 Similaridade de Texto Mede o quão semelhantes são dois ou mais textos Isso pode ser usado para agrupar documentos semelhantes Análise textual e Grafos A análise textual pode estar relacionada a grafos de várias maneiras Grafos são estruturas que consistem em nós representando entidades e arestas representando relações entre essas entidades Grafo de Tópicos e PalavrasChave É possível construir um grafo onde os nós representam tópicos identificados e as arestas indicam a similaridade ou relação entre esses tópicos com base na frequência de palavraschave compartilhadas Isso pode ajudar a visualizar a interconexão entre os tópicos e identificar tópicos relacionados Grafo de Documentos e Tópicos Cada documento pode ser representado como um nó em um grafo e os tópicos identificados podem ser representados como nós separados As arestas entre os documentos e os tópicos indicam a distribuição de tópicos em cada documento Isso permite que você veja quais documentos estão relacionados a quais tópicos e como os documentos estão distribuídos entre os tópicos Grafo de Tópicos e Autores Redes de Coautoria Se estiver analisando documentos acadêmicos você pode criar um grafo em que os nós são autores e os tópicos são nós separados As arestas podem representar a contribuição de um autor para cada tópico com base na frequência com que eles escrevem sobre esses tópicos Isso ajuda a identificar quais autores estão envolvidos em quais áreas de pesquisa Grafo de Tópicos e Entidades Nomeadas ou Redes de Coocorrência Se o texto contiver entidades nomeadas por exemplo pessoas organizações locais você pode construir um grafo que relaciona entidades a tópicos específicos com base em sua coocorrência em documentos Isso pode ajudar a identificar quais entidades estão associadas a quais tópicos Etapas da Análise Textual Para realizar o processo de análise textual é necessário que se realize algumas etapas Aqui estão alguns aspectos importantes da análise textual 1 Préprocessamento de Texto Antes de realizar qualquer análise textual é comum realizar o préprocessamento do texto Isso inclui etapas como a tokenização dividir o texto em palavras Unidade Curricular de Inglês Instrumental e Pensamento Digital 2º Semestre de 2023 Prof Flávio Augusto Rezende Calado Profa Cynthia Pichini 3 ou frases remoção de stop words palavras muito comuns que geralmente não contribuem para a análise lematização redução de palavras às suas formas base e remoção de caracteres especiais 2 Aplicação de Métricas e Estatísticas Mais Utilizadas Realizar o levantamento de métricas relevantes à resolução do problema como o TDIDF 3 Realização análise textual transformar as métricas em estruturas de dados relevantes como grafos ou dígrafos e sobre elas aplicar algoritmos para a extração de informações e análises no domínio do problema 4 Exibição dos resultados demonstrar o resultado da melhor forma que seja exigida pelo problema Unidade Curricular de Inglês Instrumental e Pensamento Digital 2º Semestre de 2023 Prof Flávio Augusto Rezende Calado Profa Cynthia Pichini 4 O trabalho Você e seu grupo está encarregado de analisar um conjunto de resumos científicos em um campo específico de pesquisa Seu objetivo é extrair informações relevantes dos resumos incluindo os tópicos principais abordados as redes de coautoria entre os pesquisadores e a similaridade entre os textos Tentaremos ao final deste trabalho tentaremos responder as seguintes questões 1 Quais são os três tópicos principais identificados nos resumos 2 Quem são os pesquisadores mais centrais na rede de coautoria e quais são suas colaborações mais significativas 3 Quais resumos científicos são mais semelhantes entre si Para realizar essa tarefa seguiremos as etapas abaixo Etapa 1 Identificação de Tópicos Principais Construa um grafo de tópicos a partir dos resumos Cada nó no grafo deve representar um tópico identificado nos resumos Use técnicas de modelagem de tópicos para identificar os tópicos As arestas no grafo devem indicar a similaridade entre os tópicos com base na frequência de palavraschave compartilhadas Etapa 2 Análise das Redes de Coautoria Construa um grafo de redes de coautoria entre os pesquisadores nos resumos Cada autor deve ser representado como um nó no grafo e as arestas devem indicar colaborações entre os autores em pelo menos um resumo científico Calcule a centralidade dos nós para identificar os pesquisadores mais influentes na rede Etapa 3 Medição da Similaridade entre Textos Calcule a similaridade entre os resumos científicos usando técnicas de processamento de linguagem natural Criaremos um grafo onde cada nó representa um resumo e as arestas indicam Unidade Curricular de Inglês Instrumental e Pensamento Digital 2º Semestre de 2023 Prof Flávio Augusto Rezende Calado Profa Cynthia Pichini 5 a similaridade entre os pares de resumos Utilizaremos o grafo de tópicos principais de cada documento para determinar o grau de similaridade Etapa 4 Avaliação da eficiência das soluções algorítmicas encontradas Calcular qual é a complexidade computacional dos algoritmos utilizados para identificar como eles se comportariam em um ambiente real Regras 1 A atividade que será realizada em grupos de no máximo seis 6 estudantes 2 Cópias de outros grupos ou da internet serão anulados e zerados 3 As entregas deverão ser entregues impreterivelmente nas datas indicadas pelo cronograma 4 Os códigosfonte deverão ser postados em um sistema versionador como GitHub ou GitLab Unidade Curricular de Inglês Instrumental e Pensamento Digital 2º Semestre de 2023 Prof Flávio Augusto Rezende Calado Profa Cynthia Pichini 6 Cronograma e avaliação Data Valor Entrega 05novembro 20 pontos Etapa 1 Identificação de Tópicos Principais 12novembro 10 pontos Etapa 2 Análise das Redes de Coautoria 26novembro 5 pontos Etapa 3 Medição da Similaridade entre Textos 26novembro 5 pontos Etapa 4 Avaliação da eficiência das soluções algorítmicas encontradas