Mapeamento Sistematico - Ferramentas de Gerenciamento de Teste de Software

Universidade de São Paulo Mestrado em Ciência da Computação Ferramentas de Gerenciamento de Teste de Software Um Mapeamento Sistemático Autor Gabriel Lima de Moraes Orientador Prof Dr Pedro Henrique Dias Valle São Paulo 2025 Este documento apresenta um protocolo de Mapeamento Sistemático da Literatura MSL voltado à identificação de ferramentas existentes para o gerenciamento de teste de software Nele são definidos o objetivo do MSL as questões de pesquisa a estratégia de busca os critérios de inclusão e exclusão o processo de seleção dos estudos as diretrizes de extraçãoclassificação dos dados e o planejamento da análise Resumo O objetivo do mapeamento é identificar e analisar as ferramentas existentes para gestão de teste de software mapeando suas funciona lidades limitações tipos de testes suportados critérios de avaliação empregados por exemplo métricas de usabilidade eficiência ou co bertura de testes e tecnologias utilizadas A motivação advém da importância da gestão eficaz de testes para a garantia da qualidade de software bem como da necessidade de compreender o estado da arte em ferramentas de gerenciamento que podem ser utilizadas para o gerenciamento de teste de software Este protocolo segue as recomen dações para revisões sistemáticas propostas por 3 de modo a fornecer uma base rigorosa e reproduzível para o levantamento da literatura e esperase que os resultados do mapeamento auxiliem na identificação de lacunas e oportunidades para avanços na área de ferramentas de gerenciamento de testes Sumário 1 Contexto do Estudo 1 2 Questões de Pesquisa 2 3 String de Busca Inicial 3 4 Critérios de Inclusão e Exclusão 4 5 Processo de Seleção dos Estudos 6 1 Contexto do Estudo Os teste de software desempenham um papel fundamental na garantia da qualidade e a gestão eficiente desses testes é crucial para organizar casos de 1 teste execuções e resultados evitando falhas oriundas de processos manuais 1 Ferramentas de gerenciamento de testes surgem para apoiar essa ati vidade oferecendo funcionalidades como planejamento de testes rastreabili dade de requisitos registro de defeitos vinculados a casos de teste reexecução de testes falhos e geração de relatórios abrangentes 2 Por exemplo o Jira1 é amplamente utilizado em gerenciamento de projetos e possui extensões para testes Existem também outras ferramentas dedicadas exclusivamente à gestão de testes como TestLink HP ALMQuality Center entre outras Diante desse contexto este estudo secundário tem como objetivo identi ficar e analisar na literatura acadêmica quais ferramentas de software têm sido desenvolvidas ou utilizadas para o gerenciamento de projetos de teste de software bem como caracterizar suas principais características limitações e evidências de uso Os resultados esperados incluem um panorama das ferra mentas existentes os tipos de testes que elas cobrem as tecnologias utilizadas e como foram avaliadas Esperase também identificar lacunas onde possí veis melhorias ou novas ferramentas podem ser sugeridas Este protocolo segue diretrizes estabelecidas por 4 visando garantir um processo rigoroso transparente e reprodutível 2 Questões de Pesquisa A partir do objetivo delineado definiramse as seguintes questões de pesquisa QP QP1 Quais ferramentas de gerenciamento de teste de software têm sido propostas utilizadas ou investigadas na literatura Rationale QP2 Quais limitações ou desafios do uso das ferramentas identifi cadas Rationale QP3 Como o processo de teste etapas e artefatos têm sido aborda dos pelas ferramentas Rationale 1Ferramenta popular de rastreamento de itens e gestão de projetos que pode ser esten dida para gestão de testes por meio de plugins especializados 2 QP4 Que tipos de teste de software eg testes unitários in tegração sistema aceitação são apoiados ou gerenciados por essas ferramentas Rationale QP5 Como as ferramentas de gerenciamento de teste têm sido avaliadas nos estudos por exemplo através de estudos de caso expe rimentos controlados surveys com usuários provas de conceito etc Rationale QP6 Quais tecnologias ou abordagens de implementação são empregadas no desenvolvimento dessas ferramentas por exemplo pla taformas web integrações com sistemas de rastreamento de issues lin guagens de programação utilizadas Estas QP cobrem os principais aspectos de interesse identificação das ferramentas existentes QP1 entendimento de limitações apontadas QP2 escopo dos tipos de teste QP3 formas de avaliação empírica dessas ferra mentas QP4 e detalhes técnicos sobre sua implementação QP5 3 String de Busca Inicial Para realizar a busca de estudos primários será utilizada uma string de busca com operadores booleanos construída a partir de termoschave rela cionados ao domínio de ferramentas de teste incluindo sinônimos e termos correlatos A string de busca inicial planejada em inglês visando bases de dados internacionais é apresentada a seguir software test management OR test management tool OR test case management OR test management system AND software testing OR test process OR test plan OR automated testing Essa string combina diferentes formas de se referir a ferramentas de ge renciamento de testes test management com termos que contextualizam o 3 domínio de teste de software A estratégia é recuperar estudos que tratem de ferramentas ferramentas plataformas ou sistemas voltadas à gestão de atividades de teste Vale ressaltar que poderá ser adaptada conforme a base de dados por exemplo alguns repositórios permitem o uso de wildcard para variações de sufixo como tool para tool ou tools Além disso para não perder pesquisas relevantes publicadas em âmbito nacional poderão ser realizadas buscas complementares com termos em português como geren ciamento de teste de software OR ferramenta de teste especialmente em bases que indexam trabalhos brasileiros pex Scielo periódicos CAPES A string acima será utilizada em bases de dados científicas digitais se lecionadas por exemplo IEEE Xplore ACM Digital Library Scopus Web of Science e Engineering Village de forma a cobrir as principais fontes de publicações da área de Engenharia de Software Os resultados brutos retor nados por cada busca serão então integrados e servirão de ponto de partida para a seleção conforme descrito adiante 4 Critérios de Inclusão e Exclusão A partir do objetivo do estudo e as QPs foram definidos critérios de inclusão CI e critério de exclusão CE dos estudos primário os quais visam assegu rar que somente estudos relevantes e adequados sejam considerados 5 Os critérios e suas justificativas são listados a seguir Critérios de Inclusão CI CI1 Estudos que descrevem ou avaliam ferramentas de ge renciamento de teste de software Inclui trabalhos que apresentam uma nova ferramenta comparam ferramentas existentes ou relatam ex periências de uso de ferramentas de teste Justificativa São justamente os estudos que trazem evidências diretas para responder às RQs foco no objeto de estudo CI2 Estudos que fornecem detalhes técnicos e resultados re levantes Por exemplo artigos que descrevem funcionalidades da fer ramenta tipos de teste suportados arquitetura ou tecnologias usadas eou apresentam dados de avaliação como resultados de estudos empí ricos Justificativa Garantir que haverá informações suficientes para 4 extrair e preencher os dados necessários conforme as categorias defini das na seção de extração de dados CI3 Publicações em periódicos conferências workshops ou tesesdissertações Serão incluídos estudos acadêmicos revisados por pares ou trabalhos acadêmicos consolidados no caso de teses que atendam aos critérios acima publicados em inglês ou português Jus tificativa Abrange literatura científica de qualidade reconhecida e li teratura acadêmica relevante inclusive nacional evitando fontes não avaliadas por pares CI4 Faixa temporal adequada Serão considerados estudos de aproximadamente duas décadas recentes por exemplo ano 2000 em diante a menos que um estudo anterior a esse período seja extrema mente relevante Justificativa Ferramentas de teste evoluíram signi ficativamente com novas tecnologias então focar em trabalhos mais recentes assegura pertinência atual porém não se descarta a inclusão de trabalhos mais antigos se forem fundacionais Critérios de Exclusão CE CE1 Estudos fora do escopo de gerenciamento de testes Serão excluídos trabalhos que apesar de retornados na busca não tratam do tema específico Por exemplo estudos focados apenas em frameworks de automação de testes unitários ferramentas genéricas de gestão de projeto sem ênfase em teste ou gerenciamento de outras áreas como gerenciamento de requisitos ou defeitos isoladamente não serão consi derados Justificativa Garantir alinhamento estrito com o tópico do mapeamento estudos que não ajudariam a responder às RQs definidas devem ser filtrados CE2 Estudos secundários redundantes Revisões sistemáticas ou mapeamentos sistemáticos já publicados sobre ferramentas de teste se rão excluídos como fontes de dados primários Justificativa O objetivo é levantar os estudos primários originais sobre ferramentas incluir ou tro mapeamento poderia dobrar evidências ou viesar resultados Nota caso existam estudos secundários relevantes estes serão utilizados na contextualização ou comparação de resultados mas não contabilizados como estudos primários extraídos 5 CE3 Publicações sem texto completo acessível ou conteúdo técnico insuficiente Artigos cuja íntegra não for acessível para lei tura e não seja possível obtêla serão excluídos Da mesma forma resumos expandidos apresentações de slide tutoriais ou artigos muito curtos eg 23 páginas que não detalham métodos nem resultados significativos serão descartados Justificativa Garantir que apenas es tudos com informações verificáveis e substanciais sejam considerados evitando viés por falta de dados ou conclusões não confiáveis CE4 Duplicatas da mesma obra Se o mesmo estudo for recu perado em múltiplas bases ou se houver versões estendidas como um artigo de journal derivado de um trabalho de conferência será contado apenas uma vez Justificativa Evitar inflação de evidências e trabalho duplicado na extração neste caso será dada preferência à versão mais completa por exemplo artigo de periódico em vez de um resumo em anais Os critérios acima foram elaborados seguindo as recomendações de se definir claramente os filtros antes da seleção Antes de aplicar definitivamente os critérios será conduzido um piloto em um subconjunto de artigos para calibrar a interpretação dos mesmos garantindo consistência Em caso de dúvida sobre a inclusão de um estudo durante a leitura a tendência inicial será incluílo incluir por precaução para análise mais aprofundada a fim de minimizar o risco de descartar evidências potencialmente relevantes 5 Processo de Seleção dos Estudos O processo de seleção dos estudos identificação dos trabalhos primários que de fato serão incluídos na revisão seguirá um fluxo multiestágios bem de finido conforme recomendado em diretrizes de revisões sistemáticas 3 A figura abaixo caso fosse incluído um fluxograma PRISMA por exemplo ilustraria as etapas que podem ser descritas em sequência 1 Busca nas bases selecionadas Realizar as buscas automáticas nas bases de dados acadêmicas definidas pex IEEE ACM Scopus etc usando a string de busca construída Todos os registros recuperados títulos resumos metadados e se possível textos completos serão exportados para um gerenciador de referências ou planilha para conso lidação 6 2 Remoção de duplicatas Combinar os resultados de todas as bases e remover entradas duplicadas mesmo título e autores Essa etapa garante que cada estudo apareça apenas uma vez para avaliação 3 Triagem inicial título e resumo Ler o título e o resumo de cada estudo único para aplicar rapidamente os critérios de inclusão e exclu são Nessa fase os critérios serão aplicados de forma mais ampla libe ral3 excluemse somente aqueles estudos claramente fora do escopo CE1 ou que atendam explicitamente a algum critério de exclusão CE2CE4 enquanto estudos duvidosos ou pouco claros no resumo serão mantidos para avaliação posterior a fim de evitar descartes pre cipitados 4 Triagem secundária leitura do texto completo Os estudos que passarem pela triagem inicial serão lidos integralmente Nesta etapa aplicase os critérios com rigor máximo confirmando a relevância do estudo e a presença das informações necessárias É aqui que muitos estudos poderão ser excluídos por não atenderem completamente aos critérios por exemplo ao ler todo o texto descobrese que a ferramenta não é exatamente de gerenciamento de testes ou que não há dados suficientes sobre ela Ao final desta fase obtémse a lista final de estudos primários incluídos no mapeamento 5 Controle de qualidade da seleção Para assegurar confiabilidade sempre que possível dois pesquisadoresrevisores participarão de forma independente na triagem especialmente na fase de títuloresumo Eles comparam seus resultados e em caso de divergências quanto à inclusão de um determinado estudo discutem para chegar a um consenso po dendo envolver um terceiro avaliador como o orientador se necessário Além disso todos os critérios aplicados a cada estudo serão documen tados garantindo uma trilha de auditoria do porquê da inclusão ou exclusão importante para transparência do protocolo Ao término do processo de seleção será apresentado um quadro resumo por exemplo no formato PRISMA indicando o número de estudos filtrados em cada etapa número de resultados brutos por base número de duplicatas removidas número de excluídos na triagem inicial número de excluídos na triagem secundária e total final de estudos incluídos no mapeamento Isso permite uma visualização clara do rigor aplicado e da abrangência da revisão 7 Referências 1 Amorim D G Farias Junior I Leão Junior N Teixeira M M 2016 Gerenciamento de Teste de Software Um Comparativo entre Ferramentas Open Source Revista GestãoOrg 14Esp 296302 2 Biolchini J Mian P G Natali A C C Travassos G H Valente P 2007 Scientific research in software engineering A systematic li terature review Technical Report ES 67907 COPPEUFRJ Rio de Janeiro 3 Kitchenham B Charters S 2007 Guidelines for performing Sys tematic Literature Reviews in Software Engineering EBSE Technical Report EBSE2007001 Keele University 4 Petersen K Vakkalanka S Kuzniarz L 2015 Guidelines for con ducting systematic mapping studies in software engineering An update Information and Software Technology 64 118 5 Sommerville I 2007 Engenharia de Software 8ª ed São Paulo Pearson Prentice Hall 8