Verificação e Validação de Modelos de Simulação

Verificação e validação de modelos de simulação Apresentação As técnicas de modelagem e simulação vêm ganhando cada vez mais espaço no cenário organizacional ao gerar informações que contribuem para o processo decisório No entanto algumas dúvidas permeiam a equipe de analistas ao fazer uso dessas técnicas como o modelo contém erros O modelo funciona bem O modelo representa a realidade de forma adequada Um processo de simulação devidamente estruturado contém etapas ou atividades que buscam aumentar a assertividade dos resultados gerados Geralmente essas atividades são denominadas verificação e validação Nesta Unidade de Aprednizagem você conhecerá os conceitos de verificação e validação aprenderá as diferenças entre essas atividades estudará técnicas de verificação de modelos e acompanhará a aplicação de técnicas de validação Bons estudos Ao final desta Unidade de Aprendizagem você deve apresentar os seguintes aprendizados Diferenciar os conceitos de verificação e validação Descrever as técnicas de verificação em modelos de simulação Aplicar as técnicas de validação de modelos de simulação Desafio A confiabilidade dos resultados gerados pelos projetos de modelagem e simulação depende das etapas de verificação e validação do modelo Observe o desafio a seguir Uma empresa de médio porte produtora de café precisa aumentar a capacidade produtiva do descascamento uma das principais operações do processo produtivo pelo fato de ter a menor capacidade produtiva e limitar os ganhos da empresa O gestor vai estruturar um projeto de modelagem e simulação para avaliar as alternativas disponíveis No entanto ele teme que os resultados gerados pelo projeto não sejam confiáveis e por esse motivo não conduzam à melhor decisão Os analistas de simulação disseram que ele não precisa se preocupar uma vez que um processo de simulação estruturado conta com atividades que buscam reduzir erros Para convencer o gestor os analistas precisam esclarecer quais são essas atividades e como elas funcionam Você é um dos analistas responsáveis por auxiliar os profissionais com esses esclarecimentos Para isso responda a eles a Quais são as atividades do processo de modelagem e simulação que buscam melhorar a confiabilidade dos resultados gerados b Quais são as principais diferenças entre essas atividades c Em qual momento do processo de modelagem e simulação essas atividades são aplicadas Infográfico As atividades de verificação e validação são fundamentais no processo de modelagem e simulação para que o modelo funcione e represente adequadamente o sistema real No entanto muitas vezes esses termos são utilizados e aplicados de forma inapropriada pela falta de conhecimentno quanto aos seus conceitos e suas diferenças Neste Infográfico você vai conhecer as principais diferenças entre as atividades de verificação e validação em projetos de modelagem e simulação Conteúdo do livro O analista de simulação precisa conhecer e aplicar de maneira adequada cada etapa do processo de simulação Após a construção do modelo conceitual e a inserção dele em um programa um processo de simulação estruturado prevê uma análise minuciosa do modelo computacional com o objetivo de aumentar a probabilidade de geração de resultados confiáveis Assim o processo de modelagem e simulação deve contemplar a realização de testes de verificação e validação do modelo para se certificar de que a experimentação de diferentes cenários pode ser iniciada No capítulo Verificação e validação de modelos de simulação da obra Simulação de sistemas produtivos você aprenderá no que consistem as atividades de verificação e validação e quais são as diferenças entre elas conhecerá técnicas que podem ser utilizadas durante a verificação e acompanhará a aplicação de técnicas de validação de modelos computacionais Boa leitura SIMULAÇÃO DE SISTEMAS PRODUTIVOS Gabriela Fonseca Parreira Gregorio Verificação e validação de modelos de simulação Objetivos de aprendizagem Ao final deste texto você deve apresentar os seguintes aprendizados Diferenciar os conceitos de verificação e validação Descrever as técnicas de verificação em modelos de simulação Aplicar as técnicas de validação de modelos de simulação Introdução Os resultados gerados pelos projetos de modelagem e simulação têm papel fundamental nas organizações uma vez que constituem a base para a condução de novas deliberações Assim os modelos precisam ser devidamente elaborados e representar de forma adequada o compor tamento do sistema real Para saber o quão adequado é um modelo algumas atividades são necessárias como a verificação e a validação Elas buscam identificar potenciais problemas com o modelo conceitual e com o modelo com putacional Esses problemas podem estar relacionados a erros de mode lagem computacional ou à representação inadequada do sistema real Neste capítulo você vai ver quais são as diferenças entre a verificação e a validação em simulação Também vai conhecer algumas técnicas de verificação em modelos de simulação Além disso vai acompanhar a aplicação de técnicas de validação Conceitos de verificação e validação O desenvolvimento de projetos de modelagem e simulação possibilita o teste de sistemas produtivos em vários cenários o que contribui com o processo decisório das organizações Conceber esses projetos por meio de etapas estrutu radas pode aumentar a confi abilidade e a assertividade dos resultados obtidos Chwif e Medina 2013 definem seis passos importantes para o desen volvimento de um projeto de simulação São eles formulação do problema e dos objetivos do projeto representação do modelo conceitual implantação do modelo computacional verificação e validação do modelo experimentação ou testes e análise dos resultados Como você pode notar após elaborar o modelo e imputálo na ferramenta computacional selecionada pela empresa duas atividades se destacam a verificação e a validação do modelo Segundo Chwif e Medina 2013 ve rificar consiste em confirmar se o modelo conceitual foi transformado em modelo computacional de forma adequada e assertiva Já validar consiste em analisar se o modelo computacional representa o sistema real em relação ao seu comportamento e ao seu funcionamento De acordo com Pimentel 2015 a verificação tem início após a definição do modelo em um software de simulação Para a autora nessa etapa devese observar se todas as entradas e saídas dos processamentos estão corretas Segundo Gavira 2003 a verificação do programa computacional serve para a eliminação de erros Devese questionar nessa etapa se o programa é adequado para o modelo e se este funciona de forma correta Para Correia 2010 verificar consiste em averiguar se as simplificações feitas ao representar o sistema real por meio de um modelo conceitual e os pressupostos foram implantados corretamente no modelo computacional O autor compara a verificação com a retirada de bugs do programa e com a identificação de erros de sintaxe eou lógica Por outro lado a validação é feita ao comparar o sistema real com o sistema simulado PIMENTEL 2015 Gavira 2003 propõe duas validações ao longo do processo de modelagem e simulação Veja a seguir Validação do modelo conceitual promove uma análise estruturada do modelo conceitual Objetiva avaliar que as suposições do modelo estão cor retas possibilitar o domínio do modelo e evitar reprogramações posteriores Validação do modelo programado identifica que o modelo é uma representação adequada do sistema real Consiste na calibração do modelo até que as divergências sejam identificadas e a confiabilidade aceitável seja alcançada Tratase de um processo interativo de com paração entre o modelo e o comportamento do sistema real BANKS et al 1996 apud GAVIRA 2003 A validação segundo Correia 2010 deve envolver os analistas e clientes Eles precisam avaliar se o modelo computacional pode ser utilizado Assim Verificação e validação de modelos de simulação 2 validar implica avaliar o quão bem o modelo representa o sistema real O modelo só é validado se tiver determinado grau de confiabilidade A seguir veja a relação entre a validação do modelo conceitual a verificação e a validação do modelo computacional GAVIRA 2003 Validação do modelo conceitual avalia suposições possibilita domínio do modelo evita reprogramações Verificação elimina erros compara modelo computacional com modelo conceitual Validação do modelo programado avalia se o modelo representa ade quadamente o sistema real Diante do modelo conceitual definido é importante fazer a primeira va lidação Ela serve para familiarizar a equipe com o modelo Além disso permite a identificação de potenciais problemas antes da inserção do modelo no software de simulação Após a inserção no programa ocorre a etapa de verificação que objetiva eliminar erros ao comparar o modelo conceitual com o modelo computacional Em seguida partese para a validação do modelo já programado que busca garantir que ele represente bem o sistema real Após a validação o sistema pode ser testado ou experimentado Diferentemente de Gavira 2003 a maior parte dos autores considera apenas uma etapa de validação A grande diferença entre a verificação e a validação é que enquanto a primeira busca identificar erros entre o modelo conceitual e o modelo programado a segunda busca comparar o modelo programado com o sistema real avaliando se o primeiro representa de forma confiável o segundo A verificação ocorre antes da validação do modelo programado Técnicas de verificação A etapa de verifi cação é fundamental Ela busca garantir que o modelo com putacional não contém erros e pode ser utilizado para dar sequência às ativi dades de modelagem e simulação Inúmeras são as vantagens da utilização de ferramentas computacionais para simulação No entanto caso o modelo computacional não seja isento de erros as consequências atingirão a confi a bilidade dos resultados gerados Existem algumas formas distintas de verificar se existem erros no modelo computacional considerando o modelo conceitual já elaborado Cabe à equipe 3 Verificação e validação de modelos de simulação avaliar as técnicas mais adequadas ao modelo conceitual Chwif e Medina 2006 apresentam as técnicas de verificação listadas a seguir Implementação modular ou verificação modular divisão do mo delo em módulos para que cada um deles possa ser averiguado em relação aos erros A modularização busca simplificar a análise das características Valores constantessimplificados e cálculos manuais consideramse os valores médios de cada distribuição como valores determinísticos Utilização do debugger trace consiste em usar outras ferramentas computacionais a fim de encontrar erros no programa Animação gráfica consiste no uso de animação gráfica para verificar se existem erros Revisão em grupo implica constituir um grupo de preferência mul tidisciplinar para verificar se o modelo computacional está adequado Segundo Pimentel 2015 algumas técnicas de verificação são utilizar indicadores no processo de simulação para verificar se a quanti dade de peças no processo tem relação com a realidade e para averiguar o caminho percorrido por elas utilizar gráficos que representem as atividades das ferramentas e dos equipamentos do modelo testar o modelo em velocidade reduzida a fim de visualizar as entidades ao longo dele Complementando as técnicas citadas Freitas Filho 2001 apud FONTOURA JÚNIOR et al 2010 apresenta outras três técnicas de verificação variações nos dados de entrada teste de degenerescência teste de independência em relação às sementes geradoras de números aleatórios A técnica de provocar variações nos dados de entrada promove alterações nos dados imputados no modelo a fim de verificar se ele gera respostas adequadas Afinal alterações nos dados de entrada devem gerar alterações condizentes nas saídas O uso do teste de degenerescência averigua o com portamento do modelo sob valores extremos ou seja maiores e menores Verificação e validação de modelos de simulação 4 do que os permitidos Por fim o teste de independência em relação às sementes geradoras de números aleatórios verifica se os resultados foram impactados de forma significativa pelo uso de diferentes sementes o que não deveria ocorrer Agora veja uma síntese das principais técnicas para verificação de um modelo de simulação revisão por duas ou mais pessoas animação gráfica variações de dados verificação por meio de módulos debug Diante de tantas técnicas de verificação as empresas precisam selecionar aquela mais adequada ao seu problema aos objetivos do projeto e aos dados e recursos disponíveis Acesse o link a seguir para conhecer a técnica de verificação utilizada em um modelo de simulação aplicado à programação da produção de um frigorífico de peixe httpsisgdxd9GBi Aplicação das técnicas de validação Após a verifi cação é importante conferir se o modelo representa adequada mente o sistema real ou seja validar o modelo Segundo Chwif e Medina 2006 não é possível validar um modelo na íntegra no entanto é possível majorar a confi ança com que ele retrata a realidade A seguir veja algumas técnicas de validação SARGENT 2004 apud CHWIF MEDINA 2006 Teste de Turing ou validação blackbox os dados gerados pelo mo delo e os dados do sistema real após representados por meio de um mesmo padrão são apresentados a especialistas Se os profissionais não perceberem diferenças considerase que o modelo está validado Comparação com modelos anteriores avalia o comportamento do modelo atual em relação ao comportamento de modelos anteriores 5 Verificação e validação de modelos de simulação Análise de sensibilidade avalia a sensibilidade dos dados de saída em função de alterações dos dados de entrada Validação face a face consiste em questionar pessoas com conheci mento aprofundado sobre o sistema se o modelo e o seu funcionamento encontramse satisfatórios A existência de históricos que permitem comparações e de especialistas com profundo conhecimento sobre o funcionamento do sistema real é importante para o uso dessas técnicas de validação Além das técnicas citadas existem os testes estatísticos A aplicação de testes estatísticos tem o objetivo de identificar se a hipótese de que o modelo computacional representa adequadamente o sistema real é verdadeira ou falsa A escolha do teste depende do conhecimento da distribuição de probabilidade dos dados No Quadro 1 você pode ver a validação de um modelo por meio da comparação entre o sistema real e o simulado O exemplo compara a quantidade de caixas produzidas ao longo de determinado período FERROS 2014 apud PIMENTEL 2015 Você pode ver a produção de caixas que realmente aconteceu no sistema produção real e a produção por meio do modelo elaborado produção virtual Foi feita também uma análise da aderência para avaliar quão adequado é o modelo Fonte Adaptado de Ferros 2014 apud PIMENTEL 2015 Dias Produção real caixas Produção virtual caixas Aderência Primeiro 3272 3180 972 Segundo 3353 3402 985 Terceiro 3679 3618 983 Quarto 2723 2815 967 Quinto 2918 3014 968 TOTAL 15945 16029 995 Quadro 1 Exemplo de validação comparação sistema real simulado Montevechi et al 2007 utilizaram várias técnicas para a validação do modelo de uma célula de manufatura numa indústria do setor automotivo Verificação e validação de modelos de simulação 6 teste de aderência à distribuição normal teste de hipótese e validação face a face Assim foram utilizadas mais de uma técnica para a validação do modelo Primeiramente eles utilizaram o teste de aderência para avaliar se a distri buição normal era adequada para representar os dados Por meio desse teste verificaram que a distribuição normal não era adequada Assim fizeram um teste de hipótese que constatou que o modelo estava validado para a variável total de peças produzidas por dia na célula Em seguida ainda utilizaram a técnica de validação face a face apresentando o modelo a especialistas Muitas vezes a validação de um modelo pode recorrer à aplicação de diversas técnicas Existem técnicas mais subjetivas como a validação face a face ou o teste de Turing e outras quantitativas e objetivas como os testes estatísticos A escolha das técnicas é uma decisão situacional e depende dos dados disponíveis do conhecimento da equipe da disponibilidade de espe cialistas no sistema real entre outros aspectos CHWIF L MEDINA A C Modelagem e simulação de eventos discretos teoria e aplicações São Paulo Bravarte 2006 CHWIF L MEDINA A C Modelagem e simulação de eventos discretos teoria e prática 3 ed Rio de Janeiro Elsevier 2013 CORREIA A R Introdução à simulação 2010 Disponível em www2itabrcorreia MB761aula1pptx Acesso em 25 abr 2019 FONTOURA JÚNIOR J A S et al Verificação e calibração do modelo de simulação do desempenho reprodutivo de vacas de corte baseado no escore de condição corporal avaliação interna Revista Brasileira de Zootecnia Viçosa v 39 n 12 p 27692779 dez 2010 GAVIRA M O Simulação computacional como ferramenta de aquisição de conhecimento 2003 Dissertação Mestrado em Engenharia de Produção Escola de Engenharia Universidade de São Paulo São Carlos 2003 MONTEVECHI J A B et al Application of design of experiments on the simulation of a process in an automotive industry In WINTER SIMULATION CONFERENCE 1 2007 Washington Anais Washington s n 2007 PIMENTEL C A Aplicação da simulação como ferramenta de apoio à tomada de decisão gerencial em uma célula de manufatura 2015 Dissertação Mestrado em Engenharia de Produção Programa de PósGraduação em Engenharia da Produção Faculdade de Engenharia Arquitetura e Urbanismo Universidade Metodista de Piracibaba Santa Bárbara DOeste 2015 7 Verificação e validação de modelos de simulação Leituras recomendada GUIMARÃES A M C Simulação computacional um modelo de maturidade e de se leção para uso dos softwares em manufatura 2015 Tese Doutorado em Engenharia de Produção Programa de PósGraduação em Engenharia de Produção Pontifícia Universidade Católica do Rio de Janeiro Rio de Janeiro 2015 PEREIRA C R COSTA M A B Um modelo de simulação de sistemas aplicado à pro gramação da produção de um frigorífico de peixe Produção Online Piracicaba v 12 n 4 p 9721001 outdez 2012 Verificação e validação de modelos de simulação 8 Dica do professor Em simulação de processos é muito importante fazer o uso adequado de técicas de verificação e validação Existem diversas técnicas que podem ser aplicadas de acordo com os objetivos do projeto recursos disponíveis entre outros No entanto independentemente da técnica algumas dicas podem contribuir com o desempenho dessas atividades Nesta Dica do Professor você conhecerá algumas boas práticas que podem contribuir com o êxito das atividades de verificação e validação Aponte a câmera para o código e acesse o link do vídeo ou clique no código para acessar Na prática Muitas incertezas incidem sobre o ambiente empresarial Diariamente os gestores lidam com questionamentos sobre o impacto dos acontecimentos Simular diferentes cenários ajuda nas avaliações Para tanto é necessário que o modelo computacional represente adequadamente o sistema real O responsável por uma empresa de promoção de eventos científicos quer fazer uso de simulação para avaliar o número de guichês de credenciamento necessários em determinado evento No entanto receia que as técnicas de modelagem e simulação não sejam seguras o suficiente para amparar o processo decisório Neste Na Prática você vai ver o que pode ser feito para aumentar a confiabilidade dos resultados gerados pelo projeto Saiba Para ampliar o seu conhecimento a respeito desse assunto veja abaixo as sugestões do professor Identificação de gargalos em sistema de manufatura aplicando modelagem e simulação Neste artigo você conhecerá as técnicas de verificação e validação adotadas na aplicação da modelagem e simulação para identificação da gargalos em sistema de manufatura Aponte a câmera para o código e acesse o link do vídeo ou clique no código para acessar