Discussão sobre Critérios Avaliativos de Valor e Mérito em Programas

QUÃO BOM É SUFICIENTE DEFINIÇÃO DE CRITÉRIOS AVALIATIVOS DE VALOR E MÉRITO ADRIANA BAUER RESUMO Este texto procura discutir conceitos associados à noção de valor e à ação de valorar na avaliação de programas tendo em vista a necessidade de fazer julgamentos acerca da qualidade de uma política programa projeto ou ação social que lhe é inerente Buscase contribuir para fomentar a discussão a respeito da prática de avaliação nas avaliações de programas sociais Para isso é feita uma revisão das literaturas estadunidense e brasileira a fim de identificar como as questões de valoração têm sido propostas teoricamente e explicitadas em pesquisas avaliativas São examinados de forma exploratória relatórios de avaliação e artigos sobre avaliações de programas com foco na área educacional Concluise com base na análise bibliográfica realizada que a discussão sobre a atribuição de valor raramente tem sido feita na literatura nacional de forma explícita ressaltandose a necessidade de seu aprimoramento PALAVRASCHAVE AVALIAÇÃO DE PROGRAMAS CRITÉRIOS DE AVALIAÇÃO MÉRITO VALOR CUÁN BUENO ES SUFICIENTE DEFINICIÓN DE CRITERIOS EVALUATIVOS DE VALOR Y MÉRITO RESUMEN Este texto busca discutir conceptos asociados a la noción de valor y a la acción de valorar en la evaluación de programas teniendo en cuenta la necesidad de juzgar acerca de la calidad de una política programa proyecto o acción social que le es inherente Se busca contribuir a fomentar la discusión acerca de la práctica de valoración en las evaluaciones de programas sociales Para ello se hace una revisión de la literatura estadunidense y brasileña a fin de identificar cómo las cuestiones de valoración han sido propuestas teóricamente y explicitadas en investigaciones de evaluación Se examinan de forma exploratoria informes de evaluación y artículos sobre evaluaciones de programas con enfoque en el área educativa Se concluye en base al análisis bibliográfico realizado que la discusión sobre la atribución de valor se realiza raras veces en la literatura nacional e internacional de forma explícita lo que resalta la necesidad de su perfeccionamiento PALABRAS CLAVE EVALUACIÓN DE PROGRAMAS CRITERIOS DE EVALUACIÓN MÉRITO VALOR HOW GOOD IS GOOD ENOUGH DEFINING EVALUATIVE WORTH AND MERIT CRITERIA ABSTRACT This text discusses concepts associated with the notion of value and the action of valuing in program evaluation considering the need to make judgments about the quality of a policy program project or social action that is inherent to it It seeks to contribute to fo ment the discussion about valuation in the evaluation of social programs To that end it reviews the US and Brazilian literature in order to identify how valuation questions have been theoretically proposed and made explicit in evaluative research Reports and articles on program evaluation with a focus on education are examined It concludes based on this bibliographical analysis that the discussion about the attribution of value has seldom been conducted in the national literature in an explicit way which reinforces the need for improving it KEYWORDS PROGRAM EVALUATION EVALUATION CRITERIA MERIT WORTH Ruim é ruim e bom é bom e é a tarefa da avaliação dizer qual é qual SCRIVEN 1986 p 19 A polêmica citação que inicia este artigo tomada de um texto de Michael Scriven 1986 referese a um dos aspectos constitutivos da avaliação de políticas programas projetos e ações sociais a atribuição de valor à entidade avaliada a partir da qual são ou deveriam ser tomadas decisões O aspecto valorativo parece indissociável da avaliação de programas como pode ser observado inclusive pela própria definição do que é esse tipo de avaliação na perspectiva de diversos autores Em geral se diz que avaliação é Determinação do valor ou mérito de um objeto de avaliação seja o que for que estiver sendo avaliado Uma definição mais extensa diria que avaliação é identificação esclarecimento e aplicação de critérios defensáveis para determinar o valor valor ou mérito a qualidade a utilidade a eficácia ou a importância do objeto avaliado em relação a esses critérios WORTHEN SANDERS FITZPATRICK 2004 p 35 O processo de determinar o mérito valor ou significância de algo ou o produto desse processo SCRIVEN 1991 p 139 fazer um julgamento de valor a respeito de uma intervenção ou sobre qualquer um de seus componentes com o objetivo de ajudar na tomada de decisões Este julgamento pode ser resultado da aplicação de critérios e de normas avaliação normativa ou se elaborar a partir de um procedimento científico pesquisa avaliativa CONTANDRIOPOULOS et al 1997 p 31 Se há certa concordância acerca da ideia de que mérito e valor são predicados básicos da avaliação de programas cabe especificar o que significa cada um desses conceitos e que relações se tecem entre eles bem como suas diferenças Primeiramente notase que segundo Guba e Lincoln 1980 p 61 a distinção entre mérito merit e valor worth é arbitrária visto que ambos são elementos constitutivos da noção do valor value Já para Davidson 2005 p 247 mérito é a qualidade absoluta ou relativa de algo seja globalmente ou em relação a um critério particular sem que a autora faça distinção entre mérito e valor fazem parte do processo avaliativo visto que diferentes atores tendem a considerar diferentes indicadores de mérito GUBA LINCOLN 1980 Já o valor worth tem sido compreendido como o valor de uma entidade avaliada para um dado contexto ou seja o valor extrínseco Segundo Mathison 2005 determinar esse valor requer uma compreensão completa do contexto particular em que o programa projeto ou ação é implantado bem como conhecimento das qualidades e atributos do que está sendo objeto de avaliação Em termos gerais mérito merit qualidade intrínseca ao programa ou objeto avaliado valor worth qualidade extrínseca do programa ou objeto avaliado em relação ao contexto para o qual foi proposto ao atendimento das necessidades reais do públicoalvo entre outros elementos exteriores à proposta que devem ser considerados em sua avaliação significância significance pode ser entendida como a importância do programaprojetoobjeto avaliado ou seja a conclusão geral sobre o mérito e valor quando todas as considerações pertinentes foram sintetizadas Concluise pelo exposto que há variação nas bases de julgamento tanto por mérito quanto por valor e significância ainda que a variabilidade seja maior nessas últimas dado o caráter contextual do valor e da atribuição de significância Nas palavras de Guba e Lincoln 1980 p 64 tradução nossa essa variação decorre do fato de que os julgamentos de mérito estão vinculados a características intrínsecas da própria entidade e portanto relativamente estáveis enquanto os julgamentos de valor dependem da interação da entidade com algum contexto e portanto variam conforme os contextos variam Se por outro lado alguém estiver falando sobre as diferentes dimensões em que o mérito e o valor podem variar é necessário considerar o tempo o grau de consenso e os fatores de limite As avaliações de mérito são feitas em termos de critérios que são relativamente invariáveis ao longo do tempo enquanto avaliações de valor são feitas em termos de critérios que podem se alterar rapidamente com mudanças sociais econômicas ou outras condições de curto prazo Além disso é prova Devese notar no entanto que nem todas as três dimensões ocorrem de forma concomitante Um programa pode ter mérito mas não ter valor ou significância em um determinado contexto Se não atende às demandas dos seus stakeholders dizse que ele não tem valor Além disso todo programa ou política que não tenha mérito não possui valor pois se não faz bem o que se propôs a fazer não pode ser empregado para suprir as necessidades de seus stakeholders Um programa mal formulado nesse sentido não tem mérito e nem valor Caberia pois ao avaliador determinar com clareza o que pretende avaliar objeto e as dimensões de qualidade relacionadas a esse objeto a fim de definir possíveis critérios de mérito e de valor do programa Há no entanto autores que divergem dessa concepção Segundo Schwandt 2005 p 443444 muitos avaliadores discordam que a atribuição de mérito valor ou significância é inerente à avaliação de programas sociais advogando que seu papel é antes descrever e explicar a realidade sem emitir julgamento Neste texto defendese que o debate acerca do estabelecimento dos critérios de mérito valor e significância de um programa é fundamental para a garantia da transparência pública e da ética nos processos avaliativos ainda que os diversos autores que se dedicaram ao desenvolvimento de teorizações sobre avaliação de programas tenham posturas diferentes sobre a questão Shadish Cook e Leviton 1991 preocuparamse em analisar no pensamento de teóricos de diferentes épocas da história recente da avaliação de programas como a questão da valoração é compreendida e trabalhada Na obra intitulada Foundations of program evaluation theories of practice eles analisam estudos de sete autores que consideram representantes de três diferentes estágios das teorias avaliativas o estágio 1 representado por Campbell e Scriven cuja principal preocupação teria sido iluminar a solução dos problemas sociais o estágio 2 com pensadores como Weiss Wholey e Stake em que haveria o comprometimento com a geração de alternativas à avaliação de programas enfatizando o uso dos resultados e o pragmatismo e o estágio 3 de Cronbach e Rossi centrado em teorias que tentam integrar o passado considerando as principais preocupações exploradas nos estágios anteriores Teoria prescritiva teoria que defende a primazia de interesses particulares e Teoria descritiva teoria que descreve os valores sem defender que um deles é melhor SHADISH COOK LEVITON 1991 p 48 tradução nossa os avaliadores reconhecem que os valores merecem mais atenção House 1980 Quase todos os teóricos neste livro concordam que a avaliação é sobre determinar a noção de valor mérito ou valor não apenas sobre a descrição de programas Mas poucos teóricos fazem mais SHADISH COOK LEVITON 1991 p 49 tradução nossa Quer seja sob a égide da avaliação ou da pesquisa avaliativa o campo se desenvolveu vertiginosamente e a busca pelo aprimoramento e rigor metodológico ainda não chegou ao fim Várias são as abordagens teóricas e os movimentos em avaliação e muitos são os autores que buscam categorizar as tendências correntes ou gerações em avaliação BAUER 2011 p 10 Para ilustrar essa diversidade cabe mencionar o trabalho de Madaus Scriven e Stufflebeam 1983 em que se identifica a evolução dos movimentos em avaliação em cinco períodos principais o período prétyleriano antes de 1930 a era tyleriana 19301945 a era da inocência 19461957 a idade do realismo 19581973 e a idade do profissionalismo a partir de 1973 Em relação às abordagens avaliativas Stufflebeam e Shinkfield 2007 p 145 classificam e analisam 26 avaliativas inclusive denominando algumas delas de pseudoavaliações se elas falham em produzir e reportar avaliações válidas de mérito e valor para as audiências que estariam interessadas nesses resultados Outra sistematização das diferentes abordagens teóricas em avaliação e pesquisa foi proposta por Alkin e Christie 2004 Os autores apresentam graficamente uma árvore genealógica da avaliação Figura 1 ressaltando que a consolidação e a universalização do campo da avaliação apoiaramse numa dupla base de accountability no sentido de responsabilização e de investigação social ambas situadas no tronco da árvore A partir desse tronco comum os autores organizam as contribuições dos teóricos em três ramificações que indicam ênfases ou preocupações de diferentes naturezas os teóricos que se ocuparam com a discussão dos métodos de avaliação os que focalizaram os usos dos resultados das informações obtidas por meio da avaliação e os que discutem a questão do valor e do mérito na avaliação O pensamento de alguns desses autores em relação à questão valorativa é explorado na próxima seção análise a que são submetidas as políticas independentemente dos propósitos da avaliação somativos ou formativos ou de abordagens mais tradicionais ou colaborativas DAVIDSON 2005 COUSINS SHULHA 2008 Como já explorado em outro trabalho BAUER 2011 o elemento distintivo entre avaliação e pesquisa é justamente a realização de um juízo de valor sobre um dado objeto ou programa inerente à primeira Ainda que a pesquisa research possa produzir evidências sobre valor ou mérito de um dado objeto de estudo entendese que essa produção é indireta secundária visto que o foco da investigação é a geração de novos conhecimentos para o campo Já a avaliação de programas program evaluation se concentra na busca de evidências que possibilitam a realização de um julgamento Essa mesma preocupação é central também nas pesquisas avaliativas Os diversos autores parecem concordar que o produto da avaliação e da pesquisa avaliativa é necessariamente um juízo de valor a ser utilizado para tomadas de decisão Essa questão se apresenta de forma diferente quando o analista recorre ao suporte da análise de políticas Cabe abrir parênteses para distinguir avaliação evaluation e análise de política policy analysis Enquanto a análise de políticas interessarseá principalmente em identificar tendências e procurar princípios generalizáveis a avaliação de programas tem um caráter de subsídio à tomada de decisões acerca da qualidade do programa sendolhe inerente o ajustamento de valor Para Figueiredo e Figueiredo 1986 p 107 a análise de políticas teria como preocupação o estudo sobre como as decisões são tomadas sobre a identificação de que fatores influenciam o processo de tomada de decisões e as características desse processo Muller e Surel 2002 apontam que inicialmente a análise de políticas teve al FIGURA 1 Árvore teórica da avaliação revisitada guma pretensão de fazer afirmações valorativas sobre as políticas e programas esse campo de estudos foi redirecionado para análises mais complexas focadas em entender a ação pública estatal ou a ausência dessa ação Originalmente formulada nos Estados Unidos como um conjunto de dispositivos de pesquisa que tinha por ambição fornecer as receitas do bom governo a policy analysis distanciouse progressivamente de sua orientação operacional para tornarse uma disciplina por inteiro da Ciência Política progressivamente autonomizada nas estruturas de ensino e de pesquisa Alimentando pouco a pouco outro olhar sobre o Estado a análise das políticas públicas contribuiu desde então para mostrar que o Estado não é não é mais esta forma social absoluta na história O trabalho do analista deve portanto levar em conta ao mesmo tempo as intenções dos tomadores de decisão mesmo se estas são confusas e os processos de construção do sentido na prática ao longo da fase de desenvolvimento da ação pública No entanto em todos os casos o pesquisador deverá cuidar para não tomar o lugar dos atores da política na determinação do sentido da política MULLER SUREL 2002 p 1821 No Brasil uma definição possível de análise de políticas públicas pode ser encontrada em trabalho de Marta Arretche 2009 p 30 Qualquer política pública pode ser formulada e implementada de diversos modos A análise de políticas públicas busca reconstruir estas diversas características de forma a apreendêlas em um todo coerente e compreensível Ou melhor dizendo para dar sentido e entendimento ao caráter errático da ação pública As colocações da autora que permitem diferenciar o escopo da análise de políticas daquela de avaliação de políticas públicas autorizam que se reafirmem considerações já realizadas alhures CONTRIBUIÇÕES TEÓRICAS INTERNACIONAIS À QUESTÃO DA VALORAÇÃO Michael Scriven é sem dúvida o primeiro teórico a expressar sua preocupação com a questão da valorização e da realização de julgamentos de valor assumindo um papel importante na teorização sobre esses aspectos Para ele todo processo avaliativo deveria seguir uma lógica definida em quatro etapas selecionar critérios de mérito definir padrões de desempenho medir o desempenho e sintetizar os resultados em uma declaração de valor Na primeira etapa defende o autor deveriam ser consideradas as necessidades da sociedade A avaliação não é apenas a aplicação de métodos de ciências sociais para resolver problemas sociais em vez disso os avaliadores usam os métodos das ciências sociais para examinar o mérito o valor e a importância de um programa ou política para fins de descrição de valores associados a diferentes grupos de partes interessadas além de conclusões avaliativas sobre boas e más soluções para problemas sociais SCRIVEN 2003 p 21 tradução nossa Scriven critica fortemente a tendência que percebe de os avaliadores principalmente em algumas abordagens não assumirem a perspectiva direcionada para a descoberta de mérito e lacunas no programa a avaliação responsiva reconhece múltiplas fontes de valorização bem como múltiplos fundamentos É respeitosa com múltiplos e até às vezes contraditórios padrões mantidos por indivíduos e grupos diferentes com uma relutância em pressionar por consenso STAKE 2004 p 210 QUADRO 1 Proposta de classificação dos autores de acordo com as teorias de valorização apresentadas por Shadish Cook e Leviton 1991 AUTORES PROPOSTA AVALIATIVA16 TIPO DE TEORIA DE VALOR Scriven Goalfree evaluation Metateoria e teoria prescritiva Guba e Lincoln Constructivist evaluation Descritiva Stake Responsive evaluation Descritiva House Deliberative democratic evaluation Prescritiva Eisner Connoisseurship Descritiva Wolf e Owens Adversary evaluation Descritiva MacDonald Descritiva Fonte Alkin e Christie 2004 Shadish Cook e Leviton 1991 Mathison 2005 En línea con los esfuerzos de desarrollo del PNUD las evaluaciones de la organización están guiadas por los principios de igualdad de género un enfoque basado en los derechos y el desarrollo humano Por tanto y según corresponda las evaluaciones del PNUD valorarán el grado en el que las iniciativas de la organización han tratado los temas de inclusión social y de género de igualdad y de empoderamiento han contribuido a fortalecer la aplicación de estos principios a los diferentes esfuerzos de desarrollo en un país dado y han incorporado en el diseño de la iniciativa el compromiso del PNUD con los enfoques basados en los derechos y la problemática de género PNUD 2009 p 169170 grifos nossos Esses são posicionamentos de alguns dos teóricos do campo e instituições que se debruçaram sobre a temática Percebese a partir do exposto que a questão da valoração ganha atenção em diferentes momentos da história da avaliação e na grande parte das vezes emerge da prática avaliativa dos autores que os confronta com dilemas éticos e com a necessidade de se posicionar perante o desafio de estabelecer as bases para o julgamento dos programas A seção seguinte busca explorar como tais questões são trabalhadas por autores e avaliadores nacionais Para isso fezse uma revisão bibliográfica não exaustiva em teses dissertações artigos e relatórios avaliativos que tratam de programas e políticas educacionais apresentada na próxima seção A DISCUSSÃO DE VALORAÇÃO EM AVALIAÇÕES DE PROGRAMAS NO TERRITÓRIO NACIONAL No Brasil raros são os trabalhos que se debruçam sobre a questão valorativa inerente às avaliações de programas políticas e projetos educacionais Em geral os pesquisadores e avaliadores não assumem ou propõem claramente bases a partir das quais serão realizados os julgamentos sobre as propostas avaliadas exceção feita ao pensamento de Paulo Jannuzzi 2016 e de Heraldo Vianna 2005 O interesse pela compreensão de como os autores e pesquisadores em avaliação brasileiros têm lidado com problemas relacionados à questão da valoração é antigo e remonta à época em que a autora deste artigo estava produzindo a tese de doutoramento BAUER 2011 Naquele momento o levantamento bibliográfico realizado mostrou que o Brasil estava apenas engatinhando no que se refere às avaliações de programas e de seus impactos que era o interesse principal da pesquisa Assim pelos caminhos teóricometodológicos escolhidos não se realizou uma discussão sobre como a questão da valoração estava posta na literatura nacional OBRA BAUER Adriana Avaliação de impacto de formação docente e serviço o programa Letra e Vida Tese Doutorado Universidade de São Paulo São Paulo 2011 DISCUSSÃO SOBRE VALORAÇÃO Explícita TIPO DE TEORIA DE VALOR Prescritiva OBRA ORLANDO FILHO Ovidio SA Virgínio I M Avaliação externa de gestão escolar do Programa Nova Escola do Estado do Rio de Janeiro um estudo reflexivo sobre e seu primeiro ciclo de realização 20002003 passados quinze anos de sua implementação Ensaio Avaliação e Políticas Públicas em Educação v 24 n 91 p 275307 abrjun 2016 DISCUSSÃO SOBRE VALORAÇÃO Explícita TIPO DE TEORIA DE VALOR Descritiva OBRA VIANNA Herald o Avaliação de Programas Educacionais duas questões Estudos em Avaliação Educacional São Paulo v 16 n 32 p 4356 juldez 2005 DISCUSSÃO SOBRE VALORAÇÃO Explícita TIPO DE TEORIA DE VALOR Descritiva alunos demonstraram tais habilidades de linguagem ainda que tal objetivo não fosse explicitado Além disso tendo em vista que o programa focilizava na aprendizagem dos professores pensouse ser necessária avaliar o que eles aprenderam depois de participar do programa considerando as novas teorias de alfabetização e metodologia de ensino que destacam o desenho do programa Na produção dos instrumentos de pesquisa e de observação do ambiente das salas de aula buscouse contemplar práticas esperadas de professores participantes do curso segundo não apenas os materiais do programa mas também os indicadores de qualidade na educação com ênfase em alfabetização produzidos pela Ação Educativa em parceria com o MEC e o Fundo das Nações Unidas para a Infância Unicef Essas decisões não se apoiaram em pressupostos metodológicos mas referiramse à definição dos objetivos do programa a serem avaliados e aos critérios a partir dos quais seu alcance seria julgado Proposições de Daniel Stufflebeam 2002 p 1 tradução nossa foram consideradas Como os sistemas de avaliação são dependentes do contexto eles devem considerar as necessidades desejos e expectaivas dos constituintes além de outras variáveis como valores sociais pertinentes clientela e costumes leis e estatutos relevantes dinâmica econômica forças políticas interesses de mídia critérios substântivos pertinentes missão organizacional objetivos e prioridades governança organizacional gestão protocolos e rotinas operacionais e a história da organização e desafios atuais Nesse sentido podese dizer que os critérios utilizados na análise entendidos como estándares nos quais os julgamentos são baseados STUFFLEBEAM 2001 p 1 foram formulados a partir de valores e objetivos intrínsecos ao programa mas também incorporaram valores sociais pertinentes ou critérios substântivos pertinentes Estes últimos foram incorporados por exemplo os programas educacionais carregam pressupostos e intencionalidades que precisam ser analisados criticamente Jannuzzi 2018 inclusive avança nessa análise postulando a necessidade de os valores públicos republicanos estarem na base tanto da elaboração de programas como de sua avaliação COUSINS Bradley SHULHA Lyn M Complexities in setting program standards in collaborative evaluation In SMITH Nick L BRANDON Paulo R Fundamental issues in evaluation New York The Guilford Press 2008 p 129158 MULLER Pierre SUREL Yves A análise das políticas públicas Tradução Agemir Bavaresto Alceu R Ferraro Pelotas Educat 2002 VIANNA Heraldo M Avaliação de programas educacionais duas questões Estudos em Avaliação Educacional São Paulo v 16 n 32 p 4356 juldez 2005