Avaliacao-Implementacao-Metodologia-Trabalho-Politicas-Publicas

Avaliação de Implementação esboço de uma metodologia de trabalho em políticas públicas Sônia Miriam Draibe avaliação de políticas e programas sociais Como se sabe no campo da análise de políticas públicas há pouco consenso acerca de conceitos básicos o que obriga o analista a declarar de início suas preferências e escolhas até mesmo para ser entendido Ora em qualquer pesquisa esse entendimento inicial é decisivo seja para definir o terreno comum sobre o qual trabalhará a equipe seja para garantir uma boa compreensão quando os resultados são divulgados Sintetizando leituras elaborações próprias e experiências de longos anos os conceitos os modelos de análise e os parâmetros aqui definidos amparamse na ampla literatura nacional e internacional relativa ao tema Mas beneficiaram se sobretudo da colaboração dos vários pesquisadores com quem tive a sorte de trabalhar ao longo desses anos instituições ou organizações da sociedade Políticas dessa natureza não se restringem portanto apenas às políticas estatais ou de governo podendo abarcar por exemplo políticas de organizações privadas ou não governamentais de quaisquer tipo sempre e quando preservado o caráter público acima referido O senso comum e algumas velhas lições de administração teoria de organização ou técnicas de planejamento distinguem em graus decrescentes de abrangência políticas programas e projetos Tomemos um exemplo da política pública governamental brasileira Se nos referimos à política educacional como o conceito mais abrangente da intervenção na educação o programa da merenda escolar constitui uma entre as tantas ações em que se desdobra aquela política enquanto o projeto de descentralização do programa da merenda escolar constituiria uma unidade menor ainda de ação entre as que integram o programa da merenda Entre as decisões prévias do avaliador está a de identificar o recorte programático do seu objeto a política Um ou mais programas no interior de uma dada política Um projeto Teoricamente podese avaliar tudo desde a mais restrita até a mais abrangente das políticas desde que se disponha dos recursos intelectuais materiais e metodológicos para fazêlo Mas é sempre bom ter em mente que avaliações rigorosas de intervenções complexas e abrangentes são difíceis Em geral os conceitos referidos neste trabalho adequamse muito mais a programas e projetos do que a complexas políticas públicas beneficiários ou os demais grupos de interesse com ele relacionados perguntemse acerca da pertinência do seu custo ou da eficácia das suas ações Nisso podem estar movidos pelos mais distintos interesses reduzir custos ou usar mais adequadamente os recursos ou enfim prestar contas à sociedade do uso dos recursos Objetivos mais imediatos podem ainda imporse à avaliação tais como os de detectar dificuldades e obstáculos e produzir recomendações que possibilitem por exemplo corrigir os rumos do programa ou que disseminem lições e aprendizagens São objetivos dessa natureza que fazem da pesquisa de avaliação de políticas públicas uma pesquisa interessada ou como se diz no jargão da área policy oriented já que também busca detectar obstáculos e propor medidas de correção e alteração de programas visando a melhoria da qualidade do seu processo de implementação e do desempenho da política Os dois grupos de objetivos não são excludentes Ao contrário é muito frequente que apareçam de forma combinada em cada pesquisa de avaliação predominando um ou outro grupo de acordo com as perspectivas e decisões do avaliador ou do proponente da avaliação Mas estes objetivos também não se alcançam automaticamente mesmo quando conscientemente escolhidos pelo avaliador Por exemplo objetivos de conhecimento dificilmente são alcançados se a investigação não contar com base teórica e hipóteses adequadas ou não se assentar em metodologias capazes de garantir a confiabilidade dos resultados Tampouco se pode pensar por exemplo que recomendações de políticas constituam um desdobramento automático de qualquer pesquisa de avaliação exigem pelo menos o exame sistemático e o confronto das alternativas não necessariamente contemplados na pesquisa inicial Tipo e natureza das avaliações O tipo e a natureza de uma dada pesquisa de avaliação são definidos em um campo bastante complexo de alternativas referentes cada uma delas às distintas dimensões momentos e etapas do programa ou da política que se pretende avaliar Sem nenhuma pretensão de abarcar todas as possibilidades vamos nos referir aqui às distinções mais comuns A relação temporal entre o programa a ser avaliado e a pesquisa de avaliação propriamente dita permite fazer a clássica distinção entre dois tipos avaliações ex ante e avaliações ex post Avaliações ex ante precedem o início do programa ocorrendo em geral durante as fases de sua preparação e formulação Também referidas como avaliações diagnóstico são realizadas para apoiar decisões finais da formulação atendendo a um ou aos dois de seus objetivos produzir orientações parâmetros e indicadores que se incorporam ao projeto melhorando seu desenho e suas estratégias metodológicas e de implementação fixar um ponto de partida que permita comparações futuras linha de base ou tempo zero As avaliações ex post realizamse concomitantemente ou após a realização do programa Cepal 1998a16 também com duplo objetivo verificar os graus de eficiência e eficácia com que o programa está atendendo a seus objetivos avaliar a efetividade do programa ou seja seus resultados impactos e efeitos3 Quanto à natureza as avaliações distinguemse entre avaliação de resultados e avaliação de processo É normal e frequente que se queira saber dos programas se cumpriram seus objetivos Na verdade é mais que isso querse saber o quanto e com que qualidade seus objetivos foram cumpridos A pesquisa de avaliação que poderá responder adequadamente a essa pergunta é a avaliação de resultados no sentido amplo Já as avaliações de processo têm como foco o desenho as características organizacionais e de desenvolvimento dos programas Seu objetivo é fundamentalmente o de detectar os fatores que ao longo da implementação facilitam ou impedem que um dado programa atinja seus resultados da melhor maneira possível Exploremos um pouco mais esta distinção entre avaliação de resultados e avaliação de processos 3 Por tais características as avaliações ex ante são também chamadas em inglês de formative evaluation enquanto as do tipo ex post são denominadas summative evaluation BID 199546 expressões cuja tradução não faz nenhum sentido em português não se recomendando em nenhum caso o seu uso 2 Avaliações de Resultados ou Impactos Há uma certa confusão provocada na língua portuguesa pelo uso pouco preciso da noção de resultado Com efeito tomados na sua acepção ampla os resultados de um dado programa abrangem coisas diversas que aqui denomino na falta de melhor alternativa como resultados propriamente ditos impactos e efeitos Estou certa da conveniência de distinguir estas noções até porque são muito distintos os indicadores mais adequados para aferir cada um desses níveis de realização dos programas Para facilitar a compreensão vejamos no quadro abaixo alguns exemplos dessa diferenciação Quadro 1 Discriminação dos tipos resultados de programas exemplos Programas Desempenho ou Resultados sentido estrito Tipos de Resultados sentido amplo Impactos Efeitos Vacinação anti pólio de cumprimento das metas Nº vacinas aplicadas Cobertura da população alvo vacinada Variação da taxa de incidência de poliomielite Melhora do nível de informação em saúde da população Graus de satisfação dos pais Leite para crianças desnutridas Quantidade de litros de leite distribuída mês Cobertura crianças que receberam o leite Variação da taxa de desnutrição infantil Variação da taxa de mortalidade infantil Melhora da capacidade institucional em tecnologia de distribuição de alimentos Merenda Escolar Cobertura de alunos que recebem a merenda Valores calóricos e proteícos ingeridos por aluno Quantidade de refeições dia distribuídas Melhora do perfil nutricional dos alunos Melhora do desempenho escolar dos alunos Três programas na primeira coluna foram tomados como exemplo Alguns de seus resultados estão exemplificados na segunda coluna Muito sumariamente podese dizer que os resultados no sentido estrito são os produtos do programa previstos em suas metas e derivados do seu processo particular de produção Também se costuma utilizar o termo desempenho para indicar resultados em sentido estrito outcomes No caso da merenda escolar a quantidade de refeições distribuídas ou os valores calóricos e proteicos adicionados à dieta diária dos alunos ou enfim a quantidade de alunos que a receberam são exemplos de seus resultados Já os impactos referemse às alterações ou mudanças efetivas na realidade sobre a qual o programa intervém e por ele são provocadas A terceira coluna do quadrinho nos diz que de um programa de vacinação antipólio por exemplo o impacto esperado será a redução da incidência da poliomielite Finalmente os efeitos referemse outros impactos do programa esperados ou não que afetam o meio social e institucional no qual se realizou No caso da vacinação antipólio o aumento do nível de informação da população em geral acerca da enfermidade pode ser um dos efeitos do programa ou também o grau de satisfação dos pais com a organização do evento ou enfim no plano institucional a melhor capacitação dos agentes para executar ações de campanhas de vacinação Uma mesma pesquisa de avaliação pode avaliar simultaneamente os três tipos de resultados em sentido amplo Na maioria das vezes infelizmente limitamse a identificar o primeiro grupo o do desempenho do programa Podemos completar as definições anteriores com um rápido exame dos tipos de indicadores com que se pode avaliar resultados impactos e efeitos Aponto também perdoemme pelo didatismo as perguntas que devem ser respondidas pelo avaliador quando se dispõe a avaliar cada um daqueles planos de resultados Resultados Com que Indicadores avaliar Cada tipo ou grupo de resultados no sentido amplo será melhor avaliado sempre que para tanto forem utilizados os indicadores adequados e os instrumentos corretos Indicadores de Resultados ou Desempenho Desempenho ou resultados de um dado programa são aferidos através de indicadores que medem os graus as quantidades e os níveis de qualidade com que as metas programáticas foram cumpridas Ou seja podem ser estimados ou medidos através de indicadores que confrontam objetivos e metas de um lado e as realizações alcançadas pela atividadefim de outro A proporção das metas realizadas e de cumprimento do planejado ou os índices de cobertura da populaçãoalvo são típicos indicadores de resultados Mas também o nível de focalização do programa sobre os públicosalvo pretendidos constitui um bom indicador de resultados Perguntas básicas do avaliador Esquematicamente as perguntas principais que o avaliador trata de responder neste plano podem ser assim exemplificadas o programa realizou os objetivos pretendidos Atingiu os gruposalvo que pretendeu atingir Cumpriu e em que quantidade e qualidade as metas propostas indicadores de impactos e à proposta mais uma classificação das pesquisas de impacto Os indicadores de impactos são muito mais difíceis de serem operados Vejamos por quê4 De acordo com a definição anterior as avaliações de impacto tratam de medir as mudanças pretendidas ou se se quiser os resultados mais duradouros verificados no grupoobjetivo Pois então os indicadores de impactos devem ser capazes de medir os efeitos líquidos programa e somente do programa sobre a população alvo Voltemos aos exemplos No caso do programa de saúde deverão estimar a variação das taxas de incidência e prevalência da poliomielite No caso do programa do leite ou no da merenda escolar deverão estimar as variações dos níveis de nutrição infantil ou do alunado Perguntas básicas do avaliador No caso dos impactos as perguntas do avaliador são principalmente as seguintes o programa efetivamente produziu os resultados strictu senso que pretendia alcançar Atevese em que medida e sentido a característica da realidade que queria transformar5 Há exigências metodológicas que tornam complexa a tarefa de avaliação de impacto Uma delas é a definição da situação ou grupo de referência com o qual se compararão os impactos do programa Com que comparar Uma possibilidade é confrontar os sujeitos consigo mesmos através de uma comparação do tipo antes depois Mas para tanto é preciso dispor de indicadores de situação ex ante Ou seja é necessário elaborar um diagnóstico da situação anterior ao início do programa com a qual seus impactos serão comparados O ponto de partida ou a base line aqui é crucial ou então não haverá avaliação de impacto possível Por exemplo somente se poderá medir o impacto nutricional da merenda escolar se se conhecer o perfil nutricional do alunado antes e na ausência do programa No caso da vacinação antipólio o impacto de uma dada campanha somente poderá ser estimado se se dispuser de indicadores precisos de prevalência e incidência da poliomielite antes da vacinação Nem sempre as avaliações desse tipo são exequíveis Por exemplo quando os programas são contínuos rotineiros e universais como é o caso dos programas nacionais é quase impossível determinar o ponto inicial Por outro lado avaliações diagnósticas em geral são complexas e caras Quando não se processa nenhuma comparação ou a comparação limitase ao tipo antes depois descrito a avaliação realizada enquadrase na família das avaliações não experimentais Por isso mesmo não constituem as melhores alternativas de avaliação de impacto Ora a confiabilidade dos resultados depende dos métodos de seleção dos indivíduos a serem comparados e tende a decrescer na medida em que se reduz o caráter experimental da pesquisa Por isso são limitados os resultados das avaliações não experimentais Mas há alternativas cientificamente mais densas É possivel por exemplo estimar impactos de um dado programa através da comparação entre participantes e nãoparticipantes do mesmo O segundo grupo operará então como grupo de controle em relação ao qual serão estimadas as diferenças da dimensão que se quer aferir Para que se cumpra o requisito básico das avaliações experimentais os membros tanto do grupo de participantes grupo focalizado quanto do grupo de não participantes grupo de controle devem ser aleatoriamente selecionados ambos os grupos apresentando similaridades nos seus atributos tanto em relação aos fatores observáveis quanto aos não observáveis E se não for possível isolar para comparação um grupo de não participantes Se o nosso campo fosse o das ciências exatas poderíamos propor a alternativa clássica aplicar o programa para um grupo e simultaneamente deixar de aplicálo para o grupo controle Ora isso nem sempre é possível nem eticamente recomendável Nos nossos exemplos envolveria a suspensão da merenda escolar para um grupo ou a vacinação para outro Em tais circunstâncias a estratégia mais frequente é a trabalhar com tipos ou desenhos quaseexperimentais de avaliação nos quais a comparação se faz com um grupo que opera como contrafactual ao programa a sua seleção podendo se dar por distintas modalidades5 Supõese ainda assim que a aleatoriedade da seleção em cada um dos 5 Entre as alternativas mais conhecidas de definição do grupo de controle estão as seguintes candidatos inscritos mas não selecionados para o programa participantes que desertaram do programa integrantes da mesma área geográfica e ou do mesmo grupoalvo que entretanto não se candidataram ao programa indivíduos similares mas de fora da área geográfica coberta pelo programa ou finalmente não participantes selecionados a partir de bases nacionais ou regionais de dados censos etc Mas nunca havia sido observada6 Não basta identificar bem o grupo de controle A aferição dos efeitos líquidos de um programa implica naturalmente o isolamento e o controle de todas as variáveis da mesma natureza ou de natureza distinta que possam interferir nos resultados tanto dos participantes quanto dos não participantes O suposto aqui é o de que a única diferença entre os dois grupos seja a o impacto do programa que está sob avaliação Ora o controle das variáveis intervenientes não é nada trivial Vamos a alguns exemplos de vieses que podem alterar ou contaminar os resultados A determinação do tempo transcorrido entre o final do programa e o momento da avaliação é quase sempre um fator crucial já que se pode supor que quanto maior o período entre aqueles dois momentos maiores serão as probabilidades de ocorrências de eventos que possam afetar os resultados Outros vieses se não controlados podem afetar a comparação com o grupo de controle mesmo quando esse tenha sido selecionado por critérios adequados Por exemplo no caso de um programa de leite para crianças desnutridas pode ocorrer que o grupo de controle esteja sendo afetado ou por um outro programa similar ou mesmo por variações não controladas na dieta alimentar doméstica Em certos programas tomemos como exemplo um programa de capacitação para jovens a própria decisão de dele participar pode introduzir viés nos resultados Ou seja na comparação entre os dois grupos certas diferenças supostas como impactos por exemplo estar empregado ou ter melhores rendimentos podem decorrer menos do treinamento obtido antes do fator motivação em geral associado a outras características dos sujeitos Difícil ou não quando se quer produzir uma boa avaliação de impactos o controle dessas variáveis é decisivo de preferência através de métodos estatísticos que possam isolar cada tipo de sua influência sobre os resultados por exemplo a análise multivariada com 6 Recentemente em pesquisa que avaliou o impacto de um programa de capacitação de jovens na ausência de fontes censais de informação em base às quais pudessem ser sorteadas amostras utilizei a técnica da amostra sombra para compor o grupo de controle que replicava todas as características da amostra de egressos salvo o ter feito aquele exato curso de capacitação Embora frequente esta não é a melhor alternativa mas infelizmente foi a única possível técnicas de modelagem ou regressão logística7 Indicadores de Efeitos Como dissemos os efeitos de um dado programa referemse a determinadas alterações esperadas ou não e que não as especificamente pretendidas provocadas pelo programa e que mais que o próprio grupo alvo focalizado afetam as instituições ou organizações participantes os agentes que implementam o programa ou o meio social em que o mesmo se realiza Muitas vezes referidos como impactos indiretos tendem a abranger os efeitos de mais duradouros do programa sobre os agentes implementadores a comunidade local e grupos particulares de interessados na sua execução efeitos sociais as instituições governamentais e não governamentais associadas em sua implementação efeitos institucionais Perguntas básicas aqui também se impõem A implementação do programa logrou produzir nas instituições envolvidas alguma aprendizagem institucional Produziu melhora de suas capacidades institucionais state capabilities Estimulou ou criou condições para a continuidade e ou ampliação da experiência sustentabilidade As metodologias utilizadas puderam ou podem ser aproveitadas transferidas em outras experiências Foram constatadas melhorias nas capacides profissionais dos agentes da implementação como resultado das atividades que eles próprios desenvolveram no interior do programa Passemos agora às avaliações de processo Talvez estejam aqui minhas contribuições mais úteis 7 Na pesquisa Avaliação da descentralização dos programas do FNDE e da Merenda Escolar que coordenei NEPP UNICAMP obtive sucesso com a aplicação de regressão logística para determinar as chances os níveis de risco de determinados tipos de escola implementarem bem os programas isolando variáveis tais como o tamanho da escola o tipo municipal ou estadual e o nível de escolaridade do diretor Ver NEPP 1998 Na avaliação de impacto de programas norteamericanos de capacitação Barnow Cain e Goldberger 1980 tiveram êxito em isolar o efeito participação através de análise de regressão que incluiu como variáveis de controle todos os critérios usados na seleção dos candidatos ao programa 3 As avaliações de processo em busca de modelos analíticos Permitamme iniciar com uma imagem estas notas sobre as avaliações de processo As políticas ou os programas têm vida Nascem crescem transformamse reformamse Eventualmente estagnam às vezes morrem Percorrem então um ciclo vital um processo de desenvolvimento de maturação e algumas de envelhecimento ou decrepitude É este ciclo ou alguns de seus momentos que constitui o objeto das avaliações de processos Mas as políticas e os programas têm também carne e osso melhor têm corpo e alma São decididas e elaboradas por pessoas dirigemse às pessoas ou ao seu habitat são gerenciadas e implementadas por pessoas e quando isso ocorre são avaliadas também por pessoas Ora as pessoas ou os grupos de pessoas que animam as políticas fazemno segundo seus valores seus interesses suas opções suas perspectivas Que não são consensuais nem muito menos unânimes como sabemos Ao contrário o campo onde florescem as políticas e programas pode ser pensado como um campo de força de embates de conflitos que se sucedem e se resolvem ao longo do tempo Se é assim as avaliações de processos serão tanto mais completas quanto tendam a apoiarse também em conceitos e modelos de análise capazes de captar o sentido e a lógica da dinâmica dos programas movida por interesses conflitos eventuais negociações Mesmo esquematicamente vale a pena identificar os principais entre estes conceitos e dimensões de análise 31 As Estratégias da Implementação Os conteúdos políticos das políticas constituem tema clássico dos estudos de políticas públicas base para a tão frequentemente citada diferenciação policy politics polity Não é bem desses conceitos gerais que me interessa tratar aqui até para evitar repetições desnecessárias Quero restringirme especificamente às avaliações de processo e a algumas dimensões do que poderia chamar a economia política das políticas públicas Comumente as referências à política das políticas públicas referese aos momentos de formulação e sobretudo às decisões iniciais Ora o processo de implementação dos questões mais estratégicas da implementação é útil para a correta identificação dos fatores de processo que operam ou como facilitadores ou como obstáculos à consecução do programa 32 Estrutura e processo da Implementação Quero dedicarme à questão da implementação Entretanto para que nos entendamos bem acerca de conceitos faço de inicio a distinção no ciclo de vida dos programas de duas grandes etapas a formulação e a implementação Formulação O processo de formulação de uma dada política ou programa é bastante complexo e tende a ser longo Teoricamente compreende a formação da agenda pública a introdução do tema ou mais diretamente das demandas na agenda social e posteriormente pública a produção e o confronto de alternativas por parte dos diferentes grupos de atores os processos de filtragens e de apropriação domesticação da policy por parte dos agentes segundo o legado ou as tradições e culturas organizacionais a formulação e decisão as definições de estratégias de implementação Implementação Esta última inclui tanto as atividadesmeio que viabilizam o desenvolvimento do programa quanto a atividadefim ou a execução propriamente dita Veremos logo mais quais são esses sub processos nos quais se desdobra o processo mais geral da implementação O que se avalia quando se avalia a implementação Uma resposta simples pode ser a seguinte 10 É ampla e conhecida a bibliografia de teoria organizacional e análise de políticas públicas em que se apoia esta conceituação Por isso dispensome de referila Mas registro pelo menos as inspirações da análise neoinstitucionalista especialmente em relação aos conceitos de legado de aprendizagem institucional acumulada e de path dependency Ver Skocpol T Orloff Ann S1984 SkocpolT Ikenberry J 1983 Pierson P 19941996 Para um bom estudo da bibliografia sobre aprendizagem organizacional ver Calmon 1999 Programas repousa também em orientações e preferências envolvendo cálculos estratégicos escolhas e decisões por parte dos agentes que o conduzem e o implementam ou dele se beneficiam Em outras palavras é possível identificar em cada política ou programas sua estratégia de implementação constituída primordialmente por decisões acerca de características ou dimensões de processo tais como a dimensão temporal os atores estratégicos a serem mobilizados em diferentes estágios para apoiar a implementação do programa os sub processos e estágios através dos quais se desenvolverá a implementação etc Quando completa a avaliação de processo deve envolver também a avaliação das estratégias que orientaram a implementação aferindo em que medida foram ou não exitosas garantiram ou dificultaram o sucesso da implementação Sem pretender abarcar todas as dimensões que uma análise desse tipo pode abranger refirome resumidamente às que julgo principais e que a meu ver devem estar na ordem de preocupações do avaliador da implementação mesmo quando não vá trabalhar exaustivamente com a questão estratégica A dimensão temporal Explicitamente ou não a estratégia de implementação envolve uma escolha acerca da temporalidade das ações escolha que em princípio corresponde a certos cálculos políticos acerca dos apoios e das resistências que enfrentará o programa Em geral as alternativas aqui polarizamse entre estratégias incrementais e estratégias de choque Nas primeiras a implementação se desdobra ao longo de um dado período suficientemente longo para que através dos vários estágios logrese construir desde o interior mesmo do programa as alianças ou coalizões de apoio capazes de vencer as resistências Já as estratégias de choque nas quais o grosso da implementação se faz de uma só vez e num momento único do tempo supõem que ingredientes tais como a surpresa e medidas tais como o insulamento burocrático dos decisores sejam capazes de vencer as resistências esperadas e inibir o surgimento de novas Atores estratégicos e matrizes de conflito e cooperação Ao reconstituir as estratégias da implementação o avaliador enfrenta questões do seguinte tipo quais são os atores institucionais e ou individuais que sustentam o programa Entre todos foram ou não alguns deles especialmente mobilizados para apoiar o programa podendo mais à frente operar como núcleos de coalizões amplas de sustentação Outros também cruciais teriam sido esquecidos ou desprezados tal encaminhamentotendo o significado de erro estratégico dos decisores A preocupação vale também para os atores que não aderem ou resistem ao programa é claro A identificação das várias matrizes político institucionais de cooperação ou conflito que permeiam e dinamizam o processo de implementação é decisiva para a localização dos pontos de acordo e dos consensos mínimos indispensável às negociações e sobretudo à sustentabilidade dos programas Parcerias e redes de apoio Se nas considerações anteriores a referência foi principalmente aos atores internos aqui quero referirme aos diferentes grupos de interesse aos parceiros e às redes de apoio que mais amplamente relacionamse com o programa avaliado São eles muitos e bastante diferenciados sem nenhuma elegância poderseia dizer serem eles os produtores e os consumidores da política em questão Podemos localizálos desde os beneficiários mais diretos até atores institucionais ou não relacionados por exemplo com seu financiamento passando inclusive pelos concorrentes ou seja atores vinculados a programas similares e competitivos Nas avaliações de processo além da identificação desse campo diferenciado de interesses é importante reconhecer que a própria avaliação nele se enraíza sua credibilidade será tanto maior quanto mais se apoie em instrumentos e mecanismos de precisa identificação dos interesses e de suas distinções Não será por isso que as avaliações participativas vêm ganhando importância A análise política das políticas públicas não é matéria fácil nem sempre é possível de ser realizada e muito frequentemente desagrada a muitos Ainda assim a consideração das 8 Ao longo da implementação tendem a variar os tipos predominantes de interação entre atores interações cooperativas conflitivas ou de advocacy seja no interior da coalizão de apoio seja na relação com outros grupos de atores 9 Há vários esforços de classificação dos diferentes grupos interessados ou stakeholders como prefere o jargão da moda Os manuais do Banco Interamericano de Desenvolvimento distinguem por exemplo entre os stakeholders os primários os secundários e os patrocinadores IDB 1995 As avaliações de processo de natureza qualitativa buscam identificar os fatores facilitadores e os obstáculos que operam ao longo da implementação e condicionam positiva ou negativamente o cumprimento das metas e objetivos Tais fatores podem ser entendidos como condições institucionais e sociais dos resultados A questão básica que norteia investigações dessa natureza é a de detectar os condicionamentos no plano dos processos dos êxitos ou dos fracassos dos programas É também a de saber se outras alternativas de processos garantiriam melhores resultados Ou inversamente se os mesmos resultados poderiam ser alcançados com alternativas menos caras ou mais rápidas de processos ou sistemas Como avaliar processos de implementação Registro na sequência um esboço de metodologia de análise de processo que venho elaborando ao longo da minha experiência em avaliações de programas sociais Embora não acabada tem se mostrado útil e frutífera podendo certamente interessar aos colegas pesquisadores de políticas públicas 33 Ciclo de Vida dos programas uma metodologia de avaliação de processos Já distinguimos antes as etapas de formulação e de implementação Ou seja supomos que teoricamente quando se inicia o movimento da implementação já se superaram as etapas de formulação e decisão e já se definiram as estratégias da própria implementação Para fins de pesquisa é conveniente captar o que chamo a anatomia do processo geral de implementação identificando seus principais sub processos ou sistemas Quadro 2 Sistemas ou sub processos da implementação Sistemas ou sub processos da implementação Sistema gerencial e decisório Processos de divulgação e informação Processos de seleção de agentes implementadores e ou de beneficiários Processos de capacitação de agentes e ou beneficiários Sistemas logísticos e operacionais atividadefim financiamento e gasto provisão de recursos materiais Processos de monitoramento e avaliação internos Vejamos sumariamente as preocupações de análise de cada sistema ou sub processo Sistema gerencial e decisório Seja qual for a inscrição institucional de um dado programa seu desenvolvimento apoiase numa dada estrutura organizacional cujas características obviamente interessam ao avaliador e está submetido a um sistema gerencial e decisório específico que conduz a implementação A estrutura hierárquica desse sistema seus graus de centralização ou descentralização de autonomia ou dependência das partes de um lado e de outro as características da gestão do tempo e a capacidade de implementar decisões de que dispõem os gerentes todas essas são características a serem avaliadas através de indicadores quantitativos e qualitativos adequados Também é importante em muitos dos casos compreender a natureza e os atributos dos gerentes isto é da autoridade que conduz o processo Pertence aos quadros mesmo do programa ou da política ou lhe é externa Ou seja é constituída por funcionários do programa ou por staff de presença ad hoc Goza de liderança e de legitimidade Processos de divulgação e informação Seja qual for a dimensão do programa supõe ele sempre que a sua publicização se faça por meio de adequados sistemas de divulgação junto aos seus públicos internos e externos e de informação qualificada junto aos agentes que o implementam e os seus beneficiários A pergunta que a respeito se faz o avaliador é principalmente a seguinte as informações básicas sobre o programa seus objetivos seus modos de operação seus componentes seus prazos etc chegaram aos agentes executores e à população interessada nas quantidades qualidades e com a antecipação necessária à realização das atividades Podem daí ser extraídos os indicadores que medirão os níveis de qualidade desse processo clareza abrangência e suficiência das informações básicas agilidade do fluxo etc Sistemas de Seleção Em geral os programas envolvem algum tipo de seleção seja de agentes que o implementarão seja do públicoalvo a que se dirige Aqui também podem ser apontadas as questões básicas a serem enfrentadas pelo avaliador Que sistemas e critérios de seleção foram utilizados no recrutamento dos agentes da implementação e dos grupos beneficiados A divulgação dos processos seletivos foi suficientemente ampla atingindo a todos os potencialmente interessados Competência exame de mérito foram em alguma medida usados como critérios nos sistemas de seleção de instituições e agentes estratégicos do programa Houve adequação entre os tipos de processos seletivos e os objetivos do programa Sistemas de Capacitação Em qualquer programa é imprescindível verificar a capacidade dos agentes para cumprir as tarefas que lhes cabem na implementação Os sistemas que os capacitaram podem ser externos ou internos ao programa Quando internos e específicos a avaliação desses sistemas de capacitação é indispensável Além disso pode ocorrer que também a capacitação dos beneficiários seja condição de sucesso do programa logo sua avaliação também se torna decisiva O que interessa saber a respeito da capacitação quando se quer avaliar a implementação Vejamos algumas perguntas do avaliador Os prazos os sistemas e os conteúdos da capacitação dos agentes implementadores foram em qualidade e quantidade adequados e pertinentes às atividades que deverão realizar Foram equilibrados adequadamente na pauta da capacitação os diferentes conteúdos referidos aos distintos tipos de atividades a serem enfrentadas pelos implementadores gerenciais didáticas de supervisão ou monitoramento de desenvolvimento social etc Terminada a capacitação os implementadores se sentiram seguros para empreender as tarefas esperadas Sistemas de Monitoramento e Avaliação internos É possível identificar uma espécie de hierarquia de procedimentos avaliativos relacionados com os programas e as políticas públicas Vejamos Mesmo que não se faça de modo explícito a implementação dos programas tende a ser monitorada ou supervisionada pelos seus gerentes principalmente nos seus estágios iniciais Já avaliações internas tendem a ser mais raras e em geral se restringem a examinar os registros administrativos ou a colher opiniões dos agentes implementadores Mais raras ainda são as auditorias externas e finalmente as avaliações externas elaboradas aluguma isenção e pautadas por procedimentos científicos É verdade que crescimento estas duas últimas formas vêm se disseminando com claros benefícios de transparência para as políticas Quais são os problemas de avaliação aqui presentes Algumas perguntas ajudam a entendêlos Seja qual for a forma avaliativa utilizada tratase de saber este procedimento e regular Seus conteúdos e métodos contribuíram para a melhora da implementação e para a maior efetividade do programa Ocorreram correções de processos e procedimentos como resultado das evidências coletadas no monitoramento Seus resultados foram adequadamente sistematizados e socializados entre instituições e técnicos participantes Sistemas logísticos e operacionais atividadefim Até agora tratamos das atividades meio Mas também o modo de implementação e operacionalização da atividadefim antes que se rotinize o programa é de fundamental importância para a avaliação da implementação Os parâmetros de suficiência de recursos e de tempo em geral são decisivos nessa dimensão Ou seja indepentente de como são financiados os programas tratase de saber se os recursos financeiros são suficientes para os objetivos propostos ou se podem ser maximizados em beneficio dos próprios objetivos e metas E tão importante quanto se chegam onde devem chegar nos prazos adequados Já no que tange aos recursos materiais vale lembrar que em muitos programas a base material especifica na qual se apoia equipamentos coletivos equipamentos de comunicações serviços de transportes etc é crucial para o seu êxito Medidas de suficiência e de qualidade parecem ser as mais adequadas Examinamos até aqui os conceitos de resultados e processos assim como as questões de avaliação que geralmente envolvem É possível avaliar simultaneamente esses dois planos dos programas Vejamos então os conceitos que têm tal pretensão 4 Indicadores Agregados Avaliações de Eficácia Eficiência e Efetivdade dos Programas Processos e resultados podem devem e frequentemente são apreendidos em conjunto nos estudos de avaliação através de conceitos que tratam exatamente de relacionálos É o caso dos conceitos de eficácia eficiência e efetividade abusivamente utilizados na pesquisa de avaliação embora seu entendimento longe esteja de ser consensual Vou propor aqui algumas definições mesmo correndo o risco de remar contra a corrente como me alertou um alumno há pouco tempo Eficácia No plano mais geral a eficácia de um dado programa diz respeito à relação entre características e qualidades dos processos e sistemas de sua implementação de um lado e os resultados a que chega de outro Assim será mais eficaz atingirá seus resultados em menor tempo menor custo e com mais alta qualidade aquele programa que se apoiar em processos e sistemas adequados de implantação Ou seja quando se examinam processos e sistemas da implementação consideramse eficazes aqueles nos quais predominam os fatores facilitadores de resultados em quantidades e qualidades máximas e em períodos mais curtos de execução Ao contrário perde em graus de eficácia o programa cujos processos e sistemas de implementação um ou mais apresentam eles próprios ineficácias e tendem a operar como obstáculos ao atingimento dos resultados11 A avaliação de eficácia é por natureza uma avaliação de processo A pergunta básica que estará respondendo o avaliador ao medir a eficácia pode ser assim formulada quais são ou foram na implementação os fatores de ordem material e principalmente institucional que operaram como condicionantes positivos ou negativos do desempenho dos programas 11 Esta definição difere totalmente das que consideram apenas a relação metas tempo como a seguinte entendese a eficácia como o grau em que se alcançam as metas de produção de um projeto em um dado período de tempo independentemente de seus custos CEPAL 1998a 18 Eficiência e Efetividade12 A eficiência diz respeito às qualidades de um programa examinadas sob os parâmetros técnicos de tempo e de custos Em uma definição relativamente restrita pode ser entendida a relação entre produtos bens e serviços e custos dos recursos insumos e atividades confrontada com uma norma ou parâmetro CEPAL 1998a18 Medidas de custo benefício seriam nesta acepção os melhores indicadores da eficiência de um dado programa Adicionado o parâmetro tempo maior produção menores custos menor tempo temos aí um particular ângulo dar eficiência o da produtividade Quando se consideram as alternativas tecnológicas do processo podese chegase e uma outra medição de efetividade também denominada eficiência técnica As perguntas típicas para a avaliação de eficiência são do seguinte tipo as atividades ou processos se organizam tecnicamente da maneira mais apropriada esta condição opera com os menores custos para a produção máxima dos resultados esperados esta condição opera no menor tempo possível Já o conceito de efetividade referese à relação entre objetivos e metas de um lado e impactos e efeitos de outro Ou seja a efetividade de um programa se mede pelas quantidades e níveis de qualidade com que realiza seus objetivos específicos ou seja as alterações que pretende provocar na realidade sobre a qual incide Ora como vimos antes estas são de dois tipos impactos e efeitos Logo a efetividade significa as quantidades e ou os níveis de qualidade com que atinge os impactos esperados e promove os efeitos previsíveis ou não Os efeitos como assinalamos antes podem ser agrupados em dois tipos os efeitos sociais e os efeitos institucionais Se for útil como penso ser vale a pena distinguir na 12 Os conceitos aqui usados não se identificam plenamente com as definições da tradição da teoria econômica neoclássica especialmente do welfare economícs Nesta a eficiência referese à relação entre insumos e produtos mais amplamente entre custos e benefícios Traduzida na linguagem de curvas de Pareto é eficiente a produção que realizada num dado nível se faz ao menor custo e com máximo benefício líquido já a efetividade é também chamada eficiência técnica referese ao máximo de produção ou realização possível dos objetivos segundo a melhor alternativa tecnológica por isso mesmo também chamada de eficiência técnica O conceito de eficiência então é mais amplo e envolve mesmo o de efetividade Se a relação custoefetividade remete à realização dos objetivos específicos com menores custos a eficiência significa a extensão em que a razão custobenefício é maximizada Propper C 1998 Paultrey Phillips Thomas and Edwards 1992 avaliação efetividade social e efetividade institucional uma vez que os indicadores que se referem a um e outro são muito diferentes Com efeito por efetividade social especificamente entendese a capacidade do programa em afetar o capital social do meio em que se realiza em especial a rede de articulações e parcerias específicas que facilitam sua execução O conceito remete também aos níveis de adesão e satisfação dos agentes implementadores e da população alvo Entre os principais indicadores a serem mobilizados para a avaliação da efetividade social de um dado programa sugiro os indicadores de capital social que estimam os graus de confiança as redes sociais os graus de apoios enfim as energias associativas e organizacionais presentes no meio social e que se relacionam com o programa os níveis de satisfação dos agentes implementadores dos usuários e de grupos de interesse O conceito de efetividade institucionalval por sua vez remete às afetações provocadas pelo programa sobre as organizações e instituições responsáveis ou envolvidas na sua implementação Entre os indicadores que podem captar tais efeitos podemos lembrar as variações de recursos organizacionais de aprendizado de capacidades institucionais e de hábitos ou comportamentos culturais das organizações envolvidas Chamo a atenção para a avliação dos resultados no sentido estrito ou do desempenho Isoladamente esse plano restrito dos resultados diz muito sobre a realização do programa mas avaliao pouco Em outras palavras apenas registrar percentuais de cumprimentos de metas físicas ou financeiras embora passo necessário não constitui efetiva avaliação de um programa Efetiva avaliação ocorre exatamente quando se põe em relação tais resultados e os processos através dos quais foram produzidos avaliação de processo e medidas de eficácia e eficiência tais resultados e as mudanças provocadas pelo programa na realidade sobre a qual incide avaliação de impactos e efeitos e medidas de efetividade Encerro estas notas metodológicas com um quadro resumo de indicadores de avaliação Quadro resumo dos Indicadores de avaliação dos programas Quadro 3 Dimensões dos Programas Indicadores Dimensões Indicadores de Desempenho Tipo Exemplos de Indicadores Metas metas físicas Metas realizadas X metas previstas Produção cumprimento das metas Coberturas produção regularidade dos serviços prestados qualidade das ações metas financeiras Públicoalvo Cobertura localização Metas realizadas X metas previstas Indicadores de Efetividade Impactos Variações mudanças na realidade de intervenção crescimento do fenômenointensidade da mudança Efeitos Efetividade Social Capital social Opinião e satisfação dos atores envolvimento de organizações da sociedade civil avaliação dos atores sobre os programas graus de satisfação dos beneficiários graus de adesão satisfação dos agentes e beneficiários indução reforço a associações redes parcerias Efetividade Institucional Capacidades institucionais sustentabilidade e reprodução Graus de indução à Mudanças Inovações autonomia Níveis de aprendizado institucional Rotiinização institucionalização dos processos Capacidade de transferência de metodologia Indicadores de Eficácia Sistema gerencial e decisório Processos de divulgação e informação Processos de seleção de agentes implementadores e ou de beneficiários Processos de capacitação de agentes e ou beneficiários Sistemas logísticos e operacionais atividadefim financiamento e gasto provisão de recursos materiais Processos de monitoramento e avaliação internos Monitoramento Avaliação Interna Competência dos gerentes capacidade implementar decisões graus centralização descentralização Diversificação dos canais suficiência e qualidade das menagens público atingido adequação de prazos agilidade do fluxo publicização competitividade do processo qualidades do sistema de aferição de mérito adequação do grupo selecionado aos objetivos do programa Competência dos monitores Duração e Qualidade dos Cursos conteúdos didáticas avaliação dos beneficiados suficiência dos recursos prazos e fluxos qualidade da infra estrutura material de apoio regularidade abrangência agilidade na identificação de desvios e incorreções capacidade agilidade em recomendar correções feed back regularidade abrangência graus de participação e comprometimento dos atores e stakeholders efetividade em extrair lições propor e recomendar melhorias promover aprendizagem institucional Indicadores de Eficiência Recursos Custo relação custo benefício ou custo efetividade Prazos Tempo Produtividade metas X resultados X tempo de realização 8 Observações finais Encerro com uma referência explicita á forte convicção que esta por trás da escolha da metodologia aqui proposta a de que tanto quanto os resultados também os processos devem submeterse a avaliações superando o nível meramente descritivo com que em geral são tratados nas pesquisas de avaliação de programas e políticas públicas Quero com isso dizer que não apenas é recomendável como também é possível que variáveis qualitativas tais como aquelas que em geral descrevem os atributos de processos possam receber tratamento quantitativo É esta uma das alternativas para se proceder à efetiva avaliação do nível de eficácia ou de qualidade de dado sub processo ou sistema da implementação Vou tomar apenas um exemplo para não abusar da paciência do leitor Em um determinado programa de alfabetização de adultos o processo seletivo principal é o da seleção dos professores alfabetizadores Quais são em geral os atributos de um processo desta natureza E com critérios avalialos Sem dúvida estarão presentes nestas definições valores e escolhas do avaliador mas em geral podese esperar de um bom processo seletivo que tenha se apoiado em ampla divulgação de modo que todos os potenciais candidatos estejam informados que seja claro acerca de critérios e procedimentos ou dos seus critérios de justiça que seja competitivo e apure mérito que para tanto apoiese em instrumentos adequados etc Como discriminar entretanto as variações de qualidade entre as várias ocorrências de seleção de professores Podese esperar que em alguns casos o processo tenha registrado alta qualidade uma vez que tenha cumprido todas aquelas condições estabelecidas pelo avaliador Mas pode ocorrer que não tenha cumprido todas apenas algumas operando então a um nível médio de qualidade Ou finalmente pode suceder que tenham sido tantas as lacunas que no máximo podese avaliar o processo seletivo como insuficiente ou ruim Componho no quadrinho seguinte este exemplo Recomendo tratar como qualitativos os critérios qualitativos Avaliação de processos atributos e diferenciação de níveis de qualidade de processos seletivos Sistemas de pontuações ou ponderações podem ser utilizados para quantificar os atributos de processo e estimar ao fim o nível de qualidade alcançado O que aqui se fez para o sub processo de seleção pode e deve ser feito também para todos os outros sub processos e sistemas da implementação Com o sumário exemplo acima quero uma vez mais insistir na tese de que em avaliações de implementação não basta tão somente descrever processos e sistemas Mesmo em se tratando de variáveis qualitativas é preciso e é possível ir além se se quiser efetivamente avaliar o processo de implementação de um programa e relacionálo com os resultados BIBLIOGRAFIA BAKER J 1999 Evaluating the Poverty Impacts of Projects A Handbook for Practitioners LCSPRPRMPO Washington The World Bank BARNOW B CAIN G E GOLDBERGER AS 1980 Issues in the analysis of selectivity bias Evaluation Studies 5 1 May 4259 CALMON Katia MN 1999 Avaliação de programas e a dinâmica da aprendizagem organizacional Revista Planejamento e Políticas Públicas 19 junho 1999 370 CEPAL 1988a Gestión de Programas Sociales en América Latina VolI Série PolíticasSerie Políticas Série PolíticasSociais no 25 SantiagoCepal CEPAL 1988b MetodologíaMetodología para el Análisis de la Gestión de Programas Sociales VolII Serie Políticas Sociales no 25 SantiagoCepal COLEMAN James S Foundations of Social Theory Harvard University Cambridge MA 1990 DRAIBE Sonia M 1999 Análise Qualitativa IntegradaRelatório Final No 2 Projeto Análise Qualitativa dos Programas Inovadores do Comunidade Solidária NEPPUNICAMP1999 DRAIBE Sonia M 1998 Desenho do Projeto Projeto Análise Qualitativa dos Programas ERSKINE A MARGARET MAY M edit 1998 The Students Companion EZEMENARI K RUDQVIST A SUBBARAO K1999 Impact Evaluation a note on concepts and methods Revised Draft 599 Washington The World Bank FRIEDLANDER D GREENBERG D ROBINS Ph 1999 Métodologías for Determinating the Effectiveness of Training Process em Burt Barnow e Christopher T King ed Improving the ODDs Washington The Urban Institute Press HATRY HARRY 1999 Performance Measurement Washington The Urban Institute Press IDB 1995 Evaluation A management Tool for Improving Project Performance InterAmerican Development Bank Washingotn Draft Inovadores do Comunidade Solidária NEPPUNICAMP1998 PALFREY C PHILLIPS C THOMASP AND DAVID EDWARDS 1992 Policy Evaluation in the Public Sector Averbury Ashgate Publishing Ltda England PIERSON P1994 Dismanteling the Welfare State Reagan Tatcher and Politics of Retrenchment Cambridge University Press PIERSON P1996 The New Politics of the Welfare State World Politics 482 1996 143179 PROPPER Carol 1998 Efficiency Equity and Choice em ALCOCK P ANGUS to Social Policy London Blackwell Pub SIEMPRO SISTEMA DE INFORMACIÓN MONITOREO Y EVALUACIÓN DE PROGRAMAS SOCIALES 1999 Gestión Integral de Programas Sociales Orientaciones e Resultados B Ayres BIRD UNESCO Secr Desenvolvimento Social SKOCPOLT IKENBERRY J 1983 The Political Formation of the American Welfar State Comparative Social Research 687148 SCKOCPOL T ORLOFF Ann S 1984 Why not equal protection Explaining the politics of Public Social Spending in Britain 1900191 and the United States 18801920 American Sociological Review vol 49 726750