Elaboração e Avaliação de Políticas Públicas

ELABORAÇÃO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS AUTORIA SUELY DE FÁTIMA RAMOS SILVEIRA VINÍCIUS DE SOUZA MOREIRA ViçosaMG 2023 ADM574 ELABORAÇÃO E AVALIAÇÃO DE PROJETOS 2 SUMÁRIO 1 POLÍTICAS PÚBLICAS UMA BREVE REVISÃO DE CONCEITOS 3 11 Políticas Públicas 4 12 Os Atores Políticos 4 2 OPERACIONALIZAÇÃO E ESTRUTURAÇÃO DO PROBLEMA EM POLÍTICAS PÚBLICAS 8 21 Operacionalização e estruturação do problema em políticas públicas 8 3 POLÍTICA PROGRAMA E PROJETO UM QUADRO GERAL 11 31 O Quadro Geral 11 4 CONTEXTUALIZAÇÃO E ELABORAÇÃO DE PROJETO NA GESTÃO PÚBLICA 15 41 Contextualização Plano Programa e Projeto 15 42 Elaboração de Projeto na Administração Pública 16 5 AVALIAÇÃO 22 51 Origens e história da disciplina Avaliação 23 52 Tipos de avaliação utilidade aplicações e terminologia 26 6 MONITORAMENTO 30 61 Métodos em avaliação32 62 Monitoramento e Avaliação de Impacto 33 621 Tipo de informação indicadores usados no monitoramento 33 622 Avaliação de impacto Quantitativa x Qualitativa 34 63 Métodos de avaliação de impacto 35 7 O CONTEXTO DA AVALIAÇÃO E A TEORIA DO PROGRAMA 37 71 O papel da Teoria do Programa 39 72 Teoria do Programa Programas Sociais 41 73 A Metodologia do Marco Lógico 42 731 A Matriz de Estrutura Lógica 43 8 MODELO LÓGICO 45 81 Desenvolvendo o Modelo Lógico 46 811 Modelo Lógico x Teoria da Mudança 46 82 Roteiro sugerido para elaboração da Matriz Lógica 51 821 A Situação Inicial 51 822 Antecedentes 53 8221 Retornando às discussões do Grupo 56 823 Situação problema 58 824 Decisão 59 9 ABORDAGENS GERAIS DE AVALIAÇÃO E MEDIDAS DE AVALIAÇÃO 64 91 Medidas de eficiência em avaliação 64 92 Avaliação de Políticas Públicas dimensões e critérios 65 REFERÊNCIAS 73 SOBRE OS AUTORES 75 FONTES SUGERIDAS PARA CONSULTA 76 ARTIGOS SUGERIDOS PARA LEITURA 77 Material elaborado para fins exclusivos da disciplina ADM574 Elaboração e Avaliação de Projetos DADCEAD UFV Viçosa Minas Gerais Brasil 2023 Autoria Suely de Fátima Ramos Silveira e Vinicius de Souza Moreira Todas as fontes consultadas são referenciadas ao longo e ao final do texto 3 Felizmente há sempre outro dia E outros sonhos E outras risadas E outras pessoas E outras coisas Clarice Lispector O tempo é o tecido da evolução O mesmo Deus que nos deu nossos sentidos nossa razão e nossa inteligência não desejaria que abandonássemos seu uso Galileu Galilei 4 1 POLÍTICAS PÚBLICAS UMA BREVE REVISÃO DE CONCEITOS 11 Políticas Públicas Políticas públicas são definidas sob diversas perspectivas e não existe uma única definição para o termo sendo possível destacar alguns elementos comuns entre as concepções presentes na literatura tais como são elaboradas a partir da existência de um problema público a resolução dos conflitos de forma pacífica a presença de atores diversos existência de procedimentos formais e informais e o estabelecimento de objetivos e estratégias de ação CUNHA e CUNHA 2002 SARAVIA 2006 SOUZA 2006 DYE 2008 MATIASPEREIRA 2009 SMITH e LARIMER 2009 Declaradas de forma explícita ou não as políticas implicam em uma cadeia de causalidade considerando as condições atuais bem como consequências futuras RIST 1994 A presença de um problema público e sua consequente resolução pacífica representam a gênese para formação das políticas públicas Sob essa perspectiva podese dizer que por meio de um conjunto de decisões interrelacionadas tomadas por um ator político ou agrupamento de políticos são estipulados objetivos bem como os meios para alcançálos sendo que esse conjunto de decisões deve estar compreendido nos limites da alçada destes atores políticos BURGUER 1993 JENKINS1978 Esse conjunto de decisões é entendido por Rist 1994 como orientações reunidas para serem transmitidas a implementadores O que conduz à necessidade da interlocução entre os diversos atores e agentes envolvidos de forma a demandar canais que permitam a correta e coerente transmissão de informações eou orientações Subirats et al 2008 reforçam que política pública consiste no estudo das ações que o poder público imprime na sociedade 12 Os Atores Políticos Thomas R Dye 2008 chama atenção para o fato de que as questões políticas são decididas não pelos técnicos analistas mas pelos atores Entendendo que o governo federal tem um papel importante na implementação de políticas públicas podemos perguntar qual seria o papel dos governos locais na diminuição das desigualdades ou para promover o desenvolvimento E ainda Se considerarmos essa atribuição ao governo local qual seria o tipo de política pública a ser elaborada e implementada pelo prefeito de um município Parada para Reflexão 5 políticos1 que podem ser os que foram eleitos empossados que oficialmente fazem parte do governo ou grupos de interesse e ocasionalmente ou excepcionalmente os eleitores Quem são os atores políticos ou stakeholders Os atores políticos ou stakeholders são indivíduos ou organizações específicos e que possuem características diferenciadas Poderão ter seus interesses afetados de alguma forma pelo resultado de determinada política pública Os atores políticos são aqueles cuja posição resulta de mandatos eletivos São os parlamentares governadores prefeitos membros eleitos do Executivo federal Temos também os atores públicos e atores privados Entre os atores públicos estão os políticos e os burocratas Já entre os atores privados podemos citar entre outros empresas e os empresários os meios de comunicação os sindicatos os trabalhadores Considerando o grupo dos atores públicos destacamos que os burocratas são aqueles que estão no quadro funcional dos servidores públicos ou seja estão em um sistema de cargos públicos sendo portanto agentes públicos Eles ocupam postos de trabalho que requerem conhecimento especializado Os burocratas assim identificados são todos os servidores públicos federais estaduais e municipais No exercício de suas funções os burocratas possuem e controlam elementos associados à autoridade e à informação por serem agentes públicos ou representantes do Estado frente à sociedade que materializam as suas diretrizes objetivos políticas programas e projetos buscando estabelecer o bemestar da sociedade em geral Por suas atribuições mesmo não possuindo mandato os burocratas em geral estão próximos e interagem com os cidadãos portanto possuem discricionariedade e podem ter clientelas setoriais inclusive ter seus próprios projetos políticos RUA 1997 SECCHI 2013 Devese destacar a importância dos partidos políticos que são atoreschave no processo de elaboração de políticas públicas bem como atuam como peças importantes do sistema democrático em geral 1 Também são conhecidos na literatura pelo termo stakeholders Stake significa participação Stakeholder significa a parte interessada interessados atores interessados 6 Os atores privados são aqueles que atuam nos diversos segmentos da sociedade sem vínculos diretos ou papéis e funções formalmente definidas nas esferas da administração pública Nessa categoria podese citar as empresas os meios de comunicação os sindicatos os movimentos sociais os acadêmicos e especialistas entre outros Podese citar também as igrejas as organizações não governamentais ONGs organismos internacionais grupos de interesse e os lobbies além de outros STEIN et al 2006 Entre esses atores privados Rua 1997 destaca os empresários e os trabalhadores Os empresários têm grande capacidade de influenciar as políticas públicas pois são capazes de afetar a economia do País controlam as atividades de produção e o abastecimento podem afetar o equilíbrio do mercado e a oferta de empregos Os meios de comunicação exercem influência por terem a capacidade de influenciar a definição da agenda política acelerar o ritmo do processo de tomada de decisão de alterar incentivos de apoio às políticas públicas e de provocar a elevação dos custos relacionados ao comportamento oportunista ou de autofavorecimento STEIN et al 2006 p 99 Segundo Rua 1997 e Stein et al 2006 p 105 os trabalhadores conquistam poder a partir de sua capacidade de ação organizada por meio de seus sindicatos Estes os sindicatos organizamse para defender os interesses de seus membros Promovem ações coletivas como negociações greves adotam estratégias políticas também oferecem serviços sociais cooperativas planos de saúde por exemplo Na FIGURA 1 temse uma ilustração dos atores no ciclo político É importante considerar que esses atores podem atuar a exercer influência em todas as fases de uma política pública desde a chegada da demanda pública o problema que chama atenção dos políticos e burocratas à agenda de decisão governamental quanto na formulação implementação e avaliação da política ou dos programas públicos Wu et al 2010 argumentam que avaliação de políticas públicas se refere a todas as atividades realizadas por distintos atores estatais e sociais isto é representantes governamentais ou não Importante As legislaturas são instituições imprescindíveis para o funcionamento de um sistema democrático e do processo de formulação de políticas Esperase que as legislaturas representem as necessidades e aspirações dos cidadãos na preparação de políticas que identifiquem problemas e formulem e aprovem leis para a sua solução e que fiscalizem a execução das políticas mediante o monitoramento exame e investigação das atividades governamentais de modo a assegurar a transparência eficiência e concordância com as leis e regulamentos existentes STEIN et al 2006 p 41 7 No que diz respeito aos atores governamentais os referidos autores indicam que os gestores públicos são as figuras mais influentes nas avaliações Em relação aos nãogovernamentais assinalam a atuação de pesquisadores em universidades empresas de consultoria e da mídia Porém os atores nãogovernamentais mais importantes são obviamente os usuários do serviço que têm a experiência em primeira mão de como o programa em questão está funcionando na prática WU et al 2010 p 120 FIGURA 1 Os atores no ciclo político Fonte Elaboração própria 8 2 OPERACIONALIZAÇÃO E ESTRUTURAÇÃO DO PROBLEMA EM POLÍTICAS PÚBLICAS Nesta seção iremos discutir como as diversas demandas ou questões que são apresentadas ao governo são identificadas como problemas públicos Aproveite para refletir sobre as questões que chegam a você no seu dia a dia e procure identificar quais delas seriam merecedoras de uma intervenção da administração pública 21 Operacionalização e estruturação do problema em políticas públicas Os problemas devem ser definidos não somente para o nível da macropolítica questões de âmbito nacional como também no nível da micropolítica ou seja no âmbito municipal A única diferença é o tamanho da população afetada pela política pública considerandose a população alvo Em qualquer nível macro ou micro as políticas públicas irão requerer formulação implementação e avaliação A análise de programas2 ou problemas de políticas irão envolver os mesmos tipos de técnicas Três questões básicas devem ser respondidas segundo Guess e Farnham 2000 p 27 quais sejam 1 O que é um problema de política pública 2 De que tipo eles são 3 Por que uma definição precisa é importante O que é um problema de política pública Segundo Dunn 1981 p 99 citado por Guess e Farnham 2000 p 27 um problema de política representa um conjunto de valores não realizados necessidades ou oportunidades que entretanto identificadas podem ser atingidas através da ação pública O mesmo autor ainda acrescenta que um problema de política pode ser visto como um sistema de condições que produz insatisfação entre diferentes segmentos de uma comunidade GUESS FARNHAM 2000 p 27 Ao responder à questão de que tipo os problemas públicos são é importante fazer distinção entre os seus níveis de complexidade Os problemas devem ser classificados entre os de menor complexidade e os de maior complexidade Um exemplo de problema complexo seria uma política antidrogas Segundo Guess e Farnham 2000 p 29 a queda do consumo de drogas requer uma mudança comportamental tratase de uma mudança lenta e gradual demandar soluções rápidas para esse tipo de problema pode ser frustrante e levar ao desgaste junto à população entre 2 Neste texto os termos política programa serviços são utilizados sem distinção analítica considerando que sejam objeto de planejamento público os gastos são autorizados com base na legislação e se destinam a uma população alvo 9 outras consequências Essa classe de problemas requer soluções duras financiamento contínuo e tempo Ao responder o terceiro questionamento devemos considerar que a definição precisa de um problema pode adquirir níveis de complexidade pois a questão pode ser confundida com a forma que a mesma informação pode ser diferentemente interpretada Um exemplo seriam as diferentes interpretações sobre o problema da pobreza ou das causas da criminalidade Em geral os atores com mais recursos políticos sofisticação técnica carisma apoios recompensas e punições irão ter maior influência na definição de um problema e na seleção de alternativas GUESS FARNHAM 2000 p 31 Entretanto como afirma Subirats 2006 a má identificação de um problema pode levar a soluções erradas e até ao seu agravamento Para análise de políticas públicas recorrese a modelos entre eles um dos mais conhecidos é o modelo do Ciclo de Políticas Públicas3 composto por sete fases De acordo com Secchi 2016 p 28 a identificação do problema é a primeira fase do referido ciclo conforme pode ser observado na FIGURA 2 É importante ressaltar que o processo político raramente se caracteriza por um começo ou fim claros A estruturação de problemas envolve a adoção de uma técnica apropriada para sua definição que depende de uma análise preliminar de dados e informações ou seja depende de informações anteriores estabelecimento de relações causais entre variáveis e da identificação das posições contrárias ou favoráveis dos stakeholders relevantes Novas informações podem surgir durante o processo de estruturação do problema e podem alterar as pressuposições dos analistas e tomadores de decisão policymakers Neste caso mudanças na definição do problema poderão ocorrer mas as técnicas para sua definição não serão alteradas Também é muito importante na definição do problema de política pública é quão previsível ele é baseado nas informações disponíveis o problema pode ser estruturado para ação institucional em curto ou médio prazo GUESS FARNHAM 2000 p 32 3 A ideia de modelar o processo político em termos de estágios foi primeiro formulada por Harold Lasswell 1956 ao desenvolver uma estrutura conceitual que foi desenhada para um projeto de mapeamento do processo político em relação ao amplo processo social Lasswell apresentou um modelo de ciclo político com sete estágios inteligência promoção prescrição invocação aplicação conclusão exame avaliação A partir de então um número de diferentes variações de tipologias de estágios tem sido apresentado na literatura geralmente oferecendo diferenciações dos sub estágios JANN WEGRICH 2007 p 43 tradução nossa 10 FIGURA 2 Fases do ciclo de políticas públicas Fonte Elaborada a partir de Secchi 2016 Os problemas públicos podem ser divididos em três classes i bem estruturados ii moderadamente estruturados e iii mal estruturados DUNN 1981 p 103104 apud GUESS FARNHAM 2000 i Os problemas bem estruturados são aqueles que envolvem um ou poucos tomadores de decisão e um pequeno conjunto de políticas alternativas Apresentam baixo nível de problemas operacionais ii Os problemas moderadamente estruturados são aqueles que envolvem um ou alguns tomadores de decisão e um relativamente limitado número de alternativas Um exemplo seria o aumento da pressão sobre os gastos com a previdência social devido à bomba demográfica iii Os problemas mal estruturados envolvem muitos diferentes tomadores de decisão cujas utilidades ou valores são desconhecidos ou impossíveis de serem ordenados ranking Com exemplo podemos citar a questão dos tratamentos de saúde e ou acesso a medicamentos decididos por meio de processos judiciais 11 3 POLÍTICA PROGRAMA E PROJETO UM QUADRO GERAL Nesta seção apresentamos um quadro geral evidenciando a importância do município assumir o papel de protagonista na elaboração de políticas programas e projetos Aos municípios para implementar uma gestão eficiente composta pelas etapas de planejamento execução e avaliação são necessários instrumentos de planejamento e de criação eou ampliação das capacidades neles presentes sem desconsiderar a relevância da participação da comunidade local na tomada de decisões 31 O Quadro Geral As administrações municipais são o nível de governo mais próximo dos cidadãos lidam no seu dia a dia com todas as situaçõesproblema que afetam os munícipes Frente a essa realidade os prefeitos têm a oportunidade de influenciar comportamentos sociais buscando soluções que promovam o envolvimento dos munícipes bem como assumindo e atribuindo responsabilidades a todos os níveis da administração municipal a partir do estabelecimento de metas concretas para o desenvolvimento selecionando prioridades apropriadas às necessidades e realidades locais E em um quadro mais amplo incluir em suas metas a promoção de ações nos níveis locais regional e até nacional Os municípios brasileiros encontramse num processo de profundas transformações o que ganhou força com a nova Constituição de 1988 Naquela ocasião foram transferidas para os municípios uma série de competências para moldar o seu desenvolvimento e definir o seu destino PFEIFFER 2000 p 4 Todo o quadro de mudanças ocorridas no final dos anos 1980 e em toda década dos anos 1990 deixa clara a necessidade de planejamento no nível municipal existem demandas voltadas para a elaboração políticas públicas planos e programas Claramente verificase a necessidade do uso de instrumentos de gerenciamento para implementar uma gestão eficiente que envolva as etapas de planejamento execução e avaliação PFEIFFER 2000 p 9 Uma questão presente é que muitas vezes os instrumentos de gestão ou não são plenamente conhecidos ou não há pessoal suficientemente qualificado para aplicalos na administração pública É importante destacar que em termos conceituais em capacidade nas políticas públicas policy capacity compreende uma estrutura que visa identificar competências e habilidades para todo o processo de formulação das políticas públicas WU RAMESH HOWLETT 2015 tradução nossa Pode ser definida como um conjunto de habilidades e competências política operacional e analítica e de três níveis de recursos e capacidades sistêmico organizacional e individual A 12 capacidade referese às condições que o governo possui para cumprir suas obrigações e desenvolver um governo democrático A literatura faz distinção entre políticas planos programas e projetos Os métodos aplicados em análise de política frequentemente são os mesmos usados para análise de programas POISTER 1978 citado por GUESS FARNHAM 2000 Nesse quadro geral devemos recuperar os conceitos de política plano programa e projeto expostos a seguir Política pública public policy Tem relação com orientações para a decisão e ação associadas às decisões políticas e ao processo de construção e atuação dessas decisões As políticas públicas têm como elementos fundamentais a intencionalidade pública e a resolução de um problema público As Políticas Públicas portanto têm o objetivo de dar respostas a demandas específicas da sociedade SILVA 2002 p 18 Temse que na Política a fase de formulação de políticas constitui o estágio em que as propostas ganham forma e estatuto quando são definidos metas objetivos e recursos GRANJA 2010 As políticas transformamse em programas quando é explicitada a estratégia de implementação As políticas públicas tem efeitos sobre o bem estar sobre o uso dos recursos assim como sobre os programas Como exemplo de políticas públicas podemos citar a Política Habitacional a Política Educacional a Política Ambiental a Política de Saúde entre outras Vejamos a seguir as definições de plano programa e projeto Plano é o conjunto de programas que buscam objetivos comuns O plano ordena os objetivos gerais e os desagrega em objetivos específicos que serão os objetivos gerais dos programas O plano organiza as ações programáticas em uma sequência temporal de acordo com a racionalidade técnica e as prioridades de atendimento COHEN FRANCO 2007 p 86 FRIZZONE SILVEIRA 2000 p 452 Alguns exemplos de planos nacionaisfederais Plano Nacional de Educação Plano Nacional de Saneamento Básico Plano Nacional de Cultura Plano de Mobilidade Urbana dentre outros Programa é um conjunto de atividades organizadas para serem realizadas dentro de um cronograma e orçamento específicos disponíveis para a implementação de políticas ou para a criação de condições que permitam o alcance de metas políticas desejáveis ALAHARJA HELGASON 2000 p 8 13 Alguns exemplos de programas nacionaisfederais Programa Mais Médicos Programa Nacional de Fortalecimento da Agricultura Familiar Pronaf Programa Nacional de Imunização Programa Minha Casas Minha Vida dentre outros Projeto É um instrumento de programação para alcançar os objetivos de um programa envolvendo um conjunto de operações limitadas no tempo ou seja o projeto tem uma data de início e uma data para sua conclusão e das suas operações resulta um produto final que contribui para a expansão ou aperfeiçoamento da ação do governo Quando essas operações se realizam de modo contínuo ou permanente são chamadas de atividades GARCIA 1977 p 6 FRIZZONE SILVEIRA 2000 p 452 Os projetos são destinados a solucionar ou melhorar uma situação indesejável isto é um problema que demanda uma solução a partir de uma política pública Desta forma os projetos são elaborados com características específicas pois visam solucionar um determinado problema que tem suas causas e que gera consequências GRANJA 2010 É importante destacar que os métodos aplicados em análise de política frequentemente são os mesmos usados para análise de programas 14 1 Conceitue Política Plano Programa e Projeto apresentando exemplos de cada uma dessas definições e suas relações 2 Com base na importância do conhecimento de seu objeto de estudo faça um levantamento de informações pertinentes ao seu município sobre a história de sua formação suas características geográficas culturais entre outros aspectos relevantes Reconheça como esse histórico se relaciona com os indicadores socioeconômicoculturais de sua cidade Exemplo como evoluiu a população no município nos últimos 30 20 10 5 anos população total população urbana e população rural como evoluiu o PIB municipal como evoluiu a produção agropecuária do município se o município tem plantações de algum produto como evoluiu a produção industrial se há indústrias quantos trabalhadores quais os principais produtos como é a infraestrutura do município número de domicílios com acesso a água tratada esgotos coleta de lixo etc e quais os principais problemas que você identifica como merecedores de serem incluídos em um projeto plano ou programa da prefeitura em sua cidade Pausa para Reflexão 15 4 CONTEXTUALIZAÇÃO E ELABORAÇÃO DE PROJETO NA GESTÃO PÚBLICA Nesta seção iremos discutir um pouco mais sobre a elaboração do projeto para atender às demandas apresentadas à administração pública municipal 41 Contextualização Plano Programa e Projeto As políticas públicas em geral derivam de regras estabelecidas e dependem da legislação para atribuirlhe o poder de aplicação da lei ou seja de execução enforcement As políticas podem ser formuladas para governança institucional ou para prover programas e serviços externos São exemplos de políticas internas política fiscal visando redução de subsídios controle de gastos orçamentários etc As políticas internas podem gerar efeitos externos sobre o bem estar sobre o uso dos recursos sobre outros programas A literatura faz distinção entre políticas programas e projetos E como já dissemos os métodos aplicados em análise de política frequentemente são os mesmos usados para análise de programas POISTER 1978 citado por GUES FARNHAM 2000 Para ilustrar vamos considerar uma política de transportes que pode ser composta pelos seguintes programas Transporte rodoviário Transporte aéreo Transporte fluvial Transporte ferroviário E conter os seguintes projetos específicos Revigorar rodovias revigorar sistemas ferroviários As políticas são analisadas monitoradas e avaliadas pois envolvem o uso de insumos eou recursos públicos alianças estratégias Também são demandados esforços em sua defesa pois mesmo que exista um ambiente favorável a elas existem os grupos cujos interesses podem estar sendo comprometidos pela política estes irão se posicionar como contrários a ela sendo identificados como oponentes A elaboração e avaliação de políticas públicas demanda ainda muitos debates e reflexões uma vez que envolve aspectos técnicos econômicos políticos e principalmente sociais Na FIGURA 3 apresentase uma síntese do processo de análise de políticas públicas 16 FIGURA 3 Processo de Análise de Políticas Públicas Fonte elaborada pelos autores Vimos anteriormente os conceitos de plano programa e projeto neste tópico vamos falar um pouco mais sobre eles com atenção especial à elaboração do projeto na próxima seção 42 Elaboração de Projeto na Administração Pública Um programa é composto de projetos e atividades Um programa pode conter também subprogramas e um projeto pode conter subprojetos como ilustrado na FIGURA 4 No caso de um projeto seus objetivos devem ser definidos claramente e sua duração e tamanho predeterminados Existe uma data de início e uma de término das atividades que definem o projeto como se representa na Figura 4 O projeto constituise em uma unidade administrativa com fins específicos O processo de elaboração e avaliação de projetos envolve um complexo elenco de fatores socioculturais econômicos e políticos No setor público os projetos estratégicos são os que colocam o Estado e a sociedade em um maior nível de bemestar a longo prazo 17 FIGURA 4 Programa e Projeto Fonte Elaborada pelos autores a partir de Granja 2010 Os projetos são destinados a solucionar ou melhorar um problema identificado como originário de uma demanda cuja solução se dará partir de uma política pública Desta forma os projetos são elaborados com características específicas pois estão vinculados a uma determinada situaçãoproblema que tem suas causas e que gera consequências e visam a solução do problema GRANJA 2010 É importante identificar os atores envolvidos para estruturar o projeto e questionarse quanto aqual é o grupo afetado pela situação problema Quais os grupos de interesse envolvidos na situação O público alvo isto é os beneficiários do programa devem ser claramente identificados assim como os stakeholders chave aqueles que são favoráveis e contrários ao projeto A identificação dos grupos de interesse é importante para ação do gestor do projeto para obter apoios e para buscar reduzir a oposição ao projeto por meio do diálogo e das negociações com a participação da sociedade 18 Quem pode elaborar os projetos no município Em geral a prefeitura municipal poderá elaborar seus projetos Também poderá operar com um ou vários parceiros Esses parceiros podem ser da iniciativa privada grupos de interesse organizações não governamentais e as comunidades além de outros GRANJA 2010 Ao estabelecer parcerias conforme alerta Granja 2010 p 18 ao elaborar o projeto o papel de cada parceiro precisa estar claramente definido assim como definidas as responsabilidades de cada um Como dito anteriormente os projetos sempre têm aqueles grupos que os apoiam e outros grupos que se opõem a eles Em geral os projetos públicos surgem como resultado de planos e são muitas as demandas situaçõesproblema apresentadas à administração municipal Não obstante na maioria das vezes os recursos são escassos gerando a necessidade de estabelecer prioridades e hierarquizar projetos Na sua análise devese levar em conta 1 que a seleção de projetos deve sempre ser feita em termos de valor para os stakeholders valor para os contribuintes ou para os eleitores 2 os detentores de interesses indivíduos ou organizações 3 os objetivos dos atores envolvidos como os trabalhadores os empresários a comunidade os conselhos o governo entre outros grupos de interesse Os itens citados não esgotam as alternativas para priorizarmos os projetos e inúmeros critérios podem ser utilizados desde critérios políticos financeiros de viabilidade até critérios com base em um ordenamento do que é mais importante para o gestor ou para a equipe que está definindo os projetos de governo As alternativas devem ser hierarquizadas conforme suas prioridades Fazse uma ordenação dos projetos a partir do que se identifica como mais importante O gestor pode fazer a hierarquização por meio de rodadas de reuniões técnicas ou de rodadas de negociações ou por meio do estudo de viabilidade dos projetos GRANJA 2010 Visando encontrar soluções para as situaçõesproblema no município é necessário buscar informação como por exemplo conhecer os indicadores econômicosociaisculturais como eles evoluíram quais os principais e mais relevantes problemas apresentados pelos munícipes como são as relações urbanas e rurais entre muitas outras Essas informações pode ser encontradas em portais eletrônicos como do IBGE httpscidadesibgegovbr Fundação João Pinheiro httpimrsfjpmggovbr e Data Viva httpwwwdatavivainfopt por exemplo 19 É essencial conhecer e considerar importantes instrumentos de gestão como a lei orgânica do município que auxilia na elaboração de projetos da mesma forma que o plano diretor O planejamento estratégico constituise em outro importante instrumento para a gestão municipal auxiliando na busca de soluções para os problemas já existentes e as novas situaçõesproblema que venham a surgir Também é importante para quem elabora e executa os planos programas e projetos no município conhecer o estatuto das cidades que reúne instrumentos de política urbana GRANJA 2010 Devemos refletir que para solução dos problemas é preciso considerar que suas causas podem ser múltiplas dessa forma o trabalho em conjunto dos diversos setores ou secretarias das prefeituras visará articular os conhecimentos e experiências para responder à situação problema que se deseja resolver ou seja para buscar soluções elaborar programas e projetos é preciso trabalhar de forma intersetorial devido à natureza dos problemas enfrentados pelos gestores municipais Eles envolvem diversas áreas da gestão local Na FIGURA 5 apresentamos as etapas de um programa Concepção ou Formulação Seleção Aprovação ou Execução do Projeto Operação ou implementação do Projeto FIGURA 5 Etapas de um projeto Fonte elaborada pelos autores a partir de Granja 2010 Temos que considerar que os projetos podem ser de vários tipos Granja 2010 p 26 destaca que em geral os projetos podem ser sociais institucionais de investimento e desenvolvimento local e comunitários a Os projetos sociais que são elaborados para o atendimento das demandas de grupos sociais em situação de vulnerabilidade e pobreza b Os projetos institucionais que estão relacionados às instituições financiadas pelas organizações Origens Política Pública Plano de Governo Demanda da sociedade Concepção ou Formulação Planejamento Plano de Ação ou Programa Plano de Ação do Programa Seleção Execução do Projeto Etapa pré operacional Indicadores de andamento Aprovação Final do projeto Atividade Rotina Indicadores de atividade e de resultado Operação 20 c Os projetos de investimento e desenvolvimento local que visam promover o desenvolvimento do município e d Os projetos comunitários que constituem um conjunto de atividades organizadas em ações sequenciais que visam atender as necessidades previamente identificadas pela comunidade A participação dos cidadãos do município na busca de soluções para as situaçõesproblemas é fundamental atribuindo a ele legitimidade e tornase um importante auxílio para fazêlo a avançar e tornarse uma solução viável Também é fundamental a governança de um projeto que se referese ao processo pelo qual os atores sociais se organizam para articular seus interesses como as decisões são tomadas e implementadas GRANJA 2010 p 38 As políticas públicas originárias de uma gestão participativa adquirem maior sustentabilidade para promoção das mudanças desejadas no município uma vez que as ideias resultam de uma visão compartilhada entre os seus cidadãos A participação dos beneficiários é geralmente aceita na literatura e entre os operadores practitioners de programas e projetos como importante e necessária para que os seus objetivos sejam alcançados 21 A intersetorialidade é muito importante nos projetos locais além da participação dos cidadãos em projetos e da avaliação das demandas para o desenvolvimento local Considerando os conteúdos deste capítulo você deve pesquisar no seu município 1 Quantos e quais os conselhos municipais existem no seu município 2 Identifique um desses conselhos municipais escolha um Conselho Municipal para realizar a atividade e pesquise a Quantos são os conselheiros É possível identificar a profissão ou a formação de cada um deles b O Conselho auxilia a prefeitura na identificação das situações problema do município e na busca de soluções c Como o Conselho atua Faz reuniões periódicas d Identifique alguns projetos do município nos quais o Conselho participa ou participou e Como ocorreu esta participação f Quais as principais contribuições do Conselho para o projeto g Os projetos geraram benefícios para o município Quais h Qual a importância do monitoramento e da avaliação dos projetos segundo os conselheiros i Dê a sua opinião sobre a participação de cidadãos em projetos da prefeitura Pausa para Reflexão 22 5 AVALIAÇÃO A avaliação diz respeito a um conjunto de procedimentos de julgamento dos resultados de uma política segundo critérios que expressam valores O monitoramento por sua vez tem o propósito de assegurar a qualidade do programa Uma condição prévia para o desenvolvimento é conseguir maior eficiência econômica na utilização dos recursos Isso tem uma importância especial nos países em desenvolvimento onde os recursos fundamentais são escassos Portanto a avaliação e o monitoramento são essenciais para acompanhamento das ações governamentais Cada setor deve dar prioridade aos planosprogramasprojetos que permitam utilizar os recursos existentes eou indiquem a necessidade de novos recursos de forma mais eficaz e que possam exercer um efeito dinamizador na promoção do desenvolvimento Em qualquer momento do desenvolvimento de uma política e ou programa ou seja na sua formulação implementação finalização é importante verificar seus impactos efetivos efeitos e déficits de impacto Dependendo dos resultados obtidos podese suspender ou até mesmo encerrar o ciclo de uma política e iniciar um novo ciclo ou apenas modificar ou adaptar o programa anterior Considerando o modelo do ciclo político nós os utilizamos para organizar a pesquisa ou o trabalho a ser realizado assim as etapas do modelo não ocorrem necessariamente de acordo com uma ordem hierárquica devendose prestar atenção em novas perspectivas de análise O que é avaliação Carol H Weiss 1972 1998 conceitua a avaliação como uma análise sistemática de uma operação eou resultados de um programa ou política comparado a um conjunto implícito ou explícito de padrões como um meio de contribuir para melhoria do programa ou política Segundo a Organização para Cooperação e Desenvolvimento Econômico OCDE a avaliação referese ao processo de determinação do valor ou importância de uma atividade uma política ou programa Ela é uma análise quão sistemática e objetiva possível de uma intervenção planejada em andamento ou completada ou concluída Segundo Carol H Weiss 1972 1998 a avaliação aplica métodos de pesquisa das ciências sociais tanto quantitativos quanto qualitativos O que distingue a pesquisa avaliativa não é o método ou o assunto mas intenção o propósito para o qual é feita 23 Como qualquer outra pesquisa avaliação tenta a descrever b compreender as relações entre as variáveis c traçar uma sequência causal entre uma variável e outra Usa os mesmos métodos de outras pesquisas para coleta produção de informações entrevistas questionários testes de conhecimento e habilidades inventários de atitudes observação análise de conteúdo de documentos gravações examina evidência física O esquema de coleta de dados a ser usado depende das respostas que serão necessárias para responder às perguntas específicas que a avaliação coloca O desenho clássico para avaliações tem sido o experimento randomizado Vejamos os cinco elementos chave na definição de Weiss 1 Avaliação sistemática Indica a natureza do processo de avaliação quantitativa ou qualitativa conduzida com formalidade e rigor 2 e 3 Definição do foco da investigação Operação ou resultado Processo como o programa é conduzido ie está sendo implementado Algumas avaliações concentramse nos resultados e efeitos do programa para seus beneficiários O que aconteceu foi devido à intervenção 4 Definição dos padrões de comparação Verifica o mérito do programa comparando seus resultados com um conjunto de expectativas Se avaliação de processo ou resultado o elemento de julgamento é o presente Objetivos para o público alvo Objetivos do patrocinador administradorgestor profissionais e outros participantes podem se tornar um critério de avaliação Concluir sobre o mérito do programa ou da política 5 Definição do propósito da avaliação Contribuição para a melhoria do programa e da política 51 Origens e história da disciplina Avaliação Raízes dos estudos empíricos dos problemas sociais aritmética política political arithmetic sec XVII Inglaterra Século XIX 1833 A M Guerry um francês publicou um estudo estatístico em 1833 que tentava mostrar que a educação não reduzia o crime Outros estatísticos com diferentes dados tentaram refutar os achados de Guerry 1844 Jules Depuit outro francês desenvolveu estudos sobre serviços públicos estradas e canais Publicou em 1844 Calcul economic mediu o valor de um canal através de técnicas de cálculo econômico 24 Avaliação como nós conhecemos hoje é mais recente conhecida a partir da história dos programas sociais as políticas anteriores para melhorar a condição social não incluíam a avaliação Século XX Procedimentos de pesquisa em Ciências Sociais Estados Unidos aprovação da lei que proibia o trabalho infantil segunda década do século XX Não foi avaliado o seu resultado presumiase que seu resultado era positivo não foi avaliado o sistema de benefícios para desempregados quando o instituíram em 1935 Trabalhos na área da saúde em 1912 R C Cabot Journal of the American Medical Association avaliação da qualidade dos diagnósticos médicos Trabalhos na área da educação em 1933 estudo patrocinado pela Progressive Education Association dirigido por Ralph Tyler que analisou os resultados de programas em 15 escolas secundárias progressivas e 15 escolas tradicionais Década de 1940 fundações privadas começam a financiar pesquisas avaliativas de programas inovadores Um dos mais famosos foi o programa para jovens trabalhadores de Cambridge Somerville para prevenir a delinquência em bairros suburbanos perto de Boston Na década de 1940 os primeiros resultados foram promissores mas o acompanhamento a longo prazo mostrou que os jovens em risco que receberam serviços de programas mal se saíam tão bem quanto os que não Anos 1950 governo federal americano financia novo currículo no Harvard Project Physics X Rússia lança o satélite Sputnik O governo federal exige que os administradores de cada projeto façam avaliação de seus resultados Definição das políticas públicas como unidade de análise Destaque aos aspectos dinâmicos do policy process e aos diferentes atores estatais e não estatais Interação entre Atores Políticos e Atores não políticos no Processo de Elaboração de Políticas Públicas Meados dos anos 1960 Guerra contra a Pobreza início do financiamento em grande escala da avaliação pelo governo The Elementar and Secondary Education Act of 1965 inclui a avaliação na legislação Senador Robert Kennedy Outros programas no pacote Guerra contra a Pobreza foram avaliados serviços comunitários de saúde treinamento para emprego suplementação nutricional para mulheres e crianças food stamps housing vouchers moradores de vizinhanças pobres deveriam determinar suas próprias prioridades e demandas por serviços etc 25 Os avaliadores desenvolveram novos métodos e ferramentas para analisar os programas Carol Weiss Mesmo período aumenta a análise custobenefício Importantes avanços ocorreram em métodos econômicos de análise A avaliação é adotada por outras áreas Proteção ambiental conservação de energia recrutamento militar controle da imigração Anos 1970 ponto alto da avaliação inauguração de uma série de experimentos sociais para testar novas propostas de políticas e programas antes deles serem aprovados promulgados Centros de pesquisa universitária ampliaram seus estatutos para abranger a avaliação centros especiais foram montados para pesquisa sem fins lucrativos ou com fins lucrativos e organizações de consultoria entraram em cena e estabeleceram uma expansão na área de avaliação 1981 Governo Reagan Cortes de recursos Anos 1980 final 1990 retorna o financiamento para avaliação Algumas Agências prosperam Governo Clinton os programas sociais aumentam Nos EUA governos conservadores e liberais encontraram usos para a avaliação Conservadores ênfase da avaliação sobre o corte de custos dos programas Liberais a ênfase da avaliação se volta para a efetividade dos programas em termos de melhorias nas condições de vida dos beneficiários Em síntese Na literatura de avaliação os métodos quantitativos predominavam e ganha suporte a ideia de que técnicas qualitativas podem dar suporte à legitimação dos trabalhos Logo métodos qualitativos e quantitativos podem dar suporte uns aos outros Voltando ao objeto de estudo temos que avaliação evaluation é a avaliaçãoanálise assessment sistemática e objetiva de um projeto programa ou política em andamento ou concluído seu desenho implementação e resultados O objetivo da avaliação é determinar a relevância e o cumprimento dos objetivos a eficiência do desenvolvimento a eficácia o impacto e a sustentabilidade Uma avaliação deve fornecer informações que sejam confiáveis e úteis permitindo a incorporação de lições aprendidas no processo de tomada de decisão de ambos os beneficiários e financiadores A avaliação também se refere ao processo de determinação do valor ou importância de uma atividade política ou programa 26 52 Tipos de avaliação utilidade aplicações e terminologia A avaliação pode ser classificada como formativa somativa e prospetiva tipologias que são descritas a seguir Avaliação Formativa Analisa a forma que um programa política ou projeto é implementado Examina se ou não a lógica operacional assumida corresponde às operações e identifica as consequências na implementação A avaliação formativa é conduzida durante a fase de implementação de uma política programa ou projeto Também é chamada de avaliação de processo devido ao foco nas operações Um tipo de avaliação formativa é a avaliação de meio termo ou ponto intermediário conduzida na metade do a partir de um período de vida útil de um projeto programa ou mudança na política Visa identificar quais características são bem executadas e quais não são Auxilia a correção de falhas Avaliação Somativa Também chamada avaliação de resultado ou avaliação de impacto É conduzida no final ou em um estágio mais avançado da intervenção visando determinar até que ponto os resultados previstos foram alcançados É utilizada para prover informações sobre o valor e o impacto do programa Inclui avaliações de impacto investigações de custo efetividade quaseexperimentos experimentos randomizados e estudos de caso Qual a diferença entre a avaliação formativa e a avaliação somativa Avaliação Formativa foco no projeto programa implementação da política e sua melhoria correção de falhas aprimoramento Avaliação Somativa foco nos resultados Habilita os gestores para tomada de decisões relativas à continuidade replicação ampliação da escala o encerramento de um dado projeto programa ou política Os dois tipos de avaliação são necessários e usados em diferentes períodos fases do ciclo de um projeto programa ou política Avaliação Prospectiva Avaliar possíveis resultados propostos de projetos programas ou políticas Faz perguntas como Este projeto gera valor Os ganhos valerão o esforço recursos gastos 27 A avaliação prospectiva sintetiza os resultados da avaliação de estudos anteriores para aferir resultados para proposta de novos projetos programas ou políticas Este tipo é chamado avaliação ex ante Utilidade da Avaliação Para ter um impacto na tomada de decisões os resultados da avaliação devem ser percebidos como relevantes e úteis e apresentados de forma clara e concisa Devem refletir totalmente os diferentes interesses e necessidades das muitas partes envolvidas na política programa ou projeto Além disso devem oferecer fácil acessibilidade o que é crucial para a utilidade O próprio processo de avaliação promove uma maior clareza dos objetivos melhora a comunicação aumenta o aprendizado e estabelece as bases para a ação de monitoramento As avaliações devem estar disponíveis em um momento apropriado para o processo de tomada de decisão Isso sugere que a avaliação tem um papel importante a desempenhar em vários estágios durante a execução de um projeto ou programa e não deve ser conduzida apenas como um exercício ex post O monitoramento das atividades em andamento é de responsabilidade do pessoal operacional Prover equipes de avaliação independentes no plano de operação constituem um complemento importante para o monitoramento regular Através da avaliação de fracassos e sucessos são geradas informações valiosas que se realimentadas corretamente podem auxiliar a melhorar futuros programas e projetos de ajuda Os recursos para fins de desenvolvimento são escassos em comparação com as necessidades Devese ser capaz de extrair o máximo possível de experiência para otimizar o uso de recursos Então o que é avaliado Governos empresários ONGs bancos agências de fomento a sociedade em geral têm ou deveriam ter interesse na avaliação de políticas programas e projetos Os programas podem prover vários serviços a um elevado número de pessoas Aplicações das Técnicas de Avaliação As técnicas de avaliação são adaptáveis e podem ser aplicadas a Programas sociais e outras políticas públicas Políticas ambientais Programas de trânsito Projetos florestais Programas de comunicação 28 Projetos militares Em algumas áreas o termo avaliação é substituído por auditoria social performance sistema de revisão etc Termos frequentemente utilizados em avaliação Os termos a seguir são frequentemente utilizados na literatura de avaliação pesquisa qualitativa pesquisa quantitativa experimento grupo de controle contrafactual randomização grupo de tratamento validação indicador pesquisa empírica desenho antesedepois impacto implementação matching monitoramento avaliação de impacto custo de oportunidade avaliação de resultado avaliação de processo quasi experimental preçosombra stakeholders teoria do programa teoria da mudança Quais os tipos de questões são respondidos pela avaliação A principal delas é sobre resultados de políticas programas projetos componentes O foco nos resultados tem permanecido desde o reconhecimento da atividade década de 1930 Os resultados da avaliação são também frequentemente apresentados no idioma inglês sendo outcomes results effects É comum em suas atividades que os avaliadores pesquisadores ou profissionais da área encontrem resultados esperados e resultados não esperados decorrentes de projetos programas ou políticas A Avaliação de Impacto pode ser entendida como resultados gerados no longo prazo ou seja o impacto se refere aos efeitos líquidos de um programa o significado de impacto é um conceito vital em avaliação Qual o período de tempo necessário para avaliar Esta é uma pergunta recorrente então vamos refletir sobre a vida de um projeto plano programa política O foco da avaliação não deve se ater apenas aos resultados do programa mas também ao processo do programa Devese buscar responder as seguintes questões O que o programa atualmente faz É necessário estudar o Processo do Programa Que tipo de serviços os participantes tem recebido Quais os tipos de problemas os implementadores encontram Os participantes estão satisfeitos com o programa Muitas questões chave sobre o programa ocorrem durante sua implementaçãoprocesso A avaliação não deve buscar somente os resultados de curtoprazo mas também os resultados de longoprazo 29 E ainda sobre os usos da avaliação podemos citar A avaliação é útil para auxiliar a alocação de recursos Auxiliar a repensar as causas do problema Identificar novos problemas Apoiar tomada de decisão sobre alternativas competitivas ou melhores alternativas Oferecer suporte ao setor público para reforma e inovação Construir consensos sobre as causas de um problema e como encontrar respostas Empowerment Evaluation Podem ser feitas num contexto de programas para construir capacidades ou programas com foco em ampliar as habilidades dos beneficiários Também podem ser voltados para melhorar a performance das organizações ênfase na aprendizagem de membros ou empregados Em geral tais avaliações analisam a performance organizacional eou performance de um programa que estejam relacionadas Podem ser colaborativas entre membros internos e externos à instituição Empowerment evaluations irão ser conduzidas por meio de métodos de análise participativos Fetterman et al 1996 enfatizam a natureza interna e formativa da maioria das empowerment evaluations Algumas avaliações são realizadas para aprendizagem sobre os programas são chamadas avaliação para o conhecimento Seu propósito é o trabalho de avaliação sobre programas específicos 30 6 MONITORAMENTO De acordo com a OCDE o monitoramento tem a função contínua de coleta dados sobre indicadores especificados para fornecer aos gestores e os principais stakeholders de uma intervenção em andamento informações por meio de indicadores que permitam identificar o progresso para que os objetivos sejam alcançados e o progresso do uso dos recursos alocados OCDE 2002 pp 2728 citado por MORRAIMAS e RIST 2009 p 16 Não devemos confundir o monitoramento com a avaliação As principais características do monitoramento e da avaliação são apresentadas no QUADRO 1 Quadro 1 Características do Monitoramento e Avaliação Monitoramento Avaliação Exame contínuo de processos produtos resultados e impactos Exame discreto de processos produtos qualidade efeitos impactos Não explora em profundidade Explora em profundidade Produz sumários de dados parciais Produz relatórios complexos Usado para subsidiar decisões Pode ou não subsidiar decisões Concentrado em atividades processos e produtos tendo como referência o desenho da política programa ou projeto Não necessariamente tem relação com o desenho da política programa ou projeto Exame contínuo de insumos atividades processos produtos efeitos ou impactos Eficácia eficiência efetividade Plano de ação Plano de atividades Fonte MorraImas e Rist 2009 Avaliação de Políticas Públicas ex ante Na formulação de políticas públicas projetos planos programas é importante a análise de viabilidade das alternativas que forem apresentadas visando solucionar um problema público A análise pode ser De eficiência cálculo dos custos de cada alternativa Construção da matriz de custos De impacto estimativa para cada alternativa A matriz de custos é usada para a tomada de decisão assim como para o monitoramento e para avaliação A avaliação ex ante permite a identificação e caracterização de um problema que demanda intervenção do Estado possibilitando segundo IPEA 2018 31 Estabelecer objetivos claros para a ação governamental Propor um desenho que efetivamente permita alcançálos Buscar considerar ações anteriores por exemplo os incentivos dos agentes envolvidos Estimar os custos e os benefícios esperados mesmo que essa análise possa ser ponderada por fatores de difícil mensuração Apresentar a relação de custobenefício aos tomadores de decisão Transparência para a sociedade Ações que requeremdemandam a análise ex ante IPEA 2018 1 Criação de política pública instituição de política pública que não faça parte da programação governamental vigente ou agregação e desagregação de políticas públicas já existentes não tendo recebido dotação orçamentária anteriormente 2 Expansão de política pública ação que acarrete o aumento no valor da programação orçamentária da renúncia de receitas e de benefícios de natureza financeira e creditícia para ampliar política pública já existente 3 Aperfeiçoamento de política pública alteração no desenho de política pública já existente na programação governamental em execução podendo ou não ocasionar aumento orçamentário Exemplos de aperfeiçoamento de políticas públicas as alterações nos critérios de seleção dos beneficiários nos parâmetros técnicos da política nas definições de prioridade de pagamentos e nos procedimentos de atendimento Outro caso para análise ex ante quando a política passou por uma avaliação ex post e os resultados dessa avaliação mostraram que o desempenho da política foi baixo ou insatisfatório e que há a necessidade de a política ser reformulada em um ou mais dos elementos de seu desenho por exemplo na sua focalização ou nas suas ações Qualquer alteração dos atributos principais das políticas públicas tais como objetivo metas e públicoalvo deveria passar pela análise ex ante A qualidade das informações obtidas e das decisões tomadas na análise ex ante afeta o desenvolvimento do ciclo da política pública afetando o nível de desenvolvimento e a qualidade da política pública executada IPEA 2018 Importante 32 Avaliação de Políticas Públicas de processo Avaliação de Processo também chamada Avaliação Intermediária é bastante comum na prática A avaliação de processo tem como foco a lógica da sua implementação e a consistência desta com os resultados pretendidos medida pela distância entre os resultados pretendidos os procedimentos adotados e os resultados obtidos IPEA 2018 Na execução ou seja na implementação da política pública devese monitorar e avaliar a intervenção para garantir que sejam alcançados os impactos esperados sobre o problema identificado O monitoramento e a avaliação assim como o controle a ser realizados posteriormente devem ser elaborados e planejados antes da implementação da política pública Dessa forma devese definir quais indicadores e ações serão necessários definir os responsáveis e quando e como essas ações serão desenvolvidas Os resultados das análises particularmente da avaliação devem ser divulgados para a sociedade ou para as partes interessadas os stakeholders Avaliação de Políticas Públicas ex post As avaliações ex post podem ocorrer em momentos diferentes da vida das políticas públicas programas ou projetos adquirindo o caráter de Avaliações intermediárias intervenções do tipo atividade ou Avaliações finais efeitos e impactos As características da avaliação de impacto são apresentadas na FIGURA 6 Figura 6 Avaliação de Impacto Fonte elaborada pelos autores 61 Métodos em avaliação Nesta seção faremos uma breve exposição sobre os métodos de avaliação Para maior aprofundamento recomendamos ao estudante Efeito Impacto Impacto Baixo grau de governabilidade do gestor Causalidade Identificação e mensuração Características Método experimental Método quaseexperimental Avaliação 33 consultar as fontes indicadas no final da apostila A avaliação portanto pode ser realizada por meio de métodos quantitativosmétodos qualitativos ou métodos mistos Especialmente quanto à avaliação de impacto há um grande interesse porque ela permite quantificar com rigor científico o efeito que se pode atribuir a uma intervenção específica Aplicada a política pública oferece a oportunidade de conhecer o impacto das ações ou programas Ou como muitos analistas têm afirmado faz parte da formulação de políticas públicas baseadas em evidências Para que serve esse conhecimento 62 Monitoramento e Avaliação de Impacto Todos os projetos devem ter indicadores de desempenho conforme recomenda o Banco Mundial Indicadores medidos antes baseline durante implementação para monitorar e depois de sua finalização São usados para observar desvios em relação às metas e tomar medidas de ajuste O objetivo do monitoramento é medir ou maximizar a eficiência no uso de recursos 621 Tipo de informação indicadores usados no monitoramento São apresentados na literatura quatro tipos de informação fundamentais para a prática de Monitoramento e Avaliação MA 1 Inputs Capital e custos operacionais 2 Outputs sala de aulas construídas ligações sanitárias instaladas número de pontos de luz instalados vacinas administradas etc 3 Outcomes resultados da redução da taxa de crime e violência redução mortalidade infantil 4 Medidas de eficiência input por unidade de output input por unidade de outcome resultado São apresentados na literatura três pilares do uso dos dados de Monitoramento e Avaliação MA Incentivos para coletar e utilizar dados para processo decisório e para a formulação de políticas Regras claras e responsabilização frente aos atores envolvidos stakeholders nos processos de implementação gestão e supervisão Capacidade para coletar e utilizar dados para processo decisório e para a gestão e formulação de políticas Temos que considerar que é possível realizar uma Avaliação Operacional ou uma Avaliação de Impacto A Avaliação Operacional tem o objetivo de 34 Assegurar a implementação efetiva de um programa de acordo com seus objetivos iniciais Em geral é executado o MA em todas as etapas do projeto de implementação Já a Avaliação de Impacto tem o objetivo de Compreender se as mudanças no bemestar são devido ao projeto ou ao programa de intervenção No entanto não é imperativa sua realização em todas as etapas do projeto ou programa A avaliação de impacto requer disponibilidade e qualidade dos dados para sua realização 622 Avaliação de impacto Quantitativa x Qualitativa As metodologias quantitativas são amplamente utilizadas em avaliações de impacto As metodologias qualitativas também são utilizadas em avaliações de impacto Informações qualitativas como a compreensão do contexto sociocultural e institucional e informações sobre os participantes do programa podem ajudar a identificar mecanismos através dos quais os programas possam estar gerando impacto Surveys podem auxiliar a identificação de policy makers ou indivíduos que podem ser importantes para determinar o curso dos programas como são implementados contribuindo também para avaliação operacional A Avaliação quantitativa é importante pelo seu potencial estatístico em programas de impacto O uso conjunto de metodologias qualitativas e quantitativas mixedmethods approach pode resultar em um ganho analítico para compreensão da efetividade dos programas No entanto uma avaliação qualitativa por si só não pode gerar resultados para AVALIAR alternativas ou resultados contrafactuais relevantes Então podemos perguntar o que é avaliação de impacto A avaliação do impacto é a identificação sistemática dos efeitos positivos ou negativos intencionais ou não nos lares instituições e ambiente causados por uma determinada atividade de desenvolvimento tal como um programa ou projeto A avaliação do impacto ajuda a compreender melhor em que medida as atividades atingem os beneficiários e qual a magnitude dos seus efeitos no bem estar das pessoas Portanto as avaliações de impacto podem ir de levantamentos de amostragens de grande escala em que se comparam populações do projeto programa política e grupos de controle antes e depois e eventualmente em várias ocasiões durante a intervenção do programa há uma avaliação 35 rápida de pequena escala e as apreciações participativas onde as estimativas do impacto são obtidas pela combinação das entrevistas aos grupos informantes essenciais estudos de casos e dados secundários existentes Para que fim a avaliação de impacto pode ser usada Para medir os resultados e impactos de uma atividade e saber distinguilos da influência de outros fatores externos Ajudar a verificar se os custos de uma atividade se justificam Informar fundamentar decisões quanto à expansão modificação ou eliminação de projetos programas ou políticas Obter ensinamentos aprendizagem para melhorar a concepção e gestão de atividades futuras Comparar a eficácia de intervenções alternativas e aumentar o grau de responsabilização pelos resultados 63 Métodos de avaliação de impacto Desenho experimental considerado o melhor processo usa alocação aleatória da intervenção que serve como contrafactual perfeito ex Programas sociais Os Desenhos quaseexperimentais requerem que o contrafactual seja estimado usando métodos econométricos e o grupo controle pode ser selecionado Também pode ser usado para fazer avaliação ex post de programas se os dados apropriados estão disponíveis A avaliação de impacto objetiva quantificar relações causais entre as ações do projeto e os indicadores de interesse As relações causais são as relações de causa e efeito importante correlação não implica necessariamente em causalidade Ter tido impacto causal significa dizer que na ausência do projeto as alterações observadas nos indicadores de interesse não teriam acontecido A avaliação de impacto nos permitirá concluir se foi de fato o projeto o responsável pelas alterações observadas nos indicadores de interesse A avaliação também nos permite estudar se programa está causando algum impacto não pensado inicialmente resultados inesperados não planejados A avaliação de impacto determina se o programa teve os efeitos desejados efetividade sobre os indivíduos domicílios e instituições e se esses efeitos podem ser atribuídos à intervenção do programa ex impactos no acesso resultados na saúde Identificam Causalidades Isso requer estimar o contrafactual o que poderia ter acontecido se o projeto não tivesse sido desenvolvido Isso é feito através de grupos de controle ou grupo de comparação aqueles que não participam do programa Um problema em avaliação de programas é construir o contrafactual do grupo tratado pelo programa 36 Na forma mais simples de apresentar o problema podemos pensar que qualquer indivíduo está sempre em uma de duas situações mutuamente excludentes ter sido ou não ter sido tratado O melhor grupo de comparação para os indivíduos tratados seria formado pelos mesmos indivíduos na situação em que eles não fossem tratados Mas dado que essas situações são mutuamente excludentes é impossível observar este grupo O desafio do avaliador é encontrar um grupo de indivíduos que represente adequadamente a situação de não tratamento ou seja um grupo que funcione como um bom contrafactual do grupo tratado grupo de tratamento chamado de grupo de controle Por que necessitamos avaliação de impacto Necessitamos delas por razões econômicas sociais e políticas Razões econômicas Fortalece desenho e efetividade do programa avaliado Comparar impacto de programas leva o governo a direcionar fundos para programas mais efetivos Razões sociais Aumenta a responsabilização Razões políticas Credibilidaderuptura com práticas deficientes As avaliações de impacto possuem vantagens e desvantagens Sendo VANTAGENS Fornece estimativas da magnitude dos resultados e impactos para os diferentes grupos demográficos regiões ou ao longo do tempo Oferece respostas a algumas das questões mais centrais do desenvolvimento em que medida estamos fazendo a diferença Quais são os resultados no local área Como podemos fazer melhor A análise sistemática e o rigor podem dar aos gestores e aos responsáveis pela adoção de políticas uma maior confiança na tomada de decisões DESVANTAGENS Algumas abordagens são muito caras e morosas embora também se usem metodologias mais rápidas e econômicas Utilidade reduzida quando os tomadores de decisão precisam de informações rápidas Dificuldades em identificar medidas compensatórias adequadas 37 7 O CONTEXTO DA AVALIAÇÃO E A TEORIA DO PROGRAMA Nesta seção serão apresentados e discutidos o planejamento da avaliação e construção da teoria e o Modelo Lógico The Logical Framework for Program Como já sabemos a avaliação é um processo no qual se combinam evidências e valores explícitos critérios e padrões para chegar a julgamentos globais a respeito da qualidade de um determinado objeto A avaliação pode ser empregada para responder a diversas perguntas como Estamos fazendo as coisas corretas adequação recursos Estamos fazendo corretamente as coisas eficácia eficiência recursos Estamos fazendo as coisas corretas na medida suficiente cobertura eficácia Para encontrar respostas para estas questões precisamos pensar em diferentes tipos de avaliação para diferentes estágios do ciclo do Programa ou da Política No QUADRO 2 vamos apresentar os diferentes tipos de avaliação em diferentes etapas do ciclo do programa ou da política 38 QUADRO 2 Diferentes tipos de avaliação em diferentes etapas do ciclo do programa ou política Etapa Perguntas de avaliação Tipos de avaliação Início do planejamento O que é precisonecessário Quais são as necessidades não atendidas Quais são os pontos fortes e as oportunidades que podemos alavancar O que devemos abordar Quais as prioridades a serem abordadas O que está alinhado com nossa missão e nossas capacidades Análise das necessidades análise situacional Delineamento da intervenção Como deverá ser realizado Teorias de mudança Implementação Como está o andamento Como melhorar à medida que avançamos Avaliação do processo melhoria do desempenho A implementação está sendo feita de acordo com as especificações Controle de qualidade Finalização e futuro Funcionou deu certo Para quem de que maneiras e como funcionou Como pode ser melhorado da próxima vez Resultadoavaliação do impacto Valeu o que foi empregado em termos de recursos A intervenção foi custoefetiva comparada às alternativas Qual foi a relação custobenefício Avaliação econômica Quem foi o maior beneficiário Quem pagou quais custos Avaliação baseada nos recursos Etapa Perguntas de avaliação Análise das Necessidades O que é preciso Quais são as necessidades não atendidas Desenho da intervenção Qual a melhor maneira de desenhar a intervenção Monitoramento Como está indo o processo relatórios regulares Avaliação do processo Como está indo pesquisas periódicas A implementação está evoluindo de acordo com o planejado O que foi feito em um programa inovador Avaliação de resultados e impactos Que mudanças ocorreram Para quem Avaliação econômica A intervenção foi custoefetiva comparada às alternativas Qual foi a relação custobenefício Fonte Rogers 2015 39 71 O papel da Teoria do Programa A Teoria do Programa é desenvolvida para que possamos conhecer o Programa para fazer recomendações válidas policymakers e diretores de programas esperam bons dados da avaliação mas frequentemente esperam mais como o que fazer depois qual o próximo passo Para emitir relatórios é necessário especificar o que o projeto é ou foi como funcionou o que foi realizado pelo projeto e o que não foi Osas avaliadores as devem compreender amplamente a área do planejamento e as especificidades do programa ou projeto que analisam WEISS 1998 A Teoria do Programa é uma teoria explícita ou um modelo de como uma intervenção tal como um projeto um programa uma estratégia uma iniciativa ou uma política contribui para uma cadeia de resultados intermediários e finalmente para os resultados desejados ou observados FUNNELL ROGERS 2011 A Teoria do Programa pode ser vista como um arcabouço de conhecimento que fundamenta organiza categoriza descreve e explica como compreender o funcionamento dos programas isto é a maneira pela qual as intervenções estão desenhadas e pretendem atingir os objetivos pretendidos WEISS 1999 citada por MOREIRA SILVEIRA 2016 Os estudiosos advogam que os avaliadores necessitam entender as premissas teóricas em que o programa se baseia ou seja como se acredita que as ações conduzam aos resultados para os futuros beneficiários WEISS 1999 citada por MOREIRA SILVEIRA 2016 A Teoria do Programa possui duas componentes a Teoria da Mudança e a Teoria da Ação A Teoria da Mudança relacionase ao processo central guiado pelo que se intenta mudar pode estar relacionado aos indivíduos grupos ou comunidades Por exemplo Processo social processo psicológico processo econômico A Teoria da Mudança pode ser compreendida a partir de um processo formal baseado em pesquisa teórica ou uma compreensão implícita e tácita sobre como as coisas funcionam Como por exemplo a teoria da mudança subjacente a alguns programas de promoção da saúde é que as mudanças nas normas sociais percebidas levam a mudanças de comportamento A Teoria da Ação explica como os programas ou outras intervenções são construídos para ativar a teoria da mudança Os programas de saúde por exemplo podem usar mentoresorientadores agentes de saúde colegas anúncios com resultados de pesquisas ou outra estratégia para mudar percepções de normas sociais De acordo com Patton a Teoria da Mudança e a Teoria da Ação são modelos explicativos e preditivos A diferença entre a teoria da mudança e 40 a teoria da ação é que a primeira se baseia em pesquisa e orientação acadêmica enquanto a teoria da ação é derivada da prática e baseada na prática A Teoria do Programa em um processo de avaliação contribui para que ele seja facilitado e mais útil se baseado em um planejamento consistente capaz de estabelecer relações causais cadeia de causalidade São os seguintes os benefícios da Teoria do Programa que podemos apresentar Ela pode promover ou facilitar acordos entre os diversos stakeholders sobre o que eles tentam fazer e como ou identificar onde as perspectivas são legitimamente diferentes Ela pode auxiliar a identificar gaps e oportunidade de colaboração entre parceiros Pode auxiliar a estabelecer objetivos realistas Dar suporte para o desenvolvimento de indicadores de desempenho significativos para acompanhar e reportar os progressos realizados Auxilia a identificar onde e o porquê do fracasso se os programas estão falhando ou o que faz com que os programas bem sucedidos funcionem e como eles podem ser reproduzidos ou adaptados em outro lugar Ela pode fornecer uma estrutura para reunir informações de muitos sites muitos projetos ou muitas avaliações de modo que seja possível aprender com o passado para melhorar o futuro A Teoria do programa é representada das seguintes formas a Cadeia de Resultados o Marco Lógico a Hierarquia dos Resultados e a Matriz Realista ROGERS 2015 Sinteticamente apresentamos cada uma delas a saber A Cadeia de Resultados A cadeia de resultados é uma forma comum que representa a intervenção em termos de insumos inputs processos produtos outputs programas treinamentos workshops resultados outcomes transferência de conhecimento mudanças de comportamento e impactos O Marco Lógico A cadeia causal é uma forma particular da abordagem de marco lógico e amplamente usada na cooperação internacional A versão clássica tem quatro componentes na cadeia causal atividades resultados propósitos e metas e para cada um deles estabelece uma descrição narrativa indicadores objetivamente verificáveis meios de verificação e pressupostos A Hierarquia de Resultados Hierarquia de resultados algumas vezes conhecida como cadeia de resultados ou teoria de mudança A teoria do programa é representada como uma série de desfechos do 41 começo ao fim As atividades não precisam ser apresentadas logo no início podendo ser definidas em qualquer ponto da cadeia causal A Matriz Realista Uma matriz realista focaliza um dos processos causais de cada vez e articula o entendimento de como esse processo irá funcionar diferentemente em diferentes contextos Um diagrama para a teoria de mudança usando o formato de hierarquia de resultados incluindo vários movimentos iterativos importantes de feedback 72 Teoria do Programa Programas Sociais Programas sociais são complexos Diferentemente daqueles que podem ser cujos resultados físicos são vistos palpáveis e replicáveis Os programas sociais incorporam muitos componentes estilos pessoas procedimentos etc e pode ser difícil descrever o que o programa realmente é Alguns programas podem ser expressos claramente como por exemplo Programa de saúde da mulher mamografia prevenção do câncer de mama Programa de redução de velocidade nas rodovias redução de acidentes Programa de renda seguro desemprego Estes programas são considerados replicáveis palpáveis e mensuráveis Diferentemente dos anteriores um Programa de melhoria do ensino de matemática com proposta de um novo currículo depende de outros fatores e dificuldades como por exemplo os professores podem implementálo de diferentes formas A Teoria do Programa compreendida como mecanismo de mudança pode ser considerada como uma Teoria da Implementação das Atividades do programa que foi incorporada à primeira Dessa forma cada estágio de uma atividade assume uma resposta apropriada dos participantes e as respostas dos participantes são condições para o próximo estágio do programa A Teoria do Programa Mecanismos de Mudança apresenta grande vantagem de compreender a teoria da mudança do programa é que ela pode fornecer as bases para a avaliação Se o que se espera ocorreu como esperado a avaliação pode mostrar como o programa analisado atingiu suas metas A Teoria do Programa ajuda os avaliadores a identificar os problemas de uma intervenção desenvolver ou escolher medidas apropriadas monitorar a implementação A grande vantagem de compreender a teoria da mudança do programa é que ela pode fornecer as bases para a avaliação Se o que se espera ocorreu como esperado a avaliação pode mostrar como o programa analisado atingiu suas metas 42 A Teoria do Programa ajuda os avaliadores a identificar os problemas de uma intervenção desenvolver ou escolher medidas apropriadas monitorar a implementação LIPSEY 1993 citado por MUNTER et al 2016 73 A Metodologia do Marco Lógico A Metodologia do Marco Lógico MML do inglês Logical Framework Approach LFA emergiu numa conjuntura que vislumbrava o aprimoramento tanto da gerência quanto do planejamento de projetos internacionais Durante os anos 1960 a Agência Americana para o Desenvolvimento InternacionalUnited States Agency for International Development USAID averiguou que os projetos de cooperação internacional tinham dificuldades em apresentar a efetividade de suas iniciativas PFEIFFER 2000 Abordagem concebida pela USAID Adotada em um formato modificado por várias agências Alemanha GTZ Reino Unido ODA Canadá CIDA Noruega NORAD Utilizada para desenhar preparar implementar monitorar e avaliar planos programas e projetos pois permite avaliação de projetos no que diz respeito à eficiência eficácia e relevância JACKSON 1998 apud PAVARINA 2003 O principal produto é a Matriz de Estrutura Lógica MEL ou Logical Framework Matrix ou LogFrame cuja principal vantagem é possibilitar estruturar o projeto deixando claro quais os passos a serem seguidos A lógica do desenho do projeto é apresentada por um conjunto de saídas em linhas segundo uma hierarquia vertical Um modelo lógico é uma representação visual de como se espera que um projeto ou programa funcione e alcance seus objetivos Bamberguer et al 2006 oferecem a seguinte definição para Marco Lógico Modelo Lógico é a teoria ou modelo que mostra como se espera que o programa leve aos resultados observados ou desejados A teoria de um programa identifica recursos atividades e resultados e especifica uma cadeiacausal de hipóteses ligando os recursos de um programa às atividades produtos intermediários e objetivos finais Outras definições são O marco lógico deve nos servir para pensar de forma mais analítica sobre causa e efeito do programa identificar relações entre componentes do programa considerar relações internas Clarificar os objetivos e metas de longo prazo do programa 43 Identificar os principais indicadores para MA Identificar as principais premissas que fundamentam o programa Desenvolver nossas perguntas para avaliação Visualizar um programa dentro do contexto considerar fatores no ambiente socialfísico que são externos ao programa mas podem influenciar os resultados do programa O Marco Lógico estabelece uma coerência lógica validade interna para as ações do programa Um programa será tão mais bem sucedido quanto mais claro for seu marco lógico e sua forma de atuação A presença do marco lógico facilita também o trabalho de avaliação 731 A Matriz de Estrutura Lógica O Marco Lógico apresenta os aspectos mais importantes do projeto É estruturado numa matriz de quatro por quatro sendo As colunas fornecem o resumo narrativo dos objetivos e das atividades os indicadores resultados específicos a alcançar os meios de verificação e as hipóteses ou supostos fatores externos que implicam riscos BID 1997 As quatro linhas apresentam informação acerca dos objetivos indicadores meios de verificação e hipóteses em quatro momentos diferentes da vida do projeto Sendo elas finalidade propósito componentes resultados e atividades O diferencial da matriz é a possibilidade de estruturação clara do projeto para todos os envolvidos bem como quais passos devem ser seguidos e a definição e compreensão dos itens que contribuíram para o êxito do projeto PAVARINA 2003 Sintetizando algumas definições temos A Teoria do programa constitui em uma teoria explícita de como uma intervenção contribui para os resultados pretendidos ou observados que tem dois componentes Teoria da mudança O processo pelo qual a mudança acontece por um indivíduo organização ou comunidade Teoria da ação Como a intervenção é construída para ativar a teoria da mudança O Modelo lógico é uma representação visual de uma teoria de programa geralmente em um diagrama mas às vezes em uma tabela Avaliação de teoria de programa Uma avaliação que é pelo menos parcialmente guiada por uma teoria de programa explícita Não é necessariamente dirigido pela teoria uma vez que deve ser conduzido pela sua finalidade e pelas necessidades de seus usuários previstos 44 No QUADRO 3 apresentamos a estrutura básica do Marco Lógico ou Matriz Lógica QUADRO 3 Estrutura Básica do Marco Lógico Matriz Lógica RESUMO NARRATIVO INDICADORES MEIOS DE VERIFICAÇÃO SUPOSTOS FIM O Fim é uma definição de como o projeto ou programa contribuirá na solução do problema ou problemas do setor Os indicadores em nível de Fim medem o impacto geral que terá o projeto São específicos em termos de quantidade qualidade e tempo grupo social e lugar caso seja relevante Os meios de verificação são as fontes de informações que se podem utilizar para verificar que os objetivos foram atingidos Podem incluir material publicado inspeção visual pesquisa por amostras etc Os supostos indicam os acontecimentos condições ou decisões importantes e necessárias à sustentabilidade dos benefícios gerados pelo projeto PROPÓSITO O Propósito é o impacto direto a ser obtido como resultado da utilização dos Componentes produzidos pelo projeto É uma hipótese sobre o impacto ou benefício que se deseja obter Os indicadores em nível de Propósito descrevem o impacto obtido ao final do projeto Devem incluir metas que reflitam a situação ao termo do projeto Cada indicador especifica quantidade qualidade e tempo para que os resultados sejam alcançados Os meios de verificação são as fontes que o executor e o avaliador podem consultar para ver se os objetivos estão sendo obtidos Podem indicar que existe um problema e sugerem a necessidade de mudanças nos componentes do projeto Podem incluir material publicado inspeção visual pesquisas por amostras etc Os supostos indicam os acontecimentos as condições ou as decisões que têm de ocorrer para que o projeto contribua significativamente à consecução do Fim COMPONENTES Os Componentes são as obras serviços e capacitação que se requer que complete o executor do projeto de acordo o contrato Devem expressar se o trabalho foi concluído sistemas instalados pessoal capacitado etc Os indicadores dos Componentes são descrições breves porém claras de cada um dos Componentes que tem que concluir se durante a execução Cada um deve especificar quantidade qualidade e oportunidade das obras serviços etc que deverão ser entregues Esta caixa indica onde o avaliador pode encontrar as fontes de informação para verificar que os resultados encontrados efetivamente tenham sido produzidos As fontes podem incluir inspeção de terreno informes do auditor etc Os supostos são os acontecimentos as condições ou as decisões que têm de ocorrer para que os componentes do projeto atinjam o Propósito para o qual foram realizados ATIVIDADES As Atividades são as tarefas que o executor deve cumprir para completar cada um dos componentes do projeto e que implicam custos Faz se uma listagem de atividades em ordem cronológica para cada Componente Esta caixa contém o orçamento para cada Componente a ser produzido pelo projeto Esta caixa indica onde um avaliador pode obter informação para verificar se o orçamento foi gasto como estava planejado Normalmente constitui o registro contábil da unidade executora Os supostos são os acontecimentos condicionantes e decisões fora do controle do gerente do projeto que têm que acontecer para completar os Componentes do projeto Fonte Reis 2013 45 8 MODELO LÓGICO Os modelos lógicos nos ajudam a planejar implementar avaliar e comunicar mais efetivamente aquilo que se deseja alcançar com um projeto plano ou programa relacionado a uma política pública Amplamente divulgados e aplicados os modelos lógicos surgiram na década de 1970 A primeira publicação que usou o termo modelo lógico foi a Evaluation Promise and Performance de Joseph S Wholey 1979 A partir de então a ferramenta chamada Hierarquia de Bennett que tem sido recorrentemente usada por profissionais de extensão para planejamento e avaliação divulgada na obra The Seven Levels of Evidence 1976 é uma precursora do modelo lógico atual TAYLORPOWELL HENERT 2008 A Hierarquia de Bennett é um tipo de modelo lógico feito sob medida para programas que fornecem informações ou educação Muitos avaliadores estão familiarizados com o modelo lógico da Kellogg que contém boxes para entradas atividades saídas e resultados de curto médio e longo prazos A Hierarquia de Bennett fornece terminologia mais especializada para programas educacionais ONKKA 2018 Vemos portanto que o pensamento do modelo lógico está presente em muitos lugares setor privado setor público setor sem fins lucrativos área internacional e campo de avaliação TAYLORPOWELL HENERT 2008 Os avaliadores têm desempenhado um papel proeminente no uso e desenvolvimento do modelo lógico O que pode ter levado a se identificar o modelo lógico como estrutura de avaliação De fato entre os pesquisadores e praticantes da avaliação as origens do modelo lógico remontam a Suchman 1967 e Weiss 1972 Sendo as primeiras influências atribuídas à hierarquia de evidências de Bennett 1976 e às técnicas de avaliabilidade de Wholey 1979 desenvolvidas para determinar se um programa está pronto para avaliação Os avaliadores vinham sendo solicitados a avaliar o impacto e descobrindo que as metas e objetivos eram vagos constatar que os programas não existiam ou não estavam sendo implementados de forma a alcançar os resultados esperados e buscar novas abordagens para medir a causalidade Bickman 1987 Chen 1990 avaliação baseada em teoria e Weiss 1997 avaliação baseada em teoria O desenvolvimento e uso de conceitos de modelos lógicos por avaliadores continua a resultar em uma ampla gama de aplicações teóricas e práticas TAYLORPOWELL HENERT 2008 p 2 Devido ao seu reconhecimento e aplicabilidade existem muitas variações e tipos de modelos lógicos desenvolvidos por pesquisadores e instituições 46 81 Desenvolvendo o Modelo Lógico O modelo lógico nada mais é do que uma representação de um programa mostrando o que o programa fará e o que deverá realizar Elabora se uma série de relações seentão que se implementadas e conduzidas como planejado levará aos outcomes pretendidos Focalizase dessa forma o centro core do planejamento e da avaliação do programa Os modelos lógicos são genericamente chamados de Teoria da Mudança Programa de ação Modelo de Mudança Mapa Conceitual Mapa de Resultados Programa Lógico Marco Lógico Por isso é necessário compreendermos claramente o que é modelo lógico 811 Modelo Lógico x Teoria da Mudança Pode parecer óbvio mas é bom informar que o critério para o modelo lógico é que ele é lógico ou seja descreve uma razoável e defensável ordem sequencial dos insumos por meio de atividades para produtos resultados e impactos Os modelos lógicos são descritivos Por sua vez Modelos de Teoria da Mudança e Teoria da Ação são explicativos e preditivos A Teoria da Mudança é mais baseada em pesquisa voltada para estudos enquanto a Teoria da Ação é derivada da prática e baseada na prática PATTON 2002 Os resultados de um modelo lógico ou exercício da teoriadaação podem fazer uma dramática diferença sobre como as pessoas compreendem um programa PATTON 2002 E têm implicações sobre como o programa é implementado e como os resultados foram mensurados revelando a importância do programa A teoria adotada é aquela em que as pessoas dizem o que elas fazem elas são a versão oficial sobre como o programa ou organização opera A Teoriaemuso é o que realmente acontece Chris Agyris 1982 citada por PATTON 2002 Por que da divulgação dos modelos lógicos e quais os seus benefícios Podemos enumerar os seguintes benefícios Foco e contabiliza o que importa RESULTADOS Usa linguagem comum Faz suposições EXPLÍCITAS Apoia a melhoria contínua Permite e facilita comunicações Os modelos lógicos são uma forma de pensar o programa ou a política em busca da solução para a situação problema São apresentados os supostos ou pressuposições que representam as crenças sobre o programa os participantes e como o programa irá funcionar 47 O modelo lógico inclui ideias sobre por exemplo O problema ou situação existente Operações do programa Resultados e benefícios esperados Os participantes e como eles aprendem se comportam suas motivações Os recursos físicos e financeiros Os funcionários ou atores envolvidos O ambiente externo tenta captar quais as possíveis influências favoráveis e desfavoráveis sobre o que se propõe a realizar ou está sendo realizado Base de conhecimentos visa identificar quais os conhecimentos sobre a situação com a qual se pretende lidar Para desenvolver o modelo lógico estabelecese as chamadas relações SeEntão Ou seja associada a um modelo lógico é uma série de relações se então que expressam a teoria da mudança do programa como ilustrado na FIGURA 7 FIGURA 7 Relações SeEntão Fonte elaborada pelos autores Por meio das cadeia lógica de conexões que se estabelecem temse a representação do que o progrma deve realizar desde os investimentos necessários para sua operacionalização as atividades e quem participa eou as executa e os resultados esperados no curto prazo médio e longo prazos Na FIGURA 8 é apresentada a cadeia lógica de conexões mostrando o que o programa deve realizar FIGURA 8Cadeia lógica de conexões do programa Fonte Elaborada pelos autores a partir de MorraImas e Rist 2009 e World Bank 48 A partir da identificação das relações seentão podese visualizar os encadeamentos necessários para realização das ações que levem ao resultado desejado No entanto podese indagar como as atividades levarão aos resultados desejados Uma série de relações seentão poderá ser estabelecida a partir da situação problema que se busca solucionar e da apresentação de proposta de programa Vamos ilustrar a partir do exemplo de um programa de tutoria para crianças com dificuldades de aprendizagem em literatura e matemática As escolas e seus parceiros propõemse a realizar um programa de tutoria em literatura e matemática para crianças do ensino fundamental O programa de tutoria deve ser desenvolvido e entregue em escolas de ensino fundamental A cadeia lógica do programa de tutoria pode ser representada conforme a FIGURA 9 As setas e os ciclos de feedback na FIGURA 9 mostram as ligações entre os insumos os produtos e os resultados As setas descrevem as conexões causais subjacentes Um problema comum é que as atividades e estratégias frequentemente não conduzem aos resultados desejados Verifique suas declarações seentão e certifiquese de que fazem sentido e levam aos resultados que se deseja alcançar Um modelo lógico torna as conexões EXPLÍCITAS FIGURA 9 Exemplo de um Programa de Tutoria para Crianças com Dificuldades Acadêmicas Fonte Elaborada pelos autores a partir de MorraImas e Rist 2009 e World Bank Podese verificar que um ponto crítico para estabelecer uma cadeia causal está relacionado à identificação correta do problema público ou seja identificar com clareza a situaçãoproblema que se quer solucionar 49 O Primeiro passo crítico no desenvolvimento do modelo lógico é a definição da situação problema Para tanto é necessário buscar respostas para questões do tipo a Que condição problemática existe que exige uma resposta programática b Por que existe c Para quem existe d Quem tem uma participação no problema e O que pode ser mudado Observamos que se o quadro incorretamente entendido e diagnosticado tudo o que vier a partir dele será errado Existem fatores que afetam os problemas fatores socioeconômicos fatores ambientais fatores de proteção fatores de risco fatores políticos entre outros É importante rever a pesquisa as informações sobre a situação problema a evidência a base de conhecimento Existem outros fatores que são as chamadas armadilhas Supondo que sabemos causa elegemos sintomas x causas Como é um modelo lógico Em geral ele é uma exibição gráfica de caixas e setas podendo ser apresentado vertical ou horizontalmente Apresenta relacionamentos ligações e qualquer formato é possível podendo ser circular dinâmico Considerando o nível de detalhe o modelo ode ser simples ou complexo Existem representações em múltiplos modelos programas de vários níveis e programas multicomponentes FIGURA 10 50 FIGURA 10 Formas de Modelos Lógicos Fonte Elaborada pelos autores Podem ser necessários vários modelos para descrever e explicar sistemas ou iniciativas complexas É necessário trazer coerência em toda a organização Tendose ainda Modelo Multinível uma maneira de descrever e relacionar as atividades em uma organização para descrever níveis variáveis como níveis de estadoconselho nacional OU níveis de unidade de divisão de instituição Programas multicomponentes uma série de modelos para descrever vários componentes metas sites populaçõesalvo dentro de uma iniciativa abrangente 51 82 Roteiro sugerido para elaboração da Matriz Lógica4 Este roteiro se refere ao caso de ensino Gestão Pública e propostas alternativas para o ICMS Ecológico Um Caso para Ensino de aplicação da Matriz Lógica cuja autoria é de Suely de F Ramos Silveira Vagner Arantes e Alexandre Matos Drumond 821 A Situação Inicial João Carlos Guimarães tem 35 anos de idade e há 10 anos trabalha no Instituto Estadual de Florestas de Minas Gerais IEFMG Ao final da graduação em Engenharia Florestal ele passou no concurso para o IEF para atuar na Gerência de Unidades de Conservação que está subordinado a Diretoria de Áreas Protegidas Após 5 anos da contratação João Carlos realizou uma pósgraduação em Gestão Ambiental para aperfeiçoar seu conhecimento sobre a gestão de recursos naturais visto que poderia auxiliá lo no desenvolvimento de suas funções Ao término da pósgraduação aliado ao tempo de carreira dedicado à gerência e seu desempenho no exercício das atividades do cargo João Carlos foi convidado a assumiu a Diretoria de Áreas Protegidas Esta diretoria é responsável por controlar e registrar as áreas de proteção ambiental em Minas Gerais formadas pelas Unidades de Conservação UC sejam elas federal estadual municipal ou privada O controle sobre a qualidade e conservação destas unidades também são responsabilidade desta diretoria Estas atividades estão interligadas à distribuição do ICMS Ecológico que é o repasse de recursos do ICMS aos municípios que possuem unidades de conservação em seu território Ao assumir a diretoria João Carlos foi convidado a participar de um grupo de discussão sobre os critérios para repasse da ICMS Ecológico aos municípios Este grupo foi formado por deputados estaduais representantes da Fundação Estadual de Meio Ambiente FEAM Fundação João Pinheiro FJP Secretaria de Estado de Meio Ambiente e Desenvolvimento Sustentável SEMAD e representantes dos municípios que recebem repasses do ICMS Ecológico Os representantes dos municípios questionavam os critérios instituídos para repasse de recursos uma vez que o percentual destinado pela Lei nº 12040 de 1995 era de 1 e não havia sido alterado até 2010 Destacase 4 Nota Explicativa Para a elaboração deste caso para ensino foram utilizados nomes fictícios para representar os personagens com fins didáticos Assim como a existência do grupo de discussão sobre o ICMS Ecológico Por outro lado os valores de arrecadação e repasse do ICMS e ICMS Ecológico os municípios recebedores a legislação e as pesquisas citadas condizem com a realidade e são apresentados como fatos 52 que a parcela destinada ao repasse tendo como base as unidades de conservação representava metade deste percentual sem sofrer qualquer alteração no decorrer deste período Além disso o número de municípios que passaram a receber recursos do ICMS Ecológico também demonstrou trajetória crescente como apresentado na FIGURA 11 FIGURA 11 Número de municípios beneficiados pelo ICMS Ecológico Fonte Adaptado FJP 2012 Em contraposição ao argumento dos representantes Gabriel Machado que é membro do Centro de Estatística e Informações da FJP órgão responsável por calcular o indicador de meio ambiente dos municípios indicava que mesmo com o aumento do número de municípios os valores repassados também haviam crescido Assim Gabriel Machado apresentou a TABELA 1 ao grupo de discussão TABELA 1 Evolução do ICMS ecológico frente aos municípios beneficiados Anos 2002 2003 2004 2005 2006 Nº de Municípios 284 333 367 383 394 ICMS Ecológico R 20954477 R 24321057 R 28749378 R 33962569 R 37065168 Anos 2007 2008 2009 2010 de Aumento Nº de Municípios 367 389 406 528 86 ICMS Ecológico R 41184967 R 48655430 R 45420009 R 55328081 164 Fonte Adaptado SEFMG 2012 0 100 200 300 400 500 600 2002 2003 2004 2005 2006 2007 2008 2009 2010 284 333 367 383 394 367 389 406 528 53 Diante as discussões e devido aos dados apresentados pelos diversos agentes envolvidos o grupo decidiu se encontrar em reuniões mensais Desta forma todos os representantes teriam tempo para formular propostas apresentálas ao grupo e assim propor alterações nos instrumentos de repasse caso se concluísse pela necessidade de alterálos 822 Antecedentes Em 28 de dezembro de 1995 foi instituída a Lei nº 12040 também denominada Lei Robin Hood que definia os critérios para repasse de 25 do ICMS arrecadado em Minas Gerais aos municípios Nesta legislação foram contemplados critérios como o valor adicionado fiscal área geográfica educação meio ambiente área cultivada patrimônio cultural gasto com saúde município minerador Destacase que o legislador considerou a variável ambiental ao instituir a compensação financeira aos municípios que adotam iniciativas de conservação ambiental e buscar soluções para os problemas de saneamento A inserção da variável ambiental entre os critérios de repasses do ICMS surgiu de uma reivindicação popular No início da década de 1990 os prefeitos dos municípios de Marliéria Dionísio e Timóteo reivindicavam frente ao Governo do Estado uma compensação financeira pela imensa parte dos seus territórios destinados ao Parque Estadual do Rio Doce Marliéria por exemplo possui 60 do seu território sob área de preservação O parque é reconhecido pela Organização das Nações Unidas ONU como Reserva da Biosfera e de caráter de proteção permanente Atualmente o parque detém mais de 36 mil hectares e representa a maior área de mata atlântica do estado de Minas Gerais A implementação do Parque gera alto custo de oportunidade aos municípios visto que são impedidos de desenvolver quaisquer atividades produtivas nas áreas de preservação Enquanto isto outros municípios como Ipatinga Betim Belo Horizonte e Contagem que já haviam acabado com quase todas as suas áreas verdes recebiam altos valores de ICMS pela instalação de indústrias que promovem a movimentação de mercadorias e serviços e consequentemente maior valor adicionado fiscal Neste cenário os prefeitos municipais aliados ao IEF a FEAM e à mídia promoveram discussões para receberem parcela do ICMS a exemplo do estado do Paraná que destina parte do referido imposto aos municípios com unidade de conservação e mananciais em seu território Também foram desenvolvidas atividades junto à população por meio da educação ambiental com intuito de valorizar a biodiversidade e identificar no Parque um ativo gerador de recursos ao município Este seria então um investimento 54 O diretor da FEAM Leo Pompeu de Rezende Campos ainda afirmou na época que A imprensa foi vital no nascimento das discussões ambientais em Minas Gerais denunciando os crimes ecológicos e envolvendo a sociedade nestas questões Além disto serviam como uma espécie de freio para as indústrias que não desejavam ver seu nome envolvido em manchetes de jornal Neste cenário em 1993 foi apresentado o Projeto de Lei nº 144793 pelo deputado estadual Ronaldo Vasconcelos que objetivava destinar parte do ICMS aos municípios que possuíam unidades de conservação e mananciais em seus territórios A proposta foi recusada pelo governador Hélio Garcia Em 1995 um novo Projeto de Lei nº 27 propôs a criação do ICMS Ecológico com destinação de 4 dos 25 passíveis de serem destinados pelo estado aos municípios que detinham unidade de conservação ambiental A proposta também foi recusada pelo governador Eduardo Azeredo afirmando que o pretendido repasse compensatório não seria isento de tropeços em um Estado com mais de setecentos municípios podendo uns serem beneficiados em detrimento da maioria Posteriormente o critério ambiental foi inserido na Lei nº 12040 de 1995 destinando assim 1 do valor de ICMS competente ao Estado No entanto os subcritérios estipulados pela nova legislação consideravam a a presença de Unidades de Conservação e b Saneamento básico e tratamento de lixo nos municípios Sobre a formação do Indicador de Meio Ambiente temse que este é calculado pela Fundação João Pinheiro com periodicidade trimestral Desde a implementação da Lei Robin Hood até 2010 o Índice de Meio Ambiente vigorou com apenas dois subcritérios os quais são descritos a seguir 1 Unidade de Conservação recebe 50 do total e de responsabilidade do Instituto Estadual de Florestas IEF são consideradas as UC municipais estaduais federais particulares desde que cadastradas em órgão ambiental estadual São 18 os tipos de categorias de UC TABELA 2 e conforme esta classificação será determinada o Fator de Conservação Assim o cálculo do índice Unidade de Conservação é resultado dos fatores FCMi j Área UCi j Área Mi x FC x FQ Sendo que FC Fator de Conservação FQ Fator de Qualidade 55 UCij Relação percentual entre a área de cada unidade de conservação Mi Área do município Saneamento recebe 50 do total sob responsabilidade da Fundação Estadual de Meio Ambiente FEAM é constituído pelos subníveis de Lixo os municípios devem atender no mínimo 70 da população com aterro sanitário ou usinas de compostagem Esgoto atender no mínimo 50 da população pela manutenção de estações de tratamento de esgotos sanitários Ressaltase que o valor máximo atribuído a cada município não pode exercer o respectivo investimento estimado com base na população atendida e no custo médio per capita dos sistemas de aterro sanitário e usina de compostagem de lixo ou estações de tratamento de esgoto Assim o Índice de Meio Ambiente IMA é composto pelo somatório 𝐼𝑀𝐴 í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝑐𝑜𝑛𝑠𝑒𝑟𝑣𝑎çã𝑜 𝑥 050 í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝑠𝑎𝑛𝑒𝑎𝑚𝑒𝑛𝑡𝑜 𝑥 050 56 TABELA 2 Grupos Categorias e Fator de Conservação Grupo Categoria de Manejo Código FC Proteção integral Estação ecológica EE 1 Reserva biológica RB 1 Parque nacional estadual e municipal natural PAQ 1 Monumento natural MN 1 Refúgio da vida silvestre RVS 1 Uso sustentável Reserva particular do patrimônio natural RPPN 1 Reserva extrativista RESEX 05 Reserva de desenvolvimento sustentável REDES 05 Floresta nacional estadual ou municipal FLO 03 Reserva de fauna RF 03 Área de relevante interesse ecológico ARIE 03 Área de Proteção Ambiental I APA I Zona da vida silvestre ZVS 05 Demais zonas DZ 01 Área de Proteção Ambiental II estadual ou federal APA II 002 5 Outras categorias Reserva particular de recomposição ambiental RPRA 01 Fonte Lei nº 1204095 e alterações 8221 Retornando às discussões do Grupo Após a primeira reunião João Carlos impulsionado pelo seu caráter investigativo foi em busca de informações sobre o desempenho do ICMS Ecológico visto que não conhecia esta matéria em profundidade Para tanto realizou reflexões sobre a inserção dos municípios e o aumento do valor transferido pelo critério ambiental Assim João Carlos verificou que a arrecadação de ICMS no período também apresentou crescimento porém em proporções maiores ao identificado pelo repasse ambiental conforme apresentado na TABELA 3 TABELA 3 Evolução da arrecadação de ICMS Anos 2002 2003 2004 2005 2006 Nºde Mun 284 333 367 383 394 ICMS Eco R 20954477 R 24321057 R 28749378 R 33962569 R 37065168 ICMS Total R 9390484874 R 10792673697 R 12827756603 R 15128988610 R 16662107286 Anos 2007 2008 2009 2010 de Aumento Nºde Mun 367 389 406 528 86 ICMS Eco R 41184967 R 48655430 R 45420009 R 55328081 164 ICMS Total R 18972856459 R 22377606618 R 21964922127 R 26271703902 180 Fonte Adaptado SEFMG e FJP 2012 57 Diante esta situação João Carlos recorreu a pesquisas que haviam realizado avaliações da política pública tanto pela perspectiva ambiental quanto econômica Entre estas ele identificou os seguintes trabalhos Em 2000 GriedGran promoveu uma avaliação ambiental do ICMS Ecológico constatando que 129 municípios ficaram numa situação melhor do que aquela em que se encontravam antes da referida Lei uma vez que 16 dos municípios apresentavam unidades de conservação em seus territórios Em 2007 Botelho analisou o referido instrumento pela perspectiva ambiental constatando que os municípios que possuíam unidades de conservação em seu território recebiam repasses inferiores aos equipados às atividades agrossilvipastoris ICMS referente à produção de alimentos e valor adicionado da agropecuária Outro aspecto questionado concentrase no cálculo do Fator de Conservação das UCs este considera a relação entre a área da UC e a área total do município Como exemplo o autor apresentou a situação dos municípios de Alto Caparaó e Conselheiro Pena que possuíam aproximadamente a mesma área de conservação porém com valores recebidos diferenciados TABELA 4 TABELA 4 Comparação entre o repasse do ICMS Ecológico Dados Alto Caparaó Conselheiro Pena Área de Conservação hectares 4350 4835 Área Municipal hectares 10458 146674 ICMS Ecológico R 17432006 R 1368729 Fonte Adaptado Botelho 2007 Observase assim que mesmo com áreas de conservação relativamente semelhantes o tamanho da área do município influencia o valor recebido de ICMS Ecológico Este fator tende a promover um desequilíbrio entre o gasto municipal com UC e a compensação financeira pela preservação Em 2008 Fernandes identificou que o ICMS Ecológico perdeu sua importância entre o período de 1997 a 2007 pois o percentual repassado aos municípios mantevese fixo enquanto houve aumento no número de municípios que receberam repasses pelo critério ambiental Apesar de beneficiar mais os municípios pequenos e com baixo nível de renda o ICMS Ecológico ao diminuir o peso dado ao critério valor adicionado acabou prejudicando a maioria dos municípios mineiros em termos de percentual de ICMS recebido Em 2009 Monte e Silva identificaram a necessidade de transparência nos critérios ambientais adotados pelos estados para que a população beneficiada identifique as vantagens em possuir unidades de conservação nos territórios municipais 58 Em 2011 Nascimento et al apontaram a necessidade de efetiva participação dos municípios na gestão ambiental em parceria com os institutos ambientais realizando trabalhos para informar e esclarecer as comunidades envolvidas Aliada às avaliações do ICMS Ecológico realizadas pelos estudos acadêmicos João Carlos procurou analisar a legislação e os critérios de transferência dos recursos aos municípios A formação do índice de meio ambiente toma como base a área da unidade de conservação comparada à área do município o fator de conservação e o fator de qualidade A Lei nº 1204095 e suas alterações identificam que o fator qualidade seria igual a 1 um até que sejam ponderadas as variáveis para avaliações das unidades de conservação por meio de deliberação do Conselho de Política Ambiental Copam Neste aspecto em 17 de junho de 2005 o Copam apresentou a Deliberação Normativa nº86 que estabeleceu os parâmetros para aplicação do fator de qualidade Esta norma identificou os critérios para avaliação da qualidade das UCs que ocorre inicialmente junto ao credenciamento da unidade no IEF Posteriormente cabe a Prefeitura Municipal atualizar os dados sobre o fator qualidade no site do IEF bem como encaminhando a documentação para comprovação das características avaliadas O fator conservação por sua vez apresenta valor constante para cada categoria das UCs Caso a unidade seja uma estação ecológica seu fator de conservação sempre será 1 um caso seja classificada pelo IEF no cadastramento como uma Reserva Particular de Recomposição Ambiental seu fator sempre será 01um décimo Desta forma não há um instrumento para avaliar periodicamente a conservação da unidade uma vez que a ação do tempo as externalidades negativas como queimada poluição desmatamento podem influenciar a composição das unidades de conservação 823 Situação problema Diante o levantamento destas informações João Carlos pretende elaborar uma proposta de alteração dos critérios e na forma de repasse do ICMS Ecológico para apresentala ao grupo de discussão na próxima reunião Para tanto ele pretende utilizar a Matriz Lógica como uma forma de estruturação lógica destas alternativas e como um meio facilitador para o entendimento geral do grupo de discussão sobre suas propostas que visam a distribuição mais equânime dos repasses do ICMS Ecológico Caso você estivesse na posição de João Carlos qual seria sua proposta enquanto gestor ambiental e membro do grupo de discussão sobre ICMS Ecológico Apresente sua proposta conforme a Matriz Lógica 59 824 Decisão Para tanto a Matriz de Estrutura Lógica apresenta um Programa de Conservação Ambiental pela inserção do Indicador de Conservação Ambiental como variável para repasse do ICMS Ecológico no subitem unidades de conservação Este indicador pretende considerar a qualidade das UCs quanto formação e manutenção ao longo do tempo evitando o desmatamento o acúmulo de lixo e proteção ambiental Com isto esperase redistribuir o repasse de recursos financeiros do ICMS Ecológico de forma a compensar financeiramente aqueles municípios que possuem melhor tratamento ambiental às unidades de conservação Para a formação da Matriz de Estrutura Lógica conforme disposto no Quadro 4 foi adotado o modelo proposto pelo Tribunal de Contas da União 2001 e Charnet 2007 Segundo o relatório do TCU 2001 a presente estrutura pretende orientar a formulação a execução acompanhamento e avaliação de programas ou de projetos governamentais diante a compatibilidade lógica entre a finalidade impacto da ação governamental o objetivo os produtos e as atividades A estrutura é disposta em uma matriz quatro por quatro sendo que nas linhas estão disponíveis a sequência das ações do Programa enquanto nas colunas estão alocadas as alternativas para monitoramento e avaliação Na primeira linha da matriz de estrutura lógica temse a Finalidade que identifica como o Programa contribuirá para solucionar o problema que é representada pela inserção do Indicador de Conservação Ambiental Ressaltase neste contexto que o Estado de Minas Gerais apresenta um fator de conservação ambiental no entanto este indicador apresenta valores fixos para cada tipo de unidade de conservação não sendo realizadas fiscalizações periodicamente às localidades para comprovar a qualidade e proteção ecológica Como alternativa para avaliar a Finalidade do Programa temse a criação do Indicador de Conservação Ambiental que irá variar entre 0 e 1 Temse o intuito de ranquear os municípios mineiros quanto a proteção das unidades de conservação A verificação do cumprimento desta etapa pauta se na elaboração do Indicador pelo Instituto Estadual de Florestas IEF após a fiscalização periódica às unidades de conservação A segunda alternativa de intervenção lógica é a formulação do Objetivo do Programa que visa operacionalizar o fator conservação ambiental como critério de repasse dos recursos provenientes do ICMS Ecológico Para Silva 2008 esta etapa representa o resultado direto das ações governamentais sendo assim uma prévia da execução do programa No intuito de alcançar este objetivo temse com indicador de avaliação a distribuição dos valores do 60 ICMS Ecológico antes e depois da inserção do Indicador de Conservação Ambiental para perceber a influência da adoção desta variável na redistribuição dos recursos As informações necessárias para avaliação desta etapa estão atreladas a identificação do repasse efetuado mensalmente pela Secretaria de Estado da Fazenda de Minas Gerais SEFMG e disponibilizados no site da Fundação João Pinheiro O pressuposto que conduz este cenário induz que a adoção do critério ambiental tende a distribuir recursos financeiros conforme o nível de preservação ambiental Como Produto deste Programa esperase compensar financeiramente aqueles municípios que possuem melhor tratamento ambiental às unidades de conservação e avaliar a proteção e qualidade ambiental em longo prazo Quanto ao primeiro Produto o indicador que avalia o seu cumprimento é o repasse de recursos do ICMS Ecológico em relação ao Indicador de Conservação Ambiental ao comparar o indicador alcançado pelo município e os valores repassados à localidade Tornase importante analisar os gastos realizados pelo município ou demais agentes ligados às unidades de conservação quanto à qualidade ambiental Esse indicador tende demonstrar o quanto de recursos é destinado à unidade de conservação e sem seguida possibilita comparar com a quantidade de recursos repassados pelo Estado As variáveis em análise serão disponibilizadas pelo IEF e pela FJP O aumento do controle e melhoria na proteção ambiental tem como variável explicativa o desempenho do Indicador de Conservação Ambiental em longo prazo Este procedimento identifica se a inserção do critério proporcionou modificações na redistribuição dos recursos conforme o nível de proteção ambiental das unidades de conservação e consequente melhoria ou não desta situação As variáveis são de responsabilidade do IEF sendo necessário para análise temporal para verificar o comportamento histórico do indicador Segundo relatório do TCU 2001 o item Atividades compreende as tarefas que o gestor deve executar para gerar cada um dos Produtos do Programa e que resultam em custos listados em ordem cronológica para cada produto Para isto a Atividade da matriz lógica Tabela 5 apresenta dois segmentos conforme a disposição dos produtos esperados O Primeiro Produto componente das Atividades relata a capacidade do Programa em identificar aqueles municípios que possuem maiores Indicadores de Conservação Ambiental no intuito de repassar valores proporcionais a esta participação Para isto as variáveis de controle são compostas pelo próprio Indicador a ser disponibilizado pela IEF Ressaltase que o Indicador de Meio Ambiente é composto pelo somatório dos indicadores de saneamento e unidades de conservação sendo que este é segregado entre a participação da área da unidade de conservação em 61 relação à área do município pela inserção do Indicador de Conservação Ambiental e pelo fator de Qualidade Ambiental O Segundo Produto objetiva capacitar a população dos municípios que apresentam unidades de conservação no intuito de discutir a importância da preservação ambiental aliado ao reconhecimento desta área como produtora de receitas Neste sentido as variáveis para avaliação são compostas pelo número de palestras e cursos oferecidos listagem de pessoas atingidas e pela quantificação do lixo coletado fora das lixeiras nas unidades de conservação Os meios de verificação por sua vez são representados pelas informações disponibilizadas pelas palestras geradas nas escolas municipais quanto às listas de presença e pessoas abordadas A área desmatada ou poluída dentro das unidades de conservação disponibilizadas pelo IEF também demonstram instrumentos de coleta de informações Além destes fatores tornase indispensável à inserção de profissionais capacitados para fiscalizarem periodicamente as UC visando ranquear os municípios quanto à preservação ambiental Assim a contratação de engenheiros florestais ambientais e biológicos contribuem para a efetivação do indicador como instrumento de controle das áreas protegidas Os indicadores de execução desta etapa do Programa estão relacionados ao número de profissionais disponíveis para fiscalização considerando aqueles já efetivos do IEF como a contratação de novos profissionais Como meios de verificação podese citar a folha de pagamento do IEF e os relatórios dos profissionais sobre a conservação das unidades de conservação em análise Portanto a disposição do Programa de Conservação Ambiental às unidades de conservação em Minas Gerais tende redistribuir os valores de ICMS Ecológico com base na efetiva composição ecológica destas áreas A inserção deste critério pode contribuir para o uso do ICMS Ecológico como instrumento de política ambiental visto que será necessário efetuar gastos com a proteção e preservação ambiental pelos municípios de forma a geraram melhores indicadores ambientais e consequente compensação financeira Ponderase a necessidade de participação população quanto ao reconhecimento das unidades de conservação enquanto produtoras de benefícios econômicos e sociais aos municípios Um exemplo da Matriz de Estrutura Lógica do Programa de Qualidade Ambiental em Minas Gerais é apresentado no QUADRO 4 62 QUADRO 4 Matriz de Estrutura Lógica do Programa de Qualidade Ambiental em Minas Gerais Lógica de Intervenção Indicadores Meios de verificação Pressupostos Finalidade Criar um Indicador de Conservação Ambiental para as UCs como instrumento de repasse de valores do ICMS Ecológico Ponderar numericamente de 0 a 1 a conservação ambiental conforme preservação composição da UC mata parque ecológico reserva manancial Verificar o Indicador de Conservação Ambiental a ser divulgado pelo IEF A inserção da conservação ambiental como critério de repassa irá beneficiar aqueles municípios que possuem UC e promovam a preservação ambiental Objetivo Operacionalização do fator conservação ambiental como critério para repasse do ICMS Ecológico no subitem unidades de conservação Distribuição dos valores do ICMS Ecológico antes de depois da inserção do indicador Repasse de recursos do ICMS Ecológico disponível pela FJP A adoção do critério conservação ambiental tende a distribuir os recursos financeiros conforme a proteção das UC Produtos 1º Componente Compensar financeiramente aqueles municípios que possuem melhor tratamento ambiental das unidades de conservação 2º Componente Controle e melhoria da conservação ambiental das UC a longo prazo 1º Componente Repasse de recursos pelo ICMS Ecológico em relação ao Indicador de Conservação Ambiental Gastos com conservação ambiental frente o repasse de recursos 2º Componente Desempenho do Indicador de Conservação Ambiental a longo prazo 1º Componente Indicador de Conservação Ambiental divulgado pelo IEF Valor repassado aos municípios pelo critério UC conforme disposto no site da FJP 2º Componente Análise temporal do Indicador de Conservação Ambiental disponível pelo IEF Relatórios do IEF sobre a conservação ambiental das UC 1º Componente Municípios que mais protegem as UC tendem a receber mais recursos financeiros 2º Componente Os municípios tendem a aplicar recursos nas UC visando melhorar a proteção ambiental 63 Lógica de Intervenção Indicadores Meios de verificação Pressupostos Atividades 1º Componente Identificar os municípios que possuem maiores Indicadores de Conservação Ambiental Repassar valores do ICMS Ecológico com base no somatório do Indicador de Conservação Ambiental aos demais 2º Componente Capacitar população local quanto a preservação ambiental Contratar engenheiros florestais responsáveis por fiscalizar as UC periodicamente 1º Componente Indicador de Conservação Ambiental por município Indicador Ambiental somatório do indicador de conservação ambiental área da UC e saneamento básico 2º Componente Número de palestrascursos sobre preservação ambiental em escolas do município Número de pessoas atingidas pelas capacitações Redução do desmatamento e do lixo coletado dentro das áreas protegidas Número de profissionais contratados Número de fiscalizações realizadas e relatórios emitidos 1º Componente Indicador por municípios disponibilizados pela FJP 2º Componente Informações disponíveis pelas escolas municipais Lista de presença das capacitações Área desmatada ou poluída dentre as unidades de conservação Quantificação do lixo coletado fora das lixeiras Folha de pagamento do IEF Relatórios dos profissionais sobre a conservação das UC 1º Componente A conservação ambiental tende a beneficiar financeiramente aqueles municípios que protegem o meio ambiente 2º Componente A maior capacitação das crianças e jovens tende a elevar a preservação das UC bem como introduzir o orgulho em mantêla no território municipal O aumento de profissionais especializados tende a elevar as fiscalizações 64 9 ABORDAGENS GERAIS DE AVALIAÇÃO E MEDIDAS DE AVALIAÇÃO 91 Medidas de eficiência em avaliação Vamos considerar as etapas do Ciclo de Políticas Públicas Policy Cycle lembrando as críticas quanto à forma simplificada do ciclo de etapas e apresentar simplificadamente a agenda a formulação das políticasprogramas a implementação e a avaliação Representa empiricamente sua própria veracidade Mesmo apresentando limitações o ciclo de políticas públicas tem utilidade instrumental para evidenciar o tipo de informações e conhecimento necessários em cada fase As informações são diferentes e levantamentos e pesquisas são necessários Na formulação desenho do programa as informações sobre o públicoalvo são imprescindíveis Requer desenhos específicos e combinação de ações Na implementação maior é a necessidade de informações Essas são geradas pelo acompanhamento periódico das atividadeschave do programa Indicadores podem ser produzidos a partir das informações geradas Avaliação somativa estudos são necessários para mensurar os avanços proporcionados pelos programas aos públicosalvo Podem ser necessários levantamentos quantitativos eou qualitativos Avaliar programas envolve um esforço considerável de produção de evidências empíricas com emprego de diferentes estratégias de pesquisa social para as necessidades variadas ao longo do ciclo de vida do programa Jannuzzi 2016 Considerando as dimensões da avaliação de políticas públicas ela pode ser compreendida como um julgamento porque envolve valores um procedimento sistemático porque se baseia em procedimentos e indicadores reconhecidos e previamente estabelecidos incide sobre o conteúdo ou seja sobre os problemas eleitos e suas soluções as estratégias o desenho ou concepção estrutura os processos insumos atividades capacidades hierarquias de precedência e mecanismos de coordenação produtos preliminares intermediários e finais efeitos e impactos A separação em etapas prestase aos objetivos de evidenciar ao longo do processo ênfases diferenciadas no planejamento implementação ou avaliação de programas JANNUZZI 2016 65 avalia uma política programa ou projeto tem como referência critérios explícitos e é realizada com o fim de contribuir para o aperfeiçoamento a melhoria do processo decisório o aprendizado institucional eou o aumento da accountability do objeto analisado ou seja a política o programa ou o projeto Portanto podemos reconhecer que a avaliação contém duas dimensões uma técnica e outra valorativa A dimensão técnica caracterizase por produzir ou coletar segundo procedimentos reconhecidos informações que poderão ser utilizadas nas decisões relativas a qualquer política programa ou projeto Diz respeito à pesquisa avaliativa que representa um instrumento da avaliação A dimensão valorativa é realizada com a finalidade de se chegar a conclusões sobre o valor da política do programa ou projeto A avaliação envolve o julgamento do mérito de programas e políticas públicas Consiste neste sentido em analisar a eficiência a eficácia e a efetividade de programas e políticas públicas Uma vez constatadas a eficiência eficácia e efetividade já se obtém fortes indicações que a política pública tem capacidade de oferecer uma solução consistente para o problema para o qual foi desenhada Outro critério importante é o da sustentabilidade que se refere à sua operacionalidade ou seja aos recursos orçamentários e operacionais para a continuidade do programa A avaliação produz insumos relevantes para análise de eficiência no uso dos recursos eficácia em atingir os objetivos e efetividade na mudança social por ele proporcionada DRAIBE 1999 citada por JANNUZZI 2016 92 Avaliação de Políticas Públicas dimensões e critérios Os principais critérios de avaliação são eficiência eficácia e efetividade ou impacto melhor descritos a seguir No QUADRO 5 apresentase uma síntese Eficiência relacionada ao custo do programa para alcançar os objetivos propostos A eficiência é avaliada geralmente por comparações com outras alternativas elaboradas como soluções para o mesmo problema Eficácia relacionada ao cumprimento dos objetivos do programa A avaliação de um programa social sob esta perspectiva deverá pressupor a análise da cobertura grau de focalização do públicoalvo alcançado pelo programa e qualidade dos produtosserviços entregues Efetividade ou Impacto referese aos efeitos mais amplos do programa esperados ou não sobre o públicoalvo ou em outros grupos sociais 66 medidos no longo prazo e que possam ser atribuídos ao programa A avaliação da efetividade envolve a investigação de impactos sociais mais abrangentes proporcionados pelo programa JANNUZZI 2016 p 48 67 QUADRO 5 Síntese das Dimensões Dimensão Conceito Objetivo Relação Eficiência Esforços empregados x Resultados alcançados Rendimento técnico e administrativo da ação Custo x benefício preços de mercado Eficácia Objetivos e Instrumentos x Resultados efetivos Penetração de resultados no tempo e no espaço Metas enunciadas x metas alcançadas Efetividade Implementação x Impactos na mudança de uma condição prévia Efeitos em cadeia dentro da sociedade Valores sociais Fonte Arretche 1998 Deve ser considerada na avaliação a Relevância a Sustentabilidade a Replicabilidade do programa ou da política devendose observar Relevância em que medida o programa ou projeto abordou ou deverá resolver problemas de elevada prioridade principalmente como vistos por atuais ou potenciais stakeholders particularmente os beneficiários do programa ou projeto A questão referese a definir se os recursos que serão alocados para o programa ou política poderiam ter sido utilizados com maior vantagem em outras alternativas de desenvolvimento Sustentabilidade significa a manutenção ou aumento de realizações positivas induzidas por programa ou política avaliada Os avaliadores podem avaliar a perspectiva de sustentabilidade do projeto durante sua implementação Deve estar relacionada para todos os fins e meios da estrutura do programa Replicabilidade É a característica de repetir um programa ou política ou suas partes em um outro contexto ou seja em outras épocas em outros locais para outros grupos de pessoas por outras organizações É uma característica que pode ou não ser relevante Em alguns casos a replicabilidade pode ser o principal foco da avaliação Destacase a análise de eficiência ou análise de custoefetividade e análise custobenefício A análise de eficiência ou análise de custo efetividade visa identificar se os custos do programa se sustentam para escalas mais amplas de operação ou se os efeitos gerados pelo programa são maiores que outras alternativas Já a análise custobenefício referese a um procedimento analítico para determinar a eficiência econômica de um programa expressa como a relação entre custos e resultados usualmente medida em termos monetários Uma síntese dos modelos de análises de custos é apresentada no QUADRO 6 68 QUADRO 6 Métodos de Análise de Custos MÉTODOS DE ANÁLISE QUAL QUESTÃO PODE SER RESPONDIDA O QUE A ANÁLISE DE CUSTOS PODE RESPONDER QUAIS OS DADOS SERÃO NECESSÁRIOS ANÁLISE DE CUSTO ECONÔMICO Costeconomy analysis Quanto custou para entregar essa intervenção Quanto foi gasto em tarefas diferentes Quanto o orçamento do governo deve aumentar Ajuda o orçamento para a nova atividade Ajuda a fazer a transição da intervenção ou de seus elementos para o governo de um patrocinador por ex Relatórios de despesas e contribuições desagregado por categorias de custo e ingredientes um método para rateio de custos compartilhados entre categorias de custo Banco de dados de preços local para insumos comuns Estruturas de custos do governo resultado dados ANÁLISE DE CUSTO EFICIÊNCIA Cost efficiency Analysis Quanto custou essa intervenção por output entregue Como isso se compara a outros métodos de entrega para esse output Identifique os custos unitários por output Compare os custos unitários entre os métodos de entrega e identifique qual deles obtém mais resultados dentro de um determinado orçamento Relatórios de despesas e contribuições desagregados por categorias de custo e componentes um método para alocar custos compartilhados ratear entre categorias de custo Contagens de produção usando indicador comum para todas as intervenções desagregadas por métodos de entrega ANÁLISE DE CUSTO EFETIVIDADE Costeffectiveness analysis Quanto custou essa intervenção por outcome resultado entregue Como isso se compara a outras intervenções que produzem esse outcome resultado Compare os custos dos outcomes em diferentes intervenções Identifique a intervenção que obtém o maior resultado dentro dos limites de uma determinada despesa por beneficiário Relatórios de despesas e contribuições desagregados por categorias de custo e componentes um método para alocar ratear custos compartilhados entre categorias de custo Estimativas confiáveis do impacto Estimativas confiáveis do custo e efeitos das intervenções comparáveis ANÁLISE DE CUSTO BENEFÍCIO Costbenefit analysis Como os custos dessa intervenção se comparam ao valor monetário dos benefícios criados Compare os custos dos outcomes em diferentes intervenções Identifique a intervenção que alcança mais resultados considerando uma determinada despesa um determinado custo por beneficiário Relatórios de despesas e contribuições desagregados por categorias de custo e ingredientes um método para alocar ratear custos compartilhados entre categorias de custo Estimativas confiáveis do impacto Estimativas confiáveis do custo e efeitos de intervenções comparáveis Fonte Cost Analysis Guidance For USAIDFunded Education Activities 2020 p 8 69 Considerando os quatro métodos de análise de custos é importante ter uma medição de custos integrada ao longo do ciclo de vida da atividade e alinhada com as atividades de monitoramento e avaliação para garantir uma coleta de todos os dados relevantes de custos e resultados Isso é particularmente importante para análises de custobenefício e custo efetividade que não são possíveis sem dados de output produto e outcome resultado Na FIGURA 11 apresentamos uma ilustração do modelo lógico com avaliações e análises de custos Podese observar que a avaliação de desempenho ou impacto da política ou programa considera a mudança ou seja os outcomes que refletem a transformação ocorrida devido as ações e decisões executadas pela política ou programa realizado levando à nova situação apresentada Já o monitoramento e a avaliação de processos estão presentes durante as etapas iniciais e de execução do programa ou política FIGURA 11 Modelo Lógico com Avaliações e Análises de Custos Nota A Figura não inclui a análise de custobenefício devido à falta de dados importantes em contextos em que a USAID implementa intervenções educacionais Isso não ocorre porque a análise de custobenefício por si só não vale a pena mas porque os dados necessários para realizar bem a análise de benefício de custo quase nunca estão disponíveis Fonte Cost Analysis Guidance For USAIDFunded Education Activities 2020 Ainda considerando a FIGURA 11 é possível identificar que as análises de CustoEconômico considerando os recursos aplicados no programa ou na política Já a análise de CustoEficiência considera os recursos aplicados e os produtos e serviços E a análise de Custo Efetividade considera todos os esforços em prol do programa ou da política 70 abarcando os recursos aplicados os produtos e serviços e a mudança promovida pela política A análise da relação custobenefício e de eficácia em função do custo custoefetividade são instrumentos que permitem avaliar se os custos de uma atividade podem ou não ser justificados pelos resultados e impactos produzidos A análise da relação custobenefício mede os fatores de produção e a produção em termos monetários A análise de eficácia em função do custo estima os fatores de produção em termos monetários e os resultados em termos quantitativos não monetários tais como melhorias registadas nas notas de matemática dos estudantes Análise da Relação CustoBenefício e de Custo Efetividade é utilizada para tomada de decisão sobre a alocação de recursos mais eficiente Permite identificar projetos que ofereçam a taxa de rendimento do investimento mais elevada Apresenta vantagens por ser considerada uma abordagem de boa qualidade para estimar a eficiência de programas e projetos Tornar explícitos os pressupostos econômicos que de outra forma poderiam continuar implícitos ou ignorados na fase de concepção E são úteis para convencer os responsáveis pela tomada de decisões e os financiadores de que os benefícios justificam a atividade Análise de Eficiência ou Análise de CustoEfetividade visa identificar se os custos do programa se sustentam para escalas mais amplas de operação ou se os efeitos gerados pelo programa são maiores que outras alternativas Na análise de custoefetividade costeffective analyses se dois ou mais programas apresentam o efeito resultado de melhorar o mesmo comportamento ou reduzem a frequência de algum problema o custoefetividade por unidade monetária pode ser encontrado para cada programa e identificar programa com maior custo efetividade O que podemos aprender das diferentes análises de custos A necessidade de dados a partir da formulação do programa ou da política demonstram que as informações sobre recursos produtos e resultados decorrentes de programas ou políticas públicas são essenciais Assim uma primeira lição é sobre a importância dos registros dos dados do planejamento prévio das atividades e o computo de todos os resultados obtidos são fundamentais para os avaliadores e analistas de programas e políticas públicas É importante manter os registros desde o início das operações a partir desse momento o monitoramento e a avaliação se fazem presentes tanto para a geração de informações e composição de bancos de dados sobre programas e políticas públicas Em todas as fases da vida útil 71 programas e políticas públicas são realizados o monitoramento frequente e a avaliação em períodos definidos Todos esses esforços geram informações e alimento bancos de dados que são úteis para as análises de eficácia eficiência e efetividade de programas e políticas públicas Na FIGURA 12 apresentamos uma síntese das respostas à questão proposta FIGURA 12 Informações e aprendizagem resultantes de diferentes análises de custos Fonte Cost Analysis Guidance For USAIDFunded Education Activities 2020 Ainda é importante destacar que para a avaliação de políticas públicas por meio da análise custobenefícios e análise de custo efetividade algumas desvantagens são apontadas na literatura como Tratase de análise bastante técnica exigindo disponibilidade de recursos financeiros e humanos adequados Os dados exigidos para os cálculos custobenefício podem não existir e os resultados projetados podem ser extremamente dependentes dos pressupostos assumidos Os resultados têm de ser interpretados com cuidado especialmente em projetos onde os benefícios são difíceis de quantificar 72 Recomendação de leitura Acesse aqui httpsppnexojornalcombrpontode vista2020RelevC3A2nciaesustentabilidade dimensC3B5esesquecidasna avaliaC3A7C3A3odeprogramassociais 73 REFERÊNCIAS Avaliação Monitorização e Melhoria de Qualidade do Banco Mundial httpwwwworldbankorgevaluation Desenvolvimento da Capacidade de Monitorização Avaliação COHEN ERNESTO FRANCO ROLANDO Avaliação de Projetos Sociais Petrópolis RJ Vozes 1993 DALE REIDAR Evaluating development programmes and Projects 2nd ed Sage Publications 2004 FISCHER FRANK MILLER GERALD JMILLER SIDNEY MARA S Ed Handbook of public policy analysis theory politics and methods CRC Press 2007 FUNNELL SUE C ROGERS P J Purposeful program theory effective use of theories of change and logic models Published by JosseyBass 2011 GREENE JENNIFER Valuesengaged Evaluation In Segone M ed Evaluation for equitable development results 2012 UNICEF IPEA Avaliação de políticas públicas Guia prático de análise ex ante Vol 1 Casa Civil da Presidencia da República Instituto de Pesquisa Econômica e Aplicada Brasília IPEA 2018 JANNUZZI PAULO de MARTINO Monitoramento e avaliação de programas sociais uma introdução aos conceitos e técnicas Campinas SP Editora Alínea 2016 MARK MELVIN M HENRY GARY T JULNES GEORGE Evaluationan integrated framework for understanding guiding and improving policies and programs 1st ed JosseyBass 2000 MORRAIMAS LINDA G RIST RAY C The road to results Designing and conducting effective development evaluations The World Bank 2009 MUNTER CHARLES COBB PAUL SHEKELL CALLI The role of program theory in evaluation research A consideration of the what works clearinghouse standards in the case of mathematics education American Journal of Evaluation I20 2015 DOI 1011771098214015571122 SAGE ONKKA Al 2018 What is Bennetts hierarchy logic model Disponível em httpswwwauroraconsultcomwhatisbennettshierarchylogicmodel Acesso julho 2023 POSAVAC EMIL J CAREY RAYMOND G Program evaluation Methods and Case Studies 7th ed Pearson Prentice Hall 2007 POTTS DAVID Project Planning and Analysis for Development Lynne Rienner Publishers inc 2002 REIS FN DA C A estrutura lógica do Programa MINHA CASA MINHA VIDA Dissertação Universidade Federal de Viçosa 2013 ROGERS P Definir e melhorar as estratégias organizacionais utilizando avaliações In Avaliação do investimento social privado 74 estratégia organizacional Organização Fundação Itaú Social Fundação Roberto Marinho Fundação Maria Cecília Souto Vidigal Move São Paulo Fundação Santillana 2015 ROSSI P H LIPSEY M W FREEMAN H E Evaluation a systematic approach 7th ed Sage Publications 2004 RUA MARIA das GRAÇAS Políticas públicas Florianópolis Departamento de Ciências da AdministraçãoUFC BrasíliaCAPESUAB 2009 SECCHI LEONARDO Políticas públicas conceitos esquemas de análise casos práticos São Paulo Cengage Learning 2013 2ª Ed TAYLORPOWELL E HENERT E 2008 Developing a logic model Teaching and training guide Madison WI University of Wisconsin Extension Cooperative Extension Program Development and Evaluation WEISS CAROL H Evaluation Prentice Hall Inc 1998 2nd Ed WORLD BANK Avaliação Monitorização e Melhoria de Qualidade do Banco Mundial disponível em httpwwwworldbankorgevaluation Desenvolvimento da Capacidade de Monitorização Avaliação Acesso agosto 2019 75 SOBRE OS AUTORES SUELY DE FÁTIMA RAMOS SILVEIRA Economista Mestre em Economia Rural Doutora em Economia Aplicada Professora do Programa de PósGraduação em Administração Departamento de Administração e Contabilidade Universidade Federal de Viçosa Viçosa Minas Gerais Brasil Emailsramosufvbr VINICIUS DE SOUZA MOREIRA Administrador Mestre em Administração Doutor em Administração Professor da Universidade Federal de Alfenas Instituto de Ciências Sociais Aplicadas ICSA Campus Avançado de Varginha Varginha Minas Gerais Brasil Email viniciusmoreiraunifalmgedubr 76 FONTES SUGERIDAS PARA CONSULTA Fonte Khandker Koolwal Samad 2010 Disponível em httpsopenknowledgeworldbankorghan dle109862693localeattributees Fonte httpsdocuments1worldbankorgcurated fr611901468167957804pdf246140PORTU GUE10evaluation01PUBLIC1pdf Vídeos httpwwwredeitausocialdeavaliacaoorgb r GERTLER P J MARTINEZ S PREMAND P RAWLINGS LB VERMEERSCH CMJ Avaliação de Impacto na Prática 2ª ed Banco Interamericano para Reconstrução e DesenvolvimentoBanco Mundial 2018 httpswwwworldbankorgenprogramss ieftrustfundpublicationimpact evaluationinpractice CASSIOLATO M GUERESI S Como elaborar modelo lógico roteiro para formular programas e organizar avaliação Brasília Ipea 2010 Nota Técnica n 6 Fonte httpsrepositorioipeagovbrhandle1105 85810 77 ARTIGOS SUGERIDOS PARA LEITURA Artigos científicos sobre Modelo Lógico Aplicações em Políticas Públicas brasileiras ANTERO S A Monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo Revista de Administração Pública 425 p 791828 2008 CARVALHO JUNIOR J R A SILVEIRA S F R Proposta de um modelo lógico na avaliação do Programa Conta pra Mim JORNAL DE POLÍTICAS EDUCACIONAIS v 12 p 121 2021 FREITAS G SILVEIRA S F R Programa Luz Para Todos uma representação da teoria do programa por meio do modelo lógico Planejamento e Políticas Públicas v 45 p 177198 2015 MENESES P P M ABBAD G Proposta para desenvolvimento de modelos de avaliação da efetividade de programas de treinamento RAC Eletrônica v 3 n 1 p 105122 2009 MOREIRA V S SILVEIRA S F R Minha Casa Minha Vida Proposta de Avaliação com Base na Teoria do Programa Revista Interdisciplinar de Gestão Social v 7 n 1 p 87110 2018 PFEIFFER PO Quadro Lógico um método para planejar e gerenciar mudanças Revista do Serviço Público v 51 n 1 p 81122 2000 SILVA E H F M BERNARDES E M Estrutura Lógica como metodologia para avaliação de políticas públicas uma análise do Pronaf Revista de Administração Pública v 48 n 3 p 721743 2014 VITÓRIA J R MORAIS M C A EMMENDOERFER M L CUNHA N R S O Uso da Teoria do Programa para a Construção de um Modelo Lógico Aplicado aos Sistemas Municipais de Cultura no Brasil Teoria e Prática em Administração v 11 n 1 p 1731 2021 CAVALCANTI P C DA S et al Um modelo lógico da Rede Cegonha Physis Revista de Saúde Coletiva v 23 n 4 p 12971316 out 2013 FERREIRA H R S CASSIOLATO M M de M C GONZALEZ R Uma experiência de desenvolvimento metodológico para avaliação de programas o modelo lógico do programa segundo tempo 2009 Texto de Discussão IPEA BOA LEITURA