Leitura Recomendada para Resenha sobre Monitoramento e Avaliação de Programas Sociais

Universidade Federal de Viçosa Departamento de Administração Programa de PósGraduação em Administração ADM574 Elaboração e Avaliação de Projetos LEITURA RECOMENDADA PARAA 1º RESENHA Livro MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS SOCIAIS uma introdução aos conceitos e técnicas Paulo de Martino Jannuzzi Editora Alínea 2016 Recomendo a aquisição do livro uma vez que a leitura dos demais capítulos pode ser muito útil para seu trabalho A ampliação do escopo e escala das políticas e programas sociais no Brasil em especial a partir da Constituição Federal de 1988 tem relacionado o aprimoramento da capacidade de formulação e avaliação de programas públicos no país De modo geral os estudos do dimensionamento de demandas sociais os diagnósticos propositivos para intervenções específicas os sistemas de indicadores de monitoramento e as pesquisas de avaliação de implementação e de resultados de programas vêm se tornado mais consistentes e presentes no cotidiano dos gestores públicos O Brasil elegeu o caminho trilhado por outros países em décadas passadas a passos largos mais largos em algumas esferas de políticas públicas Saúde Educação Desenvolvimento Social e esferas administrativas governo federal alguns estados pelo país e municípios de maior porte H4 Há também situações concretas de avaliações mal concebidas apresentadas ou malexecutadas por programas públicos as quais produzem informações sujeitos ou sistemas apresentadas na reputação da instituição avaliadora acabam virando verdades inconsistentes e factuais na imprensa o que leva a questionamentos quanto ao mérito do programa além da empenho das equipes envolvidas e condução a decisões equivocadas na implementação dos programas Avaliações que no contrário do que esperavam seus proponentes e executores embebidos por certo tecnocratismo ingênuo não contribuem como soluções mas introduzem novos problemas no desenho e operação dos programas A definição de avaliação de programas também remete à necessidade de abordagem interdisciplinar na produção de informação e conhecimento sobre os problemas investigados A avaliação de programas não é campo de pesquisa exclusivo de uma disciplina científica em particular Os conceitos categorias analíticas paradigmas e modelos interpretativos técnicas das Ciências Sociais Economia Antropologia Demografia Estatística Ciência Política Administração Pública contribuem para desvelar as problemáticas sociais e a busca de soluções para os desafios dos programas públicos Afinal pobreza desigualdade desempenho escolar e mortalidade infantil são questões sociais multidimensionais isto é determinadas em diferentes áreas de dimensões sociais pelas amostras Programas por sua vez necessitam ser avaliados por diferentes critérios que tornam mais consistente a realização de avaliações Eficiência é um atributo relacionado ao custo que incide na produção dos resultados do programa Em geral a eficiência de um programa é avaliada em termos comparativos com outras soluções desenhadas para mesma problemática A eficácia está relacionada ao cumprimento dos objetivos sociais mais abrangentes do programa antecipados ou não para além de seus objetivos definidos no programa Os livros clássicos e manuais de avaliação são pródigos em apresentar diversas formas de classificação das pesquisas e estudos de avaliação muitas vezes com pouca utilidade instrumental para a análise de programas públicos Worthen et al 2004 propõem por exemplo uma classificação que diferencia as pesquisas de avaliação segundo seus protagonistas Cada modalidade tem vantagens e limitações A avaliação externa parece permitir um olhar objetivo não enviesado no cumprimento de problemas recorrentes e não comprometendo com a continuidade do programa o que confere maior isenção e análise supondose que os consultores são absolutamente profissionais não preocupados com as chances de contratação em uma próxima demanda de avaliação Pelo envolvimento das equipes a avaliação interna a misto e a participativa parecem permitir aportes mais circunstanciais na análise dos processos e resultados além de facilitar a incorporação de melhorias na gestão do programa objetivo último da avaliação Avaliação segundo a natureza do produto de pesquisa Etapas para especificação e realização de uma pesquisa de avaliação O estudo de disponibilidade é uma etapa crucial desse processo já que define se a avaliação vai ser ou não realizada operação do programa trazendo insumos para equipe de coordenação acerca de eventos e atividades locais encontradas na documentação descritiva e operacional que compõe ou mesmo das próprias atividades a serem desenvolvidas por ele Para a equipe encarregada da avaliação esse prédiagnóstico permite decidirse pela continuidade ou não da pesquisa e nesse caso as indicações de qual deve ser o foco avaliativo Em situações extremas o estudo pode mostrar que o programa não pode ser avaliado pois não tem qualquer documentação formal sistema de monitoramento ou base de dados organizada que possa servir de referência Em tais circunstâncias o estudo de avaliabilidade serve para justificar a necessidade de ser feito um reestudo da pesquisa de seus objetivos objetivos e reestudando do modelo de intervenção a construção de indicadoreschave etc Se o programa se revela em condições de ser avaliado iniciamse as atividades de concepção delineando dos objetivos e determinando do foco da pesquisa de avaliação Como já se procure enfatizar neste livre programas públicos são empreendimentos complexos com muitas atividades os quais operam em contextos de vulnerabilidade social e de capacidade de gestão muito heterogêneas É preciso ter clareza do foco avaliativo e para isso devese procurar definir que componentes e aqueles aspectos do programa serão avaliados Há tantas possibilidades de investigação em um programa social que a avaliação pode até mesmo se tornar um programa de investigação progressivo não só por conta do mapeamento a ser feito mas principalmente no que tende a se constituir como um verdadeiro sistema de intervenção Pesquisas qualitativas têm em geral amostras com tamanhos menores mas requerem entrevistadores de campo mais experientes com conhecimento sobre a temática investigada com capacidade de improvisação criativa e adaptação Entrevistas em profundidade ou grupos de discussão podem desconectar um entrevistador ou moderador pouco experiente Levantamentos quantitativos demandam efetivos de coleta em amostras mais amplas o que exige entrevistadores com prática de abordagem pessoal capacidade de localização e disponibilidade para deslocamento pelo território Em um caso e outro a equipe de campo contratada precisa estar comprometida com os objetivos da pesquisa com a qualidade de trabalho e bem treinados nos conceitos e no instrumento de coleta Avaliação de Programas Avaliação de Programas Monitoramento e Avaliação de Programas Sociais Avaliação de Programas Resolvidos os problemas de implementação do programa é natural que o foco avaliativo passe a ser as avaliações pós centradas nos resultados e impactos do programa Uma dessas avaliações pode ser concepção por meio de pesquisas amostrais com egressos para identificar os desdobramentos dos cursos em termos de trajetória escolar volta à escola para conclusão da educação básica ensino médio formação profissional complementar ou ingresso em curso superior e a mobilidade ocupacional profissional complementar ou ingresso em curso superior e a mobilidade ocupacional profissional complementar ou serviços relacionados ao turismo aumento de salários ou formalização do vínculo Podese também voltar aos mesmos agentes públicos e privados entrevistados nas fases iniciais do programa para avaliação da aceitação de demandas por esses serviços seja em termos das competências e habilidades desenvolvidas pelos cursantes Na expectativa de que os investimentos para desenvolvimento da infraestrutura turística tenham sido realizados e o fluxo de visitantes tenha aumentado e oportuno e relevante avaliar a empregabilidade proporcionada aos egressos considerandose a maior ou menor sinergia com outras ações integradas ao plano serviços de intermediação de mão de obra acesso ao microcrédito etc e valendose de registros de atendimentos nos sistemas de gestão do programa e dos serviços associados Cada uma das pesquisas aqui apresentadas tem um desenho metodológico específico que combina técnicas de coleta sujeitos tipo de amostra e método de análise A partir das perguntas de que se quer avaliar No capítulo seguinte discorrese sobre alguns métodos e técnicas para usadas nas etapas de planejamento e condução das avaliações das programações sociais