Avaliacao de Politicas Publicas - Guia de Exercicios para Prova e Trabalho

Universidade Federal do Ceará Curso de PósGraduação em Economia CAEN Curso de Mestrado Profissional em Economia do Setor Público Disciplina Avaliação de Políticas Públicas 20222 Professor Ricardo Brito Soares Guia de exercícios para a prova e trabalho 1 Explique as diferenças que existem entre as Avaliações de Processos e Avaliações de Impacto Trabalho 2 Explique as diferenças que existem entre os planos de pesquisa de avaliação dos tipos experimental quasiexperimental e não experimental Indique também as vantagens e desvantagens de cada tipo de plano Trabalho 3 Utilizando o modelo de resultados potenciais explique por que existe a necessidade de se obter grupos de controle para fazer avaliações de programaspolíticas públicas Trabalho 4 O que significa a validade interna e a validade externa de um modelo de avaliação de impacto Como o método de aleatorização pode garantir as duas validades Trabalho 5 Quais dificuldades técnicas podem ocorrer na operacionalização do método de aleatorização e como as mesmas podem ser tratadas Trabalho 6 Porque o método de aleatorização dos beneficiados é considerado o padrão ouro dos modelos de avaliação de impacto Prova 7 Como o método de pareamento por propensity score resolve o problema do contrafactual Descreva os estágios do método para calcular o efeito médio de tratamento Qual o principal pressuposto para aplicação do método Prova 8 Suponha que a Secretaria de Educação esteja querendo tornar obrigatório o estudo de artes música dança e teatro em todas as escolas públicas do estado para melhorar a desenvolturaexpressão dos alunos do nono ano Programa Fazendo Arte na Escola Mas antes de implementar o programa de forma generalizada em todas as escolas a Secretaria resolve fazer uma avaliação experimental para avaliar o impacto esperado de um programa como este Como você pode utilizar o modelo de diferençadadiferença para fazer essa avaliação de impacto Descreva i a unidade de medida e o processo de amostragem de sua avaliação plano amostral ii o instrumento de avaliação e o método de administração do mesmo iii o modelo econométrico de avaliação equação teórica com variáveis e coeficientes iii as variáveis dependentes de resultado e explicativas de controle que deverão compor seu modelo de avaliação e iv qual a regra para determinar se o programa teve ou não impacto análise do coeficiente chave Exemplo Prova 9 Suponha que a Secretaria de Educação esteja querendo reforçar o estudo de redação nas escolas públicas do estado para melhorar a qualidade dos textos dos alunos do nono ano Para isto quer implementar o Programa Jovem Escritor nas Escolas que oferece cursos no contraturno de redação para alunos desta série Mas antes de implementar o programa de forma generalizada em todas as escolas a Secretaria resolve fazer uma avaliação inicial para avaliar o impacto esperado de um programa como este Como você pode utilizar o modelo de diferençada diferença para fazer esta avaliação de impacto Descreva i a unidade de medida e o processo de amostragem de sua avaliação plano amostral ii o instrumento de avaliação e o método de administração do mesmo iii o modelo econométrico de avaliação equação teórica com variáveis e coeficientes iii as variáveis dependentes de resultado e explicativas de controle que deverão compor seu modelo de avaliação e iv qual a regra para determinar se o programa teve ou não impacto análise do coeficiente chave Exemplo Prova Universidade Federal do Ceará Curso de PósGraduação em Economia CAEN Curso de Mestrado Profissional em Economia do Setor Público Disciplina Avaliação de Políticas Públicas 20222 Professor Ricardo Brito Soares Aluno Questão 1 Avaliação do processo determina até que ponto os componentes do projeto contribuem ou são incompatíveis com os objetivos perseguidos A forma como é realizada durante a implementação afeta a organização e as operações Destinase a detectar dificuldades de programação gerenciamento e controle para corrigilas e reduzir o custo das ineficiências Este não é um balanço final mas uma avaliação periódica O objetivo central é medir a eficiência das operações do projeto As avaliações de impacto visam determinar quão bem um projeto atinge seus objetivos Ele é projetado para entender os impactos secundários previsíveis e imprevistos do projeto Pode ser executado durante ou após a conclusão do projeto As avaliações são diferenciadas por seus objetivos as perguntas e os tipos de perguntas que respondem as decisões em que estão envolvidos e os usuários potenciais de seus resultados Avaliação do processo 1 Olhando para o futuro correção ou ajuste 2 Tentando influenciar as decisões operacionais do dia a dia 3 Os usuários são os funcionários que gerenciam o projeto Avaliação de impacto 1 Revisão se o projeto foi bemsucedido ou não para descobrir o motivo 2 Vai além do projeto Ajuda a decidir se deve continuar desenvolver projetos futuros e tomar decisões políticas 3 Os usuários são aqueles que têm a capacidade de decidir diretrizes mais gerais autoridade Questão 2 Avaliações experimentais são usadas para identificar o impacto de um programa projeto ou política pública Do ponto de vista científico os métodos experimentais de avaliação do impacto produzem medidas causais da eficácia do programa e são portanto muitas vezes a forma de avaliação escolhida pelo avaliador Mas os aspectos operacionais da condução de experimentos apresentam muitos desafios especialmente para os gerentes O primeiro obstáculo para a randomização pode já estar em seu plano pois envolve altos custos de execução Além disso uma vez que os grupos de tratamento e controle tenham sido identificados por sorteio o monitoramento contínuo deve ser realizado para garantir a validade do experimento e evitar dificuldades técnicas que possam enviesar a estimativa de impacto Um quaseexperimento é um desenho de pesquisa sem distribuição aleatória de sujeitos por tratamento e sem grupo de controle Por outro lado as comparações entre condições tratadas e não tratadas devem sempre ser feitas com grupos não equivalentes ou os mesmos indivíduos antes do tratamento Um estudo não experimental é um tipo de estudo que não possui variáveis independentes Em vez disso os pesquisadores observam o contexto no qual um fenômeno se desenvolve e o analisam para obter informações Ao contrário dos estudos experimentais onde as variáveis permanecem constantes os estudos não experimentais são realizados durante o período de estudo Mas o pesquisador não pode controlar manipular ou mudar o assunto e ele confia na interpretação ou observação para tirar conclusões Isso significa que o método não deve ser baseado em correlação pesquisa ou estudos de caso nem pode provar causa e efeito Questão 3 O campo da avaliação possui um importante acúmulo de teoria e método e conta com a contribuição de diferentes aspectos do conhecimento Portanto este glossário não pretende resumir todo o quadro mas sim abrir um espaço de diálogo no qual os conceitoschave do assunto possam ser mobilizados e vinculados à avaliação de projetos sociais públicoprivados em iniciativas do cotidiano A avaliação pode fornecer um importante insumo para as organizações enfrentarem as demandas da sociedade em um ambiente cada vez mais complexo e dinâmico A relevância deste tema está na necessidade de longo prazo de avaliar a eficácia dos programas e políticas eficiência e eficácia Um custo importante a ser considerado no contexto de programas e políticas sociais é o custo de oportunidade pois grande parte do valor aportado em torno das atividades sociais não depende de linhas orçamentárias mas sim de recursos valiosos que precisam ser considerados no escopo do projeto Exemplos desses custos incluem trabalho voluntário uso de parte do espaço fornecido gratuitamente etc Uma possível abordagem da relação custobenefício a avaliação do retorno econômico considera como benefício a avaliação monetária dos impactos encontrados no projeto e prevê alguns cenários futuros a partir daí Nesse caso dividir o benefício pelo custo do projeto pode demonstrar o retorno para a sociedade de cada investimento real Em outros casos quando o impacto de um projeto ou política não pode ser considerado economicamente a solução é utilizar uma relação custo benefício Nesta abordagem o impacto da descoberta é dividido pelo custo econômico do programa Dessa forma o resultado é as unidades de impacto obtidas de cada gasto real Questão 4 A avaliação de impacto tem validade interna ao utilizar um grupo de controle válido ou seja fornece uma boa estimativa do contrafactual o que teria acontecido com o grupo de tratamento na ausência do item Quando existe validade interna há confiança de que as conclusões da avaliação expressam uma relação causal entre o programa social e o resultado de interesse A abordagem experimental produz bons contrafactuais ao definir um grupo de controle por seleção aleatória e portanto tem validade interna Por outro lado para que uma avaliação seja válida externamente as amostras utilizadas na avaliação devem representar adequadamente a população de interesse do projeto Se for verdade os efeitos causais estimados na avaliação podem se generalizar para toda a população elegível para o programa mesmo pessoas que não participaram da avaliação e moravam em outro tempo ou lugar Neste caso as conclusões e recomendações da avaliação de impacto aplicamse a situações e contextos fora do projeto de avaliação Em geral os métodos experimentais não têm muita validade externa embora os grupos de tratamento e controle sejam semelhantes não há garantia de que as amostras utilizadas na avaliação sejam representativas de condições externas ao experimento A randomização é um método de atribuição ou seleção sem usar nenhum sistema Isso é puramente aleatório Em ensaios clínicos os participantes geralmente são designados aleatoriamente para diferentes grupos do ensaio por exemplo para receber o medicamento do estudo ou um placebo Esta é uma parte fundamental dos ensaios clínicos randomizados RCTs A randomização em ensaios clínicos significa que todos os participantes têm a mesma oportunidade de participar de qualquer estudo Essa é uma maneira importante de reduzir o risco de viés nos resultados da pesquisa Questão 5 Os efeitos a longo prazo são difíceis de medir os efeitos do tratamento não podem ser detectados se a randomização em fases for muito rápida em relação ao tempo que leva para o programa entrar em vigor o grupo de controle é influenciado pelas expectativas de tratamento futuro Em alguns casos as pessoas do grupo de controle podem relutar em participar da coleta de dados quando não estão no programa Quando a randomização não é possível ou ética uma saída é a randomização para encorajar o tratamento Isso deve aumentar o acesso aos cursos e servir como uma ferramenta para o impacto da frequência do curso nos resultados do mercado de trabalho Em alguns casos as pessoas do grupo de controle podem relutar em participar da coleta de dados quando não estão no programa Quando a randomização não é possível ou ética uma saída é a randomização para encorajar o tratamento Isso deve aumentar o acesso aos cursos e servir como uma ferramenta para o impacto da frequência do curso nos resultados do mercado de trabalho