Avaliação de Impacto de Programas e Políticas Sociais Semana 1 Porque Aleatorizar

Por que Aleatorizar\n\nFeedback\n\nA.1. O que é impacto?\n\nA. É o valor da variável relevante ao se finalizar o programa.\nB. São as mudanças da população alvo antes e depois do programa.\nC. São as mudanças atribuídas ao programa e a outros fatores relevantes.\nD. São as mudanças atribuídas ao programa e não a outros fatores.\n\nA resposta correta é a alternativa D. O impacto é a diferença entre as mudanças observadas depois do programa e a hipótese do que teria acontecido caso este tivesse sido implementado. A diferença resultante é atribuída unicamente ao programa e não a outros fatores. A.2. O que é o contratual?\n\nA. É o estado dos participantes antes de se implementar o programa.\nB. É o estado que os participantes experimentariam na ausência do programa, e que não é observável.\nC. É o estado dos participantes depois do programa, e que é observável.\nD. É a diferença entre a ator e depois da implementação do programa.\n\nA resposta correta é a alternativa B. O contratual tem as seguintes características: 1. é hipotético, pois representa o estado que os participantes teriam experimental caso não tivessem participado do programa. 2. Não é observado, pois precisamos estimar para medir o efeito de um programa.\n\nA.3. Selecione um qual destes casos o programa teve um impacto positivo:\n\nA. Imagem 1.\nB. Imagem 2.\nC. Imagem 3.\nD. Não se pode determinar.\n\nA resposta correta é a alternativa D. Embora a mudança no gráfico sugira um impacto positivo da intervenção, na verdade, o suficiente para nos dar certeza. O mesmo acontece nos outros casos, onde, embora a tendência seja neutra ou negativa, na realidade, pode ter tido ainda mais (o que significaria um impacto positivo). Em última instância, precisamos prever o que teria acontecido às pessoas beneficiárias caso não tivessem recebido o programa. B.1. Qual é a principal diferença entre os diferentes métodos de avaliação de impacto?\n\nA. Como se estima o contratual: a diferença entre os que participam e os que não participaram do programa.\nB. Como se estima o contratual: como definimos quem forma o grupo de controle.\nC. Como se estima o contratual: a amostra antes e depois dos participantes do programa.\n\nA resposta correta é a alternativa A. Alguns métodos de avaliação de impacto são Antes e depois. Diferenças simples. Diferenças em diferenças, e o Método experimental. A principal diferença entre eles é como se estima o contratual, ou seja, a forma como se constrói o grupo de controle. Será explicado no decorrer do curso, cada método tem premissas a respeito do contratual que devem ser respeitadas para a análise do impacto seja válida.\n\nC.1. Qual é o grupo de controle no método Antes e depois?\n\nA. Os mesmos participantes antes de entrarem no programa.\nB. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle.\nC. Os não participantes, dos quais se recolhem dados depois do programa.\nD. Os participantes, dos quais se recolhem dados antes do evento.\n\nA resposta correta é a alternativa A. O método Antes e depois estima o impacto de um programa medindo as mudanças nos participantes ao longo do tempo: calcula-se o estado dos participantes antes e depois do programa. No grupo de controle estão, portanto, os participantes que entram no programa. C.2. Por que o método Antes e depois poderia oferecer uma má estimativa do contrafactual? A. Porque o grupo de controle tem acesso ao programa. B. Porque o grupo de tratamento e o grupo de controle são distantes antes do início do programa. C. Porque muitos fatores não relacionados ao programa mudam com o tempo, podendo afetar o resultado que queremos medir. A resposta correta é a alternativa A. O método Antes e depois pode levar a outros fatores que afetam a variável de interesse e, portanto, a mudança observada nessa variável pode não ser unicamente atribuída à intervenção. A alternativa A não é correta porque o controle só são participantes quando eles não têm acesso ao programa. E B é a correta, porque os grupos de tratamento e controle são distintos antes do tratamento, a noção de temporalidade indica que a alternativa não faz sentido. C.3. Qual é o principal problema do método de Diferença simples? A. É difícil recolher informações sobre pessoas que não participaram do programa. B. É possível que as pessoas não elegíveis ou que escolhem não participar do programa sejam sistematicamente diferentes do grupo de participantes. C. O grupo de pessoas não elegíveis ou que escolhem não participar do programa é muito mais numeroso que o grupo de participantes. A resposta correta é a letra B. E certo que pode haver dificuldades adicionais para se recolher informações de quem não participou do programa, mas o problema fundamental é que os participantes e sistematicamente diferentes de não participantes, isso pode interferir nos resultados ao não proporcionar uma estimativa valida do impacto. Isso se deve ao fato de que os resultados observados podem refletir a intervenção como pelas características distintas de dois grupos. D.1. Qual é a premissa básica do método de Diferenças em diferenças? A. Não existem choques, como recessões ou booms econômicos, que afetam o equilíbrio macroeconômico. B. Os participantes e não participantes do programa são, em média, idênticos nas variáveis observáveis e não observáveis. C. Na ausência do programa, a tendência no tempo da variável de resultado seria igual no grupo de participantes e no grupo de não participantes. A resposta correta é a alternativa C. Para poder interpretar a Diferença em diferenças como efeito causal do programa, a tendência da variável de resultado deve ser paralela nos dois grupos (participantes e não participantes). Assim, qualquer mudança na tendência observada no grupo de participantes se equivaleria ao efeito causal do programa. A primeira resposta não é correta, pois se um choque afetar os dois grupos, isso pode interferir na validade do método. A segunda resposta também é correta, pois os dois grupos podem ser diferentes (incluindo suas características não observáveis), e o método permanecerá adequado se a premissa de tendências paralelas for verdadeira. D.2. Qual é a vantagem do método Diferenças em diferenças? A. Gerar dois grupos similares que são comparáveis depois da implementação da política. B. O método de Antes e depois é como um aleatorizador do grupo de controle. C. Permitir que, com o tempo, as tendências dos grupos sejam paralelas. D. Corrigir por diferenciais pré-existentes entre os dois grupos (observáveis e não observáveis). A resposta correta é a alternativa C. O método de Diferença em diferenças é que ele corrige pelas diferenças pré-existentes entre os dois grupos. Contudo, é importante que a Diferença simples e a diferença em diferenças possa ser atribuída às mudanças no programa ou por alterações no contexto que ocorreram antes ou depois do programa. D.3. Com base na tabela, calcule o impacto do programa segundo os três métodos já vistos: A. Antes e depois = 70 B. Diferença simples = 30 C. Diferenças em diferenças = 1 A resposta correta são, respectivamente para Antes e depois, Diferença simples e Diferenças em diferenças, 7, 3 e 1. O método Antes e depois calcula o impacto de um programa a partir da diferença entre os participantes antes e depois dele. Nesse caso, 21 - 14 = 7. O método de Diferença simples calcula o impacto de um programa a partir da diferença entre os não participantes e depois calculado em um programa a partir da diferença entre os participantes e os não participantes na data de acompanhamento (14 - 12 = 2) e (21 - 18 = 3). Depois, tomamos a diferença entre as diferenças: 3 - 2 = 1. D.4. Qual é o grupo de controle do método da Regressão multivariada? A. Os mesmos participantes, antes de entrarem no programa. B. A parte da população elegível que, geralmente, é alocada no grupo de controle. C. Os não participantes, dos quais se coletam dados detalhados sobre variáveis observáveis. D. Os não participantes dos quais se recolhem dados depois do programa. A resposta correta é a alternativa C. O método da Regressão multivariada estima o impacto de um programa, elege uma variável de resultado e depende das variáveis observacionais (ou controladas) estatisticamente - o efeito do operadores vários. Assim, o grupo de controle é construído coletando-se dados relacionados de variáveis observáveis (como renda, idade, gênero etc) e não participantes. E.1. Qual é a principal diferença entre os métodos do Pareamento e de Diferença simples?\nA. O método do Pareamento tenta estimar o contratual e o da Diferença simples, não.\nB. O método do Pareamento tenta estimar o contratual com base nas variáveis não observáveis, enquanto a Diferença simples se baseia somente nas variáveis observáveis.\nC. O método do Pareamento gera um grupo de controle similar ao grupo tratado em variáveis observáveis, enquanto na Diferença simples os grupos não são necessariamente similares em variáveis observáveis.\nA resposta correta é C. No método da Diferença simples, comparam-se todos os participantes com todos os participantes que temos informação. Estes dois grupos podem ser muito diferentes entre si. Pelo método do Pareamento, construímos um grupo de controle baseado em variáveis observáveis que se selecionam individualmente entre os indivíduos que estão incorretos para o programa. A resposta A está incorreta porque o método de Pareamento também estima o contratual. A resposta B está incorreta porque o pareamento se baseia apenas em variáveis observáveis.\nE.2. Qual o grupo de controle do método de Pareamento?\nA. Os mesmos participantes, antes de entrarem no programa.\nB. Para cada participante, busca-se ao menos um não participante que é idêntico nas características observáveis.\nC. Os participantes que são recolhidos dados depois do programa.\nD. A parte da população elegível, que realmente aleatoriamente, é alocada no grupo de controle.\nA resposta correta é a alternativa B. O método do Pareamento estima o impacto de um programa por um participante com ao menos um não participante similares nas características observáveis. E.3. Na seleção de participantes, que características um programa deve ter para permitir a aplicação do método da Regressão descontínua?\nA. Os participantes entraram no programa por ordem de chegada.\nB. A linha de corte ser um limite externo de entrada ou não do programa.\nC. Os participantes entraram no programa por meio de uma sorteio.\nD. Os participantes entraram no programa por meio da decisão política do gestor.\nA resposta correta é letra B. No método da Regressão descontínua, os indivíduos são classificados com base em critérios mensuráveis, e quando uma linha de corte determina se uma pessoa é elegível ou não. Comparam-se as pessoas que estão logo acima e abaixo dessa linha de corte.\nF.1. Por que a avaliação aleatorizada permite eliminar o viés de seleção?\nA. Porque a aleatorização garante que os grupos de tratamento e de controle sejam similares antes de se implementar o programa.\nB. Porque requer menos tempo e simplifica a implementação do programa.\nC. Porque garante que o programa terá um impacto maior.\nD. Porque permite focar nos grupos que também não temos que entregar para toda a população elegível. F.2. Qual é o grupo de controle na avaliação aleatorizada?\nA. Os mesmos participantes, antes de entrarem no programa.\nB. A parte da população elegível que é alocada randomicamente (por meio de um sorteio), é alocada no grupo de controle.\nC. Os participantes, dos quais se recolhe os dados antes e depois do programa.\nA resposta correta é a alternativa B. Na avaliação aleatorizada, o grupo de controle será constituído por parte da população elegível selecionada de maneira aleatória. A principal diferença deste método em relação aos anteriores é essa seleção aleatória (por sorteio), pois nos outros casos não existem reciproca relacionada às respostas dos não participantes.\nF3. Para cada etapa da análise aleatorizada, selecione qual aspecto que devemos tomar em consideração.\nA. Verificar os grupos de tratamento e controle são similares.\nB. Identificar comportamentos relevantes ou as características do grupo de tratamento e controle.\nC. Avaliar seu impacto de forma estatística e empiricamente significativa.\nD. Recolher dados dos grupos de tratamento após a implementação do programa. Passo a passo da avaliação aleatorizada:\n1. Ao desenhar ou estudar cuidadosamente, que ação devemos levar em conta? Alocar aleatoriamente os grupos de tratamento e de controle.\n2. Ao coletar os dados dos grupos de tratamento e de controle para a linha de base, que ação devemos levar em conta? Verificar que os dois grupos são similares.\n3. Ao monitorar o progresso para ter certeza de que a integridade da avaliação esteja garantida, que ação devemos levar em conta? Recolher dados dos grupos de tratamento e de controle depois que o programa tiver sido implementado.\n4. Para estimar o impacto, considerando os resultados médios dos grupos de tratamento e de controle, que ação devemos levar em conta? Avaliar se o programa é estatística e empiricamente significativo.\n\n1 - Na etapa de desenho de uma avaliação, o que deve ser levado em conta é a alocação aleatória da amostra (seja ela obtida de maneira aleatória ou não).\n2 - Na coleta de dados para a linha de base, o que deve ser levado em conta é que os dois grupos sejam estatisticamente similares (e que estejam balanceados nas características observáveis).\n3 - Na monitoramento, podemos observar e acompanhar a linha de base. Por mais uma vez, dos grupos de tratamento e controle.\n4 - Na etapa de aferir o impacto, o que deve ser levado em conta é a significância estatística e a relevância empírica dessa estimativa de impacto.