Avaliação de políticas públicas

O Que Funciona

O OQF é um hub de evidências que visa melhorar a forma como governos e outras organizações criam, partilham e usam evidências em suas tomadas de decisão. Clique na intervenção específica para encontrar mais detalhes incluindo como e onde funciona, custos e como implementá-la.

Filtros

Intervenção	Efeito	Implementação	Custo
O efeito da política sobre a melhoria do desempenho acadêmico dos alunos é positivo e moderado, mediado por características da implementação e dos estudantes Autores: Bruno Marques Schaefer, Tomás Paixão Borges, Frederico Augusto Auad Filho Tipo: Revisão original Acesse o estudo completo	Positivo melhoria do desempenho acadêmico dos alunos	moderada requer regras claras	Baixo
O efeito da implementação de políticas habitacionais sobre a polarização política local é negativo e moderado, caracterizado, principalmente, por ressentimento pós-reassentamento forçado, medo de variação dos preços locais após política habitacional, remoção de vínculos comunitários e percepção de injustiça Autores: Tomás Paixão Borges; Thaiza Siqueira da Silva; Ana Paula Lima dos Santos Tipo: Revisão original Acesse o estudo completo	Negativo estão associadas à intensificação de conflitos políticos locais	complexa imposição verticical. No entanto, participação comunitária, desenho urbano sensível ao entorno, transparência nos critérios no momento de planejamento e implementação diminuem chance de polarização local	Alto
Efeito sobre a letalidade policial positivo e moderado (redução de mortes), mediado pela redução do uso da força durante as atividades policiais Autores: Diego Campos, Eduarda Zuza, Shamira Rossi Tipo: Meta-revisão Acesse o estudo completo	Positivo redução do uso da força durante as atividades policiais	complexa a instalação das câmeras nos uniformes policiais é tecnicamente viável. No entanto, os custos relacionados à obsolescência e manutenção dos equipamentos devem ser levados em consideração	Médio
Políticas inteligentes de adaptação climática apresentam efeito positivo e forte na adaptação às mudanças climáticas. Efeito positivo (melhoria em 30% na prevenção desastres; aumento de 18-25% na eficiência operacional em gestão hídrica). A política é mais efetiva em contextos com infraestrutura adequada. Custo alto inicial em infraestrutura. Custo-efetivo a médio prazo (5+ anos) Autores: Frederico Augusto Auad de Gomes Filho; João Pedro Silva; Luísa Barreto; Poliana Portela Tipo: Meta-revisão Acesse o estudo completo	Positivo adaptação climática efetiva	complexa Requer capacitação local e padronização tecnológica. Fase piloto → parcerias multissetoriais → ajustes iterativos	Médio
Políticas de remuneração estudantil são positivas na redução da evasão escolar, especialmente através do alívio de restrições financeiras; aumento da frequência escolar; redução do trabalho precoce; fortalecimento de vínculos simbólicos com a instituição; mudança de comportamento familiar frente à educação. Os custos são baixos ou moderados quando comparado ao custo social da evasão. Programas bem desenhados demonstram alta relação custo-efetividade. Autores: Rodolfo Tavares e Ana Beatriz Oliveira Tipo: Meta-revisão Acesse o estudo completo	Positivo redução da evasão escolar	moderada requer regras claras	Baixo
Efeito moderado a forte na letalidade, maior acesso a armas para indivíduos com intenção criminal Autores: Izabela Borges; Pedro Bahia Tipo: Meta-revisão Acesse o estudo completo	Negativo aumento da letalidade	moderada requer fiscalização constante	Médio
Em sua maioria, os estudos sobre a efetividade das cotas apresentam um efeito positivo na inclusão de alunos pretos e pardos. Por meio das cotas, estes alunos obtiveram a possibilidade de adentrar o ambiente universitário e até mesmo desempenhar de maneira igual a alunos não cotistas. Autores: Antonio Carlos Tiburcio Rodrigues da Silva; Guilherme de Abreu Duque; Luiza de Souza Azevedo Tipo: Meta-revisão Acesse o estudo completo	Positivo aumento do número de estudantes negros nas Instituições de Ensino Superior	simples A reserva de vagas adota critérios socioeconômicos, fazendo uma combinação de critérios de renda e raça. Além disso, é implementada uma banca de heteroidentificação, visando diminuir as fraudes do sistema de cotas	Baixo
No geral, os estudos que analisam o efeito do Programa Bolsa Família (PBF) sobre o desempenho escolar das crianças e adolescentes beneficiados reportam efeito positivo, porém fraco. Dado que o desempenho escolar não representa o principal objetivo da política, há uma série de outras questões referentes a qualidade do ensino, as atividades em sala de aula, a infraestrutura da escola, e o interesse dos alunos, que precisam ser incluídas na análise. Autores: Izabela Borges; Pedro Bahia Tipo: Meta-revisão	Positivo leves mudanças de desempenhos e notas, que variam entre disciplina, ano de aplicação, e na forma como se mensura o desempenho	moderada programa de transferência de renda condicionada	Médio
O efeito da política sobre o aumento da legimitidade da polícia é positivo, porém fraco, caracterizado por práticas procedimentais justas, reconhecimento institucional de injustiças passadas e abertura para diversas práticas de participação cívica. Autores: Thaiza Siqueira da Silva; Ana Paula Lima dos Santos; Tomás Paixão Borges; Ana Beatriz do Nascimento Oliveira Tipo: Meta-revisão Acesse o estudo completo	Positivo pouco aumento da legimitidade policial	simples Treinamento de policiais para garantir interações respeitosas e imparciais com a comunidade e adoção de iniciativas de engajamento comunitário para fortalecer a confiança mútua e incentivar a cooperação	Alto
Por seu caráter complexo, as mudanças climáticas constituem um campo de ação com estratégias variadas, configurando-se como uma área propícia à articulação de diferentes abordagens em políticas públicas. O PROINFA demonstrou efeito positivo moderado na ampliação da participação de renováveis no SIN (9,14% eólica e 3,07% PCHs em 2020) e gerou impactos socioeconômicos locais significativos. Autores: Frederico Augusto Auad de Gomes Filho; João Pedro Silva; Luísa Barreto; Poliana Portela Tipo: Revisão original Acesse o estudo completo	Positivo e moderado ampliou a participação de renováveis no SIN e gerou impactos socioeconômicos locais	complexa apresenta desafios, como a falta de padronização tecnológica e necessidade de capacitação local. O Proinfa é realizado por meio de leilões, seguido de contratação regional e monitoramento pós-implantação	Alto
A execução da Garantia da Lei e da Ordem para o combate à violência urbana possui um efeito positivo de curto prazo, porém seu alto custo e resultados fugazes não garantem a continuidade no investimento das políticas públicas tampouco a redução da violência. Autores: Diego Campos, Eduarda Zuza, Rodolfo Tavares, Shamira Rossi Tipo: Revisão original Acesse o estudo completo	Positivo efeito positivo de curto prazo no combate à violência urbana	complexa por ser temporária e altamente custosa em recursos orçamentários e humanos, a implementação encontra desafios operacionais e logísticos na articulação com as forças estaduais de segurança pública	Alto

O que é?

O OQF é um hub de evidências que, como outros no Brasil e no mundo, visa melhorar a forma como governos e outras organizações do setor privado e da sociedade civil criam, partilham e utilizam evidências de alta qualidade na tomada de decisões.

A partir de um sólido conhecimento teórico e metodológico, sistematizamos evidências em diversas áreas de políticas públicas para determinar quais tipos de intervenções são mais eficientes em termos de resultados, e como podemos responder questões candentes no debate público.

Essas evidências são agregadas e produzidas a partir de revisões sistemáticas da literatura científica. Seguindo boas práticas nacionais e internacionais, sistematizamos trabalhos acadêmicos (sejam artigos, teses, dissertações ou outras revisões de literatura) que analisam a escala do efeito (se positivo, negativo ou misto); sua força (nível de impacto); qual o mecanismo que possibilita o resultado (como e por que algo funciona); se há moderadores (quando e porquê algo funciona); a implementação (como fazer); as percepções dos stakeholders em relação à política; e os custos envolvidos no tipo de intervenção.

A toolkit (ou caixa de ferramentas) de avaliação de políticas públicas que usamos têm os seguintes itens:

Escala do efeito - Efeito positivo, misto ou negativo sobre o resultado.
Força do efeito - Força do efeito a partir da evidência disponível.
Mecanismo (como funciona?) - Como a política (X) se liga ao seu efeito (Y).
Moderador (onde, quando e com quem funciona? - Contexto de funcionamento (ou não) da política.
Implementação (como fazer?) - Como se dá a implementação em casos bem-sucedidos.
Percepção (como os stakeholders interpretam a política?) - Sentido atribuído à intervenção por beneficiários, gestores e/ou implementadores.
Custo (quanto custa?) - Custo da política pública e seu benefício.

Como fazemos?

Avaliar se uma política pública funcionou ou não é uma atividade que requer uma metodologia própria. Quando pensamos em efetividade, efeito ou impacto dialogamos com o conceito de causalidade e suas implicações. Por exemplo: como é possível isolar o efeito de X (a política) sobre Y (o resultado)? Em termos contrafactuais, o que teria ocorrido com Y caso X não tivesse ocorrido? Além disso, outras questões são relevantes, por exemplo: Como a política funciona? Por que (não) funciona? Em que contextos o impacto é maior? Qual a percepção de beneficiários, gestores ou implementadores (stakeholders da política)? Para dar conta dessas diferentes perguntas, avaliamos políticas através da literatura, com o uso de revisão sistemática (RS).

Em linhas gerais, a RS se caracteriza como um método de localizar, selecionar, sintetizar e analisar evidências. O “sistemático” na RS provém da adoção de um protocolo ex ante para cada uma dessas etapas, de modo que o processo seja reproduzível e replicável. Há dois benefícios nesta escolha: por um lado, diminui os vieses no processo de escolha de trabalhos que serão lidos e analisados e, por outro, incrementa a transparência da pesquisa.

O uso de RS para avaliação, usualmente, segue uma escala: desde perguntas mais amplas (focadas no problema), até perguntas mais restritas (focadas na política/intervenção). Na área de educação, por exemplo, uma pergunta mais ampla é: “o que funciona para melhorar o desempenho dos/as estudantes?” (1); enquanto uma pergunta mais específica é: “o incremento salarial de professores por meta alcançada melhora o desempenho dos/as estudantes?” (2). No meio do caminho, há ainda a possibilidade de avaliação de uma intervenção específica (incremento salarial de professores) sobre uma série de outcomes (resultados) distintos: “quais os impactos do incremento salarial de professores” (3)? Nossa proposta é melhor indicada para responder questões como 2 e 3, dado que o foco principal da busca, filtragem, sistematização e análise está na intervenção/política pública (X).

Partimos de metodologia própria de revisão sistemática para avaliação sistemática (disponível aqui), bem como integramos revisões já realizadas sobre intervenções em diferentes áreas temáticas (Meio-Ambiente, Economia, Sociedade, Finanças, Recursos Humanos, Assistência Social e Direitos Humanos, Energia e Internet, Educação, Saúde, Transporte, Habitação e Zoneamento, Segurança e Corrupção e Transparência). Um de nossos diferenciais é a agregação, em formato sequencial, de evidências quantitativas e qualitativas.

Por que fazemos?

Um dos grandes desafios para o uso de avaliações no processo de formulação e tomada de decisão em políticas é o acesso, em formato acessível, dos achados de trabalhos acadêmicos.

Estratégias de divulgação e disseminação de seus achados, especialmente no caso de políticas públicas, devem ser pensadas com cuidado, para que possam ser úteis ao processo de avaliação e implementação de políticas. A literatura aponta alguns fatores importantes para disseminação efetiva de achados: (i) a questão abordada é relevante socialmente/politicamente; há clareza na mensagem; (ii) o conteúdo é acessível (mesmo que o produto final seja um artigo, esse material vem acompanhado de, por exemplo, um resumo executivo); (iii) a divulgação se dá em relação com tomadores de decisão; e (iv) há um balanceamento entre a rapidez da produção e a qualidade dos resultados.

A literatura sobre uso de evidências em políticas públicas ressalta a importância da comunicação clara – especialmente em termos de custos e benefícios das políticas – para que pesquisas sejam incorporadas ao processo de decisão.

Com isso em mente, o OQF é um hub de evidências em formato acessível, com recursos gráficos e textos curtos.

Apoios

IESP-UERJ
Assembléia Legislativa do Rio de Janeiro (ALERJ)