O Que Funciona

O que é?

O OQF é um hub de evidências que, como outros no Brasil e no mundo, visa melhorar a forma como governos e outras organizações do setor privado e da sociedade civil criam, partilham e utilizam evidências de alta qualidade na tomada de decisões.

A partir de sólido conhecimento teórico e metodológico no âmbito do MAPE (Laboratório de Monitoramento e Avaliação de Políticas e Eleições do IESP-UERJ), sistematizamos evidências em diversas áreas de políticas públicas para determinar quais tipos de intervenções são mais eficientes em termos de resultados, e como podemos responder questões candentes no debate público.

Essas evidências são agregadas e produzidas a partir de revisões sistemáticas da literatura científica. Seguindo boas práticas nacionais e internacionais, sistematizamos trabalhos acadêmicos (sejam artigos, teses, dissertações ou outras revisões de literatura) que analisam a escala do efeito (se positivo, negativo ou misto); sua força (nível de impacto); qual o mecanismo que possibilita o resultado (como e por que algo funciona); se há moderadores (quando e porquê algo funciona); a implementação (como fazer); as percepções dos stakeholders em relação à política; e os custos envolvidos no tipo de intervenção.

A toolkit (ou caixa de ferramentas) de avaliação de políticas públicas que usamos têm os seguintes itens:

• Escala do efeito - Efeito positivo, misto ou negativo sobre o resultado.
• Força do efeito - Força do efeito a partir da evidência disponível.
• Mecanismo (como funciona?) - Como a política (X) se liga ao seu efeito (Y).
• Moderador (onde, quando e com quem funciona?) - Contexto de funcionamento (ou não) da política.
• Implementação (como fazer?) - Como se dá a implementação em casos bem-sucedidos.
• Percepção (como os stakeholders interpretam a política?) - Sentido atribuído à intervenção por beneficiários, gestores e/ou implementadores.
• Custo (quanto custa?) - Custo da política pública e seu benefício.

Como fazemos?

Avaliar se uma política pública funcionou ou não é uma atividade que requer uma metodologia própria. Quando pensamos em efetividade, efeito ou impacto dialogamos com o conceito de causalidade e suas implicações. Por exemplo: como é possível isolar o efeito de X (a política) sobre Y (o resultado)? Em termos contrafactuais, o que teria ocorrido com Y caso X não tivesse ocorrido? Além disso, outras questões são relevantes, por exemplo: Como a política funciona? Por que (não) funciona? Em que contextos o impacto é maior? Qual a percepção de beneficiários, gestores ou implementadores (stakeholders da política)? Para dar conta dessas diferentes perguntas, avaliamos políticas através da literatura, com o uso de revisão sistemática (RS).

Em linhas gerais, a RS se caracteriza como um método de localizar, selecionar, sintetizar e analisar evidências. O "sistemático" na RS provém da adoção de um protocolo ex ante para cada uma dessas etapas, de modo que o processo seja reproduzível e replicável. Há dois benefícios nesta escolha: por um lado, diminui os vieses no processo de escolha de trabalhos que serão lidos e analisados e, por outro, incrementa a transparência da pesquisa.

O uso de RS para avaliação, usualmente, segue uma escala: desde perguntas mais amplas (focadas no problema), até perguntas mais restritas (focadas na política/intervenção). Na área de educação, por exemplo, uma pergunta mais ampla é: "o que funciona para melhorar o desempenho dos/as estudantes?" (1); enquanto uma pergunta mais específica é: "o incremento salarial de professores por meta alcançada melhora o desempenho dos/as estudantes?" (2). No meio do caminho, há ainda a possibilidade de avaliação de uma intervenção específica (incremento salarial de professores) sobre uma série de outcomes (resultados) distintos: "quais os impactos do incremento salarial de professores" (3)? Nossa proposta é melhor indicada para responder questões como 2 e 3, dado que o foco principal da busca, filtragem, sistematização e análise está na intervenção/política pública (X).

Partimos de metodologia própria de revisão sistemática para avaliação sistemática (disponível aqui), bem como integramos revisões já realizadas sobre intervenções em diferentes áreas temáticas (Meio-Ambiente, Economia, Sociedade, Finanças, Recursos Humanos, Assistência Social e Direitos Humanos, Energia e Internet, Educação, Saúde, Transporte, Habitação e Zoneamento, Segurança e Corrupção e Transparência). Um de nossos diferenciais é a agregação, em formato sequencial, de evidências quantitativas e qualitativas.

Por que fazemos?

Um dos grandes desafios para o uso de avaliações no processo de formulação e tomada de decisão em políticas é o acesso, em formato acessível, dos achados de trabalhos acadêmicos.

Estratégias de divulgação e disseminação de seus achados, especialmente no caso de políticas públicas, devem ser pensadas com cuidado, para que possam ser úteis ao processo de avaliação e implementação de políticas. A literatura aponta alguns fatores importantes para disseminação efetiva de achados: (i) a questão abordada é relevante socialmente/politicamente; (ii) há clareza na mensagem; (iii) o conteúdo é acessível (mesmo que o produto final seja um artigo, esse material vem acompanhado de, por exemplo, um resumo executivo); (iv) a divulgação se dá em relação com tomadores de decisão; e (v) há um balanceamento entre a rapidez da produção e a qualidade dos resultados.

A literatura sobre uso de evidências em políticas públicas ressalta a importância da comunicação clara – especialmente em termos de custos e benefícios das políticas – para que pesquisas sejam incorporadas ao processo de decisão.

Com isso em mente, o OQF é um hub de evidências em formato acessível, com recursos gráficos e textos curtos.

Como ler?

No site apresentamos uma tabela com a nossa caixa de ferramentas para cada intervenção e resultado. Trabalhamos com perguntas de pesquisas que postulam claramente o tipo de política (Intervenção) e o tipo de Resultado analisados. Por exemplo: “o banimento do celular em salas de aulas (Intervenção) aumenta o desempenho acadêmico dos/as estudantes (Resultado)?”. Além disso, apresentamos o Efeito observado em dimensão valorativa, ou normativa, a partir da revisão, que pode ser positivo - i.e., os seus efeitos são valorativamente bons -, negativo - i.e., os seus efeitos são valorativamente ruins - ou neutro, com gradações (fraco, moderado ou forte), características da implementação (simples, moderada ou complexa) e o custo monetário da política (alto, médio, baixo ou sem informação).

Entre em contato

Se você é gestor/a público/a, integrante de organização da sociedade civil ou do terceiro setor, ou pesquisador/a interessado/a em avaliação de políticas públicas, estamos abertos a construir parcerias. Nossa equipe utiliza uma metodologia rigorosa, transparente e replicável de revisão e avaliação sistemática, capaz de gerar sínteses claras sobre o que funciona, como funciona e em quais contextos funciona. Caso tenha interesse em desenvolver avaliações, aprimorar programas existentes ou responder perguntas específicas sobre impacto, ficaremos felizes em conversar e explorar possibilidades de colaboração.

Apoios

• IESP-UERJ
• Programa de Pós-Graduação em Ciência Política (IESP-UERJ)
• Assembléia Legislativa do Rio de Janeiro (ALERJ)