Teoria da Mudança e o Painel de Indicadores

Com base nos resultados propostos pela teoria da mudança, foi construído um painel de indicadores para monitorar os resultados listados em cada uma das categorias. O foco foi no monitoramento de resultados –– em oposição a produtos –– o que se justifica pelo fato de que, produtos são etapas mais preliminares, resultados, por outro lado, decorrem também de transformações nas populações-alvo. Essas transformações são interesses centrais de qualquer intervenção socioambiental e não dependem, exclusivamente, das ações implementadas –– isto é, não estão sob o controle direto dos responsáveis pela intervenção.

O primeiro passo para a construção do menu de indicadores envolveu a criação de uma ampla lista de potenciais indicadores, concebidos a partir dos resultados presentes na teoria de mudança. A montagem dessa lista de potenciais indicadores exigiu extensas revisões de literatura e análises de benchmarking no sentido de buscar referências que descrevam intervenções que tenham mensurado resultados similares aos propostos na teoria de mudança do projeto focal. Em particular, sempre que possível, optou-se por incluir indicadores cujo uso já seja bem estabelecido na literatura.

Uma lista completa de indicadores potenciais deve conter, além da definição e descrição de cada indicador, outras informações relevantes para a escolha final do painel de monitoramento a ser utilizado na intervenção. Nesse sentido, é importante descrever a origem do (potencial) indicador proposto (e.g., uma referência na literatura que utiliza o mesmo indicador) e o público-alvo da medição––isto é, os indivíduos cujos dados devem ser coletados, caso o indicador em questão seja escolhido. Além disso, é essencial descrever a fonte dos dados necessários para o cálculo de cada indicador. Por fim, é crucial, também, descrever como os dados podem ser obtidos e qual deve ser a frequência da coleta de dados.

Partindo-se dessa lista de indicadores potenciais cada indicador foi classificado em relação a quatro critérios: relevância, sensibilidade à ação dos gestores, precisão, e custo, e foram calculados escores a partir desses quatro critérios.
• Relevância: um indicador deve ser considerado mais relevante quando sua evolução é valorizada pela população-alvo.
• Sensibilidade à ação dos gestores: um indicador é passível de ação (ou seja, sensível à ação dos gestores) quando há evidências robustas de que esse indicador é afetado pelas ações dos gestores ou responsáveis pelas intervenções em questão.
• Precisão: de acordo com esse critério, um indicador baixo é menos preciso caso não reflita, adequadamente, o resultado que se propõe a medir, ou quanto possa ser sujeito a distorções e até mesmo manipulação.
• Custo: é preciso considerar o custo total de utilização do indicador, incluindo o custo de coleta dos dados. Em geral, indicadores baseados em dados secundários tendem a ser menos custosos, enquanto indicadores que exijam coleta primária –– como surveys ou entrevistas in loco –– são mais caros.

Para facilitar a classificação de cada indicador, a tabela abaixo apresenta rubricas de avaliação (rubrics) para cada critério, indicando pontos (em uma escala de 1 a 4) que refletem o grau com que cada indicador se adequada a cada critério examinado.

Rubricas para a classificação das métricas propostas

Um indicador deve ser considerado relevante quando os resultados que se propõe a medir são valorizados pela população-alvo. É, portanto, crucial que o indicador esteja intimamente ligado a algum resultado presente na teoria de mudança, para que seja considerada relevante. No contexto do presente estudo, a fim de se definir o quanto as populações-alvo valorizam os diferentes resultados, utilizaram-se informações qualitativas obtidas a partir de reuniões virtuais com moradores do Jardim Lapena. Os aspectos citados por esses moradores foram então levados em consideração ao se julgar a relevância dos diferentes indicadores.

Por outro lado, um indicador deve ser considerado passível de ação se há evidências de que esse indicador pode ser afetado pelas ações de gestores. De acordo com as rubricas, um indicador deve receber nota 1 se não está suficientemente claro como as atividades previstas na teoria de mudança podem afetá-la. Caso haja apenas “argumentos lógicos” ligando atividades da teoria de mudança às mudanças na indicador, esta deve receber nota 2 no critério “Passível de Ação?”; e a pontuação deve aumentar à medida que a robustez da evidência disponível aumente. No limite, caso exista evidência causal de que a indicador é impactada pelas ações previstas na teoria de mudança (e.g., evidência baseada em estudos empíricos robustos), esta deve receber nota 4 no critério em questão.

O terceiro critério elencado diz respeito à precisão do indicador. Indicadores que sejam facilmente distorcidas ou manipuladas devem ser consideradas pouco precisas. Por exemplo, indicadores que refletem aspectos demasiadamente subjetivos da população-alvo são menos precisos do que indicadores mais objetivos; de maneira similar, indicadores que utilizam fontes de dados de baixa confiabilidade são considerados menos precisos do que as que utilizam fontes de dados reconhecidas e legitimadas.

Finalmente, o quarto critério descrito é o custo envolvido na coleta de dados prevista pelo indicador. Em geral, conforme mencionado anteriormente, indicadores que exigem coleta de dados primários tendem a ser mais caros. Esse tipo de indicador é particularmente importante no contexto de intervenções em áreas urbanas, já que, muitas vezes, fontes de dados secundários com cortes territoriais inexistem ou possuem periodicidade muito longa (como é o caso do Censo do IBGE).

Dados os critérios acima destacados, o menu de indicadores atribui, a cada indicador, um escore final calculado como o produto dos escores recebidos em cada critério. Por exemplo, suponha que um indicador esteja intimamente relacionado a um resultado muito valorizado pela população-alvo e envolva dados de fontes legitimadas (resultando em escore 4 nos critérios de precisão e relevância), mas dependa de medições por surveys customizadas no território (recebendo, portanto, escore 1 no critério custo). Suponha, ainda, que existam argumentos lógicos sugerindo que o indicador seja passível de ação, mas não evidências empíricas robustas (de modo que se atribua escore 3 ao critério de sensibilidade às ações). No fim das contas, esse indicador será associado a um escore final de 4x4x3x1 = 48 no menu de indicadores.

Note que o produto dos escores de cada critério é usado para compor o escore final (em vez de uma soma simples) porque indicadores ideais devem ter, a princípio, bons escores em todos os critérios. Por exemplo, um indicador pode ter baixo custo mas, ao mesmo tempo, ser relativamente imprecisa e com relevância discutível. O escore final calculado com base no produto dos escores de cada categoria penaliza indicadores desse tipo e, portanto, pode ser usado como uma referência para a escolha dos indicadores que farão parte do painel de monitoramento. Em particular, este estudo adotou a seguinte convenção: indicadores com escores finais superiores a 127 são consideradas atrativos (e designadas pela cor verde), enquanto aqueles com escores menores ou iguais a 54 são considerados pouco atrativos (e realçadas em vermelho); indicadores com escores finais entre esses dois valores, por outro lado, podem ser atrativos, mas merecem atenção especial (e são pintados de laranja).

O menu de indicadores é um primeiro passo para se considerar a inclusão de um determinado indicador no painel final de indicadores. É possível, entretanto, que um determinado indicador tenha um escore final baixo no menu, mas seja considerado muito importante –– por exemplo, porque os gestores ou responsáveis pela intervenção atribuam elevada importância à sua evolução. Assim, para além da classificação de indicadores baseada nos critérios apresentados no menu, é preciso colher informações adicionais que permitam priorizar a sua inclusão no painel final proposto.

Na sequência, os membros do Comitê de Gestão do projeto priorizaram cada indicador. Considerando-se suas respostas, definiram-se dois tipos de painéis: inicial e avançado, em que o primeiro inclui indicadores com maiores escores e considerados mais relevantes. Vale notar, entretanto, que essa separação é apenas sugestiva; pode-se optar por já iniciar simultaneamente a coleta de todos os indicadores, a depender da disponibilidade de dados e capacidade de compilação de informações.