¿Qué son y cómo se construyen los indicadores en la evaluación de impacto?

Un indicador es una comparación entre dos o más tipos de datos que sirve para elaborar una medida cuantitativa o una observación cualitativa. Esta comparación arroja un valor, una magnitud o un criterio, que tiene significado para quien lo analiza.

Los indicadores se utilizan en diversos ámbitos. Un ejemplo básico de indicador es el porcentaje. Otros indicadores comunes pueden ser la tasa de empleo, la tasa de desempleo, la tasa de actividad, la tasa de informalidad, por mencionar algunos.

Una de las ventajas de utilizar indicadores es la objetividad y comparabilidad;  representan un lenguaje común que facilita una medida estandarizada. Son   herramientas útiles porque permiten valorar diferentes magnitudes como, por ejemplo, el grado de cumplimiento de un objetivo o el grado de satisfacción de un participante en la formación.

Los indicadores por lo general, se construyen con información  cuantitativa, no obstante y de modo creciente, se usan indicadores cualitativos.

Un indicador debe ser construido con un claro criterio de utilidad, para asegurar la disponibilidad de los datos y resultados más relevantes en el menor tiempo posible y con un menor costo. También es necesario elaborar indicadores que den cuenta de todas las dimensiones sobre las cuales el programa o las acciones de formación se han propuesto intervenir.  Siguiendo lo planteado en el eje 2 “Conceptualización” los indicadores podrían describir los resultados, efectos e impactos en las personas, las empresas y la sociedad.

¿Qué tipos de indicadores se utilizan y para qué?

Como se vio en el módulo 1 “Conceptualización”, la inversión en una acción de formación, enmarcada en una teoría del cambio: origina una cadena de resultados, efectos e impactos. Para cada una de las etapas de la cadena se pueden definir indicadores.

Los indicadores deben asegurar que son buenas medidas del desempeño del programa, por esto el acrónimo EMARF (Específicos, Medibles, Atribuibles, Realistas y Focalizados), por lo tanto, los indicadores deberían ser:

• Específicos: para medir la información requerida de la forma más rigurosa posible.
• Medibles: para garantizar que la información se puede obtener fácilmente.
• Atribuibles: para asegurar que cada medida está relacionada con los logros del proyecto.
• Realistas: para garantizar que los datos se pueden obtener de manera oportuna, con una frecuencia y un costo razonables.
• Focalizados: en la población objetivo.

Indicadores de gestión

Se utilizan para realizar el monitoreo de los procesos, de los insumos y de las actividades que se ejecutan con el fin de lograr los productos específicos de una política o programa³⁶.

Ejemplos de indicadores de gestión:

Indicadores de resultado o producto

Relacionan los bienes y servicios generados por la acción de formación;  resultan de las actividades de transformación de los insumos y generan un incremento en los productos aplicables a la formación.

Ejemplos de indicadores de resultado: 

Indicadores de efecto

Se refieren a las consecuencias inmediatas de  la formación y desarrollo de competencias sobre las personas, las empresas o la sociedad.  Representan el encuentro de las acciones formativas, con la demanda de  los participantes.

Algunos indicadores de efectos:

Indicadores de impacto

Representan el cambio esperado en la situación de los participantes una vez que la formación se lleva a cabo. Usualmente se pueden medir en períodos de mediano o largo plazo debido a que se requiere un lapso, para que se puedan medir el mejoramiento de los ingresos, las condiciones de trabajo, la empleabilidad y los  demás impactos mencionados en el eje 1 “Contexto”.

 Algunos indicadores de impacto: 

Los indicadores de impacto:

• Expresan los cambios ocasionados a partir de las acciones de formación. Deben permitir la comparación con la situación anterior a la implementación del programa  y en los sucesivos cortes evaluativos programados.  Para ello es necesario disponer de la llamada “línea de base” y los momentos de evaluación intermedia, final y de impacto.

• Reflejan cambios observados en la población objetivo (salarios, empleo, protección social) así como de situaciones expresadas cualitativamente (satisfacción, salud, bienestar).

• Se definen desde el diseño de las acciones de formación³⁷ y, de esa manera se garantiza su solidez y confiabilidad.

• Deben buscar el retorno económico de la formación para poder demostrar la utilidad del esfuerzo realizado.

• Deben ser válidos, es decir comprobar efectivamente aquello que se pretende medir.

• Deben ser confiables. Su valor no depende de quien lo mida pues las variaciones que refleja son efectivamente encontradas en la realidad.

• Pueden ser cuantitativos y cualitativos, estos últimos están basados en la percepción o el grado de convicción del participante sobre una cierta situación.

En el anexo 2 se incluyen criterios para la elaboración de indicadores, en los anexos 3, 4 y 5 se incluyen ejemplos de aplicación.

En la evaluación de impacto se utilizan métodos cuantitativos y cualitativos, no son métodos excluyentes y se suelen utilizar en forma combinada, dependiendo de las características del programa a evaluar, del tipo de participantes  y del enfoque de evaluación diseñado.

Para elegir un método de evaluación de impacto se tienen en cuenta las características operativas del programa que se evalúa, sus recursos disponibles, sus criterios de elegibilidad para seleccionar a los beneficiarios y los plazos para la implementación del programa (Banco Mundial, 2016).

Pueden utilizarse enfoques complementarios en la evaluación de impacto para responder a preguntas específicas de causa y efecto, dentro de ellos se pueden aplicar métodos mixtos.

Los enfoques de métodos mixtos combinan los métodos cuantitativos y cualitativos, ayudan a generar hipótesis y enfocar las preguntas de la investigación antes de recopilar los datos cuantitativos, también sirven para presentar perspectivas y visiones novedosas del desempeño de un programa durante y después de su implementación.

Para el enfoque de métodos mixtos se definen tres diseños:

• Convergente paralelo: Recopila simultáneamente datos cualitativos y cuantitativos, se utilizan para generar los primeros resultados sobre cómo se está implementando el programa y cómo lo perciben los beneficiarios.
• Explicativo secuencial: Los datos cualitativos proporcionan contexto y explicaciones para los resultados cuantitativos, explorando casos atípicos de éxito o fracaso.
• Exploratorio secuencial: Para el desarrollo de evaluación se pueden utilizar grupos focales, listas, entrevistas con informantes y otros enfoques cualitativos para desarrollar hipótesis de cómo y por qué el programa funciona (Banco Mundial, 2016).

36  Los datos que se comparan en los indicadores cuantitativos reciben el nombre de “variables”

37  Usualmente los indicadores se definen en herramientas de planificación como el “marco lógico” muy utilizado en el diseño de proyectos