¿En qué consiste la evaluación de impacto con métodos cualitativos?

Es un tipo de evaluación en la que las fuentes de información incluyen datos no numéricos y además la relación de causalidad entre la acción de formación se comprueba sin conformar un grupo de control. Es decir, no requiere de un escenario contrafactual.  Por tal razón no se establecen controles experimentales en la acción evaluada.

Otras características del método cualitativo son⁴⁹:

• no utiliza variables preestablecidas, por lo tanto los resultados no se limitan a tales variables;
• no incorpora evidencia sobre individuos que no recibieron los beneficios del programa;
• identifica una serie de eventos o acciones  que conducen a un resultado en particular y establece su relación de causalidad;
• describe las condiciones iniciales de los beneficiarios  y luego identifica una serie de eventos que ocurren en diferentes momentos y que conducen al resultado o impacto;  
• asume una concepción “física” de causalidad, que es la relación entre dos eventos en el mundo natural (por ejemplo: “el joven participó en el programa de formación y como resultado ha mejorado sus ingresos”) a diferencia de la definición de causalidad  que utiliza el método cuantitativo (“el joven mejoró sus ingresos porque participó en el programa, de otra manera no lo hubiera hecho”);
• en lugar de buscar aislar los factores externos a la intervención, este método los incorpora para observar las interacciones que ocurren entre los participantes y la formación, en su contexto geográfico, cultural, organizacional e histórico;
• brinda la oportunidad de obtener evidencia de aquellos impactos que no pudieron anticiparse al inicio del programa o la evaluación   (positivos y negativos);
• en lugar de utilizar un experimento (comparación) para determinar la causalidad, el método cualitativo emplea la técnica de trabajo de campo que permite al evaluador observar y/o interactuar con los participantes de la formación en el terreno.

Algunas de las preguntas que se formulan en esta evaluación son⁵⁰:

• ¿Cuáles impactos produjo el programa?
• ¿Qué significado tienen estos impactos para los beneficiarios?
• ¿Cuáles fueron los mecanismos que  generaron estos impactos?
• ¿Cuál es el contexto o entorno en el cual se generaron estos impactos?

La utilización de los métodos cualitativos es creciente y se les aplica también en forma combinada con métodos cuantitativos.   

El estudio de casos⁵¹ es uno de los métodos cualitativos más empleados en acciones de formación dirigidas a colectivos de la economía informal y rural⁵². En el anexo 6 se describe una experiencia de aplicación de esta metodología por el IDRC.⁵³

El propósito de los estudio de casos es examinar el efecto del programa en los beneficiarios para lo cual, se describen y definen los beneficiarios del programa, examinan sus necesidades y determinan hasta qué punto éstas fueron satisfechas efectivamente por la intervención (Stufflebeam, 2000).

El evaluador debe conocer qué piensan los beneficiarios y cuáles son sus percepciones acerca de sus necesidades y el impacto del programa⁵⁴. Con este propósito, en un estudio de caso se utilizan múltiples técnicas de recolección de información que incluyen la observación y el análisis de documentos elaborados a partir de las observaciones.

Otra técnica utilizada es la del cambio más significativo,  una forma de seguimiento y evaluación participativa que involucra a los interesados en la acción evaluada, tanto en el análisis de los cambios, como en el de los datos recogidos.

Se produce durante todo el ciclo del programa y proporciona información para ayudar a las personas a manejarlo. Proporciona datos sobre el impacto y los resultados que se pueden utilizar para ayudar a evaluar el desempeño del programa en su conjunto.

El proceso implica la recopilación de cambios significativos, algunos grupos de personas debaten en profundidad sobre el valor de estos cambios y seleccionan los más importantes. Cuando la técnica se lleva a cabo con éxito, todo el equipo puede estar de acuerdo y centrar su atención en el impacto más significativo del programa¹.

La información cualitativa se obtiene en el lugar donde se han realizado las acciones del proyecto o actividad de formación. Utilizan la observación directa, las entrevistas y la revisión documental en forma combinada; pueden tener una amplia cobertura o también utilizar técnicas de muestreo.  El papel del evaluador cambia desde un énfasis en el análisis de  variables previamente establecidas, al análisis del comportamiento de los  participantes en el programa de formación y desarrollo de competencias.

Este enfoque es especialmente apto para conocer el impacto de los proyectos sociales y de lucha contra la pobreza, como lo son los de formación y desarrollo de competencias, en los cuales el comportamiento, expectativas y motivaciones de los beneficiarios son factores fundamentales a analizar. Permite una mejor comprensión de las incidencias  económicas, políticas y culturales que afectan la ejecución de la actividad y que inciden en el cambio del bienestar de los participantes.

Análisis de la información cualitativa

Utiliza principalmente la técnica de análisis de contenidos que consiste en la descripción, interpretación y análisis de los patrones observados en la información cualitativa, así como los mecanismos y relaciones de causalidad que este tipo de información permite identificar⁵⁶.

El análisis de contenidos puede ser efectuado con un enfoque temático en el cual, un determinado concepto es seleccionado para el estudio y se revisa la frecuencia con que dicho concepto se presenta en el texto.

Utilizar formas de codificación para procesar datos cualitativos y de este modo, poder aplicar herramientas cuantitativas, es uno de los mecanismos de tratamiento de la información obtenida en el terreno. Los códigos son usualmente palabras escogidas para representar una opinión, sensación o comportamiento. Seleccionar un buen índice de palabras es crucial para mantener la representatividad de los datos. 

Esta opción en su forma básica es la misma que se encuentra en las encuestas de satisfacción con conceptos como: satisfecho, medianamente satisfecho, no satisfecho, inconforme.  Establecer estas categorías siempre tiene riesgos estadísticos por:

• la preferencia subjetiva hacia alguna categoría por los encuestados,
• la tendencia a marcar siempre los criterios neutros o centrales para evitar situaciones difíciles,
• tender a marcar todo en los extremos, bien sea de satisfacción o de inconformismo.  

Por ello se sugiere que este tipo de categorías estén revisadas y validadas estadísticamente de forma previa, lo que supone un periodo de experiencia y adaptación.

Una forma reciente de codificar información en la evaluación cualitativa es hacerlo a partir del material recolectado y con el apoyo de un software para procesamiento de textos, que  puede identificar los conceptos o palabras más frecuentemente usadas y de este modo facilitarlas como elementos de análisis y comparación.

Una aplicación de este enfoque se puede realizar con la trascripción a un procesador de texto de las entrevistas a participantes o a interesados claves en el proyecto, o mediante el uso de documentos que relaten los estudios de casos. Hoy en día se encuentran disponibles herramientas informáticas libres como el  Wordle para crear  una nube de palabras cuyo tamaño es  proporcional a la frecuencia con que aparecen en el texto⁵⁷.

De modo complementario el análisis relacional también recurre a la identificación de conceptos en los textos levantados del terreno, pero además de la frecuencia, busca determinar las relaciones existentes entre los conceptos seleccionados.

En el gráfico siguiente se inserta la nube de palabras que resulta del texto sobre indicadores incluido en el punto 4.1 de esta Guía. Se invita a analizar la nube como ejemplo de aplicación.

Ejemplo de una nube de palabras

1  www. Iodparc.com International Organization Development Ltd 2011.

49  Basado en: Navarro, Hugo. Manual para la evaluación de impacto de proyectos y programas de lucha contra la pobreza. CEPAL-ILPES. 2005

50  Navarro. CEPAL-ILPES, 2005

51  Un estudio de caso es un estudio intensivo sobre un evento específico. Tal evento puede ser la ejecución de un programa o acción formativa. Basado en Navarro. Op. cit.

52  Evaluaciones de la SDC como la del proyecto Formujer de OIT/Cinterfor, o de IDRC para el Proyecto TIC para MIPYME en OIT/Cinterfor o la de Reto Rural en Ecuador mantuvieron ese enfoque.

53  International Development Research Center –IDRC–, 2008

54  Una verdadera comprensión de un programa requiere de la interacción del evaluador con los involucrados. IDRC. Unidad de evaluación (2003)

55  www.iodparc.com International Organization Development Ltd 2011

56  Navarro, H. Op. cit.

57  www.wordle.net