¿Cuáles son las etapas para implementar la evaluación de impacto?

El proceso de evaluación de impacto comprende las etapas de  planificación, diseño, recolección de información y producción y divulgación de resultados. A continuación se señalan los aspectos a tener en cuenta.

 

Planear la evaluación

Es la etapa de preparación de la evaluación de impacto que, tal como se ha planteado, debe realizarse junto con el diseño de la intervención formativa.  En este momento es necesario definir las preguntas básicas de la evaluación de impacto, la cadena de resultados y los indicadores que se van a utilizar.

¿Qué se define? A tener en cuenta:
Las preguntas básicas que la evaluación debe responder. Se derivan   de los objetivos de la intervención que se va a evaluar. (Ver eje 2)
  • Debe tener un carácter participativo e incluyente para que los   grupos de interés puedan realizar sugerencias en torno a  los objetivos y las preguntas básicas.
  • Para la formulación de las preguntas, se sugiere priorizar y concentrarse en un número limitado de cuestiones básicas y esenciales   
La cadena de resultados,   de la acción formativa   que permitirá definir los indicadores. (Ver eje 2)
  • Los resultados, efectos e impactos  deben ser  y  útiles para la toma de decisiones.
Los indicadores que  permitirán monitorear y medir los impactos relacionados con  las preguntas planteadas. (Ver eje 2)
  • Seleccionar indicadores específicos, medibles, alcanzables, relevantes y en función de ciertos plazos.
  • La selección de indicadores debe optimizar el uso de la información disponible en las instituciones, las empresas y el Estado.
  • Identificar las fuentes de información para la construcción de los indicadores de impacto. Para fuentes primarias, prever la sistematización de la información a lo largo de la ejecución   y diseñar los instrumentos de registro pertinentes y la forma en que se construirá la muestra. Si se trabaja con fuentes secundarias, considerar la disponibilidad efectiva de datos de calidad63.

 

Diseñar y preparar la implementación del proceso de evaluación

Antes de iniciar la evaluación de impacto, es necesario definir un diseño que determine con claridad las distintas etapas de la misma, junto con la especificación de las actividades que se llevarán a cabo, un cronograma para cada una de dichas actividades, los recursos necesarios y el  presupuesto para su ejecución.

No existe un diseño único para la realización de evaluaciones de impacto y es necesario considerar diferentes alternativas según las características de la población, los impactos a evaluar y las consideraciones éticas y políticas.

Es conveniente incorporar estrategias de evaluación cualitativas y cuantitativas. Un abordaje mixto agrega la posibilidad de identificar  las prioridades y dificultades a partir de  la opinión y la vivencia de los actores. Las estrategias cualitativas suponen el uso de técnicas más flexibles y focalizadas para rescatar los pareceres, representaciones y comportamientos, de difícil acceso desde perspectivas cuantitativas.

¿Qué se define? A tener en cuenta:
El diseño o cómo se va a evaluar. (Ver eje 4).
  • Considerar y analizar la viabilidad de una amplia gama de opciones metodológicas y de diseño de la evaluación.
  • Evaluar las alternativas de diseño en función del objeto de evaluación (acción formativa, estrategia o programa, política pública), los sujetos de la evaluación (personas, empresas micro y pequeñas, grandes o medianas, economía informal, sociedad en su conjunto, otros) y los recursos disponibles.
  • Incluir metodologías que permitan explorar impactos cualitativos y cuantitativos.
  • Utilizar un diseño lo más sencillo posible. En la medida que las metodologías son más complejas resultan más costosas y ponen en cuestión la viabilidad de la evaluación de impacto.
  • Asegurar la rigurosidad de los procesos técnicos sin caer en la ortodoxia metodológica.
Recursos técnicos y financieros, tiempo e   información disponible.    

 
  • Decidir si se realiza una evaluación interna o externa (Ver eje 2) considerando los recursos con que se cuenta.
  • Definir un equipo responsable de la evaluación  que combine competencias técnicas, independencia de criterio y objetividad, orientaciones metodológicas (asegurando que el proceso esté alineado con los objetivos), competencias comunicativas  y capacidad operativa para gestionar la implementación.
  • Desarrollar estrategias para construir o fortalecer las capacidades internas como condición para crear una cultura de evaluación de impacto  en la organización.
  • Prever recursos financieros para la evaluación de impacto desde el diseño mismo de la acción formativa ya que su existencia constituye una condicionante ineludible.
Cronograma: se debe definir cuándo, una vez acabada la formación a evaluar64, se va a desarrollar la evaluación de impacto.
  • Definir los plazos en función del tipo de formación y del grado de inmediatez a partir del cual puedan constatarse los  impactos.
  • No evaluar la intervención demasiado pronto, es necesario que los impactos puedan verificarse. Tampoco dejar pasar un tiempo excesivo ya que la información puede resultar contaminada por otras variables y, los resultados y recomendaciones que surjan pueden llegar tarde para la toma de decisiones.
  • Generalmente se da un plazo de seis meses a un año en las evaluaciones de impacto relativas a la empleabilidad, aunque se puede volver a recoger información algún tiempo después –dos años- o incluso con carácter de panel anual, para conocer la evolución de las condiciones de empleo en el tiempo.
  • Intervenciones de más corta duración, como las que se desarrollan en las empresas, pueden requerir plazos  más reducidos (incluso de algunas semanas o un mes) para constatar los impactos.

 

Recolectar la información

Esta etapa es eminentemente práctica y  comprende una serie de decisiones y actividades, tales como:

  • Definir qué información se necesita recolectar.
  • Determinar el equipo encargado.
  • Elaborar instrumentos y definir la muestra.
  • Realizar el trabajo de campo.
  • Procesar y validar la información.

La forma en que se llevan adelante estas actividades está directamente condicionada por el diseño metodológico.  (Ver eje 4)

Es recomendable establecer controles de calidad para todas las fases de recolección de datos, con el objetivo de detectar y corregir los errores que pudieran surgir. A su vez, para asegurar la confiabilidad de los mismos y su análisis, se debe respaldar toda la información con documentación detallada.

 

Producir y divulgar los resultados

Esta etapa comprende las siguientes actividades: analizar los datos, elaborar  informes y presentaciones de los resultados y divulgarlos.

¿En qué consiste? A tener en cuenta:
Analizar los datos
  • Asegurar la imparcialidad y el manejo ético de la información.
  • Tener en cuenta que los resultados de la evaluación deben ser válidos, confiables, comprensibles  y útiles para la toma de decisiones.
Elaborar informes
  • Evitar un lenguaje técnico solo para especialistas. Los usuarios de la información no siempre son expertos en evaluación de impacto.
  • Asegurar que se ofrezcan bases sólidas y fundamentadas para la toma de decisiones.
  • Demostrar que la evaluación se basa en informaciones válidas.
Divulgar los resultados
  • Implementar  un plan de difusión  de los resultados para los interlocutores sociales
  • La información de la evaluación es crucial para la toma de decisiones. Una evaluación que no se utiliza es un gasto inútil.

 

 

63  Fuente primaria es aquella donde se origina la información, por ejemplo, el participante en la formación. Fuente secundaria es información previamente recogida y procesada por un tercero.

64  Aunque se ha llegado a señalar que las mejores evaluaciones ex post se diseñan y comienzan a implementarse ex ante (Ravallion, 2006), el momento en el que se puede obtener información relevante, más allá de su diseño, es cuando la acción o plan a evaluar ha finalizado.