¿Cómo se analizan la eficacia y eficiencia?

Este análisis completa la evaluación de impacto ya que permite conocer:

  • si el impacto fue conseguido (eficacia),
  • si el impacto generado justifica el costo de la acción (eficiencia),
  • si pueden existir alternativas más eficaces y eficientes para lograr el mismo impacto.

La eficacia de una acción está dada por el grado en que se cumplieron los objetivos previstos en su diseño.  Usualmente se recurre a una forma de planificación como el marco lógico, en la cual se establece la jerarquía de objetivos: general,  inmediatos, específicos, metas y actividades58.

Para cada uno de los objetivos previstos se analiza la eficacia de la acción que es evaluada, obteniendo  un índice general de eficacia mediante una ponderación59 de cada uno de los índices por objetivo evaluado.

En el ejemplo a continuación se muestra, en forma simplificada, el análisis de eficacia de un programa sectorial de formación por competencias. El objetivo propuesto, después de cuatro años, era desarrollar competencias laborales y facilitar el acceso al empleo de expertos soldadores, en razón al crecimiento importante del sector industrial en un país.

 

60 va decreciendo en el tiempo, lo cual envía un mensaje sobre el programa y las competencias que está desarrollando, o sobre el agotamiento del sector en la generación de nuevos puestos de trabajo.  Estas son situaciones que surgen durante las evaluaciones y que requieren la utilización de métodos combinados.

El indicador de eficacia se obtiene dividiendo el valor logrado sobre la meta de acceso al empleo que se había previsto: 90%,  tanto para el grupo de participantes  como para el grupo de control; el impacto es la diferencia del indicador entre los dos grupos. En el ejemplo de arriba hay un impacto positivo de 16,7% en la eficacia de esta formación.

En el caso anterior solo se revisó el impacto y la eficacia para un objetivo, el de acceso al empleo. Normalmente las acciones formativas se trazan otros objetivos, como el incremento de ingresos o la continuidad educativa; el análisis de eficacia se realiza de forma similar pudiéndose efectuar una comparación por cada objetivo, como se presenta a continuación:

La eficiencia analiza el volumen de recursos gastados para alcanzar las metas. Una actividad eficiente hace un uso óptimo de los recursos y, por tanto, tiene el menor costo posible.  

Mientras que el indicador de eficacia es usualmente una tasa porcentual, en el análisis de eficiencia se utilizan indicadores de costo-beneficio o de costo-eficiencia.

El análisis de la eficiencia es utilizado para comparar entre diferentes alternativas de acciones de formación y  se puede realizar ex ante o ex post. En general, siempre que se deban revisar opciones de inversión para emprender acciones o reorientarlas, la búsqueda de un costo eficiente es requerida y este tipo de análisis la facilita.

Ejemplo: analizar la opción más eficiente, entre dos, para desarrollar un programa de formación en una comunidad rural apartada. Una, es la de construir un centro de formación, dotar sus instalaciones, contratar y formar personal;  la otra, consiste en utilizar unidades móviles con  un “centro itinerante” y equipos fácilmente transportables.  Es un típico caso en el que, mediante el cálculo de los costos, se puede hacer una evaluación ex ante de las alternativas e implementar la que se muestre más eficiente.

Para evaluar la eficiencia existen dos tipos de análisis: el costo-beneficio y el costo-efectividad. 

Análisis costo-beneficio: se expresa como una relación entre los beneficios obtenidos y los costos incurridos y utiliza como unidad de medida el dinero. En general, en este tipo de análisis se busca una relación  beneficio-costo mayor a uno, justamente cuando los beneficios son mayores que los costos61.

Dentro del análisis costo-beneficio se utiliza el indicador conocido como: Retorno de la Inversión (ROI)62 para medir el rendimiento de las inversiones que realizan las empresas en capacitación.

Dentro de los costos se incluyen: pagos a los docentes, salario de los trabajadores separados de sus funciones mientras atendían el curso, el costo de utilizar las instalaciones y el de los demás insumos identificados. Como beneficios se toman  la disminución de accidentes laborales, la reducción de productos imperfectos, la disminución de accidentes laborales, la mejora en productividad.

Los beneficios y los costos son traducidos a un valor monetario por los interesados en su medición.  Normalmente es fácil calcular estos valores, pero en algunos casos se requiere acuerdo, por ejemplo, sobre cómo medir la variación en la productividad y sobre qué base valorarla.

Una vez sumados los valores de beneficios y costos se puede optar por compararlos directamente o por calcular su valor presente neto si el tiempo de análisis lo amerita.

El ROI se ha utilizado para medir el  impacto de la capacitación en experiencias de aplicación del Sistema Integral de Medición y Avance de la Productividad SIMAPRO.  En el anexo 7  de este eje se incluye la descripción de un caso.

Otro indicador que se suele utilizar es la Tasa Interna de Retorno (TIR) que define un valor de referencia por encima del cual se considera rentable el programa.  Esta  tasa hace que el valor presente de un flujo de beneficios y costos, sea igual a cero.  La TIR se compara con tasas de interés de otras inversiones alternativas; normalmente se usa para decidir a favor de aquella que ofrezca una tasa de retorno mayor.

Análisis costo-efectividad: es la relación entre los impactos obtenidos (valorados en dinero) y el valor presente de los costos, también en dinero, en que incurrió la actividad desarrollada.  

El costo efectividad incluye la posibilidad de traducir ciertos impactos sociales a valores expresados en moneda corriente.

También permite realizar comparaciones entre impactos obtenidos con diferentes alternativas de acción.   Las decisiones que se toman con base en esta relación favorecen a los programas más costo-efectivos para ser ejecutados nuevamente o para tomar sus modelos de ejecución como referencia en otros programas de formación.

Análisis costo – impacto

Una relación muy útil consiste en comparar el valor presente de los costos con el valor del impacto obtenido,  dando una idea del valor de cada unidad de impacto generado. Es adecuada para realizar comparaciones entre proyectos terminados (ex post) o alternativas de inversión bajo estudio (ex ante).

Se puede calcular, por ejemplo, que si la reducción en la tasa de desempleo provocada por una acción de formación fue del 12%  con unos costos totales actualizados de $150.000, entonces el costo por cada punto porcentual de reducción del desempleo fue de $12.500. De nuevo, esta cifra es valiosa en tanto comparable con otras alternativas de acción o de utilización de los fondos  invertidos en el programa.

En la práctica, se encuentran evaluaciones que utilizan de forma conjunta los diferentes indicadores de eficacia y eficiencia.  Como corolario de los métodos de evaluación, no hay que perder de vista que la evaluación de impacto es útil para comprobar si:

  • se alcanzaron los objetivos previstos;
  • los participantes en las acciones mejoraron su bienestar (ingresos, empleabilidad, inserción social);
  • las empresas mejoraron su productividad, ambiente de trabajo y competitividad;
  • las políticas públicas impulsadas por los gobiernos, lograron su cometido en la población beneficiaria;
  • el uso de los fondos invertidos fue el mejor en términos de eficiencia;
  • existen alternativas de costo menor para lograr los mismos impactos.

 

 

 

58  Existen numerosos manuales de elaboración del marco lógico para el diseño de proyectos. Una acción de formación bien diseñada debería prever sus efectos utilizando el marco lógico

59  La ponderación es un promedio de diferentes datos observados en el que cada dato representa una proporción del total e interviene en la ponderación de acuerdo con su peso específico. Por ejemplo en una intervención se le puede otorgar un 60% al objetivo ingreso al empleo y 40% al objetivo de mejorar salarios.

60  Es un indicador definido por el número de personas que trabajan sobre el número total del grupo, se expresa en porcentaje.

61  Como el valor del dinero a través del tiempo no es el mismo debido a los cambios de precios y la tasa de interés, se utiliza el cálculo del Valor Presente que consiste en hacer equivaler a moneda actual, un flujo de dinero (beneficios o costos) futuro.

62  Del ingles “Return on Investment.” Phillips, J. Handbook of training evaluation and measurement methods. Houston: Kogan Page. 1990.