evaluación de evaluabilidad – evaluability assessment
Evaluación de la Evaluabilidad
Campos Disciplinarios Primarios: Evaluación de Programas, Gestión Pública, Políticas Públicas, Sociología Aplicada y Administración de Empresas.
1. Definición Central
La evaluación de la evaluabilidad (EE) se define como un proceso sistemático y previo a la ejecución de una evaluación formal, cuyo objetivo principal es determinar si un programa, proyecto o política pública está en condiciones de ser evaluado de manera significativa, fiable y útil. Este procedimiento no busca medir los resultados del programa en sí, sino analizar su diseño, la disponibilidad de sus datos y el entorno institucional para garantizar que una evaluación posterior no sea un desperdicio de recursos. En términos académicos, se entiende como una fase de diagnóstico que permite identificar las barreras técnicas y políticas que podrían impedir el éxito de un proceso evaluativo riguroso.
El núcleo de la evaluación de la evaluabilidad reside en la verificación de la teoría del cambio o el modelo lógico del programa. Se examina si los objetivos son claros, si las actividades planificadas conducen lógicamente a los resultados esperados y si existen indicadores mensurables para rastrear dicho progreso. Al realizar este análisis, los evaluadores pueden determinar si el programa tiene una estructura coherente o si, por el contrario, presenta lagunas conceptuales que invalidarían cualquier intento de medición de impacto o desempeño en el futuro cercano.
Además de la coherencia interna, la EE evalúa la disponibilidad de datos y la capacidad de los sistemas de información existentes. Un programa puede tener un diseño impecable, pero si no cuenta con registros sistemáticos, bases de datos actualizadas o mecanismos de recolección de información sobre sus beneficiarios, la evaluación será inviable. Por tanto, la EE funciona como una auditoría de la infraestructura de datos, recomendando mejoras antes de proceder con estudios más profundos y costosos, asegurando así la calidad de la evidencia que se generará posteriormente.
Finalmente, este concepto integra una dimensión política y estratégica fundamental: el compromiso de las partes interesadas (stakeholders). La evaluación de la evaluabilidad indaga si los tomadores de decisiones están realmente interesados en los resultados de la evaluación y si existe la voluntad política para actuar en función de los hallazgos. Sin este componente de utilidad prospectiva, incluso la evaluación técnicamente más perfecta carecería de impacto real en la mejora de la gestión pública o social, convirtiéndose en un mero ejercicio burocrático.
2. Etimología y Desarrollo Histórico
El término y la práctica de la evaluación de la evaluabilidad surgieron formalmente en la década de 1970 en los Estados Unidos, impulsados primordialmente por el trabajo de Joseph Wholey y sus colegas en el Urban Institute. En un contexto donde la administración pública estadounidense buscaba una mayor rendición de cuentas (accountability) y eficiencia en el gasto social, se observó que muchas evaluaciones de gran escala fracasaban no por falta de rigor metodológico, sino porque los programas evaluados eran demasiado caóticos, carecían de objetivos claros o no tenían datos utilizables.
A lo largo de los años 80 y 90, la técnica evolucionó desde un enfoque puramente técnico y centrado en el diseño hacia un enfoque más participativo. Organizaciones internacionales como la OCDE y diversas agencias de las Naciones Unidas comenzaron a adoptar la EE como un estándar de calidad para sus intervenciones de desarrollo. Durante este periodo, se reconoció que la falta de evaluabilidad era a menudo un síntoma de una planificación deficiente, lo que llevó a que la EE se utilizara no solo como un filtro para evaluaciones, sino como una herramienta de mejora del diseño organizacional.
En el siglo XXI, con el auge de la gestión basada en resultados y la demanda de evidencia científica en las políticas públicas, la evaluación de la evaluabilidad ha adquirido una relevancia renovada. Se ha integrado con metodologías modernas como el Pensamiento de Diseño y el Desarrollo Ágil, permitiendo iteraciones rápidas en el diseño de programas. Hoy en día, se considera una práctica esencial en el ciclo de vida de cualquier política pública compleja, garantizando que el aprendizaje organizacional sea posible y que los recursos destinados a la evaluación se utilicen de manera estratégica y ética.
3. Características y Componentes Clave
- Claridad de Objetivos: Análisis exhaustivo de si el programa ha definido metas específicas, medibles, alcanzables, relevantes y con un tiempo determinado (SMART).
- Modelo Lógico y Teoría del Cambio: Verificación de la cadena causal que conecta los insumos, las actividades, los productos y los resultados finales.
- Disponibilidad de Datos: Evaluación de la existencia, calidad y accesibilidad de la información necesaria para responder a las preguntas de evaluación.
- Interés de los Usuarios: Determinación de si existe una audiencia clara para los resultados de la evaluación y si estos resultados informarán decisiones futuras.
- Recursos y Viabilidad: Análisis de si el presupuesto, el tiempo y el personal asignado son suficientes para llevar a cabo una evaluación de calidad.
Una característica distintiva de la EE es su naturaleza proactiva y correctiva. A diferencia de una evaluación formativa o sumativa que ocurre durante o después de la implementación, la EE interviene a menudo en una fase temprana. Si se descubre que un programa no es evaluable, el proceso no termina en un rechazo, sino en una serie de recomendaciones para ajustar el diseño del programa, fortalecer los sistemas de monitoreo o redefinir los indicadores de éxito.
Otro componente esencial es la participación de los actores clave. La EE no se realiza en aislamiento por un experto externo; requiere entrevistas profundas con los gestores del programa, el personal de campo y, en ocasiones, los beneficiarios. Esta interacción permite descubrir la “teoría en uso” del programa, que a menudo difiere de la “teoría documentada”, revelando discrepancias que deben resolverse antes de que cualquier medición de impacto pueda ser considerada válida o justa.
4. Pasos Metodológicos en la Ejecución
El proceso de realizar una evaluación de la evaluabilidad generalmente comienza con una revisión documental exhaustiva. En esta etapa, el evaluador analiza las leyes, planes operativos, presupuestos y manuales de procedimientos del programa para extraer la lógica oficial subyacente. El objetivo es construir una representación visual del programa, a menudo denominada modelo lógico, que sirva como base para las discusiones posteriores con el equipo de implementación.
Tras la revisión documental, se procede a la fase de entrevistas y consultas con las partes interesadas. Estas conversaciones buscan validar el modelo lógico y explorar la realidad operativa del programa. Es común descubrir que los objetivos planteados en el papel no coinciden con las prioridades diarias de los gestores, o que existen obstáculos externos que no fueron considerados originalmente. Este diálogo es crucial para determinar qué preguntas de evaluación son realmente importantes y factibles de responder dada la situación actual del proyecto.
Posteriormente, se realiza un análisis de la infraestructura de datos. Esto implica revisar los sistemas de información, realizar pruebas de calidad sobre las bases de datos existentes y evaluar la capacidad del personal para recolectar nueva información. Si el evaluador detecta que los datos son inconsistentes o insuficientes, debe proponer estrategias de mitigación, como la implementación de encuestas de línea base o la modificación de los formularios de registro administrativo, antes de dar luz verde a una evaluación de impacto a gran escala.
Finalmente, el proceso culmina con la entrega de un informe de evaluabilidad. Este documento presenta una conclusión clara sobre si se debe proceder con la evaluación, si se debe posponer hasta que se realicen mejoras, o si se debe cambiar el enfoque de la evaluación (por ejemplo, pasar de una evaluación de impacto a una evaluación de procesos). El informe incluye recomendaciones específicas para mejorar la gestión del programa y fortalecer su capacidad de rendición de cuentas, proporcionando una hoja de ruta clara para los tomadores de decisiones.
5. Importancia y Significado en la Gestión Pública
La evaluación de la evaluabilidad desempeña un papel crítico en la optimización del gasto público. En un entorno de recursos limitados, invertir grandes sumas de dinero en evaluar programas mal diseñados o que carecen de datos es una ineficiencia administrativa. La EE actúa como un filtro de calidad que asegura que solo se evalúen aquellos programas que tienen el potencial de generar aprendizaje institucional y evidencia útil para la toma de decisiones estratégicas.
Además de su valor económico, la EE fomenta una cultura de transparencia y mejora continua dentro de las organizaciones. Al obligar a los gestores a clarificar sus objetivos y demostrar la lógica de sus intervenciones, se promueve una mayor disciplina en el diseño de políticas. Esto reduce la ambigüedad y ayuda a alinear los esfuerzos de los diferentes niveles de la administración hacia resultados comunes, fortaleciendo la gobernanza democrática y la confianza de la ciudadanía en las instituciones.
Asimismo, la EE contribuye a la ética de la evaluación. Evaluar un programa que está destinado al fracaso metodológico debido a un mal diseño previo puede llevar a conclusiones erróneas sobre su eficacia, lo que a su vez podría resultar en la cancelación injustificada de servicios sociales vitales. Al asegurar que las condiciones básicas para una evaluación justa y rigurosa estén presentes, la EE protege tanto a los implementadores del programa como a los beneficiarios de juicios basados en información incompleta o defectuosa.
6. Diferencias con la Evaluación de Impacto
Es fundamental distinguir la evaluación de la evaluabilidad de la evaluación de impacto. Mientras que la evaluación de impacto busca cuantificar los cambios en el bienestar de los beneficiarios atribuibles exclusivamente a la intervención, la EE se centra en las condiciones previas necesarias para que dicha medición sea posible. La EE es una pregunta sobre la “posibilidad de conocer”, mientras que la evaluación de impacto es una pregunta sobre el “resultado obtenido”.
En términos de temporalidad, la EE suele ser breve y ocurre antes de que se desplieguen grandes equipos de investigación. Una evaluación de impacto puede durar años y requerir métodos experimentales o cuasi-experimentales complejos. La EE prepara el terreno, identificando si los grupos de control son factibles o si las variables de resultado están bien definidas, evitando así que los investigadores de impacto se encuentren con sorpresas metodológicas insuperables una vez iniciado el estudio.
Otra diferencia clave radica en el tipo de recomendaciones generadas. Las recomendaciones de una evaluación de impacto suelen centrarse en si se debe expandir, modificar o cerrar un programa basándose en su efectividad. Las recomendaciones de una EE se centran en cómo mejorar el diseño del programa, sus sistemas de información y su lógica interna para que, en el futuro, se pueda determinar con certeza si el programa es efectivo o no. Por tanto, la EE es una herramienta de fortalecimiento institucional, mientras que la evaluación de impacto es una herramienta de juicio de valor.
7. Debates y Críticas
A pesar de sus beneficios, la evaluación de la evaluabilidad no está exenta de críticas. Algunos académicos argumentan que puede ser utilizada como una táctica de dilación por parte de administradores que desean evitar la rendición de cuentas. Al insistir en que un programa “no es evaluable” debido a deficiencias técnicas, se puede posponer indefinidamente la evaluación de sus resultados reales, protegiendo así programas ineficaces del escrutinio público bajo el pretexto de la mejora técnica.
Otra crítica común se refiere al riesgo de un excesivo formalismo. Existe la preocupación de que la EE favorezca programas con diseños rígidos y modelos lógicos lineales, penalizando aquellas intervenciones innovadoras o adaptativas que operan en entornos complejos y cambiantes. Si la EE se aplica de manera muy estricta, podría desalentar la experimentación social, ya que los gestores podrían priorizar la “evaluabilidad” sobre la relevancia o la innovación de la respuesta a los problemas sociales.
Finalmente, se debate sobre la carga administrativa que supone. Para organizaciones pequeñas o con presupuestos reducidos, realizar una EE completa puede parecer un lujo innecesario o un paso burocrático adicional que consume tiempo valioso. El desafío actual de la disciplina es desarrollar versiones más ágiles y menos costosas de la evaluación de la evaluabilidad que mantengan el rigor necesario sin asfixiar la capacidad operativa de las instituciones, equilibrando la necesidad de evidencia con la urgencia de la acción social.
