Técnicas e instrumentos en la evaluación de un proyecto social

Para decidir que metodología, técnica e instrumento utilizar en una evaluación, deben tenerse en cuenta los objetivos de la evaluación, los recursos disponibles y los tiempos establecidos para su desarrollo

Características de la investigación cuantitativa y cualitativa 

Para obtener la evidencia empírica de las acciones realizadas en un proyecto, el evaluador tiene que seleccionar una metodología y diseñar los instrumentos que utilizará para recolectar la información según los objetivos de su evaluación. Existe un amplio abanico de instrumentos y técnicas para recolectar información cuando se trata de evaluar un proyecto, lo importante es reconocer cuál es la más apropiada según lo que se pretenda medir. 

Técnicas cualitativas

Permite obtener información significativa e inmediata sobre las percepciones y prioridades de las partes interesadas y las condiciones y procesos que pueden haber afectado el desarrollo de un programa o proyecto

Técnicas cuantitativas 

Se apoyan en la medición objetiva, persiguen obtener resultados extrapolables a un grupo específico de la población, bien mediante la selección de una muestra del mismo, un número estadísticamente significativo de dicha población, o bien mediante el estudio de todo el grupo, censo. 

Premisas principales de cualquier investigación social 

El procedimiento básico para el diseño y desarrollo de una evaluación se presenta a continuación:

 1. Clarificar y definir qué información se espera obtener.

2. Determinar quiénes serán los sujetos de la encuesta, esto implica definir tanto el universo (conjunto de todos los actores que son objetivo de la encuesta), como la  muestra (el pequeño grupo a encuestar que proviene del universo seleccionado), en un grupo pequeño, la muestra y el universo son iguales, en grupos grandes es necesario elegir a partir de criterios que garanticen que la totalidad del universo estará representado, cabe mencionar que esta selección de la muestra debe hacerse a través de un método aleatorio. 

3. Elaborar el cuestionario. Se debe construir después de haber formulado los criterios y preguntas de evaluación, si se tienen claros los objetivos de la evaluación será más fácil decidir y escoger las preguntas que conviene realizar. En el diseño del cuestionario, han de considerarse los tipos de preguntas abiertas y / o cerradas. Las preguntas abiertas permiten al encuestado expresar sus opiniones, las cerradas habilitan una cantidad limitada de respuestas posibles.

4. Aplicar el cuestionario. Para aplicarlo es necesario contar con un tiempo y un espacio apropiado para que los encuestados puedan responderlo. Lo principal, por encima de cualquier aspecto técnico de aplicación de la entrevista, es crear un ambiente cómodo en el que el entrevistado se sienta comprendido y relacionado con el tema de estudio. 

5. Sistematizar y analizar los resultados. Finalmente, el evaluador deberá sistematizar y analizar los resultados para poder utilizar la información, el tipo de análisis dependerá del objeto de estudio

Técnicas, metodologías e instrumentos de evaluación

Técnicas cuantitativas 

a) Encuestas:  Instrumento para recolectar información, ya sea de datos cuantitativos o datos cualitativos. A través de una encuesta con preguntas cerradas obtenemos datos cuantitativos, mientras que en una encuesta que incluye preguntas abiertas la información es cualitativa y por supuesto siempre hay la posibilidad de hacer una encuesta mixta que incluya ambos tipos de datos. La encuesta cuantitativa está dirigida a obtener información de gran número de personas, en este caso el cuestionario cuenta con un número limitado de preguntas y de opciones de repuesta, este factor facilita la organización de la información pero también puede generar que se pierdan de vista otras posibles respuestas que se obtienen con las preguntas abiertas. Por ello se procura al menos incluir 3 a 5 preguntas abiertas claves, ambas técnicas son complementarias y permiten un mejor entendimiento de la realidad.

b) Medición directa o medición por observación

La medición directa u observación consiste en recopilar datos de acuerdo a un esquema determinado y es muy utilizada en contextos de proyectos de desarrollo. Para que la medición sea significativa es muy importante determinar de manera previa qué propiedades o características van a considerarse y cuáles son las dimensiones que se manejan (cuantitativa o cualitativa). Para ello se genera un protocolo o lista control que permite registrar fácilmente la presencia o ausencia de lo que se quiere medir, El uso de esta técnica facilita la obtención de datos muy fiables sobre fenómenos o procesos físicos, pero no logra profundizar en las causas que provocan determinada situación.

c) Técnicas de análisis económico (ACE o ACB)

Análisis de costo - efectividad (ACE), adecuado para proyectos de desarrollo social,  producen bienes y servicios tangibles y expresables en unidades monetarias, así como, otro tipo de beneficios, intangibles y que tienen un mayor grado de dificultad para cuantificar. 

 (ACB) Nos permite evaluar la eficiencia de un proyecto y en este sentido nos permite evidenciar los puntos débiles en términos de recursos, sobre los que se hace necesario, tomar decisiones para su mejora  

Técnicas cualitativas

Estudios de caso: Es una investigación de proceso, sistemática y profunda de un caso en concreto. Un caso puede ser una persona, organización, programa o proyecto social, un evento, etc., un caso es aquella situación o entidad social única que merece interés en investigación

Los estudios de caso permiten:  Investigar fenómenos en los que se busca dar respuesta a cómo y por-qué ocurren, estudiar un tema o múltiples temas a la ves, analizar los fenómenos desde múltiples perspectivas y no desde la influencia de una sola variable,  explorar en forma más profunda y obtener un conocimiento más amplio sobre cada fenómeno, lo cual permite la aparición de nuevas señales sobre los temas que emergen

 Entrevistas individuales: Es posible recabar información cualitativa que recupere la perspectiva de los actores sobre distintos tipos de cuestionarios: hechos específicos, procesos, análisis, propuestas, reacciones a las primeras hipótesis de los evaluadores, entre otras. Para realizar una entrevista, es importante establecer una relación de confianza entre entrevistador y el entrevistado. Al inicio deben expresarse los objetivos de la entrevista y el tiempo aproximado de duración.

Grupos focales:  Es un tipo de entrevista particular en la que se trabaja con un grupo en simultáneo. Se organiza la interacción entre un conjunto determinado de personas y sobre un tema específico de interés para los participantes del grupo. Esta discusión es guiada por un moderador de grupo, ya que se busca recolectar la información producida durante la interacción y el debate, además de perspectivas y experiencias grupales. El análisis y la sistematización de la información que se produce en los grupos focales es eminentemente cualitativo, por lo que se requiere de personal con experiencia en este tipo de conducción.

Técnica Delphi-panel de expertos:  La técnica Delphi o panel de expertos busca respuestas consensuadas a cuestiones específicas, es decir que potencia la generación de acuerdos entre diversas opiniones y percepciones de expertos calificados en los temas a investigar, por eso, la condición sine qua non para que se pueda realizar este proceso es la calidad y pertinencia de los profesionales que se convoca. La principal ventaja de esta herramienta es la credibilidad de las conclusiones, asociada a la experiencia de los profesionales, pero también su Antología Evaluación de Proyectos Socioeducativos 2021 independencia con respecto al programa evaluado. Sin embargo, esta técnica tiende a omitir las opiniones minoritarias y a suavizar las conclusiones.

e) Análisis Documental: El análisis documental consiste en la búsqueda de información a través de la revisión de documentos diversos: bibliografía, estadísticas previamente elaboradas, informes varios o cualquier tipo de material no producido directamente por la evaluación.

Técnicas Participativas

La evaluación participativa “Involucra a las partes interesadas del programa o proyecto en el análisis colectivo y la evaluación del mismo. Está centrada en las personas: las partes interesadas y los beneficiarios del proyecto son actores clave del proceso de evaluación, y no solamente un objeto de esta” (PNUD, 1997). 

La experiencia ha demostrado que los proyectos sociales tienen más posibilidades de éxito cuando la población local se apropia del proyecto y se involucra en los procesos de diseño, implementación, monitoreo y evaluación. La participación debe ser una parte fundamental y natural del proceso de evaluación, tanto en los procesos de diseño, como en las actividades de recolección de datos, el análisis, la evaluación de los resultados y la formulación e implementación de recomendaciones. 

Al incluir a las partes involucradas en el análisis de problemas y en la propuesta de soluciones se refuerza el sentido de apropiación, esto genera mayor apertura a las recomendaciones de la evaluación y facilita la introducción de cambios.

La evaluación participativa no se refiere solamente a utilizar técnicas participativas en un entorno tradicional de seguimiento y evaluación. Se trata de renovar radicalmente la cuestión de quién inicia y realiza el proceso, y quién aprende o se beneficia de los resultados 

 Los métodos participativos no excluyen la utilización de otros métodos. De hecho, a menudo los mejores resultados se obtienen combinando diversos métodos y técnicas de evaluación

Finalmente cabe mencionar que como resultado del desarrollo de procesos participativos, se equilibran las relaciones de poder y se potencian las capacidades de la población local, tradicionalmente excluida de los espacios de toma de decisiones. Este proceso de adquisición de capacidades es también conocido como empoderamiento. Las etapas sucesivas del seguimiento y la evaluación participativa son globalmente análogas a las que corresponden a métodos de investigación más tradicionales.