TEMA 6: Estudios sociológicos aplicados a la intervención social. Estudios de caso (III). La importancia de la evaluación de programas sociales: el modelo accountability Vs empowertmentevaluation.
EVALUACIÓN Vs INVESTIGACIÓN
Evaluación: cosas concretas, valoro algo, analizo el funcionamiento de algo concreto.
Investigación: análisis general de un contexto determinado (yo puedo investigar esta uní, a través de cuestionarios para luego evaluarlos)
Elementos Diferenciadores
CONTEXTO Social
: puede ser un programa/plan/proyecto (algo muy general que nos interesa, ya concretamos y evaluamos)
OBJETO ¿Qué / Cómo investigar/ evaluar? (tº, practico cercano, en la evaluación hay que conocer el objeto en la investigación no es necesario, te aproximas).RESULTADOS
Generar conocimiento/ tomar decisiones (en una evaluación supone generar conocimiento, si analizas ya puedes tomar decisones)AGENTES
Conocimiento previo a la investigación/conocimiento de los agentes. (cuando evalúo tengo que conocer el objeto de estudio, tener un cto previo de lo que vamos a evaluar, en la investigación no es necesario)Términos de Referencia:
vinculado a un o varios objetivos de la evaluación.Elementos que vamos a tener en cuanta si nuestro proyecto–tarea-programa… esta bien. Agrupa un conjunto de indicadores. Criterios de los que luego vas a evaluar. Determinan si la evaluación esta bien o no.
Criterios de Evaluación:
-Termino de referencia: percepción, consumo…
-Indicadores: reducido
-ÍTEMS: en cuanto al nº, has bajado el consumo.
Sentido de la Evaluación
-Sentido explícito /manifiesto evaluamos para ver cambios, para justificarnos, para mejorar….
-Sentido implícito / latente evaluamos por interers hacia algo.
Historia del proceso de evaluación
EE.UU 1960. Rand Corporation –proyecto II Guerra Mundial
(yo te doy pero me dices k haces , Años 60 Plan harsall de reconstrucción, Proyecto americano para ayudar a Europa)Evaluación como mecanismo para rendir cuentas
Europa : Consolidación WelfareState. Surgimiento de la Uníón Europea
(Estado de bienestar, 1ª Sociedad de Naciones, 2ª comunidad económica europea)
Fondos de desarrollo y cohesión
(80-90 Fondos Feder, economía difeten dan dinero a otros)
Reserva de eficacia
(doy tanto dinero a tal país para que fomente algo)
ESPAÑA
Elemento vinculado al juicio y valoración de las políticas públicas (subvenciones)
METODOLOGÍA APLICADA A LA EVALUACIÓN
Evaluación
Cuantitativa:
cantidades, nº…
Positiva:
como sistema xk no abarcaba toda la realidad social, no había k creer tanto en dioses sino había k observar mas la realidad)
Post-positiva:
tenemos cosas en la realidad que no podemos explicarlas x tanto generalizamos resultados. Cuestionarios:
instrumento con el k recogemos información.
Cualitativa:
entrevistas, discursos,… Analizar el discurso desde la posición crítica (adoptando posturas críticas)
y Constructivista (interpretación de cada uno, construimos nuestra propia evaluación con nuestras diferentes opiniones) y Pragmática (basada en la práctica) con Entrevistas que es una técnica el instrumento seria lo que vas a preguntar el guion de la entrevista. Encuesta: técnica + global que determina el tipo de la muestra.
MODELO TAYLER
El modelo Tyler (Ralph W. Tyler) emerge en EE.UU. A finales de la década de 1930 y principios de 1940 dentro del ámbito educativo, con el fin de analizar la efectividad de los currículos escolares y en consecuencia, la inversión educativa realizada por el Gobierno en aquel periodo.
Ralph W. Tyler, ha sido uno de los pioneros en desarrollar evaluaciones en el área educativa, a su vez, ha sentado las bases de un modelo centrado principalmente en el análisis y contraste de objetivos predefinidos.
En este planteamiento, consolidado durante las décadas subsiguientes, subyace la idea de un proceso sistemático de análisis que se puede resumir en la siguiente secuencia lógica:
1.Establecimiento de objetivos en base al objeto a evaluar.
2. Jerarquización de objetivos según importancia.
3.Selección de técnicas de investigación.
4.Recogida sistemática.
5.Contraste y verificación de objetivos.
MODELO STUFFLEBEAM
Uno de los modelos que a día de hoy goza de un mayor reconocimiento dentro y fuera de la comunidad de evaluadores, es el desarrollado por Daniel Stufflebeam bajo el nombre de Modelo CIPP. Sin abordar en detalle los condicionantes sociohistóricos que dieron lugar a este nuevo modelo, –puesto que es propósito de los siguientes capítulos- bastará decir que el contexto donde germina el modelo CIPP coincide con un periodo de crisis y reconceptualización de la evaluación. Es una etapa en la que se busca superar un conjunto de deficiencias y obstáculos propios de la práctica que abocaban a la evaluación a convertirse en un proceso austero e inutilizable.
El modelo CIPP resulta ser un acrónimo que describe las cuatro dimensiones básicas que deben tenerse presentes a la hora evaluar: Contexto, Inputs, Proceso y Producto (Alvira, 1991).
- Contexto:
Trata de analizar dónde y bajo qué condiciones se va a desarrollar la evaluación. Responde a cuestiones como ¿qué necesidades existen? ¿cómo se pueden afrontar? Inputs
: Esta dimensión hace referencia a la estructura intrínseca del programa así como a las estrategias de análisis para el desarrollo de la evaluación. Es una dimensión que incide en la planificación de la intervención.Proceso
Se concentra en el análisis de la implementación, examinando las discrepancias entre la planificación y la ejecución del programa.Producto:
Se analizan los resultados obtenidos en la ejecución y su concordancia con los objetivos planteados inicialmente.
MODELO STAKE (1er Cualitativista)
Como ya se viene apuntando, la etapa que puede denominarse de “reconceptualización”, engendra nuevos modelos de evaluación en los que fundamentar unas prácticas más efectivas. Robert Stake, es otra de las figuras a tener en cuenta dentro de este elenco de autores, puesto que desarrolla un enfoque centrado y adaptado a las necesidades del cliente (Alvira, 1991).
Para esta labor, Stake establece tres niveles de indagación interdependientes, como herramientas analíticas básicas extensibles a la evaluación. De esta manera, enumera:
Base lógica
: Hace referencia al análisis de la estructura y diseño del programa y/o servicio.
Matriz de descripción
: Es el nivel de análisis donde se registra la información referida al programa y/o servicio que se va a evaluar. Debe contemplar tres dimensiones:
Antecedentes (hechos precedentes),
Actividades(acciones que se están desarrollando)
Resultados (consecuencias de dichas acciones).
Matriz de enjuiciamiento
: Centrada en la necesidad de valorar el proceso en base a una serie de criterios de valor establecidos. Bajo esta matriz subyacen dos dimensiones analíticas: Normas (vinculadas al grado de calidad establecida por los grupos de referencia) y Juicios (que examinan los datos descriptivos del programa y elaboran un argumento crítico-constructivo).
En definitiva, este planteamiento propone una estructura en la que el proceso de evaluación contempla una serie de bloques analíticos que le proveen de una dimensión más amplia e interdependiente. Así, se configura una relación de elementos interconectados que permiten valorar de modo más efectivo a la evaluación en sí misma y, en consecuencia, contribuir a los propósitos de la persona o institución que solicita su elaboración.
MODELO SCRIVEN (mixto)
Michael Scriven puede considerarse otro de los grandes autores que contribuyeron activamente en la teorización de la evaluación. Una de sus aportaciones más significativas, fue la construcción de un modelo centrado en el consumidor. Scriven propone en esta fundamentación una evaluación que incida especialmente en las necesidades de los destinatarios finales del objeto o programa que se está evaluando.
Para este cometido, enumera nueve dimensiones de análisis básicas que configuran una nueva forma de abordar la evaluación. De esta forma, distingue la necesidad de considerar (Stufflebeam y Shinkfield, 1987) y (Alvira, 1991):
-Antecedentes, contexto, recursos y función del programa/servicio que se quiera evaluar.
-Sistema de distribución del programa/intervención.
-Descripción de los usuarios o población objeto de la intervención.
-Necesidades y valores de los que se ven realmente afectados por la intervención.
-Existencia o no de normas/criterios previos para la evaluación.
-Proceso de la intervención social.
-Resultados de la misma.
-Costes de la intervención.
-Comparación con programas/servicios alternativos.
Como se puede apreciar, el modelo propuesto por Scriven reconfigura, una vez más, la propuesta metodológica inicial que guiaba las primeras prácticas de la evaluación. El énfasis por la medición y el contraste de objetivos finales, se relega a un segundo plano en favor de nuevas perspectivas que permiten explicar mejor el desarrollo del proceso. En este caso, Scriven incide en la necesidad de analizar también las dimensiones que rodean al contexto donde se evalúa y que afectan, en mayor o menor medida, a los destinatarios (véase dimensiones 3 y 4) que serán, en última instancia, las figuras donde verdaderamente revertirán tanto los efectos del programa como los de la evaluación
MODELO PATTON
Otra de las figuras más representativas dentro del ámbito evaluativo –de corte más profesionalista que academicista- es Michael Patton. La carácterística más relevante de su modelo –propuesto inicialmente en 1978 y mejorado con nuevas contribuciones hasta 1997-, es que se centra principalmente en un aspecto clave ya citado anteriormente, pero no abordado de forma explícita: la validez y el uso de la evaluación considerando el eje participativo como motor del modelo.
Patton, consciente de la realidad que subyace en la práctica evaluativa, se plantea como reto afrontar y reformular el problema de la utilización de las evaluaciones, exponiendo una serie de directrices básicas para la práctica, como son (Bustelo, 2001):
-La preocupación por la utilidad debe ser la guía conductora de la evaluación.
-Esta preocupación ha de ser continua y obliga a dar respuestas desde un principio.
-El factor personal (intereses y compromisos) contribuye significativamente al uso.
-Se debe hacer un análisis cuidadoso y profundo de los agentes críticos y que ello sirva para identificar a los usuarios principales.
-Las evaluaciones útiles han de ser diseñadas y adaptadas a cada situación. Las recetas estandarizadas no funcionan.
-Los evaluadores tienen que aumentar su credibilidad siendo activos y reactivos.
Un objetivo básico en el presente modelo es estrechar la brecha entre los resultados de la evaluación y la utilización de los mismos. Ello ayudará a los responsables del programa a formular sus preguntas para ser capaces de resolver sus problemas y así fortalecer y mejorar sus programas.
El objeto de este planteamiento no será tanto la sistematización y estandarización de la evaluación, sino más bien la adaptación a las peculiaridades de cada proceso con la idea de configurar una herramienta útil y perdurable. En definitiva, que contribuya a describir una situación y transmitir los puntos clave que despierten el interés de las partes interesadas (UNICEF, 1998)
TIPOS DE EVALUACIÓN
Evaluación externa:
Aquella que es realizada por evaluadores ajenos a la institución en la que se desarrolla el programa o proyecto.Evaluación interna
Es la que se lleva a cabo por personas que tienen un vínculo institucional con el objeto a evaluar, no siendo éstos los encargados de ejecutar el programa o proyecto en cuestión.Evaluación mixta:
Aquella realizada bajo la coordinación de personal externo y personal interno. Vendría a ser un híbrido de las dos formas anteriores.Autoevaluación
Evaluación desarrollada por los propios ejecutores del programa. Puede ser de carácter individual o colectivo, y el objetivo es valorar el logro o no de las actuaciones y metas previstas
CONCEPTO DE Evaluación DEL EMPODERAMIENTO.
- El uso de conceptos, técnicas y hallazgos que permiten la mejora y la auto-determinación (Fetterman 2001:3)