1. INTRODUCCIÓN

Los Servicios Sociales son aquellos servicios que tienen como objetivo promover el bienestar social. En el caso de España, la legislación sobre servicios sociales ha sido muy dinámica desde sus orígenes. Ante la ausencia de competencias estatales incluidas en la Constitución Española, son las comunidades autónomas las que llevan a cabo el desarrollo legislativo. Los cambios socioeconómicos y políticos han llevado a su reconfiguración y, hoy en día, estas leyes presentan un corpus legislativo variado y complejo, en el que el reconocimiento del derecho a la asistencia social (Constitución Española art. 148.1. 20ª) y la forma en que se gestiona han marcado la evolución legislativa que diferenciamos a continuación.

En un primer momento (1983-1992) en el que, junto con los diferentes estatutos autonómicos, se reconoce la competencia de las comunidades autónomas y se propone un modelo similar, ya que presenta similitudes tanto en el enfoque político (definición, principios rectores, financiación, etc.) como en los aspectos técnicos (estructura, método, etc.). Este conjunto de leyes se denomina leyes de primera generación.

Un segundo impulso legislativo (1993-2003) se centra en la práctica con la incorporación de la gestión público-privada mixta (Arias et al., 2004). Este grupo se denomina leyes de segunda generación.

El enfoque hacia el derecho subjetivo y la universalidad de los servicios sociales marca el tercer impulso legislativo (2006-2010) que, con matices posteriores, se verá limitado en su planteamiento inicial (Vilá, 2012). Este conjunto de leyes se conoce como leyes de tercera generación.

Un cuarto momento legislativo (2015-2022) queda exento de calificación. Para este documento, se denominarán leyes posteriores.

1.1. Evaluación como Instrumento en los Servicios Sociales

La evaluación de políticas públicas es un instrumento robusto que nos permite comprender y transformar la realidad en la que se interviene. Este instrumento tendrá diferentes capacidades dependiendo de su definición y del momento político y social en el que se desarrolle.

La literatura sobre evaluación de políticas públicas muestra una gran producción y variedad de definiciones de evaluación con distintos grados de consenso. La definición que obtiene mayor consenso es la del “Joint Commitee on Standards for Educational Evaluation” (1994, p. 3), que afirma que “la evaluación es la valoración sistemática del valor o mérito de un objeto”. Esta variedad proviene principalmente de las diferencias entre el alcance y la utilidad de la evaluación, y da lugar a dos grandes tendencias.

La primera tendencia define la evaluación de forma instrumental, orientada a la toma de decisiones en el ámbito político o gubernamental. Decisiones basadas en los resultados producidos a lo largo de un proceso sistemático de recopilación y análisis de datos. Por tanto, su alcance se establece dentro de los límites de la intervención evaluada. Se sitúa al final del ciclo de planificación y se presenta como una visión racional de la toma de decisiones (Brinkerhoff, 2003; Chelimski, 1985; Scriven, 1967; Weiss, 1998).

Una segunda tendencia concibe la evaluación como algo inherente al proceso de construcción social, que sirve para conocer la realidad, percibir los problemas sociales y mejorar la sociedad. Esto otorga a la evaluación un carácter más amplio y deliberativo, que va más allá de la intervención y cuestiona a la sociedad, al Estado y a la ideología política que lo sustenta (Solarte, 2002). Se sitúa de forma continua a lo largo del ciclo de políticas (Comas, 2008; Denny, 2011; Stake, 1967, 2011; Weiss, 1998).

En el caso de España, la evaluación de políticas públicas ha evolucionado desde una introducción tardía hasta una praxis sostenida en el tiempo. No fue hasta comienzos del siglo XXI cuando la evaluación de políticas públicas se desarrolló de forma progresiva y sostenible. Resultado de una pluralidad de factores coadyuvantes a este avance como:

• La aplicación de leyes: la Ley Orgánica 1/1990, de 3 de octubre, de Ordenación General del Sistema Educativo y la Ley 23/1998 de Cooperación Internacional para el Desarrollo (Arriazu, 2015).

• Publicaciones especializadas (Pazos y Zapico, 2002; Bustelo, 2006; Fernández-Ramírez y Rebolloso, 2006; Comas, 2008) que vienen a enriquecer la escasa documentación precedente (Ligero, 2010).

• La creación de organizaciones públicas y privadas como la Sociedad Española de Evaluación de Políticas Públicas (2000), la Sociedad Española de Evaluación (2001), la Agencia Nacional de Evaluación de la Calidad y Acreditación (2002), la Agencia de Calidad del Sistema Nacional de Salud (2003) y la Agencia Estatal de Evaluación de Políticas Públicas y Calidad de los Servicios (2006).

• La formación especializada de profesionales, la estandarización del concepto y su inclusión en desarrollos programáticos a distintos niveles, desde planes estratégicos hasta programas y proyectos. Todo ello marcado por un contexto retórico en el que se habla más de evaluación de lo que se practica y por el impulso innegable de la Unión Europea con sus exigencias normativas y presupuestarias (Arriazu, 2015; Muñoz, et al., 2013; Pazos, 1996).

El estudio de las leyes de servicios sociales en España ha prestado poca atención al análisis de la evaluación en las mismas. Concepto clave para ordenar la articulación entre derechos y gestión. Aunque las leyes de servicios sociales no contienen todo el orden legislativo que las afecta (Vilá, 2012), sí proporcionan un marco suficiente para su análisis.

El objetivo general del presente estudio es identificar el concepto de evaluación subyacente en las diferentes leyes autonómicas desde sus inicios hasta la actualidad, específicamente identificar el uso del término y observar su evolución y desarrollo a lo largo del tiempo.

2. MÉTODO

La presente investigación se fundamenta en un enfoque cualitativo basado en el análisis documental y el análisis del discurso, elección que responde a diversas consideraciones tanto epistemológicas como pragmáticas.

La pertinencia de esta aproximación metodológica para el objeto de estudio radica en su capacidad para captar los matices semánticos y las transformaciones discursivas a lo largo del tiempo. El enfoque cualitativo resulta especialmente adecuado para examinar cómo se construye y evoluciona el significado de la evaluación en los textos legislativos, permitiendo una comprensión profunda de las variaciones conceptuales (Denzin y Lincoln, 2018).

La coherencia entre la metodología seleccionada y los objetivos de investigación se manifiesta en la capacidad del análisis del discurso para trascender el mero recuento de frecuencias terminológicas. Esta técnica permite desentrañar las concepciones subyacentes y los marcos interpretativos que moldean la comprensión de la evaluación en el contexto de los servicios sociales (Van Dijk, 2016).

La naturaleza del corpus documental justifica asimismo la elección metodológica. Los textos legislativos, en su condición de documentos oficiales, constituyen fuentes primarias que reflejan el posicionamiento institucional y la evolución del pensamiento político-administrativo en materia de evaluación. El análisis documental sistemático facilita la reconstrucción de esta trayectoria evolutiva de manera rigurosa (Prior, 2008).

La capacidad interpretativa de la metodología seleccionada permite identificar patrones discursivos y conceptuales significativos, analizar las relaciones entre el texto y su contexto socio-histórico, y comprender las implicaciones prácticas y teóricas de las diferentes concepciones de evaluación presentes en la legislación.

2.1. Validez metodológica, corpus documental y proceso de recopilación

La validez metodológica se basa en la combinación del análisis documental exhaustivo con el análisis del discurso, lo que proporciona un marco metodológico sólido que garantiza la triangulación de interpretaciones, la trazabilidad del proceso analítico y la base empírica de las conclusiones.

Se llevó a cabo una revisión sistemática y exhaustiva del marco normativo autonómico en materia de servicios sociales, abarcando las diecisiete comunidades autónomas españolas. El período de análisis comprende desde 1988 hasta 2022, intervalo temporal delimitado por la promulgación de la primera ley autonómica de servicios sociales y la más reciente, correspondiente a la Comunidad de Madrid.

La recopilación documental se realizó mediante la consulta del Boletín Oficial del Estado (BOE) y de los respectivos boletines oficiales autonómicos, identificándose un total de 40 leyes. El corpus documental fue sistematizado según los siguientes criterios de clasificación: comunidad autónoma de origen, fecha de promulgación, tipo de legislación y estado actual (vigente/derogada).

El proceso analítico se desarrolló en dos fases principales: la primera se centró en la identificación y extracción de terminología, localizándose sistemáticamente el concepto de evaluación mediante la búsqueda de la raíz léxica "evalua*". Los artículos identificados fueron sometidos a una lectura detallada para contextualizar el uso del término. En segundo lugar, se llevó a cabo un análisis del discurso, dada su idoneidad para las ciencias sociales y su capacidad para inferir conocimiento sobre las condiciones de producción (Bardin, 1986). Esta metodología permite examinar las relaciones semánticas y pragmáticas que vinculan el texto con su contexto, entendiendo el texto como un producto dinámico de las relaciones sociales (Sayago, 2014).

2.2. Enfoque metodológico

La pertinencia de este enfoque metodológico para el objeto de estudio radica en su capacidad para captar matices semánticos y transformaciones discursivas a lo largo del tiempo. El enfoque cualitativo es especialmente adecuado para examinar cómo se construye y evoluciona el significado de la evaluación en los textos legislativos, permitiendo una comprensión profunda de las variaciones conceptuales (Denzin y Lincoln, 2018).

2.3. El análisis

Este enfoque analítico facilita la descripción y comprensión de la evaluación en el marco legislativo de los servicios sociales; y la contextualización de la evaluación en el ámbito profesional del Trabajo Social.

2.4. Marco analítico

El análisis se ha estructurado en torno a varios criterios no excluyentes basados en la literatura clásica sobre evaluación de políticas públicas (Stufflebeam y Shinkfield, 2007; Stufflebeam y Coryn, 2014)..

Estos criterios incluyen:

• Alcance, entendido como la extensión del objeto evaluativo.

• Utilidad, definida como el propósito fundamental de la evaluación.

• Acceso, referido al nivel de accesibilidad ciudadana a los resultados de la evaluación.

• Participación, que refleja el grado de implicación y diálogo ciudadano.

• Método, que abarca los modelos metodológicos propuestos.

• Iniciativa, relacionada con la atribución de responsabilidad y capacidad de toma de decisiones

• Otras definiciones, que incluyen usos alternativos del término evaluación.

2.5. Procesamiento de datos

Se utilizaron herramientas ofimáticas (Microsoft Word y Excel) para procesar y organizar la información, lo que permitió la sistematización y categorización de los datos para su posterior análisis.

2.6. Limitaciones metodológicas

El diseño metodológico adoptado presenta ciertas limitaciones que han sido consideradas y abordadas. El posible sesgo interpretativo se ha mitigado mediante el establecimiento de criterios de análisis claramente definidos, basados en la literatura especializada. La exhaustividad del análisis en el período seleccionado compensa la limitación temporal del estudio. La naturaleza textual del análisis, que puede no reflejar completamente la práctica real de la evaluación, se reconoce explícitamente en las conclusiones. La posible descontextualización de los textos ha sido abordada mediante una atención especial a las condiciones sociohistóricas de producción de cada ley.

3. RESULTADOS

Los resultados que se presentan a continuación muestran los datos más relevantes para cada uno de los períodos legislativos mencionados anteriormente. Cabe destacar:

- Existe cierta homogeneidad en cada una de las generaciones legislativas, lo cual no excluye que existan algunas diferencias entre las leyes que componen cada generación.

- El término evaluación aparece en la legislación con dos significados: por un lado, vinculado a la valoración de programas y políticas, y por otro, relacionado con la valoración diagnóstica o integral de personas susceptibles de ser usuarias de los servicios sociales, principalmente. Las siguientes líneas abordan el primer significado.

Nota: (*) Legislación vigente.

Fuente: Elaboración propia.

3.1. Leyes de primera generación (1983-1992)

El término “evalúa*” no aparece en todas las normativas, ni hay una referencia semántica a todos los criterios. Aparece con mayor frecuencia en relación con los criterios de iniciativa (I) y participación (P), como puede observarse en la Tabla 1, marcando con un 1 cuando el criterio en cuestión aparece.

La normativa establece que la iniciativa corresponde a la administración pública, que decide sobre el encargo de evaluación y, por tanto, determinará qué se evalúa (programa o política de forma integral, solo los resultados, o el proceso, etc.), cómo (interna vs. externa, formativa vs. sumativa, etc.), cuándo (ex ante, ex post), con qué propósito (rendición de cuentas, búsqueda de mejora, etc.), entre otras posibles opciones. Las diferentes configuraciones permiten distintos roles de la evaluación (toma de decisiones, instrumento de encuentro, aprendizaje social, transformación de la sociedad y validación del sistema social y sus instituciones).

Corresponden a la Diputación General de Aragón, en materia de acción social, las siguientes funciones: a) La planificación y la consiguiente evaluación en el territorio de la Comunidad Autónoma. (Ley 4/1987, de 25 de marzo, de Organización de la Acción Social. Comunidad Autónoma de Aragón).

Esta alta capacidad de decisión está mediada por la convocatoria a la participación de distintos actores como profesionales, asociaciones de usuarios, sindicatos, etc., quienes, bajo la organización de consejos u otras formas organizadas por la administración, asumen principalmente funciones de carácter consultivo y propositivo. En menor medida, se les convoca para identificar y reflexionar sobre las variables causales de las necesidades sociales.

Art. 1, i) Fomentar la participación de la comunidad en la investigación, diagnóstico, planificación, evaluación y transformación de las etiologías sociales que les afectan. (Ley 9/1987, de 28 de abril, de Servicios Sociales de Canarias).

En resumen, el concepto de evaluación es endémico e incipiente, no se encuentra en todas las normativas ni con suficiente detalle en la gran mayoría. Los criterios estudiados muestran un concepto embrionario tendente a la toma de decisiones, que emerge principalmente por la presencia mayoritaria de los criterios de iniciativa y participación.

3.2. Leyes de segunda generación (1993-2003)

El término de estudio aparece en todas las normativas del período, sin saturar los criterios de utilidad o accesibilidad. Es en el criterio de método (M) donde aparece con mayor preeminencia, junto con participación (P) (ver Tabla 1). Veamos el siguiente ejemplo:

Art. 45. m. Implantación de sistemas de información y elaboración de estadísticas, así como evaluación de resultados y calidad en la prestación de los servicios sociales, sin perjuicio de las competencias atribuidas a la Dirección General correspondiente en materia de calidad de los servicios. (Ley 11/2003, de 27 de marzo, de Servicios Sociales de la Comunidad de Madrid).

En cuanto al método de evaluación, las normativas analizadas, no se determina un modelo específico de evaluación, pero se avanza hacia una mayor estandarización, seguimiento y control de la gestión. La legislación hace referencia principalmente a:

- Un enfoque epistemológico: cuantitativo y cualitativo (Ley 11/2003, Comunidad de Madrid).

. Diferencias metodológicas considerando seguimiento y evaluación (Ley 1/2003, Asturias y Ley 11/2003, Madrid)

. Los resultados como el objeto principal del interés evaluativo (Ley 11/2003, Madrid y Ley 5/1997, Comunidad Valenciana)

- Una visión sistémica del conjunto (Ley 1/2003, Asturias)

- La homogeneización del desempeño: niveles de calidad (Ley 1/2003, Asturias y Ley 11/2003, Madrid).

Art. 4. Principios generales de actuación. g) Prevención, planificación y evaluación de resultados, para realizar una gestión eficiente y eficaz. (Ley 5/1997, de 25 de junio, que regula el Sistema de Servicios Sociales en el ámbito de la Comunidad Valenciana).

La elección del modelo de evaluación no es inocua, y varias variables influyen en la decisión: el objetivo perseguido, las necesidades de información, la pluralidad de actores que demandan satisfacer sus necesidades informativas y su grado de participación en el proceso, así como el acceso a los resultados y la aplicación de los cambios. La evaluación como método científico se inserta en la epistemología y la ontología a través de los distintos paradigmas, que no solo producen diferentes modelos de evaluación, sino que también afectan sus distintos usos y roles en la dinámica social.

En otras palabras, el concepto instrumental se refuerza con la presencia de una mayor estandarización expresada como criterios de calidad, seguimiento y control de la gestión.

3.3. Leyes de tercera generación (2006-2010)

Todas las normativas del período incorporan el término “evalúa*” y todos los criterios están saturados y con una frecuencia similar (ver Tabla 1). Todas las normativas del período incorporan el término “evalúa*” y todos los criterios están saturados y con una frecuencia similar (ver Tabla 1).

El término evaluación aparece con referencias explícitas en el cuerpo legislativo, destacando su novedad y utilidad. En 2006, la evaluación de la planificación y la calidad se consideraba un principio novedoso (preámbulo de la Ley Foral 15/2006, de Servicios Sociales). En 2007, la acreditación y evaluación de centros se denominaba un “instrumento novedoso” (Ley 2/2007, de Cantabria, de Derechos y Servicios Sociales). Ya en 2009, se afirmaba que existía un eje novedoso sobre el que se basaba la política: “la aplicación del sistema de evaluación y mejora” (Ley 7/2009, de La Rioja, de Servicios Sociales). Aunque la novedad es algo tardía, el análisis refleja una presencia significativa de todos los criterios analizados y representa un claro punto de inflexión.

El alcance de la evaluación sigue restringido a la acción programática, pero con un enfoque más amplio (incluyendo evaluación ex ante, seguimiento y evaluación de resultados). Su utilidad se enmarca en los fines clásicos de la evaluación: rendición de cuentas, mejora e iluminación de acciones futuras. La mejora fue el concepto más recurrente, seguido de la iluminación de acciones futuras en términos de adaptación a las necesidades sociales actuales. El control y la rendición de cuentas se alcanzan mediante sistemas de aseguramiento de la calidad y su acreditación, que se señalan principalmente como método.

Art. 4 o) Evaluación y calidad: se establecerán sistemas de evaluación para garantizar la calidad y acreditación de los servicios sociales, tomando como referencia el concepto de calidad de vida de las personas. (Ley 13/2008, de 3 de diciembre, de servicios sociales de Galicia).

La participación abandona referencias generalistas y propositivas para avanzar en concreción y operativización: se consideran definición y fases.

Art. 72. Se entiende por proceso de participación aquel que, de forma integral y dinámica, incluye las siguientes tres fases: a) Información y marco referencial: proceso en el que se informa a las personas y grupos sociales implicados sobre el tema objeto de participación, los objetivos, calendario y metodología del proceso. b) Debate y deliberación: se promueve la aportación de ideas y propuestas, así como la generación de consensos y acuerdos. c) Retorno y devolución: fase en la que se informa a los participantes del resultado del proceso de participación (Ley 14/2010, de 16 de diciembre, de Servicios Sociales de Castilla-La Mancha).

Es decir, el acceso a los resultados de la evaluación es el criterio en el que se observa la mayor evolución, con una disparidad significativa en el compromiso y concreción del canal de distribución. Va desde la mera intención de informar (Ley 12/2008, País Vasco), hasta la concreción de los medios de acceso: canalización de la información a órganos consultivos (Ley 5/2009, Aragón; Ley 7/2009, La Rioja), exposición pública en el Parlamento autonómico (Ley 14/2010, Castilla-La Mancha) o información mediante informe público (Ley Foral 15/2006, Navarra; Ley 4/2009, Baleares).

Art. 26. d) Establecer un sistema de evaluación, control y seguimiento riguroso de todos los programas previstos en el Plan Estratégico. La evaluación se realizará anualmente y dará lugar a un informe público que estará a disposición de las entidades locales, usuarios y ciudadanía en general. (Ley Foral 15/2006, de 14 de diciembre, de Servicios Sociales de Navarra).

En resumen, el tercer momento legislativo representa un punto de inflexión: la evaluación es reconocida y consolidada en la política de acción social. El concepto de evaluación instrumental se afirma y se apoya en sistemas de aseguramiento de la calidad. El énfasis en el acceso a los informes de evaluación supone un paso importante en el ejercicio democrático y la participación sociopolítica de la ciudadanía.

3.4. Leyes Posteriores (2015–2022)

El término estudiado se encuentra en todas las normativas y satura los criterios de forma similar (ver Tabla 1).

Este conjunto de legislaciones introduce cambios en la concepción de estos. La ciudadanía no solo tiene derecho a los servicios sociales, sino también a servicios sociales de calidad (Ley 16/2019, de 2 de mayo, de Servicios Sociales de Canarias; Ley 3/2021, de 29 de julio, de Servicios Sociales de la Región de Murcia; Ley 9/2016, de 27 de diciembre, de Servicios Sociales de Andalucía), conforme a los estándares, criterios u objetivos establecidos por la Administración en su desarrollo programático, con distintos mecanismos de cooperación ciudadana, siendo obligatoria en algunos casos (Ley 16/2019, de 2 de mayo, de Servicios Sociales de Canarias).

Artículo 77. Calidad de los servicios sociales. La calidad de los servicios sociales constituye un derecho de las personas usuarias y, en consecuencia, un objetivo prioritario y un deber del sistema público de servicios sociales. A tal fin, las administraciones públicas canarias, en sus respectivos ámbitos competenciales, así como los organismos públicos, promoverán la calidad y la mejora continua de dicho sistema. (Ley 16/2019, de 2 de mayo, de Servicios Sociales de Canarias).

Existe una pluralidad de indicadores (sostenibilidad, empoderamiento, autonomía, impacto de género, etc.) que superan la visión clásica reduccionista y economicista centrada en la eficacia y eficiencia o en una calidad de vida generalista. Los nuevos elementos de juicio, en su definición, facilitan la aproximación y valoración de las acciones orientadas a los derechos de la ciudadanía en términos de calidad de vida, bienestar e igualdad, con mediciones sistematizadas y establecimiento de estándares.

Art. 80.2. Asimismo, se desarrollará un conjunto de indicadores que permitan el seguimiento y evaluación de la mejora continua de la calidad a través de los resultados obtenidos en términos de empoderamiento de las personas, garantía de derechos, autonomía, calidad de vida, satisfacción, bienestar social, igualdad entre mujeres y hombres, eficiencia, calidad del empleo, cohesión social y territorial y sostenibilidad del Sistema Público Andaluz de Servicios Sociales. (Ley 9/2016, de 27 de diciembre, de Servicios Sociales de Andalucía).

También se incorpora la dimensión axiológica de la evaluación. Determinar el mérito o valor de algo exige reflexionar y definir previamente qué entendemos por bienestar social, calidad de vida, autonomía, etc. Estas definiciones variarán según los actores implicados y sus posiciones estratégicas.

Artículo 94. Disposiciones generales. Las administraciones públicas competentes en materia de servicios sociales garantizarán la existencia de canales efectivos que faciliten la participación ciudadana en la planificación, funcionamiento y evaluación del Sistema Público Valenciano de Servicios Sociales, con el fin de integrar procesos deliberativos en la toma de decisiones y adaptar el sistema a las necesidades y diversidad de las personas en el proceso de participación a lo largo de su ciclo vital (Ley 3/2019, de 18 de febrero, de la Generalitat, de Servicios Sociales Inclusivos de la Comunidad Valenciana).

Además, se amplía el alcance hacia la evaluación de la política, no solo del desarrollo programático, lo que permite reflexionar sobre la adecuación de la política a la realidad social, diferenciando así la teoría subyacente al diseño del desarrollo concreto en forma de plan y programa (Ley 9/2016, Andalucía; Ley 3/2019, Comunidad Valenciana).

Art. 124, a) Evaluar las políticas sociales, los planes de actuación, el funcionamiento de las prestaciones y la adecuación de los servicios prestados en los distintos tipos de prestaciones. (Ley 3/2019, de 18 de febrero, de la Generalitat, de Servicios Sociales Inclusivos de la Comunidad Valenciana).

En resumen, la evaluación de las políticas públicas de acción social se encuentra en una etapa de madurez. Mantiene una concepción instrumental que avanza hacia una visión más constructivista. Las variaciones detectadas están conduciendo a cambios paradigmáticos hacia el encuentro y un mayor diálogo.

4. DISCUSIÓN

El estudio realizado ha revelado dos significados para el término evaluación. El primero, utilizado principalmente para la valoración social o diagnóstico de personas. Parece ilustrar la tensión tradicional entre las tendencias psicológicas y las socio-estructurales. Esta dialéctica ha moldeado la formación y evolución de los servicios sociales (Roldán y García, 2006).

El segundo significado, relacionado con la determinación del valor o mérito de un programa o política, presenta una evolución clara tanto en su presencia dentro del articulado como en el concepto de evaluación acuñado. La presencia vaga y el carácter embrionario y propositivo de la primera generación de leyes de servicios sociales (1983–1992) coincide con su contexto sociopolítico. Aunque los inicios de la evaluación pueden situarse alrededor de los años 50 (Ligero, 2011), Arriazu (2015) señala que no fue hasta 1982 cuando se impulsaron medidas que promovieran la evaluación de políticas públicas dentro de un modelo de gestión de la administración pública. El nuevo modelo de gestión (Presupuesto por Programas) se inspira en referentes franceses y norteamericanos que vinculan la acción programática con la dotación económica. Emergen los criterios de eficacia y eficiencia, aunque no sin dificultades. Ballart (1992) afirma que la administración existente no facilitaba el desarrollo de la evaluación.

En el marco de los servicios sociales, Fernández-Ballesteros (1996, p. 15) describe el estado y uso de la evaluación como “desinstitucionalizado y opcional”, y la evaluación de los servicios sociales, según Fernández (en Fernández-Ballesteros, ed., 1996, p. 208), destaca que “la escasez de trabajos de evaluación publicados era bastante evidente”. La autora describe la práctica como una actividad interna en la que la mayor parte del trabajo se reduce a la recopilación de datos descriptivos sobre el tipo de usuarios atendidos y el tipo de servicio prestado. Concluye diciendo que en “los servicios sociales se escribe más sobre cómo deberían evaluarse los programas que sobre las experiencias concretas y los resultados de su aplicación” (Fernández-Ballesteros, 1996, p. 238). No sorprende, por tanto, que las leyes de esta generación contemplen sólo un concepto embrionario oportunidad en los artículos legales.

En aquellas leyes que sí lo hacen, la preeminencia de los criterios de iniciativa pública y convocatoria a la participación se explica, igualmente, por el contexto sociopolítico. Desde el inicio de la democracia y durante los años ochenta, los líderes de los movimientos ciudadanos se incorporaron a la administración y, entre otras cosas, institucionalizaron tareas que antes realizaban las asociaciones (Alberich, 2007). Así, la articulación entre administración y participación ciudadana es un binomio que refleja un momento específico y que no se mantendrá debido a múltiples factores (Alberich, 2007). Podríamos hablar de un concepto germinal de evaluación en una etapa de inocencia, en la que se cree que la mera democracia es suficiente, y el esfuerzo se centra en consolidar los servicios sociales dentro del Estado del Bienestar. La Ley 4/1987 de Organización de la Acción Social en Aragón tiene un reconocimiento especial porque se adelantó a su tiempo y definió la evaluación con criterios que el resto de las comunidades autónomas tardarían veinte años en articular.

En las leyes de segunda generación (1993–2003), la función de control adquiere una relevancia especial, posiblemente motivada por la gestión público-privada mixta (Arias et al., 2004) y por el impulso de la Unión Europea con sus exigencias normativas y presupuestarias (Arriazu, 2015; Muñoz et al., 2013; Pazos, 1996). Los Fondos Estructurales hicieron obligatoria la evaluación bajo el programa MEANS (Methods for Evaluating Actions of a Structural Nature). Desde 1994, se propuso dotar a los países miembros de un método de evaluación uniforme y coherente (Muñoz et al., 2013). La rendición de cuentas ante terceros impulsó una Administración Pública renovada que articuló procedimientos de eficiencia y gestión. A pesar del impulso considerable, el desarrollo de la evaluación en España seguía siendo muy limitado. Furubo, Rist y Sandahl (2002) sitúan a España en la posición más baja del ranking de los veintiún países estudiados.

El múltiple control administrativo se ve facilitado por un concepto instrumental de evaluación, que está dando lugar a la institucionalización de la evaluación; las evaluaciones ad hoc ya no parecen tan relevantes, sino que se requiere un sistema de evaluación que alimente de información a todos los miembros del ecosistema de gestión pública dentro de la Unión Europea. Estos avances —la incorporación de entidades supranacionales y el paso hacia sistemas de evaluación— forman parte de los cambios que actualmente enfrenta la evaluación, no solo en España (Dahler-Larsen, 2021; Hanberger, 2018, 2022; Picciotto, 2015). Se trata, por tanto, de una etapa transicional o de puente.

En las leyes de tercera generación (2006–2010), el sistema de aseguramiento de la calidad se establece como modelo de evaluación, aunque con diferencias en cuanto a criterios, certificación, etcétera (Vilá, 2012). La configuración del ecosistema de servicios sociales estableció la necesidad de información y estandarización que proporcionan los sistemas de calidad. Estos sistemas se caracterizan por la estandarización y la rendición de cuentas. Son sistemas que enfatizan la mejora de los programas y, en la medida en que los informes de evaluación se hacen públicos, proporcionan a la ciudadanía información para un conocimiento profundo de las instituciones y sus programas. Entre sus limitaciones se encuentran la reducción de la acción al indicador y la lógica instrumental parcial. Se reduce la acción al indicador cuando solo se hace lo que se mide, por lo que la elección del sistema de acreditación y su flexibilidad para adaptarse al propósito de los servicios sociales —y no al revés— es clave. La falta de adaptación o una adaptación limitada puede generar efectos no deseados.

El enfoque en lo concreto, el proyecto o programa, resalta la otra limitación mencionada: la lógica instrumental parcial. Las reflexiones producidas a la luz de los datos de los sistemas de acreditación se ven comprometidas en la medida en que vinculan mejoras en el bienestar ciudadano dentro de una lógica instrumental parcial: solo miden el desempeño del programa, sin considerar que el bienestar social requiere un alcance más amplio en la evaluación. Por un lado, para evaluar distintos niveles de acción política en el ecosistema [un nivel macro de cumplimiento de los compromisos democráticos del gobierno con la ciudadanía, un segundo nivel de evaluación del trabajo de los ministerios a nivel intersectorial, y un tercer nivel de cada uno de los ministerios (Solarte, 2002)]; y por el otro, para evaluar la teoría que sustenta la acción política. Centrarse en el funcionamiento del programa y no en la política en sí permite que el sistema de evaluación escape tanto al control democrático (Dahler-Larsen, 2021) como a la posibilidad de cambios reales al no cuestionar la epistemología del problema (Andersen, 2021), lo que supone un reto actual.

La evaluación de las políticas sociales atraviesa, en este momento, un punto de inflexión que permite hablar de una etapa de realismo y profesionalización. La evaluación deja de ser retórica para convertirse en institucional.

Las leyes posteriores (2015–2022) muestran que se han dado pasos firmes hacia la maduración de la evaluación, tanto en las políticas sociales como en el resto de España. Este impulso no se limita a las políticas sociales, sino también al resto de iniciativas desarrolladas dentro del Estado Español. Esta madurez se visualiza en la mejora en la posición en la actualización del Atlas Internacional de Evaluación (Jacob et al., 2015, p. 14), ascendiendo a la decimoséptima posición de entre veintiún países analizados. Se observa una mejora general y sustantiva, ya que se señala que el grado de desviación por variable entre el grupo de países en la cima y el grupo en la base es igual o inferior a 0,5 puntos. Las áreas identificadas para mejorar son: el dominio (evaluaciones más frecuentes en diferentes ámbitos políticos), la institucionalización gubernamental (necesidad de disposiciones gubernamentales para la realización y difusión de los resultados entre quienes ostentan el poder), la institucionalización parlamentaria (en la misma línea que el punto anterior, pero en el marco parlamentario) y la implementación de una Entidad Superior de Evaluación para realizar, entre otras cosas, metaevaluaciones.

En concreto, en las políticas sociales, hay que destacar que, como ya ocurrió en las leyes de segunda generación, la participación de estructuras supranacionales impulsa y modela el concepto de evaluación. La Unión Europea, en su misión por buscar la cohesión social y prevenir polarizaciones, viene incidiendo desde 2008 en su Recomendación sobre Inclusión Activa, en la importancia de generar un enfoque integrado de Servicios Sociales y que estos sean de alta calidad. Posteriormente en 2011 promueve el “Marco de calidad para los servicios de interés general” que entre sus propósitos está garantizar el acceso a los servicios esenciales a toda la ciudadanía y promover la calidad en el campo de los Servicios Sociales. Los desarrollos posteriores en el Paquete de Inversión Social de 2013 y en las conclusiones del Consejo Europeo (2016), reinciden en presentar la calidad de los servicios sociales como una inversión inteligente y sostenible en la medida en que están integrados y promueven de manera personalizada habilidades y capacidades para el pleno desarrollo a lo largo de la vida, especialmente orientado a prevenir y combatir la pobreza y la exclusión social.

El concepto de evaluación y su impacto en el ejercicio democrático de la ciudadanía corresponden a los roles que permite una u otra concepción y a su momento sociopolítico. El concepto de evaluación y la pretensión de servicios sociales de calidad impacta en el ejercicio democrático de la ciudadanía. La concepción instrumental es la más limitada; los datos obtenidos anuncian la posibilidad de desarrollar al menos tres de los seis roles identificados por Solarte (2002): formación de ciudadanía, participación y herramienta política del gobierno, en la medida en que la información sea accesible y permita tanto a la ciudadanía como a los partidos políticos informarse sobre la acción de gobierno y participar en el debate público.

Otros roles, desde la concepción instrumental, son más limitados. Parece difícil habilitar el aprendizaje social, ya que requeriría no solo conocer los resultados, sino también proporcionar un espacio de encuentro y mediación entre los distintos interlocutores para fomentar un mejor conocimiento mutuo. Como herramienta de rendición de cuentas, requeriría más experiencia en la práctica de evaluación de políticas en general y un aumento de la masa crítica.

El alcance es el criterio que determina el rol como validación del sistema social: un alcance restringido advierte sobre la coherencia interna del programa, y un alcance más amplio reflexiona sobre el interés público y el bien común. Solarte (2002) afirma que son las ideologías dominantes las que sustentan la aplicación de políticas y la configuración de instituciones, y que este rol de la evaluación arroja luz sobre las concepciones filosóficas y políticas respecto a la justicia, la equidad, la distribución social, etc., que sostienen el sistema social.

Si bien es cierto que el concepto de evaluación acuñado en las leyes recientes es más constructivista y abierto al encuentro, no lo es menos que no está exento de riesgos. El momento sociopolítico actual en torno a la evaluación está marcado por importantes cambios (Dahler-Larsen, 2021). A los ya mencionados —el paso de la evaluación ad hoc a los sistemas de evaluación y el cambio en los enfoques epistémicos (menos énfasis en el funcionamiento de una política y más en los criterios de desempeño)— se suman el paso del gobierno a la gobernanza y un cambio en el estatus de validez y fiabilidad (Dahler-Larsen, 2021), lo que constituyen los retos actuales.

El paso del gobierno a la gobernanza conlleva un serio riesgo de pérdida democrática. “La gobernanza está tendiendo una trampa temible a la democracia” (Dufour, 2009, p. 27). En la medida en que se asienta la idea de que la suma de los intereses particulares de la sociedad civil son los intereses generales y, por tanto, el gobierno y el Estado se vuelven actores obsoletos, se olvida que la opresión proviene de las diferentes posiciones de poder entre unos y otros, y que solo la sumisión de todos a las leyes democráticas de un Estado impide la subordinación de unos a otros.

La validez y fiabilidad metodológica de una evaluación varía de rigurosa a laxa, dependiendo, entre otras cosas, del contexto y de los criterios a evaluar. Criterios complejos, como los propios de las políticas sociales —bienestar social, igualdad, justicia social, etc.— ven relajados y perturbados los criterios metodológicos para su extracción, y la rigurosidad de la evaluación no es un obstáculo para su consideración (Dahler-Larsen, 2019, 2021; Hesselmann y Schendzielorz, 2019).

En esta nueva etapa, la evaluación se generaliza y se hace presente en el diseño e implementación de las políticas, por lo que podríamos hablar de una etapa de expansión y concordancia con la evolución internacional. El crecimiento y la ubicación de la evaluación en el sistema social y la circulación de la información evaluativa pueden producir resultados adversos a los pretendidos, en un ejercicio clásico de gatopardismo, cambiar todo para que todo siga igual.

5. CONCLUSIONES

El trabajo cumple con el objetivo de sacar a la luz el concepto de evaluación en las leyes de servicios sociales en España. Se detecta un significado vinculado al diagnóstico social, propio de la configuración de los servicios sociales, y otro relacionado con la evaluación de programas y políticas públicas. En este segundo sentido, emerge un concepto de carácter instrumental que reduce el potencial de la evaluación y, por tanto, de las leyes de servicios sociales como oportunidad de transformación social a través del aprendizaje y la construcción compartida.

La perspectiva temporal muestra su consonancia con el momento histórico del país y su retraso a nivel internacional en las etapas iniciales. En la actualidad, la evaluación de las políticas sociales en España se encuentra en un estado de madurez, expansión, concordancia internacional y apertura hacia posturas más orientadas al encuentro. El contexto global de la evaluación alerta sobre riesgos y retos que requieren atención y reflexión para poder desarrollar todos los roles de la evaluación en el marco de la política social en España.

Los hallazgos deben considerarse de forma limitada, ya que el concepto ha sido extraído únicamente a partir de textos legislativos. La información no ha sido triangulada con otros datos provenientes de enfoques empíricos. Esto no impide considerar la importancia del presente trabajo como punto de análisis y reflexión sobre la evaluación de las políticas de servicios sociales. Sus limitaciones y potencialidades iluminan los desafíos que deben abordarse en el presente siglo.

6. CONTRIBUCIONES DE LOS AUTORES

Conceptualización (CAC, MVOR y MC); Curación de datos (CAC, MVOR y MC); Análisis formal (CAC, MVOR y MC); Adquisición de fondos (CAC, MVOR y MC); Investigación (CAC, MVOR y MC); Metodología (CAC, MVOR y MC); Administración del proyecto (CAC, MVOR y MC); Recursos (CAC, MVOR y MC); Software (CAC, MVOR y MC); Supervisión (CAC, MVOR y MC); Validación (CAC, MVOR y MC); Visualización (CAC, MVOR y MC); Redacción como borrador inicial (CAC, MVOR y MC); Redacción como revisión y edición (CAC, MVOR y MC). Los porcentajes de las contribuciones son CAC (60%), MVOR (22%) y MC (18%). Todos los autores leyeron y aprobaron el manuscrito final.

7. REFERENCIAS

Alberich Nistal, T. (2007). Asociaciones y Movimientos Sociales en España: Cuatro décadas de cambio. Revista de Estudios de Juventud, 76, 71-90.

Andersen, N. (2021). The Power and Paradoxes of Evaluation Systems - Increasing Use but Impeding Change. Scandinavian Journal of Public Administration, 25 (3), 39-59. https://doi.org/10.58235/sjpa.v25i3-4.7063.

Arias, A., Lucas, F., Guillen, E. y Pérez, D. (2004). La definición de servicios sociales en las leyes de servicios sociales de "primera" y "segunda" generación en España. Portularia, 4, 507-514.

Arriazu, R. (2015). La importancia de la evaluación de las Políticas Públicas españolas: una aproximación histórica basada en el método biográfico. Revista de Estudios de la Administración Local y Autonómica, 3, 209 - 220. http://dx.doi.org/10.24965/reala.v0i3.1024.

Ballart, X. (1992). ¿Cómo evaluar los programas y servicios públicos? Aproximación sistemática y estudios de caso. Ministerio para las Administraciones Públicas.

Bardin, L. (1986). El análisis de contenidos (Content analysis). Akal

Brinkerhoff, R. O. (2003). The Success Case Method: Find out quickly what's working and what's not. Berrett-Koehler.

Bustelo, M. (2006). The potential role of standards and guidelines in the development of an evaluation culture in Spain. Evaluation, 12, 437-453.

Chelimsky, E. (ed.) (1985). Program Evaluation: Patterns and Directions. Washington, DC: ASPA PAR Classics VI.

Comas, D (2008). Manual de evaluación para políticas, planes, programas y actividades de juventud. INJUVE.

Consejo Europeo. (2016, 15 de diciembre). Conclusiones del Consejo Europeo, 15 de diciembre de 2016. Consejo de la Unión Europea. https://www.consilium.europa.eu/es/press/press-releases/2016/12/15/euco-conclusions-final/

Dahler-Larsen, P. (2019). Quality: From Plato to Performance. Palgrave Macmillan.

Dahler-Larsen, P. (2021) The circulation of evaluative information. Scandinavian Journal of Public Administration, 25 (3/4), 17-35. https://doi.org/km7d

Denny, T. (2011). Storytelling and educational understanding. Journal of Multidisciplinary Evaluation, 7 (15), 258-271.

Denzin, N. K., y Lincoln, Y. S. (2018). The SAGE Handbook of Qualitative Research (5th ed.). SAGE Publications

Dufour, D-R. (2009). Governance vs. government. Cuadernos de Administración, 41, 27- 37.

Fernández-Ballesteros, R. (ed) (1996). Evaluación de programas: una guía práctica en ámbitos sociales, educativos y de salud. Síntesis.

Fernández-Ramírez, B. y Rebolloso, E. (2006). Evaluation in Spain: Concepts, contexts, and networks. Journal of Multidisciplinary Evaluation, 5, 134-152.

Furubo, J-E. Rist, R. y Sandahl, R. (2002). International Atlas of Evaluation. Transaction Publishers.

Hanberger, A. (2022). Power in and of evaluation: A framework of analysis. Evaluation, 28 (3) 265-283.

Hanberger, A. (2018). Rethinking democratic evaluation for a polarised and mediatized society. Evaluation, 24 (4) 382-99.

Hesselmann, F. y Schendzielorz, C. (2019) Evaluations as value measurement links: Exploring metrics and meanings in science, Social Science Information, 58 (2) 282 - 300.

Jacob, S., Speer, S. y Furubo, J. (2015) The institutionalization of evaluation matters: Updating the International Atlas of Evaluation 10 years later. Evaluation, 21(1) 6-31.

Joint Committee on Standards for Educational Evaluation (1994). The program evaluation standards (2nd ed.). Thousand Oaks, CA: Corwin Press.

Ligero. J. (2010). Evaluation and Limitation of Social Interventions: The Case of Spain. Journal of Multidisciplinary Evaluation, 14, 68-84.

Ligero, J. (2011). Dos métodos de evaluación: criterios y teoría de programas. CEU Ediciones (Serie CECOD nº 15/2011). http://www.magisterevaluacion.es/attachments/category/25/Ligero_Dos%20Metodos%20Evaluacion.pdf

Muñoz, A., Pérez, A., Muñoz, A. y Sánchez, C. (2013). Evaluación de las políticas públicas: una necesidad creciente en la Unión Europea. Revista de Evaluación de Programas y Políticas Públicas, 1, 1-30. http://revistas.uned.es/index.php/REPPP/article/view/10776

Pazos, M. (1996): La evaluación de programas en la Administración Pública Española: El estado de la cuestión. Instituto de Estudios Fiscales.

Pazos, M. y Zapico, E. (2002). Program evaluation in Spain: taking off at the edge of the twenty-first century? International atlas of evaluation (pp.291-306). Transaction Publishers.

Picciotto, R. (2015) Democratic evaluation for the 21st century. Evaluation 21(2): 150 - 166.

Prior, L. (2008). Doing Things with Documents. En D. Silverman (Ed.), Qualitative Research: Theory, Method and Practice (2nd ed., pp. 76-94). SAGE Publications

Roldán, E. y García, T. (2006) Políticas de servicios sociales. Síntesis.

Sayago, S. (2014) El análisis del discurso como técnica de investigación cualitativa y cuantitativa en las ciencias sociales (Discourse analysis as a qualitative and quantitative research technique in the social sciences). Cinta Moebio, 49, 1-10

Scriven, M. (1967). The methodology of evaluation. In Tyler, R. W., Gagne, R. y Scriven, M. (Eds.), Perspectives of curriculum evaluation (pp. 39-83). Rand McNally.

Solarte, L. (Oct. 2002). The evaluation of social programs in the liberal state. In VII International Congress of CLAD on the Reform of the State and Public Administration. Lisbon.

Stufflebeam, D. y Shinkfield, A. (2007). Evaluation, Theory, Models and Applications. Jossey-Bass.

Stufflebeam, D. y Coryn, C, (2014). Evaluation Theory, Models and Applications. Jossey-Bass.

Van Dijk, T. A. (2016). Análisis crítico del discurso (Critical discourse análisis). Revista Austral de Ciencias Sociales, 30, 203-222.

Vilá, A. (2012). La nueva generación de leyes autonómicas de servicios sociales (2006-2011): análisis comparativo. AZARBE, International Journal of Social Work and Welfare, 1, 143- 156.

Weiss, C. (1998). Evaluation. Prentice-Hall.

Información adicional

redalyc-journal-id: 6721