El diseño de una política evaluativa local desde el ejemplo de los CCI

Tal y como podemos extraer de la Guía sobre los Fundamentos de Evaluación de Políticas Públicas elaborada en 2010 por la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios, planificar la evaluación no es más que "diseñar con el mayor detalle posible las distintas tareas que deben llevarse a cabo en el análisis y valoración final que supone toda evaluación, formulando claramente los objetivos que se pretenden lograr, conteniendo información precisa sobre los insumos que van a ser utilizados, las actividades a realizar y los resultados que se prevén para la consecución de las finalidades de la organización". Planificar la evaluación supone también "tener presente el ciclo de vida de las intervenciones, las necesidades operativas y estratégicas de la toma de decisiones, la oportunidad temporal de las evaluaciones y la transversalidad (sectorial, territorial y de gestión) de sus objetivos"

Uno de los aspectos esenciales para llevar a cabo la correcta evaluación de los servicios públicos locales es su diseño y planificación inicial, teniendo en cuenta los siguientes criterios:

• Impulsar la participación de los interesados en dichas políticas y programas: al hablar de interesados señalamos a las personas que tienen un interés legítimo en la política o en el programa, tales como los usuarios a los que van dirigidos, los empleados que trabajan en ellos, los responsables de su implantación, etc. Identificados los interesados, éstos pueden ser los que ayuden a establecer las prioridades evaluativas, la elaboración de un modelo lógico evaluador, la selección de los métodos que se utilizarán en el proceso y la información que se requiere recabar. Con ello, los decisores públicos se pueden asegurar la aceptación social de la práctica evaluativa, su institucionalización y su arraigo en la cultura organizacional.
• Describir el programa: planificar la evaluación supone ponerse de acuerdo sobre el diseño de la misma, determinándose los elementos fundamentales del mismo y las actividades de evaluativas básicas. Una buena planificación debe ser capaz de responder a estos interrogantes: ¿Para qué se realiza esta evaluación? ¿A quién está dirigida o a quién beneficiará la evaluación? ¿Cómo se utilizarán los resultados de la evaluación? ¿Cuáles son las preguntas más importantes que debe responder la evaluación? ¿Cuáles son los métodos para proporcionar información a fin de responder a las preguntas en el proceso evaluador? ¿Cómo se ejecutará el plan de evaluación con los recursos disponibles? ¿Qué medidas de protección existen para que se cumplan todas las normas éticas sin perder el rigor técnico. 
• Reunir datos fiables: debe determinarse qué datos se reunirán en la evaluación de la política o del programa, quiénes los suministrarán, cuándo se realizarán las actividades de evaluación, dónde se recopilarán los datos y qué métodos de recopilación de datos se utilizarán.
• Analizar los resultados: planificar la evaluación también supone determinar con antelación de qué modo se analizarán los datos extraídos, lo cual permitirá garantizar la información necesaria y, además, contribuirá a establecer qué conocimientos técnicos y recursos se requieren para analizar los mismos. 
• Garantizar el uso y compartir la experiencia adquirida: planificar es, a su vez, determinar quiénes son los destinatarios de la información a que se llegue con la evaluación, cómo se informarán los resultados y qué formatos de presentación de informes serán los más apropiados.

Los Círculos de Comparación Intermunicipal se configuran como un método de trabajo, con periodicidad anual, para la evaluación de la calidad en el ámbito de la prestación y gestión de los servicios públicos municipales de Barcelona, que parte de un diseño muy bien planificado y puede extrapolarse hacia otras Entidades Locales. Los objetivos de los Círculos son los de medir, comparar y evaluar resultados obtenidos por los municipios de esta provincia mediante el uso de unos indicadores comunes que han sido previamente consensuados y constituir un grupo de trabajo para intercambiar experiencias de éxito entre Entidades Locales. Los Círculos de Comparación Intermunicipal ayudan a hacer un diagnóstico de la situación actual en la prestación de servicios públicos, revisar y marcar los objetivos de la organización, dar información a los responsables para tomar decisiones, mejorar los estándares de calidad de dichos servicios, planificarlos, presupuestarlos y evaluar la implementación de los mismos.

La Diputación de Barcelona impulsa, organiza y dinamiza los Círculos de Comparación Intermunicipal, ofreciendo a los participantes una metodología y un entorno de trabajo adecuado. En este proyecto participan, por un lado, el equipo técnico del Servicio de Programación, quien aporta conocimientos económicos y metodológicos; por otro lado, los miembros del Servicio de referencia de la Diputación, quienes aportan los conocimientos específicos del servicio público que se analiza. De esta manera, los talleres se benefician de los conocimientos y del trabajo transversal, entre diferentes áreas o departamentos de la Diputación. Actualmente, el 95% de los municipios de más de 10.000 habitantes de la provincia de Barcelona participan en, al menos, un Círculo de Comparación, lo que supone 77 municipios sobre un total de 80.

Los servicios analizados desde los Círculos de Comparación son los siguientes: Policía local, Gestión y tratamiento de residuos, Limpieza viaria, Bibliotecas, Teatros municipales, Guarderías, Escuelas de música, Deportes, Servicios Sociales, Mercados Municipales, Ferias Locales, Servicios Locales de Empleo, Oficinas Municipales de Información al Consumidor, Seguridad Alimentaria, Alumbrado público, Servicios de Mediación Ciudadana. Con la información extraída del análisis de los servicios, los municipios adquieren un instrumento de ayuda a la toma de decisiones en el ámbito de la gestión de sus servicios y ofrece al ayuntamiento la posibilidad de comparar la gestión de sus servicios municipales respecto de la gestión llevada a cabo por otros ayuntamientos de su entorno socio-económico más próximo.

En cuanto al desarrollo de este tipo de herramienta que evalúa la calidad de los servicios públicos, cabe señalar cinco fases concretas para el análisis: el diseño; la medición; la evaluación; la mejora; y la comunicación e implementación.

La fase de diseño consiste en la definición de la misión y de los objetivos estratégicos del servicio público a analizar y en la relación y la definición consensuada de los indicadores que han de ser empleados en la comparación entre los municipios y en el establecimiento de común acuerdo de las variables utilizadas para el cálculo de los indicadores mediante el consenso de los técnicos municipales responsables. Los indicadores se estructuran en cuatro dimensiones meta: encargo político, relacionados con la consecución de los objetivos finales del servicio; usuario-cliente, en lo que respecta al uso de dichos servicios; valores organizativos y recursos humanos, para el modelo organizativo y de gestión de los mismos; y economía, relacionado con la eficacia en su prestación.

La fase de evaluación consiste en la elaboración de un informe con los indicadores de cada municipio, destacando los valores más significativos. Así, para cada indicador se calcula la media, y se destacan los valores de los municipios de la siguiente manera: en verde, los valores como mínimo un 50% por encima la media del conjunto de municipios y en naranja: los valores como mínimo un 50% por debajo la media del conjunto de municipios. Adicionalmente, se elabora un Cuadro Resumen Individual, para cada municipio, comparando los valores del municipio con la media del Círculo. A partir de estos valores, así como de otros que puedan ser significativos, se realiza un primer borrador identificando los puntos fuertes y oportunidades de mejora de cada municipio.

En la fase de mejora, se trabaja para identificar los cambios que se puedan realizar en la prestación del servicio municipal, que da pie a replantearse cómo se ofrece y se gestiona el servicio, a la vez que posibilita el intercambio de experiencias y la transferencia de conocimientos.

En la fase de comunicación, una vez identificadas las acciones de mejora, hay que comunicar a la organización que estas acciones se plantean llevar a cabo. Esta Comunicación la realiza cada uno de los responsables municipales, mediante un proceso previo de planificación.

En la fase de medición, una vez identificadas las variables en la fase de diseño, éstas se recogen en una encuesta que se entrega a los ayuntamientos participantes para recoger datos sobre el funcionamiento del servicio. Los datos recibidos son objeto de una validación conceptual y estadística por parte de la Diputación de Barcelona, con la finalidad de depurar posibles errores en la recogida de datos. Esta validación incluye, entre otros, la comprobación de los valores extremos y la verificación de los datos que se han modificado sustancialmente de un año a otro.