martes, 30 de julio de 2013

La evaluación de lo público


Tal y como define GARDE ROCA, J. M., la evaluación es “el proceso sistemático de recolección y análisis de la información, destinado a describir la realidad y emitir juicios de valor sobre su adecuación a un patrón o criterio de referencia establecido como base para la toma de decisiones. Evaluar es participar en la construcción de un tipo de conocimiento axiológico, interpretando la información obtenida, estableciendo visiones no simplificadas de la realidad y suministrando resultados basados en evidencias que sean creíbles, fiables y útiles, facilitando la incorporación oportuna de los hallazgos, recomendaciones y lecciones en los procesos de toma de decisiones, lo cual ayudará a generar una mayor cultura  evaluativa".

Hoy en día, la evaluación ocupa un lugar estratégico en la esfera de lo público, pues resulta de especial trascendencia e interés medir el rendimiento de las instituciones para legitimar, de origen y de ejercicio, su propia existencia. El proceso evaluador está estrechamente unido a la calidad democrática, por cuanto nos interesa conocer los resultados que han generado la aplicación de determinado programa o la prestación de determinado servicio público en la realidad  social.

Conviene distinguir lo que supone evaluar servicios de lo que supone evaluar políticas y programas públicos. La evaluación de la calidad de los servicios es especialmente útil para medir los resultados, de la vertiente organizativa, en la implementación de los mismos, así como recopilar datos acerca de la percepción de los usuarios de dichos servicios y conocer con ello su índice de impacto. Por su parte, la evaluación de las políticas y programas públicos aporta una dimensión superior en la organización, relacionada con la toma de decisiones estratégicas, la legitimación social de la acción pública y la gobernanza. 

La evaluación -tanto de servicios como de políticas públicas-, debe ser un proceso continuo, una actividad más y complementaria del resto de funciones de la entidad, planificada, donde intervengan todas las partes de la organización, que ofrezca resultados fiables sobre los cuales definir las líneas estratégicas de mejora y realizado permanentemente por profesionales expertos. Sin evaluación no hay posibilidad de cambio y su institucionalización supone todo un proceso de renovación que requiere voluntad política, dirección participativa y cultura organizacional.

Merece la pena incluir la idea del citado autor cuando introduce la idea de institucionalizar la evaluación, definida como "un proceso político por el que se legitima un marco normativo adecuado para el desarrollo de la función de la evaluación, a partir de la estructuración de espacios e instancias de las Administraciones a las que encargar tal función, ubicándolos en los distintos niveles de gobierno y según las distintas actividades o sectores a evaluar. Con la institucionalización no se trata sólo de realizar algunas evaluaciones sino de incorporar la evaluación y sus resultados como prioridad de la agenda gubernamental y en los procesos de formación de políticas públicas, haciendo de ellas un factor clave para la gobernanza, arbitrando la participación de la ciudadanía y de los distintos actores sociales. Institucionalizar la evaluación exige configurar un modelo permanente de análisis de resultados, definiendo los principios y valores en los que sustentar dichos análisis y evaluaciones, enmarcándolos dentro de un proyecto político de gobernanza. Para ello, los poderes públicos, respetando íntegramente los roles legítimos del poder decisorio, deben estimular el establecimiento de estructuras culturales y formales capaces de diseñar sistémicamente e implementar las políticas públicas, así como de definir recursos técnicos, normas, metodologías, etc. que hagan de la evaluación de tales políticas un proceso riguroso, transparente y de calidad, al servicio de los ciudadanos. Serán éstos, junto con los diversos actores sociales, a través de su participación, los que expresen sus demandas, necesidades y opiniones, y a los que, en todo caso, se les debe rendir cuenta de los resultados de las evaluaciones realizadas”.

Public Policy and Management Institute (PPMI)


El gobierno de la República de Lituania decidió crear el Public Policy and Management Institute (PPMI). Este organismo se configura es uno de los principales centros de investigación sobre política pública en la región del Báltico y lleva funcionando desde 2001, realizando aportaciones muy relevantes en el estudio de las políticas públicas y ha propiciado un aumento en la eficacia de las medidas que adopta el ejecutivo del país y una mejora sustancial en el bienestar de la sociedad lituana.

La labor que lleva a cabo el PPMI es, fundamentalmente, de investigación interdisciplinaria en materias directamente relacionadas con la gestión pública y la evaluación de las políticas gubernamentales del país. Sobre todo, se centra en el análisis de los sistemas públicos de prestación de servicios: la educación superior y el I + D + i, la modernización de la Administración Pública, la economía, el mercado de trabajo y la formación profesional.

Los objetivos concretos de Public Policy and Management Institute se pueden resumir en los siguientes: la investigación de diversos fenómenos sociales y económicos que acontecen en el país para que, tratando de identificar las causas de los problemas emergentes en la sociedad, se puedan determinar las principales alternativas en la acción de gobierno para su resolución, evaluando estas alternativas y escogiendo la mejor opción; el análisis de los beneficios y de los resultados de los programas de política pública, de la legislación, de las disposiciones financieras, de los servicios públicos, así como de las medidas de mantenimiento del presupuesto ejecutado por instituciones públicas; el estudio en profundidad de la Administración Pública lituana para su modernización y adaptación al tiempo presente y de los sistemas públicos de prestación de servicios, con la finalidad de aumentar la eficiencia y la justicia social de los mismos; o la identificación de los problemas que afectas a las políticas gubernamentales del país, la mejora del rendimiento del Sector Público lituano, el desarrollo de nuevas capacidades administrativas y la aplicación en la República de las mejores prácticas nacionales a internacionales de gestión y evaluación pública.


El Instituto trabaja, de manera destacable, en el campo de la gestión y la evaluación de las políticas públicas desde hace más de diez años. Ello ha favorecido que los expertos de esta institución cuenten con una experiencia importante en el sector, sobre todo en los siguientes ámbitos: Nueva gestión pública y modernización de la Administración; Educación y Ciencia; Empleo y Competitividad; Investigación, Desarrollo e Innovación; Inclusión Social, Igualdad de Oportunidades y no Discriminación; Nuevas Tecnologías de la Información y de la Comunicación; Desarrollo Sostenible y Responsabilidad Social; y Servicios Públicos e interoperabilidad administrativa.

A nivel institucional, Public Policy and Management Institute ha conseguido una planificación de las políticas apropiadas, la participación de todos los actores implicados en la acción pública, la optimización de los recursos humanos, materiales y financieros del Sector Público y la reconversión y el fortalecimiento de las capacidades administrativas. También se ha conseguido gestionar las políticas a partir de resultados y con procesos de calidad total y poco a poco se han ido introduciendo sistemas de e-Gobierno, e-Participación y e-Administración.

En cuanto a la investigación de las políticas públicas, los expertos del PPMI aplican métodos cuantitativos y cualitativos, dando preferencia a la información empírica, las estadísticas, los hechos y las experiencias. Por otra parte, se hace una revisión crítica de la experiencia nacional e internacional en la materia, aplicando las mejores prácticas en el sector y evitando los errores cometidos en otras ocasiones. Así, el enfoque interdisciplinario, el pluralismo metodológico, el profundo conocimiento de la Administración y la propia experiencia del Sector Público permite a los empleados del Instituto un óptimo asesoramiento y evaluación.

Centrándonos en la evaluación de las políticas, el PPMI revisa sistemática y periódicamente las mismas, con el fin de determinar criterios tales como su idoneidad, su eficiencia, su eficacia, su impacto y su sostenibilidad. Las evaluaciones se utilizan para informar de los resultados obtenidos y así mejorar las líneas de actuación gubernamentales, satisfaciendo, mejor y en mayor grado, las necesidades de los ciudadanos. Desde su funcionamiento, Public Policy and Management Institute ha sido reconocido, tanto a nivel nacional como a nivel internacional. La evaluación de PPMI suele estar coordinada con el ciclo propio de una política pública. Y en función de estos ciclos, las fiscalizaciones pueden realizarse antes o después de su implementación, con carácter interno o con carácter externo o pueden ser temáticas, de impacto, etc. Pero lo más importante en este punto es señalar que durante las evaluaciones, se trata de involucrar a todos los grupos que puedan estar interesados (al igual que pasa con su definición e implementación) y con ello se fomenta también el aprendizaje y la actualización constantes de los participantes, asumiendo competencias en: la capacidad de análisis y crítica sobre la gestión pública, el interés por el Sector Público, la diligencia, la creatividad y la motivación para el aprendizaje y las habilidades de comunicación, entre otras.

IVALUA

La Comunidad Autónoma de Cataluña creó, en 2006, el Instituto Catalán de Evaluación de Políticas Públicas (IVALUA). IVALUA es un consorcio público que está compuesto por varias instituciones: el Gobierno de Cataluña, a través del Departamento de Economía y Conocimiento y como promotor de la iniciativa; la Diputación de Barcelona; la Universidad Pompeu Fabra; la Fundación Jaume Bofill; el Consejo Interuniversitario de Cataluña; y el Consejo de Trabajo Económico y Social de Cataluña.

La finalidad de IVALUA se centra en promover la evaluación de políticas públicas y de programas de las Administraciones Públicas, de las organizaciones privadas y del tercer sector social en Cataluña, para mejorar la efectividad, la eficiencia y la transparencia en las políticas públicas ofrecidas al ciudadano, examinando el rendimiento de las instituciones.

El Instituto centra su trabajo, de manera especial, en cinco líneas estratégicas básicas, cada una de ellas con unos objetivos concretos de actuación: 1) Sensibilización de actores clave, promoviendo que los políticos, los directivos, los responsables públicos, el personal técnico, los representantes económicos y sociales y los propios ciudadanos tengan una percepción positiva de la evaluación en las organizaciones y sepan de su gran importancia; 2) Generación de capacidad para la evaluación, familiarizando a los responsables públicos con los conceptos básicos, los métodos y las técnicas propias de la evaluación, capacitando técnicamente a los gestores y decisores públicos para que realicen evaluaciones eficaces y pertinentes, promoviendo la inclusión de la función evaluadora dentro de los organigramas y de los puestos de trabajo de las organizaciones o creando y difundiendo métodos y técnicas de evaluación y de herramientas de gestión propias, utilizando evaluaciones de referencia y otros recursos útiles que faciliten e impulsen su práctica; 3) Fomento de la realización y uso de evaluaciones de calidad, realizando proyectos orientados a la introducción sistemática de la evaluación en el Sector Público, promoviendo el establecimiento de incentivos para la realización de evaluaciones voluntarias y periódicas o asegurando la calidad en la oferta de evaluadores que se lleve a cabo y en las evaluaciones que realicen; 4) Difusión pública de los resultados de las evaluaciones, asegurando la difusión pública de las evaluaciones mediante la adaptación de los contenidos, canales y formatos que se utilizan por diferentes públicos; y 5) Seguimiento y consecuencias del desarrollo de la evaluación.

Dentro del Instituto, se ha creado una Red de Unidades de Análisis y Evaluación, de carácter informal, en las Administraciones Públicas Autonómica y Locales. El funcionamiento de la Red es flexible y orientado a resultados. Con esta Red de trabajo, las organizaciones disponen de un espacio de comunicación, de intercambio de experiencias y de reflexión conjunta acerca de la formulación, la planificación, el seguimiento y la evaluación de las políticas públicas en la Comunidad Autónoma. La Red, además, posibilita la detección de nuevos retos, oportunidades y necesidades que se generan en torno a la evaluación en las Administración Pública y sirve para explorar conjuntamente las diversas formas de dar respuesta a las mismas.

IVALUA colabora, a nivel nacional, para impulsar la evaluación en la Administración General, Autonómica y Local, a través de un Grupo de Trabajo Multidisciplinar. En el mismo, participan las Comunidades Autónomas de Castilla y León, Cataluña, Extremadura, Islas Baleares, Navarra, País Vasco y Valencia, junto con la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL) y la Federación Española de Municipios y Provincias (FEMP). En este sentido, IVALUA se encarga de coordinar, desde Noviembre de 2009, el Grupo que se enmarca, a su vez, dentro de la red estatal inter-administrativa de calidad de los servicios públicos promovida por AEVAL. Los objetivos del Grupo son: identificar los elementos más significativos para fomentar el desarrollo de la evaluación en los ámbitos estatal, regional y municipal; intercambiar información sobre estrategias y actividades concretas que los miembros del Grupo prevean llevar a cabo; y desarrollar proyectos conjuntos que permitan aprovechar, de forma eficiente, las capacidades, experiencias y recursos en la materia.

Por otra parte, el Instituto Catalán de Evaluación de Políticas Públicas posee un Centro de Documentación. El fondo de este centro está compuesto por dictámenes, informes, guías, etc., relacionados con los ámbitos de la administración y de la gestión pública, de la modernización administrativa y, especialmente, de la evaluación de las políticas públicas. Actualmente, el Centro guarda más de 600 documentos en distintos soportes y esta cifra se renueva constantemente.

Uno de los aspectos más reseñables de IVALUA es el denominado Banco de Evaluadores. Este Banco funciona a modo de base de datos de expertos en evaluación de políticas públicas. Su principal finalidad es identificar y acercar a las Administraciones Públicas la oferta de conocimiento experto existente sobre evaluación de políticas públicas y, de esta manera, promover la realización de mejores y más numerosas evaluaciones en la Comunidad. Además, el Banco busca fomentar el conocimiento mutuo entre los evaluadores registrados, con el fin de potenciar la constitución de grupos multidisciplinares. 

Son numerosos los actores que se nutren del trabajo llevado a cabo por el Instituto como las Administraciones Públicas, las entidades que configuran el tercer sector; las universidades, los centros de investigación, los institutos universitarios, las empresas y redes de expertos que llevan a cabo trabajos de evaluación y las organizaciones que representan los intereses económicos, sociales y culturales de la sociedad civil. Por ello, puede decirse que la creación de este tipo de institutos autonómicos favorece la institucionalización de los procesos evaluadores en el Sector Público.

La Red Interdministrativa de Calidad de los Servicios




La Red Interadministrativa de Calidad en los Servicios Públicos, constituida en Octubre de 2005, es un foro de cooperación integrado por los órganos responsables de calidad y evaluación de la Administración General del Estado, de las Comunidades Autónomas y de las Ciudades Autónomas de Ceuta y Melilla, de la Federación Española de Municipios y Provincias (FEMP) y de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA).

La Red tiene por misión impulsar el desarrollo de políticas y programas de Calidad y Excelencia en las Administraciones Públicas, a través de la cooperación y la colaboración, que contribuyan a la Buena Gobernanza en un contexto de gobierno multinivel. Los valores sobre los cuales se rige el funcionamiento de la Red son cooperación y colaboración, voluntad de servicio a la ciudadanía, transparencia, afán de aprendizaje, innovación y mejora, compromiso y búsqueda de resultados de excelencia en el sector público y responsabilidad, eficacia, participación, apertura y coherencia.

Los miembros de la Red son titulares de órganos administrativos. Se estructuran en un órgano permanente o Plenario y un conjunto de Grupos de Trabajo, en número y composición variable. Actualmente, son cuatro los Grupos de Trabajo operativos: Observatorios, Reconocimiento, Evaluación y Ética. La participación de los miembros de la Red en sus actividades es voluntaria, si bien se establecen unas responsabilidades de partida, para facilitar el desarrollo de la misión y su mantenimiento en el tiempo. Así, la AEVAL se responsabiliza de la coordinación general de la Red y del mantenimiento de una base de datos con información actualizada de sus miembros, a disposición de éstos. Asume la Secretaría permanente de la Red, que facilita la comunicación ente sus miembros, así como el intercambio de buenas prácticas, guías metodológicas y otros materiales que puedan ser de interés general Se responsabiliza, así mismo, de informar a los restantes miembros de aquellos eventos y actividades nacionales e internacionales relacionadas con la calidad, de los que tenga conocimiento en virtud de sus actividades y competencias.

Las actividades que se llevan a cabo desde la Red Interadministrativa son muy diversas: celebración del Acto de Defensa Pública del Premio Ciudadanía a las Buenas Prácticas en los servicios públicos, destinado a reconocer las prácticas de buena gestión con impacto directo en los ciudadanos o usuarios de dichos servicios; el seguimiento de los observatorios que elaboran una baterías de indicadores de referencia para la evaluación de la calidad de los servicios; la colaboración interadministrativa para procesos de evaluación de premios y de certificación, estableciendo mecanismos que faciliten el intercambio de información y recursos entre los distintos miembros de la Red; o el intercambio de Buenas Prácticas, que sirven como escenario de mejora para la presentación de iniciativas novedosas y buenas prácticas por los distintos miembros de la Red.

La Red incorpora, entre sus actividades la organización y con periodicidad bienal, la celebración de las Conferencias Estatales de Calidad en los Servicios Públicos. Y además, uno de los trabajos llevados a cabo por la Red Interadministrativa ha sido la elaboración de la Carta de Compromisos con la Calidad de las Administraciones Públicas, aprobado por la Conferencia Sectorial de Administración Pública celebrada el 16 de Noviembre de 2009.

La Carta ofrece un decálogo de compromisos concretos por parte de todas las organizaciones públicas, que puede erigirse en el marco común de referencia para guiar su actuación. Esta Carta tiene como objetivo concretar el principio de servicio al ciudadano en torno a dos referencias básicas: la orientación de la gestión pública a resultados y la satisfacción de los ciudadanos en su condición tanto de usuarios de los servicios como de copartícipes en el diseño, implementación y evaluación de los servicios públicos.
 
Loa compromisos que incluye la Carta son los siguientes: 1) Determinar estructuras o mecanismos de apoyo necesarias para implantar la calidad en las Administraciones Públicas; 2) Adoptar fórmulas organizativas y de coordinación interadministrativa para garantizar la ejecución efectiva de las políticas de modernización; 3) Fomentar el intercambio de experiencias y la gestión del conocimiento; 4) Apostar por la innovación en la gestión mediante la dotación de infraestructuras y la incorporación de instrumentos y tecnologías orientadas a la ciudadanía; 5) Aplicar el análisis y evaluación permanente de los servicios públicos; 6) Desarrollar fórmulas de reconocimiento a organizaciones y a personas; 7) Rendir cuentas a la sociedad; 8) Elaborar y difundir Cartas de Servicios; 9) Integrar la calidad en los programas de gobierno; y 10) Establecer los mecanismos adecuados para el seguimiento y la revisión de la Carta

Loa Círculos de Comparación Intermunicipal


Los Círculos de Comparación Intermunicipal se configuran como un método de trabajo, con periodicidad anual, para la evaluación de la calidad en el ámbito de la prestación y gestión de los servicios públicos municipales de Barcelona. Los objetivos de los Círculos son los de medir, comparar y evaluar resultados obtenidos por los municipios de esta provincia mediante el uso de unos indicadores comunes que han sido previamente consensuados y constituir un grupo de trabajo para intercambiar experiencias de éxito entre Entidades Locales. Los Círculos de Comparación Intermunicipal ayudan a hacer un diagnóstico de la situación actual en la prestación de servicios públicos, revisar y marcar los objetivos de la organización, dar información a los responsables para tomar decisiones, mejorar los estándares de calidad de dichos servicios, planificarlos, presupuestarlos y evaluar la implementación de los mismos.

La Excelentísima Diputación de Barcelona impulsa, organiza y dinamiza los Círculos de Comparación Intermunicipal, ofreciendo a los participantes una metodología y un entorno de trabajo adecuado. En este proyecto participan, por un lado, el equipo técnico del Servicio de Programación, quien aporta conocimientos económicos y metodológicos; por otro lado, los miembros del Servicio de referencia de la Diputación, quienes aportan los conocimientos específicos del servicio público que se analiza. De esta manera, los talleres se benefician de los conocimientos y del trabajo transversal, entre diferentes áreas o departamentos de la Diputación. Actualmente, el 93% de los municipios de más de 10.000 habitantes de la provincia de Barcelona participan en, al menos, un Círculo de Comparación, lo que supone 74 municipios sobre un total de 80.

Los servicios analizados desde los Círculos de Comparación son los siguientes: Policía local, Gestión y tratamiento de residuos, Limpieza viaria, Bibliotecas, Teatros municipales, Guarderías, Escuelas de música, Deportes, Servicios Sociales, Mercados Municipales, Ferias Locales, Servicios Locales de Empleo, Oficinas Municipales de Información al Consumidor, Seguridad Alimentaria, Alumbrado público, Servicios de Mediación Ciudadana. Con la información extraída del análisis de los servicios, los municipios adquieren un instrumento de ayuda a la toma de decisiones en el ámbito de la gestión de sus servicios y ofrece al ayuntamiento la posibilidad de comparar la gestión de sus servicios municipales respecto de la gestión llevada a cabo por otros ayuntamientos de su entorno socio-económico más próximo.

En cuanto al desarrollo de este tipo de herramienta que evalúa la calidad de los servicios públicos, cabe señalar cinco fases concretas para el análisis: el diseño; la medición; la evaluación; la mejora; y la comunicación e implementación.

La fase de diseño consiste en la definición de la misión y de los objetivos estratégicos del servicio público a analizar y en la relación y la definición consensuada de los indicadores que han de ser empleados en la comparación entre los municipios y en el establecimiento de común acuerdo de las variables utilizadas para el cálculo de los indicadores mediante el consenso de los técnicos municipales responsables. Los indicadores se estructuran en cuatro dimensiones meta: encargo político, relacionados con la consecución de los objetivos finales del servicio; usuario-cliente, en lo que respecta al uso de dichos servicios; valores organizativos y recursos humanos, para el modelo organizativo y de gestión de los mismos; y economía, relacionado con la eficacia en su prestación.

La fase de evaluación consiste en la elaboración de un informe con los indicadores de cada municipio, destacando los valores más significativos. Así, para cada indicador se calcula la media, y se destacan los valores de los municipios de la siguiente manera: en verde, los valores como mínimo un 50% por encima la media del conjunto de municipios y en naranja: los valores como mínimo un 50% por debajo la media del conjunto de municipios. Adicionalmente, se elabora un Cuadro Resumen Individual, para cada municipio, comparando los valores del municipio con la media del Círculo. A partir de estos valores, así como de otros que puedan ser significativos, se realiza un primer borrador identificando los puntos fuertes y oportunidades de mejora de cada municipio.

En la fase de mejora, se trabaja para identificar los cambios que se puedan realizar en la prestación del servicio municipal, que da pie a replantearse cómo se ofrece y se gestiona el servicio, a la vez que posibilita el intercambio de experiencias y la transferencia de conocimientos.

En la fase de comunicación, una vez identificadas las acciones de mejora, hay que comunicar a la organización que estas acciones se plantean llevar a cabo. Esta Comunicación la realiza cada uno de los responsables municipales, mediante un proceso previo de planificación.

En la fase de medición, una vez identificadas las variables en la fase de diseño, éstas se recogen en una encuesta que se entrega a los ayuntamientos participantes para recoger datos sobre el funcionamiento del servicio. Los datos recibidos son objeto de una validación conceptual y estadística por parte de la Diputación de Barcelona, con la finalidad de depurar posibles errores en la recogida de datos. Esta validación incluye, entre otros, la comprobación de los valores extremos y la verificación de los datos que se han modificado sustancialmente de un año a otro.

Los últimos resultados, publicados en 2011, muestran cómo los Círculos han sido los impulsores de los esquemas de abajo a arriba y participativos en los procesos de mejora en la gestión de los servicios públicos municipales, consiguiendo la implicación de los actores políticos y de los técnicos. El 87% de las personas encuestadas los valoran con una media de 8. El 71% de los responsables municipales manifiestan haber iniciado actuaciones concretas de mejora identificadas desde los Círculos de Comparación Intermunicipal.