Evaluer une démarche de participation citoyenne vise généralement à savoir si le travail mené donne des résultats. Mais de quels résultats parle-t-on au juste ? Et ces résultats : comment les situer, les améliorer ou encore mesurer leurs impacts ? Avant de définir les outils et publics à mobiliser, il s’agit de concevoir l’évaluation. Nous présentons ici 5 clés +1 pour réussir votre démarche.
- Pourquoi évaluer la participation citoyenne (et le Budget participatif) ?
- Qu’est-ce qui est évalué exactement et comment cadrer l’évaluation ?
- Comment évaluer la participation citoyenne (et le Budget participatif) ?
- Qu’attendre de l’évaluation de la participation citoyenne (et du Budget participatif) ?
- Comment analyser les résultats de l’évaluation de la participation citoyenne (et du Budget participatif) ?
- Comment capitaliser sur l’évaluation du Budget participatif (de la participation citoyenne ?)
1. Pourquoi évaluer la participation citoyenne (et le Budget participatif) ?
Evaluer la participation citoyenne ou un dispositif tel que le Budget participatif est un processus qui demande du temps, avant même de démarrer la collecte et l’analyse des résultats.
Généralement, les évaluations menées visent à faire le point sur ce qui a été conçu au départ, ce qui est mis en œuvre et les résultats obtenus en matière de participation et de réalisation, y compris leur impact.
On parlera alors des registres de l’évaluation : l’efficacité de l’action menée, son efficience (au regard des moyens), sa cohérence (au regard de ce qui est attendu) ou encore sa pertinence (au regard des besoins).
Cette première étape va permettre de construire le référentiel de l’évaluation avec ses critères et ses indicateurs. Mais avant cela, l’évaluateur doit définir les questions évaluatives.
2. Qu’est-ce qui est évalué exactement et comment cadrer l’évaluation ?
Evaluer la participation, c’est d’abord s’intéresser à la démarche, à son environnement, le contexte et l’organisation dans laquelle elle prend forme. C’est ensuite définir les questions évaluatives. Cette étape appelle à faire des choix car il n’est pas possible de tout analyser.
En effet, la participation citoyenne propose des démarches et des dispositifs qui génèrent des masses de données quantitatives (nombre de participants, de propositions recueillies…) et qualitatives, avec une multiplicité d’acteurs qui y participent (ou non…).
Il faut par conséquent s’interroger au préalable sur ce que la collectivité cherche à savoir en formulant des questions évaluatives. Ce préalable va permettre de cadrer l’évaluation. Sans poser ces questions, le risque est de collecter des données sans savoir comment les exploiter et, in fine, connaître des difficultés pour les analyser et en tirer des enseignements.
Les questions évaluatives peuvent être difficiles à poser car elles appellent à hiérarchiser entre ce que chacun veut savoir. Elles peuvent également être complétées par des hypothèses que la collecte et l’analyse permettront de confirmer ou non.
3. Comment évaluer la participation citoyenne (et le Budget participatif ) ?
Il arrive en parlant d’évaluation que la démarche se concentre, voire se focalise, sur les outils : collecte de données, questionnaires quantitatifs, entretiens individuels ou ateliers qualitatifs, parangonnage (benchmark)…
Il est difficile de concevoir une évaluation sans avoir une idée des outils qu’elle mettra en œuvre. Le temps et les ressources à y consacrer sont limités. Il s’agit aussi de présenter un calendrier clair qui permettra de rendre compte des résultats dans la transparence.
Pour autant, il est important de respecter les étapes du cadrage de l’évaluation pour optimiser ces paramètres. En l’absence de cadrage, vous courez le risque de mobiliser du temps et des ressources sans être en mesure d’analyser les résultats.
Enfin, dans le cadre d’une évaluation participative ou mobilisant les parties prenantes, il faut bien sûr anticiper les disponibilités des uns et des autres. A défaut, il est possible d’imaginer des temps de travail hors-les-murs en s’appuyant sur le flux.
Benchmark / parangonnage : les enseignements d’autres pratiques
Le benchmark – ou parangonnage en français – permet de s’enrichir d’expériences extérieures. Les pratiques d’autres acteurs peuvent ainsi compléter l’analyse ou proposer des pistes de solutions.
Pour notre part, nous nous appuyons sur notre expertise nationale et nos réseaux internationaux pour proposer des pistes de solution dans le cadre des évaluations que nous menons.
4. Qu’attendre de l’évaluation de la participation citoyenne (et du Budget participatif) ?
D’abord une précision : il est possible de faire le bilan d’une démarche participative. Il s’agit alors de faire le point avec l’équipe et un nombre limité d’acteurs sur ce qui a bien et moins bien fonctionné, et, dans notre conception, ce qui peut être amélioré.
Le bilan va présenter les données les plus pertinentes à disposition et un retour d’expérience. Les chiffres de la participation étant une donnée généralement brute, une enquête sur les participants peut être réalisée pour mieux comprendre qui il sont et leurs motivations.
L’évaluation est davantage approfondie parce qu’elle pose des questions et se donne le temps et les moyens d’y répondre. Elle est ainsi plus ambitieuse. Elle va interroger des citoyens, des élus, des agents et en particulier celles et ceux qui sont amenés à prendre en compte les résultats des démarches dans leur politique, leurs méthodes ou leur plan de charge.
Enfin parce que sa méthodologie est à la fois pluraliste et inclusive, l’évaluation aboutit à une vision pluraliste et inclusive. L’objectif est de proposer une analyse partagée par l’ensemble des parties prenantes, à l’image de la participation citoyenne.
Vous le savez, la participation citoyenne remet régulièrement en question les manières de voir et de faire des uns et des autres. C’est pourquoi l’évaluation doit aussi permettre de créer du consensus pour progresser ou à tout le moins, aller de l’avant.
5. Comment analyser les résultats de l’évaluation ?
La démocratie participative recueille la parole des citoyens. Chacune et chacun peut s’exprimer, proposer des idées, répondre à des questions… Les élus et les techniciens qui ont un rôle et des responsabilités différents : ils participent au cadrage, donnent un éclairage, intègrent les résultats à leur action. Dans l‘évaluation également, chacune et chacun s’exprime selon son rôle et ses responsabilités.
Les rôles et responsabilités, les expertises se complètent. Mais elles diffèrent. Un élu fixe des orientations, un technicien propose et agit selon son expertise, ses compétences et ses ressources, un citoyen s’exprime vis à vis d’une politique, de l’action publique, d’une question d’intérêt général.
C’est pourquoi l’analyse du matériau doit respecter la diversité des points de vue mais aussi prendre en compte qui le présente. Pour schématiser, le directeur d’un service opérationnel à qui on pose la question de comment améliorer la démarche pourra répondre sur son rôle et en profiter pour donner son avis sur l’animation du dispositif. Il sera pertinent sur la première partie, mais sur l’animation, un chargé de participation citoyenne dont c’est le métier sera davantage pertinent.
A l’image d’une démocratie délibérative qui donne un avis formé, l’évaluation doit répondre à des questions en s’appuyant sur les acteurs pertinents pour y répondre. C’est une condition pour conduire une juste analyse.
+1 : Comment capitaliser sur l’évaluation de la participation citoyenne (et du Budget participatif) ?
Et après ? Commençons par le risque : noircir le tableau en se focalisant sur les points négatifs. Il faut avoir conscience que les démarches participatives ne sont que rarement des plébiscites et que la participation citoyenne est une manière d’agir qui demandera du temps pour être comprise, acceptée et adoptée par tous.
C’est pourquoi, au-delà des réponses aux questions évaluatives, les enseignements doivent être partagés. Il s’agit également, selon nous, de contextualiser ses pratiques et ses résultats et se situer, par rapport à d’autres. L’objectif n’est pas de se hausser du col ou, au contraire, faire profil bas mais de préserver (ou se donner) les moyens.
Les bons résultats et les bonnes pratiques doivent être mis en avant. Une évaluation n’a ni pour objet l’autocélébration ni le « bashing » . En revanche, elle a pour intérêt d’encourager ou de (re-)mobiliser les parties prenantes. Et pour ce faire, l’amélioration de la démarche doit être fédératrice : les pistes de solutions doivent être travaillées avec les acteurs.
Une évaluation réussie s’appuie sur une analyse pluraliste, inclusive et partagée. Elle peut difficilement se passer d’un cap. Ce cap doit en priorité répondre aux questions que se pose celles et ceux qui sont à la manœuvre.
Evaluation : nos références
Depuis 2020, lesbudgetsparticipatifs.fr a collaboré ou réalisé en partenariat avec les collectivités l’évaluation des Budgets participatifs d’Angers, Nanterre, Strasbourg ou Rennes (parangonnage international) et travaillé au bilan de la première édition du Budget participatif de Lyon ou encore de Thonon (avec enquête de participation).
Ces démarches s’appuient sur une riche expérience des Budgets participatifs en France depuis 2016 et un réseau international pour proposer des pratiques innovantes.
Nous sommes à votre disposition pour toute information complémentaire.
Pour évaluer votre démarche
Vous voulez améliorer votre démarche.
LBP vous accompagne dans le diagnostic et vous propose des solutions nouvelles et inédites !