Animé par : Expert international en Open Data
Typologie d’indicateurs :
Pour l’évaluation, il y a deux grandes sections d’évaluation : des indicateurs
globaux et des indicateurs individuels. Il y a un certain nombre d’indicateurs
qu’on peut retrouver des deux côtés par exemple tout ce qui concerne la
publication et la réutilisation des données.
Concernant l’initiative dans sa globalité, il faut viser les indicateurs qui
touchent à la gouvernance dans son ensemble ; la mise en place de comité de
pilotage, sa constitution, ses réunions. Les indicateurs globaux cibleront
également le portail national, les ressources partagées, les fonctionnalités
spécifiques notamment la persistance des URL, le niveau minimum de qualité des
jeux de données.
D’autre part, la mesure de l’implication et des performances des agences est
aussi importante. Les stratégies de réajustement seront naturellement en
fonction des indicateurs. Par exemple, si on constate que seulement quelques
ministères atteignent les objectifs, il faudrait ajuster la stratégie globale
d’investissement, si on voit à l’inverse que la majorité des structures sont
performantes, des plans spécifiques pourront y remédier dans ce cas.
Au niveau des indicateurs individuels, on retrouve les indicateurs de gouvernance
cités précédemment : est-ce que la structure a nommé un point d’accès focal ?
Est-ce qu’on a mis en place des plans d’actions et des inventaires ? Il y a
également le portail individuel pour lequel, il serait indispensable
d’appliquer les mêmes indicateurs que pour la plateforme centrale. Un autre
point essentiel par rapport aux éléments des agences : c’est les capacités du
personnel.
Les bonnes pratiques :
La première bonne pratique est de restreindre le nombre d’indicateurs. Plus on
a des indicateurs, moins il y a la chance que les institutions les instancient
et les remplissent, plus la charge de mise à niveau et d’identification des
indicateurs est lourde. L’idéal est d’arriver à choisir le nombre minimal
d’indicateurs qui permettent de couvrir l’ensemble des domaines à monitorer.
Il faut, d’autre part, sélectionner les éléments clés qui garantissent la
vision la plus fine possible de ce qui se passe pour pouvoir intervenir.
Les deux derniers points sont vraiment les plus essentiels pour la constitution
des indicateurs : la mesurabilité des indicateurs et notamment l’automatisme
des mesures qui rapporte beaucoup de valeur au plan de suivi-évaluation.
Finalement, plus les indicateurs ont un fort potentiel correctionnel, plus leur
valeur est supérieure et leur impact est sûr.
Les indicateurs :
Le nombre de réunion du comité de pilotage donne un aperçu sur le fonctionnement de l’initiative. Suite à la succession des discussions au fil des ateliers, il en est ressorti un certain nombre de cas où le comité de pilotage peut fournir des dérogations et peut instruire des demandes. Ça peut être un facteur intéressant de voir combien de structures demandent des dérogations et quelles réponses apportées par le comité de pilotage à ces dérogations. S’il est satisfait ou pas.
Une première question est de savoir s’il faut formaliser un ensemble d’indicateurs au démarrage de l’initiative ou si ce n’est pas nécessaire et qu’il faut se focaliser sur un régime de croisière de l’initiative. En Éthiopie par exemple les différentes tentatives de lancement de l’initiative ont échouées, d’où la préférence de formaliser.
Les indicateurs de réutilisation sont essentiels pour assurer l’impact de l’initiative open data. Parmi ces indicateurs, on distingue ceux quantitatifs par exemple le nombre de téléchargements des jeux de données en interne ou en externe. Mais cet élément n’est pas très représentatif ; un très grand nombre de téléchargements ne constitue pas forcément un bon témoin de réutilisation. Pour distinguer les téléchargements gouvernementaux de ceux non gouvernementaux, il est possible de le savoir à travers les classes des adresses IP et on peut même pouvoir géo-localiser les requêtes. Une autre limite de cet indicateur est que l’usage de téléphone mobile dans les requêtes est exclu étant techniquement non repérable.
Le nombre d’applications créées à travers la base des données ouvertes et la répartition sectorielle des réutilisateurs (secteur privé, chercheurs, société civile, administration) sont des indicateurs très utiles mais très difficilement mesurables. On arrive à les mesurer à travers des enquêtes mais à un coût élevé. Au Kossovo, on s’est basé sur les enquêtes du secteur privé pour pouvoir réaliser ce type de suivi. Une autre façon de faire consiste à inciter les utilisateurs à s’authentifier pour pouvoir répondre à ces indicateurs. C’est un moyen simple d’avoir une information de qualité moyenne parce que beaucoup de gens ne préféreront pas s’authentifier.
Les indicateurs de publications contiendront le nombre de commentaires, de demandes de rectification, de requêtes reçues, de requêtes répondues, de requêtes satisfaites.
Les indicateurs d’activités (hackathons) rendent compte des efforts des agences à s’impliquer avec les réutilisateurs.
Pour l’évaluation des jeux de données publiés, on peut se référer à la mise à jour des données, à la persistance des liens et au nombre de métadonnées.
L’évaluation des capacités passe essentiellement à travers la mesure du nombre de formations réalisées.
Discussion :
Est-ce que ces indicateurs seront évalués au cours de la première période ou juste dans la même période du suivi-évaluation ? Autrement dit, est-ce que l’évaluation se fait chemin faisant, à la fin ou à plusieurs périodes ? Avec quelle récurrence on instancie le plan de suivi-évaluation et on en fait l’analyse ? Peut-être ce qui serait utile c’est de séparer les deux, c’est-à-dire d’avoir un plan de suivi-évaluation du démarrage qui a un taux d’analyse en rapport avec la cadence des réunions du copilet d’avoir à côté un plan de croisière qui lui reste sur sa fréquence annuelle.
Est-ce que pour le suivi-évaluation y aura dans le comité de pilotage un ou des chargés ou ce sera réalisé en équipe ? En général, c’est le comité dans son ensemble qui annuellement met à jour son plan de suivi-évaluation. Il y a les indicateurs automatiques qui sont mis à jour en temps réel et les indicateurs qui sont mis à jour en fonction des activités.
Pour assurer la redevabilité, il faudrait penser à évaluer non seulement le nombre de dérogations mais aussi le délai de réponses surtout que certaines dérogations auront un caractère relativement urgent.
Il est envisageable de formaliser l’évaluation du nombre de missions de l’équipe technique ainsi que du nombre de réunions tenues par les points focaux et les différentes structures.
Chaque structure aura 3 mois pour présenter son plan de suivi-évaluation et 9 mois pour l’implémenter jusqu’au plan suivant.
Est-ce qu’on détermine des indicateurs spécifiques pour l’inventaire ?
Le nombre de jeux de données, le nombre de jeux données ouverts.
Il y a une autre façon de développer le plan suivi-évaluation. C’est de rendre le plan « vivant ». Autrement dit, on commence au départ avec un ensemble d’indicateurs simples qu’on affinera au fur et à mesure de l’avancement de l’analyse. C’est une solution d’intégrer dans le décret les obligations et le principe de démarrage, d’avoir ainsi un premier schéma directeur que chaque année le comité de pilotage mettrait à jour ou de choisir l’alternative d’arrêter la liste exacte des indicateurs tout en spécifiant dans le décret les deux plan : le plan de démarrage et le régime de croisière.
Est-ce que les plans de suivi-évaluation doivent être publics ou est-ce qu’on considère que c’est des données internes ?
L’inconvénient c’est que les agences qui ont des difficultés seraient pointées du doigt et ce qui les rend des fois contre-productif. Le personnel de certaines structures a plus besoin d’être aidé que d’être critiqué, du coup rendre public pourrait avoir l’effet inverse c’est-à-dire au lieu de motiver, ça décourage. A l’inverse, ce qu’on observe dans les pays où les plans sont publiés c’est que ça crée une motivation qui pousse à décrocher les premières places de la classification.
La directrice de l’Unité d’Administration Électronique, cite l’expérience de classification des sites web ministériels qui a poussé vers l’amélioration et propose de contextualiser la classification à travers la publication conjointe d’un rapport d’analyse. L’expert de la Banque Mondiale s’est référé à l’expérience communale en matière de classification pour favoriser la publication ouverte des plans. Une fonctionnaire est de l’avis inverse vu les arguments cités précédemment et propose en premier temps de laisser libre court à l’administration de publier ou de communiquer le plan à travers des workshops et en second temps de garder ce détail de l’ordre de la loi d’accès à l’information.
Est-ce qu’il serait important de préciser des indicateurs de suivi pour l’aspect budgétaire ?
Il y a un consensus sur la publication des plans de suivi budgétaires mais le débat tourne autour du niveau d’agrégation des lignes budgétaires que les fonctionnaires estiment difficile à affiner.
Le débat autour des mesures d’évaluations des capacités s’est focalisé essentiellement sur la détermination de filtres pour les formations ; le nombre de formation par grade, par fonction, par thématique.