Abstract
L’insitutionnalisation de l’évaluation importe: Mise à jour de l’Atlas international de l’évaluation 10 ans après – Steve Jacob, Sandra Speer et Jan-Eric Furubo
Cet article compare l’institutionnalisation de l’évaluation dans dix-neuf pays de l’OCDE. Il y a dix ans, les auteurs de l’International Atlas of Evaluation avaient examiné le degré de la culture évaluative dans les pays qui constituent l’échantillon de notre recherche (Furubo, Rist et Sandahl, 2002). Notre étude s’appuie sur les résultats d’un sondage administré à des experts de l’évaluation dans les pays étudiés ainsi que sur une recherche documentaire. Pour chaque pays, quatre à cinq experts provenant d’horizons variés (secteurs public, privé et milieu académique) ont répondu à un questionnaire permettant de documenter les neuf indicateurs développés par Furubo et al. (2002). Notre analyse identifie les caractéristiques de l’institutionnalisation l’évaluation ainsi que les changements qui affectent la culture de l’évaluation au cours de la dernière décennie.
Mots clés: culture de l’évaluation, institutionnalisation, société d’évaluation, institution supérieure de contrôle, revue d’experts
Coopérer pour une société plus égalitaire: L’approche de la complexité pour évaluer l’égalité des sexes – Mita Marra
L’évaluation de l’égalité des sexes exige an examen de l’égalité des chances et de l’égalité des résultats des politiques publiques, en analysant comment femmes et hommes coopèrent en vue d’élargir l’accès à l’emploi et le contrôle des ressources matérielles, tout en partageant les soins et les responsabilités en matière de reproduction sociale. S’appuyant sur la théorie de la complexité, cet article propose un cadre théorique pour identifier les comportements de coopération au sein du ménage, le lieu de travail ainsi que dans les plus larges domaines socio-économique, politique et institutionnel.
Mots clés: Féminisme d’État; Évaluation féministe; Politiques d’égalité des sexes; Coopération entre les sexes; Théorie de la complexité
Dans le vide: une évaluation réaliste du projet eGoverment for You (EGOV4U) – Ivan Horrocks et Leslie Budd
‘e-government for You’ (EGOV4U) était un projet financé par la Commission Européenne (EC) pour piloter des modèles de e-services multicanal et communautaires conçus pour lutter contre l’exclusion et les handicaps sociaux à travers une gamme d’initiatives mise en œuvre par cinq projets partenaires dans plusieurs pays européens. L’évaluation du projet a utilisé un approche d’évaluation guidée par la théorie et une combinaison de méthodes de collecte et d’analyse des données. Dans cet article, nous combinons ces éléments avec une forme d’explication mécaniste qui a été développée spécialement pour l’évaluation réaliste : à savoir l’approche contexte+mécanisme=résultats. Notre ambition en procédant ainsi est de renforcer le ciblage et la granularité du processus d’évaluation et ainsi le matériau que nous présentons ici. Cet article cherche à utiliser un matériau jusqu’ici non utilisé de l’évaluation du programme EGOV4U et à fournir ainsi un aperçu réaliste de ce qui marche, pour qui, dans quelles circonstance, et pourquoi.
Mots clés: Évaluation réaliste, évaluation guidée par la théorie, configuration contexte-mécanisme-résultat, e-gouvernement, e-services, capitaux communautaires, réseaux multicanal
Le réalisme non critique de l’évaluation réaliste – Sam Porter
Cet article est une réponse à la critique par Ray Pawson du réalisme critique, la philosophie de la science élaborée par Roy Bhaskar. Je suis d’accord avec l’interprétation donnée par Pawson des positions du réalisme critique sur les sciences de la nature et les sciences sociales et avec sa charge contre son ontologie totalisante, son épistémologie arrogante, et sa méthodologie naïve. Les différences entre le réalisme critique et l’évaluation réaliste ne sont pas aussi significative que le prétend Pawson. Les principales différences entre les deux réalismes résident dans leur approche des relations entre les structures sociales et l’agencéité humaine, et entre les faits et les valeurs. Je défends l’idée que les chercheurs en évaluation ont besoin de distinguer clairement la structure et l’agencéité. Ils doivent aussi expliciter leurs valeurs. L’approche non critique de l’évaluation réaliste, jointe à sa sous-estimation de l’importance de l’agencéité, laisse la porte ouverte à son instrumentalisation bureaucratique.
Mots clés: Réalisme critique, évaluation réaliste, naturalisme, philosophie des sciences, Roy Bhaskar, Ray Pawson
Défis dans l’évaluation de l’appui budgétaire et comment les relever – Geske Dijkstra et Antonie de Kemp
Alors qu’il existe des méthodes bien rodées pour évaluer les projets, il est beaucoup plus difficile d’évaluer l’appui budgétaire avec la même rigueur. Cet article souligne les défis de l’évaluation de l’appui budgétaire. En plus de l’application d’un contrefactuel rigoureux pour évaluer l’impact, nous soutenons qu’il existe trois autres défis, liés principalement aux ambiguïtés de la théorie et de la pratique de l’appui budgétaire. Nous présentons alors une typologie des différentes approches de l’évaluation de l’appui budgétaire fondé sur deux dichotomies : ‘qualitatif versus quantitatif’ et ‘étude du cas d’un pays’ versus recherche portant sur plusieurs pays’. En discutant les forces et faiblesse de chacune des approches, nous montrons qu’une combinaison éclectique de différentes méthodes permet de relever ces défis.
Mots clés: évaluation d’impact, appui budgétaire, méthode mixtes, études de cas, régressions par pays
Le besoin de démarches d’évaluation réflexives en matière de coopération pour le développement – Marlèn Arkesteijn, Barbara van Mierlo et Cees Leeuwis
En matière de coopération pour le développement, les enjeux de développement sont de plus en plus considérés comme des problèmes complexes qui exigent de nouvelles voies pour les résoudre. En plus des deux dimension habituelles de la complexité des problèmes (incertitude et désagrément), nous introduisons une troisième dimension: la stabilité systémique, c’est à dire la stabilité apportée par des règles, des relations et des technologies complémentaires. Cet article réfléchit sur la manière dont les méthodes d’évaluation du développement et spécialement celles qui introduisent une perspective de complexité, abordent ces trois dimensions. Inférant que cette troisième dimension exige davantage d’attention, nous explorons les caractéristiques des démarches réflexives d’évaluation qui affrontent la stabilité systémique et renforcent les processus d’apprentissage et de changement institutionnel. Nous concluons que les démarches réflexives d’évaluation sont utilement complémentaires des approches systémiques courantes de l’évaluation du développement.
Mots clés: Développement, complexité, évaluation, apprentissage systémique, méthodologies réflexives