Abstract
Organisations productrices de preuves : traduction organisationnelle d’idées voyageuses en matière d’évaluation
Dans les années 1990 et 2000, la vague de l’évaluation fondée sur les preuves a gagné en importance d’abord en médecine, puis dans d’autres domaines politiques. L’idée de preuve a inspiré les acteurs en Scandinavie, où des organisations productrices de preuves (EPO) ont été créées. Le but de notre étude est de mieux comprendre les EPO. Les caractéristiques de ces organisations au Danemark et en Norvège sont explorées. Nous comparons les structures organisationnelles, les positions vis-à-vis des ministères, les ressources et le cadre gouvernemental et nous analysons les changements organisationnels au fil du temps. Nous constatons que, bien que les idées de politique et de pratique fondées sur des preuves soient communes dans les deux pays, les organisations et les champs organisationnels des activités produisant des preuves diffèrent. En outre, dans les domaines politiques autres que la médecine, le mouvement de la preuve doit lutter pour conserver ses soutiens et ses ressources.
Culture de l’évaluation et bonne gouvernance : existe-t-il un lien ?
Une motivation importante pour l’institutionnalisation de la culture de l’évaluation dans les pays du monde entier est la conviction que la responsabilité et la transparence seront ainsi améliorées. Nous soumettons ce discours sur la contribution de l’évaluation à la bonne gouvernance à une analyse empirique. Nous soutenons également que le sens et la pertinence de ce récit général diffèrent selon les contextes nationaux. Nous nous basons sur des données issues d’une évaluation systématique de la culture de l’évaluation dans 19 pays (Jacob, Speer et Furubo, 2015), ajoutons un pays en utilisant la même approche systématique et combinons ces résultats avec un indicateur de transparence du gouvernement fourni par Transparency International. Nous trouvons une corrélation positive entre la culture de l’évaluation et la transparence, et discutons des dangers d’une interprétation causale de celles-ci. Nous approfondissons l’analyse pour deux pays en particulier aux deux extrémités de l’échelle de transparence. Nous soutenons que la signification du lien entre la culture d’évaluation et la transparence diffère selon que la perspective choisie est comparative de manière généraliste ou située dans des contextes nationaux, historiques et politiques particuliers. Dans les pays où la transparence est déjà élevée, les rendements marginaux de l’évaluation pourraient diminuer, du moins en ce qui concerne sa contribution à la responsabilisation et à la transparence.
La combinaison des Théories du Changement et de l’Évaluation réaliste en pratique : les leçons de recherches sur une étude d’évaluation
Un nombre croissant d’études appliquent les approches de la Théorie du changement ou de l’Évaluation réaliste pour aborder des processus causals complexes. Chaque méthodologie a été critiquée en matière de mise en pratique, d’utilité et de difficultés théoriques. L’hypothèse selon laquelle la combinaison des deux approches pourrait résoudre certains de ces problèmes et générer une connaissance plus approfondie a été avancée, mais aucune évaluation de cette méthodologie combinée n’a été publiée. Cet article présente les résultats d’une évaluation des politiques et des pratiques de participation communautaire, qui visait spécifiquement à utiliser et à évaluer l’application des deux approches au sein d’une même étude. Cette étude suggère que l’application d’approches de théories du changement et d’évaluation réaliste présente toujours des difficultés mais celles-ci peuvent être, en pratique, utilisées ensemble et que cette synthèse peut surmonter en partie les critiques de chaque méthodologie.
L’évaluation post-normale
L’évaluation évolue, en fonction de l’évolution des environnements techniques, sociaux et politiques dans lesquels elle se déploie, de même qu’elle influence la manière dont ces contextes doivent être compris et évalués. L’évaluation a généralement été comprise comme un moyen fiable de donner une certaine assurance dans l’évaluation de la valeur des interventions sociales, mais elle a de plus en plus été perçue comme devant faire face à diverses incertitudes et risques non seulement dans ces évaluations elles-mêmes, mais également dans la conception et la mise en œuvre des interventions. De nouvelles façons de penser et de nouvelles pratiques d’évaluation liées à la planification et à la prise de décision font leur apparition, reflétant des hypothèses d’imprévisibilité, ainsi que d’incomplétude, d’instabilité et une pluralité de perspectives dans la détermination de la valeur. Cela pourrait signaler l’émergence d’une «évaluation post-normale». Cet article explore plusieurs caractéristiques clés de ce développement.
Utiliser les principes de l’évaluation du développement pour renforcer les capacités de mobilisation des connaissances dans les domaines de la santé et des services sociaux
Cet article contribue à la pratique de l’évaluation du développement (ED) en soulignant l’impact de l’intégration des principes de l’ED dans l’approche d’apprentissage d’une initiative de renforcement des capacités appelée Evidence for Change (EfC). Les équipes de santé et de services sociaux participant à l’EfC opéraient dans un environnement complexe nécessitant des changements radicaux pour s’attaquer aux inégalités en matière de santé et fournir des soins de qualité, modernes, rentables et fondés sur des bases factuelles. Une lacune dans la littérature sur les modèles de renforcement des capacités pour la mobilisation des connaissances a conduit les auteurs à explorer l’ED comme une approche potentielle. Des preuves naturelles ont été utilisées pour développer l’EfC. Des questionnaires, des groupes de discussion et des entretiens structurés ont été utilisés pour évaluer l’impact. Les résultats ont montré que des preuves étayées soutenaient le changement des pratiques et l’apprentissage chez les individus, les équipes, les organisations et les communautés locales. Le rapport conclut que l’intégration des principes de l’éducation au développement dans l’EfC a permis de fournir un modèle novateur de renforcement des capacités pour une mobilisation efficace des connaissances dans les domaines de la santé et des services sociaux.
Évaluation de l’évaluabilité: une application dans un cadre complexe d’amélioration communautaire
L’évaluation est essentielle pour comprendre si et comment les politiques et autres interventions fonctionnent, pourquoi elles échouent parfois et si elles représentent une utilisation judicieuse des ressources. L’évaluation de l’évaluabilité (EE) est un moyen de planifier et de concevoir des évaluations de manière collaborative afin de s’assurer qu’elles génèrent des preuves pertinentes et robustes pour fonder la prise de décision et qu’elle contribuent à la constitution d’une base de preuves plus large. Cet article présente le contexte, le processus engagé et les éléments de preuve fournis par les participants à une EE animée par des agents de la fonction publique participant à la mise en œuvre d’une initiative complexe d’amélioration communautaire zonée. Il s’agit d’un nouveau contexte dans lequel effectuer une EE. Nous montrons comment le processus permet aux praticiens de tous niveaux d’identifier les activités à évaluer et de coproduire la théorie du changement développée dans le cadre de l’EE. Cela permet d’élaborer des recommandations d’évaluation pertinentes pour la mise en œuvre du programme en tenant compte des données et des ressources disponibles pour l’évaluation.
Combinaison d’évaluations internes et externes dans un cadre d’évaluation à plusieurs niveaux: Analyse textuelle par ordinateur des enseignements tirés de la Banque Asiatique de Développement
Bien que la littérature sur l’évaluation ait théorisé la distinction entre évaluation interne et évaluation externe, peu de recherches ont comparé les leçons ces deux types d’évaluation de manière empirique. Cette étude examine de manière critique si les leçons tirées des évaluations internes sont différentes de celles des évaluations externes dans le cas de l’aide internationale au développement. Il analyse les enseignements tirés des évaluations internes de la Banque Asiatique de Développement (BAD) portant sur près de 1 000 interventions souveraines dans 38 pays de la région Asie-Pacifique de 1996 à 2016, en utilisant une analyse textuelle assistée par ordinateur. Il en ressort que les évaluations internes portaient davantage sur les caractéristiques micro et méso tandis que les évaluations externes mettaient davantage l’accent sur les constructions aux niveaux méso et macro, telles que l’environnement politique et institutionnel du pays bénéficiaire ou son niveau et son taux de croissance économique. Par conséquent, l’étude conclut que les évaluations internes et externes peuvent être combinées pour créer un cadre d’évaluation à plusieurs niveaux intégrant des leçons aux niveaux micro, méso et macro afin de faciliter un meilleur apprentissage.
Évaluation - méthode et phénomène de société
Les questions liées à l’influence sont essentielles dans le domaine de l’évaluation. Ce document soutient une discussion à double approche. Les théories du livre Theories of influence (Kirkhart 2000, Henry et Mark, 2003) sont associées à l’idée du livre The Evaluation Society (Peter Dahler-Larsen, 2012) et forment ensemble une approche élargie de l’utilisation des évaluations et de leur incidence éventuelle. À partir de cette double approche, l’évaluation est reconnue comme instrument de planification et de développement et comme phénomène sociétal indépendant. La participation norvégienne au Programme international pour le suivi des acquis des élèves (PISA) est utilisée pour illustrer l’essence de cette double approche et la manière dont elle peut contribuer à une meilleure compréhension de la complexité de l’incidence de l’évaluation.