Abstract
Conversations dans la revue Evaluation : analyse de 30 ans de débats dans notre domaine
Thomas Delahais, Antonin Thyrard
Fondé sur une analyse bibliométrique originale, cet article examine trois décennies de publications de la revue Evaluation, en cartographiant les principales conversations et débats qui l’ont animée. À l’aide d’une analyse systématique des publications de la revue et de leurs citations croisées, nous identifions huit clusters d’articles étroitement interconnectés, représentant des domaines thématiques centraux : « la complexité évaluative », « l’évaluation fondée sur la théorie », « l’évaluation réaliste », « le dialogue en évaluation », « l’utilisation de l’évaluation », « les systèmes d’évaluation », « les enjeux politiques de l’évaluation » et « la redevabilité ». L’article explore le contenu des clusters, en mettant en lumière leurs auteurs clés et leurs sous-thèmes spécifiques, et en retraçant les échanges intellectuels, tant à l’intérieur qu’à travers ces frontières thématiques. Nous mettons en évidence une évolution conceptuelle au fil du temps : l’accent initial mis sur l’utilisation de l’évaluation et le dialogue public a cédé la place à un intérêt croissant pour les systèmes et les capacités d’évaluation, les approches basées sur la théorie et la complexité. En somme, nous offrons une perspective transversale sur certains des débats au long cours qui ont façonné la communauté européenne de l’évaluation.
Mots-clés: Anniversaire, bibliométrie, débats, dialogue, évaluation, journal, théories
Les examens d’évaluabilité dans le domaine de la santé : revue systématique des tendances, des méthodes et des enseignements stratégiques
Wanessa Debôrtoli de Miranda, Ana Júlia de Paula, Júlio Ferreira Gomes, Eliete Albano de Azevedo Guimarães, Doane Martins da Silva, Cássia Rita Pereira da Veiga, Claudimar Pereira Da Veiga
Au cours des vingt dernières années, les examens d’évaluabilité se sont imposés comme une stratégie pratique et rentable pour améliorer la préparation à l’évaluation dans le domaine de la santé. Malgré leur utilisation croissante, il demeure des interrogations quant à leur clarté conceptuelle, leur rigueur méthodologique et leur application pratique. Cette étude présente une revue systématique de la littérature afin d’examiner l’évolution, la mise en œuvre et les enseignements tirés des examens d’évaluabilité dans les contextes liés à la santé. Guidée par trois questions de recherche, elle analyse le développement des examens d’évaluabilité, leurs applications méthodologiques et les enseignements issus de leur mise en oeuvre. Une approche hybride, combinant une cartographie bibliométrique et une analyse méthodologique par domaine, a été utilisée. Les résultats démontrent que, bien que structurés et économes en ressources, les examens d’évaluabilité se heurtent à des difficultés récurrentes, notamment en ce qui concerne le choix des cadres théoriques et la garantie d’une collecte de données de qualité élevée. Parmi les pratiques prometteuses on note la collaboration entre évaluateurs internes et externes et une implication significative des parties prenantes. Cette revue fait progresser la réflexion évaluative et propose un programme pour les recherches et les pratiques futures en évaluation dans le domaine de la santé.
Mots-clés: mécanismes d’évaluation, recherche évaluative, tendances futures de l’évaluation dans le secteur de la santé, méthodes d’évaluation dans le secteur de la santé
La délibération démocratique comme boussole : présentation d’un cadre d’évaluation du rapport coût-efficacité des démarches de transformation systémique
Heidi Peterson
L’intérêt croissant pour les démarches de transformation systémique s’accompagne d’une pression accrue pour démontrer leur rapport coût-efficacité, un défi de taille pour les projets émergents, interconnectés et souvent immatériels. Une nouvelle manière d’évaluer le rapport coût-efficacité des démarches de transformation systémique consiste à examiner la valeur de la modification des conditions systémiques et la création de valeur potentielle pour les transformations systémiques futures. Cette innovation combine le cadre conceptuel « Le flux du Changement Systémique (The Water of systems change) » avec les Cycles de Création de Valeur afin de définir cinq types de valeur pour les initiatives de transformation systémique : inhérente, potentielle, appliquée, réalisée et transformatrice. Le rapport coût-efficacité des initiatives de transformation systémique est alors mieux compris, négocié et apprécié par les différentes parties prenantes grâce à la délibération démocratique. Une étude de cas pratique de WorkWell (une initiative de transformation systémique visant à améliorer le bien-être mental dans l’État de Victoria, en Australie) illustre l’utilisation de cette approche et ouvre à des réflexions sur sa rigueur.
Mots-clés: évaluation démocratique délibérative, grilles d’évaluation, évaluation de la transformation systémique, rapport coût-efficacité, valorisation
Réflexivité éthique : un examen critique de l’éthique dans la recherche appliquée aux interventions en santé publique
Marie Broholm-Holst et Tine Tjørnhøj-Thomsen
La recherche interventionnelle, qui englobe le développement, la mise en œuvre et l’évaluation d’interventions complexes, représente un domaine d’étude important en santé publique. Cependant, les considérations éthiques sont peu abordées dans les principales directives. Cet article vise à souligner et à discuter l’importance de la réflexivité éthique dans le contexte des interventions en santé publique. Il examine et traite les questions, les défis et les dilemmes éthiques associés explicitement à la recherche interventionnelle en santé publique, notamment le consentement éclairé, la catégorisation, la stigmatisation et la communication de résultats nuls et d’effets imprévus. Nous soutenons que des directives formelles et professionnelles en matière de recherche interventionnelle nécessitent une plus grande flexibilité et une plus grande finesse, notamment en mettant l’accent spécifiquement sur l’éthique, lorsque les considérations éthiques sont activement examinées et analysées.
Mots-clés: catégorisation, consentement éclairé, éthique interventionnelle, santé publique, stigmatisation
Les outils numériques dans l’évaluation : défis éthiques et lacunes politiques en Afrique du Sud
Lesedi Senamele Matlala
Les outils numériques ont amélioré l’efficacité, l’adaptabilité et l’accès à des informations en temps réel dans les pratiques d’évaluation. Cependant, ces avancées engendrent des risques éthiques majeurs — notamment en Afrique du Sud — tels que les violations de la confidentialité des données privées, des mécanismes de consentement coercitifs, les biais algorithmiques et la réduction de l’autonomie des évaluateurs. Cette étude vise à porter un regard critique sur ces risques éthiques et à identifier les lacunes dans les cadres politiques et pratiques existants. S’appuyant sur une méthodologie qualitative, elle recourt à des entretiens semi-structurés menés auprès d’évaluateurs du secteur public, d’organisations non gouvernementales, d’associations professionnelles d’évaluation, du monde universitaire et de cabinets de conseil. Les résultats révèlent que les risques éthiques sont systémiques et aggravés par l’absence de lignes directrices claires et adaptées au contexte en matière d’évaluation numérique. Bien que des cadres comme la loi sur la protection des informations personnelles (POPIA) et le Cadre national de la politique d’évaluation (NEPF) offrent une base juridique, ils ne permettent pas de gérer la complexité numérique. L’étude propose un modèle de gouvernance éthique dédié à l’évaluation numérique, soutenu par des normes locales en matière d’intelligence artificielle et par une formation renforcée des évaluateurs. Elle apporte des pistes concrètes pour promouvoir des pratiques d’évaluation numérique éthiques, inclusives et responsables en Afrique du Sud.
Mots-clés: biais algorithmique, évaluation numérique, gouvernance éthique, suivi et évaluation
Un pragmatisme ambivalent dans la décolonisation de l’évaluation du développement : comment intégrer les approches autochtones africaines dans les pratiques d’évaluation internationales
Nina van der Puije
Cet article examine le potentiel d’une production de connaissances plus inclusive et plus transformative dans la coopération internationale au développement, en mettant l’accent sur la décolonisation des pratiques d’évaluation. Il soutient que l’intégration de savoirs alternatifs et contextualisés dans les systèmes d’évaluation – en particulier ceux ancrés dans les traditions autochtones – peut contribuer à ouvrir des voies plus durables vers la transformation sociale. Il analyse les tensions et les possibilités de décolonisation de l’évaluation du développement international à travers l’interaction entre les approches occidentales de l’évaluation du développement et les méthodes de collecte de données « autochtones », en prenant l’exemple concret des approches des Églises d’institution africaine. Intégré dans une étude plus vaste, cet article examine plus précisément comment les appels à la décolonisation ont influencé les pratiques d’évaluation du développement, en s’appuyant sur des entretiens avec des experts du développement international. Il examine comment les méthodes de recherche « autochtones » – telles que la collecte de données communautaires et les formes spirituelles de prise de décision, courantes dans les pratiques des Églises d’institution africaine – sont perçues par les évaluateurs du développement international. Il explore également les perspectives d’une création de connaissances collaborative et équitable dans les processus d’évaluation, au service de la transformation sociale. L’autrice constate que les évaluateurs et les institutions de développement adoptent souvent une attitude pragmatique et ambivalente : tout en reconnaissant la valeur des approches alternatives, ils ne les intègrent que partiellement dans les structures existantes, pilotées par les bailleurs de fonds.
Mots-clés: décolonisation, coopération au développement, évaluation, méthodes de recherche autochtones, transformation sociale
Méta-évaluation de l’évaluation transformative : enseignements pour l’apprentissage participatif et le changement organisationnel
Elpida Achtaridou, Jennie Winter
Cette étude est une méta-évaluation qui examine la mise en œuvre et l’adaptation de la méthodologie d’évaluation transformative développée par le professeur Susan Cooper. Elle fait progresser les connaissances dans les domaines relativement sous- développés de la méta-évaluation, des méthodologies appliquées aux petits échantillons et de l’utilisation de l’évaluation transformative qui, à ce jour, a connu une application relativement limitée dans différents contextes. Les données ont été recueillies au moyen d’entretiens, de groupes de discussion et d’enquêtes auprès des bénéficiaires de programmes (narrateurs), des évaluateurs (producteurs) et des parties prenantes stratégiques (décideurs politiques). L’étude met en évidence le potentiel de l’utilisation de l’évaluation transformative comme méthodologie inclusive et stimulante qui amplifie les voix marginalisées et renforce le sérieux de l’engagement, de la collaboration et de la réflexion. Des modifications de la méthodologie sont apparues toutefois nécessaires pour relever les défis éthiques et pratiques liés au contexte de l’étude, et les résultats de l’étude ont nourri des questions relatives à la fiabilité et à l’adaptabilité de la méthodologie, à sa compatibilité avec les besoins d’une évaluation axée sur la redevabilité et au niveau de compétence élevé requis pour une mise en œuvre efficace. Les conclusions de l’étude ont des retombées pour les pratiques d’évaluation et l’apprentissage organisationnel dans tous les secteurs.
Mots-clés: évaluation dans l’éducation, méta-évaluation, méthodologies applicables aux petits échantillons, petits échantillons, évaluation transformative