Abstract
Appréhender l’émergence du changement dans les systèmes complexes: l’étude « Atawhai » en Aotearoa, Nouvelle-Zélande
Claire Gear, Jane Koziol-McLain, Elizabeth Eppel, Hazel Hape, Anna Rolleston, Carey Manuel, Ngareta Timutimu, Hori Ahomiro, Clare Healy et Claire Isham
Un large éventail de données évaluatives est nécessaire pour appréhender le changement au sein des systèmes complexes, car les constats façonnent la forme et l’interprétation des résultats, leur valorisation et les actions à venir. L’étude Atawhai a été conduite en collaboration avec des professionnels des soins de santé primaires lors d’une série d’ateliers afin de dégager des solutions pour faciliter la réponse à la violence familiale, facteur déterminant de pathologies. Cet article décrit trois méthodes utilisées pour évaluer l’émergence du changement du point de vue des participants à l’étude Atawhai: des enquêtes pré/post-préparation, une analyse des réseaux sociaux et des entretiens qualitatifs de sortie. Chaque méthode offre un point de vue unique sur la complexité concernée, et la triangulation entre les méthodes permet de valider les résultats. Appréhender le changement au sein de systèmes complexes exige une agilité méthodologique et la superposition de données probantes diverses. La contribution des « infrastructures souples » au développement et à la poursuite d’interventions complexes ne doit pas être sous-estimée.
Mots-clés: intervention complexe, théorie de la complexité, entretiens de sortie, violence familiale, Maori, ordre négocié, participatif, soins de santé primaires, préparation, analyse des réseaux sociaux, infrastructures souples
L’évaluation à l’ère numérique: automatisation et reconfiguration de l’évaluation dans le secteur des services sociaux
Elizabeth-Rose Ahearn et Cameron Parsell
L’évaluation est devenue une composante institutionnalisée de l’administration publique et du secteur social. Avec l’avènement de la gouvernance à l’ère numérique, il est évident que de nouvelles évolutions sont à attendre dans le paysage de l’évaluation. Cette étude vise à identifier comment les pratiques d’évaluation vont se modifier, évoluer ou perdurer avec les avancées technologiques. En nous appuyant sur la conceptualisation du changement dans le discours de l’institutionnalisation, nous avons réalisé une analyse de texte de 25 transcriptions d’entretiens qualitatifs, en nous concentrant sur les objets, les cadres de légitimité et les valeurs. Nos résultats indiquent une évolution significative vers l’évaluation à l’ère numérique grâce à l’automatisation de la collecte, de l’analyse et de la communication des données, transférant le pilotage des évaluateurs externes vers les fonctions internes. Malgré ces changements, les caractéristiques traditionnelles de l’évaluation restent bien ancrées, ce qui pourrait limiter la portée et l’utilité futures de l’évaluation pour les organisations du secteur social.
Mots-clés: technologie numérique, discours, évaluation, théorie institutionnelle, services sociaux
Bricolage méthodologique, détection de modèles de données et explication réaliste: une analyse de portefeuille d’un soutien inclusif aux entreprises
Giel Ton
Cet article montre comment une analyse de portefeuille réaliste a été mise en œuvre dans le cadre de l’évaluation d’un programme de développement financé par des donateurs. Ce programme apporte un soutien aux petites et moyennes entreprises par l’analyse de données et le coaching d’entreprise afin de rendre leurs modèles d’approvisionnement et de prestation de services plus inclusifs pour les petits exploitants. Après avoir classé tous les projets selon leur efficacité relative à convaincre les chefs d’entreprise de modifier leur modèle économique, nous avons appliqué un processus itératif et abductif d’explication causale réaliste. Pour l’analyse de portefeuille, nous avons utilisé la question d’évaluation réaliste: « qu’est-ce qui fonctionne, pour qui, dans quelles conditions et pourquoi » comme question clé d’apprentissage. Nous avons ensuite développé un bricolage méthodologique de régressions basées sur des variables, d’analyses de tables de vérité fondées sur des cas, d’ateliers de réflexion et d’entretiens sur des études de cas afin d’identifier les facteurs et configurations causales potentiels et d’en tirer des enseignements pour un meilleur ciblage de ce soutien. Pour l’explication réaliste et la théorie de la formation du jugement, nous sommes appuyés sur des connaissances académiques et pratiques concernant le rôle du capital social organisationnel dans les chaînes de valeur.
Mots-clés: coaching d’entreprise, agriculture contractuelle, organisations paysannes, évaluation réaliste, analyse de la table de vérité
Tester des mécanismes à partir d’une analyse comparative qualitative à grande échelle dans les évaluations réalistes
Esben Højmark
Cet article montre comment l’Analyse Comparative Qualitative (QCA) peut être utilisée pour tester des mécanismes avec des données d’enquêtes à grande échelle (large-N QCA) dans une évaluation réaliste. L’analyse à grande échelle (large-N QCA) offre plusieurs avantages pour tester des mécanismes dans une évaluation réaliste: elle permet d’étudier des aspects de la complexité d’une intervention souvent difficiles à appréhender avec des méthodes basées sur la régression, tout en évaluant la cohérence et la pertinence empirique des mécanismes dans un plus grand groupe de participants. De ce fait, cette méthode améliore la crédibilité et la capacité à généraliser la théorie du programme. Malgré ces avantages, la QCA est rarement utilisée pour tester des mécanismes avec des données à grande échelle. Cet article vise à illustrer cette approche en décrivant un processus en quatre étapes. L’une des faiblesses de la méthode proposée est qu’elle identifie l’occurrence conjointe des conditions et des résultats sans clarifier les processus génératifs qui les relient. La dernière partie de l’article examine donc comment la QCA peut être combinée avec des recherches qualitatives.
Mots-clés: causalité générative, mécanismes, analyse comparative qualitative, évaluation réaliste, test de mécanisme
Les contextes oubliés de l’évaluation
Benjamin Harris, Lyn Alderman et Jessica Staheli
Le contexte est un concept largement débattu, mais encore difficile à cerner en évaluation. Les auteurs de cet article attestent l’existence d’une littérature abondante sur le contexte dans un dispositif d’évaluation, avec de nombreux cadres, théories et méthodologies inspirés par le contexte. Cependant, ils estiment qu’il existe peu de conseils pratiques et pragmatiques à l’intention des évaluateurs sur la manière d’identifier et de déterminer ce qui est contextuellement pertinent. Pour combler cette lacune, les auteurs ont conçu des instruments en lien avec le modèle de Rog « mettre l’arrière-plan au premier plan ». Aux fins de contribution supplémentaire à la littérature, on ajoute le « contexte d’action » au modèle de Rog. Celui-ci décrit la période postérieure à l’évaluation, où il peut y avoir une redéfinition du problème et une refonte de l’intervention. Cet article fournit des conseils aux évaluateurs sur la manière d’identifier le contexte grâce à l’utilisation d’outils reconnus, principalement empruntés aux approches entrepreneuriales.
Mots-clés: analyse de rentabilisation, contexte, cadre d’apprentissage continu, analyse environnementale, évaluation, cinq forces de Porter, changement continu, analyse SWOT
Le recours aux entretiens dans les méthodes de traçage de processus
Gabriela Camacho Garland, Derek Beach et Johannes Schmitt
Dans cet article, nous proposons des lignes directrices pratiques pour l’utilisation des entretiens dans les méthodes d’évaluation fondées sur le traçage de processus. Les méthodes de traçage de processus recourent à des théories plus désagrégées du processus causal, appelées théories du processus de changement (pToC). La pToC sert de base à la conduite et à l’exploitation des entretiens dans l’évaluation, y compris pour la sélection des personnes interrogées et la formulation des questions. L’utilisation des entretiens varie selon les trois phases de recueil de données des méthodes de traçage de processus: (1) une phase exploratoire qui développe une pToC plausible, (2) une phase de test et de révision de la pToC, et (3) une phase d’évaluation et de résolution des questions en suspens. Nous présentons des lignes directrices pour la conduite et l’utilisation des entretiens au cours de chaque phase, en mettant l’accent sur la phase de test et de révision.
Mots clés: méthodes d’évaluation de traçage de processus, évaluation basée sur la théorie, entretiens, théorie du processus de changement