Construction d’un modèle pour l’emploi
de l’analyse de contenu à codeur unique
en évaluation de programme.

Introduction

L'ANALYSE DE CONTENU
COMME TECHNIQUE DE GESTION

L'analyse de contenu, technique d'analyse de la communication apte, entre autres, à détecter les changements sociaux [1], peut aussi s'employer en gestion lorsqu'il s'agit d'évaluer l'action interventionniste de l'État. C'est, du moins, l'idée que nous avançons ici, pour ce qui a trait, en particulier, à l'évaluation de programmes mous.

Nous désignons sous ce terme des programmes publics n'obéissant pas à des nécessités politiques évidentes pour tous et/ou difficiles à évaluer, étant fondés, pour l'essentiel, sur des données qualitatives (projets, opinions, attitudes, croyances, valeurs, idéologies, etc.) plutôt que sur celles habituellement associées à l'emploi de l'ordinateur en information de gestion : ressources humaines ou matérielles, mesures mécaniques ou physiques. Par exemple, le programme à la faveur duquel nous avons développé la méthode que nous présentons ici subventionne des groupes volontaires engagés dans l'éducation populaire ; mais on pourrait tout aussi bien penser à des programmes mous à propos d'un programme de formation en industrie, de prévention routière ou de développement communautaire, etc.

[8]

De tels programmes publics, en second lieu, apparaissent le plus souvent reliés au phénomène du changement social soit que l'on veuille sous ce vocable parler d'expérimentation sociale [2], évaluer des transformations de civilisation [3] ou, tout bonnement, régler un problème social [4].

À l'arrière-plan de ces diverses définitions se profile, en tout cas, ces vingt dernières années [5], un intérêt actif pour la méthodologie dite des indicateurs sociaux. Il s'agit d'en arriver, comme le soulignait, par exemple, un document de 1'Unesco, "à trouver un indicateur significatif d'un ensemble de changements en corrélation" : l'objectif serait qu'alors "on aura peut-être apporté à l'administrateur de programmes un moyen puissant d'analyse et d'action". [6]

En contexte de société à somme nulle [7], d'autre part, de tels programmes publics acquièrent une autre caractéristique. On peut comprendre en effet que ces programmes sont aussi les premiers à faire les frais des mesures visant à retailler l'intervention de l'État, mais cela se passe sans que l'on soit souvent mieux fixé, faute de modes d'évaluation permettant le savoir accumulé, sur leur raison d'être à ce moment qu'à celui, rétrospectivement, de leur naissance. "Dans la bureaucratie, comme l'observe A. Moles, les petites actions tendent à remplacer les grandes en les émiettant" [8].

Appliquée ainsi à des programmes de type qualitatif, la méthode de l'analyse de contenu recèle donc des conséquences tant pour la connaissance que pour la gestion. Afin de réaliser, par exemple, l'application ici expérimentée, il a fallu en effet surmonter une difficulté essentielle de la méthode. D'où le propos de notre mémoire : exposer la construction d'un modèle pour l'emploi de l'analyse de contenu à codeur unique en évaluation de programme.

A - LA DIFFICULTÉ À RÉSOUDRE

La méthode que nous avons été amené à développer est d'un emploi simple parce qu'elle résout un problème formulé simplement : comment évaluer l’"objectivité" d'une analyse de contenu à codeur unique ?

[9]

À l’origine, c'est-à-dire dans les États-Unis de la fin des années 20, l'analyse de contenu consiste à appliquer à un matériau symbolique (film, entrevue, journal, rapport, questionnaire, texte de loi, conte, récit, formulaire, lettre, mémoire, etc.) les méthodes de l'analyse statistique sur des éléments de contenu découpés en unités de sens et rangés en cl asses par des codeurs, selon un système de catégories définies d'avance ou grille [9]. On éprouvera progressivement les difficultés de la méthode, à mesure que s'en répand la pratique, aux côtés, surtout, de façons de faire subséquentes dont on pressent quelque peu la proximité : l’analyse structurelle en linguistique et l'analyse documentaire en traitement de l'information, notamment [10].

Mais une difficulté persistante porte sur l'analyse ne disposant que d'un seul codeur : lorsqu'il s'écarte de la grille, comment évaluer cet écart ou le biais au codage d'un codeur unique ? La question insiste d'autant plus que l’analyse à codeur unique, lorsque celui-ci coïncide avec le chercheur qui a construit les catégories, est, en somme, le modèle de toute analyse, compte tenu, en effet, que l'objectivité atteinte par une grille d'analyse n'est jamais, à la limite, que celle de l’institution ou du groupe qui l’applique par chercheur interposé [11].

La solution classique comporte une clé appelée coefficients de fidélité : il s'agit de contrôler le travail d'un codeur ou sa compréhension des catégories par la performance de ses pairs ou des responsables de la recherche sur un matériel identique, en exprimant le résultat de ce contrôle par des rapports de proportion (les coefficients) [12]. L'opération peut prendre place au moment de choisir les codeurs, de les entraîner, de vérifier les catégories ou que se déroule l’analyse proprement dite, il reste que l’objectivité des normes du groupe s'arrête à l’idéologie du chercheur, et constitue de ce fait la limite invincible : "Aucun objet de conscience, aucun champ de conscience, comme le souligne par exemple J.-T. Desanti dans une réflexion sur l’être mathématique de la mesure (mathesis), ne peut s'apparaître à soi-même comme producteur des normes qui le constituent et le maintiennent comme objet" [13].

[10]

Sur cette base, notre idée pour mesurer le rendement d'un système de catégories fut de partir de la quantité moyenne de choix exercée par le codeur pour classifier une unité de sens, ou de la notion d'entropie d'une variable [14]. La méthode d'analyse que nous avions mise au point faisait déjà reposer la mesure ou quantification du contenu sur des propriétés de la théorie des graphes : il suffisait d'y rapporter la théorie de l'information d'où provient ici la notion d'entropie [15].

Il est apparu ainsi qu'on pouvait mesurer le biais au codage ou la "subjectivité" du codeur par la différence entre le coût du codage (ou le degré de complexité de construction d'une donnée) en bits, unité de mesure de l'information, et l'entropie, avec une situation d’"objectivité parfaite" dans le cas de l'égalité. Un codage de 0,07 bits, par exemple, est ainsi prétendu plus conforme à la grille, donc d'une "objectivité" plus grande, qu'un codage de 0,47 bits. Les valeurs du coefficient étant comprises entre 0 et 1, le seuil peut être choisi, comme on le soupçonne, à partir des objectifs qu'on poursuit.

Moins compliqué à calculer que le coefficient de fidélité habituel, ce type de mesure, basé sur l'idée de transmission, peut donc garantir que les rendements de la grille sont comparables en tout temps, que l'analyse soit conçue et menée par un seul codeur, par plusieurs se succédant sur la grille ou qu'elle soit réalisée en équipe. Une telle garantie est utile à plus d'un titre.

En premier lieu, elle permet l'analyse à codeur unique, pratique autrement peu fiable si l'on cherche à cumuler par ce moyen des données indépendantes de la conjoncture. On peut même penser, comme nous le verrons plus loin, que la mesure de rendement que nous avons expérimentée s'insère avec profit dans le développement prévisible des organisations (bureautique, information de gestion, analyse documentaire, etc.), tant publiques que privées, et des politiques de traitement de l'information à l'intérieur de celles-ci.

[11]

En second lieu, elle permet au scientifique praticien des sciences humaines de définir le processus d'objectivation des catégories en analyse de contenu dans les termes de la théorie générale des systèmes. Tout comme il en advient de la loi de Pareto en économie, par exemple, on voit donc se profiler ici des parentés (isomorphismes) entre l'analyse du discours et les sciences delà nature : physique, biologie [16].

Finalement, notre méthode s'applique à tout contenu symbolique, ce qui rencontre probablement la majorité des amas de données de type qualitatif qu'on aurait à organiser. Elle en tire, d'ailleurs, matière à s'y perfectionner. Reste à voir comment elle s'introduit dans l'évaluation de programmes.

Le modèle ici utilisé à cet effet est celui de l’analyse sociale par indicateurs, lorsqu'elle impose de juger de la stabilité à travers le temps des significations qui entrent dans la composition des mesures constituant ces derniers.

Or, deux choses, entre autres, supposent un tel jugement. L'une est que les significations linguistiques varient dans les sociétés au cours du temps. On assume, en utilisant des indicateurs, que le rythme de ces variations est suffisamment lent pour être négligeable [17], mais que signifie, par exemple, dans le cycle de vie d'un sujet, la corrélation entre l’âge et la scolarité dans une population qui vieillit à mesure qu'elle se scolarise ? Stinchcombe et Wendt ont proposé 1â-dessus de montrer, à partir d'un exemple voisin, combien fragile peut être une déduction de causalité reposant sur de semblables apories [18].

L'autre raison imposant de saisir la stabilité des significations entrant dans les indicateurs procède de l’intégration des sciences sociales à l’administration, dans la mesure où cette intégration s'accompagne d'une approche centrée sur la créativité des groupes sociaux, selon l’expression reçue.

[12]

Pour s'être intégrée aux pratiques de l'administration, la méthode scientifique doit en effet constater, comme le font valoir Briole et Craipeau, par exemple, un certain abandon, sur le plan de ses opérations propres, de la séquence dite expérimentale au profit d'un "flot continu" où prédiction, expérimentation, vérification, interprétation "sont régis par un principe d'équivalence" [19]. La même raison empêche d'ailleurs la recherche évaluative de se définir là-dessus selon des cloisonnements disciplinaires trop étanches [20]. Qu'en sera-t-il donc ici, pour ces deux raisons, tant la proche que la lointaine, de notre champ d'application ?

B - LE CHAMP D'APPLICATION

Pensons donc à la pratique des sciences humaines en gestion, par exemple à une étude de marché isolé, et posons la question essentielle : d'où proviennent les données qualitatives qu'on recueille ?

On est forcé de répondre que les données qualitatives, celles-là même qui se retrouvent dans un programme, s'enracinent sans cesse dans l'ensemble des habitudes de vie et des habitudes mentales des sujets ou partenaires du programme, bref, dans une culture.

Or, il faut en voir la physionomie : cette culture est rationalisée, technologique, et saisir la logique qui en ressort : le vécu est émietté, tant par l'idée bureaucratique que rappelait l'observation de Moles que par la rationalité économique plus large qui imprègne nos structures mentales. "L'économie permet l'élucidation d'une axiomatique du choix qui, fait remarquer à ce sujet Fernand Dumont, de celui-ci dégage des nécessités logiques plutôt que psychologiques ou historiques". Pas surprenant de trouver le vécu dispersé en une poussière d'actes : le choix devient "le lieu géométrique des valeurs qui fait provisoirement de l'histoire (...) une sorte de texte neutre. La valeur apparaît paradoxalement comme une donnée".

D'où la prolifération, en son ordre, celui du politique, tant pour l'État que pour l'entreprise, du programme de type qualitatif : "L'opinion [13] devient référence nécessaire dans la consommation, la participation oppose de plus en plus ses exigences à la rationalisation des conduites et des relations interpersonnelles" [21]. À propos des intellectuels, l'économiste Joseph Schumpeter avait d'ailleurs une façon à lui de le dire : "À la différence de tout autre type de société, le capitalisme, en raison de la logique même de sa civilisation, a pour effet inéluctable d'éduquer et de subventionner les professionnels de l'agitation sociale" [22].

De là qu'on touche, finalement, le soin d'évaluer actions et programmes, la "poussière émiettée des actes" (Moles), à l'intérieur d'un processus de planification : "L'évaluation d'un programme, écrit par exemple l'architecte-urbaniste Jin Bak Pyun, peut alors être définie, de façon formelle, comme une recherche sur les conséquences qui ne se produiraient pas en 1'absence du programme ou, encore, comme une recherche sur 1'efficacité relative d'un programme par rapport aux autres possibilités. De façon substantielle, l'évaluation peut se définir comme un examen des implications distributives résultant des interactions complexes entre interventions publiques et marché privé" [23].

On aimerait évoquer là-dessus plus longuement cet exemple des programmes d'habitation au chapitre de l'intervention des gouvernements locaux. On y trouverait une justification empirique de notre méthode [24]. Comme on peut penser au processus de consultation des publics mis en place dans le cadre du Bureau d'audiences publiques sur l'environnement (BAPE) [25], voire 1'expérience-maîtresse de consultation, quasi l'archétype, du Bureau d'aménagement de l'Est du Québec [26]. Le modèle de ce genre d'exemples, en tout état de cause, comme en éducation, d'ailleurs, dans le domaine des loisirs ou dans celui du travail, renvoie en effet d'une façon ou de l'autre à l'idéologie du développement, et à ses avatars technocratiques, les notions de mutation [27] ou de modernisation [28].

Ce sont là autant d'indices : "Dans le système, résume un administrateur public, l'Administrant se sent désarmé mais aussi protégé. Hors du système, l'Administré se sent impuissant mais aussi dépendant" (P. [14] Ripoche). Et de conclure l'auteur de ce diagnostic lapidaire : "Aucune amélioration ne peut être attendue sans une ouverture active a l'administré (écoute, réclamation), a l'évolution du milieu et des techniques" [29]. Bref, rien ne va plus, par delà les programmes (mous) d'amélioration des relations de l'Etat avec les citoyens, sans un retour des actions et programmes du gestionnaire public vers le puits des données qualitatives, la culture vécue.

À ce retour ou a cet approfondissement, sans doute, vont essayer de répondre de plus en plus les programmes dits qualitatifs et, en corollaire, la nécessité de trouver modes et techniques d'évaluation aptes a les intégrer au cycle administratif sans les laisser a la merci exclusive de la conjoncture et des expédients thématiques qu'elle inspire.

C'est de la que la méthode ici préconisée prétend, comme on l'indiquait, apporter sa contribution ; elle est mise au point, en tout cas, au moment ou l'extension pressentie du traitement de l'information dans les organisations y suppose vraisemblablement la pratique sur une haute échelle de l'analyse a codeur unique, quand ce ne serait, par exemple, qu'aux postes de travail sur formulaires précodés. Car, avec la tendance aux programmes qualitatifs, n'est-ce pas, en définitive, la façon même de s'approprier la conjoncture qui est en train de changer sous nos yeux ?

Réfléchissant au contrecoup de l'informatisation des connaissances sur le statut des savoirs et de ceux qui les utilisent, au premier chef savants et décideurs, J.-F. Lyotard conclut, par exemple, a un déplacement du rêve pragmatique d'un accord entre les esprits ou de ce qu'à notre connaissance, les Américains des communautés pionnières de la Nouvelle-Angleterre nomment encore "The Meeting of the Minds". Désormais, le consensus, note ce philosophe, "n'est qu'un état des discussions et non leur fin".

On n'a, pour nous, qu'a regarder le contexte de société que nous suggérions au tout début, la société a somme nulle, pour comprendre que c'est aussi notre conception de l'action qui écope : "Le consensus est devenu une [15] valeur désuète, et suspecte, continue en effet notre observateur. Ce qui ne l'est pas, c'est la justice. Il faut donc parvenir à une idée et une pratique de la justice qui ne soient pas liées à celle du consensus" [30]. Ce qui attribue au rôle de la conjoncture dans la décision une tout autre profondeur.

Si, en effet, jusqu'ici l'art de la politique consiste justement à donner à dire pour, en profitant de la conjoncture, donner à faire [31], le noyau solide de nos banques de données est plus que jamais de l'ordre du qualitatif, c'est-à-dire des significations et de leur analyse. Ici s'insère, instrument de connaissance autant que de gestion, l'analyse de contenu, appelée peut-être, de ce fait, à une pratique nouvelle.

[16]

NOTES ET RÉFÉRENCES
DE L'INTRODUCTION

[17]

[18]