7-2.2 L'élicitation des connaissances

La littérature sur l'élicitation (extraction) est large, facilement accessible et de bonne qualité[122]. Nous en esquissons juste les principes de base et nous discutons quelques spécificités liées au domaine de la modélisation du décideur. L'élicitation des connaissances se fait dans le cadre du processus d'acquisition (élicitation, transfert, organisation, etc.). Par rapport à ce cadre général, nous pouvons distinguer en sciences sociales quatre grandes approches pour acquérir "données" et connaissances:

1. Les approches de la psychologie d'information et de la "knowledge acquisition" des systèmes expert font l'hypothèse forte que les connaissances sont structurées et partiellement accessibles. Leurs méthodes focalisent sur des "thinking aloud protocols" et sur des entretiens structurés par rapport à des tâches de résolution de problème ou de connaissances sur le monde. Les données empiriques sont d'une relativement bonne qualité (elles sont reproductibles), mais souffrent du biais de la situation artificielle de l'intervention.
2. Les approches fondées sur l'interprétation sont étroitement liées à la tradition herméneutique sans toujours pouvoir s'identifier à une position de "Verstehen" forte à la Dilthey. Ces approches sont centrées sur la compréhension et l'interprétation des structures de sens (angl. "meaning"). Leur méthodes sont centrées autour d'entretiens non-directifs ou l'analyse de textes, d'enregistrements audio et vidéo. Un exemple est donné par les travaux de Suchman dont les résultats ont été discutés dans "La critique phénoménologique et la "situated action"" [p. 296]. Le biais expérimental de cette méthode est relativement faible car elle ne force pas les sujets à des rationalisations qui n'ont pas lieu dans un contexte réel.
3. Les approches analytiques (comme la théorie de décision ou des jeux) sont généralement guidées par des théories. Sauf exception, elles ont peu de validité externe. Dans la mesure où leur vocation est la modélisation de situation idéales, voire normatives, elles n'en ont même pas besoin. Leur avantage est leur simplicité relative. Elles ont également une bonne capacité de prédiction de quelques phénomènes que l'onpeut isoler (problèmes de choix) étant donné leur haut degré d'abstraction.
4. Les approches dites "systémiques" se situent quelque part au milieu des précédentes. Elles considèrent les entités à modéliser comme étant structurées et possédant des fonctions internes et externes. En outre, des "systèmes" comme le décideur politique sont considérés auto-organisateurs et intentionnels. Comme les modèles de l'intelligence artificielle, les modèles systémiques visent une homomorphie: structures et fonctions du systèmes devraient correspondre aux structures et fonctions du phénomène étudié. Ce qui distingue l'approche systémique de l'IA est la portée des modèles du social. Si nécessaire, le systémisme ne dédaigne pas d'utiliser des méthodes analytiques pour modéliser des fonctions ou des structures difficiles d'accès. Ainsi le systémisme fait le pont entre l'analytique, l'herméneutique et la psychologie de l'information.

Nous pensons qu'il est temps de faire revivre l'approche systémique. A tort identifée en sciences politiques soit à la modélisation mathématique des systèmes dynamiques soit à la théorie ou la philosophie politique, elle devrait aujourd'hui adopter des techniques multi-modales de modélisation en utilisant un ensemble de méthodes adaptées (selon des critères épistémologique et d'économie de recherche) aux données disponibles.

Pour illustrer la multiplicité des données, revenons un peu sur la législation sur l'acquisition des immeubles. Les "connaissances" utilisées dans nos systèmes M-Lex et P-Lex et dans les esquisses du chapitre 6 "Le décideur, son organisation et son environnement" [p. 237] montrent le caractère hybride du concept de "donnée" ou de "connaissance". Nous avons utilisé des textes de loi, de la jurisprudence, des manuels juridiques, des entretiens, des expériences de pensée à haute voix, nos connaissances sur le système juridique et politique, etc. etc. Les concepts de "knowledge engineering", de "knowledge acquisition" et de "knowledge elicitation" prennent un autre sens dans le cadre de modélisation en sciences sociales. L'acquisition de connaissances ne concerne plus principalement l'extraction et le transfert des connaissances à partir d'un expert, mais à partir de multiples sources et sous des formes multiples.

Elicitation de connaissances et entretiens

Pour le modéliseur en sciences sociales, il existe deux types de personnes à interroger: (1) les personnes (individus, ou membres des groupes) que l'on désire modéliser et (2) des "experts" qui peuvent apporter leur contribution grâce à leurs connaissances sur un sujet. Il est souvent difficile d'obtenir la coopération nécessaire et lorsqu'il y a coopération, elle est souvent de courte durée. L'élicitation des connaissances est un processus qui peut être très long. En conséquence, il faut adapter la stratégie. Si on désire minimiser le temps de l'interviewé, il faut commencer très tôt la modélisation, travailler beaucoup par inférence et espacer les entretiens dans le temps. Cette procédure est déconseillée dans la littérature sur l'acquisition des connaissances. Celle-ci suggère des entretiens très complets pour aboutir à un "concept model" totalement détaché de toute conceptualisation informatique[123] avant même de commencer à construire un prototype.

A part ces problèmes d'accès, il convient de mentionner les problèmes généralement rencontrés dans le génie cognitif:

(1) Normalement, un sujet ne pense pas de la même façon qu'un système expert, il laisse notamment de côté les "détails" nécessaires aux opérations mécaniques d'un système expert. Citons Waterman (86:153):

"They have a tendency to state their conclusions and the reasoning behind them in general terms that are too broad for effective machine analysis. ... The expert seldom operates at a basic level. He makes complex judgments rapidly, without laboriously reexamining and restating each step in his reasoning process. The pieces of knowledge are assumed and are combined so quickly that it is difficult for him to describe the process. When he examines a problem, he cannot easily articulate each step and may even be unaware of the individual steps taken to reach a solution."

Waterman (86:154) utilise les termes de "paradoxe d'expertise" et de " paradoxe du génie cognitif" pour décrire le fait suivant: "the more competent domain experts become, the less able they are to describe the knowledge they use to solve problem". Ce phénomène est dû aux effets de la compilation de savoir et au mode de raisonnement analogique et associatif. Dans certains cas, le raisonnement du décideur politique est encore plus dur à décoder, car il agit de façon moins "rigoureuse et formelle". Dans le jargon du génie cognitif, on parle souvent du problème de la "décompilation des connaissances".

(2) Un deuxième problème est la rationalisation: ".. studies have shown that when experts attempt to explain how they reached a conclusion, they often construct plausible lines of reasoning that bear little resemblance to their actual problem solving activity." (Waterman 86:154). Nous avons effectivement rencontré ce phénomène dans notre étude sur la LAIE. En outre, il faut éviter d'être son propre expert (méthodes d'introspection). On peut facilement tester le fonctionnement d'un système de règles, mais pas forcément leur validité par rapport à un comportement réel.

Il existe plusieurs techniques d'entretien que l'on peut classer selon deux axes: les méthodes observationnelles sont plutôt passives, orientées sur l'observation et essaient d'interagir de façon minimale avec le sujet. Les méthodes intuitives sont centrées autour de l'entretien actif et de l'introspection.

• La méthode de la pensée à haute voix (angl.: "thinking aloud") combinée à l'analyse des protocoles (Ericsson 83) est la méthode la plus ancienne en IA pour la collection "objective" de données. Son principe de base est de soumettre des tâches à résoudre au sujet et de le faire penser à voix haute. Cette méthode a été utilisée intensivement par l'équipe de Newell et Simon (cf. la section 4-3 "Intelligence artificielle et résolution de problèmes" [p. 135]).
• Une forme plus "faible" et plus générale de la méthode de la pensée à voix haute est la simple observation du comportement (enregistrements audio, vidéo, notes, etc.) utilisée le plus souvent par les anthropologues et les sociologues. Elle possède l'avantage d'avoir une très faible incidence sur le sujet, mais elle ne fournit que très peu de données sur les processus internes.
• L'entretien piloté par une théorie est très différent et souvent utilisé en psychologie cognitive. Tout le dispositif est destiné à produire des données qui permettent de valider une théorie. On utilise par exemple des exercice de rappel d'un récit pour tester des théories sur l'organisation de la mémoire épisodique.
• L'introspection est une méthode très intuitive. Cette méthode est dominante dans les courants de l'IA "pure". Elle sert à provoquer des idées pour ensuite les implémenter dans un programme intelligent.

Il existe évidemment des mélanges et/ou des combinaisons de ces méthodes, comme les entretiens semi-dirigés. Il faut également mentionner que différentes techniques sont utilisées à différentes étapes de l'acquisition des connaissances:

1. Au début d'un processus d'acquisition, il est utile de prévoir un certain nombre de discussions ouvertes avec les sujets modélisés, experts, futurs utilisateurs, etc. pour se familiariser avec les méthodes de résolution de problème, structures de connaissances, etc. Dans cette phase, il faut observer la règle de base de la recherche exploratoire: être le plus ouvert possible. Dans cette phase, il est aussi important de consulter toute la littérature et autres documents accessibles sur le sujet afin de bien saisir le "langage du domaine".
2. Dans un deuxième temps, on peut organiser des discussions informelles sur le problème. Il s'agit ici de trouver un moyen pour structurer tous les types de problèmes que le système expert sera amené à résoudre. Dans notre système M-Lex, il s'agissait par exemple d'identifier exactement quel type d'information le décideur reçoit, et comment un cas juridique est divisé en sous-problèmes (sujet, acquisition et motif).
3. Ces deux types d'entretiens permettent de déterminer l'espace du problème (ou domaine de tâche).
4. Une fois que l'on possède une idée du langage du domaine ainsi que la nature de ses problèmes, on peut procéder à des entretiens du type "thinking aloud" pour analyser en profondeur des problèmes bien spécifiques. Le cognicien doit souvent intervenir pour clarifier les choses ou alors discuter le protocole avec le sujet après coup.
5. Une fois que l'on passe au stade de "system refinement", l'entretien est organisé selon les nécessités de la modélisation. Souvent, on fait participer les sujets au développement du système qu'ils doivent tester et commenter. Idéalement, le sujet devrait aussi examiner chaque règle et participer activement à la recherche des cas extrêmes que le système ne peut pas résoudre.

Comme nous l'avons déjà mentionné, en sciences sociales, on a souvent affaire à des décideurs qui ne veulent ou ne peuvent pas participer à ce genre d'exercice[124]. Toutefois, il est important de connaître au moins les grands principes de l'entretien et de ses méthodes. Etant donné cette situation, il est très important de savoir utiliser des méthodes d'analyses de textes et d'enregistrements que nous n'allons pas discuter ici pour des raisons de place[125]. Etant donné que l'accès aux données est difficile, il faut également procéder à des expériences cliniques avec des sujets de substitution afin d'obtenir quelques données sur les processus de décision. Ces données sont peu précises, mais néanmoins utiles comme le montrent les expériences de Dörner (cf. la section 3-5 "Le modèle "Lohhausen"" [p. 91]) ou encore les expériences psycho-sociologiques sur le dilemme du prisonnier répété (cf . 3-2.1 "La théorie des jeux" [p. 62]).