chapitre 7 Epistémologie et méthodes de la modélisation IA

7-2.2 L'élicitation des connaissances

1. Les approches de la psychologie d'information et de la "knowledge acquisition" des systèmes expert font l'hypothèse forte que les connaissances sont structurées et partiellement accessibles. Leurs méthodes focalisent sur des "thinking aloud protocols" et sur des entretiens structurés par rapport à des tâches de résolution de problème ou de connaissances sur le monde. Les données empiriques sont d'une relativement bonne qualité (elles sont reproductibles), mais souffrent du biais de la situation artificielle de l'intervention.

2. Les approches fondées sur l'interprétation sont étroitement liées à la tradition herméneutique sans toujours pouvoir s'identifier à une position de "Verstehen" forte à la Dilthey. Ces approches sont centrées sur la compréhension et l'interprétation des structures de sens (angl. "meaning"). Leur méthodes sont centrées autour d'entretiens non-directifs ou l'analyse de textes, d'enregistrements audio et vidéo. Un exemple est donné par les travaux de Suchman dont les résultats ont été discutés dans "La critique phénoménologique et la "situated action"" [p. 283]. Le biais expérimental de cette méthode est relativement faible car elle ne force pas les sujets à des rationalisations qui n'ont pas lieu dans un contexte réel.

3. Les approches analytiques (comme la théorie de décision ou des jeux) sont généralement guidées par des théories. Sauf exception, elles ont peu de validité externe. Dans la mesure où leur vocation est la modélisation de situation idéales, voire normatives, elles n'en ont même pas besoin. Leur avantage est leur simplicité relative. Elles ont également une bonne capacité de prédiction de quelques phénomènes que l'onpeut isoler (problèmes de choix) étant donné leur haut degré d'abstraction.

4. Les approches dites "systémiques" se situent quelque part au milieu des précédentes. Elles considèrent les entités à modéliser comme étant structurées et possédant des fonctions internes et externes. En outre, des "systèmes" comme le décideur politique sont considérés auto-organisateurs et intentionnels. Comme les modèles de l'intelligence artificielle, les modèles systémiques visent une homomorphie: structures et fonctions du systèmes devraient correspondre aux structures et fonctions du phénomène étudié. Ce qui distingue l'approche systémique de l'IA est la portée des modèles du social. Si nécessaire, le systémisme ne dédaigne pas d'utiliser des méthodes analytiques pour modéliser des fonctions ou des structures difficiles d'accès. Ainsi le systémisme fait le pont entre l'analytique, l'herméneutique et la psychologie de l'information.

Pour illustrer la multiplicité des données, revenons un peu sur la législation sur l'acquisition des immeubles. Les "connaissances" utilisées dans nos systèmes M-Lex et P-Lex et dans les esquisses du chapitre 6 "Le décideur, son organisation et son environnement" [p. 223] montrent le caractère hybride du concept de "donnée" ou de "connaissance". Nous avons utilisé des textes de loi, de la jurisprudence, des manuels juridiques, des entretiens, des expériences de pensée à haute voix, nos connaissances sur le système juridique et politique, etc. etc. Les concepts de "knowledge engineering", de "knowledge acquisition" et de "knowledge elicitation" prennent un autre sens dans le cadre de modélisation en sciences sociales. L'acquisition de connaissances ne concerne plus principalement l'extraction et le transfert des connaissances à partir d'un expert, mais à partir de multiples sources et sous des formes multiples.

Elicitation de connaissances et entretiens

A part ces problèmes d'accès, il convient de mentionner les problèmes généralement rencontrés dans le génie cognitif:

(1) Normalement, un sujet ne pense pas de la même façon qu'un système expert, il laisse notamment de côté les "détails" nécessaires aux opérations mécaniques d'un système expert. Citons Waterman (86:153):

"They have a tendency to state their conclusions and the reasoning behind them in general terms that are too broad for effective machine analysis. ... The expert seldom operates at a basic level. He makes complex judgments rapidly, without laboriously reexamining and restating each step in his reasoning process. The pieces of knowledge are assumed and are combined so quickly that it is difficult for him to describe the process. When he examines a problem, he cannot easily articulate each step and may even be unaware of the individual steps taken to reach a solution."

Waterman (86:154) utilise les termes de "paradoxe d'expertise" et de " paradoxe du génie cognitif" pour décrire le fait suivant: "the more competent domain experts become, the less able they are to describe the knowledge they use to solve problem". Ce phénomène est dû aux effets de la compilation de savoir et au mode de raisonnement analogique et associatif. Dans certains cas, le raisonnement du décideur politique est encore plus dur à décoder, car il agit de façon moins "rigoureuse et formelle". Dans le jargon du génie cognitif, on parle souvent du problème de la "décompilation des connaissances".

(2) Un deuxième problème est la rationalisation: ".. studies have shown that when experts attempt to explain how they reached a conclusion, they often construct plausible lines of reasoning that bear little resemblance to their actual problem solving activity." (Waterman 86:154). Nous avons effectivement rencontré ce phénomène dans notre étude sur la LAIE. En outre, il faut éviter d'être son propre expert (méthodes d'introspection). On peut facilement tester le fonctionnement d'un système de règles, mais pas forcément leur validité par rapport à un comportement réel.

Il existe plusieurs techniques d'entretien que l'on peut classer selon deux axes: les méthodes observationnelles sont plutôt passives, orientées sur l'observation et essaient d'interagir de façon minimale avec le sujet. Les méthodes intuitives sont centrées autour de l'entretien actif et de l'introspection.

• La méthode de la pensée à haute voix (angl.: "thinking aloud") combinée à l'analyse des protocoles (Ericsson 83) est la méthode la plus ancienne en IA pour la collection "objective" de données. Son principe de base est de soumettre des tâches à résoudre au sujet et de le faire penser à voix haute. Cette méthode a été utilisée intensivement par l'équipe de Newell et Simon (cf. la section 4-3 "Intelligence artificielle et résolution de problèmes" [p. 126]).

• Une forme plus "faible" et plus générale de la méthode de la pensée à voix haute est la simple observation du comportement (enregistrements audio, vidéo, notes, etc.) utilisée le plus souvent par les anthropologues et les sociologues. Elle possède l'avantage d'avoir une très faible incidence sur le sujet, mais elle ne fournit que très peu de données sur les processus internes.

• L'entretien piloté par une théorie est très différent et souvent utilisé en psychologie cognitive. Tout le dispositif est destiné à produire des données qui permettent de valider une théorie. On utilise par exemple des exercice de rappel d'un récit pour tester des théories sur l'organisation de la mémoire épisodique.

• L'introspection est une méthode très intuitive. Cette méthode est dominante dans les courants de l'IA "pure". Elle sert à provoquer des idées pour ensuite les implémenter dans un programme intelligent.

1. Au début d'un processus d'acquisition, il est utile de prévoir un certain nombre de discussions ouvertes avec les sujets modélisés, experts, futurs utilisateurs, etc. pour se familiariser avec les méthodes de résolution de problème, structures de connaissances, etc. Dans cette phase, il faut observer la règle de base de la recherche exploratoire: être le plus ouvert possible. Dans cette phase, il est aussi important de consulter toute la littérature et autres documents accessibles sur le sujet afin de bien saisir le "langage du domaine".

2. Dans un deuxième temps, on peut organiser des discussions informelles sur le problème. Il s'agit ici de trouver un moyen pour structurer tous les types de problèmes que le système expert sera amené à résoudre. Dans notre système M-Lex, il s'agissait par exemple d'identifier exactement quel type d'information le décideur reçoit, et comment un cas juridique est divisé en sous-problèmes (sujet, acquisition et motif).

3. Ces deux types d'entretiens permettent de déterminer l'espace du problème (ou domaine de tâche).

4. Une fois que l'on possède une idée du langage du domaine ainsi que la nature de ses problèmes, on peut procéder à des entretiens du type "thinking aloud" pour analyser en profondeur des problèmes bien spécifiques. Le cognicien doit souvent intervenir pour clarifier les choses ou alors discuter le protocole avec le sujet après coup.

5. Une fois que l'on passe au stade de "system refinement", l'entretien est organisé selon les nécessités de la modélisation. Souvent, on fait participer les sujets au développement du système qu'ils doivent tester et commenter. Idéalement, le sujet devrait aussi examiner chaque règle et participer activement à la recherche des cas extrêmes que le système ne peut pas résoudre.

Elicitation de connaissances et entretiens

Generated with WebMaker