On parle de question fermée, ou question à choix multiple, lorsque le sujet choisit sa réponse dans un ensemble fini de propositions. La plupart des types de réponse offerts par Authorware correspondent à des questions fermées:
On parle de question ouverte ou de question à réponse construite lorsque le sujet construit sa réponse, en particulier lorsqu'il répond par du texte (écrit ou oral). Du point de vue de l'élève, les réponses de type 'texte' lui permettent en effet de construire librement sa réponse. Toutefois, du point de vue de la machine, les réponses de type texte sont analysées par rapport à un ensemble de classes de réponses. Ces questions peuvent donc être considérées comme des questions fermées.
Pour les autres modes d'interaction étudiés, l'analyse de la réponse se limite à vérifier si la réponse fournie correspond à une des réponses prévues. Dans certains cas, l'ensemble des réponses prévues est défini en extension. Dans le cas de réponses texte, l'auteur définit des classes de réponses considérées comme synonymes. Ces sous-ensembles sont grands, voire infinis. Aussi, ils ne sont pas définis en extension, mais comme des espaces de variation autour d'une réponse-type. L'auteur définit la réponse type (ou pattern) et les variations autorisées. Le processus de comparaison d'une réponse et d'un pattern porte le nom de 'pattern matching'.
Toutes les réponses construites ne sont pas des réponses texte. Une réponse construite non-verbale consiste par exemple à assembler les divers éléments d'un circuit électrique. Une telle réponse peut être décomposée en une séquence d'interaction simples (du type de celles décrites dans le module précédent), au cours desquelles le sujet sélectionne et positionne des objets. Le problème apparaît si l'auteur veut analyser globalement le circuit construit par le sujet. Il doit alors tenir compte des objets connectés, des valeurs associées (intensité, résistance) et de la position relative des objets. Cette analyse complexe peut être réalisée avec Authorware, mais celui-ci ne comprend pas de fonction spécifique pour ce type d'analyse. Par contre, Authorware dispose d'outils spécifiques pour l'analyse des réponses de type 'texte. Ceux-ci permettent d'identifier les mots, leurs caractéristiques et leur ordre dans la phrase.
Les QCM ont été intensivement utilisés dans l'évaluation pédagogique car ils permettent un traitement rapide, objectif et facilement programmable des réponses. Ils ont cependant souvent été critiqués, car la plupart d'entre eux étaient mal construits et ne fournissaient pas une mesure valide des compétences. La plupart de ces défauts ne sont cependant pas intrinsèques aux QCM. Certains QCM peuvent posséder un pouvoir diagnostic supérieur aux questions ouvertes, par exemple en incluant parmi les propositions un ou plusieurs 'distracteurs' (proposition correspondant à une erreur classique des sujets). Voici quelques conseils concernant la construction d'un QCM.
Clarté du tronc: Le tronc désigne la question elle-même, par exemple 'laquelle des propositions suivantes est correcte?'. Il convient d'éviter les formulations négatives ('laquelle des propositions suivantes est incorrecte') et à fortiori les doubles négations ('laquelle des propositions suivantes n'est pas incorrecte' ou 'quel pays n'a pas quitté l'URSS en 1990?'). Ces formulations introduisent une difficulté supplémentaire qui ne correspond pas à la compétence mesurée et réduisent par conséquent la validité interne de la question: le sujet peut se tromper parce qu'il n'a pas lu attentivement la question et non par ignorance de la réponse. Dans les cas où une formulation négative est inévitable, il convient de mettre la forme négative en évidence: 'Laquelle des lois suivantes n'est PLUS en vigueur aujourd'hui ?'.
Nombre de réponses possibles: Augmenter le nombre de propositions permet de réduire le rôle du hasard. En outre, compter un score négatif pour les réponses erronées incite le sujet qui ne connaît pas la réponse à s'abstenir de répondre, plutôt que de répondre au hasard. On peut alternativement inclure un bouton 'Je ne sais pas'. Certains logiciels permettent au sujet d'indiquer son degré de confiance dans sa réponse, par exemple en misant de l'argent fictif ou tout autre valeur prélevée dans un contexte ludique.
Nombre de réponses correctes: Le raisonnement de l'utilisateur sera plus complexe si on ne lui indique pas à l'avance le nombre de propositions vraies. Sachez en outre que le concepteur a tendance à placer la réponse correcte vers le milieu de la liste des propositions et à ne pas mettre la proposition correcte au même endroit dans deux questions consécutives.
Construire des distracteurs pertinents: Afin de multiplier le nombre de propositions, le concepteur a parfois tendance a ajouter des propositions fantaisistes que le sujet peut écarter sans aucune difficulté. En outre, les affirmations générales ('toujours', 'jamais', 'tous', 'aucun',..) sont généralement fausses. Les affirmations nuancées ont tendance à être vraies ('dans certains cas', 'le plus souvent', 'parfois',...).
Nous avons vu dans le module 3 que l'interface du Macintosh utilise deux représentations différentes des questions à choix multiples: les 'check box' sont utilisées lorsque plusieurs réponses peuvent être fournies alors que les 'radio button' ne permettent de communiquer qu'une seule réponse. Ces types de bouton ne sont pas disponibles dans Authorware. Si l'auteur veut profiter de l'assimilation probable de ces conventions par les utilisateurs, il devra dessiner des objets d'interactions qui imitent l'apparence et le fonctionnement de ces boutons.
Il existe une forme plus complexe de questions fermées, les questions à appariement, qui consistent à mettre en relation des propositions fournies dans deux listes distinctes. Dans ce cas, le nombre de réponses possibles est fortement accru, ce qui réduit la part laissée au hasard. La présentation classique des questions par appariement est celle présentée dans la figure 4.2.a : le sujet relie par un trait les propositions qu'il désire associer. Ce type d'interaction peut être construit au moyen d'Authorware, par un développeur avancé (fonction 'drawline). Le programmeur débutant peut lui substituer un format de présentation illustré par la figure 4.2.b. Pour autant que le sujet comprenne le principe d'un tableau à deux entrées, son activité cognitive sera identique à celle sollicitée par l'interaction illustrée en 4.2.a. En effet, dans les deux questions a et b, l'activité mentale du sujet consiste à former les paires (A,2), (B,2), (B,4) et (D,1). La question B est plus facile à programmer puisqu'il suffit de créer des zones sensibles et d'y faire apparaître une marque lorsque le sujet clique sur cette zone. Cette solution illustre deux idées importantes de ce cours. Primo, l'interaction est évaluée par rapport à l'activité cognitive du sujet davantage que par rapport à son activité physique (cliquer, déplacer la souris, frapper une touche). Secundo, lorsqu'une interaction facile à réaliser sur papier (a) se révèle plus difficile sur écran, il est parfois préférable de lui chercher une substitution que d'obstiner à la transposer fidèlement.
Questions à appariement: à gauche, présentation classique, à droite, présentation en table, plus facile à programmer.
Voici certaines recommandations concernant la construction des questions par appariement: