4.2 Avantages et inconvénients des QCM dans un didacticiel

Figure 4.1 : Comparaison de l'analyse de réponses 'bouton' et de l'analyse de réponses 'texte'

• Clarté du tronc: Le tronc désigne la question elle-même, par exemple 'laquelle des propositions suivantes est correcte?'. Il convient d'éviter les formulations négatives ('laquelle des propositions suivantes est incorrecte') et à fortiori les doubles négations ('laquelle des propositions suivantes n'est pas incorrecte' ou 'quel pays n'a pas quitté l'URSS en 1990?'). Ces formulations introduisent une difficulté supplémentaire qui ne correspond pas à la compétence mesurée et réduisent par conséquent la validité interne de la question: le sujet peut se tromper parce qu'il n'a pas lu attentivement la question et non par ignorance de la réponse. Dans les cas où une formulation négative est inévitable, il convient de mettre la forme négative en évidence: 'Laquelle des lois suivantes n'est PLUS en vigueur aujourd'hui ?'.
• Nombre de réponses possibles: Augmenter le nombre de propositions permet de réduire le rôle du hasard. En outre, compter un score négatif pour les réponses erronées incite le sujet qui ne connaît pas la réponse à s'abstenir de répondre, plutôt que de répondre au hasard. On peut alternativement inclure un bouton 'Je ne sais pas'. Certains logiciels permettent au sujet d'indiquer son degré de confiance dans sa réponse, par exemple en misant de l'argent fictif ou tout autre valeur prélevée dans un contexte ludique.
• Nombre de réponses correctes: Le raisonnement de l'utilisateur sera plus complexe si on ne lui indique pas à l'avance le nombre de propositions vraies. Sachez en outre que le concepteur a tendance à placer la réponse correcte vers le milieu de la liste des propositions et à ne pas mettre la proposition correcte au même endroit dans deux questions consécutives.
• Construire des distracteurs pertinents: Afin de multiplier le nombre de propositions, le concepteur a parfois tendance a ajouter des propositions fantaisistes que le sujet peut écarter sans aucune difficulté. En outre, les affirmations générales ('toujours', 'jamais', 'tous', 'aucun',..) sont généralement fausses. Les affirmations nuancées ont tendance à être vraies ('dans certains cas', 'le plus souvent', 'parfois',...).

Il existe une forme plus complexe de questions fermées, les questions à appariement, qui consistent à mettre en relation des propositions fournies dans deux listes distinctes. Dans ce cas, le nombre de réponses possibles est fortement accru, ce qui réduit la part laissée au hasard. La présentation classique des questions par appariement est celle présentée dans la figure 4.2.a : le sujet relie par un trait les propositions qu'il désire associer. Ce type d'interaction peut être construit au moyen d'Authorware, par un développeur avancé (fonction 'drawline). Le programmeur débutant peut lui substituer un format de présentation illustré par la figure 4.2.b. Pour autant que le sujet comprenne le principe d'un tableau à deux entrées, son activité cognitive sera identique à celle sollicitée par l'interaction illustrée en 4.2.a. En effet, dans les deux questions a et b, l'activité mentale du sujet consiste à former les paires (A,2), (B,2), (B,4) et (D,1). La question B est plus facile à programmer puisqu'il suffit de créer des zones sensibles et d'y faire apparaître une marque lorsque le sujet clique sur cette zone. Cette solution illustre deux idées importantes de ce cours. Primo, l'interaction est évaluée par rapport à l'activité cognitive du sujet davantage que par rapport à son activité physique (cliquer, déplacer la souris, frapper une touche). Secundo, lorsqu'une interaction facile à réaliser sur papier (a) se révèle plus difficile sur écran, il est parfois préférable de lui chercher une substitution que d'obstiner à la transposer fidèlement.

Figure 4.2 : Questions à appariement: à gauche, présentation classique (a), à droite, présentation en table (b).

Voici certaines recommandations concernant la construction des questions par appariement:

• La question est plus complexe si la relation entre les deux listes n'est pas bijective, c'est-à-dire si une proposition de la première série peut-être associée à plusieurs propositions de la seconde série et réciproquement. Lorsque deux listes de quatre items doivent être appariées, le nombre de réponses possibles est de 24 (factorielle de 4) si la relation est bijective et de 256 (4⁴) si la relation n'est pas bijective.
• Si les deux listes ont la même longueur, les sujets peuvent induire à tort que cela implique une relation bijective. L'auteur peut soit proposer des listes de longueurs différentes, soit préciser la nature de la relation dans le tronc de la question ('Plusieurs flèches peuvent partir du même point ou arriver au même point'; 'Plusieurs croix peuvent être placées dans la même ligne ou dans la même colonne').
• Si les deux listes sont de longueurs différentes, il est préférable de placer la plus longue à gauche. Imaginons que les deux listes comprennent respectivement 8 et 3 items. Les sujets ont tendance à lire la première proposition de la liste de gauche puis à chercher son correspondant dans la liste de droite. Si celle-ci ne contient que quelques items, les sujets les retiendront assez rapidement et pourront délibérer sur chaque item de gauche sans relire à chaque fois toutes les propositions de la liste de droite.