Vous trouverez de la manipulation directe dans certains logiciels de jeux (par exemple, les simulateurs de vol), des traitements de texte WYSIWYG ('what you see is what you get') où l'on manipule directement le texte tel qu'il sera imprimé (exemple, en faisant glisser les taquets de justification), les logiciels de dessin (tracer une forme avec la souris plutôt que d'utiliser la commande du type "draw circle 90 25 30") et Authorware lui-même qui repose sur la programmation graphique.
Pour Schneiderman (1992), les trois critères qui définissent la manipulation directe sont :
1) une représentation permanente des objets et des actions possibles;
2) le remplacement d'une syntaxe complexe par des actions physiques et la sélection de boutons;
3) les opérations sont rapides, réversibles, leur effet sur l'objet est immédiatement visible.
Le succès de la manipulation directe s'explique par le fait qu'il réduit quasiment les connaissances requises aux concepts propres à la tâche. Les concepts propres à l'ordinateur et la syntaxe des commandes sont fortement simplifiés. L'interface convient donc aux novices, aux utilisateurs intermittents et aux experts. L'apprentissage est rapide et repose généralement sur une métaphore gestuelle prélevée dans le contexte dans lequel cette même est tâche est réalisée lorsqu'elle n'est pas informatisée. L'utilisateur apprécie la sensation de contrôler le système. Il est moins anxieux s'il sait que les opérations sont réversibles.
Tout n'est cependant pas aussi idyllique. Certains objets complexes se représentent plus facilement par un texte ou une table que par une icône. L'accumulation de nombreux objets graphiques sur l'écran peut rendre une tâche plus complexe. En outre, l'attribution d'une valeur sémantique à une icône est une activité d'interprétation. L'utilisateur peut attribuer à une icône une signification différente de celle que l'auteur a conçue. Par exemple, dans la version 4a du programme CFF, il y a une certaine ambiguïté entre l'icône 'lit' et l'icône 'couchette'. La conception d'un système basé sur la manipulation directe exige un travail important au niveau de la sémantique des icônes. Par exemple, dans le système du Macintosh, le choix de la poubelle comme métaphore pour effacer un fichier ne pose pas de problème d'interprétation. Par contre, le fait que se déconnecter d'un serveur puisse être effectué par un déplacement de l'icône du serveur vers la poubelle est troublant: il ne s'agit pas d'effacer les fichiers du serveur, mais de clore une connexion.
En outre, comme c'était le cas pour les menus, certains utilisateurs experts considèrent que l'utilisation d'une commande classique est plus performante que son équivalent gestuel. Dans la version 4a, le déplacement des objets est relativement lent. En outre, ce déplacement apporte peu de puissance d'expression à l'utilisateur puisque la destination est fixée d'avance. En réalité, l'information utile pour le programme se limite à savoir quelle icône a été sélectionnée. Par conséquent, dans la version 4b, l'utilisateur peut simplement cliquer sur un objet (zone sensible ou bouton). En fait, l'utilisation de la manipulation directe telle que dans le version 4a, n'est pas très pertinente pour la tâche considérée. Elle le sera davantage si l'utilisateur doit déplacer ou assembler des objets dans un contexte où leur position relative ou absolue est pertinente. Il s'agit en particulier de logiciels de conception assistée par ordinateur (CAO).
Les règles concernant la cohérence syntaxique s'appliquent également à la manipulation directe. Par exemple, dans de nombreux programmes de dessin, l'utilisateur doit utiliser les outils de dessin disponibles dans une palette. Lorsque l'utilisateur a utilisé cet outil, certains outils restent actifs tandis que d'autres sont automatiquement désactivés et doivent être re-sélectionnés. Une telle incohérence perturbe l'apprentissage.
Le principal inconvénient de la manipulation directe est le manque d'abstraction (Hutchins, Hollan & Norman, 1986), c'est-à-dire la difficulté de représenter des opérations abstraites, telles que des répétitions. Pour répéter 10 fois une même opération, le sujet doit recommencer dix fois un même geste. En outre, le choix d'une métaphore concrète emprisonne l'utilisateur dans une approche particulière du problème. Une métaphore peut s'avérer limitée pour certains nouveaux problèmes, peut ne pas être celle qu'il aurait choisie, et enfin, peut ne pas être celle que l'auteur a conçue (si l'utilisateur interprète les représentations de manière personnelle) (Benbasat & Todd, 1993).
Selon une étude de Gillian et al. (1990), le temps nécessaire aux actions motrices est moindre dans un système de menus (dérouler et cliquer) que dans la manipulation directe (cliquer et déplacer). Or, Benbasat et Todd (1993) observent que les sujets réalisent plus rapidement leur tâche au moyen d'un interface reposant sur la manipulation directe qu'au moyen d'un système de menus. Si, malgré une perte de temps au niveau strictement moteur, l'utilisateur gagne du temps dans la réalisation de la tâche, c'est, selon ces auteurs, grâce à une important gain de temps au cours de la phase de compréhension des réponses du système et de planification de l'action. Ces différences semblent disparaître cependant dès que l'utilisateur devient familier avec le système.
Parmi les contraintes matérielles, il faut signaler que la manipulation directe exige la disponibilité d'un écran d'une certaine puissance graphique. C'est le cas d'un nombre croissant de postes de travail individuel, mais moins souvent des terminaux. Les langages de commandes et les formulaires ont des exigences technologiques plus réduites. Enfin, du point de vue de l'auteur, la manipulation directe exige de mettre en oeuvre des techniques de programmation plus complexes.
Parmi, les quatre styles d'interaction décrits, la manipulation directe est celui qui dispose du plus grand potentiel de développement dans les années futures. En effet, la création d'interfaces dits de 'réalité virtuelle' permettant de manipuler un objet en trois dimensions, de pénétrer virtuellement dans un objet permettra de créer de nouvelles métaphores qui rendront transparentes des manipulations qui sont encore complexes aujourd'hui.