Nous savons maintenant qu’il existe des représentations matérielles et de représentations mentales, que les unes et les autres peuvent se présenter sous une forme analogique ou conventionnelle. Nous savons aussi que l’activité d’imagerie l’activité cognitive productrice d’images mentales et les activités perceptives présentent de nombreuses ressemblances. Mais quelles sont-elles ? Et jusqu’à quel point jouent-elles ? Sur la base de nombreux travaux expérimentaux, les chercheurs s'accordent aujourd'hui à reconnaître l'existence d'une double similitude entre ces deux types d'activités : fonctionnelle et structurale.
Fonctionnelle tout d'abord: dans de nombreuses situations expérimentales portant notamment sur des activités de mémorisation, les résultats montrent que les effets d'une présentation perceptive sont comparables à ceux d'une élaboration d'images mentales visuelles. Lors d’activités d’apprentissage, on observe par exemple que la perception de dessins semble avoir, au plan du codage mnémonique, un effet similaire à l'évocation purement mentale des objets correspondants. Ainsi, activité perceptive et imagerie produisent les mêmes effets. Reste alors à comprendre quelles sont les caractéristiques qui, partagées par ces différents systèmes de représentation, permettent d'expliquer la similarité de ces mécanismes fonctionnels ?
Schéma 1 : Isomorphisme entre objet peçu, pecept et image mentale
Les similitudes structurales entre les images et les percepts jouent ici un rôle essentiel. Il existe aujourd'hui suffisamment de données expérimentales qui attestent de « l'isomorphisme structural des représentations imagées à l'égard des événements perceptifs à partir desquels elles se sont constituées » : de nombreuses recherches mettent en évidence, d'une part, l'existence d'une structure interne propre aux représentations du type analogique et, d'autre part un isomorphisme structural entre ces images et les représentations d'origines perceptives, les percepts (cf. Schéma 1, ci-dessus).
Aussi « l'image par les propriétés structurales qu’elle hérite de la perception est un instrument cognitif permettant à l’individu d'effectuer des calculs, des simulations, des inférences, des comparaisons sans devoir recourir à des systèmes calculatoires formels » .
Ces considérations changent profondément le sens de la relation analogique qui est considérée par les sémiologues comme la caractéristique majeure des signes iconiques, des images . Un signe iconique, avons-nous dit, possède certaines propriétés de l'objet représenté : le dessin de ma maison ressemble à celle-ci puisqu’il en conserve certains traits figurés. Certes, cette définition satisfait notre bon sens, mais n'est-elle pas trompeuse ? Que peut bien signifier avoir les mêmes propriétés ? Dans la perspective strictement structurale de l'époque, Umberto Eco a défendu la thèse à alors passée quasiment inaperçue, selon laquelle la communication prendrait naissance non pas dans le rapport entre le code et le message mais dans les mécanismes mêmes de la perception qui fondent les modalités de production des signes : « Si le signe [iconique] a des propriétés communes avec quelque chose, il les a non avec l'objet mais avec le modèle perceptif de l'objet; il est constructible et reconnaissable d'après les mêmes opérations mentales que nous accomplissons pour construire le perçu, indépendamment de la matière dans laquelle ces relations se réalisent. » . Autrement dit, Eco situait la relation analogique non pas entre la représentation –le signe iconique– et l'objet représenté –l'objet réel– mais bien entre l'icône et « un modèle perceptif de l'objet ».
C'est sur la base de telles hypothèses que le Groupe µ fonde son Traité du signe visuel . Pour les auteurs, le système visuel produirait dans chacune de ses trois modalités fondamentales : spatialité, texture et chromatisme des structures de percepts élémentaires, intégrant et organisant les stimuli à partir de structures spécialisées : extracteurs de motifs, de directions, de contrastes, etc. On obtiendrait ainsi la production de figures (niveau 1) puis de formes (niveau 2) et enfin d'objets (niveau 3). Les figures naissent d'un processus d'équilibration entre les zones de cellules visuelles également stimulées. A ce premier niveau, naissent les notions de champ, de limite, de ligne, de contour, etc. Notre système perceptif, en produisant des différence, crée les conditons de constitution du sens. Au deuxième niveau, les formes font « intervenir la comparaison entre diverses occurences successives d'une figure et mobilise[ent] donc la mémoire. » . Le passage à l'objet interviendrait ensuite par l'adjonction de propriétés non visuelles provenant des autres modalités sensorielles au moment où la forme se doterait de caractéristiques permanentes. L'objet qui s'apparente à la notion de type est alors considéré comme fort proche de celle du signe : « De ce que les objets sont une somme de propriétés, douées de permanence et guidant l'action, on peut avancer que cette notion rejoint celle de signe. Le signe est en effet, par définition, une configuration stable dont le rôle pragmatique est de permettre des anticipations, des rappels ou des substitutions à partir de situations. Par ailleurs le signe a, comme on l'a rappelé, une fonction de renvoi qui n'est possible que moyennant l'élaboration d'un système. » . Le modèle du décodage visuel peut alors prendre la forme suivante :
Schéma 2 : Un modèle du décodage visuel (d’après Groupe µ)
Mais il est évident que la relation analogique de même que la conception du signe doivent alors être profondément modifiées. De l’unité bipartite classique, les auteurs font une unité tripartite composée du signifiant, du référent et du type. Reprenons brièvement ces nouvelles définitions. Le référent est l'objet entendu non comme somme inorganisée de stimuli, mais comme membre d'une classe (ce qui ne veut pas dire que ce référent soit nécessairement réel). L'existence de cette classe d'objets est validée par celle du type. Le type par contre est une classe conceptuelle, abstraite : « Par exemple, le référent du signe iconique chat est un objet particulier, dont je puis avoir l'expérience, visuelle ou autre, mais il n'est référent qu'en tant que cet objet peut être associé à une catégorie permanente : l'être-chat. ». Le signifiant, enfin, « est un ensemble modélisé de stimuli visuels correpondant à un type stable, identifié grâce à des traits de ce signifiant, et qui peut être associé à un référent reconnu, lui aussi, comme hypostase du type (...) » .
Notons enfin que la notion de monosémie ne peut se construire que sur la base d'hypothèses de cette nature : une image en effet sera interprétée de façon univoque par plusieurs sujets à la condition que ceux-ci partagent une représentation commune et plus l'image sera conforme à ce modèle, plus elle apparaîtra monosémique. En conséquence, la notion de conformité au type implique que l'on reconnaisse l'importance de la familiarisation du sujet avec les stimuli et donc aussi les déterminants culturels du processus perceptif. Quant au processus cognitif proprement dit, il prendrait naissance lors du passage de la figure à la forme : le rôle de l’apprentissage et de la mémoire sont ici un rôle capital.