L'image semble pouvoir désigner tout et son contraire : elle peut être non seulement visuelle ou immatérielle, fabriquée ou naturelle, réelle ou virtuelle, mobile ou immobile, sacrée ou profane, analogique ou numérique, mais encore verbale, sonore, tactile ou olfactive... Ainsi les images sont-elles bien multiples et la tâche du théoricien sera précisément de trouver un modèle qui sous-tende toutes ces manifestations que l'on appelle « images ». Si l'on se comprend lorsqu'on parle d'image, c'est parce qu'il demeure dans la notion d'image quelque chose de transversal à toutes ces définitions, à savoir le rapport d'analogie, entre l'image perçue ou imaginée et quelque chose d'autre. Une image serait quelque chose de perceptible qui évoquerait une réalité concrète ou abstraite en raison d'un rapport de similitude, d'analogie, bref, de ressemblance. Or, si l'on pose l'image (quelle qu'elle soit) comme ressemblante, on la pose comme « signe ».
La notion de signe remonte à loin. On sait en effet depuis l'Antiquité qu'il y a signe lorsqu'une chose est mise pour quelque chose d'autre. La situation la plus banale force en effet tout individu à entrer dans un réseau de systèmes de signes. C'est ainsi que nous sommes, pour reprendre une expression d'Umberto Eco, des « animaux sémiotiques ». C'est au début du xxe siècle qu'apparaît l'ambition d'élaborer une « science générale des signes », aux Etats-Unis dans les années 1890 avec le scientifique Charles S. Peirce qui l'appelle « semiotics », et en Europe dans les années 1900 avec le linguiste Ferdinand de Saussure qui la dénomme « sémiologie ». Cette sémiotique s'avère très utile pour comprendre les processus de signification des signes et donc en particulier des images. Les signes ont pour caractéristique élémentaire d'être à la place de quelque chose d'autre, d'être un tenant lieu, que ces signes soient des symboles mathématiques, physiques ou chimiques, des cartes, des dessins ou des diagrammes, des emblèmes ou des signaux, des symptômes, etc.
On peut distinguer les signes intentionnels (signe de vie, signe d'amitié) des signes non-intentionnels (les nuages pour la pluie, la pâleur pour la fatigue, le chat noir pour le mauvais sort). On peut également noter que certains signes sont perçus comme tels (le langage des sourds-muets, « sign language » en anglais) tandis que d'autres, tels ceux du langage parlé, le sont moins facilement, sont plus « transparents ». Toutefois on remarque dans chacune de ces expressions la mise en place d'une dialectique de la présence/absence ou du manifeste/latent : quelque chose est là, in praesentia, que je perçois (un geste, une couleur, un objet, un son, une odeur qui me renseigne sur quelque chose d'absent ou d'imperceptible), in absentia. On note aussi que tous les signes ne sont signes que parce qu'ils signifient pour quelqu'un dans un certain contexte, c'est-à-dire que leur aspect perceptible met en oeuvre un processus de signification et donc d'interprétation, dépendant de leur nature, du contexte de leur manifestation, de la culture du récepteur ainsi que de ses préoccupations. C'est lui qui « associera », qui interprétera, qui établira tel ou tel type de rapport entre la face perceptible du signe et sa signification. D'où la définition très générale du signe que propose C.S. Peirce : « Un signe est quelque chose qui tient lieu pour quelqu'un de quelque chose sous quelque rapport ou à quelque titre. » Cette définition, outre le fait d'intégrer toutes sortes de matérialités du signe (« quelque chose » peut être un objet, un son ou une odeur), inclut la dynamique (« pour quelqu'un ») et la relativité de l'interprétation (« sous quelque rapport ou à quelque titre »). Elle intègre ainsi la mise en oeuvre de ce processus que C.S. Peirce a appelé la sémiose, d'autres la signification, processus actif et circonstancié : « Un signe est d'abord ce qu'il fait et ce qu'il fait est sa signification 1.»
Une distinction maintes fois reprise entre trois éléments constitutifs minimaux s'avère utile pour comprendre comment fonctionne le signe. On la figure ainsi :
On retrouve cette structure triangulaire chez C.S. Peirce, avec cependant une autre terminologie : interprétant (pour le signifié) ; representamen (pour le signifiant) ; et enfin objet (pour le référent).