Recherche d'image par le contenu

La recherche d'images par le contenu (en anglais : Content Based Image Retrieval ou CBIR), est une technique permettant de rechercher des images à partir de ses caractéristiques visuelles, c'est-à-dire induite de leurs pixels. Celles-ci sont classiquement décrites comme rendant compte de leur texture, couleur, forme. Un cas typique d'utilisation est la recherche par l'exemple où l'on souhaite retrouver des images visuellement similaire à un exemple donné en requête. Il s'oppose à la recherche d'images par mots clés, qui fut historiquement proposé par les moteurs de recherche tels que google image, où les images sont retrouvées en utilisant le texte qui les accompagne plutôt que le contenu de l'image elle-même (google image propose désormais des filtres basés sur le contenu pixelique des images).

Principes

Principe général de la recherche d'images par le contenu.

Le principe général de la recherche d'image par le contenu se déroule en deux temps. Lors d'une première phase hors ligne (étape d'indexation), on calcule les signatures des images et on les stocke dans une base de donnée. La seconde phase, dite de recherche se déroule en ligne. L'utilisateur soumet une image requête dont on calcule la signature selon le même mode que lors de la première phase. Puis, cette signature est comparée à l'ensemble des signatures préalablement stockées pour en ramener les images les plus semblables à la requête.

Lors de la phase d'indexation, le calcul de signature consiste en l'extraction de caractéristiques visuelles des images telles que:

• la texture (filtre de Gabor, transformée en ondelette discrète, ...)
• la couleur (histogramme de couleurs, histogrammes dans l'espace RGB, TSV, ...),
• les formes (descripteurs de Fourier, ...),
• une combinaison de plusieurs de ces caractéristiques.

Ces caractéristiques sont dites de bas-niveau, car elles sont très proches du signal, et ne véhiculent pas de sémantique particulière sur l'image.

Une fois ces caractéristiques extraites, la comparaison consiste généralement à définir diverses distances entre ces caractéristiques, et de définir une mesure de similarité globales entre deux images. Au moyen de cette mesure de similarité et d'une image requête, on peut alors calculer l'ensemble des mesures similarités entre cette image requête et l'ensemble des images de la base d'images. On peut alors ordonner les images de la base suivant leur score, et présenter le résultat à l'utilisateur, les images de plus grand score étant considérées comme les plus similaires.

Performances

Il convient de distinguer les performances en termes de pertinence (les résultats répondent-ils bien à la requête ? La totalité des « bonnes réponses » possibles est-elle bien renvoyée ?...) et le temps de réponse à la requête.

Pertinence

Du fait des caractéristiques calculées, qui sont de bas niveau, ces techniques obtiennent des résultats satisfaisants pour certains types de requêtes et certains types de base d'images. Par exemple rechercher des images de paysages enneigés, parmi une base d'image de paysages.

Toutefois ces systèmes rendent souvent des réponses extravagantes, et souvent éloignées de l'idée qu'avait l'utilisateur lorsqu'il a soumis sa requête.

Ce genre de système permet aussi de rechercher des images sans forcément avoir une image requête, par exemple rechercher des images plutôt bleues, ou alors dessiner une forme et demander de chercher toutes les images qui possèdent un objet de forme similaire.

Il existe plusieurs prototypes implémentant ce genre de techniques. Le domaine fait toutefois encore partie de la recherche et n'est pas encore mature.

Rapidité

L'analyse des images se fait généralement « hors ligne » et n'est donc pas un problème en soi pour la rapidité de réponse du système « en ligne ». C'est la manière de stocker les signatures, et éventuellement leur taille, qui influence directement le temps de réponse des systèmes CBIR.

Applications

Cette technologie est actuellement intéressante pour la recherche de données sur l'imagerie médicale, ou cartographiques.

Liens externes

• Présentation sur la recherche d'information dans les images
• Présentation sur la recherche d'images par le contenu à l'INRIA
• Démo du moteur PiRiA du cea recherche multimédia par affinité

• Portail des sciences de l’information et des bibliothèques
• Portail de l’imagerie numérique