Recherche d'images par le contenu

La recherche d'images par le contenu, en anglais : Content Based Image Retrieval (CBIR), est une technique visant à effectuer des recherches d'images à l'aide de requêtes portant sur les caractéristiques visuelles d'une image : texture, couleur, forme... Le cas typique d'utilisation de ces systèmes est lorsque l'on dispose d'une image pour laquelle on souhaiterait obtenir des images visuellement similaires. Il s'oppose à la recherche d'images par mots clés, qui est typiquement ce qui est proposé actuellement par les moteurs de recherche tels que Google ou Yahoo!, où les images sont retrouvées en utilisant le texte qui les entoure plutôt que le contenu de l'image elle-même.

Principes

Cette technologie se distingue des moteurs de recherche traditionnels d'image. Ces derniers utilisent généralement deux techniques :

• Une recherche contextuelle par mots clés (tels que Google [1] ou Altavista [2] ) : l'image est retrouvée à partir des mots clés entourant cette image dans les pages web.
• Une recherche par mots clés manuellement associés aux images indexées, par exemple dans les musées.

Les CBIR tentent, à l'inverse, de permettre une indexation et une recherche de l'image portant sur les caractéristiques de l'image :

• la texture (filtre de Gabor, transformée en ondelette discrète, ...)
• la couleur (histogramme de couleurs, histogrammes dans l'espace RGB, TSV, ...),
• les formes (descripteurs de Fourier, ...),
• une combinaison de plusieurs de ces caractéristiques.

Ces caractéristiques sont dites de bas-niveau, car elles sont très proches du signal, et ne véhiculent pas de sémantique particulière sur l'image. Une fois ces caractéristiques extraites, la suite consiste généralement à définir diverses distances entre ces caractéristiques, et de définir une mesure de similarité globales entre deux images. Armés de cette mesure de similarité et d'une image requête, on peut alors calculer l'ensemble des mesures similarités entre cette image requête et l'ensemble des images de la base d'images.On peut alors ordonner les images de la base suivant leur score, et présenter le résultat à l'utilisateur, les images de plus grand score étant considérées comme les plus similaires.

Du fait des caractéristiques calculées, qui sont de bas-niveau, ces techniques obtiennent des résulats satisfaisant pour certains types de requêtes et certains types de base d'images. Par exemple rechercher des images de paysages enneigés, parmi une base d'image de paysages.

Toutefois ces systèmes rendent souvent des réponses extravagantes, et souvent éloignées de l'idée qu'avait l'utilisateur lorsqu'il a soumis sa requête.

Ce genre de système permet aussi de rechercher des images sans forcément avoir une image requête, par exemple rechercher des images plutôt bleues, ou alors dessiner une forme et demander de chercher toutes les images qui possèdent un objet de forme similaire.

Il existe plusieurs prototypes implémentant ce genre de techniques. Le domaine fait toutefois encore partie de la recherche et n'est pas encore mature.

Problèmes de performances

L'analyse d'images selon les différentes caractéristiques est très coûteuse en termes de performances. C'est pour cette raison que les systèmes CBIR extraient les caractéristiques d'une image, les stockent et les indexent à l'intérieur d'une base de données. La recherche sur des caractéristiques extraites étant beaucoup plus rapide.

Applications

Cette technologie est actuellement intéressante pour la recherche de données sur l'imagerie médicale, ou cartographiques.