- Standard d'exclusion de robots
-
Robots.txt
Robots.txt, ou le fichier d'exclusion des robots, est une ressource de format texte qui peut être placée la racine d'un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d'indexation des moteurs de recherche. Par convention, les robots consultent robots.txt avant d'indexer un site Web. Sur le serveur Web, cette ressource est fréquemment enregistrée dans un fichier texte appelérobots.txt.Sommaire
Usages
L'usage de
robots.txtpermet d'éviter que des ressources sans intérêt public se retrouvent dans la page de résultats d'un moteur de recherche. En outre, le fait que les robots n'accèdent pas à ces ressources allège le travail du serveur HTTP et le trafic sur le réseau informatique.Il est important de comprendre qu’il ne s’agit là que d’une indication sur ce que doivent faire les robots bienveillants, ce n’est en aucun cas un élément de sécurité. En effet, certains robots ignorent ce fichier, soit délibérément parce qu’ils cherchent des informations privées (des adresses électroniques par exemple, pour y envoyer du courrier indésirable), soit parce que le robot est trop simple pour gérer ce standard.
Exemples
Autoriser tous les robots à accéder à tout le site :
User-agent: * Disallow:
Empêcher tous les robots d'accéder au site :
User-agent: * Disallow: /
Pour empêcher tous les robots sauf Googlebot d'accéder à un dossier en particulier, par exemple http://example.org/forum/
User-agent: * Disallow: /forum User-agent: googlebot Disallow:
Voir aussi
Articles connexes
Liens externes
- (en) Robotstxt.org, site dédié (avec les spécifications du standards)
- (en) Yellowpipe.com, générateur en ligne de fichier
robots.txt - (fr) Protocole d'exclusion des robots (annuaire-info.com) : la norme et les particularités propres à Google, Yahoo et MSN Search
- (fr) Créer un fichier robots.txt (Tutoriel) : Informations pour apprendre à rédiger un fichier
robots.txt
Portail de l’informatique
Catégories : Moteur de recherche | Référencement
Wikimedia Foundation. 2010.
