Commençons par le début.

Le fichier d’exclusion des robots d’un site web est un fichier au format texte, nommé robots.txt et placé à la racine du site, permettant d’indiquer les ressources qui ne doivent pas être prises en compte par certains ou par tous les robots, tout en restant accessibles par les navigateurs web.

En particulier, ceci est utilisé par les webmestres pour empêcher les robots d’indexation d’indexer les parties de leur site qu’ils ne souhaitent pas voir accessibles depuis les moteurs de recherches.

Il est important de comprendre qu’il ne s’agit là que d’une indication sur ce que doivent faire les robots « gentils », ce n’est en aucun cas un paramètre de sécurité.

Sachant qu’un une image vaut 1000 mots, le générateur de fichier robots.txt est disponible via votre compte google webmaster tools…