Google met à disposition un générateur robots.txt
Commençons par le début.
Le fichier d’exclusion des robots d’un site web est un fichier au format texte, nommé robots.txt et placé à la racine du site, permettant d’indiquer les ressources qui ne doivent pas être prises en compte par certains ou par tous les robots, tout en restant accessibles par les navigateurs web.
En particulier, ceci […]
Google n’indexe pas votre site
Lors du référencement d’un site web, il est vital de voir si celui-ci est bien pris en compte par les moteurs de recherche. De ce fait, il arrive parfois qu’aucune page d’un site n’apparaisse dans l’index Google.
Avant de penser au blacklistage, il est important de vérifier quelques points :
Vous avez bloqué le spider dans votre […]
