Google met à disposition un générateur robots.txt
Commençons par le début.
Le fichier d’exclusion des robots d’un site web est un fichier au format texte, nommé robots.txt et placé à la racine du site, permettant d’indiquer les ressources qui ne doivent pas être prises en compte par certains ou par tous les robots, tout en restant accessibles par les navigateurs web.
En particulier, ceci […]
Twingly, le referencement pour blog
Au premier abord, on pourrait penser que le domaine des recherches de blogs est plutôt saturé.
Et l’on a bien raison. Non seulement Google s’est emparé du secteur fin 2005 mais ils ont aussi introduit l’indexation ultra-rapide des nouveaux billets publiés (notamment pour TechCrunch) dans les heures voire minutes qui suivent leur publication sur un blog.
Le […]
Publication d’un guide officiel Google pour webmaster
Google vient de publier un guide officiel à destination des webmasters friands de visibilité.
Au menu de ce livre Google livré en PDF :
Introduction
Un bref aperçu de la recherche sur le Web
Google et Recherche sur le Web, Quoi de neuf ?
Google peut-il trouver votre site ?
Google peut-il indexer votre site ?
Contrôler ce que Google indexe
Robots.txt vs […]
Nouveautés pour le spider de Live Search
Microsoft a annoncé hier sur son blog officiel dédié au moteur de recherche Live Search un certain nombre de nouvelles fonctionnalités sur son spider, qui devraient lui permettre de mieux indexer les sites web qu’il parcourt.
- Compression HTTP, augmentant la vitesse de “crawl” et la bande passante utilisée sur le serveur visité (RFC 2616 sections […]
