Les moteurs de recherche naviguent sur vos blogs et sites à la recherche de contenus à indexer. Malheureusement ces robots sont gourmands et prennent tout ce qu’ils trouvent lors de leur exploration. Afin de les freiner dans leur appetit, il est recommandé de mettre un  fichier robots.txt à la racine de votre blog. Ce fichier stipule à ces robots des directives sur la manière d’explorer votre site.

La commande “Disallow” me permet d’interdire l’indexation d’un dossier ou d’une URL. Au contraire la commande “Allow” autorise.

Il est possible de restreindre ce directives à certains robots en spécifiant un “User-agent” (* pour tous les robots des moteurs de recherche, googlebot pour le robots de google, et Googlebot-Image pour le robots d’images de google et ainsi de suite).

Et pour terminer l’indication au robot de la où se trouve votre fichier sitemap, généré bien automatiquement par le plugin xml-sitemap

User-agent: *
Disallow: /cgi-bin/
Disallow: /memo/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?

Allow: /wp-content/uploads/

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.webdevonlinux.fr/sitemap.xml

Un lien plus complet sur la syntaxe de ce fichier : http://fr.selfhtml.org/divers/robots.htm

Related Posts

1. Génération automatique du sitemap de Wordpress
2. Créer un blog avec Wordpress en 10 étapes.
3. Intégrer les Google Web Elements dans Wordpress
4. Les Plugins Wordpress indispensables