Carnet Permalien
Le carnet indépendant du référencement sous WordPress
Accueil RéglagesContenuPerformanceExtensionsChantiers À propos
Réglages · Contenu · Performance · Extensions · Migration
Carnet Permalien
Réglages, permaliens, thèmes, extensions, performance et migrations : ce qui compte pour le SEO d'un site WordPress, pas à pas
Accueil › Réglages et structure › Le fichier robots.txt de WordPress : virtuel, physique et pièges
Réglages et structure · Exploration

Le fichier robots.txt de WordPress : virtuel, physique et pièges

Le fichier robots.txt de WordPress : virtuel, physique et pièges

Le fichier robots.txt, placé à la racine d’un site, indique aux robots d’exploration les parties qu’ils peuvent parcourir ou non. Sur WordPress, il a une particularité : même si aucun fichier n’existe sur le serveur, l’adresse /robots.txt répond, car WordPress en génère un à la volée. Comprendre ce mécanisme évite bien des erreurs.

Le robots.txt virtuel

Quand aucun fichier robots.txt n’est présent à la racine, WordPress produit un contenu par défaut, qui ressemble à ceci :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://exemple.fr/wp-sitemap.xml

Il bloque l’exploration de l’administration, tout en laissant accessible le fichier admin-ajax.php, dont certaines fonctions publiques du site dépendent. La ligne Sitemap est ajoutée quand le plan de site natif est actif ; les extensions SEO la remplacent par l’adresse de leur propre plan de site. Le contenu change aussi quand la case de visibilité pour les moteurs est cochée.

Ce fichier virtuel est modifiable par les extensions, via un filtre prévu par WordPress. Plusieurs extensions SEO proposent ainsi un éditeur de robots.txt dans l’administration.

Le robots.txt physique

Si un vrai fichier robots.txt est déposé à la racine du site (par FTP ou par le gestionnaire de fichiers de l’hébergeur), le serveur le sert directement et WordPress n’intervient plus. Avantage : un contenu stable, indépendant des extensions. Inconvénient : il faut penser à y mettre à jour la ligne Sitemap si le plan de site change d’adresse, et les éditeurs intégrés aux extensions n’ont plus d’effet.

Il vaut mieux choisir l’un ou l’autre et savoir lequel est en place. Pour le vérifier, consultez /robots.txt dans le navigateur, puis cherchez un fichier de ce nom sur le serveur.

Ce qu’il ne faut pas bloquer

Les anciens guides conseillaient d’interdire de nombreux répertoires de WordPress. Plusieurs de ces règles sont aujourd’hui nuisibles :

RègleProblème
Disallow: /wp-content/Bloque les images, les feuilles de style et les scripts du thème
Disallow: /wp-includes/Bloque des scripts nécessaires à l’affichage
Disallow: /*?Peut bloquer des pages utiles ou des ressources versionnées
Disallow: /Bloque tout le site

Les moteurs affichent les pages comme un navigateur. S’ils ne peuvent pas charger les styles et les scripts, ils peuvent mal évaluer la mise en page, en particulier sur mobile.

Robots.txt et indexation : la confusion classique

Le robots.txt contrôle l’exploration, pas l’indexation. Une page bloquée dans le robots.txt peut quand même apparaître dans les résultats si elle reçoit des liens, simplement sans description. À l’inverse, pour qu’un moteur lise une balise noindex dans une page, il doit pouvoir l’explorer.

Conséquence pratique : pour retirer une page des résultats, on utilise une balise noindex (que les extensions SEO permettent d’ajouter page par page), sans la bloquer dans le robots.txt.

Quelques usages légitimes

Le robots.txt reste utile pour économiser l’exploration sur des adresses sans intérêt :

  • les résultats de la recherche interne (/?s=), qui peuvent générer une infinité d’adresses ;
  • certaines combinaisons de filtres sur une boutique (voir catégories et filtres WooCommerce) ;
  • les adresses de panier et de validation de commande, qui n’ont rien à faire dans un moteur.

Sur un blog ordinaire, le fichier virtuel de WordPress, complété de la ligne Sitemap, suffit dans la grande majorité des cas.

Robots d’indexation et robots d’intelligence artificielle

Le robots.txt sert aussi à adresser des consignes à des robots précis, en les nommant dans une ligne User-agent. Plusieurs éditeurs de modèles d’intelligence artificielle ont publié le nom de leurs robots de collecte et indiquent les respecter. Bloquer l’un d’eux est un choix éditorial qui vous appartient ; il n’a pas d’effet sur l’indexation par les moteurs de recherche classiques, à condition de ne viser que les robots concernés. Méfiez-vous des listes toutes faites copiées d’un site à l’autre : une ligne mal placée peut finir par s’appliquer à tous les robots.

Les erreurs de syntaxe à connaître

Le format est simple, mais quelques détails comptent :

  • les chemins sont sensibles à la casse : /Wp-admin/ et /wp-admin/ ne sont pas la même chose ;
  • une ligne Disallow: vide autorise tout, alors que Disallow: / interdit tout ;
  • les groupes sont séparés par la ligne User-agent : un robot suit le groupe qui le désigne le plus précisément, et ignore alors le groupe général * ;
  • le fichier doit être servi à la racine du domaine, en texte brut, avec un code 200.

Un fichier inaccessible (erreur serveur répétée) peut conduire certains moteurs à suspendre l’exploration par prudence : vérifiez qu’il répond correctement après un changement d’hébergement.

Vérifier

Après toute modification, consultez /robots.txt, puis utilisez le rapport dédié au robots.txt dans la Google Search Console, qui indique la version lue par le moteur et les éventuelles erreurs. Et vérifiez qu’aucune page importante n’apparaît comme « bloquée par le fichier robots.txt » dans le rapport sur l’indexation des pages. Pour le plan de site déclaré dans ce fichier, voir le plan de site XML de WordPress.

Cet article peut contenir des liens partenaires. Ils n'influencent jamais ce que nous écrivons.