> Comment WordPress génère un robots.txt virtuel, quand le remplacer par un fichier réel, et les règles à éviter sur un site WordPress.

*Source : https://referencement-site-wordpress.fr/robots-txt-wordpress/*

---

[Carnet Permalien](https://referencement-site-wordpress.fr/)

Le carnet indépendant du référencement sous WordPress

[À propos](https://referencement-site-wordpress.fr/a-propos/)

[Accueil](https://referencement-site-wordpress.fr/) [Réglages](https://referencement-site-wordpress.fr/rubrique/reglages/)[Contenu](https://referencement-site-wordpress.fr/rubrique/contenu/)[Performance](https://referencement-site-wordpress.fr/rubrique/technique/)[Extensions](https://referencement-site-wordpress.fr/rubrique/extensions/)[Chantiers](https://referencement-site-wordpress.fr/rubrique/chantiers/) [À propos](https://referencement-site-wordpress.fr/a-propos/)

[Accueil](https://referencement-site-wordpress.fr/) › [Réglages et structure](https://referencement-site-wordpress.fr/rubrique/reglages/) › Le fichier robots.txt de WordPress : virtuel, physique et pièges

Réglages et structure · Exploration

# Le fichier robots.txt de WordPress : virtuel, physique et pièges

Par **la rédaction** · Mis à jour le 14 octobre 2026 · 6 min de lecture

![Le fichier robots.txt de WordPress : virtuel, physique et pièges](https://referencement-site-wordpress.fr/images/articles/robots-txt-wordpress.webp)

Le fichier robots.txt, placé à la racine d’un site, indique aux robots d’exploration les parties qu’ils peuvent parcourir ou non. Sur WordPress, il a une particularité : même si aucun fichier n’existe sur le serveur, l’adresse `/robots.txt` répond, car WordPress en génère un à la volée. Comprendre ce mécanisme évite bien des erreurs.

## Le robots.txt virtuel

Quand aucun fichier `robots.txt` n’est présent à la racine, WordPress produit un contenu par défaut, qui ressemble à ceci :

```
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://exemple.fr/wp-sitemap.xml
```

Il bloque l’exploration de l’administration, tout en laissant accessible le fichier `admin-ajax.php`, dont certaines fonctions publiques du site dépendent. La ligne `Sitemap` est ajoutée quand le plan de site natif est actif ; les extensions SEO la remplacent par l’adresse de leur propre plan de site. Le contenu change aussi quand la case de [visibilité pour les moteurs](https://referencement-site-wordpress.fr/visibilite-moteurs-de-recherche-wordpress/) est cochée.

Ce fichier virtuel est modifiable par les extensions, via un filtre prévu par WordPress. Plusieurs extensions SEO proposent ainsi un éditeur de robots.txt dans l’administration.

## Le robots.txt physique

Si un vrai fichier `robots.txt` est déposé à la racine du site (par FTP ou par le gestionnaire de fichiers de l’hébergeur), le serveur le sert directement et WordPress n’intervient plus. Avantage : un contenu stable, indépendant des extensions. Inconvénient : il faut penser à y mettre à jour la ligne `Sitemap` si le plan de site change d’adresse, et les éditeurs intégrés aux extensions n’ont plus d’effet.

Il vaut mieux choisir **l’un ou l’autre** et savoir lequel est en place. Pour le vérifier, consultez `/robots.txt` dans le navigateur, puis cherchez un fichier de ce nom sur le serveur.

## Ce qu’il ne faut pas bloquer

Les anciens guides conseillaient d’interdire de nombreux répertoires de WordPress. Plusieurs de ces règles sont aujourd’hui nuisibles :

Règle

Problème

`Disallow: /wp-content/`

Bloque les images, les feuilles de style et les scripts du thème

`Disallow: /wp-includes/`

Bloque des scripts nécessaires à l’affichage

`Disallow: /*?`

Peut bloquer des pages utiles ou des ressources versionnées

`Disallow: /`

Bloque tout le site

Les moteurs affichent les pages comme un navigateur. S’ils ne peuvent pas charger les styles et les scripts, ils peuvent mal évaluer la mise en page, en particulier sur mobile.

## Robots.txt et indexation : la confusion classique

Le robots.txt contrôle l’**exploration**, pas l’**indexation**. Une page bloquée dans le robots.txt peut quand même apparaître dans les résultats si elle reçoit des liens, simplement sans description. À l’inverse, pour qu’un moteur lise une balise `noindex` dans une page, il doit pouvoir l’explorer.

Conséquence pratique : pour retirer une page des résultats, on utilise une balise `noindex` (que les extensions SEO permettent d’ajouter page par page), **sans** la bloquer dans le robots.txt.

## Quelques usages légitimes

Le robots.txt reste utile pour économiser l’exploration sur des adresses sans intérêt :

-   les résultats de la **recherche interne** (`/?s=`), qui peuvent générer une infinité d’adresses ;
-   certaines combinaisons de **filtres** sur une boutique (voir [catégories et filtres WooCommerce](https://referencement-site-wordpress.fr/woocommerce-categories-filtres-referencement/)) ;
-   les adresses de **panier** et de **validation de commande**, qui n’ont rien à faire dans un moteur.

Sur un blog ordinaire, le fichier virtuel de WordPress, complété de la ligne `Sitemap`, suffit dans la grande majorité des cas.

## Robots d’indexation et robots d’intelligence artificielle

Le robots.txt sert aussi à adresser des consignes à des robots précis, en les nommant dans une ligne `User-agent`. Plusieurs éditeurs de modèles d’intelligence artificielle ont publié le nom de leurs robots de collecte et indiquent les respecter. Bloquer l’un d’eux est un choix éditorial qui vous appartient ; il n’a pas d’effet sur l’indexation par les moteurs de recherche classiques, à condition de ne viser que les robots concernés. Méfiez-vous des listes toutes faites copiées d’un site à l’autre : une ligne mal placée peut finir par s’appliquer à tous les robots.

## Les erreurs de syntaxe à connaître

Le format est simple, mais quelques détails comptent :

-   les chemins sont **sensibles à la casse** : `/Wp-admin/` et `/wp-admin/` ne sont pas la même chose ;
-   une ligne `Disallow:` **vide** autorise tout, alors que `Disallow: /` interdit tout ;
-   les groupes sont séparés par la ligne `User-agent` : un robot suit le groupe qui le désigne le plus précisément, et ignore alors le groupe général `*` ;
-   le fichier doit être servi à la racine du domaine, en texte brut, avec un code 200.

Un fichier inaccessible (erreur serveur répétée) peut conduire certains moteurs à suspendre l’exploration par prudence : vérifiez qu’il répond correctement après un changement d’hébergement.

## Vérifier

Après toute modification, consultez `/robots.txt`, puis utilisez le rapport dédié au robots.txt dans la Google Search Console, qui indique la version lue par le moteur et les éventuelles erreurs. Et vérifiez qu’aucune page importante n’apparaît comme « bloquée par le fichier robots.txt » dans le rapport sur l’indexation des pages. Pour le plan de site déclaré dans ce fichier, voir [le plan de site XML de WordPress](https://referencement-site-wordpress.fr/plan-de-site-xml-wordpress/).

Cet article peut contenir des liens partenaires. Ils n'influencent jamais ce que nous écrivons.

### À lire aussi

[![11 astuces pour réussir son référencement WordPress](https://referencement-site-wordpress.fr/images/articles/11-astuces-pour-reussir-son-referencement-wordpress.webp)

Les bases

#### 11 astuces pour réussir son référencement WordPress

](https://referencement-site-wordpress.fr/11-astuces-pour-reussir-son-referencement-wordpress/)[![Catégories et étiquettes WordPress : les utiliser sans nuire au SEO](https://referencement-site-wordpress.fr/images/articles/categories-etiquettes-wordpress.webp)

Structure

#### Catégories et étiquettes WordPress : les utiliser sans nuire au SEO

](https://referencement-site-wordpress.fr/categories-etiquettes-wordpress/)[![Modifier les permaliens d'un site WordPress déjà en ligne](https://referencement-site-wordpress.fr/images/articles/modifier-permaliens-wordpress-site-existant.webp)

Réglages natifs

#### Modifier les permaliens d'un site WordPress déjà en ligne

](https://referencement-site-wordpress.fr/modifier-permaliens-wordpress-site-existant/)[![Permaliens WordPress : quelle structure d'adresse choisir ?](https://referencement-site-wordpress.fr/images/articles/permaliens-wordpress.webp)

Réglages natifs

#### Permaliens WordPress : quelle structure d'adresse choisir ?

](https://referencement-site-wordpress.fr/permaliens-wordpress/)
