Ce que veut dire bloquée par robots.txt
Search Console indique que certaines pages sont bloquées par robots.txt. Cela veut dire que votre fichier robots.txt demande à Google de ne pas les explorer. Donc Google ne peut pas les lire, et elles apparaissent rarement dans les résultats.
Parfois, c’est voulu, par exemple pour un panier ou une zone d’administration. Mais si le rapport liste votre page d’accueil, votre boutique ou vos articles, le fichier contient une erreur.
Étape 1 : trouver la ligne qui bloque
Affichez le robots.txt de votre site dans le navigateur. Il se trouve toujours à la racine, par exemple https://example.com/robots.txt. Dans notre démo, il ne contenait que deux lignes :
User-agent: *
Disallow: /Ces deux lignes bloquent donc tout le site pour chaque robot. Ensuite, collez le fichier dans notre Robots.txt Validator gratuit et testez quelques adresses. Il montre quelle règle bloque chaque page, ainsi vous voyez le coupable tout de suite.
D’où vient cette ligne. C’est presque toujours un reste d’un site de test, où tout bloquer avait du sens. Quand le site est passé en ligne, le fichier a donc suivi.
Étape 2 : corriger le fichier
Ensuite, remplacez la ligne qui bloque. Bloquez seulement ce qui doit rester hors des résultats, comme le panier et le paiement, et ajoutez l’adresse de votre sitemap :
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xmlEnregistrez le fichier dans votre panneau d’hébergement ou envoyez-le par FTP. Puis ouvrez le fichier en ligne dans le navigateur pour vérifier les nouvelles règles.
Puis relancez le validateur. Dans notre démo, l’accueil, la boutique et la page à propos étaient autorisés, et le panier restait bloqué, comme prévu.
Exemples de robots.txt
Prenez-les comme point de départ, puis testez-les avec le validateur. De plus, notre Robots.txt Generator peut créer le fichier pour vous.
Tout autoriser
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xmlUn site WordPress typique
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xmlBloquer un dossier pour un robot
User-agent: Googlebot-Image
Disallow: /private-photos/Comment Google lit les règles
Google suit le groupe de son propre agent, ou le groupe * s’il n’y en a pas. À l’intérieur d’un groupe, c’est la règle la plus détaillée qui l’emporte. Ainsi, Allow: /wp-admin/admin-ajax.php l’emporte sur Disallow: /wp-admin/ pour ce fichier.
robots.txt n’est pas noindex
On confond souvent ceci : robots.txt arrête l’exploration, pas l’indexation. Si d’autres sites pointent vers une page bloquée, Google peut quand même afficher son adresse, mais sans description.
Pour garder une page hors de Google, utilisez plutôt une balise meta noindex. Et laissez Google explorer la page, pour qu’il voie la balise. Autrement dit, ne bloquez jamais une page dans robots.txt tout en ajoutant noindex.
Étape 3 : demander à Google de réexplorer
Enfin, ouvrez Google Search Console. Dans le rapport d’indexation des pages, ouvrez le groupe « Bloquée par robots.txt » et cliquez sur Valider la correction. Google explore alors ces pages à nouveau.
Comptez quelques jours, parfois quelques semaines, pour la validation. Pendant ce temps, vous pouvez utiliser l’outil d’inspection d’URL sur votre page la plus importante et demander son indexation.
WordPress et sites de test
WordPress a une option « Demander aux moteurs de recherche de ne pas indexer ce site » dans Réglages, Lecture. Sur un site de test, elle est utile. Cependant, si elle reste active après le lancement, votre site en ligne demande aux moteurs de rester à l’écart.
C’est pourquoi il faut vérifier, après chaque lancement ou migration, cette case, le fichier robots.txt et les balises meta robots. Une courte liste de contrôle évite des semaines de trafic perdu.
robots.txt disallow : comment les règles s’appliquent
La plupart des erreurs de robots.txt viennent d’une règle qui couvre plus que prévu. C’est pourquoi il vaut la peine de savoir comment Google lit une ligne robots.txt disallow. Les règles sont courtes et, une fois connues, le fichier n’est plus un jeu de devinettes.
C’est le chemin le plus long qui décide. Google ne lit pas les règles de haut en bas et ne s’arrête pas à la première. Au contraire, il examine toutes les règles du groupe et retient celle dont le chemin correspondant est le plus long. Par exemple, avec Disallow: /shop/ et Allow: /shop/sale/, les pages de soldes restent ouvertes, car le chemin Allow est plus long. À longueur égale, Allow passe devant.
Les jokers : l’étoile et le dollar. Deux symboles rendent les règles plus souples. L’étoile * remplace n’importe quelle suite de caractères, donc Disallow: /*?sort= bloque toutes les listes triées. Le dollar $ marque la fin de l’adresse, ainsi Disallow: /*.pdf$ bloque les PDF, mais pas une page nommée /pdf-guide/. Cependant, utilisez-les avec prudence, car une étoile mal placée bloque toute une section.
Une barre finale change tout. Les chemins se comparent depuis le début et respectent la casse. Par conséquent, Disallow: /cart bloque /cart, /cart/ et même /cartoons/. En revanche, Disallow: /cart/ ne bloque que le contenu de ce dossier. De même, /Cart/ et /cart/ sont deux chemins différents. Dans le doute, terminez donc les règles de dossier par une barre.
Une ligne Disallow sans chemin laisse tout ouvert
Une ligne Disallow: sans rien derrière autorise tout. En effet, c’est la manière standard de dire qu’un robot peut visiter chaque page. Le danger est le cas inverse : une seule barre, Disallow: /, bloque le site entier.
Tester le fichier robots.txt avant de l’envoyer
Une modification du fichier robots.txt s’applique dès l’enregistrement, et Google peut la lire en quelques heures. Testez donc chaque changement avant. Cela prend une minute et évite des semaines de trafic perdu.
Tester les chemins importants. Collez votre fichier dans notre validateur robots.txt gratuit, puis listez les adresses clés : l’accueil, un produit, un article de blog et chaque dossier à bloquer. Pour chacune, l’outil affiche Allowed ou Blocked et nomme la ligne exacte qui décide. Si une page utile est bloquée, vous voyez aussitôt la règle fautive.
Vérifier chaque groupe de robots. Un fichier peut contenir des groupes séparés pour différents robots, comme User-agent: Googlebot et User-agent: *. Chaque robot lit seulement le groupe qui le cite le plus précisément. Si vous ajoutez un groupe Googlebot, copiez-y donc toutes les règles dont Googlebot a encore besoin, car il ne lit plus le groupe étoile.
L’emplacement obligatoire du fichier. Le fichier ne fonctionne qu’à la racine d’un hôte, par exemple https://example.com/robots.txt. Une copie dans un sous-dossier ne sert à rien. De plus, chaque sous-domaine a besoin de son propre fichier, tout comme chaque protocole. Google lit jusqu’à 500 Kio du fichier et ignore le reste, donc gardez-le court.
Que se passe-t-il si le fichier ne charge pas. Si robots.txt renvoie une erreur 404, Google considère que le site n’a pas de règles et explore tout. En revanche, si le serveur renvoie une erreur 5xx, Google met l’exploration en pause, car il ne peut pas savoir ce qui est permis. Ainsi, un serveur en panne peut ressembler à un blocage robots.txt. Vérifiez donc aussi le code de statut avec notre HTTP Header Checker.
Erreurs fréquentes
- Garder
Disallow: /d’un site de test après le lancement. - Bloquer les dossiers CSS et JavaScript, si bien que Google ne peut pas afficher la page.
- Utiliser robots.txt pour cacher une page qui devrait avoir noindex.
- Oublier la barre finale, donc
Disallow: /blogbloque aussi /blog-tips/. - Placer robots.txt dans un sous-dossier ; il ne marche qu’à la racine.
En bref : trouver la ligne qui bloque, ne bloquer que le privé et demander une nouvelle exploration. Pour chaque règle en détail, voyez le guide Google sur robots.txt.
Questions et réponses
Que veut dire bloquée par robots.txt ?
Votre fichier robots.txt demande à Google de ne pas explorer ces pages, donc il ne peut pas les lire et les montre rarement.
Comment corriger les pages bloquées par robots.txt ?
Trouvez la ligne Disallow qui les touche, retirez-la ou réduisez-la, enregistrez le fichier, puis cliquez sur Valider la correction dans Search Console.
Où se trouve mon fichier robots.txt ?
À la racine de votre domaine, par exemple https://example.com/robots.txt. Les sous-dossiers ne comptent pas.
Comment vérifier mon robots.txt avant de l’envoyer ?
Collez-le dans notre Robots.txt Validator gratuit et testez les adresses importantes. Ainsi, vous voyez quelle règle autorise ou bloque chacune.
robots.txt suffit-il à sortir une page de Google ?
Non, car il arrête l’exploration, pas l’indexation. Posez une balise noindex et laissez Google explorer la page pour la lire.
Pourquoi Google indexe une page bloquée par robots.txt ?
Car d’autres sites la lient, donc Google connaît l’adresse. Il l’affiche sans description, car il ne peut pas lire la page.
Que fait Disallow: / ?
Il bloque tout le site pour les robots de ce groupe. Sur un site en ligne, c’est presque toujours une erreur.
Quel robots.txt pour WordPress ?
Bloquez /wp-admin/, autorisez /wp-admin/admin-ajax.php et ajoutez la ligne du sitemap. De plus, ne bloquez ni CSS ni JavaScript.
Faut-il bloquer CSS et JavaScript ?
Non, car Google en a besoin pour afficher la page et juger sa mise en page et sa version mobile.
Combien de temps avant que Google réexplore ?
Souvent quelques jours. La validation dans Search Console peut prendre quelques semaines pour beaucoup de pages.
À quoi sert une ligne Allow ?
Elle laisse un robot accéder à un chemin dans un dossier bloqué. C’est la règle la plus détaillée qui gagne.
Puis-je bloquer les robots d’IA dans robots.txt ?
Oui, en nommant leur agent, comme GPTBot, avec Disallow: /. Les robots sérieux suivent ces consignes.
robots.txt protège-t-il les fichiers privés ?
Non, car il est public et n’est qu’une demande. Protégez donc les fichiers privés par mot de passe.
À quoi sert la ligne Sitemap dans robots.txt ?
Une ligne comme Sitemap: https://example.com/sitemap.xml indique aux robots où se trouve votre sitemap.
L’option WordPress qui décourage les moteurs touche-t-elle robots.txt ?
Oui, car elle ajoute un signal noindex et peut modifier le robots.txt virtuel. Désactivez-la après le lancement.
robots.txt fait-il la différence entre majuscules et minuscules ?
Pour les chemins, oui. Disallow: /Blog/ ne bloque pas /blog/, donc respectez la casse de vos URL.
Que se passe-t-il sans robots.txt ?
Les robots considèrent tout le site comme autorisé. Pour la plupart des petits sites, c’est très bien.
Un mauvais robots.txt peut-il nuire au classement ?
Oui. S’il bloque des pages importantes, Google ne peut pas les lire, et elles sortent des résultats avec le temps.
Comment rédiger mon propre fichier robots.txt ?
Utilisez notre Robots.txt Generator gratuit, puis envoyez le fichier à la racine de votre site.
Le SEO Checker lit-il robots.txt ?
Oui. Notre SEO Checker affiche votre robots.txt et prévient quand il bloque la page testée.
robots.txt empêche-t-il les visiteurs de voir une page ?
Non. N’importe qui peut ouvrir la page avec son adresse, et n’importe qui peut lire votre fichier robots.txt. Ne l’utilisez donc jamais pour cacher des pages privées. Placez-les plutôt derrière une connexion.
robots.txt peut-il arrêter les robots d’IA comme GPTBot ?
Oui, du moins ceux qui suivent les règles. Ajoutez un groupe pour chacun, comme User-agent: GPTBot avec Disallow: /. Cependant, un robot qui ignore robots.txt ne sera pas arrêté par lui.
Dois-je fermer l’accès aux fichiers CSS et JavaScript ?
Non. Google affiche les pages comme un navigateur, donc il a besoin de votre CSS et de vos scripts pour voir la mise en page. Les bloquer peut faire paraître la page cassée et nuire à son classement.
En combien de temps Google voit-il un changement de robots.txt ?
Google garde en général le fichier en cache jusqu’à un jour. Une correction peut donc prendre un jour pour s’appliquer. Ensuite, l’exploration des pages débloquées reprend à son rythme normal.
Chaque site doit-il avoir un robots.txt ?
Non. Sans lui, les robots visitent simplement chaque page trouvée. Pourtant, un court fichier avec une ligne Sitemap les aide à trouver vos pages, et il évite des erreurs 404 dans vos journaux.