Validateur robots.txt
Trouvez la ligne qui a tout cassé
Collez votre fichier dans ce validateur robots.txt et il trouve la ligne qui a tout cassé. Chaque résultat apparaît à côté du fichier, cité avec son numéro de ligne. Ensuite, tapez un chemin et voyez exactement quelle règle en décide, et pourquoi elle a battu les autres.
- GratuitPrix
- 20+Contrôles effectués
- 4Robots
- AucunEnvois
Validateur robots.txt
Vérifiez la syntaxe, puis testez vos chemins face à vos propres règles
N’importe quelle adresse du site suffit. Cet outil ne garde que l’origine, car robots.txt se trouve à la racine et nulle part ailleurs.
- Erreurs
- 0
- Avertissements
- 0
- Groupes
- 0
Un par ligne. Une adresse complète fonctionne aussi, et seuls son chemin et sa requête comptent. Chaque ligne est testée face au robot choisi ci-dessus.
Tapez un chemin et cette ligne dit quelle règle l’emporte, et pourquoi.
Les verdictsPrêt. Collez un fichier, ou récupérez-en un, et les constats apparaissent à droite.
Ce que détecte un validateur robots.txt
Un robots.txt cassé s’annonce rarement. Les robots sautent la ligne qu’ils ne savent pas lire, puis continuent comme si elle n’avait jamais été écrite.
C’est pourquoi les dégâts apparaissent des semaines plus tard, dans un graphique de trafic. Pendant ce temps, le fichier paraît parfaitement raisonnable dans votre éditeur.
Ce vérificateur lit le fichier comme le fait un robot. Par conséquent, une règle qui ne correspond à rien est signalée au lieu d’être suivie en silence.
Pendant un quart de siècle, le fichier a fonctionné par convention. La RFC 9309, qui a standardisé robots.txt a transformé cette convention en règle.
Syntaxe valide contre comportement correct
Un fichier peut réussir tous les tests de syntaxe et pourtant ruiner un lancement. Après tout, Disallow: / est un code impeccable.
C’est pourquoi cet outil a deux moitiés. La moitié gauche lit vos lignes, tandis que la droite répond à une question sur un chemin.
Tapez /wp-admin/ et la ligne de verdict nomme la règle gagnante. Bref, vous obtenez le résultat plutôt qu’une supposition.
Des erreurs cachées bien en vue
Un espace dans un chemin tronque la règle en silence. Tout ce qui suit cet espace disparaît simplement, donc la règle correspond à bien plus que prévu.
Une adresse web complète dans une ligne Disallow échoue aussi. Puisque les chemins partent de la racine du site, https://example.com/folder/ ne correspond à rien.
Noindex dans robots.txt a cessé de fonctionner en septembre 2019. Pourtant, bien des anciens fichiers portent encore cette ligne et leur auteur lui fait toujours confiance.
Deux groupes pour un seul robot
Écrivez deux fois User-agent: Googlebot et vous avez créé un piège. Un robot lit le premier groupe qui le nomme, puis ignore tous les suivants. Ainsi, le second ensemble de règles ne s’applique jamais, même s’il se trouve bien dans le fichier. Le vérificateur repère le doublon et désigne les deux numéros de ligne.
Sur cette page
- L’outil
- Ce que détecte un validateur robots.txt
- Comment vérifier votre robots.txt avec le validateur
- Ce que ce vérificateur fait autrement
- Des habitudes qui gardent ce fichier honnête
- Trois défauts à traquer
- Questions sur la vérification de robots.txt
- Des outils qui vont avec celui-ci
Continuer
Comment vérifier votre robots.txt avec le validateur
Coller, lire, tester. Comme la vérification tourne pendant la saisie, il n’y a aucun bouton à attendre.
- 1
Collez le fichier entier
Copiez tout depuis example.com/robots.txt, ou ouvrez le fichier depuis votre disque. En effet, un fichier partiel donne des réponses partielles.
- 2
Lisez les résultats
Chacun cite sa ligne et explique la correction. D’abord les erreurs, puis les avertissements, enfin les notes de style facultatives.
- 3
Choisissez un robot
Googlebot, Bingbot et GPTBot suivent chacun des groupes différents. Passez donc de l’un à l’autre si votre fichier en nomme plusieurs.
- 4
Testez un vrai chemin
Tapez une adresse comme
/cart/. La ligne de verdict dit autorisé ou bloqué, et nomme la règle qui a décidé.
Ce que ce vérificateur fait autrement
Beaucoup de vérificateurs affichent une coche verte et s’arrêtent là. Au contraire, celui-ci montre son raisonnement pour chaque résultat.
Des numéros de ligne partout
Chaque résultat cite la ligne fautive à côté de son numéro. Ainsi, vous la corrigez sans faire défiler la page dans tous les sens.
Il explique la règle gagnante
Le verdict nomme la règle exacte et sa longueur. Puisque la correspondance la plus longue l’emporte, cette longueur est tout l’argument.
Rien n’est réécrit
Un vérificateur qui corrige votre fichier en silence ne vous apprend rien. Plutôt que de le rapiécer, celui-ci vous dit quoi changer.
Directives mortes signalées
Host, Clean-param et Noindex ressemblent à de vraies règles. Cependant, les robots qui comptent pour vous les ignorent désormais.
Les notes de style restent facultatives
Les espaces en fin de ligne et la mise en ordre se trouvent derrière un interrupteur. Ainsi, la vue par défaut ne montre que ce qui casse réellement quelque chose.
Votre fichier reste dans l’onglet
L’analyseur tourne dans cet onglet du début à la fin. Donc un fichier collé et les chemins testés n’atteignent jamais un serveur.
Récupérez un fichier en ligne
Tapez un domaine et ce serveur lit son robots.txt pour vous, car aucun navigateur ne peut lire un autre site. Seule cette adresse sort.
Tous les robots, pas un seul
Quarante identifiants figurent dans la liste, de Googlebot-Image à ClaudeBot. Chacun lit un groupe différent, et le verdict change avec lui.
Beaucoup de chemins à la fois
Collez une colonne de chemins et chacun reçoit un verdict, avec la règle et la ligne qui l’ont décidé. De plus, le tableau s’exporte en CSV.
Des habitudes qui gardent ce fichier honnête
Un robots.txt est assez court pour être relu chaque fois qu’on y touche. Cependant, quelques routines attrapent le reste.
- Vérifiez les URL qui vous importent. Vérifiez votre panier, votre espace d’administration et un article ordinaire. Si l’article ordinaire est bloqué, arrêtez-vous et corrigez-le tout de suite.
- Vérifiez après chaque déploiement. Une étape de build peut écraser ce fichier sans prévenir personne. C’est pourquoi dix secondes de collage valent mieux qu’un mois de trafic perdu.
- Regroupez les blocs User-agent répétés. Un robot, un groupe. Comme seul le premier groupe s’applique, un second est un poids mort qui a l’air vivant.
- Écrivez les chemins exactement. Majuscules et minuscules comptent, et le moindre espace fait échouer la règle. Par conséquent, /Cart/ et /cart/ diffèrent, et un espace termine le chemin trop tôt.
- Gardez le fichier léger. Google lit 500 kilo-octets puis s’arrête. Puisque presque aucun fichier honnête n’en approche, un fichier énorme signifie en général des déchets générés.
- Corrigez les erreurs avant les avertissements. Une erreur signifie qu’un robot a sauté cette ligne entièrement. Un avertissement signifie qu’elle a fonctionné, mais sans doute pas comme vous l’espériez.
Trois défauts à traquer
Ces trois-là reviennent sans cesse dans de vrais fichiers. De plus, chacun reste invisible jusqu’à ce que quelqu’un vérifie.
Des règles au-dessus du premier groupe
Une ligne Disallow écrite avant toute ligne User-agent n’appartient à personne. Donc chaque robot passe tout droit devant elle.
Un chemin sans sa barre oblique
Disallow: admin/ est relatif, et les robots ne s’accordent pas sur les chemins relatifs. Au contraire, commencez toujours un chemin par une barre oblique.
Se fier à une coche verte
Une syntaxe valide prouve seulement que le fichier se lit. Surtout, testez un vrai chemin avant de déclarer le travail terminé.
Questions sur la vérification de robots.txt
Qu’est-ce qui cloche dans ma règle ?
En général parce qu’une règle plus longue a correspondu avant. Un robot choisit le chemin correspondant le plus long, pas le premier du fichier. Collez donc le fichier ici, tapez le chemin, et la ligne de verdict nomme la règle qui l’a vraiment emporté.
L’outil récupère-t-il mon fichier en ligne pour moi ?
Oui. Tapez un domaine et ce serveur lit son robots.txt, car aucun navigateur ne peut lire un autre site. Seule l’adresse circule, et aucune copie de la réponse n’est gardée. En revanche, si vous collez un fichier, tout reste dans votre onglet.
Avec quel robot dois-je tester ?
Commencez par Googlebot, puisqu’il apporte l’essentiel du trafic de recherche. Ensuite, passez à GPTBot si votre fichier a un groupe pour les robots d’IA, car ces règles sont faciles à rater subtilement.
Faut-il garder Crawl-delay ?
Google l’ignore complètement. Cependant, Bing et Yandex le lisent, donc gardez la ligne si l’un d’eux explore trop fort. Sinon, c’est un encombrement inoffensif.
Que signifie une ligne Disallow vide ?
Elle autorise tout, soit l’inverse de ce qu’elle semble dire. La ligne est légale et embrouille les gens depuis vingt ans. Bref, écrivez plutôt Allow: / et épargnez un doute à la personne suivante.
Puis-je vérifier un fichier avant sa mise en ligne ?
Oui : vérifiez le fichier avant de le publier, c’est justement ce que l’outil permet. Collez la version de votre dépôt, testez les chemins qui comptent, puis déployez dès que les verdicts semblent justes.
Des outils qui vont avec celui-ci
Les mêmes règles valent pour les trois. Ainsi, chacun est gratuit et aucun ne demande d’adresse e-mail.
Générateur de robots.txt
Créez un nouveau fichier à partir de modèles au lieu de rapiécer l’ancien.
Ouvrir l’outil →Voyez quel code renvoie chaque URL
Découvrez ce qu’un robot reçoit vraiment d’une adresse.
Ouvrir l’outil →Générateur de balises hreflang
Faites pointer chaque langue vers sa propre version, sans faute de frappe.
Ouvrir l’outil →
Collez votre fichier et découvrez-le
Les résultats apparaissent pendant la saisie, et une colonne de chemins demande une seconde de plus. Un fichier collé ne quitte jamais votre onglet, et de toute façon rien n’est stocké.