Générateur de robots.txt
Le fichier que les robots lisent en premier
Ce générateur de robots.txt transforme quelques choix de menus en un fichier terminé. D’abord, choisissez une base, puis ajoutez une règle par ligne. Le fichier à droite se réécrit au fur et à mesure, donc vous ne devinez jamais la syntaxe.
- GratuitPrix
- 12Robots nommés
- 4Bases de départ
- AucunEnvois
Générateur de robots.txt
Construisez le fichier que les robots lisent en premier — une règle par ligne
Facultatif, mais utile. C’est la seule ligne qui aide un robot au lieu de le restreindre.
Vos règles- Groupes
- 0
- Règles
- 0
- Taille
- 0 B
Prêt. Choisissez un point de départ et le fichier se construit tout seul.
Ce qu’apporte un générateur de robots.txt
Chaque robot demande un fichier avant de demander quoi que ce soit d’autre. Ainsi, ce seul fichier façonne tout le reste de la visite.
La syntaxe est courte, pourtant elle punit les fautes de frappe en silence. Un générateur de robots.txt supprime les devinettes, car les noms des robots viennent d’une liste plutôt que de votre mémoire.
Une barre oblique égarée peut cacher tout un site. Par conséquent, il vaut mieux construire le fichier à partir d’éléments éprouvés et le relire avant l’envoi.
Pendant vingt-cinq ans, ce fichier n’a eu aucun standard. La RFC 9309, qui a standardisé robots.txt l’a enfin écrit noir sur blanc en 2022.
Ce que ce fichier contrôle vraiment
Robots.txt répond à une question : un robot peut-il récupérer cette adresse ? Il ne dit rien du classement, ni rien de l’indexation.
Déposez le fichier à la racine de votre domaine. Autrement dit, example.com/robots.txt fonctionne, tandis que example.com/blog/robots.txt est ignoré.
De plus, les règles sont sensibles à la casse. Puisque /Blog/ et /blog/ sont deux chemins différents, écrivez-les exactement comme votre site les sert.
Quelle règle l’emporte quand deux correspondent
Un robot n’obéit qu’à un seul groupe, celui dont le user-agent lui correspond le mieux. Ainsi, un groupe Googlebot remplace le groupe destiné à tous les robots.
Dans ce groupe, le chemin correspondant le plus long l’emporte. Par exemple, Allow: /wp-admin/admin-ajax.php bat Disallow: /wp-admin/, car il est plus long et plus précis.
Quand deux règles sont à égalité de longueur, Allow l’emporte. Surtout, l’ordre ne décide rien ici, aussi soigné que paraisse votre fichier.
Bloquer n’est pas cacher
Une adresse bloquée peut quand même apparaître dans les résultats, sans description, si d’autres pages pointent vers elle. Utilisez une balise noindex pour garder une page hors de l’index. En même temps, rappelez-vous que la page doit rester explorable, sinon personne ne lit jamais la balise.
Sur cette page
- L’outil
- Ce qu’apporte un générateur de robots.txt
- Votre robots.txt avec le générateur, étape par étape
- Ce que ce générateur de robots.txt fait bien
- Des principes à appliquer systématiquement
- Trois façons dont ce fichier tourne mal
- Les questions fréquentes sur robots.txt
- Terminez le travail avec ces outils
Continuer
Votre robots.txt avec le générateur, étape par étape
Quatre étapes courtes, et aucun compte nulle part. En effet, le premier choix fait l’essentiel du travail pour vous.
- 1
Choisissez une base
Optez pour un site ouvert, un site WordPress, une boutique ou un blocage total. Chaque choix ajoute les règles qui lui conviennent.
- 2
Ajustez les lignes
Chaque ligne contient un robot, un verdict et un chemin. Ajoutez des lignes, supprimez-en ou laissez la base telle quelle.
- 3
Ajoutez la ligne du sitemap
Collez l’adresse complète de votre sitemap. C’est la seule ligne ici qui aide un robot au lieu de lui barrer la route.
- 4
Copiez ou téléchargez
Appuyez sur Copier le fichier ou enregistrez-le sous robots.txt. Ensuite, envoyez-le à la racine de votre domaine.
Ce que ce générateur de robots.txt fait bien
La plupart des générateurs vous donnent une zone de texte et vous souhaitent bonne chance. Au contraire, celui-ci réduit les choix jusqu’à rendre une faute de frappe difficile.
Les noms de robots viennent d’une liste
GoogleBot avec un B majuscule ne correspond à rien du tout. C’est pourquoi les noms figurent dans une liste déroulante, écrits comme les robots les écrivent eux-mêmes.
Un interrupteur pour les robots d’IA
Douze robots d’entraînement entrent ensemble dans le fichier. Par conséquent, vous n’avez pas à chercher chaque nom vous-même.
Des commentaires qui s’expliquent seuls
Chaque groupe peut porter une courte note au-dessus. Dans six mois, cette note empêchera quelqu’un de supprimer la ligne.
Un regroupement bien fait
Les règles d’un même robot vont sous un seul en-tête. Ainsi, l’outil les rassemble au lieu de répéter la ligne user-agent.
Un compteur de taille en direct
Google lit les 500 premiers kilo-octets puis s’arrête. Puisque les vrais fichiers restent bien en dessous, le compteur sert simplement à rassurer.
Rien ne quitte l’onglet
Votre navigateur écrit chaque ligne de ce fichier. Par conséquent, vos chemins n’atteignent jamais un serveur, ni le nôtre ni celui de quelqu’un d’autre.
Des principes à appliquer systématiquement
Le fichier est court, donc les habitudes le sont aussi. Cependant, chacune évite un type précis de mauvaise journée.
- Relisez-le avant l’envoi. Cherchez dans le résultat une ligne Disallow: / isolée. Comme cette seule barre bloque tout le site, cela vaut bien dix secondes.
- Nommez toujours le sitemap. La ligne Sitemap se trouve hors de tout groupe, donc elle s’applique à tous les robots. Par conséquent, une seule ligne sert à tout le monde.
- N’y mettez aucun secret. N’importe qui peut ouvrir votre robots.txt dans un navigateur. Au lieu de lister un dossier privé, protégez-le par un mot de passe.
- Ne bloquez pas votre CSS. Google affiche les pages avant de les juger. Si la feuille de style est bloquée, la page qu’il voit n’est donc pas celle que voient vos visiteurs.
- Oubliez crawl-delay pour Google. Google ignore totalement cette ligne. En revanche, Bing et Yandex la lisent, donc ne la définissez que si l’un d’eux vous submerge.
- Versionnez-le avec votre code. Gardez le fichier dans votre dépôt avec tout le reste. Ensuite, un changement surprise apparaît dans un diff plutôt que dans votre trafic.
Trois façons dont ce fichier tourne mal
Chacune semble inoffensive dans un éditeur. Pourtant, chacune a discrètement coûté leur trafic à de vrais sites.
Publier le fichier de préproduction
Un serveur de test bloque tout, à juste titre. Cependant, ce fichier voyage ensuite en production avec le reste du code.
S’en servir pour cacher une page
Bloquer une page ne la retire pas des recherches. Plutôt que de deviner, ajoutez une balise noindex et laissez entrer le robot pour qu’il la lise.
Lui confier la sécurité
Les robots bien élevés lui obéissent, et rien d’autre n’y est obligé. Traitez-le donc comme un panneau de signalisation, jamais comme un verrou.
Les questions fréquentes sur robots.txt
Où va le fichier terminé ?
À la racine même de votre domaine, sous la forme example.com/robots.txt. Les robots le cherchent là et nulle part ailleurs. C’est pourquoi une copie dans un sous-dossier ne sert à rien, aussi correct que soit son contenu.
Chaque site en a-t-il besoin ?
Non. Sans fichier, tout peut simplement être exploré, ce qui convient à beaucoup de petits sites. Pourtant, il vaut la peine d’en avoir un, car il porte la ligne du sitemap et vous offre un endroit où ajouter une règle plus tard.
Une règle disallow retire-t-elle une page de Google ?
Pas de façon fiable. Si d’autres sites pointent vers cette adresse, elle peut apparaître comme un résultat nu, sans description. Par conséquent, utilisez une balise noindex pour faire disparaître une page, et laissez-la explorable pour que la balise soit lue.
Les jokers * et $ sont-ils acceptés ?
Google, Bing et Yandex comprennent tous * pour n’importe quelle suite de caractères et $ pour la fin d’une adresse. Cependant, des robots plus anciens ou plus petits peuvent ne pas les comprendre. Bref, les caractères génériques sont sûrs pour les moteurs qui comptent.
Faut-il bloquer les robots d’entraînement d’IA ?
C’est une décision commerciale plutôt que technique. Les bloquer protège vos textes des jeux d’entraînement, pourtant cela peut aussi réduire votre visibilité dans les réponses d’IA. L’interrupteur est là dans tous les cas.
Quelque chose est-il envoyé quand j’utilise l’outil ?
Non. La page n’appelle jamais de serveur pendant que vous travaillez. Votre navigateur garde les règles, construit le texte et vous remet le téléchargement, donc rien de la structure de votre site n’est envoyé nulle part.
Terminez le travail avec ces outils
Ces trois outils vont naturellement avec celui-ci. De plus, aucun ne demande de compte.
Validateur robots.txt
Collez un fichier et découvrez quelle règle l’emporte pour chaque chemin.
Ouvrir l’outil →Générateur de sitemap XML
Transformez une liste d’adresses en sitemap vers lequel pointe ce fichier.
Ouvrir l’outil →Générateur de balise canonical
Indiquez aux moteurs quelle adresse est la vraie.
Ouvrir l’outil →
Prêt à écrire votre robots.txt ?
Choisissez une base, ajustez quelques lignes, puis copiez le résultat. Comptez une minute environ ; c’est gratuit, et vos URL restent dans cet onglet.