Robots.txt-Validator
Die Zeile finden, die alles kaputt gemacht hat
Fügen Sie Ihre Datei in diesen Robots.txt-Validator ein, und er findet die Zeile, die alles kaputt gemacht hat. Jeder Befund erscheint neben der Datei, zitiert mit seiner Zeilennummer. Tippen Sie dann einen Pfad und sehen Sie genau, welche Regel ihn entscheidet und warum sie die anderen schlug.
- KostenlosPreis
- 20+Durchgeführte Prüfungen
- 4Crawler
- KeineUploads
Robots.txt-Validator
Die Syntax prüfen und dann Ihre Pfade gegen Ihre eigenen Regeln testen
Jede Adresse der Website genügt. Dieses Tool behält nur den Origin, weil robots.txt im Stammverzeichnis liegt und nirgendwo sonst.
- Fehler
- 0
- Warnungen
- 0
- Gruppen
- 0
Einer pro Zeile. Eine volle Adresse geht auch, und nur ihr Pfad und ihre Query zählen. Jede Zeile wird gegen den oben gewählten Crawler getestet.
Tippen Sie einen Pfad, und diese Zeile sagt, welche Regel gewinnt und warum.
Die UrteileBereit. Fügen Sie eine Datei ein oder rufen Sie eine ab, und die Befunde erscheinen rechts.
Was ein Robots.txt-Validator findet
Eine kaputte robots.txt kündigt sich selten an. Crawler überspringen die Zeile, die sie nicht lesen können, und machen dann weiter, als stünde sie nicht da.
Deshalb zeigt sich der Schaden erst Wochen später, in einer Traffic-Kurve. Währenddessen sieht die Datei in Ihrem Editor völlig vernünftig aus.
Dieser Prüfer liest die Datei so, wie ein Crawler es tut. Daher wird eine Regel, die auf nichts passt, markiert, statt still befolgt zu werden.
Ein Vierteljahrhundert lang lief die Datei nach Konvention. RFC 9309, der robots.txt standardisierte machte aus dieser Konvention eine Regel.
Gültige Syntax gegenüber korrektem Verhalten
Eine Datei kann jeden Syntaxtest bestehen und trotzdem einen Launch ruinieren. Schließlich ist Disallow: / fehlerfreier Code.
Deshalb hat dieses Tool zwei Hälften. Die linke liest Ihre Zeilen, während die rechte eine Frage zu einem Pfad beantwortet.
Tippen Sie /wp-admin/, und die Urteilszeile nennt die gewinnende Regel. Kurz gesagt, Sie bekommen das Ergebnis statt einer Vermutung.
Fehler, die sich vor aller Augen verstecken
Ein Leerzeichen in einem Pfad kürzt die Regel still. Alles nach diesem Leerzeichen verschwindet einfach, sodass die Regel weit mehr trifft als beabsichtigt.
Auch eine vollständige Webadresse in einer Disallow-Zeile scheitert. Weil Pfade vom Stammverzeichnis der Website ausgehen, passt https://example.com/folder/ auf nichts.
Noindex in der robots.txt funktioniert seit September 2019 nicht mehr. Jedoch tragen viele alte Dateien diese Zeile noch, und ihr Autor vertraut ihr weiterhin.
Zwei Gruppen für einen Crawler
Schreiben Sie User-agent: Googlebot zweimal, haben Sie eine Falle gebaut. Ein Crawler liest die erste Gruppe, die ihn nennt, und ignoriert danach jede spätere. Folglich läuft der zweite Regelsatz nie, obwohl er direkt in der Datei steht. Der Prüfer erkennt das Duplikat und zeigt auf beide Zeilennummern.
So prüfen Sie Ihre robots.txt mit dem Validator
Einfügen, lesen, testen. Weil die Prüfung beim Tippen läuft, gibt es keinen Button, auf den Sie warten müssen.
- 1
Die ganze Datei einfügen
Kopieren Sie alles von example.com/robots.txt oder öffnen Sie die Datei von Ihrer Festplatte. Unvollständige Dateien liefern nämlich unvollständige Antworten.
- 2
Die Befunde lesen
Jeder zitiert seine Zeile und erklärt die Lösung. Zuerst kommen Fehler, danach Warnungen, dann optionale Stilhinweise.
- 3
Einen Crawler wählen
Googlebot, Bingbot und GPTBot folgen jeweils anderen Gruppen. Wechseln Sie also zwischen ihnen, wenn Ihre Datei mehr als einen nennt.
- 4
Einen echten Pfad testen
Tippen Sie eine Adresse wie
/cart/. Die Urteilszeile sagt erlaubt oder blockiert und nennt die entscheidende Regel.
Was dieser Prüfer anders macht
Viele Prüfer zeigen einen grünen Haken und hören dort auf. Dieser zeigt stattdessen bei jedem Befund seinen Rechenweg.
Zeilennummern überall
Jeder Befund zitiert die fehlerhafte Zeile neben ihrer Nummer. Dadurch beheben Sie ihn, ohne hin und her zu scrollen.
Es erklärt den Gewinner
Das Urteil nennt die genaue Regel und ihre Länge. Weil der längste Treffer gewinnt, ist diese Länge das ganze Argument.
Nichts wird umgeschrieben
Ein Prüfer, der Ihre Datei still repariert, lehrt Sie nichts. Statt sie zu flicken, sagt Ihnen dieser, was zu ändern ist.
Tote Direktiven markiert
Host, Clean-param und Noindex lesen sich wie echte Regeln. Jedoch ignorieren die Crawler, die Ihnen wichtig sind, sie inzwischen.
Stilhinweise bleiben optional
Nachgestellte Leerzeichen und Ordnung liegen hinter einem Schalter. So zeigt die Standardansicht nur, was wirklich etwas kaputt macht.
Ihre Datei bleibt im Tab
Der Parser läuft von Anfang bis Ende in diesem Tab. Deshalb erreichen eine eingefügte Datei und die getesteten Pfade nie einen Server.
Eine Live-Datei holen
Geben Sie eine Domain ein, und dieser Server liest ihre robots.txt für Sie, weil kein Browser eine andere Website lesen darf. Nur diese Adresse verlässt den Tab.
Jeder Crawler, nicht nur einer
Vierzig Produkt-Token stehen auf der Liste, von Googlebot-Image bis ClaudeBot. Jeder liest eine andere Gruppe, und das Urteil ändert sich entsprechend.
Viele Pfade auf einmal
Fügen Sie eine Spalte mit Pfaden ein, und jeder erhält ein Urteil samt entscheidender Regel und Zeile. Außerdem lässt sich die Tabelle als CSV exportieren.
Gewohnheiten, die diese Datei ehrlich halten
Eine robots.txt ist kurz genug, um sie bei jeder Änderung zu lesen. Trotzdem fangen ein paar Routinen den Rest ab.
- Die wichtigen Pfade testen. Prüfen Sie Ihren Warenkorb, Ihren Admin-Bereich und einen gewöhnlichen Artikel. Ist der gewöhnliche Artikel blockiert, halten Sie an und beheben Sie das sofort.
- Nach jedem Deployment prüfen. Ein Build-Schritt kann diese Datei überschreiben, ohne es jemandem zu sagen. Deshalb schlägt ein zehnsekündiges Einfügen einen Monat verlorenen Traffic.
- Doppelte Gruppen zusammenführen. Ein Crawler, eine Gruppe. Weil nur die erste Gruppe gilt, ist eine zweite toter Ballast, der lebendig aussieht.
- Pfade exakt schreiben. Der Abgleich unterscheidet Groß- und Kleinschreibung und verträgt keine Leerzeichen. Daher sind /Cart/ und /cart/ verschieden, und ein Leerzeichen beendet den Pfad zu früh.
- Die Datei klein halten. Google liest 500 Kilobyte und hört dann auf. Weil fast keine ehrliche Datei auch nur annähernd so groß wird, bedeutet eine riesige meist generierten Müll.
- Fehler vor Warnungen beheben. Ein Fehler bedeutet, dass ein Crawler diese Zeile ganz übersprungen hat. Eine Warnung bedeutet, dass sie funktionierte, wenn auch vermutlich nicht wie erhofft.
Drei Fehler, nach denen sich die Suche lohnt
Diese drei tauchen in echten Dateien immer wieder auf. Zudem bleibt jeder unsichtbar, bis jemand prüft.
Regeln über der ersten Gruppe
Eine Disallow-Zeile vor jeder User-agent-Zeile gehört niemandem. Deshalb läuft jeder Crawler direkt an ihr vorbei.
Ein Pfad ohne Schrägstrich
Disallow: admin/ ist relativ, und Crawler sind sich bei relativen Pfaden uneinig. Beginnen Sie einen Pfad stattdessen immer mit einem Schrägstrich.
Einem grünen Haken vertrauen
Gültige Syntax beweist nur, dass sich die Datei einlesen lässt. Testen Sie also vor allem einen echten Pfad, bevor Sie die Arbeit für erledigt erklären.
Fragen zur Prüfung der robots.txt
Was stimmt mit meiner Regel nicht?
Meist, weil vorher etwas Längeres gepasst hat. Ein Crawler wählt den längsten passenden Pfad, nicht den ersten in der Datei. Fügen Sie die Datei deshalb hier ein, tippen Sie den Pfad, und die Urteilszeile nennt die Regel, die wirklich gewonnen hat.
Holt das Tool meine Live-Datei für mich?
Ja. Geben Sie eine Domain ein, und dieser Server liest ihre robots.txt, weil kein Browser eine andere Website lesen darf. Nur die Adresse reist, und keine Kopie der Antwort wird behalten. Fügen Sie stattdessen eine Datei ein, bleibt alles in Ihrem Tab.
Mit welchem Crawler sollte ich testen?
Beginnen Sie mit Googlebot, denn er bringt den meisten Suchtraffic. Wechseln Sie dann zu GPTBot, falls Ihre Datei eine Gruppe für KI-Crawler hat, weil diese Regeln leicht subtil falsch geraten.
Lohnt es sich, Crawl-delay zu behalten?
Google ignoriert es komplett. Bing und Yandex lesen es jedoch, also behalten Sie die Zeile, wenn einer davon zu stark crawlt. Sonst ist sie harmloser Ballast.
Was bedeutet eine leere Disallow-Zeile?
Sie erlaubt alles, also das Gegenteil dessen, wie sie klingt. Die Zeile ist gültig und verwirrt Leute seit zwanzig Jahren. Kurz gesagt, schreiben Sie stattdessen Allow: / und ersparen Sie der nächsten Person Zweifel.
Kann ich eine Datei vor dem Livegang prüfen?
Ja, gerade dann lohnt sich der Test. Fügen Sie die Version aus Ihrem Repository ein, testen Sie die wichtigen Pfade und deployen Sie dann, sobald die Urteile stimmen.
Tools, die zu diesem passen
Alle drei folgen identischen Vorgaben. Deshalb läuft jedes kostenlos, und keines will eine E-Mail-Adresse.
Robots.txt-Generator
Bauen Sie eine neue Datei aus Vorlagen, statt eine alte zu flicken.
Tool öffnen →HTTP-Statuscode-Prüfer
Finden Sie heraus, was ein Crawler von einer Adresse wirklich zurückbekommt.
Tool öffnen →Hreflang-Tag-Generator
Richten Sie jede Sprache ohne Tippfehler auf ihre eigene Version.
Tool öffnen →
Datei einfügen und Klarheit bekommen
Befunde erscheinen beim Tippen, und eine Spalte mit Pfaden braucht nur eine Sekunde mehr. Eine eingefügte Datei verlässt Ihren Tab nie, und gespeichert wird ohnehin nichts.