Robots.txt-Generator
Die Datei, die Crawler zuerst lesen
Dieser Robots.txt-Generator macht aus ein paar Auswahlfeldern eine fertige Datei. Wählen Sie zuerst eine Vorlage und fügen Sie dann pro Zeile eine Regel hinzu. Die Datei rechts schreibt sich dabei laufend neu, sodass Sie nie bei der Syntax raten müssen.
- KostenlosPreis
- 12Genannte Crawler
- 4Vorlagen
- KeineUploads
Robots.txt-Generator
Die Datei bauen, die Crawler zuerst lesen — eine Regel pro Zeile
Optional, aber lohnend. Es ist die eine Zeile, die einem Crawler hilft, statt ihn einzuschränken.
Ihre Regeln- Gruppen
- 0
- Regeln
- 0
- Größe
- 0 B
Bereit. Wählen Sie einen Ausgangspunkt, und die Datei baut sich von selbst.
Warum ein Robots.txt-Generator hilft
Jeder Crawler fragt nach einer Datei, bevor er nach irgendetwas anderem fragt. Deshalb prägt diese eine Datei den ganzen restlichen Besuch.
Die Syntax ist klein, bestraft Tippfehler jedoch still. Ein Robots.txt-Generator nimmt das Raten ab, weil die Crawler-Namen aus einer Liste kommen statt aus Ihrem Gedächtnis.
Ein verirrter Schrägstrich kann eine ganze Website verstecken. Daher lohnt es sich, die Datei aus bewährten Teilen zu bauen und sie vor dem Hochladen zu lesen.
Fünfundzwanzig Jahre lang hatte diese Datei gar keinen Standard. RFC 9309, der robots.txt standardisierte schrieb ihn schließlich 2022 fest.
Was diese Datei wirklich steuert
Robots.txt beantwortet eine Frage: Darf ein Crawler diese Adresse abrufen? Über das Ranking sagt sie nichts, und über die Indexierung ebenfalls nichts.
Legen Sie die Datei direkt ins Wurzelverzeichnis der Domain. Also funktioniert example.com/robots.txt, während example.com/blog/robots.txt ignoriert wird.
Außerdem unterscheiden Regeln Groß- und Kleinschreibung. Weil /Blog/ und /blog/ zwei verschiedene Pfade sind, schreiben Sie sie genau so, wie Ihre Website sie ausliefert.
Welche Regel gewinnt, wenn zwei passen
Ein Crawler befolgt nur eine Gruppe, nämlich die, deren User-Agent am besten zu ihm passt. Also überschreibt eine Googlebot-Gruppe die Gruppe für alle Crawler.
Innerhalb dieser Gruppe gewinnt der längste passende Pfad. Zum Beispiel schlägt Allow: /wp-admin/admin-ajax.php die Regel Disallow: /wp-admin/, weil sie länger und genauer ist.
Sind zwei Regeln gleich lang, gewinnt Allow. Vor allem entscheidet die Reihenfolge hier nichts, egal wie ordentlich Ihre Datei aussieht.
Blockieren ist nicht dasselbe wie Verstecken
Eine blockierte Adresse kann trotzdem in den Suchergebnissen auftauchen, ohne Beschreibung, wenn andere Seiten auf sie verlinken. Nutzen Sie ein noindex-Tag, um eine Seite aus dem Index zu halten. Denken Sie dabei daran, dass die Seite crawlbar bleiben muss, sonst liest niemand das Tag.
So erstellen Sie eine robots.txt mit dem Generator
Vier kurze Schritte, und nirgends ein Konto. Die erste Wahl erledigt dabei schon den Großteil der Arbeit.
- 1
Eine Vorlage wählen
Wählen Sie eine offene Website, eine WordPress-Website, einen Shop oder eine Komplettsperre. Jede fügt die passenden Regeln ein.
- 2
Die Zeilen anpassen
Jede Zeile enthält einen Crawler, eine Entscheidung und einen Pfad. Fügen Sie Zeilen hinzu, löschen Sie sie oder lassen Sie die Vorlage, wie sie ist.
- 3
Die Sitemap-Zeile hinzufügen
Fügen Sie die vollständige Adresse Ihrer Sitemap ein. Sie ist hier die einzige Zeile, die einem Crawler hilft, statt ihn auszusperren.
- 4
Kopieren oder herunterladen
Klicken Sie auf Datei kopieren oder speichern Sie sie als robots.txt. Laden Sie sie danach in das Stammverzeichnis Ihrer Domain hoch.
Was dieser Robots.txt-Generator richtig macht
Die meisten Generatoren geben Ihnen ein Textfeld und wünschen viel Glück. Dieser engt stattdessen die Auswahl ein, bis ein Tippfehler schwerfällt.
Crawler-Namen kommen aus einer Liste
GoogleBot mit großem B passt auf gar nichts. Deshalb stehen die Namen in einem Auswahlmenü, so geschrieben, wie die Crawler selbst sie schreiben.
Ein Schalter für KI-Crawler
Zwölf Trainings-Crawler kommen gemeinsam in die Datei. Daher müssen Sie nicht jeden Namen selbst suchen.
Kommentare, die sich selbst erklären
Jede Gruppe kann eine kurze Notiz darüber tragen. In sechs Monaten hält diese Notiz dann jemanden davon ab, die Zeile zu löschen.
Gruppierung richtig gemacht
Regeln für denselben Crawler gehören unter eine Überschrift. Also sammelt das Tool sie, statt die User-Agent-Zeile zu wiederholen.
Ein laufender Größenzähler
Google liest die ersten 500 Kilobyte und hört dann auf. Weil echte Dateien weit darunter liegen, dient der Zähler schlicht der Beruhigung.
Nichts verlässt den Tab
Ihr Browser schreibt jede Zeile dieser Datei. Folglich erreichen Ihre Pfade nie einen Server, weder unseren noch einen anderen.
Regeln, die sich jedes Mal lohnen
Die Datei ist kurz, also sind es die Gewohnheiten auch. Trotzdem verhindert jede eine bestimmte Art von schlechtem Tag.
- Vor dem Hochladen lesen. Suchen Sie in der Ausgabe nach einer einsamen Zeile Disallow: /. Weil dieser eine Schrägstrich die ganze Website blockiert, sind zehn Sekunden gut investiert.
- Immer die Sitemap nennen. Die Sitemap-Zeile steht außerhalb jeder Gruppe und gilt deshalb für alle Crawler. Daher dient eine Zeile allen.
- Keine Geheimnisse hineinschreiben. Jeder kann Ihre robots.txt im Browser öffnen. Statt einen privaten Ordner aufzulisten, schützen Sie ihn mit einem Passwort.
- Ihr CSS nicht blockieren. Google rendert Seiten, bevor es sie bewertet. Ist das Stylesheet blockiert, ist die Seite, die Google sieht, folglich nicht die, die Ihre Besucher sehen.
- Crawl-delay für Google weglassen. Google ignoriert diese Zeile komplett. Bing und Yandex lesen sie jedoch, also setzen Sie sie nur, wenn eine davon Ihren Server überlastet.
- Mit Ihrem Code versionieren. Halten Sie die Datei in Ihrem Repository neben allem anderen. Dann zeigt sich eine überraschende Änderung in einem Diff statt in Ihrem Traffic.
Drei Arten, wie diese Datei schiefgeht
Jede davon wirkt im Editor harmlos. Jedoch hat jede schon echte Websites still ihren Traffic gekostet.
Die Staging-Datei ausliefern
Ein Testserver blockiert zu Recht alles. Jedoch wandert diese Datei dann mit dem restlichen Code in die Produktion.
Damit eine Seite verstecken
Eine Seite zu blockieren entfernt sie nicht aus der Suche. Statt zu raten, fügen Sie ein noindex-Tag hinzu und lassen den Crawler herein, damit er es liest.
Der Datei die Sicherheit anvertrauen
Wohlerzogene Crawler befolgen sie, und sonst muss es niemand. Behandeln Sie sie also als Verkehrsschild, nie als Schloss.
Häufige Fragen zur robots.txt
Wohin kommt die fertige Datei?
Ganz in das Stammverzeichnis Ihrer Domain, als example.com/robots.txt. Crawler suchen dort und nirgendwo sonst. Deshalb bewirkt eine Kopie in einem Unterordner gar nichts, egal wie korrekt ihr Inhalt ist.
Braucht jede Website eine?
Nein. Fehlt die Datei, darf einfach alles gecrawlt werden, was vielen kleinen Websites genügt. Trotzdem lohnt sich eine, denn sie trägt die Sitemap-Zeile und bietet Ihnen einen Ort für spätere Regeln.
Entfernt eine Disallow-Regel eine Seite aus Google?
Nicht zuverlässig. Verlinken andere Websites auf diese Adresse, kann sie als nacktes Ergebnis ohne Beschreibung erscheinen. Nutzen Sie daher ein noindex-Tag, wenn eine Seite verschwinden soll, und lassen Sie sie crawlbar, damit das Tag gelesen wird.
Funktionieren Platzhalter?
Google, Bing und Yandex verstehen alle * für beliebige Zeichenfolgen und $ für das Ende einer Adresse. Ältere oder kleinere Crawler jedoch vielleicht nicht. Kurz gesagt, Platzhalter sind für die wichtigen Suchmaschinen sicher.
Sollte ich KI-Trainings-Crawler blockieren?
Hier entscheidet mehr das Geschäft als die Technik. Blockieren schützt Ihre Texte vor Trainingsdaten, kann jedoch auch Ihre Sichtbarkeit in KI-Antworten senken. Der Schalter ist so oder so da.
Wird etwas hochgeladen, wenn ich das nutze?
Nein. Die Seite ruft während Ihrer Arbeit nie einen Server auf. Ihr Browser hält die Regeln, baut den Text und übergibt Ihnen den Download, deshalb wird nichts über Ihre Website-Struktur irgendwohin gesendet.
Mit diesen die Arbeit abschließen
Diese drei passen ganz natürlich zu diesem Tool. Zudem verlangt keines davon ein Konto.
Robots.txt-Validator
Fügen Sie eine Datei ein und finden Sie heraus, welche Regel für jeden Pfad gewinnt.
Tool öffnen →XML-Sitemap-Generator
Machen Sie aus einer Adressliste die Sitemap, auf die diese Datei zeigt.
Tool öffnen →Canonical-Tag-Generator
Sagen Sie Suchmaschinen, welche Adresse die echte ist.
Tool öffnen →
Bereit für Ihre robots.txt?
Wählen Sie eine Vorlage, passen Sie ein paar Zeilen an und kopieren Sie dann das Ergebnis. Das dauert etwa eine Minute, kostet nichts, und Ihre Pfade verlassen diesen Tab nie.