Was „durch robots.txt blockiert“ bedeutet
Die Search Console meldet, dass einige Seiten durch robots.txt blockiert sind. Das heißt, Ihre robots.txt bittet Google, diese Seiten nicht zu crawlen. Deshalb kann Google sie nicht lesen, und sie erscheinen kaum in der Suche.
Manchmal ist das genau gewollt, etwa für einen Warenkorb oder einen Admin-Bereich. Listet der Bericht aber Ihre Startseite, Ihren Shop oder Ihre Artikel, stimmt etwas mit der Datei nicht.
Schritt 1: Die sperrende Zeile finden
Öffnen Sie die robots.txt Ihrer Website. Sie liegt immer im Hauptverzeichnis, zum Beispiel https://example.com/robots.txt. In unserer Demo enthielt sie nur zwei Zeilen:
User-agent: *
Disallow: /Diese zwei Zeilen sperren die ganze Website für jeden Crawler. Fügen Sie die Datei danach in unseren kostenlosen Robots.txt Validator ein und testen Sie einige Adressen. Er zeigt, welche Regel jede Seite sperrt, sodass Sie den Fehler sofort sehen.
Woher diese Zeile kommt
Fast immer ist sie ein Rest einer Testseite, auf der das Sperren von allem sinnvoll war. Als die Website live ging, kam die Datei also einfach mit.
Schritt 2: Die Datei reparieren
Ersetzen Sie die sperrende Zeile. Sperren Sie nur, was aus der Suche bleiben muss, etwa Warenkorb und Kasse, und fügen Sie die Adresse Ihrer Sitemap hinzu:
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xmlSpeichern Sie die Datei im Hosting-Panel oder laden Sie sie per FTP hoch. Öffnen Sie dann die Live-Datei im Browser, um die neuen Regeln zu prüfen.
Lassen Sie den Validator erneut laufen. In unserer Demo waren Startseite, Shop und Über-uns-Seite danach erlaubt, und der Warenkorb blieb wie geplant gesperrt.
robots.txt Beispiele
Nutzen Sie diese als Ausgangspunkt und testen Sie sie danach mit dem Validator. Außerdem kann unser Robots.txt Generator die Datei für Sie erstellen.
Alles erlauben
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xmlEine typische WordPress-Website
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xmlEinen Ordner für einen Crawler sperren
User-agent: Googlebot-Image
Disallow: /private-photos/Wie Google die Regeln liest
Google folgt der Gruppe für seinen eigenen User-Agent oder, falls keine da ist, der Gruppe *. Innerhalb einer Gruppe gewinnt die genaueste Regel. Daher schlägt Allow: /wp-admin/admin-ajax.php für diese Datei Disallow: /wp-admin/.
robots.txt ist kein noindex
Oft verwechselt: robots.txt stoppt das Crawlen, nicht das Indexieren. Verlinken andere Websites eine gesperrte Seite, kann Google die Adresse trotzdem zeigen, nur ohne Beschreibung.
Um eine Seite aus Google herauszuhalten, nutzen Sie stattdessen ein noindex-Meta-Tag. Lassen Sie Google die Seite aber crawlen, damit es das Tag sieht. Sperren Sie also nie eine Seite in der robots.txt und setzen gleichzeitig noindex.
Schritt 3: Google neu crawlen lassen
Öffnen Sie schließlich die Google Search Console. Öffnen Sie im Bericht zur Seitenindexierung die Gruppe „Durch robots.txt blockiert“ und klicken Sie auf Fehlerbehebung prüfen. Dann crawlt Google diese Seiten erneut.
Die Prüfung kann einige Tage bis Wochen dauern. Währenddessen können Sie mit der URL-Prüfung Ihre wichtigste Seite testen und die Indexierung beantragen.
WordPress und Testseiten
WordPress hat unter Einstellungen, Lesen die Option „Suchmaschinen davon abhalten, diese Website zu indexieren“. Auf einer Testseite ist sie nützlich. Bleibt sie nach dem Start jedoch aktiv, bittet Ihre Live-Website die Suchmaschinen fernzubleiben.
Prüfen Sie deshalb nach jedem Start oder Umzug dieses Häkchen, die robots.txt und die Meta-Robots-Tags. Eine kurze Checkliste spart Wochen an verlorenem Traffic.
Häufige Fehler
Disallow: /von einer Testseite nach dem Start behalten.- CSS- und JavaScript-Ordner sperren, sodass Google die Seite nicht darstellen kann.
- Mit robots.txt eine Seite verstecken, die noindex nutzen sollte.
- Den Schrägstrich am Ende vergessen, sodass
Disallow: /blogauch /blog-tips/ sperrt. - Die robots.txt in einen Unterordner legen; sie wirkt nur im Hauptverzeichnis.
Kurz gesagt: die sperrende Zeile finden, nur Privates sperren und Google neu crawlen lassen. Jede Regel im Detail erklärt der Google-Leitfaden zu robots.txt.
Fragen und Antworten
Was bedeutet „durch robots.txt blockiert“?
Ihre robots.txt bittet Google, diese Seiten nicht zu crawlen, daher kann Google sie nicht lesen und zeigt sie kaum an.
Wie behebe ich durch robots.txt blockierte Seiten?
Finden Sie die passende Disallow-Zeile, entfernen oder verengen Sie sie, speichern Sie die Datei und klicken Sie dann in der Search Console auf Fehlerbehebung prüfen.
Wo liegt meine robots.txt?
Im Hauptverzeichnis Ihrer Domain, etwa https://example.com/robots.txt. Unterordner zählen nicht.
Wie teste ich meine robots.txt?
Fügen Sie sie in unseren kostenlosen Robots.txt Validator ein und testen Sie die wichtigen Adressen. Er zeigt also, welche Regel jede erlaubt oder sperrt.
Entfernt robots.txt eine Seite aus Google?
Nein, denn sie stoppt das Crawlen, nicht das Indexieren. Nutzen Sie ein noindex-Tag und lassen Sie Google die Seite crawlen.
Warum indexiert Google eine durch robots.txt blockierte Seite?
Weil andere Websites sie verlinken und Google die Adresse kennt. Google zeigt sie ohne Beschreibung, denn es kann die Seite nicht lesen.
Was bewirkt Disallow: /?
Es sperrt die ganze Website für die Crawler dieser Gruppe. Auf einer Live-Website ist das fast immer ein Fehler.
Welche robots.txt ist gut für WordPress?
Sperren Sie /wp-admin/, erlauben Sie /wp-admin/admin-ajax.php und ergänzen Sie die Sitemap-Zeile. Sperren Sie außerdem kein CSS und kein JavaScript.
Soll ich CSS und JavaScript sperren?
Nein, denn Google braucht sie, um die Seite darzustellen und Layout und Mobilansicht zu bewerten.
Wie lange dauert es, bis Google neu crawlt?
Oft ein paar Tage. Die Prüfung in der Search Console kann bei vielen Seiten einige Wochen dauern.
Was ist die Allow-Anweisung?
Sie lässt einen Crawler einen Pfad in einem gesperrten Ordner erreichen. Dabei gewinnt die genaueste Regel.
Kann ich KI-Crawler in der robots.txt sperren?
Ja, indem Sie ihren User-Agent nennen, etwa GPTBot, mit Disallow: /. Seriöse Crawler halten sich daran.
Schützt robots.txt private Dateien?
Nein, denn sie ist öffentlich und nur eine Bitte. Schützen Sie private Dateien mit einem Passwort.
Was ist die Sitemap-Zeile in der robots.txt?
Eine Zeile wie Sitemap: https://example.com/sitemap.xml, die Crawlern zeigt, wo Ihre Sitemap liegt.
Beeinflusst die WordPress-Option zum Abhalten von Suchmaschinen die robots.txt?
Ja, denn sie setzt ein noindex-Signal und kann die virtuelle robots.txt ändern. Schalten Sie sie nach dem Start aus.
Unterscheidet robots.txt Groß- und Kleinschreibung?
Bei Pfaden ja. Disallow: /Blog/ sperrt /blog/ nicht, also achten Sie auf die Schreibweise Ihrer URLs.
Was passiert ohne robots.txt?
Crawler behandeln die ganze Website als erlaubt. Für die meisten kleinen Websites ist das in Ordnung.
Kann eine schlechte robots.txt meine Rankings senken?
Ja. Sperrt sie wichtige Seiten, kann Google sie nicht lesen, und sie fallen mit der Zeit aus der Suche.
Wie erstelle ich eine robots.txt?
Nutzen Sie unseren kostenlosen Robots.txt Generator und laden Sie die Datei dann ins Hauptverzeichnis hoch.
Liest der SEO Checker die robots.txt?
Ja. Unser SEO Checker zeigt Ihre robots.txt und warnt, wenn sie die getestete Seite sperrt.