Warum ein Crawl stoppt oder blockiert wird
Ein kurzer Website Crawler Test zeigt schnell, warum ein Crawl hängt. Diese Anleitung erklärt, wie Sie eine Website crawlen, ohne blockiert zu werden, und wie Sie die häufigsten Probleme im Denwix SEO Crawler lösen. Zu jeder Lösung gibt es ein kurzes Video, denn so sehen Sie die Klicks direkt.
Fast jedes Problem hat eine von drei Ursachen. Zuerst sagt der Server Nein: Eine Firewall antwortet mit 403 oder 429. Dann sieht der Crawler die Links nicht, weil Skripte sie erzeugen oder der Bereich zu eng ist. Schließlich stoppt ein Limit den Crawl, etwa die 1.000 URLs des Free-Plans.
Beginnen Sie deshalb mit dem Symptom. Viele 403-Zeilen deuten auf eine Sperre. Endet der Crawl nach einer Seite, liegt es an der Adresse, an der robots.txt oder am Bereich. Stoppt er genau bei 1.000 URLs, ist das der Free-Plan und kein Fehler. Die folgenden Abschnitte folgen dieser Reihenfolge.
Kurz gesagt: Neu installieren müssen Sie fast nie. Ein oder zwei Einstellungen unter Configuration lösen die meisten Fälle. Und wenn nichts hilft, speichert die App einen Debug-Bericht für unser Support-Team.
Eine Website crawlen, ohne blockiert zu werden
Die Antwort 403 Forbidden bedeutet: Der Server hat die Anfrage verstanden, lehnt sie aber ab. Der Status 403 kommt oft von einer Firewall, einer CDN-Regel oder einem Sicherheits-Plugin. Es sieht viele schnelle Anfragen von einer Adresse und hält sie daher für einen Bot.
Video: 403-Fehler in einem Crawl beheben
Drosseln Sie den Crawl unter Configuration, Speed, und ändern Sie dann den User-Agent oder erlauben Sie den Crawler in der Firewall.
Den Crawl verlangsamen
Öffnen Sie Configuration → Speed. Standardmäßig nutzt der Crawler 6 Threads, 3 pro Host, mit 120 ms Pause zwischen Anfragen an denselben Host. Dieses Tempo passt für die meisten Server. Eine strenge Firewall hält es jedoch für einen Angriff.
Setzen Sie also Max threads per host auf 1 oder 2. Danach erhöhen Sie Delay between requests per host auf 1.000 oder 2.000 ms. Lassen Sie Respect robots.txt crawl-delay aktiviert, denn manche Websites verlangen dort eine Pause. Dann starten Sie den Crawl neu und prüfen die Statuscodes.
User-Agent ändern oder den Crawler erlauben
Der Crawler meldet sich ehrlich als DenwixSEOCrawler/1.0. Manche Firewalls sperren jeden unbekannten Bot allein wegen dieses Namens. Öffnen Sie in dem Fall Configuration → User-Agent und wählen Sie ein anderes Preset, oder tippen Sie eine eigene Zeichenkette ein.
Auf Ihrer eigenen Website ist eine Freigabe die sauberere Lösung. Tragen Sie den User-Agent des Crawlers oder Ihre IP-Adresse in Firewall, CDN oder Sicherheits-Plugin ein. Außerdem verlangt eine Staging-Seite oft ein Passwort. Dafür fügen Sie den Header unter Configuration → HTTP Header hinzu, und der Crawler sendet ihn mit jeder Anfrage.
429 Too Many Requests
Ein 429 ist die höfliche Form desselben Problems: Der Server bittet Sie, langsamer zu werden. Deshalb hilft dieselbe Lösung. Mit weniger Threads und längerer Pause werden aus den 429-Zeilen meist wieder 200er.
Warum der Crawl bei 1.000 URLs stoppt
Ein Crawl, der genau bei 1.000 URLs stoppt, funktioniert wie vorgesehen. Das ist das Limit des Free-Plans, und die App ist nicht defekt. Alles andere im Free-Plan läuft auf diesen 1.000 URLs weiter, also auch der Issues-Tab, die Berichte und die Sitemaps.
Video: Warum der Crawl bei 1.000 URLs stoppt
Sehen Sie alle Limits des Free-Plans unter Licence und prüfen Sie dann die URL-Grenze in Premium.
Um alle Limits nebeneinander zu sehen, öffnen Sie Licence → What the Free Tier Includes. Die Tabelle vergleicht Free mit Premium und Agency, Funktion für Funktion.
Schon Premium?
Premium crawlt ohne URL-Limit. Prüfen Sie trotzdem Configuration → Spider → Limits. Das Feld Total URL limit kann einen alten gespeicherten Wert enthalten, etwa 1.000. Setzen Sie es also auf den Standard von 5.000.000 zurück, dann läuft der Crawl bis zum Ende.
Premium kostet 150 USDT pro Jahr für einen Platz, Agency kostet 399 USDT pro Jahr mit unbegrenzten Plätzen. Beide Pläne finden Sie auf der Seite des Denwix SEO Crawler.
Fehlende Seiten auf einer JavaScript-Website
Manche Websites bauen Menüs und Links mit JavaScript auf. Das rohe HTML enthält dann kaum Links, sodass ein reiner Text-Crawl nur wenige Seiten findet. Google beschreibt denselben Effekt in den Grundlagen zu JavaScript-SEO.
Video: Seiten crawlen, die JavaScript brauchen
Stellen Sie Rendering unter Configuration, Spider, Rendering auf JavaScript. Die Funktion gehört zu Premium und braucht Chrome oder Edge.
Den JavaScript-Modus einschalten
Öffnen Sie Configuration → Spider → Rendering. Es gibt drei Optionen: Text only, JavaScript (when the page needs it) und JavaScript (every page). Beginnen Sie mit der mittleren, denn sie rendert nur Seiten, die Skripte zu brauchen scheinen. Auf diese Weise bleibt der Crawl schnell.
Die Funktion gehört zu Premium. Sie braucht außerdem Chrome oder Microsoft Edge auf Ihrem PC, weil der Crawler einen echten Browser steuert. Folglich ist sie langsamer als ein Text-Crawl. Nutzen Sie sie also nur dort, wo sie nötig ist.
Fehlen trotzdem Inhalte?
Erhöhen Sie den AJAX timeout vom Standard 5.000 ms, wenn eine Seite ihre Daten spät lädt. Zudem können Sie Save a screenshot of each rendered page aktivieren. Danach zeigt der Tab Rendered Page, was der Crawler wirklich gesehen hat.
Wenn der Crawl nur eine Seite findet
Endet ein Crawl nach einer URL, steckt fast immer eine einfache Ursache dahinter. Prüfen Sie diese drei Punkte der Reihe nach, dann geht der Crawl tiefer.
Video: Crawl reparieren, der nur eine Seite findet
Prüfen Sie Adresse, robots.txt-Einstellung und Bereich, und drücken Sie dann erneut Start.
Zuerst die Adresse. Ein Tippfehler, ein fehlendes www oder http statt https führt schnell in eine Sackgasse oder auf eine Fehlerseite. Öffnen Sie die Adresse deshalb im Browser und kopieren Sie sie von dort.
Danach die robots.txt. Sperrt die Datei die ganze Website, bleibt der Crawler bei der Start-URL stehen. Öffnen Sie Configuration → robots.txt. Auf Ihrer eigenen Website können Sie Respect robots.txt abwählen, auf fremden Websites jedoch nicht. Unsere Anleitung zu Seiten, die robots.txt blockiert, erklärt die Datei genau, und der robots.txt-Standard (RFC 9309) nennt die exakten Regeln.
Dann der Bereich. Das Feld neben Start legt fest, wie weit der Crawl gehen darf: ein Host, alle Subdomains, nur der Startordner oder auch externe Links. Leitet example.com auf www.example.com um, stoppt ein Crawl mit einem Host an dieser Weiterleitung. Wählen Sie daher eine weitere Option, etwa Subdomains.
Eine Weiterleitung können Sie vorher mit unserem Redirect Chain Checker verfolgen. Er zeigt jeden Schritt, sodass Sie wissen, auf welchem Host die Website wirklich endet.
Installationswarnungen und die SHA-256-Prüfung
Den kostenlosen Installer gibt es auf der Seite des Denwix SEO Crawler. Er läuft unter Windows 10 und Windows 11 mit 64 Bit. Die Installation braucht keine Administratorrechte, und die App sucht selbst nach Updates.
Video: Crawler installieren und Datei prüfen
Kommen Sie an der SmartScreen-Warnung vorbei und vergleichen Sie den SHA-256-Hash des Installers mit dem auf unserer Seite.
Windows zeigt eventuell ein blaues Fenster: Der Computer wurde durch Windows geschützt. Das liegt daran, dass der Installer noch keine Code-Signatur hat. Klicken Sie dann auf Weitere Informationen und danach auf Trotzdem ausführen.
Prüfen Sie jedoch trotzdem, ob die Datei wirklich von uns stammt. Öffnen Sie PowerShell im Ordner Downloads und führen Sie Get-FileHash für den Installer aus. Anschließend vergleichen Sie das Ergebnis mit dem SHA-256-Hash auf der Produktseite. Stimmen beide überein, wurde die Datei nicht verändert.
Einen Debug-Bericht an den Support senden
Kommen Sie nicht weiter? Die App sammelt, was unser Support-Team braucht, sodass Sie nicht jede Einstellung von Hand beschreiben müssen.
Video: Debug-Bericht für den Support speichern
Öffnen Sie Help, Help and Support für schnelle Lösungen, speichern Sie dann einen Debug-Bericht und schicken Sie ihn uns.
Öffnen Sie zuerst Help → Help & Support. Dort finden Sie schnelle Lösungen und unsere Kontaktdaten. Wählen Sie dann Help → Save Debug Report. Die Datei landet in Ihrem Ordner Downloads.
Der Bericht enthält Ihre Einstellungen und die letzten Logzeilen. Passwörter und Schlüssel werden entfernt, bevor die Datei entsteht. Schicken Sie ihn an admin@denwix.com, und zwar mit einer kurzen Notiz: was Sie gecrawlt haben, was Sie erwartet haben und was stattdessen passiert ist.
Ein Website Crawler Test vor dem großen Crawl
Ein kleiner Website Crawler Test spart auf großen Websites Zeit. Er zeigt eine Sperre oder fehlende Links früh, bevor Sie eine Stunde auf einen Crawl warten, der nirgendwohin führt.
- Prüfen Sie zuerst eine URL mit unserem HTTP Status Code Checker. Ein 403 dort heißt, dass der Server auch einfache Anfragen sperrt.
- Stellen Sie den Bereich auf den Startordner und crawlen Sie nur einen Teil der Website.
- Öffnen Sie den Tab Response Codes. Suchen Sie nach 403-, 429- und 5xx-Zeilen.
- Tauchen sie auf, drosseln Sie den Crawl unter Configuration → Speed.
- Fehlen Seiten, vergleichen Sie die Seite im Browser mit der Sicht des Crawlers und testen Sie dann das JavaScript-Rendering.
- Ist die Stichprobe sauber, erweitern Sie den Bereich und starten den vollen Crawl.
Crawlen Sie außerdem einen gut besuchten Shop oder eine News-Seite zu ruhigen Zeiten. Ihr Crawl konkurriert dann mit weniger Besuchern, und der Server bremst ihn seltener.
Sobald der Crawl läuft, führt unsere Anleitung zum Website Crawler für SEO durch jede Funktion, vom Issues-Tab bis zu Exporten und Sitemaps.
Häufige Fehler
- Mehr Threads für mehr Tempo. Mehr Threads bringen oft mehr 429er, und der Crawl wird am Ende langsamer.
- robots.txt auf fremden Websites abschalten. Tun Sie das nur auf einer Website, für die Sie verantwortlich sind.
- Jede Seite mit JavaScript rendern. Nutzen Sie den Modus „when the page needs it“, außer jede Seite braucht Skripte.
- Den Stopp bei 1.000 URLs für einen Bug halten. Das ist das Limit des Free-Plans, und Licence zeigt es an.
- Ein Host als Bereich, obwohl die Website auf www umleitet. Der Crawl stoppt an der Weiterleitung.
- Die Hash-Prüfung auslassen. Sie kostet einen Befehl und beweist, dass der Installer von uns stammt.
Fragen und Antworten
Warum zeigt mein Crawl so viele 403-Fehler?
Eine Firewall, eine CDN-Regel oder ein Sicherheits-Plugin lehnt die Anfragen ab. Meist reagiert es auf das Tempo. Senken Sie die Threads pro Host und erhöhen Sie die Pause unter Configuration, Speed, dann crawlen Sie erneut.
Wie crawle ich eine Website, ohne blockiert zu werden?
Crawlen Sie langsam, nennen Sie den Crawler ehrlich und beachten Sie die robots.txt. Auf Ihrer eigenen Website geben Sie den User-Agent des Crawlers oder Ihre IP in der Firewall frei.
Welche Tempo-Einstellungen sind für strenge Server sicher?
Versuchen Sie 1 oder 2 Threads pro Host und eine Pause von 1.000 bis 2.000 ms. Das ist langsam, löst aber selten eine Firewall aus. Erhöhen Sie das Tempo wieder, sobald der Crawl sauber läuft.
Welcher User-Agent ist voreingestellt?
Der Crawler sendet DenwixSEOCrawler/1.0 mit einem Link zu unserer Produktseite. Unter Configuration, User-Agent wählen Sie ein anderes Preset oder tippen eine eigene Zeichenkette.
Was bedeutet der Status 429 in einem Crawl?
Er heißt Too Many Requests. Der Server bittet den Crawler, langsamer zu werden. Nutzen Sie daher weniger Threads und längere Pausen, und lassen Sie die crawl-delay-Einstellung der robots.txt aktiv.
Warum stoppt mein Crawl bei 1.000 URLs?
Das ist das Limit des Free-Plans und kein Fehler. Premium und Agency crawlen ohne URL-Limit.
Ich habe Premium, aber der Crawl stoppt trotzdem früh. Warum?
Prüfen Sie Configuration, Spider, Limits. Im Feld Total URL limit steht vielleicht noch ein alter Wert. Setzen Sie es auf 5.000.000 zurück und starten Sie den Crawl neu.
Was kostet Premium?
Premium kostet 150 USDT pro Jahr für einen Platz. Agency kostet 399 USDT pro Jahr mit unbegrenzten Plätzen und White-Label-Berichten.
Warum fehlen Seiten auf meiner JavaScript-Website?
Die Links erscheinen vielleicht erst, nachdem Skripte gelaufen sind. Ein reiner Text-Crawl sieht sie nicht. Schalten Sie das JavaScript-Rendering unter Configuration, Spider, Rendering ein.
Ist das JavaScript-Rendering kostenlos?
Nein. Es ist eine Premium-Funktion und braucht außerdem Chrome oder Microsoft Edge auf Ihrem PC.
Warum ist ein JavaScript-Crawl langsamer?
Der Crawler lädt jede Seite in einem echten Browser und wartet auf die Skripte. Das dauert viel länger als das Lesen des rohen HTML. Rendern Sie also nur die Seiten, die es brauchen.
Warum findet mein Crawl nur eine Seite?
Meist stimmt die Adresse nicht, die robots.txt sperrt die Website oder der Bereich ist für eine Weiterleitung zu eng. Prüfen Sie diese drei Punkte der Reihe nach.
Darf ich die robots.txt ignorieren?
Nur auf einer Website, für die Sie verantwortlich sind. Wählen Sie dann Respect robots.txt unter Configuration, robots.txt ab. Auf anderen Websites bleibt die Option aktiv.
Welchen Bereich soll ich wählen?
Ein Host passt für einfache Websites. Subdomains wählen Sie, wenn die Website auf www umleitet oder weitere Subdomains nutzt. Den Startordner wählen Sie für nur einen Teil.
Warum meldet Windows, dass es meinen PC geschützt hat?
Der Installer hat noch keine Code-Signatur, daher kennt SmartScreen ihn nicht. Klicken Sie auf Weitere Informationen und dann auf Trotzdem ausführen, nachdem Sie den Hash geprüft haben.
Wie prüfe ich den SHA-256-Hash des Installers?
Führen Sie in PowerShell Get-FileHash für den Installer aus. Vergleichen Sie dann das Ergebnis mit dem Hash auf der Seite des Denwix SEO Crawler. Beide müssen genau übereinstimmen.
Braucht die Installation Administratorrechte?
Nein. Der Crawler installiert sich nur für Ihr Windows-Benutzerkonto, deshalb erscheint keine Admin-Abfrage.
Aktualisiert sich die App selbst?
Sie sucht selbst nach Updates und meldet sich, sobald eine neue Version bereitsteht.
Was steht in einem Debug-Bericht?
Ihre Einstellungen und die letzten Logzeilen. Passwörter und Schlüssel werden entfernt, bevor die Datei im Ordner Downloads landet.
Wohin schicke ich den Debug-Bericht?
Senden Sie ihn an admin@denwix.com mit einer kurzen Notiz zum Ablauf. Dann finden wir die Ursache schneller.
Wie mache ich einen Website Crawler Test vor dem vollen Crawl?
Prüfen Sie zuerst eine URL und crawlen Sie dann einen Ordner. Achten Sie auf 403-, 429- und 5xx-Zeilen. Ist die Stichprobe sauber, erweitern Sie den Bereich.
Kann der Crawler einen Proxy nutzen?
Ja. Configuration, Proxy leitet die Anfragen über einen HTTP-Proxy. Nutzen Sie das, wenn Ihr Netzwerk einen verlangt.