Website Crawler SEO: was das Programm macht
Beim Thema Website Crawler SEO geht es um eine einfache Idee: Ein Programm besucht jede Seite einer Website, so wie es der Bot einer Suchmaschine tut. Es folgt den Links, liest jede Seite und notiert, was es findet: Statuscodes, Titel, Überschriften, Bilder, Weiterleitungen und mehr. Danach zeigt es, was Sie beheben sollten.
Diese Anleitung behandelt den Denwix SEO Crawler, unseren Desktop-Crawler für Windows. Zu jedem Abschnitt gibt es ein kurzes Video, sodass Sie jede Funktion in Aktion sehen. Der Free-Plan deckt bis zu 1.000 URLs pro Crawl ab, und die meisten Funktionen unten laufen damit.
Die App hat 33 Audit-Tabs und 448 Filter. Das klingt nach viel. Für den Anfang brauchen Sie jedoch nur wenige davon, und diese Anleitung zeigt sie zuerst. Danach geht es um Exporte, Sitemaps und die Extras von Premium.
So crawlen Sie eine Website: der erste Crawl
So crawlen Sie eine Website in vier Schritten. Zuerst tippen Sie die Adresse in die Leiste oben. Dann wählen Sie den Bereich: ein Host, alle Subdomains, nur der Startordner oder auch externe Links.
Video: Ihr erster Crawl
Adresse eingeben, Bereich wählen, Start drücken und dann Tabs, Filter und den unteren Bereich lesen.
Danach drücken Sie Start. Die Seiten erscheinen im Raster, sobald der Crawler sie findet, und die Statusleiste zeigt den Fortschritt. Sie müssen also nicht bis zum Ende warten, um sich umzusehen.
Die Ergebnisse lesen
Dann klicken Sie links auf einen Tab, etwa Page titles. Dann nutzen Sie die Filterliste über dem Raster, zum Beispiel für fehlende oder doppelte Titel.
Eine URL im Detail ansehen
Schließlich klicken Sie auf eine beliebige Zeile. Der untere Bereich zeigt dann alles zu dieser URL: eingehende und ausgehende Links, Header, Bilder und mehr.
Stoppt der Crawl zu früh oder wird er blockiert, hilft unser Website Crawler Test und Fehlerratgeber mit einer Lösung für jede häufige Ursache.
Jede URL mit der Suche finden
Auf großen Websites ist Scrollen mühsam. Deshalb filtert das Suchfeld über dem Raster die sichtbaren Zeilen, und zwar auf jedem Tab.
Video: das Raster durchsuchen und filtern
Mit dem Schrägstrich zur Suche springen, Wörter suchen, eine Spalte durchsuchen und Zeilen mit einem Minus ausblenden.
Zuerst drücken Sie /, um direkt ins Feld zu springen. Tippen Sie einige Wörter, dann sehen Sie die Zeilen, die alle davon enthalten. Dann setzen Sie einen Spaltennamen davor, um nur diese Spalte zu durchsuchen, etwa title:pricing. Auch Zahlen funktionieren, zum Beispiel words:>500.
Ein Minuszeichen blendet Zeilen aus, also entfernt -draft jede Zeile mit diesem Wort. Und wenn Sie einen Trick vergessen, drücken Sie ?. Dann sehen Sie alle Tastenkürzel der App.
Aktionen per Rechtsklick
Ein Rechtsklick auf eine Zeile zeigt alles, was Sie mit dieser URL tun können. Das spart Ihnen nämlich den Weg durch die Menüs.
Video: Rechtsklick auf Zeile oder Spalte
Eine URL kopieren, öffnen, neu crawlen, prüfen oder ausschließen sowie eine Spalte sortieren, ausblenden oder kopieren.
Sie können die URL oder die ganze Zeile kopieren, die Seite im Browser öffnen oder sie mit Re-Spider erneut abrufen. Re-Spider ist praktisch nach einer Korrektur, denn so prüfen Sie eine Seite, ohne den ganzen Crawl zu wiederholen.
Dasselbe Menü prüft außerdem den Indexstatus einer URL, validiert sie oder schließt sie von künftigen Crawls aus. Zudem sortieren, verbergen oder kopieren Sie eine Spalte per Rechtsklick auf ihren Kopf.
URLs ein- und ausschließen
Manchmal wollen Sie nur einen Teil einer Website crawlen oder Seiten ohne Nutzen überspringen, etwa Tag-Archive. Dafür gibt es Include und Exclude.
Video: nur die URLs crawlen, die Sie brauchen
Fügen Sie unter Exclude oder Include einen regulären Ausdruck pro Zeile hinzu. Passt eine URL zu beiden, wird sie übersprungen.
Öffnen Sie Configuration → Include / Exclude. Dann tragen Sie einen regulären Ausdruck pro Zeile ein. Diese Exclude-Zeile überspringt zum Beispiel jede Tag-Seite:
/tag/Include funktioniert umgekehrt: Nur passende URLs werden gecrawlt. Also hält /blog/ unter Include den Crawl im Blog. Passt eine URL zu beiden Listen, gewinnt Exclude, und die URL wird übersprungen.
Der Issues-Tab
Im Issues-Tab beginnt das eigentliche Audit. Der Crawler ermittelt die Probleme erst am Ende des Crawls, deshalb starten Sie zuerst einen Crawl.
Video: den Issues-Tab lesen
Fehler, Warnungen und Hinweise mit der Zahl der URLs sehen und ein Problem für Bedeutung und Lösung öffnen.
Der Tab listet Fehler, Warnungen und Hinweise, jeweils mit der Zahl betroffener URLs. Klicken Sie auf ein Problem, dann sehen Sie, was es bedeutet, wie Sie es beheben und welche URLs es trifft. Die Zeile oben sagt Ihnen, wo Sie anfangen, sodass Sie die größten Probleme zuerst lösen.
Für eine einzelne Seite können Sie auch unseren kostenlosen SEO Checker im Browser nutzen. Der Crawler macht dabei ähnliche Prüfungen, aber für die ganze Website auf einmal.
Visualisierungen
Visualisierungen machen aus Ihrem Crawl Bilder Ihrer Website. So werden Strukturprobleme sichtbar, auch für Kunden, die nie eine Tabelle öffnen.
Video: die Website als Grafik sehen
Crawl Tree Graph und Force-Directed-Diagramm erkunden, Knoten einfärben und das Bild speichern.
Der Crawl Tree Graph zeigt, wie der Crawler jede Seite erreicht hat. Scrollen Sie zum Zoomen und ziehen Sie zum Verschieben. Das Force-Directed-Diagramm zeigt dieselben Links als Netz, sodass tiefe und schwach verlinkte Seiten auffallen.
Außerdem können Sie die Knoten nach Status oder Tiefe einfärben. Danach speichern Sie das Bild als SVG, PNG oder HTML für einen Bericht.
Daten und Berichte exportieren
Ist der Crawl fertig? Dann holen Sie die Daten heraus, um sie zu teilen oder in einer Tabelle zu bearbeiten.
Video: Daten und Berichte exportieren
Einen Tab als CSV exportieren, Bulk-Export-Sets nutzen oder einen Bericht als PDF, HTML, JSON oder CSV erstellen.
Öffnen Sie einen Tab und drücken Sie Export, um ihn als CSV-Datei zu speichern. Bulk Export bietet fertige Sets für Links, Bilder, Probleme und mehr, dazu den aktuellen Tab oder Filter. Übrigens enthält der Free-Plan über 30 Basis-Exporte, und Premium schaltet alle frei.
Schließlich erstellt das Menü Reports ein PDF-Audit, einen HTML-Bericht oder einen JSON- oder CSV-Export. Ein PDF lässt sich Kunden oft am leichtesten schicken.
XML-Sitemaps erstellen und prüfen
Nach einem Crawl kann der Crawler Ihre XML-Sitemap aus den gefundenen Seiten bauen.
Video: Sitemaps erstellen und prüfen
Aus dem Crawl eine XML- oder Bild-Sitemap erstellen oder die vorhandene Sitemap prüfen.
Öffnen Sie Sitemaps → XML Sitemap. Sie bekommen die Datei, und auf Ihren Server wird nichts geschrieben. Daher laden Sie sie selbst dorthin hoch, wo Sie sie brauchen. Image Sitemap macht zudem dasselbe für Bilder.
Haben Sie schon eine Sitemap? Dann prüft Audit Published Sitemap sie gegen den Crawl. Für eine schnelle Sitemap ohne App funktioniert unser XML Sitemap Generator im Browser.
Gespeicherte Crawls und Crawl-Dateien
Jeder Crawl wird auf Ihrem PC gespeichert, sodass Sie ihn jederzeit wieder öffnen können. Nichts landet in einem Cloud-Konto.
Video: Crawls öffnen, umbenennen und verschieben
Gespeicherte Crawls unter File, Crawls verwalten und einen ganzen Crawl als eine Datei auf einen anderen PC bringen.
Öffnen Sie File → Crawls, um einen gespeicherten Crawl zu öffnen, umzubenennen, zu exportieren oder zu löschen. Außerdem speichert Export Crawl File einen ganzen Crawl als eine Datei. Auf einem anderen Rechner öffnen Sie ihn mit Import Crawl File, etwa um ihn einem Kollegen zu geben.
KI- und Google-Integrationen
Premium kann Ihre Crawls um KI- und Google-Daten ergänzen. Sie nutzen dafür eigene Schlüssel, also zahlen Sie den Anbieter direkt und behalten die Kosten im Griff.
Video: KI- und Google-Schlüssel verbinden
Einen KI-Schlüssel sowie Ihre Schlüssel für PageSpeed Insights und das Google-Dienstkonto hinzufügen.
Öffnen Sie Configuration → AI Integrations. Wählen Sie OpenAI, Anthropic, Gemini oder einen kompatiblen Dienst und fügen Sie Ihren Schlüssel ein. Danach tragen Sie unter API Access einen Schlüssel für PageSpeed Insights und einen Google-Dienstkonto-Schlüssel für Search Console und GA4 ein.
Ihre Schlüssel bleiben dabei auf diesem Rechner. Sie gehen nur an den gewählten Dienst und nie an uns.
White-Label-Berichte
Agenturen können ihre eigene Marke auf die Audit-Berichte setzen, sodass Kunden die Agentur sehen und nicht uns.
Video: Berichte mit Ihrer Marke
Agenturname, Logo, Farbe und Kontaktzeile unter Reports, White-label Report Settings eintragen.
Öffnen Sie Reports → White-label Report Settings. Dann tragen Sie Agenturname, Logo, Farbe und Kontaktzeile ein. Danach tragen die PDF- und HTML-Berichte kein Denwix-Branding mehr. White-Label-Berichte gehören zum Agency-Plan.
Free, Premium und Agency
Der Free-Plan crawlt bis zu 1.000 URLs, ohne Grenze bei der Zahl der Crawls. Premium kostet 150 USDT pro Jahr und hebt das URL-Limit auf. Zudem bringt es JavaScript-Rendering, alle Bulk-Exporte und die KI- und Google-Integrationen. Agency kostet 399 USDT pro Jahr, mit unbegrenzten Plätzen und White-Label-Berichten.
Video: auf Premium oder Agency wechseln
Einen Plan in der App wählen, in USDT oder mit Binance Pay zahlen, und die App aktiviert sich selbst.
Zum Upgrade klicken Sie oben rechts auf Free — Upgrade und wählen Premium oder Agency. Dann klicken Sie auf Continue to payment, und die Bestellseite öffnet sich im Browser. Zahlen Sie in USDT oder mit Binance Pay, fügen Sie die Transaktions-ID ein und kehren Sie zurück. Danach aktiviert sich die App selbst, meist innerhalb weniger Minuten.
Haben Sie schon einen Schlüssel? Öffnen Sie Licence → Enter Licence Key und fügen Sie ihn ein.
Den richtigen SEO Crawler wählen
Beim Thema Website Crawler SEO gibt es zwei Arten von Werkzeugen. Cloud-Crawler laufen auf fremden Servern und speichern Ihre Daten dort. Desktop-Crawler wie unserer laufen jedoch auf Ihrem eigenen PC. Folglich bleiben Ihre Crawl-Daten bei Ihnen, und große Crawls kosten keine Credits.
Stellen Sie sich daher vor der Wahl ein paar Fragen. Wie viele URLs hat Ihre größte Website? Brauchen Sie JavaScript-Rendering? Sehen Kunden die Berichte? Und brauchen Sie ihn unter Windows, Mac oder beidem? Der Denwix SEO Crawler läuft nur unter Windows 10 und 11 mit 64 Bit.
Der einfachste Test ist ein echter. Installieren Sie also die Gratisversion, crawlen Sie Ihre eigene Website und lesen Sie den Issues-Tab. Ergeben die vorgeschlagenen Lösungen für Sie Sinn, passt der SEO Website Crawler zu Ihnen.
Fragen und Antworten
Was leistet ein Website Crawler SEO-Tool?
Er besucht jede Seite einer Website, folgt den Links und notiert Statuscodes, Titel, Überschriften, Bilder und Weiterleitungen. Danach listet er die gefundenen Probleme auf.
Wie crawle ich eine Website mit dem Denwix SEO Crawler?
Adresse eingeben, Bereich wählen und Start drücken. Die Seiten erscheinen im Raster, während der Crawl läuft.
Welchen Bereich wähle ich für den ersten Crawl?
Ein Host passt für die meisten Websites. Wählen Sie jedoch Subdomains, wenn die Website auf www umleitet oder weitere Subdomains nutzt.
Kann ich Ergebnisse vor dem Ende des Crawls ansehen?
Ja. Das Raster füllt sich live, daher können Sie Tabs und Zeilen schon während des Crawls öffnen. Der Issues-Tab füllt sich jedoch erst am Ende.
Wie durchsuche ich nur eine Spalte?
Tippen Sie den Spaltennamen, einen Doppelpunkt und das Wort, etwa title:pricing. Ein Minus vor einem Wort blendet Zeilen damit aus.
Welches Tastenkürzel öffnet die Suche?
Drücken Sie irgendwo den Schrägstrich. Die Fragezeichen-Taste zeigt alle Kürzel.
Was macht Re-Spider?
Es ruft eine einzelne URL erneut ab. Nutzen Sie es nach einer Korrektur, denn so prüfen Sie diese, ohne den ganzen Crawl zu wiederholen.
Wie überspringe ich Tag-Seiten oder andere Bereiche?
Tragen Sie einen regulären Ausdruck wie /tag/ unter Configuration, Include / Exclude, Exclude ein. Ein Muster pro Zeile.
Was passiert, wenn eine URL zu Include und Exclude passt?
Exclude gewinnt, und die URL wird übersprungen.
Warum ist der Issues-Tab leer?
Die Probleme werden am Ende eines Crawls ermittelt. Lassen Sie den Crawl fertig laufen oder stoppen Sie ihn, dann füllt sich der Tab.
Kann ich eine Visualisierung speichern?
Ja. Speichern Sie den Crawl Tree Graph oder das Force-Directed-Diagramm als SVG, PNG oder HTML.
Welche Dateiformate kann ich exportieren?
Tabs exportieren Sie als CSV. Das Menü Reports erstellt PDF- und HTML-Berichte sowie JSON- oder CSV-Exporte.
Verändert das Sitemap-Werkzeug meinen Server?
Nein. Sie bekommen die XML-Datei, und auf den Server wird nichts geschrieben. Hochladen tun Sie sie also selbst.
Wo liegen meine Crawls?
Auf Ihrem PC. Öffnen Sie sie unter File, Crawls wieder, oder bringen Sie einen mit Export Crawl File und Import Crawl File auf einen anderen Rechner.
Welche KI-Dienste kann ich verbinden?
OpenAI, Anthropic, Gemini oder einen kompatiblen Dienst. Sie fügen Ihren eigenen Schlüssel ein, und die Funktion gehört zu Premium.
Werden meine API-Schlüssel an Denwix gesendet?
Nein. Die Schlüssel bleiben auf Ihrem Rechner und gehen nur an den gewählten Dienst.
Kann ich Search Console und GA4 verbinden?
Ja, mit Premium. Fügen Sie einen Google-Dienstkonto-Schlüssel unter Configuration, AI Integrations, API Access hinzu.
Welcher Plan enthält White-Label-Berichte?
Der Agency-Plan, für 399 USDT pro Jahr mit unbegrenzten Plätzen.
Wie bezahle ich Premium?
Klicken Sie oben rechts auf die Plan-Schaltfläche, wählen Sie einen Plan und zahlen Sie in USDT oder mit Binance Pay. Danach aktiviert sich die App selbst, meist innerhalb weniger Minuten.
Gibt es ein Limit für die Zahl der Crawls?
Nein. Jeder Plan, auch Free, hat unbegrenzte Crawls. Der Free-Plan begrenzt jeden Crawl auf 1.000 URLs.
Läuft der Crawler auf dem Mac?
Noch nicht. Er läuft unter Windows 10 und Windows 11 mit 64 Bit.
Wie unterscheiden sich Desktop- und Cloud-Crawler?
Ein Desktop-Crawler läuft auf Ihrem PC und behält die Daten dort. Ein Cloud-Crawler läuft auf entfernten Servern und berechnet oft pro Crawl oder pro Seite.