Denwix SEO Crawler:
Website Crawler für Windows

Was unser Website Crawler macht

Unser Website Crawler crawlt Ihre Website ähnlich wie der Bot einer Suchmaschine. Sie geben die URL Ihrer Startseite ein, und er folgt jedem Link, den er findet. Dabei notiert er für jede URL den Statuscode, den Seitentitel, die Überschriften und viele weitere Daten. So sehen Sie Ihre ganze Website so, wie Google sie sieht, in einer einzigen Tabelle.

Die meisten SEO-Tools prüfen nur eine Seite Ihrer Website. Ein Crawler prüft dagegen jede Seite und zeigt, wie sie miteinander verlinkt sind. Damit finden Sie den defekten Link auf Seite 400, eine unbemerkte Weiterleitung oder eine Seite ohne eingehende Links.

Diese Prüfungen macht der Website Crawler auf jeder Seite

Die kostenlose Version und die bezahlten Pläne nutzen dasselbe Audit. Daher ist das einzige Limit von Free die Zahl der URLs pro Crawl. Der Website Crawler prüft Folgendes:

• Statuscodes: Antworten mit 2xx, 3xx, 4xx und 5xx, Timeouts und gesperrte URLs.
• Weiterleitungen: jeder Schritt einer Kette, Schleifen sowie 301 gegenüber 302.
• Seitentitel und Meta-Beschreibungen: fehlend, doppelt, zu lang oder zu kurz.
• Überschriften: fehlende oder doppelte H1-Tags und übersprungene Ebenen.
• Canonicals und Indexierung: Canonical-Tags, Meta Robots, X-Robots-Tag und ihre Konflikte untereinander.
• Bilder: fehlender, leerer oder zu langer Alt-Text.
• Inhalt: Wortzahl, dünne Seiten und fast doppelte Seiten.
• Links: Crawl-Tiefe, Inlinks, verwaiste Seiten und interner PageRank.
• Strukturierte Daten: JSON-LD, das sich nicht lesen lässt oder dem Pflichtfelder fehlen.

Von der Fehlerliste zum Fix-Plan

Eine Liste mit 2.000 Problemen ist schwer zu bewältigen. Deshalb erstellt der Crawler zusätzlich einen Fix-Plan. Er fasst die Probleme in Gruppen zusammen und ordnet jedes nach seiner Wirkung auf die Website und dem Aufwand der Korrektur. Dann erklärt er jedes Problem in klaren Worten: was es ist, warum es zählt und wie Sie es lösen.

Sie exportieren den Plan als HTML-Bericht, als JSON-Datei oder als PDF-Audit-Bericht. Für das PDF brauchen Sie jedoch Chrome oder Edge auf Ihrem Computer. Fehlen beide, erstellt die App eine Seite, die Sie drucken können.

Das KI-Such-Audit in unserer SEO Spider Software

KI-Suchdienste wie ChatGPT Search und Perplexity lesen das Web mit eigenen Bots. Sperrt Ihre robots.txt diese Bots, können KI-Antworten Ihre Seiten weder zitieren noch nennen. Deshalb liest der Crawler Ihre robots.txt so, wie es der robots.txt-Standard (RFC 9309) beschreibt. Danach meldet er den Status aller 34 bekannten KI-Bots.

Als Nächstes prüft er Ihre llms.txt, die Content-Signal-Zeilen, die Cloudflare in die robots.txt schreibt, und Ihre strukturierten Daten. Außerdem bewertet er jede Seite danach, wie leicht sich ihr Haupttext zitieren lässt. All das ist einfaches Parsing. Der Crawler ruft keinen KI-Dienst auf, und keine Ihrer Dateien verlässt Ihren Computer.

Trainings-Bots und Such-Bots

KI-Bots haben verschiedene Aufgaben. Manche sammeln zum Beispiel Text, um Modelle zu trainieren, während andere Seiten abrufen, um eine Frage sofort zu beantworten. Einen Trainings-Bot zu sperren, kann eine faire Entscheidung sein. Sperren Sie jedoch einen Such-Bot, verschwinden Ihre Seiten aus KI-Antworten. Das Audit listet Trainings-Bots und Such-Bots getrennt auf. Also wissen Sie, ob jede Sperre gewollt war und ob sie Sie Besucher kosten kann.

Seiten, die JavaScript für ihren Text brauchen

Viele KI-Bots können kein JavaScript ausführen. Lädt also der Großteil Ihres Inhalts über ein Skript, sehen diese Bots eine leere Seite. Der Crawler vergleicht das rohe HTML jeder Seite mit dem, was ein Nutzer im Browser sieht. Dann markiert er die Seiten, die ein Problem haben könnten. Der Googlebot rendert Skripte durchaus mit. Trotzdem erklärt sein Leitfaden JavaScript SEO basics, warum serverseitiges HTML die sicherste Wahl ist.

So funktioniert der Offline-Lizenzschlüssel

Denwix signiert jeden Lizenzschlüssel mit einem privaten Ed25519-Schlüssel, den nur Denwix besitzt. Den zugehörigen Public Key bringt Denwix SEO Crawler bereits mit. Dadurch prüft die App Ihren Schlüssel bei jedem Start auf Ihrem Computer. Dafür braucht sie keine Anmeldung, kein Konto und keinen Kontakt zu einem fremden Server.

Sie können eine Lizenz auch direkt in der App kaufen. Die App öffnet dann diese Seite mit einem einmaligen Claim-Code. Sobald Sie bezahlt haben und die Zahlung durch ist, holt die App ihren Schlüssel selbst ab. Zudem schicken wir Ihnen den Schlüssel per E-Mail, damit Sie ihn später auf einem anderen Computer einfügen können.

Welche Daten Ihren Rechner verlassen und wohin

Abgesehen von den Websites, die Sie crawlen, kontaktiert die App denwix.com nur aus zwei Gründen. Zuerst sucht sie beim Öffnen einmal am Tag nach Updates. Nach einem Kauf fragt sie dann, ob der Schlüssel zu Ihrem Claim-Code bereit ist. Die App verfolgt Sie nicht und sammelt keine Telemetrie.

Einige Premium-Funktionen nutzen externe Dienste wie PageSpeed Insights oder ein KI-Modell. Jede Anfrage geht direkt von Ihrem Computer an diesen Dienst, und keine läuft über Denwix. Außerdem bleiben die KI-Funktionen aus, bis Sie Ihren eigenen API-Schlüssel eintragen.

Ein schlanker Website Crawler ohne Zusatzpakete

Wir haben die Engine auf Node.js gebaut, ohne ein einziges externes npm-Paket. Sie nutzt nur, was Node.js selbst mitbringt, etwa die eingebaute SQLite-Datenbank und fetch. Daher brauchen Sie weder Java noch Docker noch Bibliotheken Dritter, die ein Angreifer gegen schädlichen Code tauschen könnte.

Die App speichert Ihre Crawl-Daten in einer Datenbankdatei in Ihrem Windows-Benutzerprofil. Dadurch können Sie Crawls jederzeit löschen, umbenennen, exportieren oder importieren. Und weil dieser Website Crawler auf Ihrem eigenen Computer läuft, crawlt er auch Staging-Websites und Seiten hinter einer Firewall.

Systemanforderungen und Installation

Die App braucht Windows 10 mit 64 Bit (ab Version 1809) oder Windows 11. Für JavaScript-Rendering, Screenshots und den PDF-Bericht brauchen Sie zudem Google Chrome oder Microsoft Edge, und die meisten PCs haben einen davon. Crawlen Sie Hunderttausende URLs, dann schließen Sie vorher andere speicherhungrige Apps.

Beim ersten Start des Installers zeigt Windows SmartScreen eventuell die Meldung "Der Computer wurde durch Windows geschützt". Das passiert, weil der Installer noch keine Code-Signatur hat. Öffnen Sie im blauen SmartScreen-Fenster Weitere Informationen; danach erscheint die Schaltfläche Trotzdem ausführen. Die App installiert sich in Ihr eigenes Benutzerprofil, deshalb brauchen Sie keine Administratorrechte.

Den Installer mit SHA-256 prüfen

Da die Datei keine Code-Signatur hat, können Sie sie selbst prüfen. Der Download-Bereich oben auf dieser Seite zeigt den SHA-256-Hash des neuesten Installers. Führen Sie in der Eingabeaufforderung die dort gezeigte certutil-Zeile aus und vergleichen Sie die beiden Hashes. Weicht auch nur ein Zeichen ab, starten Sie die Datei nicht.

Im Vergleich mit anderer SEO Spider Software

Screaming Frog SEO Spider ist das bekannteste Tool dieser Art, doch seine kostenlose Version stoppt bei 500 URLs. Unsere kostenlose Version crawlt bis zu 1.000 URLs. Außerdem enthält jeder Plan das KI-Such-Audit, die llms.txt-Prüfung und einen Fix-Plan.

Fairerweise muss man sagen: Screaming Frog gibt es schon sehr lange. Es hat viele Nutzer, viele Anleitungen und eine Mac-Version. Denwix SEO Crawler ist dagegen neu und läuft nur unter Windows. Deshalb wählen Sie am besten so: Crawlen Sie Ihre eigene Website mit der kostenlosen Version beider Tools und vergleichen Sie die Ergebnisse.

Was der Website Crawler noch nicht kann

Bevor Sie kaufen, hier das, was heute noch fehlt. Es gibt noch keine Version für Mac oder Linux. Menüs und Dialoge des Website Crawlers gibt es bisher nur auf Englisch. Zudem sind die Anbindungen an Search Console, GA4, Moz, Majestic und Ahrefs in der Beta, denn wir haben sie mit Beispieldaten getestet, nicht mit echten Konten.

Die Lizenzbedingungen kurz gefasst

Diese Bedingungen gelten für jede Lizenz, damit Sie vor dem Kauf genau wissen, was Sie bekommen.

• Laufzeit: Jede Lizenz gilt ein Jahr ab dem Kaufdatum.
• Plätze: Premium ist für eine Person; Agency deckt Ihr ganzes Team ab.
• White-Label: Agency-Berichte tragen Ihr Logo, Ihren Namen und Ihre Farbe statt unserer.
• Updates: Jede neue Version ist ein kostenloser Download.
• Nach einem Jahr: Die App kehrt zum kostenlosen Limit von 1.000 URLs zurück, und alle gespeicherten Crawls bleiben erhalten.
• Zahlungen und Erstattungen: Jede Bestellung folgt unserer Erstattungsrichtlinie und unseren AGB.

Sollen wir das Audit für Sie machen?

Wenn Sie die Website lieber nicht selbst crawlen möchten, macht unser Team für das technische SEO Audit dieselben Prüfungen und korrigiert die wichtigsten Dateien für Sie. Und wenn Sie nur eine einzelne Seite prüfen möchten, reicht meist der kostenlose SEO Checker.