Denwix SEO Crawler :
le crawler SEO pour Windows

Ce que fait notre crawler SEO

Notre crawler SEO parcourt votre site comme le robot d’un moteur de recherche. Vous saisissez l’URL de votre page d’accueil, puis il suit chaque lien qu’il trouve. Pendant ce temps, il note le code de statut, le titre, les balises de titre et bien d’autres données pour chaque URL. Ainsi, vous voyez tout votre site comme Google le voit, dans un seul tableau.

La plupart des outils SEO vérifient une seule page de votre site. Un web crawler, au contraire, vérifie toutes les pages et montre comment elles se lient entre elles. Avec lui, vous trouvez le lien cassé de la page 400, une redirection que personne n’a vue ou une page sans liens entrants.

Les contrôles du crawler SEO sur chaque page

La version gratuite et les formules payantes utilisent le même audit. Donc la seule limite de Free est le nombre d’URL par crawl. Le crawler SEO vérifie les points suivants :

• Codes de réponse : réponses 2xx, 3xx, 4xx et 5xx, délais dépassés et URL bloquées.
• Redirections : chaque étape d’une chaîne, les boucles, et 301 face à 302.
• Titres de page et meta descriptions : absents, en double, trop longs ou trop courts.
• Titres : balises H1 absentes ou répétées et niveaux de titre sautés.
• Canonical et indexation : balises canonical, meta robots, X-Robots-Tag et leurs conflits entre eux.
• Images : texte alt absent, vide ou trop long.
• Contenu : nombre de mots, pages pauvres et pages presque en double.
• Liens : profondeur de crawl, liens entrants, pages orphelines et PageRank interne.
• Données structurées : JSON-LD illisible ou auquel il manque des champs obligatoires.

D’une liste de problèmes à un plan de corrections

Une liste de 2 000 problèmes est difficile à gérer. C’est pourquoi le crawler crée aussi un plan de corrections. Il regroupe les problèmes et classe chacun selon son impact sur le site et l’effort que demande la correction. Ensuite, il explique chaque problème avec des mots clairs : ce que c’est, pourquoi c’est important et comment le régler.

Vous pouvez exporter le plan en rapport HTML, en fichier JSON ou en rapport d’audit PDF. Cependant, pour créer le PDF, il vous faut Chrome ou Edge sur votre ordinateur. Si vous n’avez ni l’un ni l’autre, l’application crée une page à imprimer.

L’audit de recherche IA de notre crawler SEO

Les outils de recherche IA comme ChatGPT search et Perplexity lisent le web avec leurs propres bots. Si votre robots.txt bloque ces bots, les réponses IA ne peuvent ni citer ni mentionner vos pages. Donc le crawler lit votre fichier robots.txt comme le décrit la norme robots.txt (RFC 9309). Ensuite, il indique le statut des 34 bots IA connus.

Puis il vérifie votre llms.txt, les lignes Content-Signal que Cloudflare ajoute à robots.txt et vos données structurées. De plus, il note chaque page selon la facilité avec laquelle on peut citer son texte principal. Tout cela relève d’une simple analyse. Le crawler n’appelle aucun service d’IA, et aucun de vos fichiers ne quitte votre ordinateur.

Robots qui entraînent des modèles, robots qui répondent aux questions

Les bots IA ont des rôles différents. Par exemple, certains collectent du texte pour entraîner des modèles, tandis que d’autres récupèrent des pages pour répondre tout de suite à une question. Bloquer un bot d’entraînement peut être un choix légitime. Cependant, bloquer un bot de recherche retire vos pages des réponses IA. L’audit liste à part les bots d’entraînement et les bots de recherche. Ainsi, vous savez si chaque blocage était voulu et s’il peut vous coûter des visiteurs.

Pages qui ont besoin de JavaScript pour afficher leur texte

Beaucoup de bots IA ne savent pas exécuter JavaScript. Donc si l’essentiel de votre contenu se charge par un script, ces bots trouvent une page vide. Le crawler compare le HTML brut de chaque page avec ce qu’un visiteur voit dans son navigateur. Ensuite, il signale les pages qui risquent d’avoir un problème. Google, lui, exécute JavaScript. Pourtant, son guide JavaScript SEO basics explique pourquoi le HTML côté serveur reste le choix le plus sûr.

Comment fonctionne la clé de licence hors ligne

Denwix signe chaque clé de licence avec une clé privée Ed25519 que seul Denwix détient. La clé publique correspondante se trouve dans l’application. Ainsi, l’application vérifie votre clé sur votre ordinateur à chaque démarrage. Elle n’a besoin ni de connexion, ni de compte, ni d’appel à un serveur distant.

Vous pouvez aussi acheter une licence depuis l’application. Celle-ci ouvre alors cette page avec un code de réclamation à usage unique. Dès que vous avez payé et que le paiement passe, l’application récupère sa clé toute seule. Par ailleurs, nous vous envoyons la clé par e-mail, pour que vous puissiez la coller plus tard sur un autre ordinateur.

Quelles données quittent votre ordinateur, et vers où

En dehors des sites que vous crawlez, l’application contacte denwix.com pour deux raisons seulement. D’abord, elle cherche des mises à jour une fois par jour à l’ouverture. Ensuite, après un achat, elle demande si la clé de votre code de réclamation est prête. L’application ne vous piste pas et ne collecte aucune télémétrie.

Certaines fonctions Premium utilisent des services externes, comme PageSpeed Insights ou un modèle d’IA. Chaque requête part directement de votre ordinateur vers ce service, et aucune ne passe par Denwix. De plus, les fonctions IA restent coupées tant que vous n’ajoutez pas votre propre clé API.

Un web crawler léger, sans modules en plus

Nous avons construit le moteur sur Node.js sans aucun paquet npm externe. Il utilise seulement ce que Node.js fournit déjà, comme la base SQLite intégrée et fetch. Ainsi, vous n’avez besoin ni de Java, ni de Docker, ni de bibliothèques tierces qu’un attaquant pourrait remplacer par du code malveillant.

L’application garde vos données de crawl dans un fichier de base de données dans votre profil utilisateur Windows. Donc vous pouvez supprimer, renommer, exporter ou importer vos crawls quand vous voulez. Et comme ce web crawler tourne sur votre ordinateur, il peut aussi crawler des sites de préproduction et des pages derrière un pare-feu.

Configuration requise et installation

L’application demande Windows 10 en 64 bits (version 1809 ou plus) ou Windows 11. Par ailleurs, le rendu JavaScript, les captures et le rapport PDF demandent Google Chrome ou Microsoft Edge, et la plupart des PC en ont déjà un. Si vous crawlez des centaines de milliers d’URL, fermez d’abord les autres applications gourmandes en mémoire.

Au premier lancement du programme d’installation, Windows SmartScreen peut afficher le message "Windows a protégé votre ordinateur". Cela arrive car le programme n’a pas encore de signature de code. Pour poursuivre, ouvrez Informations complémentaires dans cette fenêtre bleue, puis appuyez sur le bouton Exécuter quand même qui apparaît. L’application s’installe dans votre propre profil utilisateur, donc vous n’avez pas besoin des droits d’administrateur.

Vérifier le programme d’installation avec SHA-256

Comme le fichier n’a pas de signature de code, vous pouvez le vérifier vous-même. La section de téléchargement, en haut de cette page, affiche le hash SHA-256 du dernier programme d’installation. Dans l’invite de commandes, lancez la ligne certutil indiquée là-bas et comparez les deux hashes. Si un seul caractère diffère, ne lancez pas le fichier.

Denwix face aux autres outils d’audit SEO du marché

Screaming Frog SEO Spider est l’outil le plus connu de ce type, mais sa version gratuite s’arrête à 500 URL. Notre version gratuite crawle jusqu’à 1 000 URL. De plus, chaque formule comprend l’audit de recherche IA, la vérification de llms.txt et un plan de corrections.

Pour être honnête, Screaming Frog existe depuis longtemps. Il compte beaucoup d’utilisateurs, beaucoup de guides et une version Mac. En revanche, Denwix SEO Crawler est nouveau et tourne seulement sous Windows. C’est pourquoi le meilleur moyen de choisir est de crawler votre propre site avec la version gratuite des deux outils, puis de comparer les résultats.

Ce que le crawler ne fait pas encore

Avant d’acheter, voici ce qui manque aujourd’hui. Il n’existe pas encore de version Mac ou Linux. Les menus et fenêtres du crawler SEO n’existent pour l’instant qu’en anglais. De plus, les connexions à Search Console, GA4, Moz, Majestic et Ahrefs sont en bêta, car nous les avons testées avec des données d’exemple et non avec de vrais comptes.

Les conditions de licence en bref

Ces conditions valent pour chaque licence, ainsi vous savez exactement ce que vous recevez avant de payer.

• Durée : chaque licence dure un an à partir du jour de l’achat.
• Postes : Premium est pour une personne ; Agency couvre toute votre équipe.
• Marque blanche : les rapports Agency portent votre logo, votre nom et votre couleur à la place des nôtres.
• Mises à jour : chaque nouvelle version se télécharge gratuitement.
• Après un an : l’application revient à la limite gratuite de 1 000 URL, et tous vos crawls enregistrés restent intacts.
• Paiements et remboursements : chaque commande suit notre politique de remboursement et nos conditions générales.

Envie de confier l’audit à l’équipe Denwix ?

Si vous ne voulez pas crawler le site vous-même, notre équipe d’audit SEO technique fait les mêmes contrôles et corrige pour vous les fichiers essentiels. Et si vous voulez juste examiner une page, le vérificateur SEO gratuit suffit en général.