À quoi sert un web crawler SEO
Un web crawler SEO visite chaque page d’un site, comme le robot d’un moteur de recherche. Il suit les liens, lit chaque page et note ce qu’il trouve : codes de statut, titres, balises de titre, images, redirections et plus encore. Puis il montre ce qu’il faut corriger.
Ce guide porte sur le Denwix SEO Crawler, notre crawler de bureau pour Windows. Chaque section a sa courte vidéo, donc vous voyez chaque fonction à l’œuvre. Par ailleurs, le plan Free couvre jusqu’à 1 000 URL par crawl, et la plupart des fonctions ci-dessous marchent avec lui.
L’application compte 33 onglets d’audit et 448 filtres. Cela semble beaucoup. Pourtant, quelques-uns suffisent pour commencer, et ce guide les montre d’abord. Ensuite, il passe aux exports, aux sitemaps et aux options Premium.
Comment crawler un site : votre premier crawl
Voici comment crawler un site en quatre étapes. D’abord, tapez l’adresse dans la barre du haut. Puis choisissez la portée : un hôte, tous les sous-domaines, le seul dossier de départ, ou aussi les liens externes.
Vidéo : lancer votre premier crawl
Tapez l’adresse, choisissez une portée, appuyez sur Start, puis lisez les onglets, les filtres et le panneau du bas.
Ensuite, appuyez sur Start. Les pages arrivent dans la grille au fil de la découverte, et la barre d’état montre l’avancée du crawl. Inutile donc d’attendre la fin pour regarder.
Lire les résultats
Puis cliquez sur un onglet à gauche, comme Page titles. Puis utilisez la liste de filtres au-dessus de la grille, par exemple pour n’afficher que les titres absents ou en double.
Voir une URL en détail
Enfin, cliquez sur une ligne. Le panneau du bas montre alors tout sur cette URL : ses liens entrants et sortants, ses en-têtes, ses images et plus encore.
Si le crawl s’arrête trop tôt ou se fait bloquer, notre guide pour crawler un site sans être bloqué donne une solution à chaque cause fréquente.
Trouver une URL avec la recherche
Sur un grand site, faire défiler prend du temps. C’est pourquoi le champ de recherche au-dessus de la grille filtre les lignes visibles, sur n’importe quel onglet.
Vidéo : chercher et filtrer dans la grille
Sautez à la recherche avec la barre oblique, cherchez des mots, une seule colonne, et masquez des lignes avec un signe moins.
D’abord, appuyez sur / n’importe où pour sauter dans le champ. Tapez quelques mots, et vous obtenez les lignes qui les contiennent tous. Ensuite, mettez un nom de colonne devant pour ne chercher que là, comme title:pricing. Les nombres marchent aussi, par exemple words:>500.
Un signe moins masque des lignes, donc -draft retire chaque ligne qui contient ce mot. Et si vous oubliez une astuce, appuyez sur ?. La liste de tous les raccourcis clavier s’affiche.
Les actions du clic droit
Un clic droit sur une ligne montre tout ce que vous pouvez faire avec cette URL. Vous évitez ainsi un détour par les menus.
Vidéo : clic droit sur une ligne ou une colonne
Copier, ouvrir, recrawler, vérifier ou exclure une URL, et trier, masquer ou copier une colonne.
Ainsi, vous pouvez copier l’URL ou toute la ligne, ouvrir la page dans le navigateur ou la récupérer à nouveau avec Re-Spider. Re-Spider est pratique après une correction, car vous vérifiez une page sans relancer tout le crawl.
Le même menu vérifie aussi l’état d’indexation d’une URL, la valide ou l’exclut des crawls futurs. De plus, un clic droit sur un en-tête de colonne permet de la trier, de la masquer ou de la copier.
Inclure et exclure des URL
Parfois, vous ne voulez qu’une partie d’un site, ou vous voulez ignorer des pages inutiles, comme les archives de tags. Include et Exclude servent à cela.
Vidéo : crawler seulement les URL utiles
Ajoutez une expression régulière par ligne dans Exclude ou Include. Une URL qui correspond aux deux est ignorée.
Ouvrez Configuration → Include / Exclude. Puis ajoutez une expression régulière par ligne. Par exemple, cette ligne dans Exclude ignore toutes les pages de tags :
/tag/Include marche dans l’autre sens : seules les URL qui correspondent sont crawlées. Ainsi, /blog/ dans Include garde le crawl dans le blog. Si une URL correspond aux deux listes, Exclude l’emporte et l’URL est ignorée.
L’onglet Issues
L’onglet Issues est le vrai point de départ d’un audit. Le crawler calcule les problèmes à la fin du crawl, donc lancez d’abord un crawl.
Vidéo : lire l’onglet Issues
Voyez les erreurs, alertes et remarques avec leur nombre d’URL, puis ouvrez un problème pour son sens et sa correction.
L’onglet liste les erreurs, les alertes et les remarques, avec le nombre d’URL touchées par chacune. Cliquez sur un problème pour voir ce qu’il signifie, comment le corriger et toutes les URL concernées. La ligne du haut indique par où commencer, ainsi vous réglez d’abord les plus gros problèmes.
Pour une seule page, vous pouvez aussi utiliser notre SEO Checker gratuit dans le navigateur. En effet, le crawler fait des contrôles proches, mais sur tout le site à la fois.
Les visualisations
Les visualisations transforment votre crawl en images de votre site. Elles rendent visibles les problèmes de structure, même pour un client qui n’ouvre jamais un tableur.
Vidéo : voir votre site sous forme de graphe
Explorez le Crawl Tree Graph et le diagramme Force-Directed, colorez les nœuds et enregistrez l’image.
Le Crawl Tree Graph montre comment le crawler a atteint chaque page. Faites défiler pour zoomer et glissez pour vous déplacer. Le diagramme Force-Directed montre les mêmes liens sous forme de réseau, donc les pages profondes et peu liées ressortent.
De plus, vous pouvez colorer les nœuds selon le statut ou la profondeur. Puis enregistrez l’image en SVG, PNG ou HTML pour un rapport.
Exporter les données et les rapports
Le crawl est fini ? Alors sortez les données pour les partager ou les travailler dans un tableur.
Vidéo : exporter les données et les rapports
Exportez un onglet en CSV, utilisez les lots de Bulk Export ou créez un rapport en PDF, HTML, JSON ou CSV.
Ouvrez un onglet, puis appuyez sur Export pour l’enregistrer en fichier CSV. Bulk Export propose des lots prêts pour les liens, les images, les problèmes et plus, ainsi que l’onglet ou le filtre en cours. D’ailleurs, le plan Free inclut plus de 30 exports de base, et Premium les débloque tous.
Enfin, le menu Reports crée un audit PDF, un rapport HTML ou un export JSON ou CSV. Souvent, un PDF est le plus simple à envoyer à un client.
Créer et auditer des sitemaps XML
Après un crawl, le crawler peut créer votre sitemap XML à partir des pages trouvées.
Vidéo : créer et vérifier des sitemaps
Créez un sitemap XML ou d’images depuis le crawl, ou auditez le sitemap que votre site a déjà.
Ouvrez Sitemaps → XML Sitemap. Le fichier vous est remis, et rien n’est écrit sur votre serveur. Vous le mettez donc en ligne vous-même, où vous voulez. Image Sitemap fait ainsi la même chose pour les images.
Vous avez déjà un sitemap ? Alors Audit Published Sitemap le compare au crawl. Pour un sitemap rapide sans l’application, notre XML Sitemap Generator fonctionne dans le navigateur.
Crawls enregistrés et fichiers de crawl
Chaque crawl est enregistré sur votre PC, donc vous pouvez le rouvrir à tout moment. Rien ne part vers un compte en ligne.
Vidéo : ouvrir, renommer et déplacer des crawls
Gérez les crawls enregistrés dans File, Crawls, et déplacez un crawl entier vers un autre PC en un seul fichier.
Ouvrez File → Crawls pour ouvrir, renommer, exporter ou supprimer un crawl enregistré. De plus, Export Crawl File enregistre un crawl entier en un seul fichier. Ouvrez-le sur un autre ordinateur avec Import Crawl File, par exemple pour le passer à un collègue.
Intégrations IA et Google
Premium peut ajouter des données d’IA et de Google à vos crawls. Vous fournissez vos propres clés, donc vous payez le fournisseur directement et vous gardez la main sur le coût.
Vidéo : connecter vos clés IA et Google
Ajoutez une clé de fournisseur d’IA, ainsi que vos clés PageSpeed Insights et de compte de service Google.
Ouvrez Configuration → AI Integrations. Choisissez OpenAI, Anthropic, Gemini ou un service compatible, puis collez votre clé. Ensuite, dans API Access, ajoutez une clé PageSpeed Insights et une clé de compte de service Google pour Search Console et GA4.
Par ailleurs, vos clés restent sur cet ordinateur. Elles vont seulement au service choisi, et jamais chez nous.
Rapports en marque blanche
Les agences peuvent mettre leur propre marque sur les rapports d’audit, ainsi les clients voient l’agence et pas nous.
Vidéo : mettre votre marque sur les rapports
Ajoutez le nom, le logo, la couleur et la ligne de contact de votre agence dans Reports, White-label Report Settings.
Ouvrez Reports → White-label Report Settings. Puis ajoutez le nom de votre agence, le logo, la couleur et une ligne de contact. Les rapports PDF et HTML ne portent alors plus la marque Denwix. Les rapports en marque blanche font partie du plan Agency.
Free, Premium et Agency
Le plan Free crawle jusqu’à 1 000 URL, sans limite sur le nombre de crawls. Premium coûte 150 USDT par an et lève la limite d’URL. Il ajoute aussi le rendu JavaScript, tous les exports et les intégrations IA et Google. Agency coûte 399 USDT par an, avec des postes illimités et des rapports en marque blanche.
Vidéo : passer à Premium ou Agency
Choisissez un plan dans l’application, payez en USDT ou avec Binance Pay, et l’application s’active toute seule.
Pour passer à la version supérieure, cliquez sur Free — Upgrade en haut à droite, puis choisissez Premium ou Agency. Cliquez ensuite sur Continue to payment, et la page de commande s’ouvre dans votre navigateur. Payez en USDT ou avec Binance Pay, collez l’ID de transaction et revenez. Ensuite, l’application s’active toute seule, en général en quelques minutes.
Vous avez déjà une clé ? Ouvrez Licence → Enter Licence Key et collez-la.
Bien choisir son crawler SEO
Un crawler SEO existe en deux formes. Les crawlers en ligne tournent sur les serveurs d’un autre et y gardent vos données. En revanche, les crawlers de bureau, comme le nôtre, tournent sur votre PC. Par conséquent, vos données de crawl restent chez vous, et les gros crawls ne coûtent pas de crédits.
Posez-vous donc quelques questions avant de choisir. Combien d’URL compte votre plus grand site ? Avez-vous besoin du rendu JavaScript ? Vos clients verront-ils les rapports ? Et le voulez-vous sous Windows, Mac ou les deux ? Le Denwix SEO Crawler tourne uniquement sous Windows 10 et 11 en 64 bits.
Le test le plus simple est un vrai test. Pour commencer, installez la version gratuite, crawlez votre propre site et lisez l’onglet Issues. Si les corrections proposées vous parlent, l’outil vous convient.
Questions et réponses
Que fait un web crawler SEO ?
Il visite chaque page d’un site, suit ses liens et note les codes de statut, titres, balises de titre, images et redirections. Puis il liste les problèmes trouvés.
Comment crawler un site avec le Denwix SEO Crawler ?
Tapez l’adresse, choisissez une portée et appuyez sur Start. Les pages arrivent dans la grille pendant le crawl.
Quelle portée choisir pour un premier crawl ?
Un hôte convient à la plupart des sites. Choisissez Subdomains si le site redirige vers www ou utilise d’autres sous-domaines.
Puis-je voir des résultats avant la fin du crawl ?
Oui. La grille se remplit en direct, donc vous pouvez ouvrir des onglets et des lignes pendant le crawl. L’onglet Issues se remplit à la fin.
Comment chercher dans une seule colonne ?
Tapez le nom de la colonne, deux-points et le mot, comme title:pricing. Un signe moins devant un mot masque les lignes qui le contiennent.
Quel raccourci ouvre la recherche ?
Appuyez sur la barre oblique n’importe où. La touche point d’interrogation affiche tous les raccourcis.
À quoi sert Re-Spider ?
Il récupère à nouveau une seule URL. Utilisez-le après une correction, car vous la vérifiez sans relancer tout le crawl.
Comment ignorer les pages de tags ou d’autres sections ?
Ajoutez une expression régulière comme /tag/ dans Configuration, Include / Exclude, Exclude. Un motif par ligne.
Que se passe-t-il si une URL correspond à Include et à Exclude ?
Exclude l’emporte, et l’URL est ignorée.
Pourquoi l’onglet Issues est-il vide ?
Les problèmes sont calculés à la fin du crawl. Laissez le crawl finir, ou arrêtez-le, et l’onglet se remplit.
Puis-je enregistrer une visualisation ?
Oui. Enregistrez le Crawl Tree Graph ou le diagramme Force-Directed en SVG, PNG ou HTML.
Quels formats puis-je exporter ?
Les onglets s’exportent en CSV. Le menu Reports crée des rapports PDF et HTML et des exports JSON ou CSV.
L’outil de sitemap modifie-t-il mon serveur ?
Non. Le fichier XML vous est remis, et rien n’est écrit sur votre serveur. Donc vous le mettez en ligne vous-même.
Où sont enregistrés mes crawls ?
Sur votre PC. Rouvrez-les dans File, Crawls, ou déplacez-en un vers un autre ordinateur avec Export Crawl File et Import Crawl File.
Quels services d’IA puis-je connecter ?
OpenAI, Anthropic, Gemini ou un service compatible. Vous collez votre propre clé, et c’est une fonction Premium.
Mes clés d’API sont-elles envoyées à Denwix ?
Non. Les clés restent sur votre ordinateur et vont seulement au service choisi.
Puis-je connecter Search Console et GA4 ?
Oui, avec Premium. Ajoutez une clé de compte de service Google dans Configuration, AI Integrations, API Access.
Quel plan inclut les rapports en marque blanche ?
Le plan Agency, à 399 USDT par an avec des postes illimités.
Comment payer Premium ?
Cliquez sur le bouton du plan en haut à droite, choisissez un plan et payez en USDT ou avec Binance Pay. Ensuite, l’application s’active toute seule, en général en quelques minutes.
Le nombre de crawls est-il limité ?
Non. Chaque plan, Free compris, permet des crawls illimités. Le plan Free limite chaque crawl à 1 000 URL.
Le crawler fonctionne-t-il sur Mac ?
Pas encore. Il tourne sous Windows 10 et Windows 11 en 64 bits.
Quelle différence entre un crawler de bureau et un crawler en ligne ?
Un crawler de bureau tourne sur votre PC et y garde les données. Un crawler en ligne tourne sur des serveurs distants et facture souvent au crawl ou à la page.