Pourquoi un crawl s’arrête ou se fait bloquer
Vous voulez crawler un site, mais le serveur vous bloque ? Ce guide explique comment crawler un site sans être bloqué, puis comment régler les autres problèmes fréquents du Denwix SEO Crawler. Chaque solution a sa courte vidéo, car voir les clics aide autant que les lire.
Presque tous les problèmes ont l’une de ces trois causes. D’abord, le serveur refuse : un pare-feu répond par 403 ou 429. Ensuite, le crawler ne voit pas les liens, car des scripts les créent ou la portée est trop étroite. Enfin, une limite arrête le crawl, comme les 1 000 URL du plan Free.
Partez donc du symptôme. Beaucoup de lignes 403 signalent un blocage. Un crawl qui finit après une page pointe vers l’adresse, le robots.txt ou la portée. Et un crawl qui s’arrête pile à 1 000 URL, c’est le plan Free, pas un bug. Les sections suivantes suivent cet ordre.
En pratique, il est rare de devoir réinstaller quoi que ce soit. Un ou deux réglages dans Configuration règlent la plupart des cas. Et si rien ne marche, l’application enregistre un rapport de débogage pour notre équipe de support.
Crawler un site sans se faire bloquer
Une réponse 403 Forbidden signifie que le serveur a compris la requête, mais la refuse. Le statut 403 vient souvent d’un pare-feu, d’une règle du CDN ou d’une extension de sécurité. Il voit beaucoup de requêtes rapides depuis une seule adresse, donc il conclut à un robot.
Vidéo : corriger les erreurs 403 d’un crawl
Ralentissez le crawl dans Configuration, Speed, puis changez le User-Agent ou autorisez le crawler dans votre pare-feu.
Ralentir le crawl
Ouvrez Configuration → Speed. Par défaut, le crawler utilise 6 threads, dont 3 par hôte, avec une pause de 120 ms entre deux requêtes au même hôte. Ce rythme convient à la plupart des serveurs. Cependant, un pare-feu strict peut y voir une attaque.
Réglez donc Max threads per host sur 1 ou 2. Puis montez Delay between requests per host à 1 000 ou 2 000 ms. Laissez Respect robots.txt crawl-delay coché, car certains sites demandent une pause à cet endroit. Ensuite, relancez le crawl et surveillez les codes de statut.
Changer le User-Agent ou autoriser le crawler
Le crawler se présente honnêtement comme DenwixSEOCrawler/1.0. Certains pare-feu bloquent tout robot inconnu à cause de ce seul nom. Dans ce cas, ouvrez Configuration → User-Agent et choisissez un autre preset, ou tapez votre propre chaîne.
Sur votre propre site, une règle d’autorisation est la solution la plus propre. Ajoutez le User-Agent du crawler ou votre IP au pare-feu, au CDN ou à l’extension de sécurité. Par ailleurs, un site de préproduction demande souvent un mot de passe. Pour cela, ajoutez l’en-tête dans Configuration → HTTP Header, et le crawler l’envoie avec chaque requête.
429 Too Many Requests
Un 429 est la version polie du même problème : le serveur vous demande de ralentir. Par conséquent, la solution est la même. Avec moins de threads et une pause plus longue, les lignes 429 redeviennent en général des 200.
Pourquoi le crawl s’arrête à 1 000 URL
Un crawl qui s’arrête pile à 1 000 URL fonctionne comme prévu. C’est la limite du plan Free, et l’application n’est pas en panne. En effet, tout le reste du plan Free marche sur ces 1 000 URL, y compris l’onglet Issues, les rapports et les sitemaps.
Vidéo : pourquoi le crawl s’arrête à 1 000 URL
Voyez toutes les limites du plan Free dans Licence, puis vérifiez le réglage de limite d’URL en Premium.
Pour voir toutes les limites côte à côte, ouvrez Licence → What the Free Tier Includes. Le tableau compare Free avec Premium et Agency, fonction par fonction.
Déjà en Premium ?
Premium crawle sans limite d’URL. Pourtant, vérifiez Configuration → Spider → Limits. Le champ Total URL limit peut garder une ancienne valeur, comme 1 000. Remettez donc la valeur par défaut, 5 000 000, et le crawl ira jusqu’au bout.
Premium coûte 150 USDT par an pour un poste, et Agency coûte 399 USDT par an avec des postes illimités. Les deux plans figurent sur la page du Denwix SEO Crawler.
Pages manquantes sur un site JavaScript
Certains sites construisent leurs menus et leurs liens en JavaScript. Le HTML brut contient alors peu de liens, donc un crawl texte ne trouve qu’une poignée de pages. Google décrit le même effet dans ses bases du SEO JavaScript.
Vidéo : crawler les pages qui ont besoin de JavaScript
Réglez Rendering sur JavaScript dans Configuration, Spider, Rendering. C’est une fonction Premium qui demande Chrome ou Edge.
Activer le mode JavaScript
Ouvrez Configuration → Spider → Rendering. Trois choix existent : Text only, JavaScript (when the page needs it) et JavaScript (every page). Commencez par celui du milieu, car il ne rend que les pages qui semblent avoir besoin de scripts. De cette façon, le crawl reste rapide.
C’est une fonction Premium. Elle demande aussi Chrome ou Microsoft Edge sur votre PC, parce que le crawler pilote un vrai navigateur. Ainsi, elle est plus lente qu’un crawl texte. Utilisez-la donc seulement là où elle sert.
Du contenu manque encore ?
Augmentez l’AJAX timeout, réglé par défaut sur 5 000 ms, quand une page charge ses données tard. De plus, cochez Save a screenshot of each rendered page. Puis l’onglet Rendered Page montre ce que le crawler a vraiment vu.
Quand le crawl ne trouve qu’une page
Un crawl qui s’arrête après une URL a presque toujours une cause simple. Vérifiez ces trois points dans l’ordre, et le crawl devrait aller plus loin.
Vidéo : réparer un crawl qui ne trouve qu’une page
Vérifiez l’adresse, le réglage robots.txt et la portée, puis appuyez de nouveau sur Start.
D’abord, l’adresse. Une faute de frappe, un www oublié ou http à la place de https mène vite à une impasse ou à une page d’erreur. C’est pourquoi il vaut mieux ouvrir l’adresse dans le navigateur et la copier de là.
Ensuite, le robots.txt. Si le fichier bloque tout le site, le crawler reste sur l’URL de départ. Ouvrez Configuration → robots.txt. Sur votre propre site, vous pouvez décocher Respect robots.txt, mais jamais sur le site d’un autre. Notre guide sur les pages bloquées par robots.txt explique le fichier en détail, et la norme robots.txt (RFC 9309) donne les règles exactes.
Puis, la portée. La liste près de Start fixe jusqu’où va le crawl : un hôte, tous les sous-domaines, le seul dossier de départ, ou aussi les liens externes. Si example.com redirige vers www.example.com, un crawl limité à un hôte s’arrête à cette redirection. Choisissez donc une option plus large, comme Subdomains.
Vous pouvez d’abord suivre la redirection avec notre Redirect Chain Checker. Il montre chaque étape, donc vous savez sur quel hôte le site aboutit vraiment.
Alertes d’installation et contrôle SHA-256
L’installateur gratuit se trouve sur la page du Denwix SEO Crawler. Il fonctionne sous Windows 10 et Windows 11 en 64 bits. Par ailleurs, l’installation ne demande aucun droit d’administrateur, et l’application cherche ses mises à jour toute seule.
Vidéo : installer le crawler et vérifier le fichier
Passez l’alerte SmartScreen de Windows et comparez le hash SHA-256 de l’installateur avec celui de notre page.
Windows peut afficher une fenêtre bleue : Windows a protégé votre ordinateur. Cela arrive car l’installateur n’a pas encore de signature de code. Cliquez alors sur Informations complémentaires, puis sur Exécuter quand même.
Cependant, vérifiez quand même que le fichier vient bien de nous. Ouvrez PowerShell dans votre dossier Téléchargements et lancez Get-FileHash sur l’installateur. Puis comparez le résultat avec le hash SHA-256 de la page produit. S’ils sont identiques, personne n’a modifié le fichier.
Envoyer un rapport de débogage au support
Toujours bloqué ? L’application rassemble ce dont notre support a besoin, donc vous n’avez pas à décrire chaque réglage à la main.
Vidéo : enregistrer un rapport de débogage pour le support
Ouvrez Help, Help and Support pour les solutions rapides, puis enregistrez un rapport de débogage et envoyez-le-nous.
D’abord, ouvrez Help → Help & Support. Vous y trouvez des solutions rapides et nos coordonnées. Ensuite, choisissez Help → Save Debug Report. Le fichier arrive dans votre dossier Téléchargements.
Le rapport contient vos réglages et les dernières lignes du journal. Les mots de passe et les clés sont retirés avant l’écriture du fichier. Envoyez-le à admin@denwix.com avec une note courte : ce que vous avez crawlé, ce que vous attendiez et ce qui s’est passé à la place.
Un test avant un gros crawl
Un petit test fait gagner du temps sur un grand site. Il révèle tôt un blocage ou un lien manquant, avant d’attendre une heure un crawl qui ne mène nulle part.
- Vérifiez d’abord une URL avec notre HTTP Status Code Checker. Un 403 à cet endroit signifie que le serveur bloque aussi les requêtes simples.
- Réglez la portée sur le dossier de départ et crawlez une seule section du site.
- Ouvrez l’onglet Response Codes. Cherchez les lignes 403, 429 et 5xx.
- Si elles apparaissent, ralentissez le crawl dans Configuration → Speed.
- S’il manque des pages, comparez la page dans votre navigateur avec la vue du crawler, puis essayez le rendu JavaScript.
- Quand l’échantillon est propre, élargissez la portée et lancez le crawl complet.
De plus, crawlez une boutique ou un site d’actualité très fréquenté aux heures calmes. Votre crawl partage alors le serveur avec moins de visiteurs, et celui-ci le freine moins souvent.
Une fois le crawl en marche, notre guide du web crawler SEO passe en revue chaque fonction, de l’onglet Issues aux exports et aux sitemaps.
Erreurs fréquentes
- Monter les threads pour aller plus vite. Plus de threads apportent souvent plus de 429, et le crawl finit plus lent.
- Désactiver robots.txt sur le site d’un autre. Faites-le seulement sur un site dont vous êtes responsable.
- Rendre chaque page en JavaScript. Utilisez le mode « when the page needs it », sauf si toutes les pages ont besoin de scripts.
- Prendre l’arrêt à 1 000 URL pour un bug. C’est la limite du plan Free, et Licence l’affiche.
- Choisir un seul hôte sur un site qui redirige vers www. Le crawl s’arrête à la redirection.
- Sauter le contrôle du hash. Il tient en une commande et prouve que l’installateur vient de nous.
Questions et réponses
Pourquoi mon crawl affiche-t-il autant d’erreurs 403 ?
Un pare-feu, une règle du CDN ou une extension de sécurité refuse les requêtes. Il réagit en général à la vitesse. Baissez les threads par hôte et augmentez la pause dans Configuration, Speed, puis relancez le crawl.
Comment crawler un site sans être bloqué ?
Crawlez lentement, présentez le crawler honnêtement et respectez le robots.txt. Sur votre propre site, autorisez le User-Agent du crawler ou votre IP dans le pare-feu.
Quels réglages de vitesse conviennent à un serveur strict ?
Essayez 1 ou 2 threads par hôte et une pause de 1 000 à 2 000 ms. C’est lent, mais cela déclenche rarement un pare-feu. Accélérez ensuite quand le crawl tourne proprement.
Quel est le User-Agent par défaut ?
Le crawler envoie DenwixSEOCrawler/1.0 avec un lien vers notre page produit. Vous pouvez choisir un autre preset ou taper votre propre chaîne dans Configuration, User-Agent.
Que veut dire un statut 429 dans un crawl ?
Il signifie Too Many Requests. Le serveur demande au crawler de ralentir. Utilisez donc moins de threads et une pause plus longue, et laissez coché le réglage crawl-delay du robots.txt.
Pourquoi mon crawl s’arrête-t-il à 1 000 URL ?
C’est la limite du plan Free, pas une erreur. Premium et Agency crawlent sans limite d’URL.
J’ai Premium, mais le crawl s’arrête encore tôt. Pourquoi ?
Vérifiez Configuration, Spider, Limits. Le champ Total URL limit garde peut-être une ancienne valeur. Remettez-le à 5 000 000 et relancez le crawl.
Combien coûte Premium ?
Premium coûte 150 USDT par an pour un poste. Agency coûte 399 USDT par an avec des postes illimités et des rapports en marque blanche.
Pourquoi manque-t-il des pages sur mon site JavaScript ?
Les liens n’apparaissent peut-être qu’après l’exécution des scripts. Un crawl texte ne les voit pas. Activez le rendu JavaScript dans Configuration, Spider, Rendering.
Le rendu JavaScript est-il gratuit ?
Non. C’est une fonction Premium, qui demande aussi Chrome ou Microsoft Edge installé sur votre PC.
Pourquoi un crawl JavaScript est-il plus lent ?
Le crawler charge chaque page dans un vrai navigateur et attend les scripts. Cela prend bien plus de temps que lire le HTML brut. Ne rendez donc que les pages qui en ont besoin.
Pourquoi mon crawl ne trouve-t-il qu’une page ?
En général, l’adresse est fausse, le robots.txt bloque le site ou la portée est trop étroite pour une redirection. Vérifiez ces trois points dans l’ordre.
Puis-je ignorer le robots.txt ?
Seulement sur un site dont vous êtes responsable. Décochez alors Respect robots.txt dans Configuration, robots.txt. Sur les autres sites, laissez-le coché.
Quelle portée choisir ?
Un hôte suffit pour un site simple. Choisissez Subdomains si le site redirige vers www ou utilise d’autres sous-domaines. Le dossier de départ sert à crawler une seule section.
Pourquoi Windows dit-il qu’il a protégé mon ordinateur ?
L’installateur n’a pas encore de signature de code, donc SmartScreen ne le connaît pas. Cliquez sur Informations complémentaires, puis sur Exécuter quand même, après avoir vérifié le hash.
Comment vérifier le hash SHA-256 de l’installateur ?
Lancez Get-FileHash sur l’installateur dans PowerShell. Puis comparez le résultat avec le hash de la page du Denwix SEO Crawler. Les deux doivent être identiques.
L’installation demande-t-elle des droits d’administrateur ?
Non. Le crawler s’installe pour votre seul compte Windows, donc aucune demande d’administrateur n’apparaît.
L’application se met-elle à jour toute seule ?
Elle cherche les mises à jour toute seule et vous prévient quand une nouvelle version est prête.
Que contient un rapport de débogage ?
Vos réglages et les dernières lignes du journal. Les mots de passe et les clés sont retirés avant l’enregistrement dans votre dossier Téléchargements.
Où envoyer le rapport de débogage ?
Envoyez-le à admin@denwix.com avec une note courte sur ce qui s’est passé. Ainsi, nous trouvons la cause plus vite.
Comment tester avant de crawler un site en entier ?
Vérifiez d’abord une URL, puis crawlez un dossier. Cherchez les lignes 403, 429 et 5xx. Quand l’échantillon est propre, élargissez la portée.
Le crawler peut-il passer par un proxy ?
Oui. Configuration, Proxy fait passer les requêtes par un proxy HTTP. Utilisez-le quand votre réseau l’exige.