لماذا يتوقف الفحص أو يُحظر
هل يتوقف فحص الموقع الإلكتروني عندك أو يُحظر؟ يشرح هذا الدليل كيف تفحص موقعًا دون أن يحظرك الخادم، وكيف تحل المشكلات الأكثر شيوعًا في Denwix SEO Crawler. كما أن لكل حل فيديو قصيرًا، حتى ترى النقرات ولا تكتفي بقراءتها.
لكل مشكلة تقريبًا سبب من ثلاثة. أولًا، يرفض الخادم الطلب: يرد جدار الحماية بالرمز 403 أو 429. ثم لا ترى أداة الفحص الروابط، لأن السكربتات تنشئها أو لأن النطاق ضيق جدًا. أخيرًا، يوقف حدٌّ ما الفحص، مثل حد 1,000 رابط في خطة Free.
لذلك ابدأ من العَرَض الذي تراه. كثرة صفوف 403 تعني حظرًا. والفحص الذي ينتهي بعد صفحة واحدة يشير إلى العنوان أو ملف robots.txt أو النطاق. أما الفحص الذي يتوقف عند 1,000 رابط بالضبط فهو خطة Free، وليس خطأ. وتسير الأقسام التالية بهذا الترتيب.
باختصار، نادرًا ما تحتاج إلى إعادة التثبيت. إعداد أو اثنان في Configuration يحلان معظم الحالات. وإذا لم ينجح شيء، يحفظ التطبيق تقرير تصحيح لفريق الدعم لدينا.
كيف تفحص موقعًا دون أن يحظرك
الرد 403 Forbidden يعني أن الخادم فهم الطلب لكنه رفضه. وغالبًا ما تأتي حالة 403 من جدار حماية أو قاعدة في CDN أو إضافة أمان. فهو يرى طلبات سريعة كثيرة من عنوان واحد، لذلك يظن أنها من روبوت.
فيديو: حل أخطاء 403 في الفحص
خفّف سرعة الفحص من Configuration ثم Speed، ثم غيّر User-Agent أو اسمح لأداة الفحص في جدار الحماية.
خفّف سرعة الفحص
افتح Configuration → Speed. تستخدم أداة الفحص افتراضيًا 6 مسارات، منها 3 لكل مضيف، مع مهلة 120 ms بين الطلبات إلى المضيف نفسه. هذه السرعة تناسب معظم الخوادم. ومع ذلك، قد يراها جدار حماية صارم هجومًا.
لذلك اضبط Max threads per host على 1 أو 2. ثم ارفع Delay between requests per host إلى 1,000 أو 2,000 ms. اترك Respect robots.txt crawl-delay مفعّلًا، لأن بعض المواقع تطلب مهلة هناك. بعد ذلك أعد تشغيل الفحص وراقب رموز الحالة.
غيّر User-Agent أو اسمح لأداة الفحص
تعرّف أداة الفحص نفسها بصدق باسم DenwixSEOCrawler/1.0. وبعض جدران الحماية تحظر أي روبوت غير معروف بسبب هذا الاسم وحده. في هذه الحالة افتح Configuration → User-Agent واختر إعدادًا آخر، أو اكتب نصك الخاص.
في موقعك أنت، الحل الأنظف هو قاعدة سماح. أضف User-Agent الخاص بأداة الفحص أو عنوان IP الخاص بك إلى جدار الحماية أو CDN أو إضافة الأمان. كذلك قد يطلب موقع التجربة كلمة مرور. لهذا أضف الترويسة في Configuration → HTTP Header، فترسلها الأداة مع كل طلب.
429 Too Many Requests
الرمز 429 صيغة مهذبة للمشكلة نفسها: يطلب منك الخادم أن تبطئ. لذلك يبقى الحل نفسه. فمع مسارات أقل ومهلة أطول، تعود صفوف 429 عادةً إلى 200.
لماذا يتوقف الفحص عند 1,000 رابط
الفحص الذي يتوقف عند 1,000 رابط بالضبط يعمل كما صُمّم. هذا هو حد خطة Free، والتطبيق ليس معطّلًا. في الواقع، يعمل كل شيء آخر في خطة Free على هذه الروابط الألف، بما في ذلك تبويب Issues والتقارير وخرائط الموقع.
فيديو: لماذا يتوقف الفحص عند 1,000 رابط
اطّلع على كل حدود خطة Free من Licence، ثم راجع إعداد حد الروابط في Premium.
لترى كل الحدود جنبًا إلى جنب، افتح Licence → What the Free Tier Includes. يقارن الجدول بين Free وPremium وAgency، ميزةً ميزة.
هل لديك Premium بالفعل؟
يفحص Premium دون حد للروابط. لكن راجع Configuration → Spider → Limits. فقد يحتفظ حقل Total URL limit بقيمة قديمة محفوظة، مثل 1,000. لذلك أعده إلى القيمة الافتراضية 5,000,000، وسيكمل الفحص حتى النهاية.
يكلّف Premium مبلغ 150 USDT سنويًا لمقعد واحد، ويكلّف Agency مبلغ 399 USDT سنويًا مع مقاعد غير محدودة. ويمكنك رؤية الخطتين في صفحة Denwix SEO Crawler.
صفحات مفقودة في موقع يعتمد على JavaScript
بعض المواقع تبني قوائمها وروابطها باستخدام JavaScript. حينها يحتوي HTML الخام على روابط قليلة، لذلك لا يجد الفحص النصي إلا صفحات معدودة. وتشرح Google الأثر نفسه في أساسيات تحسين محركات البحث لـ JavaScript.
فيديو: افحص الصفحات التي تحتاج إلى JavaScript
اضبط Rendering على JavaScript من Configuration ثم Spider ثم Rendering. إنها ميزة Premium وتحتاج إلى Chrome أو Edge.
فعّل وضع JavaScript
افتح Configuration → Spider → Rendering. هناك ثلاثة خيارات: Text only وJavaScript (when the page needs it) وJavaScript (every page). ابدأ بالخيار الأوسط، لأنه يعرض فقط الصفحات التي تبدو بحاجة إلى سكربتات. وبهذا يبقى الفحص سريعًا.
هذه ميزة Premium. كما تحتاج إلى Chrome أو Microsoft Edge على جهازك، لأن أداة الفحص تشغّل متصفحًا حقيقيًا. لذلك هي أبطأ من الفحص النصي. فاستخدمها فقط حيث تحتاج إليها.
ما زال المحتوى ناقصًا؟
ارفع AJAX timeout عن قيمته الافتراضية 5,000 ms إذا كانت الصفحة تحمّل بياناتها متأخرة. كذلك فعّل Save a screenshot of each rendered page. بعدها يعرض تبويب Rendered Page ما رأته الأداة فعلًا.
عندما يجد الفحص صفحة واحدة فقط
الفحص الذي ينتهي بعد رابط واحد له غالبًا سبب بسيط. راجع هذه النقاط الثلاث بالترتيب، وسيتعمّق الفحص بعدها.
فيديو: أصلح فحصًا يجد صفحة واحدة فقط
راجع العنوان وإعداد robots.txt والنطاق، ثم اضغط Start من جديد.
أولًا، العنوان. خطأ إملائي، أو www ناقصة، أو http بدل https قد يقود إلى طريق مسدود أو صفحة خطأ. لذلك افتح العنوان في المتصفح وانسخه من هناك.
ثم ملف robots.txt. إذا كان الملف يحظر الموقع كله، تتوقف الأداة عند رابط البداية. افتح Configuration → robots.txt. في موقعك أنت يمكنك إلغاء Respect robots.txt، لكن لا تفعل ذلك في موقع لا تتحمل مسؤوليته. ويشرح دليلنا عن الصفحات المحظورة بملف robots.txt الملف بالتفصيل، كما يذكر معيار robots.txt (RFC 9309) القواعد بدقة.
بعد ذلك، النطاق. القائمة بجوار Start تحدد مدى الفحص: مضيف واحد، أو كل النطاقات الفرعية، أو مجلد البداية فقط، أو الروابط الخارجية أيضًا. فإذا كان example.com يعيد التوجيه إلى www.example.com، يتوقف فحص المضيف الواحد عند إعادة التوجيه. لذلك اختر خيارًا أوسع، مثل Subdomains.
ويمكنك أولًا تتبّع إعادة التوجيه بأداة Redirect Chain Checker. فهي تعرض كل قفزة، حتى تعرف المضيف الذي ينتهي إليه الموقع فعلًا.
تحذيرات التثبيت والتحقق من SHA-256
يتوفر المثبّت المجاني في صفحة Denwix SEO Crawler. وهو يعمل على Windows 10 وWindows 11 بنظام 64 بت. كما لا يحتاج التثبيت إلى صلاحيات المسؤول، ويبحث التطبيق عن التحديثات بنفسه.
فيديو: ثبّت الأداة وتحقق من الملف
تجاوز تحذير SmartScreen في Windows وقارن بصمة SHA-256 للمثبّت بالبصمة المنشورة في صفحتنا.
قد يعرض Windows نافذة زرقاء تقول قام Windows بحماية الكمبيوتر. يحدث ذلك لأن المثبّت غير موقّع رقميًا حتى الآن. لذلك انقر على مزيد من المعلومات ثم على تشغيل على أي حال.
لكن تأكد مع ذلك أن الملف منا فعلًا. افتح PowerShell في مجلد التنزيلات وشغّل Get-FileHash على المثبّت. ثم قارن النتيجة ببصمة SHA-256 في صفحة المنتج. فإذا تطابقتا، فلم يغيّر أحد الملف.
أرسل تقرير تصحيح إلى الدعم
ما زلت عالقًا؟ يجمع التطبيق ما يحتاج إليه فريق الدعم، حتى لا تصف كل إعداد بيدك.
فيديو: احفظ تقرير تصحيح للدعم
افتح Help ثم Help and Support لحلول سريعة، ثم احفظ تقرير تصحيح وأرسله إلينا.
أولًا، افتح Help → Help & Support. ستجد هناك حلولًا سريعة وبيانات التواصل معنا. ثم اختر Help → Save Debug Report. يُحفظ الملف في مجلد التنزيلات.
يحتوي التقرير على إعداداتك وآخر أسطر السجل. وتُحذف كلمات المرور والمفاتيح قبل كتابة الملف. أرسله إلى admin@denwix.com مع ملاحظة قصيرة: ماذا فحصت، وماذا توقعت، وماذا حدث بدلًا من ذلك.
تجربة فحص الموقع الإلكتروني قبل الفحص الكبير
تجربة صغيرة توفر الوقت في الموقع الكبير. فهي تكشف الحظر أو الرابط المفقود مبكرًا، قبل أن تنتظر ساعة لفحص لا يصل إلى شيء.
- افحص رابطًا واحدًا أولًا بأداة HTTP Status Code Checker. فإذا ظهر 403 هناك، فالخادم يحظر حتى الطلبات البسيطة.
- اضبط النطاق على مجلد البداية وافحص قسمًا واحدًا من الموقع.
- افتح تبويب Response Codes. وابحث عن صفوف 403 و429 و5xx.
- إذا ظهرت، خفّف سرعة الفحص من Configuration → Speed.
- إذا نقصت صفحات، قارن الصفحة في متصفحك بما تراه الأداة، ثم جرّب عرض JavaScript.
- عندما تكون العينة نظيفة، وسّع النطاق وابدأ الفحص الكامل.
كذلك افحص المتجر أو موقع الأخبار المزدحم في الساعات الهادئة. حينها ينافس الفحص زوارًا أقل، ويقل احتمال أن يوقفه الخادم.
وعندما يعمل الفحص، يشرح دليل website crawler كل ميزة، من تبويب Issues حتى التصدير وخرائط الموقع.
أخطاء شائعة
- زيادة المسارات لتسريع الفحص. المسارات الأكثر تجلب غالبًا أخطاء 429 أكثر، فيصبح الفحص أبطأ.
- تعطيل robots.txt في موقع غيرك. افعل ذلك فقط في موقع تتحمل مسؤوليته.
- عرض كل صفحة بـ JavaScript. استخدم وضع «when the page needs it» إلا إذا احتاجت كل الصفحات إلى سكربتات.
- اعتبار التوقف عند 1,000 رابط خللًا. إنه حد خطة Free، ويعرضه Licence.
- اختيار مضيف واحد لموقع يعيد التوجيه إلى www. يتوقف الفحص عند إعادة التوجيه.
- تخطي التحقق من البصمة. يكفيه أمر واحد، ويثبت أن المثبّت منا.
أسئلة وأجوبة
لماذا يعرض الفحص كل هذه الأخطاء 403؟
جدار حماية أو قاعدة في CDN أو إضافة أمان ترفض الطلبات. وغالبًا ما يكون السبب هو السرعة. خفّض المسارات لكل مضيف وارفع المهلة من Configuration ثم Speed، ثم أعد الفحص.
كيف أجري فحص الموقع الإلكتروني دون حظر؟
افحص ببطء، وعرّف الأداة بصدق، واحترم ملف robots.txt. وفي موقعك أنت، اسمح لـ User-Agent الخاص بالأداة أو لعنوان IP الخاص بك في جدار الحماية.
ما إعدادات السرعة الآمنة لخادم صارم؟
جرّب مسارًا أو مسارين لكل مضيف ومهلة من 1,000 إلى 2,000 ms. إنها بطيئة، لكنها نادرًا ما تثير جدار الحماية. ثم زد السرعة حين يعمل الفحص دون أخطاء.
ما User-Agent الافتراضي؟
ترسل الأداة DenwixSEOCrawler/1.0 مع رابط إلى صفحة المنتج. ويمكنك اختيار إعداد آخر أو كتابة نصك الخاص من Configuration ثم User-Agent.
ماذا يعني الرمز 429 في الفحص؟
يعني Too Many Requests، أي أن الخادم يطلب من الأداة أن تبطئ. لذلك استخدم مسارات أقل ومهلة أطول، واترك إعداد crawl-delay الخاص بملف robots.txt مفعّلًا.
لماذا يتوقف الفحص عند 1,000 رابط؟
هذا حد خطة Free وليس خطأ. أما Premium وAgency فيفحصان دون حد للروابط.
اشتريت Premium لكن الفحص ما زال يتوقف مبكرًا. لماذا؟
راجع Configuration ثم Spider ثم Limits. قد يحتفظ حقل Total URL limit بقيمة قديمة. أعده إلى 5,000,000 وابدأ الفحص من جديد.
كم يكلّف Premium؟
يكلّف Premium مبلغ 150 USDT سنويًا لمقعد واحد. ويكلّف Agency مبلغ 399 USDT سنويًا مع مقاعد غير محدودة وتقارير بعلامتك التجارية.
لماذا تنقص صفحات في موقعي المبني على JavaScript؟
قد لا تظهر الروابط إلا بعد تشغيل السكربتات، والفحص النصي لا يراها. فعّل عرض JavaScript من Configuration ثم Spider ثم Rendering.
هل عرض JavaScript مجاني؟
لا، إنه ميزة Premium. كما يحتاج إلى تثبيت Chrome أو Microsoft Edge على جهازك.
لماذا يكون فحص JavaScript أبطأ؟
تحمّل الأداة كل صفحة في متصفح حقيقي وتنتظر السكربتات. وهذا يستغرق وقتًا أطول بكثير من قراءة HTML الخام. لذلك اعرض فقط الصفحات التي تحتاج إليه.
لماذا يجد الفحص صفحة واحدة فقط؟
غالبًا يكون العنوان خاطئًا، أو يحظر robots.txt الموقع، أو يكون النطاق ضيقًا على إعادة التوجيه. راجع هذه النقاط الثلاث بالترتيب.
هل يمكنني تجاهل robots.txt؟
فقط في موقع تتحمل مسؤوليته. ألغِ Respect robots.txt من Configuration ثم robots.txt. أما في المواقع الأخرى فاتركه مفعّلًا.
أي نطاق أختار؟
مضيف واحد يناسب الموقع البسيط. واختر Subdomains إذا كان الموقع يعيد التوجيه إلى www أو يستخدم نطاقات فرعية أخرى. أما مجلد البداية فيناسب فحص قسم واحد.
لماذا يقول Windows إنه حمى جهازي؟
لأن المثبّت غير موقّع رقميًا حتى الآن، لذلك لا يعرفه SmartScreen. انقر على مزيد من المعلومات ثم تشغيل على أي حال، بعد التحقق من البصمة.
كيف أتحقق من بصمة SHA-256 للمثبّت؟
شغّل Get-FileHash على المثبّت في PowerShell. ثم قارن النتيجة بالبصمة في صفحة Denwix SEO Crawler. يجب أن تتطابقا تمامًا.
هل يحتاج التثبيت إلى صلاحيات المسؤول؟
لا. تُثبَّت الأداة لحساب Windows الخاص بك فقط، لذلك لا يظهر طلب صلاحيات المسؤول.
هل يحدّث التطبيق نفسه؟
يبحث عن التحديثات بنفسه ويخبرك حين يكون إصدار جديد جاهزًا.
ماذا يحتوي تقرير التصحيح؟
إعداداتك وآخر أسطر السجل. وتُحذف كلمات المرور والمفاتيح قبل حفظ الملف في مجلد التنزيلات.
إلى أين أرسل تقرير التصحيح؟
أرسله إلى admin@denwix.com مع ملاحظة قصيرة عمّا حدث. فهذا يساعدنا على إيجاد السبب بسرعة.
كيف أجرب قبل الفحص الكامل؟
افحص رابطًا واحدًا أولًا، ثم افحص مجلدًا. وابحث عن صفوف 403 و429 و5xx. وحين تكون العينة نظيفة، وسّع النطاق.
هل يمكن للأداة استخدام بروكسي؟
نعم. يرسل Configuration ثم Proxy طلبات الفحص عبر بروكسي HTTP. استخدمه حين تتطلبه شبكتك.