ماذا تفعل أداة website crawler
أداة website crawler تزور كل صفحة في الموقع كما يفعل روبوت محرك البحث. فهي تتبع الروابط، وتقرأ كل صفحة، وتسجل ما تجده: رموز الحالة والعناوين والترويسات والصور وإعادات التوجيه وغير ذلك. ثم تبيّن ما يحتاج إلى إصلاح.
يتناول هذا الدليل Denwix SEO Crawler، أداتنا المكتبية لفحص الموقع على Windows. لكل قسم فيديو قصير، حتى ترى كل ميزة أثناء عملها. كما تغطي خطة Free حتى 1,000 رابط في كل فحص، وتعمل معظم الميزات أدناه عليها.
في التطبيق 33 تبويب تدقيق و448 مرشحًا. يبدو هذا كثيرًا. لكنك تحتاج إلى القليل منها في البداية، ويعرضها هذا الدليل أولًا. بعد ذلك ينتقل إلى التصدير وخرائط الموقع وإضافات Premium.
كيف تفحص موقعًا: أول فحص
هكذا تفحص موقعًا في أربع خطوات. اكتب عنوان موقعك في الشريط العلوي. ثم اختر النطاق: مضيف واحد، أو كل النطاقات الفرعية، أو مجلد البداية فقط، أو الروابط الخارجية أيضًا.
فيديو: أجرِ أول فحص لك
اكتب العنوان واختر النطاق واضغط Start، ثم اقرأ التبويبات والمرشحات واللوحة السفلية.
بعد ذلك اضغط Start. تظهر الصفحات في الجدول فور العثور عليها، ويعرض شريط الحالة مدى تقدم الفحص. لذلك لا تحتاج إلى انتظار النهاية لتتصفح النتائج.
اقرأ النتائج
انقر على تبويب في الجهة اليسرى، مثل Page titles. ثم استخدم قائمة المرشحات فوق الجدول، مثلًا لعرض العناوين المفقودة أو المكررة فقط.
انظر إلى رابط واحد بالتفصيل
أخيرًا، انقر على أي صف. حينها تعرض اللوحة السفلية كل شيء عن هذا الرابط: روابطه الداخلة والخارجة وترويساته وصوره وغير ذلك.
إذا توقف الفحص مبكرًا أو حُظر، فدليلنا عن فحص الموقع الإلكتروني دون حظر يقدّم حلًا لكل سبب شائع.
اعثر على أي رابط بالبحث
التمرير بطيء في الموقع الكبير. لذلك يرشّح مربع البحث فوق الجدول الصفوف التي تراها، وهو يعمل في أي تبويب.
فيديو: ابحث في الجدول ورشّحه
انتقل إلى البحث بمفتاح الشرطة المائلة، وابحث عن كلمات أو في عمود واحد، وأخفِ الصفوف بعلامة الطرح.
اضغط / في أي مكان لتنتقل إلى المربع. اكتب بضع كلمات، فتظهر الصفوف التي تحتوي عليها كلها. ضع اسم عمود في البداية لتبحث فيه وحده، مثل title:pricing. كما تعمل الأرقام أيضًا، مثل words:>500.
علامة الطرح تخفي الصفوف، لذلك يحذف -draft كل صف فيه هذه الكلمة. وإذا نسيت حيلة، اضغط ?. فتظهر قائمة بكل اختصارات لوحة المفاتيح في التطبيق.
إجراءات النقر بزر الفأرة الأيمن
انقر بزر الفأرة الأيمن على أي صف لترى كل ما يمكنك فعله بذلك الرابط. وهذا يوفر عليك التنقل في القوائم.
فيديو: النقر الأيمن على صف أو عمود
انسخ الرابط أو افتحه أو أعد فحصه أو تحقق منه أو استبعده، ورتّب العمود أو أخفه أو انسخه.
يمكنك نسخ الرابط أو الصف كله، أو فتح الصفحة في المتصفح، أو جلبها من جديد عبر Re-Spider. وRe-Spider مفيد بعد الإصلاح، لأنك تتحقق من صفحة واحدة دون إعادة الفحص كله.
كما تتحقق القائمة نفسها من حالة فهرسة الرابط، أو تتحقق من صحته، أو تستبعده من الفحوص القادمة. كذلك يتيح النقر الأيمن على رأس العمود ترتيبه أو إخفاءه أو نسخه.
تضمين الروابط واستبعادها
أحيانًا تريد جزءًا من الموقع فقط، أو تريد تخطي صفحات لا فائدة منها، مثل أرشيف الوسوم. لهذا يوجد Include وExclude.
فيديو: افحص الروابط التي تحتاج إليها فقط
أضف تعبيرًا نمطيًا واحدًا في كل سطر تحت Exclude أو Include. والرابط الذي يطابق القائمتين يُتخطى.
افتح Configuration → Include / Exclude. أضف تعبيرًا نمطيًا واحدًا في كل سطر. مثلًا، هذا السطر في Exclude يتخطى كل صفحات الوسوم:
/tag/أما Include فيعمل بالعكس: لا تُفحص إلا الروابط المطابقة. لذلك يُبقي /blog/ في Include الفحص داخل المدونة. وإذا طابق رابط القائمتين، يفوز Exclude ويُتخطى الرابط.
تبويب Issues
في تبويب Issues يبدأ التدقيق فعلًا. تحسب الأداة المشكلات عند انتهاء الفحص، لذلك ابدأ فحصًا أولًا.
فيديو: اقرأ تبويب Issues
شاهد الأخطاء والتحذيرات والملاحظات مع عدد الروابط، ثم افتح مشكلة لتعرف معناها وطريقة إصلاحها.
يعرض التبويب الأخطاء والتحذيرات والملاحظات، مع عدد الروابط التي تصيبها كل واحدة. انقر على مشكلة لترى معناها وطريقة إصلاحها وكل الروابط المتأثرة. ويخبرك السطر العلوي من أين تبدأ، حتى تصلح المشكلات الكبرى أولًا.
ولصفحة واحدة، يمكنك أيضًا استخدام SEO Checker المجاني في المتصفح. فأداة website crawler تجري فحوصًا مشابهة، لكن على الموقع كله دفعة واحدة.
الرسوم البيانية
تحوّل الرسوم البيانية الفحص إلى صور لموقعك. وهي تُظهر مشكلات البنية بوضوح، حتى لعميل لا يفتح جداول البيانات أبدًا.
فيديو: شاهد موقعك كرسم بياني
استكشف Crawl Tree Graph ومخطط Force-Directed، ولوّن العقد، واحفظ الصورة.
يعرض Crawl Tree Graph كيف وصلت الأداة إلى كل صفحة. مرّر للتكبير واسحب للتحريك. أما مخطط Force-Directed فيعرض الروابط نفسها كشبكة، لذلك تبرز الصفحات العميقة وضعيفة الربط.
يمكنك تلوين العقد حسب الحالة أو العمق. ثم احفظ الصورة بصيغة SVG أو PNG أو HTML لتقرير.
تصدير البيانات والتقارير
انتهى الفحص؟ إذن أخرج البيانات لتشاركها أو تعمل عليها في جدول بيانات.
فيديو: صدّر البيانات والتقارير
صدّر تبويبًا بصيغة CSV، أو استخدم مجموعات Bulk Export، أو أنشئ تقريرًا بصيغة PDF أو HTML أو JSON أو CSV.
افتح أي تبويب، ثم اضغط Export لحفظه كملف CSV. ويقدّم Bulk Export مجموعات جاهزة للروابط والصور والمشكلات وغيرها، إلى جانب التبويب أو المرشح الحالي. وتضم خطة Free أكثر من 30 تصديرًا أساسيًا، بينما يفتحها Premium كلها.
أخيرًا، تُنشئ قائمة Reports تدقيقًا بصيغة PDF أو تقرير HTML أو تصدير JSON أو CSV. وغالبًا ما يكون PDF أسهل ما ترسله إلى العميل.
إنشاء خرائط XML وتدقيقها
بعد الفحص، تستطيع الأداة إنشاء خريطة موقع XML من الصفحات التي وجدتها.
فيديو: أنشئ خرائط الموقع وتحقق منها
أنشئ خريطة XML أو خريطة صور من الفحص، أو دقق الخريطة الموجودة في موقعك.
افتح Sitemaps → XML Sitemap. يُسلَّم الملف إليك، ولا يُكتب شيء على خادمك. لذلك ترفعه بنفسك حيث تريد. ويفعل Image Sitemap الشيء نفسه للصور.
هل لديك خريطة موقع بالفعل؟ إذن يقارنها Audit Published Sitemap بالفحص. ولخريطة سريعة دون التطبيق، تعمل أداة XML Sitemap Generator في المتصفح.
الفحوص المحفوظة وملفات الفحص
يُحفظ كل فحص على جهازك، لذلك يمكنك فتحه مرة أخرى في أي وقت. ولا يذهب شيء إلى حساب سحابي.
فيديو: افتح الفحوص وأعد تسميتها وانقلها
أدِر الفحوص المحفوظة من File ثم Crawls، وانقل فحصًا كاملًا إلى جهاز آخر كملف واحد.
افتح File → Crawls لفتح فحص محفوظ أو إعادة تسميته أو تصديره أو حذفه. كما يحفظ Export Crawl File فحصًا كاملًا في ملف واحد. افتحه على جهاز آخر عبر Import Crawl File، مثلًا لتسليمه إلى زميل.
تكامل الذكاء الاصطناعي وGoogle
يمكن لخطة Premium أن تضيف بيانات الذكاء الاصطناعي وGoogle إلى فحوصك. وأنت تستخدم مفاتيحك الخاصة، لذلك تدفع للمزوّد مباشرة وتتحكم في التكلفة.
فيديو: اربط مفاتيح الذكاء الاصطناعي وGoogle
أضف مفتاح مزوّد ذكاء اصطناعي، ومفتاح PageSpeed Insights، ومفتاح حساب خدمة Google.
افتح Configuration → AI Integrations. اختر OpenAI أو Anthropic أو Gemini أو أي خدمة متوافقة، والصق مفتاحك. ثم أضف تحت API Access مفتاح PageSpeed Insights ومفتاح حساب خدمة Google من أجل Search Console وGA4.
تبقى مفاتيحك على هذا الجهاز. فهي تذهب فقط إلى الخدمة التي اخترتها، ولا تصل إلينا أبدًا.
تقارير بعلامتك التجارية
تستطيع الوكالات وضع علامتها التجارية على تقارير التدقيق، حتى يرى العملاء الوكالة لا نحن.
فيديو: ضع علامتك على التقارير
أضف اسم الوكالة وشعارها ولونها وسطر التواصل من Reports ثم White-label Report Settings.
افتح Reports → White-label Report Settings. أضف اسم وكالتك وشعارها ولونها وسطر التواصل. وبهذا لا تحمل تقارير PDF وHTML أي علامة لـ Denwix. والتقارير بعلامتك جزء من خطة Agency.
Free وPremium وAgency
تفحص خطة Free حتى 1,000 رابط، دون حد لعدد الفحوص. ويكلّف Premium مبلغ 150 USDT سنويًا ويرفع حد الروابط. كما يضيف عرض JavaScript وكل عمليات التصدير وتكامل الذكاء الاصطناعي وGoogle. أما Agency فيكلّف 399 USDT سنويًا، مع مقاعد غير محدودة وتقارير بعلامتك.
فيديو: انتقل إلى Premium أو Agency
اختر خطة في التطبيق، وادفع بـ USDT أو عبر Binance Pay، وسيتفعّل التطبيق تلقائيًا.
للترقية، انقر على Free — Upgrade أعلى اليمين، واختر Premium أو Agency. ثم انقر على Continue to payment، فتفتح صفحة الطلب في متصفحك. ادفع بـ USDT أو عبر Binance Pay، والصق معرّف المعاملة، ثم عُد. يتفعّل التطبيق تلقائيًا، غالبًا خلال دقائق.
لديك مفتاح بالفعل؟ افتح Licence → Enter Licence Key والصقه.
كيف تختار أداة تحليل المواقع
أدوات تحليل المواقع نوعان. الأدوات السحابية تعمل على خوادم غيرك وتحتفظ ببياناتك هناك. أما الأدوات المكتبية، مثل أداتنا، فتعمل على جهازك. لذلك تبقى بيانات الفحص معك، ولا تستهلك الفحوص الكبيرة أي رصيد.
لذلك اسأل نفسك بعض الأسئلة قبل الاختيار. كم رابطًا في أكبر مواقعك؟ هل تحتاج إلى عرض JavaScript؟ هل سيرى العملاء التقارير؟ وهل تحتاج إليها على Windows أم Mac أم كليهما؟ يعمل Denwix SEO Crawler على Windows 10 و11 بنظام 64 بت فقط.
أبسط اختبار هو اختبار حقيقي. ثبّت النسخة المجانية، وافحص موقعك، واقرأ تبويب Issues. فإذا بدت لك الإصلاحات المقترحة منطقية، فأداة website crawler هذه تناسبك.
أسئلة وأجوبة
ماذا تفعل أداة website crawler؟
تزور كل صفحة في الموقع، وتتبع روابطها، وتسجل رموز الحالة والعناوين والترويسات والصور وإعادات التوجيه. ثم تعرض المشكلات التي وجدتها.
كيف أفحص موقعًا باستخدام Denwix SEO Crawler؟
اكتب العنوان واختر النطاق واضغط Start. تظهر الصفحات في الجدول أثناء الفحص.
أي نطاق أختار لأول فحص؟
مضيف واحد يناسب معظم المواقع. واختر Subdomains إذا كان الموقع يعيد التوجيه إلى www أو يستخدم نطاقات فرعية أخرى.
هل أرى النتائج قبل انتهاء الفحص؟
نعم. يمتلئ الجدول مباشرة، لذلك يمكنك فتح التبويبات والصفوف أثناء الفحص. أما تبويب Issues فيمتلئ في النهاية.
كيف أبحث في عمود واحد فقط؟
اكتب اسم العمود ثم نقطتين ثم الكلمة، مثل title:pricing. وعلامة الطرح قبل الكلمة تخفي الصفوف التي تحتوي عليها.
ما الاختصار الذي يفتح البحث؟
اضغط مفتاح الشرطة المائلة في أي مكان. ويعرض مفتاح علامة الاستفهام كل الاختصارات.
ماذا يفعل Re-Spider؟
يجلب رابطًا واحدًا من جديد. استخدمه بعد إصلاح صفحة، لأنك تتحقق منها دون إعادة الفحص كله.
كيف أتخطى صفحات الوسوم أو أقسامًا أخرى؟
أضف تعبيرًا نمطيًا مثل /tag/ في Configuration ثم Include / Exclude ثم Exclude. نمط واحد في كل سطر.
ماذا يحدث إذا طابق رابط Include وExclude معًا؟
يفوز Exclude، ويُتخطى الرابط.
لماذا تبويب Issues فارغ؟
تُحسب المشكلات عند انتهاء الفحص. اترك الفحص يكتمل أو أوقفه، وسيمتلئ التبويب.
هل يمكنني حفظ الرسم البياني؟
نعم. احفظ Crawl Tree Graph أو مخطط Force-Directed بصيغة SVG أو PNG أو HTML.
ما صيغ الملفات التي أستطيع تصديرها؟
تُصدَّر التبويبات بصيغة CSV. وتنشئ قائمة Reports تقارير PDF وHTML وتصدير JSON أو CSV.
هل تغيّر أداة خرائط الموقع خادمي؟
لا. يُسلَّم إليك ملف XML، ولا يُكتب شيء على خادمك. وأنت من يرفعه.
أين تُحفظ فحوصي؟
على جهازك. افتحها من File ثم Crawls، أو انقل فحصًا إلى جهاز آخر عبر Export Crawl File وImport Crawl File.
ما خدمات الذكاء الاصطناعي التي يمكنني ربطها؟
OpenAI أو Anthropic أو Gemini أو أي خدمة متوافقة. تلصق مفتاحك الخاص، وهي ميزة Premium.
هل تُرسل مفاتيح API الخاصة بي إلى Denwix؟
لا. تبقى المفاتيح على جهازك وتذهب فقط إلى الخدمة التي اخترتها.
هل يمكنني ربط Search Console وGA4؟
نعم، مع Premium. أضف مفتاح حساب خدمة Google في Configuration ثم AI Integrations ثم API Access.
أي خطة تتضمن التقارير بعلامتي التجارية؟
خطة Agency، بمبلغ 399 USDT سنويًا مع مقاعد غير محدودة.
كيف أدفع ثمن Premium؟
انقر على زر الخطة أعلى اليمين، واختر خطة، وادفع بـ USDT أو عبر Binance Pay. يتفعّل التطبيق تلقائيًا، غالبًا خلال دقائق.
هل يوجد حد لعدد الفحوص؟
لا. كل الخطط، ومنها Free، تتيح فحوصًا غير محدودة. لكن خطة Free تحد كل فحص بـ 1,000 رابط.
هل تعمل الأداة على Mac؟
ليس بعد. فهي تعمل على Windows 10 وWindows 11 بنظام 64 بت.
ما الفرق بين أداة فحص مكتبية وأخرى سحابية؟
الأداة المكتبية تعمل على جهازك وتحتفظ بالبيانات فيه. أما السحابية فتعمل على خوادم بعيدة، وغالبًا ما تحاسبك على كل فحص أو كل صفحة.
هل أحتاج إلى خبرة تقنية لاستخدام الأداة؟
لا. تكفي كتابة عنوان الموقع والضغط على Start. ثم يشرح تبويب Issues كل مشكلة بلغة بسيطة، ويخبرك من أين تبدأ.
هل يمكنني فحص موقع لا أملكه؟
نعم، ما دمت تحترم ملف robots.txt وتفحص بسرعة معتدلة. لكن لا تعطّل robots.txt إلا في موقع تتحمل مسؤوليته.
كم يستغرق فحص 1,000 رابط؟
يعتمد ذلك على سرعة الخادم وعلى إعدادات Speed. وغالبًا ما ينتهي فحص نصي لهذا العدد في دقائق قليلة، بينما يستغرق عرض JavaScript وقتًا أطول.