مولّد robots.txt
الملف الذي تقرؤه الزواحف أولًا
يحوّل مولّد robots.txt هذا بضعة اختيارات من القوائم إلى ملف جاهز. أولًا اختر نقطة بداية، ثم أضف قاعدة في كل صف. ويعيد الملف في اللوحة المجاورة كتابة نفسه مع تقدمك، لذلك لا تضطر أبدًا إلى تخمين الصياغة.
- مجانيالسعر
- 12زواحف مسماة
- 4نقاط البداية
- لا يوجدالرفع
مولّد robots.txt
ابنِ الملف الذي تقرؤه الزواحف أولًا — قاعدة في كل صف
اختياري، لكنه يستحق الإضافة. فهو السطر الوحيد الذي يساعد الزاحف بدل أن يقيّده.
قواعدك- المجموعات
- 0
- القواعد
- 0
- الحجم
- 0 B
جاهز. اختر نقطة بداية وسيبني الملف نفسه.
لماذا تستخدم مولّد robots.txt
يطلب كل زاحف ملفًا واحدًا قبل أن يطلب أي شيء آخر. لذلك يشكّل هذا الملف الواحد بقية الزيارة كلها.
الصياغة صغيرة، لكنها تعاقب الأخطاء المطبعية بصمت. ويزيل مولّد robots.txt التخمين، لأن أسماء الزواحف تأتي من قائمة لا من ذاكرتك.
شرطة مائلة شاردة واحدة قد تخفي موقعًا كاملًا. لذلك من المفيد بناء الملف من أجزاء مجربة وقراءته قبل الرفع.
طوال خمسة وعشرين عامًا لم يكن لهذا الملف أي معيار. ثم إن RFC 9309، الذي وحّد معيار robots.txt دوّنه أخيرًا في 2022.
ما الذي يتحكم فيه هذا الملف فعلًا
يجيب robots.txt عن سؤال واحد: هل يجوز للزاحف جلب هذا العنوان؟ ولا يقول شيئًا عن الترتيب، ولا عن الفهرسة أيضًا.
يجب أن يوجد الملف في جذر النطاق. بمعنى آخر، يعمل example.com/robots.txt، بينما يُتجاهل example.com/blog/robots.txt.
كما أن القواعد حساسة لحالة الأحرف. ولأن /Blog/ و/blog/ مساران مختلفان، اكتبهما تمامًا كما يقدمهما موقعك.
أي قاعدة تفوز حين تتطابق اثنتان
يطيع الزاحف مجموعة واحدة فقط، وهي التي يطابقه وكيل المستخدم فيها أفضل تطابق. لذلك تتغلب مجموعة Googlebot على المجموعة المخصصة لكل الزواحف.
وداخل تلك المجموعة يفوز أطول مسار مطابق. فمثلًا يتغلب Allow: /wp-admin/admin-ajax.php على Disallow: /wp-admin/، لأنه أطول وأدق.
وحين تتساوى قاعدتان في الطول، تفوز Allow. وقبل كل شيء، لا يحسم الترتيب هنا أي شيء، مهما بدا ملفك مرتبًا.
الحجب ليس مثل الإخفاء
قد يظهر العنوان المحجوب في نتائج البحث، دون وصف، إذا ربطت به صفحات أخرى. استخدم وسم noindex لإبقاء صفحة خارج الفهرس. في الوقت نفسه تذكّر أن الصفحة يجب أن تبقى قابلة للزحف، وإلا فلن يقرأ أحد الوسم أبدًا.
كيف تنشئ ملف robots.txt بالمولّد
أربع خطوات قصيرة، ولا حساب في أي منها. في الواقع، يؤدي الاختيار الأول معظم العمل عنك.
- 1
اختر نقطة بداية
اختر موقعًا مفتوحًا، أو موقع WordPress، أو متجرًا، أو حجبًا كاملًا. ويضيف كل خيار القواعد التي تناسبه.
- 2
عدّل الصفوف
يحمل كل صف زاحفًا وحكمًا ومسارًا. أضف صفوفًا، أو احذفها، أو اترك نقطة البداية كما هي.
- 3
أضف سطر خريطة الموقع
الصق العنوان الكامل لخريطة موقعك. إنه السطر الوحيد هنا الذي يساعد الزاحف بدل أن يسد طريقه.
- 4
انسخ أو نزّل
اضغط انسخ الملف، أو احفظه باسم robots.txt. ثم ارفعه إلى جذر نطاقك.
ما الذي يتقنه مولّد robots.txt هذا
معظم المولّدات تعطيك مربع نص وتتمنى لك الحظ. لكن هذه الأداة تضيّق الخيارات حتى يصعب ارتكاب خطأ مطبعي.
أسماء الزواحف تأتي من قائمة
GoogleBot بحرف B كبير لا يطابق أي شيء. لذلك توجد الأسماء في قائمة منسدلة، مكتوبة كما تكتبها الزواحف نفسها.
مفتاح واحد لزواحف الذكاء الاصطناعي
يدخل اثنا عشر زاحف تدريب إلى الملف معًا. لذلك لا تضطر إلى البحث عن كل اسم بنفسك.
تعليقات تشرح نفسها
يمكن أن تحمل كل مجموعة ملاحظة قصيرة فوقها. وبعد ستة أشهر، تلك الملاحظة هي ما يمنع أحدهم من حذف السطر.
تجميع صحيح
تنتمي قواعد الزاحف نفسه إلى عنوان واحد. لذلك تجمعها الأداة بدل تكرار سطر user-agent.
عدّاد حجم مباشر
يقرأ Google أول 500 كيلوبايت ثم يتوقف. ولأن الملفات الحقيقية أقل من ذلك بكثير، فالعداد مجرد طمأنة.
تبقى ملفاتك في هذه العلامة
يكتب متصفحك كل سطر في هذا الملف. ونتيجة لذلك لا تصل مساراتك أبدًا إلى أي خادم، لا خادمنا ولا خادم غيرنا.
قواعد تستحق الاتباع في كل مرة
الملف قصير، لذلك العادات قصيرة أيضًا. ومع ذلك تمنع كل واحدة نوعًا محددًا من الأيام السيئة.
- اقرأه قبل الرفع. ابحث في المخرجات عن سطر Disallow: / منفرد. ولأن تلك الشرطة المائلة الوحيدة تحجب الموقع كله، فهي تستحق عشر ثوانٍ.
- اذكر خريطة الموقع دائمًا. يقع سطر Sitemap خارج كل المجموعات، لذلك ينطبق على كل الزواحف. وبذلك يخدم سطر واحد الجميع.
- لا تضع فيه أسرارًا. يستطيع أي شخص فتح ملف robots.txt في المتصفح. وبدل إدراج مجلد خاص، احمه بكلمة مرور.
- لا تحجب ملفات CSS. يعرض Google الصفحات قبل الحكم عليها. فإذا حُجبت ورقة الأنماط، فالصفحة التي يراها ليست الصفحة التي يراها زوارك.
- تجاهل crawl-delay مع Google. يتجاهل Google هذا السطر تمامًا. لكن Bing وYandex يقرآنه، لذلك استخدمه فقط حين يُثقل أحدهما خادمك.
- أدِره مع شيفرتك. احتفظ بالملف في مستودعك بجانب كل شيء آخر. ثم يظهر أي تغيير مفاجئ في مقارنة الملفات بدل أن يظهر في زياراتك.
ثلاث طرق يفسد بها هذا الملف
يبدو كل منها غير مؤذٍ في المحرر. لكن كلًا منها كلّف مواقع حقيقية زياراتها بصمت.
نشر ملف بيئة الاختبار
يحجب خادم الاختبار كل شيء، وهذا صحيح تمامًا. لكن ذلك الملف ينتقل بعد ذلك إلى الإنتاج مع بقية الشيفرة.
استخدامه لإخفاء صفحة
حجب الصفحة لا يزيلها من البحث. وبدل التخمين، أضف وسم noindex ودع الزاحف يدخل ليقرأه.
الاعتماد عليه في الأمان
الزواحف المهذبة تطيعه، ولا شيء آخر ملزم بذلك. لذلك تعامل معه كإشارة مرور، لا كقفل أبدًا.
أسئلة يطرحها الناس عن robots.txt
أين يوضع الملف النهائي؟
في جذر نطاقك تمامًا، على شكل example.com/robots.txt. فالزواحف تبحث هناك ولا تبحث في أي مكان آخر. لذلك لا تفعل نسخة في مجلد فرعي أي شيء، مهما كان محتواها صحيحًا.
هل يحتاج كل موقع إلى هذا الملف؟
لا. غياب الملف يعني ببساطة أن كل شيء قابل للزحف، وهذا يناسب كثيرًا من المواقع الصغيرة. ومع ذلك يستحق الأمر وجود ملف، لأنه يحمل سطر خريطة الموقع ويمنحك مكانًا لإضافة قاعدة لاحقًا.
هل تزيل قاعدة disallow صفحة من Google؟
ليس بشكل موثوق. فإذا ربطت مواقع أخرى بذلك العنوان، قد يظهر كنتيجة مجردة بلا وصف. لذلك استخدم وسم noindex حين تريد إخفاء صفحة، واتركها قابلة للزحف حتى يُقرأ الوسم.
هل تعمل أحرف البدل؟
تفهم Google وBing وYandex جميعها * لأي تسلسل من الأحرف و$ لنهاية العنوان. لكن الزواحف الأقدم أو الأصغر قد لا تفهمها. باختصار، أحرف البدل آمنة لمحركات البحث المهمة.
هل يجب أن أحجب زواحف تدريب الذكاء الاصطناعي؟
هذا قرار تجاري أكثر منه تقنيًا. فحجبها يحمي كتاباتك من مجموعات التدريب، لكنه قد يقلل أيضًا ظهورك في إجابات الذكاء الاصطناعي. والمفتاح موجود في الحالتين.
هل يُرفع أي شيء عند استخدام الأداة؟
لا. الصفحة لا تتصل بأي خادم أثناء عملك. يحتفظ متصفحك بالقواعد، ويبني النص، ويسلمك التنزيل، لذلك لا يُرسل أي شيء عن بنية موقعك إلى أي مكان.
أكمل العمل بهذه الأدوات
تتكامل هذه الثلاث مع هذه الأداة بشكل طبيعي. كما أن أيًا منها لا يطلب حسابًا.
مدقق robots.txt
الصق ملفًا واعرف أي قاعدة تفوز لأي مسار.
افتح الأداة ←مولّد خريطة الموقع XML
حوّل قائمة عناوين إلى خريطة الموقع التي يشير إليها هذا الملف.
افتح الأداة ←مولّد وسم canonical
أخبر محركات البحث أي عنوان هو الحقيقي.
افتح الأداة ←
هل أنت مستعد لكتابة ملف robots.txt؟
اختر نقطة بداية، وعدّل بضعة صفوف، ثم انسخ النتيجة. يستغرق ذلك نحو دقيقة، ولا يكلف شيئًا، ولا تغادر مساراتك علامة التبويب هذه أبدًا.