مدقق robots.txt
اعثر على السطر الذي أفسده

ما الذي يكتشفه مدقق robots.txt

نادرًا ما يعلن ملف robots.txt المعطل عن نفسه. فالزواحف تتخطى السطر الذي لا تستطيع قراءته، ثم تكمل كأنه لم يُكتب أبدًا.

لذلك يظهر الضرر بعد أسابيع، في رسم بياني للزيارات. في الأثناء يبدو الملف معقولًا تمامًا في محررك.

يقرأ هذا الفاحص الملف كما يقرؤه الزاحف. لذلك تُعلَّم القاعدة التي لا تطابق شيئًا بدل أن تُطاع بصمت.

طوال ربع قرن عمل الملف بالعرف. ثم إن RFC 9309، الذي وحّد معيار robots.txt حوّل ذلك العرف إلى قاعدة.

صياغة صحيحة مقابل سلوك صحيح

قد يجتاز الملف كل اختبارات الصياغة ومع ذلك يُفسد إطلاقًا كاملًا. ففي النهاية، Disallow: / شيفرة لا عيب فيها.

لهذا تتكون الأداة من نصفين. النصف الأيسر يقرأ أسطرك، بينما يجيب النصف الأيمن عن سؤال حول مسار واحد.

اكتب /wp-admin/ وسيسمّي سطر الحكم القاعدة الفائزة. باختصار، تحصل على النتيجة لا على تخمين.

أخطاء تختبئ أمام الأعين

المسافة داخل المسار تقطع القاعدة بصمت. فكل ما بعد تلك المسافة يختفي ببساطة، لذلك تطابق القاعدة أكثر بكثير مما قصدت.

كما يفشل العنوان الكامل في سطر Disallow. ولأن المسارات تبدأ من جذر الموقع، لا يطابق https://example.com/folder/ أي شيء.

توقف Noindex في robots.txt عن العمل في سبتمبر 2019. لكن كثيرًا من الملفات القديمة ما زالت تحمل ذلك السطر، وما زال كاتبها يثق به.

مجموعتان لزاحف واحد

اكتب User-agent: Googlebot مرتين وستكون قد صنعت فخًا. فالزاحف يقرأ أول مجموعة تسميه، ثم يتجاهل كل ما بعدها. لذلك لا تعمل مجموعة القواعد الثانية أبدًا، مع أنها موجودة في الملف. ويكتشف الفاحص التكرار ويشير إلى رقمي السطرين.