أداة التحقق من صحة Robots.txt

يُظهر مدقق Robots.txt ما إذا كان robots.txt يحظر برامج زحف Google من عناوين URL معينة على موقعك. على سبيل المثال، يمكنك استخدام هذه الأداة للتحقق مما إذا كان زاحف Googlebot يمكنه الزحف إلى عنوان URL للمحتوى الذي تريد حظره في بحث Google.

إذا لم يكن لديك ملف robots.txt في الدليل الجذر لموقع الويب الخاص بك، فلن تتمكن برامج زحف محركات البحث من العثور عليه. ونتيجة لذلك، سيفترضون أنه يُسمح لهم بالزحف إلى موقعك بالكامل.

تفرض Google حدًا لحجم ملف robots.txt يبلغ 500 كيلوبايت (KB). يتم تجاهل المحتوى الذي يتجاوز الحد الأقصى لحجم الملف. يمكنك تقليل حجم الروبوتات.

Robots.txt غير مطلوب لموقع الويب. إذا زار أحد الروبوتات موقعك ولم يكن لديه واحد، فسيقوم ببساطة بالزحف إلى موقعك وفهرسة الصفحات كالمعتاد. Robots.txt مطلوب فقط إذا كنت تريد المزيد من التحكم في ما يتم فحصه.