اختار اللغة

أداة التحقق من صحة Robots.txt

تحقق من صحة ملف robots.txt الحالي، وتحقق من صفحة القيود وإمكانية الوصول الخاصة ببرامج الزحف.

Googlebot

Enter the URL in the format: https://example.com/

  • التحقق من صحة الملف: التحقق من robots.txt للامتثال للمعايير وتحديد الأخطاء المحتملة.
  • تحليل الفهرسة: تتبع كيفية قيام برامج زحف محركات البحث بفهرسة موقعك وتحديد مناطق المشكلات.
  • إصلاحات الأخطاء: المساعدة في اكتشاف الأخطاء وإصلاحها في ملف robots.txt للفهرسة المثلى.
  • اختبار التعليمات: محاكاة كيفية تفاعل الروبوتات مع ملفك، والتحقق من كيفية عمل التعليمات.

كيفية التحقق من صحة Robots.txt

  • أدخل عنوان URL للنطاق أو ضع محتوى Robots.txt في مربع النص.
  • اضغط على زر «التحقق من صحة robots.txt».
  • ستظهر النتيجة كقائمة فور اكتمال التحقق من الصحة.

التعليمات

ما المقصود بالتحقق من صحة robots.txt؟

يُظهر مدقق Robots.txt ما إذا كان robots.txt يحظر برامج زحف Google من عناوين URL معينة على موقعك. على سبيل المثال، يمكنك استخدام هذه الأداة للتحقق مما إذا كان زاحف Googlebot يمكنه الزحف إلى عنوان URL للمحتوى الذي تريد حظره في بحث Google.

ماذا يحدث إذا لم تستخدم ملف robots.txt؟

إذا لم يكن لديك ملف robots.txt في الدليل الجذر لموقع الويب الخاص بك، فلن تتمكن برامج زحف محركات البحث من العثور عليه. ونتيجة لذلك، سيفترضون أنه يُسمح لهم بالزحف إلى موقعك بالكامل.

ما هو الحد الأقصى لملف txt الخاص بالروبوت؟

تفرض Google حدًا لحجم ملف robots.txt يبلغ 500 كيلوبايت (KB). يتم تجاهل المحتوى الذي يتجاوز الحد الأقصى لحجم الملف. يمكنك تقليل حجم الروبوتات.

هل Robots.txt إلزامي؟

Robots.txt غير مطلوب لموقع الويب. إذا زار أحد الروبوتات موقعك ولم يكن لديه واحد، فسيقوم ببساطة بالزحف إلى موقعك وفهرسة الصفحات كالمعتاد. Robots.txt مطلوب فقط إذا كنت تريد المزيد من التحكم في ما يتم فحصه.

© Smallize Pty Ltd 2022-2024. All Rights Reserved.