Robots.txt اعتبار سنج

Robots.txt Checker نشان می دهد که آیا robots.txt خزنده های گوگل را از URL های خاصی در سایت شما مسدود می کند. به عنوان مثال، می توانید از این ابزار برای بررسی اینکه آیا خزنده Googlebot می تواند URL محتوایی را که می خواهید در جستجوی Google مسدود کنید، خزنده کند، استفاده کنید.

اگر فایل robots.txt را در دایرکتوری ریشه وب سایت خود ندارید، خزنده های موتور جستجو قادر به پیدا کردن آن نخواهند بود. در نتیجه، آنها فرض می کنند که مجاز به خزیدن کل سایت شما هستند.

گوگل محدودیت حجم فایل robots.txt 500 کیلوبایت (KB) را اعمال می کند. محتوایی که بیش از حداکثر اندازه فایل باشد نادیده گرفته می شود. شما می توانید اندازه روبات ها را کاهش دهید.

Robots.txt برای وب سایت مورد نیاز نیست. اگر یک ربات از سایت شما بازدید کند و آن را نداشته باشد، به سادگی سایت شما را خزنده می کند و صفحات را به طور معمول فهرست می کند. Robots.txt فقط در صورتی مورد نیاز است که شما کنترل بیشتری بر آنچه اسکن می شود داشته باشید.