أداة التحقق من صحة Robots.txt
تحقق من صحة ملف robots.txt الحالي، وتحقق من صفحة القيود وإمكانية الوصول الخاصة ببرامج الزحف.
- Googlebot
- Googlebot-Image
- Googlebot-Mobile
- MSNBot
- PsBot
- Bingbot
- Slurp
- Yahoo-mmcrawler
- Yahoo-blogs/v3.9
- Teoma
- Gigabot
- Robozilla
- Nutch
- Ia_Archiver
- AhrefsBot
- BaiduSpider
- NaverBot
- Yeti
- YandexBot
- Mail.ru
- StackRambler
Enter the URL in the format: https://example.com/