Robots.txt ვალიდატორი

Robots.txt შემოწმება გვიჩვენებს, თუ robots.txt ბლოკავს Google- ის მცოცავებს თქვენს საიტზე გარკვეული URL- ებიდან. მაგალითად, შეგიძლიათ გამოიყენოთ ეს ინსტრუმენტი იმის შესამოწმებლად, შეუძლია თუ არა Googlebot- ის მცოცავმა Google Search- ში დაბლოკოს იმ შინაარსის URL- ს, რომლის დაბლოკვაც გსურთ.

თუ თქვენ არ გაქვთ robots.txt ფაილი თქვენი ვებსაიტის ძირეულ დირექტორიაში, საძიებო სისტემის მცოცავები ვერ იპოვიან მას. შედეგად, ისინი ჩათვლიან, რომ მათ უფლება აქვთ თქვენი მთელი საიტის სეირნობა.

Google ახორციელებს 500 კბ (კბ) robots.txt ფაილის ზომის ლიმიტს. შინაარსი, რომელიც აღემატება ფაილის მაქსიმალურ ზომას, იგნორირებულია. თქვენ შეგიძლიათ შეამციროთ რობოტების ზომა.

Robots.txt არ არის საჭირო ვებსაიტისთვის. თუ ბოტი ეწვევა თქვენს საიტს და მას არ აქვს, ის უბრალოდ დაცოცავს თქვენს საიტს და ინდექსირებს გვერდებს, როგორც ყოველთვის. Robots.txt საჭიროა მხოლოდ იმ შემთხვევაში, თუ გსურთ მეტი კონტროლი, თუ რა ხდება დასკანერებული.