Walidator Robots.txt
Sprawdź poprawność bieżącego pliku robots.txt, sprawdź stronę ograniczeń i dostępności dla roboty.
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Robots.txt Checker pokazuje, czy robots.txt blokuje roboty Google z niektórych adresów URL w Twojej witrynie. Możesz na przykład użyć tego narzędzia, aby sprawdzić, czy robot indeksujący Googlebot może indeksować adres URL treści, które chcesz zablokować w wyszukiwarce Google.
Jeśli nie masz pliku robots.txt w katalogu głównym witryny, roboty wyszukiwarek nie będą w stanie go znaleźć. W rezultacie zakładają, że mogą indeksować całą witrynę.
Google wymusza ograniczenie rozmiaru pliku robots.txt w wysokości 500 KB (KB). Zawartość przekraczająca maksymalny rozmiar pliku jest ignorowana. Możesz zmniejszyć rozmiar robotów.
Robots.txt nie jest wymagany dla strony internetowej. Jeśli bot odwiedza Twoją witrynę, a jej nie ma, po prostu zaindeksuje Twoją witrynę i indeksuje strony jak zwykle. Robots.txt jest potrzebny tylko wtedy, gdy chcesz mieć większą kontrolę nad tym, co jest skanowane.