Robots.txt Validátor
Overte aktuálny súbor robots.txt, skontrolujte stránku obmedzenia a prístupnosti pre prehľadávače.
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Kontrola Robots.txt ukazuje, či robots.txt blokuje prehľadávače Google z určitých adries URL na vašom webe. Pomocou tohto nástroja môžete napríklad skontrolovať, či prehľadávač Googlebot dokáže prehľadávať adresu URL obsahu, ktorý chcete zablokovať vo Vyhľadávaní Google.
Ak nemáte súbor robots.txt v koreňovom adresári vášho webu, prehľadávače vyhľadávacích nástrojov ho nebudú môcť nájsť. V dôsledku toho budú predpokladať, že môžu prehľadávať celú vašu stránku.
Google vynúti obmedzenie veľkosti súboru robots.txt 500 KB (KB). Obsah, ktorý presahuje maximálnu veľkosť súboru, sa ignoruje. Môžete znížiť veľkosť robotov.
Robots.txt nie je pre webovú stránku potrebný. Ak robot navštívi váš web a nemá ho, jednoducho prehľadá vaše stránky a indexuje stránky ako obvykle. Robots.txt je potrebný iba vtedy, ak chcete väčšiu kontrolu nad tým, čo sa skenuje.