Robots.txt Ověřovací
Ověřte svůj aktuální soubor robots.txt, zkontrolujte stránku omezení a usnadnění přístupu pro prohledávače.
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Kontrola Robots.txt ukazuje, zda robots.txt blokuje prohledávače Google z určitých adres URL na vašem webu. Pomocí tohoto nástroje můžete například zkontrolovat, zda prohledávač Googlebot dokáže procházet adresu URL obsahu, který chcete ve Vyhledávání Google zablokovat.
Pokud nemáte soubor robots.txt v kořenovém adresáři vašeho webu, prohledávače vyhledávačů jej nebudou moci najít. V důsledku toho budou předpokládat, že mají povoleno procházet celý váš web.
Google vynucuje omezení velikosti souboru robots.txt 500 KB (KB). Obsah, který překračuje maximální velikost souboru, je ignorován. Můžete snížit velikost robotů.
Robots.txt není pro web vyžadován. Pokud robot navštíví váš web a nemá ho, jednoduše projde váš web a indexuje stránky jako obvykle. Robots.txt je potřeba pouze v případě, že chcete mít větší kontrolu nad tím, co bude skenováno.