Robots.txt Validator
Patvirtinkite dabartinį robots.txt failą, patikrinkite tikrinimo priemonių apribojimus ir pritaikymo neįgaliesiems puslapį.
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Robots.txt tikrintuvas rodo, ar robots.txt blokuoja “Google” tikrintuvus iš tam tikrų jūsų svetainės URL. Pavyzdžiui, galite naudoti šį įrankį norėdami patikrinti, ar “Googlebot” tikrintuvas gali nuskaityti turinio, kurį norite užblokuoti “Google” paieškoje, URL.
Jei neturite robots.txt failo savo svetainės šakniniame kataloge, paieškos sistemų tikrinimo programos negalės jo rasti. Dėl to jie manys, kad jiems leidžiama nuskaityti visą jūsų svetainę.
“Google” įgyvendina 500 KB (KB) robots.txt failo dydžio limitą. Turinys, viršijantis maksimalų failo dydį, ignoruojamas. Galite sumažinti robotų dydį.
“Robots.txt” nėra būtinas svetainei. Jei robotas apsilankys jūsų svetainėje ir jos neturi, jis tiesiog nuskaitys jūsų svetainę ir indeksuos puslapius kaip įprasta. Robots.txt reikalingas tik tuo atveju, jei norite labiau kontroliuoti tai, kas nuskaitoma.