Robots.txt valideerija
Kinnitage oma praeguse robots.txt faili, kontrollige piirangute ja juurdepääsetavuse lehel roomikud.
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Robots.txt Checker näitab, kas robots.txt blokeerib Google'i roomikute teatud URL-ide saidil. Näiteks saate selle tööriista abil kontrollida, kas Googlebot indekseerija saab indekseerida sisu URL-i, mida soovite Google'i otsingus blokeerida.
Kui teie veebisaidi juurkataloogis pole robots.txt faili, ei suuda otsingumootorite roomikud seda leida. Selle tulemusena eeldavad nad, et neil on lubatud kogu saidi indekseerida.
Google jõustab 500 KB (KB) robots.txt faili mahupiirang. Sisu, mis ületab faili maksimaalse suuruse, ignoreeritakse. Võite vähendada suurust robotid.
Robots.txt pole veebisaidi jaoks vajalik. Kui bot külastab teie saiti ja sellel pole seda, siis see lihtsalt indekseerib teie saidi ja indekseerib lehed nagu tavaliselt. Robots.txt on vaja ainult siis, kui soovite rohkem kontrolli selle üle, mida saab skaneeritud.