Robots.txt Validator
Vahvista nykyinen robots.txt tiedosto, tarkista rajoitus ja saavutettavuus sivu indeksoijille.
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Robots.txt Checker näyttää, estääkö robots.txt Google-indeksointiohjelmia tietyistä sivustosi URL-osoitteista. Tämän työkalun avulla voit esimerkiksi tarkistaa, voiko Googlebot-indeksointirobotti indeksoida estettävän sisällön URL-osoitteen Google-haussa.
Jos sinulla ei ole robots.txt tiedostoa verkkosivustosi juurihakemistossa, hakukoneiden indeksoijat eivät löydä sitä. Tämän seurauksena he olettavat, että he saavat indeksata koko sivustosi.
Google valvoo 500 KB (KB) robots.txt tiedoston kokorajoitus. Sisältöä, joka ylittää tiedoston enimmäiskoon, ei oteta huomioon. Voit pienentää robottien kokoa.
Robots.txt ei tarvita verkkosivustolle. Jos botti vierailee sivustollasi eikä sillä ole sellaista, se indeksoi sivustosi ja indeksoi sivut tavalliseen tapaan. Robots.txt tarvitaan vain, jos haluat enemmän hallintaa siitä, mitä skannataan.