Validatore Robots.txt
Convalida il tuo attuale file robots.txt, controlla la pagina di restrizioni e accessibilità per i crawler.
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Robots.txt Checker mostra se robots.txt blocca i crawler di Google da determinati URL del tuo sito. Ad esempio, puoi utilizzare questo strumento per verificare se il crawler di Googlebot può eseguire la scansione dell'URL dei contenuti che desideri bloccare nella Ricerca Google.
Se non hai un file robots.txt nella directory principale del tuo sito web, i crawler dei motori di ricerca non saranno in grado di trovarlo. Di conseguenza, presumeranno di essere autorizzati a eseguire la scansione dell'intero sito.
Google impone un limite di dimensione del file robots.txt di 500 KB (KB). Il contenuto che supera la dimensione massima del file viene ignorato. Puoi ridurre le dimensioni dei robot.
Robots.txt non è richiesto per il sito Web. Se un bot visita il tuo sito e non ne ha uno, eseguirà semplicemente la scansione del sito e indicizzerà le pagine come al solito. Robots.txt è necessario solo se si desidera un maggiore controllo su ciò che viene scansionato.