Έλεγχος επικύρωσης Robots.txt
Επικυρώστε το τρέχον αρχείο robots.txt, ελέγξτε τη σελίδα περιορισμού και προσβασιμότητας για προγράμματα ανίχνευσης.
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Το Robots.txt Checker δείχνει εάν το robots.txt αποκλείει τα προγράμματα ανίχνευσης Google από ορισμένες διευθύνσεις URL στον ιστότοπό σας. Για παράδειγμα, μπορείτε να χρησιμοποιήσετε αυτό το εργαλείο για να ελέγξετε αν το πρόγραμμα ανίχνευσης Googlebot μπορεί να ανιχνεύσει τη διεύθυνση URL του περιεχομένου που θέλετε να αποκλείσετε στην Αναζήτηση Google.
Εάν δεν έχετε ένα αρχείο robots.txt στον ριζικό κατάλογο του ιστότοπού σας, τα προγράμματα ανίχνευσης μηχανών αναζήτησης δεν θα μπορούν να το βρουν. Ως αποτέλεσμα, θα υποθέσουν ότι τους επιτρέπεται να ανιχνεύσουν ολόκληρο τον ιστότοπό σας.
Η Google επιβάλλει ένα όριο μεγέθους αρχείου 500 KB (KB) robots.txt. Το περιεχόμενο που υπερβαίνει το μέγιστο μέγεθος αρχείου αγνοείται. Μπορείτε να μειώσετε το μέγεθος των ρομπότ.
Το Robots.txt δεν απαιτείται για την ιστοσελίδα. Εάν ένα bot επισκέπτεται τον ιστότοπό σας και δεν έχει, απλώς θα ανιχνεύσει τον ιστότοπό σας και θα ευρετηριάσει τις σελίδες ως συνήθως. Το Robots.txt απαιτείται μόνο εάν θέλετε περισσότερο έλεγχο σε ό, τι σαρώνεται.