Γεννήτρια Robots.txt

Το αρχείο robots.txt είναι ένα πραγματικά απλό αρχείο κειμένου. Η κύρια λειτουργία του είναι να αποτρέψει ορισμένους ανιχνευτές μηχανών αναζήτησης όπως η Google από την ανίχνευση και την ευρετηρίαση περιεχομένου σε μια ιστοσελίδα για SEO. Εάν δεν είστε σίγουροι αν ο ιστότοπός σας ή ο ιστότοπος του πελάτη σας έχει αρχείο robots.txt, είναι εύκολο να το ελέγξετε: απλά πληκτρολογήστε example.com/robots.txt. Θα βρείτε είτε μια σελίδα σφάλματος είτε μια σελίδα απλής μορφής.

Υπάρχουν διάφοροι τρόποι για να δημιουργήσετε ένα αρχείο robots.txt. Μπορείτε να το δημιουργήσετε από σας: Σύστημα Διαχείρισης Περιεχομένου, Υπολογιστής μετά την οποία μπορείτε να το ανεβάσετε μέσω του web server σας, Εγχειρίδιο κατασκευής και να ανεβάσετε στο Webserver.

Το πρώτο αρχείο που εξετάζουν τα bots μηχανών αναζήτησης είναι το αρχείο κειμένου του ρομπότ, αν δεν βρεθεί, τότε υπάρχει μεγάλη πιθανότητα οι ανιχνευτές να μην ευρετηριάζουν όλες τις σελίδες του ιστότοπού σας. Αυτό το μικρό αρχείο μπορεί να αλλάξει αργότερα όταν προσθέσετε περισσότερες σελίδες με λίγες οδηγίες, αλλά βεβαιωθείτε ότι δεν προσθέτετε την πρότυπη σελίδα στην οδηγία μη επιτρεπόμενης αποδοχής. Η Google λειτουργεί με προϋπολογισμό ανίχνευσης. Αυτός ο προϋπολογισμός βασίζεται στο όριο σάρωσης.

Ένας χάρτης είναι ζωτικής σημασίας για όλες τις ιστοσελίδες καθώς περιέχει χρήσιμες πληροφορίες για τις μηχανές αναζήτησης. Ο χάρτης πλοήγησης λέει στα bots πόσο συχνά ενημερώνετε τον ιστότοπό σας, ποιο περιεχόμενο παρέχει ο ιστότοπός σας. Ο κύριος σκοπός του είναι να ειδοποιεί τις μηχανές αναζήτησης για όλες τις σελίδες στον ιστότοπό σας που πρέπει να ανιχνευτούν, ενώ το αρχείο κειμένου ρομποτικής είναι για ρομπότ αναζήτησης. Λέει στους ανιχνευτές ποια σελίδα να ανιχνεύσουν και ποια όχι. Ο χάρτης είναι απαραίτητος για την ευρετηρίαση του ιστότοπού σας, αλλά το txt του ρομπότ δεν είναι (αν δεν έχετε σελίδες που δεν χρειάζεται να ευρετηριοποιηθούν).