מחולל Robots.txt

קובץ robots.txt הוא קובץ טקסט ממש פשוט. תפקידו העיקרי הוא למנוע מסורקי מנועי חיפוש כמו גוגל לסרוק ולאינדקס תוכן באתר לקידום אתרים. אם אינך בטוח אם באתר שלך או באתר הלקוח שלך יש קובץ robots.txt, קל לבדוק: פשוט הקלד example.com/robots.txt. תוכלו למצוא דף שגיאה או דף בפורמט רגיל.

יש דרכים שונות כדי ליצור קובץ robots.txt. אתה יכול ליצור את זה שלך: מערכת ניהול תוכן, מחשב לאחר מכן אתה מעלה אותו דרך שרת האינטרנט שלך, ידני לבנות ולהעלות לשרת האינטרנט.

הקובץ הראשון שבוטים של מנוע החיפוש מסתכלים עליו הוא קובץ הטקסט של הרובוט, אם הוא לא נמצא, קיימת סבירות גבוהה שהסורקים לא יאינדקס את כל דפי האתר שלך. ניתן לשנות את הקובץ הזעיר הזה מאוחר יותר כשמוסיפים עמודים נוספים עם מעט הוראות, אך הקפד לא להוסיף את עמוד האב להנחיה של "אסור". Google פועלת על תקציב סריקה; תקציב זה מבוסס על מגבלת הסריקה.

מפת אתר חיונית לכל אתרי האינטרנט מכיוון שהיא מכילה מידע שימושי למנועי חיפוש. מפת האתר מספרת לבוטים באיזו תדירות אתה מעדכן את האתר שלך, איזה תוכן האתר שלך מספק. מטרתו העיקרית היא להודיע למנועי חיפוש על כל הדפים באתר שלך שצריך לסרוק אותם, ואילו קובץ הטקסט של הרובוטיקה מיועד לרובוטים לחיפוש. זה אומר לסורקים איזה דף לסרוק ואיזה לא. מפת האתר נחוצה כדי שהאתר שלך יתווסף לאינדקס, אך ה- txt של הרובוט אינו (אם אין לך דפים שאינם צריכים להיות באינדקס).