Robots.txt מאמת

Robots.txt בודק מראה אם robots.txt חוסם את הסורקים של Google מכתובות אתרים מסוימות באתר שלך. לדוגמה, אתה יכול להשתמש בכלי זה כדי לבדוק אם סורק Googlebot יכול לסרוק את כתובת האתר של התוכן שברצונך לחסום בחיפוש Google.

אם אין לך קובץ robots.txt בספריית השורש של האתר שלך, סורקי מנועי חיפוש לא יוכלו למצוא אותו. כתוצאה מכך, הם יניחו שמותר להם לסרוק את כל האתר שלך.

גוגל אוכפת מגבלת גודל קובץ robots.txt של 500 KB (KB). מתעלמים מתוכן החורג מגודל הקובץ המרבי. אתה יכול להקטין את גודל הרובוטים.

Robots.txt אינו נדרש עבור האתר. אם בוט מבקר באתר שלך ואין לו כזה, הוא פשוט יסרוק את האתר שלך ויאינדקס את הדפים כרגיל. Robots.txt נחוץ רק אם אתה רוצה שליטה רבה יותר על מה שנסרק.