Robots.txt जेनरेटर

robots.txt फ़ाइल वास्तव में एक सरल टेक्स्ट फ़ाइल है। इसका मुख्य कार्य Google जैसे कुछ सर्च इंजन क्रॉलर को SEO के लिए वेबसाइट पर सामग्री को क्रॉल और इंडेक्स करने से रोकना है। यदि आप सुनिश्चित नहीं हैं कि आपकी वेबसाइट या आपके क्लाइंट की वेबसाइट में robots.txt फ़ाइल है, तो यह जांचना आसान है: बस example.com/robots.txt टाइप करें। आपको या तो एक त्रुटि पृष्ठ या एक सादा प्रारूप पृष्ठ मिलेगा।

robots.txt फ़ाइल बनाने के लिए अलग-अलग तरीके हैं। आप इसे अपने: कंटेंट मैनेजमेंट सिस्टम, कंप्यूटर से बना सकते हैं जिसके बाद आप इसे अपने वेब सर्वर, मैनुअल बिल्ड के माध्यम से अपलोड करते हैं और वेबसर्वर पर अपलोड करते हैं।

सर्च इंजन बॉट्स जो पहली फाइल देखते हैं, वह रोबोट की टेक्स्ट फाइल है, अगर यह नहीं मिली है, तो इस बात की बहुत अधिक संभावना है कि क्रॉलर आपकी साइट के सभी पेजों को इंडेक्स नहीं करेंगे। जब आप थोड़े निर्देशों के साथ और पेज जोड़ते हैं, तो इस छोटी फ़ाइल को बाद में बदला जा सकता है, लेकिन सुनिश्चित करें कि आप मास्टर पेज को अस्वीकार करने के निर्देश में नहीं जोड़ते हैं। Google क्रॉल बजट पर चलता है; यह बजट स्कैन सीमा पर आधारित है।

साइटमैप सभी वेबसाइटों के लिए महत्वपूर्ण है क्योंकि इसमें सर्च इंजन के लिए उपयोगी जानकारी शामिल है। साइटमैप बॉट्स को बताता है कि आप अपनी वेबसाइट को कितनी बार अपडेट करते हैं, आपकी साइट क्या सामग्री प्रदान करती है। इसका मुख्य उद्देश्य आपकी साइट के उन सभी पेजों के सर्च इंजन को सूचित करना है जिन्हें क्रॉल करने की आवश्यकता है, जबकि रोबोटिक्स टेक्स्ट फाइल सर्च रोबोट के लिए है। यह क्रॉलर को बताता है कि किस पेज को क्रॉल करना है और कौन सा नहीं। आपकी साइट को अनुक्रमित करने के लिए साइटमैप आवश्यक है, लेकिन रोबोट का txt नहीं है (यदि आपके पास ऐसे पेज नहीं हैं जिन्हें अनुक्रमित करने की आवश्यकता नहीं है)।