भाषा चुनें

Robots.txt जेनरेटर

सेकंड में वैध robots.txt फ़ाइल ऑनलाइन जेनरेट करें।

Search Robots:
The path is relative to root and must contain a trailing slash "/"
  • क्रॉलर के लिए डिफ़ॉल्ट व्यवहार सेट करना
  • सबसे लोकप्रिय क्रॉलर के लिए व्यवहार को कस्टमाइज़ करना
  • sitemap.xml पथ सेट अप करें
  • उन रास्तों को सेट करना जो क्रॉलर के लिए बंद होने चाहिए
  • क्रॉलर के लिए क्रॉल-डिले कॉन्फ़िगर करें

Robots.txt कैसे जनरेट करें

  • सभी क्रॉलर के लिए डिफ़ॉल्ट व्यवहार दर्ज करें
  • अलग-अलग खोज क्रॉलर के लिए व्यवहार चुनें
  • प्रतिबंधित निर्देशिकाओं को परिभाषित करें
  • sitemap.xml फ़ाइल के लिए पथ सेट अप करें
  • “जेनरेट” बटन पर क्लिक करें। उपकरण स्वचालित रूप से एक नई robots.txt फ़ाइल उत्पन्न करेगा।
  • परिणाम सूची पूर्ण जनरेट करने के तुरंत बाद एक सूची के रूप में दिखाई देगी।

पूछे जाने वाले प्रश्न

robots.txt फ़ाइल क्या है?

robots.txt फ़ाइल वास्तव में एक सरल टेक्स्ट फ़ाइल है। इसका मुख्य कार्य Google जैसे कुछ सर्च इंजन क्रॉलर को SEO के लिए वेबसाइट पर सामग्री को क्रॉल और इंडेक्स करने से रोकना है। यदि आप सुनिश्चित नहीं हैं कि आपकी वेबसाइट या आपके क्लाइंट की वेबसाइट में robots.txt फ़ाइल है, तो यह जांचना आसान है: बस example.com/robots.txt टाइप करें। आपको या तो एक त्रुटि पृष्ठ या एक सादा प्रारूप पृष्ठ मिलेगा।

मैं robots.txt कैसे बना सकता हूं?

robots.txt फ़ाइल बनाने के लिए अलग-अलग तरीके हैं। आप इसे अपने: कंटेंट मैनेजमेंट सिस्टम, कंप्यूटर से बना सकते हैं जिसके बाद आप इसे अपने वेब सर्वर, मैनुअल बिल्ड के माध्यम से अपलोड करते हैं और वेबसर्वर पर अपलोड करते हैं।

SEO में robot.txt क्या है?

सर्च इंजन बॉट्स जो पहली फाइल देखते हैं, वह रोबोट की टेक्स्ट फाइल है, अगर यह नहीं मिली है, तो इस बात की बहुत अधिक संभावना है कि क्रॉलर आपकी साइट के सभी पेजों को इंडेक्स नहीं करेंगे। जब आप थोड़े निर्देशों के साथ और पेज जोड़ते हैं, तो इस छोटी फ़ाइल को बाद में बदला जा सकता है, लेकिन सुनिश्चित करें कि आप मास्टर पेज को अस्वीकार करने के निर्देश में नहीं जोड़ते हैं। Google क्रॉल बजट पर चलता है; यह बजट स्कैन सीमा पर आधारित है।

sitemap.xml और robots.txt फ़ाइल के बीच का अंतर

साइटमैप सभी वेबसाइटों के लिए महत्वपूर्ण है क्योंकि इसमें सर्च इंजन के लिए उपयोगी जानकारी शामिल है। साइटमैप बॉट्स को बताता है कि आप अपनी वेबसाइट को कितनी बार अपडेट करते हैं, आपकी साइट क्या सामग्री प्रदान करती है। इसका मुख्य उद्देश्य आपकी साइट के उन सभी पेजों के सर्च इंजन को सूचित करना है जिन्हें क्रॉल करने की आवश्यकता है, जबकि रोबोटिक्स टेक्स्ट फाइल सर्च रोबोट के लिए है। यह क्रॉलर को बताता है कि किस पेज को क्रॉल करना है और कौन सा नहीं। आपकी साइट को अनुक्रमित करने के लिए साइटमैप आवश्यक है, लेकिन रोबोट का txt नहीं है (यदि आपके पास ऐसे पेज नहीं हैं जिन्हें अनुक्रमित करने की आवश्यकता नहीं है)।

© Eptimize Pty Ltd 2022-2024. All Rights Reserved.