इस post में आपको ये बताने जा रहा हु की Blogger Blog में Custom Robots.txt कैसे add करते है? जबकि मैंने पिछले पोस्ट में ब्लॉगर में Custom page not found setting करने के लिए tutorial लिखा था।
Robots.txt क्या है?
Robots.txt एक फ़ाइल है जिसमें कुछ code और महत्वपूर्ण कीवर्ड होते है। जब आप एक नया पोस्ट पब्लिश करते हैं, तो सर्च इंजन एक क्रॉलर (या स्पाइडर) को उस पोस्ट को इंडेक्स करने के लिए भेजता है जैसे Google के क्रॉलर Googlebot हैं। तो सबसे पहले, क्रॉलर आपके ब्लॉग की robots.txt फ़ाइल को check करता है, और यह फाइल web क्रॉलर को सूचित करती है कि search इंजन इस पोस्ट को index कर सकता है या नहीं?
Custom robots.txt ब्लॉगर के SEO के लिए क्यों महत्वपूर्ण है?
यदि आपने अभी तक ब्लॉगर में कस्टम robots.txt सेट नहीं किया है, तो समझ लें कि आपने ब्लॉग SEO का एक महत्वपूर्ण हिस्सा छोड़ दिया है। क्योंकि ब्लॉगर ब्लॉग में कुछ ऐसे पेज होते हैं जैसे search, archive, label जिन्हें आप इंडेक्स नहीं करना चाहते लेकिन क्रॉलर उन्हें indexed कर लेता हैं। इसलिए ब्लॉग में कस्टम robots.txt सेटअप करना आवश्यक है।
Custom robots.txt कैसे work करता है?
Custom robots.txt एक ऐसा कोड है, जिसके द्वारा हम कुछ नियम सेट कर सकते हैं कि सर्च इंजन कौन-सी पोस्ट को इंडेक्स कर सकता है और कौन सी posts को इंडेक्स नहीं कर सकता।
सरल शब्दों में, यदि आप किसी भी पेज या अपने ब्लॉग के पोस्ट को सर्च इंजन पर इंडेक्स नहीं करना चाहते हैं, तो आप उस पेज को Custom Robots.txt के माध्यम से प्रतिबंधित कर सकते हैं।
Robots.txt फाइल को कहाँ से देख सकते है?
जब हम एक नया ब्लॉग बनाते हैं तो डिफ़ॉल्ट रूप से ब्लॉगर में एक robots.txt फ़ाइल बन जाता है जो ब्लॉगर के सर्वर पर रहता है। यदि आप अपने ब्लॉग का robots.txt फ़ाइल देखना चाहते हैं, तो आप अपने ब्लॉग URL से देख सकते हैं:
http://youblog.blogspot.com/robots.txt
ब्लॉगर के लिए Custom Robots.txt file
ब्लॉगर पर host किए जाने वाले प्रत्येक ब्लॉग में डिफ़ॉल्ट robots.txt फ़ाइल होती है जो कुछ इस तरह दिखती है:
अगर आप ब्लॉगर में Custom Robots.txt जोड़ना चाहते हैं, मेरे द्वारा बताये गए स्टेप्स को फॉलो करे -
Step 1: अपने ब्लॉगर dashboard पर जाएं
Step 2: Setting पर जाये → Search preference पर क्लिक करें → crawler and indexing section में जाये।
Step 3: Custom robots.txt में Edit लिंक पर क्लिक करें
Step 4: Custom robots.txt को enable करने के लिए yes चुनें।
Step 5: अब आपको एक text बॉक्स दिखाई देगा, आपको इस बॉक्स में custom robots.txt फ़ाइल पेस्ट करना होगा।
Step 6: अंत में save changes बटन पर क्लिक करें।
Custom robots.txt द्वारा किसी भी पेज या पोस्ट को सर्च इंजन पर इंडेक्स होने से कैसे रोके?
यदि आप किसी पेज को सर्च रिजल्ट्स में ब्लॉक करना चाहते हैं तो आप उस पेज के URL को Disallow कर सकते हैं।
Example-
मान लें कि आपने एक demo पेज बनाया है जिसका यूआरएल निम्नानुसार है
https://yourblog.blogspot.com/p/demo.html
लेकिन यदि आप इस पेज को इंडेक्स नहीं करना चाहते हैं, तो इस तरह से Custom Robots.txt जोड़ें:
अब demo पेज को सर्च इंजन index नहीं करेगा।
मुझे आशा है की अब आपको ब्लॉगर पर custom robots.txt को जोड़ना आ गया होगा। अगर ब्लॉगर ब्लॉग में कस्टम robots.txt सेट करने में आपको कोई doubt या प्रॉब्लम हो रही है तो मुझसे पूछ सकते है।
Tags: Blogger, Blogspot, Custom Robots.txt Setting Blogger, SEO, Blogger SEO, Robots.txt
ब्लॉगर के लिए Custom Robots.txt file
ब्लॉगर पर host किए जाने वाले प्रत्येक ब्लॉग में डिफ़ॉल्ट robots.txt फ़ाइल होती है जो कुछ इस तरह दिखती है:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://yourblog.blogspot.com/feeds/posts/default?orderby=UPDATED
ब्लॉगर में Custom Robots.txt कैसे जोड़े?
अगर आप ब्लॉगर में Custom Robots.txt जोड़ना चाहते हैं, मेरे द्वारा बताये गए स्टेप्स को फॉलो करे -
Step 1: अपने ब्लॉगर dashboard पर जाएं
Step 2: Setting पर जाये → Search preference पर क्लिक करें → crawler and indexing section में जाये।
Step 3: Custom robots.txt में Edit लिंक पर क्लिक करें
Step 4: Custom robots.txt को enable करने के लिए yes चुनें।
Step 5: अब आपको एक text बॉक्स दिखाई देगा, आपको इस बॉक्स में custom robots.txt फ़ाइल पेस्ट करना होगा।
Step 6: अंत में save changes बटन पर क्लिक करें।
Custom robots.txt द्वारा किसी भी पेज या पोस्ट को सर्च इंजन पर इंडेक्स होने से कैसे रोके?
यदि आप किसी पेज को सर्च रिजल्ट्स में ब्लॉक करना चाहते हैं तो आप उस पेज के URL को Disallow कर सकते हैं।
Example-
मान लें कि आपने एक demo पेज बनाया है जिसका यूआरएल निम्नानुसार है
https://yourblog.blogspot.com/p/demo.html
लेकिन यदि आप इस पेज को इंडेक्स नहीं करना चाहते हैं, तो इस तरह से Custom Robots.txt जोड़ें:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Disallow: /p/demo.html Allow: / Sitemap: http://yourblog.blogspot.com/feeds/posts/default?orderby=UPDATED
अब demo पेज को सर्च इंजन index नहीं करेगा।
मुझे आशा है की अब आपको ब्लॉगर पर custom robots.txt को जोड़ना आ गया होगा। अगर ब्लॉगर ब्लॉग में कस्टम robots.txt सेट करने में आपको कोई doubt या प्रॉब्लम हो रही है तो मुझसे पूछ सकते है।
Tags: Blogger, Blogspot, Custom Robots.txt Setting Blogger, SEO, Blogger SEO, Robots.txt
टिप्पणियाँ
एक टिप्पणी भेजें