बल्क मेटा रोबोट्स और X-Robots-Tag चेकर
जाँचा गया डेटामेटा रोबोट्स
बल्क मेटा रोबोट्स टैग चेकर का उपयोग कैसे करें
टूल पर वापस जाएँहर URL एक बार फ़ेच होता है और इंडेक्सिंग नियम की दोनों संभावित जगहें पढ़ी जाती हैं: head में मेटा रोबोट्स टैग और X-Robots-Tag रिस्पॉन्स हेडर।
- 01
जाँचने के लिए URL दर्ज करें
सिंगल मोड एक पता जाँचता है और Enter दबाते ही चलता है। सूची चिपकाने के लिए बल्क पर जाएँ, हर पंक्ति में एक URL, एक रन में अधिकतम 30। साथ चिपकाने लायक पेज वे हैं जो अलग होने चाहिए: एक प्रोडक्ट पेज जिसे इंडेक्स होना ही चाहिए, उसके बगल में एक सर्च पेज जिसे नहीं होना चाहिए, ताकि एक रन दोनों उत्तर साथ-साथ दिखाए।
- 02
URL सामान्यीकरण का स्तर चुनें
URL सामान्यीकरण फ़ेच से पहले हर पते को फिर से लिखता है। पूरा URL पथ और क्वेरी रखता है पर ट्रैकिंग पैरामीटर और फ़्रैगमेंट हटा देता है; क्वेरी बिना क्वेरी स्ट्रिंग हटाता है; केवल डोमेन केवल डोमेन रखता है। इंडेक्सिंग नियम टेम्पलेट के अनुसार तय होते हैं, और क्वेरी स्ट्रिंग ही सर्च पेज को उसकी लिस्टिंग से अलग करती है; उसे हटाएँ तो आप लिस्टिंग की जाँच करते हैं।
- 03
रोबोट्स स्तंभ पढ़ें
स्तंभ निर्देश स्ट्रिंग ठीक वैसे दिखाता है जैसे घोषित हैं, हर पंक्ति में एक, और कोई निर्णय नहीं देता। एक ही क्रॉलर को संबोधित निर्देश उस नाम के साथ दिखता है, जैसे [googlebot], क्योंकि एक क्रॉलर पर लक्षित शब्द का अर्थ कम होता है। खाली सेल का अर्थ है कुछ घोषित नहीं, और यह दोष नहीं: ऐसा पेज इंडेक्स और फ़ॉलो योग्य है।
- 04
एक पंक्ति देखें और परिणाम निर्यात करें
देखें निर्देशों का सार देता है और हर एक पर उसका स्रोत चिह्नित करता है: मेटा टैग के लिए [html], हेडर के लिए [header]। मेटा टैग टेम्पलेट में रहता है, हेडर सर्वर या CDN कॉन्फ़िगरेशन में। दूसरा चिह्न उस निर्देश पर लगता है जो एक क्रॉलर का नाम लेता है; निर्णय उसे तभी गिनता है जब यूज़र एजेंट में वही क्रॉलर चुना हो। टेबल कॉपी करें पंक्तियों को टैब से अलग करके कॉपी करता है; CSV निर्यात करें उन्हें फ़ाइल में लिखता है।
noindex और nofollow रिपोर्ट कैसे पढ़ें
पंक्ति बाएँ से दाएँ पढ़ी जाती है: जाँचा गया पता, वह कहाँ पहुँचा, और वह नियम जो यह पेज क्रॉलरों के लिए तय करता है।
परिणाम तालिका के स्तंभ
- URL
- वही पता जैसा जाँचा गया — सामान्यीकरण के बाद, हमेशा वही नहीं जो आपने टाइप किया था।
- हल की गई URL
- अनुरोध कहाँ समाप्त हुआ और किस स्थिति के साथ। रीडायरेक्ट पहले फ़ॉलो होते हैं, और नियम उसी अंतिम पेज से पढ़ा जाता है।
- रोबोट्स
- अंतिम पेज जितनी डायरेक्टिव घोषित करता है, सब — हर एक अलग पंक्ति में, ज्यों की त्यों, और जब कोई सिर्फ़ एक क्रॉलर को संबोधित करे तो उसके पीछे उस क्रॉलर का नाम भी। — का मतलब है कोई घोषित नहीं हुई।
- परिणाम
- पंक्ति पूरी हुई, अब भी चल रही है, या किसी त्रुटि पर रुक गई। यह नियम के बारे में कुछ नहीं कहता।
- क्रियाएँ
- देखें उस पंक्ति का विवरण पैनल खोलता है; अनुरोध कभी पहुँचा ही न हो तो उसकी जगह फिर कोशिश करें दिखता है।
विवरण पैनल के निष्कर्ष
- इंडेक्सिंग और लिंक फ़ॉलो करना दोनों की अनुमति है।
- कुछ घोषित तो हुआ है, पर उसमें से कुछ भी किसी चीज़ को नहीं रोकता — साफ़-साफ़ index, या follow, या ऐसी डायरेक्टिव जो सिर्फ़ स्निपेट को आकार देती हैं। नतीजा वही है जो कुछ भी घोषित न करने पर होता, बस यहाँ वह कहकर बताया गया है।
- कोई robots निर्देश नहीं — डिफ़ॉल्ट index, follow है।
- कुछ घोषित नहीं हुआ, इसलिए डिफ़ॉल्ट लागू है: इंडेक्स और फ़ॉलो योग्य। अधिकांश पेजों के लिए सही।
- nofollow — इस पेज के लिंक फ़ॉलो नहीं किए जाते।
- पेज इंडेक्स हो सकता है पर उसके लिंक आगे कुछ नहीं पहुँचाते। किसी सार्वजनिक पेज को यह शायद ही चाहिए होता है, और किसी और काम के लिए बने टेम्पलेट से यह आसानी से विरासत में आ जाता है।
- noindex — यह पेज इंडेक्स नहीं होगा।
- पेज को इंडेक्स से बाहर रखा गया है। खोज पेज या धन्यवाद पेज के लिए सही, और जिस पेज को आप रैंक कराना चाहते थे उस पर सबसे महँगी गलती। none भी यहाँ गिना जाता है: यह noindex और nofollow का संक्षिप्त रूप है।
- दोनों स्रोत अलग कहते हैं — Google ज़्यादा सख़्त वाला लागू करता है।
- एक स्रोत इंडेक्सिंग रोकता है और दूसरा नहीं। Google सख़्त वाला लेता है, इसलिए पेज बाहर है; केवल अनुमति देने वाला स्रोत पढ़ने पर उल्टा लगता है।
- यहाँ कुछ भी सभी क्रॉलर पर लागू नहीं होता — ऊपर की हर डायरेक्टिव एक क्रॉलर का नाम लेती है, और वैसी डायरेक्टिव जाँची नहीं जातीं।
- पेज जो कुछ घोषित करता है वह किसी नामित क्रॉलर के लिए है, इसलिए परखने को कोई सामान्य नियम नहीं। सूचीबद्ध निर्देश खुद पढ़ें: Googlebot को छोड़ सबके लिए खुला पेज भी वह पेज है जिसे Google इंडेक्स नहीं करेगा।
- किसी क्रॉलर का नाम लेने वाली डायरेक्टिव दिखाई जाती हैं पर जाँची नहीं जातीं — ऊपर का नतीजा सिर्फ़ उन्हीं का है जो सभी क्रॉलर पर लागू होती हैं।
- पेज दोनों तरह की डायरेक्टिव घोषित करता है। फ़ैसला सिर्फ़ आम नियमों पर सच है, और नाम लेने वाली डायरेक्टिव उसके ठीक ऊपर बिना जाँच के पड़ी रहती हैं — तब पढ़ने लायक जब नामित क्रॉलर वही हो जिसकी आपको परवाह है।
- यहाँ कुछ भी Googlebot Smartphone पर लागू नहीं होता — ऊपर की हर डायरेक्टिव किसी दूसरे क्रॉलर का नाम लेती है।
- आपने किसी नामित क्रॉलर के रूप में चलाया, और पेज की हर पंक्ति किसी दूसरे क्रॉलर का नाम लेती है। यहाँ कुछ भी चुने गए क्रॉलर को नहीं रोकता; सूचीबद्ध पंक्तियाँ दूसरों के लिए हैं।
- ऊपर का नतीजा Googlebot Smartphone के लिए है: उसका नाम लेने वाली डायरेक्टिव गिनी जाती हैं, दूसरे क्रॉलर का नाम लेने वाली नहीं।
- तब दिखता है जब आप किसी नामित क्रॉलर के रूप में चलाते हैं और पेज किसी क्रॉलर का नाम लेता है। चुने गए क्रॉलर का नाम लेने वाली पंक्तियाँ निर्णय में आम नियमों के साथ जुड़ती हैं; दूसरे क्रॉलर वाली पंक्तियाँ सिर्फ़ सूचीबद्ध होती हैं।
- Googlebot Smartphone के लिए गिनी गई डायरेक्टिव अलग-अलग कहती हैं — ऊपर का नतीजा ज़्यादा सख़्त वाली को मानता है।
- आपने किसी नामित क्रॉलर के रूप में चलाया और उस पर लागू पंक्तियाँ अलग-अलग कहती हैं: एक इंडेक्सिंग रोकती है, दूसरी नहीं। निर्णय ज़्यादा सख़्त वाली को लेता है। Google बताता है कि वह भी यही करता है; दूसरे क्रॉलर अपने नियम खुद प्रकाशित करते हैं।
निर्देश कहाँ से आ सकता है
- [html]
- पेज के head में <meta name="robots"> टैग। जो भी टेम्पलेट वह head बनाता है, सुधार वहीं करें।
- [header]
- एक X-Robots-Tag रिस्पॉन्स हेडर। बिना head वाली फ़ाइल, जैसे PDF या इमेज, पर नियम लगाने का एकमात्र तरीका, और भूलना आसान क्योंकि पेज सोर्स इसे कभी नहीं दिखाता। इसे सर्वर या CDN कॉन्फ़िगरेशन में ठीक करें।
- [googlebot] और दूसरे क्रॉलर नाम
- एक ही क्रॉलर को संबोधित निर्देश: <meta name="googlebot">, या क्रॉलर नाम से शुरू होने वाली X-Robots-Tag पंक्ति। यह उस नाम के साथ सूचीबद्ध है, और तभी परखा जाता है जब यूज़र एजेंट में वही क्रॉलर चुना हो। वे पंक्तियाँ खुद पढ़ें: केवल Googlebot के लिए रोका गया पेज रैंक नहीं करेगा।