فاحص Meta Robots وX-Robots-Tag بالجملة
البيانات المفحوصةMeta Robots
كيفية استخدام فاحص وسوم meta robots بالجملة
العودة إلى الأداةيُجلب كل رابط مرة واحدة ويُقرأ الموضعان اللذان قد تسكنهما قاعدة الفهرسة: وسم meta robots في الرأس وترويسة الاستجابة X-Robots-Tag.
- 01
أدخل الروابط المراد فحصها
الوضع المفرد يفحص عنوانًا واحدًا ويعمل بالضغط على Enter. انتقل إلى جماعي للصق قائمة، رابط في كل سطر، حتى 30 في التشغيل الواحد. الصفحات التي تستحق اللصق معًا هي التي ينبغي أن تختلف: صفحة منتج يجب فهرستها بجانب صفحة بحث يجب ألا تُفهرس، فيُظهر تشغيل واحد الجوابين جنبًا إلى جنب.
- 02
اختر مستوى توحيد الرابط
يعيد توحيد الرابط كتابة كل عنوان قبل جلبه. الرابط كاملاً يبقي المسار والاستعلام لكنه يسقط معاملات التتبع والجزء المرجعي؛ بدون معلمات يزيل سلسلة الاستعلام؛ النطاق فقط لا يبقي إلا النطاق. تُضبط قواعد الفهرسة لكل قالب، وسلسلة الاستعلام هي ما يميّز صفحة البحث عن صفحة القائمة؛ أسقطها فتفحص القائمة بدلًا منها.
- 03
اقرأ عمود Robots
يعرض العمود سلاسل التوجيهات كما أُعلنت تمامًا، واحدة في كل سطر، ولا يحكم بشيء. التوجيه الموجّه إلى زاحف واحد يُعرض مع ذلك الاسم بعده، [googlebot] مثلًا، لأن كلمة موجهة إلى زاحف واحد تعني أقل. الخانة الفارغة تعني أنه لم يُعلن شيء، وذلك ليس خللًا: صفحة كهذه قابلة للفهرسة ولتتبع الروابط.
- 04
افحص صفًا وصدِّر النتائج
يجمع عرض التوجيهات ويعلّم كلًا منها بمصدره: [html] لوسم الميتا، و[header] للترويسة. وسم الميتا يسكن في قالب، والترويسة في إعدادات الخادم أو شبكة CDN. علامة ثانية تميّز التوجيه الذي يسمّي زاحفًا واحدًا، ولا يحسبه الحكم إلا حين يكون وكيل المستخدم مضبوطًا على ذلك الزاحف. ينسخ نسخ الجدول الصفوف مفصولة بعلامات جدولة؛ ويكتبها تصدير CSV إلى ملف.
كيفية قراءة تقرير noindex وnofollow
يُقرأ الصف من اليسار إلى اليمين: العنوان المفحوص، وأين حطّ، والقاعدة التي تضعها تلك الصفحة للزواحف.
أعمدة جدول النتائج
- الرابط
- العنوان تمامًا كما فُحِص — بعد التوحيد، وليس دائمًا ما كتبته أنت.
- الرابط الفعلي
- حيث انتهى الطلب وبأي حالة انتهى. تُتَّبع التحويلات أولًا، وتُقرأ القاعدة من تلك الصفحة الأخيرة.
- Robots
- كل نصوص التوجيهات التي تعلنها الصفحة الأخيرة، كلٌّ في سطر، دون تغيير، ومع اسم الزاحف بعد كل توجيه لا يخاطب سوى زاحف واحد. و— تعني أنه لم يُعلَن أي توجيه.
- النتيجة
- هل انتهى الصف، أم لا يزال يعمل، أم توقف على خطأ. وهو لا يقول شيئًا عن القاعدة نفسها.
- إجراءات
- يفتح عرض لوحة التفاصيل لذلك الصف، ويظهر إعادة المحاولة مكانه حين لا يصل الطلب أصلًا.
خلاصات لوحة التفاصيل
- الفهرسة وتتبّع الروابط مسموحان.
- أُعلِن شيء ما، ولا شيء فيه يمنع أي شيء — index صريح، أو follow، أو توجيهات تشكّل المقتطف فحسب. والنتيجة نفسها نتيجة ألّا تعلن شيئًا، غير أنها قيلت هنا صراحةً.
- لا يوجد توجيه robots — الافتراضي هو index, follow.
- لم يُعلن شيء، فتسري القاعدة الافتراضية: قابلة للفهرسة ولتتبع الروابط. صحيح لمعظم الصفحات.
- nofollow — لا تُتَّبع روابط هذه الصفحة.
- الصفحة قابلة للفهرسة لكن روابطها لا تمرّر شيئًا. ونادرًا ما تريد صفحة عامة ذلك، ومن السهل أن ترثه عن قالب صُنع لغرض آخر.
- noindex — لن تُفهرَس هذه الصفحة.
- تُبقى الصفحة خارج الفهرس. مناسب لصفحة بحث أو صفحة شكر، وأغلى خطأ على صفحة أردتَ لها أن تتصدر. none يُحسب هنا أيضًا: فهو اختصار لـnoindex مع nofollow.
- المصدران يختلفان — يطبّق Google الأكثر صرامة.
- مصدر يحجب الفهرسة وآخر لا يحجبها. يأخذ Google الأشد، فتخرج الصفحة؛ وقراءة المصدر المتساهل وحده تقول لك العكس.
- لا شيء هنا ينطبق على كل الزواحف — كل توجيه بالأعلى يسمّي زاحفًا بعينه، وهذا النوع لا يُفحص.
- كل ما تعلنه الصفحة موجّه إلى زاحف مسمّى، فلا قاعدة عامة يُحكم بها. اقرأ التوجيهات المدرجة بنفسك: الصفحة المفتوحة للجميع عدا Googlebot تبقى صفحة لن يفهرسها Google.
- التوجيهات التي تسمّي زاحفًا معيّنًا تُعرض دون فحص — والحكم أعلاه يشمل فقط ما ينطبق على كل الزواحف.
- الصفحة تعلن النوعين معًا. والحكم صحيح في القواعد العامة وحدها، أما المُسمّاة فتقف فوقه دون حكم — ويجدر بك قراءتها حين يكون الزاحف المذكور هو الذي يعنيك.
- لا شيء هنا ينطبق على Googlebot Smartphone — كل توجيه أعلاه يسمّي زاحفًا آخر.
- شغّلت الفحص باسم زاحف محدد، وكل سطر تعلنه الصفحة يسمّي زاحفًا آخر. لا شيء هنا يقيّد الزاحف الذي اخترته؛ الأسطر المدرجة موجهة لغيره.
- الحكم أعلاه يخصّ Googlebot Smartphone: التوجيهات التي تسمّيه محسوبة، والتي تسمّي زواحف أخرى غير محسوبة.
- يظهر حين تشغّل الفحص باسم زاحف محدد وتسمّي الصفحة زاحفًا ما. تنضم الأسطر التي تسمّي الزاحف المختار إلى القواعد العامة في الحكم؛ أما التي تسمّي زواحف أخرى فتُدرج فقط.
- التوجيهات المحسوبة لـ Googlebot Smartphone تختلف فيما بينها — والحكم أعلاه يتبع الأكثر صرامة.
- شغّلت الفحص باسم زاحف محدد والأسطر التي تنطبق عليه تختلف: أحدها يمنع الفهرسة والآخر لا. يأخذ الحكم الأكثر صرامة. توثّق Google أنها تفعل الشيء نفسه، ولكل زاحف آخر قواعده المنشورة.
من أين يمكن أن يأتي التوجيه
- [html]
- وسم <meta name="robots"> داخل head الصفحة. صحّحه في القالب الذي يبني ذلك الـ head.
- [header]
- ترويسة استجابة X-Robots-Tag. الطريقة الوحيدة لوضع قاعدة على ملف بلا head، كملف PDF أو صورة، ويسهل نسيانها لأن مصدر الصفحة لا يُظهرها أبدًا. أصلحها في إعدادات الخادم أو CDN.
- [googlebot] وأسماء الزواحف الأخرى
- توجيه موجّه إلى زاحف واحد: <meta name="googlebot">، أو سطر X-Robots-Tag مسبوق باسم زاحف. يُدرج مع ذلك الاسم، ولا يُحكم عليه إلا حين يكون وكيل المستخدم مضبوطًا على ذلك الزاحف. اقرأ تلك الأسطر بنفسك: الصفحة المحجوبة عن Googlebot وحده لن تتصدر.