لماذا لا يظهر متجرك في جوجل؟ أخطاء robots.txt ووسم noindex

أمران يحددان هل تستطيع جوجل عرض متجرك في نتائج البحث أصلًا: ملف robots.txt، وهو ملف نصي صغير في جذر موقعك يخبر الزواحف (البرامج التي تزور الصفحات نيابة عن محركات البحث) بالروابط المسموح لها بزيارتها، ووسم noindex، وهو تعليمة تطلب من محركات البحث ألّا تعرض الصفحة في النتائج. سطر واحد خاطئ في أيٍّ منهما قد يُخرج منتجاتك أو أقسامك أو المتجر كله من جوجل، بينما يستمر المتجر في البيع بشكل طبيعي، فلا ينتبه أحد حتى تتراجع الزيارات القادمة من البحث. والأمران يتداخلان كذلك: تقول جوجل إن noindex لا يعمل إلا إذا كانت الصفحة غير محظورة في robots.txt، لأن الصفحة المحظورة لا تُزار أصلًا، فلا يُقرأ الوسم الموجود فيها. بل قد يظهر الرابط المحظور في النتائج دون محتواه.

كيف تتحقق

1. افتح https://yourdomain.com/robots.txt في المتصفح، وابحث عن Disallow: / تحت User-agent: *، وعن أي قاعدة تشمل روابط المنتجات أو الأقسام، أو تحظر ملفات CSS وJavaScript التي تحتاجها صفحاتك.
2. انتبه لرمز الاستجابة: وفق معيار robots.txt ‏(RFC 9309)، إذا أعاد الملف خطأ خادم (5xx) فعلى الزواحف أن تعتبر الموقع كله محظورًا، أما الخطأ 404 فيعني السماح بكل شيء.
3. افتح مصدر صفحة منتج (View Source) وابحث عن كلمة noindex، ثم افحص ترويسات الاستجابة بحثًا عن X-Robots-Tag، فهي تحمل التعليمة نفسها من جهة الخادم.
4. في Google Search Console ‏(أداة جوجل المجانية لمتابعة ظهور موقعك في البحث)، تُظهر لك أداة فحص الرابط (URL Inspection) هل الرابط محظور في robots.txt أو مستبعد بوسم noindex.
5. شغّل الفحص المجاني: يقرأ «فحص المتجر — أحمد فايد» قواعد robots.txt لكل زاحف على حدة، ويفحص الصفحة الرئيسية وقوالب المنتجات والأقسام بحثًا عن noindex.

زواحف محركات البحث والذكاء الاصطناعي

تستخدم شركات الذكاء الاصطناعي أسماء منفصلة في robots.txt للتدريب وللبحث، وحظر الاسم الخطأ يُخرج متجرك من نتائج بحث قد تريد الظهور فيها.

إذا أردت منع استخدام محتوى متجرك في تدريب نماذج OpenAI مع البقاء في نتائج بحث ChatGPT، فاحظر اسم التدريب وحده:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

كيف تصلح المشكلة

سلة

ملف robots.txt الافتراضي في سلة متساهل: يسمح بكل شيء عدا نمطًا واحدًا هو /*<iframe، لذلك تأتي المشكلات عادة من التعديل عليه. أحد متاجر سلة التي فُحصت لإعداد هذا المقال كان ملفه يحتوي على قواعد منسوخة من ووكومرس مثل /?add-to-cart= و/my-account، وهي لا تطابق أي رابط في سلة. احذف القواعد المنسوخة أو أعد الملف إلى وضعه الافتراضي. لم أتحقق من مكان محرر robots.txt في لوحة تحكم سلة الحالية، فإن لم تجده فاسأل دعم سلة. أما وسم robots في رأس الصفحة فتتحكم فيه المنصة نفسها، فإن وجدت noindex على قالب المنتجات أو الأقسام فأرسل الروابط المتأثرة إلى دعم سلة.

زد

المحرر موجود في: لوحة التحكم ← المتجر الإلكتروني ← تحسين محركات البحث ← ملف Robot.txt، وهو متاح لمشتركي باقتي النمو (Growth) والاحترافية (Professional) فقط. يتحقق المحرر من صحة الصياغة، وفيه زر لاستعادة الإعدادات الافتراضية، ويحذّر من أن السطر Disallow: / يُخرج المتجر من الأرشفة. الملف الافتراضي في أحد متاجر زد الحية كان يحظر /cart و/api/ و/js/ وروابط التقييمات والبحث، إضافة إلى نحو 600 زاحف بالاسم. راجع تلك القائمة وتأكد أن الزواحف التي تريد الظهور عندها ليست فيها. أما هل يؤثر السطر Disallow: /js/ في طريقة عرض جوجل لقالب زد فأمر غير مؤكد، فاختبر صفحة منتج بأداة URL Inspection. وكما في سلة، فوسم noindex تضيفه المنصة ولا يتحكم فيه التاجر.

شوبيفاي (Shopify)

الطريقة الوحيدة لتعديل robots.txt في شوبيفاي هي ملف robots.txt.liquid داخل القالب (الثيم). دعم شوبيفاي لا يساعد في هذه التعديلات، والمنصة تحذّر من أن الخطأ فيها قد يسبب «فقدان كل الزيارات». أبقِ الحلقة robots.default_groups التي تطبع القواعد الافتراضية لشوبيفاي، وأضف قواعدك إليها. أما استبدال الملف بنص ثابت فيُسقط تلك القواعد وأي تحديثات تجريها شوبيفاي عليها لاحقًا.

ووردبريس وووكومرس (WordPress/WooCommerce)

ابدأ بصفحة الإعدادات ← القراءة (Settings › Reading): إذا كان خيار ظهور الموقع لمحركات البحث (Search engine visibility) مضبوطًا على منع الأرشفة، يضيف ووردبريس noindex إلى كل الصفحات. بعد ذلك راجع إعدادات إضافة السيو لديك لنوع المحتوى المتأثر. وبعض noindex مقصود ولا يحتاج إلى إصلاح: ووردبريس يستبعد صفحات نتائج البحث الداخلي، وووكومرس يستبعد صفحات السلة والدفع وحسابي.

متجر مبرمج خصيصًا

راجع إعدادات الخادم وشبكة توزيع المحتوى (CDN) بحثًا عن ترويسة X-Robots-Tag، وراجع القوالب بحثًا عن noindex بقي من بيئة التجربة (staging). ضع وسم robots النهائي في HTML الذي يرسله الخادم، فجوجل تقول إن محركها إذا وجد noindex في HTML الأصلي قد يتخطى تشغيل JavaScript، فلا يفيد حذف الوسم بالسكربت.

أخطاء شائعة

• حظر رابط في robots.txt لإزالته من جوجل. الصحيح أن تضيف noindex وتُبقي الرابط متاحًا للزحف حتى يخرج من النتائج.
• كتابة noindex داخل ملف robots.txt، وجوجل لا تدعم ذلك.
• حظر ملفات CSS أو JavaScript التي تحتاجها الصفحات لتُعرض بشكل صحيح.
• حظر كل زواحف OpenAI أو Anthropic بينما كان المقصود منع التدريب فقط.
• ترك ملف robots.txt يعيد خطأ خادم أثناء صيانة المتجر.

شغّل «فحص المتجر — أحمد فايد» المجاني لتعرف هل في متجرك أيٌّ من هذه الأخطاء. إذا أردت مساعدة في إصلاح ذلك، تواصل معي عبر واتساب ‎+20 102 702 0701 أو عبر ahmed-fayed.com.

المصادر

• Google Search Central: حظر الأرشفة باستخدام noindex
• Google Search Central: وسم robots وترويسة X-Robots-Tag
• Google Search Central: أساسيات JavaScript والسيو
• جوجل: الزواحف الشائعة (Google-Extended)
• RFC 9309: معيار robots.txt
• مركز مساعدة زد: ملف robots.txt
• مساعدة شوبيفاي: تعديل robots.txt.liquid
• مطوري شوبيفاي: تخصيص robots.txt
• نواة ووردبريس: robots-template.php
• ووكومرس: wc-template-functions.php
• PPC Land: تحديث OpenAI لتوثيق زواحفها (ديسمبر 2025)
• Search Engine Roundtable: تحديث Anthropic لتوثيق زواحفها (فبراير 2026)
• Perplexity: زواحف Perplexity
• فحص مباشر لملف robots.txt في متجر على سلة ومتجر على زد، 30 سبتمبر 2026 (دون ذكر أسماء المتاجر).