حدد عنوان الصفحة بدقة
انسخ الرابط المتأثر كاملًا، بما فيه اسم النطاق والبروتوكول، ثم افتحه وسجّل أي تحويل. عبارة «صفحة الخدمات» وحدها لا تكفي للشخص الذي سيعدل قواعد الزحف.
تضع وثائق Google ملف robots.txt في جذر المضيف المعني. تسري القواعد على المضيف والبروتوكول والمنفذ الخاصين به؛ الملف داخل مجلد منتج لا يتحكم في هذا المجلد. للصفحة https://example.com/services/audit/ راجع https://example.com/robots.txt بدل إنشاء ملف داخل /services/.
احفظ الدليل قبل التعديل
احفظ نسخة من الملف مع تاريخ جلبها وحالة HTTP. اسأل المسؤول عن مصدره: هل هو ملف ثابت أم إعداد استضافة أم مكوّن داخل نظام إدارة المحتوى؟ تعديل نسخة محمّلة لا يغيّر الملف المنشور، وقد يعيد النظام توليد الملف ويلغي تعديلًا يدويًا غير مناسب.
اكتب قائمة اختبار تشمل صفحة الخدمة المستهدفة وصفحة عامة أخرى ورابطًا يجب أن يظل مستبعدًا من الزحف. ستحتاج هذه الحالات للتأكد من عدم تغيير سلوك غير مقصود. تجنب وضع بيانات عملاء أو معاملات خاصة من الروابط في تقرير SEO مشترك.
راجع مجموعة القواعد كاملة
يراعي Google مجموعات user-agent المناسبة وقواعد المسارات. حالة الأحرف في المسار مهمة، وكذلك مدى تخصيص القاعدة المطابقة. عند إرسال ملاحظة للمطور، احتفظ بالمجموعة المحيطة بالسطر المشكوك فيه؛ صورة لسطر Disallow وحده قد تؤدي إلى تعديل خاطئ.
وضّح المطلوب بجملة مباشرة، مثل: «نريد إتاحة الزحف لهذه الخدمة العامة مع استمرار قيود بقية المسارات». وإذا تداخلت مجموعات أو رموز مطابقة، اطلب اختبار القواعد الفعلية بدل افتراض أن السطر الأخير هو الذي يحسم النتيجة.
مثال توضيحي: حجب قسم الخدمات بالكامل
لنفترض أن فريقًا منع الزحف إلى قسم خدمات تحت الإنشاء، ثم نشر /services/audit/ بينما بقي الحجب الواسع /services/ موجودًا. هنا يعتمد القرار على ما إذا كان القسم كله جاهزًا أم الصفحة الجديدة فقط.
إذا كانت صفحة التدقيق وحدها جاهزة، يمكن للمراجع تقييم استثناء Allow محدود مع القيد الحالي. وإذا اكتمل القسم كله، يمكن مراجعة إزالة القيد الذي لم يعد مطلوبًا. لا تنسخ أي معالجة للموقع قبل اختبار المجموعات والمسارات الحقيقية. احتفظ بنسخة للرجوع، وحدد مسؤولًا واحدًا لتنفيذ التعديل.
اختبر الملف الذي يراه الزوار
انشر التعديل من خلال النظام المسؤول عن الملف، ثم اجلب robots.txt من الجذر العام مرة أخرى وقارنه بالنسخة المعتمدة. اختبر الرابط المستهدف وحالات المقارنة التي جهزتها، واحفظ نتيجة مؤرخة لكل حالة.
استخدم الفحص المباشر في Search Console كاختبار إضافي للوصول عندما يكون متاحًا. بقاء تقرير قديم لا يثبت أن الملف الحالي لم يتغير؛ التخزين المؤقت لدى Google قد يؤخر استخدام النسخة الجديدة. افصل بين «تم نشر القواعد الجديدة» و«رصد Google التغيير».
ما الذي تثبته هذه المعالجة؟
تصحيح قاعدة الزحف يعالج الوصول، لكنه لا يثبت الفهرسة ولا تحسن الترتيب. اجعل مراجعة المحتوى ومتابعة الفهرسة مهمتين منفصلتين، حتى لا تختلط نتيجة التنفيذ التقني بنتيجة بحث لم تتأكد بعد.
احتفظ داخل مهمة التدقيق بالقاعدة قبل التعديل وبعده وسبب التغيير ونتائج الاختبار. لا تعتمد على robots.txt لحماية معلومات سرية؛ هذه الخطوات تخص وصول الزواحف لصفحات الخدمات العامة، أما الموارد الخاصة فتحتاج تحكمًا مناسبًا في الوصول.