ملفات Robots.txt: ما هي ولماذا تريد واحدًا
دعنا نتعمق قليلاً في ماهية ملف robots.txt وكيف يعمل في نطاق تحسين محركات البحث. إليك ما تحتاج لمعرفته حول أفضل ممارسات robots txt.
ملف robots.txt هو ملف نص عادي تم إنشاؤه في معيار استبعاد برامج الروبوت أو RES. RES هو بروتوكول للغة يمكن لبرامج زحف الويب قراءتها. نظرًا لوجود العديد من برامج زحف الويب من مختلف محركات البحث ، فمن المهم تجنب التفسير الخاطئ لما يجب الوصول إليه. يتيح لك RES أن تكون محددًا بشأن برامج زحف الويب التي يجب منعها من ماذا ، بينما تكون أيضًا مرنة جدًا في السماح لك بتأمين موقع كامل أو أجزاء منه فقط إذا لزم الأمر.
ستقوم معظم برامج زحف الويب بفحص ملف robots.txt لتحديد المحتوى الذي يجب أن يكونوا قادرين على طلبه من موقع الويب الخاص بك. ضع في اعتبارك أن برامج زحف الويب ذات النوايا الضارة يمكنها اختيار تجاهل الإرشادات أو حتى استخدامها كدليل للعثور على نقاط ضعف الموقع أو معلومات الاتصال الخاصة بالبريد العشوائي. إذا لم يتم العثور على ملف robots.txt ، فسيعتبر الزاحف الموقع مفتوحًا لأي طلبات على أي عنوان URL أو ملف وسائط.
يكون ملف robot.txt الخاص بالموقع متاحًا دائمًا لأي شخص لعرضه. هذا يعني أنه لا ينبغي استخدامها لإخفاء أي معلومات أو معلومات خاصة يمكن اختراقها. ابحث عن طرق بديلة لإخفاء صفحات كاملة من المعلومات من نتائج البحث ، مثل أمر noindex.
ضع في اعتبارك ما سيحدث إذا لم يكن لديك ملف robots.txt مرفقًا بموقعك. يمكنك الحصول على طلبات متعددة من برامج زحف تابعة لجهات خارجية تعمل على إبطاء موقعك أو خادمك. إن التحميل الزائد على الخادم أو التسبب في أخطاء في الخادم سيؤدي فقط إلى الإضرار بإمكانية وصولك إلى جمهورك.
على الرغم من أن بعض برامج الزحف التابعة لجهات خارجية لا يزال لديها خيار تجاهل الحظر ، إلا أنه سيكون من المفيد إنشاء ملف robots.txt لعرقلة معظم الزيارات غير المرغوب فيها ومنعها من مسح المحتوى الخاص بك.
إنشاء ملف Robots.txt
للبدء في إنشاء ملف robots.txt ، يمكنك استخدام محرر نصوص بسيط (وليس معالج نصوص) لإنشاء الملف وتحميله إلى دليل الجذر الرئيسي لموقعك على الويب. تأكد من أنه موجود في جذر اسم موقع الويب الخاص بك. تبحث جميع برامج زحف الويب عن “/robots.txt” بعد عنوان URL الأساسي مباشرةً.
مجموعة القواعد هي ما يتألف منه ملف robot.txt. أول المعلمات التي سيتم تضمينها في كل قاعدة هو وكيل المستخدم ، وهو اسم زاحف الويب الذي تقدمه لك.
مثال على ذلك هو Googlebot ، ولكن هناك العديد من برامج زحف الويب التي من المهم تحديد من تهدف إلى منعه أو السماح به من مناطق معينة. تعني علامة النجمة (*) بدلاً من اسم وكيل المستخدم أن جميع الروبوتات يجب أن تتبع القاعدة ، إذا اختاروا اتباعها.
المعلمة الثانية هي إحدى كلمات التعليمات الرئيسية: allow or disallow. يجب أن يتبع ذلك اسم المجلد أو اسم مسار الملف الذي تريد السماح أو عدم السماح بوصول الزاحف إليه.
يتيح لك القيام بذلك تحديد أجزاء موقع الويب الخاص بك التي تريد عدم فهرستها لنتائج البحث ويمنعك من الحصول على نتائج على مجموعتك بالكامل. يعد توضيح هذا مفيدًا بشكل خاص إذا لم يساعدك كل ملف في مهمة تحسين محركات البحث.
يتمثل جزء رئيسي آخر شائع في ملف robots.txt في إضافة الارتباط إلى خريطة موقع XML الخاصة بك. يتم إرفاق هذا حتى تتمكن برامج زحف الويب من تقييم المحتوى الخاص بك بسهولة وفهرسة أي محتوى تسمح به بحيث تظهر المعلومات ومقاطع الفيديو والصور الأكثر قيمة.
هذه ليست سوى أساسيات إعداد ملف robots.txt عملي لموقعك. بناءً على ذلك ، يجب أن تكون قادرًا على إنشاء قواعد يمكن لبرامج زحف الويب التنقل فيها لإنتاج نتائج بحث مهمة تزيد من حركة مرور موقعك على الويب. سيأخذ هذا أيضًا جهدًا لتحليل موقع الويب الخاص بك لاختيار المعلومات أو الوسائط التي ستجعل الجمهور يرغب في رؤية المزيد من المحتوى الذي تقدمه.
أفضل الممارسات لملفات Robots.txt
نأمل أن تساعدك هذه النظرة العامة على ملفات robots.txt في إنشاء ملف موقع الويب الخاص بك ، ويمكنك اتباع أفضل الممارسات أدناه لتحسين موقع الويب الخاص بك لبرامج زحف محركات البحث بالكامل. نحن نغطي التأكد من أن عناوين URL المحظورة الخاصة بك لا يمكن الوصول إليها من خلال موقع آخر ، وذلك باستخدام الرموز للتبسيط عند وجود نمط ، وتنظيم ملفك بشكل مناسب ، واختبار ملف robots.txt الخاص بك لمعرفة أنه يفعل ما تريده أن يفعله.
اختبار ملف Robots.txt الخاص بك
من المهم اختبار ملف robots.txt الخاص بك للتأكد من أنك لا تمنع أجزاء كاملة من موقع الويب الخاص بك من الظهور في نتائج البحث. يمكن أن يتيح لك القيام بذلك من خلال أداة اختبار معرفة ما إذا تم حظر عنوان URL معين لروبوت بحث ويب معين.
يمكن أن يكون هذا مفيدًا بشكل خاص إذا كان لديك جوانب متعددة تحاول الحد منها. لن ترغب في تبديل بسيط للكلمات “السماح” أو “عدم السماح” بإخراج صفحة الويب أو ملف الوسائط أو ملف الموارد من لعبة تحسين محركات البحث تمامًا.
نمط مطابقة
استفد من مطابقة الأنماط في ملفات robots.txt لحساب الاختلافات في عناوين URL. يمكن أن تتضمن مطابقة الأنماط علامة النجمة ، كما ذكرنا سابقًا ، لتمثيل جميع برامج الزحف. يمكن استخدام هذا في سطر وكيل المستخدم لعدم السماح بصفحة معينة من جميع روبوتات محركات البحث التي تقرأ الملف وتختار الانصياع له.
رمز آخر لمطابقة النمط هو علامة الدولار ($) ، والتي يمكن استخدامها في نهاية سلسلة معينة لمنع الزاحف من الوصول إلى أي عنوان URL ينتهي بهذا الامتداد أو نوع الملف.
التنسيب ، وبناء الجملة ، والشكل
كذلك ، فإن الحرص على الموضع ، وبناء الجملة ، والشكل ضروري لصفحة robots.txt التي ستعمل من أجلك. مرة أخرى ، يجب وضع الملف في جذر موقع الويب مقابل عنوان URL لصفحة فرعية أو مجال مختلف ، حيث يمكن أن يحتوي عنوان URL لكل موقع على ملف robots.txt واحد فقط. لن يبحث زاحف الويب إلا في موضع الجذر هذا ، لذا فإن الملف نفسه الذي تم وضعه في أي مكان آخر يصبح غير ذي صلة.
يجب تجميع التعليمات الموجودة داخل ملف robots.txt حسب وكيل المستخدم أو الزاحف الذي تتم معالجته. يتم فحص هذه المجموعات من الأعلى إلى الأسفل ، مما يعني أن زاحف الويب سيتبع أول مجموعة محددة من القواعد التي تطابقه. ضع ذلك في الاعتبار عند تحديد المواصفات الخاصة بك وتحديد برامج زحف الويب التي تسمح بالدخول إليها أو التي تحظرها.
ربط خارجي
في بعض الأحيان ، لا يزال من الممكن فهرسة عنوان URL المضمن في ملف robots.txt على الرغم من وجود توجيه لمنعه من برامج زحف محددة أو متعددة. كيف يمكن أن يكون هذا؟ عندما تتضمن صفحة خارجية رابطًا لصفحة قد ترغب في حظرها ، سيظل زاحف الويب قادرًا على رؤية هذه المعلومات عند البحث عن المحتوى وفهرسته. هذا مثال آخر عند البحث عن المزيد من الخيارات لحماية صفحات ويب معينة سيكون مفيدًا.
يعد استخدام ملف robots.txt لموقع الويب الخاص بك في صالحك عندما يتعلق الأمر بتوجيه روابط الموقع التي تريد دفعها للترويج لمحرك البحث والحفاظ على طلبات الزاحف الزائدة لمحرك البحث بعيدًا.
إنه جزء أساسي لا تريد أن تتركه يفلت من ثغرات استعدادات تحسين محركات البحث الخاصة بك ، خاصة عندما يتعلق الأمر بأفضل ممارسات Robots txt. سيساعدك وضع هذه الإرشادات والتوصيات في الاعتبار على إنشاء صفحة robots.txt لن تعيق أداء موقع الويب الخاص بك في صفحات نتائج محرك البحث وستعمل على تحسين سرعة موقعك وإمكانية الوصول إليه.
