كل ماتريد أن تعرفه عن ملف robots.txt واهميته لموقعك شرح حصرى من جلاكسو لاستضافة المواقع
شرح شامل لملف robots.txt : ماهو ملف robots.txt , اهمية ملف robots.txt , طريقة التعامل مع ملف robots.txt , كيف يعمل ملف robots.txt , هل ملف robots.txt مهم لموقعى , الاكواد الصحيحه المفروض كتابتها فى ملف robots.txt , ماهى وظيفة ملف robots.txt .تعريف ملف robots.txt : هو بمثابة (ضابط تنظيم المرور فى موقعك) اذا كان ملف robots.txt غير موجود على موقعك فان ربوتات محركات البحث ستتحرك على موقعك بعشوائيه وفى كل مكان على موقعك
ملحوظه مهمه : فريق الدعم فى جوجل Google يخبرونك ان عدم وجود ملف robots.txt على موقعك يعنى انك سمحت لربوتات البحث بارشفة كل شىء على موقعك وانه مهم فقط عندما تريد عدم ارشفة صفحه او مسار معين على موقعك (والحقيقه ان هذا الكلام غير دقيق او كلام قديم لم يعد ينطبق على جوجل بوت Googlebot بعد التحديثات الاخيره) لان ربوتات جوجل اصبحت تحظر تلقائيا بعض امتدادت الملفات والمسارات حتى فى حالة عدم وجود ملف robots.txt على الموقع مثل ملفات css و js وبعض امتدادات الصور وبعض المسارات المؤديه لها وهذا حدث مع كثير من المواقع ومؤكد ولا نعرف هل هناك امتدادات اخرى يتم حظرها ام لا , قرأت رد لاحد موظفى الدعم فى جوجل ان الطبيعى الان ان هذه الامتدادات محظوره Googlebot ويجب ان تقوم بالسماح ل Googlebot بارشفتها عن طريق ملف robots.txt فى حين رأيت مئات الاسئله فى مدونة دعم مشرفى المواقع فى جوجل لم تلقى اى اجابه من موظفى دعم جوجل .
الملاحظه الثانيه : وجدنا الكثير من اصحاب المواقع لاتفرق بين امر السماح وامر منع Googlebot فى ملف robots.txt لان الفرق بينهم بسيط جدآ والصوره توضح الفرق
هل لاحظت الفرق البسيط بين الامرين ؟
لمنع كل محركات البحث من ارشفة موقعك تضيف هذا الامر فى ملف robots.txt
User-agent: *
Disallow: /
للسماح لمحركات البحث بارشفة كل شىء على موقعك موقعك تضيف هذا الامر فى ملف robots.txt
User-agent: *
Disallow:
مره اخرى هل لاحظت الفرق البسيط بين الامرين ؟ الفرق هو هذه العلامه
/ فقط
و يمكن استخدام الامرين مجتمعين فى ملف robots.txt على سبيل المثال محرك البحث جوجل هو الاكثر فائده لموقعك وباقى محركات البحث تستهلك موارد موقعك بلا فائده كبيره لموقعك لذلك يمكنك السماح لمحرك البحث جوجل بالدخول لموقعك وارشفة كل مافيه ومنع باقى محركات البحث الاخرى عن طريق الامر التالى :
User-agent: Google
Disallow:
User-agent: *
Disallow: /
وعلى سبيل المثال شاهد هذا الامر لتعرف كيف يمكن لملف robots.txt التحكم فى محركات البحث
User-agent: *
Disallow: /
Request-rate: 1/6
Visit-time: 0700-0900
هذا الامر يسمح لمحركات البحث بالدخول لموقعك لمدة ساعتين فقط فى اليوم من الساعه 7 صباحا للساعه 9 صباحا بتوقيت جرنتش ويحدد لربوتات البحث البقاء 6 ثوانى فقط على كل صفحه .
وهناك من يسأل هل يمكن ان يسمح صاحب موقع بساعتين فقط فى اليوم لربوتات البحث لدخول موقعه وأقول نعم اصحاب المواقع الكبيره ذات الشعبيه تفعل ذلك يسمحون بدخول الربوتات لمواقعهم فى الفتره الخامله التى يقل فيها عدد زوار واعضاء مواقعهم (وبالتأكيد يمكنهم التعديل على هذا الامر او حتى إلغاؤه فى اى وقت)
ملف robots.txt يجب ان يكون فى جذر الموقع اى الفولدر او المجلد الرئيسى وليس فى اى فولدر او مجلد فرعى مثل مجلد المنتدى يجب ان يكون هكذا
https://www.domain.com/robots.txt
مع تغير كلمة domain.com لدومين موقعك
وبما ان محرك البحث جوجل هو المهم وجب علينا كتابة بعض المعلومات المهمه :
محرك البحث جوجل يعتمد على عدد من الربوتات لكل منهم وظيفه ونوعية عمل يقوم بها يجب ان تعرفها لتعلم كيف تتعامل معها على موقعك
لكن اسمحوا لنا بقطع البث على الهواء وحصر متابعة الموضوع على اعضاء منتدى جلاكسو الافاضل بعد الرد على الموضوع
[****]
خصص محرك البحث جوجل Crawler مخصصه مثل :
Googlebot : عام للبحث وارشفة المواقع
Googlebot-News : مخصص للبحث وارشفة لمواقع وصفحات الاخبار
Googlebot-Image : مخصص للبحث وارشفة الصور
Googlebot-Video : مخصص للبحث وارشفة ملفات الفيديو
Googlebot-Mobile : مخصص للبحث وارشفة المواقع المجهزه للتعامل مع الموبايل
Mediapartners-Google : مخصص للبحث والتعرف والارشفه للمواقع التى تعرض اعلانات جوجل وبالاخص المواقع المجهزه للتعامل مع الموابايل
AdsBot-Google-Mobile-Apps : نفس السابق ولكن اكثر دقه فى تحديد المواقع المصممه للتعامل مع انواع متعدده من الموبالات والتابلت
وبالتالى يمكنك ان تسمح لنوع الربوت المتوافق مع نوعية موقعك ليس له علاقه بالصور فتمنع ربوت الصور من دخول موقعك وتوفر وقته لانواع الربوتات الاخرى مثال
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow: /
[/****]
