منتدى جلاكسو
تطوير المواقع والمنتديات وادوات التصميم => ادارة وتطوير واشهار المواقع => الموضوع حرر بواسطة: waled في 06/09/2016 » 02:21:am
-
كل ماتريد أن تعرفه عن ملف robots.txt واهميته لموقعك شرح حصرى من جلاكسو لاستضافة المواقع
(https://www1.glaxu.net/up3/uploads/d98899c876.jpg) (https://www.glaxu.com/vb/index.php?topic=29535.0)
شرح شامل لملف robots.txt : ماهو ملف robots.txt , اهمية ملف robots.txt , طريقة التعامل مع ملف robots.txt , كيف يعمل ملف robots.txt , هل ملف robots.txt مهم لموقعى , الاكواد الصحيحه المفروض كتابتها فى ملف robots.txt , ماهى وظيفة ملف robots.txt . (https://www.glaxu.com/vb/index.php?topic=29535.0)
تعريف ملف robots.txt : هو بمثابة (ضابط تنظيم المرور فى موقعك) اذا كان ملف robots.txt غير موجود على موقعك فان ربوتات محركات البحث ستتحرك على موقعك بعشوائيه وفى كل مكان على موقعك
ملحوظه مهمه : فريق الدعم فى جوجل Google يخبرونك ان عدم وجود ملف robots.txt على موقعك يعنى انك سمحت لربوتات البحث بارشفة كل شىء على موقعك وانه مهم فقط عندما تريد عدم ارشفة صفحه او مسار معين على موقعك (والحقيقه ان هذا الكلام غير دقيق او كلام قديم لم يعد ينطبق على جوجل بوت Googlebot بعد التحديثات الاخيره) لان ربوتات جوجل اصبحت تحظر تلقائيا بعض امتدادت الملفات والمسارات حتى فى حالة عدم وجود ملف robots.txt على الموقع مثل ملفات css و js وبعض امتدادات الصور وبعض المسارات المؤديه لها وهذا حدث مع كثير من المواقع ومؤكد ولا نعرف هل هناك امتدادات اخرى يتم حظرها ام لا , قرأت رد لاحد موظفى الدعم فى جوجل ان الطبيعى الان ان هذه الامتدادات محظوره Googlebot ويجب ان تقوم بالسماح ل Googlebot بارشفتها عن طريق ملف robots.txt فى حين رأيت مئات الاسئله فى مدونة دعم مشرفى المواقع فى جوجل لم تلقى اى اجابه من موظفى دعم جوجل .
الملاحظه الثانيه : وجدنا الكثير من اصحاب المواقع لاتفرق بين امر السماح وامر منع Googlebot فى ملف robots.txt لان الفرق بينهم بسيط جدآ والصوره توضح الفرق
(https://www1.glaxu.net/up3/uploads/da84b34426.jpg) (https://www.glaxu.com/vb/index.php?topic=29535.0)
هل لاحظت الفرق البسيط بين الامرين ؟
لمنع كل محركات البحث من ارشفة موقعك تضيف هذا الامر فى ملف robots.txt
User-agent: *
Disallow: /
للسماح لمحركات البحث بارشفة كل شىء على موقعك موقعك تضيف هذا الامر فى ملف robots.txt
User-agent: *
Disallow:
مره اخرى هل لاحظت الفرق البسيط بين الامرين ؟ الفرق هو هذه العلامه / فقط
و يمكن استخدام الامرين مجتمعين فى ملف robots.txt على سبيل المثال محرك البحث جوجل هو الاكثر فائده لموقعك وباقى محركات البحث تستهلك موارد موقعك بلا فائده كبيره لموقعك لذلك يمكنك السماح لمحرك البحث جوجل بالدخول لموقعك وارشفة كل مافيه ومنع باقى محركات البحث الاخرى عن طريق الامر التالى :
User-agent: Google
Disallow:
User-agent: *
Disallow: /
وعلى سبيل المثال شاهد هذا الامر لتعرف كيف يمكن لملف robots.txt التحكم فى محركات البحث
User-agent: *
Disallow: /
Request-rate: 1/6
Visit-time: 0700-0900
هذا الامر يسمح لمحركات البحث بالدخول لموقعك لمدة ساعتين فقط فى اليوم من الساعه 7 صباحا للساعه 9 صباحا بتوقيت جرنتش ويحدد لربوتات البحث البقاء 6 ثوانى فقط على كل صفحه .
وهناك من يسأل هل يمكن ان يسمح صاحب موقع بساعتين فقط فى اليوم لربوتات البحث لدخول موقعه وأقول نعم اصحاب المواقع الكبيره ذات الشعبيه تفعل ذلك يسمحون بدخول الربوتات لمواقعهم فى الفتره الخامله التى يقل فيها عدد زوار واعضاء مواقعهم (وبالتأكيد يمكنهم التعديل على هذا الامر او حتى إلغاؤه فى اى وقت)
ملف robots.txt يجب ان يكون فى جذر الموقع اى الفولدر او المجلد الرئيسى وليس فى اى فولدر او مجلد فرعى مثل مجلد المنتدى يجب ان يكون هكذا
https://www.domain.com/robots.txt
مع تغير كلمة domain.com لدومين موقعك
وبما ان محرك البحث جوجل هو المهم وجب علينا كتابة بعض المعلومات المهمه :
محرك البحث جوجل يعتمد على عدد من الربوتات لكل منهم وظيفه ونوعية عمل يقوم بها يجب ان تعرفها لتعلم كيف تتعامل معها على موقعك
لكن اسمحوا لنا بقطع البث على الهواء وحصر متابعة الموضوع على اعضاء منتدى جلاكسو الافاضل بعد الرد على الموضوع
[****]
خصص محرك البحث جوجل Crawler مخصصه مثل :
Googlebot : عام للبحث وارشفة المواقع
Googlebot-News : مخصص للبحث وارشفة لمواقع وصفحات الاخبار
Googlebot-Image : مخصص للبحث وارشفة الصور
Googlebot-Video : مخصص للبحث وارشفة ملفات الفيديو
Googlebot-Mobile : مخصص للبحث وارشفة المواقع المجهزه للتعامل مع الموبايل
Mediapartners-Google : مخصص للبحث والتعرف والارشفه للمواقع التى تعرض اعلانات جوجل وبالاخص المواقع المجهزه للتعامل مع الموابايل
AdsBot-Google-Mobile-Apps : نفس السابق ولكن اكثر دقه فى تحديد المواقع المصممه للتعامل مع انواع متعدده من الموبالات والتابلت
وبالتالى يمكنك ان تسمح لنوع الربوت المتوافق مع نوعية موقعك ليس له علاقه بالصور فتمنع ربوت الصور من دخول موقعك وتوفر وقته لانواع الربوتات الاخرى مثال
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow: /
[/****]
-
تسلم أيدك على الشرح المميز
وبارك الله فيك
-
تسلم أيدك على الشرح المميز
وبارك الله فيك
شكرا على الرد لاحظت ان تقيمك اعلى منى هبدأ أحقد عليك :)
(https://www1.glaxu.net/up3/uploads/wh_14060664.jpg)
كلامى من باب الدعابه يسعدنى انى احد من اعطاك تقيم ايجابى اهتمامك بالرد ومساعدة الاعضاء تشهد بها مواضيعك هنا فى المنتدى
-
الأخ الفاضل الكريم الأستاذ waled المحترم
أشكر لك هذا التميز والإبداع .. فعلآ شرح وافي وكافي
بارك الله فيك وحفظك من كل مكروه
تقبل تحياتي وتقديري وأجل إحترامي
والسلام عليكم ورحمة الله وبركاته
-
اخى / الشيخ أبو محمد
دائما تتحفنا بردودك الطيبه والمشجعه وما بها من دعاء تقبل الله منا ومنك وحفظك من كل مكروه
وانتهز هذه الفرصه لأهنئك بعيد الأضحى المبارك أعاده الله علينا وعليك وعلى المسلمين أجمعين باليمن والبركات
وأسأل الله القريب المجيب أن يفرج كربنا وكرب أهلنا فى كل الدول العربيه
-
كل ماتريد أن تعرفه عن ملف robots.txt واهميته لموقعك شرح حصرى من جلاكسو لاستضافة المواقع
تعريف ملف robots.txt : هو بمثابة (ضابط تنظيم المرور فى موقعك) اذا كان ملف robots.txt غير موجود على موقعك فان ربوتات محركات البحث ستتحرك على موقعك بعشوائيه وفى كل مكان على موقعك
كلماتك فى الشرح جواهر تعطى مثال ونفهم وتروح كل التعقيدات بارك الله فيك
-
شكرا يبشمهندس وانا بقرأ اى موضوع من مواضيعك بحس انى فى محاضره جميله وببقى مش عايزها تنتهى ربنا ميحرمناش منك
-
العضو الكريم fox2000
اشكرك على ردك الجميل ولاتحرمنا تواجدك ومتابعتك
-
الأخ الفاضل الكريم الأستاذ waled المحترم
أشكر لك حسن الرد والتهنئة بمناسبة قرب حلول عيد الأضحى المبارك
وبهذه المناسبة السعيدة المباركة لا يسعني إلا أن أقدم التهاني والتبريكات
اليكم وإلى جميع الأخوة المسلمين في مشارق الأرض ومغاربها
سائلآ المولى القدير أن يمن عليكم بالأمن والأمان
وأن يعيده عليكم وأنتم ترفلون بالعز والصحة والعافية والعمر المديد
وأن يجعل كل أيامكم أعيادآ وأفراحآ ومسرات
وعيد سعيد وكل عام وأنتم بألف ألف خير
تقبل تحياتي وتقديري .
والسلام عليكم ورحمة الله وبركاته