شرح مصطلح robots.txt
باختصار شديد ملف Robots.txt هو ملف يتم انشائه على المجلد الرئيسي لموقعك والذي يقوم بدوره بتوجيه روبوتات وعناكب البحث للصفحات المهمة علي موقعك او الصفحات التي سيتم ارشفتها حيث يخبر هذا الملف عناكب البحث بان هذه الصفحات هي الاهم علي موقعك وهي التي سوف يتم ارشفتها, ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث الخاصة بهم.
محتويات المقال
كيف إنشاء ملف Robots.txt
تقوم بإنشاء ملف نصي بصيغة txt على المجلد الرئيسي لموقعك بإسم robots ليكون اسم الملف الكامل هو robots.txt.
نقوم بمليء الملف بالأوامر التي نريد اعطائها لمحركات البحث.
إذا كنت تستخدم خدمة استضافة للمواقع الإلكترونية، مثل Wix أو Drupal أو Blogger، لن تحتاج على الأرجح إلى تعديل ملف robots.txt مباشرةً (أو لن تتمكن من ذلك). وبدلاً من ذلك، قد يعرض موفّر الخدمة صفحةً لإعدادات البحث أو آلية أخرى لتوجيه محركات البحث بالزحف إلى صفحتك أو عدم الزحف إليها.
في ما يلي ملف robots.txt بسيط يتضمن قاعدتَين:
User-agent: Googlebot
Disallow: /nogooglebot/User-agent: *
Allow: /Sitemap: https://www.example.com/sitemap.xml
روابط مهمة
- دليل مصطلحات السيو.
- خدمات تحسيين محركات البحث.
- خدمات تصميم المواقع من شركات معتمده.
