شرح ملف robots.txt بالكامل

بسم الله الرحمن الرحيم

شرح ملف robots.txt بالكامل

مثال
https://jmrh.mam9.com/robots.txt
اولا كود لتوجيه العناكب جميعا

User-agent: *

ما هذا الكود ؟
هذا الكود لجميع العناكب و هذا افضل من غيره اي تضع عناكب قوقل بكود وياهو بكود واللخ
و النجمة * تعني جميع العناكب

ثانياً

Disallow:

هذا يمنع العناكب من الدخول لملفات معينة

Disallow: /vb/announcement.php
Disallow: /vb/calendar.php
Disallow: /vb/cron.php
Disallow: /vb/editpost.php
Disallow: /vb/faq.php
Disallow: /vb/joinrequests.php
Disallow: /vb/login.php
Disallow: /vb/misc.php
Disallow: /vb/moderator.php
Disallow: /vb/newreply.php
Disallow: /vb/newthread.php
Disallow: /vb/online.php
Disallow: /vb/attachment.php
Disallow: /vb/private.php
Disallow: /vb/profile.php
Disallow: /vb/register.php
Disallow: /vb/search.php
Disallow: /vb/sendmessage.php
Disallow: /vb/showgroups.php
Disallow: /vb/showpost.php
Disallow: /vb/subscription.php
Disallow: /vb/subscriptions.php
Disallow: /vb/threadrate.php
Disallow: /vb/usercp.php
Disallow: /vb/payments.php
Disallow: /vb/memberlist.php
Disallow: /vb/image.php
Disallow: /vb/images/

مع تغيير images/ بمجلد الاستايل الحالي لتصفح اسرع للعناكب Rolling Eyes

ثالثاً

Allow:

هذا يسمح للعناكب في الدخول الى اي مجلد
ينصح

Allow: /
Allow: /vb
Allow: /directory
Allow: /host

مع تغيير vb و directory و host بمجلدات موقعك 016

رابعاً

اضافة ملفات الخرائط

Sitemap:

وهي اضافة خرائط موقعك لتوجيه العناكب لها

ينصح بهذا

Sitemap: http://www.jmrh.mam9.com/vb/external.php
Sitemap: http://www.jmrh.mam9.com/vb/external.php?type=rss
Sitemap: http://www.jmrh.mam9.com/vb/external.php?type=rss2
Sitemap: http://www.jmrh.mam9.com/vb/external.php?type=xml
Sitemap: http://www.jmrh.mam9.com/vb/archive/index.php

انتهى الموضوع بحمد الله تعالى

q11244556

مشكور على هذا الموضوع الرائع

سلمت يداك على الموضوع الرائع

» صورة سياره شفافة بالكامل 2014
» برنامج لتنظيف الكمبيوتر بالكامل من كل التهديدت Loaris Trojan Remover

شرح ملف robots.txt بالكامل

شرح ملف robots.txt بالكامل

مواضيع مماثلة

مواضيع مماثلة