آموزش و ساخت فایل Robots.txt
اهمیت Robots.txt
فایل Robots.txt در تمامی سایت ها مورد استفاده قرار می گیرد و به ربات های وب دستوراتی در مورد سایت شما می دهد. این ربات ها می توانند به شما احترام بگذارند و به این دستورات عمل کنند و یا آنها را نادیده بگیرند! وظیفه اصلی این فایل این است که به تمامی موتورهای جستجو می گوید که چه فایل هایی را از سایت شما ایندکس کند. این به معنی است که وقتی که ربات های جستجو وارد سایت شما می شوند باید بدانند که چه قسمت هایی را می توانند جستجو کنند و چه قسمت هایی برای آنها ممنوع می باشد. که این تنظیمات در فایل robots.txt ذخیره می شود.
ساخت Robots.txt
ابتدا یه فایل به نام Robots.txt می سازیم، در این فایل دو دستور اصلی وجود دارد : user-agent ، Dissallow
* :user-agent: این دستور اجازه می دهد که تمامی کدهای این قسمت بر روی همه ربات های موجود اعمال شود (ربات های موتور جستجوی گوگل ، ربات های موتور جستجوی یاهو و ...)
/ :Dissallow: دستور دوم اجازه نمی دهد که ربات های جستجو صفحات سایت شما را ببینند.
در مثال زیر از تمامی ربات ها درخواست میکنیم تا پوشه های گفته شده را بررسی و ایندکس نکنند.
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /ravian/
با توجه به مطالب گفته شده ، کد زیر دسترسی تمامی ربات ها را به سایت می بندد.
Disallow: /
می توانیم اجازه دهیم که برخی از ربات ها به سایت دسترسی داشته یا نداشته باشند، برای مثال به ربات گوگل در کد زیر اجازه می دهیم به سایت دسترسی داشته باشد و دسترسی تمامی ربات های دیگر به غیر از گوگل را به سایت را میبندیم.
Disallow:
User-agent: *
Disallow: /
برای تعریف بهتری از این فایل در موتورهای جستجو بهتر است آدرس فایل sitemap.xml را در این فایل قرار دهیم:
Disallow: /
Sitemap: http://ravian.net/sitemap.xml
توجه داشته باشد فایل Robots.txt حتما در روت هاست (root) سایت قرارگیرد.