با استفاده از آن می‌توان به موتورهای جست‌وجو اعلام کرد که چه محتوا و صفحاتی را برای ایندکس شدن بررسی نکنند. با این فایل شما می‌توانید محتواهایی که نمی‌خواهید توسط موتورهای جستجو بررسی و در نتایج جستجوها نشان داده نشود را مشخص کنید. دستور سایت مپ(نقشه سایت) برای معرفی کردن نقشه سایت (سایت مپ) به کراولر ها کاربرد دارد. نقشه سایت یک فایل XML است که شامل لیستی از تمام صفحات وب سایت شما و همچنین متادیتاها می باشد (متادیتا شامل اطلاعاتی است که به هر URL منسوب می شود). فایل txt کار می کند، نقشه سایت به موتورهای جستجو اجازه می دهد تا در فهرستی از تمام صفحات وب سایت شما در یک مکان بخزند.
چگونه فایل robots.txt را آپلود کنیم؟
به محض رویارویی با این فایل، خزندگان سطح وب شروع به بررسی محتوا و لیست داخل این فایل کرده تا بخش‌های قابل دسترسی را پیدا کنند. در واقع فایل Robots.txt یک قرارداد بین سایت شما و ربات‌های خزنده است که به آنها اعلام می‌کند چه محتوایی قابل بررسی و چه محتوایی غیرقابل بررسی است. با این کار ربات‌های موتورهای جستجو زمان کافی و اختیارات لازم برای بررسی محتوای وبسایت شما را داشته و بهتر سایت شما را بررسی می‌کنند.
- قطعا مدیریت تعداد زیادی URL و لینک برای مدیران وبسایت ها کار نسبتا دشواری است؛ شما با استفاده از Robot.txt می توانید به مدیریت لینک ها و آدرس های سایتتان بپردازید و هر زمان که احساس نیاز کردید، در آن تغییر ایجاد کنید.
- یعنی اگر وبلاگ شما زیر دامنه سایت شما است، باید برای سایت یک فایل Robots.txt و برای وبلاگ فایل جداگانه دیگری داشته باشید.
- ربات گوگل برای هر سایت یک بخش بودجه ای را که متناسب با مطلوبیت و ماهیت آنها باشد، کنار می گذارد.
- در مثال زیر ربات خزنده موظف است بین هر درخواست ۸ میلی ثانیه توقف کند.
در این مقاله به طور کامل با فایل ربات سایت و نحوه ساخت و بررسی آن آشنا شدیم. اگر شما اعتقاد دارید در بودجه خزش سایت شما اشکالاتی وجود دارد پس بلاک کردن موتورهای جستجو از بررسی قسمت‌های کم اهمیت سایت، از هدر رفت بودجه خزش جلوگیری می‌کند. با بهینه سازی فایل ربات موتورهای جستجو از جمله گوگل می‌توانند از بررسی صفحات کم اهمیت صرف نظر کرده و به بررسی صفحات مهمتر سایت بپردازند. گوگل دیگر کودکی نیست که فقط به محتوای html سایت شما دقت کند و آن را در حالی که شما از دیگر تکنولوژی هایی مثل جاوا اسکریپت و … استفاده می کنید نادیده بگیرد و تمامی محتواهای تمام صفحات شما را بیرون بکشد.
در این حالت یکی از راه حل‌های پیشنهادی گوگل، استفاده از تگ noindex در هدر صفحه مورد نظر است. البته بهتر است برای اطمینان بیشتر و جلوگیری صددرصد از ایندکس اینگونه صفحات از تگ noindex هم استفاده کنیم که در جلوتر به صورت مفصل به آن خواهیم پرداخت. علاوه بر این‌ها، حجم زیادی از ترافیک و منابع هاست و سرور ما هم صرف پاسخگویی به ربات‌ها می‌شود که بسیاری از این درخواست‌ها بدون سود و تنها مضر هستند و الکی منابع سایت ما را هدر می‌دهند. برای درک بهتر نقش فایل ربات در سایت، علائم راهنمایی و رانندگی را در ذهنتان تجسم کنید. این به ربات ها می گوید که می توانند کل وب سایت را مرور کنند، زیرا هیچ چیزی غیرمجاز نیست. دستور Disallow را می توان به روش‌های مختلفی مورد استفاده قرار داد که چندین مورد از آنها در مثال بالا نمایش داده شده است.