بعضی وقت‌ها هم ربات‌ها گوگل چیزهایی را که دوست نداریم هر کسی ببیند را برمی‌دارند می‌برند در سرورهای گوگل ذخیره می‌کنند و به عالم و آدم نشان می‌دهند. فایل robots.txt از بخش های مختلفی تشکیل شده است که در زمان پیاده سازی باید به تمامی این بخش ها توجه داشته باشید و سعی کنید که جزئی ترین نکات را نیز در زمان پیاده سازی رعایت کنید. BOM در واقع مخفف عبارت byte order mark است که در واقع یک کاراکتر غیر قابل مشاهده در ابتدای فایل robots.txt می باشد و برای رمزگذاری منحصر به فرد یک فایل متنی مورد استفاده قرار می گیرد. بهترین راه برای ارسال یک سیگنال به موتورهای جستجو به منظور این که یک صفحه نباید ایندکس شود این است که از تگ meta robots یا X-Robots-Tag استفاده کنید. دستورالعمل های فایل robots.txt تنها برای دامنه یا زیردامنه ای که در آن قرار دارد اعمال می شود.
- پهنای باند و سرعت سایت دو المان مهم در بحث بهینه سازی و قرار گرفتن در صفحه اول گوگل است.
- نحوه عملکرد موتورهای جستجو در خصوص دستورالعمل Crawl-delay متفاوت می باشد.
- بعد از این کار مجدداً به این صفحه برگشته و گزینه Submit نهایی را بزنید تا به گوگل اطلاع دهید که فایل مورد نظر بروزرسانی شده است.
- در قسمت بالا منظور از User-agent نوع رباتی است که شما آن را فرا می خوانید.
- در صورتی که برای شما درباره موارد دیگری از فایل Robots.txt سؤال وجود دارد، می‌توانید سؤالتان را در بخش کامنت‌های سایت با ما در میان بگذارید.
الان به حالت دیفالت برگردوندم و دسترسی همه بازه اما همچنان گوگل سرچ کنسول به من اخطار میده که ربات ها توسط روبوتس دات تی اکس تی بلاک شدن و صفحات کراول نمیشن. در بخش بعد توضیح می‌دهیم که چطور یک فایل Robots.txt بسازیم، آن را در جای درستش قرار دهیم و تست کنیم تا ربات‌های گوگل به آن دسترسی داشته باشند. دستور / بعداز Disallow به ربات گوگل می‌گوید باید وارد پوشه‌ای در ریشه فایل شوی. امکان دارد هر کدام از ربات‌ها دستورات را به شکل متفاوتی درک کند.
در صورتی که شما از این فایل در برخی از صفحات در طراحی سایت خود استفاده کنید، موتور های جستجو آن صفحات را به اصطلاح crawl (خزیدن) نمی کنند و امکان دارد URL آن صفحات را در ایندکس خود ثبت نکنند. در این مقاله در گروه تحقیقاتی خارکن سعی ما بر این بود که شما را به صورت کامل و خیلی ساده با موضوع چستی و چگونگی عملکرد فایل Robots.txt آشنا کنیم. در صورتی که برای شما درباره موارد دیگری از فایل Robots.txt سؤال وجود دارد، می‌توانید سؤالتان را در بخش کامنت‌های سایت با ما در میان بگذارید.
۲. جلوگیری از نمایش صفحات یا فایل‌ها در نتایج جستجوی گوگل
سوال تکراری: آیا باید به سایت مپ در فایل ربات لینک دهیم؟
معرفی سایت