هر گروه با یک خط User-agent شروع می‌شود که هدف گروه ها را مشخص می‌کند. هر گروه از چندین قانون یا دستورالعمل (دستورالعمل) تشکیل شده است، یک دستورالعمل در هر خط. کد robots.txt خود را از صفحه robots.txt تستر با کلیک روی دانلود در کادر گفتگوی ارسال دانلود کنید. کدام دایرکتوری ها یا فایل هایی که user-agent نمی تواند به آن دسترسی داشته باشد.
- این صفحات برای وب سایت شما ضروری هستند ولی نمی خواهید در گوگل فهرست بندی شوند.
- پس از ساخت فایل موردنظر خود و ذخیره آن در فرمت txt آن را بر روی سرور و در ریشه اصلی کپی کنید.
- BOM در واقع مخفف عبارت byte order mark است که در واقع یک کاراکتر غیر قابل مشاهده در ابتدای فایل robots.txt می باشد و برای رمزگذاری منحصر به فرد یک فایل متنی مورد استفاده قرار می گیرد.
- استفاده از فایل Robots.txt تاثیر بسزایی بر عملکرد بهینه سایت و سئو آن دارد و به همین دلیل است که تمامی وب سایت‌ها باید دارای فایل ربات ساز باشند.
- تغییرات اعمال شده توسط شما در فایل Robots.txt امکان آسیب جدی به سئو سایت شما دارد.
- ادمین سایت با هدف راه‌اندازی کسب‌وکار اینترنتی به صورت آسان ایجاد شده.
در صورتی که نتیجه‌ای در برنداشت باید به پوشه public_html در هاست خود بروید و یک فایل متنی با نام robots.txt ایجاد کنید و محتوای آن را مطابق با نیازهای خود و مطالب ارائه شده در این مقاله اصلاح کنید. این فایل نوشتاری، شامل دستوالعمل هایی در یک قالب‌بندی خاص می‌باشد. ربات‌هایی که از این دستورالعمل‌ها پیروی می‌کنند، سعی می‌کنند که قبل از گرفتن فایل دیگری از این وبسایت، این فایل را مرور کرده و دستورالعمل‌ها را بخوانند.
نمونه های فایل robots.txt کدامند؟
فایل Robots.txt در حقیقت به ربات‌ها اطلاع می‌دهد که کجا می‌توانند فایل یا فایل‌های نقشه سایت XML را پیدا کنند و در این میان کدام صفحات نباید کراول شوند. قبل از اینکه ربات‌های موتورهای جستجو نظیر گوگل صفحات وب را کراول کنند ابتدا فایل Robots.txt را بررسی می‌کنند و اگر این فایل موجود باشد مجله خبری سئو مطابق با اطلاعات مندرج در آن اقدام به ایندکس کردن صفحات می‌کنند. فایل robots.txt یک فایل متنی است که مدیران سایت و وبمسترها برای هدف دهی و کنترل عملیات خزیدن و crawl کردن سایت توسط الگوریتم های موتورهای جستجو ایجاد می کنند. این فایل بخشی از پروتکل ردگیری ربات های موتورهای جستجو می باشد.
در این مواقع اغلب وبمسترها به راحتی و با استفاده از robots.txt دسترسی ربات‌های موتورهای جستجو را به بخش‌های مختلف و مشخص شده‌ای که اهمیت چندانی برای سئو و کسب رتبه در موتورهای جستجو ندارند را محدود می‌کنند. در این حالت نه تنها سرور سایت با ترافیک سبک‌تری فعالیت خواهد کرد، بلکه مراحل بررسی و جمع‌آوری اطلاعات و سپس ایندکس کردن آن‌ها توسط ربات‌ها نیز به مقدار بسیار زیادی سریع‌تر خواهد شد. یکی از موارد با اهمیت در زمینه بهینه بودن یک سایت، Crawl Budget است. این مورد بسیار شبیه به قسمت قبل بوده، چرا که ربات های موتور جستجو روزانه تعداد زیادی صفحه را بررسی می کنند و شما می توانید با کمک فایل ربات مقدار کراول باجت سایت خود را بهینه کنید. در واقع می توان صفحاتی که نیاز به خزیدن ندارند را در فایل Robots.txt مشخص کنید و از این طریق مقدار بودجه ی خزش سایت خود را بهینه کنید.
5xx از آنجایی که سرور نمی تواند پاسخ قطعی به درخواست robots.txt گوگل بدهد، گوگل موقتاً خطاهای سرور را 5xx و 229 تفسیر می کند که گویی سایت کاملاً غیر مجاز است. Google سعی می‌کند فایل robots.txt را بخزد تا زمانی که کد وضعیت HTTP بدون خطای سرور را دریافت کند. اگر robots.txt بیش از 30 روز در دسترس نباشد، Google از آخرین نسخه کش شده robots.txt استفاده خواهد کرد. اگر در دسترس نباشد، گوگل فرض می کند که هیچ محدودیتی برای خزیدن وجود ندارد. Google از مقدار مسیر در دستورالعمل‌ها allow و disallow به‌عنوان مبنایی برای تعیین اینکه آیا یک قانون برای یک URL خاص در یک سایت اعمال می‌شود یا خیر، استفاده می‌کند. این کار با مقایسه قاعده با مؤلفه مسیر URL که خزنده سعی در واکشی آن را دارد کار می کند.
این ابزار نمی‌تواند به صورت مستقیم فایل robots.txt را ویرایش کند. بعد از زدن دکمه submit پنجره‌ای باز می‌شود که از شما می‌خواهد فایل جدید ویرایش شده را دانلود کرده و به جای فایل قبلی در سرور میزبان وبسایت جایگزین کنید. فرقی نمی‌کند میزبان وبسایت شما یک سرور اختصاصی، اشتراکی یا مجازی است، فقط کافی است این فایل را در پوشه یا همان دایرکتوری اصلی سایت بارگذاری کنید. همان Notepad ساده ویندوز یا هر ویرایشگر متن دیگر که فایل خروجی از نوع TXT می‌دهد قابل استفاده است.
همچنین می‌توانید این فایل را دانلود کرده و روی کامپیوتر خود ویرایش کنید و در نهایت فایل ذخیره شده را با فایل قبلی جایگزین کنید. یک فایل robots.txt مانند یک درخواست عمل می‌کند که درواقع چشم پوشی از فایل‌ها یا دایرکتوری‌های خاص را هنگام خزیدن یک وبسایت برای ربات‌ها مشخص می‌کند. فایل روبوتس یک فایل متنی است که در root وب سایت شما قرار میگیرد. در واقع نام این فایل بطور پیش فرض توسط Crawler گوگل در روت سایت جستجو شده و در صورت وجود، کدها و دستورات این فایل با اولویت بالا در نظر گرفته می شود. پهنای باند و سرعت سایت دو المان مهم در بحث بهینه سازی و قرار گرفتن در صفحه اول گوگل است. اگر سایتی با تعداد صفحات زیاد داشته باشید که ربات ها همواره در حال بررسی این صفحات هستند، طبیعتا با مشکل سرعت و ترافیک بالا پهنا باند مواجه خواهید شد، لذا وجود این فایل برای کنترل این درخواست ها ضروری است.
الان به حالت دیفالت برگردوندم و دسترسی همه بازه اما همچنان گوگل سرچ کنسول به من اخطار میده که ربات ها توسط روبوتس دات تی اکس تی بلاک شدن و صفحات کراول نمیشن. در بخش بعد توضیح می‌دهیم که چطور یک فایل Robots.txt بسازیم، آن را در جای درستش قرار دهیم و تست کنیم تا ربات‌های گوگل به آن دسترسی داشته باشند. دستور / بعداز Disallow به ربات گوگل می‌گوید باید وارد پوشه‌ای در ریشه فایل شوی. امکان دارد هر کدام از ربات‌ها دستورات را به شکل متفاوتی درک کند.
سئوی سایت به دو نوع آف پیج و آن پیج تقسیم می شود، این مقاله درباره سئوی آن پیج است
بعضی وقت‌ها هم ربات‌ها گوگل چیزهایی را که دوست نداریم هر کسی ببیند را برمی‌دارند می‌برند در سرورهای گوگل ذخیره می‌کنند و به عالم و آدم نشان می‌دهند. فایل robots.txt از بخش های مختلفی تشکیل شده است که در زمان پیاده سازی باید به تمامی این بخش ها توجه داشته باشید و سعی کنید که جزئی ترین نکات را نیز در زمان پیاده سازی رعایت کنید. BOM در واقع مخفف عبارت byte order mark است که در واقع یک کاراکتر غیر قابل مشاهده در ابتدای فایل robots.txt می باشد و برای رمزگذاری منحصر به فرد یک فایل متنی مورد استفاده قرار می گیرد. بهترین راه برای ارسال یک سیگنال به موتورهای جستجو به منظور این که یک صفحه نباید ایندکس شود این است که از تگ meta robots یا X-Robots-Tag استفاده کنید. دستورالعمل های فایل robots.txt تنها برای دامنه یا زیردامنه ای که در آن قرار دارد اعمال می شود.