سئوی robots txt ، مثالی بزرگ برای جستجوگرها دهاستینگ فایل روبات سئو-سئو سمروش

هر وب سایت برای کسب رتبه مطلوب در صفحه نتایج موتور جستجوگر گوگل توسط ربات‌های مختلف و به طور روزانه مورد بررسی قرار می‌گیرد. این ربات‌ها به صورت خودکار تمامی صفحات یک سایت را بازدید کرده و آنها را به لحاظ ساختاری و فنی ارزیابی می‌کنند و سپس صفحات بازدید شده را در صفحه نتایج جستجو نمایش می‌دهند. اما هر وب سایت دارای برخی صفحات عمومی و یا محرمانه‌ای است که نمایش آنها در صفحه نتایج جستجو هیچ ضرورتی ندارد و حتی ممکن است به سئو سایت لطمه وارد ‌کند. فایل Robots.txt یک فایل متنی بسیار ساده است که ایندکس کردن صفحات سایت توسط ربات‌ها و خزنده‌های وب را محدود می‌سازد.

دستور Disallow

اما نگران نباشید، خیلی ساده یک فایل ایجاد کنید و نام آن را robots.txt قرار دهید. همچنین، اگر هزاران صفحه دارید که می خواهید آنها را مسدود کنید، گاهی اوقات راحت تر می توانید کل قسمت آن سایت را با robots.txt مسدود کنید، به جای اینکه به طور جداگانه یک تگ noindex به هر صفحه اضافه کنید. این بسیار مهم است که فایل robots.txt شما به درستی تنظیم شده باشد. این به این معناست که شما تمام ربات ها را از تمام موتورهای جستجو فراخوانی کرده اید.

بودجه خزش به تعداد صفحاتی از سایت اشاره دارد که ربات‌های جستجوگر در طول یک بازه زمانی مشخص مثلا یک روز یا یک هفته به ایندکس آنها می‌پردازند. نرخ خزش هر وب سایت بر اساس میزان بزرگی و بازدید روزانه و تعداد لینک‌های آن مشخص می‌شود و مسلما هرچه میزان بودجه خزش یک سایت بیشتر باشد، رتبه بهتری در صفحه نتایج جستجو بدست خواهد آورد. بنابراین با استفاده از فایل Robots.txt می‌توانید از بودجه خزش سایت خود استفاده بهینه داشته باشید و از آن برای ایندکس کردن صفحات مهم وب سایت و مسدود ساختن صفحات غیر ضروری استفاده کنید.

Wildcard را نه تنها می توان برای تعریف user-agent مورد استفاده قرار داد بلکه می توان از آن برای تطبیق لینک ها نیز استفاده کرد. مطمعنا در خصوص اضافه کردن لینک نوفالو در وردپرس شنیده اید اما با عملکرد آن… همچنین در قسمت Errors و Warnings هم خطاها و هشدارها لازم به شما داده خواهد شد که باید به آن‌ها دقت کنید. فرض پیش‌فرض این است که یک User-agent می‌تواند هر صفحه یا دایرکتوری را که توسط قانون غیرمجاز مسدود نشده است بخزد.

مفاهیم کلی وب سایت

حال که فایل robots.txt خود را ایجاد کرده‌اید، زمان آن است که از درستی عملکرد آن اطمینان یابید. گوگل در ابزار سرچ کنسول، ابزاری رایگان به نام robots.txt tester را در دسترس وب‌مسترها قرار داده است.برای آزمایش فایل خود ابتدا وارد اکانت کنسول جستجوی خود شوید. در ادامه disallow به معنای این است که مسیر ذکر شده را دنبال نکند و اجازه ای برای خزیدن نداشته باشد. در نهایت قسمت allow هم قسمتی است که اجازه می دهد خزنده ها آن ها را دنبال کنند. در این فایل طبق گفته خودشان هیچ چیز را بلاک نکرده اند و به جستجوگرها این اجازه را داده اند تا به همه چیز دسترسی داشته باشند.

برای سال های طولانی گوگل توصیه می کرد که از دستورالعمل غیر رسمی noindex استفاده کنید. ارجاع دادن به نقشه XML سایت در robots.txt یکی از بهترین قابلیت های این فایل است که به شما پیشنهاد می کنیم همواره از آن استفاده کنید. برای نشان دادن انتهای یک لینک می توانید از علامت $ در انتهای مسیر مد نظر خود استفاده کنید. در صورتی که هیچ مسیری در این بخش تعریف نشده باشد این دستورالعمل به طور کامل نادیده گرفته می شود. در واقع این فیلتر همان محتوایی را تولید می کند که در صفحات دیگر وجود داشت.

• اگر وبسایت بزرگی داشته باشید، امکان دارد ربات‌های گوگل تا چند ده هزار بار در روز صفحه‌های سایت را بررسی کنند.
• در حال حاضر موتور جستجوی گوگل از حداکثر سایز 500 کیلوبایت برای فایل robots.txt پشتیبانی می کند.
• حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید.
• ربات‌هایی مانند ربات‌های مخرب یا ربات‌های زداینده آدرس ایمیل این کار را ممکن است انجام دهند.
• کد بالا به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است.
• همچنین اگر کنجکاو شدید که از اسامی معروف‌ترین خزنده‌ها و ربات‌های دنیای اینترنت باخبر شوید، می‌توانید دیتابیس اسامی ربات‌ها را مشاهده کنید.

توجه داشته باشید که لزومی ندارد این لیست دقیقا در همان هاستی که فایل robots.txt در آن است قرار داشته باشد. این قابلیت در موتورهای جستجویی مانند گوگل، بینگ، یاهو و Ask پشتیبانی می شود. Wildcard امروزه توسط موتورهای جستجویی مانند گوگل، یاهو، بینگ و Ask پشتیبانی می مجله خبری سئو شود. به طور خلاصه این فایل نشان می دهد که موتورهای جستجو از کدام بخش ها باید دوری کنند. برای بهتر جا افتادن مفهوم و کاربرد فایل robots.txt اجازه دهید تا نگاهی به یک مثال بیندازیم. به عنوان مثال شما می توانید از ایندکس شدن محتوای تکراری سایت خود جلوگیری کنید.

داشتن فایل robots.txt برای هر دامنه یا زیردامنه

هنگامی که فایل robots.txt خود را آپلود و آزمایش کردید، خزنده های گوگل به طور خودکار فایل robots.txt شما را پیدا کرده و شروع به استفاده از آن می‌کنند. اگر فایل robots.txt خود را به‌روزرسانی کردید و باید در اسرع وقت نسخه ذخیره‌شده گوگل را بررسی کنید. فایل robots.txt باید یک فایل متنی کدگذاری شده UTF-8 باشد (که شامل ASCII است). گوگل ممکن است کدهایی را که بخشی از محدوده UTF-8 نیستند نادیده بگیرد و قوانین robots.txt را نامعتبر کند. شما می توانید تقریباً از هر ویرایشگر متنی برای ایجاد یک فایل robots.txt استفاده کنید. به عنوان مثال، Notepad، TextEdit، vi و emacs می توانند فایل های robots.txt معتبر ایجاد کنند.