اما نگران نباشید، خیلی ساده یک فایل ایجاد کنید و نام آن را robots.txt قرار دهید. همچنین، اگر هزاران صفحه دارید که می خواهید آنها را مسدود کنید، گاهی اوقات راحت تر می توانید کل قسمت آن سایت را با robots.txt مسدود کنید، به جای اینکه به طور جداگانه یک تگ noindex به هر صفحه اضافه کنید. این بسیار مهم است که فایل robots.txt شما به درستی تنظیم شده باشد. این به این معناست که شما تمام ربات ها را از تمام موتورهای جستجو فراخوانی کرده اید.
هنگامی که فایل robots.txt خود را آپلود و آزمایش کردید، خزنده های گوگل به طور خودکار فایل robots.txt شما را پیدا کرده و شروع به استفاده از آن می‌کنند. اگر فایل robots.txt خود را به‌روزرسانی کردید و باید در اسرع وقت نسخه ذخیره‌شده گوگل را بررسی کنید. فایل robots.txt باید یک فایل متنی کدگذاری شده UTF-8 باشد (که شامل ASCII است). گوگل ممکن است کدهایی را که بخشی از محدوده UTF-8 نیستند نادیده بگیرد و قوانین robots.txt را نامعتبر کند. شما می توانید تقریباً از هر ویرایشگر متنی برای ایجاد یک فایل robots.txt استفاده کنید. به عنوان مثال، Notepad، TextEdit، vi و emacs می توانند فایل های robots.txt معتبر ایجاد کنند.
شرایط Robots.txt در وردپرس به چه صورت است؟
البته در حال حاضر می‌توان از این فایل برای خارج کردن فایل‌هایی مثل تصاویر، ویدیو یا صدا از نتایج جستجو استفاده کنید اما برای صفحات وب مناسب نیست. فایل Robots.txt در وبسایت‌ها نقش همین راهنماها و نگهبانان را دارد اما نه برای کاربرانی که وارد سایت می‌شوند، بلکه برای ربات‌هایی که برای بررسی سایت یا هر کار دیگری می‌خواهند در بخش‌های مختلف سایت سرک بکشند. بنابراین اگر شما هم قصد راه اندازی یک وب سایت بزرگ تجاری را دارید حتما باید به کیفیت فایل robots.txt وب سایت خود توجه کنید و تمامی نکاتی که در این مطلب بیان کردم را رعایت کنید. بنابراین زمانی که حجم فایل های شما بیشتر از این مقدار باشد توسط موتور جستجوی گوگل نادیده گرفته می شود.
- به عنوان مثال، مطالب حذف شده را در یک فهرست جداگانه قرار دهید.
- سرور مجازی اقتصادی مناسب چه کسب‌وکارهایی است؟3 بهمن 1401گاهی اوقات کمبود منابع مالی یا نیازنداشتن به منابع زیاد یا حتی کوتاه‌مدت‌بودن پروژه باعث می‌شود تا سرور مجازی اقتصادی گزینه‌ی ایدئال سرویس‌های میزبانی خواهد بود.
- در این دستور شما زمان تاخیر را هم به ربات ها اعلام می کنید؛ البته این دستور برای رباتی مانند Googlebot قابل اجرا نیست و برای انجام آن باید از ابزاری مانند گوگل سرچ کنسول بهره بگیرید.
- حتی اگر شما در حال حاضر نقشه XML سایت خود را در کنسول جستجوی گوگل یا ابزارهای Webmaster موتور جستجوی بینگ نیز ارسال کرده اید باز هم به شما پیشنهاد می کنیم حتما از این قابلیت بهره مند شوید.
- Wildcard را نه تنها می توان برای تعریف user-agent مورد استفاده قرار داد بلکه می توان از آن برای تطبیق لینک ها نیز استفاده کرد.
- آژانس دیجیتال مارکتینگی که فرصت‌ها را برای برندها میاورد و تجربه دیجیتال را برای مشتریان مهیا می‌کند.
حال که فایل robots.txt خود را ایجاد کرده‌اید، زمان آن است که از درستی عملکرد آن اطمینان یابید. گوگل در ابزار سرچ کنسول، ابزاری رایگان به نام robots.txt tester را در دسترس وب‌مسترها قرار داده است.برای آزمایش فایل خود ابتدا وارد اکانت کنسول جستجوی خود شوید. در ادامه disallow به معنای مجله خبری سئو این است که مسیر ذکر شده را دنبال نکند و اجازه ای برای خزیدن نداشته باشد. در نهایت قسمت allow هم قسمتی است که اجازه می دهد خزنده ها آن ها را دنبال کنند. در این فایل طبق گفته خودشان هیچ چیز را بلاک نکرده اند و به جستجوگرها این اجازه را داده اند تا به همه چیز دسترسی داشته باشند.
عملکرد موتورهای جستجو در زمان برخورد با دستورالعمل Crawl-delay
Wildcard را نه تنها می توان برای تعریف user-agent مورد استفاده قرار داد بلکه می توان از آن برای تطبیق لینک ها نیز استفاده کرد. مطمعنا در خصوص اضافه کردن لینک نوفالو در وردپرس شنیده اید اما با عملکرد آن… همچنین در قسمت Errors و Warnings هم خطاها و هشدارها لازم به شما داده خواهد شد که باید به آنها دقت کنید. فرض پیش‌فرض این است که یک User-agent می‌تواند هر صفحه یا دایرکتوری را که توسط قانون غیرمجاز مسدود نشده است بخزد.
اگر صاحب یک وبسایت کوچک با تعداد صفحات کمی هستید، با مراجعه به سرچ کنسول وبسایت‌تان می‌توانید تعداد صفحاتی از سایت‌تان که توسط گوگل ایندکس شده‌اند را در بخش Coverage مشاهده کنید. اما در صورتی که این فایل را پیدا نکردید و در آدرس robots.txt/ هم با یک صفحه ناموجود رو به رو شدید، تنها کاری که لازم است انجام دهید، ایجاد یک فایل جدید با پسوند txt و آپلود آن بر روی ریشه اصلی وبسایت‌تان است. برای جلوگیری از این مشکل، بهتر است از تگ noindex در هدر همان صفحاتی که علاقه‌ای به حضور آنها در نتایج گوگل ندارید استفاده کنید و یا با گذاشتن رمز و یا سایر روش‌های بلاک کردن، از ایندکس شدن این URLها جلوگیری کنید. بهترین روش برای انجام اینکار معرفی آدرس نقشه سایت در داخل گوگل سرچ کنسول است. برای انجام اینکار پیشنهاد می‌کنیم که حتما مقاله “صفر تا صد نقشه سایت” را مطالعه کنید.
پروتکل ممانعت از ربات‌ها یک استاندارد وب است که چگونگی خزیدن ربات‌های موتورهای جست‌وجو، دسترسی و ایندکس محتوا و در اختیار گذاشتن محتوا به کاربران را تعیین می‌کند. این پروتکل همچنین شامل راهنمایی‌هایی مانند متا ربات‌ها و همچنین دستورالعمل‌های صفحه‌های اصلی و فرعی وب برای اینکه موتورهای جست‌وجو چگونه با لینک‌ها (مانند لینک‌های فالو یا نوفالو) برخورد کنند، نیز است. در عمل، فایل Robots.txt مشخص می‌کند برخی ربات‌های موتور جست‌وجو می‌توانند یا نمی‌توانند به بخش‌هایی از سایت دسترسی پیدا کنند. همچنین با دستورهای Allow و DisAllow می‌توان مشخص کرد که همه‌ی ربات‌ها یا فقط ربات‌های خاصی، به بخش‌های مختلف سایت دسترسی داشته باشند یا دسترسی نداشته باشند.
اگر کمی با کدهای HTML آشنایی داشته باشید پس می‌دانید که هر صفحه دو قسمت هد و بدنه دارد. اگر وبسایت خود را به ابزار سرچ کنسول گوگل متصل کرده باشید، وقتی این ابزار تست را باز کنید از شما می‌خواهد که سایت متصل شده مورد نظر را انتخاب کنید. کافی است به انتهای آدرس هر سایتی robots.txt/ اضافه کنید و آن را باز کنید.
توجه داشته باشید که لزومی ندارد این لیست دقیقا در همان هاستی که فایل robots.txt در آن است قرار داشته باشد. این قابلیت در موتورهای جستجویی مانند گوگل، بینگ، یاهو و Ask پشتیبانی می شود. Wildcard امروزه توسط موتورهای جستجویی مانند گوگل، یاهو، بینگ و Ask پشتیبانی می شود. به طور خلاصه این فایل نشان می دهد که موتورهای جستجو از کدام بخش ها باید دوری کنند. برای بهتر جا افتادن مفهوم و کاربرد فایل robots.txt اجازه دهید تا نگاهی به یک مثال بیندازیم. به عنوان مثال شما می توانید از ایندکس شدن محتوای تکراری سایت خود جلوگیری کنید.