در این صفحه افزونه Yoast SEO فایل فعلی Robots.txt شمارا نمایش می‌دهد. درصورتی‌که فایل Robots.txt ندارید، می‌توانید به کمک افزونه یوست سئو آن را ایجاد کنید. Robots.txt یک گزینه برای به حداقل رساندن محتوای تکراری موجود برای خزیدن است.
دستوراتی که ربات گوگل در فایل robots.txt پشتیبانی می کند:
- در این فایل با چند دستور ساده مشخص می‌کنیم که ربات اجازه بررسی کدام صفحه‌ها را دارد و کدام صفحه‌ها را نباید بررسی کند.
- قدم به قدم جلو می‌رویم تا ببینیم چطور می‌توان از فایل Robots.txt استفاده کرد؛ چطور می‌توانیم ربات‌ها را محدود کنیم، چطور از ایندکس شدن صفحه‌ها جلوگیری کنیم و در نهایت یک فایل Robots.txt عالی بسازیم.
- اولین قدم شما این است که واقعاً فایل robots.txt خود را ایجاد کنید.
- یک فایل robots.txt مانند یک درخواست عمل میکند که درواقع چشم پوشی از فایل‌ها یا دایرکتوری‌های خاص را هنگام خزیدن یک وبسایت برای ربات‌ها مشخص میکند.
تک‌تک ما امیدواریم که با تلاش خود، تاثیری هر چند کوچک در بهبود کیفیت وب فارسی داشته باشیم. هر آنچه برای کنترل این ربات‌ها فضول اما مفید لازم بود را به زبان ساده توضیح دادیم. حالا باید این فایل را در سرور میزبان به جای فایل قبلی قرار دهید. بعد از این که فایل را ساختید آن را باید در سرور میزبان سایت آپلود کنید. حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید.
روشی که متخصصان سئو می توانند از ChatGPT استفاده کنند
همواره از عدم وجود خطا در فایل robots.txt خود اطمینان حاصل کنید. ولی احتمالا نمی‌دانید واقعا چه قدرتی در این فایل به ظاهر ساده نهفته است. اگر فایل به درستی بارگذاری شده باشد گزینه قرمز رنگ تست به رنگ سبز تغییر خواهد کرد. برای کامنت بعدی من نام، ایمیل، و وبسایت من را در این مرورگر ذخیره کن. مواردی نیز وجود دارد که در آن شما نمی خواهید هیچ گونه بودجه ای را برای ورود به صفحه Google با برچسب noindex هدر دهید.
البته من اطلاعی از روند انتقال سایت تون ندارم، در هر صورت واضحه که ریدایرکت 301 به خوبی اعمال نشده. اگر آدرس صفحات قدیمی رو دارید یک بار همه رو به آدرس جدید ریدایرکت کنید. پیشنهاد اونا استفاده از افزونه ریدایرکت بود و حالا اینکه اینا درست میگن یا نه تا حد زیادی به نظر خودم درسته . اما دستور htaccess که شما می فرمائید رو بنده نمیدونم به چه شیوه ای عمل میکنه اگه شما میتونید تو این زمینه فیلم یا آموزشی ارائه بدبد که تست کنم ممنون میشم . راحت‌ترین راه حذف کردن صفحه‌ای از نتایج جستجو استفاده از دستورهای به اصطلاح متا تگ در قسمت هد صفحه است.
فایل Robots.txt چیست و چه تاثیری بر سئو دارد؟
سایت مپ، سایت شما نیز در دستورات فایل Robot.txt قرار می‌گیرد که به ربات‌های موتورهای جست‌وجو می‌گوید فایل XML نقشه سایت کجاست. پس برای اینکه به آن‌ها بگویید صفحه‌ای را ایندکس نکنند باید از دستور Disallow و برای اینکه بگویید بعدا این صفحه را کراول کنند از دستور Crawl-delay باید استفاده کنید. باید بدانید که موتورهای جست‌وجو ربات‌های متفاوتی دارند به همین دلیل با کد User Agent و نام ربات مورد نظر، می‌توانیم ربات خاصی را مشخص کنیم. البته می‌توانیم تمامی ربات‌های موتورهای جست‌وجوی مختلف را هدف قرار دهیم و به اصطلاح از Wild card استفاده کنیم. اگر بتوانید فایل robots.txt خوبی ایجاد کنید، می‌توانید به موتورهای جستجو (به خصوص Googlebot) بگویید که کدام صفحات را مشاهده نکند.