همانطور که می بینید، ما عنکبوت ها را از خزیدن صفحه مدیریت WP منع می کنیم. اما اگر تعداد صفحات فراتر از حد انتظار بود (به URL صفحاتی که فهرست بندی شده اند که شما نمی خواهید توجه نمایید) زمان آن است که از Robots.txt استفاده نمایید. و صفحاتی را که تشخیص دهد که مهم نیستند، یا کپی از صفحات دیگر هستند را فهرست بندی نمی کند. بنده پیشنهاد می کنم برای این کار از افزونه استفاده نکنید و صفحات را با دستور htaccess ریدایرکت کنید تا یک بار برای همیشه این مشکل را حل کنید چون همونطور که گفتم افزونه ها ممکن است در این تعداد صفحات دچار مشکل شوند. مخصوصا اینکه بقیه مقالات اصلا توضیح نداده بودن که چطوری میشه به این فایل دسترسی داشت و کجای هاست هستش. این مقاله به کوشش رامین محمودی، حسین بابائی، صفیه منتظری و دیگر اعضای تیم نوین تولید شده است.
و همینطور هر چیزی که بعد از “Disallow” شما آن را برای خزیدن ربات ها مسدود می کنید. دستورالعمل های متا نمی تواند برای منابع چندرسانه ای مانند PDF ها و تصاویر به خوبی Robots.txt عمل نماید. مثلا یک صفحه در دست ساخت دارید و یا اینکه یک صفحه برای ورود به بخش مدیریت سایت دارید. به این دلیل که گوگل خودش به راحتی می تواند کلیه صفحات مهم سایت را پیدا کرده بخزد و فهرست بندی نماید. بله وجود این فایل برای سئو بسیار مهم است و اگر آن را ندارید باید ایجاد کنید. درود بر شما، این فایل توسط افزونه های سئو مثل یوآست ساخته می شود.
با ایجاد فایل Robots.txt می‌توانید از ایندکس شدن صفحات غیرضروری سایت و یا صفحاتی که هنوز دارای محتوای مناسبی نیستند و یا قوانین سئو در آنها پیاده نشده است به راحتی جلوگیری نمایید. انجام این کار تاثیر مستقیمی بر سئو سایت شما دارد و تنها صفحات استاندارد و معتبر را در دسترس ربات‌ها و سپس کاربران قرار خواهد داد. در این حالت، برای جلوگیری از نمایش صفحات سایتمان در این موتورهای جستجو باید به کمک روش‌های مسدودسازی مثل گذاشتن پسورد بر روی صفحاتی که نمی‌خواهیم به کاربران نمایش داده شوند، دسترسی آنها به این صفحات خاص را از بین ببریم. یک فایل robots.txt حاوی دستورالعمل‌هایی برای ربات‌ها است که به آنها می‌گوید به کدام صفحات وب می‌توانند دسترسی داشته باشند و به کدام صفحات نباید بروند. فایل‌های robots.txt برای خزنده‌های وب موتورهای جستجو مانند Google مرتبط هستند. در این مقاله به این موضوع خواهیم پرداخت که فایل Robots.txt چیست؟ همچنین نحوه بهینه سازی فایل robots.txt برای موتورهای جستجو را به شما آموزش خواهیم داد.
سئوی تصاویر چیست؟ آموزش سئو عکس راهنمای جامع
به کمک فایل robots.txt می‌توانیم دقیقا مشخص کنیم که کدام یک از این ربات‌ها به کدام بخش‌های سایت اجازه دسترسی دارند و کدام یک باید دارای محدودیت‌هایی برای بررسی سایتمان باشند. گوگل هم به انواع مهم‌ترین موتور جستجو دنیا، چندین ربات مخصوص و مهم برای بررسی صفحات و اطلاعات موجود در اینترنت طراحی کرده است که با توجه به اهمیت آنها به صورت ویژه آن را بررسی می‌کنیم. شرکت‌های مختلف با اهداف متفاوتی اقدام به ساخت و استفاده از این ربات‌ها می‌کنند. مدیریت ربات‌ها برای راه‌اندازی یک وب‌سایت یا برنامه ضروری است، زیرا حتی فعالیت خوب ربات‌ها می‌تواند بر سرور مبدا بار اضافه وارد کند و سرعت وب را کند یا از بین ببرد. یک فایل robots.txt که به خوبی ساخته شده باشد، یک وب سایت را برای سئو بهینه نگه می‌دارد و فعالیت خوب ربات را تحت کنترل نگه می‌دارد.
فایل Robots.txt وظیفه هدایت و راهنمایی ربات های خزنده گوگل در هنگام بررسی صفحات سایت ها را به عهده دارد. این فایل، در واقع یک فایل متنی بوده که اجازه دسترسی به صفحات سایت را به ربات های خزنده گوگل می دهد. داشتن چند نقشه سایت ضرورتی ندارد ولی در برخی از موارد با توجه به تعداد زیاد صفحات و موضوعات یک سایت ساخت چند نقشه سایت لازم هست اگر سایت مپ شما بیشتر از آدرس در خود داشته باشد. گوگل توصیه می‌کند سایت خود را به چند فایل نقشه سایت کوچک‌تر تقسیم کنید. در اینصورت فایل مربوط به هر سایت مپ باید در یک فایل ایندکس نقشه سایت لیست شود. موتورهای جستجو در مورد محتوای تکراری حساس هستند ، با این حال، برای خزیدن صفحات محتوای تکراری و نمایش آنها در SERP ها، نیازی به ربات ندارید.
نکات مهم برای تعریف فایل robots.txt
این موضوع را به عنوان هشداری در گوگل در مورد جایگذاری شبکه های اجتماعی از جمله اینستاگرام یا سایر تصاویر و مشکلات سئو که می توانید ایجاد کنید موثر خواهد بود. در یک فایل Robots.txt با چندین دستورالعمل، می‌توان قوانین مجاز به دسترسی و عدم مجاز به دسترسی را ایجاد کرد. همانطور که در تصویر زیر مشاهده می‌کنید یک Robots.txt مشخص شده است که در آن قواعد مختلف برای ربات‌ها مجله خبری سئو توسط یک کاربر ایجاد شده است. ربات‌ها و خزنده‌ها فقط به مواردی که به آنها دسترسی یا همان کد follow داده شده است می‌توانند مراجعه کنند. برای ایندکس نشدن صفحات یک وب سایت روش دیگری به جز فایل Robots.txt وجود دارد که از طریق آن نیز می‌توانید از ایندکس شدن برخی صفحات جلوگیری کنید. متا تگ نوایندکس نیز به منظور ایندکس نشدن صفحات سایت مورد استفاده قرار می‌گیرد.
یک فایل robots.txt شامل دستورالعمل هایی برای تمامی موتورهای جستجو می باشد. Robots.txt تنها برای خزیدن بهتر ربات‌های گوگل و دریافت نتایج بهینه‌تر استفاده شده و تأثیر آن در بهبود سئوی سایت است. از فایل Robots.txt برای جلوگیری از نمایش اطلاعات حساس مانند اطلاعات خصوصی کاربر در نتایج جستجو یا همان SERP ها استفاده نکنید. چرا که این اطلاعات با دیگر صفحات پیوند داشته و درنتیجه ممکن است همچنان ایندکس شده و یا اینکه ایندکس دیگر صفحات را هم با مشکل روبرو کنند. بعد از ایجاد و یا انجام اصلاحات در فایل ربات، باید از صحت تغییرات خود مطمئن شوید.
در دنیای اینترنت، بیش از هزاران نرم افزار برنامه نویسی شده برای خزیدن داخل وب وجود دارند که به آنها ربات‌های خزنده یا crawler گفته می‌شود. به کمک متا تگ noindex در هدر یک صفحه می‌توان امیدوار بود که این صفحه به صورت کامل از نتایج گوگل حذف خواهد شد. با توجه به محدود بودن این بودجه برای هر سایت، طبیعتا نباید اجازه دهیم بودجه خزش سایت ما صرف خزش محتواهایی از سایتمان شود که هیچ کمکی به افزایش ترافیک سایت ما نمی‌کنند.
- برای مشاهده این تگ بایستی اجازه بررسی صفحه و مشاهده این تگ را به موتور جستجو بدهید پس بهتر است صفحه را در robots.txt بلاک نکنید.
- SEM مفهومی است که اغلب افراد آن را با SEO یکسان می‌‌دانند؛ در صورتی که می‌توان گفت SEM یا بازاریابی موتورهای جست‌وجو مفهومی کاملا جدا از سئو است.
- هر بار که دکمه test را بزنید در همان لحظه به شما نشان می‌دهد اجازه دسترسی ربات‌ها به صفحه را داده‌اید یا نه.
- حالا که متوجه شدید گوگل چه دیدی از سایت شما دارد، شاید بهتر باشد برای اصلاح این دید، دست بکار شوید.
چگونگی تاثیر سرعت سایت بر سئو و رتبه بندی گوگل (راهنمای 2021 در خصوص سرعت… اگر مطمئن نیستید که Robots.txt را دارید یا نه می‌توانید به سادگی در انتهای آدرس سایت خود یک Robots.txt را تایپ کنید تا مشخص شود که سایت شما دارای این فایل است یا خیر. فقط کافی است در انتهای آدرس یک سایت کلمه Robots.txt را قرار دهید تا این فایل را برای شما نشان دهد. افزونه رنک مث هم که به تازگی به یکی از رقبای جدی پلاگین یواست تبدیل شده، برای ویرایش مستقیم فایل robots.txt بخشی را در نظر گرفته است. با اینحال در سیستم مدیریت محتوا وردپرس به لطف پلاگین‌های مختلف که برای آن طراحی شده است، کار حتی از این هم راحت‌تر است. اولین و مهم‌ترین نکته حساس بودن ربات‌ها و خزنده‌ها به کوچک یا بزرگ بودن حروف است.
وردپرس به صورت اتوماتیک این کار را از طریق تگ‌های متا انجام می‌دهد. قبل از هرچیز فایل robots.txt خود را بررسی و تست کنید تا مطمئن شوید بخش مهمی از سایت شما از طریق آن مسدود نشده باشد. اگر شما از سیستم مدیریت محتوای وردپرس و افزونه Yoast SEO استفاده کنید نیازی به بروز رسانی سایت مپ با انتشار هر مطلب یا بروزرسانی محتوا نخواهید داشتید این افزونه به صورت اتوماتیک تغییرات رو در سایت مپ اعمال خواهد کرد. همچنین، شما می‌توانید فایل robots.txt خود را به سایت مپ xml لینک کنید.