تنظیم فایل robots.txt مخصوص وردپرس

امروز که ۲۹ اسفند هست و ۴۵ دقیقه به تحویل سال مونده من دارم این مقاله رو می‌نویسم. توی کانال تلگرام یکی از دوستان اومد و عکس زیر را گذاشت و گفت از یکی دو ماه پیش به کنسول جست‌وجوی گوگل وبمستر سایتشان سر نزده و قبل از اون توی کلمات کلیدی خوبی رتبه یک بود و حالا کلاً از نتایج جست‌وجو حذف شدن و گوگل هم ۹۵۰ تا از صفحات سایتشان رو نمیتونه بخونه و بلاک کرده.

این هم تصویری که توی گروه تلگرام برای ما فرستاده بودند.

فرض کنید شما در صفحه اول گوگل، رتبه اول هستید و یک ماه بعد کلاً در گوگل وجود خارجی ندارید. چه حسی خواهید داشت؟

مشکل کجاست؟

بعدازاینکه حجم زیاد منابع مسدود شده توسط گوگل رو دیدم اولین چیزی که باید چک می‌کردم فایل robots.txt بود. چون تقریباً هیچ عامل دیگری وجود ندارد که به این سرعت بتواند شما را از نتایج جست‌وجوی گوگل حذف کند و حجم زیادی منابع بلوکه‌شده با blocked resources ایجاد کند. بلافاصله رفتم این فایل رو چک کردم و دیدم که حدسم درست بوده.

فایل robots.txt چیست و چه‌کاری انجام می‌دهد؟

وظیفه اصلی این فایل محدود کردن قسمت‌هایی از سایت است که شما نمی‌خواهید موتورهای جست‌وجو به آن دسترسی پیدا کنند. حتی شما می‌توانید دسترسی گوگل را به سایتتان به‌طور کامل ببندید. البته بلاک کردن کامل گوگل فقط زمانی به کار می‌رود که سایت شما در حال ساخت است.

اگر این فایل وجود نداشته باشد مشکلی پیش خواهد آمد؟

خیر ،در عالت عادی این فایل وجود ندارد و پیش فرض گوگل هم این هست که اگر این فایل وجود خارجی نداشت میتواند به همه جای سایت دسترسی داشته باشد بدون هیچ محدودیتی. ما این فایل را ایجاد میکنیم تا دسترسی ها را ببندیم.

محل ذخیره robots.txt کجا است؟

این فایل در root سایت شما قرار می گیرد. یا به عبارت دیگر داخل فولدر public-html در قسمت مدیریت فایل ها در کنترل پنلی که هاستینگ به شما خواهد داد.

نمونه اشتباه robots.txt برای وردپرس

همان‌طور که در عکس زیر می‌بینید وقتی من رفتم و فایل robots.txt را چک کردم متوجه شدم که در همان ابتدا دسترسی گوگل به‌کل وب‌سایت بسته‌شده است و باعث شده تا سایت ایشان از نتایج گوگل کاملاً محو شود.

مشکل این فایل در خط ۲ و ۳ و ۵  در عکس زیر قابل مشاهده است.

خط دوم در عکس بالا به یعنی اینکه تمام ربات ها و خزنده های موتور های جست و جو حتما باید دستور بعدی را انجام دهند

خط سوم در عکس بالا هم که همان دستور بعدی است یعنی: “دسترسی به همه جا بسته است”

خط پنجم دسترسی به فولدر wp-admin را می بندد و تاثیر خطرناکی ندارد اما نباشد بهتر است چون یک فایل در این فولدر وجود دارد که گوگل به آن نیاز پیدا میکند.

 

هشدار:

این دو خط کافی است تا گوگل دیگر سایت شما را برسی نکند و بعد از مدتی به طور کامل از نتایج جست و جو حذف شوید.

 

user-agent: *
Disallow:

همچنین اگر از کنترل پنل وردپرس به قسمت “تنظیمات > خواندن” بروید و تیک “از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند” را بزنید هم دو خط بالا به فایل robots.txt اضافه می‌شوند.

برای رفع مشکل چه باید کرد؟

دو کار باید بلافاصله انجام شود:

  1. حذف دستورات اضافه در فایل robots.txt که باعث بسته شدن دسترسی گوگل به سایت شما می‌شود
  2. درخواست ایندکس کردن مجدد کل سایت از گوگل

در مرحله اول باید دسترسی گوگل به سایت را باز کنیم :حتی من پیشنهاد دادم تا فایل robots.txt را به طور کامل حذف کنند تا خیالشان راحت شود.

در مرحله دوم به وبمستر تولز گوگل میرویمو از قسمت carwl > fetch as google را انتخاب میکنیم.

بعد از اینکه مطابق عکس روی گزینه fetch کلیک کردید باید گزینه request indexing را کلیک کنید.

حالا کافی است تا از گوگل درخواست کنید تا صفحه اصلی سایت شما را به همراه تمام لینک های موجود در آن را crawl کند.

با انجام این دو مرحله سایت شما بعد از مدتی به حالت عادی باز خواهد گشت.

نمونه صحیح فایل robots.txt

برای اینکه شما برای سایت وردپرسی خودتان یک فایل سالم و بدون مشکل ایجاد کنید من فایلی که خودم برای سایت خودم تنظیم کرده ام را در زیر به شما خواهم داد. شما با خیال راحت میتوانید تمام دستورات زیر را در فایل robots.txt خودتان کپی کنید.

User-agent: *
Disallow: /cgi-bin/
Disallow: /downloads/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: *?replytocom
Disallow: /author
Disallow: /author/*
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

ما در خط اول یعنی User-agent: * اعلام می‌کنیم که قوانینی که در زیر خواهد آمد  برای تمام ربات‌ها (موتورهای جست‌وجو) صادق است. دقت کنید هنوز نگفتیم که دسترسی دارند یا نه ، فقط گفتیم که همه ربات‌ها توجه کنید که قوانین زیر مخصوص شماست.

در خط دوم Disallow: /cgi-bin/ میگوییم که هیچ رباتی حق ندارد این پوشه یا فولدر را برسی کند و محتویات آن را ایندکس نماید.

در خط سوم  Disallow: /downloads/ داریم میگوییم که محتویات این فولدر را نیز برسی نکنید و ایندکس نکنید.

چرا باید دسترسی به یک پوشه دلخواه را ببندیم؟

یکی از دلایل میتونه این باشه که من محصولات آموزشی را قرار است در این فولدر قرار بدهم و نمی‌خواهم کسی در گوگل جست‌وجو کرد آموزش فلان، گوگل بیاد و یکی از فایل‌هایی که داخل این فولدر هست رو نشان کاربران بده و کاربر مجانی بتونه دانلود کنه. البته در حالت عادی اگه خود ما لینک مستقیم از سایتمان به این فولدر ندیم گوگل متوجه وجود این فولدر نمیشه. اما من برای محکم‌کاری این خط رو قراردادم.

 

در خط چهارم و پنجم داریم Disallow: /wp-admin/ که بعدازآن بلافاصله این دستور را هم داریم Allow: /wp-admin/admin-ajax.php

در این دو خط به ربات‌ها میگوییم که به فولدر wp-admin اجازه دسترسی ندارید اما فایل admin-ajax.php را دسترسی دارید. همیشه دسترسی به این فایل را برای گوگل باز بگزارید .

در خط ششم  Disallow: *?replytocom داریم که مربوط به کامنت ها هست. در وردپرس هنگامی‌که می‌خواهیم به یک نظری پاسخ بدهیم روی یک لینک کلیک می‌کنیم. و در آدرس آن لینک کلمه replytocom وجود دارد و به کامنتی که به آن می‌خواهیم جواب بدهیم لینک شده است. اگر سایت شما نظرات زیادی دارد این گزینه به شما کمک می‌کند که گوگل الکی این لینک را دنبال نکند چون درنهایت مقصد این لینک همان صفحه‌ای است که گوگل در آن در حال خزیدن یا crawl بوده. البته با افزونه yoast هم می‌توانید این لینک‌ها را برای ربات‌ها غیرفعال کنید.

 

در دو خط هفتم و هشتم داریم Disallow: /author و Disallow: /author/* که با این دوخط من دارم به گوگل میگم که اگه توی سایت من نویسنده مطلب پیدا کردی صفحه اون نویسنده رو ایندکس نکن و دسترسی بهش نداری. این کار رو به دلایل امنیتی و برای جلوگیری از لو رفتن نام کاربری خودم انجام داده‌ام.

و در خط نهم هم Disallow: /comments/feed/ فید برای کامنت ها را غیرقابل‌دسترس کردم.

خط‌ های بعدی مهم نیستند و هیچ نیازی هم به وجود آن‌ها نبود.

تنظیم فایل robots.txt مخصوص وردپرس
میانگین 4.6 (91.11%) از 9 رای
, ,
نوشتهٔ بعدی
افزونه اسلایدر محصولات ووکامرس WooCommerce Product Slider Carousel
نوشته‌های پیشین
دامنه چیست؟

مطالب مرتبط

۴۵ دیدگاه. دیدگاه جدید بگذارید

سلام و وقت بخیر . من یک ساب دامین درست کردم و میخوام یک سری اموزش هارو با اون انجام بدم
نمیخوام تو گوگل ایندکس شه . اخه شاید هر پاک شه و دوباره اضافه شه !

الان میخوام برم تو بخش سرچ کنسول ، هر چی میگردم ورژن قدیمی رو پیدا نمیکنم که برم فایل روبوت رو دوباره تنظیم و ست کنم . از گوگل بعید این ux مزخرف !

الان باید چیکار کنیم ؟ راه حل شما چیه ؟

پاسخ

    سلام
    شما نیازی به سرچ کنسول گوگل برای تنظیم فایل ربات ندارید و گوگل همیشه خودکار دنبال این فایل میگرده
    اما چیزی که توی این آموزش گفته نشده این هست که اگر ساب دامین را میخواهید بلاک کنید باید داخل پوشه اصلی سای دامین یک فایل ربات بسازید و داخل آن کد زیر را قرار بدید
    User-agent: *
    Disallow: /

    پاسخ

سلام خسته نباشید
بنده افزونه Yoast رو نصب کردم برام دقیقا اروری که صفحه اول سایت نمیتونه ایندکس بشه رو آورد
با استفاده از تکستی که شما گفتید یه فایل ربات برای خودم درست کردم ولی بازم یوآست ارور بهم میده
میشه لطف کنید سایت من رو یه چک کنید ببینید که درست هست یا نه.
تشکر فراوان.

پاسخ

سلام
من مقاله که انتشار میزنم مثل این

/code-discount-digi-kala

یک صفحه بیخود دیگه هم ایجاد میشه و توی گوگل ایندکس میشه، مثل این
/code-discount-digi-kala/5-15/

ببخشید علتش می دونید چیه که disallow کنم ممنون

پاسخ

    سلام
    این به خاطر صفحات attachment سایت شما هست. وقتی شما عکسی آپلود میکنید وردپرس این صفحات رو خودکار ایجاد میکنه
    نیازی به disallow کردن نیست
    باید به قسمت تنظیمات افزونه yoast بروید
    در ظاهر جستجو – Yoast SEO به قسمت عناصر چند رسانه ای بروید
    تغییر آدرس URL های پیوست به خود پیوست را روی بله قرار بدهید

    پاسخ

سلام خسته نباشید
ببخشید من داخل وبمستر گوگل ، ۱۴ صفحه از سایتم هشدار indexed though blocked by robots.txt گرفته در صورتی که هیچ محدودیتی برای این صفحات اعمال نکردم و مثلا یکی از پست ها مربوط به ۵ ماه پیش هست و تازه این هشدار نمایش داده شده.
این را هم بگم که آدرس هایی که هشدار گرفت به این صورت هستند:
https://example.com/wp-admin/post.php?post=3676&action=edit
و داخل توضیحات هم این مورد هست:
Crawl allowed?
No: blocked by robots.txt
Page fetch
Failed: Blocked by robots.txt

فایل robots.txt هم به صورت زیر هست.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
میخواستم ببینم چیکار باید بکنم برای حل این هشدار ها؟

پاسخ

    سلام
    این هشدارها هیچ اهمیتی ندارن و کاملا نادیده بگیریدشان.
    این لینکی که شما گزاشتید مربوط به داشبورد وردپرس هست (قسمت ادیت یک نوشته) و نباید توسط گوگل ایندکس بشه.
    فایل ربات شما هم کاملا استاندارد هست و پیشنهاد میکنم به این فایل هم دست نزنید

    پاسخ

سپاس فراوان از شما
بیشتر از ۱۰ تا مقاله در این مورد خوندم اما شما با شکل و توضیحات کامل بهترین ارائه رو انجام دادی.

پاسخ

سلام
ممنون از پست خوبتون
من یه سایت فروشگاهی وردپرس دارم که در صفحه محصولاتم، حدود ۱۰ الی ۱۵ تا فیلتر دارم.
در تنظیمات yoast، قسمت میزفرمان جستجو، قسمت رایانه رومیزی،
بخش خطای سرور، حدود ۴۴هزار تا لینک وجود داره ک میتونم بگم ۹۹% اون لینک ها، URL های دارای ? هستش که مربوط به انتخاب فیلترها هستش.
چجوری میتونم این لینک هارو محدود کنم؟ چون داخل وبمسترتولز هم این گونه لینک هارو ارور دریافت میکنم.
داخل robots.txt میخوام این لینک هارو محدود کنم.
دستورش چی میشه؟
سایت :

ممنون میشم راهنماییم کنید

پاسخ

    با سلام
    دستورات زیر را به فایل robots.txt اضافه کنید
    Disallow: /*?*

    Allow: /*.js?*

    Allow: /*.css?*
    این خط ها باعث میشن بعد از ? که فیلترها اعمال می شوند گوگل لیک ها را دنبال نکند.
    خط های ۲ و ۳ هم برای محکم کاری این موضوع هست که فایل های js و css به صورت اشتباهی disallow نشوند.

    پاسخ

سلام دسترسی feed rss لازمه قطع کنیم؟ اگه قطع کنیم توی سئو تاثیر داره؟
نظرتون در مورد robots.txt سایت ***.ir چیه؟ ممنون میشم

پاسخ

    سلام
    وردپرس به صورت اصولی سئو شده هست و نیازی نیست rss یا feed را قطع کنیم. بهترین کار دست نزدن به feed هست.
    فایل ربات سایتتون رو چک کردم به نظر میرسید اوکی باشه ولی باید توی سرچ کنسول گوگل ببینید مشکلی براتون پیش میاره یا نه.

    پاسخ

      توی سرچ کنسول در قسمت crawl errors در قسمت smartphons مطالب زیادی که اخر لینکشون /feed/ هست blocked شدن بنظرتون توی robots.txt ربات مربوط به feed رو allow کنم؟

      پاسخ

        با اینکه خطا میده اما توی سئو تاثیر زیادی نداره ،پیشنهاد میکنم به جای اینکه allow کنید خط های مربوط به disallow را حذف کنید

        پاسخ

          ممنون از پاسختون.
          من مشکل اساسی‌ای که دارم اینه که من سایت رو از پرستاشاپ به وردپرس منتقل کردم و طبیعتا همه‌ی لینک های محصولات، دسته بندی ها و … که داخل پرستاشاپ بوده، حذف شد.
          الآن داخل وبمستر، لینک های پرستاشاپ رو میاره و Not Found میزنه.
          برای حل این گونه لینک ها چه پیشنهادی دارین ؟

          یه سوال دیگه اینکه دسته بندی های من، توی گوگل اصلا رتبه خوبی ندارن! مثلا اسم محصول رو که سرچ میکنم، در همون صفحه اول، لینک محصول رو میاره و لینک بعدی دسته بندیِ اون محصول رو میاره! ولی اگه کلمه کلیدی های همون دسته بندی رو سرچ کنم، اصلا نمیاره!
          مشکل از کجاست؟

          ممنون از پاسخگوییتون

          سلام
          قبل از انتقال سایت می بایستی لیست ریدایرکت های ۳۰۱ را ایجاد می کردید تا بعد از انتقال cms ازش بتونید استفاده کنید. الان میتونید افزونه yoast premium را نصب کنید و ریدایرکت ها را ایجاد کنید به صفحات جدید.

          برای سوال دوم باید بگم که این مورد به طور خلاصه از طریق لینک سازی داخلی و لینک سازی خارجی برطرف میشه که شما با کلمه کلیدی اصلی به صفحه دسته بندی لینک بدید.

          الان افزونه yoast رو دارم. باید تک تک ریدی کت کنم؟
          خیلی از محصولات هم تکرار نشدن و باید به صفحه اصلی لینک بدم؟
          مشکلی پیش نمیاد؟

          بله
          خطاهای ۴۰۴ که صفحه برای آن موجود است را باید ریدایرکت کنید تا گوگل متوجه انتقال صفحه بشود.
          اما آن هایی که موجود نیستند را ریدایرکت نکنید و بزارید روی همون ۴۰۴ باقی بمانند

مطلب خیلی عالی ای بود. ممنونم. بدرد من که خیلی خورد.
یه سوال دارم. تو فایل روبوت من فقط اسنپ شات وردپرس رو disalow هست. خواستم بدونم مشکلی ایجاد می کنه؟

پاسخ

ببخشید منظور از مثال اینه؟
User-agent: *
Disallow: /cgi-bin/
Disallow: /downloads/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: *?replytocom
Disallow: /author
Disallow: /author/*
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

و آیا در طول این دو هفته می تونم مطلب در سایتم بگذارم ؟

پاسخ

سلام
منم چند وقت هست سایتم اینطوری شد ؟ حالا چند روزطول میکشه که درست بشه و از کجا بفهمیم درست شده؟

پاسخ

    سلام
    حداقل دو هفته طول میکشه
    پیشنهاد میکنم فایل robots.txt را مثل مثالی که زدم ایجاد کنید.اینجوری مطمئن هستید که کاملا سالم هست.

    پاسخ

      ببخشید منظور شما اون مثالیه که در مطلب اول سایت زدید یا در دیدگاه
      و آیا می شود در طول این دو هفته مطلب در سایتم بگزارم؟

      پاسخ

        افت بازدید سایت دلایل زیادی دارد که یکی از آن ها تنظیم اشتباه فایل robots.txt است. من سایت شما را برسی نکردم و نمیدانم آیا سایت شما به خاطر تنظیم اشتباه این فایل کاهش بازدید کننده داشته است یا خیر. اما اگر به خاطر تنظیم اشتباه فایل robots.txt باشد حتما مانند مثال انتهای این مطلب فایل خود را تنظیم کنید.
        و راجع به سوال دوم ،بله هیچ مشکلی نیست و میتوانید مطلب قرار دهید.

        پاسخ

سلام خسته نباشید منم سایتم ار دسترس گوگل خلرج شده بود که فهمیدم و این مشکل رو به کمک شما حل کردم حالا یه مشکل دیگه برام پیش اومده که سایت مپم رو کلا warning و با ارور میشناسه از سایت مپ yoast امتحان کردم بازم مشکل حل نشد همچنین از googlesitemap.xml هیچکدوم جواب نداد خواهشا راهنمایی کنید

پاسخ

    سلام
    سایت شما را برسی کردم
    مشکل فایل robots.txt شما برطرف نشده و به طور کامل دارد گوگل را بلاک می کند.
    این فایل را کلا حذف کنید یا خالی کنید تا مشکل برطرف شود

    پاسخ

قبلا که زیر سرچ ها میگفت صفحه شما با دستگاه همراه سازگار نیست
روش که کلیک میکردم میگفت صفحه با گوشی ناسازگار ولی الان که روش کلیک میکنم میگه با گوشی سازگار اینو میگه
Page is mobile friendly
در هر صورت با کمک شما مشکلم حل شد مرسی عزیز

پاسخ

    خواهش میکنم
    حدود یک ماه طول میکشه تا گوگل کل سایت شما را بازبینی مجدد کنه و متوجه بشه که تمام صفحات mobile friendly شدند.
    بعد از این مدت از توی نتایج جست و جو دیگه خطای your page is not mobile friendly را مشاهده نخواهید کرد

    پاسخ

سایت رو که انالیز میکنم مشکلی نداره هم صفحه اصلی و هم ادامه مطلب اوکی شد
فقط پست جدید که میزنم زیرش میزنه صفحه شما با دستگاه همراه سازگار نیست.
این زمان میبره که اوکی شه نه؟چند روزی زمان میبره؟

پاسخ

اقا مرسی واقعا دمتون گرم کارتون درسته مشکل من حل شد همش به خاطر محدود کردن ربات بود
نمونه صحیح فایل robots.txt رو مثله شما گذاشتم مشکلم حل شد
مرسی موفق و پیروز باشید

پاسخ

چرا سایت مپ رو تو این robots.txt ذکر نکردید

پاسخ

    سلام
    من سایت مپ را دستی ، توی سرچ کنسول به گوگل معرفی میکنم
    و نیازی نیست همه جا ذکر کنیم

    پاسخ

سلام
چندروزه به robot.txt من خطا میده اما هرکاری میکنم رفع نمیشه
User-agent: *
Allow: /wp-admin/
User-agent: Mediapartners-Google*
Allow: /wp-admin/admin-ajax.php
فایلم الان اینه قبلا هم این بود
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
مشکل از چیه هرکاری میکنم رندرفیچ میزنم رفع نمیشه

پاسخ

    سلام
    پیشنهاد میکنم محتویات فایل ربات را کاملا خالی بگزارید یا اینکه کد زیر را قرار دهید
    User-agent: *
    Allow: /
    تا به تمام قسمت های سایت دسترسی کامل داده شود

    پاسخ

با سلام. ممنون از اموزش خوبتون
من درخواست مجدد ایندکس شدن سایت را در وبمستر دادم ولی خطای Temporarily unreachable
می دهد. باید چکار کنم؟
با سپاس

پاسخ

    سلام
    Temporarily unreachable برای همه پیش میاد و طبیعی هست
    مخصوصا الان که یکم ایام شلوغی و شلوغ بازیه
    اما اگه فردا و چند روز دیگه هم چک کردید و مشکل داشت قضیه جدی هست

    پاسخ

با سلام و ممنون با راهنمایی شما مشکل ربات های گوگل من هم درست شده لطفا نمونه فایل htacces هم برای سایت های وردپرسی بزارید ممنون

پاسخ

سلام
من ان مشکل رو داشتم و تقریبا همه سایت هارو دنبال راهکار بودم.
واقعا عالی و گام به گام توضیحات شما مشکل منو حل کرد.
سپاس و تشکر

پاسخ

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

Fill out this field
Fill out this field
لطفاً یک نشانی ایمیل معتبر بنویسید.
You need to agree with the terms to proceed

فهرست



با ساخت حساب کاربری و سپس خریداری رایگان این محصول
 از به روز رسانی های آینده نیز مطلع خواهید بود


 

شما 4 ثانیه تا دانلود رایگان فاصله دارید