تنظیم فایل robots.txt مخصوص وردپرس

امروز که ۲۹ اسفند هست و ۴۵ دقیقه به تحویل سال مونده من دارم این مقاله رو می‌نویسم. توی کانال تلگرام یکی از دوستان اومد و عکس زیر را گذاشت و گفت از یکی دو ماه پیش به کنسول جست‌وجوی گوگل وبمستر سایتشان سر نزده و قبل از اون توی کلمات کلیدی خوبی رتبه یک بود و حالا کلاً از نتایج جست‌وجو حذف شدن و گوگل هم ۹۵۰ تا از صفحات سایتشان رو نمیتونه بخونه و بلاک کرده.

این هم تصویری که توی گروه تلگرام برای ما فرستاده بودند.

فرض کنید شما در صفحه اول گوگل، رتبه اول هستید و یک ماه بعد کلاً در گوگل وجود خارجی ندارید. چه حسی خواهید داشت؟

مشکل کجاست؟

بعدازاینکه حجم زیاد منابع مسدود شده توسط گوگل رو دیدم اولین چیزی که باید چک می‌کردم فایل robots.txt بود. چون تقریباً هیچ عامل دیگری وجود ندارد که به این سرعت بتواند شما را از نتایج جست‌وجوی گوگل حذف کند و حجم زیادی منابع بلوکه‌شده با blocked resources ایجاد کند. بلافاصله رفتم این فایل رو چک کردم و دیدم که حدسم درست بوده.

فایل robots.txt چیست و چه‌کاری انجام می‌دهد؟

وظیفه اصلی این فایل محدود کردن قسمت‌هایی از سایت است که شما نمی‌خواهید موتورهای جست‌وجو به آن دسترسی پیدا کنند. حتی شما می‌توانید دسترسی گوگل را به سایتتان به‌طور کامل ببندید. البته بلاک کردن کامل گوگل فقط زمانی به کار می‌رود که سایت شما در حال ساخت است.

اگر این فایل وجود نداشته باشد مشکلی پیش خواهد آمد؟

خیر ،در عالت عادی این فایل وجود ندارد و پیش فرض گوگل هم این هست که اگر این فایل وجود خارجی نداشت میتواند به همه جای سایت دسترسی داشته باشد بدون هیچ محدودیتی. ما این فایل را ایجاد میکنیم تا دسترسی ها را ببندیم.

محل ذخیره robots.txt کجا است؟

این فایل در root سایت شما قرار می گیرد. یا به عبارت دیگر داخل فولدر public-html در قسمت مدیریت فایل ها در کنترل پنلی که هاستینگ به شما خواهد داد.

نمونه اشتباه robots.txt برای وردپرس

همان‌طور که در عکس زیر می‌بینید وقتی من رفتم و فایل robots.txt را چک کردم متوجه شدم که در همان ابتدا دسترسی گوگل به‌کل وب‌سایت بسته‌شده است و باعث شده تا سایت ایشان از نتایج گوگل کاملاً محو شود.

مشکل این فایل در خط ۲ و ۳ و ۵  در عکس زیر قابل مشاهده است.

خط دوم در عکس بالا به یعنی اینکه تمام ربات ها و خزنده های موتور های جست و جو حتما باید دستور بعدی را انجام دهند

خط سوم در عکس بالا هم که همان دستور بعدی است یعنی: “دسترسی به همه جا بسته است”

خط پنجم دسترسی به فولدر wp-admin را می بندد و تاثیر خطرناکی ندارد اما نباشد بهتر است چون یک فایل در این فولدر وجود دارد که گوگل به آن نیاز پیدا میکند.

 

هشدار:

این دو خط کافی است تا گوگل دیگر سایت شما را برسی نکند و بعد از مدتی به طور کامل از نتایج جست و جو حذف شوید.

 

user-agent: *
Disallow:

همچنین اگر از کنترل پنل وردپرس به قسمت “تنظیمات > خواندن” بروید و تیک “از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند” را بزنید هم دو خط بالا به فایل robots.txt اضافه می‌شوند.

برای رفع مشکل چه باید کرد؟

دو کار باید بلافاصله انجام شود:

  1. حذف دستورات اضافه در فایل robots.txt که باعث بسته شدن دسترسی گوگل به سایت شما می‌شود
  2. درخواست ایندکس کردن مجدد کل سایت از گوگل

در مرحله اول باید دسترسی گوگل به سایت را باز کنیم :حتی من پیشنهاد دادم تا فایل robots.txt را به طور کامل حذف کنند تا خیالشان راحت شود.

در مرحله دوم به وبمستر تولز گوگل میرویمو از قسمت carwl > fetch as google را انتخاب میکنیم.

بعد از اینکه مطابق عکس روی گزینه fetch کلیک کردید باید گزینه request indexing را کلیک کنید.

حالا کافی است تا از گوگل درخواست کنید تا صفحه اصلی سایت شما را به همراه تمام لینک های موجود در آن را crawl کند.

با انجام این دو مرحله سایت شما بعد از مدتی به حالت عادی باز خواهد گشت.

نمونه صحیح فایل robots.txt

برای اینکه شما برای سایت وردپرسی خودتان یک فایل سالم و بدون مشکل ایجاد کنید من فایلی که خودم برای سایت خودم تنظیم کرده ام را در زیر به شما خواهم داد. شما با خیال راحت میتوانید تمام دستورات زیر را در فایل robots.txt خودتان کپی کنید.

User-agent: *
Disallow: /cgi-bin/
Disallow: /downloads/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: *?replytocom
Disallow: /author
Disallow: /author/*
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

ما در خط اول یعنی User-agent: * اعلام می‌کنیم که قوانینی که در زیر خواهد آمد  برای تمام ربات‌ها (موتورهای جست‌وجو) صادق است. دقت کنید هنوز نگفتیم که دسترسی دارند یا نه ، فقط گفتیم که همه ربات‌ها توجه کنید که قوانین زیر مخصوص شماست.

در خط دوم Disallow: /cgi-bin/ میگوییم که هیچ رباتی حق ندارد این پوشه یا فولدر را برسی کند و محتویات آن را ایندکس نماید.

در خط سوم  Disallow: /downloads/ داریم میگوییم که محتویات این فولدر را نیز برسی نکنید و ایندکس نکنید.

چرا باید دسترسی به یک پوشه دلخواه را ببندیم؟

یکی از دلایل میتونه این باشه که من محصولات آموزشی را قرار است در این فولدر قرار بدهم و نمی‌خواهم کسی در گوگل جست‌وجو کرد آموزش فلان، گوگل بیاد و یکی از فایل‌هایی که داخل این فولدر هست رو نشان کاربران بده و کاربر مجانی بتونه دانلود کنه. البته در حالت عادی اگه خود ما لینک مستقیم از سایتمان به این فولدر ندیم گوگل متوجه وجود این فولدر نمیشه. اما من برای محکم‌کاری این خط رو قراردادم.

 

در خط چهارم و پنجم داریم Disallow: /wp-admin/ که بعدازآن بلافاصله این دستور را هم داریم Allow: /wp-admin/admin-ajax.php

در این دو خط به ربات‌ها میگوییم که به فولدر wp-admin اجازه دسترسی ندارید اما فایل admin-ajax.php را دسترسی دارید. همیشه دسترسی به این فایل را برای گوگل باز بگزارید .

در خط ششم  Disallow: *?replytocom داریم که مربوط به کامنت ها هست. در وردپرس هنگامی‌که می‌خواهیم به یک نظری پاسخ بدهیم روی یک لینک کلیک می‌کنیم. و در آدرس آن لینک کلمه replytocom وجود دارد و به کامنتی که به آن می‌خواهیم جواب بدهیم لینک شده است. اگر سایت شما نظرات زیادی دارد این گزینه به شما کمک می‌کند که گوگل الکی این لینک را دنبال نکند چون درنهایت مقصد این لینک همان صفحه‌ای است که گوگل در آن در حال خزیدن یا crawl بوده. البته با افزونه yoast هم می‌توانید این لینک‌ها را برای ربات‌ها غیرفعال کنید.

 

در دو خط هفتم و هشتم داریم Disallow: /author و Disallow: /author/* که با این دوخط من دارم به گوگل میگم که اگه توی سایت من نویسنده مطلب پیدا کردی صفحه اون نویسنده رو ایندکس نکن و دسترسی بهش نداری. این کار رو به دلایل امنیتی و برای جلوگیری از لو رفتن نام کاربری خودم انجام داده‌ام.

و در خط نهم هم Disallow: /comments/feed/ فید برای کامنت ها را غیرقابل‌دسترس کردم.

خط‌ های بعدی مهم نیستند و هیچ نیازی هم به وجود آن‌ها نبود.

, ,

مطالب مرتبط

81 دیدگاه. ارسال دیدگاه جدید

  • بنظر شما این فایل مشکلی نداره؟
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Sitemap: https://bankeyadak.com/sitemap_index.xml
    قسمت wp content بنظرم مشکل داره

    پاسخ
    • با سلام
      بله مشکل دارد
      پوشه های wp-content و wp-include نباید بلاک شوند.
      مخصوصا پوشه wp-content چون دارای قالب و افزونه های سایت شما است ، اگر گوگل اجازه بازدید از آن را نداشته باشد نمیتواند سایت شما را به طور صحیح ببیند.

      پاسخ
  • سلام

    مممون میشم راهنماییم کنید
    مدتی است متوجه شدم مطالب سایتم حتی با کپی عناوین اون در گوگل قابل جستجو نیست! مثلا:

    این مطلب و همین 2-3 روز پیش زدم

    http://guard3d.com/review-powercolor-radeon-rx-5600-xt-red-dragon/

    حالا عنوان همین مطلب و توی گوگل جستجو میکنم میبینم مطلب و پیدا نمیکنه!!!
    در حالی که توی سرچ کنسول ورودی دارم و کروال میشم! توی آنالیتیکس هم سایت فعاله!
    طبق آموزش شما رفتم فایل robot.txt و برسری کردم و دیدم دستور زیر توی اون نوشته شده:

    User-agent: *
    Disallow: /wp-admin/

    آیا دلیلش اینه؟

    نکته بعدی اینکه آیا نمونه robot.txt شما برای سایتی مثل سایت من هم مناسب هست؟
    ممنون میشم راهنمایی کنید

    پاسخ
    • سلام
      فایل robots.txt خودتان را پاک کنید
      اشتباه تنظیم شده.
      اساسا این فایل برای محدود کردن گوگل هست و نه برای اجازه دسترسی دادن به گوگل.
      گوگل پیش فرض به همه جای سایت شما میره مگر اینکه شما محدودش کنید.
      یک مطلب هم زمان میبره تا در گوگل ایندکس بشود. بعد از 2 هفته از انتشار مطلب چک کنید.

      پاسخ
  • سلام دوست خوب، تقریباً نمونه خوبی از روبوت تکست رو ارائه کردی.
    مرسی از دقت شما

    پاسخ
  • سلام و عرض خسته نباشید .
    من داخل سایتم به یه مشکلی خوردم . یسری از مقالات من که صفحه اول بود از نتایج گوگل حذف شده.
    بعد داخل robot.txt هم نگاه کردم دسترسی بهش محدود نشده.
    یسری از صفحات من هم سر جاشون موندن .
    اون صفحاتی هم که حذف شدن وقتی داخل سرچ کنسول میزنم ارور URL is not on Google و
    Page with redirect رو میده . در صورتی که اصلا ریدایرکت نشده و قبلا هیچ مشکلی نداشت نمیدونم چرا این مشکل رو داره . جالب اینه که وقتی test live url رو میزنم سبز میشه و میگه URL is Google و ایندکس شده . ولی تو url inspection مشکل نوایندکس رو دارن . ممنون میشم کمکم کنید من این مشکل رو یکماه هست که دارم و رتبه سایتم از 2000 به 4000 تغییر پیدا کرده نمیدونم بخاطر این قضیس یا دلیل دیگه داره

    پاسخ
    • سلام و عرض ادب
      باید آخرین کاری که قبل از این اتفاق رخ داده را برسی کنید. شاید قالب سایتتون را عوض کرده باشید و یا یک افزونه جدید نصب کرده باشید. این مشکلات را در آخرین کارهایی که روی سایت انجام دادید باید پیدا کنید.
      ممکن است این موضوع به خاطر استفاده از افزونه ها و قالب های نال شده باشد. ممکن هم هست که قالب مشکل داشته باشد.

      پاسخ
  • سلام ممنون از مقاله خوبتون یک سوال داشتم . توی سرچ کنسول سایتم تو بخش excluded و داخل اون بخش
    Crawled – currently not indexed . من یکسری ارور به این صورت دارم https://example.ir/استلار-چیست-؟/feed/
    که مشکل rss feed هست و وقتی بازش میکنم داخل سرچ کنسول

    یه همچین صفحه ای که داخلش این کداس باز میشه .(کدارو خلاصه گذاشتم) خیلی هم ازینا دارم دو سه هزار تا میشه .چجوری برطرفش کنم؟

    پاسخ
    • با سلام
      صفحات feed برای نرم افزارهای خواننده فید یا اپلیکیشن هایی است که میخواهند مقالات سایت شما را بخوانند. تمام صفحات وردپرس دارای یک نسخه از نوع feed هم هستند.
      صفحات feed در وردپرس به صورت خودکار توسط وردپرس تنظیم میشوند تا در گوگل ایندکس نشوند. به همین علت خطایی که در سرچ کنسول گوگل مشاهده میکنید (not indexed) اصلا خطا نیست و جای نگرانی ندارد.
      شما نیازی ندارید هیچ کاری برای این موضوع انجام دهید. در حقیقت همه چیز سر جای خود است و همانگونه است که باید باشد.

      پاسخ
      • خیلی ممنون از پاسخ شما فقط اینکه وقتی یه خطایی رو برطرف کردم در سرچ کنسول جدید باید ابزار url inspection و request indexing به گوگل اعلام رفع خطا کنم ؟ چون من حدود 5000 تا تو یکی از بخشا به علت تغییر url خطای 404 دارم.و تصمیم رفتم روزی 50 تا رفع خطا کنم و تغییر مسیر و بدم و با url inspection به گوگل اعلام کنم اما مثل اینکه گوگل برای ایندکس کردناش محدودیت گذاشته.من با این پیغام مواجه شدم از دیروز و هنوزم همینه oops! Something went wrong We had a problem submitting your indexing request. Please try again later …..پس با این حساب من اینهمه خطارو چحوری برطرف و به گوگل اعلام کنم

        پاسخ
        • خواهش میکنم
          اگر تغییر url داشتید باید صفحات قدیمی را به صفحات جدید ریدایرکت میکردید تا گوگل متوجه شود که صفحه سایت شما پاک نشده و فقط تغییر آدرس رخ داده است.
          در غیر اینصورت اون صفحه خطای 404 میدهد و از نتایج گوگل حذف میشود.
          برای رفع این مشکل افزونه yoast premiume را نصب کنید و از قسمت تغییر مسیر عملیات ریدایرکت url های قدیمی به جدید را انجام دهید.
          برای رفع خطای گوگل هم باید از قسمت coverage لینک خودتون رو پیدا کنید و گزینه validate fix را بزنید

          پاسخ
  • سلام و خسته نباشید
    من فایل robots.txt رو در پوشه public-html ساختم و دستورات مورد نظر رو داخلش نوشتم اما ادرس سایت رو که می نویسم و اسم این فایل پشت سرش فایل robots.txt رو خالی نشون میده. مشکلش چیه؟

    پاسخ
  • سلام جناب زهیری، وقت به خیر
    لطفاً سایتم رو بررسی کنین، هم از لحاظ فایل robots.txt و هم اینکه افزونه amp رو به جهت موبایل فرندلی بودن نصب کردم، ولی ارور میده که سایت موبایل فرندلی نیست و میگه برای چند تا از تصاویر، به جای img از تگ amp-img استفاده شود و میگه (صفحه دارای خطاهای اعمال AMP است)؛
    Cannot continue validation process
    Affected pages were found. Fix the issue and run validation again
    با پشتیبان افزونه هم در میون گذاشتم، منتها ایشون قادر به رفع کردن این ایراد نبودند.
    آدرس سایت: ***
    ممنون از لطف شما

    پاسخ
    • با سلام
      فایل robots.txt شما هیچ مشکلی ندارد
      اما AMP هنوز برای وردپرس به صورت قوی وجود ندارد و افزونه ها خیلی ضعیف عمل میکنند. مشکلات کدنویسی افزونه های amp را باید با طراح افزونه در میان بزارید.

      پاسخ
  • سلام.
    خسته نباشید…
    بنده مشکلی که دارم صفحات جدیدم مدتی هست ایندکس نمیشه و از طرفی میگه یبار میگه موبایل فرندلی نیست و یه بار میگه است.

    پاسخ
    • سلام
      آدرس سایتتون رو میشه بدید
      ———————————-
      سایتتون رو دیدم
      فایل ربات سایت شما مشکلی نداره.

      پاسخ
      • بله رباط مشکلی نداره و همه صفحاتم ایندکس میشه به جز محصولاتم…
        دلیلشم نمیتونم متوجه بشم

        پاسخ
        • یک دلیلش میتونه کم بودن تعداد صفحات سایت شما باشه که باعث میشه گوگل خیلی دیر سایت شما را برسی کند.
          دلیل دیگه برای ایندکس نشدن توسط گوگل کم بودن مطلب میتونه باشه. جدیدا گوگل به صفحاتی که طول مطلی کمی دارند هم واکنش خوبی نشون نمیده و خیلی وقت ها ایندکس نمیکنه.

          پاسخ
  • سلام. وقت بخیر. من یه سایت ووکامرسی دارم و دنبال یه فایل robots.txt مناسب میگشتم .فایل زیر مربوط به سایت دیجی کالاست. میخواستم بدونم برای ووکامرس هم از همین دستورات باید استفاده کرد یا میشه یه تعدادی رو حذف کرد؟ شما برای ووکامرس کدوم دستور رو پیشنهاد میدید؟ متشکر از شما 🙂
    disallow: /card
    disallow: /shipping
    disallow: /payment
    disallow: *?*
    disallow: /search?q=*
    disallow: /profile*
    disallow: *utm_*
    disallow: /product/comment/*
    disallow: /rss
    disallow: /services
    disallow: /temp
    disallow: /testservice
    disallow: /upload
    disallow: /web%20references
    disallow: /bin-copy
    Allow: */mag/*.js
    Allow: */mag/*.css

    پاسخ
    • با سلام
      دیجی کالا سیستم خودش را دارد و کاملا با ووکامرس متفاوته
      فایل ربات هم به همین علت کاملا متفاوت باید باشه.
      اصلا فایل ربات دیجی کالا را الگو قرار ندید. همین مثالی که داخل این مطلب زدیم برای وردپرس و ووکامرس مناسب هست.

      پاسخ
  • سلام جناب مهندس
    من هم مشکل همین دوستمون رو دارم و الان خطاهایی دارم که میگه بلاک شده در فایل روبوت!
    ممنون میشم یه نگاهی به فایل من بندازید و ببینید مشکلم از کجاست

    سپاسگذارم

    پاسخ
    • با سلام
      قسمت تنظیم فایل ربات در گوگل وبمستر تولز حذف شده تا به سرچ کنسول جدید منتقل شود.
      تمام مشکلات به همین علت است
      باید به گوگل این باگ را اطلاع بدیم تا برطرف کند. البته به طور مستقیم نمیتونید باگ را اطلاع بدید و باید در لینک زیر مشکل خودتون رو وارد کنید.
      https://support.google.com/webmasters/thread/new?hl=en
      بعد کارشناسان گوگل اگه متوجه بشن که این یک باگ هست اون رو به گوگل منتقل میکنن.

      پاسخ
  • سلام. خسته نباشید. سایت من یه هفته است که تو بخش سایت مپ وبمستر ارور General HTTP error میده
    وقتی میخوام فایل روبوت رو تست کنم این ارور رو میده :
    robots.txt not found (404)
    It seems like you don’t have a robots.txt file. In such cases we assume that there are no restrictions and crawl all content on your site. Learn more.

    وقتی هم که میخوام فایل روبوت رو submit کنم این پیغام رو میده
    It didn’t go through. Try again later.

    الان یه هفته است که همه صفحاتم از سرچ گوگل حذف شده. افت رتبه داشتم .

    اگه امکانش هست بنده را راهنمایی بفرمایین

    پاسخ
    • سلام و عرض ادب
      لینک سایتتون رو لطفا برام ارسال کنید

      پاسخ
      • satraptejarat خدمت شما

        پاسخ
        • فایل ربات سالم به نظر میرسه باشه
          به سرچ کنسول گوگل برید و از قسمت url inspection سایت خودتون رو برسی کنید تا خطا ها را به شما نشان دهد
          البته دو هفته هست گوگل یک آپدیت بیرون داده که احتمال میدم مشکل به خاطر این آپدیت باشه

          پاسخ
          • صفحه اصلی رو که تو url inspection بررسی میکنم . این ارور هارو میده.
            Crawl allowed? No: blocked by robots.txt
            Page fetch Failed: Blocked by robots.txt

            آپدیت گوگل که فرمودین تو چه حوزه ای بوده؟

          • وبمستر تولز قدیمی یک قسمت داشته به نام تست و به روز رسانی فایل ربات. این قسمت حذف شد و توی سرچ کنسول جدید هم اضافه نشده. باگ گوگل هست.

  • در سرچ کنسول جدید robot.txt tester ندارد در داشبورد کنسول جدید نمی تونیم به کنسولل قدیمی دسترسی پیدا کنیم

    پاسخ
  • سلام
    ممنون از آموزشتون .من تازه یک سایت راه اندازی کردم و از حالت تعمیر خارج کردم ..دستوراتی که گفته بودید رو هم درrobots.txt قرار دادم اما هنوز سرچ کنسولم بهم ارور مسدود شدن توسط فایل robots رو میده و توی تست روبوت هم بلاک میاد …متاسفانه هنوز با سرچ کنسول جدید زیاد آشنایی ندارم ..ممنون میشم کمک کنید …

    پاسخ
    • سلام
      وقتی شما فایل robots.txt را ادیت میکنید باید به گوگل بگید که به روز شده وگرنه خود گوگل با تاخیر متوجه این موضوع میشه.
      توی سرچ کنسول قدیمی برید هنوز این قسمت به سرچ کنسول جدید منتقل نشده است.
      در وبمستر تولز به قسمت زیر بروید
      crawl> robots.txt tester
      روی گزینه submit کلیک کنید و دوباره submit را بزنید تا گوگل متوجه به روز رسانی شود.
      سپس صفحه را رفرش کنید

      پاسخ
  • سلام و عرض ادب
    کاملترین و بهترین توضیحاتو تو سایت شما پیدا کردم
    یک دنیا ممنون

    پاسخ
  • مهدی جباری
    تیر 20, 1398 0:54 ق.ظ

    سلام و وقت بخیر . من یک ساب دامین درست کردم و میخوام یک سری اموزش هارو با اون انجام بدم
    نمیخوام تو گوگل ایندکس شه . اخه شاید هر پاک شه و دوباره اضافه شه !

    الان میخوام برم تو بخش سرچ کنسول ، هر چی میگردم ورژن قدیمی رو پیدا نمیکنم که برم فایل روبوت رو دوباره تنظیم و ست کنم . از گوگل بعید این ux مزخرف !

    الان باید چیکار کنیم ؟ راه حل شما چیه ؟

    پاسخ
    • سلام
      شما نیازی به سرچ کنسول گوگل برای تنظیم فایل ربات ندارید و گوگل همیشه خودکار دنبال این فایل میگرده
      اما چیزی که توی این آموزش گفته نشده این هست که اگر ساب دامین را میخواهید بلاک کنید باید داخل پوشه اصلی سای دامین یک فایل ربات بسازید و داخل آن کد زیر را قرار بدید
      User-agent: *
      Disallow: /

      پاسخ
  • سلام خسته نباشید
    بنده افزونه Yoast رو نصب کردم برام دقیقا اروری که صفحه اول سایت نمیتونه ایندکس بشه رو آورد
    با استفاده از تکستی که شما گفتید یه فایل ربات برای خودم درست کردم ولی بازم یوآست ارور بهم میده
    میشه لطف کنید سایت من رو یه چک کنید ببینید که درست هست یا نه.
    تشکر فراوان.

    پاسخ
    • سلام
      فایل ربات شما صفحه اول سایت را بلاک نمی کرد
      ممکن هست توی قسمت تنظیمات yoast داخل برگه صفحه اول سایت تنظیم کرده باشید که ایندکس نشه

      پاسخ
      • بله درسته اصلا حواسم نبود که من افزونه حالت تعمیر رو فعال کردم سر این موضوع بود
        ممنون بازم
        بعد اینکه کد رباتی که گذاشتید کامل هست یا نیاز به تغییر داره؟ ممنون

        پاسخ
  • سلام
    من مقاله که انتشار میزنم مثل این

    /code-discount-digi-kala

    یک صفحه بیخود دیگه هم ایجاد میشه و توی گوگل ایندکس میشه، مثل این
    /code-discount-digi-kala/5-15/

    ببخشید علتش می دونید چیه که disallow کنم ممنون

    پاسخ
    • سلام
      این به خاطر صفحات attachment سایت شما هست. وقتی شما عکسی آپلود میکنید وردپرس این صفحات رو خودکار ایجاد میکنه
      نیازی به disallow کردن نیست
      باید به قسمت تنظیمات افزونه yoast بروید
      در ظاهر جستجو – Yoast SEO به قسمت عناصر چند رسانه ای بروید
      تغییر آدرس URL های پیوست به خود پیوست را روی بله قرار بدهید

      پاسخ
  • سلام خسته نباشید
    ببخشید من داخل وبمستر گوگل ، 14 صفحه از سایتم هشدار indexed though blocked by robots.txt گرفته در صورتی که هیچ محدودیتی برای این صفحات اعمال نکردم و مثلا یکی از پست ها مربوط به 5 ماه پیش هست و تازه این هشدار نمایش داده شده.
    این را هم بگم که آدرس هایی که هشدار گرفت به این صورت هستند:
    https://example.com/wp-admin/post.php?post=3676&action=edit
    و داخل توضیحات هم این مورد هست:
    Crawl allowed?
    No: blocked by robots.txt
    Page fetch
    Failed: Blocked by robots.txt

    فایل robots.txt هم به صورت زیر هست.
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    میخواستم ببینم چیکار باید بکنم برای حل این هشدار ها؟

    پاسخ
    • سلام
      این هشدارها هیچ اهمیتی ندارن و کاملا نادیده بگیریدشان.
      این لینکی که شما گزاشتید مربوط به داشبورد وردپرس هست (قسمت ادیت یک نوشته) و نباید توسط گوگل ایندکس بشه.
      فایل ربات شما هم کاملا استاندارد هست و پیشنهاد میکنم به این فایل هم دست نزنید

      پاسخ
  • سپاس فراوان از شما
    بیشتر از 10 تا مقاله در این مورد خوندم اما شما با شکل و توضیحات کامل بهترین ارائه رو انجام دادی.

    پاسخ
  • سلام
    ممنون از پست خوبتون
    من یه سایت فروشگاهی وردپرس دارم که در صفحه محصولاتم، حدود 10 الی 15 تا فیلتر دارم.
    در تنظیمات yoast، قسمت میزفرمان جستجو، قسمت رایانه رومیزی،
    بخش خطای سرور، حدود 44هزار تا لینک وجود داره ک میتونم بگم 99% اون لینک ها، URL های دارای ? هستش که مربوط به انتخاب فیلترها هستش.
    چجوری میتونم این لینک هارو محدود کنم؟ چون داخل وبمسترتولز هم این گونه لینک هارو ارور دریافت میکنم.
    داخل robots.txt میخوام این لینک هارو محدود کنم.
    دستورش چی میشه؟
    سایت :

    ممنون میشم راهنماییم کنید

    پاسخ
    • با سلام
      دستورات زیر را به فایل robots.txt اضافه کنید
      Disallow: /*?*

      Allow: /*.js?*

      Allow: /*.css?*
      این خط ها باعث میشن بعد از ? که فیلترها اعمال می شوند گوگل لیک ها را دنبال نکند.
      خط های 2 و 3 هم برای محکم کاری این موضوع هست که فایل های js و css به صورت اشتباهی disallow نشوند.

      پاسخ
  • سلام دسترسی feed rss لازمه قطع کنیم؟ اگه قطع کنیم توی سئو تاثیر داره؟
    نظرتون در مورد robots.txt سایت ***.ir چیه؟ ممنون میشم

    پاسخ
    • سلام
      وردپرس به صورت اصولی سئو شده هست و نیازی نیست rss یا feed را قطع کنیم. بهترین کار دست نزدن به feed هست.
      فایل ربات سایتتون رو چک کردم به نظر میرسید اوکی باشه ولی باید توی سرچ کنسول گوگل ببینید مشکلی براتون پیش میاره یا نه.

      پاسخ
      • توی سرچ کنسول در قسمت crawl errors در قسمت smartphons مطالب زیادی که اخر لینکشون /feed/ هست blocked شدن بنظرتون توی robots.txt ربات مربوط به feed رو allow کنم؟

        پاسخ
        • با اینکه خطا میده اما توی سئو تاثیر زیادی نداره ،پیشنهاد میکنم به جای اینکه allow کنید خط های مربوط به disallow را حذف کنید

          پاسخ
          • ممنون از پاسختون.
            من مشکل اساسی‌ای که دارم اینه که من سایت رو از پرستاشاپ به وردپرس منتقل کردم و طبیعتا همه‌ی لینک های محصولات، دسته بندی ها و … که داخل پرستاشاپ بوده، حذف شد.
            الآن داخل وبمستر، لینک های پرستاشاپ رو میاره و Not Found میزنه.
            برای حل این گونه لینک ها چه پیشنهادی دارین ؟

            یه سوال دیگه اینکه دسته بندی های من، توی گوگل اصلا رتبه خوبی ندارن! مثلا اسم محصول رو که سرچ میکنم، در همون صفحه اول، لینک محصول رو میاره و لینک بعدی دسته بندیِ اون محصول رو میاره! ولی اگه کلمه کلیدی های همون دسته بندی رو سرچ کنم، اصلا نمیاره!
            مشکل از کجاست؟

            ممنون از پاسخگوییتون

          • سلام
            قبل از انتقال سایت می بایستی لیست ریدایرکت های 301 را ایجاد می کردید تا بعد از انتقال cms ازش بتونید استفاده کنید. الان میتونید افزونه yoast premium را نصب کنید و ریدایرکت ها را ایجاد کنید به صفحات جدید.

            برای سوال دوم باید بگم که این مورد به طور خلاصه از طریق لینک سازی داخلی و لینک سازی خارجی برطرف میشه که شما با کلمه کلیدی اصلی به صفحه دسته بندی لینک بدید.

          • الان افزونه yoast رو دارم. باید تک تک ریدی کت کنم؟
            خیلی از محصولات هم تکرار نشدن و باید به صفحه اصلی لینک بدم؟
            مشکلی پیش نمیاد؟

          • بله
            خطاهای 404 که صفحه برای آن موجود است را باید ریدایرکت کنید تا گوگل متوجه انتقال صفحه بشود.
            اما آن هایی که موجود نیستند را ریدایرکت نکنید و بزارید روی همون 404 باقی بمانند

          • ببخشید برای من پستهایی رو که /feed دارد رو ایندکس کرده و نمایش خوبی نیست تو گوگل
            چجوری disallow کنم

          • با سلام
            وردپرس پست های فید را خودکار تنظیم کرده تا ایندکس نشوند.
            اگه توی سرچ کنسول گوگل در قسمت coverage با عنوان valid نشان داده میشوند با اضافه کردن خط زیر در فایل ربات میتونید بلاک کنیدشون.
            Disallow: */feed/

  • مطلب خیلی عالی ای بود. ممنونم. بدرد من که خیلی خورد.
    یه سوال دارم. تو فایل روبوت من فقط اسنپ شات وردپرس رو disalow هست. خواستم بدونم مشکلی ایجاد می کنه؟

    پاسخ
  • ببخشید منظور از مثال اینه؟
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /downloads/
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Disallow: *?replytocom
    Disallow: /author
    Disallow: /author/*
    Disallow: /comments/feed/
    User-agent: Mediapartners-Google*
    Allow: /
    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    و آیا در طول این دو هفته می تونم مطلب در سایتم بگذارم ؟

    پاسخ
  • danel.radcliffe
    دی 28, 1397 1:18 ب.ظ

    سلام
    منم چند وقت هست سایتم اینطوری شد ؟ حالا چند روزطول میکشه که درست بشه و از کجا بفهمیم درست شده؟

    پاسخ
    • سلام
      حداقل دو هفته طول میکشه
      پیشنهاد میکنم فایل robots.txt را مثل مثالی که زدم ایجاد کنید.اینجوری مطمئن هستید که کاملا سالم هست.

      پاسخ
      • ببخشید منظور شما اون مثالیه که در مطلب اول سایت زدید یا در دیدگاه
        و آیا می شود در طول این دو هفته مطلب در سایتم بگزارم؟

        پاسخ
        • افت بازدید سایت دلایل زیادی دارد که یکی از آن ها تنظیم اشتباه فایل robots.txt است. من سایت شما را برسی نکردم و نمیدانم آیا سایت شما به خاطر تنظیم اشتباه این فایل کاهش بازدید کننده داشته است یا خیر. اما اگر به خاطر تنظیم اشتباه فایل robots.txt باشد حتما مانند مثال انتهای این مطلب فایل خود را تنظیم کنید.
          و راجع به سوال دوم ،بله هیچ مشکلی نیست و میتوانید مطلب قرار دهید.

          پاسخ
  • سلام خسته نباشید منم سایتم ار دسترس گوگل خلرج شده بود که فهمیدم و این مشکل رو به کمک شما حل کردم حالا یه مشکل دیگه برام پیش اومده که سایت مپم رو کلا warning و با ارور میشناسه از سایت مپ yoast امتحان کردم بازم مشکل حل نشد همچنین از googlesitemap.xml هیچکدوم جواب نداد خواهشا راهنمایی کنید

    پاسخ
    • سلام
      سایت شما را برسی کردم
      مشکل فایل robots.txt شما برطرف نشده و به طور کامل دارد گوگل را بلاک می کند.
      این فایل را کلا حذف کنید یا خالی کنید تا مشکل برطرف شود

      پاسخ
  • قبلا که زیر سرچ ها میگفت صفحه شما با دستگاه همراه سازگار نیست
    روش که کلیک میکردم میگفت صفحه با گوشی ناسازگار ولی الان که روش کلیک میکنم میگه با گوشی سازگار اینو میگه
    Page is mobile friendly
    در هر صورت با کمک شما مشکلم حل شد مرسی عزیز

    پاسخ
    • حسن زهیری
      آبان 6, 1397 7:19 ب.ظ

      خواهش میکنم
      حدود یک ماه طول میکشه تا گوگل کل سایت شما را بازبینی مجدد کنه و متوجه بشه که تمام صفحات mobile friendly شدند.
      بعد از این مدت از توی نتایج جست و جو دیگه خطای your page is not mobile friendly را مشاهده نخواهید کرد

      پاسخ
  • سایت رو که انالیز میکنم مشکلی نداره هم صفحه اصلی و هم ادامه مطلب اوکی شد
    فقط پست جدید که میزنم زیرش میزنه صفحه شما با دستگاه همراه سازگار نیست.
    این زمان میبره که اوکی شه نه؟چند روزی زمان میبره؟

    پاسخ
  • اقا مرسی واقعا دمتون گرم کارتون درسته مشکل من حل شد همش به خاطر محدود کردن ربات بود
    نمونه صحیح فایل robots.txt رو مثله شما گذاشتم مشکلم حل شد
    مرسی موفق و پیروز باشید

    پاسخ
  • صابر زارع
    مهر 28, 1397 2:00 ب.ظ

    چرا سایت مپ رو تو این robots.txt ذکر نکردید

    پاسخ
    • حسن زهیری
      مهر 28, 1397 2:23 ب.ظ

      سلام
      من سایت مپ را دستی ، توی سرچ کنسول به گوگل معرفی میکنم
      و نیازی نیست همه جا ذکر کنیم

      پاسخ
  • سلام
    چندروزه به robot.txt من خطا میده اما هرکاری میکنم رفع نمیشه
    User-agent: *
    Allow: /wp-admin/
    User-agent: Mediapartners-Google*
    Allow: /wp-admin/admin-ajax.php
    فایلم الان اینه قبلا هم این بود
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    مشکل از چیه هرکاری میکنم رندرفیچ میزنم رفع نمیشه

    پاسخ
    • حسن زهیری
      مهر 7, 1397 9:18 ق.ظ

      سلام
      پیشنهاد میکنم محتویات فایل ربات را کاملا خالی بگزارید یا اینکه کد زیر را قرار دهید
      User-agent: *
      Allow: /
      تا به تمام قسمت های سایت دسترسی کامل داده شود

      پاسخ
  • khajehvandi.eng
    تیر 6, 1397 10:30 ق.ظ

    با سلام. ممنون از اموزش خوبتون
    من درخواست مجدد ایندکس شدن سایت را در وبمستر دادم ولی خطای Temporarily unreachable
    می دهد. باید چکار کنم؟
    با سپاس

    پاسخ
    • حسن زهیری
      تیر 7, 1397 2:44 ب.ظ

      سلام
      Temporarily unreachable برای همه پیش میاد و طبیعی هست
      مخصوصا الان که یکم ایام شلوغی و شلوغ بازیه
      اما اگه فردا و چند روز دیگه هم چک کردید و مشکل داشت قضیه جدی هست

      پاسخ
  • با سلام و ممنون با راهنمایی شما مشکل ربات های گوگل من هم درست شده لطفا نمونه فایل htacces هم برای سایت های وردپرسی بزارید ممنون

    پاسخ
  • سلام
    من ان مشکل رو داشتم و تقریبا همه سایت هارو دنبال راهکار بودم.
    واقعا عالی و گام به گام توضیحات شما مشکل منو حل کرد.
    سپاس و تشکر

    پاسخ

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این فیلد را پر کنید
این فیلد را پر کنید
لطفاً یک نشانی ایمیل معتبر بنویسید.
برای ادامه، شما باید با قوانین موافقت کنید

فهرست