فایل robots.txt چیست و چگونه ایجاد می‌شود؟

در اینکه گوگل از ربات‌های فوق العاده پیشرفته و هوشمندی برخورداره هیچ شکی نیست؛ مطمئنا شما به عنوان یک مشاور سئو کاربلد می‌دونید که این ربات‌ها هرچقدر هم توانمند و منحصر بفرد باشند باز هم توانایی‌شون در زمینه درک میزان اهمیت محتوای موجود در صفحات وب سایت اونقدر بالا نیست و باز هم به کمک ما انسان‌ها برای شناخت و تشخیص هرچه بهتر مواردی مثل این نیازمندند. robots.txt در واقع یک فایل دستوری برای ربات‌های خزنده گوگله که در اون ما مجوزهایی رو برای خزیدن یا عدم خزیدن اون‌ها در هر کدوم از بخش‌های مورد نظرمون تعیین می‌کنیم. به عبارت دیگه با ایجاد یک فایل robots.txt و قرار دادن دستوراتی مثل Allow یا Disallow برای صفحات مورد نظر در این فایل، به ربات‌های خزنده می‌فهمونیم که در کدوم یک از بخش‌ها خزیده و کدوم صفحات رو ایندکس نکنند.

چگونه یک فایل robots.txt ایجاد کنیم؟

اگه شما صاحب یک وب سایت وردپرسی هستید یا صرفا به صورت یک سئوکار روی یک سایت کار می‌کنید، می‌تونید به سادگی یک فایل robots.txt ایجاد کنید. روش انجام این کار هم به این صورته که ابتدا به پنل مدیریت هاست سایت‌تون رفته و بر روی File Manager کلیک کنید. سپس به پوشه روت یا همون Public_html رفته و با استفاده از یک نرم افزار ویرایشگر متن یک فایل با نام robots.txt ایجاد کنید. دقت داشته باشید که نام فایل شما حتما باید با حروف کوچیک نوشته بشه. سپس با آپلود فایل ایجاد شده در مسیر ذکر شده (Public_html) به همین سادگی شما یک فایل robots.txt ایجاد کردید.

علاوه بر استفاده از نرم افزارهای ویرایش متن، با توجه به نوع هاست، خود شما می‌تونید با استفاده از گزینه +File در هاست سی پنل و گزینه Create New File در هاست دایرکت ادمین، فایل robots.txt رو ایجاد کنید.

دستورات قابل استفاده در فایل robots.txt

در ابتدا و قبل از بیان انواع دستورات قابل ارائه برای ربات‌های موتورهای جستجو بهتره با انواع علائم دستوری قابل استفاده در این فایل آشنا شید:

*: به کلیه ربات‌ها و کاراکترها اشاره داره و نشون می‌ده که دستورالعمل‌ها برای همه ربات‌ها در نظر گرفته شده.

/ : استفاده از / به تنهایی به معنی تمامی آدرس‌هاست.

$ : به اتمام مسیر یک URL اشاره داره. برای درک بهتر کاربرد این علامت به مثال زیر توجه کنید:

* :User-agent

$Disallow: /*.pdf

در مثال بالا شما به موتورهای جستجو دستور میدید که تمامی urlهایی که انتهای اونا به pdf ختم می‌شن رو مسدود کنن.

# : کامنت‌ها بعد از یک # قرار می‌گیرن و می‌تونن در ابتدای یک خط یا بعد از یک دستورالعمل بیان. ربات‌های موتورهای جستجو عبارتی که بعد از # قرار می‌گیره رو به طور کامل نادیده می‌گیرن. (این کامنت‌ها فقط مخصوص انسان‌هاست.)

User-agent: * #Applies to all robots

Disallow: /wp-admin/ # Don’t allow access to the /wp-admin/ directory

غیر از علائم دستوری ذکر شده عبارت‌هایی هم وجود دارند که درک مفهوم اون‌ها برای ایجاد یک دستور در فایل robots.txt لازم و ضروریه که این مفاهیم عبارتند از:

User-agent: نشون میده که دستورالعمل‌های ذکر شده برای کدوم یکی از موتورهای جستجو در نظر گرفته شده. برای تعیین دسترسی هر نوع از ربات‌ها باید نام ربات مورد نظر رو مثل مثال زیر در مقابل این عبارت قرار بدید.

User-agent: googlebot

با توجه به علائم دستوری ذکر شده در بالا می‌تونید برای خطاب قرار دادن کلیه ربات‌ها از * استفاده کنید.

* :User-agent

Disallow: این دستور تعیین کننده مسیرهای غیر مجاز برای خزنده‌هاست. مثلا اگر نمی‌خواین خزنده‌های گوگل پیشخوان وردپرس شما رو کرال کنند می‌تونید دستور رو اینطوری تنظیم کنید:

* :User-agent

/Disallow: /wp-admin

شما می‌تونید به هر مقدار که نیازه، از دستور Disallow پس از User-agent استفاده کنید. به این نکته هم توجه داشته باشید که خزنده‌ها نسبت به استفاده شما از حروف کوچیک یا بزرگ در دستور Disallow حساس هستند و باید عبارات رو عینا مشابه آنچه در URL شما قرار دارند استفاده کنید.

همچنین استفاده از علامت دستوری / در مقابل دستور Disallow به منزله منع ربات‌های خزنده از خزیدن در کل وب سایت هست.

* :User-agent

/ :Disallow

گاهی اوقات پیش میاد که لازمه قسمتی از سایت رو مسدود کنید. در اینطور موارد باید طبق دستور زیر عمل کنید:

* :User-agent

/Disallow: /admin

این موضوع در مورد فایل‌ها هم صدق می‌کنه. ممکنه فایل خاصی وجود داشته باشه که نخواید در نتایج جستجوی Google نشون داده بشه. برای مسدود کردن این فایل‌ها باید از دستور زیر استفاده کنید:

* :User-agent

Disallow: /admin.html

طبق مثال بالا، این دستور به ربات اجازه می‌ده تا تمام وب سایت به جز فایل admin.html رو بخزه.

Allow: دستور Allow برای مقابله با دستورالعمل Disallow استفاده می‌شه. دستورالعمل Allow توسط Google و Bing پشتیبانی می‌شه. با استفاده از دستورالعمل‌های Allow می‌تونید به ربات‌های موتورهای جستجو بگید که می‌تونن به یک فایل یا صفحه خاص در یک فهرست دسترسی داشته باشند. دستورالعمل Allow مسیری رو دنبال می‌کنه که می‌شه بهش دسترسی داشت. اگه مسیری تعریف نشده باشه، دستورالعمل نادیده گرفته می‌شه..

/Disallow: /wp-admin

Allow: /wp-admin/admin-ajax.php

همچنین برای بستن پارامترها (معیارهای قیمت، رنگ، مواد، اندازه و…) در فایل robots.txt می‌تونید از یک دستور کلی مطابق دستور زیر استفاده کنید:

*؟*/ :Disallow

اما پیشنهاد میشه به جای استفاده از یک دستور کلی، برای بستن هر پارامتر از دستور مشخص و جداگانه استفاده کنید. برای مثال برای بستن پارامتر قیمت باید مطابق دستور زیر عمل کنید:

=Disallow: /*?*price

برای بستن سایر پارامترها هم باید مطابق همین دستور پیش برید.

=Disallow: /*?*color

=Disallow: /*?*size

=Disallow: /*?*material

بخش دیگه‌ای که باید به فایل robots.txt اضافه کنید، سایت مپ یا همون نقشه سایت‌تون هست. وقتی که یک ربات از سایت شما بازدید می‌کنه، باید همه پیوندهای موجود در صفحه رو پیدا کنه. نقشه سایت تمام URLهای ایندکس سایت شما رو فهرست می‌کنه. با افزودن نقشه سایت‌تون به robots.txt، پیدا کردن لینک‌های سایت خودتون رو برای یک ربات آسون‌تر می‌کنید. برای افزودن نقشه سایت به فایل robots.txt به شکل زیر عمل کنید:

* :User-agent

/Disallow: /wp-admin

Sitemap: https://www.example.com/sitemap_index.xml

مجموع همه این علائم و عبارات دستوری، یک فایل robots.txt رو تشکیل می‌ده که با استفاده از این علائم می‌تونید خزنده‌های موتورهای جستجو رو از خزیدن در قسمت‌هایی از وب سایت منع کرده و یا اون‌ها رو ملزم به خزیدن در بخش‌هایی از سایت کنید.

تنظیم دستور در فایل robots.txt برای سایت‌های وردپرسی

اگه وب سایت شما جزو وب سایت‌های وردپرسی هست، برای تنظیم یک دستور بهینه مثل مثال زیر عمل می‌کنیم:

* :User-agent

/Disallow: /wp-admin

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap_index.xml

این دستور که در اکثر سایت‌های وردپرسی ازش استفاده می‌شه به این معنیه که تمامی ربات‌ها اجازه ورود به مسیر wp-admin و ایندکس اون رو ندارند؛ به جز یک بخش که اون هم فایل admin-ajax.php است که در پوشه wp-admin قرار داره.

در ادامه مطلب تصویری رو مشاهده می‌کنید که در اون لیستی از اسامی ربات‌های معروف موتورهای جستجوگر نمایش داده شده.

تست فایل robots.txt

برای اطمینان از ایجاد و ثبت فایل robots.txt در هاست می‌تونید در دنباله دامنه وب سایت‌تون عبارت robots.txt رو وارد کرده و اون رو جستجو کنید. اگه در این فرایند با خطایی روبرو شدید به این معناست که وب سایت شما فاقد فایل robots.txt هست و قطعا یک جای کار رو اشتباه رفتید.

www.YourDomain.com/robots.txt

همچنین برای اطمینان از عملکرد صحیح دستورات تنظیم شده در فایل robots.txt، می‌تونید با مراجعه به این لینک و انتخاب URL مورد نظر از بخش Choose a verified property (مثل تصویر زیر) به صفحه تست این فایل هدایت شید.

در صفحه جدید محتوای فایل robots.txt رو مشاهده خواهید کرد. در این مرحله تنها کافیه مثل تصویر پایین با وارد کردن URL صفحه مورد نظرتون و انتخاب ربات مربوطه، بر روی دکمه TEST کلیک کنید تا عملکرد دستورات ثبت شده بررسی بشه و نتیجه اون به شما اعلام شه؛ اگه نتیجه تست مثبت باشه دکمه TEST به ALLOWED سبز رنگ تغییر پیدا می‌کنه و اگه مسدود باشه، این دکمه به BLOCK قرمز رنگ تغییر پیدا می‌کنه.