سئو

Robots.txt چیست؟

ربات ها توسط موتورهای جست و جو کننده برای دسته بندی کردن وب سایت ها مورد استفاده قرار می گیرد و فایل Robots.txt که معنی آن استاندارد استثنا کننده ربات ها می باشد شناخته شده به پروتکل استثنا کردن ربات ها نیز می باشد. و این فایل به عنوان یک معیار برای ارتباط با ربات های وب و خزنده های وب است. وب سایت ها با استفاده از این استاندارد موجب می شوند تا به  web robot  ها آگاهی داده که کدام قسمت از صفحات سایت نباید مورد پیمایش توسط کاربر قرار بگیرد. 

فایل Robots.txt چیست؟

یکی از اصلی ترین موارد در سئو تکنیکال  فایل Robots.txt می باشد که در صورت استفاده از آن به راحتی  نرخ بودجه سایت را می توان تنظیم نمود. و همچنین جهت بهینه سازی ایندکس صفحه های وب سایت خود می توانید از این فایل استفاده کنید. دستورات این فایل به عنوان دستورالعمل می باشد یعنی سایت شما ممکن است به وسیله ی ربات های جست و جو ایندکس و خزش شوند. در صورت استفاده از فایل Robots.txt میتوان باعث جلوگیری از ایندکس شدن صفحه هایی مانند تگ ها و دسته بندی ها شد. بعضی از صفحه هایی که باید از ایندکس شدن آن به وسیله Robots.txt جلوگیری کرد به شرح زیر می باشد:

  • صفحه های چت
  • فیلتر کردن برخی صفحات که شامل رنگ و قیمت و غیره می باشد
  • صفحه هایی که در خود سایت به وسیله سرچ کردن ایجاد می شود
  • پنل سایت و همه ی صفحات ادمین
  • صفحه خصوصی کاربران سایت
  • فایل های قالبی که توسط گوگل نیازی به دیده شدن ندارند
  • صفحه هایی که دارای محتواهای تکراری می باشند
  • برچسب ها و تگ هایی که موجب می شود محتواهای تکراری در سایت ایجاد شوند

این فایل در وب موجود است و برای این که از ایندکس شدن صفحه بتوانید جلوگیری کنید می توانید با تگ no index نیز این کار را بکنید ولی این تگ زمانی که شما بخواهید دسته ای صفحات را ایندکس نمایید برای شما جوابگو نخواهد بود و باید از این فایل برای دسته ای از صفحات استفاده نمایید. و شایان به ذکر می باشد که در صورت استفاده نادرست از این فایل موجب ایندکس شدن اشتباه صفحات می شود. برای همین خاطر در صورتی که شما سئو کمپین جدیدی را شروع می کنید فایل Robots.txt را ابزار های نوشتاری موجود در ربات های گوگل بررسی کنید.

نحوه استفاده از Robots.txt

این فایل ها را در بسیاری از جهات می توان استفاده کرد چون فایل Robots.txt دارای انعطاف پذیری بالایی می باشد و از فواید این فایل می توان به این مورد اشاره کرد که متخصصان سئو می توانند به طور همزمان چند صفحه را بدون این که به کدهای دسترسی نیازی داشته باشند از ایندکس شدن آن ها جلوگیری نمایند. برای جلوگیری از ایندکس شدن می توانید بعد از درست کردن صفحه متنی از دستورات زیر استفاده نمایید. دو دستور اصلی که در فایل Robots.txt استفاده می شود به صورت زیر می باشد:

نحوه استفاده از Robots.txt
تصویر1-نحوه استفاده از Robots.txt

 

  • User-agent:

این عبارت نمایانگر ربات خزنده ای در وب می باشد که شما آن را هدف قرار گرفته اید و دستورات را به آن می دهید. در اول این فایل باید عبارت User-agent را هم در قبل از نوشتن دستورات نیز بنویسید. بعد از این که این عبارت را با قرار دادن دو نقطه در جلوی آن نوشتید رباتی که قصد دستور در آن را دارید بعد دو نقطه نام آن را نیز بنویسید. برای هدف قرار دادن همه ی ربات های خزنده وب می توانید با استفاده از * در جلوی عبارت, این دستور برای تمامی آن ها اعمال کنید.

  • دستور allow-disallow:

بعد از انتخاب ربات, دستورهایی که لازم می باشد به آن ها بدهید, آن دستورات تعیین می کند که کدام صفحه ها می تواند ایندکس شود یا نه. برای این که این اجازه را به ربات بدهید از دستور allow و برای این که از خزش جلوگیری کنید عبارت disallow را می توانید استفاده کنید. برای انتخاب صفحاتی که قصد دارید ایندکس شود  می توانید با استفاده از / صفحه ی مورد نظر را وارد کنید برای مثال : /disallow:/admin

برای اعمال این فایل همه ی موارد را مطابق دستورهایی که در بالا به آن ها اشاره شد در یک فایل متنی ذخیره کرده و در سایت خود آپلود نمایید.

5/5 - (1 امتیاز)
مشاهده بیشتر

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.

77 − 74 =

دکمه بازگشت به بالا
بستن