چگونه تعامل گوگل بات با وب سایت خود را کنترل کنیم

تیم روابط جستجوی Google در آخرین پادکست «Search Off The Record» اطلاعاتی در مورد کنترل تعاملات گوگل بات با صفحات وب ارائه می دهد.

شما نمی توانید گوگل بات را از خزیدن بخش های خاصی از صفحه HTML مسدود کنید.
استفاده از ویژگی data-nosnippet HTML یا iframe می‌تواند نحوه نمایش محتوا در قطعه‌های جستجو را کنترل کند.
یک قانون غیر مجاز در robots.txt یا قوانین فایروال با استفاده از آدرس های IP Googlebot می تواند Googlebot را از یک سایت مسدود کند.

کنترل تعامل گوگل بات با وب سایت

Google’s Search Relations به چندین سوال در مورد نمایه سازی صفحات وب در آخرین قسمت پادکست “Search Off The Record” پاسخ داد.

موضوعات مورد بحث این بود که چگونه گوگل بات را از خزیدن در بخش‌های خاصی از صفحه مسدود کنیم و چگونه از دسترسی کامل Googlebot به یک سایت جلوگیری کنیم. جان مولر و گری ایلیس از گوگل به سوالات بررسی شده در این مقاله پاسخ دادند.

مولر وقتی از او پرسیده شد که چگونه می‌توان Googlebot را از خزیدن در بخش‌های خاص صفحه وب، مانند مناطق «هم‌چنین خرید» در صفحات محصول، جلوگیری کرد، گفت غیرممکن است. مولر گفت:

نسخه کوتاه این است که نمی‌توانید خزیدن یک بخش خاص در یک صفحه HTML را مسدود کنید.

وی در ادامه دو راهبرد بالقوه برای مقابله با این موضوع ارائه کرد که هیچکدام راه حل ایده آل نیستند. مولر استفاده از ویژگی HTML data-nosnippet را برای جلوگیری از ظاهر شدن متن در یک قطعه جستجو پیشنهاد کرد.

از طرف دیگر، می توانید از iframe یا جاوا اسکریپت با منبع مسدود شده توسط robots.txt استفاده کنید، اگرچه او هشدار داد که این ایده خوبی نیست. مولر اظهار داشت:

استفاده از فایل iframe روباتی یا جاوا اسکریپت می‌تواند مشکلاتی در خزیدن و نمایه‌سازی ایجاد کند که تشخیص و رفع آن‌ها سخت است.

او اطمینان داد که اگر محتوای مورد نظر در چندین صفحه دوباره استفاده شود، مشکلی نیست که نیاز به اصلاح داشته باشد.

در پاسخ به سوالی در مورد جلوگیری از دسترسی Googlebot به هر قسمت از سایت، Illyes راه حلی را ارائه کرد که به راحتی قابل پیگیری است.

ایلیز توضیح داد:

ساده‌ترین راه robots.txt است: اگر یک Disallow: / برای عامل کاربر Googlebot اضافه کنید، Googlebot تا زمانی که این قانون را در آنجا نگه دارید، سایت شما را تنها می‌گذارد. اگر می خواهید حتی دسترسی به شبکه را مسدود کنید، باید قوانین فایروال ایجاد کنید که محدوده IP ما را در یک قانون انکار بارگذاری کند.

اگرچه جلوگیری از دسترسی Googlebot به بخش‌های خاصی از یک صفحه HTML غیرممکن است، روش‌هایی مانند استفاده از ویژگی data-nosnippet می‌تواند کنترل را ارائه دهد. هنگامی که در نظر دارید Googlebot را به طور کامل از سایت خود مسدود کنید، یک قانون غیرمجاز ساده در فایل robots.txt شما این کار را انجام می دهد. با این حال، اقدامات شدیدتر مانند ایجاد قوانین خاص فایروال نیز در دسترس هستند.