پیشنهاد گوگل درباره نحوه مسدود کردن ربات ها و افزایش عملکرد سایت 

مارتین اسپلیت گوگل خبری به اشتراک گذاشت که چگونه سئوکاران و صاحبان سایت می توانند اقدام به مسدود کردن ربات ها کنند و عملکرد سایت را بهبود بخشند.

بسیاری از سئو کارانی که بررسی سایت را انجام می دهند معمولاً امنیت و ترافیک ربات را به عنوان بخشی از بررسی خود نادیده می گیرند زیرا بازاریابان دیجیتال به طور گسترده درک نمی کنند که رویدادهای امنیتی بر عملکرد سایت تأثیر می گذارد و می تواند دلیل خزیدن ناکافی سایت را توضیح دهد. هنگامی که یک وضعیت امنیتی ضعیف به عملکرد ضعیف سایت کمک می کند، بهبود موارد حیاتی وب اصلی هیچ کمکی به بهبود عملکرد سایت نمی کند.

هر وب‌سایتی مورد حمله قرار می‌گیرد و اثرات خزیدن بیش از حد می‌تواند کد خطای 500 server error را ایجاد کند، که نشان‌دهنده ناتوانی در سرویس‌دهی صفحات وب و مانع از توانایی Google در خزیدن صفحات وب است.

از طرف دیگر، CDN ها اغلب دارای ویژگی هایی برای شناسایی ترافیک ربات و مسدود کردن آن هستند و طبق تعریف، ترافیک را از سرور شما می گیرند و آن را به خوبی توزیع می کنند، بنابراین این یک پیروزی است. اکثر CDN ها ربات های موتور جستجوی قانونی را می شناسند و آنها را مسدود نمی کنند، اما اگر این یک نگرانی بزرگ برای شما است، قبل از شروع استفاده از آنها از آنها سوال کنید.

اینها سه دلیل هستند که چرا اطلاع رسانی به ارائه دهندگان زیرساخت روشی مناسب برای متوقف کردن ربات هایی است که بر عملکرد سایت تأثیر می گذارند. در واقع، استفاده بیهوده و ناکارآمد از زمان است.

استفاده از فایروال برنامه کاربردی وب (WAF) ایده خوبی است و این عملکردی است که مارتین اسپلیت هنگام استفاده از CDN (شبکه تحویل محتوا) پیشنهاد می کند.  CDN همچنین دارای یک WAF (فایروال برنامه وب) است که به طور خودکار ربات های مخرب را مسدود می کند. پیشنهاد مارتین برای استفاده از CDN قطعا گزینه خوبی است، به خصوص به این دلیل که مزیت اضافی بهبود عملکرد سایت دارد.