خزنده جدید گوگل برای بهینه سازی عملکرد Googlebot
یک خزنده جدید گوگل برای بهینه‌سازی عملیات، ساده‌سازی وظایف تحقیق و توسعه و کاهش فشار بر Googlebot معرفی شد.
- Google GoogleOther، یک خزنده وب جدید را برای کاهش فشار بر روی Googlebot و بهینه سازی عملیات خزیدن معرفی می کند.
- GoogleOther وظایف غیر ضروری مانند خزیدن تحقیق و توسعه را انجام می دهد و به Googlebot اجازه می دهد تا بر ایجاد فهرست جستجو تمرکز کند.
- GoogleOther زیرساخت را با Googlebot به اشتراک می گذارد و معرفی آن نباید تأثیر قابل توجهی بر وب سایت ها بگذارد.
گوگل اخیراً یک خزنده وب جدید به نام «GoogleOther» را معرفی کرده است که برای کاهش فشار بر Googlebot، خزنده فهرست اصلی جستجوی آن طراحی شده است. خزنده جدید گوگل در نهایت به گوگل کمک می کند تا عملیات خزیدن خود را بهینه و ساده کند.
خزنده های وب، همچنین به عنوان ربات یا عنکبوت شناخته می شوند، به طور خودکار وب سایت ها را کشف و اسکن می کنند.
GoogleOther یک خزنده وب عمومی است که توسط تیم های مختلف محصول در Google برای واکشی محتوای قابل دسترس عموم از وب سایت ها استفاده می شود.
در یک پست لینکدین ، گری ایلیس، تحلیلگر جستجوی گوگل، جزئیات بیشتری را به اشتراک می گذارد.
تقسیم مسئولیت ها بین Googlebot و GoogleOther با خزنده جدید گوگل
هدف اصلی خزنده جدید گوگل به عهده گرفتن وظایف غیر ضروری است که در حال حاضر توسط Googlebot انجام می شود. با انجام این کار، Googlebot اکنون می تواند صرفاً بر روی ایجاد فهرست جستجوی مورد استفاده توسط جستجوی Google تمرکز کند.
در همین حال، GoogleOther مشاغل دیگری مانند خزیدن تحقیق و توسعه (R&D) را که مستقیماً به نمایه سازی جستجو مرتبط نیستند، انجام خواهد داد.
ایلیز در لینکدین بیان می کند:
ما یک خزنده جدید به نام GoogleOther را به لیست خزنده‌های خود اضافه کردیم که در نهایت فشاری را از Googlebot کم می‌کند. این یک تغییر بدون عملیات برای شما است، اما با این وجود به نظر من جالب است.
همانطور که ما نحوه و مواردی را که Googlebot خزیده می کند بهینه می کنیم، یکی از مواردی که می خواستیم اطمینان حاصل کنیم این است که کارهای خزیدن Googlebot فقط به صورت داخلی برای ایجاد فهرستی که توسط جستجو استفاده می شود استفاده می شود. برای این کار ما یک خزنده جدید به نام GoogleOther اضافه کردیم که جایگزین برخی از کارهای دیگر Googlebot مانند خزیدن تحقیق و توسعه خواهد شد تا مقداری ظرفیت خزیدن را برای Googlebot آزاد کند.
GoogleOther زیرساخت مشابه Googlebot را به اشتراک می‌گذارد، به این معنی که دارای محدودیت‌ها و ویژگی‌های یکسانی است، از جمله محدودیت‌های بار میزبان، robots.txt (البته با توکن عامل کاربر متفاوت)، نسخه پروتکل HTTP و اندازه واکشی.
معرفی خزنده جدید گوگل نباید تاثیر قابل توجهی روی وب سایت ها بگذارد، زیرا با استفاده از زیرساخت ها و محدودیت های مشابه Googlebot عمل می کند. با این وجود، این یک پیشرفت قابل توجه در تلاش های مداوم گوگل برای بهینه سازی و ساده سازی فرآیندهای خزیدن وب است.
اگر در مورد GoogleOther نگران هستید، می‌توانید آن را به روش‌های زیر نظارت کنید:
- گزارش‌های سرور را تجزیه و تحلیل کنید : به‌طور منظم گزارش‌های سرور را بررسی کنید تا درخواست‌های GoogleOther را شناسایی کنید. این به شما کمک می کند بفهمید که چقدر وب سایت شما را می خزد و از کدام صفحات بازدید می کند.
- به روز رسانی robots.txt : مطمئن شوید که فایل robots.txt شما به روز شده است تا در صورت لزوم قوانین خاصی را برای GoogleOther لحاظ کند. این به شما کمک می کند دسترسی و رفتار خزیدن آن در وب سایت خود را کنترل کنید.
- نظارت بر آمار خزیدن در Google Search Console : مراقب آمار خزیدن در کنسول جستجوی Google باشید تا هرگونه تغییر در فرکانس خزیدن، بودجه خزیدن یا تعداد صفحات فهرست شده از زمان معرفی GoogleOther را مشاهده کنید.
- عملکرد وب سایت را ردیابی کنید : به طور منظم معیارهای عملکرد وب سایت خود را نظارت کنید، مانند زمان بارگذاری، نرخ پرش و تعامل کاربر، تا هرگونه ارتباط احتمالی با فعالیت های خزیدن GoogleOther را شناسایی کنید. این به شما کمک می کند تشخیص دهید که آیا خزنده جدید باعث ایجاد مشکلات پیش بینی نشده در وب سایت شما می شود.