جستجوی Google تحت تأثیر حملات گسترده هرزنامه قرار گرفت

نتایج جستجوی Google در چند روز گذشته مورد حمله هرزنامه قرار گرفته است، چیزی که می توان آن را کاملاً خارج از کنترل توصیف کرد. بسیاری از دامنه ها هر کدام برای صدها هزار کلمه کلیدی رتبه بندی می شوند، که نشان می دهد مقیاس این حمله می تواند به راحتی به میلیون ها عبارت کلیدی برسد.

با کمال تعجب، بسیاری از دامنه ها فقط در 24-48 ساعت گذشته ثبت شده اند.

این موضوع اخیراً از طریق مجموعه ای از پست های بیل هارتزر (LinkedIn پروفایل) جایی که او نمودار پیوند ایجاد شده توسط ابزار بک لینک Majestic را منتشر کرد که شبکه های پیوند چندین سایت هرزنامه را در معرض دید قرار داد.

گراف پیوندی که او ارسال کرد تعداد زیادی از وب سایت ها را نشان می دهد که به طور محکم با یکدیگر پیوند دارند، که الگوی نسبتاً معمولی برای شبکه های پیوند هرزنامه است.

صفحه نمایش شبکه بهم پیوسته

من و بیل در مورد سایت‌های هرزنامه از طریق پیام‌رسان فیس‌بوک صحبت کردیم و هر دو موافق بودیم که اگرچه ارسال‌کنندگان هرزنامه تلاش زیادی برای ایجاد یک شبکه بک لینک انجام دادند، اما پیوندها در واقع مسئول رتبه‌بندی بالا نیستند.

بیل گفت:

“به نظر من این تا حدودی تقصیر گوگل است که به نظر می رسد بیشتر بر محتوا تاکید می کند تا پیوندها.”

من 100% موافقم که گوگل بیشتر بر محتوا تاکید می کند تا پیوندها. اما فکر من این است که پیوندهای هرزنامه وجود دارد تا Googlebot بتواند صفحات هرزنامه را کشف کند و آنها را فهرست کند، حتی اگر فقط برای یک یا دو روز باشد.

هنگامی که صفحات هرزنامه ایندکس می‌شوند، احتمالاً از دو حفره در الگوریتم‌های Google استفاده می‌کنند که در ادامه در مورد آن صحبت خواهم کرد.

هرزنامه خارج از کنترل در Google SERPs

چندین سایت برای عبارات طولانی رتبه بندی می شوند که رتبه بندی آنها تا حدودی آسان است، و همچنین عباراتی با مؤلفه جستجوی محلی، که رتبه بندی آنها نیز آسان است.

عبارات دم بلند عبارت‌های کلیدواژه‌ای هستند که توسط افراد استفاده می‌شوند اما بسیار نادر هستند. Longtail مفهومی است که تقریباً بیست سال است که وجود داشته و متعاقباً توسط کتابی به نام The Long Tail در سال 2006 رایج شد: چرا آینده کسب و کار فروش کمتری دارد.

ارسال‌کنندگان هرزنامه می‌توانند برای این عباراتی که به ندرت جستجو می‌شوند رتبه‌بندی کنند، زیرا رقابت کمی برای آن عبارات وجود دارد که رتبه‌بندی را آسان می‌کند.

بنابراین، اگر یک هرزنامه‌نویس میلیون‌ها صفحه عبارات طولانی ایجاد کند، آن صفحات می‌توانند هر روز برای صدها هزار کلمه کلیدی در مدت زمان کوتاهی رتبه‌بندی شوند.

شرکت‌هایی مانند آمازون از اصل دم بلند برای فروش صدها هزار محصول جداگانه در روز استفاده می‌کنند که با فروش صدها هزار بار در روز یک محصول متفاوت است.

این همان چیزی است که ارسال‌کنندگان هرزنامه از آن سوء استفاده می‌کنند، سهولت رتبه‌بندی عبارات طولانی.

دومین چیزی که هرزنامه‌ها از آن سوء استفاده می‌کنند، حفره‌ای است که در جستجوی محلی وجود دارد.

الگوریتم جستجوی محلی با الگوریتم رتبه بندی کلمات کلیدی غیرمحلی یکسان نیست.

نمونه‌هایی که آشکار شده‌اند، انواعی از Craigslist و کلمات کلیدی مرتبط هستند.

نمونه‌هایی عبارت‌اند از عباراتی مانند قطعات خودرو Craigslist، اتاق‌های کریگ‌لیست برای اجاره، Craigslist برای فروش توسط مالک و هزاران کلمه کلیدی دیگر، بیشتر که از کلمه Craigslist استفاده نمی کنند.

مقیاس هرزنامه بسیار زیاد است و بسیار فراتر از کلمات کلیدی با کلمه “Craigslist” در آن است.

صفحه هرزنامه چگونه است

نگاهی به ظاهر صفحه هرزنامه با بازدید از صفحات با مرورگر غیرممکن است.

من سعی کردم کد منبع سایت‌هایی را که در گوگل رتبه‌بندی می‌شوند ببینم، اما همه سایت‌های هرزنامه به طور خودکار به دامنه دیگری هدایت می‌شوند.

در مرحله بعد URL هرزنامه را در جستجوگر پیوند W3C برای بازدید از وب سایت وارد کردم اما ربات W3C نیز نتوانست سایت را ببیند.

بنابراین من عامل کاربر مرورگرم را تغییر دادم تا خود را به عنوان Googlebot معرفی کنم اما سایت هرزنامه همچنان مرا هدایت کرد.

این نشان می‌دهد که سایت بررسی نمی‌کند که آیا عامل کاربر Googlebot است یا خیر.

سایت هرزنامه در حال بررسی آدرس های IP Googlebot بود. اگر آدرس IP بازدیدکننده به عنوان متعلق به Google مطابقت داشت، صفحه هرزنامه محتوا را به Googlebot نمایش می‌دهد.

همه بازدیدکنندگان دیگر به دامنه‌های دیگری که محتوای ناقص را نمایش می‌دهند هدایت شدند.

برای دیدن HTML وب سایت، مجبور شدم با یک آدرس IP Google از آن بازدید کنم. بنابراین من از آزمایش‌کننده نتایج غنی Google برای بازدید از سایت هرزنامه و ضبط HTML صفحه استفاده کردم.

من به بیل هارتزر نشان دادم که چگونه HTML را با استفاده از تست کننده Rich Results استخراج کند و او بلافاصله در مورد آن توییت کرد، lol. دنگ!

Rich Results Tester گزینه ای برای نمایش HTML یک صفحه وب دارد. بنابراین HTML را کپی کرد، آن را در یک فایل متنی جایگذاری کرد و سپس آن را به عنوان یک فایل HTML ذخیره کرد.

نمایش HTML ارائه شده توسط Rich Results Tool

در مرحله بعد فایل HTML را برای حذف هر جاوا اسکریپت ویرایش کردم و سپس فایل را دوباره ذخیره کردم.

اکنون توانستم ببینم صفحه وب برای Google چگونه است:

عکس صفحه وب هرزنامه

رتبه یک دامنه برای بیش از 300000 کلمه کلیدی

بیل صفحه‌گسترده‌ای حاوی فهرستی از عبارات کلیدی را برای من فرستاد که فقط یکی از سایت‌های هرزنامه رتبه‌بندی شده است. یک سایت هرزنامه، فقط یکی از آنها، برای بیش از 300000 عبارت کلیدی رتبه بندی شده است.

نمایش اسکرین شات کلمات کلیدی برای یک دامنه

عبارات کلیدی Craigslist زیادی وجود داشت اما عبارات طولانی دیگری نیز وجود داشت که بسیاری از آنها حاوی یک عنصر جستجوی محلی بودند. همانطور که اشاره کردم، رتبه‌بندی برای عبارات طولانی، رتبه‌بندی برای عبارات جستجوی محلی و ترکیب این دو نوع عبارت آسان است و رتبه‌بندی برای این عبارات کلیدی واقعاً آسان است.

چرا این تکنیک هرزنامه کار می کند؟

جستجوی محلی از الگوریتم متفاوتی نسبت به الگوریتم غیر محلی استفاده می کند. به عنوان مثال، یک سایت محلی، به طور کلی، برای رتبه بندی یک پرس و جو نیازی به لینک های زیادی ندارد. صفحات فقط به انواع کلمات کلیدی مناسب نیاز دارند تا یک الگوریتم جستجوی محلی را راه اندازی کنند و آن را برای یک منطقه جغرافیایی رتبه بندی کنند.

بنابراین، اگر «قطعات خودکار Craigslist» را جستجو کنید، الگوریتم جستجوی محلی راه‌اندازی می‌شود و به دلیل طولانی بودن آن، رتبه‌بندی آن زیاد طول نمی‌کشد.

این یک مشکل مداوم برای سال‌هاست. چندین سال پیش یک وب‌سایت توانست رتبه‌بندی «Rhinoplasty Plano, Texas» را با سایتی که حاوی مطالب لاتین رومی قدیمی و عناوین به زبان انگلیسی بود، کسب کند. رینوپلاستی یک جستجوی محلی است و پلانو، تگزاس یک شهر نسبتا کوچک است. رتبه بندی آن عبارت کلیدی جراحی بینی به قدری آسان بود که وب سایت لاتین زبان توانست به راحتی برای آن رتبه بندی کند.

Google حداقل از 19 دسامبر در مورد این مشکل هرزنامه اطلاع داشته است، همانطور که در توییتی توسط دنی سالیوان تایید شده است.

بله، من قبلاً آن را به تیم جستجو داده‌ام. اینم یه نگاه و در حال بررسی است. pic.twitter.com/vJH3EisnXD

— Google SearchLiaison (@searchliaison) 2023 دسامبر، 19 دسامبر

دیدن اینکه آیا گوگل بالاخره پس از این مدت زمان راهی برای مبارزه با این نوع هرزنامه ها پیدا می کند، جالب خواهد بود.