کرال باجت (crawl budget) چیست؟ + تاثیر در سئو

احتمالا زمانی شروع به مطالعه این مطلب و سرچ کلمه کرال باجت چیست؟ یا بودجه خزش چیست؟ افتاده اید که به چالش ایندکس نشدن مطالب یا دیر ایندکس شدن مبتلا شده اید.

از اواسط سال 1399 شمسی مشکی در بین وب مستر ها و سئو کاران ایجاد شد تحت عنوان ایندکسس نشدن مطالب سایت و قسمتی در سرچ کنسول توجه اکثر صاحبان سایت ها رو به خودش جلب کرد.

کرال باجت سایت را از کجا ببینیم؟

در سرچ کنسول و در قسمت تنظیمات قسمت Crawl stats اگر بر روی open report کلیک کنید نموداری رو مشاهده میکنید این میزان بودجه خزش سایت شما در بازه 90 روزه رو به شما نمایش میده.

به عنوان مثال در تصویر بالا 581 هزار بار در بازه 90 روزه به سایت ما سر زده شده. این بودجه میتونه خرج فایل های طراحی ما مثل HTML ، css js و غیره بشه و یه قسمتی زیادی از این بودجه هم خرج تصاویر سایت ما میشه.

کرال باجت چیست؟

پس اگر دنبال تعریف یک خطی از کرال باجت باشیم بهتره بگیم. میزان بازدید ربات های گوگل از سایت ما در یک بازه مشخص بودجه کرال سایت ماست.

تقسیم بندی های کرال باجت

گوگل این بودجه رو به 4 دسته تقسیم کرده:

By response:

در این قسمت پایخ های دریافتی از سایت شما که به ربات های گوگل ارسال شده رو میتونید ببنید.

کد 200 در کرال باجت:

پاسخ هایی با کد 200 پاسخ های صحیح و درست هستند که در این حالت یعنی صفحات یا تصاویر شما به درستی در دسترسی گوگل بوده است.

کد 500 در کرال باجت:

ارورهایی که با کد 500 شروع میشن همگی به مشکل در اجرای سایت برمیگردن عده این این دست از کد رو کدهای خطای سرور می‌نامند که به جز سرور cdn ها هم یکی از مقصر های این ارور ها خواهند بود.

کد 404

همان دسته خطاهای معروف سری 400 است ربات گوگل در لحظه بررسی سایت شما دسترسی به فایل های مشخص شده نداشته و به همین دلیل این ارور رو دریافت کردید.

ارور های 300 بودجه خزش

در این قسمت لزوما نمیتوان تعبیر به ارور کرد زیار معمولا در دسته بندی های گروه 300 ریدایرکت ها توسط خود کاربر ایجاد میشود اما ممکن است 2 یا چند ریدایرکت برای یک ادرس منجر به ایجاد حلقه های بیهوده کرده باشد.

چند ارور دیگر در این دسته بندی قرار دارد که با توجه به سایت های مختلف دسته بندی های متفاوتی دارند مثل

روش های افزایش کرال باجت

پس ما متوجه شدیم که این بودجه اختصاص داده شده به سایت ما برای نمایش داده شدن نتایج ما، محتوای ما و خدمات ما بسیار مهم است. اما برای افزایش این بودجه خزش چند توضیه از طرف مجله تودی داریم.

1- رفع مشکلات فنی و تکنیکال سایت

یکی از علت های مهم کاهش بودجه خزش سایت مشکلات فنی است در بالا اشاره شد که قسمتی از ارور ها متعلق به هاست و لینک دهی اشتباه است. همچنین سرعت لود کند سایت باعث کم شدن میزان خزش ربات های گوگل میشود و به طبع افزایش سرعت سایت شما منجر به بهبود کرال باجت خواهد شد.. برای حل مشکلات فنی سایت میتونید از پشتیبانی سایت تودی کمک بگیرید.

2- بهبود هاست یا سرور

یکی از بخش های مهم کرال باجت قسمت Host status است در این بخش تاریخچه مراجعه ربات ها و پاسخ های سمت سرور شما قرار دارد.

یکی از بخش هایی که میشه گفت گوگل حساسیت زیادی نسبت بهش داره همین قسمت هاست سایته و معمولا هم خیللی دیر از حافظه اش پاک میشه و مشکلات شما رو فراموش میکنه همیشه در سیل های 2 هفته ای یا یک ماهه این بخش رو چک کنید اگر مرتب دچار مشکل هستید (فارغ از اینکه باید سرعت سایت شما مطلوب باشد) و درصد خطاها بالای 10 درصد و تکرار شونده هست حتما فکری به حال هاست یا سرور خود بکنید.

استفاده از کلودفلر و گزینه همیشه آنلاین این سایت میتونه به این قسمت و کاهش فشار برای هاست های ضعیف کمک کنه.

فایل robot.txt

یکی از مواردی که در بخش Host status اطلاعاتش وجود داره فتچ شده فایل robot.txt سایت هست.

توصیه تودی به شما اینه مشکلات اولیه مثل این فایل، نقشه سایت و مواردی از این دست که باید های سایت شما هستند رو به دقت چک کنید و خیلی ساده ازشون نگذرید. یکبار برای همیشه توسط خودتون یا یک متخصص سئو این موارد رو به به روز و اصلاح کنید تا مشکل مشابه براتون تکرار نشه.

 

لینک سازی داخلی

یکی از بهترین راه ها برای بهینه سازی بودجه خزش داشتن سئو داخلی مناسب سایت است. یک لینک دهی داخلی دقیق، ساده و با انکر تکست های مناسب باعث میشه سایت شما مسیرهای بهتری برای نمایش داشته باشه. همیشه فراموش نکنید که لینک سازی داخلی اندازه بک لینک مهم است.

دریافت بک لینک برای بهبود کرال باجت

اخیرا جان مولر در یکی زا توییت های خود به این مطلب اشاره کرد که برای ایندکس شدن مطالب در نتایج گوگل دریافت لینک از سایر سایت ها مهم است. این موضوع شاید در ظاهر به اهمیت بک لینک در کسب رتبه اشاره نکرده باشد اما به وضوح تاثیر بک لینک در ایندکس شدن را بیان میکند. سرعت ایندکس بالاتر هم برابر است با بودجه خزش بیشتر.

حذف صفحات زامبی و بدون هدف در سایت

این بخش رو با یک مثال براتون توضیح میدیم تصور کنید شما یک فروشگاه اینترنتی لباس زنانه داری و در استراتژی سئو سایت خودتون هدف فروش رو روی دسته بندی محصولات گذاشتید و کلمه کلیدی شما خرید تیشرت زنانه است. آیا در این استراتژی دیده شدن صفحات محصول، صفحات پرداخت و… برای شما اهمیتی دارد؟ شاید نکته مهم در سئو سایت شما با رویکرد بررسی میزان بودجه خزش در این موضوع اهمیت زیادی داشته باشد. بخصوص وقتی سایت شما نو پا و تازه تاسیس است. در نهایت حتی با بهینه ترین حالت برای موبایل، سرعت مناسب سایت، دریافت بک لینک و… شما در نهایت بودجه خزش نا محدودی ندارید. پس بهترین روش استفاده بهینه از این بودجه است.
فراموش نکنید که تنها صفحاتی که برای ارزشمند است را به موتورهای جست و جو نشان دهید.

درپایان چند تا نکته راجب بودجه خزش یا کرال باجت رو تذکر بدیم

1- حتما در مسیر دهی سایت دقت کنید درست است که هر روز شاهد پیشرفت گوگل در شناسایی لینک ها ،پارامتر ها و سایر موارد هستیم ولی قطعا الویت همیشه با بهینه ترین ادرس ها خواهد بود.

2- اگر تعداد زیادی ریدایرکت یا تغییر مسیر داشتید ممکنه در کرا باجت اسیب ببینید اگر ضرورت نیست بهتره این موارد رو به ارامی انجام بدین

3- تولید محتوای منظم با لینک دهی بهینه قطعا بهترین روش برای توسعه سایت شماست. خیلی در جست و جوی روش های میان بر نباشید.

4-سایت مپ رو در بهینه ترین حالت ممکنه قرار بدین توجه کنید شما بودجه محدودی دارید حال تصمیم با شماست که چه صفحاتی ارزشمند تر هستند.

5- از طریق این لینک در سرچ کنسول میتونید کرال باجت رو محدود کنید (قطعا این کار منطقی نیست مگر اینکه در مقطعی مشکل در سرور داشته باشید) افزایش این Crawl rate ممکن است در افزایش میزان بودجه شما تاثیر گذار باشد نگارنده از این ابزار استفاده کرده و به همراه رعایت تمام ماورد بالا نتیجه مثبت گرفته است. هرچند ممکن است از نظر عملی و تجربه سایر همکاران این روش بی فایده باشد.

6- به محتوای یتیم خود رسیدگی کنید.

سوالات متداول کرال باجت