بودجه خزش یا کرول باجت چیست؟

کرول باجت Crawl Budget تعداد صفحاتی است که بات‌های کرولر گوگل در یک بازه زمانی مشخص آن‌ها را کرول می‌کنند.

اهمیت کرول باجت برای موتورهای جستجو

همانطور که قبلا نیز اشاره کردیم موتورهای جستجو برای کرول هر صفحه از صفحات سایت از منابع سرورهای خود استفاده می‌کنند که این منابع نامحدود نیستند. بنابراین موتورهای جستجو سعی می‌کنند تا این منابع را به صورت بهینه استفاده کنند و در عین حال بهترین صفحات را بیابند و در نتایج جستجو، صفحات مناسبی به کاربران خود نمایش دهند.

اهمیت کرول باجت در سئو سایت

یکی از مهم‌ترین موارد در سئو سایت، تولید محتوا جدید یا بروزرسانی محتواهای قبلی است. در صورتی که کرول باجت سایت شما پایین باشد، گوگل و سایر موتورهای جستجو توانایی دیدن سایت شما را نخواهند داشت و این مسئله باعث می‌شود تا شما در سئو سایت خود و پیشرفت رتبه‌های آن دچار مشکل شوید.
برای مثال وقتی شما ۵ هزار صفحه دارید اما با انجام دادن کارهای اشتباه یا ساخت صفحات اسپم این کرول باجت را هدر می‌دهید ممکن است گوگل قبل از دیدن تغییرات صفحات مهم شما به سقف محدودیت روزانه کرول باجت شما برسد و از سایت خارج شود.

این زمانی برای سئو سایت شما مشکل ساز خواهد شد که برای سر زدن موتورهای جستجو به یک صفحه مهم در سایت شما باید بیش از چند روز تا یک ماه منتظر بمانید.

برای مثال ما سایت‌هایی را می‌بینیم که یک محتوا را تولید کرده‌اند اما هنوز بعد از گذشت چند ماه در نتایج جستجو دیده نمی‌شود چون محدودیت کرول باجت باعث شده است تا آن صفحه توسط موتورهای جستجو دیده نشود.

موارد تاثیرگذار در بهبود بودجه خزش

کارشناس سئو یک وب سایت می‌تواند با انجام اقداماتی باعث افزایش کرول باجت و مصرف بهینه آن توسط موتورهای جستجو شود تا تغییرات مربوط به محتواهای مهم‌تر سریع‌تر توسط موتورهای جستجو دیده شود و در نتایج جستجو نمایان شود.

استفاده از هاست و سرور با آپ تایم بالا

یکی  دیگر از مسائلی که روی بودجه خزش تاثیرگذار است آپ تایم سروری است که سایت شما روی آن قرار دارد، وقتی آپ تایم پایین باشد و موتورهای جستجو به دفعات نتوانند به سمت سایت شما درخواست ارسال کنند، سعی می‌کنند برای کاهش هزینه‌ها بودجه خزش شما را کاهش دهند. تصویر زیر مربوط به کرول باجت سایتی است که به خاطر آپ تایم پایین کرول باجت خود را از دست داده است.

افزایش سرعت سایت

مهم‌ترین مسئله در بهبود میزان کرول باجت افزایش سرعت سایت است. افزایش سرعت سایت به معنی استفاده از کد، فایل و دیتاهای کم حجم‌تر است. دیتا کم حجم نیز یعنی موتورهای جستجو برای بررسی هر صفحه نیاز به منابع کمتری دارند و با منابع یکسان می‌توانند تعداد بیشتری از صفحات را در یک روز کرول کنند.

لینک سازی داخلی اصولی

لینک و بک لینک مشخص کننده این هستند که کدام یک از صفحات سایت شما اهمیت بیشتری برای کرول و ایندکس صفحات دارند. وقتی یک صفحه در سایت از همه صفحات سایت لینک داخلی و خارجی دارد نشان‌دهنده این است که آن صفحه دارای محتوای مفید و مهمی است که ممکن است برای کابران موتورهای جستجو نیز مفید باشد، به همین خاطر موتورهای جستجو دفعات بیش‌تری به آن صفحات مراجعه می‌کنند.

به همین خاطر سعی کنید در کل صفحه‌ای که به هیچ صفحه ای لینک نداده است یا از هیچ صفحه ای به آن لینک داده نشده است ایجاد نکنید، که در اصطلاح به این صفحات صفحات یتیم یا Orphan Pages گفته می‌شود.

حذف صفحات تکراری

وقتی شما به عنوان یک انسان وارد سایتی می‌شوید که تعداد زیادی محتوای مشابه دارد، احتمالا از هدر رفتن وقت و انرژی خود صرف نظر خواهید کرد، موتورهای جستجو نیز همین کار را خواهند کرد و سعی خواهند کرد که دفعات کمتری به سایت های دارای مطالب کپی سر بزنند.

حذف لینک های شکسته

لینک های شکسته نیز یکی از مواردی است که باعث هدر رفت کرول باجت سایت می‌شود. به این صورت که وقتی یک وب سایت حجم لینک هایی که به صفحات ۴۰۴ و ۴۱۰ می‌دهد بیش‌تر باشد موتورهای جستجو سعی می‌کنند منابع کمتری را به سایت اختصاص دهند تا از هدر رفت هرچه بیشتر منابع خود جلوگیری کنند.

ویرایش لینک های دارای ریدایرکت

موتورهای جستجو برای دنبال کردن لینک‌های ریدایرکت شده نیز منابعی را مصرف می‌کنند و وقتی یک سایت دارای لینک های داخلی و خارجی ریدایرکت شده زیادی باشد باعث هدر رفت کرول باجت می‌شود و موتورهای جستجو سعی می‌کنند با کم کردن کرول باجت از هدر رفتن هرچه بیشتر منابع جلوگیری کنند.