کرال مجدد، خبری جذاب!
فرض کن سایتت یک کتاب هست و گوگل یک کتابدار دارد که مرتب میاد صفحه های جدید را ببیند. گاهی ممکنه به هر دلیلی این کتابدار مدتی سر نزند. (مثلا سایت کند شده، لینک ها سخت پیدا میشن، خطاهای زیاد میبینی، یا سایت رو جا به جا/بازطراحی کردی)
«دسترسی مجدد ربات ها» یعنی طوری شرایط رو فراهم کنی که گوگل دوباره به سایتت سر بزنه تا صفحاتت رو دوباره بررسی کنه، اون رو به روز بدونه و اگر تغییری کرد، رتبه ها هم دقیقتر آپدیت بشوند.
مواردی که باعث میشه این ربات ها دوباره بیان و به سایت سر بزنن:
- سایت باید همیشه و در هر شرایطی قابل دسترسی باشه (عدم خطای ۴۰۴ و ۵۰۰ و…)
- سایت باید سرعت مناسب داشته باشه
- نقشه سایت SiteMap درست و دردسترس باشه
- صفحات مهم لینک داخلی داشته باشن
- تغییراتی که با هر آپدیت میدی، هم واقعی و هم جدید باشن (نه فقط تغییرات ریز یا تکراری)
حتی گاهی با ایندکس نادرست یا بلاک شدن توسط robots.txt یا خطاهای سرور، گوگل عملا «در رو بسته» میبینه و کمتر به سایتت سر میزنه و ممکنه اصلا دیگه برنگرده!
کرال مجدد سایت های برروی سرورهای تلاش نت
در سرورهای تلاش نت اگر سایت به شکل صحیح پیاده سازی شده باشد یعنی:
- کدها روی هاست سالم و پایدار اجرا شوند!
- خطای ۴۰۴ و ۵۰۰ به صورت مزمن رخ ندهد!
- ریدایرکت های اشتباه یا زنجیره ای ایجاد نشود!
- دسترسی به URLها برای ربات ها محدود نشده باشد!
کرال گوگل به طور طبیعی روان تر انجام می شود؛ چون ربات ها می توانند بدون وقفه صفحات را دریافت کنند، با سرعت مناسب به پاسخ ۲xx برسند و ساختار سایت (لینک دهی داخلی و نقشه سایت) را بهتر کشف کنند. به همین دلیل، درست بودن پیاده سازی سایت روی سرورهای تلاش نت یعنی کاهش ریسک افت کرال ناشی از کندی، خطای سرور یا بلاک شدن و در نتیجه گوگل دفعات بازدید و کشف صفحات را دقیق تر و قابل اعتمادتر انجام می دهد.
کرال مجدد (re-crawling) به چرخه های کشف و بررسی گوگل برمیگرده و تحت تأثیر سلامت کرال (crawl health)، بودجه کرال (crawl budget)، سیگنال های تغییر (change signals) و وضعیت ایندکس قرار میگیره.
اگر گوگل قبلا به دلیل:
- خطاهای سرور (مثل 5xx)
- ریدایرکت های زنجیره ای یا نامطمئن انجام شده
- و یا کندی (latency/TTFB بالا)
کرال رو کاهش داده باشد، با بهبود این عوامل، نرخ کرال می تواند دوباره بالاتر برود.
مهمه که تغییرات واقعا قابل تشخیص باشند (مثلا محتوا، ساختار URLها یا اسناد ساختاریافته/متادیتا) و نه فقط تغییرات ظاهری بی تاثیر
در عمل، برای «قابل کرال شدن دوباره سایت» چند محور کلیدی داریم:
- کاهش خطاها: پایش گزارشهای Coverage و Crawl Errors در Search Console؛ رسیدن به وضعیت پایدار کدهای موفق (2xx) برای صفحات مهم
- هم راستایی با robots/Canonical: اطمینان از عدم بلاک شدن توسط robots.txt یا تگ های noindex/Canonical های اشتباه؛ چون ممکنه گوگل کرال کند ولی ایندکس نکند یا برعکس
- سیگنال های کشف گوگل: مثل لینک سازی داخلی درست، نقشه سایت XML به روز
- کنترل بودجه کرال: جلوگیری از کرال بیهوده توسط URLهای پارامتردار غیرضروری و مدیریت ریدایرکت ها/صفحات تکراری
نکته مهم اینجاست!
گوگل همیشه بلافاصله برنمی گرده؛ اما وقتی شرایط کرال سایت بهتر بشه، معمولا در بازه ای که گوگل برای سایت شما تعیین می کند (وابسته به مقیاس و تاریخچه) کرال مجدد افزایش پیدا می کند. علاوه بر این، درخواست Fetch as Google/URL Inspection در Search Console بیشتر نقش “تسریع سیگنال” را دارد تا تضمین قطعی؛ ضمانت قطعی فقط از مسیر رفع مشکلات فنی و ارائه سیگنال تغییر واقعی می آید.