در پی قطع شدن اینترنت بینالملل در ایران، رباتهای گوگل (Googlebot) در بازهای از زمان نتوانستند به بسیاری از سایتهای میزبانیشده داخل کشور دسترسی پیدا کنند. این موضوع باعث شد در برخی سایتها خطاهای Crawl افزایش پیدا کند و بخشی از URLها از نتایج جستوجو خارج یا دچار دیایندکس شوند. حالا با وصل شدن مجدد اینترنت، وبمسترها باید وضعیت ایندکس، خطاهای سرچ کنسول، دسترسی سرور برای رباتهای گوگل و فایل Sitemap را بررسی کنند تا فرآیند Crawl دوباره به حالت عادی برگردد. همچنین درخواست ایندکس مجدد صفحات مهم و انتشار محتوای تازه میتواند به تسریع بازگشت صفحات به نتایج جستوجو کمک کند.
چطور سایتمان را دوباره به گوگل برگردانیم؟
قطع شدن اینترنت بینالملل در ایران باعث شد دسترسی رباتهای گوگل به بخش زیادی از سایتهای داخلی برای مدتی مختل شود. در نتیجه، برخی صفحات Crawl نشدند و در تعدادی از سایتها افت ایندکس یا حتی خروج بخشی از URLها از نتایج جستوجو دیده شد. حالا با وصل شدن دوباره اینترنت، مهمترین کار این است که وضعیت سایت سریع و اصولی به حالت عادی در گوگل برگردد.
1. بررسی وضعیت ایندکس در سرچ کنسول
اولین قدم ورود به Google Search Console و بررسی بخش Pages و Crawl Stats است. اگر خطاهایی مثل Server error ،Timeout یا Crawl anomaly دیده میشود، احتمالاً مربوط به دوره قطعی اینترنت است و باید برای رفع آنها برنامهریزی شود.
2. بررسی دسترسی گوگلبات به سایت
حتی اگر سایت برای کاربران داخلی باز میشود، باید مطمئن شوید گوگلبات هم بدون مشکل به سایت دسترسی دارد. کندی سرور، مشکل DNS یا اختلال در پاسخدهی از خارج کشور میتواند باعث شود صفحات بهدرستی Crawl نشوند.
3. بررسی و بهروزرسانی Sitemap
در این مرحله باید مطمئن شوید فایل sitemap.xml در دسترس است و آخرین تغییرات سایت داخل آن قرار دارد. سپس آن را دوباره در سرچ کنسول ثبت کنید تا گوگل سریعتر ساختار جدید سایت را شناسایی کند.
4. درخواست ایندکس برای صفحات مهم
برای صفحات کلیدی مثل صفحه اصلی، دستهبندیها، مقالات مهم و صفحات خدمات، بهتر است از ابزار URL Inspection استفاده کرده و گزینه Request Indexing را بزنید تا فرآیند بازگشت سریعتر انجام شود.
5. بررسی فایل robots.txt
گاهی تنظیمات اشتباه یا تغییرات موقت باعث میشود دسترسی رباتهای گوگل محدود شود. بررسی کنید که هیچ بخش مهمی از سایت در robots.txt مسدود نشده باشد و فایل بهدرستی در دسترس باشد.
6. بررسی خطاهای سرور
خطاهای 5xx، 502، 503 یا Timeout در این مرحله بسیار مهم هستند. اگر گوگل چند بار پشت سر هم با این خطاها مواجه شود، ممکن است نرخ Crawl را کاهش دهد یا صفحات را موقتاً از ایندکس خارج کند.
7. انتشار محتوای جدید
برای فعال شدن دوباره Crawl Rate، انتشار محتوای جدید میتواند سیگنال مثبتی برای گوگل باشد. وقتی سایت دوباره فعال دیده شود، رباتها سریعتر به آن سر میزنند و ایندکس بهتر انجام میشود.
8. صبر برای بازگشت کامل
وضعیت بازگشت کامل ایندکس و رتبهها فوری اتفاق نمیافتد. بسته به میزان آسیب، ممکن است چند روز تا چند هفته طول بکشد تا وضعیت Crawl و Index به حالت طبیعی برگردد.