وقتی گوگل هم با سایت‌های ایرانی قهر می‌کند: سقوط آرام وب فارسی در تاریکی اینترنت!

آسیانیوز ایران؛ سرویس علم و تکنولوژی:

وقتی اینترنت دچار اختلال گسترده می‌شود، فقط مردم از جهان جدا نمی‌شوند؛ سایت‌های ایرانی هم آرام‌آرام از چشم گوگل می‌افتند. گوگل برای اینکه صفحات سایت‌ها را در نتایج جست‌وجو نشان دهد، از ربات‌هایی به نام «گوگل‌بات» استفاده می‌کند. این ربات‌ها مدام سایت‌ها را بررسی می‌کنند تا بفهمند چه صفحه‌ای تازه منتشر شده، چه چیزی تغییر کرده و کدام محتوا باید در نتایج جست‌وجو نمایش داده شود. در واقع این ربات‌های گوگل مثل مأمور خرید، مدام به سایت‌ها سر می‌زنند تا ببینند چه چیز جدیدی پخته‌اید تا آن را به کاربران نشان دهند. اما حالا به دلیل قطعی اینترنت و قطع ارتباط سرورهای داخل و خارج، این ربات‌ها پشت در سایت‌ها می‌مانند.

نتیجه؟ مطالب جدید شما اصلاً دیده نمی‌شوند و انگار اصلاً وجود ندارید!

وقتی گوگل‌بات نتواند درست به سرورهای سایت‌های ایرانی برسد، انگار سایت اصلاً وجود ندارد یا ناقص کار می‌کند. صفحه جدید منتشر می‌شود، اما گوگل آن را نمی‌بیند. خبر نوشته می‌شود، اما دیر ایندکس می‌شود. محصول جدید روی سایت فروشگاه قرار می‌گیرد، اما در جست‌وجو بالا نمی‌آید.

نتیجه ساده است: بازدید کمتر، مشتری کمتر، فروش کمتر و درآمد کمتر.

این همان خسارتی است که در آمارهای رسمی معمولاً دیده نمی‌شود. کسی نمی‌گوید یک فروشگاه اینترنتی چقدر مشتری از دست داده، یک رسانه چقدر مخاطب را از دست داده یا یک سایت آموزشی چقدر از نتایج گوگل عقب افتاده است. در گزارش پیش رو، جزئیات کامل تأثیر قطعی اینترنت بر سئوی سایت‌های ایرانی و راهکارهای حفظ رتبه را برای شما مخاطبان عزیز تشریح خواهیم کرد.

گوگل‌بات و کرول باجت؛ دو مفهومی که زندگی وب فارسی را نابود می‌کنند

«گوگل‌بات» (Googlebot) نام ربات اختصاصی گوگل برای خزیدن در وب و ایندکس کردن صفحات است. این ربات به طور مداوم (۲۴ ساعته، ۷ روز هفته) از سرورهای گوگل به سمت سایت‌های مختلف در سراسر جهان ارسال می‌شود تا محتوای جدید را کشف کند. هر سایت، بسته به اعتبار و به‌روزرسانی خود، سهم مشخصی از این بازدیدها را دارد که به آن «کرول باجت» (Crawl Budget) می‌گویند.

• در شرایط عادی

  گوگل‌بات به راحتی به سرورهای سایت‌های ایرانی متصل می‌شود، صفحات جدید را ایندکس می‌کند و «کرول باجت» به طور کامل مصرف می‌شود.

• در شرایط قطعی اینترنت

  ارتباط سرورهای داخل ایران با خارج قطع است. گوگل‌بات وقتی به آدرس IP سرورهای ایرانی می‌رسد، با «خطای اتصال» (Connection Timeout) یا «رد شدن درخواست» (Request Rejected) مواجه می‌شود. پس از چند بار تلاش ناموفق، گوگل فرض می‌کند که «سایت مرده است» یا «سرور پایدار نیست». در نتیجه، «کرول باجت» آن سایت را به شدت کاهش می‌دهد (چون گوگل منابع خود را برای سایت‌هایی که پاسخ نمی‌دهند هدر نمی‌دهد).

نتیجه

حتی اگر اینترنت به حالت عادی برگردد، گوگل چند ماه طول می‌کشد تا دوباره به سایت‌های ایرانی اعتماد کند و «کرول باجت» آنها را به سطح قبلی برگرداند. یعنی آسیب قطعی اینترنت، تا ماه‌ها پس از بازگشایی نیز باقی می‌ماند.

گواهی SSL؛ قفل امنیتی که آب رفته است

گواهی SSL (Secure Sockets Layer) استانداردی امنیتی است که ارتباط بین مرورگر کاربر و سرور سایت را رمزنگاری می‌کند. وجود این گواهی با یک «قفل سبز رنگ» در نوار آدرس مرورگر نشان داده می‌شود و به کاربر می‌گوید: «این سایت امن است و اطلاعات شما (رمز عبور، شماره کارت بانکی، و...) در معرض خطر نیست». متأسفانه، اکثر گواهی‌های SSL (به ویژه گواهی‌های رایگان و خودکار مانند Let’s Encrypt) هر ۹۰ روز یک بار باید تمدید شوند. فرآیند تمدید نیاز به ارتباط پایدار سرور سایت با سرویس‌دهنده خارجی (Let’s Encrypt) دارد. در شرایط قطعی اینترنت، این ارتباط قطع می‌شود و گواهی‌ها منقضی می‌گردند.

نتیجه: کاربر وقتی وارد سایت می‌شود، با پیام قرمز رنگ «این سایت امن نیست» (Your connection is not private) مواجه می‌شود. این پیام ترسناک، کلیک روی دکمه «ادامه دادن» را بسیار دشوار می‌کند. بسیاری از کاربران (به ویژه کاربران غیرحرفه‌ای) سایت را ترک می‌کنند و هرگز برنمی‌گردند. گوگل نیز به وجود گواهی SSL به عنوان یک فاکتور رتبه‌بندی (Ranking Factor) نگاه می‌کند. سایت‌هایی که گواهی معتبر ندارند، در نتایج جست‌وجو جریمه می‌شوند و رتبه آنها سقوط می‌کند.

نقشه سایت و فایل robots.txt؛ راهنماهای گمشده

«نقشه سایت» (Sitemap.xml) فایلی است که ساختار سایت و لیست تمام صفحات مهم آن را در اختیار گوگل قرار می‌دهد. «فایل robots.txt» نیز به گوگل می‌گوید که کدام صفحات نباید ایندکس شوند (مثل صفحات مدیریت، صفحه سبد خرید، و...). در شرایط عادی، گوگل‌بات به راحتی به این فایل‌ها دسترسی پیدا می‌کند و از آنها برای خزیدن کارآمد استفاده می‌نماید. در شرایط قطعی اینترنت، گوگل‌بات نمی‌تواند به این فایل‌ها دسترسی پیدا کند. نتیجه:

• گوگل «کورکورانه» تلاش می‌کند سایت را بخزد، اما به دلیل دسترسی محدود، بسیاری از صفحات جدید را از دست می‌دهد.
• صفحات اشتباه (مثل صفحات مدیریت، صفحات تکراری) ممکن است به اشتباه ایندکس شوند (یا اصلاً ایندکس نشوند).
• زمان خزش (Crawl Time) افزایش می‌یابد و «کرول باجت» هدر می‌رود.

برای یک رسانه خبری، این فاجعه است. خبر فوری اگر در نقشه سایت ثبت نشود، گوگل ممکن است آن را روز بعد (یا هفته بعد) پیدا کند. دیگر آن خبر «فوری» نیست و ارزش خود را از دست داده است.

فیلترشکن و تجربه کاربری؛ گوگل عاشق وب‌سایت‌های تمیز است!

در شرایط قطعی اینترنت، کاربران ایرانی ناچار به استفاده از «فیلترشکن» (VPN) می‌شوند. اما فیلترشکن‌ها (به ویژه انواع رایگان و ناپایدار) مشکلات زیر را ایجاد می‌کنند:

• آی‌پی متغیر (چرخ‌فلکی)

  هر بار که کاربر صفحه را رفرش می‌کند، فیلترشکن ممکن است آی‌پی جدیدی (از کشورهای مختلف) به او اختصاص دهد. گوگل این رفتار را «مشکوک» تلقی می‌کند (شبیه به حملات DDoS) و ممکن است سایت را موقتاً مسدود کند.

• لود جزئی (Partial Loading)

  بخشی از محتوای سایت از سرور داخلی می‌آید و بخشی از خارج (مثل تصاویر، فونت‌ها، و اسکریپت‌ها). به دلیل مسدود بودن مسیر خارجی، این عناصر با تأخیر لود می‌شوند یا اصلاً لود نمی‌شوند. نتیجه: صفحه به هم ریخته می‌شود، دکمه‌ها جابه‌جا می‌شوند، و کاربر به جای کلیک روی «خرید» روی «تبلیغات» کلیک می‌کند (و خارج می‌شود).

• نرخ پرش بالا (High Bounce Rate)

  اگر کاربر نتواند ظرف ۳ ثانیه صفحه را ببیند، سایت را ترک می‌کند. گوگل «نرخ پرش بالا» را به عنوان سیگنال «محتوای بی‌کیفیت» تفسیر می‌کند و رتبه سایت را تنزل می‌دهد.

در مجموع، فیلترشکن نه تنها به کاربر کمک نمی‌کند، بلکه «تجربه کاربری» (User Experience) را نابود می‌کند. و گوگل «عاشق» سایت‌هایی است که تجربه کاربری خوبی ارائه می‌دهند (سایت‌های سریع، واکنش‌گرا (Responsive)، و بدون خطا). سایت‌های ایرانی در حال حاضر دقیقاً نقطه مقابل این معیارها هستند.

راهکارهای موقت برای مدیران سایت‌ها و چشم‌انداز آینده

اگر شما مدیر یک سایت ایرانی (خبری، فروشگاهی، آموزشی، یا خدماتی) هستید، در این شرایط بحرانی چه کاری می‌توانید انجام دهید؟ چند راهکار موقت:

۱. استفاده از شبکه‌های تحویل محتوا (CDN) با سرور داخلی

سرویس‌هایی مانند «آروان» (ArvanCloud) و «اردیبهشت» (Ordibehesht) CDNهای داخلی هستند که نسخه کش شده سایت شما را روی سرورهای داخل ایران نگهداری می‌کنند. حتی اگر اینترنت خارج قطع باشد، گوگل‌بات ممکن است بتواند از طریق این CDNها به سایت شما دسترسی پیدا کند (اگر CDN با گوگل همکاری کند).

۲. تمدید دستی گواهی SSL

به جای اتکا به تمدید خودکار، می‌توانید از یک دوست (یا همکار) در خارج از ایران بخواهید که به صورت دستی گواهی SSL را تمدید کند و فایل آن را برای شما ایمیل کند. سپس شما به صورت دستی گواهی را روی سرور نصب کنید.

۳. استفاده از پیام رسان‌های داخلی برای اطلاع‌رسانی

در شرایطی که گوگل سایت شما را نمی‌بیند، تنها راه ارتباط با مخاطبان، «اینستاگرام» (اگر فیلترشکن دارد) یا «ایتا» و «روبیکا» و «سروش» (پیام‌رسان‌های داخلی) است. لینک مطالب جدید خود را در این پلتفرم‌ها به اشتراک بگذارید تا مخاطبان مستقیماً وارد سایت شوند (بدون نیاز به گوگل).

۴. ذخیره محتوا برای روزهای پس از بازگشایی

قطعاً اینترنت یک روز باز می‌شود. سعی کنید در این مدت محتوای باکیفیت (متون، تصاویر، ویدئوها) تولید کنید و در بایگانی سایت ذخیره کنید. پس از بازگشایی، همه آنها را یکجا منتشر کنید تا «موجی از محتوای تازه» ایجاد کنید و گوگل را ترغیب به خزیدن مجدد کنید.

چشم‌انداز آینده

اگر قطعی اینترنت ادامه یابد (بیش از ۶ ماه)، وب فارسی تقریباً به طور کامل از حافظه گوگل پاک می‌شود. کسب‌وکارهای آنلاین ورشکست می‌شوند و رسانه‌های مستقل تعطیل می‌گردند. احیای وب فارسی پس از بازگشایی، حداقل ۶ ماه تا ۱ سال زمان نیاز دارد. این یک «فاجعه خاموش» است که کسی درباره آن صحبت نمی‌کند. امیدواریم که ستاد ویژه فضای مجازی هرچه سریع‌تر تصمیم به بازگشایی اینترنت بگیرد.