یک سؤال رایج: چرا همه صفحات سایت رفتار یکسانی ندارند؟
خیلی از مدیران سایت این وضعیت را تجربه میکنند: یک صفحه جدید منتشر میشود و خیلی زود دیده میشود، اما صفحهای دیگر با اینکه از نظر ظاهری هیچ مشکلی ندارد، مدت زیادی نادیده میماند یا بسیار دیرتر بررسی میشود. این تفاوت در نگاه اول عجیب به نظر میرسد، چون معمولاً تصور میشود اگر سایت در دسترس باشد، همه URLها باید تقریباً شبیه هم رفتار کنند. اما در عمل، موتورهای جستوجو همه صفحات را با یک اولویت و یک میزان اطمینان بررسی نمیکنند.
همه صفحات برای رباتها ارزش و فوریت یکسانی ندارند
بعضی URLها بهدلیل لینکگیری داخلی بهتر، حضور در منوها، قرار گرفتن در صفحه اصلی یا داشتن سابقه بیشتر، زودتر پیدا میشوند و بیشتر در معرض بررسی قرار میگیرند. در مقابل، صفحاتی که عمیقتر هستند، لینک داخلی ضعیفتری دارند یا بهتازگی ساخته شدهاند، بیشتر به این وابستهاند که مسیر دسترسی کاملاً پایدار باشد. به همین دلیل، وقتی شرایط دسترسی ایدهآل نیست، معمولاً همین صفحات آسیبپذیرتر زودتر از بقیه تحت تأثیر قرار میگیرند.
وقتی دسترسی ناپایدار باشد، رباتها سراغ همه صفحات با یک شدت نمیروند
اگر درخواستهای خارجی به سایت با تأخیر، timeout یا ناپایداری همراه باشد، رباتها معمولاً محتاطتر رفتار میکنند. در چنین شرایطی، آنها ترجیح میدهند بیشتر روی URLهای مهمتر یا آشناتر تمرکز کنند و تعداد بررسیهای عمیق را کاهش دهند. نتیجه این میشود که برخی صفحات اصلی همچنان دیده میشوند، اما صفحات تازه، صفحات دسته دوم یا URLهای عمیقتر دیرتر به چرخه بررسی وارد میشوند.
این یعنی مشکل همیشه از خود صفحه نیست
خیلی وقتها مدیر سایت فکر میکند اگر یک صفحه دیده نشده، حتماً ایرادی در عنوان، متن، آدرس یا ساختار همان صفحه وجود دارد. در حالی که مسئله میتواند کاملاً بیرون از خود URL باشد. ممکن است صفحه از نظر محتوا و ساختار کاملاً سالم باشد، اما چون مسیر دسترسی به سایت از بیرون پایدار نیست، نوبت بررسی آن دیرتر برسد یا چند بار با خطا همراه شود. در این وضعیت، تفاوت بین صفحات بیشتر از آنکه محتوایی باشد، حاصل تفاوت در شانس بررسی شدن است.
یک مثال ساده: دو صفحه منتشر میشوند، اما سرنوشت متفاوتی پیدا میکنند
فرض کنید در یک سایت، همزمان یک مقاله جدید و یک صفحه خدمات جدید منتشر میشود. مقاله از صفحه بلاگ لینک میگیرد، در بخشهای مختلف سایت دیده میشود و در ساختار داخلی جای مشخصی دارد. اما صفحه خدمات جدید فقط از یک بخش فرعی قابل دسترسی است و هنوز لینک داخلی زیادی نگرفته. اگر دسترسی خارجی ناپایدار باشد، مقاله شانس بیشتری برای دیده شدن دارد، اما صفحه خدمات ممکن است مدت زیادی در حاشیه بماند. این یعنی اختلاف نتیجه، لزوماً به کیفیت محتوا مربوط نیست.
صفحات عمیقتر معمولاً زودتر آسیب میبینند
هرچه یک صفحه از مسیرهای اصلی سایت دورتر باشد، وابستگی آن به crawl پایدار بیشتر میشود. در حالت عادی هم این صفحات دیرتر از صفحه اصلی، دستهبندیها یا URLهای شناختهشده دیده میشوند. حالا اگر در همین وضعیت، دسترسی از بیرون هم ناپایدار باشد، این تأخیر تشدید میشود. به همین خاطر است که در بعضی سایتها، صفحات مهم ظاهراً سالماند، اما بخش بزرگی از URLهای داخلی عملکرد ضعیفتری دارند.
چرا این وضعیت برای سایتهای فروشگاهی و محتوایی پرهزینهتر است؟
چون این سایتها معمولاً تعداد زیادی URL دارند که دائماً در حال اضافه شدن یا تغییر هستند. در فروشگاهها، صفحات محصول، دستهبندی و فیلترها باید مرتب بررسی شوند. در سایتهای محتوایی، مقالههای تازه و نسخههای بهروزشده اهمیت زیادی دارند. وقتی فقط بخشی از این URLها بهموقع دیده شوند و بخشی دیگر عقب بمانند، رشد کلی سایت کندتر و نامنظمتر میشود.
در بعضی مواقع، مشکل از اختلاف بین دسترسی داخلی و خارجی شروع میشود
مدیر سایت صفحه را از داخل کشور باز میکند و میبیند همه چیز درست است. همین موضوع باعث میشود تصور کند اگر صفحهای دیده نشده، حتماً خود آن URL ضعف دارد. اما ممکن است همان صفحه از بیرون با تأخیر یا عدم پاسخ همراه باشد. در این حالت، ظاهر سالم سایت از داخل، تصویر کاملی از وضعیت واقعی آن برای سرویسهای خارجی ارائه نمیدهد.
راهحل فقط بررسی تکتک صفحات نیست
بررسی ساختار داخلی صفحات، لینکها و جایگاه URLها مهم است، اما اگر مشکل در مسیر دسترسی خارجی باشد، این اقدامات بهتنهایی کافی نخواهند بود. باید شرایطی فراهم شود که رباتها بتوانند از بیرون بهشکل پایدارتر به سایت دسترسی پیدا کنند. وقتی این ثبات ایجاد شود، تفاوت بین صفحات کمتر میشود و URLهای عمیقتر هم شانس واقعیتری برای دیده شدن پیدا میکنند.
در چنین شرایطی، استفاده از یک لایه پایدار برای دسترسی خارجی میتواند کمک کند که درخواستهای بیرونی فقط وابسته به مسیر مستقیم و ناپایدار نباشند و بررسی صفحات سایت با ثبات بیشتری انجام شود.
اگر همزمان SSL هم دچار مشکل شود، بعضی صفحات بیشتر در حاشیه میروند
وقتی فرایند صدور یا تمدید گواهی هم بهدلیل اختلال دسترسی بیرونی با مشکل روبهرو شود، وضعیت پیچیدهتر میشود. چون در این حالت، علاوه بر ناپایداری مسیر، مسئله اعتماد و دسترسی امن هم وارد ماجرا میشود. برای سایتی که باید هم از بیرون دیده شود و هم اتصال امن پایداری داشته باشد، استفاده از یک سرویس صدور و تحویل SSL میتواند جلوی یکی از ریسکهای مهم زیرساختی را بگیرد.
جمعبندی
اینکه بعضی صفحات سایت زود دیده میشوند و بعضی دیگر نه، همیشه به معنی ضعف در خود صفحه نیست. در خیلی از موارد، تفاوت بین URLها از جایی شروع میشود که دسترسی از بیرون ناپایدار است و رباتها ناچارند با احتیاط بیشتری رفتار کنند. در چنین شرایطی، صفحات اصلی شانس بیشتری برای دیده شدن دارند و صفحات عمیقتر بیشتر عقب میمانند. برای کم کردن این فاصله، باید علاوه بر ساختار داخلی سایت، به پایداری مسیر دسترسی خارجی هم توجه جدی داشت.