کاوش سایت چطور کار می‌کند و چه چیزهایی را نمی‌خواند

کاوش (Crawl) یعنی خواندن خودکار صفحه‌های سایت شما و تبدیل متنشان به پایگاه دانش ربات. کاوشگر از آدرس اصلی سایت شروع می‌کند، لینک‌های داخلی را دنبال می‌کند و از هر صفحه فقط متن اصلی را نگه می‌دارد. آنچه از دسترسش بیرون می‌ماند: صفحه‌هایی که هیچ لینک داخلی ندارند، محتوای پشت ورود کاربری، صفحه‌هایی که robots.txt منع کرده و متنی که فقط با جاوااسکریپت در مرورگر ساخته می‌شود. با دانستن همین چند نکته، می‌توانید کیفیت پاسخ‌های ربات را خودتان بالا ببرید.

کاوش در چهار مرحله

• گام ۱: پیدا کردن صفحه‌ها. کاوشگر از آدرسی که داده‌اید شروع می‌کند و لینک‌های داخلی هر صفحه را دنبال می‌کند. تعداد صفحه‌ها و عمق کاوش، یعنی چند کلیک فاصله از صفحه اصلی، سقف دارد. این سقف هم بار سایت شما را کنترل می‌کند و هم جلوی ورود صفحه‌های کم‌ارزش را می‌گیرد.
• گام ۲: رعایت قواعد سایت. پیش از خواندن، فایل robots.txt بررسی می‌شود و درخواست‌ها پشت سر هم و با فاصله فرستاده می‌شوند، نه یک‌باره و هم‌زمان.
• گام ۳: جدا کردن متن اصلی. هر صفحه علاوه بر محتوا، منو، فوتر، بنر کوکی و اسکریپت دارد. اگر فوتر تکراری صدها بار وارد پایگاه دانش شود، جست‌وجو پر از نویز می‌شود. پس فقط بخش اصلی محتوا نگه داشته می‌شود.
• گام ۴: تکه‌تکه کردن و ذخیره. متن به قطعه‌های کوچک تقسیم می‌شود و برای هر قطعه بردار معنایی ساخته می‌شود. هر صفحه فقط یک بار ذخیره می‌شود.

از این‌جا به بعد، ربات پاسخ‌گوی سایت پاسخ‌هایش را فقط از همین قطعه‌ها می‌سازد و صفحه منبع را زیر هر پاسخ نشان می‌دهد. به همین دلیل، هر چیزی که در کاوش جا بماند، در پاسخ‌ها هم نیست.

چه چیزهایی خوانده نمی‌شود

یک نکته درباره جاوااسکریپت: متنی که در HTML صفحه هست اما فقط پنهان شده، مثل پاسخ‌های یک آکاردئون پرسش‌های متداول، معمولاً مشکلی ندارد. مشکل وقتی است که متن تنها پس از کلیک کاربر از سرور گرفته و ساخته شود.

مثال: کلینیک زیبایی

فرض کنید یک کلینیک زیبایی سایتی دارد با صفحه خدمات، صفحه پزشکان، یک جدول قیمت که به‌صورت تصویر بارگذاری شده و یک تقویم نوبت‌دهی که با جاوااسکریپت ساخته می‌شود. بعد از کاوش، پرسش‌هایی مثل «تزریق ژل چند است؟» یا «دکتر چه روزهایی هستند؟» به پیام جایگزین می‌رسند و بیمار به شماره پذیرش راهنمایی می‌شود.

دلیلش روشن است: قیمت‌ها داخل تصویرند و برنامه پزشکان در HTML صفحه وجود ندارد. راه‌حل هم ساده است. مدیر کلینیک جدول قیمت را به‌صورت متن در صفحه خدمات می‌نویسد، خلاصه روزهای حضور پزشکان را در بخش اطلاعات کسب‌وکار وارد می‌کند و کاوش را دوباره اجرا می‌کند. از این به بعد همان پرسش‌ها پاسخ مستقیم می‌گیرند.

صفحه‌ای در پاسخ‌ها نمی‌آید؟ عیب‌یابی گام‌به‌گام

• گام ۱: آزمون مستقیم. پرسشی بفرستید که پاسخش فقط در همان صفحه است و صفحه منبع زیر پاسخ را ببینید.
• گام ۲: لینک داخلی. بررسی کنید از منو یا صفحه دیگری به آن لینک داده شده باشد. کاوشگر لینک‌ها را دنبال می‌کند؛ صفحه‌ای که هیچ لینکی به آن نیست، پیدا نمی‌شود.
• گام ۳: فاصله از صفحه اصلی. اگر برای رسیدن به صفحه باید چندین کلیک پشت سر هم بزنید، از صفحه‌ای نزدیک‌تر به آن لینک دهید.
• گام ۴: robots.txt. نشانی yoursite.ir/robots.txt را باز کنید و ببینید مسیر آن صفحه با Disallow بسته نشده باشد.
• گام ۵: نمای منبع صفحه. در مرورگر رایانه با Ctrl+U منبع صفحه را ببینید و دنبال متن مورد نظر بگردید. اگر آن‌جا نیست، با جاوااسکریپت ساخته می‌شود.
• گام ۶: کاوش دوباره. پس از اصلاح، کاوش را دوباره اجرا کنید و آزمون گام ۱ را تکرار کنید.

اشتباهات رایج که نتیجه کاوش را ضعیف می‌کنند

• قیمت و شرایط داخل تصویر. برای انسان خواناست، برای کاوشگر نه.
• باقی ماندن `Disallow: /` از دوران ساخت سایت. این خط هم جلوی کاوشگر ربات را می‌گیرد و هم جلوی موتورهای جست‌وجو را.
• صفحه‌های مهمی که فقط از جعبه جست‌وجو پیدا می‌شوند. اگر لینک ثابتی به آن‌ها نیست، کاوشگر نمی‌بیندشان.
• صفحه‌های قدیمی و متناقض. صفحه شرایط پارسال که هنوز لینک دارد، ممکن است وارد پاسخ‌ها شود. آن را حذف یا به‌روز کنید.
• اجرا نکردن کاوش بعد از تغییر. ربات تا کاوش بعدی همان نسخه قبلی را می‌شناسد. روال درست را در به‌روزرسانی پایگاه دانش نوشته‌ایم.

اگر می‌خواهید متن صفحه‌ها برای ربات قابل‌استفاده‌تر باشد، راهنمای کیفیت محتوا برای چت‌بات را هم ببینید.

پرسش‌های رایج

آیا کاوش به سایت من فشار می‌آورد؟

کاوشگر درخواست‌ها را پشت سر هم و با فاصله می‌فرستد و تعداد صفحه‌ها و عمق کاوش هم سقف دارد. برای سایت‌های معمولی این بار قابل‌توجه نیست.

برای ربات باید robots.txt را تغییر دهم؟

فقط اگر صفحه‌هایی را که می‌خواهید ربات بخواند، اشتباهی بسته‌اید. مسیرهای خصوصی، مثل پنل مدیریت، را همچنان بسته نگه دارید.

بعد از هر تغییر، پایگاه دانش از صفر ساخته می‌شود؟

نه. در کاوش دوباره، فقط صفحه‌های تغییرکرده دوباره پردازش می‌شوند و صفحه‌هایی که از سایت حذف کرده‌اید از پایگاه دانش هم کنار می‌روند. پس کاوش دوباره را بی‌نگرانی بعد از هر تغییر مهم اجرا کنید.