کاوش سایت چطور کار می‌کند و چه چیزهایی را نمی‌خواند

کیفیت پاسخ ربات مستقیماً به کیفیت کاوش وابسته است. دانستن اینکه این مرحله چه می‌کند، کمک می‌کند نتیجه بهتری بگیرید.

از کجا شروع می‌شود

کاوشگر از آدرس اصلی سایت شروع می‌کند و لینک‌های داخلی را دنبال می‌کند. دو محدودیت دارد: حداکثر تعداد صفحه و حداکثر عمق. این محدودیت‌ها هم از سایت شما محافظت می‌کنند و هم جلوی وارد شدن صفحات کم‌ارزش را می‌گیرند.

چه چیزی نگه داشته می‌شود

هر صفحه فقط متن نیست؛ منو، فوتر، تبلیغات و اسکریپت هم دارد. اگر همه این‌ها وارد پایگاه دانش شوند، جست‌وجو با نویز پر می‌شود. استخراج‌گر بخش اصلی محتوا را جدا می‌کند و بقیه را دور می‌ریزد.

چه چیزی خوانده نمی‌شود

سه دسته معمولاً از قلم می‌افتند و بهتر است از قبل بدانید:

محتوایی که فقط با جاوااسکریپت و پس از تعامل کاربر ساخته می‌شود. محتوای پشت ورود کاربری، که کاوشگر به آن دسترسی ندارد. و صفحاتی که robots.txt اجازه خواندنشان را نداده — که کاوشگر عمداً رعایت می‌کند.

اگر نتیجه ناقص بود

اول فهرست اسناد ایندکس‌شده را ببینید. اگر صفحه مهمی نیست، معمولاً یکی از این سه دلیل را دارد: لینک داخلی به آن وجود ندارد، عمق آن از حد تعیین‌شده بیشتر است، یا محتوایش سمت کاربر رندر می‌شود. دو مورد اول با تنظیم قابل حل‌اند؛ مورد سوم را می‌توان با نوشتن همان اطلاعات در بخش اطلاعات کسب‌وکار جبران کرد.

به‌روزرسانی

کاوش یک‌بار برای همیشه نیست. هر بار محتوای مهمی را تغییر دادید، کاوش را دوباره اجرا کنید تا پاسخ‌ها با سایت هماهنگ بمانند.