سرعت پاسخ: کاربر چقدر صبر می‌کند

کاربر بین دو تا پنج ثانیه صبر می‌کند. بیشتر از آن، حس می‌کند چیزی خراب شده.

زمان صرف چه می‌شود

سه بخش: تبدیل پرسش به بردار، جست‌وجوی نزدیک‌ترین قطعه‌ها، و تولید پاسخ توسط مدل زبانی. بخش سوم معمولاً بیشترین سهم را دارد و کمترین کنترل را روی آن دارید.

آنچه قابل بهبود است

جست‌وجوی برداری با ایندکس مناسب سریع است و به‌ندرت گلوگاه می‌شود. اما دو تنظیم روی زمان اثر می‌گذارند: تعداد قطعه‌هایی که بازیابی می‌شوند و حداکثر طول پاسخ. هرچه متن بیشتری به مدل بدهید و پاسخ بلندتری بخواهید، انتظار طولانی‌تر می‌شود.

پاسخ کوتاه‌تر معمولاً هم سریع‌تر است و هم مفیدتر.

انتظار را قابل تحمل کنید

نشانگر «در حال نوشتن» تفاوت واقعی در ادراک زمان می‌سازد. سه ثانیه با نشانگر، کوتاه‌تر از دو ثانیه بدون آن حس می‌شود.

مهلت‌ها

سمت سرور مهلت زمانی تعریف شده تا یک درخواست کند برای همیشه منتظر نماند. اگر مدل پاسخ نداد، پیام خطای روشن بهتر از چرخیدن بی‌پایان است.