مدل زبانی بزرگ چطور کار میکند؟ توضیحی بدون ریاضیات
مدل زبانی چیزی را «میداند» یا فقط کلمه بعدی را حدس میزند؟ پاسخ، هم مهم است و هم توضیح میدهد چرا گاهی اشتباه میکند.
نویسنده
تیم بایتیرا
تاریخ انتشار
۲۲ مرداد ۱۴۰۵
زمان مطالعه
2 دقیقه
خلاصه
مدل زبانی چیزی را «میداند» یا فقط کلمه بعدی را حدس میزند؟ پاسخ، هم مهم است و هم توضیح میدهد چرا گاهی اشتباه میکند.
مدل زبانی بزرگ در یک جمله: سیستمی که یاد گرفته است با دیدن یک متن، محتملترین ادامه آن را بنویسد. همین. تمام رفتارهای پیچیدهای که میبینید از همین یک کار ساده بیرون میآید.
توکن، نه کلمه
مدل متن را به «توکن» میشکند؛ قطعههایی که گاهی یک کلمه کاملاند و گاهی بخشی از آن. در فارسی، بهخاطر ساختار زبان و نیمفاصله، یک کلمه ممکن است چند توکن شود. این نکته کاربردی است: هزینه و محدودیت طول متن بر اساس توکن حساب میشود، نه کلمه.
پیشبینی، نه بازیابی
مدل پایگاه دادهای از حقایق ندارد که در آن جستوجو کند. آنچه دارد الگوهایی است که از حجم عظیمی از متن آموخته. وقتی میپرسید «پایتخت فرانسه کجاست؟» پاسخ درست میدهد نه به این دلیل که در جدولی نگاه کرده، بلکه چون در متنهای آموزشی این الگو بارها آمده است.
همین توضیح میدهد چرا درباره چیزهای پرتکرار دقیق است و درباره جزئیات نادر یا تازه، اشتباه میکند.
دما و قطعیت
پارامتری به نام دما تعیین میکند مدل چقدر به محتملترین گزینه بچسبد. دمای پایین یعنی پاسخهای قابل پیشبینی و تکرارپذیر؛ دمای بالا یعنی تنوع بیشتر و خلاقیت بیشتر — و خطای بیشتر.
برای کاربردهایی مثل پاسخگویی به مشتری، دمای پایین انتخاب درستی است. تنوع در متن اینجا ارزش نیست.
پنجره متن
مدل فقط چیزی را میبیند که در همان درخواست به او دادهاید، بهعلاوه محدودهای از گفتوگوی قبلی. حافظه دائمی ندارد. اگر میخواهید چیزی را بداند، باید در همان درخواست بیاید — و این دقیقاً کاری است که RAG انجام میدهد.
نتیجه عملی
مدل ابزار زبانی است، نه منبع حقیقت. هر جا دقت اهمیت دارد، باید حقیقت را کنارش بگذارید.
مطالب مرتبط
پیش از فرستادن داده به مدل، این را بخوانید
هر متنی که به یک سرویس هوش مصنوعی میفرستید، از سازمان شما خارج میشود. این تصمیم باید آگاهانه باشد.
خواندنکارهایی که هوش مصنوعی هنوز خوب انجام نمیدهد
دانستن مرزها به اندازه دانستن قابلیتها ارزش دارد — و شما را از پروژههای محکوم به شکست نجات میدهد.
خواندنهوش مصنوعی برای کسبوکار کوچک: از کجا شروع نکنیم
بیشتر پروژههای هوش مصنوعی در کسبوکارهای کوچک شکست میخورند چون از جای اشتباه شروع شدهاند.
خواندن