RAG چیست؟ + آشنایی با مزایا و کاربردها

پاسخ‌دهی مبتنی بر بازیابی اطلاعات یا به اختصار RAG به چارچوبی از هوش مصنوعی گفته می‌شود که اطلاعات را از منابعی خارج از ذخیره دانش خود بازیابی می‌کند. این امر مدل‌های زبانی بزرگ را با دقیق‌ترین و به‌روزترین اطلاعات مجهز می‌سازد و همچنین کاربران را از فرآیند پاسخ‌دهی LLM مطلع می‌کند.

مدل‌های زبانی بزرگ ممکن است با یکدیگر ناسازگار باشند. آن‌ها گاهی دقیق پاسخ می‌دهند و گاهی هم صرفاً اطلاعاتی برگرفته از داده‌های آموزشی‌شان را تکرار می‌کنند. برخی از مواقع نیز پاسخ‌هاشان طوری به نظر می‌رسند که با پرامپت دریافتی هیچ مطابقت ندارند. دلیل چنین اتفاقی این است که مدل‌های زبانی بزرگ واقعاً درکی از پاسخی که می‌دهند ندارند. آن‌ها تنها می‌دانند کلمات چگونه از لحاظ آماری به هم مرتبط هستند، نه این‌که معناشان چیست.

پاسخ‌دهی مبتنی بر بازیابی اطلاعات یا همان RAG چیست؟

همان‌طور که پیش‌تر گفتیم RAG چارچوبی از هوش مصنوعی است که کیفیت پاسخ‌دهی مدل‌های زبانی بزرگ را بهبود می‌بخشد؛ به‌این‌صورت که مدل زبانی به منابعی خارج از دانش خود اتکا می‌کند تا اطلاعاتش را تکمیل کند و بهتر پاسخ بدهد.

اگر چارچوب RAG در سامانه پرسش و پاسخ مبتنی بر LLM به کار گرفته شود دو مزیت مهم دارد:

1. مدل زبانی به جدیدترین و موثق‌ترین اطلاعات دست می‌یابد.
2. کاربران به منابعی دسترسی پیدا می‌کنند که مدل زبانی بر اساس آن‌ها پاسخ داده است.

در نتیجه می‌توان گفته‌های مدل زبانی را راستی‌آزمایی کرد و در نهایت پاسخ‌ها را صحیح دانست.

لوئیس لاستراس، مدیر فناوری‌های زبانی در شرکت پژوهشی آی‌بی‌ام، می‌گوید: «شما به کمک چارچوب RAG می‌توانید پاسخ مدل زبانی را با منابع اصلی تطبیق دهید تا متوجه شوید پاسخ دریافتی بر چه اساسی به دست آمده است.»

RAG چه مزایایی دارد؟

RAG مزایای دیگری نیز دارد. مثلاً وقتی مدل‌های زبانی بزرگ بر دانشی گسترده و موثق مستدل باشند دیگر قابلیت این را ندارند که اطلاعات نهادینه در حافظه خود را ارائه دهند. این امر احتمال نشت داده‌های حساس یا هذیان‌گویی هوش مصنوعی را کاهش می‌دهد.

همچنین چارچوب RAG نیاز کاربران همچون آموزش مداوم مدل زبانی با داده‌های جدید و به‌روزرسانی پارامترها در شرایطی خاص را برطرف می‌کند. به‌همین‌ترتیب چارچوب RAG باعث می‌شود هزینه‌های رایانشی و مالی ناشی از راه‌اندازی چت‌بات‌های مبتنی بر LLM در سازمان‌ها کاهش یابد.

پاسخ‌دهی به پرسش‌های دشوار

ساختار ترنسفورمر که یک ساختار در هوش مصنوعی به حساب می‌آید پایه تمام مدل‌های بنیانی از جمله مدل‌های زبانی بزرگ است. این ساختار انبوهی از داده‌های خام را به صورت فشرده در ساختاری ابتدایی نمایش می‌دهد. سپس مدلی بنیانی اندکی درباره محتوای برچسب‌گذاری‌شده و اطلاحات تخصصی آموزش می‌بیند تا وظایفی مختلف را انجام دهد.

اما آموزش تکمیلی معمولاً به تنهایی نمی‌تواند دانش گسترده‌ای که مدل زبانی برای پرسش‌های کاملاً تخصصی احتیاج دارد را فراهم کند. در مقاله‌ای از سال ۲۰۲۰ آمده است که شرکت متا (فیس‌بوک سابق) چارچوبی را با عنوان پاسخ‌دهی مبتنی بر بازیابی اطلاعات (Retrieval-Augmented Generation) ابداع کرد که مدل‌های زبانی بزرگ در شبکه اجتماعی متا به اطلاعاتی فراتر از داده‌های محدود خود دسترسی داشته باشند. مدل‌های زبانی بزرگ با کمک چارچوب RAG می‌توانند با آگاهی بر دانش تخصصی بالا دقیق‌تر پاسخ بدهند.

لوئیس لاستراس می‌گوید: «آنچه که چارچوب RAG را از سایر فرآیندهای پاسخ‌دهی متمایز می‌سازد، امکان دسترسی به اطلاعات متنوع است. در سامانه‌ای که از چارچوب RAG بهره می‌برد مدل زبانی دیگر به دانش اولیه خود محدود نیست.»

این چنین می‌توان گفت که چارچوب RAG از دو مرحله تشکیل شده است:
۱. مرحله بازیابی اطلاعات مرتبط
۲. مرحله پاسخ‌دهی به پرامپت

در مرحله نخست که با مرحله بازیابی اطلاعات مرتبط است الگوریتم‌ها به جست‌وجو می‌پردازند و اطلاعاتی مربوط به پرامپت یا سؤال کاربر را پیدا و استخراج می‌کنند. هنگامی که چت‌بات از دامنه‌های عمومی استفاده می‌کند اطلاعات را از اینترنت و آنچه که در دسترس عموم است به دست می‌آورد. اما هنگامی که چت‌بات از دامنه‌های خصوصی سازمان استفاده می‌کند اطلاعات دریافتی موثق‌تر و محرمانه‌تر است.

در ادامه این فرآیند تمام اطلاعاتی که چت‌بات پیدا کرده است با پرامپت کاربر ترکیب شده و سپس به مدل زبانی افزوده می‌شود. مدل زبانی بزرگ در مرحله دوم از پرامپت ترکیبی و داده‌های اولیه خود بهره می‌گیرد تا پاسخی موردپسند و متناسب با نیاز کاربر بدهد. سپس پاسخ نهایی همراه با لینک‌هایی که برگرفته از منابع مورد استفاده هستند به چت‌بات منتقل می‌شوند.

پاسخ‌دهی شخصی‌سازی‌شده و موثق

پیش از آنکه مدل‌های زبانی بزرگ ظهور کنند گفت‌و‌گو با چت‌بات‌ها مثل امروز خودکار پیش نمی‌رفت. روال پیشین از این قرار بود که در ابتدا چت‌بات‌ها متوجه سؤال کاربر می‌شدند و سپس اطلاعات مورد نیاز را بازیابی می‌کردند و در نهایت پاسخی را در قالب متنی ثابت و تکراری ارائه می‌دادند. این روش که از درخت تصمیم‌گیری، آن هم به صورت دستی کمک می‌گرفت بهترین عملکرد را تنها در مواجهه با پرسش‌های سرراست داشت.

اما این روش محدودیت‌هایی نیز داشت. پیش‌بینی و تنظیم متنی که منحصر به سؤال کاربر بود زمان زیادی می‌برد. اگر هم چت‌بات جوابی آماده نداشت نمی‌توانست بداهه‌پردازی کند. همچنین به راحتی نمی‌شد متون را با خط‌مشی‌ها و شرایط جدید تطبیق داد.

امروزه چت‌بات‌های مبتنی بر LLM می‌توانند به کاربران پاسخ‌هایی شخصی‌سازی‌شده بدهند بدون آنکه حتی انسانی در فرآیند پاسخ‌دهی دخیل باشد. همچنین مدل‌های زبانی بزرگ نیاز کمتری به دریافت مثال‌های جدید و بازآموزی مداوم پیدا می‌کنند. در راستای این کار نیز کافی است به‌روزترین اسناد یا خط‌مشی‌ها را بارگذاری کنید تا مدل زبانی اطلاعات مورد نیاز را بازیابد و به سؤالات پاسخ دهد.

پاسخ‌دهی در شرایط نبود اطلاعات کافی

پرسش‌های کاربران همواره سرراست نیستند. ممکن است این پرسش‌ها مبهم و پیچیده باشند یا دانشی را بطلبند که مدل زبانی ندارد یا قادر نیست به راحتی آن‌ها را تجزیه‌وتحلیل کند. در چنین شرایطی است که LLM به ارائه اطلاعات ناموثق و ساختگی روی می‌آورد.

لوئیس لاستراس می‌گوید: «مدل‌های زبانی همانند کارآموزانی بسیار مشتاق هستند که پاسخ را قبل از سبک‌و‌سنگین‌کردن بر زبان می‌آورند. تجربه ثابت کرده است که در این‌مواقع بهتر است اعتراف کنیم که نمی‌دانیم. اما مدل‌های زبانی بزرگ این‌گونه نیستند و باید در این زمینه آموزش ببینند تا بتوانند تشخیص دهند که در برابر چه پرسش‌هایی قادر به پاسخگویی نیستند.»

فرض کنید آلیس می‌خواهد بداند چند روز مرخصی زایمان به او تعلق می‌گیرد. چت‌باتی که از چارچوب RAG استفاده نمی‌کند به اشتباه پاسخ می‌دهد: «هیچ محدودیتی در انتخاب تعداد روزهای مرخصی زایمان نداری.» با این حال خط‌مشی‌های حول محور مرخصی زایمان پیچیده هستند چرا که این خط‌مشی‌ها بسته به منطقه یا کشوری که دفتر مرکزی در آنجا قرار دارد متفاو‌ت‌اند. لوئیس لاستراس درباره این مثال می‌گوید وقتی LLM نمی‌توانست دقیق پاسخ دهد باید فقط می‌گفت: «متأسفم اما اطلاعی ندارم» یا سؤالات بیشتری می‌پرسید تا به سؤالی برسد که بتواند به آن پاسخ دهد. اما در عوض چت‌بات جمله‌ای مطابق با میل کاربر را از آموزش دریافتی خود بیان کرد.

هنگامی که LLM به اندازه کافی آموزش تکمیلی ببیند؛ می‌آموزد که در صورت نبود اطلاعات کافی جست‌وجو را متوقف کرده و اظهار ناآگاهی کند. البته شاید لازم باشد LLM هزاران بار با سؤالات بی‌جواب مواجه شود. تنها پس از آن است که مدل زبانی قابلیت این را پیدا می‌کند که سؤالات بی‌جواب را تشخیص دهد و آنقدر جزئیات بیشتری بپرسد تا به سؤالی برسد که اطلاعات لازم در رابطه با آن وجود داشته باشد.

در حال حاضر چارچوب RAG شناخته‌شده‌ترین ابزاری است که LLM را از اطلاعات موثق و به‌روز انباشته می‌کند و از هزینه‌های ناشی از بازآموزی و به‌روزرسانی مداوم می‌کاهد. چارچوب RAG باید بتواند پرامپت‌ها را با اطلاعات مربوطه و موجود در بردارهایی که نمایش ریاضی داده‌ها هستند ترکیب کند. پایگاه‌های داده برداری امکان این را دارند که اطلاعات را به شیوه اصولی در راستای مواردی همانند موتورهای توصیه‌گر و چت‌بات‌ها فهرست، ذخیره و بازیابی کنند.

کاربردهای RAG در سازمان‌ها چیست؟

با وجود اینکه RAG بیشتر به عنوان یک فناوری هوش مصنوعی شناخته می‌شود، ارزش واقعی آن زمانی آشکار می‌شود که در فرآیندهای روزمره سازمان‌ها به کار گرفته شود. این چارچوب به کسب‌وکارها کمک می‌کند بدون نیاز به آموزش مجدد مدل‌های زبانی، از دانش داخلی و به‌روز خود بهره ببرند.

برای مثال، سازمان‌ها می‌توانند اسناد، آیین‌نامه‌ها، قراردادها، راهنماهای فنی و پایگاه‌های دانش خود را در اختیار یک سامانه مبتنی بر RAG قرار دهند. در چنین شرایطی کاربران به جای جست‌وجوی دستی در میان صدها فایل و سند، تنها سؤال خود را مطرح می‌کنند و سامانه با استناد به منابع معتبر سازمان پاسخ می‌دهد.

برخی از مهم‌ترین کاربردهای RAG عبارت‌اند از:

• ایجاد دستیار هوشمند برای پاسخ‌گویی به سؤالات کارکنان
• ارائه پشتیبانی فنی مبتنی بر مستندات و پایگاه دانش سازمان
• جست‌وجوی هوشمند در قراردادها، آیین‌نامه‌ها و اسناد حقوقی
• توسعه چت‌بات‌های خدمات مشتری با دسترسی به آخرین اطلاعات محصولات و خدمات
• پاسخ‌گویی به پرسش‌های تخصصی در حوزه‌های پزشکی، مالی و آموزشی
• تسهیل دسترسی به دانش سازمانی و جلوگیری از پراکندگی اطلاعات

به همین دلیل بسیاری از سازمان‌ها RAG را به عنوان پلی میان مدل‌های زبانی بزرگ و منابع دانشی اختصاصی خود در نظر می‌گیرند؛ پلی که هم دقت پاسخ‌ها را افزایش می‌دهد و هم اعتماد کاربران به خروجی‌های هوش مصنوعی را بیشتر می‌کند. منبع

هوش مصنوعی ابرآمد؛ انتخاب کسب‌وکارهای آینده‌نگر

• RAG چیست و چه تفاوتی با مدل‌های زبانی بزرگ (LLM) دارد؟

  RAG یا «تولید مبتنی بر بازیابی اطلاعات» چارچوبی است که پیش از تولید پاسخ، اطلاعات مرتبط را از منابع خارجی بازیابی می‌کند و در اختیار مدل زبانی قرار می‌دهد. برخلاف مدل‌های زبانی معمولی که تنها به داده‌های آموزشی خود متکی هستند، RAG می‌تواند از اطلاعات جدید و به‌روز برای پاسخ‌گویی استفاده کند.

• آیا RAG هذیان‌گویی (Hallucination) هوش مصنوعی را از بین می‌برد؟

  RAG احتمال هذیان‌گویی را به میزان قابل توجهی کاهش می‌دهد، زیرا پاسخ‌ها بر پایه اسناد و داده‌های واقعی تولید می‌شوند. با این حال کیفیت خروجی همچنان به کیفیت منابع، نحوه بازیابی اطلاعات و طراحی سامانه بستگی دارد و نمی‌توان حذف کامل خطاها را تضمین کرد.

• چرا سازمان‌ها از RAG به جای آموزش مجدد مدل‌های زبانی استفاده می‌کنند؟

  آموزش مجدد مدل‌های زبانی بزرگ فرایندی زمان‌بر و پرهزینه است. RAG به سازمان‌ها اجازه می‌دهد بدون بازآموزی مدل، اسناد، آیین‌نامه‌ها و پایگاه‌های دانش خود را به سامانه متصل کنند و از جدیدترین اطلاعات در پاسخ‌گویی بهره ببرند. این رویکرد هزینه‌ها را کاهش می‌دهد و دسترسی به دانش به‌روز را آسان‌تر می‌کند.