دربارهٔ این فصل
یادداشتِ همراه نوارتا حالا به این فکر کرده‌اید که چطور ماشین‌هایی مثل چت‌جی‌پتی توانسته‌اند در مدت زمانی کوتاه، میلیون‌ها کاربر را جذب کنند و شیوهٔ کار و جستجوی ما را تغییر دهند؟ آیا این ابزارها واقعاً مثل جادو کار می‌کنند یا فرمول ساده‌ای در پشت صحنه جریان دارد؟
این اپیزود از شب‌گفتار به فصل اول کتاب «مهندسی پرامپت برای مدل‌های زبانی بزرگ» نوشتهٔ جان بریمن و آلبرت زیگلر می‌پردازد و به ما نشان می‌دهد که چطور مدل‌های زبانی از یک ابزار پیش‌بینی سادهٔ کلمات به دستیارهای همه‌فن‌حریف تبدیل شده‌اند.
در گام نخست، مسئله این است که مدل‌های زبانی در بنیادین‌ترین سطح خود فقط کلمهٔ بعدی را پیش‌بینی می‌کنند و این کار ممکن است در نگاه اول ساده و حتی کم‌کاربرد به نظر برسد. نویسندگان نشان می‌دهند که مدل‌های اولیه مانند شبکه‌های عصبی بازگشتی با یک تنگنای اطلاعاتی روبه‌رو بودند زیرا یک بردار تفکر ثابت و محدود داشتند که اطلاعات متن‌های طولانی را فراموش می‌کرد. گزینه‌ای که این مشکل را حل کرد، مکانیسم توجه (Attention Mechanism) بود که به مدل اجازه داد بدون از دست رفتن جزئیات، به بخش‌های مختلف متن توجه کند. نمونهٔ بارز این پیشرفت را در معماری ترنسفورمر (Transformer) می‌بینیم که مبنای مدل‌های جی‌پی‌تی شد و توانست قابلیت‌های چشمگیری در ترجمه و خلاصه سازی ارائه دهد.
مسئلهٔ دوم دربارهٔ جهش مدل‌ها از کارهای تک‌منظوره به مدل‌های چندمنظوره است که با افزایش حجم داده‌ها و پارامترها رخ داد. گزینهٔ پیش رو این بود که مدل‌ها را برای هر کار خاص آموزش دهیم یا از مدل‌های بزرگ‌تری استفاده کنیم که توانایی یادگیری چندنمونه‌ای (Few-Shot) را دارند. ترفند مبادله در اینجا هزینه‌های بالای آموزش و محاسبات است، اما دستاوردش این است که مدل می‌تواند با دیدن تنها چند مثال در ورودی، الگوی مورد نظر را درک کند. برای نمونه، مدل جی‌پی‌تی سه توانست با همین رویکرد، کارهای متنوع زبانی را بدون نیاز به بازآموزی تخصصی انجام دهد.
مسئلهٔ سوم به تعریف دقیق مهندسی پرامپت مربوط می‌شود و اینکه چطور باید با مدل ارتباط برقرار کنیم. گزینهٔ پیش روی توسعه‌دهندگان این است که به نوشتن دستی یک متن پرامپت اکتفا کنند یا یک لایهٔ کاربردی کامل بسازند. ترفند مبادله این است که پرامپت منفرد کنترل محدودی دارد، در حالی که ساختار دادن به تعاملات در قالب یک اپلیکیشن نیازمند مهندسی دقیق است. برای مثال، کدهای کمکی گیت‌هاب در ابتدا فقط فایل جاری را کامل می‌کردند اما نسخه های پیشرفته‌تر توانستند تکه‌های مرتبط کدهای تب‌های مجاور را هم در پرامپت لحاظ کنند تا خروجی دقیق تری تولید شود.
مسئلهٔ چهارم حفظ زمینه و حافظه در گفتگوهای طولانی است که چالش پر شدن ظرفیت مدل را به همراه دارد. گزینه‌ها این است که کل تاریخچه حفظ شود یا بخش‌های قدیمی‌تر حذف و خلاصه شوند. ترفند مبادله در این است که اگر تاریخچه را حذف کنیم، مدل زمینه را گم می‌کند و اگر نگه داریم، با محدودیت اندازه مواجه می‌شویم. به عنوان نمونه، در برنامه‌های گفتگو محور، اپلیکیشن باید با هر پیام جدید، تعاملات قبلی را یادآوری کند و پرامپتی بسازد که نمایندهٔ وفادار گفتگو باشد بدون اینکه مدل را سردرگم کند.
مسئلهٔ پنجم اعطای ابزارها و عاملیت به مدل‌های زبانی است تا بتوانند فراتر از تولید متن عمل کنند. گزینهٔ موجود این است که مدل فقط پاسخ متنی بدهد یا به ابزارهای دنیای واقعی متصل شود. ترفند مبادله این است که اتصال به ابزارها نیازمند مدیریت خطای دقیق است، اما به مدل اجازه می‌دهد کارهای پیچیده‌تری انجام دهد. برای مثال، یک اپلیکیشن ایمیل مبتنی بر هوش مصنوعی می‌تواند ابتدا مخاطب را در فهرست پیدا کند، تقویم را بررسی کند و سپس دعوت‌نامه بفرستد.
پیشنهاد من این است که وقتی از این مدل‌ها استفاده می‌کنید، به جای نوشتن دستورهای مبهم، تعامل خود را به صورت مرحله‌ای و ساختاریافته طراحی کنید تا مدل بتواند قدم‌به‌قدم به مقصد برسد.
امیدواریم از این بررسی لذت برده باشید و تا اپیزودی دیگر، خدانگهدار.