مرور The Pragmatic Engineer · قسمت 2 از 2
چطور بفهمیم هزینهٔ هوش مصنوعی کجا بالا میرود؟
۵:۰۲رایگان
با مثال ابزار پشتیبانی، هزینهٔ هر درخواست، تلاشهای تکراری و کیفیت پاسخ را کنار هم میسنجیم.
قسمتهای این مجموعه
2 قسمتدربارهٔ این قسمت
با مثال ابزار پشتیبانی، هزینهٔ هر درخواست، تلاشهای تکراری و کیفیت پاسخ را کنار هم میسنجیم.
توضیحات کامل و منابع
با مثال ابزار پشتیبانی، هزینهٔ هر درخواست، تلاشهای تکراری و کیفیت پاسخ را کنار هم میسنجیم.
تولید مستقل شبگفتار با صدای ساختهشده با هوش مصنوعی.
این شبگفتار است. صدا با هوش مصنوعی ساخته شده. در مرور پراگماتیک انجینیر میپرسیم وقتی یک قابلیت هوش مصنوعی هزینهاش بالا میرود، چطور بفهمیم پول در کدام مرحله خرج شده و کجا میشود آن را کنترل کرد؟ یک مثال فرضی را در نظر بگیرید. یک شرکت برای تیم پشتیبانی ابزار خلاصهسازی ساخته است. کار ساده به نظر میرسد. وقتی درخواست مشتری طولانی است، ابزار چند خط خلاصه میدهد. بعد شرکت قابلیتی اضافه میکند که برای موارد پیچیده چند بار به ابزارهای دیگر سر میزند، متن قبلی را دوباره میخواند و پیشنهاد میدهد چه جوابی مناسب است. در صورتحساب ماه اول هر دو قابلیت زیر یک نام دیده میشوند. رقم کلی بالا رفته، اما هیچکس نمیداند دلیل آن افزایش تعداد مشتری است یا افزایش تعداد فراخوانیها برای هر کار. تیم مهندسی شرکت اینسیدنت دات آی او در روایت دست اول خود توضیح داده که یک بار رسیدن به سقف صورتحساب، امکانات آزمایشی هوش مصنوعی آنها را از کار انداخت. یکی از درسهایی که از تجربهشان میشود گرفت این است که هزینه را به محل استفاده ربط دهیم. اگر هزینهٔ هر درخواست مدل معلوم باشد، میتوان دید سهم کدام قابلیت یا مرحله بیشتر است. عدد یک شرکت هم الزاماً به شرکت دیگر منتقل نمیشود. نوع کار، مدل، حجم متن و تعداد تلاشها روی هزینه اثر دارند. بیایید برای مثال خودمان از یک جدول کوچک شروع کنیم. هر بار که یک درخواست مشتری وارد میشود، یک شناسهٔ فنی برای کل کار داریم. کنار آن برای هر فراخوانی مینویسیم کدام قابلیت از مدل استفاده کرده، مدل چه بوده و چه مقدار متن یا خروجی حساب شده است. تلاشهایی را که خطا دادهاند یا دوباره انجام شدهاند هم ثبت میکنیم. اگر ابزار برای یک پاسخ سه بار فراخوانی میشود، هزینهٔ رسیدگی به درخواست حاصل جمع آن سه بار است. لازم نیست متن خصوصی مشتری را برای این محاسبه در جدول هزینه ذخیره کنیم. حالا به جای اینکه فقط خرج ماهانه را نگاه کنیم، دو مقدار را از هم جدا کنیم. چند کار انجام شد؟ هر کار به طور معمول چقدر خرج داشت؟ اگر تعداد کارها دو برابر شده و خرج هر کار ثابت است، پرسش اصلی ظرفیت و بودجه است. اگر تعداد کارها ثابت مانده ولی خرج هر کار بالا رفته، باید ببینیم آیا مدل عوض شده، متن بیشتری میفرستیم، یا راه تازهای اضافه شده که درخواست را تکرار میکند. بهتر است حجم خرید و رفتار سیستم را جدا ببینیم تا تصمیم درستی بگیریم. میانگین هم همیشه کافی نیست. فرض کنید بیشتر خلاصهها با یک تماس انجام میشوند و فقط بخش کوچکی از درخواستها پنج تماس لازم دارند. اگر همان بخش کوچک بیشتر بودجه را مصرف کند، محدود کردن همهٔ درخواستها ممکن است کیفیت بخش معمول را بیدلیل پایین بیاورد. میشود چند نمونهٔ گران را بازبینی کرد و دید آیا تکرارها دلیل مشخص داشتهاند. شاید مدل منتظر دادهای بوده که ابزار هر بار همان نتیجه را برمیگردانده. شاید مدارک غیرضروری همراه درخواست میرفتهاند. این دو مورد راهحلهای متفاوتی دارند. کنترل هزینه بدون توجه به کیفیت ممکن است گمراهکننده باشد. مدل کوچکتر شاید خلاصهٔ درخواستهای معمول را به خوبی بنویسد ولی قید مهمی را در پروندههای پیچیده جا بیندازد. بهتر است پیش از تغییر، چند نمونهٔ واقعیِ بینام یا ساختگی آماده کنیم و روشن بگوییم جواب قابل قبول چه شرایطی دارد. سپس هزینه و نرخ جواب قابل استفاده را کنار هم بگذاریم. اگر راه ارزانتر موجب شود کارمند ناچار شود هر جواب را از نو بنویسد، بخشی از هزینه فقط به کار انسانی منتقل شده است. همچنین خوب است برای وقتی که سقف هزینه نزدیک میشود، رفتار مشخصی داشته باشیم. خلاصهٔ ساده شاید بتواند با یک مسیر کمخرج ادامه پیدا کند. درخواست پیچیده شاید لازم باشد برای رسیدگی دستی کنار گذاشته شود و کاربر بفهمد پاسخ فوری ندارد. برای تیم فنی هم هشدار پیش از رسیدن به سقف مفیدتر است. آن زمان هنوز میشود بررسی کرد افزایش هزینه عادی است یا یک تغییر تازه باعث درخواستهای تکراری شده است. اگر این هفته فقط یک کار انجام میدهید، یک قابلیت را انتخاب کنید و از ابتدا تا انتها اندازه بگیرید. هزینه را برای هر درخواست کامل حساب کنید، نه فقط برای نخستین پاسخ مدل. چند مورد گران را بخوانید و انتخاب کنید که کدام تغییر ارزش آزمودن دارد. بعد همان نمونهها را با مسیر تازه دوباره بسنجید. لینک مطلب پراگماتیک انجینیر و یادداشت فنی اینسیدنت دات آی او در صفحهٔ قسمت آمده است. این قسمت تولید مستقل شبگفتار است.