مرور InfoQ · قسمت 2 از 2
وقتی عامل هوش مصنوعی اشتباه میکند، علت را کجا پیدا کنیم؟
۵:۰۲رایگان
با مثال یک فروشگاه، مسیر اجرای عامل را برای پیدا کردن علت پاسخ غلط بررسی میکنیم.
قسمتهای این مجموعه
2 قسمتدربارهٔ این قسمت
با مثال یک فروشگاه، مسیر اجرای عامل را برای پیدا کردن علت پاسخ غلط بررسی میکنیم.
توضیحات کامل و منابع
با مثال یک فروشگاه، مسیر اجرای عامل را برای پیدا کردن علت پاسخ غلط بررسی میکنیم.
تولید مستقل شبگفتار با صدای ساختهشده با هوش مصنوعی.
این شبگفتار است. صدا با هوش مصنوعی ساخته شده. در مرور اینفوکیو میپرسیم وقتی یک عامل هوش مصنوعی در محیط واقعی اشتباه میکند، تیم از کجا بفهمد مشکل در کدام مرحله بوده است؟ یک مثال فرضی را دنبال کنیم. یک فروشگاه عاملی دارد که به سؤال دربارهٔ وضعیت سفارش جواب میدهد. مشتری میپرسد چرا بستهام دیر رسیده؟ عامل میگوید سفارش ارسال شده، در حالی که سفارش هنوز در انبار است. این پاسخ غلط را میشود در یک جدول ثبت کرد. ولی برای اصلاح مسئله باید بدانیم قبل از جواب چه اتفاقی افتاده. آیا عامل شمارهٔ سفارش دیگری را انتخاب کرده؟ آیا ابزار وضعیت سفارش دادهٔ کهنه برگردانده؟ یا داده درست بوده و عامل در توضیحش اشتباه کرده؟ این سه وضعیت میتوانند ظاهر یکسانی داشته باشند و اصلاحشان فرق دارد. گوگل در معرفی ابزار آکوا توضیح میدهد که این ابزار مسیر اجرای عامل را از منابع ثبت رخداد جمع میکند و میتواند اجراهای واقعی را برای پیدا کردن موارد قابل بررسی مرور کند. ارزش این ایده برای تیم کوچک هم قابل فهم است. اگر فقط متن نهایی را داشته باشیم، بیشتر وقت جلسه صرف حدس زدن میشود. اگر بدانیم عامل کدام ابزار را فراخوانده و چه پاسخی گرفته، میتوانیم پرسش محدودتری بپرسیم. ابزار مشاهده به ما سرنخ میدهد و تیم هنوز باید علت را با نمونه و بازتولید بررسی کند. به مثال فروشگاه برگردیم. فرض کنید در پنج گفتوگوی مشابه، چهار بار اطلاعات کهنه از همان ابزار برگشته است. گام بعدی میتواند مقایسهٔ زمان ثبت وضعیت در انبار با زمان دریافت آن در ابزار باشد. شاید یک تأخیر مشخص در بهروزرسانی داده داریم. اگر چنین باشد، تغییر متن راهنمای عامل فایدهٔ محدودی دارد. تیم میتواند روی تازه بودن وضعیت کار کند و در فاصلهٔ اصلاح، زمان آخرین بهروزرسانی را به مشتری نشان دهد. حالا تصور کنید ابزار هر بار دادهٔ درست داشته، اما عامل وضعیت «آمادهٔ ارسال» را «ارسال شده» خوانده است. در این صورت باید معنای وضعیتها در ورودی و جواب روشنتر باشد و همان نمونه را در آزمونهای آینده نگه داریم. برای شروع لازم نیست هر چیزی را ذخیره کنیم. در همین مثال، شناسهٔ فنی اجرا، زمان، نوع عملیات و نتیجهٔ کلی فراخوانی ممکن است برای بازبینی کافی باشد. اگر لاگ شامل نشانی مشتری، شمارهٔ تماس یا متن خصوصی است، دسترسی و مدت نگهداری را باید از ابتدا مشخص کرد. میشود برای یک آزمون قابل تکرار از سفارش ساختگی استفاده کرد. در جلسهٔ بررسی هم میتوان خلاصهٔ مسیر را دید، بدون اینکه جزئیات حساب مشتری دست به دست شود. بعد از اصلاح، یک سؤال دیگر باقی است. از کجا بفهمیم تغییر جواب داده؟ ابتدا همان اجرای مشکلدار را با دادهٔ قابل تکرار بررسی کنیم. سپس چند حالت نزدیک را هم کنار آن بگذاریم. مثلاً سفارش آمادهٔ ارسال، سفارش لغوشده و سفارش تحویلشده. اگر تغییر فقط مورد اول را بهتر کرده و در مورد لغوشده جواب نادرست میدهد، هنوز باید روی آن کار کرد. بعد از انتشار نسخهٔ تازه میتوان نرخ همین نوع خطا را در نمونهای از اجراها دوباره سنجید. مقایسه وقتی معنی دارد که تعریف خطا و نوع درخواستها روشن باشد. برای جلسهٔ بعد تیم، یک پاسخ غلط انتخاب کنید و روی کاغذ چهار خط بنویسید. کاربر چه خواست؟ عامل چه ابزاری صدا زد؟ ابزار چه چیزی برگرداند؟ جواب نهایی چه بود؟ کنار هر خط بنویسید چه چیزی را مشاهده کردهاید و چه چیزی هنوز حدس است. این کار ساده کمک میکند زمان اصلاح را روی مرحلهای بگذارید که شواهد به آن اشاره میکنند. اگر مرحلهای اصلاً قابل مشاهده نیست، همان را به عنوان کار بعدی ثبت کنید. ممکن است اولین بهبود تیم، اضافه کردن یک نشانه به مسیر اجرا باشد تا دفعهٔ بعد بتواند مسئله را سریعتر پیدا کند. لینک مطلب اینفوکیو و توضیح فنی گوگل در صفحهٔ قسمت آمده است. این قسمت تولید مستقل شبگفتار است.