سیستم خودکار به کاربران یاد می دهد که چه زمانی با دستیار هوش مصنوعی همکاری کنند | اخبار MIT


مدلهای هوش مصنوعی که الگوها را در تصاویر مشخص میکنند، اغلب میتوانند این کار را بهتر از چشم انسان انجام دهند – اما نه همیشه. اگر رادیولوژیست از یک مدل هوش مصنوعی برای کمک به تشخیص اینکه آیا اشعه ایکس بیمار علائم ذات الریه را نشان می دهد استفاده می کند، چه زمانی باید به توصیه های مدل اعتماد کند و چه زمانی باید آن را نادیده بگیرد؟
به گفته محققان MIT و آزمایشگاه هوش مصنوعی MIT-IBM Watson، یک فرآیند شخصی سازی شده می تواند به رادیولوژیست کمک کند تا به این سوال پاسخ دهد. آنها سیستمی طراحی کرده اند که به کاربر یاد می دهد چه زمانی با دستیار هوش مصنوعی همکاری کند.
در این مورد، روش یادگیری میتواند موقعیتهایی را بیابد که رادیولوژیست به توصیههای مدل اعتماد میکند – مگر اینکه نباید به این دلیل که مدل اشتباه است. این سیستم به طور خودکار قوانینی را در مورد نحوه همکاری با هوش مصنوعی می آموزد و آنها را به زبان طبیعی توصیف می کند.
در طول سوار شدن، رادیولوژیست با استفاده از تمرینهای آموزشی بر اساس این قوانین، همکاری با هوش مصنوعی را تمرین میکند و بازخورد عملکرد خود و عملکرد هوش مصنوعی را دریافت میکند.
محققان دریافتند که این روش سوار شدن منجر به بهبود 5 درصدی در دقت زمانی که انسان ها و هوش مصنوعی در یک کار پیش بینی تصویر با یکدیگر همکاری می کردند، شد. نتایج آنها همچنین نشان میدهد که صرفاً گفتن اینکه کاربر چه زمانی به هوش مصنوعی اعتماد کند، بدون آموزش، عملکرد ضعیفتری دارد.
نکته مهم این است که سیستم محققان کاملاً خودکار است، بنابراین یاد میگیرد که فرآیند سوار شدن را بر اساس دادههای انسانی و هوش مصنوعی در انجام یک کار خاص ایجاد کند. همچنین میتواند با وظایف مختلف سازگار شود، به طوری که میتواند در بسیاری از موقعیتهایی که انسانها و مدلهای هوش مصنوعی با هم کار میکنند، مانند تعدیل محتوای رسانههای اجتماعی، نوشتن و برنامهنویسی، آن را افزایش داده و از آن استفاده شود.
بنابراین اغلب به مردم این ابزارهای هوش مصنوعی داده می شود تا بدون هیچ آموزشی از آنها استفاده کنند تا به آنها کمک کند بفهمند چه زمانی قرار است مفید باشند. این کاری نیست که ما تقریباً با هر ابزار دیگری که مردم استفاده می کنند انجام می دهیم – تقریباً همیشه نوعی آموزش همراه با آن وجود دارد. اما برای هوش مصنوعی، به نظر می رسد این کمبود وجود دارد. حسین مظنار، دانشجوی دوره دکتری سیستمهای اجتماعی و مهندسی در موسسه دادهها، سیستمها و جامعه (IDSS) و نویسنده ارشد این مقاله میگوید: ما در تلاش هستیم تا با این مشکل از دیدگاه روششناختی و رفتاری مقابله کنیم. این فرآیند یادگیری را مستند کنید.
محققان پیش بینی می کنند که چنین نفوذی بخش مهمی از آموزش متخصصان پزشکی خواهد بود.
میتوان تصور کرد، برای مثال، پزشکانی که با کمک هوش مصنوعی تصمیمگیری میکنند، ابتدا باید آموزشهایی مشابه آنچه را که ما پیشنهاد میکنیم، بگذرانند. دیوید سونتاگ، نویسنده ارشد، استاد EECS، عضو آزمایشگاه هوش مصنوعی واتسون واتسون MIT-IBM و کلینیک جمیل MIT، و رهبر این گروه میگوید: ممکن است نیاز به بازنگری در همه چیز از ادامه آموزش پزشکی گرفته تا نحوه طراحی آزمایشهای بالینی داشته باشیم. یادگیری ماشین بالینی آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL).
موزانار، که همچنین محققی در گروه یادگیری ماشین بالینی است، توسط جیمین جی لی، لیسانس مهندسی برق و علوم کامپیوتر در این مقاله همراه شده است. دنیس وی، پژوهشگر ارشد در IBM Research. و Prasanna Sattigeri و Subhro Das، کارکنان تحقیقاتی MIT-IBM Watson AI Lab. مقاله ای که در کنفرانس سیستم های پردازش اطلاعات عصبی ارائه می شود.
یادگیری که تکامل می یابد
روشهای موجود برای همکاری انسان و هوش مصنوعی اغلب شامل مواد آموزشی است که توسط متخصصان انسانی برای موارد استفاده خاص تولید میشود و مقیاسبندی آنها را دشوار میکند. موزنار میگوید: برخی از تکنیکهای مرتبط بر توضیحات تکیه میکنند، جایی که هوش مصنوعی در هر تصمیمی به کاربر اطمینان میدهد، اما تحقیقات نشان میدهد که توضیحات به ندرت مفید هستند.
«قابلیتهای مدل هوش مصنوعی دائماً در حال تغییر است، بنابراین موارد استفاده که انسانها میتوانند به طور بالقوه از آن بهره ببرند در طول زمان در حال افزایش است. در عین حال، درک مصرف کننده از مدل همچنان در حال تغییر است. بنابراین ما به یک روش یادگیری نیاز داریم که در طول زمان نیز تکامل یابد.»
برای رسیدن به این هدف، روش نصب آنها به طور خودکار از داده ها یاد می گیرد. این از یک مجموعه داده ساخته شده است که شامل موارد بسیاری از یک کار است، مانند تشخیص وجود چراغ راهنمایی از یک تصویر تار.
اولین قدم این سیستم جمع آوری داده هایی در مورد انسان و هوش مصنوعی است که وظیفه را انجام می دهد. در این صورت انسان سعی خواهد کرد با کمک هوش مصنوعی پیش بینی کند که آیا تصاویر تار حاوی چراغ راهنمایی هستند یا خیر.
سیستم این نقاط داده را در یک فضای پنهان قرار می دهد، که نمایشی از داده هایی است که در آن نقاط داده مشابه به هم نزدیکتر هستند. از یک الگوریتم برای شناسایی مناطقی از این فضا استفاده می کند که در آن انسان به طور نامناسب با هوش مصنوعی همکاری می کند. این مناطق مواردی را ثبت می کنند که انسان به پیش بینی هوش مصنوعی اعتماد کرده است اما پیش بینی اشتباه بوده است و برعکس.
شاید زمانی که تصاویر یک بزرگراه را در شب نشان می دهند، شخص به اشتباه به هوش مصنوعی اعتماد می کند.
پس از کشف مناطق، الگوریتم دوم از یک مدل زبان بزرگ برای توصیف هر منطقه به عنوان یک قاعده با استفاده از زبان طبیعی استفاده می کند. الگوریتم به طور مکرر این قانون را با یافتن مثالهای متضاد اصلاح میکند. ممکن است این منطقه را به عنوان “هنگامی که شبانه در بزرگراه است هوش مصنوعی را نادیده بگیرید”.
این قوانین برای ساخت تمرینات آموزشی استفاده می شود. سیستم سواری نمونهای را به انسان نشان میدهد، در این مورد یک صحنه تار بزرگراه در شب و همچنین پیشبینی هوش مصنوعی را نشان میدهد و از کاربر میپرسد که آیا تصویر چراغهای راهنمایی را نشان میدهد یا خیر. کاربر می تواند پاسخ دهد بله، خیر یا از پیش بینی هوش مصنوعی استفاده کند.
اگر انسان اشتباه می کند، پاسخ صحیح و آمار مربوط به عملکرد انسان و هوش مصنوعی در آن نمونه های کار به آنها نشان داده می شود. سیستم این کار را برای هر منطقه انجام می دهد و در پایان فرآیند تمرین تمریناتی را که فرد اشتباه کرده است را تکرار می کند.
موزنارد میگوید: «پس از آن فرد چیزی در مورد این مناطق آموخته است که امیدواریم در آینده برای پیشبینیهای دقیقتر استفاده کنیم.
روشن کردن، دقت را افزایش می دهد
محققان این سیستم را با کاربران در دو وظیفه آزمایش کردند – تشخیص چراغ راهنمایی در تصاویر تار و پاسخ به سؤالات چند گزینه ای از بسیاری از زمینه ها (مانند زیست شناسی، فلسفه، علوم رایانه و غیره).
آنها ابتدا نقشه ای با اطلاعاتی در مورد مدل هوش مصنوعی، نحوه آموزش و تقسیم بندی عملکرد آن به دسته های گسترده به کاربران نشان دادند. کاربران به پنج گروه تقسیم شدند: به برخی از آنها فقط نقشه نشان داده شد، برخی از روشهای ورود به سامانه توسط محققان، برخی مراحل اولیه ورود به سامانه را طی کردند، برخی از روشهای ورود به سامانه توسط محققان عبور کردند و توصیههایی در مورد اینکه چه زمانی باید اعتماد کرد یا اعتماد نکرد، دریافت کردند. به هوش مصنوعی و دیگران فقط توصیه هایی داده شد.
تنها روش شامل کردن محققان بدون ارجاع به طور قابل توجهی دقت کاربران را بهبود بخشید و عملکرد آنها را در کار پیشبینی چراغ راهنمایی تا حدود 5 درصد افزایش داد بدون اینکه سرعت آنها کاهش یابد. با این حال، گنجاندن برای تکلیف پرسشپاسخ مؤثر نبود. محققان معتقدند این به این دلیل است که مدل هوش مصنوعی، ChatGPT، توضیحاتی را با هر پاسخ ارائه می دهد که نشان می دهد آیا باید به آن اعتماد کرد یا خیر.
اما ارائه توصیهها بدون انتخاب نتیجه معکوس داشت – کاربران نه تنها عملکرد بدتری داشتند، بلکه زمان بیشتری را صرف پیشبینی کردند.
وقتی شما فقط به کسی توصیه می کنید، به نظر می رسد که او گیج شده است و نمی داند چه کاری انجام دهد. روند آنها را از مسیر خارج می کند. مردم همچنین دوست ندارند به آنها گفته شود چه کار کنند، بنابراین این نیز یک عامل است.
او اضافه می کند که ارائه توصیه ها به خودی خود می تواند به مصرف کننده آسیب برساند اگر آن توصیه ها اشتباه باشد. از سوی دیگر، با Onboarding، بزرگترین محدودیت میزان داده های موجود است. او میگوید، اگر دادههای کافی وجود نداشته باشد، مرحله نصب بهاندازه مؤثر نخواهد بود.
در آینده، او و همکارانش میخواهند مطالعات بزرگتری را برای ارزیابی اثرات کوتاهمدت و بلندمدت گنجاندن انجام دهند. آنها همچنین میخواهند از دادههای بدون برچسب برای فرآیند گنجاندن استفاده کنند و روشهایی برای کاهش مؤثر تعداد مناطق بدون از دست دادن مثالهای مهم بیابند.
«مردم خواه ناخواه سیستمهای هوش مصنوعی را اتخاذ میکنند، و در واقع هوش مصنوعی پتانسیل بالایی دارد، اما این عوامل هوش مصنوعی هنوز هم گاهی اوقات اشتباه میکنند. به همین دلیل است که توسعهدهندگان هوش مصنوعی روشهایی را توسعه دهند که به مردم کمک کند بدانند چه زمانی میتوانند به پیشنهادات هوش مصنوعی اعتماد کنند.» درگیر این تحقیق است. «موذنار و همکاران. روشی نوآورانه برای شناسایی موقعیتهایی که هوش مصنوعی قابل اعتماد است و (مهمتر) توصیف آنها برای انسانها به گونهای که منجر به تعامل بهتر بین انسانها و تیم هوش مصنوعی شود، ایجاد کرد.
این کار تا حدی توسط آزمایشگاه هوش مصنوعی MIT-IBM Watson AI تامین شده است.




