به همین دلیل است که روی آوردن به هوش مصنوعی برای آموزش هوش مصنوعی آینده ممکن است ایده بدی باشد

ابزارهای ChatGPT، Gemini، Copilot و دیگر ابزارهای هوش مصنوعی، جملات و پاراگراف های تاثیرگذاری را فقط از یک خط ساده از دستور متن ایجاد می کنند. برای تولید این کلمات، مدلهای زیربنایی زبانهای بزرگ بر روی مجموعههایی از متن نوشته شده توسط انسان آموزش داده شد و از اینترنت بازیابی شد. اما اکنون که ابزارهای هوش مصنوعی مولد اینترنت را با حجم زیادی از محتوای مصنوعی پر کرده است، از این محتوا برای آموزش نسل های آینده این هوش مصنوعی ها استفاده می شود. محققان می گویند اگر این بدون کنترل ادامه یابد، می تواند فاجعه بار باشد.
ایلیا شومیلوف، دانشمند کامپیوتر و همکارانش در دانشگاه آکسفورد، آموزش مدل های زبان بزرگ بر اساس داده های خود می تواند منجر به فروپاشی مدل شود. طبیعت.
فروپاشی مدل شگفتانگیز به نظر میرسد، اما این بدان معنا نیست که هوش مصنوعیهای مولد به سادگی از کار میافتند. در عوض، پاسخهای ابزارها بیشتر و بیشتر از دادههای آموزشی اولیه خود دور میشوند. اگرچه گاهی اوقات مغرضانه است، اما این داده های اصلی بازنمایی مناسبی از واقعیت است. اما همانطور که ابزارها بر روی داده های خود تولید می شوند، اشتباهات کوچکی که مرتکب می شوند اضافه می شود، محتوای آنها در نهایت تفاوت های ظریف دیدگاه های مختلف را از دست می دهد و به چرندیات تبدیل می شود.
این چیزی است که شومیلوف و همکارانش کشف کردند. این تیم یک مدل زبان از پیش آموزشدیده به نام OPT-125m را انتخاب کرد و برای اصلاح پاسخهای آن، مجموعهای از مقالات ویکیپدیا را به آن داد. سپس تیم به این ابزار یک پیام متنی داد و از آن خواست تا اتفاقات بعدی را پیش بینی کند. پاسخ او برای تنظیم دقیق بیشتر به مدل بازخورد داده شد. هنگامی که هر نسل بعدی با داده های تولید شده از نسل قبلی آموزش دیدند، دریافتند که در نسل نهم این مدل مزخرفات منتشر می کرد. آنچه که به عنوان اشاره ای در مورد معماری قرن چهاردهم شروع شد، به فهرستی از گونه های خرگوش ختم شد. در مجموعه ای دیگر از آزمایش ها، زمانی که تیم برخی از داده های اصلی را نگه داشت، تخریب مدل ناچیز بود.
این مطالعه نشان میدهد که آموزش یک هوش مصنوعی بر اساس پاسخهای خودش عواقب جدی دارد، از جمله تشدید سوگیریها و تبدیل متن به حرفهای بیهوده در صورت عدم بررسی. شرکتهای بزرگ هوش مصنوعی راههایی برای جلوگیری از این نوع فروپاشی دارند، اما از آنجایی که افراد بیشتری شروع به استفاده از مدلهای زبان برای آموزش رباتهای چت خود و سایر هوش مصنوعی میکنند، ممکن است عواقبی به دنبال داشته باشد.
چگونه مدلهای هوش مصنوعی مولد شکست میخورند؟
مدلهای زبان و هوش مصنوعی مولد دهههاست که بیشتر در آزمایشگاههای علوم کامپیوتر وجود داشتهاند. اما تسلط چتباتها جدیدتر است، از نوامبر 2022 که ChatGPT برای عموم منتشر شد. ترکیب سخت افزار بهتری که می تواند اطلاعات را به صورت موازی پردازش کند، به علاوه ظهور ترانسفورماتور، نوعی شبکه عصبی، و در دسترس بودن تریلیون ها نقطه داده با کیفیت بالا که توسط انسان تولید می شود، کلید این تسلط هستند.
«آنچه فروپاشی مدل نشان میدهد شاید کیفیت دادهها باشد [both going in and coming out] کاهش خواهد یافت.”
آنچه که به عنوان اشاره ای در مورد معماری قرن چهاردهم شروع شد، به فهرستی از گونه های خرگوش ختم شد.
شومیلوف میگوید برای درک این موضوع، تصور کنید که به یک برنامه کامپیوتری توضیح دهید که گربه چیست. ما واقعاً نمی دانیم چگونه [to do that] بنابراین ما می دهیم [the LLM] تعدادی مثال [text descriptions] گربه چیست و سپس از مدل بخواهید که تعریف آن موجود را یاد بگیرد. LLM این کار را بدون نظارت یا دستورالعمل صریح با برون یابی از مجموعه مشاهدات داده شده انجام می دهد.
اما چنین برون یابی با خطاهای ظریفی همراه است. شومیلوف آن را به یک بازی تلفنی تشبیه می کند که در آن عبارتی از فردی به فرد دیگر زمزمه می شود تا به آخرین نفر برسد و او آن را با صدای بلند بیان می کند. عبارت اصلی اغلب به دلیل اشتباهاتی که در طول مسیر معرفی می شود به شدت آسیب دیده است. این باعث می شود LLM ها دچار توهم شوند و محتوای قابل باوری تولید کنند که کاملاً درست نیست (SN: 2/1/24).
اگر از چنین محتوای اشتباهی برای آموزش نسخه بعدی مدل یا به طور کامل مدل دیگری استفاده شود، آن محتوا شروع به تأثیرگذاری بر فرآیندهای آموزشی آن مدل ها می کند و در نهایت آنها را به نوعی “شکست” می دهد.
فروپاشی مدل های هوش مصنوعی در زندگی واقعی چگونه خواهد بود؟
لکی لیو، محقق هوش مصنوعی در دانشگاه تگزاس در آستین میگوید فروپاشی مدل اساساً به دور شدن از متن اصلی مورد استفاده برای آموزش مدلها اشاره دارد. یکی از دلایل این امر ناپدید شدن صف های انتشار داده است – متنی که رویدادهای با احتمال کم را نشان می دهد. به عنوان مثال، با استفاده از مثال گربه، مدل ممکن است در توصیف گربه های پشمالو بسیار خوب باشد، اما اطلاعات مربوط به گربه های بدون مو را حفظ نکند.
لیو میگوید که مثال دیگر این است که افراد گروههای اقلیت ممکن است چیزهای متفاوتی را بیان کنند و این نوع متن کمتر و کمتر نمایش داده میشود و بیشتر دادهها را به سمت افراد حاشیهنشین سوق میدهد. این تغییری است که احتمالاً به عنوان کاربران نهایی شاهد آن هستیم. اثر پایین دست محتوای تولید شده توسط هوش مصنوعی خواهد بود که همانطور که مطالعات نشان می دهد نه تنها سوگیری را تقویت می کند، بلکه شروع به یکسان می کند. به طور طبیعی، ما احتمالاً می خواهیم عبارات متفاوتی از خودمان داشته باشیم، اما اگر از دستیار نوشتن یکسان استفاده کنیم، می تواند این تنوع را کاهش دهد.»
برای جلوگیری از افزایش یا شکست سوگیری هوش مصنوعی و انتشار مطالب بیهوده، مهم است که همه داده ها را پیگیری کنید و مطمئن شوید که از دانش قبلی (از جمله متن تولید شده توسط انسان) و همچنین دانش جدید (متن تولید شده توسط هوش مصنوعی) برای آموزش استفاده می شود. لیو می گوید. اساسا، ایده این است که مدلهای جدید را تنها با دادههای تولید شده توسط هوش مصنوعی آموزش ندهیم. برای مثال، یک رویکرد دیگر ممکن است این باشد که به طور صریح اطمینان حاصل کنیم که دم این گربههای بدون مو را میگیریم.
با توجه به اینکه شرکتهای ابزار هوش مصنوعی بهشدت سوگیری دادهها را بررسی میکنند، هر مشکلی زود تشخیص داده میشود و قابل اصلاح است. شومیلوف میگوید، بنابراین احتمال فروپاشی مدل بر کاربران پاییندستی تأثیر نخواهد گذاشت. اما افرادی که سعی در ساخت مدل هایی در مقیاس کوچکتر دارند مطمئناً تحت تأثیر قرار خواهند گرفت و باید از خطر آن آگاه باشند.
Source link




