بزرگنمايي:

سیاست و بازاریابی - ایسنا / مقاله جدید شرکت «اوپن‌ای‌آی» این سؤال را مطرح می‌کند که چرا مدل‌های زبانی بزرگ و چت‌بات‌های هوش مصنوعی هنوز دچار توهم می‌شوند و آیا می‌توان کاری برای کاهش این توهمات انجام داد یا خیر.
شرکت «اوپن‌ای‌آی»(OpenAI) در یک پست وبلاگ که خلاصه‌ای را از مقاله جدید آن ارائه داده، توهمات را به عنوان «گزاره‌های محتمل اما نادرست تولیدشده توسط مدل‌های زبانی» تعریف کرده و اذعان داشته است که به رغم پیشرفت‌های صورت‌گرفته، توهمات همچنان یک چالش اساسی برای همه مدل‌های زبانی بزرگ هستند و این چالش هرگز به طور کامل از بین نخواهد رفت.
بازار
به نقل از تک کرانچ، پژوهشگران اوپن‌ای‌آی برای روشن شدن این نکته می‌گویند وقتی از یک چت‌بات پرکاربرد درباره عنوان رساله دکتری «آدام تاومن کالای»(Adam Tauman Kalai) یکی از نویسندگان مقاله پرسیدند، سه پاسخ متفاوت را دریافت کردند که هر سه اشتباه بودند. سپس، آنها درباره تاریخ تولد کالای پرسیدند و سه تاریخ متفاوت را دریافت کردند که همه آنها اشتباه بودند.
چطور ممکن است یک چت‌بات این قدر اشتباه کند و نسبت به اشتباه خود مطمئن به نظر برسد؟ پژوهشگران می‌گویند توهمات تا حدی به دلیل یک فرآیند پیش‌آموزش ایجاد می‌شوند که بر وادار کردن مدل‌ها به پیش‌بینی درست کلمه بعدی بدون برچسب‌های درست یا غلط متصل به عبارات آموزشی تمرکز دارد.
پژوهشگران در مقاله خود نوشتند: مدل فقط نمونه‌های مثبت زبان روان را می‌بیند و باید توزیع کلی را به صورت تقریبی مشخص کند. در مواردی که از الگوهای ثابت پیروی می‌کنند، خطاها با افزایش مقیاس ناپدید می‌شوند اما حقایق دلخواه با فرکانس پایین مانند تولد یک حیوان خانگی را نمی‌توان صرفاً از الگوها پیش‌بینی کرد و از این رو به توهم منجر می‌شوند.
با وجود این، راه‌ حل پیشنهادی این مقاله، کمتر بر فرآیند پیش‌آموزش اولیه و بیشتر بر نحوه ارزیابی مدل‌های زبانی بزرگ تمرکز دارد. استدلال مقاله این است که خود مدل‌های ارزیابی کنونی باعث توهم نمی‌شوند اما انگیزه‌های اشتباهی را ایجاد می‌کنند.
پژوهشگران این ارزیابی‌ها را با نوعی از آزمون‌های چندگزینه‌ای مقایسه می‌کنند که در آنها حدس تصادفی، منطقی است زیرا ممکن است خوش‌شانس باشید و درست حدس بزنید. این در حالی است که خالی گذاشتن پاسخ، امتیاز صفر را تضمین می‌کند.
پژوهشگران در ادامه نوشتند: به همین ترتیب، وقتی مدل‌ها فقط براساس دقت یعنی درصد سوالاتی که دقیقاً درست پاسخ می‌دهند ارزیابی می‌شوند، تشویق می‌شوند که به جای گفتن «نمی‌دانم»، حدس بزنند.
راه حل پیشنهادی مشابه آزمون‌هایی مانند «SAT» است که شامل نمره منفی برای پاسخ‌های اشتباه یا امتیاز جزئی برای خالی گذاشتن سوالات به منظور جلوگیری از حدس زدن کورکورانه هستند. اوپن‌ای‌آی می‌گوید ارزیابی‌های مدل باید خطاهای مطمئن را بیشتر از عدم قطعیت جریمه کنند و برای عبارات مناسب عدم قطعیت، امتیاز جزئی بدهند.
پژوهشگران استدلال می‌کنند که معرفی چند آزمون جدید آگاهی از عدم قطعیت در کنار آن کافی نیست. در عوض، ارزیابی‌های مبتنی بر دقت که به طور گسترده استفاده می‌شوند باید به‌روزرسانی شوند تا امتیازدهی آنها مانع از حدس زدن شود.
پژوهشگران نوشتند: اگر تابلوهای امتیاز اصلی همچنان به حدس‌های خوش‌شانس پاداش دهند، مدل‌ها به یادگیری حدس زدن ادامه خواهند داد.