بزرگنمايي:

سیاست و بازاریابی - ایسنا /خطاهای هوش مصنوعی ممکن است غیر قابل جبران باشند، این مشکل برای استفاده از هوش مصنوعی در حوزه پزشکی و مراقبت‌های بهداشتی شدیدتر خواهد بود و سلامتی انسان‌ها را به خطر خواهد انداخت.
موفقیت هوش مصنوعی در دهه گذشته به شکل‌گیری اشتیاق بی‌حدوحصر و ادعاهای جسورانه انجامیده است؛ اگرچه کاربران به طور منظم اشتباهاتی را که هوش مصنوعی مرتکب می‌شود، تجربه می‌کنند. یک دستیار دیجیتال مجهز به هوش مصنوعی می‌تواند گفتار یک شخص را به شیوه‌های شرم‌آوری اشتباه بفهمد، یک چت‌بات می‌تواند درباره حقایق توهم داشته باشد یا یک سیستم مسیریابی مبتنی بر هوش مصنوعی ممکن است رانندگان را در یک مزرعه ذرت به صورت اشتباه راهنمایی کند. همه این موارد ممکن است بدون خطا هم انجام شوند.
بازار
به نقل از کانورسیشن، مردم این خطاها را تحمل می‌کنند زیرا هوش مصنوعی وظایف خاصی را کارآمدتر می‌کند. طرفداران به طور فزاینده‌ای از به کار بردن هوش مصنوعی -گاهی اوقات با نظارت محدود انسانی- در زمینه‌هایی مانند مراقبت‌های بهداشتی که خطاها هزینه بالایی دارند، حمایت می‌کنند. به عنوان مثال، لایحه‌ای که در اوایل سال 2025 در مجلس نمایندگان آمریکا ارائه شد، به سیستم‌های هوش مصنوعی اجازه می‌دهد تا داروها را به صورت خودکار تجویز کنند. از آن زمان، پژوهشگران حوزه بهداشت و همچنین قانون‌گذاران درباره این که آیا چنین تجویزی امکان‌پذیر یا توصیه می‌شود، بحث کرده‌اند.
هنوز مشخص نیست که اگر این قانون یا قانون مشابه تصویب شود، چنین تجویزی دقیقاً چگونه عمل خواهد کرد اما این قانون، میزان خطاهایی را که توسعه‌دهندگان هوش مصنوعی می‌توانند اجازه ارتکاب آنها را به فناوری‌های خود بدهند، افزایش می‌دهد و اگر این فناوری‌ها به بروز نتایج منفی -حتی مرگ بیمار- منجر شوند، عواقبی خواهد داشت.
به طور ویژه برای هوش مصنوعی، خطاها ممکن است نتیجه اجتناب‌ناپذیر نحوه عملکرد سیستم‌ها باشند. پژوهش‌های آزمایشگاه «کارلوس گرشنسون»(Carlos Gershenson) استاد نوآوری «دانشگاه بینگهمتون»(Binghamton University) نشان می‌دهند که ویژگی‌های خاص داده‌های مورد استفاده، در آموزش مدل‌های هوش مصنوعی نقش دارند. صرف نظر از این که پژوهشگران چقدر زمان، تلاش و بودجه را صرف بهبود مدل‌های هوش مصنوعی می‌کنند، بعید است که این وضعیت تغییر کند.
هیچ‌کس، هیچ چیز و حتی هوش مصنوعی بی‌نقص نیست
زمانی «آلن تورینگ»(Alan Turing) پدر علم رایانه گفت: «اگر انتظار می‌رود یک ماشین معصوم باشد، نمی‌تواند هوشمند نیز باشد.» دلیلش این است که یادگیری، بخش اساسی هوش است و مردم معمولاً از اشتباهات درس می‌گیرند.
گرشنسون گفت: من و همکارانم در پژوهشی که در ژوئیه 2025 منتشر شد، نشان دادیم که سازمان‌دهی کامل مجموعه داده‌های خاص در گروه‌های واضح ممکن است غیرممکن باشد. به عبارت دیگر، ممکن است حداقل میزان خطایی وجود داشته باشد که یک مجموعه داده مشخص را ایجاد می‌کند؛ صرفاً به این دلیل که عناصر بسیاری از گروه‌ها با یکدیگر هم‌پوشانی دارند. برای برخی از مجموعه داده‌ها که زیربنای اصلی بسیاری از سیستم‌های هوش مصنوعی هستند، هوش مصنوعی بهتر از شانس عمل نخواهد کرد.
ویژگی‌های خاص داده‌های مورد استفاده، در آموزش مدل‌های هوش مصنوعی نقش دارند. صرف نظر از این که پژوهشگران چقدر زمان، تلاش و بودجه را صرف بهبود مدل‌های هوش مصنوعی می‌کنند، بعید است که این وضعیت تغییر کند.برای مثال، مدلی که براساس مجموعه داده‌های به‌دست‌آمده از میلیون‌ها سگ آموزش دیده است و فقط سن، وزن و قد آنها را ثبت می‌کند، احتمالاً می‌تواند نژاد «چی‌واوا» را از «گریت دین‌« با دقت کامل تشخیص دهد اما ممکن است در تشخیص یک «مالاموت آلاسکایی» و یک «دوبرمن» اشتباه کند زیرا نژادهای متفاوت ممکن است در محدوده یکسانی از سن، وزن و قد قرار بگیرند.
گرشنسون ادامه داد: این دسته‌بندی، طبقه‌بندی‌پذیری نامیده می‌شود و من و دانشجویانم مطالعه‌ آن را از سال 2021 آغاز کردیم. ما با استفاده از داده‌های بیش از نیم میلیون دانشجو که بین سال‌های 2008 تا 2020 در «دانشگاه مستقل ملی مکزیک»(UNAM) تحصیل کرده بودند، می‌خواستیم یک مسئله‌ به ظاهر ساده را حل کنیم. ما می‌خواستیم بدانیم آیا می‌توانیم از یک الگوریتم هوش مصنوعی برای پیش‌بینی این که کدام دانشجویان مدرک دانشگاهی خود را به موقع -یعنی ظرف سه، چهار یا پنج سال از آغاز تحصیل بسته به رشته‌ی تحصیلی- به پایان می‌رسانند، استفاده کنیم.
وی افزود: ما چندین الگوریتم محبوب را که برای طبقه‌بندی در هوش مصنوعی استفاده می‌شوند، آزمایش کردیم و الگوریتم خودمان را نیز توسعه دادیم. هیچ الگوریتمی کامل نبود. بهترین آنها -حتی الگوریتمی که ما به طور ویژه برای این کار توسعه دادیم- به میزان دقت حدود 80 درصد دست یافتند؛ به این معنی که حداقل از هر پنج دانش‌آموز یک نفر به اشتباه طبقه‌بندی شده بود. ما متوجه شدیم که بسیاری از دانش‌آموزان از نظر نمره، سن، جنسیت، وضعیت اجتماعی-اقتصادی و سایر ویژگی‌ها یکسان هستند. تحت این شرایط، هیچ الگوریتمی قادر به ارائه پیش‌بینی‌های کامل نخواهد بود.
گرشنسون گفت: ممکن است فکر کنید که داده‌های بیشتر، پیش‌بینی‌پذیری را بهبود می‌بخشد اما این معمولاً با بازدهی نزولی همراه است. این بدان معناست که به عنوان مثال، برای هر یک درصد افزایش دقت ممکن است به 100 برابر داده‌ها نیاز داشته باشید. بنابراین، ما هرگز دانش‌آموز کافی را برای بهبود قابل توجه عملکرد مدل خود نخواهیم داشت.
خطاهایی که توسط فناوری‌های هوش مصنوعی ایجاد می‌شوند، اساساً طبقه‌بندی‌های نادرستی هستند که توسط یک الگوریتم محاسباتی انجام می‌گیرند. درک چگونگی تبدیل این موارد به تأثیر بالینی بر بیماران اغلب ناقص است؛ به این معنی که گزارش واقعی درباره ایمنی فناوری هوش مصنوعی ناقص است.علاوه بر این، بسیاری از تغییرات غیر قابل پیش‌بینی در زندگی دانشجویان و خانواده‌هایشان -بیکاری، مرگ، بارداری- ممکن است پس از سال اول دانشگاه رخ دهند که احتمالاً بر اتمام به موقع تحصیلات تأثیر می‌گذارد. بنابراین حتی با وجود تعداد نامحدودی از دانشجویان، پیش‌بینی‌های ما همچنان خطا خواهند داشت.
به نقل از وب‌سایت رسمی موسسه ملی سلامت آمریکا، تعداد فزاینده‌ای از فناوری‌های مبتی بر هوش مصنوعی در حال حرکت به سمت بخش بالینی در سراسر حوزه پزشکی هستند. معرفی چنین فناوری‌هایی، مزایای متعددی را برای تخصص‌های تشخیصی به همراه خواهد داشت که از جمله آنها می‌توان به افزایش دقت و کارآیی تشخیص اشاره کرد. با وجود این، از آنجا که هیچ فناوری هوش مصنوعی مصون از خطا نیست، استفاده از آنها به طور ناگزیر خطاهای جدیدی را ایجاد خواهد کرد.
خطاهایی که توسط فناوری‌های هوش مصنوعی ایجاد می‌شوند، اساساً طبقه‌بندی‌های نادرستی هستند که توسط یک الگوریتم محاسباتی انجام می‌گیرند. درک چگونگی تبدیل این موارد به تأثیر بالینی بر بیماران اغلب ناقص است؛ به این معنی که گزارش واقعی درباره ایمنی فناوری هوش مصنوعی ناقص است.
بهتر است که خطاهای ناشی از فناوری‌های هوش مصنوعی از دیدگاه پاتولوژیک و بالینی ارزیابی و گزارش شوند، نحوه انجام شدن کار در مطالعات مربوط به خطاهای پاتولوژیست انسانی نشان داده شود و در صورت امکان، نمونه‌هایی از پاتولوژی و رادیولوژی ارائه شود.
محدودیت‌های پیش‌بینی
به طور کلی‌تر، آنچه پیش‌بینی را محدود می‌کند، پیچیدگی است. اجزایی که یک سیستم پیچیده را تشکیل می‌دهند، درهم‌تنیده هستند و این تعاملات بین آنهاست که تعیین می‌کند چه اتفاقی برای آنها رخ خواهد داد و چگونه رفتار خواهند کرد. بنابراین، مطالعه‌ عناصر سیستم به صورت جداگانه احتمالاً اطلاعات گمراه‌کننده‌ای را درباره آنها و همچنین درباره کل سیستم به دست می‌دهد.
برای مثال، خودرویی را در نظر بگیرید که در یک شهر در حال حرکت است. با دانستن سرعت رانندگی آن می‌توان از نظر تئوری پیش‌بینی کرد که در یک زمان خاص به کجا خواهد رسید اما در ترافیک واقعی، سرعت آن به تعامل با سایر وسایل نقلیه در جاده بستگی دارد. از آنجا که جزئیات این تعامل‌ در لحظه ظاهر می‌شوند و نمی‌توان از قبل آنها را دانست، پیش‌بینی دقیق آنچه برای خودرو رخ می‌دهد، تنها چند دقیقه بعد امکان‌پذیر است.
آنچه پیش‌بینی را محدود می‌کند، پیچیدگی است. اجزایی که یک سیستم پیچیده را تشکیل می‌دهند، درهم‌تنیده هستند و این تعاملات بین آنهاست که تعیین می‌کند چه اتفاقی برای آنها رخ خواهد داد و چگونه رفتار خواهند کرد.همین اصول درباره تجویز داروها نیز صدق می‌کند. شرایط و بیماری‌های گوناگون می‌توانند علائم یکسانی داشته باشند و افراد مبتلا به بیماری یکسان ممکن است علائم متفاوتی را نشان دهند. به عنوان مثال، تب می‌تواند ناشی از بیماری تنفسی یا گوارشی باشد و سرماخوردگی ممکن است باعث سرفه شود اما همیشه این طور نیست. این بدان معناست که مجموعه داده‌های مراقبت‌های بهداشتی همپوشانی‌های قابل توجهی دارند که مانع از آن می‌شود تا هوش مصنوعی بدون خطا باشد.
قطعا انسان‌ها هم اشتباه می‌کنند اما وقتی هوش مصنوعی بیماری یک بیمار را اشتباه تشخیص می‌دهد که مطمئناً این اتفاق خواهد افتاد، وضعیت در یک برزخ قانونی قرار می‌گیرد. مشخص نیست که در صورت آسیب دیدن بیمار، چه کسی یا چه چیزی مسئول خواهد بود. شرکت‌های داروسازی؟ توسعه‌دهندگان نرم‌افزار؟ آژانس‌های بیمه؟ داروخانه‌ها؟
در بسیاری از زمینه‌ها، نه انسان‌ها و نه ماشین‌ها بهترین گزینه برای یک کار مشخص نیستند. «هوش هیبریدی» یعنی ترکیبی از انسان‌ها و ماشین‌ها معمولاً بهتر از هر کدام به تنهایی عمل می‌کنند. یک پزشک مطمئناً می‌تواند از هوش مصنوعی برای تصمیم‌گیری درباره داروهای احتمالی برای بیماران گوناگون، بسته به سابقه پزشکی، جزئیات فیزیولوژیکی و ساختار ژنتیکی آنها استفاده کند. پژوهشگران در حال حاضر در حال بررسی این رویکرد در پزشکی دقیق هستند.
عقل سلیم و اصل احتیاط می‌گوید که هنوز برای تجویز دارو توسط هوش مصنوعی بدون نظارت انسان خیلی زود است و این واقعیت که ممکن است خطاهایی در این فناوری رخ دهد، می‌تواند به این معنی باشد که وقتی سلامت انسان در خطر است، نظارت انسانی همیشه ضروری خواهد بود.