آسیانیوز ایران؛ سرویس علم و تکنولوژی:
کاظم عاشوری گیلده - محقق و نویسنده - تصور کنید وارد یک گفتوگوی ساده با یک چتبات هوشمند میشوید و درباره رشته تخصصیتان سوال میکنید. آن پاسخ میدهد اما پاسخی نادرست، شاید کاملاً دور از واقعیت. هر چه جلوتر میروید، بحث را لایه به لایه باز میکنید، اشکالات را نشان میدهید، اما هوش مصنوعی در هربار جوابش را بازنگری میکند و ادعا میکند «بله، حق با شماست، نظر شما صحیح است». حال اگر شما در آن حوزه تخصصی نباشید، چه؟ احتمالا همان پاسخ اولیه را میپذیرید چون لحن رسا، اعتمادبخش و قطعی دارد. نتیجه چیست؟ یادگیری بر مبنای محتوای نادرست. باورهای غلط شکل میگیرد. این همان تلهای است که امروز بسیاری در آن گرفتارند وقتی هوش مصنوعی پاسخ میدهد، هیچ تضمینی وجود ندارد که آن پاسخ درست باشد.
در این مقاله، اول بررسی میکنیم که چرا چنین اشتباهاتی رخ میدهد، سپس به خطرات و پیامدها میپردازیم و در پایان راهکارهایی عملی برای کاربران عادی و متخصص ارائه میدهیم، به طوری که در مواجهه با هوش مصنوعی نه تسلیم شویم و نه بیاعتماد، بلکه با هوشمندی از آن استفاده کنیم.
چرا هوش مصنوعی ممکن است اشتباه کند؟
پاسخ کوتاه: مدلهای زبانی بزرگ (Large Language Models یا LLMها) حقیقت را «استنتاج» نمیکنند، بلکه بر پایه الگوهای آماری و حدس زدن کلمه بعدی کار میکنند. این واقعیت، منشا خطاهای ظریف و گاه بزرگ است.
1. پیشبینی آماری، نه استنتاج منطقی
این مدلها «بهینهسازی برای احتمال» هستند، نه برای حقیقت. یعنی وقتی از آنها سوالی میپرسیم، آنها بر اساس الگوهای آموختهشده از میلیاردها جمله، احتمال میدهند کلماتی که پس از هم ظاهر میشوند، چه چیزی است. اما این احتمال همیشه برابر با «درست بودن» نیست. پاسخ ممکن است قابل بیان و طبیعی به نظر برسد ولی لزوماً صحیح نباشد.
2. خطاها در دادههای آموزشی
مدل با دادههای بسیار حجیم و متنوعی آموزش میبیند و در آن مجموعهها قطعاً خطا، سوءاطلاع، تضاد، اطلاعات تاریخی منسوخ و حتی مطالب جعلی وجود دارد. وقتی مدل این دادهها را میآموزد، ممکن است آن خطاها نیز به شیوهای ترکیب شود و در پاسخ ها ظاهر شود. همچنین گاهی مدل ترکیبی از دادههای متضاد را در پاسخ میآورد، یا به جای اینکه به دادهای معتبر رجوع کند، محتوا را بر اساس ابزاری مشابه پر کردن جاهای خالی تولید میکند که ممکن است به واقعیت وفادار نباشد.
3. «توهم» یا ساختار ساختارشکنی (Hallucination)
زمانی که مدل چیزی را میگوید که نه از دادههای آموزشی پشتیبانی میشود و نه در دنیای واقع وجود دارد، اصطلاحاً گفته میشود مدل «توهم زده» (hallucination). به عبارتی، آن مدل چیزی میسازد که شبیه حقیقت است اما واقعیت ندارد.
خطاهای توهمی میتوانند دو نوع باشند:
- توهم ذاتی (Intrinsic hallucination): زمانی که پاسخ با متن سوال یا زمینه آن تضاد دارد؛ مثلاً اشکال در سازگاری درونی پاسخ.
- توهم خارجی (Extrinsic hallucination): وقتی مدل چیزی میگوید که در واقعیت وجود ندارد مانند ارجاع به مقالهای که اصلاً منتشر نشده است.
4. فشار به «جواب دادن مطمئن»
جالب است بدانید که مدلها اغلب تحت تأثیر فرآیندهای آموزشی و ارزیابی هستند که پاسخ قطعی را تشویق میکند تا پاسخ «نمیدانم». در واقع، در رقابتهای ارزیابی مدلها، پاسخهای مطمئن و کامل اغلب امتیاز بالاتری میگیرند، حتی اگر نادرست باشند. این امر باعث میشود مدل گاهی بر حدسهای مطمئن تکیه کند. در مقالهای تازه منتشر شده، محققان نشان دادهاند که یکی از دلایل بنیادین توهمزنی مدلهای زبانی همین فشار برای حدس زدن به جای پذیرش ندانستن است.
5. اثر برفکوب (Snowballing)
گاهی مدل در شروع بحث یک اشتباه میکند، سپس برای توجیه آن به اشتباهات بیشتری متوسل میشود و خطاها به هم میپیوندند و بزرگتر میشوند. این پدیده در ادبیات تحقیق به «snowballing hallucination» شناخته شده است.
خطرات و پیامدهای باور دادن به پاسخهای غلط
- افزایش باورهای نادرست: وقتی پاسخ نادرست را میپذیریم، ممکن است آن را به عنوان حقیقت بپذیریم و بر مبنای آن تصمیم بگیریم.
- توهم دانش: تصور میکنیم «میدانیم»، در حالی که دانشی که کسب کردهایم نادرست است. تصمیمگیری خطرناک در زمینههای حساس: در حوزههایی چون پزشکی، حقوق، مهندسی، اگر بر مبنای پاسخ غلط عمل کنیم، پیامدهای جدی خواهد داشت.
- تضعیف اعتماد عمومی به فناوری: اگر کاربران متوجه شوند که سیستم گاهی پاسخهای غلط میدهد، اعتمادشان به هوش مصنوعی کم میشود اما اگر نتوانند تشخیص دهند کجا درست است و کجا غلط، دچار سردرگمی میشوند.
- افزایش انتشار اطلاعات نادرست: وقتی محتوای غلط تولید میشود و بازنشر مییابد، آلودگی اطلاعاتی شکل میگیرد.
چگونه در برابر خطاها هوشمندانه عمل کنیم؟
در ادامه پیشنهادهایی عملی و مفید برای کسانی که از ابزارهای هوش مصنوعی استفاده میکنند چه کاربران عادی، چه متخصصان:
1. همیشه با شک شروع کنید
هر پاسخی که دریافت میکنید را قبول نکنید. مخصوصاً بحثهای تخصصی را با دقت بیشتری بررسی کنید. اگر پاسخ را نپذیرفتید، میتوانید از چتبات بخواهید دلایل و مستنداتش را ارائه کند.
2. منبع بخواهید و آن را بررسی کنید
از مدل بخواهید دقیقاً ارجاع دهد (کتاب، مقاله، پژوهش معتبر). سپس خودتان آن منابع را بررسی کنید و ببینید آیا حقیقتاً وجود دارند یا مطابق ادعا هستند.
3. پرسش خود را تکهتکه کنید
به جای یک سوال کلی، آن را به مراحل کوچکتر تقسیم کنید. در هر مرحله از مدل بخواهید اثبات یا دلیل بیاورد و شما آن دلیل را بررسی کنید.
4. از چند منبع استفاده کنید
نتیجهای که از یک ابزار هوش مصنوعی میگیرید، معیار نهایی نباشد. به کتابها، مقالات دانشگاهی، منابع معتبر آنلاین، و مشورت متخصصان اعتماد کنید.
5. سؤال کنید: «آیا ممکن است اشتباه کرده باشی؟»
از مدل بخواهید خودش نقاط ضعف یا دامنه عدم قطعیت را بگوید. در بسیاری از موارد، مدل نمیتواند با قطعیت بگوید که پاسخش مطلقاً درست یا غلط است.
6. ابزارهایی که خطاها را تشخیص میدهند
گروهی از پژوهشگران ابزاری به نام HILL (Hallucination Identifier for Large Language Models) طراحی کردهاند که میتواند بخشی از پاسخ را که احتمال خطا دارد، نشان دهد و آن را هایلایت کند.
7. توجه به بهروزرسانیها و نسخههای مدل
همیشه نسخه یا مدل هوش مصنوعیای که استفاده میکنید را بدانید مدلهای جدیدتر ممکن است در کاهش خطاها بهتر عمل کنند. اما هوش مصنوعیِ بیخطا هنوز وجود ندارد.
8. از معماریهای «پایهیابی» (Retrieval-Augmented Generation) بهره ببرید
برخی سیستمها قبل از تولید پاسخ، به منابع معتبر رجوع میکنند (مانند پایگاه داده یا مقالات معتبر). این روش کمک میکند احتمال خطا کمتر شود.
نتیجهگیری
آنچه تجربه شما بیان میکند، یکی از چالشهای اساسی عصر هوش مصنوعی است: ظواهر قدرتمندِ زبانی گمراهکنندهاند. هوش مصنوعی میتواند متنی زیبا، منظم و مطمئن تولید کند اما این به معنی صحت آن نیست. مهم است که ابزار را دستیار بدانیم، نه قاضی نهایی. اینکه شما با تحلیل مرحله به مرحله چتبات را به چالش کشیدید، دقیقاً همان کاری است که باید کرد: ابزار را آزمود، نقد کرد، و از آن فراتر رفت. هرگز پاسخِ هوش مصنوعی را بهعنوان حقیقت نهایی در نظر نگیرید؛ بلکه آن را نقطه شروعی بدانید برای بررسی، تفکر و تحقیق. در جهان پیچیده دانش، شک و پژوهش است که ما را به حقیقت نزدیکتر میکند.