یک مطالعه جدید، از یک برنامه کامپیوتری برای شناسایی مطالعات جعلی تولید شده توسط چت بات استفاده می‌کند. اما تحقیقات قبلی نشان می‌دهد که هوش مصنوعی همچنان قادر است برخی از انسان‌ها را با نوشته‌های علمی خود فریب دهد.
از زمان ورود به صحنه در نوامبر 2022، ChatGPT به یک ابزار بسیار محبوب برای نوشتن گزارش، ارسال ایمیل، پر کردن اسناد، ترجمه زبان ها و نوشتن کد رایانه تبدیل شده است. اما ربات چت همچنین به دلیل سرقت ادبی و عدم دقت آن مورد انتقاد قرار گرفته است، در حالی که این نگرانی را ایجاد کرده است که می تواند به انتشار “اخبار جعلی” و جایگزینی برخی از کارگران انسانی کمک کند.
در مطالعه جدید که در 7 ژوئن در مجله منتشر شد گزارش سلول علم فیزیک، محققان یک برنامه یادگیری کامپیوتری جدید ایجاد کردند تا تفاوت بین مقالات علمی واقعی و نمونه های جعلی نوشته شده توسط ChatGPT را تشخیص دهد. دانشمندان این برنامه را آموزش دادند تا تفاوت های کلیدی بین 64 مطالعه واقعی منتشر شده در مجله Science و 128 مقاله ایجاد شده توسط ChatGPT را با استفاده از همان 64 مقاله به عنوان یک درخواست شناسایی کنند.
سپس این تیم آزمایش کردند که چگونه مدل آنها می تواند بین زیرمجموعه متفاوتی از مقالات واقعی و تولید شده توسط ChatGPT، که شامل 60 مقاله واقعی از مجله Science و 120 مقاله تقلبی تولید شده توسط هوش مصنوعی بود، تفاوت قائل شود. این برنامه بیش از 99 درصد مواقع مقالات نوشته شده با هوش مصنوعی را علامت گذاری می کرد و می توانست تفاوت بین پاراگراف های نوشته شده توسط انسان و پاراگراف های نوشته شده توسط چت بات را در 92 درصد موارد به درستی تشخیص دهد.
مقالات تولید شده توسط ChatGPT از چهار جنبه کلیدی با متن انسانی متفاوت بود: پیچیدگی پاراگراف، تنوع در سطح جمله در طول، علائم نگارشی و “کلمات محبوب”. برای مثال، نویسندگان انسانی پاراگراف‌های طولانی‌تر و پیچیده‌تری می‌نویسند، در حالی که مقالات هوش مصنوعی از علائم نگارشی استفاده می‌کنند که در مقالات واقعی یافت نمی‌شوند، مانند علامت تعجب.
برنامه محققان همچنین بسیاری از خطاهای واقعی آشکار را در مقالات هوش مصنوعی مشاهده کرد.
«یکی از بزرگترین مشکلات این است [ChatGPT] نویسنده اصلی مطالعه، متن را از منابع بسیاری جمع آوری می کند و هیچ نوع بررسی دقیقی وجود ندارد هدر دزایریک شیمیدان تحلیلی در دانشگاه کانزاس در این باره گفت بیانیه. در نتیجه، خواندن نوشته‌های ایجاد شده توسط ChatGPT می‌تواند مانند “بازی دو حقیقت و یک دروغ” باشد.
ایجاد برنامه های کامپیوتری برای تمایز بین مقالات واقعی و تولید شده توسط هوش مصنوعی مهم است زیرا مطالعات قبلی اشاره کرده اند که انسان ها ممکن است در تشخیص تفاوت ها به خوبی عمل نکنند.
در دسامبر 2022، یک گروه تحقیقاتی دیگر مطالعه ای را در سرور پیش چاپ آپلود کرد bioRxivکه نشان داد که داوران مجلات فقط می‌توانند چکیده‌های مطالعاتی ایجاد شده توسط هوش مصنوعی را شناسایی کنند – پاراگراف‌های خلاصه‌ای که در ابتدای مقاله علمی یافت می‌شوند – در حدود 68 درصد مواقع، در حالی که برنامه‌های رایانه‌ای می‌توانند در 99 درصد موارد جعلی را شناسایی کنند. داوران همچنین 14 درصد از مقالات واقعی را جعلی تشخیص دادند. پژوهشگران مطالعه نوشتند که بازبینان انسانی تقریباً در شناسایی کل مقالات در مقایسه با یک پاراگراف بهتر عمل می‌کنند، اما همچنان نشان می‌دهد که خطاهای انسانی می‌تواند باعث شود برخی از محتوای تولید شده توسط هوش مصنوعی مورد توجه قرار نگیرند. (این مطالعه هنوز مورد بازبینی همتایان قرار نگرفته است.)
محققان مطالعه جدید می گویند از اینکه برنامه آنها در از بین بردن کاغذهای جعلی موثر است خوشحال هستند اما هشدار می دهند که این فقط یک اثبات مفهوم است. برای ایجاد مدل‌های قوی‌تر که حتی قابل اعتمادتر هستند و می‌توانند در رشته‌های علمی خاص آموزش داده شوند تا یکپارچگی حفظ شود، به مطالعات گسترده‌تری نیاز است. روش علمی، آنها (خود) در مقاله خود نوشتند.
