پس از انتشار ChatGPT و متعاقب آن ظهور نرم افزارهای تشخیص، توسعه دهندگان و شرکت های مختلف الگوریتم های هوش مصنوعی (AI) خود را با هدف شناسایی محتوای تولید شده توسط سایر سیستم های هوش مصنوعی معرفی کردند. این نرم‌افزارهای شناسایی به‌عنوان ابزارهای ارزشمندی برای مربیان، روزنامه‌نگاران و افرادی قرار گرفته‌اند که به دنبال کشف مواردی از اطلاعات نادرست، سرقت ادبی، و عدم صداقت دانشگاهی هستند. با این حال، مطالعه‌ای که اخیراً توسط محققان دانشگاه استنفورد انجام شده است، قابلیت اطمینان این نرم‌افزارهای شناسایی را به‌ویژه هنگام ارزیابی محتوای تولید شده توسط افراد غیر انگلیسی زبان مورد تردید قرار داده است.
یافته های این مطالعه واقعیت نگران کننده ای را نشان می دهد. در حالی که نرم افزار تشخیص دقت قابل توجهی در ارزیابی مقاله های نوشته شده توسط دانش آموزان کلاس هشتم آمریکایی نشان داد، عملکرد آنها در هنگام تجزیه و تحلیل مقالات نوشته شده توسط افرادی که به زبان انگلیسی در آزمون انگلیسی به عنوان زبان خارجی (TOEFL) نوشته شده بودند، به میزان قابل توجهی کاهش یافت. با کمال تعجب، نرم افزار تشخیص به اشتباه بخش قابل توجهی از مقالات تافل را شناسایی کرد و به اشتباه آنها را به عنوان تولید شده توسط هوش مصنوعی طبقه بندی کرد.
علاوه بر این، این مطالعه یک مکاشفه قابل توجه را نشان داد: هر 7 نرم افزار تشخیص به طور تصادفی تعداد قابل توجهی از مقالات مکتوب دانشجویان تافل را به عنوان تولید شده توسط هوش مصنوعی برچسب گذاری کردند. به طرز شگفت آوری، حداقل یک آشکارساز اکثریت قریب به اتفاق این مقالات را علامت گذاری کرده است. جیمز زو، نویسنده ارشد این مطالعه و استاد متخصص در علم داده‌های زیست پزشکی، توضیح می‌دهد که این مسئله از اتکای شدید نرم‌افزار تشخیص به یک معیار خاص مرتبط با پیچیدگی نوشتن ناشی می‌شود.
این معیار که به طور پیچیده با پیچیدگی زبان مرتبط است، عوامل زبانی مختلفی مانند غنای واژگانی، تنوع و پیچیدگی های نحوی و دستوری را در بر می گیرد. متأسفانه، افرادی که به زبان انگلیسی صحبت نمی کنند، معمولاً امتیازات پایین تری را در این معیار نشان می دهند که چالش مهمی برای نرم افزار تشخیص است.
نویسندگان این مطالعه، از جمله زو و همکارانش، بر پیامدهای عمیق یافته های خود تأکید می کنند. آنها توجه را به احتمال اتهامات و مجازات های ناعادلانه برای افرادی که دانشجو یا کارگر خارجی هستند به دلیل غیرقابل اعتماد بودن ذاتی تشخیص نرم افزار جلب می کنند. نگرانی‌های اخلاقی به وجود می‌آیند و هشدار می‌دهند که صرفاً به نرم‌افزار شناسایی موجود به‌عنوان راه‌حلی جامع برای مبارزه با تقلب هوش مصنوعی اتکا نکنید.
Zou همچنین آسیب‌پذیری تشخیص نرم‌افزار را در برابر پدیده‌ای به نام «مهندسی سریع» برجسته می‌کند. این عمل شامل دستکاری سیستم‌های هوش مصنوعی مولد با دستور دادن به آنها برای اصلاح محتوا با استفاده از زبان پیشرفته‌تر است و دانش‌آموزان را قادر می‌سازد تا به راحتی نرم‌افزار شناسایی را دور بزنند. Zou یک مثال ساده از اینکه چگونه یک دانش‌آموز می‌تواند از ChatGPT برای مقاصد تقلب با وارد کردن متن ایجاد شده توسط هوش مصنوعی همراه با یک فرمان برای تقویت آن با استفاده از عبارات ادبی پیچیده استفاده کند، ارائه می‌کند.
برای رسیدگی به این چالش ها، زو چندین اقدام بالقوه را پیشنهاد می کند. در کوتاه مدت، او توصیه می‌کند که وابستگی به تشخیص نرم‌افزار در محیط‌های آموزشی با جمعیت قابل‌توجهی از افرادی که به زبان انگلیسی صحبت نمی‌کنند یا افراد با مهارت محدود انگلیسی، به حداقل برسد. توسعه‌دهندگان باید معیارهای جایگزینی را فراتر از معیاری که در حال حاضر استفاده می‌شود کاوش کنند و تکنیک‌هایی مانند جاسازی سرنخ‌های ظریف یا واترمارک در محتوای تولید شده توسط هوش مصنوعی را در نظر بگیرند. علاوه بر این، باید تلاش هایی برای افزایش استحکام مدل ها در برابر دستکاری برای بهبود اثربخشی کلی آنها انجام شود.
از آنجایی که این مطالعه سوالاتی را در مورد قابلیت اطمینان و عینیت تشخیص نرم افزار مطرح می کند، جستجو برای راه حل های قوی تر و عادلانه تر برای مبارزه با تقلب هوش مصنوعی ادامه دارد.
در ادامه بخوانید: مطالعه نشان می دهد که بیش از 50 درصد از دریاچه های زمین در حال خشک شدن هستند
