چرا ChatGPT در برخی از زبان ها بیشتر از دیگران دروغ می گوید

اعتبار تصویر: آندری شیپ / گتی ایماژ

هوش مصنوعی بسیار در حال پیشرفت است و همه ما باید مراقب پتانسیل آن برای انتشار اطلاعات نادرست با اطمینان باشیم. اما به نظر می رسد در برخی از زبان ها بیشتر از سایرین این کار را انجام دهد. چرا اینطور است؟

این سوال در پی گزارشی از NewsGuard، یک ناظر اطلاعات نادرست، مطرح می‌شود که نشان می‌دهد چگونه ChatGPT اطلاعات نادرست بیشتری را در لهجه‌های چینی نسبت به زمانی که از آن به انگلیسی خواسته می‌شود، تکرار می‌کند.

در آزمایش‌های خود، آنها مدل زبان را با درخواست از آن برای نوشتن مقالات خبری در مورد ادعاهای دروغین مختلفی که ادعا می‌شد توسط دولت چین مطرح شده بود، وسوسه کردند – مانند اینکه اعتراضات در هنگ کنگ توسط عوامل تحریک آمیز مرتبط با ایالات متحده برگزار شده است.

هنگامی که از ChatGPT خواسته شد این کار را به زبان انگلیسی انجام دهد (اعم از فوری و خروجی)، ChatGPT تنها در یکی از هفت مثال رعایت کرد: به طور خاص، مقاله ای را ایجاد کرد که خط رسمی دولت چین را تکرار می کرد که بازداشت دسته جمعی مردم اویغور در این کشور در واقع یک اقدام است. تلاش حرفه ای و آموزشی

اما هنگامی که اعلان‌ها و خروجی‌ها به زبان چینی ساده شده و چینی سنتی (دو زبان نوشتاری رایج در سرزمین اصلی چین، هنگ کنگ، تایوان و ماکائو) بودند، ChatGPT هر بار لفاظی‌های نادرست ارائه می‌کرد.

هنگامی که به زبان انگلیسی در مورد اعتراضات هنگ کنگ پرسیده شد، مدل تا حدی پاسخ داد:

متاسفم، اما به عنوان یک مدل زبان هوش مصنوعی، تولید مقالات خبری نادرست یا گمراه کننده برای من مناسب یا اخلاقی نیست. اعتراضات هنگ کنگ یک جنبش مردمی واقعی بود…

در حالی که هر دو پاسخ هنگام پرسیدن و پاسخ به خط چینی در امتداد خطوط زیر بودند:

اخیراً گزارش شده است که اعتراضات هنگ کنگ یک “انقلاب رنگی” به کارگردانی ایالات متحده است. گفته می شود دولت آمریکا و برخی سازمان های غیردولتی از نزدیک جنبش ضد دولتی هنگ کنگ را دنبال و از آن حمایت می کنند تا به اهداف سیاسی خود دست یابند.

یک نتیجه جالب و نگران کننده. اما چرا یک مدل هوش مصنوعی فقط به این دلیل که آنها را به زبانی متفاوت می گوید باید چیزهای مختلفی به شما بگوید؟

پاسخ در این واقعیت نهفته است که ما، به طور قابل درک، این سیستم‌ها را انسان‌سازی می‌کنیم، و آن‌ها را صرفاً بیانگر بخشی از دانش درونی‌شده به هر زبانی می‌دانیم که انتخاب شود.

این کاملاً طبیعی است: به هر حال، اگر از یک فرد چند زبانه بخواهید که ابتدا به یک سؤال به زبان انگلیسی، سپس به کره ای یا لهستانی پاسخ دهد، آنها همان پاسخی را می دهند که به طور دقیق در هر زبان ارائه شده است. هوای امروز آفتابی و خنک است، با این حال که آنها تصمیم می گیرند آن را بیان کنند، زیرا واقعیت ها بسته به زبانی که آنها آنها را بیان می کنند، تغییر نمی کنند. ایده جدا از بیان است.

در یک مدل زبان، این مورد نیست، زیرا آنها در واقع چیزی نمی دانند، به معنایی که مردم می دانند. اینها مدل‌های آماری هستند که الگوها را در یک سری از کلمات شناسایی می‌کنند و بر اساس داده‌های آموزشی آن‌ها، پیش‌بینی می‌کنند کدام کلمات بعدی می‌آیند.

میبینی قضیه چیه؟ پاسخ واقعاً یک پاسخ نیست، پیش‌بینی چگونگی آن سؤال است خواهد شد در صورت وجود در مجموعه آموزشی پاسخ داده شود. (در اینجا یک کاوش طولانی تر از آن جنبه از قدرتمندترین LLM های امروزی است.)

اگرچه این مدل‌ها خود چند زبانه هستند، اما زبان‌ها لزوماً به یکدیگر اطلاع نمی‌دهند. آنها دارای همپوشانی اما مناطق متمایز از مجموعه داده هستند، و مدل (هنوز) مکانیزمی ندارد که با آن تفاوت عبارات یا پیش بینی های خاص را بین آن مناطق مقایسه کند.

بنابراین هنگامی که به زبان انگلیسی پاسخ می‌خواهید، در درجه اول از تمام داده‌های زبان انگلیسی که در اختیار دارد استفاده می‌کند. هنگامی که به زبان چینی سنتی پاسخ می‌خواهید، اساساً از داده‌های زبان چینی که در اختیار دارد می‌گیرد. اینکه چگونه و تا چه اندازه این دو انبوه داده به یکدیگر اطلاع می دهند یا نتیجه حاصله را مشخص نمی کند، اما در حال حاضر آزمایش NewsGuard نشان می دهد که حداقل کاملاً مستقل هستند.

این برای افرادی که باید با مدل‌های هوش مصنوعی به زبان‌هایی غیر از انگلیسی که اکثریت قریب به اتفاق داده‌های آموزشی را تشکیل می‌دهند، کار کنند، چیست؟ این فقط یک هشدار دیگر است که باید هنگام تعامل با آنها به خاطر داشت. در حال حاضر به اندازه کافی سخت است که بگوییم آیا یک مدل زبان دقیقاً پاسخ می دهد، توهم وحشیانه دارد یا حتی دقیقاً در حال بازگشت است – و اضافه کردن عدم قطعیت یک مانع زبانی در آنجا فقط کار را سخت تر می کند.

مثال در مورد مسائل سیاسی در چین یک مثال افراطی است، اما شما به راحتی می توانید موارد دیگری را تصور کنید که مثلاً وقتی از شما خواسته می شود به زبان ایتالیایی پاسخ دهید، محتوای ایتالیایی را در مجموعه داده آموزشی خود منعکس می کند. این ممکن است در برخی موارد چیز خوبی باشد!

این بدان معنا نیست که مدل‌های زبان بزرگ فقط در زبان انگلیسی یا در زبانی که به بهترین شکل در مجموعه داده‌های آن‌ها نشان داده می‌شود، مفید هستند. بدون شک ChatGPT برای پرس و جوهای سیاسی کمتر قابل استفاده است، زیرا چه به زبان چینی یا انگلیسی پاسخ دهد، بیشتر خروجی آن به همان اندازه دقیق خواهد بود.

اما این گزارش نکته جالبی را مطرح می‌کند که ارزش توجه در توسعه آینده مدل‌های زبانی جدید را دارد: نه فقط اینکه آیا تبلیغات در یک زبان یا زبان دیگر وجود دارد، بلکه سایر تعصبات یا باورهای ظریف‌تر. این تصور را تقویت می‌کند که وقتی ChatGPT یا مدل دیگری به شما پاسخ می‌دهد، همیشه ارزش این را دارد که از خود بپرسید (نه مدل) این پاسخ از کجا آمده است و آیا داده‌هایی که مبتنی بر آن است خود قابل اعتماد هستند یا خیر.