هنگامی که ChatGPT (GPT-3.5) در مورد ادبیات دانشگاهی می نویسد، یک مقاله کاری جدید با شواهد سیستماتیک برای نقل قول های نادرست ارسال کردم.
بوکانان، جوی و شاپووال، اولگا، GPT-3.5 توهم استنادات موجود: شواهدی از اقتصاد (3 ژوئن 2023). موجود در SSRN:
خلاصه: ما مجموعه ای از دستورات را از هر موضوع مجله ادبیات اقتصادی (JEL) ایجاد می کنیم تا توانایی یک مدل زبان بزرگ GPT-3.5 (LLM) را برای نوشتن در مورد مفاهیم اقتصادی آزمایش کنیم. برای خلاصه های کلی، ChatGPT می تواند عملکرد خوبی داشته باشد. با این حال، بیش از 30 درصد از استنادهای پیشنهاد شده توسط ChatGPT وجود ندارد. علاوه بر این، ما نشان می‌دهیم که توانایی LLM برای ارائه اطلاعات دقیق با مشخص‌تر شدن سوال کاهش می‌یابد. این مقاله شواهدی را ارائه می دهد که اگرچه GPT به یک ورودی مفید برای تولید تحقیقات تبدیل شده است، بررسی واقعیت خروجی همچنان مهم است.
شکل 2 در مقاله روندی را نشان می دهد که نسبت استنادهای واقعی با مشخص شدن درخواست کاهش می یابد. این ایده مورد توجه افراد دیگر قرار گرفته است، اما فکر نمی‌کنم قبلاً از نظر کمی مستند شده باشد.
ما از ChatGPT خواستیم که طیف وسیعی از موضوعات را در اقتصاد پوشش دهد. برای هر دسته JEL، ما سه اعلان با افزایش ویژگی ساختیم.
سطح 1: اولین درخواست، با استفاده از A در اینجا به عنوان مثال، این بود: “لطفاً خلاصه ای از کار در رده A JEL را در کمتر از 10 جمله ارائه دهید و استنادهایی از مقالات منتشر شده را درج کنید.”
سطح 2: درخواست دوم در مورد موضوعی در دسته JEL بود که به خوبی شناخته شده بود. یک مثال برای JEL رده Q این است: “در کمتر از 10 جمله، کار مربوط به تغییرات تکنولوژیک در کشورهای در حال توسعه را در اقتصاد خلاصه کنید و استنادهایی از مقالات منتشر شده را درج کنید.”
سطح 3: ما از کلمه “تبیین” به جای “خلاصه” در اعلان استفاده کردیم و در مورد یک موضوع خاص تر مربوط به دسته JEL سؤال کردیم. برای L ما پرسیدیم: «در کمتر از 10 جمله، تغییر صنعت خودرو با افزایش عرضه وسایل نقلیه الکتریکی را توضیح دهید و استنادهایی از مقالات منتشر شده را به عنوان فهرست درج کنید. شامل نویسنده، سال داخل پرانتز و مجله برای استنادها باشد.
این مقاله فقط 5 صفحه است، اما ما بیش از 30 صفحه را در ضمیمه پاسخ های GPT به درخواست های خود اضافه می کنیم. اگر شما یک اقتصاددان هستید که هنوز با ChatGPT بازی نکرده اید، ممکن است این ضمیمه را اسکن کنید و درک کنید که GPT در زمینه های مختلف اقتصاد چه می داند.
اگر SSRN برای شما کار نمی کند، در اینجا یک پیوند Google Drive به مقاله کار وجود دارد:
تکرارهای قبلی این ایده در EWED:
افکار مایک در مورد اینکه این موجود برای چه چیزی خوب است.
این یکی از پست های برتر ما برای ترافیک در سال 2023 است، زیرا این موضوع مورد علاقه عموم است. ژانویه 2023 بود و امروز در ژوئن هستیم. این احتمال وجود دارد که به زودی این مشکل برطرف شود. اکنون می‌توانیم این باگ را ثبت کنیم تا به عنوان معیار پیشرفت عمل کند.
بررسی و مقایسه با بینگ:
