پروفسور از پیشرفت ChatGPT در آزمون اقتصاد در 3 ماه شگفت زده شد

• یک استاد اقتصاد از پیشرفت ChatGPT در یک امتحان تنها در سه ماه شگفت زده شد.
• برایان کاپلان از دانشگاه جورج میسون گفت که چت بات در آزمون اقتصاد خود در ماه ژانویه نمره D گرفت.
• او هفته گذشته دوباره با به‌روزرسانی GPT-4 تلاش کرد و نمره آن به درجه A ارتقا یافت.

یک استاد اقتصاد می گوید که از پیشرفت ChatGPT که تنها در سه ماه نمره خود را از D به A در آزمون اقتصاد خود ارتقا داد، شگفت زده شده است.

برایان کاپلان، استاد اقتصاد در دانشگاه جورج میسون، به Insider گفت که آخرین نسخه ChatGPT اکنون می تواند مسئول اولین شرط بزرگی باشد که او تا به حال باخته است.

ChatGPT-3.5 نظریه اولیه را نمی فهمید

کاپلان در یک پست وبلاگی در Substack خود “Bet On It” در ژانویه نوشت، او گفت که سوالات ChatGPT را از میان ترم های پاییز خود مطرح کرده است.

کاپلان می‌گوید که سؤالات امتحانی او برای آزمایش درک دانش‌آموزان از اقتصاد است، نه اینکه آنها کتاب درسی را بازگردانند یا به عنوان تمرین حافظه در نظر گرفته شوند.

اینجا جایی است که نسخه قدیمی ChatGPT از کار افتاده است. این ربات در آزمون خود امتیاز 31/100 را به دست آورد که معادل D و بسیار کمتر از میانگین 50 درصدی خود است.

کاپلان به Insider گفت که ربات در درک مفاهیم اساسی مانند اصل مزیت نسبی و مطلق ناکام مانده است. او گفت که پاسخ های آن نیز بیشتر سیاسی بود تا اقتصادی.

کاپلان در پست وبلاگ پژمرده خود در ژانویه نوشت: «ChatGPT در تقلید از یک دانشجوی اقتصادی بسیار ضعیف GMU کار خوبی انجام می دهد.

او تنها دانشگاهی نبود که از ChatGPT ناامید شد. در حالی که در ماه ژانویه امتحان مدرسه بازرگانی وارتون را قبول کرد، استاد آن گفت که در محاسبات ساده “اشتباهات شگفت انگیزی” مرتکب شده است.

شرط بندی بزرگ

کاپلان دوست دارد شرط بندی کند. او قبلاً 23 شرط عمومی گذاشته بود و همه آنها را برد. آنها معمولاً برای مبالغ متوسط ​​حدود 100 دلار و اغلب در مورد موضوعات فنی مانند نرخ های پیش بینی شده بیکاری و قرائت تورم هستند.

او همچنین در یک شرط بندی در سال 2008 برنده شد که هیچ کشور عضو اتحادیه اروپا را قبل از سال 2020 ترک نخواهد کرد: بریتانیا در ژانویه همان سال از اتحادیه اروپا خارج شد.

او از پاسخ‌های ChatGPT آنقدر غافلگیر شده بود که کاپلان شرط می‌بندد که یک مدل هوش مصنوعی قبل از سال 2029 در 6 از 7 امتحانش نمره A نمی‌گیرد.

اما زمانی که ChatGPT-4 منتشر شد، Caplan از پیشرفت آن مبهوت شد. در همان آزمون میان ترم، 73 درصد، معادل A و جزو بهترین نمرات کلاس خود بود.

ارتقاء دیوار پرداخت ChatGPT به دنبال رفع برخی از مشکلات اولیه نسخه بتا، GPT-3.5 بود. ظاهراً این شامل افزایش احتمال 40 درصدی GPT برای بازگرداندن پاسخ‌های دقیق و همچنین توانایی مدیریت دستورالعمل‌های ظریف‌تر می‌شود.

برای کاپلان، پیشرفت ها آشکار بود. این ربات با درک اصولی که قبلاً با آنها دست و پنجه نرم می کرد، پاسخ روشنی به سؤالات خود داد. همچنین در توضیح و ارزیابی مفاهیم مطرح شده توسط اقتصاددانانی مانند پل کروگمن، نمرات عالی کسب کرد.

کاپلان گفت: “تنها چیزی که می توانم بگویم این است که خیلی بهتر به نظر می رسد.”

کاپلان فکر می‌کرد که داده‌های آموزشی ChatGPT ممکن است پست وبلاگ قبلی‌اش را که در آن پاسخ‌هایش را توضیح می‌داد گرفته باشد، اما همکاران به او گفتند که این احتمال بسیار کم است.

او افزود که قبلاً آزمایش‌های جدیدی را به ربات داده است که قبلاً آن را ندیده بود، جایی که حتی بهتر از نمره ۷۳ درصد قبلی خود عمل کرد. من در قضاوت خود بسیار خود راضی بودم و دیگر راضی نیستم.

کاپلان مطمئن تر است که شرط بندی بعدی خود را که مربوط به هوش مصنوعی است برنده خواهد شد. او با Eliezer Yudkowsky، یک نابودگر هوش مصنوعی که با سام آلتمن، خالق ChatGPT درگیر شده است، شرط بندی کرده است که هوش مصنوعی قبل از اول ژانویه 2030 به پایان جهان منجر خواهد شد.

من احتمالاً این شرط‌بندی هوش مصنوعی را می‌بازم، اما کاملاً آماده انجام یکسری شرط‌بندی‌های آخر دنیا در هوش مصنوعی هستم، زیرا فکر می‌کنم این افراد از ذهنشان خارج شده‌اند.»

تست کردن سخته

ربات‌های هوش مصنوعی برای ممتحنین سردرد ایجاد کرده‌اند. پروفسورها به Insider گفتند که اثبات سرقت ادبی با مطالب ChatGPT دشوار است زیرا هیچ مدرک مادی دال بر تخلف وجود ندارد.

کاپلان می‌گوید که به دنبال افزایش ChatGPT، در فکر کنار گذاشتن تکالیف درجه‌بندی شده است. او امیدوار است که عادت او به تغییر مرتب سؤالات کافی باشد تا دانش آموزان را از یادگیری و بازگرداندن پاسخ های ChatGPT در یک محیط امتحان بازدارد.