- پیشرفت ChatGPT در یک امتحان تنها در سه ماه، یک استاد اقتصاد را متحیر کرد.
- برایان کاپلان از دانشگاه جورج میسون گفت که چت بات در آزمون اقتصاد خود در ماه ژانویه نمره D گرفت.
- او هفته گذشته با آپدیت GPT-4 دوباره تلاش کرد و امتیاز آن به A ارتقا یافت.
یک استاد اقتصاد گفت که پیشرفت ChatGPT – که تنها در سه ماه نمره خود را از D به A در آزمون اقتصاد خود ارتقا داد – او را متحیر کرده است.
برایان کاپلان، استاد اقتصاد در دانشگاه جورج میسون، به اینسایدر گفت که آخرین نسخه ChatGPT اکنون می تواند مسئول اولین شرط بزرگی باشد که او تا به حال از دست داده است.
ChatGPT-3.5 نظریه اولیه را نمی فهمید
کاپلان در یک پست وبلاگی در Substack خود “Bet On It” در ماه ژانویه نوشت، او گفت که سوالات ChatGPT را از میان ترم های پاییز خود ارائه کرده است.
کاپلان گفت که سوالات امتحانی او درک دانش‌آموزان از اقتصاد را به‌جای اینکه کتاب‌های درسی را بازخوانی کنند یا تمرین‌های اساساً حافظه را تکمیل کنند، آزمایش می‌کند.
اینجا جایی است که نسخه قدیمی ChatGPT از کار افتاده است. این ربات در آزمون خود امتیاز 31 از 100 امتیاز را کسب کرد که معادل D و بسیار کمتر از میانگین 50 درصدی اوست.
کاپلان به Insider گفت که این ربات در درک مفاهیم اساسی مانند اصل مزیت نسبی و مطلق شکست خورده است. او گفت که پاسخ های آن نیز بیشتر سیاسی بود تا اقتصادی.
کاپلان در پست وبلاگ ژانویه خود نوشت: «ChatGPT در تقلید از یک دانشجوی بسیار ضعیف اقتصاد GMU کار خوبی انجام می دهد.
او تنها دانشگاهی نیست که ChatGPT او را ناامید کرده است. در حالی که در ماه ژانویه امتحان مدرسه بازرگانی وارتون را قبول کرد، استاد آن گفت که در محاسبات ساده “اشتباهات شگفت انگیزی” مرتکب شده است.
شرط بندی بزرگ
کاپلان دوست دارد شرط بندی کند. او قبلاً 23 شرط عمومی گذاشته بود و همه آنها را برد. آنها معمولاً برای مبالغ متوسط حدود 100 دلار و اغلب در مورد موضوعات فنی مانند نرخ های پیش بینی شده بیکاری و قرائت تورم هستند.
او همچنین در یک شرط بندی در سال 2008 برنده شد که هیچ کشور عضو اتحادیه اروپا را قبل از سال 2020 ترک نخواهد کرد – انگلیس در ژانویه همان سال از اتحادیه اروپا خارج شد.
پاسخ‌های ChatGPT آنقدر او را تحت تأثیر قرار داد که کاپلان شرط می‌بندد که یک مدل هوش مصنوعی قبل از سال 2029 در شش امتحان از هفت امتحان او نمره A نمی‌گیرد.
اما زمانی که ChatGPT-4 منتشر شد، پیشرفت آن کاپلان را مبهوت کرد. در همان آزمون میان ترم، 73 درصد، معادل A و جزو بهترین نمرات کلاس خود بود.
ارتقاء دیوار پرداخت ChatGPT به دنبال رفع برخی از مشکلات اولیه نسخه بتا، GPT-3.5 بود. ظاهراً این شامل ایجاد احتمال بیشتر ChatGPT برای بازگشت پاسخ‌های دقیق 40٪ و همچنین توانایی آن برای رسیدگی به دستورالعمل‌های ظریف‌تر است.
برای کاپلان، پیشرفت ها آشکار بود. این ربات با درک اصولی که قبلاً با آنها دست و پنجه نرم می کرد، پاسخ روشنی به سؤالات خود داد. همچنین در توضیح و ارزیابی مفاهیمی که اقتصاددانانی مانند پل کروگمن از آن ها دفاع کرده اند، نمرات عالی کسب کرد.
کاپلان گفت: “تنها چیزی که می توانم بگویم این است که خیلی بهتر به نظر می رسد.”
کاپلان فکر می‌کرد که داده‌های آموزشی ChatGPT ممکن است پست وبلاگ قبلی‌اش را که در آن پاسخ‌هایش را توضیح می‌داد گرفته باشد، اما همکاران به او گفتند که این احتمال بسیار کم است.
او افزود که قبلاً آزمایش‌های جدیدی را به ربات داده است که قبلاً ندیده بود، جایی که حتی بهتر از نمره ۷۳ درصد قبلی خود عمل کرد. کاپلان گفت: “من در قضاوت خود بسیار از خود راضی بودم و دیگر از خود راضی نیستم.”
کاپلان مطمئن تر است که شرط بندی بعدی خود را که مربوط به هوش مصنوعی است برنده خواهد شد. او با Eliezer Yudkowsky، یک نابودگر هوش مصنوعی که با سام آلتمن، خالق ChatGPT درگیر شده است، شرط بندی کرده است که هوش مصنوعی قبل از اول ژانویه 2030 به پایان جهان منجر خواهد شد.
او می‌گوید: «احتمالاً این شرط‌بندی هوش مصنوعی را از دست می‌دهم، اما کاملاً آماده انجام یکسری شرط‌بندی‌های آخر دنیا در هوش مصنوعی هستم، زیرا فکر می‌کنم این افراد از ذهنشان خارج شده‌اند.
تست کردن سخته
ربات‌های هوش مصنوعی برای ممتحنین سردرد ایجاد کرده‌اند. پروفسورها به Insider گفتند که اثبات سرقت ادبی با مطالب ChatGPT دشوار است زیرا هیچ مدرک مادی دال بر تخلف وجود ندارد.
کاپلان گفت که به دنبال افزایش ChatGPT، در فکر کنار گذاشتن تکالیف درجه بندی شده است. او امیدوار است که عادت او به تغییر مرتب سؤالات کافی باشد تا دانش آموزان را از یادگیری و بازگرداندن پاسخ های ChatGPT در تنظیمات امتحان باز دارد.
