نحوه عملکرد ChatGPT در آزمایشات

ChatGPT OpenAI با چت ربات هوش مصنوعی که به سوالات پیچیده و تست های کرک پاسخ می دهد، طوفانی به جهان زده است. با این حال، ChatGPT اخیراً در امتحان خدمات شهری هند (UPSC) 2022 شکست خورده است.

ChatGPT، با این وجود، در چندین آزمون دیگر از جمله آزمون MBA وارتون، آزمون مجوز پزشکی ایالات متحده (USMLE) و آزمون وکالت چند ایالتی (MBE) موفق بوده است.

چت ربات ChatGPT توانسته است برخی از تست های سخت تر را پشت سر بگذارد، اما نقاط ضعف آن را نیز آشکار کرده اند. در اینجا نگاهی به تست های اصلی ChatGPT و تجزیه و تحلیل نتایج آن می اندازیم.

آزمون MBA وارتون

پروفسور وارتون، کریستین ترویش، آزمونی را در مورد دوره مدیریت عملیات به ChatGPT داد و در مقاله خود ارزیابی کرد: «OpenAI Chat GPT3 توانایی قابل توجهی در خودکارسازی برخی از مهارت‌های کارکنان دانشی با پاداش بالا به طور کلی و به طور خاص کارکنان دانش در مشاغلی را نشان داده است. توسط فارغ التحصیلان MBA از جمله تحلیلگران، مدیران و مشاوران.”

پروفسور در تجزیه و تحلیل خود خاطرنشان کرد: “اول، این یک کار شگفت انگیز در مدیریت عملیات اساسی و سوالات تجزیه و تحلیل فرآیند انجام می دهد، از جمله سوالاتی که بر اساس مطالعات موردی هستند. نه تنها پاسخ ها صحیح هستند، بلکه توضیحات عالی هستند. دوم، Chat GPT3 در times در محاسبات نسبتاً ساده در سطح ریاضی کلاس ششم اشتباهات شگفت‌انگیزی انجام می‌دهد. این اشتباهات می‌توانند از نظر بزرگی باشند. سوم، نسخه فعلی Chat GPT قادر به رسیدگی به سؤالات تجزیه و تحلیل فرآیند پیشرفته‌تر نیست، حتی زمانی که آنها کاملاً بر اساس آنها باشند. قالب های استاندارد.”

بخوانید | ابزار متنی ChatGPT AI: یک مد یا نوید؟

عملکرد ChatGPT از B تا B- درجه بندی شد و استاد وارتون خاطرنشان کرد: “تا زمانی که وارتون به دانش آموزان اجازه دهد در دوره هایی که می گذرانند انعطاف بیشتری داشته باشند، این دوره مدیریت عملیات یک دوره الزامی بود که هر دانش آموز باید بگذراند. با این حال، ما به دانشجویان اجازه دادیم اگر می‌توانستند در آزمون معافیت تسلط بر محتوا را نشان دهند، از این دوره چشم‌پوشی کنید. عملکرد Chat GPT3 که در بالا گزارش شد برای قبولی در امتحان معافیت کافی بود، هرچند با اختلاف بسیار کم.»

آزمون مجوز پزشکی ایالات متحده (USMLE)

آزمون مجوز پزشکی ایالات متحده یکی از سخت ترین آزمون ها در این کشور محسوب می شود و در سه مرحله انجام می شود. معمولاً برای گذراندن آن به چهار سال آمادگی نیاز است و آستانه قبولی، اگرچه هر سال تغییر می کند، تقریباً 60 درصد است.

در ابتدا، ChatGPT دقت 46 درصدی را بدون هیچ درخواستی مدیریت کرد. با این حال، با مدل‌های بیشتر، عملکرد آموزش به بیش از 50 درصد در همه آزمون‌ها بهبود یافت که در بیشتر تحلیل‌ها از 60 درصد گذشت.

این مقاله خاطرنشان کرد: “بنابراین، ChatGPT اکنون به راحتی در محدوده عبور قرار دارد. به عنوان اولین آزمایشی که به این معیار رسیده است، ما معتقدیم که این یک نتیجه شگفت انگیز و چشمگیر است.”

این آزمون در مرحله 1 کمترین امتیاز را کسب کرد، سپس مرحله 2CK و سپس مرحله 3 قرار گرفت. اکثر کسانی که در آزمون شرکت می کنند اولین قدم را سخت ترین مرحله می دانند.

آزمون وکالت چند ایالتی (MBE)

در MBE، ChatGPT 50 درصد دقت امتیاز را مدیریت کرد و اولین آزمون از سه آزمونی است که پس از آن یکی واجد شرایط وکالت است. مقاله ای که عملکرد آن را تجزیه و تحلیل می کند، خاطرنشان می کند که ChatGPT «به طور قابل توجهی از نرخ پایه حدس زدن تصادفی بهتر عمل کرده است» و می افزاید: «بدون هیچ گونه تنظیم دقیق، در حال حاضر در دو دسته از نوار به میزان قبولی می رسد و در یک دسته با افراد آزمایش کننده برابری می کند. “

بخوانید | چگونه از ChatGPT کمک بگیریم

ChatGPT با الگوریتم‌های دقیق، آموزش داده‌های بیشتر و تلاش برای تعامل بهتر با انسان‌ها، دائماً در تلاش برای بهبود است. وقتی از او پرسیده شد که ChatGPT برای بهتر شدن خود چه می کند، نکات زیر را یادداشت می کند.

OpenAI همچنین بیان کرده است که ChatGPT فقط تا سال 2021 به داده‌ها داده می‌شود، بنابراین هر چیزی پس از آن فراتر از محدوده دانش اصلی آن است. علاوه بر این، انتظار می رود ChatGPT پس از دسترسی به اینترنت، بهبود بیشتری پیدا کند.