در حالی که یادگیری ریاضیات سطح بالا کار آسانی نیست، آموزش مفاهیم ریاضی اغلب می تواند به همان اندازه دشوار باشد. به همین دلیل است که بسیاری از معلمان برای کمک به ChatGPT روی می آورند. بر اساس مقاله اخیر فوربس، 51 درصد از معلمان مورد بررسی اظهار داشتند که از ChatGPT برای کمک به تدریس استفاده کرده اند و 10 درصد از آن روزانه استفاده می کنند. ChatGPT می‌تواند به انتقال اطلاعات فنی در اصطلاحات اساسی‌تر کمک کند، اما ممکن است همیشه راه‌حل درستی را ارائه نکند، مخصوصاً برای ریاضیات سطح بالا.
یک تیم بین المللی از محققان آزمایش کردند که این نرم افزار با ارائه برنامه هوش مصنوعی مولد با سوالات چالش برانگیز ریاضی در سطح فارغ التحصیل، چه چیزی را می تواند مدیریت کند. در حالی که ChatGPT در تعداد قابل توجهی از آنها شکست خورد، پاسخ های صحیح آن نشان می دهد که می تواند برای محققان و معلمان ریاضی به عنوان یک نوع موتور جستجوی تخصصی مفید باشد.
به تصویر کشیدن ماهیچه های ریاضی ChatGPT
رسانه ها تمایل دارند هوش ریاضی ChatGPT را درخشان یا ناتوان نشان دهند. فریدر سیمون، کاندیدای دکترای دانشگاه آکسفورد و نویسنده اصلی این مطالعه، توضیح داد: «فقط بر افراط‌ها تأکید شده است». به عنوان مثال، ChatGPT تست هوش کلامی-زبانی روانشناسی امروز را انجام داد و 147 امتیاز به دست آورد، اما در آزمون CPA امروز حسابداری به طرز بدی شکست خورد. یک وسط وجود دارد [road] برای برخی موارد استفاده؛ ChatGPT عملکرد بسیار خوبی دارد [for some students and educators]سایمون توضیح داد، اما برای دیگران، نه چندان.
در سطح آزمایشی کلاس های ریاضی دبیرستان و کارشناسی، ChatGPT عملکرد خوبی دارد و در صدک 89 برای آزمون ریاضی SAT قرار دارد. حتی در امتحان نهایی محاسبات کوانتومی اسکات آرونسون، متخصص فناوری، B دریافت کرد.
اما ممکن است آزمایش‌های متفاوتی برای آشکار کردن محدودیت‌های قابلیت‌های ChatGPT مورد نیاز باشد. لیا هنریکسون، استاد رسانه های دیجیتال در دانشگاه لیدز، اظهار داشت: «یک چیزی که رسانه ها روی آن تمرکز کرده اند توانایی ChatGPT برای گذراندن آزمون های استاندارد رایج مختلف است. “اینها آزمون هایی هستند که دانش آموزان به معنای واقعی کلمه سال ها برای آماده شدن برای آنها وقت می گذارند. ما اغلب به این باور می‌رسیم که این تست‌ها هوش ما را ارزیابی می‌کنند، اما اغلب، توانایی ما را برای یادآوری حقایق ارزیابی می‌کنند. ChatGPT می تواند این تست ها را با موفقیت پشت سر بگذارد، زیرا می تواند حقایقی را که در آموزش خود دریافت کرده است را به خاطر بیاورد.
سیمون و تیم تحقیقاتی‌اش مجموعه‌ای منحصربه‌فرد از سوالات ریاضی سطح بالایی را پیشنهاد کردند تا ارزیابی کنند که آیا ChatGPT همچنین مهارت‌های تست‌زنی و حل مسئله دارد یا خیر. “[Previous studies looked at] اگر خروجی درست یا نادرست بوده باشد،” سیمون افزود. و ما می‌خواستیم فراتر از این برویم و روش‌شناسی بسیار دقیق‌تری را پیاده‌سازی کرده‌ایم که در آن می‌توانیم واقعاً ارزیابی کنیم که ChatGPT چگونه شکست می‌خورد، آیا شکست می‌خورد و از چه طریقی شکست می‌خورد. برای ایجاد یک سیستم آزمایشی پیچیده‌تر، محققان اعلان‌هایی را از چندین زمینه در مجموعه مشکلات بزرگ‌تری که GHOSTS نامیده می‌شود گردآوری کردند.
ایجاد ارواح
مجموعه داده GHOSTS شش نوع مسئله ریاضی است که محققان در ChatGPT آزمایش کردند: gمتن راد، ساعتoles-in-proof, Oحل مسئله لنپیاد، سادغام نمادین، ماتیh، و سجنبه های موتور گوشی محققان، مربیان در سطح فارغ التحصیل و دانش آموزان معمولاً از این مهارت های مختلف ریاضی استفاده می کنند. سیمون توضیح داد: «ما می‌خواستیم مقایسه‌ای جامع از استدلال‌های مختلف ریاضی انجام دهیم. مجموعه داده های قبلی همیشه تا حدودی مشابه بودند. آنها بیشتر از این مشکلات کلمه تشکیل شده بودند، جایی که شما یک مشکل کوچک در سطح دبیرستان یا شاید در مقطع کارشناسی فرمول بندی شده اید، اما هیچ چیز در سطح کارشناسی ارشد وجود ندارد.
مجموعه داده‌های GHOSTS شامل سؤالاتی از یک کتاب ریاضی در سطح فارغ‌التحصیل می‌شد، سؤالات اثباتی کامل را ارائه می‌داد، مسائل پیشرفته فوق‌العاده سختی را ارائه می‌داد و از ChatGPT می‌خواست که ثابت‌ها را در معادلات ادغام کند، تجزیه و تحلیل‌های استاندارد بیشتری را در سطح فارغ‌التحصیل انجام دهد و تعریف کند. مفاهیم خاص ریاضی محققان بیش از 700 درخواست را از طریق برنامه هوش مصنوعی مولد اجرا کردند و پاسخ‌های ChatGPT را تجزیه و تحلیل کردند تا بفهمند کجای کار اشتباه بوده است.
هنگامی که از ChatGPT خواسته شد توضیح دهد که چگونه به پاسخ‌های خود رسیده است، ChatGPT اغلب استدلال غیرمنتظره یا غیرمنتظره‌ای ارائه می‌دهد – حتی زمانی که پاسخ صحیح را دریافت می‌کرد، این کار را با سفر به خارج از محدوده تمرین استاندارد انجام می‌داد. دانش‌آموزان یک شکل استاندارد از استدلال ریاضی را یاد می‌گیرند (مانند SOHCAHTOA حافظه‌ای برای به خاطر سپردن معادلات برای توابع مثلثات)، بنابراین روش پیچیده ChatGPT برای رسیدن به پاسخ‌ها ممکن است دانش‌آموزان را به‌ویژه در کلاس‌های ریاضی ابتدایی‌تر گیج کند. سایمون افزود: «ChatGPT برای یادگیری فوق‌العاده است و من همیشه از آن استفاده می‌کنم. “اما بخش بزرگی در این وجود دارد [where] شما باید دانش دامنه کافی برای تأیید آن را بدانید.”
سایمون و تیمش پیشنهاد می‌کنند که توانایی‌های آموزشی ChatGPT باید فقط برای زبان‌آموزان ریاضی پیشرفته‌تر استفاده شود. همانطور که سایمون توضیح داد، یادگیرندگان بالغ «به اندازه کافی می دانند که خروجی را بررسی کنند. اگر بپرسید [ChatGPT] برای اثبات، باید به اندازه کافی به توانایی های خود اطمینان داشته باشید تا از اثبات ریاضی پیروی کنید و هر شکافی را در آن پیدا کنید. برای یادگیرندگان کمتر بالغ، سایمون هشدار داد که استفاده از ChatGPT می تواند به طور مستقل «خطرناک» باشد، زیرا یادگیرنده ممکن است تجربه کافی برای اعتبارسنجی ریاضی را نداشته باشد.
کارشناسان دیگر مانند دکتر جراردو آدسو از دانشگاه ناتینگهام با این موضوع موافق هستند. “[ChatGPT] او همچنین می‌تواند اشتباهات عددی یا منطقی احمقانه‌ای را مرتکب شود که هر انسانی فوراً آنها را تشخیص می‌دهد.» “به همین دلیل است که همیشه باید قبل از اینکه کورکورانه به آنها اعتماد کرد، خروجی های آن را دوباره بررسی کرد. ChatGPT یک ابزار جادویی نیست که بتواند هر مشکل ریاضی را حل کند، اما می تواند همراهی مفید برای ارائه نکات و پیشنهادات به شما باشد.
یافتن بهترین و بدترین موارد کاربرد ریاضی
محققان در مقاله خود (که در مرحله انتشار است)، سه مورد برتر بهترین و بدترین استفاده از ChatGPT را از مجموعه داده های GHOSTS فهرست می کنند. از آنجایی که ChatGPT یک LLM (مدل زبان بزرگ) است، مهارت بیشتری در تجزیه و تحلیل زبان ها نسبت به معادلات دارد. بنابراین نباید تعجب آور باشد که برنامه هوش مصنوعی مولد در مورد سؤالات ریاضی محض مانند ادغام شکست خورد، اما در تعریف مفاهیم ریاضی بهترین بود. محققان همچنین دریافتند که سوالات ریاضی خاصی وجود دارد که ChatGPT قادر به انجام آنها نیست، مانند یافتن مساحت اشکال هندسی. در این موارد، سایمون استفاده از نرم‌افزارهای دیگری مانند Wolfram Alpha را که دارای یک پلاگین ChatGPT است، برای انجام مشکلات بیشتر مبتنی بر معادله توصیه کرد.
محققان پیشنهاد می‌کنند که اگرچه ChatGPT در ریاضیات سطح بالا مهارت نداشت، اما به‌عنوان یک موتور جستجوی مبتنی بر ریاضی برای محققان، مربیان و حتی کدنویس‌ها بسیار مفید خواهد بود. سایمون افزود: “در بسیاری از نکات نسبتاً نادرست است، اما خواندن این نکات همچنان مفید است زیرا اطلاعاتی را در اختیار شما می‌گذارد که می‌توانید روی آن نگه دارید و شما را به وب‌سایت یا مقاله بعدی راهنمایی می‌کند.” “این روند یادگیری را تسریع می کند. در حلقه کد نویسی کلاسیک، شما یک سوال دارید، آن را آنلاین بپرسید، چند ساعت صبر کنید و سپس پاسخ بگیرید. با این تکرار، تقریباً فوری است.» همانطور که سیمون تاکید کرد، با کدنویسی، دانش‌آموزان می‌توانند بلافاصله راه‌حل پیشنهادی ChatGPT را آزمایش کنند و بررسی کنند که آیا کار می‌کند یا خیر.
هنگامی که ChatGPT به عنوان یک موتور جستجوی ریاضی برای محققان دانشگاهی استفاده می شود، می تواند در زمان و انرژی قابل توجهی صرفه جویی کند. تیم تحقیقاتی تاکید کرد که این مورد استفاده برای ChatGPT ممکن است به ویژه برای فیزیکدانان، دانشمندان کامپیوتر و حتی مهندسانی که از مفاهیم مختلف ریاضی در مطالعات خود استفاده می کنند مفید باشد.
برای مخاطب عام، توماس لوکاسیویچ، استاد علوم کامپیوتر در آکسفورد و آخرین نویسنده این مطالعه، معتقد است که مقایسه بهترین و بدترین موارد استفاده از ChatGPT ممکن است به رسانه ها کمک کند تا تصورات غلط در مورد قابلیت های ریاضی آن را حذف کنند. همانطور که او توضیح داد، رسانه ها می توانند[Show] کجا خوب است و کجا بد. این می تواند نحوه نشان دادن قابلیت ها باشد، که ما نیز در مقاله خود در پایان انجام داده ایم. [as a model] تا آن را در چند نمونه عینی در عمل ببینیم.»
چگونه می توان مهارت های ریاضی ChatGPT را بهبود بخشید
مدل های زبان بزرگ در حال توسعه دائمی هستند. این کار قبل از انتشار ChatGPT بر اساس GPT-4 انجام شده است، بنابراین ممکن است نسخه فعلی در مسائل ریاضی عملکرد بهتری داشته باشد. اما سایمون و سایر محققان همچنین راه‌هایی را پیشنهاد می‌کنند که مهارت‌های ریاضی نرم‌افزار را می‌توان بهبود بخشید، احتمالاً تا جایی که ممکن است در ریاضیات پیشرفته مهارت داشته باشد. آدسو اظهار داشت: «ChatGPT می‌تواند توانایی‌های ریاضی خود را با یادگیری از داده‌های بیشتر و بهتر، به‌ویژه از ریاضی سطح بالاتر، بهبود بخشد، و در عین حال، می‌توان با مهندسی سریع مناسب پاسخ‌های بهتری دریافت کرد». ChatGPT همچنین می‌تواند از ادغام با سایر سیستم‌هایی که می‌توانند ریاضیات رسمی و نمادین را به صورت بومی بهتر مدیریت کنند، سود ببرد.
Simon و Lukasiewicz امیدوارند یک ابتکار مبتنی بر جامعه را برای در دسترس قرار دادن داده های ریاضی پیچیده تر در ChatGPT آغاز کنند. سیمون افزود: «وقتی روش‌های بهتری وجود داشت، می‌خواهیم یک تابلوی امتیاز ایجاد کنیم تا به افراد اجازه دهیم درخواست‌های خود را ارسال کنند و رتبه‌بندی‌های خود را براساس این روش‌شناسی بهتر انجام دهند که به آنها در انجام این کار کمک می‌کند. این بزرگترین تأثیر خواهد بود زیرا می تواند به فرآیند جمع آوری داده ها نیز کمک کند، که می توانم بگویم گلوگاه در ریاضیات است، زیرا شما نمی توانید آن را برون سپاری کنید.
کارشناسان دیگر، مانند Henrickson، گمان می‌کنند که ChatGPT می‌تواند برای کاربر بهبود یابد، به‌ویژه با پرسیدن سوالات بزرگ‌تر. ما می توانیم خودمان تصمیم بگیریم که هوش مصنوعی چه زمانی نیازهای ما را برآورده می کند و نه. با این حال، برای اتخاذ این تصمیم‌ها، ما باید حداقل یک درک اساسی از نحوه عملکرد این سیستم‌ها داشته باشیم، نه اینکه فقط بر خروجی‌هایی که تولید می‌کنند تمرکز کنیم.» با فکر کردن به سوالاتی از این دست، می‌توانیم انتخاب‌های آگاهانه‌تری در مورد اینکه از چه فناوری‌هایی برای تکمیل بینش خود و چرا استفاده می‌کنیم، داشته باشیم.»
کنا هیوز-کستلبری ارتباط علم در JILA (یک موسسه تحقیقاتی فیزیک مشترک بین موسسه ملی استاندارد و فناوری و دانشگاه کلرادو بولدر) و یک روزنامه‌نگار علمی آزاد است. تمرکز اصلی او بر روی فیزیک کوانتومی، فناوری کوانتومی، فناوری عمیق، رسانه های اجتماعی و تنوع افراد در این زمینه ها، به ویژه زنان و افراد اقلیت های قومی و نژادی است. او را در لینکدین دنبال کنید یا از وب سایت او دیدن کنید.
