ChatGPT هنوز در مورد حسابداری با انسان ها قابل مقایسه نیست

ماه گذشته، OpenAI جدیدترین محصول چت ربات هوش مصنوعی خود، GPT-4 را راه اندازی کرد. به گفته افراد OpenAI، این ربات که از یادگیری ماشینی برای تولید متن زبان طبیعی استفاده می کند، امتحان نوار را با نمره صدک 90 گذراند، 13 امتحان از 15 آزمون AP را پشت سر گذاشت و در آزمون GRE Verbal نمره تقریباً عالی کسب کرد. .

ذهن‌های پرس‌وجو در دانشگاه بریگهام یانگ (BYU) و 186 دانشگاه دیگر می‌خواستند بدانند فناوری OpenAI در امتحانات حسابداری چگونه عمل می‌کند. بنابراین، آنها نسخه اصلی ChatGPT را مورد آزمایش قرار دادند. تحقیقات آنها در شرح داده شده است مسائل مربوط به آموزش حسابداری.

محققان می گویند که در حالی که هنوز در حوزه حسابداری باید انجام شود، این یک تغییر بازی است که روش تدریس و یادگیری همه را تغییر می دهد – به سمت بهتر.

دیوید وود، نویسنده ارشد این مطالعه، استاد حسابداری BYU، می‌گوید: «زمانی که این فناوری برای اولین بار عرضه شد، همه نگران بودند که دانشجویان اکنون می‌توانند از آن برای تقلب استفاده کنند. “اما فرصت‌هایی برای تقلب همیشه وجود داشته است. بنابراین برای ما، ما سعی می‌کنیم روی کارهایی که می‌توانیم با این فناوری انجام دهیم اکنون که قبلاً نمی‌توانستیم برای بهبود فرآیند تدریس برای اساتید و فرآیند یادگیری برای دانش‌آموزان انجام دهیم تمرکز کنیم. بیرون چشم باز بود.”

ChatGPT از زمان آغاز به کار خود در نوامبر 2022 به سریع ترین پلتفرم فناوری در حال رشد تبدیل شده است و در کمتر از دو ماه به 100 میلیون کاربر رسیده است. در پاسخ به بحث شدید در مورد اینکه چگونه مدل‌هایی مانند ChatGPT باید در آموزش نقش داشته باشند، وود تصمیم گرفت تا حد امکان اساتید بیشتری را استخدام کند تا ببیند هوش مصنوعی در برابر دانشجویان واقعی حسابداری دانشگاه چگونه عمل می‌کند.

طرح جذب نویسنده همکار او در رسانه های اجتماعی منفجر شد: 327 نویسنده مشترک از 186 موسسه آموزشی در 14 کشور در این تحقیق شرکت کردند و 25181 سوال امتحان حسابداری کلاس درس را ارائه کردند. آنها همچنین دانشجویان BYU (از جمله دختر وود، جسیکا) را به خدمت گرفتند تا 2268 سؤال بانک درسی آزمون دیگر را به ChatGPT بدهند. سوالات شامل سیستم های اطلاعات حسابداری (AIS)، حسابرسی، حسابداری مالی، حسابداری مدیریتی و مالیاتی می شد و از نظر سختی و نوع (درست/نادرست، چند گزینه ای، پاسخ کوتاه و غیره) متفاوت بود.

اگرچه عملکرد ChatGPT چشمگیر بود، اما دانش آموزان عملکرد بهتری داشتند. دانش‌آموزان میانگین کلی 76.7% را در مقایسه با امتیاز ChatGPT 47.4% کسب کردند. در 11.3٪ از سوالات، ChatGPT امتیاز بالاتری از میانگین دانش آموز کسب کرد و به ویژه در AIS و ممیزی خوب عمل کرد. اما ربات هوش مصنوعی در ارزیابی‌های مالیاتی، مالی و مدیریتی بدتر عمل کرد، احتمالاً به این دلیل که ChatGPT با فرآیندهای ریاضی مورد نیاز برای نوع دوم مشکل داشت.

هنگامی که نوبت به نوع سوال می رسید، ChatGPT در سوالات درست/غلط (68.7٪ درست) و سوالات چند گزینه ای (59.5٪) بهتر عمل کرد، اما با سوالات کوتاه پاسخ (بین 28.7٪ تا 39.1٪) مشکل داشت. به طور کلی، پاسخ به سؤالات با مرتبه بالاتر برای ChatGPT دشوارتر بود. در واقع، گاهی اوقات ChatGPT توضیحات نوشتاری معتبری را برای پاسخ های نادرست ارائه می دهد یا به همان سؤال به روش های مختلف پاسخ می دهد.

جسیکا وود، که در حال حاضر دانشجوی سال اول دانشگاه BYU است، گفت: “این کامل نیست؛ شما قرار نیست از آن برای همه چیز استفاده کنید.” “تلاش برای یادگیری صرفاً با استفاده از ChatGPT یک کار احمقانه است.”

محققان همچنین برخی از روندهای جذاب دیگر را از طریق این مطالعه کشف کردند، از جمله:

• ChatGPT همیشه زمانی را که در حال انجام ریاضیات است تشخیص نمی دهد و خطاهای مزخرفی مانند اضافه کردن دو عدد در یک مسئله تفریق یا تقسیم اعداد اشتباه می کند.
• ChatGPT اغلب برای پاسخ های خود توضیحاتی ارائه می دهد، حتی اگر آنها نادرست باشند. در موارد دیگر، توضیحات ChatGPT دقیق است، اما سپس به انتخاب پاسخ چند گزینه ای اشتباه ادامه می دهد.
• ChatGPT گاهی اوقات حقایق را می سازد. به عنوان مثال، هنگام ارائه یک مرجع، یک مرجع واقعی تولید می کند که کاملاً ساخته شده است. اثر و گاهی نویسندگان حتی وجود ندارند.

با این حال، نویسندگان کاملاً انتظار دارند که GPT-4 به طور تصاعدی در سؤالات حسابداری مطرح شده در مطالعه آنها و مسائل ذکر شده در بالا بهبود یابد. آنچه آنها امیدوارکننده‌تر می‌دانند این است که چگونه ربات چت می‌تواند به بهبود آموزش و یادگیری کمک کند، از جمله توانایی طراحی و آزمایش تکالیف، یا شاید برای پیش‌نویس کردن بخش‌هایی از پروژه استفاده شود.

ملیسا لارسون، یکی از نویسندگان این مطالعه و پروفسور حسابداری BYU، گفت: «این فرصتی است برای تأمل در مورد اینکه آیا ما اطلاعات ارزش افزوده را آموزش می دهیم یا نه. “این یک اختلال است و ما باید ارزیابی کنیم که از اینجا به کجا می رویم. البته، من هنوز هم TA دارم، اما این ما را مجبور می کند که از آنها به روش های مختلف استفاده کنیم.”