Chat Generative Pre-trained Transformer (ChatGPT) یک مدل پردازش زبان طبیعی است که متنی شبیه انسان تولید می کند. این ابزار یک مدل زبان بزرگ (LLM) است که برای پیش‌بینی توالی کلمات بر اساس سرویس‌های زمینه آموزش دیده است. ChatGPT تحت آزمایش قرار گرفته و حتی در آزمون مجوز پزشکی ایالات متحده گذرانده است.
هدف از این مطالعه جدید توسط محققان مؤسسه Feinstein آزمایش این بود که آیا ChatGPT (نسخه‌های 3 و 4) می‌تواند ارزیابی ACG را که برای سنجش عملکرد در معاینه هیئت مدیره گوارش ABIM انجام می‌شود، قبول کند.
ChatGPT-3 و ChatGPT-4 برای پاسخ به آزمون های خود ارزیابی کالج آمریکایی گوارش (ACG) در سال های 2022 و 2021 استفاده شد. سوالات دقیق در هر دو نسخه ChatGPT وارد شده است. برای قبولی در ارزیابی 70% یا بالاتر مورد نیاز بود.
300 سوال چند گزینه ای با پاسخ های فوری در هر آزمون ACG وجود دارد. ChatGPT نسخه 3 و 4 برای کپی و جایگذاری هر پرس و جو و پاسخ استفاده شد. ChatGPT به 455 پرسش پاسخ داد (145 مورد به دلیل نیاز به تصویر حذف شد). در دو آزمون، Chat GPT-3 به 296 سؤال از 455 سؤال (65.1٪) پاسخ صحیح داد و Chat GPT-4 به 284 سؤال (62.4٪) پاسخ صحیح داد.
Andrew C. Yacht، MD، معاون ارشد امور دانشگاهی و مدیر ارشد علمی در Northwell Health، گفت: “ChatGPT شور و شوق را برانگیخته است، اما با این شور و شوق شک و تردید در مورد دقت و اعتبار نقش فعلی هوش مصنوعی در مراقبت‌های بهداشتی و آموزش ایجاد می‌شود.”
این مطالعه نشان می دهد که حتی اگر Chat GPT به عنوان یک ابزار آموزشی بالقوه در نظر گرفته شود، به زودی گواهینامه تخصصی پزشکی خود را دریافت خواهد کرد.
دکتر آرویند ترینداد، دانشیار مؤسسه علوم سیستم هیث مؤسسه فاینشتاین و نویسنده ارشد این مقاله گفت: اخیراً توجه زیادی به ChatGPT و استفاده از هوش مصنوعی در صنایع مختلف شده است. با توجه به آموزش پزشکی، پژوهشی در مورد این ابزار بالقوه پیشگامانه وجود ندارد. بر اساس تحقیقات ما، ChatGPT در حال حاضر نباید برای آموزش پزشکی در زمینه گوارش استفاده شود و قبل از پیاده سازی آن در حوزه مراقبت های بهداشتی راه هایی در پیش دارد.
ChatGPT فاقد هرگونه درک ذاتی از یک موضوع یا مشکل است. توضیحات احتمالی برای نمره رد شدن ChatGPT می تواند عدم دسترسی به مجلات پزشکی اشتراکی پولی یا منبع ChatGPT از منابع مشکوک منسوخ یا غیرپزشکی باشد، با تحقیقات بیشتری قبل از استفاده قابل اعتماد از آن لازم است.
مرجع مجله:
- سوچمن، کلی؛ گرگ، شاشنک; Trindade، Arvind J MD. ChatGPT در آزمون خودارزیابی کالج آمریکایی گوارش چند گزینه ای مردود شد. مجله آمریکایی گوارش. DOI: 10.14309/ajg.0000000000002320
