آیا chatGPT می تواند یک معاینه به سبک هیئت رادیولوژی را قبول کند؟

در مطالعه اخیر منتشر شده در رادیولوژی مجله، محققان یک تجزیه و تحلیل اکتشافی آینده‌نگر را برای ارزیابی عملکرد ChatGPT مبتنی بر هوش مصنوعی (AI) روی سؤالات امتحانی به سبک هیئت رادیولوژی بین ۲۵ فوریه تا ۳ مارس ۲۰۲۳ انجام دادند.

مطالعه: عملکرد ChatGPT در یک معاینه به سبک هیئت رادیولوژی: بینش در مورد نقاط قوت و محدودیت های فعلی. اعتبار تصویر: MMDCreative/Shutterstock.com

زمینه

ChatGPT، مبتنی بر GPT-3.5، یک مدل زبان بزرگ عمومی (LLM) است که از قبل روی بیش از 45 ترابایت داده متنی با استفاده از شبکه‌های عصبی عمیق آموزش داده شده است.

اگرچه ChatGPT در زمینه داده های پزشکی آموزش ندیده است، اما پتانسیل بسیار زیادی در نوشتن و آموزش داده های پزشکی نشان داده است. بر این اساس، پزشکان در حال حاضر از ChatGPT با موتورهای جستجو برای جستجوی اطلاعات پزشکی استفاده می کنند.

ChatGPT به دلیل استفاده بالقوه آن در ساده‌سازی گزارش‌های رادیولوژی و کمک به تصمیم‌گیری بالینی تحت بررسی است. علاوه بر این، می‌تواند به آموزش دانشجویان رادیولوژی، انجام تشخیص‌های افتراقی و به کمک رایانه و طبقه‌بندی بیماری‌ها کمک کند.

ChatGPT روابط و الگوهای بین کلمات را در داده‌های آموزشی عظیم خود تشخیص می‌دهد تا پاسخ‌هایی شبیه انسان ایجاد کند.

اگرچه می تواند یک پاسخ واقعی نادرست ایجاد کند. با این حال، تا کنون، ChatGPT در چندین معاینات حرفه‌ای، به عنوان مثال، آزمون مجوز پزشکی ایالات متحده، بدون هیچ گونه پیش‌آموزشی ویژه دامنه، عملکرد فوق‌العاده‌ای داشته است.

اگرچه ChatGPT برای کاربردهای رادیولوژی تشخیصی، از جمله تجزیه و تحلیل تصویر، امیدوارکننده به نظر می رسد، عملکرد ChatGPT در حوزه رادیولوژی ناشناخته باقی مانده است.

مهمتر از آن، رادیولوژیست ها باید نقاط قوت و محدودیت های ChatGPT را بدانند تا با اطمینان از آن استفاده کنند.

در مورد مطالعه

در مطالعه حاضر، محققان 150 سوال چند گزینه ای را با یک پاسخ صحیح و سه پاسخ اشتباه وارد کردند که با محتوا، سبک و سطح دشواری آزمون کالج سلطنتی کانادا در رادیولوژی تشخیصی و آزمون های اصلی و تاییدیه هیئت رادیولوژی آمریکا مطابقت داشت.

این معاینات هیئت مدیره به طور جامع دانش مفهومی رادیولوژی و توانایی استدلال و قضاوت بالینی را ارزیابی می کند.

دو رادیولوژیست تایید شده از هیئت مدیره به طور مستقل این سوالات را بررسی کردند و اطمینان حاصل کردند که این سوالات با معیارهای خاصی مطابقت دارند، به عنوان مثال، سوالات دارای تصاویر نیستند، پاسخ های اشتباه قابل قبول هستند و از نظر طولی مشابه پاسخ صحیح هستند و غیره.

حداقل 10 درصد از سؤالات از 9 موضوع فهرست شده توسط کالج سلطنتی کانادا سرچشمه می گیرد تا اطمینان حاصل شود که این سؤالات چند گزینه ای در مورد موضوعاتی هستند که به طور جامع مفهوم رادیولوژی را پوشش می دهند.

دو رادیولوژیست دیگر با تایید هیئت مدیره، آن 150 سوال چند گزینه ای را بر اساس نوع با استفاده از اصول طبقه بندی بلوم به تفکر مرتبه پایین یا بالاتر طبقه بندی کردند.

این تیم برای شبیه سازی استفاده در دنیای واقعی، تمام سوالات را با گزینه های پاسخ خود وارد ChatGPT کرد و تمام پاسخ های ChatGPT را ضبط کرد. کالج سلطنتی ≥70٪ از تمام مؤلفه های نوشتاری را به عنوان نمره قبولی در نظر می گیرد.

دو رادیولوژیست دیگر که دارای گواهینامه هیئت مدیره بودند، زبان هر پاسخ ChatGPT را برای سطح اطمینان آن در مقیاس لیکرت در مقیاس یک به چهار ارزیابی کردند، که در آن نمره چهار نشان دهنده اطمینان بالا و صفر نشان دهنده عدم اطمینان بود.

در نهایت، محققان همچنین مشاهدات کیفی از رفتار ChatGPT هنگامی که مدل را با پاسخ صحیح ترغیب کردند، انجام دادند.

ابتدا، محققان عملکرد کلی ChatGPT را محاسبه کردند. سپس، آنها عملکرد آن را با استفاده از آزمون دقیق فیشر بین انواع سوال و موضوعات، به عنوان مثال، مربوط به فیزیک یا نوع بالینی مقایسه کردند.

علاوه بر این، آنها تجزیه و تحلیل زیر گروهی را برای طبقه بندی های فرعی سوالات تفکر مرتبه بالاتر انجام دادند. این تیم سوالات تفکر مرتبه بالاتر را در چهار گروه زیر طبقه بندی کرده بود که شامل شرح تصویربرداری، مدیریت بالینی، کاربرد مفاهیم و ارتباط بیماری است.

در نهایت، آنها از آزمون Mann-Whitney U برای مقایسه سطح اطمینان پاسخ‌ها بین پاسخ‌های صحیح و نادرست ChatGPT استفاده کردند، که در آن مقادیر p کمتر از 0.05 تفاوت معنی‌داری را نشان می‌دهد.

یافته های مطالعه

ChatGPT تقریباً در این مطالعه سؤالات معاینه رادیولوژی را بدون تصویر گذراند و 69٪ را کسب کرد.

عملکرد مدل در سؤالاتی که به تفکر مرتبه پایین‌تر شامل یادآوری دانش و درک پایه نیاز دارند بهتر از سؤالاتی بود که به تفکر مرتبه بالاتر نیاز داشتند (84٪ در مقابل 60٪).

با این حال، در سؤالات مرتبه بالاتر مربوط به مدیریت بالینی (89٪) عملکرد خوبی داشت، احتمالاً به این دلیل که حجم زیادی از داده‌های مربوط به بیمار خاص در اینترنت در دسترس است.

با سؤالات درجه بالاتری که شامل شرح نتایج تصویربرداری، محاسبه و طبقه بندی و کاربرد مفاهیم بود، دست و پنجه نرم می کرد.

همچنین، ChatGPT در سؤالات فیزیک نسبت به سؤالات بالینی ضعیف عمل کرد (40٪ در مقابل 73٪). ChatGPT به طور مداوم از زبان مطمئن استفاده می‌کرد، حتی در صورت نادرست (100%).

تمایل ChatGPT برای ایجاد پاسخ‌های نادرست مانند انسان با اطمینان به ویژه اگر تنها منبع اطلاعات باشد خطرناک است. این رفتار در حال حاضر کاربرد ChatGPT را در آموزش پزشکی محدود می کند.

نتیجه گیری

ChatGPT در سؤالاتی که دانش پایه و درک رادیولوژی را ارزیابی می‌کرد، عالی بود و بدون پیش‌آموزش خاص رادیولوژی، تقریباً یک معاینه به سبک هیئت رادیولوژی بدون عکس را پشت سر گذاشت (امتیاز 69٪).

با این حال، رادیولوژیست ها باید احتیاط کنند و از محدودیت های ChatGPT، از جمله تمایل آن به ارائه پاسخ های نادرست با اطمینان 100% آگاه باشند. به عبارت دیگر، یافته های مطالعه از تکیه بر ChatGPT برای تمرین یا آموزش پشتیبانی نمی کند.

با پیشرفت‌های آتی در LLM، در دسترس بودن برنامه‌های ساخته شده بر روی LLM با پیش‌آموزش رادیولوژی خاص افزایش خواهد یافت. به طور کلی، نتایج مطالعه برای پتانسیل مدل های مبتنی بر LLMs مانند ChatGPT در رادیولوژی دلگرم کننده است.