ChatGPT: یک دستیار تشخیصی برای پزشکان؟ احتیاط برای افراد غیر حرفه ای توصیه می شود

در مطالعه اخیر ارسال شده به medRxiv* سرور پیش چاپ، محققان دقت تشخیصی ChatGPT را ارزیابی کردند.

در سال های اخیر تعداد افرادی که به دنبال مشاوره پزشکی آنلاین هستند، افزایش قابل توجهی داشته است. بسیاری از افراد با جستجوی متون وب در مورد علائمی که تجربه می کنند، به دنبال یک تشخیص احتمالی هستند. مدل‌های ترانسفورماتور از پیش آموزش‌دیده (GPT) مانند ربات‌های گفتگو (مانند ChatGPT) می‌توانند حوزه پزشکی را متحول کنند و با ارائه داده‌ها، از جمله علائم و تشخیص‌های افتراقی شرایط پزشکی، خود تشخیصی را آغاز کنند.

مطالعه: ChatGPT به عنوان یک پزشک؟ مطالعه دقت تشخیصی بیماری های شایع و نادر اعتبار تصویر: metamorworks / Shutterstock

*اطلاعیه مهم: medRxiv گزارش‌های علمی مقدماتی را منتشر می‌کند که توسط همتایان بررسی نمی‌شوند و بنابراین، نباید به‌عنوان اطلاعات قطعی، راهنمای عمل بالینی/رفتار مرتبط با سلامتی در نظر گرفته شوند یا به عنوان اطلاعات ثابت تلقی شوند.

در مورد مطالعه

در مطالعه حاضر، محققان بررسی کردند که آیا ChatGPT می تواند موارد بالینی مختلف را به طور دقیق تشخیص دهد.

این تیم شامل 50 مورد بالینی شامل 40 مورد معمول و 10 مورد نادر بود. 10 مورد نادر مشاهده شده با انتخاب تصادفی از بیماری های نادر و یک داروی یتیم با وضعیت مثبت از آژانس دارویی اروپا (EMA) ایجاد شد. نام بیماری‌های نادر به‌عنوان پرس‌وجو در پایگاه داده PunMed مورد استفاده قرار گرفت و برای تجزیه و تحلیل از شرح مورد اولین مقاله منطبق استفاده شد.

در مورد شکایات متداول، 40 مورد از 45 مورد اولیه به دست آمده استفاده شد. پنج مورد شامل تشخیص در علامت‌شناسی حذف شدند. این تیم ChatGPT را برای 10 تشخیص محتمل برای شرح حال بالینی بیماران، که به صورت متن کامل وارد شده بود، جویا شد. هیچ علامتی استخراج نشد.

همه نویسه‌ها سه بار در جعبه‌های چت مستقل ارسال شدند. از دو نسخه ChatGPT استفاده شد، یعنی نسخه 3.50 و نسخه 4.0، که در مجموع 300 درخواست و 3000 تشخیص پزشکی پیشنهادی را به همراه داشت. یک پزشک انسانی تشخیص‌های پیشنهادی ChatGPT را با تشخیص‌های صحیح برای عکس‌های مورد مربوطه مقایسه کرد.

موارد در صورت تطابق مستقیم به درستی تشخیص داده شدند (به عنوان مثال، “اوتیت میانی حاد” که توسط chatbot به عنوان “اوتیت میانی حاد” تشخیص داده شد) یا اگر ChatGPT روابط سلسله مراتبی نوع مستقیم را با تشخیص صحیح پزشکی پیشنهاد کرد (به عنوان مثال، “حاد” فارنژیت برای «فارنژیت»، «گانگلیوزیدوز GM2» برای بیماری تای ساکس، و «سکته مغزی ایسکمیک» برای «سکته مغزی»).

دقت تشخیص‌های نشان‌داده‌شده به صورت دقت topX بیان شد، که نشان‌دهنده درصد موارد حل‌شده با استفاده از حداکثر تشخیص‌های نشان‌داده‌شده X است. به عنوان مثال، 1 دقت تشخیصی بالای 100.0٪ نشان دهنده همه موارد بالینی است که با تشخیص اولیه پزشکی پیشنهاد شده حل شده اند. اگر هفت مورد از 10.0 مورد با تشخیص اولیه و یک مورد اضافی با تشخیص مشخص شده بعدی حل شود، درصد برای top1 و top2 به ترتیب 70.0 و 80.0 درصد خواهد بود. علاوه بر این، آزمایشات فلیس برای تعیین سطح توافق بین تشخیص نشان داده شده توسط ChatGPT و تشخیص صحیح انجام شد.

نتایج

ChatGPT 4.0 می تواند دو تشخیص را برای هر 40 مورد رایج ارائه دهد. برای موارد نادر، نسخه 4.0 ChatGPT 4.0 برای حل 90 درصد موارد به 8.0 ≥ پیشنهادهای تشخیصی نیاز داشت. در مورد موارد رایج، ChatGPT 4.0 به طور مداوم برای همه درخواست‌ها بهتر از ChatGPT 3.50 عمل می‌کند. دقت top2 برای ChatGPT 3.50 بیشتر از 90.0٪ بود و دقت top3 برای نسخه 4.0 100.0٪ برای همه موارد بود.

یافته ها نشان داد که در دو تشخیص مشخص شده، ChatGPT 3.50 می تواند بیش از 90.0 درصد موارد را حل کند و در سه تشخیص مشخص شده، ChatGPT 4.0 می تواند همه موارد را حل کند. نتایج برای نسخه 4.0 به طور قابل توجهی بهتر از نسخه 3.50 بود و تشخیص های نشان داده شده توسط chatGPT به طور قابل توجهی با تشخیص های پزشکی صحیح یکسان بود.

در مورد موارد نادر، نسخه 3.50 60.0٪ دقیق بود، با تشخیص صحیح در 10 تشخیص نشان داده شده توسط ربات چت. علاوه بر این، تنها 23.0٪ از تشخیص های صحیح به عنوان نتیجه اولیه ذکر شد. نسخه 4.0 عملکرد بهتری نسبت به نسخه 3.50 داشت. با این وجود، دقت تشخیصی ChatGPT 4.0 برای موارد نادر بسیار از موارد معمول مشاهده شده بود.

در میان موارد نادر، 40.0٪ با تشخیص اولیه نشان داده شده حل شد. با این حال، حداقل هشت پیشنهاد تشخیصی برای دستیابی به دقت تشخیصی 90.0٪ مورد نیاز بود. هیچ یک از مدل ها به دقت 100% نرسیدند. با این حال، حتی یک مورد توسط ChatGPT حل نشده باقی نماند، یعنی سه بار استفاده از ChatGPT 4.0 پیشنهادهای تشخیصی 3.0×10 را ارائه داد که شامل تشخیص صحیح برای هر مورد ≥1.0 بار بود.

یافته‌ها نشان داد که اجرای مکرر مدل‌ها برای یک اعلان ورودی می‌تواند دقت تشخیصی را بهبود بخشد. نتایج آزمون فلیس به ترتیب برای موارد رایج و نادر توافق خوب و توافق متوسط ​​را نشان داد. ChatGPT 4.0 تشخيص صحيح را به طور مستقيم و غيرمستقيم در نتايج اوليه و بعدي بيان كرد و تشخيص هاي نشان داده شده را با ترسيم مقادير تست آزمايشگاهي و ارائه تشخيص هاي جايگزين براي علائم تجربه شده توجيه كرد.

برای نتیجه گیری، بر اساس یافته های مطالعه، ChatGPT می تواند ابزار ارزشمندی برای کمک به مشاوره پزشکی انسانی برای تشخیص موارد پیچیده باشد. ChatGPT 4.0 به‌جای کپی کردن و چسباندن صرفاً از روی مقالات تحقیقاتی، صفحات وب یا کتاب‌ها، تشخیص‌های پزشکی را به صورت معنایی درک می‌کند. علیرغم دقت خوب در تشخیص موارد رایج، chatGPT باید با احتیاط توسط متخصصان غیرمتخصص مراقبت های بهداشتی استفاده شود و همانطور که توسط خود چت بات بیان شده است، قبل از نتیجه گیری از هر بیماری بالینی باید با پزشکان مشورت شود.

*اطلاعیه مهم: medRxiv گزارش‌های علمی مقدماتی را منتشر می‌کند که توسط همتایان بررسی نمی‌شوند و بنابراین، نباید به‌عنوان اطلاعات قطعی، راهنمای عمل بالینی/رفتار مرتبط با سلامتی در نظر گرفته شوند یا به عنوان اطلاعات ثابت تلقی شوند.