ChatGPT از نظر کیفیت و همدلی برای سوالات آنلاین بیمار از پزشکان پیشی می گیرد

در مطالعه اخیر منتشر شده در JAMA Internal Medicineمحققان توانایی ChatGPT، یک دستیار چت ربات مبتنی بر هوش مصنوعی، را برای پاسخ دادن به سوالات بیماران ارسال شده در یک انجمن رسانه های اجتماعی در دسترس عموم، ارزیابی کردند.

زمینه

با توجه به گسترش سریع مراقبت های بهداشتی دیجیتال، بیماران بیشتر و بیشتری شروع به طرح پرسش ها در انجمن های رسانه های اجتماعی کرده اند. پاسخ به این سوالات نه تنها وقت گیر بلکه برای متخصصان مراقبت های بهداشتی خسته کننده است. دستیارهای هوش مصنوعی، مانند ChatGPT، می‌توانند به رسیدگی به این کار اضافی کمک کنند و به پیش‌نویس پاسخ‌های با کیفیت کمک کنند، که پزشکان بعدی می‌توانند آن‌ها را بررسی کنند.

مطالعه: مقایسه پاسخ‌های چت‌بات پزشک و هوش مصنوعی به سؤالات بیمار ارسال‌شده در تالار گفتمان عمومی رسانه‌های اجتماعی. اعتبار تصویر: Wright Studio / Shutterstock

در مورد مطالعه

در مطالعه مقطعی حاضر، محققان به طور تصادفی 195 مبادله را در پاسخ به یک سوال بیمار از طریق r/AskDocs Reddit، یک انجمن رسانه اجتماعی در دسترس عموم، در اکتبر 2022 ترسیم کردند. سپس، تیمی از متخصصان مراقبت بهداشتی دارای مجوز یک جلسه ربات چت جدید ایجاد کردند. با استفاده از متن کامل اصلی سؤال که یک پزشک به آن پاسخ داد و سپس پزشک ناشناس و پاسخ‌های ربات چت را ارزیابی کرد. توجه داشته باشید، این جلسه عاری از هرگونه سوال قبلی بود که می‌توانست نتایج را مغشوش کند. در مرحله بعد، آنها میانگین نتایج ChatGPT و پزشکان را در مقیاس 1 تا 5 برای کیفیت و همدلی آنها ارزیابی کردند و نمره بالاتر نشان دهنده کیفیت بهتر بود.

در r/AskDocs، ناظران subreddit اعتبار متخصصان مراقبت های بهداشتی را که پاسخی را ارسال می کنند تأیید می کنند و آن را در کنار پاسخ نمایش می دهند. محققان همچنین پیام های بیمار را با حذف اطلاعات منحصر به فرد برای محافظت از هویت بیماران ناشناس کردند و این مطالعه را با قانون مسئولیت پذیری و مسئولیت پذیری بیمه سلامت (HIPAA) مطابقت داد.

علاوه بر این، محققان تعداد کلمات موجود در پاسخ پزشک و ربات چت را مقایسه کردند تا تعداد پاسخ هایی را که ارزیابان برای آن ها چت بات را ترجیح می دهند، تعیین کنند. علاوه بر این، آنها نرخ پاسخ ها را در آستانه های از پیش تعیین شده، به عنوان مثال، کمتر از حد کافی، برای محاسبه نسبت های شیوع برای چت بات و پاسخ های پزشک مقایسه کردند.

در نهایت، تیم همبستگی پیرسون را بین نمرات کیفیت و همدلی گزارش کرد. علاوه بر این، آن‌ها میزانی را ارزیابی کردند که زیر مجموعه داده‌ها در پاسخ‌های طولانی‌تر نوشته شده توسط پزشکان (طول صدک بیش از 75) ترجیحات ارزیاب و رتبه‌بندی کیفیت یا همدلی را تغییر داده است.

نتایج

در 585 ارزیابی معادل 78.6 درصد پاسخ ها، ارزیابان پاسخ های چت بات (یا ChatGPT) را به پاسخ های پزشک ترجیح دادند. به طرز شگفت انگیزی، حتی در مقایسه با طولانی ترین پاسخ های پزشک، پاسخ های ChatGPT از نظر کیفیت و همدلی به طور قابل توجهی بالاتر بود.

نسبت پاسخ‌های رتبه‌بندی‌شده ≥4 که کیفیت «خوب» یا «خیلی خوب» را نشان می‌دهند برای چت‌بات‌ها بیشتر از پزشکان بود (ربات‌های گفتگو: 78.5٪ در مقابل پزشکان: 22.1٪). این معادل 3.6 برابر کیفیت بالاتر در پاسخ های چت بات است.

علاوه بر این، نسبت پاسخ‌های ربات چت با رتبه ≥4، که نشان‌دهنده «همدلی» یا «بسیار همدلانه» است، بیشتر از پاسخ‌های پزشک بود (9/18 = t). به همین ترتیب، نسبت پاسخ‌های رتبه‌بندی‌شده ≥4 که نشان‌دهنده «همدلی» یا «بسیار همدلانه» برای پاسخ‌های چت بات بیشتر از پزشکان بود (ربات چت: 45.1٪ در مقابل پزشکان: 4.6٪). این معادل 9.8 برابر بیشتر همدلی در پاسخ های چت بات است.

ضریب همبستگی پیرسون (r) بین نمرات کیفیت و همدلی تألیف شده توسط پزشکان در مقابل چت بات ها به ترتیب 0.59 و 0.32 بود.

نتیجه

در سوابق الکترونیکی سلامت، هر پیام جدید 2.3 دقیقه بعد از ساعت کاری بیشتر برای یک متخصص مراقبت های بهداشتی اضافه می کند. بنابراین، افزایش حجم پیام به افزایش فرسودگی شغلی برای پزشکان تبدیل شده است، به طوری که 62 درصد از پزشکان حداقل یک علامت فرسودگی شغلی را تجربه می کنند. همچنین احتمال بی پاسخ ماندن پیام های بیماران یا دریافت پاسخ های غیر مفید را افزایش داد.

برخی از سوالات بیمار به مهارت و زمان بیشتری برای پاسخ نیاز دارند. با این حال، اکثر آنها به دنبال مشاوره پزشکی با کیفیت بالا نیستند و عمومی هستند، مانند سؤال در مورد قرار ملاقات ها و نتایج آزمایش. این منطقه ناشناخته ای را نشان می دهد که در آن دستیاران هوش مصنوعی می توانند آزمایش شوند و در صورت موفقیت، می توانند به کاهش یا مدیریت بار اضافی که از طریق پیام های بیمار بر دوش پزشکان تحمیل می شود، کمک کنند.

ChatGPT به دلیل پتانسیل فوق‌العاده‌اش برای نوشتن پاسخ‌های با کیفیت انسان‌مانند در موضوعات مختلف فراتر از مفاهیم اولیه سلامت شناخته شده است. بنابراین، پاسخ دادن به بیمارانی که به دنبال توصیه‌های پزشکی در انجمن‌های رسانه‌های اجتماعی هستند، می‌تواند به صرفه‌جویی در زمان کارکنان بالینی برای کارهای پیچیده‌تر، تهیه پیش‌نویس پاسخ برای پزشکان یا کارکنان پشتیبانی برای ویرایش بعدا، و مهم‌تر از همه، سازگاری بیشتر در پاسخ‌ها کمک کند.

علاوه بر این، اگر بیماران پاسخ سریعی به سوالات خود دریافت کنند، ممکن است بازدیدهای غیر ضروری از کلینیک را کاهش دهد و حتی به بیمارانی که محدودیت حرکتی دارند یا ساعات کاری نامنظمی دارند کمک کند. برای برخی از بیماران، پیام رسانی سریع ممکن است بر رفتارهای سلامتی تأثیر بگذارد، به عنوان مثال، پیروی دقیق تر از رژیم غذایی و داروها.

به طور کلی، این مطالعه نتایج امیدوارکننده‌ای را به همراه داشت و نشان داد که استفاده از دستیاران هوش مصنوعی این پتانسیل را دارد که هم نتایج پزشک و هم بیمار را بهبود بخشد. با این وجود، ارزیابی فناوری‌های مبتنی بر هوش مصنوعی در کارآزمایی‌های بالینی تصادفی‌سازی شده هنوز هم قبل از اجرای آنها در محیط‌های بالینی دنیای واقعی حیاتی است. علاوه بر این، چنین کارآزمایی‌هایی باید تأثیر آن‌ها را بر فرسودگی شغلی کارکنان بالینی و پزشک با جزئیات بیشتری بررسی کنند.