مطالعه پتانسیل و کاستی های ChatGPT در SPC، آموزش و پژوهش را بررسی می کند

در پایان نوامبر 2022، شرکت OpenAI مستقر در سانفرانسیسکو، نمونه اولیه ChatGPT خود را راه‌اندازی کرد، یک ربات چت مبتنی بر هوش مصنوعی (AI) که می‌تواند به طیف گسترده‌ای از سوالات در مدت زمان کوتاه پاسخ دهد. از آن زمان، کاربران در سراسر جهان در حال آزمایش ربات چت و بحث در مورد کاربردهای احتمالی آن در زمینه های مختلف بوده اند.

ChatGPT بر اساس یک به اصطلاح مدل زبان بزرگ (LLM)، یک تکنیک یادگیری عمیق است که از شبکه های عصبی چند لایه آموزش دیده بر روی مجموعه وسیعی از متون استفاده می کند. با گذشت زمان، این مدل‌ها می‌توانند یاد بگیرند که چگونه جملات را پیش‌بینی کنند و به پرسش‌های زبانی خاص پاسخ دهند.

GPT-3، مدل زیربنای ChatGPT، یکی از قدرتمندترین LLM ها در سراسر جهان است، زیرا شامل بیش از 175 میلیارد پارامتر است و می تواند طیف گسترده ای از وظایف نوشتاری را انجام دهد. به عنوان مثال، ربات چت می تواند متون نوشته شده را ترجمه و خلاصه کند، اشعار اساسی یا اشعار آهنگ بسازد و تعاریفی را برای اصطلاحات خاص ارائه دهد.

محققان دانشگاه میامی، دانشگاه دیتون و دانشگاه هلموت اشمیت در هامبورگ اخیراً مطالعه‌ای را انجام داده‌اند که ارزش بالقوه و محدودیت‌های ChatGPT را در زمینه‌های مختلف از جمله آموزش، تحقیق و کنترل فرآیند آماری (SPC) ارزیابی می‌کند. ابزارهایی برای کنترل فرآیند یا روش تولید. مقاله آنها که در پیش چاپ منتشر شده است arXiv سرور، نشان می دهد که در حالی که ChatGPT و سایر LLM های با کارایی بالا گاهی اوقات می توانند در این تنظیمات مفید باشند، پاسخ هایی که ارائه می دهد همیشه قابل اعتماد نیستند و بنابراین هنوز باید با استفاده از منابع قابل اعتماد تأیید شوند.

Fadel Megahed Ying-Ju Chen و همکارانشان در مقاله خود نوشتند: “ما توانایی ChatGPT برای ارائه کد، توضیح مفاهیم اساسی و ایجاد دانش مربوط به تمرین، یادگیری و تحقیق SPC را بررسی می کنیم.” ما می‌پرسیم، ابزارهای مولد مبتنی بر LLM اکنون چه کاری می‌توانند انجام دهند تا نقش پزشکان، مربیان و محققان SPC را تقویت کنند؟ برای اینکه کار خود را قابل انجام تر کنیم، در درجه اول بر ارزیابی کاربرد ChatGPT (و موتور GPT-3.5 زیربنایی آن) تمرکز خواهیم کرد زیرا: (الف) شناخته شده ترین ابزار هوش مصنوعی مولد است و (ب) ترکیبی از ویژگی های ربات چت مولد با یک LLM زیربنایی که می‌تواند هم متن و هم کد تولید کند. به نظر ما، این ارزیابی توضیحی می‌تواند معیاری برای ارزیابی‌های آینده از نسل بعدی مدل‌های هوش مصنوعی مولد ارائه کند.”

برای ارزیابی پتانسیل ChatGPT به عنوان ابزاری برای کمک به متخصصان در زمینه‌های مختلف، Megahed، Chen و همکارانشان از chatbot خواستند تا به انواع مختلف سؤالات پاسخ دهد. به طور خاص، آنها از آن خواستند تا کدی را برای یک کار خاص ارائه کند، مفاهیم اساسی را توضیح دهد و اطلاعات مربوط به هر یک از سه زمینه ای را که روی آنها تمرکز کرده اند تولید کند.

سپس محققان کد، پاسخ ها و اطلاعات تولید شده توسط ChatGPT را از نزدیک بررسی کردند تا دقت و ارزش آنها را در این زمینه های مختلف تعیین کنند. به طور کلی، آنها دریافتند که در حالی که چت ربات مبتنی بر LLM می تواند مفید باشد، به ویژه به عنوان ابزاری برای ترجمه متون، طوفان فکری یا به عنوان دستیار برای برنامه نویسان انسانی ماهر، کد و پاسخ هایی که تولید می کند به تنهایی نمی تواند کاربردی، قابل اعتماد و قابل اعتماد باشد. دقیق.

“مطالعه ما نشان می دهد که نسخه فعلی ChatGPT برای کارهای ساختاریافته، مانند ترجمه کد از یک زبان به زبان دیگر و توضیح مفاهیم شناخته شده، عملکرد خوبی دارد، اما با وظایف ظریف تر، مانند توضیح اصطلاحات کمتر شناخته شده و ایجاد کد از فادل مگاهد یینگ جو چن و همکارانشان در مقاله خود توضیح دادند.

“ما دریافتیم که استفاده از ابزارهای جدید هوش مصنوعی ممکن است به پزشکان، مربیان و محققان کمک کند تا کارآمدتر و مولدتر شوند. با این حال، در مراحل فعلی توسعه آنها، برخی از نتایج گمراه کننده و اشتباه هستند. به طور کلی، استفاده از مدل های هوش مصنوعی مولد در SPC باید به درستی اعتبار سنجی شده و همراه با روش های دیگر برای اطمینان از نتایج دقیق مورد استفاده قرار گیرد.”

در آینده، مشاهدات جمع‌آوری‌شده توسط این تیم از محققان می‌تواند پزشکان، مربیان و محققان SPC را راهنمایی کند و به آنها کمک کند تا تعیین کنند که چه زمانی LLM‌هایی مانند ChatGPT می‌توانند مفید باشند و در چه مواردی اعتماد به خروجی‌های آنها ممکن است غیرعاقلانه باشد. مگاهد، چن و همکارانشان امیدوارند که این امر نوآوری مبتنی بر LLM را در حوزه کاری خود ترویج کند، در حالی که وقوع خطاها و انتشار اطلاعات غیرقابل اعتماد را کاهش دهد.