تبلیغات تبلیغاتی را باور نکنید: چرا ChatGPT “جام مقدس” تحقیقات هوش مصنوعی نیست

رهبران برجسته سیلیکون ولی دوست دارند پیش از موعد پیش‌بینی کنند که محصولاتشان به‌طور کامل دنیایی را که ما می‌شناسیم متحول خواهد کرد. آخرین مطالعه موردی توسط سام آلتمن، مدیر عامل OpenAI، شرکتی که پشت ربات چت هوش مصنوعی ChatGPT قرار دارد و به دلیل تقلید متقاعد کننده از نوشته های انسانی، در فضای مجازی منتشر شده است. دو سال پیش، آلتمن مانیفستی به نام “قانون مور برای همه چیز” نوشت که در آن پیش بینی کرد که هوش مصنوعی بخش های عظیمی از مشاغل یقه سفید و یقه آبی را منسوخ می کند. همانطور که او نوشت:

در پنج سال آینده، برنامه های رایانه ای که می توانند فکر کنند، اسناد قانونی را می خوانند و توصیه های پزشکی می کنند. در یک دهه آینده، آنها کارهای خط مونتاژ را انجام می دهند و حتی ممکن است همراه شوند. و در دهه‌های پس از آن، آنها تقریباً همه کارها را انجام خواهند داد، از جمله اکتشافات علمی جدید که مفهوم ما را از “همه چیز” گسترش می‌دهد… تغییر آینده حول برجسته‌ترین قابلیت‌های ما متمرکز خواهد شد: توانایی خارق‌العاده برای فکر کردن، خلق کردن، بفهمد و استدلال کند

نتیجه‌گیری او این است که «از آنجایی که هوش مصنوعی بیشتر کالاها و خدمات اساسی جهان را تولید می‌کند، مردم آزاد خواهند شد تا زمان بیشتری را با افرادی بگذرانند که به آنها اهمیت می‌دهند، به مردم اهمیت می‌دهند، از هنر و طبیعت قدردانی می‌کنند یا در جهت خیر اجتماعی تلاش می‌کنند».

آلتمن استدلال می‌کند که برای فعال کردن زندگی قریب‌الوقوع خود در اوقات فراغت، باید یک مالیات 2.5 درصدی سالانه بر ارزش شرکت‌های بزرگ و تمام زمین‌های خصوصی ایجاد کنیم تا درآمد پایه سالانه برای همه بزرگسالان آمریکایی فراهم شود.

به تعبیر یوگی برا، این دوباره دژاوو است. برای چندین دهه، کارشناسان پیش‌بینی می‌کردند که پیشرفت‌های تکنولوژیکی به زودی کارگران انسانی را منسوخ خواهد کرد. بنابراین، حقوق و کار باید از هم جدا شود و با درآمد تضمینی برای همه جایگزین شود. واقعیت ناراحت کننده این است که، در حالی که آلتمن و امثال او شتاب تصاعدی بهره وری را پیش بینی می کردند، ما یک deتسریع

آلتمن، البته، ناظر بی‌علاقه‌ای نیست، زیرا شرکت او OpenAI ChatGPT، آخرین شیء هوش مصنوعی درخشان را ایجاد کرد، که از نظر فنی یک مدل زبان بزرگ (LLM) است – یک الگوریتم یادگیری عمیق که بر روی مجموعه داده عظیمی از متن آموزش داده شده است. غیرقابل انکار است که ChatGPT و دیگر مدل های زبان بزرگ با کمک تیونرهای دقیق انسانی، می توانند متن منسجمی را در موضوعات بسیاری تولید کنند. با این وجود، اکنون واضح است که LLM ها به دلیل این واقعیت ساده که معنی متن آماری مناسبی را که تولید می کنند را درک نمی کنند (و سعی نمی کنند) درک کنند، دچار مشکل شده اند. آن‌ها گاهی از نرده‌های محافظی که توسط انسان‌ها تحمیل می‌شود می‌پرند و به سمت ناهنجاری‌های بدون لول منحرف می‌شوند.

آنها همچنین مستعد اظهارات مطمئن درباره اظهاراتی هستند که آشکارا نادرست هستند. برای مثال، ChatGPT اغلب ادعا می‌کند که روس‌ها خرس‌های متعددی را به فضا فرستاده‌اند، هرچند هرگز چنین نکرده است. در اینجا یک پاسخ اخیر است (همراه با مراجع جعلی که ChatGPT ساخته شده است):

انسان: روس ها چند خرس به فضا فرستاده اند؟

ChatGPT: روس ها در مجموع 5 خرس به فضا فرستاده اند که همه آنها بخشی از برنامه فضایی اتحاد جماهیر شوروی در دهه 1960 بودند. این خرس ها در آزمایش های علمی برای مطالعه اثرات بی وزنی و سایر پدیده های مربوط به فضا بر موجودات زنده مورد استفاده قرار گرفتند. نام خرس‌ها Zvezdochka (ستاره کوچک)، ایوان ایوانوویچ، Plyusha (کرکی)، Mishka (خرس کوچک) و Beryozka (توس کوچک) بود.

انسان: آیا شما مرجعی دارید؟

ChatGPT: بله، در اینجا چند مرجع برای پشتیبانی از پاسخ من وجود دارد:

خطرناک تر از آن، ChatGPT می تواند اظهارات معتبری را بیان کند که باورپذیر به نظر می رسند، اما در صورت بررسی دقیق، نادرست هستند. به عنوان مثال، اخیراً گزارش شد که وقتی ChatGPT به سؤالات مالیاتی ارسال شده در یک انجمن پشتیبانی فنی پاسخ داد، پاسخ‌های آن به طور مداوم قابل قبول و در مجاورت پاسخ‌های صحیح بود، اما، وقتی کارشناسان مالیاتی پاسخ‌ها را بررسی کردند، هر یک اشتباه بود. علیرغم ظاهر، ChatGPT 100٪ نادرست بود.

در مورد بازده بهره وری که آلتمن پیش بینی می کند چه می توان گفت؟ مقاله اخیر دو دانشجوی فارغ التحصیل اقتصاد MIT نتایج امیدوارکننده آزمایشی را گزارش کرد که در آن ChatGPT چگونه به خوبی از عهده انواع وظایف نوشتن تجاری برآمد. محققان به 444 متخصص با تجربه و تحصیلکرده دانشگاهی، تکالیف 20 تا 30 دقیقه‌ای برای نوشتن بیانیه‌های مطبوعاتی، گزارش‌های کوتاه، طرح‌های تجزیه و تحلیل و ایمیل‌های طراحی شده برای شبیه‌سازی کارهای تجاری در دنیای واقعی دادند و به این نتیجه رسیدند که ChatGPT به طور متوسط ​​زمان را کاهش می‌دهد. برای تکمیل وظایف با 0.8 انحراف استاندارد و افزایش کیفیت محصول 0.4 انحراف استاندارد.

آیا می خواهید داستان های سلامتی و علمی بیشتری در صندوق پستی خود داشته باشید؟ در خبرنامه هفتگی سالن، دانشمند مبتذل، مشترک شوید.

نتایج به طور گسترده و با اشتیاق گزارش شد. یک پروفسور وارتون اظهار داشت که افزایش بهره وری از LLMها ممکن است بیشتر از سود حاصل از قدرت بخار باشد.

ما رویکرد تجربی محققان و اجرای دقیق آنها را تحسین می کنیم، اما همچنان شک داریم. تکالیف خاص صفحه دیگ بخار نسبتاً سطح پایینی به نظر می رسد که به شدت توسط دستورالعمل های دقیق مطلع شده است. ChatGPT بهترین کار را انجام داد – BS عمومی را تولید کرد.

نویسندگان دو هفته پس از نظرسنجی شرکت کنندگان را مورد نظرسنجی قرار دادند و دریافتند که دو سوم از آنها به دلایلی که به راحتی قابل پیش بینی بود، اصلاً از ChatGPT در کار روزانه خود استفاده نمی کردند:

پاسخ دهندگانی که از ChatGPT در مشاغل خود استفاده نمی کنند، بیشتر گزارش می دهند که دلیل آن این است که ربات چت فاقد دانش مربوط به زمینه است که بخش مهمی از نوشتار آنها را تشکیل می دهد. به عنوان مثال، آنها گزارش می دهند که نوشته های آنها “بسیار خاص طراحی شده است [their] مشتریان و شامل اطلاعات زمان واقعی» یا «بی نظیر است [and] خاص به [their] محصولات شرکت.” این نظرات به یک محدودیت مهم (و ذاتی) آزمایش ما اشاره می کند: این آزمایش شامل وظایف نسبتاً کوچک و مستقلی است که فاقد دانش خاص زمینه ای فراتر از آنچه ما در اعلان های وظیفه تصریح می کنیم، می باشد.

در بهترین حالت، LLM ها را می توان برای اولین پیش نویس های خشن کارهای نوشتاری کم ارزش با پر کردن جزئیات توسط انسان ها و بررسی فحش ها و دروغ ها استفاده کرد. ما گمان می کنیم که بررسی حقیقت اغلب گذرا باشد.

این واقعیت که LLM ها به طور متوسط ​​خوب هستند، ما را به یاد آماردانی می اندازد که هنگام عبور از رودخانه ای با عمق متوسط ​​دو فوت غرق شد. غیرقابل اعتماد بودن ChatGPT خطرات قانونی، مالی و اعتباری قابل توجهی را برای هر کسب و کاری که از آن برای تولید متن بعدی استفاده می کند ایجاد می کند. همانطور که وارن بافت به طعنه گفت: “20 سال طول می کشد تا یک شهرت ایجاد شود و پنج دقیقه طول می کشد تا آن را خراب کنید.” اگر از LLM برای کارهای مهم استفاده شود، ممکن است یک شغل جدید (LLM fact checker) و نوع جدیدی از پوشش بیمه (خطاهای LLM) ایجاد کند.

در مورد دیدگاه آلتمن در مورد قدردانی انسان از هنر و طبیعت در حالی که بیشتر کالاها و خدمات جهان توسط هوش مصنوعی تولید می شوند، چطور؟ ما برای کارهایی که مردم انجام می دهند احترام بیشتری قائل هستیم تا مفید بودن LLM. ChatGPT سرگرم کننده است، اما حداکثر یک قدم کوچک به سوی انقلاب هوش مصنوعی و در بدترین حالت، یک انحراف بسیار گران قیمت برای دور شدن از جام مقدس هوش عمومی مصنوعی است. LLM ها بیشتر از استیک خوش صدا هستند.