GPT-4 ممکن است فقط یک آشفتگی پف کرده و بیهوده باشد

به عنوان یک قاعده، هیپ کردن چیزی که هنوز وجود ندارد بسیار ساده تر از هیپ کردن چیزی است که وجود دارد. مدل زبان GPT-4 OpenAI – بسیار مورد انتظار. هنوز منتشر نشده است – در ماه های اخیر موضوع گمانه زنی های کنترل نشده و مضحک بوده است. یکی از پست هایی که به طور گسترده در فضای مجازی منتشر شده است، ادعا می کند که قدرت فوق العاده آن را نشان می دهد. یک تصویر یک نقطه کوچک را نشان می دهد که نشان دهنده GPT-3 و “175 میلیارد پارامتر” آن است. در کنار آن یک دایره بسیار بسیار بزرگتر وجود دارد که نشان دهنده GPT-4 با 100 است تریلیون مولفه های. مدل جدید، یک بشارت توییت کرد، “ChatGPT را شبیه یک اسباب بازی خواهد کرد.” “کمربندت رو ببند،” توییت کرد یکی دیگر.

یکی از مشکلات این تبلیغات این است که واقعاً نادرست است. سام آلتمن، مدیر عامل OpenAI، هر جا که شایعه 100 تریلیون پارامتری منشا گرفته باشد، گفته است که این یک “حمله کامل” است. مشکل دیگر این است که یک سوال عمیق تر و در نهایت بسیار پیامدتر را برای آینده تحقیقات هوش مصنوعی مطرح می کند. به طور ضمنی در تصویر (یا حداقل به روشی که به نظر می رسد مردم آن را تفسیر کرده اند) این فرض وجود دارد که پارامترهای بیشتر – یعنی دستگیره های بیشتری که می توانند در طول فرآیند یادگیری به منظور تنظیم دقیق خروجی مدل تنظیم شوند – همیشه منجر به هوش بیشتر می شود. آیا با انباشته شدن داده‌های بیشتر و بیشتر در مغز آن، فناوری به طور نامحدود به پیشرفت خود ادامه خواهد داد؟ وقتی صحبت از هوش مصنوعی می شود، اندازه چقدر اهمیت دارد؟

به نظر می رسد این موضوع موضوع بحث شدید کارشناسان است. در یک طرف، شما به اصطلاح ماکسیمالیست های مقیاس پذیر را دارید. رافائل میلییر، فیلسوف دانشگاه کلمبیا که کارش بر هوش مصنوعی و علوم شناختی متمرکز است، این اصطلاح را برای اشاره به گروهی که بیشتر از همه در مورد پتانسیل دگرگون‌کننده افزایش سریع‌تر هستند، ابداع کرد. ایده اصلی آنها این است که ساختار فناوری های موجود برای تولید هوش مصنوعی با هوش واقعی کافی است (هر چه شما آن را به معنای آن تفسیر کنید). تنها چیزی که در این مرحله نیاز است ساختن آن ساختار است بزرگتر– با ضرب تعداد پارامترها و بیل کردن در داده های بیشتر و بیشتر. ناندو دی فریتاس، مدیر تحقیقات DeepMind، سال گذشته مظهر این موقعیت بود توییت کرد“اکنون همه چیز در مورد مقیاس است! بازی تمام شد!” (او به طرز گیج کننده ای چندین راه دیگر را که فکر می کند مدل ها باید بهبود یابند را برشمرد؛ دیپ مایند از در دسترس قرار دادن دو فریتاس برای مصاحبه امتناع کرد.)

بخوانید: ChatGPT احمقانه تر از آن چیزی است که فکر می کنید

میلییر به من گفت این تصور که صرفاً باد کردن یک مدل به آن توانایی‌های اساسی جدیدی می‌بخشد، ممکن است در ابتدا مضحک به نظر برسد، و حتی چند سال پیش، میلی‌یر به من گفت، کارشناسان تقریباً موافق بودند که چنین بود. او گفت: «این زمانی دیدگاهی بود که شاید مضحک یا حداقل بسیار خوش بینانه تلقی می شد. پنجره اورتون در میان محققان هوش مصنوعی تغییر کرده است. و نه بی دلیل: مقیاس‌پذیری، محققان هوش مصنوعی دریافته‌اند که نه تنها توانایی‌هایی را که مدل‌های زبانی از قبل دارند تقویت می‌کند – برای مثال، مکالمه‌ها را طبیعی‌تر می‌کند – بلکه ظاهراً از ناکجاآباد، توانایی‌های جدیدی را نیز باز می‌کند. مدل های بزرگ توانایی ناگهانی انجام محاسبات سه رقمی، تشخیص مغالطه های منطقی، درک اقتصاد خرد دبیرستانی و خواندن فارسی را به دست آورده اند. الکس دیماکیس، دانشمند کامپیوتر در دانشگاه تگزاس در آستین و یکی از مدیران مؤسسه بنیادهای یادگیری ماشینی، به من گفت که پس از دیدن همه راه‌هایی که GPT-3 از آن‌ها استفاده می‌کند، «بسیار بیشتر به یک ماکسیمالیست مقیاس‌پذیر» تبدیل شده است. از مدل های قبلی پیشی گرفت “من می توانم ببینم که چگونه می توان به آن نگاه کرد و فکر کرد، بسیار خوب، اگر اینطور است، شاید بتوانیم به طور نامحدود به مقیاس‌بندی ادامه دهیم و تمام موانع باقی مانده در مسیر رسیدن به هوش در سطح انسانی را برطرف کنیم.میلییر گفت.

همدردی او با طرف مقابل در مناظره است. برای کسانی که در اردوگاه مقیاس‌پذیری و شکاک هستند، موضع حداکثری تفکر جادویی است. اولین ایرادات آنها عملی است: هر چه یک مدل زبان بزرگتر شود، داده های بیشتری برای آموزش آن مورد نیاز است و ممکن است متن منتشر شده با کیفیت بالا که می تواند مدت ها قبل از دستیابی به چیزی نزدیک به آن چیزی باشد، در مدل وارد شود. حداکثر گرایان تصور می کنند. ریچ ساتون، دانشمند کامپیوتر دانشگاه آلبرتا، به من گفت که این به این معناست که مدل‌های زبان فقط «ضعیف مقیاس‌پذیر» هستند. (قدرت محاسباتی نیز می تواند به یک عامل محدودکننده تبدیل شود، اگرچه اکثر محققان این چشم انداز را کمتر نگران کننده می دانند.)

بخوانید: وقتی هوش مصنوعی همه چیز را خوانده باشد چه اتفاقی می افتد؟

ممکن است راه هایی برای استخراج مواد بیشتری وجود داشته باشد که بتوان به مدل وارد کرد. ما می‌توانیم تمام ویدیوهای YouTube را رونویسی کنیم، یا ضربه‌های کلید کارکنان اداری را ضبط کنیم، یا مکالمات روزمره را ضبط کنیم و آنها را به نوشتار تبدیل کنیم. اما حتی در آن زمان، بدبینان می گویند، انواع مدل های زبان بزرگی که اکنون مورد استفاده قرار می گیرند، همچنان با مشکلاتی مواجه خواهند بود. آنها دائماً چیزهایی را می سازند. آنها با استدلال عقل سلیم مبارزه می کنند. آموزش آنها تقریباً به طور کامل از قبل انجام می شود، چیزی شبیه به روانشناسی انسان ها و حیوانات دیگر که می آموزید همانطور که زندگی می کنید، که به روز رسانی مدل ها را به هر طریق اساسی دشوار می کند. دلیل خاصی وجود ندارد که فرض کنیم مقیاس بندی این مشکلات را حل می کند. ارنست دیویس، استاد علوم کامپیوتر در دانشگاه نیویورک، به من گفت: «تقریباً آنطور که می‌توان انتظار داشت، پیشرفت نکرده است». “برای من اصلاً روشن نیست که هر مقدار مقیاس بندی ممکن شما را به آنجا برساند.” حتی مشخص نیست که یک هوش مصنوعی مبتنی بر زبان صرفاً بتواند چیزی مانند هوش انسانی را بازتولید کند. گفتار و اندیشیدن یکی نیستند و تسلط بر اولی به هیچ وجه تسلط بر دومی را تضمین نمی کند. شاید هوش در سطح انسان به داده های بصری یا داده های صوتی یا حتی تعامل فیزیکی با خود جهان از طریق مثلاً یک بدن رباتیک نیز نیاز داشته باشد.

بخوانید: تفاوت بین صحبت کردن و فکر کردن

میلییر به من گفت، اگرچه اینها استدلال‌های قانع‌کننده‌ای هستند، اما ماکسیمالیسم مقیاس‌پذیر برای افراد بدبین به هوش مصنوعی به چیزی تبدیل شده است. برخی از کارشناسان اعتقاد سنجیده تری به قدرت مقیاس بندی ابراز کرده اند. برای مثال ساتون استدلال کرده است که مدل‌های جدید برای حل مشکلات مدل‌های فعلی ضروری هستند همچنین این مدل‌های جدید باید حتی مقیاس‌پذیرتر از مدل‌های قبلی خود برای دستیابی به هوش در سطح انسانی باشند. در واقع، تعداد نسبتا کمی از محققین در این زمینه موضع شدیدتری را پذیرفته اند. در یک نظرسنجی از جامعه پردازش زبان طبیعی، دانشمندان داده دریافتند که در کمال تعجب، محققان حمایت همتایان خود را برای این دیدگاه که «مقیاس‌سازی عملاً هر مشکل مهمی را حل می‌کند» بیش از حد برآورد کردند. به طور متوسط، آنها پیش بینی کردند که نزدیک به نیمی از همکارانشان این دیدگاه را تایید می کنند. در واقع، تنها 17 درصد این کار را انجام دادند. ایمان پایدار به قدرت مقیاس بندی به هیچ وجه جزم غالب نیست، اما بنا به دلایلی، کارشناسان فکر این است.

به این ترتیب، بحث مقیاس بندی نماینده گفتمان گسترده تر هوش مصنوعی است. به نظر می رسد که افراط های آوازی اکثریت را از بین برده اند. یا ChatGPT به طور کامل دنیای ما را تغییر می دهد یا یک توستر با شکوه است. تقویت‌کننده‌ها هیاهوی 100 اثباتی خود را به راه می‌اندازند، مخالفان با بدبینی سربی پاسخ می‌دهند، و بقیه ما آرام جایی در وسط می‌نشینیم و سعی می‌کنیم این دنیای عجیب و غریب جدید را درک کنیم.