همین چند روز پیش بود که تیمی از محققان استنفورد یک کلون از ChatGPT OpenAI را تنها با قیمت 600 دلار ساختند. اکنون آن محققان نسخه آزمایشی را گرفته اند.
2مشاهده گالری – 2 تصویر
انتشار OpenAI ChatGPT هوش مصنوعی را در کانون توجه قرار داد و تقاضای گسترده برای مدل‌های زبان را نشان داد، فناوری زیربنایی که این ابزارهای هوش مصنوعی را تقویت می‌کند. پس از انتشار ChatGPT که به سرعت میلیون ها کاربر را جذب کرد، شرکت های دیگری مانند گوگل، مایکروسافت، فیس بوک و آمازون شروع به حذف اطلاعات در مورد مدل های زبان خود کردند که در حال حاضر در حال توسعه هستند. مایکروسافت با سرمایه گذاری میلیاردها دلار در قبال مدل زبانی GPT مناسب خود، به سرعت وارد قطار OpenAI شد.
محققان در استنفورد تصمیم گرفتند ببینند که ایجاد مدل زبان خود چقدر دشوار و پرهزینه خواهد بود و تصمیم گرفتند GPT OpenAI را تکرار کنند. همانطور که قبلاً گزارش شده بود، اساتید دانشگاه استنفورد از مدل زبان متن باز LLaMA 7B متا استفاده کردند و آن را بر روی تریلیون ها توکن داده آموزش دادند. نتایج تقریباً ایجاد یک کلون ChatGPT به نام Alpaca بود که با برخی تفاوت‌های کلیدی همراه بود. در حالی که آلپاکا بر روی حجم زیادی از داده ها آموزش دیده بود، در مورد چگونگی غربال کردن آن داده ها برای به دست آوردن سریع پاسخ آموزش ندیده بود. این باعث شد محققان به این نتیجه برسند که آلپاکا بسیار کندتر از GPT است.
“هدف اولیه از انتشار نسخه نمایشی انتشار تحقیقات خود به روشی در دسترس بود. ما احساس می کنیم که عمدتاً به این هدف دست یافته ایم و با توجه به هزینه های میزبانی و ناکافی بودن فیلترهای محتوای خود، تصمیم گرفتیم نسخه نمایشی را حذف کنیم.سخنگوی موسسه هوش مصنوعی انسان محور دانشگاه استنفورد به The Register گفت:
سرعت تنها یکی از مشکلات آلپاکا بود، زیرا محققان خاطرنشان کردند که مدل زبان بوتلگ معمولاً اطلاعات نادرست را منتشر می‌کند، سوالات ساده‌ای مانند پایتخت تانزانیا را اشتباه می‌گیرد، یا استدلال می‌کند که عدد 42 بهترین دانه برای آموزش هوش مصنوعی است. توسعه دهندگان این خطاها را “توهم،و آلپاکا با آنها مملو بود، که به تصمیم محققان استنفورد برای حذف نسخه نمایشی افزود.
“به طور خاص به نظر می رسد که توهم یک حالت شکست معمول برای آلپاکا باشد، حتی در مقایسه با text-davinci-003،“محققان خاطرنشان کردند.
با توجه به الف گزارش از The Register، هدف اولیه مشخص شده توسط محققان این بود که تعیین کنند ایجاد یک مدل زبان قدرتمند چقدر دشوار و پرهزینه است. محققان بر این باورند که با نشان دادن این که ابزارهای قدرتمند مبتنی بر هوش مصنوعی را می توان با مقدار بسیار محدودی پول ایجاد کرد، به این هدف دست یافتند، و در حالی که آنها چندین مشکل دارند، با این وجود این نمایش درست است.
ثبت گزارش می‌دهد که ترکیبی از نگرانی‌های ایمنی در رابطه با موضوع اطلاعات نادرست با Alpaca، دستیابی به هدف اولیه تعیین‌شده و هزینه‌های مربوط به میزبانی هوش مصنوعی منجر به تصمیم به حذف آن شد.
با این حال، برای کسانی که هنوز می خواهند بر اساس Alpaca بسازند، کد آن برای دانلود در GitHub در دسترس قرار گرفته است. همانطور که محققان بیان می‌کنند، هدف از ایجاد یک مدل زبان کم‌هزینه محقق شد که نشان‌دهنده قدرتی است که می‌توان با بودجه کمتر از 1000 دلار ایجاد کرد.
“آلپاکا احتمالاً شامل بسیاری از محدودیت‌های دیگر مرتبط با مدل زبان اصلی و داده‌های تنظیم دستورالعمل است. با این حال، ما معتقدیم که این مصنوع همچنان برای جامعه مفید خواهد بود، زیرا یک مدل نسبتا سبک را ارائه می دهد که به عنوان مبنایی برای مطالعه کمبودهای مهم عمل می کند.“محققان گفتند
