استنفورد از ChatGPT AI با قیمت کمتر از 600 دلار کپی می کند

شش ماه پیش، تنها محققان و متخصصان توسعه مدل‌های زبانی بزرگ را دنبال می‌کردند. اما پرتاب ChatGPT در اواخر سال گذشته موشکی را به پشت سر بشریت فرستاد: ماشین‌ها اکنون می‌توانند به گونه‌ای ارتباط برقرار کنند که تقریباً از انسان قابل تشخیص نیست. آنها قادرند متن و حتی کدهای برنامه نویسی را در یک مجموعه گیج کننده از حوزه های موضوعی در چند ثانیه بنویسند، اغلب با استاندارد بسیار بالا. همانطور که راه‌اندازی GPT-4 نشان می‌دهد، آن‌ها با سرعتی بالا در حال بهبود هستند، و می‌خواهند جامعه بشری را به طور اساسی متحول کنند، مانند چند فناوری دیگر، با خودکار کردن بالقوه طیف وسیعی از وظایف شغلی – به ویژه در میان کارگران یقه سفید – مردم ممکن است. قبلاً غیرممکن تصور می کردند.

بسیاری از شرکت‌های دیگر – به‌ویژه گوگل، اپل، متا، بایدو و آمازون، در میان دیگران – خیلی عقب نیستند و هوش مصنوعی آنها به زودی به بازار خواهد آمد و به هر برنامه و دستگاه ممکنی متصل می‌شود. اگر کاربر Bing هستید، مدل‌های زبان در حال حاضر در موتور جستجوی شما هستند و به زودی در بقیه مدل‌ها قرار خواهند گرفت. هر زمان که بخواهید با یک شرکت تماس بگیرید، آنها در ماشین، تلفن، تلویزیون، و در انتهای خط منتظر خواهند بود. خیلی زود، آنها را در روبات ها خواهید دید.

یک نکته کوچک آرامش این است که OpenAI و بقیه این شرکت های بزرگ از پتانسیل دیوانه کننده این ماشین ها برای هرزنامه، اطلاعات نادرست، ایجاد بدافزار، آزار و اذیت هدفمند و انواع موارد استفاده دیگر که اکثر مردم می توانند توافق کنند که دنیا را به خطر می اندازد آگاه هستند. جای بدتر آنها ماه ها و ماه ها کار می کنند تا قبل از راه اندازی این قابلیت ها را به صورت دستی کاهش دهند. سام آلتمن، مدیر عامل OpenAI یکی از بسیاری از نگرانی‌هایی است که دولت‌ها به اندازه کافی سریع حرکت نمی‌کنند تا به نام منافع عمومی حصارهایی را در اطراف هوش مصنوعی قرار دهند.

اما در مورد مدل زبانی که می توانید خودتان با 600 دلار بسازید، چطور؟ تیمی از محققان استنفورد دقیقاً این کار را انجام داده‌اند، و عملکرد چشمگیر آن نشان می‌دهد که کل این بخش و قابلیت‌های عالی آن با چه سرعتی ممکن است به سرعت از کنترل خارج شوند.

یک تیم تحقیقاتی استنفورد کار خود را با مدل زبان متن‌باز LLaMA 7B متا آغاز کرد – کوچک‌ترین و ارزان‌ترین مدل از چندین مدل LLaMA موجود. این مدل زبان کوچک که از قبل بر روی یک تریلیون “ژتون” آموزش داده شده بود، مقدار مشخصی از قابلیت را داشت – اما در بیشتر وظایف به طور قابل توجهی از ChatGPT عقب بود. هزینه اصلی و در واقع مزیت رقابتی اصلی در مدل‌های GPT عمدتاً ناشی از زمان و نیروی انسانی بسیار زیادی است که OpenAI برای آموزش پس از آموزش گذاشته است. خواندن یک میلیارد کتاب یک چیز است، اما جویدن تعداد زیادی جفت مکالمه پرسش و پاسخ که به این هوش مصنوعی ها می آموزد شغل واقعی آنها چیست.

بنابراین، با راه اندازی و اجرای مدل LLaMA 7B، تیم استنفورد اساساً از GPT خواست 175 جفت دستورالعمل/خروجی نوشته شده توسط انسان را بگیرد و شروع به تولید بیشتر در همان سبک و فرمت، 20 جفت در یک زمان کند. این کار از طریق یکی از APIهای مفید OpenAI انجام شد و در مدت کوتاهی، تیم حدود 52000 مکالمه نمونه برای استفاده در پس از آموزش مدل LLaMA داشت. هزینه تولید این داده های آموزشی انبوه کمتر از 500 دلار آمریکا است.

سپس، آن‌ها از این داده‌ها برای تنظیم دقیق مدل LLaMA استفاده کردند – فرآیندی که در هشت رایانه پردازش ابری A100 80 گیگابایتی حدود سه ساعت طول کشید. این هزینه کمتر از 100 دلار آمریکا است.

دانشگاه استنفورد

در مرحله بعد، آنها مدل به دست آمده را که آن را Alpaca نامیدند، در برابر مدل زبانی زیربنایی ChatGPT در دامنه‌های مختلف از جمله نوشتن ایمیل، رسانه‌های اجتماعی و ابزارهای بهره‌وری آزمایش کردند. آلپاکا در 90 مورد از این تست ها برنده شد و GPT در 89 مورد برنده شد.

تیم می نویسد: «با توجه به اندازه مدل کوچک و مقدار متوسط ​​داده های پیروی از دستورالعمل، ما از این نتیجه کاملا شگفت زده شدیم. علاوه بر استفاده از این مجموعه ارزیابی ایستا، ما مدل آلپاکا را نیز به صورت تعاملی آزمایش کرده‌ایم و دریافتیم که آلپاکا اغلب شبیه به text-davinci-003 رفتار می‌کند. [GPT-3.5] روی مجموعه متنوعی از ورودی ها ما تصدیق می کنیم که ارزیابی ما ممکن است در مقیاس و تنوع محدود باشد.”

این تیم ادامه داد که اگر به دنبال بهینه‌سازی فرآیند بودند، احتمالاً می‌توانستند این کار را ارزان‌تر انجام دهند. همچنین شایان ذکر است که هر کسی که بخواهد یک هوش مصنوعی را تکرار کند اکنون به GPT 4.0 بسیار تواناتر و همچنین چندین مدل قدرتمندتر LLaMA برای استفاده به عنوان پایه دسترسی دارد و مطمئناً نیازی به توقف در 52000 سؤال نیست.

تیم استنفورد 52000 سوال مورد استفاده در این تحقیق را به همراه کد تولید بیشتر و کدی که برای تنظیم دقیق مدل LLaMA استفاده کرده‌اند در Github منتشر کرده است. این تیم خاطرنشان می کند “ما هنوز مدل آلپاکا را به گونه ای تنظیم نکرده ایم که ایمن و بی ضرر باشد” و از هرکسی که این مدل را راه اندازی می کند می خواهد در مورد مسائل ایمنی و اخلاقی که پیدا کرده است گزارش دهد.

بنابراین، اساساً چه چیزی مانع از ایجاد هوش مصنوعی حیوان خانگی خود در حال حاضر، با صد دلار یا بیشتر، و آموزش آن به هر نحوی که می‌خواهد، می‌شود؟ خوب، شرایط خدمات OpenAI می گوید: “شما نمی توانید … از خروجی سرویس ها برای توسعه مدل هایی که با OpenAI رقابت می کنند استفاده کنید.” و متا می‌گوید در این مرحله فقط به محققان دانشگاهی اجازه استفاده از LLaMA را تحت مجوزهای غیرتجاری می‌دهد، اگرچه این موضوع بحث‌انگیز است، زیرا کل مدل LLaMA یک هفته پس از اعلام آن در 4chan به بیرون درز کرد.

اوه، و گروهی دیگر می‌گویند که توانسته است هزینه رایانش ابری را حذف کند، کد بیشتری را در Github منتشر کرده است که می‌تواند روی Raspberry Pi اجرا شود و فرآیند آموزش را در عرض پنج ساعت بر روی یک کارت گرافیک رده بالای nVidia RTX 4090 تکمیل می‌کند.

این همه به چه معناست؟ خب، این بدان معناست که اکنون می‌توان تعداد نامحدودی از مدل‌های زبان کنترل‌نشده را – توسط افرادی با دانش یادگیری ماشینی که به شرایط و ضوابط یا دزدی نرم‌افزاری اهمیتی نمی‌دهند – برای بادام زمینی راه‌اندازی کرد.

همچنین آب را برای شرکت های تجاری هوش مصنوعی که برای توسعه مدل های زبان خود کار می کنند گل آلود می کند. اگر این مقدار از زمان و هزینه های مربوط به مرحله پس از آموزش متحمل شده باشد، و این کار می تواند در مدت زمانی که برای پاسخ به 50 یا 100000 سوال صرف می شود، کم و بیش دزدیده شود، آیا منطقی است که شرکت ها این پول نقد را خرج کنند. ?

و برای بقیه ما، خوب، گفتنش سخت است، اما قابلیت‌های فوق‌العاده این نرم‌افزار مطمئناً می‌تواند برای یک رژیم مستبد، یا عملیات فیشینگ، یا هرزنامه‌نویس، یا هر تعداد دیگری از افراد مبتذل استفاده شود.

جن از بطری خارج شده است، و به نظر می رسد که در حال حاضر تکرار کردن و آموزش مجدد آن فوق العاده آسان است. کلاه خود را نگه دارید

منبع: Stanford via AI Explained