Stability AI StableLM را راه اندازی کرد، یک جایگزین متن باز ChatGPT – Ars Technica

روز چهارشنبه، Stability AI خانواده جدیدی از مدل‌های زبان AI منبع باز به نام StableLM را منتشر کرد. Stability امیدوار است اثرات کاتالیزور مدل سنتز تصویر منبع باز Stable Diffusion خود را که در سال 2022 راه اندازی شد، تکرار کند. با اصلاحات، StableLM می تواند برای ساخت یک جایگزین منبع باز برای ChatGPT استفاده شود.

StableLM در حال حاضر به شکل آلفا در GitHub در اندازه مدل های 3 میلیارد و 7 میلیارد پارامتری با 15 میلیارد و 65 میلیارد مدل پارامتر در دسترس است، طبق گفته Stability. این شرکت مدل‌ها را تحت مجوز Creative Commons BY-SA-4.0 منتشر می‌کند، که مستلزم آن است که انطباق‌ها باید به خالق اصلی اعتبار داده و همان مجوز را به اشتراک بگذارند.

Stability AI Ltd. یک شرکت مستقر در لندن است که خود را به عنوان رقیب OpenAI منبع باز قرار داده است، که علیرغم نام “باز” ​​خود، به ندرت مدل های منبع باز منتشر می کند و وزن شبکه عصبی خود را حفظ می کند – انبوه اعدادی که تعیین کننده عملکرد اصلی یک مدل هوش مصنوعی – اختصاصی.

Stability در یک پست وبلاگ مقدماتی می نویسد: «مدل های زبانی ستون فقرات اقتصاد دیجیتال ما را تشکیل خواهند داد و ما می خواهیم همه در طراحی خود صدایی داشته باشند. مدل‌هایی مانند StableLM تعهد ما را به فناوری هوش مصنوعی که شفاف، در دسترس و حمایت‌کننده است، نشان می‌دهد.»

مانند GPT-4 – مدل زبان بزرگ (LLM) که قدرتمندترین نسخه ChatGPT را تقویت می کند – StableLM با پیش بینی نشانه بعدی (قطعه کلمه) در یک دنباله، متن تولید می کند. این توالی با اطلاعات ارائه شده توسط یک انسان در قالب یک “پیش” شروع می شود. در نتیجه، StableLM می تواند متنی شبیه انسان بنویسد و برنامه بنویسد.

مانند سایر LLM های کوچک اخیر مانند Meta’s LLaMA، Stanford Alpaca، Cerebras-GPT، و Dolly 2.0، StableLM به دنبال دستیابی به عملکردی مشابه با مدل معیار GPT-3 OpenAI است در حالی که از پارامترهای بسیار کمتری استفاده می کند – 7 میلیارد برای StableLM verses 175 میلیارد برای GPT-175 میلیارد. -3.

پارامترها متغیرهایی هستند که یک مدل زبان برای یادگیری از داده های آموزشی استفاده می کند. داشتن پارامترهای کمتر، مدل زبان را کوچک‌تر و کارآمدتر می‌کند، که می‌تواند اجرای آن را در دستگاه‌های محلی مانند تلفن‌های هوشمند و لپ‌تاپ‌ها آسان‌تر کند. با این حال، دستیابی به عملکرد بالا با پارامترهای کمتر نیاز به مهندسی دقیق دارد که یک چالش مهم در زمینه هوش مصنوعی است.

Stability می‌گوید: «مدل‌های StableLM ما می‌توانند متن و کد تولید کنند و طیف وسیعی از برنامه‌های کاربردی پایین‌دستی را تامین کنند. آنها نشان می‌دهند که چگونه مدل‌های کوچک و کارآمد می‌توانند با آموزش مناسب کارایی بالایی ارائه دهند.»

به گفته Stability AI، StableLM بر روی “مجموعه داده های آزمایشی جدید” بر اساس یک مجموعه داده منبع باز به نام The Pile، اما سه برابر بزرگتر، آموزش دیده است. Stability ادعا می‌کند که «غنای» این مجموعه داده، که جزئیات آن را بعداً منتشر خواهد کرد، دلیل «عملکرد شگفت‌آور بالای» مدل در اندازه‌های پارامتر کوچکتر در کارهای مکالمه و کدگذاری است.

در آزمایش‌های غیررسمی ما با یک نسخه دقیق از مدل 7B StableLM که برای گفتگو بر اساس روش آلپاکا ساخته شده بود، متوجه شدیم که به نظر می‌رسد عملکرد بهتری دارد (از نظر خروجی‌هایی که با توجه به اعلان‌ها انتظار دارید) از پارامتر خام 7B مدل LLaMA متا. ، اما نه در سطح GPT-3. نسخه‌های پارامتر بزرگتر StableLM ممکن است انعطاف‌پذیرتر و توانمندتر باشند.

در آگوست سال گذشته، Stability راه اندازی منبع باز Stable Diffusion را که توسط محققان گروه CompVis در دانشگاه لودویگ ماکسیمیلیان مونیخ توسعه داده شده بود، تامین مالی و عمومی کرد.

Stable Diffusion به عنوان یک مدل انتشار پنهان منبع باز اولیه که می‌توانست تصاویر را از طریق اعلان‌ها تولید کند، عصر توسعه سریع در فناوری سنتز تصویر را آغاز کرد. همچنین واکنش شدیدی را در بین هنرمندان و نهادهای شرکتی ایجاد کرد که برخی از آنها از Stability AI شکایت کرده اند. حرکت ثبات به مدل‌های زبانی می‌تواند نتایج مشابهی را القا کند.

کاربران می توانند مدل پایه StableLM با 7 میلیارد پارامتر Hugging Face و مدل دقیق تنظیم شده را روی Replicate آزمایش کنند. علاوه بر این، Hugging Face میزبان یک نسخه گفتگوی تنظیم شده از StableLM با قالب مکالمه مشابه ChatGPT است.

استیبلی می‌گوید در آینده نزدیک گزارش فنی کاملی درباره StableLM منتشر خواهد کرد.