متن باز GPT Chat با انتشار مدل زبان بزرگ دالی (DLL) ایجاد شده توسط شرکت نرم افزاری سازمانی Databricks، گام دیگری به جلو برداشت.
کلون جدید ChatGPT Dolly نام دارد که به نام گوسفند معروف به این نام، اولین پستاندار شبیه سازی شده، نامگذاری شده است.
مدل های زبان بزرگ منبع باز
Dolly LLM آخرین تجلی جنبش رو به رشد هوش مصنوعی منبع باز است که به دنبال ارائه دسترسی بیشتر به این فناوری است تا در انحصار و کنترل شرکت های بزرگ قرار نگیرد.
یکی از نگرانی‌هایی که جنبش AI منبع باز را هدایت می‌کند این است که کسب‌وکارها ممکن است تمایلی به تحویل داده‌های حساس به شخص ثالثی که فناوری هوش مصنوعی را کنترل می‌کند، نداشته باشند.
بر اساس منبع باز
Dolly از یک مدل منبع باز ایجاد شده توسط موسسه تحقیقاتی غیرانتفاعی EleutherAI و مدل Alpaca دانشگاه استنفورد که خود از مدل LLaMA منبع باز 65 میلیارد پارامتر ایجاد شده توسط متا ایجاد شده است.
LLaMA که مخفف Large Language Model Meta AI است، یک مدل زبانی است که بر روی داده های در دسترس عموم آموزش داده شده است.
بر اساس مقاله‌ای توسط Weights & Biases، LLaMA علیرغم کوچکتر بودن می‌تواند از بسیاری از مدل‌های زبان برتر (OpenAI GPT-3، Gopher توسط Deep Mind و Chinchilla توسط DeepMind) بهتر عمل کند.
ایجاد مجموعه داده بهتر
الهام دیگری از یک مقاله تحقیقاتی آکادمیک (SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions PDF) حاصل شد که روشی را برای ایجاد یک پرسش و پاسخ خودکار با کیفیت بالا ارائه داده است که بهتر از داده های عمومی محدود است.
مقاله تحقیقاتی Self-Instruct توضیح می دهد:
ما مجموعه‌ای از دستورالعمل‌های نوشته‌شده توسط متخصص را برای کارهای جدید تنظیم می‌کنیم و از طریق ارزیابی انسانی نشان می‌دهیم که تنظیم GPT3 با SELF-INSTRUCT با استفاده از مجموعه داده‌های دستورالعمل عمومی موجود با یک حاشیه بسیار بهتر عمل می‌کند و تنها یک شکاف مطلق 5 درصدی را پشت سر InstructGPT باقی می‌گذارد…
… با استفاده از روش خود برای وانیلی GPT3، بهبود مطلق 33 درصدی را نسبت به مدل اصلی در SUPERNATURALINSTRUCTIONS نشان می دهیم، همتراز با عملکرد InstructGPT… که با داده های کاربر خصوصی و حاشیه نویسی های انسانی آموزش داده شده است.
اهمیت Dolly در این است که نشان می دهد که یک مدل زبان بزرگ مفید را می توان با مجموعه داده کوچکتر اما با کیفیت بالا ایجاد کرد.
Databricks مشاهده می کند:
دالی با استفاده از مدل منبع باز 6 میلیارد پارامتری موجود از EleutherAI و اصلاح آن تا حد کمی برای استخراج دستورالعمل هایی مانند طوفان مغزی و تولید متن که در مدل اصلی وجود ندارد، با استفاده از داده های Alpaca کار می کند.
ما نشان می‌دهیم که هر کسی می‌تواند یک مدل زبان بزرگ منبع باز (LLM) را تهیه کند و با آموزش آن در 30 دقیقه روی یک دستگاه، با استفاده از داده‌های آموزشی با کیفیت بالا، دستورالعمل‌های جادویی مانند ChatGPT را به آن ارائه دهد.
با کمال تعجب، به نظر نمی‌رسد که پیروی از دستورالعمل‌ها به جدیدترین یا بزرگ‌ترین مدل‌ها نیاز داشته باشد: مدل ما تنها 6 میلیارد پارامتر دارد، در مقایسه با 175 میلیارد برای GPT-3.
Databricks منبع باز AI
گفته می شود که دالی هوش مصنوعی را دموکراتیک می کند. این بخشی از یک جنبش لباس مجلسی است که اخیراً توسط سازمان غیرانتفاعی موزیلا با تأسیس Mozilla.ai به آن ملحق شده است. موزیلا ناشر مرورگر فایرفاکس و سایر نرم افزارهای متن باز است.
اطلاعیه کامل Databricks را بخوانید:
سلام دالی: دموکراتیک کردن جادوی ChatGPT با مدل‌های باز
