متا هوش مصنوعی، LLaMA، مجموعه‌ای از مدل‌های زبان پایه را با پارامترهای ۷B تا ۶۵B رونمایی کرد.
LLaMA-13B از GPT-3 (175B) OpenAI پیشی می گیرد در حالی که بیش از ده برابر کوچکتر است، و LLaMA-65B با Chinchilla-70B DeepMind و PaLM-540B Google قابل مقایسه است.
مقاله کامل تحقیق را اینجا بخوانید.
این مطالعه با مطالعات قبلی متفاوت است زیرا نشان می دهد که دستیابی به عملکرد پیشرفته تنها با آموزش بر روی داده های در دسترس عموم بدون توسل به مجموعه داده های اختصاصی امکان پذیر است. مدل‌های کوچکتر که بر روی تعداد بیشتری توکن آموزش داده شده‌اند، که تکه‌هایی از کلمات هستند، برای موارد استفاده خاص از محصول، بازآموزی و تنظیم ساده‌تر هستند. LLaMA 65B و LLaMA 33B بر روی 1.4 تریلیون توکن آموزش دیدند، در حالی که کوچکترین مدل، LLaMA 7B، با یک تریلیون توکن آموزش دیدند.
LLaMA با گرفتن دنباله ای از کلمات به عنوان ورودی و پیش بینی کلمه بعدی برای ایجاد متنی بازگشتی مانند هر LLM دیگر عمل می کند. تیم تصمیم گرفت از متن 20 زبان برتر با تمرکز بر زبان هایی که از الفبای لاتین و سیریلیک استفاده می کنند برای آموزش این مدل استفاده کند.
برنامه موبایل ما را دانلود کنید
در پست وبلاگ رسمی آمده است: «ما امیدواریم که انتشار این مدل‌ها برای جامعه تحقیقاتی توسعه مدل‌های زبانی بزرگ را تسریع کند و به تلاش‌ها برای بهبود استحکام آنها و کاهش مسائل شناخته شده مانند سمیت و سوگیری کمک کند.»
Meta قصد دارد مدل‌های بزرگ‌تری را منتشر کند که در آینده بر روی مجموعه داده‌های پیش‌آموزشی گسترده‌تر آموزش داده می‌شوند، زیرا با افزایش مقیاس، پیشرفت‌های ثابتی در عملکرد مشاهده کرده است.
این راه‌اندازی باعث افزایش چشمگیر توکن‌های رمزنگاری مبتنی بر هوش مصنوعی شده است. AGIX SingularityNET پس از راه اندازی بیش از 6٪ افزایش یافته است، در حالی که FET Fetch.ai فاصله چندانی با آن نداشت و بیش از 4.5٪ افزایش را تجربه کرد.
ورود متا وایلدکارد به مسابقه هوش مصنوعی
در رقابت نهایی برای برتری هوش مصنوعی، OpenAI با انتشار ChatGPT، یک چت بات قدرتمند که توسط GPT-3.5 تغذیه می‌شود، پیشتاز شد. گوگل به زودی با چت ربات “تجربی” خود Bard پیروی کرد، در حالی که غول فناوری چینی Baidu قصد دارد با Ernie Bot-ERNIE 3.0 خود وارد میدان شود. بینگ چت با نام مستعار سیدنی را فراموش نکنید که مایکروسافت ادعا می‌کند بر روی مدلی ساخته شده است که یک مدل جدید و نسل بعدی زبان بزرگ OpenAI است که از ChatGPT پیشرفته‌تر است، علاوه بر اینکه با جستجوی Bing ادغام شده است.
بیشتر بخوانید: چرا متا از LLM ها دوری می کند؟
متأسفانه، متا چندین تلاش ناموفق در این فضا انجام داده است، اگرچه به عنوان یکی از اولین کسانی بود که یک ربات چت ساخته شده بر روی LLM – BlenderBot 3 را منتشر کرد. اما این هیجان کوتاه مدت بود، زیرا ربات به سرعت به یک فاجعه هوش مصنوعی تبدیل شد و اظهارات نژادپرستانه را منتشر کرد و اخلاق مارک زاکربرگ را زیر سوال برد.
اما متا منصرف نشد و به آزمایش مدل های مبتنی بر LLM ادامه داد. آنها Galactica را معرفی کردند، مدلی که به طور خاص برای تحقیقات علمی طراحی شده بود. متأسفانه، Galactica نیز به سرنوشت BlenderBot 3 دچار شد و از نتایج توهم‌آوری رنج برد که منجر به حذف آن شد.
اگرچه متا قبلاً در پست وبلاگ خود ذکر کرده است که تحقیقات بیشتر برای پرداختن به خطرات احتمالی سوگیری، نظرات سمی و توهمات در LLMها از جمله LLaMA ضروری است، متا ادعا می کند که LLaMA همه کاره است و می تواند در موارد مختلف استفاده شود، برخلاف خوب. مدل های تنظیم شده ای که برای کارهای خاص طراحی شده اند.
جالب خواهد بود که ببینیم ورود غافلگیرکننده متا به این گروه چگونه خواهد بود. با اینکه مدل‌های قبلی آن به زباله‌دان تاریخ ختم می‌شوند، این سوال در ذهن همه وجود دارد: آیا متا واقعاً این بار می‌تواند قدم به قدم بگذارد؟
با داغ شدن نبرد برای برتری هوش مصنوعی، همه نگاه‌ها به متا دوخته شده است تا ببینند آیا آن چیزی که برای تن به تن با اسلحه‌های بزرگ لازم است را دارد یا خیر. آیا مانند مدل های قبلی به عنوان یک رقیب قدرتمند ظاهر می شود یا با LLaMA محو می شود؟ فقط زمان مشخص خواهد کرد، اما یک چیز قطعی است – سرنوشت هوش مصنوعی در تعادل است.
