سرمایه گذاری میلیاردی مایکروسافت در OpenAI نشان می دهد که آموزش مدل های هوش مصنوعی دشوار است. اما به نظر می رسد محققان در استنفورد این کار را با بودجه متوسطی انجام داده اند که می تواند به شرکت های هوش مصنوعی اجازه دهد تا از گاراژ خارج شوند.
چگونه استنفورد هوش مصنوعی را با حداقل هزینه آموزش داد
یکی از اجزای حیاتی این دستاورد، LLaMA 7B، یک مدل زبان منبع باز بود که محققان به آن دسترسی پیدا کردند. جالب اینجاست که این مدل از متا، شرکت مارک زاکربرگ می آید و یکی از کوچک ترین و کم هزینه ترین مدل های زبان موجود امروزی است.
این مدل زبان که بر روی تریلیون توکن آموزش دیده است، دارای قابلیت هایی است که مجهز به آن هستند، اما به سطوحی که در ChatGPT دیده ایم، نزدیک نیستند. محققان سپس به GPT، هوش مصنوعی پشت ربات چت، روی آوردند و از یک رابط برنامه نویسی کاربردی (API) برای استفاده از 175 جفت دستورالعمل/خروجی نوشته شده توسط انسان برای تولید بیشتر در همان سبک و قالب استفاده کردند.
با استفاده از مدل های هوش مصنوعی، چت ربات ها در حال افزایش هستند
محققان با ایجاد 20 بیانیه در یک زمان، 52000 مکالمه نمونه را در زمان بسیار کمی جمع آوری کردند که هزینه آن 500 دلار بود. سپس از این مجموعه داده برای آموزش پس از آموزش مدل LLaMa استفاده شد. محققان با روی آوردن به هشت رایانه پردازش ابری 80 گیگابایتی A100، این کار را تنها در سه ساعت با صرف کمتر از 100 دلار انجام دادند.
مدل آموزش دیده، دوبله Alpaca سپس در برابر خود ChatGPT در دامنه های مختلف آزمایش شد و GPT را در بازی خود شکست داد. محققان ادامه می دهند که فرآیند آنها واقعاً بهینه نشده بود و اگر از GPT-4، آخرین نسخه هوش مصنوعی استفاده می کردند، می توانستند نتایج بهتری بگیرند.
