چت بات ها و مدل های زبان بزرگ یا LLM واقعا چگونه کار می کنند

در دوم ما سری پنج قسمتی، من قصد دارم توضیح دهم که این فناوری چگونه عمل می کند.

هوش مصنوعی که ChatGPT، ربات چت بینگ مایکروسافت و بارد گوگل را نیرو می‌دهد، می‌تواند مکالمات انسان‌مانند را انجام دهد و نثر طبیعی و روان را در مورد موضوعات مختلف بی‌پایان بنویسد. آنها همچنین می توانند کارهای پیچیده ای را انجام دهند، از نوشتن کد گرفته تا برنامه ریزی برای جشن تولد کودکان.

اما این همه چگونه کار می کند؟ برای پاسخ به آن، ما باید زیر پوشش چیزی به نام مدل زبان بزرگ – نوعی هوش مصنوعی که این سیستم‌ها را هدایت می‌کند، نگاه کنیم.

مدل‌های زبان بزرگ یا LLM در صحنه هوش مصنوعی نسبتاً جدید هستند. اولین ها فقط حدود پنج سال پیش ظاهر شدند و خیلی خوب نبودند. اما امروز آنها می توانند ایمیل ها، ارائه ها و یادداشت ها را پیش نویس کنند و به شما یک زبان خارجی را آموزش دهند. مطمئناً در ماه‌ها و سال‌های آینده قابلیت‌های بیشتری ظاهر می‌شود، زیرا فناوری بهبود می‌یابد و سیلیکون ولی در تلاش برای کسب درآمد است.

من قصد دارم شما را در راه اندازی یک مدل زبان بزرگ از ابتدا، ساده کردن کارها و کنار گذاشتن بسیاری از ریاضیات سخت راهنمایی کنم. بیایید وانمود کنیم که در حال تلاش برای ایجاد یک LLM برای کمک به شما در پاسخ به ایمیل‌هایتان هستیم. ما آن را MailBot می نامیم.

مرحله 1: یک هدف تعیین کنید

هر سیستم هوش مصنوعی به یک هدف نیاز دارد. محققان این را an تابع هدف. این می تواند ساده باشد – به عنوان مثال، “تا جایی که ممکن است در بازی های شطرنج برنده شوید” – یا پیچیده باشد، مانند “پیش بینی اشکال سه بعدی پروتئین ها، تنها با استفاده از توالی اسید آمینه آنها”.

اکثر مدل‌های زبانی بزرگ، تابع هدف اصلی یکسانی دارند: با توجه به دنباله‌ای از متن، حدس بزنید چه چیزی بعداً می‌آید. بعداً به MailBot اهداف مشخص تری خواهیم داد، اما بیایید فعلاً به آن یکی بمانیم.

مرحله 2: داده های زیادی جمع آوری کنید

در مرحله بعد، ما باید داده های آموزشی را جمع آوری کنیم که به MailBot نحوه نوشتن را آموزش می دهد. در حالت ایده‌آل، ما یک مخزن بسیار بزرگ از متن را گرد هم می‌آوریم، که معمولاً به معنای میلیاردها صفحه حذف شده از اینترنت است – مانند پست‌های وبلاگ، توییت‌ها، مقالات ویکی‌پدیا و داستان‌های خبری.

برای شروع، از چند کتابخانه داده رایگان و در دسترس عموم، مانند مخزن Common Crawl داده های وب استفاده می کنیم. اما ما همچنین می خواهیم سس مخفی خود را در قالب داده های اختصاصی یا تخصصی اضافه کنیم. شاید به برخی از متن‌های خارجی مجوز بدهیم تا MailBot نوشتن ایمیل به زبان فرانسوی یا اسپانیایی و همچنین انگلیسی را بیاموزد. به طور کلی، هرچه داده های ما بیشتر باشد و منابع متنوع تر باشد، مدل ما بهتر خواهد بود.

قبل از اینکه بتوانیم داده ها را به مدل خود وارد کنیم، باید آن ها را به واحدهایی به نام نشانه ها تقسیم کنیم که می توانند کلمات، عبارات یا حتی کاراکترهای منفرد باشند. تبدیل متن به تکه‌های کوچک به مدل کمک می‌کند آن را راحت‌تر تحلیل کند.

مرحله 3: شبکه عصبی خود را بسازید

هنگامی که داده های ما توکنیزه شدند، باید “مغز” هوش مصنوعی را جمع آوری کنیم – نوعی سیستم که به عنوان شبکه عصبی شناخته می شود. این شبکه پیچیده ای از گره های به هم پیوسته (یا “نورون ها”) است که اطلاعات را پردازش و ذخیره می کند.

برای MailBot، ما می خواهیم از نوع نسبتا جدیدی از شبکه عصبی به نام a استفاده کنیم مدل ترانسفورماتور. آنها می توانند چندین قطعه متن را به طور همزمان تجزیه و تحلیل کنند و آنها را سریعتر و کارآمدتر کند. (مدل های ترانسفورماتور کلید سیستم هایی مانند ChatGPT هستند – که مخفف کامل آن مخفف “ترانسفورماتور از پیش آموزش داده شده تولید کننده” است.)

مرحله 4: شبکه عصبی خود را آموزش دهید

در مرحله بعد، مدل داده ها را به صورت نشانه به نشانه تجزیه و تحلیل می کند و الگوها و روابط را شناسایی می کند. ممکن است متوجه شود که «عزیز» اغلب با نامی همراه است، یا «با احترام» معمولاً قبل از نام شما آمده است. با شناسایی این الگوها، هوش مصنوعی یاد می‌گیرد که چگونه پیام‌هایی بسازد که منطقی باشند.

این سیستم همچنین حس زمینه را توسعه می دهد. برای مثال، ممکن است یاد بگیرد که «بانک» بسته به کلمات اطراف می‌تواند به یک موسسه مالی یا کنار رودخانه اشاره کند.

همانطور که این الگوها را یاد می گیرد، مدل ترانسفورماتور نقشه ای را ترسیم می کند: یک نمایش ریاضی بسیار پیچیده از زبان انسان. این روابط را با استفاده از مقادیر عددی که به عنوان شناخته می شوند، پیگیری می کند مولفه های. بسیاری از بهترین LLMهای امروزی صدها میلیارد پارامتر یا بیشتر دارند.

آموزش ممکن است روزها یا حتی هفته ها طول بکشد و به قدرت محاسباتی بسیار زیادی نیاز دارد. اما پس از اتمام کار، تقریباً آماده شروع نوشتن ایمیل های شما خواهد بود.

به طور عجیبی، ممکن است مهارت های دیگری نیز ایجاد کند. همانطور که LLM ها یاد می گیرند که کلمه بعدی را در یک دنباله، بارها و بارها پیش بینی کنند، می توانند توانایی های غیرمنتظره دیگری مانند دانستن نحوه کدنویسی را بدست آورند. محققان هوش مصنوعی این رفتارها را رفتارهای اضطراری می نامند و هنوز هم گاهی اوقات توسط آنها مبهم می شوند.

مرحله 5: مدل خود را دقیق تنظیم کنید

هنگامی که یک مدل زبان بزرگ آموزش داده شد، باید برای یک کار خاص کالیبره شود. برای مثال، یک ربات چت که توسط یک بیمارستان استفاده می شود، ممکن است نیاز به درک اصطلاحات پزشکی داشته باشد.

برای تنظیم دقیق MailBot، می‌توانیم از آن بخواهیم دسته‌ای از ایمیل‌ها را ایجاد کند، افرادی را استخدام کند تا از نظر دقت به آنها امتیاز دهند و سپس رتبه‌بندی‌ها را به مدل برگرداند تا زمانی که بهبود یابد.

این یک تقریب تقریبی از رویکردی است که با ChatGPT استفاده شده است که به آن معروف است یادگیری تقویتی با بازخورد انسانی.

مرحله 6: راه اندازی، با دقت

تبریک می گویم! پس از آموزش و تنظیم دقیق MailBot، آماده استفاده است. بعد از اینکه نوعی رابط کاربری برای آن ساختید – مانند یک برنامه افزودنی کروم که به برنامه ایمیل شما وصل می شود – می تواند شروع به ارسال ایمیل کند.

اما مهم نیست که چقدر خوب به نظر می‌رسد، همچنان می‌خواهید که دستیار جدیدتان را دنبال کنید. همانطور که شرکت‌هایی مانند مایکروسافت و متا به سختی آموخته‌اند، سیستم‌های هوش مصنوعی می‌توانند نامنظم و غیرقابل پیش‌بینی باشند یا حتی وحشت‌زده و خطرناک شوند.

فردا، درباره اینکه چگونه ممکن است همه چیز به روش‌های غیرمنتظره و گاهی آزاردهنده پیش برود، بیشتر خواهیم شنید.

تکالیف شما

بیایید یکی از خلاقانه‌ترین توانایی‌های LLM را بررسی کنیم: توانایی ترکیب مفاهیم و قالب‌های متفاوت در چیزی عجیب و غریب و جدید. به عنوان مثال، همکاران ما در Well از ChatGPT خواستند که «ترانه‌ای با صدای تیلور سویفت بنویسد که از موضوعات کتاب دکتر سوس استفاده می‌کند».

برای تکالیف امروز، سعی کنید فرمت، سبک و موضوعی را با هم ترکیب کنید – مانند: «درباره گرم شدن کره زمین به سبک اسنوپ داگ بنویسید».

فراموش نکنید که ساخته خود را به عنوان یک نظر به اشتراک بگذارید.

امتحان

سوال 1 از 3

تابع هدف اصلی مدل های زبان بزرگ مانند ChatGPT چیست؟

مسابقه را با انتخاب پاسخ خود شروع کنید.

واژه نامه

• مدل ترانسفورماتور: یک معماری شبکه عصبی مفید برای درک زبان، که لازم نیست کلمات را یک به یک تجزیه و تحلیل کند، اما می تواند یک جمله کامل را در یک زمان نگاه کند. تکنیکی به نام توجه به خود به مدل اجازه می دهد تا بر روی کلمات خاصی که در درک معنای جمله مهم هستند تمرکز کند.

• مولفه های: مقادیر عددی که ساختار و رفتار یک مدل زبان بزرگ را تعریف می‌کنند، مانند سرنخ‌هایی که به آن کمک می‌کنند تا حدس بزند چه کلماتی در ادامه آمده است. تصور می شود که سیستم های مدرن مانند GPT-4 صدها میلیارد پارامتر دارند.

• یادگیری تقویتی: تکنیکی که به مدل هوش مصنوعی می آموزد که بهترین نتیجه را با آزمون و خطا، دریافت پاداش یا تنبیه از الگوریتم بر اساس نتایج آن بیابد. این سیستم را می توان توسط انسان ها که در مورد عملکرد آن بازخورد می دهند، تقویت کرد.

برای بیشتر اصطلاحات واژه نامه اینجا را کلیک کنید.