نیکی پارمار و آشیش واسوانی با همکاری یکدیگر مقاله ای مهم را نوشتند که زمینه را برای ChatGPT و دیگر مدل های هوش مصنوعی مولد فراهم کرد. عکس/ نیکی پارمار.
ChatGPT جهان را در طوفان فرو برده است، اما بذرهای این فناوری پیشگامانه در دانشکده مهندسی USC Viterbi کاشته شد. مقاله اصلی «توجه همه آن چیزی است که شما نیاز دارید»، که شالوده ChatGPT و دیگر سیستم‌های هوش مصنوعی مولد را پایه‌گذاری کرد، توسط آشیش واسوانی، فارغ‌التحصیل دکترای علوم کامپیوتر (14) و نیکی پارمار، فارغ‌التحصیل کارشناسی ارشد علوم رایانه نوشته شد. (’15).
این مقاله برجسته در کنفرانس سال 2017 در سیستم های پردازش اطلاعات عصبی (NeurIPS)، یکی از کنفرانس های برتر در هوش مصنوعی و یادگیری ماشین ارائه شد. در این مقاله، محققان معماری ترانسفورماتور را معرفی کردند، یک نوع قدرتمند از شبکه عصبی که به طور گسترده برای وظایف پردازش زبان طبیعی، از طبقه‌بندی متن تا مدل‌سازی زبان، استفاده می‌شود.
توجه تنها چیزی است که نیاز دارید
این مقاله که در NeurIPS در سال 2017 منتشر شد، بیش از 60000 بار مورد استناد قرار گرفته است.
مدل‌های ترانسفورماتور از تکنیک‌های ریاضی به نام «توجه» استفاده می‌کنند که به مدل اجازه می‌دهد به طور انتخابی روی کلمات و عبارات مختلف متن ورودی تمرکز کند و پاسخ‌های منسجم‌تر و مرتبط‌تری تولید کند. با درک روابط بین کلمات در یک متن، مدل بهتر می‌تواند معنا و زمینه متن ورودی را درک کند. ChatGPT از گونه‌ای از ترانسفورماتور به نام GPT (یا ترانسفورماتور از قبل آموزش‌دیده تولیدی) استفاده می‌کند.
معماری ترانسفورماتور یک تغییر پارادایم در هوش مصنوعی و پردازش زبان طبیعی در نظر گرفته می‌شود و شبکه‌های عصبی بازگشتی (RNN) را که زمانی معماری غالب در مدل‌های پردازش زبان بود، تا حد زیادی منسوخ می‌کند. این یک عنصر حیاتی در موفقیت ChatGPT در کنار سایر نوآوری ها در یادگیری عمیق و آموزش های توزیع شده منبع باز در نظر گرفته می شود.
پارمار گفت: “مولفه های مهم در این مقاله، انجام محاسبات موازی در تمام کلمات در جمله و توانایی یادگیری و درک روابط بین هر دو کلمه در جمله بود، نه فقط کلمات همسایه مانند در کوتاه مدت. شبکه‌های حافظه و مدل‌های مبتنی بر شبکه عصبی کانولوشنال».
یک مدل جهانی
واسوانی از ChatGPT به عنوان “یک نقطه عطف واضح در قوس هوش مصنوعی” یاد می کند.
واسوانی، نویسنده اول مقاله، گفت: «زمانی قبل از Chat-GPT و زمانی بعد از Chat-GPT وجود خواهد داشت. ما در حال شروع ابزارهای عمیق برای تفکر هستیم که در نهایت ما را در دنیای دیجیتال بسیار توانمندتر می کند.
می‌دانستم که آشیش و نیکی می‌توانند کارهای شگفت‌انگیزی با هم انجام دهند، اما هرگز تصور نمی‌کردم که آنها کل رشته ما را تغییر دهند.» مرتضی دهقانی
اما زمانی که در سال 2016 کار بر روی مدل ترانسفورماتور را آغاز کرد، لزوماً این هدف او نبود.
“برای من، شخصا، من به دنبال یک مدل جهانی بودم. یک مدل واحد که همه روش‌ها را یکپارچه می‌کند و مانند مغز انسان اطلاعات بین آنها تبادل می‌کند.»
به گفته Google Scholar، “توجه تنها چیزی است که شما نیاز دارید” تا زمان انتشار، بیش از 60000 نقل قول دریافت کرده است. تعداد کل استنادات آن همچنان در حال افزایش است زیرا محققان بر روی بینش‌های آن ایجاد می‌کنند و تکنیک‌های معماری ترانسفورماتور را برای مشکلات جدید، از تولید تصویر و موسیقی، تا پیش‌بینی خواص پروتئین برای پزشکی به کار می‌برند.
همچنین زمینه را برای سومین مهندس USC Viterbi فراهم کرد تا مشعل را در دست بگیرد و این تحقیقات بنیادی را به محصولی که امروزه به نام ChatGPT می شناسیم منجنیق کند. در سپتامبر 2022، Barret Zoph (کارشناسی ارشد علوم کامپیوتر، ’16)، به OpenAI پیوست و در آنجا نقش اساسی در توسعه مدل زبان ایفا کرد.
در راستای این میراث، در 9 مارس، رئیس USC، کارول فولت، اعلام کرد که دانشگاه در حال راه‌اندازی مرکز هوش مصنوعی و جامعه با 10 میلیون دلار برای تحقیقات است که متخصصان برجسته از Viterbi و چهار مدرسه دیگر را گرد هم می‌آورد: مدرسه USC Annenberg برای ارتباطات و روزنامه نگاری، دانشکده هنرهای سینمایی USC، آکادمی USC Iovine and Young و دانشکده آموزش USC Rossier.
یک اتصال USC
واسوانی که در هند متولد شد و در آنجا و در خاورمیانه بزرگ شد، قبل از پیوستن به USC به عنوان کاندیدای دکترای علوم کامپیوتر در سال 2004، در هر دو IBM و Google کارآموزی کرد و زیر نظر لیانگ هوانگ، اکنون استاد دانشگاه ایالتی اورگان، و دیوید چیانگ کار می‌کرد. ، اکنون در دانشگاه نوتردام.
واسوانی در سال 2012 از پاپوآ گینه نو برای پروژه ای در زمینه پردازش زبان طبیعی برای مستندسازی زبان های در خطر انقراض بازدید کرد. عکس/ دیوید چیانگ.
چیانگ گفت: «آشیش اولین دانشجوی دکترای من و یکی از اولین افرادی بود که پتانسیل یادگیری عمیق در پردازش زبان طبیعی را در سال 2011 دید.
هوانگ از واسوانی به عنوان یک “روشنگر” در دوران حضورش در USC یاد می کند و به یاد می آورد که یک ایستگاه کاری GPU در دفتر خود از ابتدا درست کرده است، در حالی که تعداد کمی از مردم اهمیت پردازنده های گرافیکی در هوش مصنوعی یا پردازش زبان طبیعی (NLP) را درک کرده اند.
هوانگ گفت: “از نظر من، کاغذ ترانسفورماتور آشیش نوعی “پاداش” برای اعتقاد اولیه او به یادگیری عمیق است. در آن زمان، پارادایم نوپای یادگیری عمیق، که نسبتاً نابالغ بود، به هیچ وجه پارادایم غالب در هوش مصنوعی یا NLP نبود. با این حال، آشیش علاقه منحصر به فرد و شدیدی از خود نشان داد. او مشتاق، منحصر به فرد، متفاوت فکر می کرد و جلوتر از زمان خود بود.»
در طول این مدت به عنوان دانشجوی علوم کامپیوتر، او در گروه پردازش زبان طبیعی مؤسسه علوم اطلاعات USC، به رهبری پروفسور سابق علوم کامپیوتر USC، کوین نایت (که همچنین به عنوان مشاور تحقیقاتی Zoph خدمت می کرد) کار می کرد.
با نایت، واسوانی روی مدل‌های زبان عصبی، نسخه‌های اولیه آنچه که زیربنای ChatGPT است، کار کرد. واسوانی و همکارانش در مقاله‌ای با عنوان «رمزگشایی با مدل‌های زبان عصبی در مقیاس بزرگ ترجمه را بهبود می‌بخشد» نشان دادند که مدل‌های زبان عصبی دقت ترجمه خودکار زبان را بهبود می‌بخشد. او همچنین مقاله‌ای با عنوان «تخمین ساده سریع نویز-تضاد برای واژگان RNN بزرگ» نوشت که تکنیکی را برای آموزش مؤثر مدل‌های زبان عصبی ایجاد کرد.
دنبال ایده های جسورانه
واسوانی گفت که در USC پیشرفت کرده است، جایی که می تواند آزادانه حوزه های خلاقانه تحقیقات خود را کشف کند و علاقه رو به رشد خود را به یادگیری عمیق دنبال کند.
“این یک گروه تحقیقاتی پر جنب و جوش و فوق العاده بود که ایده های جسورانه ای را دنبال می کرد.” آشیش واسوانی.
واسوانی گفت: “این فقط یک محیط فکری نیست – فرهنگ خاصی وجود داشت که بر نتایج واقعی و عملی متمرکز بود و ارتباطات بسیار مهم بود.” همه چیزهایی که در USC یاد گرفتم نحوه انجام تحقیقاتم و نحوه یادگیری و جذب اطلاعات را شکل داد. این یک گروه تحقیقاتی پر جنب و جوش و فوق العاده بود که ایده های جسورانه ای را دنبال می کرد، و این نادر است.
پس از فارغ التحصیلی، او در سال 2016 به عنوان یک دانشمند پژوهشی به Google Brain پیوست. یک سال بعد، او با همکاری تیمی از محققان از جمله همکار Google Brain و همکار فارغ التحصیل USC، نیکی پارمار، مقاله پیشگام را نوشت. واسوانی و پارمار برای اولین بار در USC ملاقات کرده بودند که واسوانی یک سخنرانی مهمان در مورد شبکه های عصبی ارائه کرد و این زوج دوستان سریع و همکاران تحقیقاتی شدند.
عکس نیکی پارمار (مرکز) و مرتضی دهقانی (راست) در پردیس USC. عکس/ مرتضی دهقانی.
پارمار به عنوان دانشجوی کارشناسی ارشد به آزمایشگاه علوم اجتماعی محاسباتی به سرپرستی مرتضی دقانی، دانشیار روانشناسی و علوم کامپیوتر پیوست.
پارمار می‌گوید: «من روی استفاده از تکنیک‌های NLP برای درک بهتر پویایی رفتاری بین کاربران در وب‌سایت‌های رسانه‌های اجتماعی و نحوه ارتباط آن با ارزش‌های اخلاقی و مطالعات هوموفیلی کار می‌کردم.
پارمار بلافاصله پس از فارغ التحصیلی به گوگل پیوست و در آنجا در مورد مدل های پیشرفته برای شباهت جملات و پاسخ به سوالات تحقیق کرد.
دهقانی که اولین بار نیکی را در مقدمه کلاس هوش مصنوعی او در سال 2013 ملاقات کرد، گفت: «نیکی در چندین پروژه با من همکاری کرد و مشخص بود که او صرفاً یک متفکر برجسته است.
دهقانی که با وسوانی مقاله ای را نیز تالیف کرده است، می افزاید: «بی نهایت به او افتخار می کنم. می‌دانستم که آشیش و نیکی می‌توانند کارهای شگفت‌انگیزی با هم انجام دهند، اما هرگز تصور نمی‌کردم که آنها کل رشته ما را تغییر دهند.»
برای همه کسانی که با واسوانی و پارمار کار کرده‌اند، عمر طولانی و میراث این روزنامه شاهکاری قابل توجه و گواهی بر هوشیاری آنهاست.
نایت گفت: “یک چیز شگفت انگیز در مورد کاغذ ترانسفورماتور این است که شش سال است که محکم نگه داشته شده است.” با توجه به سرعت فعلی پیشرفت‌ها در NLP و یادگیری ماشینی – که در آن الگوریتم‌های پیشرفته‌ای را هر چند ماه یک بار مشاهده می‌کنید – انتظار دارید تا الان ترانسفورماتورها جایگزین شوند. بنابراین، آنها در آنجا به چیزی اساسی دست زدند.»
هوانگ موافق است و می‌افزاید: «هر جا که می‌روم، می‌توانم کاغذ آشیش را روی میزهای مردم همه جا پیدا کنم.»
منتشر شده در 9 مارس 2023
آخرین به روز رسانی در 9 مارس 2023
