OpenAI در حال ایجاد شهرت در زمینه هوش مصنوعی بود، اما زمانی که میرا موراتی در سال 2018 به آزمایشگاه تحقیقاتی غیرانتفاعی پیوست، نام آشنا نبود.
بلافاصله پس از آن، آزمایشگاه سانفرانسیسکو تحول بزرگی را آغاز کرد. خود را به تجارتی تبدیل کرد که به عنوان سازنده ChatGPT توجه جهانی را به خود جلب کرد.
اکنون مدیر ارشد فناوری آن، موراتی، تیم‌های تحقیقاتی، محصولات و ایمنی OpenAI را رهبری می‌کند. او توسعه و راه اندازی مدل های هوش مصنوعی خود از جمله ChatGPT، تولید کننده تصویر DALL-E و جدیدترین، GPT-4 را رهبری کرده است.
او با آسوشیتدپرس درباره پادمان‌های هوش مصنوعی و چشم‌انداز این شرکت برای مفهوم آینده‌نگر هوش مصنوعی عمومی، معروف به AGI، صحبت کرد. مصاحبه برای طولانی بودن و وضوح ویرایش شده است.
س: هوش عمومی مصنوعی برای OpenAI چیست؟
پاسخ: منظور ما از هوش عمومی مصنوعی معمولاً سیستم‌های بسیار مستقلی است که قادر به تولید خروجی اقتصادی، خروجی اقتصادی قابل توجهی هستند. به عبارت دیگر، سیستم هایی که می توانند در حوزه های مختلف تعمیم دهند. این قابلیت در سطح انسانی است. چشم انداز خاص OpenAI در مورد آن این است که آن را ایمن بسازد و بفهمد که چگونه آن را به گونه ای بسازد که با نیات انسان همسو باشد، به طوری که سیستم های هوش مصنوعی کارهایی را که ما می خواهیم انجام دهند، و حداکثر سود را برای افراد زیادی داشته باشد. تا آنجا که ممکن است، ایده آل همه.
س: آیا مسیری بین محصولاتی مانند GPT-4 و AGI وجود دارد؟
پاسخ: ما با داشتن یک سیستم AGI ایمن، قابل اعتماد و هماهنگ فاصله داریم. مسیر ما برای رسیدن به آنجا چند بردار مهم دارد. از نقطه نظر تحقیقاتی، ما در تلاشیم تا سیستم‌هایی بسازیم که درک قوی از جهان مشابه رفتار ما به عنوان انسان داشته باشند. سیستم هایی مانند GPT-3 در ابتدا فقط بر روی داده های متنی آموزش می دیدند، اما دنیای ما فقط از متن ساخته نشده است، بنابراین ما تصاویر نیز داریم و سپس شروع به معرفی روش های دیگر کردیم. زوایای دیگر مقیاس گذاری این سیستم ها برای افزایش کلیت آنها بوده است. با GPT-4، ما با سیستم بسیار توانمندتری سر و کار داریم، به ویژه از زاویه استدلال در مورد چیزها. این قابلیت کلیدی است. اگر مدل به اندازه کافی هوشمند باشد که یک جهت مبهم یا یک جهت سطح بالا را درک کند، می توانید بفهمید که چگونه می توانید آن را از این جهت پیروی کنید. اما اگر حتی آن هدف سطح بالا یا جهت سطح بالا را درک نکند، هماهنگ کردن آن بسیار سخت تر است. ساختن این فناوری در خلاء در آزمایشگاه کافی نیست. ما واقعاً به این تماس با واقعیت، با دنیای واقعی نیاز داریم تا ببینیم نقاط ضعف کجاست، نقاط شکست کجاست، و سعی کنیم این کار را به روشی کنترل شده و کم خطر انجام دهیم و تا حد امکان بازخورد دریافت کنیم.
س: چه اقدامات ایمنی انجام می دهید؟
پاسخ: ما در هر مرحله به مداخلات فکر می کنیم. ما داده های خاصی را از آموزش اولیه روی مدل ویرایش می کنیم. با DALL-E، می‌خواستیم مشکلات جانبداری مضری را که می‌دیدیم کاهش دهیم. ما نسبت تصاویر زن و مرد را در مجموعه داده آموزشی تنظیم کردیم. اما باید بسیار مراقب باشید زیرا ممکن است عدم تعادل دیگری ایجاد کنید. باید مدام حسابرسی کنید. در آن صورت، ما تعصب متفاوتی داشتیم زیرا بسیاری از این تصاویر ماهیت جنسی داشتند. بنابراین باید دوباره آن را تنظیم کنید و هر بار که مداخله ای انجام می دهید بسیار مراقب باشید و ببینید چه چیز دیگری مختل می شود. در آموزش مدل، به ویژه با ChatGPT، ما یادگیری تقویتی را با بازخورد انسانی انجام دادیم تا به مدل کمک کنیم تا با ترجیحات انسان هماهنگ شود. اساساً کاری که ما می‌خواهیم انجام دهیم این است که آنچه را که رفتار خوب تلقی می‌شود تقویت کنیم و سپس آنچه را که رفتار بد تلقی می‌شود، تقویت کنیم.
س: آیا این سیستم ها باید تنظیم شوند؟
پاسخ: بله، قطعا. این سیستم ها باید تنظیم شوند. در OpenAI، ما دائماً با دولت‌ها و تنظیم‌کننده‌ها و سایر سازمان‌هایی که در حال توسعه این سیستم‌ها هستند صحبت می‌کنیم تا حداقل در سطح شرکت، در مورد سطحی از استانداردها به توافق برسند. ما در چند سال گذشته با توسعه دهندگان مدل های زبان بزرگ در راستای همسویی با برخی از استانداردهای ایمنی اولیه برای استقرار این مدل ها، روی آن کار کرده ایم. اما فکر می کنم خیلی چیزهای بیشتری باید اتفاق بیفتد. رگولاتورهای دولتی قطعا باید بسیار درگیر باشند.
س: نامه ای که خواستار توقف 6 ماهه صنعت در ساخت مدل های هوش مصنوعی قدرتمندتر از GPT-4 بود، توجه زیادی را به خود جلب کرد. نظر شما در مورد این دادخواست و فرض آن در مورد خطرات هوش مصنوعی چیست؟
پاسخ: ببینید، من فکر می کنم که طراحی مکانیسم های ایمنی در سیستم های پیچیده سخت است. در اینجا تفاوت های ظریف زیادی وجود دارد. برخی از خطراتی که نامه به آنها اشاره می کند کاملاً معتبر است. در OpenAI، سال‌ها است که درباره آنها خیلی آشکار صحبت می‌کنیم و آنها را نیز مطالعه می‌کنیم. من فکر نمی کنم امضای نامه راهی موثر برای ایجاد مکانیسم های ایمنی یا هماهنگ کردن بازیکنان در فضا باشد. برخی از اظهارات در نامه در مورد توسعه GPT-4 یا GPT-5 کاملاً نادرست بود. ما GPT-5 را آموزش نمی دهیم. ما هیچ برنامه ای برای انجام این کار در شش ماه آینده نداریم. و ما GPT-4 را عجله نکردیم. در واقع، ما شش ماه طول کشید تا به طور کامل روی توسعه و استقرار ایمن GPT-4 تمرکز کنیم. حتی پس از آن، ما آن را با تعداد زیادی نرده محافظ و بسیار هماهنگ و آهسته رول کردیم. به راحتی برای همه قابل دسترسی نیست و مطمئناً منبع باز نیست. همه اینها به این معناست که من فکر می کنم مکانیسم های ایمنی و مکانیسم های هماهنگی در این سیستم های هوش مصنوعی و هر سیستم پیچیده تکنولوژیکی دشوار است و نیاز به تفکر، کاوش و هماهنگی زیادی بین بازیکنان دارد.
س: از زمان پیوستن شما به OpenAI چقدر تغییر کرده است؟
پاسخ: وقتی به OpenAI پیوستم، این یک غیرانتفاعی بود. فکر می‌کردم این مهم‌ترین فناوری است که ما تا به حال به‌عنوان بشریت می‌سازیم و واقعاً احساس می‌کردم که شرکتی با مأموریت OpenAI احتمالاً مطمئن می‌شود که به خوبی پیش می‌رود. با گذشت زمان، ساختار خود را تغییر دادیم زیرا این سیستم ها گران هستند. آنها به بودجه زیادی نیاز دارند. ما مطمئن شدیم که انگیزه ها را به گونه ای ساختار دهیم که همچنان در خدمت ماموریت غیرانتفاعی باشیم. به همین دلیل است که ما یک ساختار “سود سقفی” داریم. افراد در OpenAI ذاتاً با انگیزه و در راستای مأموریت هستند و این از ابتدا تغییر نکرده است. اما در طول پنج سال، تفکر ما در مورد اینکه بهترین راه برای استقرار کدام است و ایمن‌ترین راه چیست، بسیار تکامل یافته است. این احتمالاً فاحش ترین تفاوت است. به نظر من تغییر خوبی است.
س: آیا پاسخ ChatGPT را قبل از انتشار در 30 نوامبر پیش بینی می کردید؟
پاسخ: فناوری زیربنایی برای ماه ها وجود داشت. ما به محدودیت‌های این مدل از مشتریانی که قبلاً از طریق یک API از آن استفاده می‌کردند، اطمینان زیادی داشتیم. اما ما چند تغییر در بالای مدل پایه ایجاد کردیم. ما آن را با دیالوگ تطبیق دادیم. سپس آن را از طریق یک رابط جدید ChatGPT در دسترس محققان قرار دادیم. ما آن را به صورت داخلی با یک گروه کوچک و قابل اعتماد بررسی کرده بودیم، و متوجه شدیم که گلوگاه، دریافت اطلاعات بیشتر و دریافت اطلاعات بیشتر از مردم است. ما می‌خواستیم آن را به افراد بیشتری در آنچه ما پیش‌نمایش تحقیق می‌نامیم، نه محصول، گسترش دهیم. هدف جمع آوری بازخورد در مورد نحوه رفتار مدل و استفاده از آن داده ها برای بهبود مدل و تراز کردن آن بود. ما پیش‌بینی نمی‌کردیم که مردم تا چه حد مجذوب صحبت کردن با یک سیستم هوش مصنوعی شوند. این فقط یک پیش نمایش تحقیقاتی بود. تعداد کاربران و از این قبیل، ما آن سطح از هیجان را پیش بینی نمی کردیم.
