چت ربات هوش مصنوعی معروف به ChatGPT که توسط شرکت OpenAI توسعه یافته است، توجه و تخیل عمومی را به خود جلب کرده است. برخی از کاربردهای این فناوری واقعاً چشمگیر هستند، مانند توانایی آن در خلاصه کردن موضوعات پیچیده یا شرکت در مکالمات طولانی.
جای تعجب نیست که سایر شرکت‌های هوش مصنوعی برای عرضه مدل‌های زبان بزرگ خود (LLM) عجله کرده‌اند – نام فناوری زیربنایی چت ربات‌هایی مانند ChatGPT. برخی از این LLM ها در محصولات دیگر مانند موتورهای جستجو گنجانده می شوند.
با در نظر گرفتن قابلیت های چشمگیر آن، تصمیم گرفتم ربات چت را روی Wordle آزمایش کنم – بازی کلمات از نیویورک تایمز – که مدتی است بازی می کنم.
بازیکنان برای حدس زدن یک کلمه پنج حرفی شش راه دارند. در هر حدس، بازی نشان می دهد که کدام حروف، در صورت وجود، در موقعیت های صحیح کلمه هستند.
با استفاده از آخرین نسل، به نام ChatGPT-4، متوجه شدم که عملکرد آن در این پازل ها به طرز شگفت آوری ضعیف است.
ممکن است انتظار داشته باشید که بازی های کلمه ای یک تکه کیک برای GPT-4 باشند. LLM ها بر روی متن “آموزش داده شده اند”، به این معنی که در معرض اطلاعات قرار می گیرند تا بتوانند در کاری که انجام می دهند، پیشرفت کنند.
ChatGPT-4 با حدود 500 میلیارد کلمه آموزش داده شد: تمام ویکی‌پدیا، همه کتاب‌های حوزه عمومی، حجم عظیمی از مقالات علمی، و متن از بسیاری از وب‌سایت‌ها.
چت ربات های هوش مصنوعی می توانند نقش مهمی در زندگی ما ایفا کنند. درک اینکه چرا ChatGPT-4 با Wordle مشکل دارد، بینش هایی را در مورد نحوه نمایش و کارکرد LLM با کلمات – همراه با محدودیت هایی که به همراه دارد، ارائه می دهد.
ابتدا ChatGPT-4 را روی یک پازل Wordle آزمایش کردم که در آن مکان صحیح دو حرف را در یک کلمه می دانستم. الگوی “#E#L#” بود، که در آن “#” نشان دهنده حروف مجهول بود. جواب کلمه «مایل» بود.
پنج پاسخ از شش پاسخ ChatGPT-4 با الگو مطابقت نداشتند. پاسخ‌ها عبارت بودند از: «بریل»، «فرال»، «هرال»، «مرل»، «رویل» و «مروارید».
با ترکیب های دیگر، chatbot گاهی اوقات راه حل های معتبری پیدا می کند. اما، در کل، بسیار ضربه خورده و از دست رفت. در مورد کلمه ای متناسب با الگوی “##OS#”، پنج گزینه صحیح پیدا کرد. اما زمانی که الگوی “#R#F#” بود، دو کلمه بدون حرف F و یک کلمه – “Traff” – که در فرهنگ لغت وجود ندارد، پیشنهاد کرد.
زیر کاپوت
در هسته ChatGPT یک شبکه عصبی عمیق وجود دارد: یک تابع پیچیده ریاضی – یا قانون – که ورودی ها را به خروجی ها نگاشت می کند. ورودی ها و خروجی ها باید اعداد باشند. از آنجایی که ChatGPT-4 با کلمات کار می‌کند، اینها باید به اعداد “ترجمه” شوند تا شبکه عصبی با آنها کار کند.
ترجمه توسط یک برنامه کامپیوتری به نام توکنایزر انجام می شود که فهرست عظیمی از کلمات و ترتیب حروف به نام “توکن” را نگهداری می کند.
این نشانه ها با اعداد شناسایی می شوند. کلمه ای مانند “دوست” دارای شناسه رمزی 6756 است، بنابراین کلمه ای مانند “دوستی” به نشانه های “دوست” و “کشتی” تقسیم می شود. اینها به عنوان شناسه های 6756 و 6729 نشان داده می شوند.
وقتی کاربر سوالی را وارد می کند، قبل از اینکه ChatGPT-4 حتی شروع به پردازش درخواست کند، کلمات به اعداد تبدیل می شوند. شبکه عصبی عمیق به کلمات به عنوان متن دسترسی ندارد، بنابراین نمی تواند واقعاً در مورد حروف استدلال کند.
تکلیف شعر
ChatGPT-4 در کار با حروف اول کلمات خوب است. از او خواستم شعری بنویسد که در آن حرف آغازین هر سطر “من عاشق ربات ها هستم” باشد. پاسخ آن به طرز شگفت آوری خوب بود. در اینجا چهار خط اول آمده است:
من طرفدار دنده و فولاد هستم
عاشق حرکات آنها، بسیار سورئال،
بر روی مدارها، آنها به سرعت حکومت می کنند
برای کسب دانش رقابت می کنند، آنها احمقی نیستند،
داده های آموزشی برای ChatGPT-4 شامل تعداد زیادی کتاب درسی است که اغلب شامل شاخص های حروف الفبا است. این می توانست برای GPT-4 کافی باشد تا ارتباط بین کلمات و حروف اول آنها را بیاموزد.
به نظر می رسد که توکنیزر برای شناسایی درخواست هایی مانند این تغییر یافته است و به نظر می رسد زمانی که کاربران درخواست خود را وارد می کنند عبارتی مانند “I Love Robots” را به توکن های جداگانه تقسیم می کند. با این حال، ChatGPT-4 قادر به رسیدگی به درخواست‌ها برای کار با آخرین حروف کلمات نبود.
ChatGPT-4 همچنین در palindromes بد است. در پاسخ به این سوال که یک عبارت پالیندروم در مورد یک ربات تولید کند، “یک ربات sot، orba” را پیشنهاد کرد که با تعریف پالیندروم مناسب نیست و بر کلمات مبهم متکی است.
با این حال، LLM ها در تولید برنامه های کامپیوتری دیگر نسبتا خوب هستند. این به این دلیل است که داده های آموزشی آنها شامل بسیاری از وب سایت های اختصاص داده شده به برنامه نویسی است. از ChatGPT-4 خواستم تا برنامه ای برای شناسایی حروف گمشده در Wordle بنویسد.
برنامه اولیه ای که ChatGPT-4 تولید کرد دارای یک اشکال بود. وقتی به آن اشاره کردم این را اصلاح کرد. وقتی برنامه را اجرا کردم، 48 کلمه معتبر مطابق با الگوی “#E#L#” از جمله “تلفن”، “سلول” و “سلام” پیدا کرد. زمانی که من قبلاً مستقیماً از GPT-4 خواسته بودم که منطبقاتی را برای این الگو پیشنهاد کند، فقط یکی را پیدا کرده بود.
اصلاحات آینده
ممکن است تعجب آور به نظر برسد که یک مدل زبان بزرگ مانند ChatGPT-4 برای حل معماهای ساده کلمه یا فرموله کردن پالیندروم ها مشکل داشته باشد، زیرا داده های آموزشی تقریباً همه کلمات موجود را شامل می شود.
با این حال، این به این دلیل است که همه ورودی‌های متن باید به صورت اعداد رمزگذاری شوند و فرآیندی که این کار را انجام می‌دهد ساختار حروف درون کلمات را نشان نمی‌دهد. از آنجایی که شبکه های عصبی صرفاً با اعداد کار می کنند، نیاز به رمزگذاری کلمات به عنوان اعداد تغییر نخواهد کرد.
دو راه وجود دارد که LLM های آینده می توانند بر این مشکل غلبه کنند. اول، ChatGPT-4 حرف اول هر کلمه را می‌داند، بنابراین داده‌های آموزشی آن را می‌توان برای گنجاندن نقشه‌برداری از موقعیت هر حرف در هر کلمه در فرهنگ لغت خود افزود.
راه حل دوم هیجان انگیزتر و کلی تر است. همانطور که نشان دادم، LLMهای آینده می توانند برای حل مشکلاتی مانند این کد ایجاد کنند. مقاله‌ای اخیر ایده‌ای به نام Toolformer را نشان می‌دهد که در آن یک LLM از ابزارهای خارجی برای انجام وظایفی که معمولاً با مشکل مواجه هستند، مانند محاسبات حسابی، استفاده می‌کند.
ما در روزهای اولیه این فناوری ها هستیم و بینش هایی مانند این در مورد محدودیت های فعلی می تواند به فناوری های هوش مصنوعی حتی چشمگیرتری منجر شود.
مایکل جی. مدن، استاد برجسته علوم کامپیوتر، دانشگاه گالوی
این مقاله از The Conversation تحت مجوز Creative Commons بازنشر شده است. مقاله اصلی را بخوانید.
