از قضا، مدل های زبان بزرگ (LLM) فقط حافظه های زبانی کوچکی دارند. خیلی کم برای تجزیه و تحلیل موردی.
تنها پس از یک ورودی ۱۲۲۸۸ کلمه، حدود ۴۰ صفحه متن با فاصله دوگانه (۲۵ کلمه در هر صفحه)، ChatGPT-4 که قادر به استفاده از ۱۶۳۸۴ توکن، معادل حدود ۱۲،۲۸۸ کلمه است، همه چیزهایی را که قبل از آن به آن گفته‌اید فراموش می‌کند. فراموشی کامل بله، خالی می شود، حتی سوال را فراموش می کند. “در مورد چی داشتیم چت می کردیم؟” فقط 12288 کلمه ورودی آخر، از جمله پاسخ هایش را به خاطر می آورد. ChatGPT-3.5، که فقط می تواند از 4096 توکن استفاده کند، حتی بدتر است. فراموشی آن تنها پس از 3072 کلمه ایجاد می شود. سگ من حافظه بهتری دارد.
حافظه بسیار کوچک برای جدی ترین تحلیل های حقوقی
پس از ماه‌ها تحقیق و آزمایش، باید با اکراه به این نتیجه برسم که ChatGPT حافظه بسیار کمی دارد که نمی‌تواند برای قضات، وکلا و قاضی‌های پرونده پیچیده استفاده کند. حداقل به منظور کمک به تجزیه و تحلیل حقوقی کامل پرونده. تجزیه و تحلیل پرونده های حقوقی جدی، که در آن یک وکیل یا قاضی ماهر می تواند از کمک هوش مصنوعی استفاده کند، شامل مجموعه های الگوی کلمات بسیار بسیار بزرگتری است. به یک مجموعه درخواستی معمولی یا مجموعه ای از مخالفت ها، یادداشت ها و نمایشگاه ها فکر کنید. آنها معمولاً شامل صدها هزار کلمه و صدها صفحه سند حداقل هستند.
من اخیراً آزمایشی را روی یک پرونده نسبتاً کوچک در SDNY انجام دادم که در آن حرکات متقاطع برای قضاوت خلاصه در نظر گرفته شد. این پیشنهادات بر اساس حقایق مقرر و غیرقابل اعتراض بود. بیشتر پرونده ها شامل مسائل قابل توجهی از حقایق مورد بحث است. این پرونده دارای مسائل پیچیده ای بود، اکثر پرونده های فدرال چنین هستند، اما این پرونده به ویژه دشوار نبود. این یک ادعای غرامت تحت یک بیمه نامه بود. تجزیه و تحلیل فقط قاضی را ملزم به مطالعه حقایق غیرقابل اعتراض، تطبیق قانون با واقعیات و صدور حکم قضاوت در مورد درخواستها کرد. هی، راحت درسته؟ نه خیلی سریع.
من همه چیز را از پرونده دادگاه مربوط به اعتراضات دانلود کردم. پس از یک روند طولانی و خسته کننده بررسی و کاهش چربی و حذف تمام اسنادی که برای تصمیم گیری در مورد مسائل کاملاً ضروری نیستند، همه چیز را در یک سند Word قرار دادم. ویژگی ها نشان می دهد که حدود 120000 کلمه وجود دارد و 550 صفحه طول دارد (با استفاده از خطوط دو برابر فاصله و فونت 12 نقطه ای Times New Roman). با 12288 کلمه، محدودیت حافظه 12 صفحه، چت GPT-4 بی فایده بود. من مدتی آن را با چندین ورودی اندازه کوچک امتحان کردم، فقط برای اطمینان و اینکه خودم ببینم چگونه پاسخ می دهد. بارها و بارها خالی شد. حتی گاهی عذرخواهی می کرد. جدا از مودب بودن ChatGPT-4، این بدترین همراهی بود که تا به حال داشتم!
حتی با GPT-4، هوش مصنوعی همه چیز فراتر از 12 صفحه ورودی را فراموش می کند. این به سادگی یک محدودیت اندازه برای هر پرونده حقوقی جدی است. مطمئناً نسبت به 3.5 پیشرفت بزرگی است. طول متن ChatGPT-3.5 از 4096 توکن در 3.5 که حدود 3072 کلمه است به 32768 توکن با GPT-4 افزایش یافت. با این حال، همانطور که آزمایش با یک مورد حقایق مشخص شده در SDNY نشان می دهد، برای تجزیه و تحلیل موردی برای من مفید نیست.
هوش مصنوعی باز در حال تلاش برای رفع مشکل فراموشی است
نسخه جدید ChatGPT-4 که نام دارد ChatGPT-4-32K، قبلاً برای آزمایش عمومی محدود منتشر شده است. من از زمان شروع آن در مارس 2023 در لیست انتظار هستم. پرسشنامه Open AI را پر کردم تا در مورد اینکه چرا برای آزمایش تحلیل حقوقی به آن نیاز دارم، شکایت کنم. من همچنان منتظرم و امیدوارم به زودی آن را دریافت کنم. هزینه استفاده از آن دو برابر بیشتر است، اما هنوز هم هزینه ای ناچیز است. من عمدتاً می خواهم آن را امتحان کنم زیرا می خواهم ببینم در زمینه های دیگر چگونه کار می کند. من قبلاً می دانم که اندازه دو برابری آن برای تجزیه و تحلیل پرونده های حقوقی بسیار کوچک است. خوب شاید برای بلیط ترافیک خیلی کوچک نباشد، اما برای این نوع اختلافات که شما به یک وکیل انسانی برای رسیدگی نیاز دارید بسیار کوچک است.
ChatGPT-4-32 هزار این نام را دارد زیرا محدودیت اندازه ورودی به حداکثر تعداد توکن 32768 افزایش یافته است. یعنی 2^15 (2 به توان 15) که 32768 است. این معادل حدود 245756 کلمه است. GPT-4 معمولی قدیمی 2^ است14که همانطور که قبلا ذکر شد 16384 توکن معادل حدود 12288 کلمه است. ChatGPT-3.5 2^ بود12، یا 4096 توکن و 3072 کلمه. به هر حال، در اینجا فرمول‌های ساده‌ای که توسط Open AI برای این نشانه‌ها برای تخمین تعداد کلمات ارائه شده است، بدون شک بر اساس تحلیل‌های آماری ارائه شده است.
طبق گزارش OpenAI،
- 1 نشانه ~ = 4 کاراکتر به زبان انگلیسی
- 1 نشانه ~ = ¾ کلمه
- 100 توکن ~= 75 کلمه
بنابراین، ChatGPT-4-32k پیش رو تنها حداکثر تعداد توکن های 32768 را دوبرابر می کند که تنها حدود 24576 کلمه یا 98 صفحه با فاصله دو برابر است. بیشتر مجموعه‌های درخواستی با نمایشگاه‌ها و حرکت‌هایی با یادداشت‌ها هنوز بسیار طولانی‌تر از آن هستند. خیلی کمتر یک پرونده کامل. به عنوان مثال، درخواست متقابل برای قضاوت خلاصه بر اساس حقایق ذکر شده که من مطالعه کردم 120000 کلمه بود. این بیش از پنج برابر ظرفیت توسعه یافته GPT-4-32K خواهد بود.
طبق آنچه خوانده ام، در حال حاضر مشکلات محاسباتی جدی با دو برابر کردن تعداد توکن ها به توان شانزدهم و 65536 توکن وجود دارد. اگر می‌توانستند، 49152 کلمه‌ای که می‌توان برای سؤالات استفاده کرد، به‌ویژه با برخی ترفندهای جمع‌بندی برای متراکم کردن و کوتاه کردن ورودی و فشرده کردن تعداد کلمات بالاتر، از جمله برنامه‌نویسی احتمالاً پیچیده‌تر دیگر، مانند خلاصه های بازگشتی. این ممکن است سطح بعدی 65536 توکن را برای پرونده های ساده فدرال یا داوری به اندازه کافی بزرگ کند. مطمئناً ChatGPT-5 را که مردم فکر می‌کنند نسخه بعدی GPT Open AI نامیده می‌شود، به یک رقیب جدی در تحلیل حقوقی تبدیل می‌کند. نه تقریباً به خوبی همکاران انسانی برتر ما، اما حداقل یک بازنده کامل مانند ChatGPT-4 فعلی نیست، که حتی نمی تواند تکلیف یک دهم پروژه را به خاطر بسپارد.
نتیجه
در حال حاضر مشکل فراموشی GPT یک قاتل واقعی برای استفاده از LLMها برای هر چیزی جز تجزیه و تحلیل حقوقی ساده است. فعلاً شغل اصحاب دعوی و قضات امن است. مشکل حافظه علاوه بر محدودیت‌های توهمات و خطاهایی است که قبلاً مورد بحث قرار گرفت. در تجربه من، اینها را می توان با روال عادی کنترل کیفیت وکلای ماهر انجام داد. همکاران انسانی گاهی اوقات همین مشکلات را دارند. ما به راحتی می توانیم گاو نر را تشخیص دهیم. اما ما نمی توانیم تعداد کلمات را کاهش دهیم. پرونده ها خیلی پیچیده هستند.
حتی اگر تجزیه و تحلیل دقیق پرونده در حال حاضر خارج از تصویر باشد، وکلا و قضات همچنان می توانند از LLM هایی مانند ChatGPT-4 به روش های دیگر استفاده کنند. هوش مصنوعی همچنان می‌تواند به وکلا در پیگیری بی‌پایان عدالت کمک کند. من توانایی آن را به عنوان یک ابزار نوشتاری جدید و تصویرگر و استدلال ساز ساده بسیار دوست دارم. (توجه – من از هوش مصنوعی برای کمک به نوشتن این وبلاگ خاص استفاده نکردم، و وقتی از هوش مصنوعی استفاده می کنم، این واقعیت فاش می شود.) به علاوه، همه ما می دانیم که GPT شاعری به مراتب بهتر از بسیاری از حقوقدانان است، و چه کسی می داند، شاید این نکته مهم بعدی در بحث پایانی خواهد بود. خوب، پس با بیان این موضوع، از ChatGPT-4 برای انجام این کار استفاده می کنم و این مقاله را در یک شعر خلاصه می کنم.
در نشانه ها و کلمات، محدودیت هایی که می بینیم،
یک مانع برای وکلا، فرمان ChatGPT،
یک جهش از 3.5، اما هنوز کافی نیست،
برای تلاش های حقوقی، سفر دشوار است.
GPT-4-32K، یک گام امیدوارکننده،
ما در انتظار منتظریم، آغوش باز است،
اما همچنان محدودیت‌ها، تعداد کلمات آزاردهنده است،
برای دعاوی پیچیده، نمی تواند ادامه یابد.
دو برابر کردن توکن ها، چالشی که باید با آن روبرو شد،
با این حال امید به آینده، در آغوش هوش مصنوعی،
ChatGPT-5، شاید یک مدعی برای بودن،
در تحلیل حقوقی، پیشرفتی را خواهیم دید.
فراموشی، توهم، خطاهایی که پیدا می کنیم،
هیچ تهدیدی برای مشاغل ما نیست، نقش های ما به خوبی تعریف شده است،
ابزاری برای سفر، روشی جدید برای نوشتن،
در پیگیری عدالت، ما در کنار هم خواهیم بود.
در قلمرو شعر، GPT قدرت خود را می یابد،
تبدیل کلمات ما، راهی جدید برای تحریک،
پس اجازه دهید این هوش مصنوعی را در تلاش خود در آغوش بگیریم،
برای حقیقت و عدالت، ما برای بهترین ها تلاش خواهیم کرد.
