از آن زمان اتفاقات زیادی در دنیای هوش مصنوعی افتاده است گزارش من در مورد عملکرد SQE1 ChatGPT در روزنامه در ژانویه. ربات مشغول نوشتن مقاله، هایکو و آهنگ بوده، امتحان می‌دهد – و به طور فزاینده‌ای قبول می‌شود و شروع به تغییر پارادایم‌ها کرده است.
وقتی من نمونه 90 SRA را تغذیه کردم سوالات SQE1 در نسخه GPT-3.5 در ژانویه دقیقاً 50٪ را به دست آورد. از آنجایی که نمرات قبولی برای جلسات نوامبر 2021 و ژوئیه 2022 SQE1 به ترتیب 57٪ و 56٪ بود، این به این معنی بود که ربات فقط از حد مجاز عبور کرد. این نمایش مرزی با تعدادی دیگر از آزمایش‌های اخیراً گزارش‌شده، از جمله آزمون‌های وکالت و مجوز پزشکی ایالات متحده مطابقت داشت.
در 14 مارس، مالک ChatGPT، OpenAI، آخرین نسخه از ترانسفورماتور از پیش آموزش دیده مولد خود، GPT-4 را راه اندازی کرد. طبق گفته OpenAI، GPT-4 «کارایی در سطح انسانی را در معیارهای مختلف حرفه‌ای و آکادمیک نشان می‌دهد» زیرا تا آگوست 2022 بر روی مجموعه قابل‌توجهی از داده‌های عمومی در دسترس و دارای مجوز در مقایسه با نسخه قبلی خود آموزش دیده است. ما نمی‌دانیم چه داده‌های دارای مجوز گنجانده شده است، اما منطقی است که فرض کنیم حاوی برخی از پایگاه‌های داده قانونی است، زیرا عملکرد آن در آزمون وکالت یکنواخت ایالات متحده از 10 سال گذشته افزایش یافته است.هفتم صدک (213/400) تا 90هفتم (298/400).
وقتی من همان 90 سوال SQE1 را از آن پرسیدم، امتیاز 70/90 یا 78٪ را گرفت که آن را در پنجک برتر برای جلسات نوامبر 2021 و ژوئیه 2022 قرار می داد. برخلاف GPT-3.5 که تمایل داشت با ارجاع به یکی از حروف A تا E و همچنین پاسخ طولانی تر به نثر پاسخ دهد، GPT-4 معمولاً فقط با استفاده از کلمات پاسخ انتخابی خود از پنج پاسخ موجود پاسخ می داد.
در حالی که من از عملکرد آن تحت تأثیر قرار گرفتم، مسائل حقوقی واقعی خود را در قالب چند گزینه ای نشان نمی دهند، بنابراین می خواستم ببینم اگر برخی از سؤالات را دوباره بپرسم اما هر پنج پاسخ حذف شده باشد، چگونه با آن کنار می آید. از 10 سوالی که پرسیدم، همه آنها را دوباره درست کرد و دلایلی به خوبی نوشتاری برای حمایت از نتایج آن ارائه کرد، اگرچه برخی به صورت آزمایشی بیان شده بودند.
در مقابل، Bard – پاسخ Google به Chat-GPT که در 21 مارس راه اندازی شد – در آزمون SQE1 فقط 40/90 یا 44 درصد امتیاز کسب کرد. امتناع آن از پاسخ دادن به هفت سوال که همگی شامل مرگ، وصیت نامه و دارایی بودند، به نتیجه آن کمک نکرد.
هیچ کدام از اینها چه اهمیتی دارد؟ SQE در شرایط کنترل شده و بدون دسترسی به چت ربات های هوش مصنوعی قرار دارد، بنابراین هیچ خطری وجود ندارد که امتحانات واقعی به خطر بیفتد. در عوض، تأثیر این فناوری در هر دو طرف امتحانات حرفه ای مانند SQE می افتد: در آموزش حقوقی و در عمل حقوقی. قبلاً در مورد تأثیر عمیق هوش مصنوعی مولد بر ارزیابی نوشته شده است، اما این نکته اساسی‌تر را در مورد اینکه آموزش عالی چگونه باید باشد در عصری که هوش مصنوعی ممکن است برای مشاغل دانش‌آموزان همان کاری را انجام دهد که مکانیزاسیون با مشاغل دستی انجام داد را نادیده می‌گیرد. کارگران در قرون گذشته
واضح است که مشکل ساز است که ChatGPT هر بار پاسخ های درستی ارائه نمی دهد. هنوز هم چیزها را با اعتماد به نفس خود می سازد (“توهم” می کند، داستان های تخیلی را در یک دید آشکار پنهان می کند و این موضوع را بیش از پیش مهم می کند که خواننده مهارت ارزیابی آنچه را که می گوید داشته باشد. عملکرد SQE ChatGPT چشمگیر است اما در دنیای واقعی معمولاً نمی توان مسائل حقوقی را در چند پاراگراف کوتاه بیان و حل کرد.
در شکل فعلی، ربات چت با وظایف چندمرکزی و ظریفی که حقوقدانان برای مقابله با آنها آموزش دیده اند، کنار نمی آید. با این حال، استفاده از آن در سیستم عامل هایی مانند هاروی در حال حاضر جایگزین و افزایش کار وکلا در برخی از شرکت های پیشرو، تعریف مجدد تقسیم کار بین انسان و ماشین است.
دکتر اندرو گیلبرت استمدرس ارشد در دانشکده حقوق دانشگاه آزاد و یک وکیل غیر شاغل
