این مقاله با اظهار نظر از مشاوره سرب در دادخواست مرگ اشتباه خانواده Raine علیه Openai به روز شده استبشر
Openai گفت روز سه شنبه قصد دارد مکالمات حساس را به مدلهای استدلال مانند GPT-5 هدایت کند و کنترل والدین را طی یک ماه آینده انجام دهد-بخشی از پاسخ مداوم به حوادث ایمنی اخیر مربوط به ChatGPT که در تشخیص پریشانی ذهنی ناکام است.
نگهبان های جدید پس از خودکشی نوجوان آدام رائین ، که در مورد خودآزاری بحث کرده بود و قصد دارد زندگی خود را با چتگپ پایان دهد ، که حتی اطلاعاتی در مورد روشهای خاص خودکشی را نیز به وی ارائه می دهد ، می آیند. والدین رائین دادخواست مرگ اشتباه علیه Openai را تشکیل داده اند.
هفته گذشته در یک پست وبلاگ ، Openai در سیستم های ایمنی خود ، از جمله عدم موفقیت در حفظ نگهبان در هنگام مکالمات گسترده ، کاستی های خود را تأیید کرد. کارشناسان این موضوعات را به عناصر طراحی اساسی نسبت می دهند: تمایل مدل ها به اعتبارسنجی بیانیه های کاربر و الگوریتم های پیش بینی کلمه بعدی آنها ، که باعث می شود چت بابات به جای تغییر مسیر بحث های بالقوه مضر ، از موضوعات مکالمه پیروی کنند.
این گرایش در مورد استین-اریک سولبرگ ، که قتل خودکشی توسط وال استریت ژورنال در آخر هفته گزارش شده است ، به شدت نمایش داده می شود. سولبرگ ، که سابقه بیماری روانی را داشت ، از چتگپ برای اعتبارسنجی و سوختن پارانویای خود استفاده کرد که وی در یک توطئه بزرگ مورد هدف قرار می گرفت. هذیان او به حدی پیشرفت کرد که ماه گذشته به قتل مادرش و خودش رسید.
Openai فکر می کند که حداقل یک راه حل برای مکالمات که از ریل خارج می شود می تواند به طور خودکار مجدداً چت های حساس را به مدلهای “استدلال” تغییر دهد.
اوپای در یک پست وبلاگ سه شنبه نوشت: “ما اخیراً یک روتر در زمان واقعی معرفی کردیم که می تواند بین مدل های چت کارآمد و مدل های استدلال را بر اساس زمینه مکالمه انتخاب کند.” “ما به زودی شروع خواهیم کرد تا مکالمات حساس-مانند هنگامی که سیستم ما علائم پریشانی حاد را تشخیص می دهد-به یک مدل استدلال ، مانند GPT-5-فکر کند ، بنابراین می تواند بدون توجه به اینکه کدام یک از افراد برای اولین بار انتخاب کرده است ، پاسخ های مفید و مفید تری ارائه دهد.”
Openai می گوید GPT-5 Thinking و مدل های O3 ساخته شده است تا قبل از پاسخ دادن ، زمان بیشتری را برای تفکر طولانی تر و استدلال بگذرانند ، این بدان معنی است که آنها “در برابر پیشبرد های مخالف مقاومت می کنند”.
شرکت هوش مصنوعی همچنین گفت که در ماه آینده کنترل های والدین را از بین می برد و به والدین این امکان را می دهد تا حساب خود را با حساب نوجوان خود از طریق دعوت نامه الکترونیکی پیوند دهند. در اواخر ماه ژوئیه ، Openai حالت مطالعه را در چتپ به پایان رساند تا به دانشجویان کمک کند تا در هنگام تحصیل توانایی های تفکر انتقادی را حفظ کنند ، نه اینکه به Chatgpt ضربه بزنند تا مقاله های خود را برای آنها بنویسند. به زودی ، والدین قادر خواهند بود تا چگونه ChatGPT با “قوانین رفتار مدل مناسب سن ، که به طور پیش فرض ادامه دارد” به فرزند خود پاسخ دهد.
والدین همچنین می توانند ویژگی هایی مانند حافظه و تاریخ چت را غیرفعال کنند ، که کارشناسان می گویند می تواند منجر به تفکر توهم و سایر رفتار مشکل ساز ، از جمله وابستگی و مسائل دلبستگی ، تقویت الگوهای اندیشه مضر و توهم خواندن فکر شود. در مورد آدام راین ، چتپپ روش هایی را برای خودکشی تهیه کرد که منعکس کننده دانش از سرگرمی های وی ، در نیویورک تایمز بود.
شاید مهمترین کنترل والدین که Openai قصد دارد از آن خارج شود این است که والدین می توانند هنگام تشخیص سیستم نوجوان خود در لحظه ای از “پریشانی حاد” ، اعلان هایی دریافت کنند.
TechCrunch از OpenAi خواسته است تا اطلاعات بیشتری در مورد چگونگی این شرکت بتواند لحظه های پریشانی حاد را در زمان واقعی پرچم گذاری کند ، چه مدت “قوانین رفتار مدل مناسب سن” را به طور پیش فرض در اختیار داشته است ، و اینکه آیا این امکان را برای والدین فراهم می کند تا محدودیت زمانی را برای استفاده از نوجوانان از Chatgpt اجرا کنند.
Openai در حال حاضر یادآوری های درون برنامه ای را در طول جلسات طولانی برای تشویق استراحت برای همه کاربران به نمایش گذاشته است ، اما از قطع افرادی که ممکن است از Chatgpt برای مارپیچ استفاده کنند ، متوقف می شود.
شرکت هوش مصنوعی می گوید این حفاظت ها بخشی از “ابتکار 120 روزه” برای پیش نمایش برنامه هایی برای پیشرفت هایی است که Openai امیدوار است امسال راه اندازی کند. این شرکت همچنین گفت که با متخصصان-از جمله مواردی که در زمینه هایی مانند اختلالات خوردن ، مصرف مواد و سلامت نوجوانان وجود دارد-از طریق شبکه پزشک جهانی و شورای خبره خود در مورد بهزیستی و هوش مصنوعی همکاری می کند تا به “تعریف و اندازه گیری بهزیستی ، تعیین اولویت ها و طراحی محافظت های آینده” کمک کند.
TechCrunch از Openai سؤال کرده است که چه تعداد از متخصصان بهداشت روان در این ابتکار عمل می کنند ، که رهبری شورای خبره خود را بر عهده دارد ، و چه پیشنهادی کارشناسان بهداشت روان از نظر تصمیمات محصول ، تحقیق و سیاست ارائه داده اند.
جی ادلسون ، مشاور اصلی دادخواست مرگ اشتباه خانواده Raine علیه Openai ، گفت: پاسخ این شرکت به خطرات ایمنی مداوم چتگپت “ناکافی” بوده است.
ادلسون در بیانیه ای به اشتراک گذاشته شده با TechCrunch گفت: “OpenAi برای تعیین اینکه Chatgpt 4O خطرناک است ، به یک پانل خبره احتیاج ندارد.” “آنها می دانستند که روزی که محصول را راه اندازی می کنند ، و امروز آن را می شناسند. و سام آلتمن نیز نباید در پشت تیم روابط عمومی شرکت مخفی شود. سام باید به طور واضح بگوید که او معتقد است چتپپ بی خطر است یا بلافاصله آن را از بازار بیرون می کشد.”
نکته حساس یا اسناد محرمانه دارید؟ ما در حال گزارش از عملکرد داخلی صنعت هوش مصنوعی هستیم – از شرکت هایی که آینده خود را به افرادی که تحت تأثیر تصمیمات خود قرار دارند شکل می دهند. به ربکا بلان در rebecca.bellan@techcrunch.com و Maxwell Zeff در maxwell.zeff@techcrunch.com مراجعه کنید. برای برقراری ارتباط ایمن ، می توانید از طریق سیگنال در @rebeccabellan.491 و @mzeff.88 با ما تماس بگیرید.
