اما ChatGPT و برنامه‌های مشابه، بنا به طراحی، در آنچه می‌توانند «یاد بگیرند» نامحدود هستند (یعنی به خاطر سپردن). آنها قادر به تشخیص ممکن از غیر ممکن نیستند. برای مثال، برخلاف انسان‌ها، که دارای دستور زبانی جهانی هستند که زبان‌هایی را که ما می‌توانیم یاد بگیریم را محدود به افرادی می‌کند که دارای نوعی خاصی از ظرافت تقریباً ریاضی هستند، این برنامه‌ها زبان‌های ممکن و غیرممکن انسانی را با سهولت یکسان یاد می‌گیرند. در حالی که انسان ها در انواع توضیحاتی که می توانیم عقلاً حدس بزنیم محدود هستند، سیستم های یادگیری ماشینی می توانند هم مسطح بودن و هم گرد بودن زمین را بیاموزند. آنها صرفاً با احتمالاتی معامله می کنند که در طول زمان تغییر می کنند.
به همین دلیل، پیش‌بینی‌های سیستم‌های یادگیری ماشین همیشه سطحی و مشکوک خواهند بود. از آنجایی که این برنامه‌ها نمی‌توانند قوانین نحو انگلیسی را توضیح دهند، برای مثال، ممکن است به اشتباه پیش‌بینی کنند که «جان خیلی سرسخت برای صحبت کردن است» به این معنی است که جان آنقدر سرسخت است که با کسی یا دیگری صحبت نمی‌کند (به جای آن او سرسخت تر از آن است که بتوان با او استدلال کرد). چرا یک برنامه یادگیری ماشینی چیز عجیبی را پیش بینی می کند؟ زیرا ممکن است الگویی را که از جملاتی مانند «جان یک سیب خورد» و «جان خورد» استنباط کرد، که در آن دومی به این معنی است که جان چیزی یا چیز دیگری را خورده است. برنامه ممکن است به خوبی پیش‌بینی کند که چون «جان برای صحبت با بیل خیلی سرسخت است» شبیه «جان یک سیب خورد»، «جان آنقدر فرومایه است که نمی‌توان با او صحبت کرد» باید شبیه «جان خورد». توضیحات صحیح زبان پیچیده است و نمی توان آن را فقط با قرار دادن در داده های بزرگ یاد گرفت.
به طور انحرافی، به نظر می رسد برخی از علاقه مندان به یادگیری ماشینی افتخار می کنند که خلاقیت های آنها می تواند پیش بینی های صحیح “علمی” (مثلاً در مورد حرکت اجسام فیزیکی) را بدون استفاده از توضیحات (مثلاً شامل قوانین حرکت نیوتن و گرانش جهانی) ایجاد کند. اما این نوع پیش بینی، حتی در صورت موفقیت آمیز بودن، شبه علم است. همانطور که فیلسوف کارل پوپر خاطرنشان کرد، در حالی که دانشمندان مطمئناً به دنبال نظریه‌هایی هستند که دارای درجه بالایی از تأیید تجربی باشند، «ما به دنبال نظریه‌های بسیار محتمل نیستیم، بلکه به دنبال توضیح هستیم. یعنی نظریه‌های قدرتمند و بسیار نامحتمل.»
این نظریه که سیب‌ها به زمین می‌افتند به این دلیل که مکان طبیعی آنهاست (دیدگاه ارسطو) ممکن است، اما فقط پرسش‌های بیشتری را مطرح می‌کند. (چرا زمین مکان طبیعی آنهاست؟) این نظریه که سیب ها به دلیل اینکه جرم فضا-زمان را خم می کند به زمین می افتند (دیدگاه اینشتین) بسیار بعید است، اما در واقع به شما می گوید که چرا آنها سقوط می کنند. هوش واقعی در توانایی تفکر و بیان چیزهای غیر محتمل اما بصیرت نشان داده می شود.
هوش واقعی همچنین توانایی تفکر اخلاقی را دارد. این به معنای محدود کردن خلاقیت بی حد و حصر ذهن ما با مجموعه ای از اصول اخلاقی است که تعیین می کند چه چیزی باید باشد و چه چیزی نباید باشد (و البته خود آن اصول را در معرض انتقاد خلاقانه قرار دهیم). برای مفید بودن، ChatGPT باید قدرت تولید خروجی جدید را داشته باشد. برای اینکه برای اکثر کاربرانش قابل قبول باشد، باید از محتوای ناپسند اخلاقی خودداری کند. اما برنامه نویسان ChatGPT و دیگر شگفتی های یادگیری ماشینی برای دستیابی به این نوع تعادل تلاش کرده اند – و به مبارزه ادامه خواهند داد.
به عنوان مثال، در سال 2016، ربات چت مایکروسافت Tay (پیش ساز ChatGPT) اینترنت را پر از محتوای زن ستیزانه و نژادپرستانه کرد، که توسط ترول های آنلاین که آن را با داده های آموزشی توهین آمیز پر می کردند، آلوده شده بود. چگونه مشکل را در آینده حل کنیم؟ در غیاب توانایی استدلال بر اساس اصول اخلاقی، برنامه‌نویسان ChatGPT به شدت از مشارکت دادن هر چیز جدید در بحث‌های بحث برانگیز – یعنی مهم – محدود شدند. خلاقیت را فدای نوعی بی اخلاقی کرد.
