ChatGPT و هوش مصنوعی مولد در حال رونق هستند، اما با قیمت بسیار گران

قبل از اینکه ChatGPT OpenAI ظهور کند و توجه جهان را به دلیل توانایی‌اش در ایجاد جملات قانع‌کننده جلب کند، یک استارت‌آپ کوچک به نام Latitude با بازی AI Dungeon خود مشتریان را شگفت‌زده می‌کرد که به آنها اجازه می‌داد از هوش مصنوعی برای خلق داستان‌های خارق‌العاده بر اساس درخواست‌هایشان استفاده کنند.

اما با محبوبیت بیشتر AI Dungeon، نیک والتون، مدیر عامل Latitude به یاد آورد که هزینه نگهداری از بازی نقش‌آفرینی مبتنی بر متن شروع به افزایش سرسام‌آور شد. نرم‌افزار تولید متن AI Dungeon از فناوری زبان GPT ارائه شده توسط این شرکت پشتیبانی می‌کند مایکروسافتآزمایشگاه تحقیقاتی هوش مصنوعی OpenAI. هرچه افراد بیشتری AI Dungeon را بازی کنند، صورت حساب Latitude برای پرداخت OpenAI بیشتر می‌شد.

تشدید این مخمصه این بود که والتون همچنین متوجه شد که بازاریابان محتوا از AI Dungeon برای تولید نسخه تبلیغاتی استفاده می‌کنند، استفاده‌ای از AI Dungeon که تیم او هرگز پیش‌بینی نکرده بود، اما در نهایت به صورت‌حساب هوش مصنوعی شرکت اضافه شد.

در اوج خود در سال 2021، والتون تخمین می‌زند که Latitude نزدیک به 200000 دلار در ماه برای نرم‌افزار هوش مصنوعی مولد OpenAI و خدمات وب آمازون هزینه می‌کرد تا بتواند با میلیون‌ها درخواست کاربر که برای پردازش هر روز نیاز داشت، هماهنگی داشته باشد.

والتون گفت: «ما به شوخی گفتیم که کارمندان انسانی داریم و کارمندان هوش مصنوعی داریم و تقریباً به همان اندازه برای هر یک از آنها هزینه کرده ایم. ما صدها هزار دلار در ماه برای هوش مصنوعی خرج کردیم و استارتاپ بزرگی نیستیم، بنابراین هزینه بسیار زیادی داشت.

والتون گفت که تا پایان سال 2021، Latitude از استفاده از نرم‌افزار GPT OpenAI به نرم‌افزار زبانی ارزان‌تر اما همچنان توانمند ارائه شده توسط استارت‌آپ AI21 Labs تغییر مکان داد و افزود که این استارت‌آپ همچنین برای کاهش هزینه، مدل‌های زبان متن باز و رایگان را در سرویس خود گنجانده است. به گفته والتون، صورت‌حساب‌های مولد هوش مصنوعی Latitude به کمتر از 100000 دلار در ماه کاهش یافته است و این استارت‌آپ برای کمک به کاهش هزینه، اشتراک ماهیانه از بازیکنان برای ویژگی‌های پیشرفته‌تر هوش مصنوعی دریافت می‌کند.

صورت‌حساب‌های گران‌قیمت هوش مصنوعی Latitude بر حقیقتی ناخوشایند در پشت رونق اخیر در فناوری‌های هوش مصنوعی مولد تأکید می‌کند: هزینه توسعه و نگهداری نرم‌افزار می‌تواند فوق‌العاده بالا باشد، هم برای شرکت‌هایی که فناوری‌های زیربنایی را توسعه می‌دهند، که عموماً به عنوان یک زبان بزرگ یا مدل‌های پایه شناخته می‌شوند. و آنهایی که از هوش مصنوعی برای تامین انرژی نرم افزار خود استفاده می کنند.

هزینه بالای یادگیری ماشینی یک واقعیت ناراحت کننده در این صنعت است زیرا سرمایه گذاران خطرپذیر به شرکت هایی نگاه می کنند که به طور بالقوه می توانند تریلیون ها ارزش داشته باشند و شرکت های بزرگی مانند مایکروسافت، متا، و گوگل از سرمایه قابل توجه خود برای پیشرفت در فناوری استفاده می کنند که رقبای کوچکتر نمی توانند به آن برسند.

اما اگر حاشیه برای برنامه های کاربردی هوش مصنوعی به طور دائم از حاشیه های قبلی نرم افزار به عنوان یک سرویس کمتر باشد، به دلیل هزینه بالای محاسبات، می تواند رونق فعلی را کاهش دهد.

هزینه بالای آموزش و «استنتاج» – در واقع در حال اجرا – مدل های زبان بزرگ، هزینه ساختاری است که با رونق محاسباتی قبلی متفاوت است. حتی زمانی که نرم‌افزار ساخته یا آموزش داده می‌شود، برای اجرای مدل‌های زبانی بزرگ به مقدار زیادی قدرت محاسباتی نیاز دارد، زیرا هر بار که یک پاسخ را به یک درخواست باز می‌گردانند، میلیاردها محاسبه را انجام می‌دهند. در مقایسه، ارائه برنامه های وب یا صفحات به محاسبه بسیار کمتری نیاز دارد.

این محاسبات به سخت افزار تخصصی نیز نیاز دارد. در حالی که پردازنده‌های رایانه‌ای سنتی می‌توانند مدل‌های یادگیری ماشینی را اجرا کنند، اما کند هستند. اکثر آموزش ها و استنباط ها در حال حاضر بر روی پردازنده های گرافیکی یا GPU ها انجام می شود که در ابتدا برای بازی های سه بعدی در نظر گرفته شده بودند، اما به استانداردی برای برنامه های کاربردی هوش مصنوعی تبدیل شده اند زیرا می توانند بسیاری از محاسبات ساده را به طور همزمان انجام دهند.

Nvidia بیشتر پردازنده‌های گرافیکی را برای صنعت هوش مصنوعی می‌سازد و تراشه اصلی مرکز داده آن 10000 دلار قیمت دارد. دانشمندانی که این مدل ها را می سازند اغلب به شوخی می گویند که آنها “ذوب پردازنده های گرافیکی“

تحلیلگران و فناوران تخمین می زنند که فرآیند حیاتی آموزش یک مدل زبان بزرگ مانند GPT-3 OpenAI می تواند بیش از 4 میلیون دلار هزینه داشته باشد. روآن کوران، تحلیلگر Forrester که بر روی هوش مصنوعی و یادگیری ماشین تمرکز دارد، گفت: آموزش مدل‌های پیشرفته‌تر زبان ممکن است بیش از «میلیون‌ها میلیون دلار بالا» هزینه داشته باشد.

به عنوان مثال، بزرگترین مدل LLaMA متا که ماه گذشته منتشر شد، از 2048 پردازنده گرافیکی Nvidia A100 برای آموزش بر روی 1.4 تریلیون توکن (750 کلمه تقریباً 1000 توکن) استفاده کرد، این شرکت در هنگام عرضه مدل در ماه گذشته گفت.

حدود 1 میلیون ساعت پردازنده گرافیکی برای آموزش لازم است. با قیمت های اختصاصی از AWS، که بیش از 2.4 میلیون دلار هزینه دارد. و با 65 میلیارد پارامتر، کوچکتر از مدل های GPT فعلی در OpenAI است، مانند ChatGPT-3 که دارای 175 میلیارد پارامتر است.

برای محصولی به محبوبیت ChatGPT – که شرکت سرمایه گذاری UBS تخمین می زند که داشته باشد در ژانویه به 100 میلیون کاربر فعال ماهانه رسید – Curran معتقد است که پردازش میلیون‌ها درخواستی که در آن ماه به نرم‌افزار داده شده بود، می‌توانست 40 میلیون دلار برای OpenAI هزینه داشته باشد.

به عنوان سرمایه گذار سمیل شاه از شرکت های VC Haystack و Lightspeed Venture Partners شرح داده شده در توییتر، “دلار VC از یارانه سواری تاکسی و تحویل بوریتو شما به LLM ها و محاسبات هوش مصنوعی مولد تغییر کرد.”

بسیاری از کارآفرینان خطراتی را در اتکا به مدل‌های هوش مصنوعی یارانه‌ای می‌بینند که کنترل نمی‌کنند و صرفاً هزینه آن را بر اساس هر بار استفاده پرداخت می‌کنند.

سومان کانوگانتی، بنیانگذار personal.ai، یک ربات چت که در حال حاضر در حال حاضر است، می گوید: «وقتی در کنفرانس های استارتاپی با دوستانم در زمینه هوش مصنوعی صحبت می کنم، این چیزی است که به آنها می گویم: فقط به OpenAI، ChatGPT یا هر مدل زبان بزرگ دیگری وابسته نباشید. حالت بتا “از آنجایی که مشاغل تغییر می کنند، همه آنها متعلق به شرکت های بزرگ فناوری هستند، درست است؟ اگر آنها دسترسی را قطع کنند، شما رفته اید.”

شرکت‌هایی مانند شرکت فناوری سازمانی Conversica در حال بررسی این هستند که چگونه می‌توانند از این فناوری از طریق سرویس ابری Azure مایکروسافت با قیمت تخفیف‌خورده آن استفاده کنند.

در حالی که جیم کاسکاد، مدیر عامل Conversica از اظهار نظر در مورد میزان پرداختی استارتاپ خودداری کرد، اما پذیرفت که هزینه یارانه ای مورد استقبال قرار می گیرد زیرا چگونگی استفاده موثر از مدل های زبان را بررسی می کند.

کاسکاد گفت: «اگر واقعاً سعی می‌کردند تا حدی را از بین ببرند، هزینه‌های جهنمی بسیار بیشتری می‌گرفتند.»

مشخص نیست که آیا محاسبات هوش مصنوعی با توسعه صنعت گران خواهد ماند یا خیر. شرکت های سازنده مدل های پایه، سازندگان نیمه هادی ها و استارت آپ ها همگی فرصت های تجاری را در کاهش قیمت نرم افزارهای در حال اجرا هوش مصنوعی می بینند.

انویدیا که حدود 95 درصد از بازار تراشه‌های هوش مصنوعی را در اختیار دارد، همچنان به توسعه نسخه‌های قدرتمندتری که به‌طور خاص برای یادگیری ماشینی طراحی شده‌اند، ادامه می‌دهد، اما در سال‌های اخیر پیشرفت‌ها در کل قدرت تراشه در سراسر صنعت کاهش یافته است.

با این حال، جنسن هوانگ، مدیرعامل انویدیا معتقد است که در 10 سال آینده، هوش مصنوعی «میلیون برابر» کارآمدتر خواهد بود، زیرا نه تنها در تراشه‌ها، بلکه در نرم‌افزار و سایر بخش‌های رایانه نیز بهبود می‌یابد.

هوانگ ماه گذشته در یک تماس با درآمد گفت: «قانون مور، در بهترین روزهای خود، در یک دهه 100 برابر می شد. با ارائه پردازنده‌های جدید، سیستم‌های جدید، اتصالات جدید، چارچوب‌ها و الگوریتم‌های جدید، و کار با دانشمندان داده، محققان هوش مصنوعی بر روی مدل‌های جدید، در کل این بازه، پردازش مدل‌های زبان بزرگ را میلیون‌ها برابر سریع‌تر کرده‌ایم.»

برخی استارت آپ ها بر هزینه بالای هوش مصنوعی به عنوان یک فرصت تجاری تمرکز کرده اند.

“هیچ کس نمی گفت “شما باید چیزی بسازید که برای استنتاج ساخته شده باشد.” آن شبیه چیست؟” Sid Sheth، بنیانگذار D-Matrix، یک استارت آپ که سیستمی را برای صرفه جویی در هزینه استنتاج با انجام پردازش بیشتر در حافظه کامپیوتر، به جای پردازنده گرافیکی، می گوید.

“امروزه مردم از پردازنده‌های گرافیکی، پردازنده‌های گرافیکی NVIDIA، برای انجام بیشتر استنتاج خود استفاده می‌کنند. آنها سیستم‌های DGX را که انویدیا می‌فروشد، می‌خرند که هزینه زیادی دارد. مشکل استنتاج این است که حجم کار به سرعت بالا برود، چیزی که برای ChatGPT رخ داد. در عرض پنج روز به یک میلیون کاربر رسید. هیچ راهی وجود ندارد که ظرفیت GPU شما بتواند با آن مطابقت داشته باشد زیرا برای آن ساخته نشده است. برای آموزش و برای شتاب گرافیک ساخته شده است.”

دلانگ، مدیر عامل HuggingFace، معتقد است که بهتر است شرکت‌های بیشتری به جای مدل‌های زبان بزرگ که بیشتر توجه را به خود جلب می‌کنند، روی مدل‌های کوچک‌تر و خاص‌تر که آموزش و اجرا ارزان‌تر هستند، تمرکز کنند.

در همین حال، OpenAI ماه گذشته اعلام کرد که هزینه شرکت ها برای دسترسی به مدل های GPT خود را کاهش می دهد. الان شارژ میکنه یک پنجم یک سنت برای حدود 750 کلمه خروجی.