Tencent خانواده خود را از مدل های هوش مصنوعی Hunyuan با منبع باز که به اندازه کافی همه کاره برای استفاده گسترده است ، گسترش داده است. این خانواده جدید از مدل ها برای ارائه عملکرد قدرتمند در محیط های محاسباتی ، از دستگاه های Edge کوچک گرفته تا سیستم های تولیدی پر خواستار و با کنکور بالا ساخته شده اند.
این نسخه شامل مجموعه ای جامع از مدل های از قبل آموزش دیده و تنظیم شده است که بر روی سکوی توسعه دهنده بغل کردن صورت موجود است. این مدل ها در اندازه های مختلفی ، به طور خاص با مقیاس پارامتر 0.5b ، 1.8b ، 4b و 7b ارائه می شوند و انعطاف پذیری قابل توجهی را برای توسعه دهندگان و مشاغل فراهم می کنند.
Tencent نشان داده است که این مدل ها با استفاده از استراتژی های آموزشی مشابه مدل قدرتمندتر Hunyuan-A13B آن ساخته شده اند و به آنها امکان می دهد ویژگی های عملکرد خود را به ارث ببرد. این رویکرد کاربران را قادر می سازد تا مدل بهینه را برای نیازهای خود انتخاب کنند ، خواه یک نوع کوچکتر برای محاسبات لبه محدود منابع باشد یا یک مدل بزرگتر برای بارهای تولیدی با توان بالا ، همه در عین حال از قابلیت های قوی برخوردار باشد.
یکی از برجسته ترین ویژگی های سری Hunyuan پشتیبانی بومی آن برای یک پنجره زمینه فوق العاده 256K است. این به مدل ها اجازه می دهد تا عملکرد پایدار را در کارهای متن طولانی ، یک قابلیت حیاتی برای تجزیه و تحلیل اسناد پیچیده ، مکالمات گسترده و تولید محتوای عمیق انجام دهند. این مدل ها از آنچه Tencent “استدلال ترکیبی” می نامد پشتیبانی می کند ، که امکان هر دو حالت تفکر سریع و آهسته را فراهم می کند که کاربران بسته به نیازهای خاص خود می توانند بین آنها انتخاب کنند.
این شرکت همچنین تأکید جدی بر قابلیت های عامل دارد. این مدل ها برای کارهای مبتنی بر عامل بهینه شده اند و نتایج پیشرو در معیارهای تعیین شده مانند BFCL-V3 ، τ-Bench و C3-Bench را نشان داده اند ، و نشان دهنده درجه بالایی از مهارت در حل مسئله پیچیده و چند مرحله ای است. به عنوان مثال ، در نیمکت C3 ، مدل مدرک هونیوآن-7B به نمره 68.5 می رسد ، در حالی که مدل مدرک هونیوآن -4b 64.3 امتیاز دارد.
عملکرد این سریال تمرکز بر استنباط کارآمد است. مدلهای Hunyuan Tencent از توجه پرس و جو گروهی (GQA) استفاده می کنند ، تکنیکی که برای بهبود سرعت پردازش و کاهش سربار محاسباتی شناخته شده است. این راندمان با پشتیبانی از اندازه گیری پیشرفته ، یک عنصر اصلی معماری Hunyuan که برای کاهش موانع استقرار طراحی شده است ، بیشتر می شود.
Tencent ابزار فشرده سازی خود ، Angleslim را توسعه داده است تا یک راه حل فشرده سازی مدل کاربر پسند تر و مؤثرتر ایجاد کند. با استفاده از این ابزار ، این شرکت دو نوع اصلی کمیت را برای سری Hunyuan ارائه می دهد.
اولین مقدار FP8 Static Quantisation است که از فرمت 8 بیتی شناور استفاده می کند. این روش از مقدار کمی از داده های کالیبراسیون برای پیش تعیین مقیاس کمیت بدون نیاز به آموزش کامل ، تبدیل وزن مدل و مقادیر فعال سازی به قالب FP8 برای تقویت راندمان استنتاج استفاده می کند.
روش دوم Quantisation INT4 است که از طریق الگوریتم های GPTQ و AWQ به اندازه گیری W4A16 می رسد:
- در GPTQ رویکردهای رویکردهای مدل وزن مدل به صورت لایه ، با استفاده از داده های کالیبراسیون برای به حداقل رساندن خطاها در وزنهای کمیت. این فرآیند از نیاز به آموزش مدل جلوگیری می کند و سرعت استنباط را بهبود می بخشد.
- در AWQ الگوریتم با تجزیه و تحلیل آماری دامنه مقادیر فعال سازی از مجموعه کوچکی از داده های کالیبراسیون کار می کند. سپس ضریب مقیاس گذاری را برای هر کانال وزنه ای محاسبه می کند ، که دامنه عددی وزنهای مهم را برای حفظ اطلاعات بیشتر در طی فرآیند فشرده سازی گسترش می دهد.
توسعه دهندگان یا می توانند از ابزار Angleslim خود استفاده کنند یا مدل های از پیش بلند را مستقیماً بارگیری کنند.
معیارهای عملکرد قابلیت های قوی مدل های Tencent Hunyuan را در طیف وسیعی از کارها تأیید می کنند. به عنوان مثال ، مدل از پیش آموزش Hunyuan-7B ، به عنوان مثال ، نمره 79.82 را در معیار MMLU ، 88.25 در GSM8K و 74.85 در معیار ریاضی کسب می کند و استدلال محکم و مهارت های ریاضی را نشان می دهد.
انواع تنظیم شده دستورالعمل نتایج چشمگیر را در مناطق تخصصی نشان می دهد. در ریاضیات ، مدل مدافع هونیوآن-7B در معیار Aime 2024 81.1 امتیاز کسب می کند ، در حالی که نسخه 4B نمره 78.3 دارد. در علم ، مدل 7B در Olympiadbench به 76.5 می رسد و در برنامه نویسی ، در LiveCodebench 42 امتیاز کسب می کند.
معیارهای کمیت نشانگر حداقل تخریب عملکرد را نشان می دهد. در معیار قطره ، مدل مدرک هونیوآن-7B در قالب پایه B16 خود ، 86.0 با FP8 و 85.7 با INT4 GPTQ 85.9 نمره می گیرد و این نشان می دهد که دستاوردهای کارآیی با هزینه ای برای دقت حاصل نمی شود.
برای استقرار ، Tencent توصیه می کند از چارچوب های مستقر مانند Tensorrt-LLM ، VLLM یا SGLANG برای ارائه مدل های Hunyuan و ایجاد نقاط پایانی API سازگار با OpenAi استفاده کنید و اطمینان حاصل کنید که آنها می توانند به راحتی در گردش کار توسعه موجود یکپارچه شوند. این ترکیبی از عملکرد ، کارآیی و انعطاف پذیری استقرار ، سری Hunyuan را به عنوان یک مدعی قدرتمند در هوش مصنوعی منبع باز قرار می دهد.
همچنین ببینید: Deep Cogito V2: هوش مصنوعی منبع باز که از مهارت های استدلال آن استفاده می کند
آیا می خواهید در مورد AI و داده های بزرگ از رهبران صنعت اطلاعات بیشتری کسب کنید؟ نمایشگاه AI & Big Data را که در آمستردام ، کالیفرنیا و لندن برگزار می شود ، بررسی کنید. این رویداد جامع با سایر رویدادهای پیشرو از جمله کنفرانس اتوماسیون هوشمند ، BlockX ، هفته تحول دیجیتال و Cyber Security & Cloud Expo همکاری می کند.
سایر رویدادهای آینده فناوری شرکت و وبینارهای موجود در TechForge را در اینجا کاوش کنید.
