اخبار

خانه › اخبار › اینتل و RadixArk برای بهینه‌سازی استنتاج متن‌باز هوش مصنوعی همکاری می‌کنند

اینتل و RadixArk برای بهینه‌سازی استنتاج متن‌باز هوش مصنوعی همکاری می‌کنند۱۴۰۵/۰۸/۲۵

اینتل و RadixArk برای بهینه‌سازی استنتاج متن‌باز هوش مصنوعی همکاری می‌کنند

شرکت اینتل از همکاری با RadixArk برای پیشبرد استنتاج (inference) متن‌باز هوش مصنوعی روی پلتفرم‌های اینتل خبر داد. بر اساس این مشارکت، هر دو شرکت SGLang، یک پشته متن‌باز برای اجرای مدل‌های هوش مصنوعی، را برای سخت‌افزار اینتل بهینه می‌کنند. هدف این تلاش کمک به توسعه‌دهندگان و سازمان‌هاست تا مدل‌های پیشرو را کارآمدتر مستقر کنند. همچنین به آن‌ها کمک می‌کند برنامه‌های هوش مصنوعی را با هزینه کمتر بسازند.

آنیل نانددوری، معاون رئیس بخش محصولات و راهبرد بازار هوش مصنوعی در گروه دیتاسنتر اینتل، دلیل این اقدام را توضیح داد:

«هوش مصنوعی سازمانی از بنچمارک‌های عملکردی جدا از هم فراتر می‌رود و به حل مسئله استقرارهای کامل تولیدی در سطح کل سیستم می‌رسد. این همکاری تضمین می‌کند که توسعه‌دهندگان از همان روز اول (Day-0) آماده باشند و نرم‌افزار استنتاج با کارایی بالا را که مستقیماً برای پردازنده‌ها، کارت‌های گرافیک و شتاب‌دهنده‌های اینتل بهینه شده، با رویکردی باز در اختیار داشته باشند و آزادی انتخاب ابزارها، فریم‌ورک‌ها و فناوری‌هایی را داشته باشند که بهترین تناسب را با نیازشان دارد.»

چرا استنتاج باز هوش مصنوعی برای سازمان‌ها مهم است

مدل‌های هوش مصنوعی همچنان بزرگ‌تر و پیچیده‌تر می‌شوند. در نتیجه سازمان‌ها اکنون به زیرساخت استنتاج ناهمگون و باز نیاز دارند. علاوه بر این، ارائه هوش مصنوعی در محیط تولید مستلزم آن است که هر درخواست (prompt) به مقصد درست برسد. هر بار کاری نیز باید با هوش مناسب، توان محاسباتی مناسب و اقتصاد مناسب تطبیق داده شود.

اینجاست که محیط‌های اجرای متن‌باز وارد عمل می‌شوند. آن‌ها حلقه اتصال ضروری برای استقرارهای تمام‌پشته را فراهم می‌کنند. بنابراین این استقرارها در محیط‌های متنوع سازمانی عملی، قابل اتکا و از نظر اقتصادی پایدار می‌شوند.

این همکاری برای توسعه‌دهندگان چه دارد

این همکاری دامنه انتخاب توسعه‌دهندگان را برای استقرار مدل‌های پیشرو هوش مصنوعی روی سخت‌افزار اینتل، که در محیط‌های سازمانی اثبات شده، گسترش می‌دهد. سازندگان مدل و مهندسان نرم‌افزار می‌توانند روی فریم‌ورک‌ها و رابط‌های استاندارد و باز نوآوری و توسعه کنند. در عین حال می‌توانند از تراکم محاسباتی اینتل بهره کامل ببرند. آن‌ها همچنین به قابلیت‌های شتاب‌دهی سخت‌افزاری داخلی، از جمله Intel Advanced Matrix Extensions (Intel AMX)، دسترسی پیدا می‌کنند.

با استنتاج باز هوش مصنوعی، توسعه‌دهندگان زودتر به مرحله تولید می‌رسند و تأخیر کمتری تجربه می‌کنند. همچنین گزینه‌های استقرار انعطاف‌پذیری در دیتاسنترها و ظرفیت ابری موجود خود خواهند داشت.

RadixArk نیز دیدگاه خود را درباره این نقطه عطف بیان کرد.

ینگ شنگ، مدیرعامل RadixArk، گفت: «همکاری ما با اینتل یک نقطه عطف بزرگ برای استنتاج متن‌باز هوش مصنوعی است و بهینه‌سازی SGLang را مستقیماً روی پلتفرم‌های اینتل ممکن می‌کند. با ارسال بهینه‌سازی‌های عمیق به هسته اصلی فریم‌ورک (upstream)، محدودیت‌ها را از بین می‌بریم و مطمئن می‌شویم توسعه‌دهندگان هرگز مجبور نباشند میان استانداردهای باز و کارایی بالا مصالحه کنند. مأموریت ما این است که زیرساخت هوش مصنوعی پیشرو را برای هر سازنده‌ای باز و در دسترس کنیم، و معماری آماده سازمانی اینتل انعطاف‌پذیری و تراکم محاسباتی لازم را به تیم‌های توسعه می‌دهد تا بارهای کاری هوش مصنوعی تولیدی را بی‌دردسر مقیاس‌دهی کنند.»

یک نقشه راه باز برای هوش مصنوعی در محیط تولید

نکته قابل توجه اینکه این همکاری بهینه‌سازی سخت‌افزار و نرم‌افزار را کنار هم می‌آورد. این موضوع بازتاب رویکرد اینتل است که بهبودها را مستقیماً به نرم‌افزارهای جامعه متن‌باز اضافه می‌کند. اینتل این بهبودها را تصمیم‌های استقرار جداگانه نمی‌داند.

افزون بر این، این مشارکت‌های بالادستی (upstream) به موتورها و فریم‌ورک‌های محبوب می‌رسد. هدف آن‌ها ایجاد مسیرهای پرکارایی برای تبدیل مدل‌های پیشگام به برنامه‌های مقیاس‌پذیر و در سطح تولید است. در همین حال، این رویکرد انعطاف‌پذیری، حق انتخاب و آزادی معماری گسترده را برای توسعه‌دهندگان و سازمان‌ها حفظ می‌کند.

→ بازگشت به اخبار

تماستلگراممسیریابی