必博(中国)Bibo·官方网站 - 做高端体育品牌

摩尔线程开源vLLM-MUSA助力国产GPU加速替代CUDA推动AI发展新篇章!-必博官方网站
010-67952968
当前位置: 首页 > 行业洞察 > 行业新闻

摩尔线程开源vLLM-MUSA助力国产GPU加速替代CUDA推动AI发展新篇章!

2024-12-26 13:39:32 小编

  《GTA6》27日发预告?前开发者Mike York:圣诞假期中,难言线

  摩尔线程开源vLLM-MUSA,助力国产GPU加速替代CUDA,推动AI发展新篇章!

  【ITBEAR】摩尔线程近日在国产GPU AI领域取得了显著进展,其全新推出的大语言模型高速推理框架开源项目vLLM的MUSA移植版本已正式上线。此举旨在为众多开发者提供一个基于摩尔线程GPU进行MUSA移植的参考范例,从而进一步丰富和完善MUSA的应用生态。

摩尔线程开源vLLM-MUSA助力国产GPU加速替代CUDA推动AI发展新篇章!(图1)

  vLLM作为一款高效且便捷的大模型推理与服务框架,已在业内广受好评。摩尔线版本进行了精细化的移植适配工作,使其能够充分支持摩尔线程GPU后端Device,并实现了项目的全面开源。这意味着,开发者们可以基于该项目进行二次开发,或者将vLLM升级到社区提供的更新版本,以此推动AI技术的持续进步。

  值得关注的是,摩尔线程的MUSA架构在设计上具有前瞻性,同时其软件栈对CUDA展现出了出色的兼容性。借助MUSIFY代码自动转换工具,用户能够轻松地将原有的CUDA代码迁移至MUSA平台,实现无缝替代。CUDA相关库的调用亦可迅速替换为对应的MUSA加速库,例如muDNN算子库、MCCL集合通信库以及muBLAS线性代数库等。

  通过这一系列举措,摩尔线程不仅显著提升了应用移植的效率,缩短了必博官方网站开发周期,更为开发者们提供了一整套实用的工具和脚本。这无疑将为国产GPU AI的发展注入新的活力,推动AI技术在更多领域实现广泛应用与落地。如需获取更多关于摩尔线程vLLM-MUSA开源项目的详细信息,请访问其GitHub页面进行查阅。

  《GTA6》27日发预告?前开发者Mike York:圣诞假期中,难言真假

  OpenAI新推Sora视频生成器:最高1080p,20秒长,AI创作视频时代来临?

  iOS 18.2实测:iPho必博官方网站ne续航有增有减,15 Pro新增AI功能值得一试吗?

  本网站LOGO小熊标志受版权保护,版权登记号:鲁作登字-2015-F-025467,未经ITBEAR官方许可,严禁使用。

联系专业的商务顾问,制定方案,专业设计,一对一咨询及其报价详情
服务热线服务热线 010-67952968
免费互联网咨询服务

联系我们 contact us
010-67952968