《GTA6》27日发预告?前开发者Mike York:圣诞假期中,难言线
摩尔线程开源vLLM-MUSA,助力国产GPU加速替代CUDA,推动AI发展新篇章!
【ITBEAR】摩尔线程近日在国产GPU AI领域取得了显著进展,其全新推出的大语言模型高速推理框架开源项目vLLM的MUSA移植版本已正式上线。此举旨在为众多开发者提供一个基于摩尔线程GPU进行MUSA移植的参考范例,从而进一步丰富和完善MUSA的应用生态。
vLLM作为一款高效且便捷的大模型推理与服务框架,已在业内广受好评。摩尔线版本进行了精细化的移植适配工作,使其能够充分支持摩尔线程GPU后端Device,并实现了项目的全面开源。这意味着,开发者们可以基于该项目进行二次开发,或者将vLLM升级到社区提供的更新版本,以此推动AI技术的持续进步。
值得关注的是,摩尔线程的MUSA架构在设计上具有前瞻性,同时其软件栈对CUDA展现出了出色的兼容性。借助MUSIFY代码自动转换工具,用户能够轻松地将原有的CUDA代码迁移至MUSA平台,实现无缝替代。CUDA相关库的调用亦可迅速替换为对应的MUSA加速库,例如muDNN算子库、MCCL集合通信库以及muBLAS线性代数库等。
通过这一系列举措,摩尔线程不仅显著提升了应用移植的效率,缩短了必博官方网站开发周期,更为开发者们提供了一整套实用的工具和脚本。这无疑将为国产GPU AI的发展注入新的活力,推动AI技术在更多领域实现广泛应用与落地。如需获取更多关于摩尔线程vLLM-MUSA开源项目的详细信息,请访问其GitHub页面进行查阅。
《GTA6》27日发预告?前开发者Mike York:圣诞假期中,难言真假
OpenAI新推Sora视频生成器:最高1080p,20秒长,AI创作视频时代来临?
iOS 18.2实测:iPho必博官方网站ne续航有增有减,15 Pro新增AI功能值得一试吗?
本网站LOGO小熊标志受版权保护,版权登记号:鲁作登字-2015-F-025467,未经ITBEAR官方许可,严禁使用。