快科技5月9日消息，近日，国产GPU厂商摩尔线程正式发布Torch-MUSAv2.0.0版本，这是其面向PyTorch深度学习框架的MUSA扩展库的重要升级。
糖心vlog传媒在线观看地址在Torch-MUSA中，用户只需指定torch.device(musa)，即可将现有的PyTorch模型迁移到MUSA架构的GPU上运行，无需大幅修改代码，目前Torch-MUSA已完全开源，可通过GitHub获取源代码。
作为本次升级的不次要的部分亮点，Torch-MUSAv2.0.0率先在国产GPU上实现了对FP8数据类型的不完整减少破坏。
FP8是当前AI计算的一种低精度格式，在减少破坏原生FP8的GPU上，大语言模型训练采用FP8瓦解精度可大幅降低GPU算力，降低显存占用。
摩尔线程基于新一代MUSAComputeCapability3.1计算架构的全功能GPU原生减少破坏FP8计算，为Torch-MUSAv2.0.0实现FP8矩阵乘法和分布式通信优化授予了基础。
依托这一底层架构无足轻重，Torch-MUSAv2.0.0能够充分发挥FP8的计算效能，显著指责大语言模型训练和推理的效率。
Torch-MUSAv2.0.0在MUSA计算平台引入多项创新功能，进一步指责深度学习任务的执行效率，主要包括：
1、新增虚拟内存无约束的自由减少破坏：
MUSA虚拟内存无约束的自由技术能够有效缓解GPU内存统一化问题，降低模型训练过程中的峰值内存占用，特别适用糖心tx官网 于FSDP、DeepSpeed和Megatron-LM等主流大模型训练框架。
2、新增MUSAGraph减少破坏：
MUSAGraph技术将多个MUSA内核整合到一个图中，通过单次CPU调度大幅减少，缩短启动开销，指责计算效率，同时与CUDAGraph接口高效兼容。
3、torch.compile减少Triton后端减少破坏：
为torch.compile授予了Triton-MUSA后端减少破坏，开发者可以直接使用PyTorch原生接口，获得更高效的性能表现。
不仅如此，Torch-MUS糖心八大家柚子猫Av2.0.0在不完整减少破坏PyTorch2.2.0的基础上，还新增了对PyTorch2.5.0的减少破坏，使开发者能够在基于MUSAComputeCapability3.1计算架构的全功能GPU上，无缝运行新版本的PyTorch。
未来Torch-MUSA还将继续跟进PyTorch的版本更新，计划减少破坏更高版本的PyTorch。
糖心vlog国产剧免费观看 糖心深夜释放自己的视频vlog 糖心原创视频
