DeepSeek开源周第二日:开源DeepEP通信库

砍柴网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

2月25日,DeepSeek官宣,今日开源DeepEP,第一个用于MoE模型训练和推理的开源EP通信库。特点有:高效、优化的全员沟通;节点内和节点间均支持NVLink和RDMA;用于训练和推理预填充的高吞吐量内核;用于推理解码的低延迟内核;原生FP8调度支持;灵活的GPU资源控制,实现计算-通信重叠。

DeepSeek开源周第二日:开源DeepEP通信库

【来源:凤凰网 科技 】

随意打赏

提交建议
微信扫一扫,分享给好友吧。