內地人工智能(AI)初創DeepSeek「開源周」第二日，該公司宣布，開源DeepEP，這是首個用於MoE模型訓練和推理的開源EP通訊庫。
DeepSeek表示，EP通訊庫的特點包括高效、優化的全員溝通；節點內和節點間均支持NVLink和RDMA；用於訓練和推理預填充的高吞吐量內核；用於推理解碼的低延遲內核；原生FP8調度支持；靈活的GPU資源控制，實現計算─通訊重疊。
DeepSeek昨日宣布啟動「開源周」，首個開源的代碼庫為Flash MLA，AI推理速度再進化。這是針對Hopper GPU優化的高效MLA解碼內核，針對可變長度序列作優化，目前已投入生產。
Subscribe FORTUNE INSIGHT Telegram:
http://bit.ly/2M63TRO
Subscribe FORTUNE INSIGHT YouTube channel:
http://bit.ly/2FgJTen