DeepSeek开源周第二天-DeepEP

话不多说，直接上链接： https://github.com/deepseek-ai/DeepEP

DeepEP 是一个针对混合专家（MoE）和专家并行（EP）的通信库，提高GPU内核之间的吞吐量并且降低延时，同时支持低精度操作（例如：FP8）。

但注意，依然仅支持Hopper GPU（例如：H100、H800等）。

良心DS，白天开源，无需熬夜，老美颤抖吧，哈哈哈哈！vLLM已经开始适配了，马上都能用上啦