import deepseek as openai
真没想到,最后一天deepseek对存储下手啊!
话不多说,直接上链接: https://github.com/deepseek-ai/3FS
3FS,Fire-Flyer File System,是一种高性能分布式文件系统,利用现代SSD 和 RDMA 网络带全宽的并行文件系统,解决AI训练和推理存储问题。
峰值吞吐量:180个存储节点,每个存储节点配备2×200Gbps InfiniBand网卡和十六个14TiB NVMe SSD。测试使用大约500多个客户端节点,每个客户端节点配置了1x200Gbps InfiniBand网卡,最终的聚合读取吞吐量达到了约6.6 TiB/s,如图2。
排序性能:25个测试存储节点,对110.5 TiB的数据进行排序,分布在8192个分区中,耗时30分钟14秒完成,平均吞吐量为3.66 TiB/min,如图3。
KVCache:KVCache的峰值吞吐量达到了40 GiB/s,如图4。
最后,NLP工作站 4群 成立啦!欢迎入群交流!
PS:疲惫的一周终于要结束啦!