DeepSeek开源周,第五弹, 3fs来袭~

存储数据库机器学习

今天是DeepSeek开源周,最后一天,开源的3FS。一个专门为AI训练和推理工作负载设计的高性能,分布式文件系统,

picture.image

中间插播一条OpenAI新闻。 凌晨,GPT 4.5发布,API 价格,价格涨到了75 美元 / 百万 tokens,是 GPT-4o 的 30 倍,是 DeepSeek 的 280 倍。目前整体口碑一般。

回到3FS,一个专门为AI训练和推理工作负载设计的高性能,分布式文件系统,特性:

  • 分离式架构。它能把存储资源分散开来,让应用访问存储资源时不用考虑数据的具体位置,这样就能更好地利用资源。
  • 强一致性,通过( Chain Replication with Apportioned Queries (CRAQ) ) 保证强一致性,这个特性对应用开发来说很重要,它能让代码更简单,逻辑更清晰。
  • 文件接口,开发了一个无状态元服务,这个特性对开发者来说很友好,因为不需要学习新的存储API。

3FS在不同工作负载下的表现。数据准备、数据加载器、检查点和KVCache这些场景,3FS都能提供有效的解决方案。

picture.image

在性能方面,3FS的峰值吞吐量、GraySort排序性能和KVCache的读取吞吐量表现:

KV cache缓存到磁盘而不是系统 RAM,可以减少 VRAM 使用并增加服务同时实例的数量。

picture.image

picture.image

picture.image

picture.image

0
0
0
0
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论