在 AI 浪潮下，无论是追求技术突破的 AI 算法公司，还是致力于自动驾驶的研发团队，都面临同一"隐形杀手"——存储带宽瓶颈。这个看似不起眼的问题，却可能让你的智能化项目功亏一篑。AI 业务对数据传输的“爆发性”与“连续性”有着极高要求，带宽不足会使研发效率断崖式下降：大模型训练：在千亿参数大模型训练时，需向 GPU 集群传输百万级别的样本（单轮数据量超 10TB）。若带宽传输与算力读取速度不匹配

在 AI 浪潮中，大模型训练与推理正以前所未有的速度推动计算能力突破极限。从自动驾驶 PB 级数据洪流到生成式 AI 微秒级推理响应，算力竞速已成为科技前沿的焦点。而数据管理和访问性能，也已成为决定 AI 训练效率、推理速度的核心要素。传统文件存储在面对 AI 时代 “数据密集、并发密集、场景复杂” 的极致需求时，逐渐显露出力不从心的一面，成为制约 AI 算力释放的瓶颈。性能与容量强绑定：资源利用

JuiceFS 是一款面向云原生设计的高性能分布式文件系统，在 Apache 2.0 开源协议下发布。提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。每个 JuiceFS 客户端都有访问日志，其中详细记录了文件系统上的所有操作，如操作类型、用户 ID、用户组 ID、文件 inode 及其花费的时间。访问日志可以有多种用

EIC 作为火山引擎的分布式 KVCache 方案，通过存储-计算解耦、资源池化、分层优化三大能力，解决了大模型推理中的内存瓶颈、高并发延迟、跨节点协同等问题，其应用场景可覆盖广告推荐、文本及多模态模型等基础推理生态，通过以存代算重构大模型的算力效率体系，推动 AI 规模化应用的成本优化与性能升级。本文将全面剖析推理框架技术原理，介绍 EIC 如何突破原生推理框架限制。近年来，豆包、Kimi、De

在大模型领域，随着模型参数规模的扩大和上下文长度增加，算力消耗显著增长。在 LLM 推理过程中，如何减少算力消耗并提升推理吞吐已经成为关键性优化方向。以多轮对话场景为例，随着对话轮数增加，历史 token 重算占比持续增长。实验数据表明（如图1），当每轮输入为 8k tokens 时，运行 6 轮后，历史 token 重复计算占比超过 80%，直接导致了 GPU 算力的冗余消耗。在此背景下，构建高

在上篇中，我们对 3FS 各个组件的实现原理进行了详细分析。这些分析给我们留下一个初步的印象：3FS 团队的目标并不是要研发一个可以在方方面面达到业界一流水平的全能型产品，更多的是在追求一个限定场景下的最优解，这个限定场景就是 DeepSeek 自己的大模型训推场景。在这篇文章里，我们从 AI 场景和其他场景中提炼出一些有代表性的典型 case，在元数据面和数据面两个维度上，对 3FS 和业界典型

2025 年 2 月28 日，DeepSeek 在其开源周最后一天压轴发布了自研的并行文件系统 Fire-Flyer File System，简称 3FS。该系统支撑了 DeepSeek V3&R1 模型训练、推理的全流程，在数据预处理、数据集加载、CheckPoint、KVCache 等场景发挥了重要作用。项目一经发布，就获得了存储领域的广泛关注。大家迫切地想一探究竟，看看 3FS 到底有哪些压

在对象存储系统中，保障数据不丢不错，是系统的底线。而要保障数据不丢不错，非常重要的一环，是要保障网络传输过程中的数据安全。网络传输过程中的常见问题分为三类：数据不完整。对象存储系统中，数据包含了文件内容和文件属性。文件内容通过HTTP Body传输，当数据不完整时，本来应该传输100MB的数据，但实际只传输了80MB，用户读取时会发现数据少了一部分。文件属性通过HTTP Header传输，包含了A

本文介绍使用 CDN/TOS 作为源站/伪源的解决方案，包括业务场景、方案架构及实施步骤等。互联网应用大多采用动静分离架构，将视频、音频、图片、JS脚本等静态资源放在对象存储中，并使用 CDN 进行访问加速，存放静态资源的地方我们称之为CDN的“源站”。使用 CDN+TOS 这种架构的优势主要包含：提高资源的加载速度。通过将站点内容分发至就近的 CDN 缓存节点，使用户可就近快速获取所需资源，有效

火山引擎存储产品双月刊涵盖存储和中间件所有产品的新品发布、功能更新、最佳实践和平台最新活动等多个模块内容。每双月更新，欢迎查阅体验。【邀测】产品或功能暂未对全部用户开放，如需使用，请提交工单或联系客户经理申请。【邀测】深度冷归档：新增深度冷归档，适用于需要超长时间存放的极冷数据。最少需要存储 180 天。原图保护：支持后缀功能。设置自定义分隔符后，搭配后缀功能处理图片时，会默认为图片名称添加后缀，

火山引擎存储产品双月刊涵盖存储和中间件所有产品的新品发布、功能更新、最佳实践和平台最新活动等多个模块内容。每双月更新，欢迎查阅体验。【邀测】产品或功能暂未对全部用户开放，如需使用，请提交工单或联系客户经理申请。异常图片检测：支持检测图片中是否包含除图片以外的可疑文件，例如 MPEG-TS 文件。跨域规则：创建跨域规则时新增返回Vary:Origin 参数，用于在同时存在跨域和非跨域请求场景下访问

作者与团队 王志雷，火山引擎存储&数据库解决方案架构师，专注于存储&数据库产品的解决方案规划、设计和拓展工作。贾伟力，火山引擎存储&数据库解决方案架构师，专注于存储&数据库产品的解决方案规划、设计和拓展工作。火山引擎存储&数据库解决方案团队，由资深的存储&数据库解决方案架构师组成。团队致力于帮助企业与组织更好的使用火山引擎云存储与云数据库产品，针对实际业务场景设计最优的解决方案，用专业技术助力组织

作者与团队 王志雷，火山引擎存储&数据库解决方案架构师，专注于存储&数据库产品的解决方案规划、设计和拓展工作。贾伟力，火山引擎存储&数据库解决方案架构师，专注于存储&数据库产品的解决方案规划、设计和拓展工作。火山引擎存储&数据库解决方案团队，由资深的存储&数据库解决方案架构师组成。团队致力于帮助企业与组织更好的使用火山引擎云存储与云数据库产品，针对实际业务场景设计最优的解决方案，用专业技术助力组织

关于作者与团队 魏巍，火山引擎存储&数据库产品解决方案架构师，负责存储&数据库产品在泛互联网行业的解决方案拓展工作。 火山引擎存储&数据库产品解决方案团队，由资深的存储&数据库解决方案架构师组成。团队致力于帮助企业与组织更好的使用火山引擎云存储与云数据库产品，针对实际业务场景设计最优的解决方案，用专业技术助力组织和企业实现业务成功。发展数字经济是当下各行各业的重要方向。支撑数字经济的底座是软件，特

本文整理自火山引擎开发者社区 Meetup 第八期演讲，主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。作者：刘卯银｜火山引擎日志系统架构师谈到日志系统，首先要从日志说起，日志在 IT 系统里无处不在，也是 IT系统大数据的关键来源。日志的种类和样式非常多，以在线教育系统为例，日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。

随着数字化转型的深入，越来越多的企业将数据作为新的生产要素，越来越多的数据需要进行收集、存储、处理和分析。云存储作为云上的数据底层载体，支撑着越来越多的应用负载。无论是“稳”态还是“敏”态业务，或者创新型业务，都需要高可靠、高可用、高性能、高扩展性的云存储服务。按照经典的划分方式，云存储一般分为块、文件、对象三大类型，其中文件存储一般又分为通用文件存储NAS、并行文件存储PFS、大数据文件存储等。

随着云计算的高速发展和广泛使用，越来越多的用户构建了混合云或者多云架构，跨云的数据迁移及数据同步成为常见的业务场景，而传统的通过命令行工具或脚本进行数据传输的方法，存在迁移速度慢、实施成本高、易用性差等缺陷，为此火山引擎云存储团队推出了存储迁移服务，能够将其他云服务商或自建对象存储中的数据方便快捷地迁移到火山引擎对象存储TOS中。火山引擎存储迁移服务具有以下功能：多种数据源：支持国内外主流云厂商对