E3PO简介
E3PO是一款专为360°视频流模拟和评估而设计的开放平台。其主要目标是支持目前提出的多种360°视频流方法的模拟，包括基于投影、平铺或转码的不同策略。E3PO的独特之处在于其允许用户自由定制360°视频的投影方式，切割方式，运动预测算法，并应用不同的流媒体传输策略，从而为用户提供了高度可定制的实验环境。最重要的是，E3PO生成实际的视觉序列，可在每次模拟中展示在用户屏幕上。
E3PO的多功能性使其成为研究人员和开发人员探索不同360°视频传输方法的理想选择。它支持多种方案，包括基于投影、基于瓦片或基于转码的方式。用户可以自定义投影类型、瓦片大小、运动预测算法以及流传输策略，为他们提供了一个灵活的实验环境。
https://github.com/bytedance/E3PO
E3PO的特性
- 多种投影方式支持⛵ E3PO允许用户选择标准或自定义的投影方式，使其适应不同的360°视频流方案。
- 灵活的视频分割选项⛵ 用户可以选择将视频分割成相等大小的瓦片或根据需要自适应大小，以满足不同的场景需求。
- 自定义运动预测算法⛵ E3PO提供自定义运动预测算法的功能，使用户能够优化视频流的传输性能。
- 流媒体策略⛵ 用户可以根据需求选择点播或转码等流媒体策略，以满足不同应用场景的需求。
- 可评估性能⛵ E3PO生成实际的视觉序列，使用户能够客观比较使用相同视频内容和相同运动轨迹的不同360°视频流方法的性能。
E3PO的应用
- 360°视频流方法比较⛵ 用户可以使用E3PO比较不同的360°视频流方法，通过模拟和评估不同的策略，找到最适合其需求的方法。
- 性能优化实验⛵ 研究人员和开发人员可以利用E3PO进行性能优化实验，定制化360°视频传输方案，以提高整体性能。
- 流媒体方案研究⛵ E3PO为研究新的流媒体方案提供了一个实验平台，使用户能够评估新策略的性能。
E3PO 项目示例：创新的360°视频传输方案
详细描述
在这个项目中，我们首先选择适当的投影方式，并根据实际需求定制瓦片大小。通过E3PO的自定义运动预测算法，我们优化视频流的传输性能，确保在用户头显设备中呈现出高质量的360°视频。我们还利用E3PO的流传输策略功能，根据应用场景选择点播或转码方式。点播方式适用于实时性要求不高的场景，而转码方式则可以在保证画质的同时降低带宽占用。
E3PO的框架设计旨在实现360°视频流的模拟与评估，主要由三个关键模块组成：视频预处理器、流模拟器和系统评估器。下面将详细介绍每个模块的功能及相互关系。
视频预处理器
视频预处理器是E3PO框架的第一个关键模块，其任务是对360°全景视频进行预处理。在这个阶段，根据用户指定的投影和平铺参数，视频预处理器将360°全景视频切割成小的视频分块，为后续的流模拟做准备。这一步的关键是根据用户的需求对视频进行适当的分割，以满足不同的模拟场景。
流模拟器
流模拟器是E3PO框架的核心模块，负责模拟流媒体方法的操作。在视频预处理器生成的视频分块基础上，流模拟器读取提供的头部运动轨迹。通过模拟详细的流操作，包括传输的时机和传输哪个视频分块，流模拟器生成了360°视频流的模拟结果。这个模块的关键在于准确模拟流的传输行为，使得评估结果更接近实际场景。
系统评估器
系统评估器是E3PO框架的第三个关键模块，其任务是对模拟结果进行评估。系统评估器合成用户屏幕上显示的视频序列，并计算各种评估指标。这些指标可以涵盖多个方面，包括但不限于图像质量、传输时延、流畅度等。通过系统评估器，用户可以获取关于360°视频流模拟性能的全面反馈。
框架互动关系
这三个模块之间存在紧密的互动关系。视频预处理器生成的视频分块为流模拟器提供了输入数据，而流模拟器通过模拟流的传输过程生成模拟结果，最终由系统评估器进行全面评估。这种流畅的工作流程使得E3PO框架能够有效地模拟并评估360°视频流的性能。
E3PO的框架设计考虑了360°视频流模拟与评估的全过程，从预处理、模拟到评估，形成了一个完整的闭环系统。这种设计使得用户能够全面了解不同360°视频流方法的性能表现，为研究和应用提供了有力的支持。
E3PO是一个强大的360°视频流模拟和评估工具，以下是快速上手的步骤。
步骤 1: 下载 E3PO 代码⏱
通过以下命令在本地克隆 E3PO 代码：
git clone https://github.com/bytedance/E3PO.git
步骤 2: 准备视频源⏱
将你的360°视频文件重命名为 sample.mp4，并将其放置在 /e3po/source/video/ 目录下。默认情况下，E3PO假设视频为8K、30 fps，采用等距矩形投影（ERP），并使用视频的前10秒。如果你的视频不符合这些默认参数，需要参考 BasicTutorial 进行调整。
步骤 3: 准备运动轨迹文件⏱
准备一个运动轨迹文件（类似于从 360VidStr 下载的文件），重命名并将其放置在 /e3po/source/motion_trace/ 目录下，文件名为 motion_trace.log。
步骤 4: 运行模拟流程⏱
为了模拟流式处理过程，需要按照以下顺序执行三个 Python 脚本：
- 运行视频预处理器脚本：
- 运行流式处理模拟器脚本：
- 运行系统评估器脚本：
python ./e3po/make_preprocessing.py -opt approaches/custom_eac/custom_eac.yml
python ./e3po/make_decision.py -opt approaches/custom_eac/custom_eac.yml
python ./e3po/make_evaluation.py -opt approaches/custom_eac/custom_eac.yml
这三个脚本的运行顺序模拟了视频的预处理、流式处理和最终系统评估过程。相关的结果文件会存储在相应的目录中。
目录展示
成果介绍
E3PO提供了八种简单但典型的方法，具体说明如下表：
以上步骤和示例方法将帮助你快速上手 E3PO 平台，模拟和评估不同360°视频流方法的性能。
社区反馈： 社区反馈在评估E3PO的成功和改进方向上起到了关键作用。用户在各种在线社区、论坛和社交媒体上分享了他们的使用经验。其中，一些积极的反馈集中在E3PO对不同360°视频流方法的灵活模拟和性能比较方面。用户强调了这一功能对于优化他们的工作流程和提高效率的重要性。
官方支持反馈： E3PO的开发团队积极响应用户反馈，通过更新和修复来改进产品。定期的更新和官方支持表明开发团队对于用户体验的持续关注。用户提出的问题得到及时回应，并且在更新中得到了解决，这种积极的沟通可以增强用户对产品的信任感和满意度。
优势☼
- 高度定制性：E3PO的高度定制性是其最显著的优势之一。用户可以根据具体应用的需求，自由配置360°视频流的处理参数，包括投影方式、分割大小、运动预测算法等。这种高度的可定制性使E3PO适用于各种场景，从而满足用户对个性化定制的需求。
- 客观评估：通过生成实际的视觉序列，E3PO为用户提供了一种客观比较不同360°视频流处理方法性能的独特方式。用户可以直观地观察每种方法在模拟过程中的效果，而不仅仅是依赖于理论或算法层面的评估。这有助于用户在选择最适合其应用的方法时做出明智的决策，提高了决策的准确性和可信度。
- 多场景应用：E3PO不仅仅局限于某一领域，而是广泛适用于多种场景。无论是进行360°视频流方法的比较、性能优化实验，还是进行流媒体方案的研究，E3PO都提供了丰富的功能和工具。这使得它成为一个全方位的平台，能够满足不同用户在360°视频处理领域的多样需求。
不足☼
- 学习曲线：尽管E3PO提供了高度定制的功能，但这也导致了一个潜在的不足，即学习曲线相对较陡。用户可能需要花费一些时间来熟悉平台的各项功能和参数，并理解它们对360°视频流处理的影响。这对于缺乏360°视频领域专业知识的用户来说，可能需要额外的学习和培训，以充分利用E3PO的强大功能。
- 复杂性管理：高度定制性虽然为用户提供了极大的灵活性，但也增加了系统的复杂性。管理和维护一套高度定制的360°视频流模拟环境可能需要更多的技术支持和资源。对于一些不熟悉高度定制工具的用户来说，这可能会成为一个挑战，需要仔细的技术支持和培训。
- 实时传输和流媒体：☏ 实时传输是在VR/360°视频领域中至关重要的概念之一。为了提供无缝的虚拟现实体验，360°视频需要以低延迟和高质量进行实时传输。流媒体技术在此背景下起到了关键作用，确保视频内容能够以较高的速率传输到用户设备。
- VR/360° 视频编码：☏ 有效的视频编码对于实现高质量的VR/360°视频传输至关重要。特别是，针对360°视频的全景视频编码（Omni-directional Video Coding，OVC）和VR视频的立体声视频编码（Stereo Video Coding，SVC）等编码标准正在不断发展，以提高视频质量和压缩效率。
- 虚拟现实体验优化：☏ 在360°视频传输中，考虑用户体验尤为重要。这包括在传输过程中优化图像质量、处理视觉畸变，以及采用适当的流媒体策略，以确保用户在VR环境中获得最佳的观感体验。
- 多平台兼容性：☏ 360°视频通常在不同的平台上观看，包括VR头显、移动设备和计算机。因此，传输解决方案需要具备多平台兼容性，确保在各种设备上都能够良好地播放。
- 实时交互和社交互动：☏ 除了视频传输外，实时交互和社交互动也是VR/360°视频领域的关键趋势。这可能涉及用户之间的实时交流，虚拟空间内的实时协作，以及社交媒体平台上的实时分享。
- 内容创作和后期制作：☏ 360°视频的内容创作和后期制作方面也在不断发展。这包括对360°视频的拍摄技术、后期处理、特效和音频设计等方面的创新，以提供更引人入胜的虚拟现实体验。
- 网络基础设施和5G技术：☏ 传输高质量的360°视频需要强大的网络基础设施支持。5G技术的普及将为更高速、更稳定的VR/360°视频传输创造更有利的条件，促使这一领域的进一步发展。
- 安全和隐私考虑：☏ 在传输VR/360°视频时，对于用户数据的安全和隐私问题尤为重要。制定适当的加密和认证措施，以保护用户数据不被未经授权的访问。
E3PO作为360°视频传输模拟的平台，为研究人员和开发人员提供了丰富的实验环境。通过分享对其运行体验、基于其的项目设计以及其他相关内容的认识，我们可以共同推动VR/360°视频传输技术的发展。通过这个开源项目，我们有机会在这个领域做出更多的创新和贡献。
InfoQ 首发文章的原文链接:深度探索E3PO：360° 视频传输平台的前沿技术与应用)