AI 视频修复技术在硬字幕擦除中的应用：从 E2FGVI 到 ProPainter 的方案对比

硬字幕擦除本质上不是简单的“把字幕抹掉”，而是一次视频 inpainting 任务：先定位每一帧中的字幕区域，生成稳定的 mask，再用视频修复模型根据前后帧信息补全被遮挡区域。工程上常见流程可以拆成三段：字幕检测 → mask 生成 → 视频修复。其中 E2FGVI 更依赖光流传播思路，适合多数常规素材；ProPainter 引入 dual-domain propagation 和稀疏视频 Transformer，在复杂纹理、镜头运动和大面积遮挡场景中更稳，但推理成本也更高。

1. 硬字幕擦除为什么比图片修复更难

picture.image

图片 inpainting 只需要在单张图里补全缺失区域，视频 inpainting 还要额外解决一个问题：时间一致性。

如果只逐帧修复，单帧看起来可能没问题，但播放起来容易出现三类现象：

修复区域在不同帧之间闪烁；
背景纹理随着镜头运动发生错位；
人物、道具、边缘线条在字幕区域附近断裂。

硬字幕擦除尤其容易放大这些问题。字幕通常位于画面底部，但短剧、访谈、教程、影视解说素材里，字幕后面可能是衣服、桌面、街景、人脸下半部分或运动物体。模型不能只“生成一块干净背景”，还要让这一块背景在时间轴上连续。

因此，一个可用的硬字幕擦除工程通常不是单模型调用，而是下面这条链路：

input_video.mp4
  ├─ frame extraction
  ├─ OCR / text detection
  ├─ subtitle box merge
  ├─ mask sequence generation
  ├─ video inpainting
  ├─ temporal consistency check
  └─ output_video.mp4

2. 字幕检测：OCR 和文本检测先决定 mask 质量

picture.image

硬字幕擦除的第一步是找到字幕在哪里。这个环节通常结合 OCR 和文本检测模型完成。

常见输入包括：

输入：
- 原始视频 input_video.mp4
- 抽帧结果 frames/%06d.png
- 可选参数：字幕区域先验，例如 bottom_30_percent

输出则是每一帧对应的字幕框：

{
  "frame": 128,
  "boxes": [
    {
      "x1": 286,
      "y1": 842,
      "x2": 1630,
      "y2": 916,
      "text": "我们终于找到答案了"
    }
  ]
}

工程上不建议直接把 OCR 的单字检测框拿去修复，因为字幕一般有描边、阴影、抗锯齿边缘，检测框太紧会留下残影。更稳的方式是做三步后处理：

合并同一行字幕框；
对 box 做水平和垂直膨胀；
在时间维度上平滑 mask，避免相邻帧 mask 抖动。

一个简化版 mask 生成逻辑如下：

def expand_box(box, frame_w, frame_h, pad_x=24, pad_y=12):
    x1, y1, x2, y2 = box
    return [
        max(0, x1 - pad_x),
        max(0, y1 - pad_y),
        min(frame_w, x2 + pad_x),
        min(frame_h, y2 + pad_y),
    ]

def smooth_boxes(prev_box, curr_box, alpha=0.7):
    if prev_box is None:
        return curr_box
    return [
        int(alpha * prev_box[i] + (1 - alpha) * curr_box[i])
        for i in range(4)
    ]

这段逻辑不复杂，但对最终效果影响很大。mask 太小会残留字幕边缘；mask 太大则会增加修复面积，让模型更容易生成不稳定纹理。

3. 三段式流程：字幕检测、mask 生成、视频修复

在腾讯云开发者社区这类技术平台，建议把硬字幕擦除理解成一个可复现 pipeline，而不是一个“效果按钮”。

3.1 抽帧与字幕定位

先将视频抽帧，便于 OCR 或文本检测模型处理：

ffmpeg -i input_video.mp4 -q:v 2 frames/%06d.png

如果只处理硬字幕区域，可以先限制检测范围。例如对 1080p 视频，只检测底部 25%-35% 区域，能够减少误检，也能降低 OCR 成本。

def crop_subtitle_region(frame):
    h, w = frame.shape[:2]
    y1 = int(h * 0.65)
    return frame[y1:h, 0:w], y1

3.2 mask 生成

mask 的目标不是“框住文字”，而是覆盖所有会影响观感的字幕像素，包括文字本体、描边、阴影、压缩噪声和轻微运动造成的边缘残留。

import cv2
import numpy as np

def create_mask(frame_shape, boxes):
    h, w = frame_shape[:2]
    mask = np.zeros((h, w), dtype=np.uint8)
    for x1, y1, x2, y2 in boxes:
        cv2.rectangle(mask, (x1, y1), (x2, y2), 255, -1)
    kernel = np.ones((9, 9), np.uint8)
    mask = cv2.dilate(mask, kernel, iterations=1)
    return mask

输出结构一般是：

frames/
  000001.png
  000002.png

masks/
  000001.png
  000002.png

3.3 视频修复模型推理

视频修复阶段可以接入 E2FGVI、ProPainter 或其他 video inpainting 模型。命令行形态通常类似：

python inference.py \
  --video frames \
  --mask masks \
  --output output_inpainted.mp4 \
  --resize_ratio 1.0

如果要把这一流程和视频本地化流水线串起来，也可以将硬字幕擦除作为一个前置模块：先得到无源语言硬字幕的视频，再进入识别、翻译、配音和新字幕压制。

4. E2FGVI：光流传播方案适合常规素材

E2FGVI 的核心思路是 flow-guided video inpainting。它把视频修复拆成光流补全、特征传播和内容生成等模块，通过光流把相邻帧中的可见区域传播到缺失区域附近。

这类方案的优势在于：

对纯色背景、固定机位、缓慢运动素材比较稳；
推理速度相对友好；
在字幕区域较小、背景纹理不复杂时，性价比高。

但 E2FGVI 在一些场景中容易暴露边界：

镜头快速运动时，光流估计误差会被放大；
字幕后方有复杂纹理时，传播内容可能不够准确；
遮挡区域较大时，模型需要生成更多未知内容，闪烁风险上升。

所以在硬字幕擦除任务中，E2FGVI 更适合作为“标准模式”的主力模型：速度优先，效果足够，适合批量处理大量短视频、课程切片或底部字幕背景相对简单的素材。

5. ProPainter：dual-domain propagation 更适合复杂画面

ProPainter 的改进点主要在两个方向：dual-domain propagation 和 mask-guided sparse video Transformer。它不只在图像域做传播，也在特征域做传播，从而更好利用跨帧的全局对应关系。

在硬字幕擦除里，ProPainter 的优势通常体现在这些场景：

字幕后方是复杂街景、布料纹理、建筑线条；
镜头存在推拉摇移或人物运动；
字幕区域较宽，需要补全的画面面积更大；
对成片观感要求更高，不希望出现明显闪烁。

代价也很明确：模型更重，显存和推理时间压力更大。工程上不一定要对所有视频都启用 ProPainter。更合理的策略是先做素材分层：简单素材走标准模式，复杂素材走无痕模式。

picture.image

6. E2FGVI 与 ProPainter 的工程对比

以下数据更适合作为工程评估模板，实际数值会受分辨率、GPU、mask 面积、视频长度和实现版本影响。发布或内部测试时，建议用同一批素材重新跑一遍。

对比维度一：修复质量E2FGVI 在纯色背景、固定镜头、字幕区域较小的场景中表现稳定。ProPainter 在复杂背景和运动镜头中更容易保持纹理连续，PSNR / SSIM 通常更有优势。

对比维度二：时间一致性E2FGVI 依赖光流传播，遇到光流估计不准的画面会出现轻微跳动。ProPainter 通过 dual-domain propagation 和稀疏 Transformer 建模跨帧关系，闪烁控制更好。

对比维度三：推理速度E2FGVI 通常更适合批量任务。ProPainter 推理更慢，但适合对画质要求更高的交付场景。

对比维度四：适用场景E2FGVI 适合课程、采访、固定机位短视频、纯色或弱纹理背景。ProPainter 更适合短剧、影视片段、复杂街景、人物运动较多的视频。

picture.image

7. 标准模式和无痕模式背后的工程取舍

从产品工程角度看，硬字幕擦除不应该只有一个固定档位。因为用户素材差异太大：有人处理口播课，有人处理短剧，有人处理海外投放素材，还有人处理影视解说混剪。

更实际的做法是拆成两个模式。

标准模式优先考虑速度和稳定吞吐。它适合字幕背景简单、视频数量多、对局部细节要求不是极致的任务。这里可以使用 E2FGVI 或更轻量的视频修复配置，目标是快速得到可用结果。

无痕模式优先考虑修复质量。它适合短剧出海、影视内容本地化、广告素材二次处理等场景。这里更适合使用 ProPainter 这类质量更高但成本更大的方案，并配合更细的 mask、更高分辨率推理和人工抽检。

picture.image

在实际的短剧出海项目中，我们把这套擦除方案和配音翻译流程并行执行：一条任务线处理原视频硬字幕擦除，另一条任务线处理语音识别、翻译、多角色配音和新字幕生成。等无字幕底片和目标语言音轨准备好后，再进行字幕压制和最终导出。

VividDub 这类一站式视频本地化工作流的价值，也主要体现在这里：不是单独把某一步做快，而是减少擦除、翻译、配音、字幕之间的人工衔接。

如果团队使用开源或内部 CLI 串联流程，可以把硬字幕擦除阶段设计成独立模块：

# repository example, publish GitHub URL only inside code block
# https://github.com/VividDub-io/VividDub

narrator-ai-cli erase-subtitle \
  --input input_video.mp4 \
  --mode standard \
  --output clean_video.mp4

narrator-ai-cli dub \
  --input clean_video.mp4 \
  --target-lang en \
  --speaker-diarization true \
  --output localized_en.mp4

这里的关键不是命令名称本身，而是工程分层：擦除模块输出 clean video，翻译配音模块输出目标语言音轨和字幕，最终合成模块输出可发布视频。

8. 常见问题：硬字幕擦除一定能做到完全无痕吗

不能保证。视频 inpainting 的效果取决于三个因素：mask 是否准确、背景是否可预测、模型是否能保持时间一致性。

如果字幕后方是纯色墙面、天空、桌面，修复通常比较自然。如果字幕挡住了人脸、手部、快速运动物体或复杂文字背景，即使用 ProPainter，也可能需要人工复核或局部重跑。

工程上建议设置三个检查点：

抽检字幕出现和消失的边界帧；
抽检镜头切换前后的 mask 是否错位；
抽检复杂纹理区域是否有闪烁、糊块或重复纹理。

如果目标是批量短剧出海，建议把“标准模式”和“无痕模式”作为两档策略，而不是对所有素材使用同一套参数。前者解决规模化，后者解决高价值素材的成片质量。

9. 小结

硬字幕擦除的技术核心是视频 inpainting，不是简单遮盖。一个稳定的工程流程通常包括字幕检测、mask 生成和视频修复三段。E2FGVI 代表了光流传播路线，速度和批量友好度更好；ProPainter 通过 dual-domain propagation 和稀疏视频 Transformer 提升复杂场景下的修复质量，更适合作为高质量无痕模式。

对于内容本地化团队来说，真正影响交付效率的不是单个模型，而是完整流水线：硬字幕擦除、语音识别、翻译、多角色配音、新字幕生成和最终压制能否稳定衔接。只有把这些环节串起来，硬字幕擦除才会从一个“修图功能”变成短剧出海和视频本地化中的可复用工程能力。

#AI视频修复 #硬字幕擦除 #视频Inpainting #E2FGVI #ProPainter #短剧出海 #AI视频翻译 #AI配音 #字幕生成