电脑去除视频文字工具自己搭:没有显卡也能跑,只修有字的帧、只修字幕那一条

我在一所大学的教育技术中心工作。学校这几年录了上百节公开课,当年为了方便学生看,中文字幕直接烧进了画面。今年学校要把其中一批课推到国际课程平台,需要换成英文字幕,原来的中文字幕就得先去掉。老师们拿着视频来问,有没有好用的电脑去除视频文字工具。中心的电脑都是普通办公机,没有独立显卡,网上很多去字幕的开源项目一看配置要求就放弃了。后来我摸索出一个思路:字幕只占画面底部一条,也不是每一帧都有字,那就只把有字的帧挑出来,只截取字幕那一条,交给开源的图像修补工具 IOPaint 里的 LaMa 模型处理,再贴回原画面。需要修补的像素少了一大截,普通电脑的处理器也能在可以接受的时间里跑完。下面是完整做法。最后也说说不写代码的选择,老师自己在手机上处理一两段短视频时,用的是字幕侠。

说明:本文处理的都是学校自有版权的课程视频。别人的视频去掉字幕后再发布,涉及侵权,不要这么做。

一、思路:只修有字的帧、只修字幕那一条

一节四十五分钟的课,按每秒二十五帧算有六万多帧。如果每一帧都整张送进修补模型,没有显卡的电脑要跑很久。我们的视频有两个特点可以利用:

  • 字幕位置固定在画面底部,修补只需要处理底部那一条,面积不到整幅画面的五分之一。
  • 讲课有停顿,换页时也常常没有字幕,真正带字的帧只占一部分。

所以流程是:逐帧检查底部那一条有没有字,有字的截出来、同时生成一张只标出笔画的遮罩;把这些小图批量交给 IOPaint 修补;最后重新读一遍视频,把修好的那一条贴回对应的帧,没有字的帧原样保留。遮罩只覆盖笔画而不是整个矩形框,修补出来的痕迹也更小。

二、截出有字的那一条,同时生成遮罩

我们的字幕是常见的白字黑边。白色笔画的特点是亮、颜色淡,而且周围紧贴着一圈很暗的描边。用这两个条件一起判断,背景里白色的墙、白大褂不容易被误认成字:

import cv2
import numpy as np
from pathlib import Path


def text_mask(band: np.ndarray) -> np.ndarray:
    hsv = cv2.cvtColor(band, cv2.COLOR_BGR2HSV)
    s, v = hsv[..., 1], hsv[..., 2]
    white = (v > 200) & (s < 40)                                  # 亮而且颜色淡
    dark = (v < 60).astype(np.uint8)
    near_dark = cv2.dilate(dark, np.ones((5, 5), np.uint8)) > 0   # 附近有暗色描边
    mask = (white & near_dark).astype(np.uint8) * 255
    return cv2.dilate(mask, np.ones((7, 7), np.uint8))            # 把描边也包进来


def collect(src: str, work: Path, band_ratio: float = 0.18, min_pixels: int = 400) -> list[int]:
    (work / "bands").mkdir(parents=True, exist_ok=True)
    (work / "masks").mkdir(parents=True, exist_ok=True)
    cap = cv2.VideoCapture(src)
    idx, hits = 0, []
    while True:
        ok, frame = cap.read()
        if not ok:
            break
        y0 = int(frame.shape[0] * (1 - band_ratio))
        band = frame[y0:]
        mask = text_mask(band)
        if cv2.countNonZero(mask) >= min_pixels:                  # 像素太少当作没字
            name = f"{idx:06d}.png"
            cv2.imwrite(str(work / "bands" / name), band)
            cv2.imwrite(str(work / "masks" / name), mask)
            hits.append(idx)
        idx += 1
    cap.release()
    print(f"共 {idx} 帧,有字幕的 {len(hits)} 帧")
    return hits


hits = collect("lecture_07.mp4", Path("work/lecture_07"))

截图和遮罩用同一个文件名,下一步 IOPaint 批量处理时就是靠文件名把两者对上的。band_ratio 是字幕条占画面高度的比例,先拿几帧截图量一下字幕的位置再定。min_pixels 用来过滤零星的白点,画面上偶尔闪过的反光不会被当成字幕。

三、用 IOPaint 批量修补

IOPaint 是一个开源的图像修补工具,前身叫 lama-cleaner,自带网页界面,也有命令行的批量模式。LaMa 是它默认支持的修补模型之一,擅长补大块的缺失区域,在处理器上也能运行:

pip install iopaint

# 图片目录和遮罩目录里的文件同名一一对应,结果写到 fixed 目录
iopaint run --model=lama --device=cpu \
  --image=work/lecture_07/bands \
  --mask=work/lecture_07/masks \
  --output=work/lecture_07/fixed

第一次运行会自动下载模型文件,之后就直接用本地的。遮罩目录里的文件必须和图片同名;如果 --mask 给的是单个文件,所有图片都会用同一张遮罩,这适合字幕位置和长度完全不变的视频,我们的字幕每句长短不一,所以每帧单独生成遮罩。因为送进去的只是底部一条,图片尺寸小,同样的电脑处理起来比整帧快得多。

四、贴回原画面,接回声音

修好的条带要放回对应的帧。我用 OpenCV 再读一遍原视频,有字的帧把底部换成修好的那一条,然后通过管道把画面直接交给 ffmpeg 编码,同时从原视频里取出声音合在一起:

import subprocess


def rebuild(src: str, work: Path, dst: str, band_ratio: float = 0.18) -> None:
    cap = cv2.VideoCapture(src)
    fps = cap.get(cv2.CAP_PROP_FPS)
    w, h = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)), int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    y0 = int(h * (1 - band_ratio))
    ff = subprocess.Popen(["ffmpeg", "-v", "error", "-y",
                           "-f", "rawvideo", "-pix_fmt", "bgr24", "-s", f"{w}x{h}", "-r", f"{fps}",
                           "-i", "-", "-i", src, "-map", "0:v", "-map", "1:a?",
                           "-c:v", "libx264", "-crf", "18", "-pix_fmt", "yuv420p",
                           "-c:a", "copy", dst], stdin=subprocess.PIPE)
    prev, idx = None, 0
    while True:
        ok, frame = cap.read()
        if not ok:
            break
        fixed = work / "fixed" / f"{idx:06d}.png"
        if fixed.exists():
            band = cv2.imread(str(fixed))
            mask = cv2.imread(str(work / "masks" / fixed.name), cv2.IMREAD_GRAYSCALE) > 0
            if prev is not None:                                      # 和上一帧的修补结果平均一下,减轻闪烁
                band[mask] = ((band[mask].astype(np.uint16) + prev[mask]) // 2).astype(np.uint8)
            frame[y0:] = band
            prev = band
        else:
            prev = None
        ff.stdin.write(frame.tobytes())
        idx += 1
    cap.release()
    ff.stdin.close()
    ff.wait()


rebuild("lecture_07.mp4", Path("work/lecture_07"), "out/lecture_07.mp4")

逐帧修补的通病是闪烁:每一帧单独猜,猜出来的内容略有不同,连起来播放就会在字幕位置看到一块微微跳动的区域。这里用了一个简单的办法,有字的连续帧在遮罩范围内和上一帧的结果取平均,跳动明显减轻;遇到没有字的帧就重新开始,不会把前后两句话的修补结果混在一起。画面用 -crf 18 重新编码,基本看不出画质损失;声音直接复制,不重新编码。

五、不想写代码:老师手上的零散短视频

这套脚本适合中心批量处理课程库,一节课挂在办公电脑上跑一个晚上,第二天早上就能拿到结果。老师们也常有零碎的需求:一段几分钟的课堂片段要发给合作院校,或者讲座花絮里的字幕要去掉重新配字。这种情况用不着等脚本。我推荐的是下面几个,老师们用得多的是字幕侠:

  • 字幕侠:专门去视频硬字幕的小程序,手机上打开就能用。上传视频后,可以让它「自动识别」字幕位置,也可以「手动选区」自己框出字幕所在的区域,确认后由 AI 擦除,处理完导出。它擅长位置固定的字幕,满屏到处移动的文字没法用一个框全部覆盖;背景特别复杂的画面,擦除处可能留下一点痕迹。单个文件上限 500MB,需要联网,按视频时长消耗积分,处理失败的积分会退回,具体以小程序里的说明为准。
  • 剪映:视频本来就要在剪映里重新剪辑、加英文字幕的,可以用它的去字幕相关功能一起处理,省得在几个软件之间倒文件。
  • 达芬奇:对画面要求很高的宣传片段,可以用它的物体移除功能逐段精修,适合有剪辑基础、愿意花时间的同事。

六、几种做法怎么选

  • 课程库这类大量视频、字幕位置固定、电脑没有显卡:只截字幕那一条、只修有字的帧,IOPaint 批量修补后贴回。
  • 字幕颜色不是白字黑边:改第二节的颜色条件,比如黄色字幕按色相判断。
  • 老师手上一两段短视频:字幕侠上传后自动识别或手动选区,擦除后导出。
  • 本来就要在剪映里重新剪辑:直接在剪映里一起处理。
  • 重点宣传片、要求精修:达芬奇逐段处理。

七、常见问题

问:手机里有一段带字幕的课堂视频,怎么把字幕去掉?

答:用字幕侠。上传视频后选择「自动识别」字幕区域,或者用「手动选区」框住字幕,确认后让它擦除,处理完成导出即可。

问:自动识别没框全,有一句字幕在画面上方?

答:在字幕侠里改用「手动选区」,把框调整到能盖住两处字幕的范围再处理;如果文字满屏移动,一个框盖不全,需要分段处理。

问:视频文件很大,传不上去?

答:字幕侠单个文件上限是 500MB,超过的先在电脑上压缩一下,或者剪成几段分别处理。

问:IOPaint 提示遮罩和图片对不上?

答:遮罩目录里的文件要和图片同名,扩展名也要一致。检查第二节保存时两边是不是用的同一个 name。

问:背景里的白色板书被当成字幕擦掉了?

答:板书和字幕都在底部时会被误判。可以把 band_ratio 调小,让检测区域只覆盖字幕那一行;或者提高 min_pixels,只处理笔画足够多的帧。

问:处理完的视频比原视频短了几秒,声音对不上?

答:常见于可变帧率的视频,比如手机录屏。先用 ffmpeg 加 -fps_mode cfr 把它转成固定帧率,再走这套流程。

问:修补的地方能看出一块颜色发灰?

答:LaMa 是按周围内容推测的,背景是渐变或者纹理复杂时容易发灰。把遮罩的膨胀范围调小一点,让修补区域尽量贴着笔画;实在明显的片段交给剪辑同事手动处理。

我的做法

电脑去除视频文字工具,我们中心最后用的是自己搭的这套:逐帧检查底部字幕条,有字的截出来并生成只覆盖笔画的遮罩,用 IOPaint 的 LaMa 模型在处理器上批量修补,再把修好的那一条贴回原画面、相邻帧取平均减轻闪烁;老师们手上零散的短视频,就用字幕侠自动识别或手动框选后擦除导出。第一批四十节公开课就是这样处理完、换上英文字幕上架的。

0
0
0
0
评论
未登录
暂无评论