zenconverter 中文文档 下载 App

AI 补帧:RIFE 2× 与光流 minterpolate

为什么要补帧

帧率翻倍(比如 30fps → 60fps)在视频创作里是一个常用技巧:

补帧(Frame Interpolation)的核心思路是:在两个相邻的真实帧之间,用算法合成一到多帧"中间帧"。

ZenConverter 提供两条路线:一条深度学习,一条传统光流。

RIFE 2×:Tencent NCNN Vulkan

RIFE(Real-Time Intermediate Flow Estimation)是清华团队的光流神经网络模型,可以实时做视频补帧。ZenConverter 把它移植到了 Tencent NCNN 推理框架上,用 Android GPU 的 Vulkan 加速。

技术栈

为什么标"实验性"

RIFE 路线在 README 里被归为"实验性",原因是移动端芯片的 GPU 驱动和显存调度差异很大:

如果你的设备 RIFE 跑不起来,应用不会假装成功——会明确报 Vulkan 初始化失败或模型加载失败。

模型下载

RIFE 模型需要从 GitHub Releases 下载(约 XX MB),下载完成后用 SHA-256 校验,确认和官方一致才加载。不需要网络时不能使用 AI 补帧(模型没下载)。

FFmpeg minterpolate 光流 2×(v0.2.4 新增)

FFmpeg 内置的 minterpolate 滤镜也能做补帧,原理是传统光流算法(Sobel + Lucas-Kanade)而不是深度学习。v0.2.4 版本新增了这条路线,作为 RIFE 的补充。

对比 RIFE

对比项RIFE 2×(NCNN Vulkan)minterpolate(FFmpeg)
引擎Tencent NCNNFFmpeg 兼容路线
模型依赖需要下载 AI 模型不需要,FFmpeg 内置
GPU 依赖Vulkan可纯 CPU 跑
画质深度学习,边缘处更准光流算法,运动模糊或遮挡处有残影
速度GPU 加速很快CPU 跑较慢
稳定性实验性(依赖 Vulkan 驱动)稳定(FFmpeg 兼容路线)

怎么选:设备支持 Vulkan 且你追求画质 → 选 RIFE;设备 Vulkan 有问题或你不想下载模型 → 选 minterpolate。

与视频输出管线的关系

补帧路线独立于视频互转的编码管线:

已知边界

使用场景

相关页面