专利示意图

一、技术领域

计算机视觉领域

二、专利介绍

1.专利信息

专利类型：发明

专利权人：清华大学深圳国际研究生院

申请号：202310382684.5

发明人：袁春、王安冬

2.专利说明书摘要

一种基于光流估计的可变帧率视频生成方法，将光流监督信息引入OpFode-Net模型，所述OpFode-Net模型包括编码器-解码器结构；所述编码器通过使用ODE-ConvGRU将输入视频序列嵌入到隐藏状态中；其中，所述ODE-ConvGRU使用ConvGRU作为神经ODE的节点，并将其嵌入到神经ODE中，以实现对视频序列的动态建模；所述解码器从hT开始，利用ODE求解器在任意时间步骤S生成新的视频帧。该方法可以实现更加准确的预测结果，并在视频插帧和视频预测任务中达到最优表现。

3.创新点

（1）本技术将光流评估网络引入模型，获得了更为精细的光流评估结果；

（2）提出一种新的遮挡关系评估方法，以将光流映射结果与生成网络重建结果相结合；

（3）提出针对光流和针对混合模板的损失函数，以提升光流估计的准确度和帧生成质量。

4.痛点问题

（1）本技术可以接受任意帧率的输入，合成任意帧率的视频；

（2）本技术可同时用于视频预测与视频插帧两类视频生成任务；

（3）解决了光流估计面临的遮挡、光照变化、运动模糊等困难；

（4）仅通过光流映射合成新帧会产生的空洞与重叠问题。

5.技术优势

（1）本技术的光流评估网络具有明确的监督信息，对光流的估计更加准确；

（2）本技术提出的基于光流散度的遮挡关系评估方法，将光流映射结果与生成网络重建结果进行混合，生成的视频帧质量更高；

（3）提出针对光流和针对混合模板的损失函数，训练收敛速度更快。

三、产业化信息

1.应用场景

本技术提出的视频生成技术可用于以下领域：

（1）本技术可以进行视频插帧。视频插帧是视频流恢复和视频后处理任务的关键技术。在网络带宽有限的情况下，可以通过传输低帧率视频再由接收端进行补帧的方法，来减少网络传输所需的数据量，视频插帧技术的好坏决定了重建帧的质量，该技术在视频压缩传输领域有着重要意义。视频插帧技术可以对过去的视频数据进行后处理，提升其帧率，使其观感更加平滑流畅，在慢镜头回放等应用上也具有重要的意义；

（2）可以用于视频预测。应用场景包括自动驾驶、机器人导航、人机交互等，能够为这些领域提供更高效、更便捷的处理手段。视频插帧是指在给定的视频帧之间插入新的视频帧。成功应用视频预测的一些任务包括：预测活动和事件、长期规划、对象位置的未来预测、预测实例或语义分割图、预测交通中的行人轨迹、异常检测、降水临近预报、自动驾驶。

2.商业价值

（1）在影视行业，本技术可用于视频制作和编辑领域，以提高视频内容制作的生产效率；

（2）在网络媒体行业，本技术可应用于视频编码和压缩，减少视频数据中的冗余和带宽战用，提升网络视频、网络直播、视频会议的流畅度；

（3）在自动驾驶行业，本技术可以预测未来的视频帧，帮助自动驾驶系统更好地感知周围环境，提高自动驾驶系统的安全性和稳定性。

3.发展规划

（1）该技术可广泛应用在影视制作领域，提高影视制作的生产效率；

（2）该技术可应用于网络媒体传输，降低视频传输所需的带宽，提高视频的流畅度；

（3）该技术可用于自动驾驶领域，通过预测行驶录像的未来帧帮助自动驾驶系统进行判断。

4.合作方式

面议

注:所有成果未经授权，请勿转载

联系方式：ttc@sz.tsinghua.edu.cn