专利示意图

一、技术领域

计算机视觉与三维重建领域

二、专利介绍

1.专利信息

专利类型：发明

专利权人：清华大学深圳国际研究生院

申请号：202310258739.1

发明人：王好谦、刘智方、黄翔

2.专利说明书摘要

本发明公开了一种基于神经辐射场的动态人体重建方法，包括如下步骤：S1、建立基于神经辐射场的动态人体重建网络，该动态人体重建网络包括用于获取动作场的动作分支和用于获取神经辐射场的重建分支；S2、使用人体参数化模型初始化指定静息姿势下的动作分支和重建分支；S3、以给定姿势和给定相机内外参数下的真实图像为监督信号，以真实图像与合成图像间的最小均方误差为损失函数，同时训练动作分支和重建分支；S4、向完成训练的动态人体重建网络输入新的人体姿势和相机位姿，渲染合成新姿势下任意视点人体图像。

3.创新点

本发明涉及数字人相关产业领域，本专利申请公开了一种基于神经辐射场的动态人体重建方法, 属于计算机视觉与三维重建领域。方法包含两个主要方面：其一，由多视点视频重建得到指定静息姿态下的神经辐射场表示；其二，输入任意其他人体姿势（动作）数据，获取新姿势下任意视点图像合成（渲染）结果。方法特性在于：其一，指定静息姿势下人体模型的几何与色彩由稀疏激活网格表示以减少渲染及优化耗时；其二，借助三维卷积和非刚性形变网络构建由姿势引导的密集动作场；其三，针对无对应真值图像的动作数据，使用判别式方法优化，以提升方法在新动作下泛化性。

4.痛点问题

本专利技术对数字人相关产业有实际应用价值，解决了泛化性问题和优化时间长的问题。

5.技术优势

（1）优化耗时短，所需计算资源少；

（2）动作场更密集，人体动作及衣物动作仿真精度高；

（3）方法新动作下泛化性好；

（4）相较传统建模-驱动-渲染流水线，方案应用步骤少，应用简便。

三、产业化信息

1.应用场景

（1）电影、动漫、游戏、虚拟主播等领域，提供动态模型建模手段；

（2）可以根据多视点视频数据恢复人体模型；

（3）所得人体模型可由骨骼动作驱动；

（4）可以进行背景替换并与前景（人体模型）结合进行体渲染；

（5）可进行动态光场视频生成，可进行多视图并行渲染。

2.商业价值

此项技术拥有巨大的商业前景，对于影视制作、游戏制作、虚拟直播等行业有以下市场价值：

（1）本方案可将传统人体模型建模、驱动与渲染流水线简化为单一网络；

（2）本方案可以提供兼容当前驱动渲染流水线的人体mesh，支持PLY、OBJ、FBX等多种主流数据协议。

3.发展规划

（1）该技术未来可应用于游戏制作、影视制作、虚拟偶像等领域，同时为VR/AR行业提供内容支撑；

（2）该技术通过平台建设、软件接口等方式均可能取代传统数字人重建与驱动渲染流水线。

4.合作方式

面议

注:所有成果未经授权，请勿转载

联系方式：ttc@sz.tsinghua.edu.cn