近日，清华大学深圳国际研究生院李星辉副教授团队在数字光栅结构光三维（Structured light 3D reconstruction technology，SL3D）重建领域实现进展。针对高质量三维重建所依赖的真实数据资源少，构建策略效率低和前沿数据缺乏问题提出了创新性的解决方案。团队深入研究了场景背景稳定性对网络前景预测精度的影响，并首次系统性探讨了样本空间分布频率与模型性能之间的关系，从根本上提升了数据集构建的科学性与效率。在此策略指导下，团队开发了SL3D-BF(Structured light 3D dataset with background-to-foreground enhancement)，一个面向开放工业环境的结构光三维点云数据集。数据集涵盖超过2000多个复杂工业场景，包含10万多帧高精度光栅图像，支持对真实物体如雕塑、法兰、轮毂、电池板、电机、齿轮和不锈钢管等物体的高精度重建，全面展现了材质多样性和工业实际挑战。该成果为深度学习驱动的结构光三维重建技术提供了全流程的数据支撑和构建范式，有望显著推动智能制造、精密检测等关键领域的三维感知能力。
图1 数据集组成，特征数据和其在现代工业中的应用场景示意
SL3D-BF不仅是一个大规模数据集，更是一项具备系统设计理念的数据工程创新。李星辉副教授团队自研的高精度结构光点云采集系统，其标准球半径测量误差控制在十几微米级别，为数据集的精度基准提供了强有力保障。团队提出的背景增强与空间频率分布优化策略，有效降低了数据构建成本，同时显著提升了网络的预测性能。实验证明，在统一网络架构下，白板背景下的前景物体预测误差相比黑色背景下降了高达82%（从0.45 rad降至0.08 rad），凸显背景稳定性在三维重建中的关键作用。SL3D-BF 是国内外为数不多的覆盖全过程数据链条的高精度数据集，提供从光栅到高密度 3D 点云的完整闭环信息，支持阴影抑制、前景显著性增强等高级研究。数据集中还包含标准球子集，为 3D 点云重建精度的定量评估提供了客观基准。
图2 数据集场景背景对目标前景预测精度的影响。SF-AP代表端到端技术路线，SF-4ND代表分子分母技术路线
SL3D-BF 已在多个新系统上完成迁移学习验证，显示出良好的泛化能力与广泛适用性。该研究作为为计算机视觉与智能制造领域的重要公共资源，将推动结构光三维重建技术在缺陷检测、深度估计、语义分割等领域的跨界融合，并为深度学习模型在真实场景中的稳健泛化提供坚实的实验平台。该数据集为结构光三维技术的标准化与应用奠定了基础，助力我国在高端制造与智能感知领域走在国际前沿。
同时，尽管基于深度学习的SL3D技术近几年来飞速发展，通过单帧输入端到端预测的方式获得高精度的3D点云仍然是一个尚未解决的挑战。团队提出了多路物理监督辅助的单帧端到端绝对相位预测网络（Multi-path branch auxiliary supervision network, MPS_XNet）。具体来说，MPS_XNet基于绝对相位时间展开物理模型的三个关键阶段，分子、分母和包裹相位，作为辅助分支来帮助绝对相位主路进行长距离非线性预测。此外，基于此模型设计了专属多路损失函数，促使网络沿着模型定义的方向学习最优路径。MPS_XNet不仅弥补了单帧输入信息的不足，而且通过将单个长距离预测难题转换为多个短距离子任务，以可解释的方式指导网络训练，大幅提升了网络预测精度。
图3 MPS_XNet 网络模型
实验表明，MPS_XNet在五个数据集（金属工件和复杂轮廓）和我们的测量系统上均优于现有的先进回归网络范式，此策略通过物理模型设计和20毫秒内的任务分解消耗，在相位计算中平均误差突破性的降低了90%。此策略可以用在通用的回归网络中，以加强单分支网络的鲁棒性和可解释性，可以在工业和科学应用中实现实时、高精度的3D测量。
图4 MPS_XNet 网络在泛化数据集上的单帧输入点云输出
数据集相关研究成果以“SL3D-BF: A Real-World Structured Light 3D Dataset with Background-to-Foreground Enhancement”为题，发表在《IEEE电路与系统视频技术汇刊》(IEEE Transactions on Circuits and Systems for Video Technology, TCSVT)。
物理监督模型机制研究成果以“Reliable 3D Reconstruction with Single-Shot Digital Grating and Physical Model-Supervised Machine Learning”为题，发表在《IEEE Transactions on Instrument and Measurement》。
两篇的论文第一作者为清华大学深圳国际研究生院2021级博士研究生李一鸣，通讯作者为清华大学深圳国际研究生院李星辉副教授和鹏城实验室梁骁俊副研究员，其他合作者包括清华大学深圳国际研究生院2023级硕士研究生陈伟康、李梓楠，2023级博士研究生王浩，鹏城实验室高文院士、桂卫华院士，张超波助理研究员，清华大学王晓浩研究员。该工作得到深圳市稳定支持计划项目、鹏城实验室重大攻关项目的资助。
原文链接：
https://ieeexplore.ieee.org/abstract/document/11007211
https://ieeexplore.ieee.org/document/11026865
供稿：数据与信息研究院
编辑：林洲璐
审核：聂晓梅
