立体感知在智能制造、数字人、元宇宙等领域具有重要的作用，先进的立体感知技术需要在速度、精度、和感知范围之间取得较好的平衡。数字光栅技术，也称为条纹投影技术，通过相移和频率逐级展开的原理，成为高精度立体感知的可靠手段。但是其精度、速度依然面临一些挑战，为解决这些问题、更好地推动数字光栅技术的发展，李星辉团队近五年来深耕本领域，开发出一系列前沿技术。
图1. 结构光三维测量的原理与典型应用
首先，面临当前数字光栅中主流的DLP技术路线中高频正弦光栅投影的速度限制，研究提出了采用具有谐振特性的MEMS反射镜的光栅产生系统，充分利用MEMS反射镜的高速性和相机采集的时间匹配，提出了内外嵌套的基本原理，即将传统方法中消除误差因素的12步相移步骤内嵌至内部相位投影中，该方法充分利用了多步相移的谐波误差抑制机制，在速度和精度上做到了协调，成果发表在测量和仪器领域期刊《IEEE仪器与测量汇刊》（IEEE Transactions on Instrumentation and Measurement）上。清华大学深圳国际研究生院李星辉副教授为论文通讯作者；其他作者包括清华大学深圳国际研究生院王晓浩教授；学生作者包括清华大学深圳国际研究生院2021级博士生韩民、2020级硕士生史为鉴、2020级硕士生卢世浩、2021级硕士生雷烽骁、2021级博士生李一鸣。
图2. 内外嵌套相移法的原理
受MEMS振镜的不稳定运动、相机的像素坏点、标定图案的低反射率等因素影响，不同像素具有不同的标定精度。为了进一步提升重建精度，减少标定误差大的像素参产生异常的三维点云，首次开展了像素分级研究，并评价了在不同像素品质下的重建精度。该方法可以有效剔除掉各种各样误差源所造成的重建坏点，在重建过程中实现了像素级的提纯。相关成果发表在光学领域期刊《光学快报》（Optics Express）上。清华大学深圳国际研究生院李星辉副教授为论文通讯作者；其他学生作者包括清华大学深圳国际研究生院2021级博士生韩民、2021级硕士生雷烽骁、2020级硕士生史为鉴、2020级硕士生卢世浩。
图3. 基于像素分级提纯的三维重建的流程
在MEMS结构光系统标定过程中，需要多次改变标定位置来采集标定用的图像，因此增加了系统标定的复杂性和难度。为了解决该问题，通过采样和坐标变换，我们提出了一种振镜旋转角随相位变化的相角模型。该标定方法仅需要两幅标定图像就可以完成对系统的标定，简化了标定流程，并同时保持和传统方法相比拟的重建精度。因此，提出的方法将在批量化生产的立体视觉产品的标定上具有潜在的应用价值。该成果发表在光学领域期刊《光学和激光工程》（Optics and Lasers in Engineering）上。清华大学深圳国际研究生院李星辉副教授为论文通讯作者；其他作者包括清华大学深圳国际研究生院王晓浩教授；其他学生作者包括清华大学深圳国际研究生院2021级硕士生雷烽骁、2021级博士生韩民、2022级硕士生江昊。
图4 相角启发的基于MEMS的结构光系统标定方法
同时，为了探索在感知中充分利用先验经验的可能性，探索了使用单幅光栅图到绝对相位图的端到端预测网络来实现快速精准三维感知，该方法知识机理上基于相移条纹轮廓术的物理模型构建光栅-绝对相位的映射关系，硬件上采用DLP投影仪和工业相机，在数据驱动，真值监督和网络学习的共同作用下实现了策略上最快（单帧）的数字光栅投影3D实时测量。
图5. 单帧光栅-绝对相位端到端3D重建系统示意图
此外为了解决强遮挡场景下的快速较大范围三维感知问题，团队首次提出了单帧叠加相移光栅双视角同时三维重建的双投影技术，该方法充分提取单帧叠加相移光栅的相位信息，仅从一个光栅即可实现双视角三维点云的预测，是现有数字光栅投影技术策略上最快的双视角完整3D点云重建技术。此项目获得了第49届日内瓦国际发明展银奖，成果发表在仪器类期刊《IEEE仪器与测量汇刊》（IEEE Transactions on Instrumentation and Measurement）上。清华大学深圳国际研究生院李星辉副教授为论文通讯作者；其他作者包括鹏城实验室张超波博士、梁骁俊副研究员，清华大学深圳国际研究生院王晓浩教授，中南大学桂卫华院士；学生作者包括清华大学深圳国际研究生院2021级博士生李一鸣、2021级硕士生李壮、2021级博士生韩民、2021级硕士生雷烽骁。
图6. 强遮挡场景下单帧叠加相移光栅双视角端到端3D重建系统示意图
针对立体感知三维重建实际部署过程中不可避免的标定板低调制度区域和光照投射中的阴影区域，团队提出了一个即插即用的循环数字光栅投影作差模块CPSD，使用双层循环作差来保留具有较高调制度特征的区域像素，最终创建一个可以有效去除黑色和阴影区域的蒙版。此方法有较强的抗环境光性能，有效地校正了标定板的低调制度图案对逐像素系统标定的影响，标准球重建误差下降了62.5%。且在没有点云后处理的情况下，CPSD直接获得了清晰的三维点云，不含阴影和暗区造成的噪声和假点。此工作发表在仪器类Top期刊《测量》（Measurement）上。清华大学深圳国际研究生院李星辉副教授为论文通讯作者；其他作者包括鹏城实验室梁骁俊副研究员、张超波博士，清华大学深圳国际研究生院王晓浩教授、钱翔副教授、冯峰副教授，中南大学桂卫华院士，学生作者包括清华大学深圳国际研究生院2021级博士生李一鸣、李梓楠，天津大学2021级博士生黄浩珍。
图 7. 数字光栅投影3D测量过程中不可避免的低调制度区域对测量的影响示意图。(a) 典型的黑色和阴影区域。(b)黑色、白色、阴影和物体区域的光强调制度分析。(c)阴影和黑色区域导致的三维点云缺陷分析。
图8. 左为循环相移差(CPSD)模块，右为轮毂三维测量实验。(a)轮毂展示。(b)相应的CPSD掩码。(c)和(d)分别为使用CPSD和没有使用CPSD的点云。(c1)、(c2)、(d1)和(d2)分别描绘了(c)和(d)中对应的代表性框选择区域的放大视图。
论文链接：
https://ieeexplore.ieee.org/abstract/document/10339385
https://opg.optica.org/oe/fulltext.cfm?uri=oe-31-1-536&id=524532
https://www.sciencedirect.com/science/article/abs/pii/S0143816624000587
https://ieeexplore.ieee.org/abstract/document/10373811
https://www.sciencedirect.com/science/article/pii/S0263224124008376
图：韩民、李一鸣
文：李星辉、韩民、李一鸣
编辑：戴雨静
题图设计：刘雨嘉
审核：陈超群
