点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0.这篇文章干了啥？

文章提出了一种基于伪随机斑纹的单帧结构光传感器，通过优化的相机标定、极线校正算法和改进的半全局匹配（SGM）算法，解决了传统结构光技术在采集时间与空间分辨率之间的权衡问题，实现了高精度的3D密集动态重建，适用于近距离高精度测量及动态目标重建场景。

1. 论文信息

• 标题：Single-Shot Structured Light Sensor for 3D Dense and Dynamic Reconstruction（用于3D密集动态重建的单帧结构光传感器）

• 发表日期：2020年2月17日

• 期刊：Sensors

• 卷期页码：volume 20, Issue 4, Article number: 1094

• DOI：https://doi.org/10.3390/s20041094

• 作者：Feifei Gu、Zhan Song、Zilong Zhao

• 作者单位：中国科学院深圳先进技术研究院、香港中文大学机械与自动化工程系

2. 摘要

结构光（SL）技术在采集时间和空间分辨率之间存在权衡：时间编码结构光可实现高密度3D重建，但不适用于动态场景；而空间编码结构光支持单帧采集，却只能完成稀疏重建。本文旨在同时实现精确的3D密集重建与动态重建，提出了一种基于斑纹的结构光传感器，该传感器由两个相机和一个衍射光学元件（DOE）投影仪组成，两个相机同步记录图像。首先，精心设计并投射斑纹图案；其次，提出高精度标定方法对系统进行标定，同时开发优化的极线校正算法实现立体图像的精确对齐；然后，提出改进的半全局匹配（SGM）算法以提高立体匹配的准确性，进而获得高质量深度图；最后，从深度图中恢复密集点云。DOE投影仪尺寸设计为8mm×8mm，立体相机之间的基线控制在50mm以内。实验结果验证了所提算法的有效性，与其他单帧3D系统相比性能更优，在0.4m等近距离下可实现亚毫米级精度。

3. 效果展示

• 斑纹图案设计：图3展示了设计的640×480分辨率伪随机斑纹图案，经DOE投影仪投射后，大部分斑纹点能正确呈现，仅中心存在少量由零级衍射导致的过曝光区域；纹理丰富度评估显示，投射图案覆盖的大部分区域为纹理丰富区域（红色标记），无纹理区域（黄色标记）占比极少。

4. 主要贡献

1. 设计了具有丰富纹理和高识别度的伪随机斑纹图案，基于亮度衰减范围（BAR）确定最优斑纹间距，为立体匹配提供可靠特征基础。

2. 提出融合3D重建误差和极线距离误差的标定方法，结合两步旋转极线校正算法，提升了系统标定和图像对齐的精度。

3. 改进传统SGM算法的惩罚项，对 disparities 变化≤1像素的情况施加同等惩罚，有效缓解了非正面平行表面重建中的阶梯效应，提高了立体匹配准确性。

4. 构建了低成本、小型化的单帧结构光系统（DOE投影仪8mm×8mm，基线<50mm），实现了近距离亚毫米级精度的密集动态重建，性能优于主流3D深度相机。

5. 基本原理是啥？

• 系统构成：基于三角测量原理，由DOE投影仪、两个同步相机组成，投影仪投射伪随机斑纹为无纹理目标添加纹理，双相机捕捉立体图像用于后续匹配。

• 斑纹图案设计：以高斯分布的光斑亮度衰减范围（BAR）为依据，设定斑纹间距等于BAR，确保纹理丰富且无过度重叠，通过约束窗口算法生成伪随机斑纹。

• 极线校正：通过两步旋转（先使双相机光轴平行，再使平移向量与基线对齐）实现极线平行，同时优化校正后的成像中心，最大化有效成像区域，降低匹配复杂度。

• 立体标定：以3D重建误差和极线距离误差的加权和为代价函数，求解最优相机内参和外参，保障标定精度。推荐课程：保姆级线结构光（单目&双目）三维重建系统教程。

• 立体匹配：改进SGM算法，通过调整惩罚项抑制阶梯效应，基于多方向1D代价聚合求解最优视差图，再通过三角测量从视差图恢复3D点云。

6. 实验结果

1. 标定精度：所提标定方法的平均极线距离误差为0.100像素，较Zhang方法（0.172像素）提升71.4%，校正后双相机参数一致性良好。

2. 匹配算法性能：在0.4m距离下，改进SGM对标准平面的拟合误差为0.553mm（较传统SGM降低14.3%），对标准球体的拟合误差为0.465mm（降低30.4%）；1.0m距离下误差分别降低38.0%和44.5%。

3. 系统精度对比：与Intel RealSense D435（三角测量原理）和Microsoft Kinect v2（TOF原理）相比，所提系统在0.4m距离下平面测量误差（0.553mm）远低于D435（0.909mm）；近距离（≤0.6m）性能优于Kinect v2，且对物体边缘和不同反射率表面的适应性更强。

4. 重建能力验证：成功实现了富含纹理表面（头部雕塑、彩色衣物）的密集重建，以及动态目标（风扇、人脸表情）的实时重建，帧率≥30fps，细节还原度高。

7. 总结 & 未来工作

总结

本文提出的单帧结构光系统通过斑纹图案优化、高精度标定与校正、改进SGM匹配算法的协同设计，突破了传统结构光技术的局限，实现了高密度、高精度、实时动态的3D重建。系统具有小型化、低成本的优势，在近距离测量中表现出亚毫米级精度，且对复杂纹理和动态目标的重建效果优异，适用于制造、人机交互、机器人等多个领域。

未来工作

1. 深入研究短基线情况下的精度提升方法，进一步优化近距离测量性能。

2. 针对高反射率变化的表面，改进图像采集和处理策略，解决饱和区域和低对比度区域导致的匹配误差问题。

3. 优化算法实时性，进一步压缩立体校正和匹配的运行时间，提升动态重建的帧率上限。

本文仅做学术分享，如有侵权，请联系删文。

• 3D视觉1V1论文辅导

3D视觉1V1论文辅导来啦！

3D视觉学习圈子

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

3D视觉全栈学习课程：www.3dcver.com

3D视觉交流群成立啦，微信：cv3d001

添加微信：cv3d001，备注：方向+单位，邀你入3D视觉交流群！