CN113566734B - 一种基于同轴平移散斑投射器的高精度三维成像装置 - Google Patents

Abstract

本发明涉及光学三维成像领域，具体公开了一种基于同轴平移散斑投射器的高精度三维成像装置，包括控制模块、驱动电路、电机、刻有散斑图案的镀铬玻璃、LED照明光源和由复合透镜阵列组成的柯勒照明***。与传统的数字散斑投影技术相比，本发明中自动化控制的***节省了更换散斑图案的时间，并根据实验确保了图案不相关性最大的平移距离参数，在保证了较高精度的前提下相比于以往的方案更有利于实现三维重建的实时性，实现了一个新型的高速高精度的三维重建***。

Description

一种基于同轴平移散斑投射器的高精度三维成像装置

技术领域

本发明涉及光学三维成像领域，特别涉及一种基于同轴平移散斑投射器的高精度三维成像装置。

背景技术

近年来，基于结构光编码的双目三维重建技术被广泛地应用在各个领域。基于匹配的三维重建技术存在着对弱纹理区域容易误匹配，重建效果差的问题，而主动立体视觉可以通过将精心设计的图案对被测物体进行投影、转印等方式丰富或增加被测对象的表面纹理，从而克服匹配歧义性，减小了误匹配率，可以得到更加精确、可靠的三维重建结果。结构光编码的方式多种多样，其中使用得最为广泛的是基于正弦条纹编码的结构光和基于散斑图案编码的结构光，采用基于散斑图案结构光编码的三维重建方法的基本原理是：在标定好的***中，将多帧散斑图案投射至被测物体表面被调制变形的散斑图案通过双目相机进行拍摄，完成畸变矫正和基线校正，利用时空立体匹配相关算法进行深度信息计算，最终获得被测物体表面的三维数据。

现有的基于散斑结构光编码的三维重建方法的设备大多采用数字投影设备，具有价格昂贵、体积庞大的特点，不适用于灵活的场景需求。且在多帧投影的实验场景下无法做到图案的快速切换，难以满足实时性的要求。因此无论是站在工业需求还是商业需求的角度上，都需要三维重建设备更加轻便灵活、价格低廉。

发明内容

本发明目的在于，针对现有三维重建方法的设备不适用于灵活的场景需求，且在多帧投影的实验场景下无法做到图案的快速切换，难以满足实时性的要求的问题，针对待测物体三维数据的采集，构造一个依靠电机驱动进行散斑图案平移切换的新型散斑投射器，在电机的驱动下，装配有散斑模板的机械结构可按照既定的距离进行平移，完成散斑图案的平移快速切换，其中切换时间≤10ms，提出了一种基于同轴平移散斑投射器的高精度三维成像装置。采用本发明中装置，可根据实际的研究或生产任务要求对采集帧数进行确定，进行高速高精度的三维待测物体重建。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于同轴平移散斑投射器的高精度三维成像装置，包括控制模块（6）、驱动电路（7）、电机（8）、刻有散斑图案的镀铬玻璃（9）、LED照明光源（11）和由复合透镜阵列组成的柯勒照明***（12）；

所述控制模块（6）输出电机控制信号到驱动电路（7），驱动电路（7）根据所述电机控制信号通过控制电机（8）使得刻有散斑图案的镀铬玻璃（9）发生平移；并且所述控制模块（6）还同时输出照明控制信号到所述LED照明光源（11），所述LED照明光源（11）发出光源到所述复合透镜阵列组成的柯勒照明***（12）；所述复合透镜阵列组成的柯勒照明***（12）对所述光源进行光学放大，并提供无影均匀照明；放大后的光源用于投射到平移中的刻有散斑图案的镀铬玻璃（9）形成散斑投射图；待测物体接收到散斑投射图后，形成调制后的散斑图。

作为本发明的优选方案，所述控制电机（8）的主轴带动齿轮齿条传动部件（19）转动，转动的所述齿轮齿条传动部件（19）使得刻有散斑图案的镀铬玻璃（9）发生平移，所述齿轮齿条传动部件（19）包括驱动齿轮（27）、传动齿轮（28）和齿条部件（29），驱动齿轮（27）和传动齿轮（28）啮合，传动齿轮（28）和齿条部件（29）啮合。

作为本发明的优选方案，所述刻有散斑图案的镀铬玻璃（9）放置在散斑片安装支架（30）上，所述散斑片安装支架（30）外部有齿轮，散斑片安装支架（30）外部的齿轮与所述齿条部件（29）啮合，齿条部件（29）带动散斑片安装支架移动，从而使得刻有散斑图案的镀铬玻璃（9）平移。

作为本发明的优选方案，所述刻有散斑图案的镀铬玻璃（9）以时间间隔周期进行平移，每周期内平移的距离为3mm，时间间隔周期≤10ms。

作为本发明的优选方案，所述散斑片安装支架（30）放置在所述主体结构部件（15）上，所述主体结构部件（15）中间为中空结构，LED照明光源通过主体结构部件（15）中部的中空结构，将放大后的光源投射到平移中的刻有散斑图案的镀铬玻璃（9），形成散斑投射图；所述主体结构部件（15）上方设置有双滑槽结构（16），在所述散斑片安装支架（30）的带动下，刻有散斑图案的镀铬玻璃（9）沿着双滑槽结构（16）平移。

作为本发明的优选方案，还包括主体结构上盖，所述主体结构上盖（22）和主体结构部件（15）形成容纳空间，将所述散斑图案的镀铬玻璃（9）、在散斑片安装支架（30）、齿轮齿条传动部件（19）、驱动电路（7）和电机（8）容纳于所述容纳空间，并且所述主体结构上盖（22）为中空结构，所述散斑投射图通过主体结构上盖（22）的中空结构投射出去。

作为本发明的优选方案，所述散斑投射图通过投射镜头部件投射到待测物体，所述投射镜头部件包括投射镜头（24）和镜头锁紧环（23），投射镜头（24）通过镜头锁紧环（23）固定于所述主体结构上盖（22）上方。

作为本发明的优选方案，装置还包括双目相机（10）；

所述控制模块（6）还输出拍照信号到所述双目相机（10），在刻有散斑图案的镀铬玻璃（9）平移的过程中，所述双目相机（10）同步拍摄调制后的散斑图，生成2N张散斑图，其中，双目相机（10）中的左相机和右相机各N张。

基于相同的构思，本发明还提出了一种基于同轴平移散斑投射器的高精度三维成像装置进行三维重建的方法，包括以下步骤：

S1，构建如权利要求1-8任一所述的高精度三维成像装置，通过控制模块（6）控制散斑投射图平移，并获取N对时空不相关的散斑图像对，所述散斑图像对包括左相机拍摄图片序列和右相机拍摄图片序列；

S2，使用图像处理开源库opencv4.0提供的函数接口对获取的N对时空不相关的散斑图像对进行畸变矫正和极线矫正；

S3，在矫正完毕的图片上逐行用ST-ZNCC算法进行匹配，将互相关值低和未通过左右一致性检验的区域设置为无效视差；

S4，利用三点拟合法将像素级的视差转换成亚像素级的视差；

S5，进行视差后处理；

S6，通过插值法对无效视差区域进行填充，获取亚像素级精度视差图；

S7，获取标定代入数据；

S8，利用标定代入数据，基于步骤S6得到的视差图进行三维待测物体重建，得到三维待测物体的点云数据。

作为本发明的优选方案，步骤S1中，控制模块（6）控制散斑投射图平移具体包括以下步骤：

S11，控制模块（6）输出电机控制信号到驱动电路（7），驱动电路（7）根据所述电机控制信号控制电机（8）转动预设的角度；

S12，电机（8）正转或反转，带动刻有散斑图案的镀铬玻璃（9）往复线性平动。

与现有技术相比，本发明的有益效果：

1.本发明提出了一种基于同轴平移散斑投射器的高精度三维成像装置，通过控制模块对驱动电路发送信号控制平移机构，使设计好的散斑图案按照规定的距离进行平移，获得时空不相关的散斑图案，再利用柯勒照明***进行照明和投射，将获得的散斑纹理投影在待测物体上。与传统的数字散斑投影技术相比，本发明中自动化控制的***节省了更换散斑图案的时间，并根据实验确保了图案不相关性最大的平移距离参数，在保证了较高精度的前提下相比于以往的方案更有利于实现三维重建的实时性，实现了一个新型的高速高精度的三维重建***。

2、精简了***的复杂度和装配难度，整个装置结构紧凑，易于装配，成本低廉。且刻有散斑图案的镀铬玻璃可以根据需要进行更换，可以对散斑图案进行个性化的设计，方便实验探究。

附图说明：

图1为本发明实施例1中一种基于同轴平移散斑投射器的高精度三维成像装置的实施例框图；

图2为本发明实施例1中的一种基于同轴平移散斑投射器的高精度三维成像装置的原理图；

图3为本发明实施例1中的同轴平移散斑投射器的光学结构图；

图4-1为本发明实施例1中的一种基于同轴平移散斑投射器的高精度三维成像装置的三维结构示意图；

图4-2为本发明实施例1中的一种基于同轴平移散斑投射器的高精度三维成像装置的侧视图；

图4-3为本发明实施例1中的一种基于同轴平移散斑投射器的高精度三维成像装置的俯视图；

图5是本发明实施例1中采用的同轴平移散斑投射器的照明***示意图；

图6-1是本发明实施例1中采用的同轴平移散斑投射器的***解析图；

图6-2是图4-1中的平移机构局部放大图；

图6-3是本发明实施例1中采用的同轴平移散斑投射器的整装图（包含主视图和俯视图）；

图6-4是本发明实施例1中采用的同轴平移散斑投射器中平移机构及驱动结构的***解析图；

图6-5是本发明实施例1中采用的同轴平移散斑投射器的光学和传动部分的整装图；

图7是本发明实例1中采用的同轴平移散斑投射器的机械平移机构的控制流程示意图；

图8是本发明实施例1中的基于同轴平移散斑投射器的高精度三维成像装置进行三维重建的步骤流程图。

附图标记：1-一种基于同轴平移散斑投射器的高精度三维成像装置，2-待测物体，3-三维重建算法模块，4-重建的物体三维数据，5-高速高精度散斑结构光场三维成像***，6-控制模块，7-驱动电路，8-电机，9-刻有散斑图案的镀铬玻璃，10-双目相机，11- LED照明光源，12-柯勒照明***，13-LED光源芯片，14-柯勒照明***组件，15-主体结构部件，16-双滑槽结构，17-齿条边框，18-散斑片元件，19-齿轮齿条传动部件，20-电机驱动***，21-传动仓密封件，22-主体结构上盖，23-镜头锁紧环，24-投射镜头，25-电机控制器，26-电机主轴，27-驱动齿轮，28-传动齿轮，29-齿条部件，30-散斑片安装支架，31-随机散斑元件，32-LED芯片，33-柯勒照明组件，34-投影镜头组件。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

图1示出了一种基于同轴平移散斑投射器的高精度三维成像装置实施例框图，其以待测物体（2）作为测量目标，示例性地说明三维成像***（5）的构成及工作原理。在图1中，高速高精度散斑结构光场三维成像***（5）主要由一种基于同轴平移散斑投射器的高精度三维成像装置（1）和三维重建算法模块（3）组成，其中，三维成像装置（1）用于对待测物体（2）进行时空不相关散斑图案的投影和拍摄，三维重建算法模块（3）用于对三维成像装置拍摄的图像进行极线矫正和三维重建，获得重建的物体三维数据（4）。

三维成像装置（1）包括控制模块（6）、驱动电路（7）、电机（8）（主要由：齿轮齿条机构，电机，驱动电路，控制***组成）、刻有散斑图案的镀铬玻璃（9）、LED照明光源（11）、由复合透镜阵列组成的柯勒照明***（12）、双目相机（10）共同组成。其中，控制模块在一定的时间间隔下控制驱动电路（7）让电机（8）运作，使与之相连的刻有散斑图案的镀铬玻璃（9）进行一定距离的平移。其中，为满足实验高速和高精度的要求，每次平移图案的距离不宜太小，并且为了满足***对于快速成像的要求，要求每次平移的距离不必过大，平移距离在3mm附近为宜，驱动电路通过对平移机构的控制实现散斑图案的平移快速切换，切换时间≤10ms，切换时间是指散斑图案从一个位置换到下一个位置的时间周期，该时间周期包括平移的时间和暂停的时间。在平移暂停的时间内，控制模块（6）同步控制双目相机（10）进行图像拍摄。在N次平移后，获得N对时空不相关的图像序列。

基于同轴平移散斑投射器的高精度三维成像装置（1）的原理示意图如图2所示。基于同轴平移散斑投射器的高精度三维成像装置（200）包括控制模块（201）、驱动电路（202）、电机（203）、LED照明光源（204）、由复合透镜阵列组成的柯勒照明***（207）、双目相机（206）、刻有散斑图案的镀铬玻璃（205）共同组成。由于成像装置与投射装置都被装配在一个模组上，结合与模组匹配的SDK可以进行非常方便地同时实现图案的平移和抓拍，达到了部分实验场景中自动化和实时性的要求。

图3是同轴平移散斑投射器的光学结构图，示出了LED点光源发出的光（300）通过由复合透镜阵列组成的柯勒照明***（301）匀光后照亮刻有散斑图案的镀铬玻璃（302），将散斑图案（303）投射出来的场景。

特别地，为保证***的稳定性，将图1中的三维成像装置（1）集成到组合模组上，该组合模组包括散斑投射器和相机。基于同轴平移散斑投射器的高精度三维成像装置的三维结构示意图如图4-1所示；基于同轴平移散斑投射器的高精度三维成像装置的主视图如图4-2所示；基于同轴平移散斑投射器的高精度三维成像装置的俯视图如图4-3所示。按钮给出相应指令，上位机控制***驱动电机，先回到初始位（通常为安装的标志位），然后通过一定的脉冲序列，控制电机先顺时针（逆时针）转动，从动轮（传动齿轮）则与主动轮（驱动齿轮）转向相反，从而带动散斑片安装支架上的齿条部件平动，散斑片安装支架上方放置了刻有散斑图案的镀铬玻璃，散斑片安装支架带动刻有散斑图案的镀铬玻璃根据程序中设定的采图帧数对应几组脉冲序列，对应的均匀平移几组微小位移。下一次采图测量与上述运动过程反向。测量完成后，自动进行标志初始位归位。

图5是同轴平移散斑投射器的照明***示意图示出了本发明设计中散斑投射***与焦面投射统共同组成的光学结构，其中，散斑投射***包括LED照明光源和双透镜组构成的柯勒照明***，焦平面投射***包括：散斑投射+投射镜头组。散斑照明***是从光源发射光线的角度描述***，而焦面投射***则是从镜头投影成像的角度描述散斑片上的光线情况，即详分解细描述为光学***的两个部分，这两个部分顺接于散斑片元件，整体组成散斑投射***。

图6-1是同轴平移散斑投射器的***解析图。由图中可知，同轴平移散斑投射器的结构，从下往上依次包括LED光源芯片13、柯勒照明***组件14、主体结构部件15、齿条边框16（内部安装玻璃散斑片元件）、散斑片元件18（刻有散斑图案的镀铬玻璃）、齿轮齿条传动部件19（电极主轮+从动轮+齿条边框）、电机驱动***20（电极+驱动电路+控制模块）、传动仓密封件21、主体结构上盖22、镜头锁紧环23和投射镜头24，其中，主体结构部件15上有双滑槽结构16。

图6-2是图6-1中同轴平移散斑投射器的平移机构局部放大图；图6-3是同轴平移散斑投射器的整装图（包含主视图和俯视图）；图6-4是同轴平移散斑投射器中平移机构及驱动结构的***解析图；其中，包括电机控制器25，电机主轴26，驱动齿轮27（电机主轮），传动齿轮28（从动轮），齿条部件29，散斑片安装支架30，随机散斑元件31（刻有散斑图案的镀铬玻璃）， LED芯片32，柯勒照明组件33，投影镜头组件34，齿条部件29和散斑片安装支架30构成齿条边框。图6-5是同轴平移散斑投射器的光学和传动部分的整装图；

图7是采用的同轴平移散斑投射器的机械平移机构的控制流程示意图。上位机计算机***给控制***发送控制信号，使得控制***输出电机控制信号和驱动照明***的照明控制信号；驱动电机收到电机控制信号后控制齿轮齿条传动***带动散斑图像进行位移，另一方面，同时，在照明控制信号的控制下，照明***控制散斑投射***投射出像移的散斑图，并将移动的散斑图通过散斑投影镜头投射出去。图像采集成像***同步采集被待测物体调制后的图像，基于该图像实现三维建模。

图4-1中的三维成像装置实时获取待测物体三维几何形貌调制的散斑图像：在双目相机配置下得到2N张散斑图，左右相机各N张。

基于同轴平移散斑投射器的高精度三维成像装置进行三维重建的步骤流程图如图8所示，具体步骤包括：

S1，通过控制模块控制同轴平移散斑投射器和双目相机同步获取N对时空不相关的散斑图像对，包括左相机拍摄图片序列和右相机拍摄图片序列；

S2，使用图像处理开源库opencv4.0提供的函数接口对获取的N对时空不相关的散斑图像对进行畸变矫正和极线矫正；

S3，在矫正完毕的图片上逐行用ST-ZNCC算法进行匹配，将互相关值较低和未通过左右一致性检验的区域置为无效视差；

S4，利用三点拟合法将像素级的视差转换成亚像素级的视差；

S5，进行视差后处理；

S6，通过插值法对无效视差区域进行填充，获取亚像素级精度视差图；

S7，获取标定代入数据；

S8，利用***标定参数，基于步骤S6得到的视差图进行三维待测物体重建，得到三维待测物体的点云数据。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点，对于本领域技术人员而言，显然在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于同轴平移散斑投射器的高精度三维成像装置，其特征在于，包括控制模块（6）、驱动电路（7）、电机（8）、刻有散斑图案的镀铬玻璃（9）、LED照明光源（11）和由复合透镜阵列组成的柯勒照明***（12）；

所述控制模块（6）输出电机控制信号到驱动电路（7），驱动电路（7）根据所述电机控制信号通过控制电机（8）使得刻有散斑图案的镀铬玻璃（9）发生平移；并且所述控制模块（6）还同时输出照明控制信号到所述LED照明光源（11），所述LED照明光源（11）发出光源到所述复合透镜阵列组成的柯勒照明***（12）；所述复合透镜阵列组成的柯勒照明***（12）对所述光源进行光学放大，并提供无影均匀照明；放大后的光源用于投射到平移中的刻有散斑图案的镀铬玻璃（9）形成散斑投射图；待测物体接收到散斑投射图后，形成调制后的散斑图；所述控制电机（8）的主轴带动齿轮齿条传动部件（19）转动，转动的所述齿轮齿条传动部件（19）使得刻有散斑图案的镀铬玻璃（9）发生平移，所述齿轮齿条传动部件（19）包括驱动齿轮（27）、传动齿轮（28）和齿条部件（29），驱动齿轮（27）和传动齿轮（28）啮合，传动齿轮（28）和齿条部件（29）啮合；所述刻有散斑图案的镀铬玻璃（9）放置在散斑片安装支架（30）上，所述散斑片安装支架（30）外部有齿轮，散斑片安装支架（30）外部的齿轮与所述齿条部件（29）啮合，齿条部件（29）带动散斑片安装支架移动，从而使得刻有散斑图案的镀铬玻璃（9）平移；

所述散斑片安装支架（30）放置在主体结构部件（15）上，所述主体结构部件（15）中间为中空结构，LED照明光源通过主体结构部件（15）中部的中空结构，将放大后的光源投射到平移中的刻有散斑图案的镀铬玻璃（9），形成散斑投射图；所述主体结构部件（15）上方设置有双滑槽结构（16），在所述散斑片安装支架（30）的带动下，刻有散斑图案的镀铬玻璃（9）沿着双滑槽结构（16）平移；

还包括主体结构上盖，所述主体结构上盖（22）和主体结构部件（15）形成容纳空间，将所述散斑图案的镀铬玻璃（9）、在散斑片安装支架（30）、齿轮齿条传动部件（19）、驱动电路（7）和电机（8）容纳于所述容纳空间，并且所述主体结构上盖（22）为中空结构，所述散斑投射图通过主体结构上盖（22）的中空结构投射出去；

还包括双目相机（10）；

所述控制模块（6）还输出拍照信号到所述双目相机（10），在刻有散斑图案的镀铬玻璃（9）平移的过程中，所述双目相机（10）同步拍摄调制后的散斑图，生成2N张散斑图，其中，双目相机（10）中的左相机和右相机各N张；

所述主体结构上盖（22）、主体结构部件（15）、散斑片安装支架（30）、所述LED照明光源（11）和所述复合透镜阵列组成的柯勒照明***（12）的几何中心同轴，并且所述散斑图案的镀铬玻璃（9）在垂直于同轴线的平面移动。

2.如权利要求1所述的一种基于同轴平移散斑投射器的高精度三维成像装置，其特征在于，所述刻有散斑图案的镀铬玻璃（9）以时间间隔周期进行平移，每周期内平移的距离为3mm，时间间隔周期≤10ms。

3.如权利要求1所述的一种基于同轴平移散斑投射器的高精度三维成像装置，其特征在于，所述散斑投射图通过投射镜头部件投射到待测物体，所述投射镜头部件包括投射镜头（24）和镜头锁紧环（23），投射镜头（24）通过镜头锁紧环（23）固定于所述主体结构上盖（22）上方。

4.一种基于同轴平移散斑投射器的高精度三维成像装置进行三维重建的方法，其特征在于，包括以下步骤：

S1，构建如权利要求1-3任一所述的高精度三维成像装置，通过控制模块（6）控制散斑投射图平移，并获取N对时空不相关的散斑图像对，所述散斑图像对包括左相机拍摄图片序列和右相机拍摄图片序列；

S2，使用图像处理开源库opencv4.0提供的函数接口对获取的N对时空不相关的散斑图像对进行畸变矫正和极线矫正；

S3，在矫正完毕的图片上逐行用ST-ZNCC算法进行匹配，将互相关值低和未通过左右一致性检验的区域设置为无效视差；

S4，利用三点拟合法将像素级的视差转换成亚像素级的视差；

S5，进行视差后处理；

S6，通过插值法对无效视差区域进行填充，获取亚像素级精度视差图；

S7，获取标定代入数据；

S8，利用标定代入数据，基于步骤S6得到的视差图进行三维待测物体重建，得到三维待测物体的点云数据。

5.如权利要求4所述的一种基于同轴平移散斑投射器的高精度三维成像装置进行三维重建的方法，其特征在于，步骤S1中，控制模块（6）控制散斑投射图平移具体包括以下步骤：

S11，控制模块（6）输出电机控制信号到驱动电路（7），驱动电路（7）根据所述电机控制信号控制电机（8）转动预设的角度；

S12，电机（8）正转或反转，带动刻有散斑图案的镀铬玻璃（9）往复线性平动。