CN111307069A - 一种密集平行线结构光三维扫描方法与*** - Google Patents

一种密集平行线结构光三维扫描方法与*** Download PDF

Info

Publication number
CN111307069A
CN111307069A CN202010282081.4A CN202010282081A CN111307069A CN 111307069 A CN111307069 A CN 111307069A CN 202010282081 A CN202010282081 A CN 202010282081A CN 111307069 A CN111307069 A CN 111307069A
Authority
CN
China
Prior art keywords
point
line
line segment
points
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010282081.4A
Other languages
English (en)
Other versions
CN111307069B (zh
Inventor
黄文超
刘改
龚静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xuanjing Technology Co ltd
Original Assignee
Wuhan Xuanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Xuanjing Technology Co ltd filed Critical Wuhan Xuanjing Technology Co ltd
Priority to CN202010282081.4A priority Critical patent/CN111307069B/zh
Publication of CN111307069A publication Critical patent/CN111307069A/zh
Application granted granted Critical
Publication of CN111307069B publication Critical patent/CN111307069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种密集平行线结构光三维扫描方法与***，包括设计密集平行线单帧图案；通过投影仪将预先设计好的单帧密集平行线投射到被测物体表面；双目相机拍摄经调制的密集平行线图案，进行高精度线提取和分段；利用双目相机与密集平行线形成的空间平面的相对关系确定分段线段上每个提取点的候选投影仪列号值；利用同一线段上的提取点投影仪列号的一致性删选候选投影仪列号值；利用相邻线段列号的连续性验证候选投影仪列号值有效性；根据线段上的像点坐标和对应的投影仪列号逐点重建点云。本发明解决了传统多线结构光扫描重建结果稀疏、分布不均、需要标志点辅助定位、多线交叉影响重建结果等问题。

Description

一种密集平行线结构光三维扫描方法与***
技术领域
本发明涉及三维测量领域，尤其涉及一种密集平行线结构光三维扫描方法与***。
背景技术
普通的影像建模中，光源是环境光或者白光这种没有经过编码的光源，图像识别完全取决于被拍摄物体本身的特征点，因此匹配一直是影像建模的一个难点。而结构光法的不同在于对投射光源进行了编码，拍摄的是被编码的光源投影到物体上被物体表面的深度调制过的图像。因为结构光光源带有很多的编码特征，可以很方便的进行特征点的匹配，即结构光法主动提供了很多特征点进行匹配，而不再需要使用被摄物体本身具有的特征点，因此可以提供更好的匹配结果。另外，由于普通的影像建模中拍摄物体多种多样，每一次影像匹配都面对不同的图像，需要重新提取特征点；而结构光法投影的是相同的图案，特征是固定的，不需要根据场景的变化而有变化，降低匹配的难度，提高了匹配的效率。
结构光法中最重要的是对于编码的设计和识别，如图1所示，按照编码方式的不同，大致可以分为空间编码、时间编码、时空编码、多波长复合编码、直接编码和线结构光扫描六类。空间编码技术将编码信息隐藏在单帧投影图像空间中；时间编码技术将多个不同的编码图案按时序投射，将对应的编码图像序列组合起来进行解码；时空编码技术融合了时间编码方案和空间编码方案，通过时间编码技术解决编码容量问题，利用空间编码技术解决重建问题；多波长复合编码技术是一种在同一时间，不同波段上获取不同编码信息用于重建的技术；直接编码方法利用投射光线特性(比如颜色变化、灰度变化等)，直接为编码图案的每个像素设定一个码字；线结构光扫描技术往被测物体表面投射多道线激光，算法提取图像中线结构特征实现匹配和重建。
多线结构光扫描不进行任何编码，目前多采用互为交叉的两列平行结构光线，通过双相机来区分结构光线，从而完成匹配，如图2所示。多线结构光法的优点是1)不易被物体表面形状、颜色和材质破坏；2)重建需要极其小的图像空间，几何细节恢复能力较强；3)结构光线不容易受到噪声干扰，基本不会互相干扰；4)不需要解码，采用双相机校验，且结构光线有利于高精度提取；5)可以采用结构光线内部点的连接关系提高重建质量。但是目前传统的多线结构光扫描仍具有如下的缺点1)只能采用稀疏的多线结构光，得到稀疏且分布非常不均匀的结构信息；2)必须在物体上贴标志点来辅助定位，不利于设备使用；3)多线交叉位置附近重建的结果不准，需要进行判断和删除，浪费了重建信息。
发明内容
本发明针对传统多线结构光扫描重建结果稀疏、分布不均、需要标志点辅助定位、多线交叉影响重建结果等问题，提供一种密集平行线结构光三维扫描方法，该方法既保留了传统多线结构光的优点，同时又解决了传统多线结构光的问题，包括以下步骤：
S1，设计密集平行线单帧图案；
S2，通过投影仪将预先设计好的单帧密集平行线投射到被测物体表面；
S3，双目相机拍摄经调制的密集平行线图案，进行高精度线提取和分段；
S4，利用双目相机与密集平行线形成的空间平面的相对关系确定分段线段上每个提取点的候选投影仪列号值；
S5，利用同一线段上提取点的投影仪列号的一致性删选候选投影仪列号值；
S6，利用相邻线段列号的连续性验证候选投影仪列号值的有效性；
S7，根据线段上的像点坐标和对应的投影仪列号逐点重建点云。
在以上技术方案的基础上，优选的S1的实施方式为：采用密集平行线图案模式、平行线沿着列方向并列，平行线列间距Grid＝8像素，对于1800×1360像素的投影图案，总共产生num＝224条平行线。
在以上技术方案的基础上，优选的S2的实施方式为：最终图案光刻得到，然后通过LED投影***投射到物体表面，也可以采用多线激光作为光源，以减少背景光对投影图案采集的影响。
在以上技术方案的基础上，优选的S3具体包括以下步骤：
S31，双目相机从不同角度拍摄经物体调制的平行线图案。以其中一个相机作为左相机，另一个相机作为右相机，其分别采集得到的调制平行线图像记为I1，I2。
S32，高斯滤波。采用3×3窗口大小的高斯滤波核模板分别对I1，I2进行滤波操作，得到经过滤波后的影像I1'，I2'。
S33，生成二维高斯函数关于列向一阶偏导数卷积核模板。二维高斯函数为
Figure BDA0002446995320000031
其中(x,y)为像点行列坐标值，σ为高斯核的标准差，本发明设为0.75。对二维高斯函数x求一阶偏导得到关于二维高斯函数的列向一阶偏导卷积核模板为
Figure BDA0002446995320000032
S34，用一阶偏导数卷积核模板对影像卷积得到梯度影像。用一阶偏导卷积核模板
Figure BDA0002446995320000033
分别对I1'，I2'进行卷积操作，得到梯度影像G1，G2。
S35，进行峰值检测，并进行列坐标精提取。分配标记矩阵M1，大小与I1'一致，初值设为False，沿着行逐像素搜索，对于左相机I1'上的整像素点P1(x,y)，其中(x,y)是其整像素坐标，从滤波影像I1'、梯度影像G1得到P1灰度值为i1，梯度值为g1，P1左右2像素远的点灰度值分别为i-,i+，P1左右1像素远的点梯度值分别为g-,g+，当同时满足下面三个条件时，峰值检测成功，将标记矩阵元素M1(x,y)置为True：①i1大于50；②
Figure BDA0002446995320000034
③g+×g-＜0。对于峰值检测成功的点P1(x,y)，对其x坐标进行修正得到u，当g+×g1＜0时，
Figure BDA0002446995320000035
当g_×g1＜0时，
Figure BDA0002446995320000036
y坐标无需修正，但记为v，因此可以将I1'检测得到的峰值点记为P1(x,y,u,v)，其中(u,v)是其亚像素坐标。设I1'总共检测到p1个峰值点，记为Pi 1(x,y,u,v),0≤i≤p1。同理可以对右相机I2'进行相同操作得到对应的峰值点Pi 2(x,y,u,v),0≤i≤p2及其标记矩阵M2，其中p2为右相机检测到的峰值点个数。
S36，检测峰值点的八邻域关系，相邻峰值点构成线段。对于Pi 1(x,y,u,v),0≤i≤p1，分配标记数组B1，数组大小为p1，初值设为True，取Pi 1(x,y,u,v),0≤i≤p1第一个元素P1 1，将此元素所对应的标记数组
Figure BDA0002446995320000037
置为False，根据此元素的整像素坐标(x,y)在标记矩阵M1上搜索其八邻域，如果搜索到八邻域点的M1值为True，将此邻域点信息保存在线段链表L1 1中，并将对应M1值置为False，以此作为新的搜索点，继续搜索，直至没有搜索点，此时得到第一段线段L1 1，线段L1 1的第j个点记为Q1j 1(x,y,u,v),
Figure BDA0002446995320000038
其中l1 1为线段L1 1所具有的点个数。重新从Pi 1(x,y,u,v),0≤i≤p1取出标记数组B1为True的元素，将其标记数组B1置为False，从此点开始进行八邻域增长，得到新的新段，此过程不断重复，直至B1所有元素都为False，记此线段数为l1，线段集合L1，第i条线段Li 1的第j个点为Qij 1(x,y,u,v),0≤i≤l1,
Figure BDA0002446995320000041
同理，可以得到Pi 2(x,y,u,v),0≤i≤p2所对应的线段集合为L2，第i条线段Li 2的第j个点为Qij 2(x,y,u,v),0≤i≤l2,
Figure BDA0002446995320000042
在以上技术方案的基础上，优选的S4具体包括以下步骤：
S41，根据左相机与投影仪平行线的标定参数，求左相机点与所有平行线的物方交点坐标。对于左相机上提取的线段点Qij 1(x,y,u,v),0≤i≤l1,
Figure BDA0002446995320000043
根据预先标定好的左相机与投影仪平行线的标定参数，采用线面求交的方式，将线段点Qij 1与所有投影仪平行线形成的平面都求交，得到一系列物方坐标点，记为Sijk 1(X,Y,Z),0≤i≤l1,
Figure BDA0002446995320000044
0≤k≤num，其中(X,Y,Z)为对应的物方点坐标，k为投影仪平行线的列号编号。对左相机所有线段点都进行此步操作，得到所有左相机的线段点的物方点坐标。
S42，根据右相机标定参数，将物方交点坐标投影到右相机，得到右相机的反投影坐标。根据预先标定好的右相机标定参数，将Sijk 1(X,Y,Z),0≤i≤l1,
Figure BDA0002446995320000045
0≤k≤num反投影到右相机，得到在右相机上像点坐标，记为Tijk 1(u,v),0≤i≤l1,
Figure BDA0002446995320000046
0≤k≤num，其中，(u,v)为反投影得到的右相机像方坐标值。对左相机所有线段点都进行此步操作，得到所有左相机的线段点在右相机上的反投影坐标。
S43，反投影坐标与右相机线段的最近距离差在一定阈值范围内，所对应的列号作为左相机点的候选投影仪列号。对于Tijk 1，在右相机线段点Qij 2(x,y,u,v),0≤i≤l2,0≤j≤li 2中寻找距离最近的线段点，并求取Tijk 1到此线段点所在线段的最短像素距离值Dis，当Dis＜Thre时，则将k值作为Qij 1的其中一个备选投影仪列号保存，本发明中设Thre＝0.5，记Qij 1点的所有候选投影仪列号为CANDij(c1,…,cm)序列，其中m为Qij 1点的候选投影仪列号个数。对左相机所有线段点都进行此步操作，得到所有左相机的线段点的候选投影仪列号序列。
在以上技术方案的基础上，优选的S5的实施方式为：遍历左相机的线段序列，对于第i条线段Li 1，将线段点的候选投影仪列号CANDij(c1,…,cm)序列合并为序列
Figure BDA0002446995320000054
对UCANDi中相同的投影仪列号进行合并和计数，按照列号所具有的统计数进行排序，如果数目最多的列号的统计数大于两倍以上第二多的列号统计数，则将最多的列号值c赋予此线段及其所关联的点，分别记为L1 1(c)和Qij 1(x,y,u,v,c),0≤i≤l1,
Figure BDA0002446995320000051
否则删除当前直线；对左相机所有线段都进行此步操作，得到所有左相机的线段的列号值。
在以上技术方案的基础上，优选的S6的实施方式为：采用行扫描方法，对每条线段都分配一个统计数组R，大小l1，对同一行上的点Qij 1(x,y,u,v,c),0≤i≤l1,
Figure BDA0002446995320000052
进行列坐标排序，判断这些点的列号序列是否是按照顺序排列的，如果判断存在突变点，则说明此点所在的线段Li 1(c)的列号值有误，其对应的统计数组值R累加1。对左影像的所有行完成扫描后，对第i条线段，判断此线段的线段点个数li 1与此线段的R的比值，当比值小于4时，舍弃此条线段，否则保留。
在以上技术方案的基础上，优选的S7的实施方式为：对于提取得到的左影像线段点Qij 1(x,y,u,v,c),0≤i≤l1,
Figure BDA0002446995320000053
根据预先标定好的左相机和投影仪的标定参数，利用影像点的像点亚像素坐标(u,v)和投影仪的列号c，采用线面求交的方法，交会出物方点坐标，完成单帧影像的点云重建。
而且，本发明还提供一种密集平行线结构光三维扫描***，用于上述密集平行线结构光三维扫描方法。
本发明一种密集平行线结构光三维扫描方法与***，相对于现有技术具有以下有益效果：
1)采用密集平行线结构光，得到密集且分布均匀的结构信息；
2)可以采用几何特征进行定位，解决传统方法依赖标志点定位的问题；
3)采用平行线结构光，不存在线交叉处对重建结果的判断和影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为结构光法分类示意图；
图2为多线结构光扫描图案示意图；
图3为本发明一种密集平行线结构光三维扫描方法流程图；
图4为密集平行线局部示意图；
图5为设计的单帧图案示意图；
图6为平行线图案高精度提取与分段流程图；
图7为线段点候选投影仪列号获取流程图。
具体实施方式
以下结合附图和实施例详细说明本发明的技术方案，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
本发明针对传统多线结构光扫描重建结果稀疏、分布不均、需要标志点辅助定位、多线交叉影响重建结果等问题，提供一种密集平行线结构光三维扫描方法，该方法既保留了传统多线结构光的优点，同时又解决了传统多线结构光的问题，如图3所示，包括以下步骤：
S1，设计密集平行线单帧图案。相较于传统多线交叉的图案模式，本发明采用密集平行线图案模式、平行线沿着列方向并列，避免了多线交叉位置附近重建的结果不准的问题。在设计密集平行线时候，本发明采用平行线列间距Grid＝8像素，对于1800×1360像素的投影图案，总共可以产生num＝224条平行线，是传统多线交叉结构光2×7＝14根线模式容量的16倍。如图4所示为密集平行线单帧图案的局部示意图。
S2，通过投影仪将预先设计好的单帧密集平行线投射到被测物体表面。如图5所示，将最终图案光刻得到，然后通过LED投影***投射到物体表面，也可以采用多线激光作为光源，以减少背景光对投影图案采集的影响。
S3，双目相机拍摄经调制的密集平行线图案，进行高精度线提取和分段。具体流程如图6所示。
S31，双目相机从不同角度拍摄经物体调制的平行线图案。以其中一个相机作为左相机，另一个相机作为右相机，其分别采集得到的调制平行线图像记为I1，I2。
S32，高斯滤波。采用3×3窗口大小的高斯滤波核模板分别对I1，I2进行滤波操作，得到经过滤波后的影像I1'，I2'。
S33，生成二维高斯函数关于列向一阶偏导数卷积核模板。二维高斯函数为
Figure BDA0002446995320000071
其中(x,y)为像点行列坐标值，σ为高斯核的标准差，本发明设为0.75；对二维高斯函数x求一阶偏导得到关于二维高斯函数的列向一阶偏导卷积核模板为
Figure BDA0002446995320000072
S34，用一阶偏导数卷积核模板对影像卷积得到梯度影像。用一阶偏导卷积核模板
Figure BDA0002446995320000073
分别对I1'，I2'进行卷积操作，得到梯度影像G1，G2。
S35，进行峰值检测，并进行列坐标精提取。分配标记矩阵M1，大小与I1'一致，初值设为False，沿着行逐像素搜索，对于左相机I1'上的整像素点P1(x,y)，其中(x,y)是其整像素坐标，从滤波影像I1'、梯度影像G1得到P1灰度值为i1，梯度值为g1，P1左右2像素远的点灰度值分别为i-,i+，P1左右1像素远的点梯度值分别为g-,g+，当同时满足下面三个条件时，峰值检测成功，将标记矩阵元素M1(x,y)置为True：①i1大于50；②
Figure BDA0002446995320000074
③g+×g-＜0。对于峰值检测成功的点P1(x,y)，对其x坐标进行修正得到u，当g+×g1＜0时，
Figure BDA0002446995320000075
当g-×g1＜0时，
Figure BDA0002446995320000076
y坐标无需修正，但记为v，因此可以将I1'检测得到的峰值点记为P1(x,y,u,v)，其中(u,v)是其亚像素坐标。设I1'总共检测到p1个峰值点，记为Pi 1(x,y,u,v),0≤i≤p1。同理可以对右相机I2'进行相同操作得到对应的峰值点Pi 2(x,y,u,v),0≤i≤p2及其标记矩阵M2，其中p2为右相机检测到的峰值点个数。
S36，检测峰值点的八邻域关系，相邻峰值点构成线段。对于Pi 1(x,y,u,v),0≤i≤p1，分配标记数组B1，数组大小为p1，初值设为True，取Pi 1(x,y,u,v),0≤i≤p1第一个元素P1 1，将此元素所对应的标记数组B1 1置为False，根据此元素的整像素坐标(x,y)在标记矩阵M1上搜索其八邻域，如果搜索到八邻域点的M1值为True，说明存在连接关系，将此邻域点信息保存在线段链表L1 1中，并将对应M1值置为False，以此作为新的搜索点，继续搜索，直至没有搜索点，此时得到第一段线段L1 1，线段L1 1的第j个点记为Q1j 1(x,y,u,v),
Figure BDA0002446995320000081
其中l1 1为线段L1 1所具有的点个数。重新从Pi 1(x,y,u,v),0≤i≤p1取出标记数组B1为True的元素，将其标记数组B1置为False，从此点开始进行八邻域增长，得到新的新段，此过程不断重复，直至B1所有元素都为False，此时记得到的线段数为l1，线段集合L1，第i条线段Li 1的第j个点为Qij 1(x,y,u,v),0≤i≤l1,
Figure BDA0002446995320000082
同理，可以得到Pi 2(x,y,u,v),0≤i≤p2所对应的线段集合为L2，第i条线段Li 2的第j个点为Qij 2(x,y,u,v),0≤i≤l2,
Figure BDA0002446995320000083
S4，利用双目相机与密集平行线形成的空间平面的相对关系确定分段线段上每个提取点的候选投影仪列号值。具体流程如图7所示。
S41，根据左相机与投影仪平行线的标定参数，求左相机点与所有平行线的物方交点坐标。对于左相机上提取的线段点Qij 1(x,y,u,v),0≤i≤l1,
Figure BDA0002446995320000084
根据预先标定好的左相机与投影仪平行线的标定参数，采用线面求交的方式，将线段点Qij 1与所有投影仪平行线形成的平面都求交，得到一系列物方坐标点，记为Sijk 1(X,Y,Z),0≤i≤l1,
Figure BDA0002446995320000085
0≤k≤num，其中(X,Y,Z)为对应的物方点坐标，k为投影仪平行线的列号编号。对左相机所有线段点都进行此步操作，得到所有左相机的线段点的物方点坐标。
S42，根据右相机标定参数，将物方交点坐标投影到右相机，得到右相机的反投影坐标。根据预先标定好的右相机标定参数，将Sijk 1(X,Y,Z),0≤i≤l1,
Figure BDA0002446995320000086
0≤k≤num反投影到右相机，得到在右相机上像点坐标，记为Tijk 1(u,v),0≤i≤l1,
Figure BDA0002446995320000087
0≤k≤num，其中，(u,v)为反投影得到的右相机像方坐标值。对左相机所有线段点都进行此步操作，得到所有左相机的线段点在右相机上的反投影坐标。
S43，反投影坐标与右相机线段的最近距离差在一定阈值范围内，所对应的列号作为左相机点的候选投影仪列号。对于Tijk 1，在右相机线段点Qij 2(x,y,u,v),0≤i≤l2,0≤j≤li 2中寻找距离最近的线段点，并求取Tijk 1到此线段点所在线段的最短像素距离值Dis，当Dis＜Thre时，则将k值作为Qij 1的其中一个备选投影仪列号保存，本发明中设Thre＝0.5，记Qij 1点的所有候选投影仪列号为CANDij(c1,…,cm)序列，其中m为Qij 1点的候选投影仪列号个数。对左相机所有线段点都进行此步操作，得到所有左相机的线段点的候选投影仪列号序列。
S5，利用同一线段上提取点的投影仪列号的一致性删选候选投影仪列号值。由于同一线段上的提取点投影仪列号是一致的，所以遍历左相机的线段序列，对于第i条线段Li 1，将线段点的候选投影仪列号CANDij(c1,…,cm)序列合并为序列
Figure BDA0002446995320000091
对UCANDi中相同的投影仪列号进行合并和计数，按照列号所具有的统计数进行排序，如果数目最多的列号的统计数大于两倍以上第二多的列号统计数，则将最多的列号值c赋予此线段及其所关联的点，分别记为L1 1(c)和Qij 1(x,y,u,v,c),0≤i≤l1,
Figure BDA0002446995320000092
否则删除当前直线。对左相机所有线段都进行此步操作，得到所有左相机的线段的列号值。
S6，利用相邻线段列号的连续性验证候选投影仪列号值的有效性。相邻线段左右排列时具有列号的连续性，此连续性不会因为不同的视差而改变，因此，采用行扫描方法，对每条线段都分配一个统计数组R，大小l1，对同一行上的点Qij 1(x,y,u,v,c),0≤i≤l1,
Figure BDA0002446995320000093
进行列坐标排序，判断这些点的列号序列是否是按照顺序排列的，如果判断存在突变点，则说明此点所在的线段Li 1(c)的列号值有误，其对应的统计数组值R累加1。对左影像的所有行完成扫描后，对第i条线段，判断此线段的线段点个数li 1与此线段的R的比值，当比值小于4时，舍弃此条线段，否则保留。
S7，根据线段上的像点坐标和对应的投影仪列号逐点重建点云。对于提取得到的左影像线段点Qij 1(x,y,u,v,c),0≤i≤l1,
Figure BDA0002446995320000094
根据预先标定好的左相机和投影仪的标定参数，利用影像点的像点亚像素坐标(u,v)和投影仪的列号c，采用线面求交的方法，交会出物方点坐标，完成单帧影像的点云重建。
从上述实施步骤可以看出，较传统方法，本发明拥有如下显著优势：
1)采用密集平行线结构光，得到密集且分布均匀的结构信息；
2)可以采用几何特征进行定位，解决传统方法依赖标志点定位的问题；
3)采用平行线结构光，不存在线交叉处对重建结果的判断和影响。
另外，本发明既适用于双相机结构光三维测量***，也适用于多相机结构光三维测量***。具体实施时，以上流程可采用计算机软件方式实现自动运行，运行本方法的***装置也应当在保护范围内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种密集平行线结构光三维扫描方法，其特征在于，密集平行线结构光三维扫描方法包括以下步骤：
S1，设计密集平行线单帧图案；
S2，通过投影仪将预先设计好的单帧密集平行线投射到被测物体表面；
S3，双目相机拍摄经调制的密集平行线图案，进行高精度线提取和分段；
S4，利用双目相机与密集平行线形成的空间平面的相对关系确定分段线段上每个提取点的候选投影仪列号值；
S5，利用同一线段上提取点的投影仪列号的一致性删选候选投影仪列号值；
S6，利用相邻线段列号的连续性验证候选投影仪列号值的有效性；
S7，根据线段上的像点坐标和对应的投影仪列号逐点重建点云。
2.一种密集平行线结构光三维扫描方法，其特征在于，所述S1的实施方式为：采用密集平行线图案模式、平行线沿着列方向并列，平行线列间距Grid＝8像素，对于1800×1360像素的投影图案，总共产生num＝224条平行线。
3.一种密集平行线结构光三维扫描方法，其特征在于，所述S2的实施方式为：将最终图案光刻得到，然后通过LED投影***投射到物体表面，也可以采用多线激光作为光源，以减少背景光对投影图案采集的影响。
4.一种密集平行线结构光三维扫描方法，其特征在于，所述S3的实施方式如下：
S31，双目相机从不同角度拍摄经物体调制的平行线图案；以其中一个相机作为左相机，另一个相机作为右相机，分别采集得到的调制平行线图像记为I1，I2；
S32，高斯滤波；采用3×3窗口大小的高斯滤波核模板分别对I1，I2进行滤波操作，得到经过滤波后的影像I1'，I2'；
S33，生成二维高斯函数关于列向一阶偏导数卷积核模板；二维高斯函数为
Figure FDA0002446995310000011
其中(x,y)为像点行列坐标值，σ为高斯核的标准差，本发明设为0.75；对二维高斯函数x求一阶偏导得到关于二维高斯函数的列向一阶偏导卷积核模板为
Figure FDA0002446995310000012
S34，用一阶偏导数卷积核模板对影像卷积得到梯度影像；用一阶偏导卷积核模板
Figure FDA0002446995310000021
分别对I1'，I2'进行卷积操作，得到梯度影像G1，G2；
S35，进行峰值检测，并进行列坐标精提取；分配标记矩阵M1，大小与I1'一致，初值设为False，沿着行逐像素搜索，对于左相机I1'上的整像素点P1(x,y)，其中(x,y)是其整像素坐标，从滤波影像I1'、梯度影像G1得到P1灰度值为i1，梯度值为g1，P1左右2像素远的点灰度值分别为i-,i+，P1左右1像素远的点梯度值分别为g-,g+，当同时满足下面三个条件时，峰值检测成功，将标记矩阵元素M1(x,y)置为True：①i1大于50；②
Figure FDA0002446995310000022
③g+×g-＜0；对于峰值检测成功的点P1(x,y)，对其x坐标进行修正得到u，当g+×g1＜0时，
Figure FDA0002446995310000023
当g-×g1＜0时，
Figure FDA0002446995310000024
y坐标无需修正，但记为v，因此可以将I1'检测得到的峰值点记为P1(x,y,u,v)，其中(u,v)是其亚像素坐标；设I1'总共检测到p1个峰值点，记为Pi 1(x,y,u,v),0≤i≤p1；同理可以对右相机I2'进行相同操作得到对应的峰值点Pi 2(x,y,u,v),0≤i≤p2及其标记矩阵M2，其中p2为右相机检测到的峰值点个数；
S36，检测峰值点的八邻域关系，相邻峰值点构成线段；对于Pi 1(x,y,u,v),0≤i≤p1，分配标记数组B1，数组大小为p1，初值设为True，取Pi 1(x,y,u,v),0≤i≤p1第一个元素P1 1，将此元素所对应的标记数组B1 1置为False，根据此元素的整像素坐标(x,y)在标记矩阵M1上搜索其八邻域，如果搜索到八邻域点的M1值为True，将此邻域点信息保存在线段链表L1 1中，并将对应M1值置为False，以此作为新的搜索点，继续搜索，直至没有搜索点，此时得到第一段线段L1 1，线段L1 1的第j个点记为Q1j 1(x,y,u,v),0≤j≤l1 1，其中l1 1为线段L1 1所具有的点个数；重新从Pi 1(x,y,u,v),0≤i≤p1取出标记数组B1为True的元素，将其标记数组B1置为False，从此点开始进行八邻域增长，得到新的新段，此过程不断重复，直至B1所有元素都为False，记此线段数为l1，线段集合L1，第i条线段Li 1的第j个点为Qij 1(x,y,u,v),0≤i≤l1,0≤j≤li1；
同理，可以得到Pi 2(x,y,u,v),0≤i≤p2所对应的线段集合为L2，第i条线段Li 2的第j个点为Qij 2(x,y,u,v),0≤i≤l2,
Figure FDA0002446995310000031
5.一种密集平行线结构光三维扫描方法，其特征在于，所述S4的实施方式如下：
S41，根据左相机与投影仪平行线的标定参数，求左相机点与所有平行线的物方交点坐标；对于左相机上提取的线段点Qij 1(x,y,u,v),0≤i≤l1,
Figure FDA0002446995310000037
根据预先标定好的左相机与投影仪平行线的标定参数，采用线面求交的方式，将线段点Qij 1与所有投影仪平行线形成的平面都求交，得到一系列物方坐标点，记为Sijk 1(X,Y,Z),0≤i≤l1,
Figure FDA0002446995310000032
0≤k≤num，其中(X,Y,Z)为对应的物方点坐标，k为投影仪平行线的列号编号；对左相机所有线段点都进行此步操作，得到所有左相机的线段点的物方点坐标；
S42，根据右相机标定参数，将物方交点坐标投影到右相机，得到右相机的反投影坐标；根据预先标定好的右相机标定参数，将Sijk 1(X,Y,Z),0≤i≤l1,
Figure FDA0002446995310000033
0≤k≤num反投影到右相机，得到在右相机上像点坐标，记为Tijk 1(u,v),0≤i≤l1,
Figure FDA0002446995310000034
0≤k≤num，其中，(u,v)为反投影得到的右相机像方坐标值；对左相机所有线段点都进行此步操作，得到所有左相机的线段点在右相机上的反投影坐标；
S43，反投影坐标与右相机线段的最近距离差在一定阈值范围内，所对应的列号作为左相机点的候选投影仪列号；对于Tijk 1，在右相机线段点Qij 2(x,y,u,v),0≤i≤l2,
Figure FDA0002446995310000035
中寻找距离最近的线段点，并求取Tijk 1到此线段点所在线段的最短像素距离值Dis，当Dis＜Thre时，则将k值作为Qij 1的其中一个备选投影仪列号保存，本发明中设Thre＝0.5，记Qij 1点的所有候选投影仪列号为CANDij(c1,…,cm)序列，其中m为Qij 1点的候选投影仪列号个数；对左相机所有线段点都进行此步操作，得到所有左相机的线段点的候选投影仪列号序列。
6.一种密集平行线结构光三维扫描方法，其特征在于，所述S5的实施方式为：遍历左相机的线段序列，对于第i条线段Li 1，将线段点的候选投影仪列号CANDij(c1,…,cm)序列合并为序列
Figure FDA0002446995310000036
对UCANDi中相同的投影仪列号进行合并和计数，按照列号所具有的统计数进行排序，如果数目最多的列号的统计数大于两倍以上第二多的列号统计数，则将最多的列号值c赋予此线段及其所关联的点，分别记为L1 1(c)和Qij 1(x,y,u,v,c),0≤i≤l1,
Figure FDA0002446995310000041
否则删除当前直线；对左相机所有线段都进行此步操作，得到所有左相机的线段的列号值。
7.一种密集平行线结构光三维扫描方法，其特征在于，所述S6的实施方式为：采用行扫描方法，对每条线段都分配一个统计数组R，大小l1，对同一行上的点Qij 1(x,y,u,v,c),0≤i≤l1,
Figure FDA0002446995310000042
进行列坐标排序，判断这些点的列号序列是否是按照顺序排列的，如果判断存在突变点，则说明此点所在的线段Li 1(c)的列号值有误，其对应的统计数组值R累加1；对左影像的所有行完成扫描后，对第i条线段，判断此线段的线段点个数li 1与此线段的R的比值，当比值小于4时，舍弃此条线段，否则保留。
8.一种密集平行线结构光三维扫描方法，其特征在于，所述S7的实施方式为：对于提取得到的左影像线段点Qij 1(x,y,u,v,c),0≤i≤l1,
Figure FDA0002446995310000043
根据预先标定好的左相机和投影仪的标定参数，利用影像点的像点亚像素坐标(u,v)和投影仪的列号c，采用线面求交的方法，交会出物方点坐标，完成单帧影像的点云重建。
9.一种密集平行线结构光三维扫描***，其特征在于：用于权利要求1至8所述的一种密集平行线结构光三维扫描方法。
CN202010282081.4A 2020-04-11 2020-04-11 一种密集平行线结构光三维扫描方法与*** Active CN111307069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010282081.4A CN111307069B (zh) 2020-04-11 2020-04-11 一种密集平行线结构光三维扫描方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010282081.4A CN111307069B (zh) 2020-04-11 2020-04-11 一种密集平行线结构光三维扫描方法与***

Publications (2)

Publication Number Publication Date
CN111307069A true CN111307069A (zh) 2020-06-19
CN111307069B CN111307069B (zh) 2023-06-02

Family

ID=71152050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010282081.4A Active CN111307069B (zh) 2020-04-11 2020-04-11 一种密集平行线结构光三维扫描方法与***

Country Status (1)

Country Link
CN (1) CN111307069B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112833816A (zh) * 2020-12-31 2021-05-25 武汉中观自动化科技有限公司 一种标志点定位与智能反向定位混合的定位方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150054946A1 (en) * 2013-08-21 2015-02-26 Faro Technologies, Inc. Real-time inspection guidance of triangulation scanner
US20150229911A1 (en) * 2014-02-13 2015-08-13 Chenyang Ge One method of binocular depth perception based on active structured light
CN106524943A (zh) * 2016-11-10 2017-03-22 华南理工大学 一种双旋转激光的三维重构装置及方法
CA3022442A1 (en) * 2017-10-24 2019-01-02 Shining 3D Tech Co., Ltd. Three-dimensional reconstruction method and device based on monocular three-dimensional scanning system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150054946A1 (en) * 2013-08-21 2015-02-26 Faro Technologies, Inc. Real-time inspection guidance of triangulation scanner
US20150229911A1 (en) * 2014-02-13 2015-08-13 Chenyang Ge One method of binocular depth perception based on active structured light
CN106524943A (zh) * 2016-11-10 2017-03-22 华南理工大学 一种双旋转激光的三维重构装置及方法
CA3022442A1 (en) * 2017-10-24 2019-01-02 Shining 3D Tech Co., Ltd. Three-dimensional reconstruction method and device based on monocular three-dimensional scanning system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112833816A (zh) * 2020-12-31 2021-05-25 武汉中观自动化科技有限公司 一种标志点定位与智能反向定位混合的定位方法和***

Also Published As

Publication number Publication date
CN111307069B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN110068270B (zh) 一种基于多线结构光图像识别的单目视觉箱体体积测量方法
US20070057946A1 (en) Method and system for the three-dimensional surface reconstruction of an object
CN108921939A (zh) 一种基于图片的三维场景重建方法
CN110580481B (zh) 一种基于epi的光场图像关键位置检测方法
CN109035170B (zh) 基于单网格图分段映射的自适应广角图像校正方法及装置
WO2018219156A1 (zh) 结构光编码方法、装置及终端设备
US9245375B2 (en) Active lighting for stereo reconstruction of edges
CN113505626A (zh) 一种快速三维指纹采集方法与***
CN109064536B (zh) 一种基于双目结构光的书页三维重建方法
CN112991517B (zh) 一种纹理影像编解码自动匹配的三维重建方法
CN108898629B (zh) 用于三维建模中航空行李表面纹理增强的投影编码方法
CN111307069A (zh) 一种密集平行线结构光三维扫描方法与***
CN111023994B (zh) 一种基于多重测量的光栅三维扫描方法及***
CN111336949B (zh) 一种空间编码结构光三维扫描方法与***
US20210272301A1 (en) Method for processing three-dimensional point cloud data
CN108895979A (zh) 线段编码的结构光深度获取方法
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
CN111783877B (zh) 基于单帧网格复合编码模板结构光的深度信息测量方法
Jia et al. One‐Shot M‐Array Pattern Based on Coded Structured Light for Three‐Dimensional Object Reconstruction
CN111340957B (zh) 测量方法和***
CN113689397A (zh) 工件圆孔特征检测方法和工件圆孔特征检测装置
KR102217215B1 (ko) 스케일바를 이용한 3차원 모델 제작 서버 및 방법
Li et al. Structured light based high precision 3D measurement and workpiece pose estimation
CN113326838A (zh) 一种基于深度学习网络的手机导光板模号识别方法
CN110428458A (zh) 基于单帧密集形状编码的深度信息测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant