CN111336949B - 一种空间编码结构光三维扫描方法与*** - Google Patents

一种空间编码结构光三维扫描方法与*** Download PDF

Info

Publication number
CN111336949B
CN111336949B CN202010281877.8A CN202010281877A CN111336949B CN 111336949 B CN111336949 B CN 111336949B CN 202010281877 A CN202010281877 A CN 202010281877A CN 111336949 B CN111336949 B CN 111336949B
Authority
CN
China
Prior art keywords
decoding
point
projector
image
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010281877.8A
Other languages
English (en)
Other versions
CN111336949A (zh
Inventor
黄文超
龚静
刘改
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xuanjing Technology Co ltd
Original Assignee
Wuhan Xuanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Xuanjing Technology Co ltd filed Critical Wuhan Xuanjing Technology Co ltd
Priority to CN202010281877.8A priority Critical patent/CN111336949B/zh
Publication of CN111336949A publication Critical patent/CN111336949A/zh
Application granted granted Critical
Publication of CN111336949B publication Critical patent/CN111336949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种空间编码结构光三维扫描方法与***，包括设计单帧空间编码图案，含用于解码的解码点和用于加密的加密点；通过投影仪将预先编码好的单帧空间编码图案投射到被测物体表面；相机拍摄经物体调制后的空间编码图案，进行影像解码点和加密点的提取；利用水平核线约束与邻域相对位移关系确定解码点的候选投影仪列号；构建和更新解码点的统计权重数组，根据统计权重数组对解码点的候选投影仪列号进行删选；根据解码点的投影仪列号推断加密点的投影仪列号；根据解码点和加密点的影像坐标和对应的投影仪列号重建点云。本发明解决了传统空间编码结构光鲁棒性低、精度差、解码要求较大图像空间、可拓展性差等问题。

Description

一种空间编码结构光三维扫描方法与***
技术领域
本发明涉及三维测量领域，尤其涉及一种空间编码结构光三维扫描方法与***。
背景技术
普通的影像建模中，光源是环境光或者白光这种没有经过编码的光源，图像识别完全取决于被拍摄物体本身的特征点，因此匹配一直是影像建模的一个难点。而结构光法的不同在于对投射光源进行了编码，拍摄的是被编码的光源投影到物体上被物体表面的深度调制过的图像，如图1所示。因为结构光光源带有很多的编码特征，可以很方便的进行特征点的匹配，即结构光法主动提供了很多特征点进行匹配，而不再需要使用被摄物体本身具有的特征点，因此可以提供更好的匹配结果。另外，由于普通的影像建模中拍摄物体多种多样，每一次影像匹配都面对不同的图像，需要重新提取特征点；而结构光法投影的是相同的图案，特征是固定的，不需要根据场景的变化而有变化，降低匹配的难度，提高了匹配的效率。
结构光法中最重要的是对于编码的设计和识别，如图2所示，按照编码方式的不同，大致可以分为空间编码、时间编码、时空编码、多波长复合编码、直接编码和线结构光扫描六类。空间编码技术将编码信息隐藏在单帧投影图像空间中；时间编码技术将多个不同的编码图案按时序投射，将对应的编码图像序列组合起来进行解码；时空编码技术融合了时间编码方案和空间编码方案，通过时间编码技术解决编码容量问题，利用空间编码技术解决重建问题；多波长复合编码技术是一种在同一时间，不同波段上获取不同编码信息用于重建的技术；直接编码方法利用投射光线特性(比如颜色变化、灰度变化等)，直接为编码图案的每个像素设定一个码字；线结构光扫描技术往被测物体表面投射多道线激光，算法提取图像中线结构特征实现匹配和重建。
相较于其他结构光法，空间编码方法由于单帧编解码的优势，因此更加适合用于动态与手持测量环境中。文献US7768656B2利用大小矩形码元编码，其沿列方向的矩形码元还具有直接连接关系，并采用特殊的投影仪和相机安装条件形成近似核线约束的行坐标差将大小矩形码元拓展为6种不同的码元类型，采用一维DeBruijn伪随机序列根据6种码元形成216列唯一的编码值，解码时需要利用相邻三列的码元进行解码；此种方法的缺点是对硬件安装条件有比较苛刻的要求，并且编码空间是不可拓展的。文献CN101627280B则采用斜对角正方形块，按照斜对角方式和角点正方形黑白颜色，采用2*3的行列编码方式，其优点是加入了符号校验，具有一定的可靠性保障，缺点是2元6阶的DeBruijn伪随机序列只有64列的编码空间，并且此种方法的编码空间是不可拓展的。文献CN103400366B采用粗细不同的线条来描述编码值，缺点是线条粗细容易受噪声、提取方法、物体表面深度调制等造成提取误差，得到错误的编码结果。文献CN104457607A采用对称沙漏形状，通过0°/45°/90°/135°旋转形成不同的码元，并采用3*3行列的特定顺序对连续9个码元进行编码，此方法实质是采用的M-Array阵列的编码方法，没有充分利用核线约束关系，编码容量很有限。文献WO2018219227A1采用图形编码的方式，通过在棋盘格图案的白色格子中用不同的图形来进行编码，其缺点是没有利用核线关系，是个二维编码方法，编码容量很有限；同时图形编码的方式特别容易受到噪声干扰，也不利于高精度匹配点的提取。文献CN109242957A则采用类似文献US7768656B2的编码原理和相同的基础码元，只是增加2*3的行列空间进行M-Array编码的额外约束。文献CN109540023A采用二值细线编码，通过四个对角线上的细线存在与否进行编码，缺点是码元太细，容易受噪声干扰；对角线上的细线不利于高精度中心提取；相邻码元之间的细线容易互相干扰。
总之，目前已有的空间编码方法具有如下的缺点：
1)编码图案容易被物体表面形状、颜色和材质破坏；
2)重建需要较大的图像空间，几何细节恢复能力较弱；不管DeBruijn伪随机序列还是M-Array阵列都需要很大的图像空间以供稳定解码，因此对复杂物体的测量比较欠缺；
3)编码的方式特别容易受到噪声干扰，甚至有些方法的码元之间存在相互干扰现象；
4)编码只考虑解码图案的唯一性，忽视了图案设计对于高精度匹配点提取的影响；
5)编码方式灵活性低，编码容量空间固定，不具有可拓展性。
发明内容
本发明针对传统空间编码结构光鲁棒性低、精度差、解码要求较大图像空间、可拓展性差等问题，提供一种空间编码结构光三维扫描方法，其过程包括以下步骤：
S1，设计单帧空间编码图案，包括用于解码的解码点和用于加密的加密点；
S2，通过投影仪将预先编码好的单帧空间编码图案投射到被测物体表面；
S3，相机拍摄经物体调制后的空间编码图案，进行影像解码点和加密点的提取；
S4，利用水平核线约束与邻域相对位移关系确定解码点的候选投影仪列号；
S5，构建和更新解码点的统计权重数组，根据统计权重数组对解码点的候选投影仪列号进行删选；
S6，根据解码点的投影仪列号推断加密点的投影仪列号；
S7，根据解码点和加密点的影像坐标和对应的投影仪列号重建点云。
在以上技术方案的基础上，优选的S1具体包括以下步骤：
S11，基本码元的设计。针对传统空间编码图案鲁棒性低、精度差、解码要求较大图像空间等缺点，本发明的解码点码元采用简单的圆点。假设单帧空间编码每个码元所占的投影仪图像空间为Grid大小，本发明里设Grid＝8像素，则码元间沿行和列方向的间距为Grid，记解码点码元在投影仪图像坐标上的半径为
Figure BDA0002446897930000031
S12，邻近码元排列的设计。利用水平核线约束与码元邻域相对位移关系来进行编码。水平核线约束由相机和投影仪的安装来决定的，通过预先标定投影仪和相机的标定参数，将投影仪上每个编码点的投影仪影像坐标转化成投影仪的核线影像坐标，记此核线坐标的行坐标值为E值。码元邻域相对位移关系由相邻码元的错位像素来决定；以当前码元为中心，邻近码元相对当前码元上下错位的距离
Figure BDA0002446897930000032
邻域码元在垂直方向上位于当前码元上方，则标记为-1；邻域码元在垂直方向上与当前码元平齐，则标记为0；邻域码元在垂直方向上位于当前码元下方，则标记为1；按照码元邻域相对位移关系，总共9种情况，将上下错位的情况记为D值；在生成空间编码图案时候，随机生成每个列的上下错位情况，对应的D值即确定，每列都保存此D值；记第i个投影仪的解码点为Mi(D(COL),E),0＜i＜m，其中m为投影仪解码点总个数，COL为投影仪解码点所在的列号，D(COL)为投影仪解码点所在COL列的D值，E为投影仪解码点的E值。
S13，解码点和加密点的设计。设计比较小的圆点作为投影仪加密点，加密点圆点半径设为
Figure BDA0002446897930000033
投影仪解码点的作用是用于后期处理的解码运算，判断此点所对应的列号信息；投影仪加密点则不参与后期处理的解码运算，其判断所属列号的方法是根据它上下邻域所对应的解码点信息来进行。
在以上技术方案的基础上，优选的S2的实施方式为：将最终编码图案通过光刻得到，通过投影***投射到物体表面；投射***可以采用普通的LED白光，也可以采用特定波段的光源，以减少背景光对投影图案采集的影响。
在以上技术方案的基础上，优选的S3具体包括以下步骤：
S31，相机从不同角度拍摄经过物体调制后的空间编码图案I。
S32，解码点粗提取。采用
Figure BDA0002446897930000041
窗口大小的中心圆点卷积模板，对I影像进行卷积操作得到卷积影像C；在Grid×2Grid窗口中对卷积影像C进行局部非极大值抑制搜索，得到的局部极大值点即为影像解码点；假设检测到的影像解码点个数为s，记录影像解码点的整像素坐标Si(x,y),0≤i≤s，其中(x,y)为整像素坐标值；
S33，解码点精提取。采用高斯椭圆拟合方法对影像解码点的整像素坐标进行坐标精提取，得到影像解码点亚像素坐标(u,v)，则此时记影像解码点为Si(x,y,u,v),0≤i≤s；
S34，加密点粗提取。针对影像解码点Si(x,y,u,v)，在影像矩形范围
Figure BDA0002446897930000042
内，按照/>
Figure BDA0002446897930000043
窗口对卷积影像C进行局部非极大值抑制搜索，得到的局部极大值点即为影像加密点；假设检测到的影像加密点个数为t，记录影像加密点的整像素坐标Ti(x,y),0≤i≤t，其中(x,y)为整像素坐标值。
S35，加密点精提取。采用高斯椭圆拟合方法对影像加密点的整像素坐标进行坐标精提取，得到影像加密点亚像素坐标(u,v)，则此时记影像加密点为Ti(x,y,u,v),0≤i≤t。
在以上技术方案的基础上，优选的S4具体包括以下步骤：
S41，利用水平核线约束关系确定解码点的候选投影仪列号。根据投影仪和相机的标定参数，将影像解码点Si(x,y,u,v)的亚像素影像坐标(u,v)转化成相机核线影像坐标，将核线影像坐标的行坐标值ei值与投影仪编码值Mj(D(COL),E)的Ej值逐个比对，当满足|ei-Ej|≤ε条件时(本发明中设ε＝0.3像素)，将Mj所对应的投影仪列号COLj赋予解码点Si，记第i个解码点的候选投影仪列号为CANDi(c1,…,ck)，其中k为候选投影仪列号的个数，(c1,…,ck)为候选投影仪的列号值序列；此过程不断进行，直至完成所有影像解码点的候选投影仪列号的判断；如果按照水平核线约束关系找不到候选投影仪列号，则直接删除当前解码点。
S42，利用邻域相对位移关系删选解码点的候选投影仪列号。对于第i个解码点Si(x,y,u,v)，搜索左右的邻域解码点，按照码元邻域相对位移关系，得到其对应的D值，此处记为di；逐个取出第i个解码点的候选投影仪列号CANDi(c1,…,ck)，根据候选投影仪列号ck得到所对应的D值，此处记为Dk，当di＝Dk时，就保留此候选投影仪列号，否则，就删除；记经过邻域相对位移关系删选的第i个解码点的候选投影仪列号为CANDi(c1,…,cn)，其中n为经过删选的候选投影仪列号的个数，(c1,…,cn)为候选投影仪的列号值序列；上述过程不断进行，直至完成所有影像解码点的候选投影仪列号的删选；如果第i个解码点得不到D值，则不做此步，直接保留所有可能的候选投影仪列号。
在以上技术方案的基础上，优选的S5具体包括以下步骤：
S51，构建解码点的参考投影仪列号。采用8-近邻搜索方法搜索当前解码点Si(x,y,u,v)在影像空间中距离最近的8个解码点，记为U1,…,U8，这8个近邻解码点都具有各自的候选投影仪列号，记为CANDu1,…,CANDu8；将这些近邻解码点的候选投影仪列号合并为一个序列，记为UCANDi(u1,…,uw)，其中w为近邻解码点候选投影仪列号元素个数的总和，此序列称为当前解码点的参考投影仪列号；
S52，利用参考投影仪列号对候选投影仪列号进行统计权重数组构建。对于第i个解码点Si(x,y,u,v)的候选解码列号CANDi(c1,…,cn)，建立一个初值为0，大小为n的统计权重数组V；对于第j个候选解码列号cj，依次与参考投影仪列号UCANDi(u1,…,uw)的元素uw进行列号比较，采用
Figure BDA0002446897930000051
进行累加；不断进行，直至遍历完所有候选编码列号，得到统计数组V；遍历所有解码点，完成各自的统计权重数组构建。
S53，利用参考投影仪列号对候选投影仪列号进行统计权重数组更新。对于第i个解码点Si(x,y,u,v)的候选解码列号CANDi(c1,…,cn)的第j个候选解码列号cj，依次与参考投影仪列号UCANDi(u1,…,uw)的元素uw进行列号比较，采用
Figure BDA0002446897930000061
进行更新，其中Vw是元素uw所对应的权重值；不断进行，直至遍历完所有候选编码列号，更新统计数组V；遍历所有解码点，完成各自的统计权重数组更新。
S54，对步骤S53迭代进行5次，得到稳定的统计权重数组结果。
S55，根据统计权重数组对候选投影仪列号序列进行删选。对编码点的统计权重数组进行排序，选取权重最大的列号作为当前编码点的列号值，此时记解码点为Si(x,y,u,v,c)，c为得到的解码点的列号值。
在以上技术方案的基础上，优选的S6的实施方式为：逐个遍历影像加密点Ti(x,y,u,v),0≤i≤t，按照近邻搜索影像加密点的上、下、左、右邻近解码点，记这四个邻近解码点的列号值分别为c上、c下、c左、c右；如果满足c上＝c下＝c左+1＝c右-1，则当前影像加密点Ti(x,y,u,v)的列号为c上，此时记加密点为Ti(x,y,u,v,c)，c为得到的加密点的列号值；否则删除当前加密点；此步不断进行，直至完成所有加密点的判断。
在以上技术方案的基础上，优选的S7的实施方式为：对于影像解码点Si(x,y,u,v,c)和影像加密点Ti(x,y,u,v,c)，根据预先标定好的相机和投影仪的标定参数，利用影像点的像点坐标(u,v)和投影仪的列号c，采用线面求交的方法，交会出对应物方点坐标，完成单帧编码影像的点云重建。
而且，本发明还提供一种空间编码结构光三维扫描***，用于上述空间编码结构光三维扫描方法。
本发明一种空间编码结构光三维扫描方法与***，相对于现有技术具有以下有益效果：
1)由于采用圆点作为基础码元，编码图案不易被物体表面形状、颜色和材质破坏；
2)由于圆点基础码元比较小，重建无需较大的图像空间，几何细节恢复能力强；
3)由于采用圆点作为基础码元，且设计了一套有效的解码规则，编码的方式不易受到噪声干扰，不会出现码元相互干扰现象；
4)由于采用圆点作为基础码元，编码图案设计利于高精度匹配点提取；
5)由于设计了一套有效的解码规则，且采用圆点作为基础码元，所以编码方式灵活，编码容量空间具有可拓展性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为结构光原理示意图；
图2为结构光法分类示意图；
图3为本发明一种空间编码结构光三维扫描方法流程图；
图4为单帧空间编码图案设计流程图；
图5为编码点邻域相对位置关系分类图；
图6为解码点和加密点示意图；
图7为设计的单帧空间编码图案示意图；
图8为解码点和加密点提取流程图；
图9为中心圆点卷积模板示意图；
图10为解码点候选投影仪列号删选流程图；
图11为待测三维物体示意图；
图12为相机拍摄经待测三维物体调制后的空间编码图案；
图13为对获取的空间编码图案解码和重建后的单帧构网结果示意图。
具体实施方式
以下结合附图和实施例详细说明本发明的技术方案，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
本发明针对传统空间编码结构光鲁棒性低、精度差、解码要求较大图像空间、可拓展性差等问题，提供一种空间编码结构光三维扫描方法，如图3所示，包括以下步骤：
S1，设计单帧空间编码图案，包括用于解码的解码点和用于加密的加密点。具体流程如图4所示。
S11，基本码元的设计。针对传统空间编码图案鲁棒性低、精度差、解码要求较大图像空间等缺点，本发明的解码点码元采用简单的圆点，假设单帧空间编码每个码元所占的投影仪图像空间为Grid大小，本发明里设Grid＝8像素，则码元间沿行和列方向的间距为Grid，记解码点码元在投影仪图像坐标上的半径为
Figure BDA0002446897930000081
采用圆点的好处是，首先圆点特征明显，易于提取；其次，圆点提取精度高，有利于高精度测量；最后，圆点所占用的图像空间小，受物体表面形状、颜色和材质影响小，几何细节恢复能力强。采用此种码元设计后，可以解决目前已有的空间编码图案存在的许多问题。
S12，邻近码元排列的设计。由于采用的基本码元只有一种圆点，所以并不能采用DeBruijn伪随机序列或者M-array阵列来进行编码，因此考虑利用水平核线约束与码元邻域相对位移关系来进行编码。水平核线约束由相机和投影仪的安装来决定的，通过预先标定投影仪和相机的标定参数，将投影仪上每个编码点的投影仪影像坐标转化成投影仪的核线影像坐标，记此核线坐标的行坐标值为E值，每个编码点的E值都不一样。码元邻域相对位移关系由相邻码元的错位像素来决定。如图5所示，以当前码元为中心，邻近码元相对当前码元上下错位的距离
Figure BDA0002446897930000082
邻域码元在垂直方向上位于当前码元上方，则标记为-1；邻域码元在垂直方向上与当前码元平齐，则标记为0；邻域码元在垂直方向上位于当前码元下方，则标记为1。按照码元邻域相对位移关系，共有9种情况，分别为情况1(0，0)、情况2(0，1)、情况3(-1，1)、情况4(-1，-1)、情况5(1，-1)、情况6(1，0)、情况7(0，-1)、情况8(1，1)、情况9(-1，0)，将此上下错位的情况记为D值。在生成空间编码图案时候，随机生成每个列的上下错位情况，当生成后，每个列所对应的D值即确定，每列都保存此D值，最终局部错位情况如图6所示。根据上述描述，记第i个投影仪的解码点为Mi(D(COL),E),0＜i＜m，其中m为投影仪解码点总个数，COL为投影仪解码点所在的列号，D(COL)为投影仪解码点所在COL列的D值，E为投影仪解码点的E值。
S13，解码点和加密点的设计。如果所有点都是投影仪解码点，则计算量会比较大，考虑到沿着列方向的连续性，因此设计比较小的圆点来作为投影仪加密点，加密点圆点半径设为
Figure BDA0002446897930000083
如图6所示，解码点和加密点沿着行方向交错排列。投影仪解码点的作用是用于后期处理的解码运算，判断此点所对应的列号信息；投影仪加密点则不参与后期处理的解码运算，其判断所属列号的方法是根据它上下邻域所对应的解码点信息来进行。解码点和加密点的设计，有效的减少了解码的计算量，同时减少了码元的混淆性。
S2，通过投影仪将预先编码好的单帧空间编码图案投射到被测物体表面。如图7所示，将最终编码图案光刻得到，然后通过投影***投射到物体表面，这里的投影***可以采用普通的LED白光，也可以采用特定波段的光源，以减少背景光对投影图案采集的影响。
S3，相机拍摄经物体调制后的空间编码图案，进行影像解码点和加密点的提取。具体流程如图8所示。
S31，相机从不同角度拍摄经过物体调制后的空间编码图案I；
S32，解码点粗提取。采用
Figure BDA0002446897930000091
窗口大小的中心圆点卷积模板，如图9所示为典型的5*5窗口，对I影像进行卷积操作得到卷积影像C，采用Grid×2Grid窗口对卷积影像C进行局部非极大值抑制搜索，得到的局部极大值点即为影像解码点。假设检测到的影像解码点个数为s，记录影像解码点的整像素坐标Si(x,y),0≤i≤s，其中(x,y)为整像素坐标值。
S33，解码点精提取。采用高斯椭圆拟合方法对影像解码点的整像素坐标进行坐标精提取，得到影像解码点亚像素坐标(u,v)，则此时记影像解码点为Si(x,y,u,v),0≤i≤s。
S34，加密点粗提取。针对影像解码点Si(x,y,u,v)，在影像矩形范围
Figure BDA0002446897930000092
内，按照/>
Figure BDA0002446897930000093
窗口对卷积影像C进行局部非极大值抑制搜索，得到的局部极大值点即为影像加密点。假设检测到的影像加密点个数为t，记录影像加密点的整像素坐标Ti(x,y),0≤i≤t，其中(x,y)为整像素坐标值。
S35，加密点精提取。采用高斯椭圆拟合方法对影像加密点的整像素坐标进行坐标精提取，得到影像加密点亚像素坐标(u,v)，则此时记影像加密点为Ti(x,y,u,v),0≤i≤t。
S4，利用水平核线约束与邻域相对位移关系确定解码点的候选投影仪列号。
S41，利用水平核线约束关系确定解码点的候选投影仪列号。根据投影仪和相机的标定参数，将影像解码点Si(x,y,u,v)的亚像素影像坐标(u,v)转化成相机核线影像坐标，将核线影像坐标的行坐标值ei值与投影仪编码值Mj(D(COL),E)的Ej值逐个比对，当满足|ei-Ej|≤ε条件时(本发明中设ε＝0.3像素)，将Mj所对应的投影仪列号COLj赋予解码点Si，记第i个解码点的候选投影仪列号为CANDi(c1,…,ck)，其中k为候选投影仪列号的个数，(c1,…,ck)为候选投影仪的列号值序列。上述过程不断进行，直至完成所有影像解码点的候选投影仪列号的判断。值得说明的是，如果按照水平核线约束关系找不到候选投影仪列号，则说明当前提取的解码点存在比较大误差，直接删除。
S42，利用邻域相对位移关系删选解码点的候选投影仪列号。对于第i个解码点Si(x,y,u,v)，搜索左右的邻域解码点，按照码元邻域相对位移关系，得到其对应的D值，此处记为di；逐个取出第i个解码点的候选投影仪列号CANDi(c1,…,ck)，根据候选投影仪列号ck得到所对应的D值，此处记为Dk，当di＝Dk时，就保留此候选投影仪列号，否则，就删除。记经过邻域相对位移关系删选的第i个解码点的候选投影仪列号为CANDi(c1,…,cn)，其中n为经过删选的候选投影仪列号的个数，(c1,…,cn)为候选投影仪的列号值序列。上述过程不断进行，直至完成所有影像解码点的候选投影仪列号的删选。值得说明的是，如果第i个解码点得不到D值，则不做此步，直接保留所有可能的候选投影仪列号。
S5，构建和更新解码点的统计权重数组，根据统计权重数组对解码点的候选投影仪列号进行删选。具体流程如图10所示。
S51，构建解码点的参考投影仪列号。采用8-近邻搜索方法搜索当前解码点Si(x,y,u,v)在影像空间中距离最近的8个解码点，记为U1,…,U8，这8个近邻解码点都具有各自的候选投影仪列号，记为CANDu1,…,CANDu8，将这些近邻解码点的候选投影仪列号合并为一个序列，记为UCANDi(u1,…,uw)，其中w为近邻解码点候选投影仪列号元素个数的总和，此序列称为当前解码点的参考投影仪列号。
S52，利用参考投影仪列号对候选投影仪列号进行统计权重数组构建。对于第i个解码点Si(x,y,u,v)的候选解码列号CANDi(c1,…,cn)，建立一个初值为0，大小为n的统计权重数组V，对于第j个候选解码列号cj，依次与参考投影仪列号UCANDi(u1,…,uw)的元素uw进行列号比较，采用
Figure BDA0002446897930000111
进行累加；不断进行，直至遍历完所有候选编码列号，得到统计权重数组V。遍历所有解码点，完成各自的统计权重数组构建。
S53，利用参考投影仪列号对候选投影仪列号进行统计权重数组更新。对于第i个解码点Si(x,y,u,v)的候选解码列号CANDi(c1,…,cn)的第j个候选解码列号cj，依次与参考投影仪列号UCANDi(u1,…,uw)的元素uw进行列号比较，采用
Figure BDA0002446897930000112
进行更新，其中Vw是元素uw所对应的权重值；不断进行，直至遍历完所有候选编码列号，更新统计权重数组V。遍历所有解码点，完成各自的统计权重数组更新。
S54，对步骤S53迭代进行5次，得到稳定的统计权重数组结果。
S55，根据统计权重数组对候选投影仪列号序列进行删选。对编码点的统计权重数组进行排序，选取权重最大的列号作为当前编码点的列号值，此时记解码点为Si(x,y,u,v,c)，c为得到的解码点的列号值。
S6，根据解码点的投影仪列号推断加密点的投影仪列号。遍历影像加密点Ti(x,y,u,v),0≤i≤t，按照近邻搜索影像加密点的上、下、左、右邻近解码点，记这四个邻近解码点的列号值分别为c上、c下、c左、c右，如果满足c上＝c下＝c左+1＝c右-1，则当前影像加密点Ti(x,y,u,v)的列号为c上，此时记加密点为Ti(x,y,u,v,c)，c为得到的加密点的列号值，否则删除当前加密点。此步不断进行，直至完成所有加密点的判断。
S7，根据解码点和加密点的影像坐标和对应的投影仪列号重建点云。对于影像解码点Si(x,y,u,v,c)和影像加密点Ti(x,y,u,v,c)，根据预先标定好的相机和投影仪的标定参数，利用影像点的像点坐标(u,v)和投影仪的列号c，采用线面求交的方法，交会出对应物方点坐标，完成单帧编码影像的点云重建。
依据以上的流程，如图11所示为原始的待测物体示意图，采用相机和投影仪固连的装置对待测物体进行图案投影和拍摄，得到如图12所示的调制编码影像，经过本发明阐述的解码和重建方法，得到如图13所示的重建点云的构网结果。
从上述实施步骤可以看出，较传统方法，本发明拥有如下显著优势：
1)由于采用圆点作为基础码元，编码图案不易被物体表面形状、颜色和材质破坏；
2)由于圆点码元比较小，重建无需较大的图像空间，几何细节恢复能力强；
3)由于采用圆点作为基础码元，且设计了一套有效的解码规则，编码的方式不易受到噪声干扰，不会出现码元相互干扰现象；
4)由于采用圆点作为基础码元，编码图案设计利于高精度匹配点提取；
5)由于设计了一套有效的解码规则，且采用圆点作为基础码元，所以编码方式灵活，编码容量空间具有可拓展性。
另外，本发明既适用于单相机结构光三维测量***，也适用于多相机结构光三维测量***。具体实施时，以上流程可采用计算机软件方式实现自动运行，运行本方法的***装置也应当在保护范围内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种空间编码结构光三维扫描方法，其特征在于，空间编码结构光三维扫描方法包括以下步骤：
S1，设计单帧空间编码图案，包括用于解码的解码点和用于加密的加密点；解码点码元采用简单的圆点，利用水平核线约束与码元邻域相对位移关系来进行编码，码元邻域相对位移关系由相邻码元的错位像素来决定；设计相对解码点较小的圆点作为投影仪加密点，加密点不参与后期处理的解码运算；
S2，通过投影仪将预先编码好的单帧空间编码图案投射到被测物体表面；
S3，相机拍摄经物体调制后的空间编码图案，进行影像解码点和加密点的提取；
S4，利用水平核线约束与邻域相对位移关系确定解码点的候选投影仪列号；
S5，构建和更新解码点的统计权重数组，根据统计权重数组对解码点的候选投影仪列号进行删选；
S6，根据解码点的投影仪列号推断加密点的投影仪列号；
S7，根据解码点和加密点的影像坐标和对应的投影仪列号重建点云。
2.根据权利要求1所述的一种空间编码结构光三维扫描方法，其特征在于，所述S1具体包括以下步骤：
S11，基本码元的设计；针对传统空间编码图案鲁棒性低、精度差、解码要求较大图像空间等缺点，解码点码元采用简单的圆点；假设单帧空间编码每个码元所占的投影仪图像空间为Grid大小，设Grid＝8像素，则码元间沿行和列方向的间距为Grid，记解码点码元在投影仪图像坐标上的半径为
Figure FDA0004101356410000011
S12，邻近码元排列的设计；利用水平核线约束与码元邻域相对位移关系来进行编码；水平核线约束由相机和投影仪的安装来决定的，通过预先标定的投影仪和相机的标定参数，将投影仪上每个编码点的投影仪影像坐标转化成投影仪的核线影像坐标，记此核线坐标的行坐标值为E值；码元邻域相对位移关系由相邻码元的错位像素来决定；以当前码元为中心，邻近码元相对当前码元上下错位的距离
Figure FDA0004101356410000012
邻域码元在垂直方向上位于当前码元上方，则标记为-1；邻域码元在垂直方向上与当前码元平齐，则标记为0；邻域码元在垂直方向上位于当前码元下方，则标记为1；按照码元邻域相对位移关系，具有9种情况，将上下错位的情况记为D值；在生成空间编码图案时，随机生成每个列的上下错位情况，对应的D值即确定，每列都保存此D值；记第i个投影仪的解码点为Mi(D(COL),E),0＜i＜m，其中m为投影仪解码点总个数，COL为投影仪解码点所在的列号，D(COL)为投影仪解码点所在COL列的D值，E为投影仪解码点的E值；
S13，解码点和加密点的设计；设计相对解码点较小的圆点作为投影仪加密点，加密点圆点半径设为
Figure FDA0004101356410000021
投影仪解码点的作用是用于后期处理的解码运算，判断此点所对应的列号信息；投影仪加密点则不参与后期处理的解码运算。
3.根据权利要求1所述的一种空间编码结构光三维扫描方法，其特征在于，所述S2的实施方式为：将最终编码图案光刻得到，通过投影***投射到物体表面；投影***可以采用普通的LED白光，也可以采用特定波段的光源，以减少背景光对投影图案采集的影响。
4.根据权利要求1所述的一种空间编码结构光三维扫描方法，其特征在于，所述S3的实施方式如下：
S31，相机从不同角度拍摄经过物体调制后的空间编码图案I；
S32，解码点粗提取；采用
Figure FDA0004101356410000022
窗口大小的中心圆点卷积模板，对I影像进行卷积操作得到卷积影像C，采用Grid×2Grid窗口对卷积影像C进行局部非极大值抑制搜索，得到的局部极大值点即为影像解码点；假设检测到的影像解码点个数为s，记录影像解码点的整像素坐标Si(x,y),0≤i≤s，其中(x,y)为整像素坐标值；
S33，解码点精提取；采用高斯椭圆拟合方法对影像解码点的整像素坐标进行坐标精提取，得到影像解码点亚像素坐标(u,v)，则此时记影像解码点为Si(x,y,u,v),0≤i≤s；
S34，加密点粗提取；针对影像解码点Si(x,y,u,v)，在影像矩形范围
Figure FDA0004101356410000023
内，按照/>
Figure FDA0004101356410000024
窗口对卷积影像C进行局部非极大值抑制搜索，得到的局部极大值点即为影像加密点；假设检测到的影像加密点个数为t，记录影像加密点的整像素坐标Ti(x,y),0≤i≤t，其中(x,y)为整像素坐标值；
S35，加密点精提取；采用高斯椭圆拟合方法对影像加密点的整像素坐标进行坐标精提取，得到影像加密点亚像素坐标(u,v)，则此时记影像加密点为Ti(x,y,u,v),0≤i≤t。
5.根据权利要求1所述的一种空间编码结构光三维扫描方法，其特征在于，所述S4的实施方式如下：
S41，利用水平核线约束关系确定解码点的候选投影仪列号；根据投影仪和相机的标定参数，将影像解码点Si(x,y,u,v)的亚像素影像坐标(u,v)转化成相机核线影像坐标，将核线影像坐标的行坐标值ei值与投影仪编码值Mj(D(COL),E)的Ej值逐个比对，当满足|ei-Ej|≤ε条件时(设ε＝0.3像素)，将Mj所对应的投影仪列号COLj赋予解码点Si，记第i个解码点的候选投影仪列号为CANDi(c1,L,ck)，其中k为候选投影仪列号的个数，(c1,L,ck)为候选投影仪的列号值序列；此过程不断进行，直至完成所有影像解码点的候选投影仪列号的判断；如果按照水平核线约束关系找不到候选投影仪列号，则直接删除当前解码点；
S42，利用邻域相对位移关系删选解码点的候选投影仪列号；对于第i个解码点Si(x,y,u,v)，搜索左右的邻域解码点，按照码元邻域相对位移关系，得到其对应的D值，此处记为di；逐个取出第i个解码点的候选投影仪列号CANDi(c1,L,ck)，根据候选投影仪列号ck得到所对应的D值，此处记为Dk，当di＝Dk时，就保留此候选投影仪列号，否则，就删除；记经过邻域相对位移关系删选的第i个解码点的候选投影仪列号为CANDi(c1,L,cn)，其中n为经过删选的候选投影仪列号的个数，(c1,L,cn)为候选投影仪的列号值序列；上述过程不断进行，直至完成所有影像解码点的候选投影仪列号的删选；如果第i个解码点得不到D值，则不做此步，直接保留所有可能的候选投影仪列号。
6.根据权利要求1所述的一种空间编码结构光三维扫描方法，其特征在于，所述S5的实施方式如下：
S51，构建解码点的参考投影仪列号；采用8-近邻搜索方法搜索当前解码点Si(x,y,u,v)在影像空间中距离最近的8个解码点，记为U1,L,U8，这8个近邻解码点都具有各自的候选投影仪列号，记为CANDu1,L,CANDu8，将这些近邻解码点的候选投影仪列号合并为一个序列，记为UCANDi(u1,L,uw)，其中w为近邻解码点候选投影仪列号元素个数的总和，此序列称为当前解码点的参考投影仪列号；
S52，利用参考投影仪列号对候选投影仪列号进行统计权重数组构建；对于第i个解码点Si(x,y,u,v)的候选解码列号CANDi(c1,L,cn)，建立一个初值为0，大小为n的统计权重数组V，对于第j个候选解码列号cj，依次与参考投影仪列号UCANDi(u1,L,uw)的元素uw进行列号比较，采用
Figure FDA0004101356410000041
进行累加；不断进行，直至遍历完所有候选编码列号，得到统计数组V；遍历所有解码点，完成各自的统计权重数组构建；
S53，利用参考投影仪列号对候选投影仪列号进行统计权重数组更新；对于第i个解码点Si(x,y,u,v)的候选解码列号CANDi(c1,L,cn)的第j个候选解码列号cj，依次与参考投影仪列号UCANDi(u1,L,uw)的元素uw进行列号比较，采用
Figure FDA0004101356410000042
进行更新，其中Vw是元素uw所对应的权重值；不断进行，直至遍历完所有候选编码列号，更新统计数组V；遍历所有解码点，完成各自的统计权重数组更新；
S54，对步骤S53迭代进行5次，得到稳定的统计权重数组结果；
S55，根据统计权重数组对候选投影仪列号序列进行删选；对编码点的统计权重数组进行排序，选取权重最大的列号作为当前编码点的列号值，此时记解码点为Si(x,y,u,v,c)，c为得到的解码点的列号值。
7.根据权利要求1所述的一种空间编码结构光三维扫描方法，其特征在于，所述S6为：遍历影像加密点Ti(x,y,u,v),0≤i≤t，按照近邻搜索影像加密点的上、下、左、右邻近解码点，记这四个邻近解码点的列号值分别为c上、c下、c左、c右，如果c上＝c下＝c左+1＝c右-1，则当前影像加密点Ti(x,y,u,v)的列号为c上，此时记加密点为Ti(x,y,u,v,c)，c为得到的加密点的列号值，否则删除当前加密点；此步不断进行，直至完成所有加密点的判断。
8.根据权利要求1所述的一种空间编码结构光三维扫描方法，其特征在于，所述S7为：对于影像解码点Si(x,y,u,v,c)和影像加密点Ti(x,y,u,v,c)，根据预先标定好的相机和投影仪的标定参数，利用影像点的像点坐标(u,v)和投影仪的列号c，采用线面求交的方法，交会出对应物方点坐标，完成单帧编码影像的点云重建。
CN202010281877.8A 2020-04-11 2020-04-11 一种空间编码结构光三维扫描方法与*** Active CN111336949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010281877.8A CN111336949B (zh) 2020-04-11 2020-04-11 一种空间编码结构光三维扫描方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010281877.8A CN111336949B (zh) 2020-04-11 2020-04-11 一种空间编码结构光三维扫描方法与***

Publications (2)

Publication Number Publication Date
CN111336949A CN111336949A (zh) 2020-06-26
CN111336949B true CN111336949B (zh) 2023-06-02

Family

ID=71180765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010281877.8A Active CN111336949B (zh) 2020-04-11 2020-04-11 一种空间编码结构光三维扫描方法与***

Country Status (1)

Country Link
CN (1) CN111336949B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111707192B (zh) * 2020-07-08 2021-07-06 中国科学院长春光学精密机械与物理研究所 正弦相移非对称结合格雷码的结构光编解码方法及装置
CN112985307B (zh) * 2021-04-13 2023-03-21 先临三维科技股份有限公司 一种三维扫描仪、***及三维重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697233B (zh) * 2009-10-16 2012-06-06 长春理工大学 一种基于结构光的三维物体表面重建方法
JP2011237296A (ja) * 2010-05-11 2011-11-24 Nippon Telegr & Teleph Corp <Ntt> ３次元形状計測方法、３次元形状計測装置、及びプログラム
US8836766B1 (en) * 2011-11-23 2014-09-16 Creaform Inc. Method and system for alignment of a pattern on a spatial coded slide image
CN109242957A (zh) * 2018-08-27 2019-01-18 深圳积木易搭科技技术有限公司 一种基于多重约束的单帧编码结构光三维重建方法

Also Published As

Publication number Publication date
CN111336949A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
US7145556B2 (en) Method and device for decoding a position-coding pattern
US9207070B2 (en) Transmission of affine-invariant spatial mask for active depth sensing
JP5908113B2 (ja) 二次元コード
CN108122254B (zh) 基于结构光的三维图像重建方法、装置及存储介质
KR100960786B1 (ko) 2ｄ 부호의 인코딩 디코딩 방법 및 시스템
US6758399B1 (en) Distortion correction method in optical code reading
CN111336949B (zh) 一种空间编码结构光三维扫描方法与***
US20070272755A1 (en) Two-directional bar code symbol and its encoding &amp; decoding method
JP6254548B2 (ja) 高容量２ｄカラーバーコード、及び高容量２ｄカラーバーコードのデコード方法
TWI501159B (zh) QR code
US6839450B2 (en) Detecting halftone modulations embedded in an image
CN112184826B (zh) 一种标定板和标定方法
CN108895979B (zh) 线段编码的结构光深度获取方法
US20190213753A1 (en) Three-dimensional measurement apparatus and three-dimensional measurement method
CN111336950B (zh) 一种空间编码与线结构光相结合的单帧测量方法与***
Kim et al. Antipodal gray codes for structured light
CN111340957B (zh) 测量方法和***
CN111783877B (zh) 基于单帧网格复合编码模板结构光的深度信息测量方法
CN111307069A (zh) 一种密集平行线结构光三维扫描方法与***
JP4232676B2 (ja) 情報検出装置，画像処理システム，および情報検出方法
CN112183695B (zh) 编码方法、编码图形、编码图形读取方法和拍摄装置
CN108038898B (zh) 一种单帧二值结构光编解码方法
CN112184803A (zh) 一种标定板和标定方法
Hu et al. Robust 3D shape reconstruction from a single image based on color structured light
Chen et al. A light field sparse representation structure and its fast coding technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant