CN111649694B - 一种隐式相位-视差映射的双目测量缺失点云插补方法 - Google Patents

一种隐式相位-视差映射的双目测量缺失点云插补方法 Download PDF

Info

Publication number
CN111649694B
CN111649694B CN202010498673.XA CN202010498673A CN111649694B CN 111649694 B CN111649694 B CN 111649694B CN 202010498673 A CN202010498673 A CN 202010498673A CN 111649694 B CN111649694 B CN 111649694B
Authority
CN
China
Prior art keywords
parallax
phase
camera
binocular
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010498673.XA
Other languages
English (en)
Other versions
CN111649694A (zh
Inventor
薛俊鹏
王齐明
张启灿
刘元坤
陈超文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010498673.XA priority Critical patent/CN111649694B/zh
Publication of CN111649694A publication Critical patent/CN111649694A/zh
Application granted granted Critical
Publication of CN111649694B publication Critical patent/CN111649694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了双目条纹投影三维面形测量点云数据孔洞插补技术领域的一种隐式相位‑视差映射的双目测量缺失点云插补方法。步骤包括：S1，计算双目匹配视差数据，获得视差匹配成功区域和视差缺失区域；S2，对视差缺失区域的单相机相位进行归一化处理；S3，根据视差匹配成功区域的单相机相位和双目匹配视差数据，计算隐式相位‑视差映射关系模型参数；S4，根据视差缺失区域的归一化单相机相位和隐式相位‑视差映射关系模型参数，计算视差缺失区域的视差数据；S5，获得完整视差数据，计算三维点云数据。本发明的方法避免了因映射关系中精度不一致造成的插补点云数据分层和边界阶梯跳变的现象。并且孔洞视差补全方法更简单，计算速度更快。

Description

一种隐式相位-视差映射的双目测量缺失点云插补方法
技术领域
本发明涉及双目条纹投影三维面形测量点云数据孔洞插补的技术领域，特别涉及一种隐式相位-视差映射的双目测量缺失点云插补方法。
背景技术
基于条纹投影的结构光三维测量技术(Fringe Projection Profilometry:FPP)具有非接触、全场获取、分辨率高、测量精度高等优点，已成为重要的三维数据测量手段。FPP的市场应用领域广泛，如基于红外条纹投影的3D人脸数据测量FPP为具有更好防伪性的3D人脸识别提供基本的数据来源，在国土安防安全和支付安全等领域FPP成为生物识别新技术的争夺战场；在航空航天等高端制造中，FPP用于对部组件复杂面形的三维数据测量与检测；FPP还应用于逆向工程、文物数字化保护、口腔正畸和虚拟现实等领域。
FPP技术中，基于条纹投影的双目测量***因其测量精度高而更受青睐。由于双目***图像对应点的匹配是在两台相机测量视场的公共区域中进行的，而***中两台相机的位置存在一定夹角，容易受待测物体表面的遮挡和阴影等因素影响，出现一幅图像中的相位值在另一幅图像中无法找到对应的匹配相位，也就无法获取该点的视差值，最终在物体重建的三维点云数据中对应出现缺失和孔洞，影响被测物体三维模型的完整性及重建质量。因此，对点云数据中的孔洞进行补全具有重要价值。
近年来，国内外许多学者对重建缺失区域点云数据进行了研究。Wang J在对点云数据作三角剖分的基础上，提出一种移动最小二乘方法插补点云的缺失部分，但在缺失区域形状复杂时效果不够理想。Dinesh C提出一种基于样本结构的三维点云插补方法，缺失区域较大时仍有较好结果，但算法复杂且存在大量迭代过程，耗时较多。雷彦章提出一种单双目结合的测量方法，分别将两个相机与投影仪组成两套单目***对缺失区域进行补全，但是需要同时进行双目***和单目***标定及完成三套***坐标系的统一。张利萍基于盖绍彦提出的相位-高度映射模型提出一种双目点云重建单目点云的方法，但在计算该映射模型参数时会引入误差。于瑾提出一种改进的最近点迭代(ICP)算法，提高了算法鲁棒性，将不同视角下的点云数据融合到相同坐标系下，但仍存在多次迭代耗时的问题。耿英楠提出了一种基于RGB矢量空间的三目立体匹配算法，改善了遮挡区域和其他一些原因导致的误匹配问题，但是增加了一台相机的成本，且计算过程较为复杂。李承杭等针对竖直条纹相位高度映射近似相等假设提出隐式相位-高度映射的单双目测量方法，但该方法依靠近似数假设导致不够精度。上述方法对重建缺失区域点云数据虽有改进，但都存在着不同的缺陷，因此，需要对重建缺失区域点云数据进行改进，以克服缺陷。
作为本发明最接近的现有技术，专利《一种基于相位伪映射的双目测量缺失点云插补方法》公开了一种基于相位伪映射的双目测量缺失点云插补方法，对上述重建缺失区域点云数据的方法进行了改进，孔洞插补中计算过程简单，耗时少，效率高，成本低。步骤包括：1，获取双目点云数据，并确定孔洞区域；2，根据所述孔洞区域周围每一列的相位和双目点云数据，计算出孔洞区域内相位-高度映射参数；3，根据孔洞区域内相位-高度映射参数，对孔洞区域相应列的单相机可见相位进行伪相位-高度映射重建，依次完成孔洞区域内每一列的高度数据计算；4，将孔洞区域的高度数据转换到双目视觉点云坐标系，得到完整的点云。但是从步骤中看到，基于双目相机建立了孔洞区域内相位-高度的映射关系，并且基于单目相机建立了伪相位-高度的映射关系，然而两个映射关系计算出的高度未经过修正，因此精度存在着一定的差异，将孔洞区域的点云数据补入后，在孔洞区域边界有明显的分层现象和边界阶梯跳变，三维重建效果欠佳。另外，方法中，先要基于双目相机建立孔洞区域内相位-高度的映射关系，还要基于单目相机建立了伪相位-高度的映射关系，步骤上也略显繁琐，影响了数据处理的速度。
发明内容
本发明的目的在于，对现有的基于相位伪映射的双目测量缺失点云插补方法进行改进，在步骤中增加了归一化处理，并简化了模型建立的过程，不再需要基于双目相机建立孔洞区域内相位-高度的映射关系，而是直接建立单个相机中去载频展开相位与匹配视差之间的数学模型，即隐式相位-视差关系模型，再根据空洞区域每个像素点的归一化单相机相位值，求得孔洞区域的视差，从而补全孔洞区域的点云数据，因此提出了一种隐式相位-视差映射的双目测量缺失点云插补方法。
为了实现上述发明目的，本发明提供了以下技术方案：
一种隐式相位-视差映射的双目测量缺失点云插补方法，包括以下步骤：
S1，基于双目相机视差匹配原理计算得到双目匹配视差数据，获得与双目匹配视差数据相对应的视差匹配成功区域，并确定未生成双目匹配视差数据的视差缺失区域；
S2，根据参考基准平面的单相机相位，对视差缺失区域的单相机相位进行归一化处理，获得视差缺失区域的归一化单相机相位；
S3，根据视差匹配成功区域的单相机相位和双目匹配视差数据，计算隐式相位-视差映射关系模型参数；
S4，根据视差缺失区域的归一化单相机相位和隐式相位-视差映射关系模型参数，计算视差缺失区域的视差数据；
S5、根据视差缺失区域的视差数据和双目匹配视差数据，获得完整的视差数据，并根据完整的视差数据计算出完整的三维点云数据。
进一步的，步骤S2包括以下步骤：
A，获取双目相机中左相机或右相机的视差缺失区域相应的单相机相位；
B，将视差缺失区域相应的单相机相位减去参考基准平面的单相机相位，得到归一化单相机相位。
作为本发明的优选方案，参考基准平面的单相机相位的获取包括以下步骤：
对双目相机视差测量***进行内外参数标定后，对参考基准平面进行测量，获得参考基准平面左相机展开相位和右相机展开相位，左相机展开相位或右相机展开相位为参考基准平面的单相机相位。
作为本发明的优选方案，在获取视差缺失区域相应的单相机相位之前，还要进行视差缺失区域单相机相位的完整性判断，完整性判断是指：针对视差缺失区域，判断是基于左相机获取的单相机相位更完整还是基于右相机获取的单相机相位更完整，若基于左相机获取的单相机相位更完整，则将视差缺失区域相应的左相机相位减去参考基准平面的左相机展开相位，得到归一化单相机相位；若基于右相机获取的单相机相位更完整，则将视差缺失区域相应的右相机相位减去参考基准平面的右相机展开相位，得到归一化单相机相位。
进一步的，步骤S3中的隐式相位-视差映射关系模型表示为：
Figure GDA0002938022840000051
其中，scale(u,v)是隐式相位-视差映射关系模型参数，dng(u,v)是视差匹配成功区域相应的双目匹配视差数据；
Figure GDA0002938022840000052
是视差匹配成功区域相应的单相机相位，u是图像中的列坐标，v是图像中的行坐标。
作为本发明的优选方案，最优隐式相位-视差映射关系模型参数的计算包括以下步骤：
对视差匹配成功区域的单相机相位进行归一化处理，获得视差匹配成功区域的归一化展开相位；
对视差匹配成功区域的视差数据进行归一化处理，获得视差匹配成功区域的归一化视差数据；
根据视差匹配成功区域的归一化展开相位和视差匹配成功区域的归一化视差数据，基于隐式相位-视差映射关系模型，计算归一化的相位和视差比例系数；
对归一化的相位和视差的比例系数进行最小二乘优化，计算出最优隐式相位-视差映射关系模型参数。
进一步的，最优隐式相位-视差映射关系模型参数的数学表达式为：
Figure GDA0002938022840000053
其中，scalej是视差匹配成功区域中单个像素点相应的归一化的相位和视差比例系数，j是像素点的编号，n是像素点的总数，scale是最优隐式相位-视差映射关系模型参数。
进一步的，步骤S4中计算视差缺失区域的视差数据的公式表示为：
Figure GDA0002938022840000061
其中，scale是最优隐式相位-视差映射关系模型参数，dnk(u,v)是视差缺失区域的视差数据，
Figure GDA0002938022840000062
是视差缺失区域的归一化单相机相位，u是图像中的列坐标，v是图像中的行坐标。
作为本发明的优选方案，三维点云数据的计算公式是：
Figure GDA0002938022840000063
其中，xc,yc,zc是双目点云数据三维坐标，d＝uleft-uright，d是物体表面同一点在左右像平面上的匹配点在图像列方向的像素坐标之差，uleft是物体表面同一点在左像平面上的图像列坐标，uright是物体表面同一点在右像平面上的图像列坐标，B为双目相机光心间距离，f为相机有效焦距，物体表面同一点在左右像平面上行坐标相等，vleft＝vright＝v。
基于相同的构思，本发明还提出了一种隐式相位-视差映射的双目测量缺失点云插补***，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。
与现有技术相比，本发明的有益效果：
1、本发明的方法直接建立隐式相位-视差关系模型，根据孔洞的归一化单相机相位和隐式相位-视差关系模型直接计算出孔洞视差数据，最后将完整的视差数据由双目立体视觉计算公式计算出三维点云。步骤中，对孔洞区域单个相机的展开相位和视差，通过参考基准平面的展开相位和视差，进行了坐标系归一化处理，并根据左右相机绝对相位、匹配视差和被测面形高度三者之间的关系，得出了展开相位和匹配视差之间的数学模型，即隐式相位-视差关系模型，根据孔洞区域单个相机的展开相位和隐式相位-视差关系模型，求得孔洞区域的视差数据，在求取孔洞区域内像素相位对应的视差时，避免了因映射关系中精度不一致造成的插补点云数据分层现象和边界阶梯跳变的现象。
2、本发明的方法使得双目测量缺失点云插补方法的步骤进一步简化，只建立一个隐式相位-视差关系模型，就完成了孔洞视差的补全，方法更简单，计算速度更快。
附图说明
图1为本发明实施例1中的双目条纹投影三维测量***的测试原理图；
图2为本发明实施例1中的左相机和右相机分别获得完整的单相机相位示意图；
图3为本发明实施例1中的物体重建三维点云数据出现孔洞现象示意图；
图4为本发明实施例1中的一行像素数据对应匹配视差与单相机原始相位的关系；
图5为本发明实施例1中统一坐标系后经过比例乘积的相位与视差的关系；
图6为本发明实施例1中的一种隐式相位-视差映射的双目测量缺失点云插补方法流程图；
图7为本发明实施例1中的基于条纹投影双目测量***获取的存在孔洞的视差数据示意图；
图8为本发明实施例1中的双目***测量不同物体结果中孔洞实例示意图；
图9为本发明实施例1中的采用本发明的方法进行孔洞视差填补后相应物体的三维重建无孔洞实例示意图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
本发明研究对象为基于条纹投影的双目结构光三维测量***，特别是研究双目条纹投影***中缺失数据的高精度计算方法。
在双目条纹投影测量***中，图像同名点的不匹配是指，在两台相机视场的公共区域，如图1所示，两台相机存在的夹角对于复杂面形物体表面易受遮挡影响，出现一幅图像中的相位值在另一幅图像中无法找到对应匹配相位。由于图像同名点的不匹配，因此无法获取该点视差值，最终导致物体重建三维点云数据出现孔洞现象。三维点云数据出现孔洞现象由图2和图3所示，可以进一步理解为：如图2所示，左相机能完整的拍摄到条纹投影图像的鼻翼左侧部分，获得左相机单相机相位，但是由于被遮挡，右相机不能拍摄到相应的鼻翼左侧部分，因此鼻翼左侧部分同名点不匹配，视差值无法计算，同理，鼻翼右侧部分的视差值也无法计算，在重建三维点云数据是，就出现了如图3所示的鼻翼两侧的孔洞现象，因此需要对孔洞部分进行视差补全。
在基于相位的双目视差匹配算法中，由预先标定好的摄像机内参数、双目相机之间相对的旋转及平移参数对左右相机展开相位进行立体校正，校正后的相位图像中同名点处于同一行上，左相机中的任一相位值只需在右相机同一行上查找等相位值像素点即可完成高精度视差匹配。
在以上基于相位匹配的结构光测量计算流程中，其涉及的左右相机绝对展开相位、匹配视差和被测面形高度存在着如下关系：
1)匹配视差与被测面形高度成反比；
2)去载频后的相位与被测面形高度成正比；
因此，单个相机中所计算的去载频展开相位与匹配视差之间必然有着统一且精确的数学模型，即隐式相位-视差关系模型。如图4所展示的一行像素对应信息所示，其含有载频的相位与匹配视差并未显示出存在某种定性的关系。当去掉载频后通过坐标统一和比例变换则其相位与匹配视差呈现出完美的一致性，如图5所示。
对比图4和图5，得到了这样的启示，去载频统一坐标系后可建立双目匹配视差数据与单相机相位之间一定的关系，即生成隐式相位-视差关系模型，通过隐式相位-视差关系模型可直接通过孔洞区域的单相机相位，计算得到孔洞区域的视差数据，完成孔洞区域的视差补全。双目匹配视差数据的统一坐标系和去载频，可以采用基准平面的展开相位和匹配视差来实现。
具体的基于相位伪映射的双目匹配缺失点云插补方法流程图如图6所示，包括以下步骤：
S1，基于双目相机视差匹配原理计算得到双目匹配视差数据，获得与双目匹配视差数据相对应的视差匹配成功区域，并确定未生成双目匹配视差数据的视差缺失区域；
S2，根据参考基准平面的单相机相位，对视差缺失区域的单相机相位进行归一化处理，获得视差缺失区域的归一化单相机相位；
S3，根据视差匹配成功区域的单相机相位和双目匹配视差数据，计算隐式相位-视差映射关系模型参数；
S4，根据视差缺失区域的归一化单相机相位和隐式相位-视差映射关系模型参数，计算视差缺失区域的视差数据；
S5、根据视差缺失区域的视差数据和双目匹配视差数据，获得完整的视差数据，并根据完整的视差数据计算出完整的三维点云数据。
作为优选方案，步骤S1中包括以下步骤：
首先，对测量***参数进行校准与标定。
采用张正友二维平面标定法对条纹投影双目测量***进行内外参数标定；标定后，双目测量***对标准平面进行测量，对获取的平面条纹图像计算展开相位，根据标定参数对相位图像作极线校正，以相位值为基元进行立体匹配计算视差。完成对参考基准平面参数的测量和数据保存，分别获得左右相机的展开相位
Figure GDA0002938022840000101
与视差dk0(u,v)，k代表左相机和右相机，u是图像中的列坐标，v是图像中的行坐标。
其次，采用该双目测量***，中间投影仪投射条纹到被测物体，左右两个相机拍照，获取调制后的条纹图像，根据双目视觉成像模型计算出左右相机所拍摄的公共区域的三维坐标数据，即获取了双目点云数据。
双目视觉成像模型如式(1)所示：
Figure GDA0002938022840000111
式中d＝uleft-uright，即视差，是物体表面同一点在左右像平面上的匹配点在图像列方向的像素坐标之差；uleft是该点在左像平面上的列坐标，uright是该点在右像平面上的列坐标。对于极线校正后的左右两幅图像是行对准的，即图像的行坐标vleft＝vright＝v。两相机光心间距离为极线B，相机有效焦距为f，极线B和相机有效焦距f均由***参数标定中获得。
由上述计算过程可以知道，要计算双目点云数据，计算视差是关键。因此测量时，获取被测物体的调制条纹图像序列后，就可以得到左相机绝对展开相位或右相机绝对展开相位，并根据双目相机视差匹配原理计算出双目匹配视差数据，此时，计算出双目匹配视差数据的区域为视差匹配成功区域，同时，由于被遮挡，无法计算视差值的区域也被确定，命名为视差缺失区域。基于条纹投影双目测量***获取的存在孔洞的视差数据示意图如图7所示，其中灰色点表示双目成功匹配的视差对应像素点位置，黑色点表示视差孔洞区域对应的像素点，u是图像中的列坐标，v是图像中的行坐标。
作为优选方案，步骤S2具体包括以下步骤：
利用步骤S1中获得的参考基准平面左右相机的展开相位
Figure GDA0002938022840000126
与视差dk0(u,v)对获取的展开相位和视差数据进行坐标系归一化处理。
获取双目相机中左相机或右相机的视差缺失区域相应的单相机相位。在获取视差缺失区域相应的单相机相位之前，还要进行视差缺失区域单相机相位的完整性判断，完整性判断是指：针对视差缺失区域，判断是基于左相机获取的单相机相位更完整还是基于右相机获取的单相机相位更完整，若基于左相机获取的单相机相位更完整，则将视差缺失区域相应的左相机相位减去参考基准平面的左相机展开相位，得到归一化单相机相位；若基于右相机获取的单相机相位更完整，则将视差缺失区域相应的右相机相位减去参考基准平面的右相机展开相位，得到归一化单相机相位。
将视差缺失区域相应的单相机相位减去参考基准平面的单相机相位，得到视差缺失区域归一化单相机相位。计算过程可表示为：
Figure GDA0002938022840000121
其中，
Figure GDA0002938022840000122
是视差缺失区域相应的单相机相位，
Figure GDA0002938022840000123
是参考基准平面左右相机的展开相位，
Figure GDA0002938022840000124
是视差缺失区域归一化单相机相位，u是图像中的列坐标，v是图像中的行坐标。
进一步的，步骤S3中，根据视差匹配区域的单相机相位和双目匹配视差数据建立的隐式相位-视差映射关系模型表示为：
Figure GDA0002938022840000125
其中，scale(u,v)是隐式相位-视差映射关系模型参数，dng(u,v)是视差匹配区域相应的双目匹配视差数据；
Figure GDA0002938022840000131
是视差匹配区域相应的单相机相位，u是图像中的列坐标，v是图像中的行坐标。
对每个像素所计算的scale(u,v)理论值均相等，即scale(u,v)的所有值均在同一个空间平面，为了获得更加稳定的隐式相位-视差映射关系模型参数。将视差成功匹配区域归一化后的展开相位
Figure GDA0002938022840000132
与视差dng(u,v)数据所计算的scale(u,v)进行最小二乘优化，计算出最优的隐式相位-视差映射关系模型参数scale。
最优隐式相位-视差映射关系模型参数scale的计算包括以下步骤：
A、对视差匹配区域的单相机相位进行归一化处理，获得视差匹配区域的归一化展开相位；
B、对视差匹配区域的视差数据进行归一化处理，获得视差匹配区域的归一化视差数据；
C、根据视差匹配区域的归一化展开相位和视差匹配区域的归一化视差数据，基于隐式相位-视差映射关系模型，计算归一化的相位和视差比例系数；
D、对归一化的相位和视差的比例系数进行最小二乘优化，计算出最优隐式相位-视差映射关系模型参数。
最优隐式相位-视差映射关系模型参数的数学表达式为：
Figure GDA0002938022840000133
其中，scalej是所述视差匹配区域中单个像素点相应的归一化的相位和视差比例系数，j是像素点的编号，n是像素点的总数，scale是最优隐式相位-视差映射关系模型参数。
其中步骤S4具体为：将步骤S2中计算得到的视差缺失区域归一化单相机相位和步骤S3中计算得到的最优隐式相位-视差映射关系模型参数scale代入隐式相位-视差映射关系模型，就求得了视差缺失区域的视差数据，计算所述视差缺失区域的视差数据的公式表示为：
Figure GDA0002938022840000141
其中，scale是最优隐式相位-视差映射关系模型参数，dnk(u,v)是所述视差缺失区域的视差数据，
Figure GDA0002938022840000142
是所述视差缺失区域的归一化单相机相位，u是图像中的列坐标，v是图像中的行坐标。
最后，步骤S5中，根据视差缺失区域的视差数据和双目匹配视差数据，获得完整的视差数据，将完整的视差数据代入公式(1)中，就计算出完整的三维点云数据。
双目***测量不同物体结果中孔洞实例示意图如图8所示，采用本发明的方法进行孔洞视差填补后相应物体的三维重建无孔洞实例示意图如图9所示。有对比可以看出，完全消除了孔洞，并且计算数据较快。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种隐式相位-视差映射的双目测量缺失点云插补方法，其特征在于，包括以下步骤：
S1，基于双目相机视差匹配原理计算得到双目匹配视差数据，获得与所述双目匹配视差数据相对应的视差匹配成功区域，并确定未生成双目匹配视差数据的视差缺失区域；
S2，根据参考基准平面的单相机相位，对所述视差缺失区域的单相机相位进行归一化处理，获得所述视差缺失区域的归一化单相机相位；
S3，根据所述视差匹配成功区域的单相机相位和所述双目匹配视差数据，计算隐式相位-视差映射关系模型参数；
S4，根据所述视差缺失区域的归一化单相机相位和所述隐式相位-视差映射关系模型参数，计算所述视差缺失区域的视差数据；
S5、根据所述视差缺失区域的视差数据和所述双目匹配视差数据，获得完整的视差数据，并根据所述完整的视差数据计算出完整的三维点云数据；
所述步骤S3中的所述隐式相位-视差映射关系模型表示为：
Figure FDA0002938022830000011
其中，scale(u,v)是隐式相位-视差映射关系模型参数，dng(u,v)是所述视差匹配成功区域相应的双目匹配视差数据；
Figure FDA0002938022830000012
是所述视差匹配成功区域相应的单相机相位，u是图像中的列坐标，v是图像中的行坐标。
2.如权利要求1所述的一种隐式相位-视差映射的双目测量缺失点云插补方法，其特征在于，所述步骤S2包括以下步骤：
A，获取双目相机中左相机或右相机的所述视差缺失区域相应的单相机相位；
B，将所述视差缺失区域相应的单相机相位减去参考基准平面的单相机相位，得到归一化单相机相位。
3.如权利要求2所述的一种隐式相位-视差映射的双目测量缺失点云插补方法，其特征在于，参考基准平面的单相机相位的获取包括以下步骤：
对双目相机视差测量***进行内外参数标定后，对参考基准平面进行测量，获得参考基准平面左相机展开相位和右相机展开相位，所述左相机展开相位或右相机展开相位为所述参考基准平面的单相机相位。
4.如权利要求3所述的一种隐式相位-视差映射的双目测量缺失点云插补方法，其特征在于，在获取所述视差缺失区域相应的单相机相位之前，还要进行所述视差缺失区域单相机相位的完整性判断，所述完整性判断是指：针对所述视差缺失区域，判断是基于左相机获取的单相机相位更完整还是基于右相机获取的单相机相位更完整，若基于左相机获取的单相机相位更完整，则将所述视差缺失区域相应的左相机相位减去所述参考基准平面的左相机展开相位，得到归一化单相机相位；若基于右相机获取的单相机相位更完整，则将所述视差缺失区域相应的右相机相位减去所述参考基准平面的右相机展开相位，得到归一化单相机相位。
5.如权利要求1所述的一种隐式相位-视差映射的双目测量缺失点云插补方法，其特征在于，最优隐式相位-视差映射关系模型参数的计算包括以下步骤：
对所述视差匹配成功区域的单相机相位进行归一化处理，获得所述视差匹配成功区域的归一化展开相位；
对所述视差匹配成功区域的视差数据进行归一化处理，获得所述视差匹配成功区域的归一化视差数据；
根据所述视差匹配成功区域的归一化展开相位和所述视差匹配成功区域的归一化视差数据，基于所述隐式相位-视差映射关系模型，计算归一化的相位和视差比例系数；
对所述归一化的相位和视差的比例系数进行最小二乘优化，计算出最优隐式相位-视差映射关系模型参数。
6.如权利要求5所述的一种隐式相位-视差映射的双目测量缺失点云插补方法，其特征在于，所述最优隐式相位-视差映射关系模型参数的数学表达式为：
Figure FDA0002938022830000031
其中，scalej是所述视差匹配成功区域中单个像素点相应的归一化的相位和视差比例系数，j是像素点的编号，n是像素点的总数，scale是最优隐式相位-视差映射关系模型参数。
7.如权利要求6所述的一种隐式相位-视差映射的双目测量缺失点云插补方法，其特征在于，步骤S4中所述计算所述视差缺失区域的视差数据的公式表示为：
Figure FDA0002938022830000032
其中，scale是最优隐式相位-视差映射关系模型参数，dnk(u,v)是所述视差缺失区域的视差数据，
Figure FDA0002938022830000041
是所述视差缺失区域的归一化单相机相位，u是图像中的列坐标，v是图像中的行坐标。
8.如权利要求7所述的一种隐式相位-视差映射的双目测量缺失点云插补方法，其特征在于，所述三维点云数据的计算公式是：
Figure FDA0002938022830000042
其中，xc,yc,zc是双目点云数据三维坐标，d＝uleft-uright，d是物体表面同一点在左右像平面上的匹配点在图像列方向的像素坐标之差，uleft是所述物体表面同一点在左像平面上的图像列坐标，uright是所述物体表面同一点在右像平面上的图像列坐标，B为双目相机光心间距离，f为相机有效焦距，所述物体表面同一点在左右像平面上行坐标相等，vleft＝vright＝v。
9.一种隐式相位-视差映射的双目测量缺失点云插补***，其特征在于，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行所述权利要求1-8任一项的方法。
CN202010498673.XA 2020-06-04 2020-06-04 一种隐式相位-视差映射的双目测量缺失点云插补方法 Active CN111649694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010498673.XA CN111649694B (zh) 2020-06-04 2020-06-04 一种隐式相位-视差映射的双目测量缺失点云插补方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010498673.XA CN111649694B (zh) 2020-06-04 2020-06-04 一种隐式相位-视差映射的双目测量缺失点云插补方法

Publications (2)

Publication Number Publication Date
CN111649694A CN111649694A (zh) 2020-09-11
CN111649694B true CN111649694B (zh) 2021-05-04

Family

ID=72341160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010498673.XA Active CN111649694B (zh) 2020-06-04 2020-06-04 一种隐式相位-视差映射的双目测量缺失点云插补方法

Country Status (1)

Country Link
CN (1) CN111649694B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215871B (zh) * 2020-09-29 2023-04-21 武汉联影智融医疗科技有限公司 一种基于机器人视觉的移动目标追踪方法及装置
CN112419389B (zh) * 2020-11-25 2024-01-23 中科融合感知智能研究院(苏州工业园区)有限公司 一种实现双目增量视差匹配算法的方法及装置
CN113240740B (zh) * 2021-05-06 2022-07-12 四川大学 基于相位引导双目视觉密集标记点匹配的姿态测量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
CN102682475A (zh) * 2012-05-11 2012-09-19 北京师范大学 一种基于地面激光雷达点云数据自适应构建三维树木骨架的方法
CN106228605A (zh) * 2016-07-29 2016-12-14 东南大学 一种基于动态规划的立体匹配三维重建方法
CN106780721A (zh) * 2016-11-30 2017-05-31 北京矿冶研究总院 三维激光螺旋扫描点云三维重建方法
CN107945268A (zh) * 2017-12-15 2018-04-20 深圳大学 一种基于二元面结构光的高精度三维重建方法及***
CN109712230A (zh) * 2018-11-27 2019-05-03 先临三维科技股份有限公司 三维模型补充方法、装置、存储介质及处理器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
CN102682475A (zh) * 2012-05-11 2012-09-19 北京师范大学 一种基于地面激光雷达点云数据自适应构建三维树木骨架的方法
CN106228605A (zh) * 2016-07-29 2016-12-14 东南大学 一种基于动态规划的立体匹配三维重建方法
CN106780721A (zh) * 2016-11-30 2017-05-31 北京矿冶研究总院 三维激光螺旋扫描点云三维重建方法
CN107945268A (zh) * 2017-12-15 2018-04-20 深圳大学 一种基于二元面结构光的高精度三维重建方法及***
CN109712230A (zh) * 2018-11-27 2019-05-03 先临三维科技股份有限公司 三维模型补充方法、装置、存储介质及处理器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于相位映射的双目视觉缺失点云插补方法;李承杭;《光学学报》;20200131;第40卷(第1期);第0111019-1-0111019-10页 *

Also Published As

Publication number Publication date
CN111649694A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
Ishikawa et al. Lidar and camera calibration using motions estimated by sensor fusion odometry
CN111649694B (zh) 一种隐式相位-视差映射的双目测量缺失点云插补方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
Zhu et al. Reliability fusion of time-of-flight depth and stereo geometry for high quality depth maps
CN112053432B (zh) 一种基于结构光与偏振的双目视觉三维重建方法
US8593524B2 (en) Calibrating a camera system
CN110349257B (zh) 一种基于相位伪映射的双目测量缺失点云插补方法
CN109727290B (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
CN113205592B (zh) 一种基于相位相似性的光场三维重建方法及***
Aliaga et al. A self-calibrating method for photogeometric acquisition of 3D objects
WO2010133007A1 (en) Techniques for rapid stereo reconstruction from images
CN110940295B (zh) 基于激光散斑极限约束投影的高反射物体测量方法及***
CN107610183B (zh) 一种条纹投影相位高度转换映射模型的标定方法
CN113108721B (zh) 基于多光束自适应互补匹配的高反光物体三维测量方法
CN106170086B (zh) 绘制三维图像的方法及其装置、***
CN110599578A (zh) 一种真实感三维彩色纹理重建方法
CN110458952B (zh) 一种基于三目视觉的三维重建方法和装置
CN116188558B (zh) 基于双目视觉的立体摄影测量方法
CN110852979A (zh) 一种基于相位信息匹配的点云配准及融合方法
CN112489109B (zh) 一种三维成像***方法、装置及三维成像***
CN111724464A (zh) 一种移动测量点云着色方法及其装置
Belhedi et al. Non-parametric depth calibration of a tof camera
GB2569609A (en) Method and device for digital 3D reconstruction
CN112164119A (zh) 一种适用于狭小空间的环绕放置多摄像机***标定方法
CN116129033A (zh) 一种基于单幅单频的双目结构光动态三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant