CN107730543B - 一种半稠密立体匹配的快速迭代计算方法 - Google Patents

一种半稠密立体匹配的快速迭代计算方法 Download PDF

Info

Publication number
CN107730543B
CN107730543B CN201710805755.2A CN201710805755A CN107730543B CN 107730543 B CN107730543 B CN 107730543B CN 201710805755 A CN201710805755 A CN 201710805755A CN 107730543 B CN107730543 B CN 107730543B
Authority
CN
China
Prior art keywords
point
points
matching
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710805755.2A
Other languages
English (en)
Other versions
CN107730543A (zh
Inventor
周剑
唐荣富
龙学军
徐一丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Science & Technology Co ltd
Original Assignee
Chengdu Topplusvision Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Science & Technology Co ltd filed Critical Chengdu Topplusvision Science & Technology Co ltd
Priority to CN201710805755.2A priority Critical patent/CN107730543B/zh
Publication of CN107730543A publication Critical patent/CN107730543A/zh
Application granted granted Critical
Publication of CN107730543B publication Critical patent/CN107730543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，其公开了一种半稠密立体匹配的快速迭代计算方法，在满足获得较高匹配精度情况的同时，提高匹配速度。该方法可概括为：分别提取左图像、右图像的特征点，构建特征描述子；然后，根据特征描述子以及极线约束，完成左右图的特征点匹配,匹配成功的特征点称为支撑点；接着，在左图像根据支撑点构建Delaunay三角形，估计左图像所有像素点的先验视差di；并计算先验视差di对应的代价误差Ci，获得本次迭代的所有支撑点的最小代价误差Cmin；对支撑点集合和最小代价误差不断迭代更新，直至满足迭代停止条件，最后，根据左图像每个像素点的视差计算其在右图像中的匹配点。

Description

一种半稠密立体匹配的快速迭代计算方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种半稠密立体匹配的快速迭代计算方法。
背景技术
图像立体匹配是计算机视觉、摄影测量、计算机图形学学科的一个重要分支，在许多应用中具有十分重要的价值。图像匹配可分为稀疏匹配(sparse matching)和密集匹配(dense matching)。稀疏匹配一般是提取图像上具有较强纹理的特征点，然后通过特征描述子计算匹配代价，获得最优的匹配。由于特征点的稀疏性，稀疏匹配在很多应用中无法提供足够数目的特征点及三维点，因此只能获得较为有限的三维世界信息。密集匹配是对图像的每个像素点进行匹配，因此能够获得密集的三维世界信息。密集匹配的算法可分为全局方法和局部方法两类。近年来，随着局部方法的新算法不断涌现和改进，性能不断提升，密集匹配的方法已经能够应用于某些实时场合(如，某些密集匹配算法经优化后应用于当前移动处理芯片(如ARM和Movidius)上，QVGA图像的处理效率可达到30fps的)。但是，密集匹配由于其固有的计算限制，无法达到更高的处理帧频(如，在等同运算条件下获得VGA图像效率30fps或更高)。
因此，传统技术中的上述两种立体方案存在以下缺陷：稀疏匹配处理效率较高，但无法提供足够数量的匹配点信息；密集匹配可获得密集的匹配点信息，但无法获得较高的处理效率，无法适应愈来愈高的行业要求。
发明内容
本发明所要解决的技术问题是：提出一种半稠密立体匹配的快速迭代计算方法，在满足获得较高匹配精度情况的同时，提高匹配速度。
本发明解决上述技术问题所采用的方案是：
一种半稠密立体匹配的快速迭代计算方法，包括以下步骤：
a.利用双目摄像机获取左图像和右图像；
b.分别提取左图像、右图像的特征点，构建特征描述子；
c.根据特征描述子以及极线约束，完成左右图的特征点匹配,匹配成功的特征点称为支撑点；
d.在左图像根据支撑点构建Delaunay三角形；
e.估计左图像所有像素点的先验视差di；
f.计算每个像素点的先验视差di对应的代价误差Ci，获得本次迭代的所有支撑点的最小代价误差Cmin；
g.获取可靠的匹配点为控制点，将可靠性排列居前的多个控制点设置为新的支撑点，更新支撑点集合和最小代价误差Cmin；
h.判断是否满足迭代停止条件，若满足，则停止迭代计算，进入步骤i；若不满足，则返回步骤d，继续迭代计算；
i.根据左图像每个像素点的视差计算其在右图像中的匹配点。
作为进一步优化，步骤a中，双目摄像机的左摄像头获取的图像为左图像，右摄像头获取的图像为右图像。
作为进一步优化，步骤b中，利用SIFT算法分别对左图像和右图像进行特征点提取，具体包括：
b1.使用高斯滤波器对左图像进行多个次连续滤波建立第一个尺度组；
b2.将左图像减小到原来的一半进行同样的高斯滤波形成第二个尺度组；
b3.将左图像减小到原来的1/4进行同样的高斯滤波形成第三个尺度组；
b4.以此类推，直至左图像小于某一设定阈值为止；
b5.对每个尺度组中的高斯滤波图像进行差分，形成对应的高斯差分尺度组；
b6.取高斯差分尺度组中的图像的局部极值，获得尺度空间域上左图像的特征点，将特征点按顺序存入特征向量内，获得左图像特征描述子；
b7.对右图像参照步骤b1～b6的方式操作，获取尺度空间域上右图像的特征点，将特征点按顺序存入特征向量内，获得右图像特征描述子。
作为进一步优化，步骤c具体包括：
c1.对左图像和右图像进行校正，得到满足极线约束的图像特征点；
c2.特征描述子匹配：找出与左图像中特征点pi欧氏距离最近和次近的在右图像中两个邻近特征点描述符q′i和q″i，计算q′i与pi以及q″i与pi两组特征点之间欧氏距离的比值r，如果比值r小于规定阈值则该组特征点视为匹配成功，否则将该组特征点视为匹配失败，匹配失败的点不再是特征点；将匹配成功的两个特征点作为稀疏匹配同名点对，分别将稀疏匹配同名点对的两个特征点作为第一稀疏匹配同名点和第二稀疏匹配同名点。
作为进一步优化，步骤d中，所述在左图像根据支撑点构建Delaunay三角形，具体包括：
以第一稀疏匹配同名点为支撑点，对左图像进行Delaunay三角剖分，获得多个Delaunay三角形。
作为进一步优化，步骤e中，对于Delaunay三角形中任意点p的视差，由该点的坐标和该点坐在Delaunay三角形平面的拟合参数估计获得：
dp＝aup+bvp+c
其中，参数a,b,c通过拟合P点所在Delaunay三角形平面获得，(up,vp)为P点在图像中的坐标。
作为进一步优化，步骤f中，计算每个像素点的先验视差di对应的代价误差Ci，获得本次迭代的所有支撑点的最小代价误差Cmin，具体包括：
选取大小为N*N的采样窗口，计算每个像素点i的先验视差di对应的代价误差Ci：
Figure BDA0001402654970000031
其中，Ij,Ii分别为点i的像素值和点j的像素值，点j在以点i为中心的N*N窗口内；
然后，获得本次迭代的所有支撑点的最小代价误差Cmin：
Figure BDA0001402654970000032
作为进一步优化，步骤g中，所述获取较为可靠的匹配点为控制点的方法是：
对于给定匹配误差阈值l，如果点i的代价误差满足：Ci＜l||Ci＜Cmin，则将该点是可靠的，将可靠性排列靠前的多个控制点纳入支撑点集合；
所述更新最小代价误差Cmin的方式为：
Figure BDA0001402654970000033
其中，I-i表示左图像I除去点i以外的所有像素点的集合。
作为进一步优化，步骤h中，所述迭代停止条件为：支撑点集合中的支撑点的数量达到设定阈值M。
本发明的有益效果是：
通过不断迭代、更新获得尽可能稠密的支撑点集合，可以使得基于Delaunay三角对于非兴趣点的视差估计更加准确，从而在保障匹配速率的情况下提升了图像匹配精度，可以快速获得高精度视差图，特别适用于移动平台或实时性要求高的应用领域。
附图说明
图1为本发明实施例中的半稠密立体匹配的快速迭代计算方法流程图。
具体实施方式
本发明旨在提出一种半稠密立体匹配的快速迭代计算方法，在满足获得较高匹配精度情况的同时，提高匹配速度。
下面结合附图及实施例对本发明的方案作进一步的描述：
实施例：
如图1所示，本实施例中的半稠密立体匹配的快速迭代计算方法包括以下实施步骤：
S1：利用双目摄像机获取左图像和右图像；
本实施例中将双目摄像机的左摄像头获取的图像称为左图像，将双目摄像机的右摄像头获取的图像称为右图像。
S2:分别提取左图像、右图像的特征点，构建特征描述子；
本实施例利用SIFT算法(尺度不变特征变换算法)分别对左图像和右图像进行特征点提取：
即先使用高斯滤波器对左图像或右图像进行多个次连续滤波建立第一个尺度组；再把左图像或右图像减小到原来的一半进行同样的高斯滤波形成第二个尺度组；再把左图像或右图像减小到原来的1/4进行同样的高斯滤波形成第三个尺度组，以此类推重复操作直到左图像或右图像小于某一给定阈值为止；接下来对每个尺度组中的高斯图像进行差分形成高斯差分尺度组。然后取这些高斯差分左图像或右图像中的局部极值便得到了尺度空间域上左图像或右图像的特征点。当对左图像和右图像都进行以上操作，即可得到左图像的特征点和右图像的特征点。将特征点按顺序存入特征向量内，得到特征描述子。
S3:根据特征描述子以及极线约束，完成左右图的特征点匹配；匹配成功的特征点称为支撑点；
本步骤具体实施时，包括：
S301:对左图像和右图像进行校正，得到满足极线约束的图像特征点；
S302:特征描述子匹配：对左图像的特征描述子和右图像的特征描述子之间进行匹配，本实施例利用SIFT匹配算法来实现左图像的特征描述子和右图像的特征描述子之间的匹配：即找出与左图像中特征点pi欧氏距离最近和次近的在右图像中两个邻近特征点描述符q′i和q″i，计算q′i与pi以及q″i与pi两组特征点之间欧氏距离的比值r，如果比值r小于规定阈值则将该组特征点视为匹配成功，否则将该组特征点视为匹配失败，匹配失败的点不再是特征点。将匹配成功的两个特征点作为稀疏匹配同名点对，分别将稀疏匹配同名点对的两个特征点作为第一稀疏匹配同名点和第二稀疏匹配同名点。
S4:在左图像，根据支撑点构建Delaunay三角形；
本步骤中，以第一稀疏匹配同名点为支撑点，对左图像进行Delaunay三角剖分，得到多个Delaunay三角形。
S5:利用左图像Delaunay三角形估计左图像所有像素点的先验视差。
本步骤中，对于Delaunay三角形中任何点p的视差，由该点的坐标和该点坐在Delaunay三角形平面的拟合参数估计得到，具体如下数学表达式所示：
dp＝aup+bvp+c
其中，参数a,b,c通过拟合该点所在Delaunay三角形平面获得，(up,vp)为该点在图像中的坐标。
S6:计算每个像素点的先验视差di对应的代价误差Ci，获得本次迭代的所有支撑点的最小代价误差Cmin。
本实施例采用CT算法(Census Transform)进行特征点局部匹配，具体的，选取大小为N*N的采样窗口，计算每个像素点i(包括支撑点)的先验视差di对应的代价误差Ci，获得本次迭代的所有支撑点的最小代价误差Cmin，具体的：
Figure BDA0001402654970000061
其中，Ij,Ii分别为点i的像素值和点j的像素值，点j在以点i为中心的N*N窗口内。
Figure BDA0001402654970000062
S7:获取较为可靠的匹配点为控制点，将可靠性排列居前的多个控制点设置为新的支撑点，更新支撑点集合和最小代价误差Cmin；
本步骤在具体实施时，给定匹配误差阈值l，如果点i的代价误差满足：Ci＜l||Ci＜Cmin，则将该点是可靠的，将可靠性排列靠前的多个控制点纳入支撑点集合；同时，在左图像I中更新最小代价误差Cmin：
Figure BDA0001402654970000063
其中，I-i表示左图像I除去点i以外的所有像素点的集合。
S8:判断是否满足迭代停止条件，若满足，则停止迭代计算，进入步骤S9；若不满足，则返回步骤S4，继续迭代计算；
本步骤在具体实施时，设置一个阈值M，支撑点集合中的支撑点数量达到设定阈值M，则停止计算，进入步骤S9；否则，返回S4，继续迭代计算。
S9：根据左图像每个像素点的视差计算其在右图像中的匹配点。
具体根据视差计算匹配点为现有技术，本实施例对此不做赘述。
上述实施例方案中通过不断迭代、更新获得尽可能稠密的支撑点集合，可以使得基于Delaunay三角对于非兴趣点的视差估计更加准确，从而在保障匹配速率的情况下提升了图像匹配精度，可以快速获得高精度视差图。

Claims (8)

1.一种半稠密立体匹配的快速迭代计算方法，其特征在于，包括以下步骤：
a.利用双目摄像机获取左图像和右图像；
b.分别提取左图像、右图像的特征点，构建特征描述子；
c.根据特征描述子以及极线约束，完成左右图的特征点匹配，匹配成功的特征点称为支撑点；
d.在左图像根据支撑点构建Delaunay三角形；
e.估计左图像所有像素点的先验视差di；
f.计算每个像素点的先验视差di对应的代价误差Ci，获得本次迭代的所有支撑点的最小代价误差Cmin
g.获取可靠的匹配点为控制点，将可靠性排列居前的多个控制点设置为新的支撑点，更新支撑点集合和最小代价误差Cmin；
所述获取较为可靠的匹配点为控制点的方法是：
对于给定匹配误差阈值l，如果点i的代价误差满足：Ci＜l||Ci＜Cmin，则将该点是可靠的，将可靠性排列靠前的多个控制点纳入支撑点集合；
所述更新最小代价误差Cmin的方式为：
Figure FDA0002868881850000011
其中，I-i表示左图像I除去点i以外的所有像素点的集合；
h.判断是否满足迭代停止条件，若满足，则停止迭代计算，进入步骤i；若不满足，则返回步骤d，继续迭代计算；
i.根据左图像每个像素点的视差计算其在右图像中的匹配点。
2.如权利要求1所述的一种半稠密立体匹配的快速迭代计算方法，其特征在于，步骤a中，双目摄像机的左摄像头获取的图像为左图像，右摄像头获取的图像为右图像。
3.如权利要求1所述的一种半稠密立体匹配的快速迭代计算方法，其特征在于，步骤b中，利用SIFT算法分别对左图像和右图像进行特征点提取，具体包括：
b1.使用高斯滤波器对左图像进行多个次连续滤波建立第一个尺度组；
b2.将左图像减小到原来的一半进行同样的高斯滤波形成第二个尺度组；
b3.将左图像减小到原来的1/4进行同样的高斯滤波形成第三个尺度组；
b4.以此类推，直至左图像小于某一设定阈值为止；
b5.对每个尺度组中的高斯滤波图像进行差分，形成对应的高斯差分尺度组；
b6.取高斯差分尺度组中的图像的局部极值，获得尺度空间域上左图像的特征点，将特征点按顺序存入特征向量内，获得左图像特征描述子；
b7.对右图像参照步骤b1～b6的方式操作，获取尺度空间域上右图像的特征点，将特征点按顺序存入特征向量内，获得右图像特征描述子。
4.如权利要求1所述的一种半稠密立体匹配的快速迭代计算方法，其特征在于，步骤c具体包括：
c1.对左图像和右图像进行校正，得到满足极线约束的图像特征点；
c2.特征描述子匹配：找出与左图像中特征点pi欧氏距离最近和次近的在右图像中两个邻近特征点描述符q′i和q″i，计算q′i与pi以及q″i与pi两组特征点之间欧氏距离的比值r，如果比值r小于规定阈值则该组特征点视为匹配成功，否则将该组特征点视为匹配失败，匹配失败的点不再是特征点；将匹配成功的两个特征点作为稀疏匹配同名点对，分别将稀疏匹配同名点对的两个特征点作为第一稀疏匹配同名点和第二稀疏匹配同名点。
5.如权利要求1所述的一种半稠密立体匹配的快速迭代计算方法，其特征在于，步骤d中，所述在左图像根据支撑点构建Delaunay三角形，具体包括：
以第一稀疏匹配同名点为支撑点，对左图像进行Delaunay三角剖分，获得多个Delaunay三角形。
6.如权利要求5所述的一种半稠密立体匹配的快速迭代计算方法，其特征在于，步骤e中，对于Delaunay三角形中任意点p的视差，由该点的坐标和该点坐在Delaunay三角形平面的拟合参数估计获得：
dp＝aup+bvp+c
其中，参数a，b，c通过拟合P点所在Delaunay三角形平面获得，(up，vp)为P点在图像中的坐标。
7.如权利要求6所述的一种半稠密立体匹配的快速迭代计算方法，其特征在于，步骤f中，计算每个像素点的先验视差di对应的代价误差Ci，获得本次迭代的所有支撑点的最小代价误差Cmin，具体包括：
选取大小为N*N的采样窗口，计算每个像素点i的先验视差di对应的代价误差Ci：
Figure FDA0002868881850000031
其中，Ij，Ii分别为点i的像素值和点j的像素值，点j在以点i为中心的N*N窗口内；
然后，获得本次迭代的所有支撑点的最小代价误差Cmin：
Figure FDA0002868881850000032
8.如权利要求7所述的一种半稠密立体匹配的快速迭代计算方法，其特征在于，步骤h中，所述迭代停止条件为：支撑点集合中的支撑点的数量达到设定阈值M。
CN201710805755.2A 2017-09-08 2017-09-08 一种半稠密立体匹配的快速迭代计算方法 Active CN107730543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710805755.2A CN107730543B (zh) 2017-09-08 2017-09-08 一种半稠密立体匹配的快速迭代计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710805755.2A CN107730543B (zh) 2017-09-08 2017-09-08 一种半稠密立体匹配的快速迭代计算方法

Publications (2)

Publication Number Publication Date
CN107730543A CN107730543A (zh) 2018-02-23
CN107730543B true CN107730543B (zh) 2021-05-14

Family

ID=61205786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710805755.2A Active CN107730543B (zh) 2017-09-08 2017-09-08 一种半稠密立体匹配的快速迭代计算方法

Country Status (1)

Country Link
CN (1) CN107730543B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2583839B (en) * 2018-04-05 2021-05-05 Imagination Tech Ltd Matching local image feature descriptors
GB2572755B (en) 2018-04-05 2020-06-10 Imagination Tech Ltd Matching local image feature descriptors
CN109816706B (zh) * 2019-02-01 2022-12-06 辽宁工程技术大学 一种平滑约束与三角网等比例剖分像对稠密匹配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393497A (zh) * 2008-10-30 2009-03-25 上海交通大学 基于双目立体视觉的多点触摸方法
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN103700099A (zh) * 2013-12-18 2014-04-02 同济大学 一种旋转和尺度不变的宽基线立体匹配方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430834B2 (en) * 2014-01-20 2016-08-30 Nokia Corporation Visual perception matching cost on binocular stereo images
CN104167000B (zh) * 2014-08-25 2017-02-22 同济大学 一种仿射不变的宽基线图像密集匹配方法
CN106780442B (zh) * 2016-11-30 2019-12-24 成都通甲优博科技有限责任公司 一种立体匹配方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393497A (zh) * 2008-10-30 2009-03-25 上海交通大学 基于双目立体视觉的多点触摸方法
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN103700099A (zh) * 2013-12-18 2014-04-02 同济大学 一种旋转和尺度不变的宽基线立体匹配方法

Also Published As

Publication number Publication date
CN107730543A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN109727288B (zh) 用于单目同时定位与地图构建的***和方法
CN112991447B (zh) 一种动态环境下视觉定位与静态地图构建方法及***
CN110220493B (zh) 一种双目测距方法及其装置
CN110176032B (zh) 一种三维重建方法及装置
WO2018214505A1 (zh) 立体匹配方法与***
CN111833393A (zh) 一种基于边缘信息的双目立体匹配方法
CN107358629B (zh) 一种基于目标识别的室内建图与定位方法
CN112116639B (zh) 一种图像配准方法、装置及电子设备和存储介质
CN108022262A (zh) 一种基于点的邻域重心向量特征的点云配准方法
CN107730543B (zh) 一种半稠密立体匹配的快速迭代计算方法
Ma et al. A modified census transform based on the neighborhood information for stereo matching algorithm
CN106952247B (zh) 一种双摄像头终端及其图像处理方法和***
CN111914913B (zh) 一种新型立体匹配优化方法
CN110570474B (zh) 一种深度相机的位姿估计方法及***
CN112862877A (zh) 用于训练图像处理网络和图像处理的方法和装置
CN111311651B (zh) 点云配准方法和装置
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN107220996A (zh) 一种基于三角结构一致的无人机线阵与面阵影像匹配方法
KR102126722B1 (ko) 3차원 피사체 인식의 안티-스푸핑 방법
CN107122782B (zh) 一种均衡的半密集立体匹配方法
CN113052954A (zh) 基于线段匹配的三维重建方法、装置、终端及存储介质
CN113034666B (zh) 一种基于金字塔视差优化代价计算的立体匹配方法
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
CN117315138A (zh) 基于多目视觉的三维重建方法及***
CN109816710B (zh) 一种双目视觉***高精度且无拖影的视差计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant