CN110570467B - 一种基于并行队列的立体匹配视差计算方法 - Google Patents

一种基于并行队列的立体匹配视差计算方法 Download PDF

Info

Publication number
CN110570467B
CN110570467B CN201910625121.8A CN201910625121A CN110570467B CN 110570467 B CN110570467 B CN 110570467B CN 201910625121 A CN201910625121 A CN 201910625121A CN 110570467 B CN110570467 B CN 110570467B
Authority
CN
China
Prior art keywords
image
texture
low
area
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910625121.8A
Other languages
English (en)
Other versions
CN110570467A (zh
Inventor
杜娟
汤永超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910625121.8A priority Critical patent/CN110570467B/zh
Publication of CN110570467A publication Critical patent/CN110570467A/zh
Application granted granted Critical
Publication of CN110570467B publication Critical patent/CN110570467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于并行队列的立体匹配视差计算方法，包括：对极线矫正过后的双目图像进行边缘提取，提取出两幅图像的高纹理区域图像和低纹理区域图像，并将高低纹理图像分别合成新的图像块,然后再运用全局匹配和局部匹配算法分别对高低纹理图像块进行特征点匹配计算，特征点匹配计算中，采用队列消息机制对匹配过程进行监督，实时更新视差图，加快立体视差计算速度。

Description

一种基于并行队列的立体匹配视差计算方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于并行队列的立体匹配视差计算方法。
背景技术
现有的立体图像对的视差获取方法主要通过计算左右两幅图像的特征点来获取，具体步骤为先分别计算出左右两幅图像的特征点，对左右两幅图像特征点进行匹配，然后进行视差计算与融合，获取特征点的匹配方法主要有全局匹配和局部匹配,但由于全局匹配需要的时间较长，所以局部匹配容易在低纹理区产生误差。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种基于并行队列的立体匹配视差计算方法。
本发明相对于现有的立体匹配视差计算方法具有快速性、准确性和鲁棒性的特点。
本发明采用如下技术方案：
一种基于并行队列的立体匹配视差计算方法，包括如下步骤：
S1采用具有固定基线长度的平行光轴结构的双目相机拍摄图像，得到左相机采集的图像ILSrc及右相机采集的图像IRSrc；
S2对上述图像进行降噪获得左高斯平滑图像和右高斯平滑图像；
S3计算左高斯平滑图像及右高斯平滑图像的梯度幅值和方向；
S4根据梯度幅值和方向得到左高斯平滑图像的左边缘检测图及右高斯平滑图像的右边缘检测图；
S5提取左边缘检测图及右边缘检测图的高纹理区域图像及低纹理区域图像，得到左图高纹理图像、左图低纹理图像、右图高纹理图像及右图低纹理图像；
S6对高纹理图像及低纹理图像进行空白区域填充；
S7队列消息框架搭建，具体是将空白区域填充后的左图高纹理图像及右图高纹理图像的匹配步骤、左图低纹理图像及右图低纹理图像的匹配步骤和视差同步融合步骤分别置于三个子程序中，三个子程序的队列节点分别为Node-HTM、Node-LTM和Node-P，当高低纹理区域匹配完成时，Node-HTM和Node-LTM向Node-P发送当前行特征点匹配完成的消息，Node-P节点对应的视差同步融合子程序对该区域的高低纹理区域视差进行融合，得到该区域的稠密视差图。
所述S7中左图高纹理图像及右图高纹理图像的匹配步骤具体是采用局部匹配的方法，对同一水平高度的5*5区域进行特征点匹配。
所述S7中左图低纹理图像及右图低纹理图像的匹配步骤是采用全局匹配的方法，对同一水平高度的5*5区域进行特征点匹配。
所述S2中采用高斯平滑滤波器进行降噪。
所述S3计算左高斯平滑图像及右高斯平滑图像的梯度幅值和方向，具体为：采用一对卷积阵列计算梯度方向，其阵列形式如下：
使用计算梯度幅值，/>计算梯度方向。
所述S4根据梯度幅值和方向得到左高斯平滑图像的左边缘检测图及右高斯平滑图像的右边缘检测图，具体为：
设定滞后阈值的高阈值和低阈值：
当左高斯平滑图像和右高斯平滑图像某一像素的梯度幅值超过高阈值，则该像素被保留为边缘像素；
当左高斯平滑图像和右高斯平滑图像某一像素的梯度幅值低于低阈值时，则该像素被排除；
当左高斯平滑图像和右高斯平滑图像中某一像素的梯度幅值在预先设定的两个阈值之间时，若该像素与一个梯度幅值高于高阈值的像素相连，则该像素点被保留，否则将该像素点视为孤立点，将其忽略。
所述S5提取左边缘检测图及右边缘检测图的高纹理区域图像及低纹理区域图像，得到左图高纹理图像、左图低纹理图像、右图高纹理图像及右图低纹理图像；
具体为：设定一个阈值TSum＝10，采用一个Size＝5的求和矩阵对图像进行遍历，计算左右边缘检测图的区域求和值；
若求和矩阵中该矩阵求和值大于阈值TSum，该5*5区域对应的5*5区域属于高纹理区域图像IH；
若求和矩阵中该矩阵求和值低于阈值TSum，该5*5区域对应的5*5区域属于低纹理区域图像IL,最后得到左高纹理图像ILH、左低纹理图像ILL、右高纹理图像IRH和右低纹理图像IRL。
所述S6对高纹理图像及低纹理图像进行空白区域填充，具体为：
高纹理图像在低纹理区域会出现没有纹理图像的空白区域，将每一个高纹理图像的低纹理区域置0，填充后的低纹理区域不参与高纹理图像特征点的匹配运算；
低纹理图像在高纹理区域会出现没有纹理图像的空白区域，将每一个低纹理图像的高纹理区域置0，填充后的高纹理区域不参与低纹理图像特征点的匹配运算。
本发明的有益效果：
(1)本发明通过一种基于并行队列的立体匹配视差计算方法对图像的高纹理区域和低纹理区域进行提取，采用全局匹配与局部匹配相结合的方法，避免了单一使用全局匹配运算时长过长，单一使用局部匹配鲁棒性较差的缺点，过程简单，鲁棒性强；
(2)本发明具有较强的快速性，采用并行子程序的匹配过程并实时计算立体图像对的视差，提高了计算效率；
(3)本发明还具有较强的适用性，针对纹理不同的立体图像对，可自适应的调整高纹理图像区域和低纹理图像区域。
附图说明
图1是本发明的工作流程图；
图2是本发明生成高、低纹理图像的示意图；
图3是本发明实施例中Size＝5的求和矩阵的5*5像素区域示意图，其中每一个小方格表示一个像素点；
图4是本发明队列消息机制的工作示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1、图2、图3及图4所示，一种基于并行队列的立体匹配视差计算方法，包括如下步骤：
S1采用经过极线校正的，具有固定基线长度的平行光轴结构的双目相机拍摄图像，得到左相机采集的图像ILSrc及右相机采集的图像IRSrc；
S2对上述图像进行高斯平滑滤波器卷积降噪获得左高斯平滑图像ILGaussian和右高斯平滑图像IRGaussian。
S3计算左高斯平滑图像及右高斯平滑图像的梯度幅值和方向，具体采用一对卷积阵列计算ILGaussian和IRGaussian的梯度方向(Gx和Gy分别作用于x方向和y方向)
使用计算梯度幅值，/>计算梯度方向。
如图2所示，标号1为Size＝5的求和矩阵，2为原图ILSrc，3为高纹理图像，4为低纹理图像。
S4根据梯度幅值和方向得到左高斯平滑图像的左边缘检测图及右高斯平滑图像的右边缘检测图，具体为：
设定滞后阈值的高阈值和低阈值：
当左高斯平滑图像和右高斯平滑图像某一像素的梯度幅值超过高阈值，则该像素被保留为边缘像素；
当左高斯平滑图像和右高斯平滑图像某一像素的梯度幅值低于低阈值时，则该像素被排除；
当左高斯平滑图像和右高斯平滑图像中某一像素的梯度幅值在预先设定的两个阈值之间时，若该像素与一个梯度幅值高于高阈值的像素相连，则该像素点被保留，否则将该像素点视为孤立点，将其忽略。
最后得到ILGaussian和IRGaussian的Canny边缘检测图即左边缘检测图ILCanny和右边缘检测图IRCanny。
S5提取左边缘检测图及右边缘检测图的高纹理区域图像及低纹理区域图像，得到左图高纹理图像、左图低纹理图像、右图高纹理图像及右图低纹理图像；
具体为：
设定一个阈值TSum＝10，采用一个Size＝5的求和矩阵(Size＝5的求和矩阵表示5*5＝25个像素点大小的矩阵)对图像进行遍历，计算左边缘检测图ILCanny和右边缘检测图IRCanny的区域求和值。
若求和矩阵中该矩阵求和值大于阈值TSum，该5*5区域对应的ILSrc或者IRSrc的5*5区域属于高纹理区域图像IH；
若求和矩阵中该矩阵求和值低于阈值TSum，该5*5区域对应的左相机采集的图像ILSrc或者右相机采集的图像IRSrc的5*5区域属于低纹理区域图像IL。
最后得到左高纹理图像ILH、左低纹理区域图像ILL、右高纹理图像IRH和右低纹理区域图像IRL。
S6对高纹理图像及低纹理图像进行空白区域填充；
将左相机采集的图像ILSrc高纹理区域图像提取出来拷贝到左高纹理图像ILH后，左高纹理图像ILH在低纹理区域会出现没有纹理图像的空白区域，将该左高纹理图像ILH的低纹理区域置0，左高纹理图像ILH的低纹理区域不参与高纹理图像特征点的匹配运算。同理可得左低纹理图像ILL、右高纹理图像IRH和右低纹理图像IRL的空白区域填充。
S7队列消息框架搭建，具体是将空白区域填充后的左图高纹理图像及右图高纹理图像的匹配步骤、左图低纹理图像及右图低纹理图像的匹配步骤和视差同步融合步骤分别置于三个子程序中，三个子程序的队列节点分别为Node-HTM(High Texture ImageMatching)、Node-LTM(Low Texture Image Matching)和Node-P(Parallax)，当高低纹理区域匹配完成时，Node-HTM和Node-LTM向Node-P发送当前行特征点匹配完成的消息，Node-P节点对应的视差同步融合子程序对该区域的高低纹理区域视差进行融合，得到该区域的稠密视差图。
针对高纹理区域，采用局部匹配的方法，对同一水平高度的5*5区域进行特征点匹配。
针对低纹理区域，采用全局匹配的方法，对同一水平高度的5*5区域进行特征点匹配。
本发明当左右两幅图像同一水平位置上的5*5区域矩阵在高低纹理区域匹配完成时，Node-HTM和Node-LTM向Node-P发送当前行特征点匹配完成的消息。当视差图计算程序的Node-P节点接收到该消息时，将该区域的高低纹理区域视差进行融合，得到该区域的稠密视差图。
本发明主要是把高低纹理图像分开进行匹配，然后再进行视差融合。
传统的方法是整幅图像特征点匹配完成后才进行视差计算，本发明是将整幅图像切分成了很多个小区域，每一个小区域一边匹配特征点，一边同步计算视差。当所有区域匹配完成，视差也计算完毕。
本发明通过对极线矫正过后的双目图像进行边缘提取，提取出两幅图像的高纹理区域图像和低纹理区域图像，并将高低纹理图像分别合成新的图像块。然后再运用全局匹配和局部匹配算法分别对高低纹理图像块进行特征点匹配计算，特征点匹配计算中，采用队列消息机制对匹配过程进行监督，实时更新视差图，加快立体视差计算速度。这种方法可以降低特征点局部匹配计算视差图带来的低纹理区域误差，减少特征点全局匹配计算视差图所需要的时间，自动根据双目图像高低纹理进行自适应视差计算。相比于其他特征点匹配视差算法，该方法可以更快的得到稠密的视差图，且具有更好的适应性。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于并行队列的立体匹配视差计算方法，其特征在于，包括如下步骤：
S1采用具有固定基线长度的平行光轴结构的双目相机拍摄图像，得到左相机采集的图像及右相机采集的图像；
S2对上述图像进行降噪获得左高斯平滑图像和右高斯平滑图像；
S3计算左高斯平滑图像及右高斯平滑图像的梯度幅值和方向；
S4根据梯度幅值和方向得到左高斯平滑图像的左边缘检测图及右高斯平滑图像的右边缘检测图；
S5提取左边缘检测图及右边缘检测图的高纹理区域图像及低纹理区域图像，得到左图高纹理图像、左图低纹理图像、右图高纹理图像及右图低纹理图像；
S6对高纹理图像及低纹理图像进行空白区域填充；
S7队列消息框架搭建，具体是将空白区域填充后的左图高纹理图像及右图高纹理图像的匹配步骤、左图低纹理图像及右图低纹理图像的匹配步骤和视差同步融合步骤分别置于三个子程序中，三个子程序的队列节点分别为Node-HTM、Node-LTM和Node-P，当高低纹理区域匹配完成时，Node-HTM和Node-LTM向Node-P发送当前行特征点匹配完成的消息，Node-P节点对应的视差同步融合子程序对该区域的高低纹理区域视差进行融合，得到该区域的稠密视差图；
所述S7中左图高纹理图像及右图高纹理图像的匹配步骤具体是采用局部匹配的方法，对同一水平高度的5*5区域进行特征点匹配；
所述S7中左图低纹理图像及右图低纹理图像的匹配步骤是采用全局匹配的方法，对同一水平高度的5*5区域进行特征点匹配；
所述S5提取左边缘检测图及右边缘检测图的高纹理区域图像及低纹理区域图像，得到左图高纹理图像、左图低纹理图像、右图高纹理图像及右图低纹理图像；
具体为：设定一个阈值TSum＝10，采用一个Size＝5的求和矩阵对图像进行遍历，计算左右边缘检测图的区域求和值；
若求和矩阵中该区域求和值大于阈值TSum，该5*5区域对应的5*5区域属于高纹理区域图像；
若求和矩阵中该区域求和值低于阈值TSum，该5*5区域对应的5*5区域属于低纹理区域图像,最后得到左图高纹理图像、左图低纹理图像、右图高纹理图像和右图低纹理图像；
所述S6对高纹理图像及低纹理图像进行空白区域填充，具体为：
高纹理图像在低纹理区域会出现没有纹理图像的空白区域，将每一个高纹理图像的低纹理区域置0，填充后的低纹理区域不参与高纹理图像特征点的匹配运算；
低纹理图像在高纹理区域会出现没有纹理图像的空白区域，将每一个低纹理图像的高纹理区域置0，填充后的高纹理区域不参与低纹理图像特征点的匹配运算。
2.根据权利要求1所述的立体匹配视差计算方法，其特征在于，所述S2中采用高斯平滑滤波器进行降噪。
3.根据权利要求1所述的立体匹配视差计算方法，其特征在于，所述S3计算左高斯平滑图像及右高斯平滑图像的梯度幅值和方向，具体为：采用一对卷积阵列计算梯度方向，其阵列形式如下：
使用计算梯度幅值，/>计算梯度方向。
4.根据权利要求1所述的立体匹配视差计算方法，其特征在于，所述S4根据梯度幅值和方向得到左高斯平滑图像的左边缘检测图及右高斯平滑图像的右边缘检测图，具体为：
设定滞后阈值的高阈值和低阈值：
当左高斯平滑图像和右高斯平滑图像某一像素的梯度幅值超过高阈值，则该像素被保留为边缘像素；
当左高斯平滑图像和右高斯平滑图像某一像素的梯度幅值低于低阈值时，则该像素被排除；
当左高斯平滑图像和右高斯平滑图像中某一像素的梯度幅值在预先设定的两个阈值之间时，若该像素与一个梯度幅值高于高阈值的像素相连，则该像素点被保留，否则将该像素点视为孤立点，将其忽略。
CN201910625121.8A 2019-07-11 2019-07-11 一种基于并行队列的立体匹配视差计算方法 Active CN110570467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625121.8A CN110570467B (zh) 2019-07-11 2019-07-11 一种基于并行队列的立体匹配视差计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625121.8A CN110570467B (zh) 2019-07-11 2019-07-11 一种基于并行队列的立体匹配视差计算方法

Publications (2)

Publication Number Publication Date
CN110570467A CN110570467A (zh) 2019-12-13
CN110570467B true CN110570467B (zh) 2023-09-19

Family

ID=68772960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625121.8A Active CN110570467B (zh) 2019-07-11 2019-07-11 一种基于并行队列的立体匹配视差计算方法

Country Status (1)

Country Link
CN (1) CN110570467B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996399A (zh) * 2009-08-18 2011-03-30 三星电子株式会社 在左图像与右图像之间估计视差的设备和方法
CN105551035A (zh) * 2015-12-09 2016-05-04 深圳市华和瑞智科技有限公司 一种基于弱边缘与纹理分类的立体视觉匹配方法
CN108596975A (zh) * 2018-04-25 2018-09-28 华南理工大学 一种针对弱纹理区域的立体匹配算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996399A (zh) * 2009-08-18 2011-03-30 三星电子株式会社 在左图像与右图像之间估计视差的设备和方法
CN105551035A (zh) * 2015-12-09 2016-05-04 深圳市华和瑞智科技有限公司 一种基于弱边缘与纹理分类的立体视觉匹配方法
CN108596975A (zh) * 2018-04-25 2018-09-28 华南理工大学 一种针对弱纹理区域的立体匹配算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于左右视线的立体图像匹配算法;赵亮亮;《计算机仿真》;20100315(第03期);第220-223页 *
基于弱纹理检测及视差图融合的立体匹配;曹晓倩等;《仪器仪表学报》;20130915(第09期);第2074-2079页 *

Also Published As

Publication number Publication date
CN110570467A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN105374019B (zh) 一种多深度图融合方法及装置
CN103236082B (zh) 面向捕获静止场景的二维视频的准三维重建方法
KR101694292B1 (ko) 스테레오 영상 정합 장치 및 그 방법
KR100748719B1 (ko) 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
KR102610989B1 (ko) 위성영상을 이용한 수치표면모델 생성 방법 및 장치
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
CN108648264B (zh) 基于运动恢复的水下场景重建方法及存储介质
CN110910431B (zh) 一种基于单目相机多视点三维点集恢复方法
CN102523464A (zh) 一种双目立体视频的深度图像估计方法
WO2018157562A1 (zh) 基于图像局部分割的虚拟视点合成方法
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN113192179A (zh) 一种基于双目立体视觉的三维重建方法
JP2002524937A (ja) 高解像度カメラと低解像度カメラとを用いて高解像度像を合成する方法および装置
CN109584355A (zh) 基于手机gpu的三维模型快速重建方法
CN113392879B (zh) 一种航空影像多视图匹配方法
CN104869386A (zh) 一种基于分层处理虚拟视点合成方法
CN114463521B (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN111047636B (zh) 基于主动红外双目视觉的避障***和避障方法
CN115222889A (zh) 基于多视图图像的3d重建方法、装置及相关设备
CN108805841B (zh) 一种基于彩色图引导的深度图恢复及视点合成优化方法
CN116977596A (zh) 一种基于多视角图像的三维建模***及方法
CN117115336A (zh) 一种基于遥感立体影像的点云重建方法
WO2018133027A1 (zh) 基于灰度约束的三维数字散斑的整像素搜索方法及装置
CN108924434B (zh) 一种基于曝光变换的立体高动态范围图像合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant