CN112750154A - 一种基于双目视觉的立体匹配方法 - Google Patents
一种基于双目视觉的立体匹配方法 Download PDFInfo
- Publication number
- CN112750154A CN112750154A CN202011636743.XA CN202011636743A CN112750154A CN 112750154 A CN112750154 A CN 112750154A CN 202011636743 A CN202011636743 A CN 202011636743A CN 112750154 A CN112750154 A CN 112750154A
- Authority
- CN
- China
- Prior art keywords
- window
- value
- pixel
- pixel point
- left image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 241001116389 Aloe Species 0.000 description 2
- 235000011399 aloe vera Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域，设计了一种基于双目视觉的立体匹配方法。为了得到鲁棒性强、精度高的立体匹配算法，本发明包括以下步骤：(1)在左图像取3×3像素大小的窗口，同时取与左图像像素点对应的右图像窗口，剔除邻域窗口内的最值，计算邻域窗口的平均值并设定阈值，确定窗口参考灰度值；(2)根据参考灰度值，生成左右图像窗口的比特串，计算匹配代价，在同一像素行移动右图像窗口，每移动一个像素，重复匹配代价计算步骤，最小匹配代价对应的右图像窗口中心像素点即为匹配点；(3)左图像窗口遍历左图像所有像素点，找到每个像素点的匹配点，生成视差图。本发明提高了立体匹配算法的鲁棒性，减少了不连续区域和噪声干扰时的误匹配率。
Description
技术领域
本发明涉及图像处理领域，尤其涉及基于双目视觉的立体匹配方法。
背景技术
近年来，双目视觉技术被广泛应用于移动终端、虚拟现实、机器人导航等领域。双目视觉***根据双目摄像机对同一场景不同位置拍摄的两幅图像，采用几何方法获取深度信息。立体匹配技术是双目视觉技术中的重点和难点之一，大多数立体匹配算法都是基于相似性、唯一性、连续性和有序性约束。
在众多匹配算法中，局部立体匹配算法如差平方和算法(SSD)和绝对差分之和算法(SAD)虽然计算简单，但对噪声和光照变化特别敏感，不能处理无纹理图像；归一化互相关算法(NCC)采用归一化相关度量公式来计算匹配代价，降低了噪声的影响，但该算法计算量大；而Census算法虽然提高了对噪声和光照变化的鲁棒性，但它依赖于中心像素的灰度值，没有充分考虑相邻像素的连续性信息，在图像中的重复或相似的局部结构会产生错误匹配。
因此，本发明提出了一种基于双目视觉的立体匹配方法，提高了立体匹配算法的鲁棒性和准确性。
发明内容
本发明旨在提出一种基于双目视觉的立体匹配方法，提高了Census算法在边缘区域和噪声干扰下的表现，增加了匹配算法的精度和抗干扰能力。为此，本发明采取的技术方案是，基于双目视觉的立体匹配方法，对于双目摄像机拍摄的左图像和右图像，以左图像的左上角像素点为中心像素点，取3×3像素大小的窗口，计算左图像窗口的比特串，同时，以右图像的左上角像素点为中心像素点，取3×3像素大小的窗口，计算右图像窗口的比特串，并将左图像窗口的比特串和右图像窗口的比特串进行异或运算，计算的结果为中心像素点的匹配代价；之后再将右图像的3×3像素大小的窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，求一次匹配代价，选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点；按照上述方法，从左至右，从上至下遍历左图像的每个像素点，可以找到左图像每个像素点在右图像中对应的匹配点，最终完成双目视觉的左右图像立体匹配。
本发明的具体步骤如下：一种基于双目视觉的立体匹配方法，该方法包括如下步骤：
(1)对于双目摄像机拍摄的左图像和右图像，分别选择左图像窗口和右图像窗口，并按照空间分布排列邻域窗口内的所有像素点；
(2)根据左图像邻域窗口内像素点灰度值，将(1)中顺序排列的邻域窗口像素点从小到大排列；
(3)移除(2)中灰度值最大和最小的像素点；
(4)计算(3)中剩余像素点灰度值的平均值；
(5)设定一个阈值，计算(4)中的平均值和邻域窗口中心像素点灰度值的差值绝对值，确定窗口的最终参考灰度值；
(6)计算邻域窗口内每个像素点对应的比特值；
(7)以邻域窗口的左上角像素点为参考，顺时针排列(6)中得到的每个像素点的比特值，生成左图像和右图像窗口的比特串，根据左图像和右图像窗口的比特串计算左图像窗口中心像素点对应的匹配代价；
(8)将右图像窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，重复(1)至(7)，选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点；
(9)从左至右，从上至下遍历左图像的每个像素点，每遍历一个像素点，重复(1)至(8)，找到左图像中除了第一行、第一列以及最后一行、最后一列的每个像素点在右图像中对应的匹配点；
(10)计算左图像除了第一行、第一列以及最后一行、最后一列的每个像素点和(9)中获得的右图像对应匹配点的像素列数差，像素列数差即为左图像当前像素点的视差值，将左图像的第一行、第一列以及最后一行、最后一列的每个像素点的视差值设为0，左图像每个位置的像素点的视差值作为对应位置的灰度值生成视差图。
进一步的，步骤(1)的具体实现方法如下：双目摄像机拍摄获得左图像和右图像，以左图像的左上角像素点为基准点，取3×3像素大小的窗口；同时，以右图像的左上角像素点为建准点，取3×3像素大小的窗口；窗口内除了中心像素点的其他像素点组成的窗口被称为邻域窗口，按照邻域窗口内像素点的空间分布以左至右、从上至下的顺时针顺序排列所有像素点，排列的公式为：
上式中，p0,p1,p2,p3,p4,p5,p6,p7代表3×3邻域窗口内的像素点，
代表按照空间分布进行顺序排列。
进一步的，步骤(2)的具体实现方法如下：根据邻域窗口内每个像素点的灰度值大小，按照从小到大的顺序排列邻域窗口内的每个像素点，排列公式为：
上式中，I(p0),I(p1),I(p2),I(p3),I(p4),I(p5),I(p6),I(p7)代表3×3邻域窗口内像素点的灰度值，
代表按照灰度值从小到大的顺序进行排列。
进一步的，步骤(3)的具体实现方法如下：
移除邻域窗口内像素点灰度值的最大值和最小值，公式为：
I(pi)代表3×3邻域窗口内像素点的最大灰度值，I(pj)代表3×3邻域窗口内像素点的最小灰度值。
进一步的，步骤(4)的具体实现方法如下：计算移除最大灰度值和最小灰度值之后的邻域窗口内像素点灰度值的平均值，公式为：
其中，p代表中心像素点，Iaverage(p)代表移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值。
进一步的，步骤(5)的具体实现方法如下：设定一个阈值，计算移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值和窗口中心像素的灰度值的差值绝对值；如果差值绝对值小于等于设定的阈值，选择窗口中心像素的灰度值作为窗口的最终参考灰度值，如果差值绝对值大于等于设定的阈值，选择移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值作为窗口的最终参考灰度值，公式为：
其中，p代表中心像素点，Icenter(p)为窗口的最终参考灰度值，I(p)为窗口的中心像素的灰度值，Iaverage(p)为移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值，T1代表设定的阈值。
进一步的，步骤(6)的具体实现方法如下：计算3×3邻域窗口内每个像素点的比特值，比特值的计算公式为：
其中，p代表中心像素点，Icenter(p)为窗口的最终参考灰度值，I(q)为3×3邻域窗口内每个像素点的灰度值。
进一步的，步骤(7)的具体实现方法如下：以左图像的3×3像素大小窗口的左上角像素点为参考，顺时针排列邻域窗口内每个像素点的比特值，生成左图像窗口的比特串；以右图像的3×3像素大小窗口的左上角像素点为参考，顺时针排列邻域窗口内每个像素点的比特值，生成右图像窗口的比特串；根据左图像窗口生成的比特串和右图像窗口生成的比特串计算左图像窗口中心像素点对应的匹配代价，计算公式为：
C(p)＝Hanming(Bl(p),Br(p))
C(p)代表中心像素点p对应的匹配代价，Bl(p)代表左图像窗口的比特串，Br(p)代表右图像窗口的比特串，Hanming代表汉明距离计算，其是将左图像窗口比特串和右图像窗口比特串的每个比特位进行异或运算；得到一个十进制的数，此十进制数就是当前左图像窗口中心像素的匹配代价值。
进一步的，步骤(8)的具体实现方法如下：将右图像的3×3像素大小的窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，重复第一步至第七步；之后选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点。
有益效果：与现有技术相比，本发明的有益效果是：
本发明方法相比于Census变换直接使用中心像素灰度值作为窗口的参考像素灰度值，可以产生更精确的匹配效果。如果采用Census变换，在无纹理和视差不连续区域很容易产生误匹配，最终影响双目视觉***在现实场景的应用。针对Census变换的缺陷，本发明建立了一种新的窗口参考像素确定方法，首先移除窗口内的异常灰度值，求取剩余像素点平均值，之后增加阈值作为约束条件，最终确定窗口内的参考灰度值，提高了匹配算法的鲁棒性和准确性。
附图说明
图1为基于双目视觉的立体匹配方法流程图；
图2为3×3窗口的双目视觉的立体匹配方法示例；
图3(a)为四组Middlebury测试图像的定性对比评估方法中待处理的双目摄像头的左图像；
图3(b)为四组Middlebury测试图像的定性对比评估方法中待处理的双目摄像头的右图像；
图3(c)为四组Middlebury测试图像以左图像为基准生成的标准视差图；
图3(d)为Census算法处理后的四组Middlebury测试图像以左图像为基准的灰度视差图；
图3(e)为本发明算法处理后的四组Middlebury测试图像以左图像为基准的灰度视差图；
具体实施方式
下面结合附图和具体实施方案对本发明技术作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。
本发明提出一种基于双目视觉的立体匹配方法，该方法包括如下步骤：
(1)对于双目摄像机拍摄的左图像和右图像，分别选择左图像窗口和右图像窗口，并按照空间分布排列邻域窗口内的所有像素点；
(2)根据左图像邻域窗口内像素点灰度值，将(1)中顺序排列的邻域窗口像素点从小到大排列；
(3)移除(2)中灰度值最大和最小的像素点；
(4)计算(3)中剩余像素点灰度值的平均值；
(5)设定一个阈值，计算(4)中的平均值和邻域窗口中心像素点灰度值的差值绝对值，确定窗口的最终参考灰度值；
(6)计算邻域窗口内每个像素点对应的比特值；
(7)以邻域窗口的左上角像素点为参考，顺时针排列(6)中得到的每个像素点的比特值，生成左图像和右图像窗口的比特串，根据左图像和右图像窗口的比特串计算左图像窗口中心像素点对应的匹配代价；
(8)将右图像窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，重复(1)至(7)，选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点；
(9)从左至右，从上至下遍历左图像的每个像素点，每遍历一个像素点，重复(1)至(8)，找到左图像中除了第一行、第一列以及最后一行、最后一列的每个像素点在右图像中对应的匹配点；
(10)计算左图像除了第一行、第一列以及最后一行、最后一列的每个像素点和(9)中获得的右图像对应匹配点的像素列数差，像素列数差即为左图像当前像素点的视差值，将左图像的第一行、第一列以及最后一行、最后一列的每个像素点的视差值设为0，左图像每个位置的像素点的视差值作为对应位置的灰度值生成视差图。
进一步的，步骤(1)的具体实现方法如下：双目摄像机拍摄获得左图像和右图像，以左图像的左上角像素点为基准点，取3×3像素大小的窗口；同时，以右图像的左上角像素点为建准点，取3×3像素大小的窗口；窗口内除了中心像素点的其他像素点组成的窗口被称为邻域窗口，按照邻域窗口内像素点的空间分布以左至右、从上至下的顺时针顺序排列所有像素点，排列的公式为：
上式中，p0,p1,p2,p3,p4,p5,p6,p7代表3×3邻域窗口内的像素点，
代表按照空间分布进行顺序排列。
进一步的，步骤(2)的具体实现方法如下：根据邻域窗口内每个像素点的灰度值大小，按照从小到大的顺序排列邻域窗口内的每个像素点，排列公式为：
上式中，I(p0),I(p1),I(p2),I(p3),I(p4),I(p5),I(p6),I(p7)代表3×3邻域窗口内像素点的灰度值，
代表按照灰度值从小到大的顺序进行排列。
进一步的，步骤(3)的具体实现方法如下：
移除邻域窗口内像素点灰度值的最大值和最小值，公式为：
I(pi)代表3×3邻域窗口内像素点的最大灰度值，I(pj)代表3×3邻域窗口内像素点的最小灰度值。
进一步的，步骤(4)的具体实现方法如下：计算移除最大灰度值和最小灰度值之后的邻域窗口内像素点灰度值的平均值，公式为：
其中，p代表中心像素点，Iaverage(p)代表移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值。
进一步的，步骤(5)的具体实现方法如下：设定一个阈值，计算移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值和窗口中心像素的灰度值的差值绝对值；如果差值绝对值小于等于设定的阈值，选择窗口中心像素的灰度值作为窗口的最终参考灰度值，如果差值绝对值大于等于设定的阈值，选择移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值作为窗口的最终参考灰度值，公式为：
其中，p代表中心像素点，Icenter(p)为窗口的最终参考灰度值，I(p)为窗口的中心像素的灰度值，Iaverage(p)为移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值，T1代表设定的阈值。
进一步的，步骤(6)的具体实现方法如下：计算3×3邻域窗口内每个像素点的比特值，比特值的计算公式为：
其中，p代表中心像素点，Icenter(p)为窗口的最终参考灰度值，I(q)为3×3邻域窗口内每个像素点的灰度值。
进一步的，步骤(7)的具体实现方法如下：以左图像的3×3像素大小窗口的左上角像素点为参考，顺时针排列邻域窗口内每个像素点的比特值，生成左图像窗口的比特串；以右图像的3×3像素大小窗口的左上角像素点为参考，顺时针排列邻域窗口内每个像素点的比特值，生成右图像窗口的比特串；根据左图像窗口生成的比特串和右图像窗口生成的比特串计算左图像窗口中心像素点对应的匹配代价，计算公式为：
C(p)＝Hanming(Bl(p),Br(p))
C(p)代表中心像素点p对应的匹配代价，Bl(p)代表左图像窗口的比特串，Br(p)代表右图像窗口的比特串，Hanming代表汉明距离计算，其是将左图像窗口比特串和右图像窗口比特串的每个比特位进行异或运算；得到一个十进制的数，此十进制数就是当前左图像窗口中心像素的匹配代价值。
进一步的，步骤(8)的具体实现方法如下：将右图像的3×3像素大小的窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，重复第一步至第七步；之后选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点。
本发明基于VS2017软件平台并采用C++和OpenCV库来实现；硬件平台采用Windows10操作***(1.30GHz Intel(R)Core(TM)i7-1065G7 CPU)。
实施例1
图3(a)和图3(b)为权威性的立体匹配算法测试平台Middlebury网站提供的Teddy、Cones、Moebius、Aloe四组灰度化的标准立体图像对，本发明使用这四对图像来对算法进行精确度评测。四组图像对的大小分别为450×375像素、450×375像素、463×370像素、427×370像素，且左图像和右图像均已完成了标定和校正。
从图3(c)和图3(e)可以直观看出，经过本发明生成的视差图与标准视差图整体较为接近，但是局部细节部分仍然存在明显差异，且误匹配点主要存在于图像不连续区域和边缘区域。
实施例2
针对Census立体匹配算法图3(d)和本发明图3(e)两种立体匹配算法生成的视差图进行了直观上的对比。可以看出Census立体匹配算法相比本发明算法具有一定的弱势，很容易造成图像不连续区域的失真和边缘信息的严重丢失。本发明在图像深度变化较大或纹理信息不丰富的区域提高了匹配精度，获得了效果较好的视差图。
实施例3
在Middlebury平台上测试四组图像对的误匹配率，并将Census立体匹配算法和本发明算法的误匹配率进行对比，如下表1所示。误匹配率是指计算所得的视差值与真实的视差值的误差大于视差容差的像素在整幅图像中所占的比率，可以表示为：
上式中，N表示视差图中总像素个数，gx(x,y)和gs(x,y)分别表示测试算法得出的视差值和真实视差值，δthresh表示视差容差，取值为1。
从表1中可以看出，和Census立体匹配算法相比，本发明在降低误匹配率上具有优势，Teddy、Cones、Moebius、Aloe四组标准基准色立体图像对的误匹配率分别降低了3.95％、3.51％、1.79％、2.17％，提高了双目视觉的匹配精度。
表1Census立体匹配算法和本发明对Middlebury四组测试图像误匹配率的定量分析(％)
尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。
Claims (9)
1.一种基于双目视觉的立体匹配方法，其特征在于，该方法包括如下步骤：
(1)对于双目摄像机拍摄的左图像和右图像，分别选择左图像窗口和右图像窗口，并按照空间分布排列邻域窗口内的所有像素点；
(2)根据左图像邻域窗口内像素点灰度值，将(1)中顺序排列的邻域窗口像素点从小到大排列；
(3)移除(2)中灰度值最大和最小的像素点；
(4)计算(3)中剩余像素点灰度值的平均值；
(5)设定一个阈值，计算(4)中的平均值和邻域窗口中心像素点灰度值的差值绝对值，确定窗口的最终参考灰度值；
(6)计算邻域窗口内每个像素点对应的比特值；
(7)以邻域窗口的左上角像素点为参考，顺时针排列(6)中得到的每个像素点的比特值，生成左图像和右图像窗口的比特串，根据左图像和右图像窗口的比特串计算左图像窗口中心像素点对应的匹配代价；
(8)将右图像窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，重复(1)至(7)，选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点；
(9)从左至右，从上至下遍历左图像的每个像素点，每遍历一个像素点，重复(1)至(8)，找到左图像中除了第一行、第一列以及最后一行、最后一列的每个像素点在右图像中对应的匹配点；
(10)计算左图像除了第一行、第一列以及最后一行、最后一列的每个像素点和(9)中获得的右图像对应匹配点的像素列数差，像素列数差即为左图像当前像素点的视差值，将左图像的第一行、第一列以及最后一行、最后一列的每个像素点的视差值设为0，左图像每个位置的像素点的视差值作为对应位置的灰度值生成视差图。
2.根据权利要求1所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(1)的具体实现方法如下：双目摄像机拍摄获得左图像和右图像，以左图像的左上角像素点为基准点，取3×3像素大小的窗口；同时，以右图像的左上角像素点为建准点，取3×3像素大小的窗口；窗口内除了中心像素点的其他像素点组成的窗口被称为邻域窗口，按照邻域窗口内像素点的空间分布以左至右、从上至下的顺时针顺序排列所有像素点，排列的公式为：
上式中，p0,p1,p2,p3,p4,p5,p6,p7代表3×3邻域窗口内的像素点，
代表按照空间分布进行顺序排列。
3.根据权利要求2所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(2)的具体实现方法如下：根据邻域窗口内每个像素点的灰度值大小，按照从小到大的顺序排列邻域窗口内的每个像素点，排列公式为：
上式中，I(p0),I(p1),I(p2),I(p3),I(p4),I(p5),I(p6),I(p7)代表3×3邻域窗口内像素点的灰度值，
代表按照灰度值从小到大的顺序进行排列。
4.根据权利要求3所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(3)的具体实现方法如下：
移除邻域窗口内像素点灰度值的最大值和最小值，公式为：
I(pi)代表3×3邻域窗口内像素点的最大灰度值，I(pj)代表3×3邻域窗口内像素点的最小灰度值。
5.根据权利要求4所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(4)的具体实现方法如下：计算移除最大灰度值和最小灰度值之后的邻域窗口内像素点灰度值的平均值，公式为：
其中，p代表中心像素点，Iaverage(p)代表移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值。
6.根据权利要求4所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(5)的具体实现方法如下：设定一个阈值，计算移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值和窗口中心像素的灰度值的差值绝对值；如果差值绝对值小于等于设定的阈值，选择窗口中心像素的灰度值作为窗口的最终参考灰度值，如果差值绝对值大于等于设定的阈值，选择移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值作为窗口的最终参考灰度值，公式为：
其中，p代表中心像素点，Icenter(p)为窗口的最终参考灰度值，I(p)为窗口的中心像素的灰度值，Iaverage(p)为移除最大灰度值和最小值之后的3×3邻域窗口内像素点灰度值的平均值，T1代表设定的阈值。
7.根据权利要求6所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(6)的具体实现方法如下：计算3×3邻域窗口内每个像素点的比特值，比特值的计算公式为：
其中，p代表中心像素点，Icenter(p)为窗口的最终参考灰度值，I(q)为3×3邻域窗口内每个像素点的灰度值。
8.根据权利要求7所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(7)的具体实现方法如下：以左图像的3×3像素大小窗口的左上角像素点为参考，顺时针排列邻域窗口内每个像素点的比特值，生成左图像窗口的比特串；以右图像的3×3像素大小窗口的左上角像素点为参考，顺时针排列邻域窗口内每个像素点的比特值，生成右图像窗口的比特串；根据左图像窗口生成的比特串和右图像窗口生成的比特串计算左图像窗口中心像素点对应的匹配代价，计算公式为：
C(p)＝Hanming(Bl(p),Br(p))
C(p)代表中心像素点p对应的匹配代价，Bl(p)代表左图像窗口的比特串，Br(p)代表右图像窗口的比特串，Hanming代表汉明距离计算，其是将左图像窗口比特串和右图像窗口比特串的每个比特位进行异或运算；得到一个十进制的数，此十进制数就是当前左图像窗口中心像素的匹配代价值。
9.根据权利要求8所述的一种基于双目视觉的立体匹配方法，其特征在于，步骤(8)的具体实现方法如下：将右图像的3×3像素大小的窗口在同一像素行上从左向右移动至最后一个像素，每移动一个像素，重复第一步至第七步；之后选取最小匹配代价对应的右图像窗口的中心像素点作为左图像窗口的中心像素点的匹配点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011636743.XA CN112750154A (zh) | 2020-12-31 | 2020-12-31 | 一种基于双目视觉的立体匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011636743.XA CN112750154A (zh) | 2020-12-31 | 2020-12-31 | 一种基于双目视觉的立体匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112750154A true CN112750154A (zh) | 2021-05-04 |
Family
ID=75651087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011636743.XA Pending CN112750154A (zh) | 2020-12-31 | 2020-12-31 | 一种基于双目视觉的立体匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112750154A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113947625A (zh) * | 2021-10-15 | 2022-01-18 | 中国矿业大学 | 一种视差面精细建模的双目图像视差计算优化方法 |
| CN116309757A (zh) * | 2023-05-24 | 2023-06-23 | 山东省青东智能科技有限公司 | 基于机器视觉的双目立体匹配方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460792A (zh) * | 2016-12-12 | 2018-08-28 | 南京理工大学 | 一种基于图像分割的高效聚焦立体匹配方法 |
| CN108592823A (zh) * | 2017-12-04 | 2018-09-28 | 湖南大学 | 一种基于双目视觉彩色条纹编码的解码方法 |
| CN108898575A (zh) * | 2018-05-15 | 2018-11-27 | 华南理工大学 | 一种新型自适应权重立体匹配方法 |
| CN110473219A (zh) * | 2019-07-31 | 2019-11-19 | 天津大学 | 基于邻域相关信息的立体匹配方法 |
-
2020
- 2020-12-31 CN CN202011636743.XA patent/CN112750154A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460792A (zh) * | 2016-12-12 | 2018-08-28 | 南京理工大学 | 一种基于图像分割的高效聚焦立体匹配方法 |
| CN108592823A (zh) * | 2017-12-04 | 2018-09-28 | 湖南大学 | 一种基于双目视觉彩色条纹编码的解码方法 |
| CN108898575A (zh) * | 2018-05-15 | 2018-11-27 | 华南理工大学 | 一种新型自适应权重立体匹配方法 |
| CN110473219A (zh) * | 2019-07-31 | 2019-11-19 | 天津大学 | 基于邻域相关信息的立体匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘爽等: ""基于改进 Census 变换和网状聚合的立体匹配方法"", 《哈尔滨理工大学学报》 * |
| 黄彬等: ""基于自适应权重的改进 Census 立体匹配算法"", 《计算机工程》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113947625A (zh) * | 2021-10-15 | 2022-01-18 | 中国矿业大学 | 一种视差面精细建模的双目图像视差计算优化方法 |
| CN116309757A (zh) * | 2023-05-24 | 2023-06-23 | 山东省青东智能科技有限公司 | 基于机器视觉的双目立体匹配方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114782691B (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
| CN110310320B (zh) | 一种双目视觉匹配代价聚合优化方法 | |
| CN109255811B (zh) | 一种基于可信度图视差优化的立体匹配方法 | |
| CN104867135B (zh) | 一种基于指导图像引导的高精度立体匹配方法 | |
| CN111833393A (zh) | 一种基于边缘信息的双目立体匹配方法 | |
| CN111914913B (zh) | 一种新型立体匹配优化方法 | |
| CN113763269B (zh) | 一种用于双目图像的立体匹配方法 | |
| US11651581B2 (en) | System and method for correspondence map determination | |
| CN112750154A (zh) | 一种基于双目视觉的立体匹配方法 | |
| CN114494462A (zh) | 一种基于Yolov5和改进跟踪算法的双目相机测距方法 | |
| CN114549307B (zh) | 一种基于低分辨率图像的高精度点云色彩重建方法 | |
| JP2012068772A (ja) | カメラトラッキング装置およびそのプログラム | |
| CN113393524A (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
| CN111325778B (zh) | 基于窗口互相关信息的改进Census立体匹配算法 | |
| CN114862926A (zh) | 融合ad代价和多模局部特征代价的立体匹配方法及*** | |
| CN113642397B (zh) | 一种基于手机视频的物体长度测量方法 | |
| CN111415305A (zh) | 恢复三维场景的方法、计算机可读存储介质及无人机 | |
| CN114998532B (zh) | 一种基于数字图像重建的三维影像视觉传达优化方法 | |
| CN114877826A (zh) | 一种双目立体匹配三维测量方法、***及存储介质 | |
| CN112233164B (zh) | 一种视差图错误点识别与校正方法 | |
| CN114842066A (zh) | 图像深度识别模型训练方法、图像深度识别方法及装置 | |
| CN110853087B (zh) | 一种视差估计方法、装置、存储介质及终端 | |
| CN113298098A (zh) | 基础矩阵估计方法及相关产品 | |
| CN109801324B (zh) | 一种对光强不敏感的斜面近邻传播立体匹配方法 | |
| JP4840822B2 (ja) | 画像処理方法、装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210504 |