CN107155100B - 一种基于图像的立体匹配方法及装置 - Google Patents
一种基于图像的立体匹配方法及装置 Download PDFInfo
- Publication number
- CN107155100B CN107155100B CN201710470883.6A CN201710470883A CN107155100B CN 107155100 B CN107155100 B CN 107155100B CN 201710470883 A CN201710470883 A CN 201710470883A CN 107155100 B CN107155100 B CN 107155100B
- Authority
- CN
- China
- Prior art keywords
- pixel
- parallax
- image
- processed
- submodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000007787 solid Substances 0.000 title claims abstract description 49
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000003709 image segmentation Methods 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- YMHOBZXQZVXHBM-UHFFFAOYSA-N 2,5-dimethoxy-4-bromophenethylamine Chemical group COC1=CC(CCN)=C(OC)C=C1Br YMHOBZXQZVXHBM-UHFFFAOYSA-N 0.000 description 1
- 241000545067 Venus Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例公开了一种基于图像的立体匹配方法，包括：获取待处理图像，并获取待处理图像中每个像素点的初始视差；评估初始视差的可信度，根据初始视差的可信度确定待处理图像中可信像素点和不可信像素点；根据待处理图像的颜色值对其进行分割，得到多个分割块；以分割块中可信像素点的坐标及其初始视差为依据，确定该分割块中不可信像素点的第一视差。本申请实施例基于可信像素点的可信的初始视差推导出不可信像素点的可信视差，纠正了初始视差中不可信像素点对应的视差，能够得到待处理图像中无纹理区域的准确视差，提高了对图像中无纹理区域的处理效果。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于图像的立体匹配方法及装置。
背景技术
作为多视点成像最重要的应用，自由视点电视给用户提供了可以任意选择场景视角的能力，打破了只能从拍摄角度看场景的限制，增强了用户体验，越来越受到人们的广泛关注。然而从传统上来看要实现任意视角观看三维场景需要无数个从不同视角拍摄的帧，用户才可以自由地在现实世界中转换场景视角，由于相机数量有限和存储空间缺乏，这似乎是不切实际的。因此，虚拟视点合成技术应运而生，该技术基于有限个拍摄视图进行映射得到中间虚拟视点视图，这样就可以通过有限个摄像机实现场景视角的自由转换。这种图像映射被称为立体匹配。
立体匹配算法分可以分为两类：局部算法和全局算法。局部算法是在支持窗口内根据颜色值差异估算窗口中心像素的视差值，进而得到图像的整体视差图，是利用局部信息解决匹配问题。全局算法是利用图像的全局约束信息，对局部图像的模糊不敏感，通过构建全局能量函数，再通过优化方法最小化全局能量函数以得到致密视差图。
由于现有的立体匹配算法默认图像中颜色值相同的像素点处于同一视差平面或平滑变化的视差表面上，且像素点之间的空间距离越小处在同一视差平面上的可能性越大。因此，现有的许多立体匹配算法对图像中低曲率或正面平行的场景的处理效果较好，但对图像中存在较多倾斜或高度弯曲的无纹理表面的处理效果不佳。
发明内容
有鉴于此，本申请提供了一种基于图像的立体匹配方法及装置，能够解决现有技术中对图像中无纹理区域的处理效果不佳，视差图中存在错误的问题。
本申请实施例提供的一种基于图像的立体匹配方法，包括：
获取待处理图像，并获取所述待处理图像中每个像素点的初始视差；
评估所述初始视差的可信度，根据所述初始视差的可信度确定所述待处理图像中可信像素点和不可信像素点；
根据所述待处理图像中可信像素点和不可信像素点，得到第一集合和第二集合，所述第一集合包括该可信像素点，所述第二集合包括该不可信像素点，所述第一集合中像素点的第一视差为该像素点的初始视差；
根据所述待处理图像的颜色值对其进行分割，得到多个分割块；
以分割块中第一像素点的坐标和第一视差为依据，确定该分割块中第二像素点的第一视差，所述第一集合包括所述第一像素点，所述第二集合包括所述第二像素点。
可选的，所述方法还包括：
根据所述待处理图像中每个像素点的第一视差，将所述待处理图像的场景分割为多个三维实体；
分别根据每个所述三维实体上像素点的坐标和第一视差，拟合该三维实体的曲面方程；
根据所述曲面方程和预先设定的比例尺，获得所述待处理图像中每个像素点的第二视差；
综合所述第二视差，得到所述待处理图像的视差图。
可选的，所述获取所述待处理图像中每个像素点的初始视差，具体包括：
获取与所述待处理图像对应的参考图像，所述参考图像与所述待处理图像的场景相同；
根据预设的备选视差范围，获得至少两个备选视差；
分别根据每个所述备选视差，在所述参考图像中确定与所述待处理图像中待匹配像素点对应的参考像素点；
分别获得所述待匹配像素点和对应的每个所述参考像素点之间的总匹配代价，将所述总匹配代价最小值对应的参考像素点所对应的备选视差确定为该待匹配像素点的初始视差。
可选的，所述评估所述初始视差的可信度，具体包括：
查找所述待匹配像素点对应的总匹配代价中，最小的总匹配代价和次最小的总匹配代价；
根据所述最小的总匹配代价和所述次最小的总匹配代价，评估所述待匹配像素点初始视差的可信度。
可选的，所述根据所述待处理图像的颜色值对其进行分割，得到多个分割块，之前还包括：
更新所述第二像素点和对应的每个所述参考像素点之间的总匹配代价，将更新后总匹配代价的最小值对应的参考像素点所对应的备选视差确定为该第二像素点的第三视差；
评估所述第二像素点的第三视差的可信度，根据所述第三视差的可信度区分所述第二像素点中的可信像素点和不可信像素点；
根据所述第二像素点中的可信像素点和不可信像素点更新所述第一集合和所述第二集合，更新后的第一集合包括所述第一像素点和所述第二像素点中的可信像素点，更新后的第二集合包括所述第二像素点中的不可信像素点。
可选的，所述更新所述第二像素点和对应的每个所述参考像素点之间的总匹配代价，具体包括：
根据目标备选视差，在所述参考图像中找出与所述第二像素点对应的参考像素点，并获取该参考像素点的参考视差所述目标备选视差落在所述备选视差范围内；
确定所述待处理图像中的第一支持窗口和所述参考图像中的第二支持窗口，所述第一支持窗口的中心为所述第二像素点，所述第二支持窗口的中心为所述第二像素点对应的参考像素点；
根据两个对应的支持像素点的颜色值以及所述目标备选视差和所述参考视差，更新该两个支持像素点之间的匹配代价，所述两个对应的支持像素点分别落在所述第一支持窗口和所述第二支持窗口内；
根据所述第一支持窗口和所述第二支持窗口之间对应的两个支持像素点更新后的匹配代价以及这两个支持像素点的权重，更新所述第二像素点和对应的参考像素点之间的总匹配代价。
可选的，确定可信像素点和不可信像素点的方法，具体为：
根据所述待处理图像的类型，确定可信度阈值；
若像素点对应的可信度大于或等于所述可信度阈值，则将该像素点确定为可信像素点；
若像素点对应的可信度小于所述可信度阈值，则将该像素点确定为不可信像素点。
本申请实施例提供的一种基于图像的立体匹配装置，包括：图像获取模块、视差获取模块、可信度评估模块、集合确定模块和图像分割模块；
所述图像获取模块，用于获取待处理图像；
所述视差获取模块，用于获取所述待处理图像中每个像素点的初始视差；
所述可信度评估模块，用于评估所述初始视差的可信度，根据所述初始视差的可信度确定所述待处理图像中可信像素点和不可信像素点；
所述集合确定模块，用于根据所述待处理图像中可信像素点和不可信像素点，得到第一集合和第二集合，所述第一集合包括该可信像素点，所述第二集合包括该不可信像素点，所述第一集合中像素点的第一视差为该像素点的初始视差；
所述图像分割模块，用于根据所述待处理图像的颜色值对其进行分割，得到多个分割块；
所述视差获取模块，还用于以分割块中第一像素点的坐标和第一视差为依据，确定该分割块中第二像素点的第一视差，所述第一集合包括所述第一像素点，所述第二集合包括所述第二像素点。
可选的，所述装置还包括：曲面拟合模块和视差图获取模块；
所述图像分割模块，还用于根据所述待处理图像中每个像素点的第一视差，将所述待处理图像的场景分割为多个三维实体；
所述曲面拟合模块，用于分别根据每个所述三维实体上像素点的坐标和第一视差，拟合该三维实体的曲面方程；
所述视差获取模块，还用于根据所述曲面方程和预先设定的比例尺，获得所述待处理图像中每个像素点的第二视差；
所述视差图获取模块，用于综合所述第二视差，得到所述待处理图像的视差图。
可选的，
所述图像获取模块，还用于获取与所述待处理图像对应的参考图像，所述参考图像与所述待处理图像的场景相同；
所述视差获取模块，具体包括：第一获取子模块、第二获取子模块、第一确定子模块和第二确定子模块；
所述第一获取子模块，用于根据预设的备选视差范围，获得至少两个备选视差；
所述第一确定子模块，用于分别根据每个所述备选视差，在所述参考图像中确定与所述待处理图像中待匹配像素点对应的参考像素点；
所述第二获取子模块，用于分别获得所述待匹配像素点和对应的每个所述参考像素点之间的总匹配代价；
所述第二确定子模块，用于将所述总匹配代价最小值对应的参考像素点所对应的备选视差确定为该待匹配像素点的初始视差。
可选的，所述可信度评估模块，具体包括：查找子模块和第三获取子模块；
所述查找子模块，用于查找所述待匹配像素点对应的总匹配代价中，最小的总匹配代价和次最小的总匹配代价；
所述第三获取子模块，用于根据所述最小的总匹配代价和所述次最小的总匹配代价，评估所述待匹配像素点初始视差的可信度。
可选的，所述视差获取模块，还包括：更新子模块；
所述更新子模块，用于更新所述第二像素点和对应的每个所述参考像素点之间的总匹配代价；
所述第二确定子模块，还用于将更新后总匹配代价的最小值对应的参考像素点所对应的备选视差确定为该第二像素点的第三视差；
所述可信度评估模块，还用于评估所述第二像素点的第三视差的可信度，根据所述第三视差的可信度区分所述第二像素点中的可信像素点和不可信像素点；
所述集合确定模块，还用于根据所述第二像素点中的可信像素点和不可信像素点更新所述第一集合和所述第二集合，更新后的第一集合包括所述第一像素点和所述第二像素点中的可信像素点，更新后的第二集合包括所述第二像素点中的不可信像素点。
可选的，所述更新子模块，具体包括：第三确定子模块、第四确定子模块、第四获取子模块和第五获取子模块；
所述第三确定子模块，用于根据目标备选视差，在所述参考图像中找出与所述第二像素点对应的参考像素点，所述目标备选视差落在所述备选视差范围内；
所述视差获取模块，还用于获得所述第二像素点对应的参考像素点的参考视差；
所述第四确定子模块，用于确定所述待处理图像中的第一支持窗口和所述参考图像中的第二支持窗口，所述第一支持窗口的中心为所述第二像素点，所述第二支持窗口的中心为所述第二像素点对应的参考像素点；
所述第四获取子模块，用于根据两个对应的支持像素点的颜色值以及所述目标备选视差和所述参考视差，更新该两个支持像素点之间的匹配代价，所述两个对应的支持像素点分别落在所述第一支持窗口和所述第二支持窗口内；
所述第五获取子模块，用于根据所述第一支持窗口和所述第二支持窗口之间对应的两个支持像素点的匹配代价以及这两个支持像素点更新后的权重，更新所述第二像素点和对应的参考像素点之间的总匹配代价。
可选的，所述可信度评估模块，还包括：阈值获取子模块、第六确定子模块和第七确定子模块；
所述阈值获取子模块，用于根据所述待处理图像的类型，确定可信度阈值；
所述第六确定子模块，用于当像素点对应的可信度大于或等于所述可信度阈值时，将该像素点确定为可信像素点；
所述第七确定子模块，用于当像素点对应的可信度小于所述可信度阈值时，则将该像素点确定为不可信像素点。
与现有技术相比，本申请至少具有以下优点：
在本申请实施例中，首先获取待处理图像中每个像素点的初始视差，再对初始视差进行可信度评估，确定待处理图像中初始视差可信的可信像素点以及初始视差不可信的不可信像素点。然后，将待处理图像的像素点及其视差放在一个由像素点坐标和视差构成的三维空间中时，处于同一无纹理区域内的可信像素点可以形成光滑的曲面，而该区域中不可信像素点则位于该曲面以外。因此，先对待处理图像进行颜色分割得到多个分割块，再根据分割块中可信像素点的坐标及初始视差，确定该分割块中不可信像素点的可信视差。最后，根据可信像素点的初始视差和不可信像素点的可信视差，即可得到待处理图像中每个像素点的准确的视差，从而得到待处理图像的视差图。本申请实施例基于可信像素点的可信的初始视差推导出不可信像素点的可信视差，纠正了初始视差中不可信像素点对应的视差，能够得到待处理图像中无纹理区域的准确视差，提高了对图像中无纹理区域的处理效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为传统立体匹配算法得到的视差图及其真实视差图；
图2为本申请实施例提供的一种基于图像的立体匹配方法的流程示意图；
图3a-3c为待匹配图像及其真实视差图和传统算法所得视差图的三维示意图；
图4为本申请一种实施例中得到待处理图像视差图的流程示意图；
图5为本申请实施例提供的另一种基于图像的立体匹配方法的流程示意图；
图6为本申请实施例中一种更新第一集合和第二集合的流程示意图；
图7为本申请实施例中一种更新总匹配代价的流程示意图；
图8为本申请实施例提供的又一种基于图像的立体匹配方法的流程示意图；
图9为本申请实施例提供的一种基于图像的立体匹配装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有的局部立体匹配算法，是在支持窗口内根据颜色值估算窗口中心像素点的视差，是利用局部信息解决匹配问题。许多局部方法尝试使用更高效的算法架构以减少计算复杂度。例如，通过在成本域中传播视差来解决立体匹配问题实现实时的局部立体匹配；对多种空间平滑约束进行归一化处理，实现高效立体匹配；设计新的代价聚合算法，以降低计算复杂度和内存使用等。另外一些算法致力于获取更精确的视差图。例如，使用基于多斜面假设的直方图聚集方法改进传统的匹配算法，既能提高匹配精度，又能保持较低的计算复杂度；设计高效的一次性局部算法，提高相似性度量的准确性和代价聚合的可靠性等。
在诸多局部立体匹配算法中，最值得一提的方法是自适应权重的立体匹配算法，该算法的核心是边界保持性能好。通过在自适应权重算法的基础上引入迭代优化，可以迭代消除视差误差同时又不会增加计算复杂度；通过递归加权使计算复杂度与支持窗口大小无关；通过使用迭代块减少计算复杂度；使用各向异性滤波器(各向异性中值滤波是中值滤波器和边缘保持各向异性滤波器的结合)得到更精确的视差图等。
传统的立体匹配算法有缺陷，是因为算法默认颜色相同的像素点在同一视差平面或平滑变化的视差曲面上，且像素点之间的空间距离越小处在同一视差平面上的可能性越大。因此，现有的许多立体匹配算法对图像中低曲率或正面平行的场景的处理效果较好，但对图像中存在较多倾斜或高度弯曲的无纹理表面的处理效果不佳。图1示出了现有的立体匹配算法得到的Tsukuba图像中头部模型的视差信息及其实际的视差信息，通过图1可发现，现有的立体匹配算法对图像中无纹理但存在较多倾斜或高度弯曲的表面的处理效果不佳。
为此，本申请实施例尝试将初始视差结构放到一个由像素坐标和视差值构成的三维空间中。在这个空间中，处于无纹理区域的匹配正确的像素点可以形成光滑的曲面，而匹配错误的像素点则不会。因此，在本申请实施例中，基于匹配正确的像素视差值推断出匹配错误的像素点的视差值。首先，通过像素级匹配得到待处理图像的初始视差和初始视差的可靠度。之后，基于彩色图像分割，根据分割块中可信像素点的视差纠正不可信像素点的视差，最终得到准确的视差，解决了图像中无纹理区域匹配效果不佳的问题。
基于上述思想，为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。
首先需要说明的是，本申请实施例提供的立体匹配方法，基于对同一场景在不同位置拍摄的两幅彩色图像进行，例如同一摄像设备在不同位置对同一场景拍摄的两幅图像，还例如双目摄像机(或两个摄像头)对一场景拍摄得到的双目序列中图像的左视图和右视图。下面以对左视图进行立体匹配(即获得左视图的视差图)为例进行说明，对右视图进行立体匹配的方法类似，具体说明参见对左视图进行立体匹配的相关说明即可，在本申请实施例中不再赘述。
参见图2，该图为本申请实施例提供的一种基于图像的立体匹配方法的流程示意图。
本实施例提供的立体匹配方法，包括以下步骤S201-S205。
S201：获取待处理图像，并获取待处理图像中每个像素点的初始视差。
可以理解的是，待处理图像可以为双目摄像机拍摄的校正后的彩色图像中的左视图或右视图，也可以是该图像的原始图像。
在实际应用中，本领域技术人员可以采用上述任意一种现有的立体匹配算法，得到待处理图像的初始视差图，本申请实施例中并不对此做任何限定，这里也不再一一赘述。
S202：评估初始视差的可信度，根据初始视差的可信度确定待处理图像中可信像素点和不可信像素点。
初始视差的可信度，即立体匹配结果的可信度，用于确定得到的视差是否准确。当初始视差可信时，该像素点(即可信像素点)的初始视差接近真实视差；当初始视差不可信时，该像素点(即不可信像素点)的视差与初始视差时间存在较大的误差，需要对不可信的视差进行调整，以得到待处理图像准确的视差图。
S203：根据待处理图像中可信像素点和不可信像素点，得到第一集合和第二集合。
其中，第一集合包括该可信像素点，第二集合包括该不可信像素点，第一集合中像素点的第一视差为该像素点的初始视差。
即，根据初始视差的可信度，将待处理图像的像素点分为两类，一类为初始视差可信的像素点(即第一集合中的像素点)，另一类为初始视差不可信的像素点(即第二集合中的像素点)。
S204：根据待处理图像的颜色对其进行分割，得到多个分割块。
通过现有的立体匹配算法得到的视差，默认相同颜色的像素点处于同一视差平面或平滑变化的视差表面上，且像素点之间的空间距离越小处在同一视差平面上的可能性越大。因此，在处理待处理图像的无纹理区域时，效果不佳。在本实施例中，认为处于无纹理区域的像素点可以形成一个在由像素坐标及其视差组成的三维空间内的光滑平面。因此，根据颜色将待处理图像分割多个分割块，将无纹理区域划分为一个分割块，分别处理每个分割块中像素点的视差，可以保证无纹理区域中视差的准确。
可以理解的是，步骤S204可以在获取待处理图像之后与步骤S205之前任意时刻执行，本申请实施例对此不做任何限定。
在实际应用中，可以采用均值漂移算法，根据图像的颜色对图像进行分割。每个分割块可以由至少500个像素点组成。
S205：以分割块中第一像素点的坐标和第一视差为依据，确定该分割块中第二像素点的第一视差。
其中，第一集合包括第一像素点，第二集合包括第二像素点。
由于在本实施例中，认为处于无纹理区域的像素点可以形成一个在由像素坐标及其视差组成的三维空间内的光滑平面，则分割块中可信像素点(即第一集合中处于同一分隔块内的像素点)可以形成光滑的表面(即曲面)，而分割块中不可信像素点(即第二集合中处于该分割块内的像素点)则不在该表面上。因此，可以根据分隔块中第一像素点的坐标和初始视差(即第一视差)，确定其形成的曲面，再根据该曲面，可以得到该分隔块中第二像素点的准确视差(即第一视差)。根据分割块中可信像素点的视差，纠正不可信像素点的视差，提高了对图像中无纹理区域的处理效果。
作为一个示例，为了确保分隔块内第一像素点可以形成的表面平滑连续，可以根据公式(1)所示的可导的二元三次方程来拟合曲线。
d(x,y)＝a1+a2·x+a3·y+a4·x2+a5·xy+a6·y2+a7·x3+a8·x2y+a9·xy2+a10·y3 (1)
其中，a1,a2,…,a10为系数，(x,y)为像素点坐标，d(x,y)为视差。
将第一像素点的坐标和初始视差代入公式(1)可以得到系数a1,a2,…,a10，从而得到该表面的曲面方程，再将第二像素点的坐标代入曲面方程，即可得到该第二像素点位于该表面时的第一视差。
这里还需要说明的是，待处理图像中像素点的第一视差组成的视差图可以在实际操作中直接应用。但是，若视差图比例不为1时，该视差图将像积木而不是连贯的表面，从而影响视差图的主观舒适度和立体匹配结果的真实性。举例而言，待处理图像如图3a所示，步骤S205得到的视差图的三维效果如图3b所示，但真实视差图的三维效果应该如图3c所示。
因此，为了提高立体匹配结果的主观舒适性，使立体匹配的结果更加真实，在本实施例可能的实现方式中，还可以基于像素点的第一视差分割待处理图像，将待处理图像中的场景分割为一组三维实体，就像人类理解场景一样，对每个三维实体进行曲面拟合。具体的，如图4所示，在步骤S205之后，还包括步骤S206-S209。
S206：根据待处理图像中每个像素点的第一视差，将待处理图像的场景分割为多个三维实体。
三维实体需满足以下条件：其一，每个三维实体的视差服从紧凑分布；其二，每个三维实体的视差过度平稳。在实际操作中，可以根据上述条件，采用均值漂移算法，根据像素点的第一视差对待处理图像中的三维实体进行分割。
S207：分别根据每个三维实体上像素点的坐标和第一视差，拟合该三维实体的曲面方程。
可以理解的是，三维实体在待处理图像中表现为光滑的表面。因此，在实际应用中，也可以将三维实体上像素点的坐标及其第一视差代入公式(1)，从而拟合出该三维实体的曲面方程。
S208：根据曲面方程和预先设定的比例尺，获得待处理图像中每个像素点的第二视差。
S209：综合像素点的第二视差，得到待处理图像的视差图。
可以理解的是，比例尺可以由现有技术确定，这里不再赘述。
在实际应用中，可以根据视差比例尺，对三维实体的曲面方程中系数进行修改，进而得到修改后待处理图像中每个像素点的期望视差，以满足主观舒适性的要求，使处理结果更加真实。
在本实施例中，首先获取待处理图像中每个像素点的初始视差，再对初始视差进行可信度评估，确定待处理图像中初始视差可信的可信像素点以及初始视差不可信的不可信像素点。然后，将待处理图像的像素点及其视差放在一个由像素点坐标和视差构成的三维空间中时，处于同一无纹理区域内的可信像素点可以形成光滑的曲面，而该区域中不可信像素点则位于该曲面以外。因此，先对待处理图像进行颜色分割得到多个分割块，再根据分割块中可信像素点的坐标及初始视差，确定该分割块中不可信像素点的可信视差。最后，根据可信像素点的初始视差和不可信像素点的可信视差，即可得到待处理图像中每个像素点的准确的视差，从而得到待处理图像的视差图。本实施例基于可信像素点的可信的初始视差推导出不可信像素点的可信视差，纠正了初始视差中不可信像素点对应的视差，能够得到待处理图像中无纹理区域的准确视差，提高了对图像中无纹理区域的处理效果。
下面举例说明如何获取待处理图像中每个像素点的初始视差。
参见图5，该图为本申请实施例提供的另一种基于图像的立体匹配方法的流程示意图。
在本实施例中，步骤S202具体包括以下步骤S501-S504。
S501：获取与待处理图像对应的参考图像，参考图像与待处理图像的场景相同。
可以理解的是，参考图像可以是为双目摄像机拍摄的校正后的除待处理图像之外的另一张彩色图像，也可以是该图像的原始图像。例如，待处理图像为双目摄像机拍摄的左视图，则参考图像为同时拍摄的右视图。
S502：根据预设的备选视差范围，获得至少两个备选视差。
在本实施例中，预先设定了待处理图像的备选视差范围。例如，备选视为差范围1-5，则备选视差可以是[1,5]中的任意一个整数。
S503：分别根据每个备选视差，在参考图像中确定与待处理图像中待匹配像素点对应的参考像素点。
每个备选视差下，待处理图像中像素点均可以在参考图像上找到一个匹配的像素点(即参考像素点)。由于选出了至少两个备选视差，则待处理图像中每个像素点匹配至少两个参考像素点。即，每个备选视差下，均存在匹配对(pc,qc)，其中pc为待处理图像中像素点，qc为该备选视差下与pc匹配的参考像素点。
S504：分别获得待匹配像素点和对应的每个参考像素点之间的总匹配代价，将总匹配代价最小值对应的参考像素点所对应的备选视差确定为该待匹配像素点的初始视差。
在实际操作中，可以根据如下公式(2)、公式(3)和公式(4)获得待处理图像中像素点和对应的每个参考像素点之间的总匹配代价。
其中，Cost(pc,qc)为匹配对(pc,qc)的总匹配代价，pc为待处理图像中像素点，qc为参考图像中像素点，Wl为待处理图像中以pc为中心的固定窗口，Wr为参考图像中以qc为中心的固定窗口，ωl(pi,pc)和ωr(qi,qc)分别是pi和qi的权重，pi和qi分别是Wl和Wr中的像素点，e0(pi,qi)为pi和qi之间的匹配代价，Ic是彩色图像的颜色值(RGB值)，T为预设的匹配代价上限，dp(pi,pc)为待处理图像中pi和pc之间的空间距离，dc(Ic(pi),Ic(pc)为待处理图像中pi和pc之间的颜色相似性，γp和γc为常量。
这里需要说明的是，权重与像素点间的颜色和空间距离有关，代表窗口内像素点服务中心像素点的能力，对与窗口内与中心点颜色相似、距离接近的像素点赋予较大的权重，反之则赋予较小的权重。
然后，通过胜者为王(Winner-Takes-All，WTA)算法得到待处理图像中像素点的初始视差，如公式(5)所示。
其中，为pc的初始视差，d为备选视差，Sd为备选视差范围。
可以理解的是，最小的总匹配代价对应的匹配对，该匹配对对应的备选视差即为待处理图像中像素点的初始视差。
为了提高遮挡和视差不连续区域中立体匹配的效果，在本实施例可能的实现方式中，可以采用捆绑优化的方法，进一步优化像素点的视差，从第一集合中筛选出优化视差后的可信像素点和不可信像素点。捆绑优化，即同时约束色彩一致性和视差值约束，从而实现以下三个目标：第一，每个候选视差值的代价差异加大；第二，降低因图像噪声和遮挡对立体匹配结果的影响；第三，使视差图边界得以保留。因此，步骤S204之前，还可以包括更新第一集合和第二集合的过程，如图6所示，具体包括以下步骤S601-S602。
S601：更新第二像素点和对应的每个参考像素点之间的总匹配代价，将更新后总匹配代价的最小值对应的参考像素点所对应的备选视差确定为该第二像素点的第三视差。
作为一个示例，如图7所示，更新总匹配代价的过程可以具体包括以下步骤S701-S704。
S701：根据目标备选视差，在参考图像中找出与第二像素点对应的参考像素点，并获取该参考像素点的参考视差，目标备选视差落在备选视差范围内。
这里需要说明的是，可以采用与获取待处理图像中初始视差时相同的方法获取参考像素点的参考视差，这里不再赘述。
S702：确定待处理图像中的第一支持窗口和参考图像中的第二支持窗口，第一支持窗口的中心为第二像素点，第二支持窗口的中心为第二像素点对应的参考像素点。
S703：根据两个对应的支持像素点的颜色值以及目标备选视差和参考视差，更新该两个支持像素点之间的匹配代价，两个对应的支持像素点分别落在第一支持窗口和第二支持窗口内。
在理想状态下，第二像素点的视差和对应的参考像素点的视差相同。因此，为了提高遮挡和视差不连续区域中立体匹配的效果，在本实施例中考虑第二像素点和对应的参考像素点的匹配偏差，定义了一个新的代价聚合函数，对匹配代价e的计算方法做了修改，即用公式(6)替换公式(3)
e(pi,qi)＝e0(pi,qi)+(d-d')2 (6)
其中，d为目标备选视差，d'为参考视差。
在实际应用中，为了方便计算，可以先根据待处理图像，确定参考图像中每个像素点的视差(即参考视差)，再根据目标备选视差在待处理图像中找出参考像素点对应的第二像素点。
S704：根据第一支持窗口和第二支持窗口之间对应的两个支持像素点更新后的匹配代价以及这两个支持像素点的权重，更新第二像素点和对应的参考像素点之间的总匹配代价。
即，用公式(7)替换公式(2)。
然而，根据公式(4)可看出，由于在计算总匹配代价时，与中心像素点的空间距离和颜色距离都较小的像素点将得到更高的权重，但在视差不连续的地区，由于两侧颜色相近，这些像素与中心像素可能不在同一视差平面，会导致视差估算出错。因此，在本实施例可能的实现方式中，需要重新确定这些像素点的权重。具体的，本实施例在根据权重获取总匹配代价之前：先根据其颜色信息，将待匹配图像分割成多个分隔块；再判断像素点pi与像素点pc是否位于同一颜色分割块，像素点pc对应的匹配窗口包括像素点pi。若是，则根据像素点pi与像素点pc之间的颜色相似性和空间距离，获得像素点pi的权重。若否，则确定像素点pi的权重为零。
即，其中，Sc为像素点pc所在的颜色分隔块。
简言之，即重新赋予第一匹配窗内和第二匹配窗口内像素点权重，引入几何形状信息，而不仅仅依靠颜色相似性和空间邻近性。若像素点与匹配窗口的中心点处于同一个分割块上的像素点的视差值相同，则赋予它的权重应为最大值(即1.0)；若否，则确定其权重为零。
这里需要说明的是，可以在更新第二像素点的对应的每个参考像素点之间的总匹配代价之前，更新公式(2)所用的权重后重新第二像素点的对应的每个参考像素点之间的总匹配代价对第二集合进行筛选；也可以在更新第二像素点的对应的每个参考像素点之间的总匹配代价的过程中，同时更新公式(7)所用的权重；还可以在更新第二像素点的对应的每个参考像素点之间的总匹配代价，更新第二集合后，更新公式(2)所用的权重后重新获取第二集合中像素点的权重再次对第二集合进行筛选，本申请对此不做限定。
S602：评估第二像素点的第三视差的可信度，根据第三视差的可信度区分第二像素点中的可信像素点和不可信像素点。
评估第三视差的可信度的方法与评估初始视差可信度类似，具体可以参见对评估初始视差可信度的说明，这里不再赘述。
S603：根据第二像素点中的可信像素点和不可信像素点更新第一集合和第二集合，更新后的第一集合包括第一像素点和第二像素点中的可信像素点，更新后的第二集合包括第二像素点中的不可信像素点。
即，更新后的第一集合包括初始视差可信的像素点以及第三视差可信的像素点，第二集合包括第三视差不可信的像素点。
在本实施例中，采用捆绑优化的方式优化了匹配代价的计算方式，并结合图像分割对像素点的权重进行了自适应的设置，解决了图像噪声和遮挡对立体匹配结果的造成影响的问题，缩短了流程的整体耗时，并使得最终得到的视差图更加精确。
下面举例说明如何评估初始视差的可信度。参见图8，该图为本申请实施例提供的又一种立体匹配算法的流程示意图。
在本实施例中，步骤S202具体可以包括以下步骤S801-S805。
S801：查找待匹配图像中待匹配像素点对应的总匹配代价中，最小的总匹配代价和次最小的总匹配代价。
可以理解的是，若备选视差有5个，则存在5个匹配对(pc,qc(i))，i为1、2、3、4或5，有5个总匹配代价，从小到大排序为：
Cost1＜Cost2＜Cost3＜Cost4＜Cost5
则，对于待处理图像中像素点pc，Cost1为最小的匹配代价，Cost2为次最小的匹配代价。
S802：根据最小的总匹配代价和次最小的总匹配代价，评估待匹配像素点初始视差的可信度。
立体匹配的可信度可以定义为：所求视差值越准确，则第一候选视差与第二候选视差的代价差距越大。
因此，在本实施例中，可以根据公式(8)获得待处理图像中每个像素点初始视差的可信度。
其中，R(d)为初始视差d的可信度，为像素点p的第一候选视差，为像素点p的第二候选视差，Tc为阈值，为了防止公式(8)中的除数为0。
在实际应用中，为了便于观察立体匹配的效果，可以根据视差的可信度绘制可信度图谱。具体的，当像素点初始视差的可信度R(d)满足1时，在可信度图谱中以红色代表该像素点；当像素点初始视差的可信度R(d)满足0.8≤R(d)≤1时，在可信度图谱中以红色代表该像素点；当像素点初始视差的可信度R(d)满足0.6≤R(d)＜0.8时，在可信度图谱中以黄色代表该像素点；当像素点初始视差的可信度R(d)满足0.4≤R(d)＜0.6时，在可信度图谱中以绿色代表该像素点；当像素点初始视差的可信度R(d)满足0.2≤R(d)＜0.4时，在可信度图谱中以青色代表该像素点；当像素点初始视差的可信度R(d)满足0.1≤R(d)＜0.2时，在可信度图谱中以蓝色代表该像素点；当像素点初始视差的可信度R(d)满足0≤R(d)＜0.1时，在可信度图谱中以黑色代表该像素点。
S803：根据待处理图像的类型，确定可信度阈值。
在实际应用中，本领域技术人员可以根据数据经验，对不同类型图像的可信度阈值进行设定。例如，类型为Tsukuba的图像其可信度阈值设定为0.2，类型为Venus的图像其可信度阈值设定为0，类型为Teddy的图像其可信度阈值设定为0.1，类型为Cones的图像其可信度阈值设定为0.1。
S804：若像素点对应的可信度大于或等于可信度阈值，则将该像素点确定为可信像素点。
S805：若像素点对应的可信度小于可信度阈值，则将该像素点确定为不可信像素点。
可以理解的是，当初始视差的可靠度低于可信度阈值时，说明该像素点的视差估算错误，为不可信像素点；当初始视差的可靠度大于或等于可信度阈值时，说明该像素点的视差估算正确，为可信像素点。
上述实施例中的步骤S602与步骤S202类似，具体方法的说明参照本上述S701-S705即可，这里不再赘述。
基于上述实施例提供的立体匹配方法，本申请实施例还提供了一种立体匹配装置。
参见图9，该图为本申请实施例提供的一种立体匹配装置的结构示意图。
本实施例提供的基于图像的立体匹配装置，包括：图像获取模块100、视差获取模块200、可信度评估模块300、集合确定模块400和图像分割模块500。
图像获取模块100，用于获取待处理图像。
视差获取模块200，用于获取待处理图像中每个像素点的初始视差。
可信度评估模块300，用于评估初始视差的可信度，根据初始视差的可信度确定待处理图像中可信像素点和不可信像素点。
集合确定模块400，用于根据待处理图像中可信像素点和不可信像素点，得到第一集合和第二集合，第一集合包括该可信像素点，第二集合包括该不可信像素点，所述第一集合中像素点的第一视差为该像素点的初始视差。
图像分割模块500，用于根据待处理图像的颜色值对其进行分割，得到多个分割块。
视差获取模块200，还用于以分割块中第一像素点的坐标和第一视差为依据，确定该分割块中第二像素点的第一视差，第一集合包括第一像素点，第二集合包括第二像素点。
在本实施例可能的实现方式中，该装置还包括：曲面拟合模块和视差图获取模块。
图像分割模块500，还用于根据待处理图像中每个像素点的第一视差，将待处理图像的场景分割为多个三维实体。
曲面拟合模块，用于分别根据每个三维实体上像素点的坐标和第一视差，拟合该三维实体的曲面方程。
视差获取模块200，还用于根据曲面方程和预先设定的比例尺，获得待处理图像中每个像素点的第二视差。
视差图获取模块，用于综合第二视差，得到待处理图像的视差图。
在本实施例可能的实现方式中，图像获取模块100，还用于获取与待处理图像对应的参考图像，参考图像与待处理图像的场景相同。
视差获取模块200，具体包括：第一获取子模块、第二获取子模块、第一确定子模块和第二确定子模块。
第一获取子模块，用于根据预设的备选视差范围，获得至少两个备选视差。
第一确定子模块，用于分别根据每个备选视差，在参考图像中确定与待处理图像中待匹配像素点对应的参考像素点。
第二获取子模块，用于分别获得待匹配像素点和对应的每个参考像素点之间的总匹配代价。
第二确定子模块，用于将总匹配代价最小值对应的参考像素点所对应的备选视差确定为该待匹配像素点的初始视差。
在本实施例可能的实现方式中，可信度评估模块300，具体包括：查找子模块和第三获取子模块。
查找子模块，用于查找待匹配像素点对应的总匹配代价中，最小的总匹配代价和次最小的总匹配代价。
第三获取子模块，用于根据最小的总匹配代价和次最小的总匹配代价，评估待匹配像素点初始视差的可信度。
在本实施例可能的实现方式中，视差获取模块200，还包括：更新子模块。
更新子模块，用于更新第二像素点和对应的每个参考像素点之间的总匹配代价。
第二确定子模块，还用于将更新后总匹配代价的最小值对应的参考像素点所对应的备选视差确定为该第二像素点的第三视差。
可信度评估模块，还用于评估第二像素点的第三视差的可信度，根据第三视差的可信度区分第二像素点中的可信像素点和不可信像素点。
集合确定模块400，还用于根据第二像素点中的可信像素点和不可信像素点更新第一集合和第二集合，更新后的第一集合包括第一像素点和第二像素点中的可信像素点，更新后的第二集合包括第二像素点中的不可信像素点。
在本实施例可能的实现方式中，更新子模块，具体包括：第三确定子模块、第四确定子模块、第四获取子模块和第五获取子模块。
第三确定子模块，用于根据目标备选视差，在参考图像中找出与第二像素点对应的参考像素点，目标备选视差落在备选视差范围内。
视差获取模块200，还用于获得第二像素点对应的参考像素点的参考视差。
第四确定子模块，用于确定待处理图像中的第一支持窗口和参考图像中的第二支持窗口，第一支持窗口的中心为第二像素点，第二支持窗口的中心为第二像素点对应的参考像素点。
第四获取子模块，用于根据两个对应的支持像素点的颜色值以及目标备选视差和参考视差，更新该两个支持像素点之间的匹配代价，两个对应的支持像素点分别落在第一支持窗口和第二支持窗口内。
第五获取子模块，用于根据第一支持窗口和第二支持窗口之间对应的两个支持像素点的匹配代价以及这两个支持像素点更新后的权重，更新第二像素点和对应的参考像素点之间的总匹配代价。
在本实施例可能的实现方式中，可信度评估模块300，还包括：阈值获取子模块、第六确定子模块和第七确定子模块。
阈值获取子模块，用于根据待处理图像的类型，确定可信度阈值。
第六确定子模块，用于当像素点对应的可信度大于或等于可信度阈值时，将该像素点确定为可信像素点。
第七确定子模块，用于当像素点对应的可信度小于可信度阈值时，则将该像素点确定为不可信像素点。
在本实施例中，首先根据现有的立体匹配算法获取待处理图像中每个像素点的初始视差，再对初始视差进行可信度评估，确定待处理图像中初始视差可信的可信像素点以及初始视差存在误差不可信的不可信像素点。当将待处理图像的像素点及其视差放在一个三维空间中时，处于同一颜色区域内的可信像素点可以形成光滑的平面，而该区域中不可信像素点则位于该平面以外。因此，先根据待处理图像的颜色将其分为多个分割块，再根据分割块中可信像素点的坐标及初始视差，确定该分割块中不可信像素点的可信视差。最后，根据可信像素点的初始视差和不可信像素点的可信视差，即可得到待处理图像中每个像素点的准确的视差。本实施例基于可信像素点的可信的初始视差推导出不可信像素点的可信视差，纠正了初始视差中不可信像素点对应的视差，能够得到待处理图像中无纹理区域的准确视差，提高了对图像中无纹理区域的处理效果。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。
Claims (10)
1.一种基于图像的立体匹配方法，其特征在于，所述方法包括：
获取待处理图像，并获取所述待处理图像中每个像素点的初始视差；
评估所述初始视差的可信度，根据所述初始视差的可信度确定所述待处理图像中可信像素点和不可信像素点；
根据所述待处理图像中可信像素点和不可信像素点，得到第一集合和第二集合，所述第一集合包括该可信像素点，所述第二集合包括该不可信像素点，所述第一集合中像素点的第一视差为该像素点的初始视差；
根据所述待处理图像的颜色值对其进行分割，得到多个分割块；
以分割块中第一像素点的坐标和第一视差为依据，确定该分割块中第二像素点的第一视差，所述第一集合包括所述第一像素点，所述第二集合包括所述第二像素点；
所述获取所述待处理图像中每个像素点的初始视差，具体包括：
获取与所述待处理图像对应的参考图像，所述参考图像与所述待处理图像的场景相同；
根据预设的备选视差范围，获得至少两个备选视差；
分别根据每个所述备选视差，在所述参考图像中确定与所述待处理图像中待匹配像素点对应的参考像素点；
分别获得所述待匹配像素点和对应的每个所述参考像素点之间的总匹配代价，将所述总匹配代价最小值对应的参考像素点所对应的备选视差确定为该待匹配像素点的初始视差；
所述根据所述待处理图像的颜色值对其进行分割，得到多个分割块，之前还包括：
更新所述第二像素点和对应的每个所述参考像素点之间的总匹配代价，将更新后总匹配代价的最小值对应的参考像素点所对应的备选视差确定为该第二像素点的第三视差；
评估所述第二像素点的第三视差的可信度，根据所述第三视差的可信度区分所述第二像素点中的可信像素点和不可信像素点；
根据所述第二像素点中的可信像素点和不可信像素点更新所述第一集合和所述第二集合，更新后的第一集合包括所述第一像素点和所述第二像素点中的可信像素点，更新后的第二集合包括所述第二像素点中的不可信像素点。
2.根据权利要求1所述的基于图像的立体匹配方法，其特征在于，所述方法还包括：
根据所述待处理图像中每个像素点的第一视差，将所述待处理图像的场景分割为多个三维实体；
分别根据每个所述三维实体上像素点的坐标和第一视差，拟合该三维实体的曲面方程；
根据所述曲面方程和预先设定的比例尺，获得所述待处理图像中每个像素点的第二视差；
综合所述第二视差，得到所述待处理图像的视差图。
3.根据权利要求1所述的基于图像的立体匹配方法，其特征在于，所述评估所述初始视差的可信度，具体包括：
查找所述待匹配像素点对应的总匹配代价中，最小的总匹配代价和次最小的总匹配代价；
根据所述最小的总匹配代价和所述次最小的总匹配代价，评估所述待匹配像素点初始视差的可信度。
4.根据权利要求1所述的基于图像的立体匹配方法，其特征在于，所述更新所述第二像素点和对应的每个所述参考像素点之间的总匹配代价，具体包括：
根据目标备选视差，在所述参考图像中找出与所述第二像素点对应的参考像素点，并获取该参考像素点的参考视差，所述目标备选视差落在所述备选视差范围内；
确定所述待处理图像中的第一支持窗口和所述参考图像中的第二支持窗口，所述第一支持窗口的中心为所述第二像素点，所述第二支持窗口的中心为所述第二像素点对应的参考像素点；
根据两个对应的支持像素点的颜色值以及所述目标备选视差和所述参考视差，更新该两个支持像素点之间的匹配代价，所述两个对应的支持像素点分别落在所述第一支持窗口和所述第二支持窗口内；
根据所述第一支持窗口和所述第二支持窗口之间对应的两个支持像素点更新后的匹配代价以及这两个支持像素点的权重，更新所述第二像素点和对应的参考像素点之间的总匹配代价。
5.根据权利要求1所述的基于图像的立体匹配方法，其特征在于，确定可信像素点和不可信像素点的方法，具体为：
根据所述待处理图像的类型，确定可信度阈值；
若像素点对应的可信度大于或等于所述可信度阈值，则将该像素点确定为可信像素点；
若像素点对应的可信度小于所述可信度阈值，则将该像素点确定为不可信像素点。
6.一种基于图像的立体匹配装置，其特征在于，所述装置包括：图像获取模块、视差获取模块、可信度评估模块、集合确定模块和图像分割模块；
所述图像获取模块，用于获取待处理图像；
所述视差获取模块，用于获取所述待处理图像中每个像素点的初始视差；
所述可信度评估模块，用于评估所述初始视差的可信度，根据所述初始视差的可信度确定所述待处理图像中可信像素点和不可信像素点；
所述集合确定模块，用于根据所述待处理图像中可信像素点和不可信像素点，得到第一集合和第二集合，所述第一集合包括该可信像素点，所述第二集合包括该不可信像素点，所述第一集合中像素点的第一视差为该像素点的初始视差；
所述图像分割模块，用于根据所述待处理图像的颜色值对其进行分割，得到多个分割块；
所述视差获取模块，还用于以分割块中第一像素点的坐标和第一视差为依据，确定该分割块中第二像素点的第一视差，所述第一集合包括所述第一像素点，所述第二集合包括所述第二像素点；
所述图像获取模块，还用于获取与所述待处理图像对应的参考图像，所述参考图像与所述待处理图像的场景相同；
所述视差获取模块，具体包括：第一获取子模块、第二获取子模块、第一确定子模块和第二确定子模块；
所述第一获取子模块，用于根据预设的备选视差范围，获得至少两个备选视差；
所述第一确定子模块，用于分别根据每个所述备选视差，在所述参考图像中确定与所述待处理图像中待匹配像素点对应的参考像素点；
所述第二获取子模块，用于分别获得所述待匹配像素点和对应的每个所述参考像素点之间的总匹配代价；
所述第二确定子模块，用于将所述总匹配代价最小值对应的参考像素点所对应的备选视差确定为该待匹配像素点的初始视差；
所述视差获取模块，还包括：更新子模块；
所述更新子模块，用于更新所述第二像素点和对应的每个所述参考像素点之间的总匹配代价；
所述第二确定子模块，还用于将更新后的总匹配代价最小值对应的参考像素点所对应的备选视差确定为该第二像素点的第三视差；
所述可信度评估模块，还用于评估所述第二像素点的第三视差的可信度，根据所述第三视差的可信度区分所述第二像素点中的可信像素点和不可信像素点；
所述集合确定模块，还用于根据所述第二像素点中的可信像素点和不可信像素点更新所述第一集合和所述第二集合，更新后的第一集合包括所述第一像素点和所述第二像素点中的可信像素点，更新后的第二集合包括所述第二像素点中的不可信像素点。
7.根据权利要求6所述的基于图像的立体匹配装置，其特征在于，所述装置还包括：曲面拟合模块和视差图获取模块；
所述图像分割模块，还用于根据所述待处理图像中每个像素点的第一视差，将所述待处理图像的场景分割为多个三维实体；
所述曲面拟合模块，用于分别根据每个所述三维实体上像素点的坐标和第一视差，拟合该三维实体的曲面方程；
所述视差获取模块，还用于根据所述曲面方程和预先设定的比例尺，获得所述待处理图像中每个像素点的第二视差；
所述视差图获取模块，用于综合所述第二视差，得到所述待处理图像的视差图。
8.根据权利要求6所述的基于图像的立体匹配装置，其特征在于，所述可信度评估模块，具体包括：查找子模块和第三获取子模块；
所述查找子模块，用于查找所述待匹配像素点对应的总匹配代价中，最小的总匹配代价和次最小的总匹配代价；
所述第三获取子模块，用于根据所述最小的总匹配代价和所述次最小的总匹配代价，评估所述待匹配像素点初始视差的可信度。
9.根据权利要求6所述的基于图像的立体匹配装置，其特征在于，所述更新子模块，具体包括：第三确定子模块、第四确定子模块、第四获取子模块和第五获取子模块；
所述第三确定子模块，用于根据目标备选视差，在所述参考图像中找出与所述第二像素点对应的参考像素点，所述目标备选视差落在所述备选视差范围内；
所述视差获取模块，还用于获得所述第二像素点对应的参考像素点的参考视差；
所述第四确定子模块，用于确定所述待处理图像中的第一支持窗口和所述参考图像中的第二支持窗口，所述第一支持窗口的中心为所述第二像素点，所述第二支持窗口的中心为所述第二像素点对应的参考像素点；
所述第四获取子模块，用于根据两个对应的支持像素点的颜色值以及所述目标备选视差和所述参考视差，更新该两个支持像素点之间的匹配代价，所述两个对应的支持像素点分别落在所述第一支持窗口和所述第二支持窗口内；
所述第五获取子模块，用于根据所述第一支持窗口和所述第二支持窗口之间对应的两个支持像素点的匹配代价以及这两个支持像素点更新后的权重，更新所述第二像素点和对应的参考像素点之间的总匹配代价。
10.根据权利要求6所述的基于图像的立体匹配装置，其特征在于，所述可信度评估模块，还包括：阈值获取子模块、第六确定子模块和第七确定子模块；
所述阈值获取子模块，用于根据所述待处理图像的类型，确定可信度阈值；
所述第六确定子模块，用于当像素点对应的可信度大于或等于所述可信度阈值时，将该像素点确定为可信像素点；
所述第七确定子模块，用于当像素点对应的可信度小于所述可信度阈值时，则将该像素点确定为不可信像素点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710470883.6A CN107155100B (zh) | 2017-06-20 | 2017-06-20 | 一种基于图像的立体匹配方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710470883.6A CN107155100B (zh) | 2017-06-20 | 2017-06-20 | 一种基于图像的立体匹配方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107155100A CN107155100A (zh) | 2017-09-12 |
| CN107155100B true CN107155100B (zh) | 2019-07-12 |
Family
ID=59796370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710470883.6A Expired - Fee Related CN107155100B (zh) | 2017-06-20 | 2017-06-20 | 一种基于图像的立体匹配方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107155100B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108322724B (zh) * | 2018-02-06 | 2019-08-16 | 上海兴芯微电子科技有限公司 | 图像立体匹配方法以及双目视觉设备 |
| CN109901897B (zh) * | 2019-01-11 | 2022-07-08 | 珠海天燕科技有限公司 | 一种在应用中匹配视图颜色的方法和装置 |
| CN109840894B (zh) * | 2019-01-30 | 2021-02-09 | 湖北亿咖通科技有限公司 | 视差图精修方法、装置及存储介质 |
| CN110826446B (zh) * | 2019-10-28 | 2020-08-21 | 衢州学院 | 无纹理场景视频的视场区域分割方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393497A (zh) * | 2008-10-30 | 2009-03-25 | 上海交通大学 | 基于双目立体视觉的多点触摸方法 |
| CN101887589A (zh) * | 2010-06-13 | 2010-11-17 | 东南大学 | 一种基于立体视觉的实拍低纹理图像重建方法 |
| CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
| CN101976455A (zh) * | 2010-10-08 | 2011-02-16 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
| CN102385752A (zh) * | 2011-11-01 | 2012-03-21 | 清华大学深圳研究生院 | 一种基于距离和色彩差异的立体匹配方法 |
| CN103226821A (zh) * | 2013-04-27 | 2013-07-31 | 山西大学 | 基于视差图像素分类校正优化的立体匹配方法 |
| CN104091339A (zh) * | 2014-07-17 | 2014-10-08 | 清华大学深圳研究生院 | 一种图像快速立体匹配方法及装置 |
| CN104156957A (zh) * | 2014-08-06 | 2014-11-19 | 昆山天工智能科技有限公司 | 一种稳定高效的高分辨率立体匹配方法 |
| CN104167000A (zh) * | 2014-08-25 | 2014-11-26 | 同济大学 | 一种仿射不变的宽基线图像密集匹配方法 |
| CN105513064A (zh) * | 2015-12-03 | 2016-04-20 | 浙江万里学院 | 一种基于图像分割和自适应权重的立体匹配方法 |
| CN105989590A (zh) * | 2015-02-09 | 2016-10-05 | 北京三星通信技术研究有限公司 | 立体匹配方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530333B (zh) * | 2016-10-10 | 2019-06-21 | 天津大学 | 基于捆绑约束的分级优化立体匹配方法 |
-
2017
- 2017-06-20 CN CN201710470883.6A patent/CN107155100B/zh not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393497A (zh) * | 2008-10-30 | 2009-03-25 | 上海交通大学 | 基于双目立体视觉的多点触摸方法 |
| CN101887589A (zh) * | 2010-06-13 | 2010-11-17 | 东南大学 | 一种基于立体视觉的实拍低纹理图像重建方法 |
| CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
| CN101976455A (zh) * | 2010-10-08 | 2011-02-16 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
| CN102385752A (zh) * | 2011-11-01 | 2012-03-21 | 清华大学深圳研究生院 | 一种基于距离和色彩差异的立体匹配方法 |
| CN103226821A (zh) * | 2013-04-27 | 2013-07-31 | 山西大学 | 基于视差图像素分类校正优化的立体匹配方法 |
| CN104091339A (zh) * | 2014-07-17 | 2014-10-08 | 清华大学深圳研究生院 | 一种图像快速立体匹配方法及装置 |
| CN104156957A (zh) * | 2014-08-06 | 2014-11-19 | 昆山天工智能科技有限公司 | 一种稳定高效的高分辨率立体匹配方法 |
| CN104167000A (zh) * | 2014-08-25 | 2014-11-26 | 同济大学 | 一种仿射不变的宽基线图像密集匹配方法 |
| CN105989590A (zh) * | 2015-02-09 | 2016-10-05 | 北京三星通信技术研究有限公司 | 立体匹配方法和装置 |
| CN105513064A (zh) * | 2015-12-03 | 2016-04-20 | 浙江万里学院 | 一种基于图像分割和自适应权重的立体匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| 快速图像配准和高精度立体匹配算法研究;施陈博;《中国博士学位论文全文数据库-信息科技辑》;20130730;全文 |
| 立体匹配算法的研究和应用;池凌鸿;《中国博士学位论文全文数据库-信息科技辑》;20110930;全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107155100A (zh) | 2017-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107155100B (zh) | 一种基于图像的立体匹配方法及装置 | |
| CN112434709B (zh) | 基于无人机实时稠密三维点云和dsm的航测方法及*** | |
| US6504569B1 (en) | 2-D extended image generation from 3-D data extracted from a video sequence | |
| CN106910242B (zh) | 基于深度相机进行室内完整场景三维重建的方法及*** | |
| CN110148181A (zh) | 一种通用双目立体匹配方法 | |
| CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
| EP2064675B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| US8953024B2 (en) | 3D scene model from collection of images | |
| CN107220997A (zh) | 一种立体匹配方法及*** | |
| US20130215239A1 (en) | 3d scene model from video | |
| EP3367334B1 (en) | Depth estimation method and depth estimation apparatus of multi-view images | |
| CN106530333B (zh) | 基于捆绑约束的分级优化立体匹配方法 | |
| CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
| US20130215221A1 (en) | Key video frame selection method | |
| EP1063614A2 (en) | Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium | |
| CN110971827B (zh) | 人像模式拍摄方法、装置、终端设备和存储介质 | |
| CN106952247A (zh) | 一种双摄像头终端及其图像处理方法和*** | |
| CN106952304A (zh) | 一种利用视频序列帧间相关性的深度图像计算方法 | |
| CN113034681B (zh) | 空间平面关系约束的三维重建方法及装置 | |
| CN108961196B (zh) | 一种基于图的3d注视点预测的显著性融合方法 | |
| CN107122782B (zh) | 一种均衡的半密集立体匹配方法 | |
| US11475629B2 (en) | Method for 3D reconstruction of an object | |
| Gava et al. | Dense scene reconstruction from spherical light fields | |
| CN108932733A (zh) | 立体视觉实现方法和立体视觉实现***、显示装置 | |
| CN109492649B (zh) | 一种基于图像金字塔距离度量的近邻传播立体匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190712 Termination date: 20200620 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |