CN108492326A - 分辨率从低到高的逐渐精细化的立体匹配方法及*** - Google Patents
分辨率从低到高的逐渐精细化的立体匹配方法及*** Download PDFInfo
- Publication number
- CN108492326A CN108492326A CN201810101040.3A CN201810101040A CN108492326A CN 108492326 A CN108492326 A CN 108492326A CN 201810101040 A CN201810101040 A CN 201810101040A CN 108492326 A CN108492326 A CN 108492326A
- Authority
- CN
- China
- Prior art keywords
- image
- cut zone
- pixel
- resolution
- resolution ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种分辨率从低到高的逐渐精细化的立体匹配方法及***,从一个很低的分辨率的图像开始——这样的图像只保存了最粗的结构细节,在匹配上不容易发生误匹配——对这个很低的分辨率的图像进行分割以及视差的曲面拟合,然后进行内插得到高一级分辨率的分割,在原分割基础上再进行分割以及视差的拟合,然后再进行内插得到再高一级分辨率进行分割,并在上一分辨率分割的基础上再进行分割以及视差的拟合,如此一直内插和分割,直到达到预定的分辨率为止,这种做法充分利用了图像中整体的结构信息,实现了鲁棒的分割和视差或深度的提取。
Description
技术领域
本发明涉及立体区域领域,具体涉及一种分辨率从低到高的逐渐精细化的立体匹配方法及***。
背景技术
在进行双目或多目视觉的立体匹配时,由于匹配像素的不唯一性,即完全有可能有处于非匹配位置,但像素值正好与正在被匹配的像素值相等,导致发生误匹配。例如,在颜色比较单一的区域,区域上的颜色值都差不多,会导致发生误匹配;再例如,纹理图像中,颜色有周期性重复的现象,也容易导致像素的发生误匹配,等等。
发明内容
考虑到上述问题,本申请提供一种分辨率从低到高的逐渐精细化的立体匹配方法及***。
根据第一方面,一种实施例中提供一种分辨率从低到高的逐渐精细化的立体匹配方法,包括:
获取第一低分辨率的左图像和右图像,对其中任意一幅图像进行分割,得到第一低分辨率的图像的分割区域;
从第二低分辨率开始直到预设的最高分辨率结束:对前一个低分辨率的图像进行内插,得到后一个高分辨率的图像;在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域;
得到最高分辨率的图像及其分割区域后,对最高分辨率的图像的每个分割区域进行视差的曲面拟合,以计算最高分辨率的图像中每个像素点的视差。
在一实施例中,对第一低分辨率的左图像和右图像中任意一幅图像进行分割,得到第一低分辨率的图像的分割区域,包括:
根据第一低分辨率的左图像和右图像中任意一幅图像,对于该第一低分辨率的图像中每一个像素点,获取该像素点在图像的一个区域,根据该区域内所有像素点进行视差的平面拟合,并基于该拟合出的平面计算该像素点的视差和法向量;
根据综合距离,对所述第一低分辨率的图像进行初步分割得到初步的分割区域;其中综合距离至少基于视差相似性和/或法向量相似性来计算得到;
根据类间的相似度以及类内之间的相似度,对所述第一低分辨率的图像的初步的分割区域进行***与合并,得到所述第一分辨率的图像的分割区域。
在一实施例中,所述对于该第一低分辨率的图像中每一个像素点,获取该像素点在图像的一个区域,包括获取该像素点的一个具有相似梯度的区域;所述获取该像素点的一个具有相似梯度的区域,包括:
计算所述第一分辨率的图像中各像素点的梯度;
基于梯度相似性,寻找该像素点的一个具有相似梯度的区域;
当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时,则使用该像素点的邻域的像素点来对该像素点进行滤波,得到该像素点滤波后的像素值,并重新计算该像素点的梯度,基于梯度相似性,寻找该像素点的一个具有相似梯度的区域。
在一实施例中,所述在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域,包括***步骤;所述***步骤包括:将前一个低分辨率的图像的分割区域,对应在后一个分辨率的图像上,得到后一个分辨率的图像的继承的分割区域;对后一个分辨率的图像的每个继承的分割区域进行视差的平面拟合,以计算后一个分辨率的图像的每个像素点的视差和法向量;根据综合距离,对后一个分辨率的图像的每个继承的分割区域继续进行分割,其中综合距离至少基于视差相似性和/或法向量相似性来计算得到。
在一实施例中,所述***步骤还包括:对后一个分辨率的图像的继承的分割区域继续分割得到的每个分割区域,对该分割区域内所有像素点进行视差的曲面拟合,根据拟合出的曲面,验证该分割区域内的像素点是否都属于这个拟合出的曲面,如果不属于且像素点的个数大于一预设阈值,则将这些像素点划分为一个新的分割区域。
在一实施例中,所述在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域还包括合并步骤,所述合并步骤包括:获取后一个分辨率的图像经***步骤后的分割区域中,那些位于继承的分割区域的边沿上的分割区域,根据类间的相似度以及类内之间的相似度,逐个判断这些位于边沿上的分割区域是否可以合并,如果可以合并,则进行合并,形成新的分割区域。
在一实施例中,所述合并步骤还包括:对每个合并后形成的新的分割区域,对该分割区域内所有像素点进行视差的曲面拟合,根据拟合出的曲面,验证该分割区域内的像素点是否都属于这个拟合出的曲面,如果不属于且像素点的个数大于一预设阈值,则将这些像素点又划分为一个新的分割区域。
在一实施例中,所述在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域还包括调整步骤,所述调整步骤包括:对后一个分辨率的图像经合并步骤后的分割区域,根据综合距离判断每一个像素点属于哪一个经合并步骤后的分割区域,并进行调整。
根据第二方面,一种实施例中提供一种分辨率从低到高的逐渐精细化的立体匹配***,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现上述任一实施例所述的方法。
根据第三方面,一种实施例中提供一种计算机可读存储介质,包括程序,所述程序能够被处理器执行以实现上述任一实施例所述的方法。
依据上述实施例的分辨率从低到高的逐渐精细化的立体匹配方法、***及计算机可读存储介质,从低分辨率到高分辨率的逐步精细化的准全局的立体匹配思路,先从一个很低的分辨率的图像开始——这样的图像只保存了最粗的结构细节,在匹配上不容易发生误匹配——对这个很低的分辨率的图像进行分割以及视差的曲面拟合,然后进行内插得到高一级分辨率的分割,在原分割基础上再进行分割以及视差的拟合,然后再进行内插得到再高一级分辨率进行分割,并在上一分辨率分割的基础上再进行分割以及视差的拟合,如此一直内插和分割,直到达到预定的分辨率为止,这种做法充分利用了图像中整体的结构信息,实现了鲁棒的分割和视差或深度的提取。
附图说明
图1为一种实施例的分辨率从低到高的逐渐精细化的立体匹配方法的流程图;
图2为一种实施例的对第一低分辨率的左图像和右图像中任意一幅图像进行分割,得到第一低分辨率的图像的分割区域的流程图;
图3为一种实施例的在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域的流程图;
图4为一种实施例中前一个低分辨率的图像的分割区域与后一个高分辨率的图像的继承的分割区域的对应关系示意图;
图5(a)为一种实施例中继承的分割区域P10经第一***步骤后的示意图;图5(b)为继承的分割区域P10又经第二***步骤后的示意图;
图6为一种实施例中后一个分辨率的图像的继承的分割区域P10和P20的示意图;
图7(a)为一种实施例中后一个分辨率的图像的继承的分割区域P10和P20经第一合并步骤后的示意图;图7(b)为后一个分辨率的图像的继承的分割区域P10和P20又经第二合并步骤后的示意图;
图8为一种实施例的分辨率从低到高的逐渐精细化的立体匹配***的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
针对背景技术中提出的误匹配问题,发明人认为解决的一个思路是充分利用图像整体的结构信息。但是如何利用图像整体的结构信息是一个问题;发明人提出一种从低分辨率到高分辨率的逐步精细化的准全局的立体匹配思路,先从一个很低的分辨率的图像开始——这样的图像只保存了最粗的结构细节,在匹配上不容易发生误匹配——对这个很低的分辨率的图像进行分割以及视差的曲面拟合,然后进行内插得到高一级分辨率的分割,在原分割基础上再进行分割以及视差的拟合,然后再进行内插得到再高一级分辨率进行分割,并在上一分辨率分割的基础上再进行分割以及视差的拟合,如此一直内插和分割,直到达到预定的分辨率为止,这种做法充分利用了图像中整体的结构信息,实现了鲁棒的分割和视差或深度的提取。下面具体说明。
请参照图1,本发明一实施例中公开了一种分辨率从低到高的逐渐精细化的立体匹配方法,包括步骤S10~S50。
步骤S10:获取第一低分辨率的左图像和右图像,对其中任意一幅图像进行分割,得到第一低分辨率的图像的分割区域。
获取第一低分辨率的左图像和右图像的方式有许多种,例如一般用于立体匹配的图像分辨都不会很低,我们可以通过对其降采样来得到第一低分辨率的图像,第一低分辨率的具体值可以根据需求来设置。
对第一低分辨率的左图像和右图像中任意一幅图像进行分割,得到第一低分辨率的图像的分割区域,有许多种方式,请参照图2,在一实施例中可以包括步骤S12~S14。
步骤S12:根据第一低分辨率的左图像和右图像中任意一幅图像,对于该第一低分辨率的图像中每一个像素点,获取该像素点在图像的一个区域,根据该区域内所有像素点进行视差的平面拟合,并基于该拟合出的平面计算该像素点的视差和法向量。在一实施例中,对该第一低分辨率的图像中每一个像素点,获取该像素点在图像的一个区域,包括获取该像素点的一个具有相似梯度的区域,在一具体实施例中,可以这样来获取:计算所述第一分辨率的图像中各像素点的梯度;基于梯度相似性,寻找该像素点的一个具有相似梯度的区域(例如通过区域切割算法(例如Graph-Cut算法));当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时,说明这个像素点本身就是一个由噪声引起的离群值(outlier),使用该像素点的邻域的像素中值来对该像素点进行滤波,得到该像素点滤波后的像素值,并重新计算该像素点的梯度,基于梯度相似性,寻找该像素点的一个具有相似梯度的区域。下面举一个例子来说明步骤S12。
以第一低分辨率的图像(不妨以左图像为例)中任意一个像素点,例如像素点(x0,y0),先获取该像素点(x0,y0)在该左图像的一个区域P,例如一个具有相似梯度的区域P。获取的方法有许多种,例如先计算左图像中各像素点的梯度,然后基于梯度相似性,寻找该像素点(x0,y0)的一个具有相似梯度的区域P。计算两个像素点的梯度相似性,或者说,计算两个向量的相似度有许多种方法,例如对于任意两个像素点(x1,y1)、(x2,y2)之间的梯度相似性可以通过下式进行计算:
gradI(x1,y1)表示像素点(x1,y1)的梯度,gradI(x2,y2)表示像素点(x2,y2)的梯度;计算得到的cosθ值越大,说明夹角θ越大,也就是相似度越小。定义了梯度相似性后,就可以基于梯度相似性来寻找像素点(x0,y0)的一个具有相似梯度的区域。当基于梯度相似性寻找不到像素点(x0,y0)的一个具有梯度的区域,那么说明像素点(x0,y0)是由噪声引起的离群值,因此可以通过像素点(x0,y0)的邻域(例如8邻域)对像素点(x0,y0)进行中值滤波,得到像素点(x0,y0)滤波后的像素值,然后基于像素点(x0,y0)滤波后的像素值,重新计算像素点(x0,y0)的梯度gradI(x0,y0),然后再基于梯度相似性,寻找像素点(x0,y0)的一个具有相似梯度的区域。通过这样的方式,对于任意一个像素点,最终都可以寻找到该像素点的一个具有相似梯度的区域。
接着,根据区域P内所有像素点进行视差的平面拟合。平面拟合的方法有许多种,例如,可令视差平面d(x,y)=a1x+b1y+c1,通过下式(1)进行平面拟合:
其中l(y,x)表示左图像中坐标(y,x)的像素点的像素值,r(y,x-(a1x+b1y+c1))表示右图像中坐标(y,x-(a1x+b1y+c1))的像素点的像素值。像素值可以是灰度值,也可是颜色值,当像素值是颜色值时,可以指的是各颜色分量之和。对于式(1),求取一个集合O={a1,b1,c1},使得下式的值最小:
不妨假设求取得到的集合O={a1 *,b1 *,c1 *},因此区域P内所有像素点进行视差的平面拟合,得到的视差平面为d(x,y)=a1 *x+b1 *y+c1 *。基于该拟合出的平面d(x,y)=a1 *x+b1 *y+c1 *可以计算该像素点(x0,y0)的视差和法向量,例如根据拟合出的平面d(x,y)=a1 *x+b1 *y+c1 *以及该像素点(x0,y0)的坐标,计算得到像素点(x0,y0)的视差d(x0,y0)=a1 *x0+b1 *y0+c1 *,计算拟合出的平面d(x,y)=a1 *x+b1 *y+c1 *的法向量,例如得到[a2,b2,-1],作为该像素点的法向量,记为nor(x0,y0)=[a2,b2,-1]。
因此通过上面的方法,就可以计算得到左图像中每一个像素点的视差和法向量。
步骤S13:根据综合距离,对所述第一低分辨率的图像进行初步分割得到初步的分割区域;其中综合距离至少基于视差相似性和/或法向量相似性来计算得到。对图像进行分割,可以采用基于图论的图像分割方法(EGB,Efficient Graph Based ImageSegmentation)。例如,在定义了任意两个像素点的综合距离后,可以采用类似超像素分割方法(SLIC)或k-means聚类算法来对图像进行分割。本发明中下面涉及到对图像进行分割的内容,也都可以采用上述的基于图论的图像分割方法,后面不再赘述。
如上所述,在计算任意两个像素点的综合距离时,至少基于这两个像素点的视差相似性和/或法向量相似性来计算。不妨以基于视差相似性、法向量相似性和几何相似性为例,可定义任意两个像素点(x1,y1)和(x2,y2)之间的相似性如下:
W(x1,y1,x2,y2)=w1·|d(x1,y1)-d(x2,y2)|+w2·|nor(x1,y1)-nor(x2,y2)|+w3·|(x1,y1)-(x2,y2)|;其中w1、w2、w3表示权重系数,可根据需求设置,例如可以将它们分别设置为1/3,本领域技术人员可以理解,当w1和w2非零,而w3为零时,说明是基于视差相似性和法向量相似性计算综合距离,当只有w1或w2非零时,则说明是基于视差相似性或法向量相似性计算综合距离;|d(x1,y1)-d(x2,y2)|、|nor(x1,y1)-nor(x2,y2)|、|(x1,y1)-(x2,y2)|分别表示两个像素点(x1,y1)和(x2,y2)之间的视差相似性、法向量相似性、几何相似性,其中|(x1,y1)-(x2,y2)|可以通过|x1-x2|+|y1-y2|或等来计算。
步骤S14:根据类间的相似度以及类内之间的相似度,对第一低分辨率的图像的初步的分割区域进行***与合并,得到第一分辨率的图像的分割区域。在一实施例中,***的方式可以参照后面***步骤S32,合并的方式也可以参照后面的合并步骤S34,在此不再赘述。
得到的第一分辨率的图像的分割区域,由于第一分辨率在实际过程中会设置得比较低,这样才能只保存了最粗的结构细节,在匹配上不容易发生误匹配,但同时一些小的区域会被掩藏在第一分辨率下的大的分割区域中,而且深度边缘的分割可能也存在不精确等等,因此在接下来的步骤会将第一分辨率的图像进行内插(例如双线性内插的方式),提升分辨率(例如提升一倍),然后再继续进行分割,下面通过步骤S30来具体说明。
步骤S30:从第二低分辨率开始直到预设的最高分辨率结束:对前一个低分辨率的图像进行内插,得到后一个高分辨率的图像;在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域。本发明中第一低分辨率、第二低分辨率、……、最高分辨率中,通过内插分辨率依次提升,至少最低的分辨率(即第一低分辨率)和最高分辨率的具体值,以及它们中间还设置多少个级别的分辨率以及具体值,这都可以根据需求来灵活调整。
请参照图3,在一实施例中,步骤S30中在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域,可以包括***步骤S32、合并步骤S34以及调整步骤S36,在一实施例中,步骤S30可以只包括***步骤S32这一个步骤,也可以同时包括***步骤S32和合并步骤S34这两个步骤,还可以同时包括***步骤S32、合并步骤S34以及调整步骤S36这三个步骤。
***步骤S32可以包括第一***步骤,或者,包括第一***步骤和第二***步骤。
第一***步骤包括:将前一个低分辨率的图像的分割区域,对应在后一个分辨率的图像上,得到后一个分辨率的图像的继承的分割区域;对后一个分辨率的图像的每个继承的分割区域进行视差的平面拟合,以计算后一个分辨率的图像的每个像素点的视差和法向量;根据综合距离,对后一个分辨率的图像的每个继承的分割区域继续进行分割,其中综合距离至少基于视差相似性和/或法向量相似性来计算得到。
第二***步骤包括:对后一个分辨率的图像的继承的分割区域继续分割得到的每个分割区域,对该分割区域内所有像素点进行视差的曲面拟合,根据拟合出的曲面,验证该分割区域内的像素点是否都属于这个拟合出的曲面,如果不属于且像素点的个数大于一预设阈值,则将这些像素点划分为一个新的分割区域;如果不属于且像素点的个数小于一预设阈值,则可以还是将这些像素留在原来的分割区域。
举个例子来说明***步骤,例如请参照图4,前一个低分辨率的图像的分割区域P’10,经内插后分割区域P’10内的像素点增加了,这个经内插后的分割区域P’10实际上是对应着后一个分辨率的图像中的区域,本发明称之为后一个高分辨率的图像从前一个低分辨率的图像继承而来的分割区域,例如图中的P10。请参照图5(a)和(b),以后一个分辨率的图像的继承的分割区域P10为例,对分割区域P10进行视差的平面拟合,以计算分割区域P10中各像素点的视差和法向量,然后至少基于视差相似性和/或法向量相似性来计算两个像素点的综合距离,并基于综合距离对后一个分辨率的图像的分割区域P10继续分割,例如被继续分割成6个分割区域P11~P16。以分割区域P11为例,对分割区域P11内所有像素点进行视差的曲面拟合,根据拟合出的曲面,验证分割区域P11内的像素点是否都属于这个拟合出的曲面,如果不属于且像素点的个数大于一预设阈值,说明个数比较多,那么将分割区域P11中这些不属于拟合出的曲面的像素点划分为一个新的分割,例如P17,本领域技术人员可以理解地,此时也形成一个新的分割区域P11,它的范围是原来的分割区域P11减去分割区域P17;如果分割区域P2中这些不属于拟合出的曲面的像素点的个数小于一预设阈值,说明个数比较少,那么可以这些像素点仍然被划分为属于原来的分割区域P11。
对区域进行视差的曲面拟合有多种方式,以对分割区域P11进行视差的二次曲面拟合为例,可令视差的曲面d(x,y)=a2x2+b2y2+c2xy+e2x+f2y+g2,通过下式(2)进行曲面拟合:
求取一个集合O={a2 *,b2 *,c2 *,e2 *,f2 *,g2 *},使得公式(2)中的最小。
从而根据分割区域P11内所有像素点拟合得到的视差的曲面如下:
d(x,y)=a2 *x2+b2 *y2+c2 *xy+e2 *x+f2 *y+g2 *。
基于该拟合出的曲面d(x,y)=a2 *x2+b2 *y2+c2 *xy+e2 *x+f2 *y+g2 *计算该像素点(x0,y0)的视差,例如根据拟合出的曲面d(x,y)以及分割区域P11一像素点(x0,y0)的坐标,可以计算该像素点(x0,y0)的视差d(x0,y0),得到d(x0,y0)=a2 *x0 2+b2 *y0 2+c2 *x0y0+e2 *x0+f2 *y0+g2 *。当然,也可以将像素点(x0,y0)原来用于拟合视差曲面时的视差以及其坐标代入上述拟合出的视差的曲面,来验证像素点(x0,y0)是否属于该拟合出的曲面。
合并步骤S34可以包括第一合并步骤,或者,包括第一合并步骤和第二合并步骤。
第一合并步骤包括:获取后一个分辨率的图像经***步骤后的分割区域中,那些位于继承的分割区域的边沿上的分割区域,根据类间的相似度以及类内之间的相似度,逐个判断这些位于边沿上的分割区域是否可以合并,如果可以合并,则进行合并,形成新的分割区域。本领域技术人员可以理解的是,这里后一个分辨率的图像经***步骤后的分割区域,当实施例包括第二***步骤时,则指的是后一个分辨率的图像经第二***步骤后的分割区域,当实施例不包括第二***步骤时,则指的是后一个分辨率的图像经第一***步骤后的分割区域。
第二合并步骤包括:对每个合并后形成的新的分割区域,对该分割区域内所有像素点进行视差的曲面拟合,根据拟合出的曲面,验证该分割区域内的像素点是否都属于这个拟合出的曲面,如果不属于且像素点的个数大于一预设阈值,则将这些像素点又划分为一个新的分割区域。
举个例子来说明合并步骤,例如请参照图6,以后一个分辨率的图像的继承的分割区域P10和P20为例,这两个分割区域相邻,分割区域P20经过经***步骤后得到分区区域P21~P24。可以看到,虚线圈中的分割区域P12、P14、P16和P21、P23,这6个分割区域是位于P10和P20这两个继承的分割区域的边沿(如图中的粗实线)上的分割区域。根据类间的相似度(指分割区域与分割区域之间的相似度)以及类内之间的相似度(指各分割区域自己本身的各像素点的相似度),逐个判断这些位于边沿上的分割区域是否可以合并,如果可以合并,则进行合并,形成新的分割区域,例如请参照图7(a),当判断P14可以和P21合并时,则将P14和P21合并成一个新的分割区域,例如P30,本领域技术人员可以理解地,此时也形成一个新的分割区域P10和P20,新的分割区域P20的范围是原来的分割区域P20减去分割区域P21。对合并形成的新的分割区域例如P30,可以对分割区域P30内所有像素点进行视差的曲面拟合,根据拟合出的曲面,验证分割区域P30内的像素点是否都属于这个拟合出的曲面,如果不属于且像素点的个数大于一预设阈值,说明个数比较多,那么将分割区域P30中这些不属于拟合出的曲面的像素点划分为一个新的分割,例如P31,本领域技术人员可以理解地,此时也形成一个新的分割区域P30,它的范围是原来的分割区域P30减去分割区域P31;如果分割区域P30中这些不属于拟合出的曲面的像素点的个数小于一预设阈值,说明个数比较少,那么可以这些像素点仍然被划分为属于原来的分割区域P30。
调整步骤S36可以包括:对后一个分辨率的图像经合并步骤后的分割区域,根据综合距离判断每一个像素点属于哪一个经合并步骤后的分割区域,并进行调整。本领域技术人员可以理解的是,这里后一个分辨率的图像经合并步骤后的分割区域,当实施例包括第二合并步骤时,则指的是后一个分辨率的图像经第二合并步骤后的分割区域,当实施例不包括第二合并步骤时,则指的是后一个分辨率的图像经第一合并步骤后的分割区域。还是以图6或图7为例,例如分割区域P16中有一像素点(x0,y0),当根据综合距离判断这个像素点(x0,y0)是属于分割区域P23时,可以调整,将这个像素点(x0,y0)划分到分割区域P23中。
步骤S50:得到最高分辨率的图像及其分割区域后,对最高分辨率的图像的每个分割区域进行视差的曲面拟合,以计算最高分辨率的图像中每个像素点的视差。
以上就是本发明公开的曲面拟合的视差计算方法,相应地,请参照图8,本发明一实施例中还公开了一种分辨率从低到高的逐渐精细化的立体匹配***,其包括存储器10和处理器30,存储器10用于存储程序,处理器30用于通过执行所述存储器10存储的程序以实现本发明任一实施例所述的分辨率从低到高的逐渐精细化的立体匹配方法。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的***进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种分辨率从低到高的逐渐精细化的立体匹配方法,其特征在于,包括:
获取第一低分辨率的左图像和右图像,对其中任意一幅图像进行分割,得到第一低分辨率的图像的分割区域;
从第二低分辨率开始直到预设的最高分辨率结束:对前一个低分辨率的图像进行内插,得到后一个高分辨率的图像;在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域;
得到最高分辨率的图像及其分割区域后,对最高分辨率的图像的每个分割区域进行视差的曲面拟合,以计算最高分辨率的图像中每个像素点的视差。
2.如权利要求1所述的立体匹配方法,其特征在于,对第一低分辨率的左图像和右图像中任意一幅图像进行分割,得到第一低分辨率的图像的分割区域,包括:
根据第一低分辨率的左图像和右图像中任意一幅图像,对于该第一低分辨率的图像中每一个像素点,获取该像素点在图像的一个区域,根据该区域内所有像素点进行视差的平面拟合,并基于该拟合出的平面计算该像素点的视差和法向量;
根据综合距离,对所述第一低分辨率的图像进行初步分割得到初步的分割区域;其中综合距离至少基于视差相似性和/或法向量相似性来计算得到;
根据类间的相似度以及类内之间的相似度,对所述第一低分辨率的图像的初步的分割区域进行***与合并,得到所述第一分辨率的图像的分割区域。
3.如权利要求2所述的立体匹配方法,其特征在于,所述对于该第一低分辨率的图像中每一个像素点,获取该像素点在图像的一个区域,包括获取该像素点的一个具有相似梯度的区域;所述获取该像素点的一个具有相似梯度的区域,包括:
计算所述第一分辨率的图像中各像素点的梯度;
基于梯度相似性,寻找该像素点的一个具有相似梯度的区域;
当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时,则使用该像素点的邻域的像素点来对该像素点进行滤波,得到该像素点滤波后的像素值,并重新计算该像素点的梯度,基于梯度相似性,寻找该像素点的一个具有相似梯度的区域。
4.如权利要求1所述的立体匹配方法,其特征在于,所述在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域,包括***步骤;所述***步骤包括:将前一个低分辨率的图像的分割区域,对应在后一个分辨率的图像上,得到后一个分辨率的图像的继承的分割区域;对后一个分辨率的图像的每个继承的分割区域进行视差的平面拟合,以计算后一个分辨率的图像的每个像素点的视差和法向量;根据综合距离,对后一个分辨率的图像的每个继承的分割区域继续进行分割,其中综合距离至少基于视差相似性和/或法向量相似性来计算得到。
5.如权利要求4所述的立体匹配方法,其特征在于,所述***步骤还包括:对后一个分辨率的图像的继承的分割区域继续分割得到的每个分割区域,对该分割区域内所有像素点进行视差的曲面拟合,根据拟合出的曲面,验证该分割区域内的像素点是否都属于这个拟合出的曲面,如果不属于且像素点的个数大于一预设阈值,则将这些像素点划分为一个新的分割区域。
6.如权利要求4或5所述的立体匹配方法,其特征在于,所述在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域还包括合并步骤,所述合并步骤包括:获取后一个分辨率的图像经***步骤后的分割区域中,那些位于继承的分割区域的边沿上的分割区域,根据类间的相似度以及类内之间的相似度,逐个判断这些位于边沿上的分割区域是否可以合并,如果可以合并,则进行合并,形成新的分割区域。
7.如权利要求6所述的立体匹配方法,其特征在于,所述合并步骤还包括:对每个合并后形成的新的分割区域,对该分割区域内所有像素点进行视差的曲面拟合,根据拟合出的曲面,验证该分割区域内的像素点是否都属于这个拟合出的曲面,如果不属于且像素点的个数大于一预设阈值,则将这些像素点又划分为一个新的分割区域。
8.如权利要求6或7所述的立体区域方法,其特征在于,所述在前一个低分辨率的图像的分割区域的基础上,对后一个分辨率的图像继续进行分割,得到该后一个高分辨的图像的分割区域还包括调整步骤,所述调整步骤包括:对后一个分辨率的图像经合并步骤后的分割区域,根据综合距离判断每一个像素点属于哪一个经合并步骤后的分割区域,并进行调整。
9.一种分辨率从低到高的逐渐精细化的立体匹配***,其特征在于,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810101040.3A CN108492326B (zh) | 2018-01-31 | 2018-01-31 | 分辨率从低到高的逐渐精细化的立体匹配方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810101040.3A CN108492326B (zh) | 2018-01-31 | 2018-01-31 | 分辨率从低到高的逐渐精细化的立体匹配方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108492326A true CN108492326A (zh) | 2018-09-04 |
CN108492326B CN108492326B (zh) | 2021-11-23 |
Family
ID=63344383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810101040.3A Active CN108492326B (zh) | 2018-01-31 | 2018-01-31 | 分辨率从低到高的逐渐精细化的立体匹配方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108492326B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109905624A (zh) * | 2019-03-01 | 2019-06-18 | 北京大学深圳研究生院 | 一种视频帧插值方法、装置及设备 |
WO2021000471A1 (zh) * | 2019-06-29 | 2021-01-07 | 苏州浪潮智能科技有限公司 | 一种高分辨率图像匹配方法及*** |
CN112561852A (zh) * | 2019-09-26 | 2021-03-26 | 佳能株式会社 | 图像判断装置和图像判断方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120237114A1 (en) * | 2011-03-16 | 2012-09-20 | Electronics And Telecommunications Research Institute | Method and apparatus for feature-based stereo matching |
CN102881014A (zh) * | 2012-09-07 | 2013-01-16 | 航天恒星科技有限公司 | 一种基于图割的快速立体匹配方法 |
CN103544732A (zh) * | 2013-09-29 | 2014-01-29 | 北京空间飞行器总体设计部 | 一种用于月球车的三维立体重建方法 |
CN103581650A (zh) * | 2013-10-21 | 2014-02-12 | 四川长虹电器股份有限公司 | 双目3d视频转多目3d视频的方法 |
CN103714549A (zh) * | 2013-12-30 | 2014-04-09 | 南京大学 | 基于快速局部匹配的立体图像对象分割方法 |
CN104331897A (zh) * | 2014-11-21 | 2015-02-04 | 天津工业大学 | 基于极线校正的亚像素级相位立体匹配方法 |
CN105046710A (zh) * | 2015-07-23 | 2015-11-11 | 北京林业大学 | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 |
CN105303528A (zh) * | 2015-09-20 | 2016-02-03 | 北京工业大学 | 用于slm显微立体视觉图像畸变矫正的结构形状分析方法 |
CN106340036A (zh) * | 2016-08-08 | 2017-01-18 | 东南大学 | 一种基于双目立体视觉的立体匹配方法 |
-
2018
- 2018-01-31 CN CN201810101040.3A patent/CN108492326B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120237114A1 (en) * | 2011-03-16 | 2012-09-20 | Electronics And Telecommunications Research Institute | Method and apparatus for feature-based stereo matching |
CN102881014A (zh) * | 2012-09-07 | 2013-01-16 | 航天恒星科技有限公司 | 一种基于图割的快速立体匹配方法 |
CN103544732A (zh) * | 2013-09-29 | 2014-01-29 | 北京空间飞行器总体设计部 | 一种用于月球车的三维立体重建方法 |
CN103581650A (zh) * | 2013-10-21 | 2014-02-12 | 四川长虹电器股份有限公司 | 双目3d视频转多目3d视频的方法 |
CN103714549A (zh) * | 2013-12-30 | 2014-04-09 | 南京大学 | 基于快速局部匹配的立体图像对象分割方法 |
CN104331897A (zh) * | 2014-11-21 | 2015-02-04 | 天津工业大学 | 基于极线校正的亚像素级相位立体匹配方法 |
CN105046710A (zh) * | 2015-07-23 | 2015-11-11 | 北京林业大学 | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 |
CN105303528A (zh) * | 2015-09-20 | 2016-02-03 | 北京工业大学 | 用于slm显微立体视觉图像畸变矫正的结构形状分析方法 |
CN106340036A (zh) * | 2016-08-08 | 2017-01-18 | 东南大学 | 一种基于双目立体视觉的立体匹配方法 |
Non-Patent Citations (2)
Title |
---|
CHLOE LEGENDRE ET AL: "High-Resolution Stereo Matching based on Sanpled Photoconsistency Computation", 《CONFERENCE:BRITISH MACHINE VISION CONFERENCE 2017》 * |
朱松: "基于图像分割的快速立体匹配算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109905624A (zh) * | 2019-03-01 | 2019-06-18 | 北京大学深圳研究生院 | 一种视频帧插值方法、装置及设备 |
CN109905624B (zh) * | 2019-03-01 | 2020-10-16 | 北京大学深圳研究生院 | 一种视频帧插值方法、装置及设备 |
US11354541B2 (en) | 2019-03-01 | 2022-06-07 | Peking University Shenzhen Graduate School | Method, apparatus, and device for video frame interpolation |
WO2021000471A1 (zh) * | 2019-06-29 | 2021-01-07 | 苏州浪潮智能科技有限公司 | 一种高分辨率图像匹配方法及*** |
CN112561852A (zh) * | 2019-09-26 | 2021-03-26 | 佳能株式会社 | 图像判断装置和图像判断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108492326B (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3971825A1 (en) | Systems and methods for hybrid depth regularization | |
CN109325998A (zh) | 一种基于点云数据的室内3d建模方法、***及相关装置 | |
US20100073364A1 (en) | Conversion method and apparatus with depth map generation | |
EP2381422A2 (en) | Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium | |
KR101584115B1 (ko) | 시각적 관심맵 생성 장치 및 방법 | |
CN107798704B (zh) | 一种用于增强现实的实时图像叠加方法及装置 | |
CN108492326A (zh) | 分辨率从低到高的逐渐精细化的立体匹配方法及*** | |
CN102474636A (zh) | 调节立体图像对中的透视性和差异 | |
JP6604502B2 (ja) | デプスマップ生成装置、デプスマップ生成方法及びプログラム | |
Stich et al. | View and time interpolation in image space | |
CN107358609B (zh) | 一种用于增强现实的图像叠加方法及装置 | |
WO2015188666A1 (zh) | 三维视频滤波方法和装置 | |
KR20130120730A (ko) | 변이 공간 영상의 처리 방법 | |
Xu et al. | Depth-aided exemplar-based hole filling for DIBR view synthesis | |
WO2013144418A1 (en) | Image segmentation | |
KR102158390B1 (ko) | 영상 처리 방법 및 장치 | |
Wang et al. | Stereoscopic image retargeting based on 3D saliency detection | |
CN107155100A (zh) | 一种基于图像的立体匹配方法及装置 | |
Ji et al. | An automatic 2D to 3D conversion algorithm using multi-depth cues | |
CN107798703B (zh) | 一种用于增强现实的实时图像叠加方法以及装置 | |
JP5736285B2 (ja) | 被写体の3次元形状を復元する装置、方法およびプログラム | |
CN105447911A (zh) | 一种3d地图融合方法、装置及电子设备 | |
Du et al. | Robust surface reconstruction from gradient field using the L1 norm | |
CN102708570A (zh) | 获取深度图的方法及装置 | |
KR102060758B1 (ko) | 포인트 클라우드를 이용한 프리미티브 피팅 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |