发明内容
针对现有技术中存在的问题,本发明提出一种斜视场下弱相关散斑图像的匹配方法,实现物体二维尺寸的实时、准确测量,显著提高了精度。
本发明的目的是通过以下技术方案予以实现,一种斜视场下弱相关散斑图像的匹配方法包括以下步骤:
S1、双目***立体相机标定,并进行大倾斜角或大立体角时左、右相机的散斑图像采集,其中,双目立体相机光轴之间存在一固有立体角使得成像倾斜,大倾斜角为大于45°的角度,大立体角为大于30°的角度;
S2、基于FAST-AIIM方法进行左、右图像间匹配点对检测,获得初始匹配点对Int_PtPairs;
S3、基于随机抽样一致算法对所述初始匹配点对Int_PtPairs进行筛选,得到点对Final_PtPairs;
S4、利用最小二乘法求解所述点对Final_PtPairs之间的对应关系的旋转平移矩阵;
S5、对于左图像任一待匹配点(Xo,Yo),根据所述旋转平移矩阵将所述待匹配点映射至右图像获得对应的位置估计(Xr,Yr);
S6、以位置估计(Xr,Yr)为初值并划定搜索域,在所述搜索域内基于第一匹配算法获得整像素坐标(Xrw,Yrw);
S7、基于第二匹配算法对所述整像素坐标(Xrw,Yrw)进行亚像素搜索和匹配,获得最终的匹配结果(Xrs,Yrs),所述第二匹配算法的精度高于所述第一匹配算法。
所述的方法中,步骤S1中,采用基于摄影测量的柔性标定,立体相机采集平面标定板八个不同方位的图像,经过图像处理和标定计算后获得双目相机的内、外方位参数和相对外参数,其中,所述平面标定板上布置有标志点,标志点包括以规则的行和列排列的环形编码点以及圆形非编码点;将表面喷涂有黑白相间散斑图案的物体放置在相机视野内,相机光轴与物体被测表面不垂直时为斜视场,当物体表面与相机光轴在三维空间呈倾斜角时分别称为左倾角,右倾角,前俯角,后仰角;双目立体相机光轴之间存在固有的立体角使得成像倾斜;当左倾角,右倾角,前俯角,后仰角大于45°,立体角大于30°时,控制双目相机同步触发采集得到左、右相机的散斑图像。
所述的方法中,步骤S2中,FAST-AIIM方法基于特征检测的仿射不变性得到左、右图像上一一对应的二维点群集合的所述初始匹配点对Int_PtPairs。
所述的方法中,步骤S3中,随机抽样一致算法为RANSAC算法,所述RANSAC算法基于Int_PtPairs中左图像上的特征点与右图像上的特征点之间存在点对数据间的对应模型,利用概率统计与反复迭代选择出点对之间最正确的对应模型,同时筛选出符合所述对应模型的点对Final_PtPairs。
所述的方法中,步骤S4中,旋转平移矩阵为M|d矩阵,所述点对Final_PtPairs中左图像中的二维点集为A,右图像中的二维点集为B,A与B之间的映射矩阵为XA→B,根据最小二乘法解得该矩阵内的投影变换参数X,基于投影变换参数X分离旋转矩阵M和平移矩阵d。
所述的方法中,步骤S4中,投影变换参数X为3行2列的矩阵,旋转矩阵M为2行2列的方阵,平移矩阵d为1行2列的矩阵。
所述的方法中,步骤S5中,所述待匹配点映射关系为(Xr,Yr)=M*(Xo,Yo)+d,其中,M为旋转矩阵,d为平移矩阵d。
所述的方法中,步骤S6中,以位置估计(Xr,Yr)为初值,搜索域半尺寸为S,搜索域左上、左下、右上、右下四个角点的坐标分别为(Xr-S,Yr-S),(Xr-S,Yr+S),(Xr+S,Yr-S),(Xr+S,Yr+S);采用归一化互相关函数整像素的搜索,在右图像上选取CNCC系数最大的搜索区域中心为匹配点,得到匹配点整像素坐标(Xrw,Yrw)。
所述的方法中,所述步骤S7中,利用亚像素插值算法对搜索域进行灰度插值,得到亚像素级别的坐标和对应灰度值,采用零均值归一化最小距离平方和系数ZNSSD进行子区亚像素搜索和匹配,通过亚像素的搜索,在右图像上选取相关系数最大的搜索区域中心为匹配点,得到亚像素匹配坐标(Xrs,Yrs),其中,
其中(x
i,y
j),(x
i,y
j)分别为左、右图像点上划定区域的像素坐标;f(x
i,y
j),g(x
i′,y
j′)分别为对应像素坐标的灰度值;
分别为对应搜索域的灰度基数,经过逐像素平方求和,再整体开方的运算得到。
所述的方法中,亚像素插值包括双线性插值算法或双三次样条插值算法。
有益效果
本发明同现有技术相比,本发明通过引入专用于投影变换特征检测的FAST AIIM算法和排错算法RANSAC算法,在牺牲一定特征检测和排错时间的条件下,极大的提高了斜视场立体相机散斑图像之间的匹配稳定性,为数字图像相关法在斜视场下的应用提供了一种可靠的匹配方法和思路;本发明还可提高传统数字图像相关法匹配的自动化程度。数字图像相关法往往通过种子点扩散的形式提高匹配效率,因此种子点的匹配正确与否非常关键,在斜视场弱相关图像的匹配中,种子点也存在弱相关问题,此时可进行手动选择匹配点,但手动匹配结果因人而异。而本发明可用于种子点的直接自动匹配,避免了人工操作,提高了匹配的自动化程度。
上述说明仅是本发明技术方案的概述,为了能够使得本发明的技术手段更加清楚明白,达到本领域技术人员可依照说明书的内容予以实施的程度,并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂,下面以本发明的具体实施方式进行举例说明。
具体实施方式
下面将参照附图1至图10(c)更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是,在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解,技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语,故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明书的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解,下面将结合附图以具体实施例为例做进一步的解释说明,且各个附图并不构成对本发明实施例的限定。
斜视场下弱相关散斑图像的匹配方法,所述方法包括以下步骤:
S1、双目***立体相机标定,并进行大倾斜角时左、右相机的散斑图像采集;
S2、通过FAST-AIIM方法进行左、右图像间匹配点对检测,获得初始匹配点对Int_PtPairs;
S3、利用RANSAC算法对Int_PtPairs进行筛选,得到正确的点对Final_PtPairs;
S4、利用最小二乘法求解点对Final_PtPairs之间的对应关系M|d矩阵;
S5、对于左图像任一待匹配点(Xo,Yo),根据M|d可将该点映射至右图像获得对应位置估计(Xr,Yr);
S6、以(Xr,Yr)为初值并划定搜索域,在该搜索域范围内利用第一匹配算法获得整像素坐标(Xrw,Yrw);
S7、利用第二匹配算法对(Xrw,Yrw)进行亚像素搜索和匹配,获得最终的匹配结果(Xrs,Yrs)。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,双目***的标定采用基于摄影测量的柔性标定方法,通过八步法,立体相机采集平面标定板八个不同方位的图像,经过图像处理和标定计算后,获得双目相机的内、外方位参数和相对外参数;
所述平面标定板上布置有圆形标志点图案,标志点包括环形编码点和圆形非编码点,以规则的行和列排列;
完成所述相机标定步骤后,将一表面喷涂有黑白相间散斑图案的物体放置在相机视野内,定义相机光轴与物体被测表面不严格垂直时为斜视场,也即:当物体表面与相机光轴在三维空间呈一倾斜角时,分别称为左倾角,右倾角,前俯角,后仰角;双目立体相机光轴之间存在一固有立体角使得成像倾斜;
当上述4个倾角大于45°,立体角大于30°时称为大倾斜角,此时控制双目相机同步触发采集得到左、右相机的大倾斜角散斑图像。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,FAST-AIIM是一种基于特征检测的仿射不变性图像匹配算法,针对双目立体相机之间的变换进行特征检测,具有非常稳定的投影变换不变性。
进一步地,FAST-AIIM算法的特征描述子非常适合于双目相机投影变换的特征点对检测,将所述步骤S2中得到的左、右相机的大倾斜角散斑图像输入到该算法,运行算法得到初始匹配点对Int_PtPairs,该点对是左、右图像上一一对应的二维点群集合。如图10(a)、(b)、(c)所示,分辨率均为640pixel×480pixel,检测得到Int_PtPairs共586对,现给出4对匹配点坐标作为示例。
图像 |
第1对 |
第2对 |
第3对 |
第4对 |
(a) |
274.096,293.204 |
94.533,208.356 |
43.5506,411.103 |
147.949,421.557 |
(b) |
248.256,258.27 |
175.82,197.97 |
154.193,321.066 |
200.156,346.334 |
FAST-AIIM方法进行特征检测的优点有:具有投影变换关系的图像对,尤其是对倾斜视场的图像对具有非常稳定的检测能力,FAST-AIIM方法在检测速度方面也具有一定的优势。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,RANSAC算法为随机抽样一致算法,Int_PtPairs中左图像上的特征点与右图像上的特征点之间存在一个点对数据间的对应模型,利用概率统计与反复迭代可选择出点对之间最正确的对应模型,同时能筛选出符合该对应模型的正确的点对Final_PtPairs,在算法层面上Final_PtPairs也被称为“内点”。进一步地,RANSAC迭代模型采用二维图像仿射变换的6参数模型,记二维点坐标为(x,y),经仿射变换后的二维点坐标为(x′,y′),变换模型为:
x′=m1x+m2y+d1
y′=m3x+m4y+d2
运行RANSAC算法,用586对点估计变换模型参数,将置信度设为0.98,通过多次迭代并舍弃不符合模型的数据,得到232对点对。
采用RANSAC算法进行点对排错的原因为:RANSAC算法经常用于计算机视觉中估计立体摄像机的基础矩阵等,能够鲁棒的估计模型参数,非常适合用于立体图像之间的匹配模型估计。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,Final_PtPairs中左图像中的二维点集为A,右图像中的二维点集为B,A与B之间的映射矩阵为XA→B,则有
XA→B=(ATA)-1ATB
可将A与B之间的映射看作投影变换,此时投影变换参数X可分离为旋转矩阵M和平移矩阵d,也即
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,根据点对的整体映射关系,有
(Xr,Yr)=M*(X0,Y0)+d
也即
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,所述步骤S6中,根据数字图像相关法(Digital Image Correlation,DIC),图像上选定二维像点的匹配分为两个步骤,先进行第一匹配,得到整像素的匹配结果,再进行第二匹配,通过亚像素插值和匹配得到亚像素级(0.01pixel)匹配结果。
传统的双目立体视觉的第一匹配需要借助立体相机的对极几何约束,通过在右图像上建立极线进行整像素搜索,选取相关系数最大的点作为匹配点,但由于斜视场大倾斜角的散斑图像相关性很低,沿极线上搜索可能相关系数都很难超过常规匹配的阈值,匹配算法难以达到收敛的条件,所以匹配成功率较低。因此,大倾斜角图像匹配以已经过一次位置估计的(Xr,Yr)为初值,再划定域内进行整像素搜索,设搜索子区半尺寸为S,则搜索域左上、左下、右上、右下四个角点的坐标分别为(Xr-S,Yr-S),(Xr-S,Yr+S),(Xr+S,Yr-S),(Xr+S,Yr+S);
在该搜索域内,采用归一化互相关函数(NCC)作为相关系数计算式,进行子区整像素搜索,该函数在保证准确性前提下能够减少计算量,即
式中(x
i,y
j),(x
i′,y
j′)分别为左、右图像点上划定区域的像素坐标;f(x
i,y
j),g(x
i′,y
j)′分别为对应像素坐标的灰度值;
分别为对应搜索域的灰度基数,经过逐像素平方求和,再整体开方的运算得到;
通过整像素的搜索,在右图像上选取CNCC系数最大的搜索区域中心为匹配点,即得到匹配点像素坐标(Xrw,Yrw)。
所述的一种斜视场下弱相关散斑图像的匹配方法的优选实施方式中,在所述步骤S6的基础上,以获得的(Xrw,Yrw)为初值,进行第二匹配,首先利用亚像素插值算法对搜索域进行灰度插值,得到亚像素级别的坐标和对应灰度值,进一步地,例如双线性插值算法利用一像素点周围的四个整数像素点的灰度求取,其表达式为
G(x′,y′)=a
10x′+a
01y′+a
11x′y′+a
00,0<x′<1,0<y′<1其中
式中g(i,j),g(i+1,j),g(i,j+1),g(i+1,j+1)分别为(x′,y′)周围的四个整像素点的灰度值。双线性插值计算量小,具有较高的精度,可以满足斜视场的精度要求。
完成亚像素插值之后,采用零均值归一化最小距离平方和系数(ZNSSD)作为第二匹配相关系数计算式,进行子区亚像素搜索和匹配,即
式中fm,gm分别为搜索域的灰度均值;Δf,Δg分别表式局部灰度与整体灰度的差值。
通过亚像素的搜索,在右图像上选取CZNSSD系数最大的搜索区域中心为匹配点,即得到亚像素匹配坐标(Xrs,Yrs)。可通过亚像素的匹配坐标对,利用S2中的立体相机标定结果进行三维重建,从而可获得物体斜视场表面的轮廓点云,若物体处于静态变形状态,可通过需要斜视场图像的匹配跟踪计算得到物体表面的变形场。
为了进一步理解本发明,
实施例1:结合图1至图9说明本实施例,本实施例的一种斜视场下弱相关散斑图像的匹配方法流程图如图1所示,具体步骤包括:
S1:双目***立体相机标定,并进行大倾斜角时左、右相机的散斑图像采集;
用两台相机组建立体成像***,相机型号为Basler Usb3.0,分辨率为500万像素(2448pixel×2048pixel),传感器像元尺寸为3.45um/pixel,配备25mm的RICOH型镜头。
双目***的标定采用基于摄影测量的柔性标定方法,通过八步法,立体相机采集平面标定板八个不同方位的图像,经过图像处理和标定计算后,获得双目相机的内、外方位参数和相对外参数;所述平面标定板上布置有圆形标志点图案,标志点包括环形编码点和圆形非编码点,以规则的行和列排列,预先通过摄影测量的方式获取比例尺,如图2所示。获得的双目相机标定结果为:
相机2相对于相机1的相对外参数为
完成所述相机标定步骤后,将一表面喷涂有黑白相间散斑图案的物体放置在相机视野内,定义相机光轴与物体被测表面不严格垂直时为斜视场,也即:当物体表面与相机光轴在三维空间呈一倾斜角时,分别称为左倾角,右倾角,前俯角,后仰角;双目立体相机光轴之间存在一固有立体角使得成像倾斜;
如图3所示,当其中的左倾角tl约为50°时,采集图像,获得如图4所示的左、右相机的立体图像,两幅图像存在严重倾斜,但符合立体视觉的投影模型。
S2:通过FAST-AIIM方法进行左、右图像间匹配点对检测,获得初始匹配点对Int_PtPairs;
FAST-AIIM算法,对图4中的两幅倾斜图像进行特征检测和匹配点对搜索,得到226对初始点对Int_PtPairs,其显示的效果如图5所示。
S3:利用RANSAC算法对Int_PtPairs进行筛选,得到正确的点对Final_PtPairs;
将S2中的226对初始点对利用RANSAC算法进行筛选,得到处理后的94对点对Final_PtPairs,其显示的效果如图6所示。
S4:利用最小二乘法求解Final_PtPairs点对之间的对应关系M|d矩阵;
将S3中的94个点对Final_PtPairs中左图像中的二维点集记为A,右图像中的二维点集记为B,A与B之间的映射矩阵为XA→B,利用最小二乘法解得
仿射变换参数X可分离为旋转矩阵M和平移矩阵d,也即
S5:对于左图像任一待匹配点(Xo,Yo),根据M|d可将该点映射至右图像获得对应位置估计(Xr,Yr);
点对的整体映射关系为
(Xr,Yr)=M*(X0,Y0)+d
在左图像上选取一待匹配点(1464,1576),如图7中稀疏点集中心有十字和圆圈的点;根据S4中获得的M|d矩阵,映射得到右图像上的位置估计(Xr,Yr)为(1818.7924,1425.1338)。
S6:以(Xr,Yr)为初值并划定搜索域,在该搜索域范围内利用第一匹配算法获得整像素坐标(Xrw,Yrw);
以(Xr,Yr)的坐标(1818.7924,1425.1338)为中心,设置子区半尺寸S为200pixel划定搜索域,通过数字图像相关法中的第一匹配算法得到整像素搜索坐标(Xrw,Yrw)为(1538,1510)。
S7:利用第二匹配算法对(Xrw,Yrw)进行亚像素搜索和匹配,获得最终的匹配结果(Xrs,Yrs)。
在所述步骤S6的基础上,以获得的(Xrw,Yrw)整像素坐标(1538,1510)为初值,进行第二匹配,利用双线性插值算法对搜索域进行灰度插值,得到亚像素级别的坐标和对应灰度值,再利用零均值归一化最小距离平方和系数作为相关系数计算式进行亚像素搜索,获得的亚像素匹配结果(Xrs,Yrs)为(1538.686883,1510.629269),图8所示为(Xrs,Yrs)的显示结果。
图9所示为以7×7为子区半尺寸进行整体匹配的效果,对于左图像上的黄色十字标记的种子点,右图像上有两个对应的匹配点,其中偏右的种子点是常规匹配算法计算的错误结果,偏左的是本发明计算得到的结果,观察可知本发明的匹配结果正确。在一个实施例中,系数ZNSSD的值在0~1之间,图9所示的点匹配得到的ZNSSD值为0.96,涉及到中间的计算过程较繁琐,此处不再细列。系数ZNSSD在0~1之间的优点为:采用ZNSSD作为相关系数计算式,在图像匹配中具有很强的抗环境光干扰能力和抗光照不均匀能力,能够极大的提高图像匹配稳定性。
适用于双目相机光轴与物体表面相对倾斜角较大或双目相机之间的立体角较大的工况,避免了极线出错时匹配失败的问题,极大的提高了数字图像匹配的稳定性,扩大了方法的适用范围。
尽管以上结合附图对本发明的实施方案进行了描述,但本发明并不局限于上述的具体实施方案和应用领域,上述的具体实施方案仅仅是示意性的、指导性的,而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下,还可以做出很多种的形式,这些均属于本发明保护之列。