CN109902695A - 一种面向像对直线特征匹配的线特征矫正与提纯方法 - Google Patents
一种面向像对直线特征匹配的线特征矫正与提纯方法 Download PDFInfo
- Publication number
- CN109902695A CN109902695A CN201910155483.5A CN201910155483A CN109902695A CN 109902695 A CN109902695 A CN 109902695A CN 201910155483 A CN201910155483 A CN 201910155483A CN 109902695 A CN109902695 A CN 109902695A
- Authority
- CN
- China
- Prior art keywords
- line
- straight line
- matrix
- gradient
- polar curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
一种面向像对直线特征匹配的线特征矫正与提纯方法,首先进行直线位置的修正,而后对引力图修正直线位置进行矫正,再后提纯直线匹配结果,最后通过随机抽样的方法,确定邻域的相似性:通过该方法能够结合边缘图的梯度图和梯度矢量图构造梯度引力图,并以此为基础对直线位置进行矫正;利用点特征匹配结果,从整体角度计算摄影极线,利用极线约束与直线匹配结果共同确定直线邻域内的校验区域,通过计算区域相似性剔除误匹配结果,继而提高了匹配的准确率。
Description
技术领域
本发明属于信号处理技术领域,具体涉及面向像对直线特征匹配的线特征矫正与提纯方法。
背景技术
直线特征匹配是指在不同像对上寻找同名特征线的对应关系,它在计算机视觉处理中具有重要的研究价值,目前像对直线特征匹配仪广泛应用于三维重建、摄影测量、立体匹配和目标跟踪等领域。
目前,提纯像对点特征匹配的方法较多,例如:MSLD及SMSLD,其局限于单一尺度拍摄的影像之间,对尺度变化较于敏感;而LBD则会因为同一直线在不同影像上提取结果的差异,对于复杂地物影像构建的支持域为非对应区域,匹配可靠性较弱;同时还有其他的方法,但是这些方法均不可避免的出现误匹配结果及匹配精度不够等问题,而导致这些问题的最主要因素之一则为现有直线检测结果并不位于图像真正的边缘处。
发明内容
为了解决现有技术存在的问题,本发明提供一种面向像对直线特征匹配的线特征矫正与提纯方法,本发明能够较好地对直线位置进行校正,同时对计算区域相似性剔除误匹配结果,技术方案如下:
一种面向像对直线特征匹配的线特征矫正与提纯方法包括以下步骤:
步骤1:获得梯度引力图及图像边缘直线位置;
步骤2:对通过引力梯度图获得的直线进行矫正;
步骤3:提纯直线匹配结果;
步骤4:通过SIFT算法匹配局部不变点特征,计算极线,通过LSD算法匹配直线获得一组线对,采用随机抽样算法确定线对的邻域相似性,以此提纯直线匹配结果。
步骤1的计算方法如下:
步骤1.1:通过Canny算子对输入的图像进行边缘检测,得到边缘图E;
步骤1.2:采用一阶差分的形式,通过边缘图E求解梯度图G,其计算形式如下:
其中,(i,j)为像素的坐标,dx(i,j)为x方向的一阶偏导数,dy(i,j)为y方向的一阶偏导数,通过公式(1)计算获得梯度矢量图GVF;
步骤1.3:将梯度矢量图GVF定义为最小化能量函数的矢量场:V(x,y)=(u(x,y),y(x,y))
其中,下标分别代表沿x轴和y轴部分的导数,μ是正则化参数,μ的值取决于图像中存在的噪声水平,是根据输入图像计算的梯度幅度;
步骤1.4:通过变分法,梯度矢量图GVF外力场通过求解下列Euler方程得到:
其中,是拉普拉斯算子;
步骤1.5:建立矩阵A记录边缘位置信息,根据矩阵A生成矩阵B,其矩阵B为矩阵A的梯度矢量图GVF,再根据矩阵B内实线区域创建矩阵C,根据矩阵C中的点位置进行赋值,而后根据矩阵C中点的赋值,对矩阵B中的点进行指向遍历赋值,其赋值方法为将与矩阵C中位置相应位置填写指向性相同元素值,将矩阵C填满,此时获得梯度引力图。
步骤2的计算方法如下:
步骤2.1:设直线为l,其长度为D,则两个端点分别为p1,p2,沿直线l的端点p1缩短d1和d2,缩短d1获得新端点p11,缩短d2获得新端点p12,而后沿直线l的端点p2缩短d3和d4,缩短d3获得新端点p23,缩短d4后获得p24,通过梯度引力图计算p11、p12、p23、p24的修正位置p′11、p′12、p'23、p'24,再根据p′11、p′12、p'23、p'24确定新的直线:
步骤2.2:对新求得的端点进行延长,分别以p′11、p′12、p'23、p'24为起始节点,通过如下公式进行计算延长线矢量:
其中,Vector为计算矢量函数,分别获得后即可求得修正后的直线段的新端点。
步骤3的计算方法如下:
步骤3.1:通过点特征匹配结果计算像对极线,并结合直线匹配结果确定最后的校验局部特征区域,通过随机抽样一致小邻域范围内的特征相似性校验直线匹配结果,从而对误匹配先特征进行剔除;
步骤3.2:采用归一化八点算法计算基本矩阵,而基础矩阵是对极几何的代数表示,可通过匹配点求出,基础矩阵满足如下等式:
(x')TFx=0 (6)
xTFTx'=0 (7)
对极几何是两个视图之间内在的摄影几何,x和x'分别是物方x在另个摄影平面上获得的同名像点,C和C'分别为摄影中心,他们之间的连线称为基线,基线所在平面为对极平面,e和e'是基线与像平面的交点,即对极点,像平面与对极平面的交线即为对极线,这些对极线满足一定的几何约束关系,直线l为对应于点x'的极线,直线l'为对应于点x的极线,极线约束是指点x'一定在对应于x的极线l'上,点x'一定在对应于x'的极线l'上;
步骤3.3:对于对极几何左相机图像平面,点x在极线l上,所以有xTl=0,根据公式(7)可知:相差一个常数因子时,对直线方程无影响,因此可以将极线l直接表示为:
l=FTx' (8)
同理可得:
l'=Fx (9)。
步骤4的计算方法如下:
步骤4.1:以极线与一对待匹配直线为参考,获取匹配直线周边小邻域,其具体方法为:将其一待匹配直线进行等分,而后获得等分点,同时获得过等分点对应极线,根据极线约束原理,可以求得该直线的等分点在另一直线所在区域获得其对应极线,再根据另一直线区域中的极线与另一直线的交点求得对应的点,通过求取两组对应的点的小邻域特征计算线条局部区域的相似性;
步骤4.2:通过确定领域大小,设半径阈值为R,保存小于半径的像素点(R<=Radius),并将所有的邻域重新保存在一个新的图像Im中,而后由梯度方向判断Im中的像素点所属邻域是左邻域还是右邻域,为保持方向的一致性,由直线梯度指向的区域表示右邻域,则另一侧即为左邻域;
步骤4.3:通过计算区域内像素颜色的相似性来确定线邻域的相似性,令对应的匹配区域分别为R与R',区域R内像素的数量为m,区域R'内像素的数量为n,采用如下公式计算邻域相似性:
通过公式(10)进行计算,若随机抽取对应区域都具有较高相似性,则判定改端匹配直线是正确的,继而提纯直线匹配结果。
与现有技术相比,本发明的有益效果是:
(1)结合边缘图的梯度图和梯度矢量图构造梯度引力图,并以此为基础对直线位置进行矫正;
(2)利用点特征匹配结果,从整体角度计算摄影极线,利用极线约束与直线匹配结果共同确定直线邻域内的校验区域,通过计算区域相似性剔除误匹配结果,提高了匹配的准确率。
附图说明
图1为本发明梯度引力图构建过程中边缘图;
图2为本发明梯度引力图构建过程中梯度矢量图GVF;
图3为本发明梯度引力图构建过程中GVF矩阵;
图4为本发明梯度引力图构建过程中梯度引力图;
图5为本发明中边沿梯度与梯度矢量图:
左一为测试图像,左二为边缘图,右二为边缘图梯度,右一为梯度矢量图;
图6为本发明中直线矫正示意图;
图7为本发明中对极几何示意图;
图8为本发明结合极线确定小邻域示意图;
图9为本发明中宽基像对直线LSD直线检测结果示意图;
图10为本发明中宽基像对直线对比图9的矫正结果示意图;
图11为本发明中的宽基像对直线的匹配与提纯效果对比LSD检测直线效果示意图:
a:斜向视角LSD检测直线的匹配效果图;b:斜向视角直线矫正后的匹配效果图;c:斜向视角对矫正后的直线提纯匹配效果图;d:正向视角LSD检测直线的匹配效果图;e:正向视角直线矫正后的匹配效果图;f:正向视角对矫正后的直线提纯匹配效果图;
图12为本发明中视角变化像对直线LSD直线检测结果示意图;
图13为本发明中视角变化像对直线对比图12的矫正结果示意图;
图14为本发明的视角变化像对直线的匹配与提纯图效果对比LSD检测直线效果示意图:
a:正向视角LSD检测直线的匹配效果图;b:正向视角直线矫正后的匹配效果图;c:正向视角对矫正后的直线提纯匹配效果图;d:斜向视角LSD检测直线的匹配效果图;e:斜向视角直线矫正后的匹配效果图;f:斜向视角对矫正后的直线提纯匹配效果图;
图15为本发明中尺度变化像对直线LSD直线检测结果示意图;
图16为本发明中尺度变化像对直线对比图15的矫正结果示意图;
图17为本发明中尺度变化像对直线的匹配与提纯图效果对比LSD检测直线效果示意图:
a:参考尺寸LSD检测直线的匹配效果图;b:参考尺寸直线矫正后的匹配效果图;c:参考尺寸对矫正后的直线提纯匹配效果图;d:缩小尺寸LSD检测直线的匹配效果图;e:缩小尺寸直线矫正后的匹配效果图;f:缩小尺寸对矫正后的直线提纯匹配效果图。
具体实施方式
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
实施例1:
如图1、图2、图3,图4,图5,图6,图7,图8,与9、图10和图11示,一种面向像对直线特征匹配的线特征矫正与提纯方法包括以下步骤:
步骤1:获得梯度引力图及图像边缘直线位置;
步骤2:对通过引力梯度图获得的直线进行矫正;
步骤3:提纯直线匹配结果;
步骤4:通过SIFT算法匹配局部不变点特征,计算极线,通过LSD算法匹配直线获得一组线对,采用随机抽样算法确定线对的邻域相似性,以此提纯直线匹配结果。
对宽基像对直线进行矫正匹配和提纯匹配的效果对比,将原图通过LSD直线检测方法,获得图9中的两幅图片,而后将原图通过本发明方法如下步骤进行处理,获得图10与图11中图片。
步骤1的计算方法如下:
步骤1.1:通过Canny算子对输入的图像进行边缘检测,得到边缘图E;
步骤1.2:采用一阶差分的形式,通过边缘图E求解梯度图G,其计算形式如下:
其中,(i,j)为像素的坐标,dx(i,j)为x方向的一阶偏导数,dy(i,j)为y方向的一阶偏导数,通过公式(1)计算获得梯度矢量图GVF;
步骤1.3:将梯度矢量图GVF定义为最小化能量函数的矢量场:V(x,y)=(u(x,y),y(x,y))
其中,下标分别代表沿x轴和y轴部分的导数,μ是正则化参数,μ的值取决于图像中存在的噪声水平,是根据输入图像计算的梯度幅度;
步骤1.4:通过变分法,梯度矢量图GVF外力场可以通过求解下列Euler方程得到:
其中,是拉普拉斯算子;
步骤1.5:建立矩阵A记录边缘位置信息,根据矩阵A生成矩阵B,其矩阵B为矩阵A的梯度矢量图GVF,再根据矩阵B内实线区域创建矩阵C,根据矩阵C中的点位置进行赋值,而后根据矩阵C中点的赋值,对矩阵B中的点进行指向遍历赋值,其赋值方法为将与矩阵C中位置相应位置填写指向性相同元素值,将矩阵C填满,此时获得梯度引力图。
步骤2的计算方法如下:
步骤2.1:设直线为l,其长度为D,则两个端点分别为p1,p2,沿直线l的端点p1缩短d1和d2,缩短d1获得新端点p11,缩短d2获得新端点p12,而后沿直线l的端点p2缩短d3和d4,缩短d3获得新端点p23,缩短d4后获得p24,通过梯度引力图计算p11、p12、p23、p24的修正位置p′11、p′12、p'23、p'24,再根据p′11、p′12、p'23、p'24确定新的直线:
步骤2.2:对新求得的端点进行延长,分别以p′11、p′12、p'23、p'24为起始节点,通过如下公式进行计算延长线矢量:
其中,Vector为计算矢量函数,分别获得后即可求得修正后的直线段的新端点。
步骤3的计算方法如下:
步骤3.1:通过点特征匹配结果计算像对极线,并结合直线匹配结果确定最后的校验局部特征区域,通过随机抽样一致小邻域范围内的特征相似性校验直线匹配结果,从而对误匹配先特征进行剔除;
步骤3.2:采用归一化八点算法计算基本矩阵,而基础矩阵是对极几何的代数表示,可通过匹配点求出,基础矩阵满足如下等式:
(x')TFx=0 (6)
xTFTx'=0 (7)
对极几何是两个视图之间内在的摄影几何,x和x'分别是物方x在另个摄影平面上获得的同名像点,C和C'分别为摄影中心,他们之间的连线称为基线,基线所在平面为对极平面,e和e'是基线与像平面的交点,即对极点,像平面与对极平面的交线即为对极线,这些对极线满足一定的几何约束关系,直线l为对应于点x'的极线,直线l'为对应于点x的极线,极线约束是指点x'一定在对应于x的极线l'上,点x'一定在对应于x'的极线l'上;
步骤3.3:对于对极几何左相机图像平面,点x在极线l上,所以有xTl=0,根据公式(7)可知:相差一个常数因子时,对直线方程无影响,因此可以将极线l直接表示为:
l=FTx' (8)
同理可得:
l'=Fx (9)。
步骤4的计算方法如下:
步骤4.1:以极线与一对待匹配直线为参考,获取匹配直线周边小邻域,其具体方法为:将其一待匹配直线进行等分,而后获得等分点,同时获得过等分点对应极线,根据极线约束原理,可以求得该直线的等分点在另一直线所在区域获得其对应极线,再根据另一直线区域中的极线与另一直线的交点求得对应的点,通过求取两组对应的点的小邻域特征计算线条局部区域的相似性;
步骤4.2:通过确定领域大小,设半径阈值为R,保存小于半径的像素点(R<=Radius),并将所有的邻域重新保存在一个新的图像Im中,而后由梯度方向判断Im中的像素点所属邻域是左邻域还是右邻域,为保持方向的一致性,由直线梯度指向的区域表示右邻域,则另一侧即为左邻域;
步骤4.3:通过计算区域内像素颜色的相似性来确定线邻域的相似性,令对应的匹配区域分别为R与R',区域R内像素的数量为m,区域R'内像素的数量为n,采用如下公式计算邻域相似性:
通过公式(10)进行计算,若随机抽取对应区域都具有较高相似性,则判定改端匹配直线是正确的,继而提纯直线匹配结果。
实施例2:
如图1、图2、图3,图4,图5,图6,图7,图8,图12、图13和图14示,一种面向像对直线特征匹配的线特征矫正与提纯方法包括以下步骤:
步骤1:获得梯度引力图及图像边缘直线位置;
步骤2:对通过引力梯度图获得的直线进行矫正;
步骤3:提纯直线匹配结果;
步骤4:通过SIFT算法匹配局部不变点特征,计算极线,通过LSD算法匹配直线获得一组线对,采用随机抽样算法确定线对的邻域相似性,以此提纯直线匹配结果。
对视角变化像对直线进行矫正匹配和提纯匹配的效果对比,将原图通过LSD直线检测方法,获得图12中的两幅图片,而后将原图通过本发明方法如下步骤进行处理,获得图13与图14中图片。
步骤1的计算方法如下:
步骤1.1:通过Canny算子对输入的图像进行边缘检测,得到边缘图E;
步骤1.2:采用一阶差分的形式,通过边缘图E求解梯度图G,其计算形式如下:
其中,(i,j)为像素的坐标,dx(i,j)为x方向的一阶偏导数,dy(i,j)为y方向的一阶偏导数,通过公式(1)计算获得梯度矢量图GVF;
步骤1.3:将梯度矢量图GVF定义为最小化能量函数的矢量场:V(x,y)=(u(x,y),y(x,y))
其中,下标分别代表沿x轴和y轴部分的导数,μ是正则化参数,μ的值取决于图像中存在的噪声水平,是根据输入图像计算的梯度幅度;
步骤1.4:通过变分法,梯度矢量图GVF外力场可以通过求解下列Euler方程得到:
其中,是拉普拉斯算子;
步骤1.5:建立矩阵A记录边缘位置信息,根据矩阵A生成矩阵B,其矩阵B为矩阵A的梯度矢量图GVF,再根据矩阵B内实线区域创建矩阵C,根据矩阵C中的点位置进行赋值,而后根据矩阵C中点的赋值,对矩阵B中的点进行指向遍历赋值,其赋值方法为将与矩阵C中位置相应位置填写指向性相同元素值,将矩阵C填满,此时获得梯度引力图。
步骤2的计算方法如下:
步骤2.1:设直线为l,其长度为D,则两个端点分别为p1,p2,沿直线l的端点p1缩短d1和d2,缩短d1获得新端点p11,缩短d2获得新端点p12,而后沿直线l的端点p2缩短d3和d4,缩短d3获得新端点p23,缩短d4后获得p24,通过梯度引力图计算p11、p12、p23、p24的修正位置p′11、p′12、p'23、p'24,再根据p′11、p′12、p'23、p'24确定新的直线:
步骤2.2:对新求得的端点进行延长,分别以p′11、p′12、p'23、p'24为起始节点,通过如下公式进行计算延长线矢量:
其中,Vector为计算矢量函数,分别获得后即可求得修正后的直线段的新端点。
步骤3的计算方法如下:
步骤3.1:通过点特征匹配结果计算像对极线,并结合直线匹配结果确定最后的校验局部特征区域,通过随机抽样一致小邻域范围内的特征相似性校验直线匹配结果,从而对误匹配先特征进行剔除;
步骤3.2:采用归一化八点算法计算基本矩阵,而基础矩阵是对极几何的代数表示,可通过匹配点求出,基础矩阵满足如下等式:
(x')TFx=0 (6)
xTFTx'=0 (7)
对极几何是两个视图之间内在的摄影几何,x和x'分别是物方x在另个摄影平面上获得的同名像点,C和C'分别为摄影中心,他们之间的连线称为基线,基线所在平面为对极平面,e和e'是基线与像平面的交点,即对极点,像平面与对极平面的交线即为对极线,这些对极线满足一定的几何约束关系,直线l为对应于点x'的极线,直线l'为对应于点x的极线,极线约束是指点x'一定在对应于x的极线l'上,点x'一定在对应于x'的极线l'上;
步骤3.3:对于对极几何左相机图像平面,点x在极线l上,所以有xTl=0,根据公式(7)可知:相差一个常数因子时,对直线方程无影响,因此可以将极线l直接表示为:
l=FTx' (8)
同理可得:
l'=Fx (9)。
步骤4的计算方法如下:
步骤4.1:以极线与一对待匹配直线为参考,获取匹配直线周边小邻域,其具体方法为:将其一待匹配直线进行等分,而后获得等分点,同时获得过等分点对应极线,根据极线约束原理,可以求得该直线的等分点在另一直线所在区域获得其对应极线,再根据另一直线区域中的极线与另一直线的交点求得对应的点,通过求取两组对应的点的小邻域特征计算线条局部区域的相似性;
步骤4.2:通过确定领域大小,设半径阈值为R,保存小于半径的像素点(R<=Radius),并将所有的邻域重新保存在一个新的图像Im中,而后由梯度方向判断Im中的像素点所属邻域是左邻域还是右邻域,为保持方向的一致性,由直线梯度指向的区域表示右邻域,则另一侧即为左邻域;
步骤4.3:通过计算区域内像素颜色的相似性来确定线邻域的相似性,令对应的匹配区域分别为R与R',区域R内像素的数量为m,区域R'内像素的数量为n,采用如下公式计算邻域相似性:
通过公式(10)进行计算,若随机抽取对应区域都具有较高相似性,则判定改端匹配直线是正确的,继而提纯直线匹配结果。
实施例3:
如图1、图2、图3,图4,图5,图6,图7,图8,图15、图16和图17示,一种面向像对直线特征匹配的线特征矫正与提纯方法包括以下步骤:
步骤1:获得梯度引力图及图像边缘直线位置;
步骤2:对通过引力梯度图获得的直线进行矫正;
步骤3:提纯直线匹配结果;
步骤4:通过SIFT算法匹配局部不变点特征,计算极线,通过LSD算法匹配直线获得一组线对,采用随机抽样算法确定线对的邻域相似性,以此提纯直线匹配结果。
对尺度变化像对直线进行矫正匹配和提纯匹配的效果对比,将原图通过LSD直线检测方法,获得图15中的两幅图片,而后将原图通过本发明方法如下步骤进行处理,获得图16与图17中图片。
步骤1的计算方法如下:
步骤1.1:通过Canny算子对输入的图像进行边缘检测,得到边缘图E;
步骤1.2:采用一阶差分的形式,通过边缘图E求解梯度图G,其计算形式如下:
其中,(i,j)为像素的坐标,dx(i,j)为x方向的一阶偏导数,dy(i,j)为y方向的一阶偏导数,通过公式(1)计算获得梯度矢量图GVF;
步骤1.3:将梯度矢量图GVF定义为最小化能量函数的矢量场:V(x,y)=(u(x,y),y(x,y))
其中,下标分别代表沿x轴和y轴部分的导数,μ是正则化参数,μ的值取决于图像中存在的噪声水平,是根据输入图像计算的梯度幅度;
步骤1.4:通过变分法,梯度矢量图GVF外力场可以通过求解下列Euler方程得到:
其中,是拉普拉斯算子;
步骤1.5:建立矩阵A记录边缘位置信息,根据矩阵A生成矩阵B,其矩阵B为矩阵A的梯度矢量图GVF,再根据矩阵B内实线区域创建矩阵C,根据矩阵C中的点位置进行赋值,而后根据矩阵C中点的赋值,对矩阵B中的点进行指向遍历赋值,其赋值方法为将与矩阵C中位置相应位置填写指向性相同元素值,将矩阵C填满,此时获得梯度引力图。
步骤2的计算方法如下:
步骤2.1:设直线为l,其长度为D,则两个端点分别为p1,p2,沿直线l的端点p1缩短d1和d2,缩短d1获得新端点p11,缩短d2获得新端点p12,而后沿直线l的端点p2缩短d3和d4,缩短d3获得新端点p23,缩短d4后获得p24,通过梯度引力图计算p11、p12、p23、p24的修正位置p′11、p′12、p'23、p'24,再根据p′11、p′12、p'23、p'24确定新的直线:
步骤2.2:对新求得的端点进行延长,分别以p′11、p′12、p'23、p'24为起始节点,通过如下公式进行计算延长线矢量:
其中,Vector为计算矢量函数,分别获得后即可求得修正后的直线段的新端点。
步骤3的计算方法如下:
步骤3.1:通过点特征匹配结果计算像对极线,并结合直线匹配结果确定最后的校验局部特征区域,通过随机抽样一致小邻域范围内的特征相似性校验直线匹配结果,从而对误匹配先特征进行剔除;
步骤3.2:采用归一化八点算法计算基本矩阵,而基础矩阵是对极几何的代数表示,可通过匹配点求出,基础矩阵满足如下等式:
(x')TFx=0 (6)
xTFTx'=0 (7)
对极几何是两个视图之间内在的摄影几何,x和x'分别是物方x在另个摄影平面上获得的同名像点,C和C'分别为摄影中心,他们之间的连线称为基线,基线所在平面为对极平面,e和e'是基线与像平面的交点,即对极点,像平面与对极平面的交线即为对极线,这些对极线满足一定的几何约束关系,直线l为对应于点x'的极线,直线l'为对应于点x的极线,极线约束是指点x'一定在对应于x的极线l'上,点x'一定在对应于x'的极线l'上;
步骤3.3:对于对极几何左相机图像平面,点x在极线l上,所以有xTl=0,根据公式(7)可知:相差一个常数因子时,对直线方程无影响,因此可以将极线l直接表示为:
l=FTx' (8)
同理可得:
l'=Fx (9)。
步骤4的计算方法如下:
步骤4.1:以极线与一对待匹配直线为参考,获取匹配直线周边小邻域,其具体方法为:将其一待匹配直线进行等分,而后获得等分点,同时获得过等分点对应极线,根据极线约束原理,可以求得该直线的等分点在另一直线所在区域获得其对应极线,再根据另一直线区域中的极线与另一直线的交点求得对应的点,通过求取两组对应的点的小邻域特征计算线条局部区域的相似性;
步骤4.2:通过确定领域大小,设半径阈值为R,保存小于半径的像素点(R<=Radius),并将所有的邻域重新保存在一个新的图像Im中,而后由梯度方向判断Im中的像素点所属邻域是左邻域还是右邻域,为保持方向的一致性,由直线梯度指向的区域表示右邻域,则另一侧即为左邻域;
步骤4.3:通过计算区域内像素颜色的相似性来确定线邻域的相似性,令对应的匹配区域分别为R与R',区域R内像素的数量为m,区域R'内像素的数量为n,采用如下公式计算邻域相似性:
通过公式(10)进行计算,若随机抽取对应区域都具有较高相似性,则判定改端匹配直线是正确的,继而提纯直线匹配结果。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细说明,领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本权利要求范围当中。
Claims (4)
1.一种面向像对直线特征匹配的线特征矫正与提纯方法包括以下步骤:
步骤1:获得梯度引力图及图像边缘直线位置;
步骤2:对通过引力梯度图获得的直线进行矫正;
步骤3:提纯直线匹配结果;
步骤4:通过SIFT算法匹配局部不变点特征,计算极线,通过LSD算法匹配直线获得一组线对,采用随机抽样算法确定线对的邻域相似性,以此提纯直线匹配结果。
2.根据权利要求1所述的一种面向像对直线特征匹配的线特征矫正与提纯方法,其特征在于,步骤1的计算方法如下:
步骤1.1:通过Canny算子对输入的图像进行边缘检测,得到边缘图E;
步骤1.2:采用一阶差分的形式,通过边缘图E求解梯度图G,其计算形式如下:
其中,(i,j)为像素的坐标,dx(i,j)为x方向的一阶偏导数,dy(i,j)为y方向的一阶偏导数,通过公式(1)计算获得梯度矢量图GVF;
步骤1.3:将梯度矢量图GVF定义为最小化能量函数的矢量场:V(x,y)=(u(x,y),y(x,y))
其中,下标分别代表沿x轴和y轴部分的导数,μ是正则化参数,μ的值取决于图像中存在的噪声水平,是根据输入图像计算的梯度幅度;
步骤1.4:通过变分法,梯度矢量图GVF外力场可以通过求解下列Euler方程得到:
其中,是拉普拉斯算子;
步骤1.5:建立矩阵A记录边缘位置信息,根据矩阵A生成矩阵B,其矩阵B为矩阵A的梯度矢量图GVF,再根据矩阵B内实线区域创建矩阵C,根据矩阵C中的点位置进行赋值,而后根据矩阵C中点的赋值,对矩阵B中的点进行指向遍历赋值,其赋值方法为将与矩阵C中位置相应位置填写指向性相同元素值,将矩阵C填满,此时获得梯度引力图。
3.根据权利要求1所述的一种面向像对直线特征匹配的线特征矫正与提纯方法,其特征在于,步骤2的计算方法如下:
步骤2.1:设直线为l,其长度为D,则两个端点分别为p1,p2,沿直线l的端点p1缩短d1和d2,缩短d1获得新端点p11,缩短d2获得新端点p12,而后沿直线l的端点p2缩短d3和d4,缩短d3获得新端点p23,缩短d4后获得p24,通过梯度引力图计算p11、p12、p23、p24的修正位置p′11、p′12、p′23、p′24,再根据p′11、p′12、p′23、p′24确定新的直线:
步骤2.2:对新求得的端点进行延长,分别以p′11、p′12、p′23、p′24为起始节点,通过如下公式进行计算延长线矢量:
其中,Vector为计算矢量函数,分别获得后即可求得修正后的直线段的新端点。
4.根据权利要求1所述的一种面向像对直线特征匹配的线特征矫正与提纯方法,其特征在于,步骤3的计算方法如下:
步骤3.1:通过点特征匹配结果计算像对极线,
1)采用归一化八点算法计算基本矩阵,而基础矩阵是对极几何的代数表示,可通过匹配点求出,基础矩阵满足如下等式:
(x')TFx=0 (6)
xTFTx'=0 (7)
对极几何是两个视图之间内在的摄影几何,x和x'分别是物方x在另个摄影平面上获得的同名像点,C和C'分别为摄影中心,他们之间的连线称为基线,基线所在平面为对极平面,e和e'是基线与像平面的交点,即对极点,像平面与对极平面的交线即为对极线,这些对极线满足一定的几何约束关系,直线l为对应于点x'的极线,直线l'为对应于点x的极线,极线约束是指点x'一定在对应于x的极线l'上,点x'一定在对应于x'的极线l'上;
2)对于对极几何左相机图像平面,点x在极线l上,所以有xTl=0,根据公式(7)可知:
相差一个常数因子时,对直线方程无影响,因此可以将极线l直接表示为:
l=FTx' (8)
同理可得:
l'=Fx (9)
步骤3.2:以极线与一对待匹配直线为参考,获取匹配直线周边小邻域,其具体方法为:将其一待匹配直线进行等分,而后获得等分点,同时获得过等分点对应极线,根据极线约束原理,可以求得该直线的等分点在另一直线所在区域获得其对应极线,再根据另一直线区域中的极线与另一直线的交点求得对应的点,通过求取两组对应的点的小邻域特征计算线条局部区域的相似性;
步骤3.3:通过确定领域大小,设半径阈值为R,保存小于半径的像素点(R<=Radius),并将所有的邻域重新保存在一个新的图像Im中,而后由梯度方向判断Im中的像素点所属邻域是左邻域还是右邻域,为保持方向的一致性,由直线梯度指向的区域表示右邻域,则另一侧即为左邻域;
步骤3.4:通过计算区域内像素颜色的相似性来确定线邻域的相似性,令对应的匹配区域分别为R与R',区域R内像素的数量为m,区域R'内像素的数量为n,采用如下公式计算邻域相似性:
通过公式(10)进行计算,若随机抽取对应区域都具有较高相似性,则判定改端匹配直线是正确的,继而提纯直线匹配结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910155483.5A CN109902695B (zh) | 2019-03-01 | 2019-03-01 | 一种面向像对直线特征匹配的线特征矫正与提纯方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910155483.5A CN109902695B (zh) | 2019-03-01 | 2019-03-01 | 一种面向像对直线特征匹配的线特征矫正与提纯方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109902695A true CN109902695A (zh) | 2019-06-18 |
CN109902695B CN109902695B (zh) | 2022-12-20 |
Family
ID=66946019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910155483.5A Active CN109902695B (zh) | 2019-03-01 | 2019-03-01 | 一种面向像对直线特征匹配的线特征矫正与提纯方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109902695B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111121789A (zh) * | 2019-12-12 | 2020-05-08 | 上海航天控制技术研究所 | 一种基于图像的遥感卫星多模式自主定轨方法 |
CN112183596A (zh) * | 2020-09-21 | 2021-01-05 | 湖北大学 | 结合局部网格约束和几何约束的直线段匹配方法与*** |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3567155A (en) * | 1968-12-20 | 1971-03-02 | James A Gatlin | Gravity gradient attitude control system |
US20080226192A1 (en) * | 2007-03-14 | 2008-09-18 | Micron Technology, Inc. | Image feature identification and motion compensation apparatus, systems, and methods |
US20120105578A1 (en) * | 2010-06-11 | 2012-05-03 | Jun Ohmiya | Image processing apparatus and image processing method |
US20130161504A1 (en) * | 2011-12-21 | 2013-06-27 | Schlumberger Technology Corporation | Systems and Methods Using Tandem Gravimeter |
US20150116353A1 (en) * | 2013-10-30 | 2015-04-30 | Morpho, Inc. | Image processing device, image processing method and recording medium |
EP2887264A1 (de) * | 2013-12-20 | 2015-06-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kreissegment- und Formdetektion |
CN106295652A (zh) * | 2016-07-27 | 2017-01-04 | 中测高科(北京)测绘工程技术有限责任公司 | 一种直线特征匹配方法及*** |
CN107015287A (zh) * | 2017-03-09 | 2017-08-04 | 中国科学院电工研究所 | 一种重力梯度测量装置及测量方法 |
CN107272084A (zh) * | 2017-05-08 | 2017-10-20 | 中国船舶重工集团公司第七〇七研究所 | 一种创建局部近似匀值引力梯度张量激励的方法 |
CN107273566A (zh) * | 2017-05-08 | 2017-10-20 | 中国船舶重工集团公司第七〇七研究所 | 一种构建复杂形体引力梯度场的计算方法 |
CN107833249A (zh) * | 2017-09-29 | 2018-03-23 | 南京航空航天大学 | 一种基于视觉引导的舰载机着陆过程姿态预估方法 |
US20190004206A1 (en) * | 2015-08-13 | 2019-01-03 | Cgg Services Sas | System and method for gravity and/or gravity gradient terrain corrections |
CN109308715A (zh) * | 2018-09-19 | 2019-02-05 | 电子科技大学 | 一种基于点特征和线特征结合的光学图像配准方法 |
-
2019
- 2019-03-01 CN CN201910155483.5A patent/CN109902695B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3567155A (en) * | 1968-12-20 | 1971-03-02 | James A Gatlin | Gravity gradient attitude control system |
US20080226192A1 (en) * | 2007-03-14 | 2008-09-18 | Micron Technology, Inc. | Image feature identification and motion compensation apparatus, systems, and methods |
US20120105578A1 (en) * | 2010-06-11 | 2012-05-03 | Jun Ohmiya | Image processing apparatus and image processing method |
US20130161504A1 (en) * | 2011-12-21 | 2013-06-27 | Schlumberger Technology Corporation | Systems and Methods Using Tandem Gravimeter |
US20150116353A1 (en) * | 2013-10-30 | 2015-04-30 | Morpho, Inc. | Image processing device, image processing method and recording medium |
EP2887264A1 (de) * | 2013-12-20 | 2015-06-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kreissegment- und Formdetektion |
US20190004206A1 (en) * | 2015-08-13 | 2019-01-03 | Cgg Services Sas | System and method for gravity and/or gravity gradient terrain corrections |
CN106295652A (zh) * | 2016-07-27 | 2017-01-04 | 中测高科(北京)测绘工程技术有限责任公司 | 一种直线特征匹配方法及*** |
CN107015287A (zh) * | 2017-03-09 | 2017-08-04 | 中国科学院电工研究所 | 一种重力梯度测量装置及测量方法 |
CN107272084A (zh) * | 2017-05-08 | 2017-10-20 | 中国船舶重工集团公司第七〇七研究所 | 一种创建局部近似匀值引力梯度张量激励的方法 |
CN107273566A (zh) * | 2017-05-08 | 2017-10-20 | 中国船舶重工集团公司第七〇七研究所 | 一种构建复杂形体引力梯度场的计算方法 |
CN107833249A (zh) * | 2017-09-29 | 2018-03-23 | 南京航空航天大学 | 一种基于视觉引导的舰载机着陆过程姿态预估方法 |
CN109308715A (zh) * | 2018-09-19 | 2019-02-05 | 电子科技大学 | 一种基于点特征和线特征结合的光学图像配准方法 |
Non-Patent Citations (2)
Title |
---|
吴太旗等: "直线段的重力场匹配水下导航新方法", 《中国惯性技术学报》 * |
王竞雪等: "局部点、线仿射不变性约束的近景影像直线段匹配", 《地球信息科学》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111121789A (zh) * | 2019-12-12 | 2020-05-08 | 上海航天控制技术研究所 | 一种基于图像的遥感卫星多模式自主定轨方法 |
CN111121789B (zh) * | 2019-12-12 | 2022-02-22 | 上海航天控制技术研究所 | 一种基于图像的遥感卫星多模式自主定轨方法 |
CN112183596A (zh) * | 2020-09-21 | 2021-01-05 | 湖北大学 | 结合局部网格约束和几何约束的直线段匹配方法与*** |
Also Published As
Publication number | Publication date |
---|---|
CN109902695B (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648240B (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
CN105701827A (zh) | 可见光相机与红外相机的参数联合标定方法及装置 | |
Meng et al. | Metric rectification of curved document images | |
CN105550994B (zh) | 一种基于卫星影像的无人机影像快速概略拼接方法 | |
Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
CN104616247B (zh) | 一种用于基于超像素sift航拍地图拼接的方法 | |
Chen et al. | Robust affine-invariant line matching for high resolution remote sensing images | |
Phuc Truong et al. | Registration of RGB and thermal point clouds generated by structure from motion | |
CN110956661A (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
US10665035B1 (en) | System and process of using photogrammetry for digital as-built site surveys and asset tracking | |
Gan et al. | A photogrammetry-based image registration method for multi-camera systems–with applications in images of a tree crop | |
CN109902695A (zh) | 一种面向像对直线特征匹配的线特征矫正与提纯方法 | |
Ding et al. | Minimal solutions for panoramic stitching given gravity prior | |
St-Charles et al. | Online multimodal video registration based on shape matching | |
CN113706635B (zh) | 一种基于点特征和线特征融合的长焦距相机标定方法 | |
CN104992433B (zh) | 基于线段匹配的多光谱图像配准的方法及装置 | |
CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及*** | |
Wang et al. | A real-time correction and stitching algorithm for underwater fisheye images | |
CN113643363B (zh) | 一种基于视频图像的行人定位及轨迹跟踪方法 | |
Delmas et al. | Stereo camera visual odometry for moving urban environments | |
Zou et al. | Research on seamless image stitching based on depth map | |
Rathnayake et al. | An efficient approach towards image stitching in aerial images | |
Alturki | Principal point determination for camera calibration | |
Li et al. | Reliable and fast mapping of keypoints on large-size remote sensing images by use of multiresolution and global information | |
Hwang et al. | Real-Time 2D Orthomosaic Mapping from Drone-Captured Images Using Feature-Based Sequential Image Registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |