CN107016646A - 一种基于改进的逼近投影变换图像拼接方法 - Google Patents

一种基于改进的逼近投影变换图像拼接方法 Download PDF

Info

Publication number
CN107016646A
CN107016646A CN201710236732.4A CN201710236732A CN107016646A CN 107016646 A CN107016646 A CN 107016646A CN 201710236732 A CN201710236732 A CN 201710236732A CN 107016646 A CN107016646 A CN 107016646A
Authority
CN
China
Prior art keywords
image
point
matrix
follows
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710236732.4A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Full Image Technology Co Ltd
Original Assignee
Changsha Full Image Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Full Image Technology Co Ltd filed Critical Changsha Full Image Technology Co Ltd
Priority to CN201710236732.4A priority Critical patent/CN107016646A/zh
Publication of CN107016646A publication Critical patent/CN107016646A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于改进的逼近投影变换图像拼接方法，涉及图像处理技术领域。包括S1：图像预处理；S2：图像特征点提取；S3：基于光流金字塔的图像特征点匹配。所述S1图像预处理的方式包括噪声抑制、纹理和对比度的增强以及直方图的归一化，还包括对摄像机的镜头进行标定，根据图像失真的原因建立相应的数学模型，利用标定的参数对被污染或畸变的图像进行校正；所述S2中图像特征点提取采用的是BRISK和/或ORB特征描述子；本发明基于逼近投影变换(APAP)图像拼接方法做出改进，在特征提取步骤前加入预处理步骤、在特征提取步骤中创造性地采用了ORB和/或BRISK的二进制特征描述子、在匹配步骤中创造性地采用了光流金字塔，使图像的拼接省时且配准精确。

Description

一种基于改进的逼近投影变换图像拼接方法
技术领域
本发明属于图像处理技术领域，尤其涉及图像拼接技术领域。
背景技术
图像拼接技术就是将数张有部分重叠的图像拼接成一幅大型的无缝高分辨率图像的技术。使用普通相机获取宽视野的场景图像，因为相机的分辨率一定，拍摄的场景越大，得到的图像分辨率越低；而全景相机、广角镜头等不仅非常昂贵，且失真严重。为了在不降低图像分辨率的条件下获取超宽视野，甚至360度的全景图，出现了利用计算机进行图像拼接方法。
图像拼接技术主要分为三个主要步骤：图像预处理、图像配准以及图像融合，图像预处理主要指图像配准前，将图像进行噪声抑制、纹理和对比度的增强以及直方图的归一化等预处理，使参考图和待配准图不存在明显的差异。图像预处理主要是为图像配准做准备，让图像质量能够满足图像配准的要求，如果图像质量不理想时不经过图像预处理就进行图像配准，很容易造成两幅图像中的一些子区域之间或特征点之间的误匹配。
图像配准主要指基于参考图和待配准图中的图像关键特征或灰度信息，寻找最佳匹配的特征点对或图像子区域对，计算每个特征点对或子区域对间的运动向量，并估计两幅图像之间的全局的线性或非线性的运动变换参数。一般采用最小二乘法估计全局的运动变换参数，而且由于处理时间上的限制，参数估计和特征点匹配都是通过一次迭代完成。
图像融合指在完成图像匹配以后，对图像进行拼接、缝合，并对缝合的边界进行平滑处理，让缝合边界区域自然过渡。
图像拼接的成功与否关键是图像的配准效果。然而，通常的待配准的图像之间，不同目标区域可能存在多种非线性变换，或者存在大面积的无明显特征区域(如均匀纹理区域或同色区域等)，这些情况大大增加了图像配准的难度。
现有技术中，逼近投影变换(APAP)的图像拼接方法大致上分为四步，即特征提取、特征匹配、求H矩阵、图像融合，在特征提取步骤中采用的是SIFT特征描述子，在后期匹配过程中匹配速度慢且配准不准确。
发明内容
本发明为克服上述情况不足，旨在提供一种配准精确且省时的图像拼接方法，可实现图像无缝拼接。
一种基于改进的逼近投影变换图像拼接方法，包括S1：图像预处理；S2：图像特征点提取；S3：基于光流金字塔的图像特征点匹配；S4：基于MDLT算法和RANSAC算法估计投影变换矩阵；S5：计算每块的投影变换矩阵；S6：图像的无缝拼接；
所述S1图像预处理的方式包括噪声抑制、纹理和对比度的增强以及直方图的归一化，还包括对摄像机的镜头进行标定，根据图像失真的原因建立相应的数学模型，利用标定的参数对被污染或畸变的图像进行校正；
所述S2图像特征点提取采用的是BRISK和/或ORB特征描述子。
进一步的，所述BRISK特征描述子的提取过程如下：
第一步：构建尺度空间；
在BRISK算法进行特征点检测过程中，建立的尺度图像金字塔分为n个八度(octave)层与n个内部(intra-octave)层，每两个相邻的八度层之间有一个内部层；第i个八度层用ci表，第i个内部层用di表示，其中i＝{0,1,...,n-1}；ci、di层与原图像的尺度关系用t表示如下：t(ci)＝2i，t(di)＝2i*1.5；
第二步：特征点检测；
在第一步中，n＝4，得到8张图像，对这8张图像进行FAST9-16角点检测；对原图像img进行一次FAST5-8角点检测，当做d(-1)虚拟层，得到9幅有角点信息的图像；
第三步：非极大值抑制；
第四步：特征点位置拟合；
首先，在特征点所在的尺度图像、前一个尺度图像和后一个尺度图像的分值邻域，对FAST得分值进行最小二乘的二维二次函数插值，得到得分极值点及其精确的坐标位置；再对尺度方向进行一维插值，得到极值点所对应的尺度；
第五步：计算特征点的特征描述子；
以特征点为中心，在其周围采样N个点，采样模式是以特征点为中心，构建不同半径的同心圆，然后在每个同心圆中取一定数目的等间隔采样点，得到包括特征点在内的N个采样点；对每个采样点进行了方差为δ的高斯滤波，滤波半径大小与高斯滤波核的标准差成正比，最终用到的N个采样点是经过高斯平滑后的采样点，N的取值范围为50～70；
由于有N个采样点，则采样点两两组合成一对，共有种组合方式，所有组合方式的集合称作采样点对，表示如下：
其中，表示所有采样点对的集合，Pi与Pj表示第i和j个采样点；
设经过高斯滤波以后的两个采样点的灰度值为I(Pi，σi)和I(Pj，σj)，其中σ表示半径，且这两点间的局部梯度g(Pi，Pj)为：
根据两点之间的距离把上述集合分为两个子集：短距离点对子集长距离点对子集
其中，阈值θmax＝9.75t，阈值θmin＝13.67t，t表示该特征点的尺度；
特征点的方向计算公式如下：
其中，l指的是子集的元素数目，gx表示特征点在x方向上的梯度，gy表示特征点在y方向上的梯度，g表示特征点在x与y方向上的梯度；
在计算BRISK特征描述子时，首先把采样区域旋转α＝arctan2(gy，gx)角度，然后再在旋转后的区域中重新采样，得到个采样对，选择其中的短距离点对子集中512个点对，进行如下比较，最后生成描述符，计算公式如下：
其中表示旋转以后得到的采样点，b表示特征描述子中每一位上的值，该值只能是0或者1。
进一步的，所述ORB特征描述子的提取过程如下：
第一步：基于FAST的特征点提取；
对于给定的原图像img，判断图像上某点P是不是特征点的具体过程为：
1)假设该点的灰度值为I(x，y)，以P为圆心画一个半径为3个像素的圆，这个圆的边界上有16个像素；设定一个合适的阙值T,当2个点的灰度值之差的绝对值大于t时，认为这2个点不相同；在圆周上如果有连续m个点和P点不同，m∈9～12，则认为P为特征点；
2)利用Harris角点的度量方法，从FAST特征点中挑选出Harris角点响应值最大的N个角点，其中Harris角点的响应函数定义为：
R＝detM-α(traceM)2
其中，Ix表示图像I在x方向上的偏导数，Iy表示图像I)在y方向上的偏导数，detM为矩阵M的行列式，traceM为矩阵M的迹，α是常量，取值范围为0.04～0.06，R表示Harris角点的响应函数；
3)建立的尺度图像金字塔分为n个八度(octave)层与n个内部(intra-octave)层，每两个相邻的八度层之间有一个内部层；第i个八度层用ci表，第i个内部层用di表示，其中i＝{0,1,...,n-1}；假设有图像img，octave层的产生方法如下：c0层就是img原图像，c1层是c0层的2倍下采样，c2层是c1层的2倍下采样，以此类推；intra-octave层的产生方法如下：d0层是img的1.5倍下采样，d2层是d1层的2倍下采样，d3层是d2层的2倍下采样，以此类推；ci、di层与原图像的尺度关系用t表示如下：
t(ci)＝2i，t(di)＝2i*1.5
4)使用灰度质心法确定3)计算所有特征点的方向，即通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向；对于任意一个特征点P，定义P的邻域像素的矩为：
其中，I(x，y)表示点(x,y)处的灰度值；
该矩的质心C为：
假设角点P的坐标为O，则向量的角度即为该特征点的方向；计算公式如下：
θ＝arctan(m01，m10)
第二步：基于BRIEF的特征点描述；
上述第一步计算出来的特征点中包含了特征点的方向角度；对于第一步计算得到的特征点P，它的BRIEF(Binary Robust Independent Elementary Features)描述子是一个长度为n的二值码串，这个二值串是由特征点周围n个点对(2n个点)生成的，将这2n个点(xi，yi)，i＝1，2，...，2n组成一个矩阵S：
经过旋转角度θ顺时针旋转，得到新的点对：
Sθ＝RθS
其中：
进一步的，所述S3基于光流金字塔的图像特征点匹配的计算过程如下：
第一步：对于参考灰度图像Ig和配准灰度图像Ik分别进行下采样，获得Ig和Ik的图像金字塔，即用一个[0.25 0.5 0.25]的低通滤波器对进行卷积，计算公式如下：
其中，表示参考灰度图像Ig中第L层图像中像素坐标(x,y)处的像素值，根据下采样公式可以得到图像金字塔的第二层图像和对第二层图像和进行下采样，得到图像金字塔的第三层图像和图像金字塔的层数取3到5层；
第二步：计算图像中特征点p[x，y]相对于图像的光流量，计算公式如下：
其中，Ix表示w*w窗口内每个像素点的行方向的导数，Iy表示w*w的窗口内每个像素点的列方向的导数，It表示图像与的时间导数，dn＝[un，vn]表示图像中特征点p[x，y]相对于图像的光流量，其中un为图像金字塔第n层的行方向的光流量，vn为图像金字塔第n层的列方向的光流量，n的取值为4；
第三步：将第n层的光流量dn作为初始光流量传递至光流金字塔的第n-1层，即在图像中像素点q[x，y]上叠加光流量dn，使每一个像素点的坐标变成q[x+2*un，y+2*vn]，然后在图像和叠加了光流量的图像之间，重复上一步计算出图像金字塔第n-1层的光流量dn-1＝[un-1，vn-1]；重复这一过程，直至计算获得图像金字塔第一层，即原图像的光流量d1＝[u1，v1]；
第四步：根据第一层光流量d1＝[u1，v1]和参考灰度图像Ig的特征点p[x，y]坐标，计算配准灰度图像Ik中匹配的特征点坐标(x′，y′),如求得的x′，y′超出了图像的像素范围，即特征点匹配失败，则将特征点q[x′，y′]丢掉，并将对应的特征点p[x，y]从特征点集合D中剔除出去；若求得的x′，y′在图像像素范围内，则将匹配特征点q[x′，y′]存入特征点集D′中，计算方法如下：
x′＝x-u1 y′＝y-v1。
进一步的，所述S4基于MDLT算法和RANSAC算法估计投影变换矩阵的具体步骤如下：
假设两幅待配准图像中有一对匹配点对，参考图像中的点x＝[x y]T与目标图像中的点x′＝[x′ y′]T，x与x′之间的映射关系用单应性矩阵H表示：
其中，表示x的齐次坐标，～表示尽可能相似，H是一个3*3的矩阵，在非齐次坐标中，有如下对应关系：
其中，rj表示H矩阵的第j行，并且此处映射为非线性映射；
假设参考图像与配准图像之间有一系列N个的初始匹配点对则有
其中，h表示将H的向量形式，hi表示单应性矩阵的第i行；
假设表示上面矩阵的前两行，i表示第i个匹配点对{xi，x′i}，给定估计的h值，矩阵H的目标函数为：
其中，||aiH||表示第i个特征点对的几何误差，DLT算法计算的是整幅图像使用一个单应矩阵，所以只适用于旋转角度不大的情况，MDLT算法对DLT算法做了改进，即对图像中的每一个像素x*，采用加权估值计算一个局部依赖的H*进行投影映射：
其中
的值越大表明距离x*越近，的计算公式如下：
其中，σ是尺度因子；
对进行归一化操作，取γ∈[0，1]：
在利用MDLT计算H矩阵前，先使用基于DLT的RANSAC算法去除匹配的外点，假设初始化单应性矩阵H(I，J)′，计算图像I的特征集合D中的特征点p[xi，yi]的中间量q′[x′i，y′i]:
q′[x′i，y′i]＝H(I，J)′ -1*p[xi，yi]
若计算得到的中间向量q′[x′i，y′i]满足下面公式，则将该特征点对保留在特征集S中；否则将该特征点对放入余集C中，最终计算出保留在集S中匹配点对的数量NUM；
|q[x′i，y′i]-q′[x′i，y′i]|≤0.1
若NUM≥M，则结束RANSAC算法，并将当前初始单应性矩阵H(I，J)′作为最优单应性矩阵H，其中M为特征点对集S的样本个数阈值；
若NUM＜M，则进一步判断RANSAC算法的循环次数是否在预先设定的阈值内，若RANSAC算法的循环次数在阈值内，则重复以上过程求得新的初始单应性矩阵H(I，J)′；若RANSAC算法的循环次数超出设定的阈值，则结束RANSAC算法，并将当前初始单应性矩阵H(I，J)′作为最优单应性矩阵H。
进一步的，所述S5计算每块的投影变换矩阵的具体方法如下：
第一步：将原图像均匀的分割成C1×C2个单元，并且将每个单元的中心像素作为x*，那么同一单元中的所有像素使用同一个单应性矩阵；
第二步：利用MDLT计算每个单元的矩阵，令权值矩阵Wγ＝γI，假设V的列表示WγA的右奇异值分解；特征值分解计算过程如下：
矩阵与Wγ矩阵相同，除了对角线上的Wi不为γ的地方，则：
其中，ri表示A矩阵的第i行，用上述特征方程对角化上面公式中间的矩阵得到
进一步的，所述图像的无缝拼接的融合公式如下：
m1(x，y)、m2(x，y)分别为前帧参考图像和后帧待拼接图像的像素灰度值，m(x，y)为融合后的像素灰度值，k1、k2为权值，且满足k1+k2＝1；
进一步的，所述k1和k2的权值如下所示：
本发明基于逼近投影变换(APAP)的图像拼接方法做出改进，在特征提取步骤前加入预处理步骤、在特征提取步骤中创造性地采用了ORB和/或BRISK的二进制特征描述子、在匹配步骤中创造性地采用了光流金字塔，使图像拼接省时且配准精确。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于改进的逼近投影变换图像拼接方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一种逼近投影变换的图像拼接方法包括以下步骤：
S1：图像预处理。
在本发明实施例中，将摄像机采集到的多张具有部分重叠区域的原始图像进行噪声抑制、纹理和对比度的增强以及直方图的归一化等预处理，从而使待拼接的图像不存在明显的差异。
另外，当摄像机的镜头或者摄影装置没有正对待拍摄的景物，或者摄影机是广角镜头与鱼眼镜头，那么拍摄到的景物图像就会产生较严重的畸变，原本在两幅图像中相同的物体会因为畸变而变得不匹配，这会给图像的配准带来很大的问题。本发明实施例中通过对摄像机的镜头进行标定，根据图像失真的原因，建立相应的数学模型，从而利用标定的参数对被污染或畸变的图像进行校正。
S2：图像特征点提取。
对S1预处理之后的多张待拼接图像进行特征点提取，本发明实施例中对多张待拼接的图像提取两种二进制特征描述子，分别是BRISK(Binary Robust Invariant ScalableKeypoints)和ORB(Oriented FAST and Rotated BRIEF)特征描述子。
BRISK特征描述子是一种二进制的特征描述子，具有较好的旋转不变性、尺度不变性以及较好的鲁棒性，在对有较大模糊的图像配准时配准效果好。第一步：构建尺度空间。
在BRISK算法进行特征点检测过程中，建立的尺度图像金字塔分为n个八度(octave)层与n个内部(intra-octave)层，每两个相邻的八度层之间有一个内部层；第i个八度层用ci表，第i个内部层用di表示，其中i＝{0,1,...,n-1}。假设有图像img，octave层的产生方法如下：c0层就是img原图像，c1层是c0层的2倍下采样，c2层是c1层的2倍下采样，以此类推。intra-octave层的产生方法如下：d0层是img的1.5倍下采样，d2层是d1层的2倍下采样，d3层是d2层的2倍下采样，以此类推。ci、di层与原图像的尺度关系用t表示如下：
t(ci)＝2i，t(di)＝2i*1.5
第二步：特征点检测。
在第一步中，由于n＝4，所以一共可以得到8张图像，对这8张图像进行FAST9-16角点检测，即在一个像素点的周围16个像素点中如果有连续9个或9个以上的像素点的灰度值大于该像素点的灰度值加一个阈值或者都小于该像素点的灰度值减一个阈值，则认为该像素点是一个特征点。对原图像img进行一次FAST5-8角点检测，当做d(-1)虚拟层，那么总共得到9幅有角点信息的图像。
第三步：非极大值抑制。
在第二步得到的各个尺度下的特征点，需要对检测到的各层特征点进行非极大值抑制，即该特征点的FAST的分值要比它所在层的8个领域像素点的FAST的得分值要大，而且要比该尺度图像的上一层和下一层对应区域的像素点的FAST的得分值要大，否则不能当做特征点。
第四步：特征点位置拟合。
通过上面步骤，我们得到的特征点的尺度并不是连续的，而且特征点的位置也是根据像素点的行列值计算出来的，也不是连续的，因此需要进行拟合。首先，在特征点所在的尺度图像、前一个尺度图像和后一个尺度图像的分值邻域，对FAST得分值进行最小二乘的二维二次函数插值(x，y方向)，得到真正意义上的得分极值点及其精确的坐标位置(作为特征点位置)；再对尺度方向进行一维插值，得到极值点所对应的尺度(作为特征点尺度)。
第五步：计算特征点的特征描述子。
以特征点为中心，在其周围采样N个点(包括特征点)，采样模式是以特征点为中心，构建不同半径的同心圆，然后在每个同心圆中取一定数目的等间隔采样点，得到包括特征点在内的N个采样点。由于这种采样模式会产生混叠效应，因此对每个采样点进行了方差为δ的高斯滤波，滤波半径大小与高斯滤波核的标准差成正比，最终用到的N个采样点是经过高斯平滑后的采样点，本发明中N的取值范围为50～70。
由于有N个采样点，则采样点两两组合成一对，共有种组合方式，所有组合方式的集合称作采样点对，表示如下：
其中，表示所有采样点对的集合，Pi与Pj表示第i和j个采样点。
设经过高斯滤波以后的两个采样点的灰度值为I(Pi，σi)和I(Pj，σj)，其中σ表示半径，且这两点间的局部梯度g(Pi，Pj)为：
根据两点之间的距离把上述集合分为两个子集：短距离点对子集长距离点对子集
其中，阈值θmax＝9.75t，阈值θmin＝13.67t，t表示该特征点的尺度。
特征点的方向计算公式如下：
其中，l指的是子集的元素数目，gx表示特征点在x方向上的梯度，gy表示特征点在y方向上的梯度，g表示特征点在x与y方向上的梯度
BRISK特征描述子具有较好的旋转不变性，因此在计算BRISK特征描述子时，首先把采样区域旋转α＝arctan2(gy，gx)角度，然后再在旋转后的区域中重新采样，得到个采样对，选择其中的短距离点对子集中512个点对，进行如下比较，最后生成描述符，计算公式如下：
其中表示旋转以后得到的采样点，b表示特征描述子中每一位上的值，该值只能是0或者1
ORB特征描述子是一种二进制的特征描述子，具有旋转不变性、尺寸不变性和对噪声的鲁棒性，对图像的配准效果好，特征点的匹配速度比SIFT特征描述子至少快100倍。ORB特征描述子的计算过程如下：
第一步：基于FAST的特征点提取。
对于给定的原图像img，判断图像上某点P是不是特征点的具体过程为：
1)假设该点的灰度值为I(x，y)，以P为圆心画一个半径为3个像素的圆，这个圆的边界上有16个像素；设定一个合适的阙值T,当2个点的灰度值之差的绝对值大于t时，认为这2个点不相同；在圆周上如果有连续m个点和P点不同，m∈9～12，则认为P为特征点。
2)利用Harris角点的度量方法，从FAST特征点中挑选出Harris角点响应值最大的N个角点，其中Harris角点的响应函数定义为：
R＝detM-α(traceM)2
其中，Ix表示图像I在x方向上的偏导数，Iy表示图像I)在y方向上的偏导数，detM为矩阵M的行列式，traceM为矩阵M的迹，α是常量，取值范围为0.04～0.06，R表示Harris角点的响应函数。
3)建立的尺度图像金字塔分为n个八度(octave)层与n个内部(intra-octave)层，每两个相邻的八度层之间有一个内部层；第i个八度层用ci表，第i个内部层用di表示，其中i＝{0,1,...,n-1}。假设有图像img，octave层的产生方法如下：c0层就是img原图像，c1层是c0层的2倍下采样，c2层是c1层的2倍下采样，以此类推。intra-octave层的产生方法如下：d0层是img的1.5倍下采样，d2层是d1层的2倍下采样，d3层是d2层的2倍下采样，以此类推。ci、di层与原图像的尺度关系用t表示如下：
t(ci)＝2i，t(di)＝2i*1.5
4)使用灰度质心法确定3)计算所有特征点的方向，即通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向。对于任意一个特征点P，定义P的邻域像素的矩为：
其中，I(x，y)表示点(x,y)处的灰度值。
该矩的质心C为：
假设角点P的坐标为O，则向量的角度即为该特征点的方向。计算公式如下：
θ＝arctan(m01，m10)
第二步：基于BRIEF的特征点描述。
上述第一步计算出来的特征点中包含了特征点的方向角度。对于第一步计算得到的特征点P，它的BRIEF(Binary Robust Independent Elementary Features)描述子是一个长度为n的二值码串，这个二值串是由特征点周围n个点对(2n个点)生成的，将这2n个点(xi，yi)，i＝1，2，...，2n组成一个矩阵S：
经过旋转角度θ顺时针旋转，得到新的点对：
Sθ＝RθS
其中：
S3：基于光流金字塔的图像特征点匹配。
根据步骤S2提取的待拼接图像的ORB与BRISK特征描述子，利用光流金字塔算法计算光流，完成待拼接图像之间特征点的匹配，计算过程如下：
第一：对于参考灰度图像Ig和配准灰度图像Ik分别进行下采样，获得Ig和Ik的图像金字塔，即用一个[0.25 0.5 0.25]的低通滤波器对进行卷积，计算公式如下：
其中，表示参考灰度图像Ig中第L层图像中像素坐标(x,y)处的像素值，根据下采样公式可以得到图像金字塔的第二层图像和对第二层图像和进行下采样，得到图像金字塔的第三层图像和图像金字塔的层数取3到5层。
第二：计算图像中特征点p[x，y]相对于图像的光流量，计算公式如下：
其中，Ix表示w*w窗口内每个像素点的行方向的导数，Iy表示w*w的窗口内每个像素点的列方向的导数，It表示图像与的时间导数，dn＝[un，vn]表示图像中特征点p[x，y]相对于图像的光流量，其中un为图像金字塔第n层的行方向的光流量，vn为图像金字塔第n层的列方向的光流量，n的取值为4；
第三：将第n层的光流量dn作为初始光流量传递至光流金字塔的第n-1层，即在图像中像素点q[x，y]上叠加光流量dn，使每一个像素点的坐标变成q[x+2*un，y+2*vn]，然后在图像和叠加了光流量的图像之间，重复上一步计算出图像金字塔第n-1层的光流量dn-1＝[un-1，vn-1]。重复这一过程，直至计算获得图像金字塔第一层，即原图像的光流量d1＝[u1，v1]。
第四步：根据第一层光流量d1＝[u1，v1]和参考灰度图像Ig的特征点p[x，y]坐标，计算配准灰度图像Ik中匹配的特征点坐标(x′，y′),如求得的x′，y′超出了图像的像素范围，即特征点匹配失败，则将特征点q[x′，y′]丢掉，并将对应的特征点p[x，y]从特征点集合D中剔除出去；若求得的x′，y′在图像像素范围内，则将匹配特征点q[x′，y′]存入特征点集D′中，计算方法如下：
x′＝x-u1 y′＝y-v1
S4：基于MDLT算法和RANSAC算法估计投影变换矩阵。
利用MDLT(Moving Direct Linear Transformation)算法计算投影变换矩阵，可以有效的避免两幅图像重合部分的重影现象，降低了对准误差，在几何上看起来更加逼近真实，畸变更小。
假设两幅待配准图像中有一对匹配点对，参考图像中的点x＝[x y]T与目标图像中的点x′＝[x′ y′]T，x与x′之间的映射关系用单应性矩阵H表示：
其中，表示x的齐次坐标，～表示尽可能相似，H是一个3*3的矩阵，在非齐次坐标中，有如下对应关系：
其中，rj表示H矩阵的第j行，并且此处映射为非线性映射。DLT算法就是计算单应性矩阵H的一种基础算法，假设参考图像与配准图像之间有一系列N个的初始匹配点对则有
其中，h表示将H的向量形式，hi表示单应性矩阵的第i行。
假设表示上面矩阵的前两行，i表示第i个匹配点对{xi，x′i}，给定估计的h值，矩阵H的目标函数为：
其中，||aiH||表示第i个特征点对的几何误差，DLT算法计算的是整幅图像使用一个单应矩阵，所以只适用于旋转角度不大的情况，MDLT算法对DLT算法做了改进，即对图像中的每一个像素x*，采用加权估值计算一个局部依赖的H*进行投影映射：
其中
的值越大表明距离x*越近，的计算公式如下：
其中，σ是尺度因子。当第i个匹配点xi与像素x*距离近时，权值越大，因此H*更好的表示了局部的投影特性，此外，由于x*在图像中是连续变化的，H*也是连续变化的。与图像中每个像素x*距离第i个匹配点xi之间的几何距离正相关，为了避免过于接近0导致误差，对进行归一化操作，取γ∈[0，1]：
在利用MDLT计算H矩阵前，先使用基于DLT的RANSAC算法去除匹配的外点，假设初始化单应性矩阵H(I，J)′，计算图像I的特征集合D中的特征点p[xi，yi]的中间量q′[xi′，yi′]:
q′[x′i，y′i]＝H(I，J)′ -1*p[xi，yi]
若计算得到的中间向量q′[xi′，yi′]满足下面公式，则将该特征点对保留在特征集S中；否则将该特征点对放入余集C中，最终计算出保留在集S中匹配点对的数量NUM。
|q[x′i，y′i]-q′[x′i，y′i]|≤0.1
若NUM≥M，则结束RANSAC算法，并将当前初始单应性矩阵H(I，J)′作为最优单应性矩阵H，其中M为特征点对集S的样本个数阈值。
若NUM＜M，则进一步判断RANSAC算法的循环次数是否在预先设定的阈值内，若RANSAC算法的循环次数在阈值内，则重复以上过程求得新的初始单应性矩阵H(I，J)′；若RANSAC算法的循环次数超出设定的阈值，则结束RANSAC算法，并将当前初始单应性矩阵H(I，J)′作为最优单应性矩阵H。
S5：计算每块的投影变换矩阵。
利用步骤S4计算每个像素x*的投影变换矩阵H用非常复杂的，在本发明中采用分块的方式计算每一块的单应性矩阵，具体方法如下：
第一步：将原图像均匀的分割成C1×C2个单元，并且将每个单元的中心像素作为x*，那么同一单元中的所有像素使用同一个单应性矩阵。
第二步：利用MDLT计算每个单元的矩阵，令权值矩阵Wγ＝γI，假设V的列表示WγA的右奇异值分解。特征值分解计算过程如下：
矩阵与Wγ矩阵相同，除了对角线上的Wi不为γ的地方，则：
其中，ri表示A矩阵的第i行，用上述特征方程对角化上面公式中间的矩阵得到
由于是奇异值分解右侧的矩阵，即h的估计值，用此对每个单元做单应矩阵的变换，得到配准的图像。
S6：图像的无缝拼接。
步骤S5得到配准后的两幅待拼接图像，假设m1(x，y)、m2(x，y)分别为前帧参考图像和后帧待拼接图像的像素灰度值，m(x，y)为融合后的像素灰度值，融合公式如下：
其中，k1、k2为权值，且满足k1+k2＝1。为了使图像的重叠区域更好地平滑过渡，本发明改进了k1、k2的权值，如下所示：
按照重叠区域内像素与参考图像的像素距离及重叠区域内像素与待拼接图像的像素距离关系，采用比例归一化的方式进行像素值分配，从而实现图像重叠区域像素值的平滑过渡，从而完成图像的无缝拼接。
本发明基于逼近投影变换(APAP)的图像拼接方法做出改进，在特征提取步骤前加入预处理步骤、在特征提取步骤中创造性地采用了ORB和/或BRISK的二进制特征描述子、在匹配步骤中创造性地采用了光流金字塔，使图像拼接省时且配准精确。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种基于改进的逼近投影变换图像拼接方法，其特征在于，包括S1：图像预处理；S2：图像特征点提取；S3：基于光流金字塔的图像特征点匹配；S4：基于MDLT算法和RANSAC算法估计投影变换矩阵；S5：计算每块的投影变换矩阵；S6：图像的无缝拼接；
所述S1图像预处理的方式包括噪声抑制、纹理和对比度的增强以及直方图的归一化，还包括对摄像机的镜头进行标定，根据图像失真的原因建立相应的数学模型，利用标定的参数对被污染或畸变的图像进行校正；
所述S2图像特征点提取采用的是BRISK和/或ORB特征描述子。
2.根据权利要求1所述的基于改进的逼近投影变换图像拼接方法，其特征在于，所述BRISK特征描述子的提取过程如下：
第一步：构建尺度空间；
在BRISK算法进行特征点检测过程中，建立的尺度图像金字塔分为n个八度(octave)层与n个内部(intra-octave)层，每两个相邻的八度层之间有一个内部层；第i个八度层用ci表，第i个内部层用di表示，其中i＝{0,1,...,n-1}；ci、di层与原图像的尺度关系用t表示如下：t(ci)＝2i，t(di)＝2i*1.5；
第二步：特征点检测；
在第一步中，n＝4，得到8张图像，对这8张图像进行FAST9-16角点检测；对原图像img进行一次FAST5-8角点检测，当做d(-1)虚拟层，得到9幅有角点信息的图像；
第三步：非极大值抑制；
第四步：特征点位置拟合；
首先，在特征点所在的尺度图像、前一个尺度图像和后一个尺度图像的分值邻域，对FAST得分值进行最小二乘的二维二次函数插值，得到得分极值点及其精确的坐标位置；再对尺度方向进行一维插值，得到极值点所对应的尺度；
第五步：计算特征点的特征描述子；
以特征点为中心，在其周围采样N个点，采样模式是以特征点为中心，构建不同半径的同心圆，然后在每个同心圆中取一定数目的等间隔采样点，得到包括特征点在内的N个采样点；对每个采样点进行了方差为δ的高斯滤波，滤波半径大小与高斯滤波核的标准差成正比，最终用到的N个采样点是经过高斯平滑后的采样点，N的取值范围为50～70；
由于有N个采样点，则采样点两两组合成一对，共有种组合方式，所有组合方式的集合称作采样点对，表示如下：
其中，表示所有采样点对的集合，Pi与Pj表示第i和j个采样点；
设经过高斯滤波以后的两个采样点的灰度值为I(Pi，σi)和I(Pj，σj)，其中σ表示半径，且这两点间的局部梯度g(Pi，Pj)为：
根据两点之间的距离把上述集合分为两个子集：短距离点对子集长距离点对子集
其中，阈值θmax＝9.75t，阈值θmin＝13.67t，t表示该特征点的尺度；
特征点的方向计算公式如下：
其中，l指的是子集的元素数目，gx表示特征点在x方向上的梯度，gy表示特征点在y方向上的梯度，g表示特征点在x与y方向上的梯度；
在计算BRISK特征描述子时，首先把采样区域旋转α＝arctan2(gy，gx)角度，然后再在旋转后的区域中重新采样，得到个采样对，选择其中的短距离点对子集中512个点对，进行如下比较，最后生成描述符，计算公式如下：
其中表示旋转以后得到的采样点，b表示特征描述子中每一位上的值，该值只能是0或者1。
3.根据权利要求1所述的基于改进的逼近投影变换图像拼接方法，其特征在于，所述ORB特征描述子的提取过程如下：
第一步：基于FAST的特征点提取；
对于给定的原图像img，判断图像上某点P是不是特征点的具体过程为：
1)假设该点的灰度值为I(x，y)，以P为圆心画一个半径为3个像素的圆，这个圆的边界上有16个像素；设定一个合适的阙值T,当2个点的灰度值之差的绝对值大于t时，认为这2个点不相同；在圆周上如果有连续m个点和P点不同，m∈9～12，则认为P为特征点；
2)利用Harris角点的度量方法，从FAST特征点中挑选出Harris角点响应值最大的N个角点，其中Harris角点的响应函数定义为：
R＝detM-α(traceM)2
其中，Ix表示图像I在x方向上的偏导数，Iy表示图像I)在y方向上的偏导数，detM为矩阵M的行列式，traceM为矩阵M的迹，α是常量，取值范围为0.04～0.06，R表示Harris角点的响应函数；
3)建立的尺度图像金字塔分为n个八度(octave)层与n个内部(intra-octave)层，每两个相邻的八度层之间有一个内部层；第i个八度层用ci表，第i个内部层用di表示，其中i＝{0,1,...,n-1}；假设有图像img，octave层的产生方法如下：c0层就是img原图像，c1层是c0层的2倍下采样，c2层是c1层的2倍下采样，以此类推；intra-octave层的产生方法如下：d0层是img的1.5倍下采样，d2层是d1层的2倍下采样，d3层是d2层的2倍下采样，以此类推；ci、di层与原图像的尺度关系用t表示如下：
t(ci)＝2i，t(di)＝2i*1.5
4)使用灰度质心法确定3)计算所有特征点的方向，即通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向；对于任意一个特征点P，定义P的邻域像素的矩为：
其中，I(x，y)表示点(x,y)处的灰度值；
该矩的质心C为：
假设角点P的坐标为O，则向量的角度即为该特征点的方向；计算公式如下：
θ＝arctan(m01，m10)；
第二步：基于BRIEF的特征点描述；
上述第一步计算出来的特征点中包含了特征点的方向角度；对于第一步计算得到的特征点P，它的BRIEF(Binary Robust Independent Elementary Features)描述子是一个长度为n的二值码串，这个二值串是由特征点周围n个点对(2n个点)生成的，将这2n个点(xi，yi)，i＝1，2，...，2n组成一个矩阵S：
经过旋转角度θ顺时针旋转，得到新的点对：
Sθ＝RθS
其中：
4.根据权利要求1所述的基于改进的逼近投影变换图像拼接方法，其特征在于，所述S3基于光流金字塔的图像特征点匹配的计算过程如下：
第一步：对于参考灰度图像Ig和配准灰度图像Ik分别进行下采样，获得Ig和Ik的图像金字塔，即用一个[0.25 0.5 0.25]的低通滤波器对进行卷积，计算公式如下：
其中，IL g(x，y)表示参考灰度图像Ig中第L层图像中像素坐标(x,y)处的像素值，根据下采样公式可以得到图像金字塔的第二层图像和对第二层图像和进行下采样，得到图像金字塔的第三层图像和图像金字塔的层数取3到5层；
第二步：计算图像中特征点p[x，y]相对于图像的光流量，计算公式如下：
其中，Ix表示w*w窗口内每个像素点的行方向的导数，Iy表示w*w的窗口内每个像素点的列方向的导数，It表示图像与的时间导数，dn＝[un，vn]表示图像中特征点p[x，y]相对于图像的光流量，其中un为图像金字塔第n层的行方向的光流量，vn为图像金字塔第n层的列方向的光流量，n的取值为4；
第三步：将第n层的光流量dn作为初始光流量传递至光流金字塔的第n-1层，即在图像中像素点q[x，y]上叠加光流量dn，使每一个像素点的坐标变成q[x+2*un，y+2*vn]，然后在图像和叠加了光流量的图像之间，重复上一步计算出图像金字塔第n-1层的光流量dn-1＝[un-1，vn-1]；重复这一过程，直至计算获得图像金字塔第一层，即原图像的光流量d1＝[u1，v1]；
第四步：根据第一层光流量d1＝[u1，v1]和参考灰度图像Ig的特征点p[x，y]坐标，计算配准灰度图像Ik中匹配的特征点坐标(x′，y′),如求得的x′，y′超出了图像的像素范围，即特征点匹配失败，则将特征点q[x′，y′]丢掉，并将对应的特征点p[x，y]从特征点集合D中剔除出去；若求得的x′，y′在图像像素范围内，则将匹配特征点q[x′，y′]存入特征点集D′中，计算方法如下：
x′＝x-u1 y′＝y-v1。
5.根据权利要求1所述的基于改进的逼近投影变换图像拼接方法，其特征在于，所述S4基于MDLT算法和RANSAC算法估计投影变换矩阵的具体步骤如下：
假设两幅待配准图像中有一对匹配点对，参考图像中的点x＝[x y]T与目标图像中的点x′＝[x′ y′]T，x与x′之间的映射关系用单应性矩阵H表示：
其中，表示x的齐次坐标，～表示尽可能相似，H是一个3*3的矩阵，在非齐次坐标中，有如下对应关系：
其中，rj表示H矩阵的第j行，并且此处映射为非线性映射；
假设参考图像与配准图像之间有一系列N个的初始匹配点对则有
其中，h表示将H的向量形式，hi表示单应性矩阵的第i行；
假设表示上面矩阵的前两行，i表示第i个匹配点对{xi，x′i}，给定估计的h值，矩阵H的目标函数为：
其中，||aiH||表示第i个特征点对的几何误差，DLT算法计算的是整幅图像使用一个单应矩阵，所以只适用于旋转角度不大的情况，MDLT算法对DLT算法做了改进，即对图像中的每一个像素x*，采用加权估值计算一个局部依赖的H*进行投影映射：
其中
的值越大表明距离x*越近，的计算公式如下：
其中，σ是尺度因子；
对进行归一化操作，取γ∈[0，1]：
在利用MDLT计算H矩阵前，先使用基于DLT的RANSAC算法去除匹配的外点，假设初始化单应性矩阵H(I，J)′，计算图像I的特征集合D中的特征点p[xi，yi]的中间量q′[xi′，yi′]:
q′[x′i，y′i]＝H(I，J)′ -1*p[xi，yi]
若计算得到的中间向量q′[xi′，yi′]满足下面公式，则将该特征点对保留在特征集S中；否则将该特征点对放入余集C中，最终计算出保留在集S中匹配点对的数量NUM；
|q[x′i，y′i]-q′[x′i，y′i]|≤0.1
若NUM≥M，则结束RANSAC算法，并将当前初始单应性矩阵H(I，J)′作为最优单应性矩阵H，其中M为特征点对集S的样本个数阈值；
若NUM＜M，则进一步判断RANSAC算法的循环次数是否在预先设定的阈值内，若RANSAC算法的循环次数在阈值内，则重复以上过程求得新的初始单应性矩阵H(I，J)′；若RANSAC算法的循环次数超出设定的阈值，则结束RANSAC算法，并将当前初始单应性矩阵H(I，J)′作为最优单应性矩阵H。
6.根据权利要求5所述的基于改进的逼近投影变换图像拼接方法，其特征在于，所述S5计算每块的投影变换矩阵的具体方法如下：
第一步：将原图像均匀的分割成C1×C2个单元，并且将每个单元的中心像素作为x*，那么同一单元中的所有像素使用同一个单应性矩阵；
第二步：利用MDLT计算每个单元的矩阵，令权值矩阵Wγ＝γI，假设V的列表示Wγ A的右奇异值分解；特征值分解计算过程如下：
矩阵与Wγ矩阵相同，除了对角线上的Wi不为γ的地方，则：
其中，ri表示A矩阵的第i行，i用上述特征方程对角化上面公式中间的矩阵得到
7.根据权利要求6所述的基于改进的逼近投影变换图像拼接方法，其特征在于，所述S6图像的无缝拼接的融合公式如下：
m1(x，y)、m2(x，y)分别为前帧参考图像和后帧待拼接图像的像素灰度值，m(x，y)为融合后的像素灰度值，k1、k2为权值，且满足k1+k2＝1。
8.根据权利要求7所述的基于改进的逼近投影变换图像拼接方法，其特征在于，所述k1和k2的权值如下所示：
CN201710236732.4A 2017-04-12 2017-04-12 一种基于改进的逼近投影变换图像拼接方法 Pending CN107016646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710236732.4A CN107016646A (zh) 2017-04-12 2017-04-12 一种基于改进的逼近投影变换图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710236732.4A CN107016646A (zh) 2017-04-12 2017-04-12 一种基于改进的逼近投影变换图像拼接方法

Publications (1)

Publication Number Publication Date
CN107016646A true CN107016646A (zh) 2017-08-04

Family

ID=59446146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710236732.4A Pending CN107016646A (zh) 2017-04-12 2017-04-12 一种基于改进的逼近投影变换图像拼接方法

Country Status (1)

Country Link
CN (1) CN107016646A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133226A (zh) * 2017-11-27 2018-06-08 西北工业大学 一种基于harris改进的三维点云特征提取方法
CN108364320A (zh) * 2018-03-29 2018-08-03 深圳市自行科技有限公司 摄像头标定方法、终端设备及计算机可读存储介质
CN108805812A (zh) * 2018-06-04 2018-11-13 东北林业大学 用于图像拼接的多尺度不变orb算法
CN108921787A (zh) * 2018-06-11 2018-11-30 东北电力大学 基于红外视频的光伏组件图像拼接方法
CN109448033A (zh) * 2018-10-14 2019-03-08 哈尔滨理工大学 一种基于brisk算法的图像配准方法
CN109712071A (zh) * 2018-12-14 2019-05-03 电子科技大学 基于航迹约束的无人机图像拼接与定位方法
CN110084743A (zh) * 2019-01-25 2019-08-02 电子科技大学 基于多航带起始航迹约束的图像拼接与定位方法
CN110147708A (zh) * 2018-10-30 2019-08-20 腾讯科技（深圳）有限公司 一种图像数据处理方法和相关装置
CN111238404A (zh) * 2020-02-26 2020-06-05 江苏集萃华科智能装备科技有限公司 一种二值码相移周期码错位的校正方法
CN111353933A (zh) * 2018-12-20 2020-06-30 重庆金山医疗器械有限公司 一种图像拼接融合方法及***
CN112215192A (zh) * 2020-10-22 2021-01-12 常州大学 一种基于机器视觉技术的快速录入试卷成绩的试卷及方法
CN112614167A (zh) * 2020-12-17 2021-04-06 西南石油大学 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法
CN112649985A (zh) * 2020-12-25 2021-04-13 武汉华星光电技术有限公司 一种显示面板及显示装置
CN114519671A (zh) * 2022-02-16 2022-05-20 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN117409071A (zh) * 2023-12-12 2024-01-16 知行汽车科技(苏州)股份有限公司 单目vslam的空间尺度恢复方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034250A (zh) * 2010-11-26 2011-04-27 西安电子科技大学 基于边缘结构信息的分块压缩感知重构方法
CN104503721A (zh) * 2014-12-22 2015-04-08 重庆文理学院 一种基于拟合逼近算法的融合带数学模型
CN104751465A (zh) * 2015-03-31 2015-07-01 中国科学技术大学 一种基于lk光流约束的orb图像特征配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034250A (zh) * 2010-11-26 2011-04-27 西安电子科技大学 基于边缘结构信息的分块压缩感知重构方法
CN104503721A (zh) * 2014-12-22 2015-04-08 重庆文理学院 一种基于拟合逼近算法的融合带数学模型
CN104751465A (zh) * 2015-03-31 2015-07-01 中国科学技术大学 一种基于lk光流约束的orb图像特征配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ETHAN RUBLEE等: "ORB: an efficient alternative to SIFT or SURF", 《2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
JULIO ZARAGOZA等: "As-Projective-As-Possible Image Stitching with Moving DLT", 《 2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
杜军等: "基于ＢＲＩＳＫ特征的图像配准提取与描述研究", 《十堰职业技术学院学报》 *
江志军等: "一种基于图像金字塔光流的特征跟踪方法", 《武汉大学学报信息科学版》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133226B (zh) * 2017-11-27 2021-07-13 西北工业大学 一种基于harris改进的三维点云特征提取方法
CN108133226A (zh) * 2017-11-27 2018-06-08 西北工业大学 一种基于harris改进的三维点云特征提取方法
CN108364320A (zh) * 2018-03-29 2018-08-03 深圳市自行科技有限公司 摄像头标定方法、终端设备及计算机可读存储介质
CN108364320B (zh) * 2018-03-29 2021-12-21 深圳市自行科技有限公司 摄像头标定方法、终端设备及计算机可读存储介质
CN108805812A (zh) * 2018-06-04 2018-11-13 东北林业大学 用于图像拼接的多尺度不变orb算法
CN108921787A (zh) * 2018-06-11 2018-11-30 东北电力大学 基于红外视频的光伏组件图像拼接方法
CN109448033A (zh) * 2018-10-14 2019-03-08 哈尔滨理工大学 一种基于brisk算法的图像配准方法
CN110147708A (zh) * 2018-10-30 2019-08-20 腾讯科技（深圳）有限公司 一种图像数据处理方法和相关装置
CN110147708B (zh) * 2018-10-30 2023-03-31 腾讯科技（深圳）有限公司 一种图像数据处理方法和相关装置
CN109712071A (zh) * 2018-12-14 2019-05-03 电子科技大学 基于航迹约束的无人机图像拼接与定位方法
CN109712071B (zh) * 2018-12-14 2022-11-29 电子科技大学 基于航迹约束的无人机图像拼接与定位方法
CN111353933A (zh) * 2018-12-20 2020-06-30 重庆金山医疗器械有限公司 一种图像拼接融合方法及***
CN110084743A (zh) * 2019-01-25 2019-08-02 电子科技大学 基于多航带起始航迹约束的图像拼接与定位方法
CN110084743B (zh) * 2019-01-25 2023-04-14 电子科技大学 基于多航带起始航迹约束的图像拼接与定位方法
CN111238404B (zh) * 2020-02-26 2021-04-20 江苏集萃华科智能装备科技有限公司 一种二值码相移周期码错位的校正方法
CN111238404A (zh) * 2020-02-26 2020-06-05 江苏集萃华科智能装备科技有限公司 一种二值码相移周期码错位的校正方法
CN112215192A (zh) * 2020-10-22 2021-01-12 常州大学 一种基于机器视觉技术的快速录入试卷成绩的试卷及方法
CN112215192B (zh) * 2020-10-22 2024-01-23 常州大学 一种基于机器视觉技术的快速录入试卷成绩的方法
CN112614167A (zh) * 2020-12-17 2021-04-06 西南石油大学 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法
CN112649985A (zh) * 2020-12-25 2021-04-13 武汉华星光电技术有限公司 一种显示面板及显示装置
CN112649985B (zh) * 2020-12-25 2022-02-22 武汉华星光电技术有限公司 一种显示面板及显示装置
CN114519671A (zh) * 2022-02-16 2022-05-20 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN117409071A (zh) * 2023-12-12 2024-01-16 知行汽车科技(苏州)股份有限公司 单目vslam的空间尺度恢复方法、装置、设备及介质
CN117409071B (zh) * 2023-12-12 2024-03-01 知行汽车科技(苏州)股份有限公司 单目vslam的空间尺度恢复方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN107016646A (zh) 一种基于改进的逼近投影变换图像拼接方法
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN105245841B (zh) 一种基于cuda的全景视频监控***
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其***
CN107481315A (zh) 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN106960442A (zh) 基于单目红外的夜间机器人视觉大视场三维构建方法
CN105809640B (zh) 基于多传感器融合的低照度视频图像增强方法
CN109829853A (zh) 一种无人机航拍图像拼接方法
CN107833181A (zh) 一种基于变焦立体视觉的三维全景图像生成方法及***
CN112184604B (zh) 一种基于图像融合的彩色图像增强方法
CN107784632A (zh) 一种基于红外热成像***的红外全景图的生成方法
CN103902953B (zh) 一种屏幕检测***及方法
Li et al. RIFT: Multi-modal image matching based on radiation-invariant feature transform
CN111462198B (zh) 一种尺度、旋转和辐射不变性的多模态影像配准方法
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及***
CN109087245A (zh) 基于相邻关系模型的无人机遥感图像拼接***
CN107154017A (zh) 一种基于sift特征点匹配的图像拼接方法
CN112163995A (zh) 一种超大航拍条带图像的拼接生成方法及装置
CN114066954A (zh) 一种用于多模态图像的特征提取配准方法
CN104700359A (zh) 像平面不同极轴方向图像序列进行超分辨率重建的方法
CN111047513A (zh) 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置
CN115035281B (zh) 一种快速的红外全景图像拼接方法
CN111126508A (zh) 一种基于hopc改进的异源图像匹配方法
CN109993782A (zh) 一种环形生成对抗网络的异源遥感图像配准方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170804

RJ01 Rejection of invention patent application after publication