CN105957018B - 一种无人机影像滤波分频拼接方法 - Google Patents
一种无人机影像滤波分频拼接方法 Download PDFInfo
- Publication number
- CN105957018B CN105957018B CN201610556890.3A CN201610556890A CN105957018B CN 105957018 B CN105957018 B CN 105957018B CN 201610556890 A CN201610556890 A CN 201610556890A CN 105957018 B CN105957018 B CN 105957018B
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- image
- splicing
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000000203 mixture Substances 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000009825 accumulation Methods 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000006073 displacement reaction Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 7
- 230000001788 irregular Effects 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 230000035508 accumulation Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 5
- 108090000623 proteins and genes Proteins 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于无人机遥感影像处理领域,涉及一种无人机影像滤波分频拼接方法,主要用来解决无人机影像拼接易出现鬼影、拼接缝问题。本发明首先利用高斯低通滤波将待拼接无人机影像对分解成低频影像对和高频影像对,然后对低频影像对采用加权平滑融合方法进行拼接处理,利用改进的动态规划算法搜索最优拼接线完成高频影像的拼接,最后将拼接好的低频影像对和高频影像对进行线性合成得到最终的拼接影像。本发明不仅可以较好的解决无人机影像拼接过程中出现的鬼影问题,最大化的避免拼接缝的出现,而且对亮度差异明显的无人机影像对也能取得良好的拼接效果。
Description
技术领域
本发明属于无人机遥感影像处理领域,特别是涉及一种无人机影像滤波分频拼接方法。
背景技术
无人机遥感***具有灵活、实时、成本低的特点,在小区域和飞行困难地区快速获取高分辨率影像方面具有显著优势,已经成为提高测绘成果现势性的有力手段,被广泛的应用于军事、民用测绘领域中。但受飞行高度、相机视角的限制,单幅无人机影像的影像范围很难完全包含感兴趣的区域,使其应用受到了很大的限制。为了扩大视场范围,获得更多目标区域的信息,就需要对多幅具有一定重叠度的无人机影像进行拼接。
由于无人机质量较轻,易受高空风力影响,飞行姿态不稳定,得到的影像重叠不规则、曝光不均匀,使得拼接影像易出现鬼影、拼接过渡不连续,存在明显的拼接缝等现象。针对这些问题,国内外的学者进行了大量研究,解决办法主要有加权平滑融合方法、基于最优拼接线方法。
加权平滑融合方法,主要是根据重叠区域内的像素点在两幅影像上的距离关系,采用加权平滑处理来消除拼接缝,简单易于实现。但该方法是在影像的空间域直接对像素进行操作,当两幅影像存在配准误差、或者重叠区域纹理结构丰富的时候,容易产生鬼影、模糊现象,减弱影像纹理细节特征的表现。
基于最优拼接线方法旨在原始影像对上寻找一条灰度、几何结构差异较小的最优路径。虽然该方法可以保证重叠区域的纹理结构一致,避免出现鬼影现象,但并不能保证在克服鬼影的同时避免出现拼接缝。尤其当相邻影像存在明显亮度差异时,即使找到了最优拼接线也不能完全消除拼接缝,无法实现重叠区域的自然过渡。
通过对两类方法的分析,当待拼接的影像对纹理结构丰富,或者存在配准误差、辐射亮度差异大的时候,依靠单一的拼接方法无法取得满意的效果。
发明内容
本发明针对现有技术的不足,提供一种基于滤波分频的无人机影像拼接方法。通过该方法可以将加权平滑融合方法和基于最优拼接线方法结合起来,充分利用两类方法的优势,做到在克服鬼影的同时较好的消除拼接缝,实现无人机影像的无缝拼接。
为了达到上述目的,本发明提供的技术方案是一种无人机影像滤波分频拼接方法,包括以下步骤:
步骤1,利用高斯低通滤波将待拼接的无人机影像对分解成低频影像对和高频影像对;
步骤2,对低频影像对采用加权平滑融合方法进行拼接处理;
步骤3,利用改进的动态规划算法搜索最优拼接线完成高频影像对的拼接,其中改进的动态规划算法搜索最优拼接线包括以下子步骤,
步骤3.1,定义最优拼接线的能量函数值;
步骤3.2,定义最优拼接线的搜索方向;
步骤3.3,定义最优拼接线选取准则,确定最优拼接线;
步骤4,将拼接好的低频影像对和高频影像对进行线性合成得到平滑无缝的无人机拼接影像。
而且,所述步骤2中,对低频影像对采用加权平滑融合方法进行拼接处理的实现方式如下,
假设两幅低频影像在拼接影像中的重叠区域为Φ0,非重叠区域分别为Φ1和Φ2,令I1表示区域Φ1中影像的灰度,I2表示区域Φ2中影像的灰度,Ip表示拼接影像的灰度,则融合公式如下,
其中,(x,y)是像素点在拼接影像中的行列号,λ是权重因子,通过λ可以强调离重叠中心近的像素的贡献,减少图像边缘处像素的影响,以减小误差;
假设W和H分别表示重叠区域的宽度和高度,若重叠区域不规则,则利用其最小外接矩形进行计算,Δw和Δh分别为重叠区域中像素点到左下角点在水平、竖直方向上的距离;当两幅影像仅存在水平位移时,取λ=(W-Δw)/W;仅存在竖直位移时,取λ=(H-Δh)/H;当两幅影像存在双向位移时,此时通过下式计算,
其中,μ1为竖直方向的参数调整因子,μ2为水平方向的参数调整因子。
而且,所述步骤3.1中,定义最优拼接线的能量函数值的实现方式如下,
定义能量函数为,
C(x,y)=Cdif(x,y)+Cedge(x,y) (3)
Gm(x,y)=max(|dm(x,y)|*Sn),n∈[1,8] (6)
其中,dm(x,y)表示像素点(x,y)在差值影像中三通道的灰度值;Cdif(x,y)是在差值影像中像素点(x,y)周围7×7邻域内三通道灰度均值的最大值;Gm(x,y)是在差值影像中像素点(x,y)的8方向梯度值的最大值,Sn表示8个方向的Sobel算子模板,n=1对应0°,n=2对应45°,n=3对应90°,n=4对应135°,n=5对应180°,n=6对应225°,n=7对应270°,n=8对应315°,Cedge(x,y)取像素点(x,y)周围7×7邻域内Gm(x,y)均值的最大值。
而且,所述步骤3.2中,定义重叠区域内像素对左或右各1个像素点和正上方各3个像素点共8个像素点为搜索方向。
而且,所述步骤3.3中,定义选取最长线为最优拼接线,拼接线的走向要适应重叠区域的形状,且尽量靠近重叠影像的中心线的准则,确定最优拼接线,实现方式如下,
假设重叠区域差值影像大小为m×n,若重叠区域不规则,可利用其最小外接矩形将其扩展为规则区域,能量矩阵为C,能量累积矩阵为Cum1和Cum2,方向矩阵为Dir1和Dir2,线长矩阵为Len1、Len2,四类矩阵的大小均等于重叠区域;能量矩阵C可由步骤3.1计算得到,方向矩阵和能量累积矩阵根据像素点的能量值和其搜索方向上像素点能量值计算并比较得到,Dir1、Cum1、Len1和Dir2、Cum2、Len2分别为从左向右和从右向左进行搜索时的方向矩阵、能量累积矩阵和线长矩阵;最优拼接线的搜索流程如下,
1)对于第1行的像素点(1,y),令其能量累积值均等于其能量值,方向值为0,线长值为1,即
2)对于第1行以外的其他行依次处理,记当前处理第x行,假设当前像素点的坐标为(x,y),首先从左至右进行搜索,设M为像素点(x,y)搜索方向像素点中最小能量累积值,
则能量累积值和线长值计算如下,
从左向右进行搜索时,比较Cum1(x,y)左侧1个像素点及正上方3个像素点和对应的Cum2(x,y)正上方3个像素点共七个方向像素点的能量累积值,选取能量累积值最小的像素点为连接点,即M值最小的点,修改Dir1(x,y)为该点的方向值,并更新Cum1(x,y)为当前计算得到的和值;特殊的,对位于左边界的点,只比较Cum 1(x,y)正上方2个像素点和对应的Cum2(x,y)正上方2个像素点共四个方向像素点的能量累积值;而右边界上的点,需比较Cum2(x,y)正上方2个像素点和对应的Cum1(x,y)正上方2个像素点及左侧1个像素点共五个方向像素点的能量累积值,设l为能量累计值最小的像素点对应的拼接线长度,更新Len1(x,y)的值为l+1;
然后从右至左进行扫描,其过程与从左向右相似,但在逆向扫描的过程中,需要比较Cum2(x,y)右侧1个像素点及正上方3个像素点和对应的Cum1(x,y)正上方3个像素点共7个方向的像素点,找到能量累积值最小的像素点后,以该点作为连接点,修改Dir2(x,y)为该点的方向值,更新Cum2(x,y)为当前计算得到的和值,并更新Len2(x,y)的值为l+1;特殊的,对于右边界上的点,比较Cum2(x,y)正上方2个像素点和对应的Cum1(x,y)正上方2个像素点共四个方向像素点的能量累积值;而位于左边界的点,只比较Cum 1(x,y)正上方2个像素点和对应的Cum2(x,y)正上方2个像素点及右侧1个像素点共五个方向像素点能量累积值,当执行到最左侧的时候,该行结束,跳到下一行继续执行从左至右的扫描;
3)当最后一行扫描结束后,得到了最终的能量累积矩阵、方向矩阵和线长矩阵,统计Len1和Len2中最后一行线长值的大小,将最大线长值对应的点设置为终点;
4)根据方向矩阵由终止点开始进行逆向寻找,并标识找到的点,当执行到第一行时寻找结束,最优拼接线为所有被标识的点的连线。
与现有技术相比,本发明利用加权平滑融合方法对低频影像对进行拼接处理,可以很好的消除影像中的拼接缝,而基于最优拼接线对高频影像对的拼接则可避免拼接影像出现的鬼影现象,最大程度的保证拼接线两侧纹理结构的一致性。
附图说明
图1为本发明实施例的流程图。
图2为本发明实施例低频影像对的加权平滑融合规则图,其中图2a为仅具有水平位移的示意图,图2b为具有双向位移的示意图。
图3为本发明实施例最优拼接线搜索方法示意图,其中图3a为本发明实施例最优拼接线搜索方法从左到右搜索时Dir1的取值示意图,图3b为本发明实施例最优拼接线搜索方法从右到左搜索时Dir2的取值示意图。
具体实施方式
本发明提供一种滤波分频的无人机影像拼接方法,首先利用高斯低通滤波将待拼接的无人机影像对分解成低频影像对和高频影像对,然后对低频影像对采用加权平滑融合方法进行拼接,利用改进的动态规划算法搜索最优拼接线完成高频影像对的拼接,最后将拼接好的低频影像和高频影像进行线性合成得到平滑无缝的无人机拼接影像。
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示,本发明实施例的流程包括以下步骤:
步骤1,利用高斯低通滤波将待拼接的无人机影像对分解成低频影像对和高频影像对。
本发明利用高斯低通滤波[1]对待拼接的无人机影像对进行分解,可以分别获得其高频、低频部分影像。低频部分影像主要反映无人机影像的色调、亮度信息,利用加权平滑融合方法可以很好的调整拼接影像的整体色调,消除拼接缝,实现重叠区域的自然过渡。高频部分影像主要包含无人机影像的轮廓、几何结构信息,直接利用加权平滑融合方法进行拼接容易出现鬼影、模糊现象,而通过动态规划算法搜索一条最优拼接线,使其两侧色调、亮度、几何结构差异最小,可以有效地减少鬼影、模糊现象的出现。
[1]Wang M,Pan J,Chen S Q,et al.A method of removing the unevenillumination phenomenon for optical remote sensing image[C].IEEEinternational geoscience remote sensing symposium(IGARSS),Seoul,SOUTH Korea,2005.
步骤2,对低频影像对采用加权平滑融合方法进行拼接处理,具体实施如下:
对分解得到的低频影像对,采用加权平滑融合方法进行拼接。如图2a和图2b所示,假设两幅低频影像在拼接影像中的重叠区域为Φ0,非重叠区域分别为Φ1和Φ2,令I1表示区域Φ1中影像的灰度,I2表示区域Φ2中影像的灰度,Ip表示拼接影像的灰度,则融合公式为:
其中,(x,y)是像素点在拼接影像中的行列号,λ是权重因子,通过λ可以强调离重叠中心近的像素的贡献,减少图像边缘处像素的影响,以减小误差。
假设W和H分别表示重叠区域的宽度和高度(若重叠区域不规则,则利用其最小外接矩形进行计算),Δw和Δh分别为重叠区域中像素点到左下角点在水平、竖直方向上的距离。当两幅影像仅存在水平位移时,取λ=(W-Δw)/W;仅存在竖直位移时,取λ=(H-Δh)/H;当两幅影像存在双向位移时,需要考虑水平、竖直两个方向的位移,设μ1为竖直方向的参数调整因子,μ2为水平方向的参数调整因子,此时通过下式计算:
步骤3,利用改进的动态规划算法搜索最优拼接线完成高频影像对的拼接;
本发明在Duplaquet提出的拼接线搜索方法基础上,重新定义了最优拼接线的能量准则,并增加了最优拼接线的搜索方向,提出了新的最优拼接线选取准则,选取最优拼接线完成高频影像对的拼接。具体包括以下步骤:
步骤3.1,定义最优拼接线的能量函数值;
假设Img1和Img2是两幅待拼接的原始影像,本发明的定义能量函数为:
C(x,y)=Cdif(x,y)+Cedge(x,y) (3)
其中:
Gm(x,y)=max(|dm(x,y)|*Sn),n∈[1,8] (6)
式中dm(x,y)表示像素点(x,y)在差值影像中三通道的灰度值。Cdif(x,y)是在差值影像中像素点(x,y)周围7×7邻域内三通道灰度均值的最大值。Gm(x,y)是在差值影像中像素点(x,y)的8方向梯度值的最大值,如式(7)所示Sn表示8个方向的Sobel算子模板(n=1对应0°,n=2对应45°,n=3对应90°,n=4对应135°,n=5对应180°,n=6对应225°,n=7对应270°,n=8对应315°),Cedge(x,y)取像素点(x,y)周围7×7邻域内Gm(x,y)均值的最大值。在计算Cedge(x,y)时加入邻域结构的变化信息,可***是否靠近结构变化大的区域,为拼接线的下一步搜索提供转变的空间,提前避免出现穿越现象。
步骤3.2,定义最优拼接线的搜索方向;
Duplaquet提出的方法只检测当前点下方的3个相邻方向,当重叠区域有房屋、树木等高大建筑物时,由于房顶像点的变形与地面点的变形不一致,拼接线极有可能会穿过房屋,出现错位现象。为避免这种情况的发生,本发明提出一种双通道搜索拼接线的思路,检测重叠区域内像素对左或右各1个像素点和正上方各3个像素点共8个像素点为搜索方向。如图3a和图3b所示,设点P为当前点,重新定义八个比较方向,分别为1、2、3、4、11、22、33、66。
步骤3.3,定义最优拼接线选取准则,确定最优拼接线;
Duplaquet提出的拼接线搜索方法可以保证得到的备选拼接线长度均相等,并选取能量值最小的拼接线为最优拼接线。徐亚明改进了Duplaquet的搜索方法,且认为能量值与拼接线长度的比值,即平均强度值最小者最优。本发明认为刻意的追求拼接线的能量值最小,或者平均强度值最小并不能作为最优拼接线的选取准则,因为二者在寻线的过程中都会限制拼接线的长度,当遇到的障碍物面积较大或者分布密集的时候,不可避免会穿越而过。况且拼接线的搜索本就是一个能量最小值聚合的过程,每一条线都是由邻域中能量值最小的像素点组合而成。因此,本发明提出选择最长线为最优拼接线,此外拼接线的走向要适应重叠区域的形状,且尽量靠近重叠影像的中心线。
假设重叠区域差值影像大小为m×n(若重叠区域不规则,可利用其最小外接矩形将其扩展为规则区域),能量矩阵为C,能量累积矩阵为Cum1和Cum2,方向矩阵为Dir1和Dir2,线长矩阵为Len1、Len2,四类矩阵的大小均等于重叠区域。能量矩阵C可由式(3)计算得到,方向矩阵和能量累积矩阵根据像素点的能量值和其搜索方向上像素点能量值计算并比较得到,方向矩阵与搜索方向对应,其元素取值只有8个数值,Dir1、Cum1、Len1和Dir2、Cum2、Len2分别为从左向右和从右向左进行搜索时的方向矩阵、能量累积矩阵和线长矩阵。本发明改进的最优拼接线的搜索流程如下:
1)对于第1行的像素点(1,y),令其能量累积矩阵值均等于其能量值,方向值为0,线长值为1,即
2)以第x行为例,阐述其他行的执行过程。假设当前点的坐标为(x,y),首先从左至右进行搜索,设M为像素点(x,y)搜索方向像素点中最小能量累积值,
则能量累计值和线长值计算如下:
如图3a所示,从左向右进行搜索时,比较Cum1(x,y)左侧1个像素点及正上方3个像素点(1、2、3、4)和对应的Cum2(x,y)正上方3个像素点(11、22、33)共七个方向像素点的能量累积值,选取能量累积值最小的像素点为连接点,即M值最小的点,修改Dir1(x,y)为该点的方向值(这里的方向值指的是搜索方向1、2、3、4、11、22、33中的某一个值),并更新Cum1(x,y)为当前计算得到的和值。特殊的,对位于左边界的点,只比较Cum 1(x,y)正上方2个像素点(2、3)和对应的Cum2(x,y)正上方2个像素点(22、33)共四个方向像素点能量累积值;而右边界上的点,需比较Cum2(x,y)正上方2个像素点(11、22)和对应的Cum1(x,y)正上方2个像素点及左侧1个像素点(1、2、4)共五个方向像素点的能量累积值。设l为能量累计值最小的像素点对应的拼接线长度,更新Len1(x,y)的值为l+1。
如图3b所示,然后从右至左进行扫描,其过程与从左向右相似,但在逆向扫描的过程中,需要比较Cum2(x,y)正上方3个像素点及右侧1个像素点(11、22、33、66)和对应的Cum1(x,y)正上方3个像素点(1、2、3)共七个方向的像素点,找到能量累积值最小的像素点后,以该点作为连接点,修改Dir2(x,y)为该点的方向值(这里的方向值指的是搜索方向1、2、3、11、22、33、66中的某一个值),更新Cum2(x,y)为当前计算得到的和值,并更新Len2(x,y)的值为l+1。特殊的,对于右边界上的点,比较Cum2(x,y)正上方2个像素点(11、22)和对应的Cum1(x,y)正上方2个像素点(1、2)共个四方向像素点的能量累积值;而位于左边界的点,只比较Cum 1(x,y)正上方2个像素点(2、3)和对应的Cum2(x,y)正上方2个像素点及右侧1个像素点(22、33、66)共五个方向像素点能量累积值。当执行到最左侧的时候,该行结束,跳到下一行继续执行从左至右的扫描。
3)当最后一行扫描结束后,得到了最终的能量累积矩阵(由像素点的能量累积值按行列构成)、方向矩阵(由像素点的方向值按行列构成)和线长矩阵(由像素点的线长值按行列构成)。统计Len1和Len2中最后一行线长值的大小,将最大线长值对应的点设置为终点。
4)根据方向矩阵由终止点开始进行逆向寻找,并标识找到的点。当执行到第一行时寻找结束,最优拼接线为所有被标识的点的连线。
步骤4,线性合成
最后将拼接好的高频、低频影像对进行线性合成[2]得到平滑无缝的无人机拼接影像。
[2]Ting Lu,Shutao Li,Wei Fu.Fusion Based Seamless Mosaic for RemoteSensing Images[J].Sensing and Imaging,2014,15(1):1-14.参见图1,无人机影像Img1和Img2分别进行高斯低通滤波后得到相应低频影像和高频影像,分别经加权平滑融合获取拼接影像低频部分,经改进的动态规划搜索拼接线方法获取拼接影像高频部分,最后线性合成拼接影像。
具体实施时,以上流程可采用计算机软件技术实现自动运行流程。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种基于滤波分频的无人机影像拼接方法,其特征在于,包括如下步骤:
步骤1,利用高斯低通滤波将待拼接的无人机影像对分解成低频影像对和高频影像对;
步骤2,对低频影像对采用加权平滑融合方法进行拼接处理,当两幅影像存在双向位移时,综合竖直位移和水平位移计算融合公式权重因子;
步骤3,利用改进的动态规划算法搜索最优拼接线完成高频影像对的拼接,其中改进的动态规划算法搜索最优拼接线包括以下子步骤,
步骤3.1,定义最优拼接线的能量函数值,包括根据在差值影像中像素点(x,y)周围7×7邻域内三通道灰度均值的最大值,以及差值影像中像素点(x,y)的8方向梯度值的最大值,定义最优拼接线的能量函数值;
步骤3.2,定义最优拼接线的搜索方向;
步骤3.3,定义最优拼接线选取准则,确定最优拼接线,包括定义选取最长线为最优拼接线,拼接线的走向要适应重叠区域的形状,且尽量靠近重叠影像的中心线的准则,确定最优拼接线;
步骤4,将拼接好的低频影像对和高频影像对进行线性合成得到平滑无缝的无人机拼接影像。
2.如权利要求1所述的一种基于滤波分频的无人机影像拼接方法,其特征在于:所述步骤2中,对低频影像对采用加权平滑融合方法进行拼接处理的实现方式如下,
假设两幅低频影像在拼接影像中的重叠区域为Φ0,非重叠区域分别为Φ1和Φ2,令I1表示区域Φ1中影像的灰度,I2表示区域Φ2中影像的灰度,Ip表示拼接影像的灰度,则融合公式如下,
其中,(x,y)是像素点在拼接影像中的行列号,λ是权重因子,通过λ可以强调离重叠中心近的像素的贡献,减少图像边缘处像素的影响,以减小误差;
假设W和H分别表示重叠区域的宽度和高度,若重叠区域不规则,则利用其最小外接矩形进行计算,Δw和Δh分别为重叠区域的中像素点到重叠区域中最左下角点在水平、竖直方向上的距离;当两幅影像仅存在水平位移时,取λ=(W-Δw)/W;仅存在竖直位移时,取λ=(H-Δh)/H;当两幅影像存在双向位移时,此时通过下式计算,
其中,μ1为竖直位移,μ2为水平位移。
3.如权利要求2所述的一种基于滤波分频的无人机影像拼接方法,其特征在于:所述步骤3.1中,定义最优拼接线的能量函数值的实现方式如下,
定义能量函数为,
C(x,y)=Cdif(x,y)+Cedge(x,y) (3)
Gm(x,y)=max(|dm(x,y)|×Sn),n∈[1,8] (6)
其中,dm(x,y)表示像素点(x,y)在差值影像中三通道的灰度值;Cdif(x,y)是在差值影像中像素点(x,y)周围7×7邻域内三通道灰度均值的最大值;Gm(x,y)是在差值影像中像素点(x,y)的8方向梯度值的最大值,Sn表示8个方向的Sobel算子模板,n=1对应0°,n=2对应45°,n=3对应90°,n=4对应135°,n=5对应180°,n=6对应225°,n=7对应270°,n=8对应315°,Cedge(x,y)取像素点(x,y)周围7×7邻域内Gm(x,y)均值的最大值。
4.如权利要求3所述的一种基于滤波分频的无人机影像拼接方法,其特征在于:所述步骤3.2中,定义从左至右搜索时重叠区域内像素点(x,y)的左侧1个像素点和正上方3个像素点,从右至左搜索时重叠区域内像素点(x,y)的右侧1个像素点和正上方3个像素点,共8个像素点为搜索方向。
5.如权利要求4所述的一种基于滤波分频的无人机影像拼接方法,其特征在于:所述步骤3.3中,定义选取最长线为最优拼接线,拼接线的走向要适应重叠区域的形状,且尽量靠近重叠影像的中心线的准则,确定最优拼接线,实现方式如下,
假设重叠区域差值影像大小为m×n,若重叠区域不规则,可利用其最小外接矩形将其扩展为规则区域,能量矩阵为C,能量累积矩阵为Cum1和Cum2,方向矩阵为Dir1和Dir2,线长矩阵为Len1、Len2,四类矩阵的大小均等于重叠区域;能量矩阵C可由步骤3.1计算得到,方向矩阵和能量累积矩阵根据像素点的能量值和其搜索方向上像素点能量值计算并比较得到,Dir1、Cum1、Len1和Dir2、Cum2、Len2分别为从左向右和从右向左进行搜索时的方向矩阵、能量累积矩阵和线长矩阵;最优拼接线的搜索流程如下,
1)对于第1行的像素点(1,y),令其能量累积值均等于其能量值,方向值为0,线长值为1,即
2)对于第1行以外的其他行依次处理,记当前处理第x行,假设当前像素点的坐标为(x,y),首先从左至右进行搜索,设M为像素点(x,y)搜索方向上的像素点中能量累积值的最小值,记为最小能量累积值,
则能量累积值和线长值计算如下,
从左向右进行搜索时,比较Cum1(x,y)左侧1个像素点及正上方3个像素点和对应的Cum2(x,y)正上方3个像素点共七个方向像素点的能量累积值,选取能量累积值最小的像素点为连接点,即最小能量累积值M对应的点,修改Dir1(x,y)为该点的方向值,并更新Cum1(x,y)为当前计算得到的和值;特殊的,对位于左边界的点,只比较Cum1(x,y)正上方2个像素点(2、3)和对应的Cum2(x,y)正上方2个像素点共四个方向像素点的能量累积值;而右边界上的点,需比较Cum2(x,y)正上方2个像素点和对应的Cum1(x,y)正上方2个像素点及左侧1个像素点(1、2、4)共五个方向像素点的能量累积值,设l为能量累计值最小的像素点对应的拼接线长度,更新Len1(x,y)的值为l+1;
然后从右至左进行扫描,其过程与从左向右相似,但在逆向扫描的过程中,需要比较Cum2(x,y)右侧1个像素点及正上方3个像素点和对应的Cum1(x,y)正上方3个像素点共7个方向的像素点,找到能量累积值最小的像素点后,以该点作为连接点,修改Dir2(x,y)为该点的方向值,更新Cum2(x,y)为当前计算得到的和值,并更新Len2(x,y)的值为l+1;特殊的,对于右边界上的点,比较Cum2(x,y)正上方2个像素点和对应的Cum1(x,y)正上方2个像素点及左侧1个像素点共五个方向像素点的能量累积值;而位于左边界的点,只比较Cum1(x,y)正上方2个像素点和对应的Cum2(x,y)正上方2个像素点共四个方向像素点能量累积值,当执行到最左侧的时候,该行结束,跳到下一行继续执行从左至右的扫描;
3)当最后一行扫描结束后,得到了最终的能量累积矩阵、方向矩阵和线长矩阵,统计Len1和Len2中最后一行线长值的大小,将最大线长值对应的点设置为终点;
4)根据方向矩阵由终止点开始进行逆向寻找,并标识找到的点,当执行到第一行时寻找结束,最优拼接线为所有被标识的点的连线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610556890.3A CN105957018B (zh) | 2016-07-15 | 2016-07-15 | 一种无人机影像滤波分频拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610556890.3A CN105957018B (zh) | 2016-07-15 | 2016-07-15 | 一种无人机影像滤波分频拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105957018A CN105957018A (zh) | 2016-09-21 |
CN105957018B true CN105957018B (zh) | 2018-12-14 |
Family
ID=56899910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610556890.3A Expired - Fee Related CN105957018B (zh) | 2016-07-15 | 2016-07-15 | 一种无人机影像滤波分频拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105957018B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106897968B (zh) * | 2017-02-15 | 2022-10-14 | 武汉喜恩卓科技有限责任公司 | 一种遥感图像地物的图像拼接方法及*** |
CN109300084B (zh) * | 2017-07-25 | 2023-07-04 | 杭州海康汽车技术有限公司 | 一种图像拼接方法、装置、电子设备及存储介质 |
CN109427083B (zh) | 2017-08-17 | 2022-02-01 | 腾讯科技(深圳)有限公司 | 三维虚拟形象的显示方法、装置、终端及存储介质 |
CN107726975B (zh) * | 2017-09-20 | 2019-05-14 | 大连理工大学 | 一种基于视觉拼接测量的误差分析方法 |
CN108848323A (zh) * | 2018-06-27 | 2018-11-20 | 西安输变电工程环境影响控制技术中心有限公司 | 一种变电站噪声综合云图的图像处理方法 |
CN110276717B (zh) * | 2019-06-26 | 2023-05-05 | 图码思(成都)科技有限公司 | 一种图像的拼接方法及终端 |
CN113077387B (zh) * | 2021-04-14 | 2023-06-27 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法及装置 |
CN114596413B (zh) * | 2022-05-07 | 2022-08-19 | 武汉天际航信息科技股份有限公司 | 一种影像时序拼接方法、三维影像模型建立方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574336A (zh) * | 2015-01-19 | 2015-04-29 | 上海交通大学 | 基于自适应亚模字典选择的超分辨率图像重建*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2014218390B2 (en) * | 2014-08-27 | 2017-01-12 | Canon Kabushiki Kaisha | Method, system and apparatus for forming a high resolution depth map |
-
2016
- 2016-07-15 CN CN201610556890.3A patent/CN105957018B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574336A (zh) * | 2015-01-19 | 2015-04-29 | 上海交通大学 | 基于自适应亚模字典选择的超分辨率图像重建*** |
Non-Patent Citations (3)
Title |
---|
基于Shearlet变换的单波段遥感图像拼接技术研究;赵艳楠等;《科学技术与工程》;20140228;第14卷(第6期);第218-221页 * |
无人机影像序列拼接技术的研究与实现;潘梅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);C031-437 * |
遥感图像拼接算法研究;赵艳楠;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315(第3期);I140-863 * |
Also Published As
Publication number | Publication date |
---|---|
CN105957018A (zh) | 2016-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105957018B (zh) | 一种无人机影像滤波分频拼接方法 | |
CN103019643B (zh) | 一种即插即用的大屏幕投影自动校正与拼接显示方法 | |
CN105245841B (zh) | 一种基于cuda的全景视频监控*** | |
US9811946B1 (en) | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image | |
US8081841B2 (en) | Mosaic oblique images and methods of making and using same | |
CN110390640A (zh) | 基于模板的泊松融合图像拼接方法、***、设备及介质 | |
TWI480833B (zh) | 具高解析度之共軛焦顯微鏡影像拼接方法 | |
CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
US20100246976A1 (en) | Method of creating a composite image | |
CN107346041B (zh) | 裸眼3d显示设备的光栅参数的确定方法、装置及电子设备 | |
CN109583365B (zh) | 基于成像模型约束非均匀b样条曲线拟合车道线检测方法 | |
CN104732482A (zh) | 一种基于控制点的多分辨率图像拼接方法 | |
CN109064409A (zh) | 一种移动机器人的视觉图像拼接***及方法 | |
CN106447607A (zh) | 一种图像拼接方法及装置 | |
KR20210064193A (ko) | 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램 | |
CN112183247A (zh) | 一种基于多光谱影像的激光点云数据分类方法 | |
CN112907493A (zh) | 无人机蜂群协同侦察下的多源战场图像快速镶嵌融合算法 | |
CN108629742B (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
CN115619623A (zh) | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 | |
CN112365518A (zh) | 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法 | |
CN106878628A (zh) | 一种通过摄像头进行视频拼接的方法 | |
CN103473782B (zh) | 基于物方垂直双面元的最小二乘匹配方法 | |
CN105869119A (zh) | 一种动态视频获取方法 | |
CN1437165A (zh) | 一种基于两张鱼眼图像的智能型全景生成方法 | |
CN114943823B (zh) | 基于深度学习语义感知的无人机图像拼接方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181214 Termination date: 20210715 |
|
CF01 | Termination of patent right due to non-payment of annual fee |