CN107808362A - 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 - Google Patents

一种基于无人机pos信息与图像surf特征结合的图像拼接方法 Download PDF

Info

Publication number
CN107808362A
CN107808362A CN201711132452.5A CN201711132452A CN107808362A CN 107808362 A CN107808362 A CN 107808362A CN 201711132452 A CN201711132452 A CN 201711132452A CN 107808362 A CN107808362 A CN 107808362A
Authority
CN
China
Prior art keywords
mrow
image
msub
mtd
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711132452.5A
Other languages
English (en)
Inventor
赵德群
王亚洲
孙光民
邓钱华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201711132452.5A priority Critical patent/CN107808362A/zh
Publication of CN107808362A publication Critical patent/CN107808362A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机POS信息与图像SURF特征结合的图像拼接方法，涉及到数字图像处理领域、GIS领域以及测绘领域等相关领域。首先对图像进行几何校正，然后计算出图像四角点的地理坐标，以第一张图像地理坐标为基础，通过提取相邻图像重叠区域的SURF特征去得到同名匹配目标点的位置关系，从而依次修正后面图像的地理坐标，最后采用自适应渐入渐出的融合算法，得到了一副视觉效果良好的全景图像，完成图像的良好拼接。本方法将图像特征提取算法与图像的地理坐标相结合，在拼接效率及视觉效果上比传统的特征提取拼接算法均有较大的提高，且拼接后的图像有地理信息，具有一定的实用价值。

Description

一种基于无人机POS信息与图像SURF特征结合的图像拼接 方法
技术领域
本发明涉及一种基于无人机POS(Position and Orientation System)信息与图像SURF特征相结合的拼接方法，属于数字图像处理领域、GIS领域以及测绘领域等相关领域。
背景技术
UAV(Unmanned Aerial Vehicle无人机)具有运行简单、反应迅速、飞行灵活、成本低等特点，已被广泛应用于抗灾救灾、军事侦察、海上检测、环境保护和土地动态监测等区域。而由于无人机航拍序列图片拍摄的视角有限，受到无人机飞行的高度及相机的参数的限制。为了对拍摄的区域进行全局的把握与分析，得到更多的目标区域信息，图像的快速拼接显得十分迫切与需要。
目前无人机的航拍图像拼接方法主要有两种：一种是基于图像特征的拼接方法，另一种是基于无人机POS信息的拼接方法。
基于特征的图像拼接主要包括两个主要的步骤，分别为图像配准，图像融合。其中图像配准为核心步骤，在基于特征检测的图像配准算法中，1988年CHris Harris提出了Harris 角点检测算子，SIFT特征匹配算法(scale invariant feature transform)是一种经典的算法，它通过在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，并且提出来的特征比较稳定，但是缺点为提取出的特征点数量较多，计算量大，耗时长。Bay于2006年提出了SURF算法，意为加速鲁棒性特征，是对SIFT算法进行的一种改进，SURF算法利用Hessian矩阵确定候选点然后进行非极大抑制，降低了计算复杂度，一般来说，标准的SURF算子比SIFT算子快好几倍，并且在多副图片下具有更好的鲁棒性，但是基于特征的图像拼接方法误差容易积累，并且在针对海域等区域等特征不容易提取的情况下，传统特征拼接方法并不适用。
基于POS的信息拼接方法主要是利用航拍图像的地理坐标关系来进行配准，无人机的航行速度，航行高度，当前曝光点的飞机经纬度信息，都可以通过无人机携带的POS***获取到。这些信息记录了飞机飞行时在每个曝光时刻飞行时的姿态，但是由于无人机在进行航拍的时候，姿态并不固定，因此需要相邻曝光点的两组POS数据来进行空三计算，从而计算出图像像素点的经纬度，随着建立模型的不同，误差也有所不同。
本方法将特征提取算法与图像的地理坐标相结合，在拼接效率及视觉效果上比传统的特征提取拼接算法均有较大的提高，且拼接后的图像有地理信息，具有一定的实用价值。
发明内容
针对以上两种方法的缺点，为了提高拼接精度以及对增加对各种航拍图像的适应性，提出了一种基于无人机POS信息与传统特征拼接相结合的方法，首先对图像进行几何校正，然后计算出图像四角点的地理坐标，以第一张图像地理坐标为基础，通过提取相邻图像重叠区域的SURF特征去得到同名匹配目标点的位置关系，从而依次修正后面图像的地理坐标，最后采用自适应渐入渐出的融合算法，得到了一副视觉效果良好的全景图像，完成图像的良好拼接。
本发明采用的技术方案为一种基于无人机POS信息与图像SURF特征结合的图像拼接方法，该方法包括如下步骤：
S1：航拍图像预处理：
无人机在执行航拍任务中，由于受到飞行器的姿态、高度、速度以及地球自转等因素的影响，造成图像相对于地面目标实际位置发生挤压、扭曲、拉伸和偏移等，因此对航拍的图像进行几何矫正，以得到基于同一基准投影面的遥感图像。
S2：航拍图像重叠区域计算：
根据POS信息计算相邻图像的重叠区域，根据POS信息得到序列图像曝光点的时间以及飞行的实际距离，根据飞机当前飞行的角度将速度进行正方向上的分解，通过计算相邻拍摄图像的重叠区域以减少拼接的计算量，并且随着特征点的寻找面积越小，可能出现的误匹配概率就越小，提高检测效率。
S3:图像的地理坐标计算：
将图像进行几何矫正后，根据当前飞机飞行的姿态角度计算出图像中心点的经纬度坐标，根据相机内外方位元素计算图像地面分辨率，由此计算出图像四点的经纬度坐标，再将地理坐标转换到空间直角坐标系下，从而按照空间直角坐标系进行投影，得到图像之间的相对位置关系。
S4：提取图像的SURF特征：
SURF特征的提取包括：构建Hessian矩阵，生成所有兴趣点、构建尺度空间、对特征点进行定位、特征点主方向分配、生成特征点描述子、特征点匹配等步骤，通过这些步骤计算得到相邻图像的SURF特征匹配点对。
S5：利用提取到的图像SURF特征点对修正地理坐标：
由于已经知道每张图像的地理坐标，因此得到的同名点对的地理坐标应该为同一点，若计算出来的不一样，则以第一张图像为基准，依次修正后面的地理坐标，从而进行位置的配准，提高直接按地理坐标进行放置的准确性。
S6：图像融合策略：
对于修正坐标后的图像，由于每张图像之间有一定的痕迹，因此需要采用一些策略来解决拼接缝隙之间的颜色过渡差异较大的问题，采用渐入渐出自适应权重融合方法来对图像之间的缝隙进行平缓过渡，使图片之间看着自然，视觉效果良好。
与现有技术相比，本发明具有以下优点：本文提出的方法将图像特征提取算法与图像的地理坐标相结合，在拼接效率及视觉效果上比传统的特征提取拼接算法均有较大的提高，且拼接后的图像有地理信息，具有一定的实用价值。
附图说明
图1为设计方法流程图；
图2无人机携带POS信息格式；
图3为相邻图像重叠区域流程，其中图3.1为速度分解图，图3.2为重叠区域计算分析图；
图4提取相邻图像的SURF特征点过程图，其中图4.1为检测特征点图，图4.2为特征点方向计算图，图4.3为检测到的相邻图像的特征点匹配点对；
图5根据SURF特征点对修正地理坐标过程，其中图5.1为按照地理坐标放置的两张航拍图像，图5.2为按照本文方法修正后的地理坐标放置效果图，图5.3为多张图片修正后的放置效果；
图6融合后效果比对图；
具体实施方式
下面结合附图对本发明做进一步说明；
本发明的整体流程如图1所示，主要分为六大环节：航拍图像预处理环节、航拍图像重叠区域计算环节、图像地理坐标计算环节、提取图像SURF特征环节、结合相邻图像SURF特征匹配点对修正地理坐标环节和图像融合环节。其中，结合相邻图像SURF特征匹配点对修正图像地理坐标是本方法的创新层，结合算法执行顺序，下面对上述各个内容的具体实施方式进行说明：
S1航拍图像预处理：
在预处理几何矫正的过程中，需要依次建立的坐标系为：地球坐标系，地理坐标系，机体坐标系，光电平台坐标系，相机坐标系。传统校正的具体步骤如下：设光电平台坐标系到数码相机坐标系的变换矩阵为R1，由机体坐标系到光电平台坐标系的变换矩阵为R2，由地理坐标系到机体坐标系的变换矩阵为R3，由大地坐标系到空间直角坐标系的变换矩阵为R4，则有：
其中Rx(λ)Ry(λ)Rz(λ)分别为绕x轴、y轴、z轴的旋转的旋转矩阵，其中αP为像元扫描角，βP为像元偏角，χ为方位角，ω为平台滚动角，β为飞机横滚角，θ为航向角，B为经度，L为纬度，H为高度。因此从相机坐标系(Xc，Yc，Zc)到大地坐标系(Xe，Ye，Ze)之间的转换可以用如下关系表示：
常规几何矫正由式(2)逐像素点进行计算和采样。考虑到本课题主要对单一航带进行拼接，且无人机平台横滚角和俯仰角比较小时(近似垂直向下拍摄时)可以认为图像分辨率是一致的，因此为了减少运算量，提高速度，几何矫正只对水平方向上的飞机航向角和平台方位角进行校正。矫正模型如下所示：
其中χ为方位角，θ为航向角，RT(χ+θ)为变换矩阵，完成模型转换后再通过双线性差值重采样方法计算出像元在新的坐标系下的灰度值，从而生成新的图像矩阵，完成几何矫正。
S2：航拍图像重叠区域计算
通过POS信息计算相邻图像的重叠区域减少了拼接的计算量，并且随着特征点的寻找面积越小，可能出现的误匹配概率就越小，提高了检测的效率计算相邻图像的重叠区域，具体步骤如下：
1)假设无人机航线为偏离正北的角度为θ，其航速为V，将速度分解为正北方向上和正东方向上两个方向上的分量。分别表示为V1和V2，如图3.1所示的速度分解。
2)连续拍摄相邻两张曝光点的图像分别编号为Pic1和Pic2，间隔时间为t，根据POS 航迹文件得到两张图片的中心点经纬度，分别记为LatA、LonA、LatB、LonB，则有：
其中R＝6371.004千米，pi取3.1415926，C为两张图片中心点之间的经纬度夹角，L为计算出来的两点的实际距离。
3)以pic1作为基准，pic2与pic1之间的重叠区域表示为如图3.2所示的矩形区域S，将其重叠区域扩大定义到规则区域，将重叠区域顶点投影到x和y方向上则表示为：
S＝(W-P1)(H-P2) (5)
其中W和H为矩形区域的宽和高，P1和P2在图中所标长度。
通过计算重叠区域减少拼接的计算量，并且随着特征点的寻找面积越小，可能出现的误匹配概率就越小，提高检测的效率。具体计算重叠区域示意图如图3.2所示。S3:图像的地理坐标计算：对于几何纠正过的航拍图像，航拍图像的每点像素坐标都有对应的地理坐标，无人机飞行时候的携带的POS信息(如图2所示)记录了当前曝光点图像的飞机的经纬度以及飞机的高度、翻滚角、俯仰角、航向角等信息可以为计算地理坐标所用，图像的地理坐标的计算过程分为以下几步：
1)计算地面分辨率，计算公式如下：
其中GSD表示地面分辨率(m)，f为镜头焦距(mm)，P为成像传感器的像元尺寸(mm)，H为无人机对应的航高(m)。
2)计算图像对角线实际地面距离：
其中w和h为图像的宽度和高度，L为图像对角线之间的实际距离。
3)计算图像四角点地理坐标，根据图像中心点经纬度及另一点相对中心点的距离及方向角，求得以图像中点为圆心，半径为L/2的对应四角点地理坐标。具体计算公式为：
其中θi∈(0,2pi)，LonaLata为图像中心点的经纬度，Ri为赤道半径取6378137m，Rj为极半径取6356725m，pi取3.1415925。
4)地理坐标转换到空间之间坐标系之间的转换，转换公式如下：
其中N为曲率半径，Lon、Lat、H为图像上任一点的经度、纬度和高度，由此将图像转换到空间坐标系，至此，得到完整的图像坐标。
S4:图像的SURF特征提取：
SURF采用近似Hessian矩阵检测特征点，并使用积分图像进行卷积运算，大幅减少运算，从而提高特征提取速度。SURF描述子包含两个主要的部分：检测特征点和计算特征；具体实现分为以下几步：
1)构建Hessian矩阵，构造尺度空间。
假设图像上某点为X(x，y)，在σ尺度下的矩阵M定义为：
其中Lxx是高斯滤波二阶导同X卷积的结果，Lxy等的含义类似，σ为空间尺度。当Hessian 矩阵的的判别式取得局部极大值时，认为定位到关键点的位置。
2)检测特征点
在上述得到的尺度空间中，将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤去除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点，检测过程如图4.1所示：
3)确定特征点主方向
以特征点为圆心，以6σ为半径，求XY方向上的Haar小波响应，统计60度扇形内所有点的水平haar小波特征和垂直haar小波特征总和，并设置haar小波的尺寸变长为4s，使得每个扇形都得到了对应值。然后将60度扇形以一定间隔进行旋转，最后将锁定最大值扇形的方向作为该特征点的主方向。该过程的示意图如图4.2所示：
4)计算特征描述符
在特征点周围取一个正方形框，然后把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的，所以每个特征点就是16*4＝64维的向量，这在特征匹配过程中会大大加快匹配速度,提取到的相邻SURF特征图像匹配点对示例图如图4.3所示。
S5:利用相邻图像特征匹配点对修正地理坐标
由于POS精度低以及几何校正中存在一定的误差，计算出的坐标映射关系有一定的误差，此时利用特征匹配算法去修正图像的地理坐标，具体过程如下：
假设图像1的地理坐标为P1(x1，y1),图像2的地理坐标为P2(x2，y2)，提取图像特征匹、配对后则得到同一个点在不同两张图像间的像素坐标位置，由此得到两张图像中同一个目标点的经纬度坐标(Lon1，Lat1)(Lon2，Lat2)，最后以第一张图像地理坐标为基准，求得第二张图像中目标点与第一张图像之间的偏移量，公式如下：
然后用求得的偏移量去修正图像2的地理坐标P2：
然后将地理坐标投图到空间直角坐标系下，从而完成图像精确的配准，得到修正坐标后的图像；图5.1与5.2所示是直接按照地理坐标进行放置的效果以及进行修正后放置的结果对比，图5.3是多张图像按照修正后的地理坐标的放置结果。
S5图像融合策略
对于修正坐标后的图像，由于每张图像之间有一定的痕迹，因此需要采用一些策略来解决拼接缝隙之间的颜色过渡差异较大的问题，使拼接图像更加平滑自然，渐入渐出自适应权重融合过程如下所示：
假设I1、I2、I分别为融合前图像1、图像2和融合后的图像3，则通过公式(11)，完成图像融合，
式中，W是两幅不同画面重复的总宽度；w是重合区域左边缘与当前像素点之间的横向距离。融合前与融合后的对比示例图如图6所示。
综上所述，本发明针对无人机航拍图像的特点，提出了一张基于无人机POS信息的拼接方法，首先根据POS信息计算图像的四角点的地理坐标，然后提取图像的重叠区域的SURF 特征，利用相邻图像的相同特征点的位置关系去修正地理坐标，从而完成配准，最后采用自适应渐入渐出融合算法对图像进行平滑过渡，得到了一副视觉效果良好的全景图像，且拼接完成后的图像具有地理坐标，具有使用价值。

Claims (2)

1.一种基于无人机POS信息与图像SURF特征结合的图像拼接方法，其特征在于：该方法包括如下步骤：
S1：航拍图像预处理：
无人机在执行航拍任务中，由于受到飞行器的姿态、高度、速度以及地球自转因素的影响，造成图像相对于地面目标实际位置发生挤压、扭曲、拉伸和偏移，因此对航拍的图像进行几何矫正，以得到基于同一基准投影面的遥感图像；
S2：航拍图像重叠区域计算：
根据POS信息计算相邻图像的重叠区域，根据POS信息得到序列图像曝光点的时间以及飞行的实际距离，根据飞机当前飞行的角度将速度进行正方向上的分解，通过计算相邻拍摄图像的重叠区域以减少拼接的计算量，并且随着特征点的寻找面积越小，可能出现的误匹配概率就越小，提高检测效率；
S3:图像的地理坐标计算：
将图像进行几何矫正后，根据当前飞机飞行的姿态角度计算出图像中心点的经纬度坐标，根据相机内外方位元素计算图像地面分辨率，由此计算出图像四点的经纬度坐标，再将地理坐标转换到空间直角坐标系下，从而按照空间直角坐标系进行投影，得到图像之间的相对位置关系；
S4：提取图像的SURF特征：
SURF特征的提取包括：构建Hessian矩阵，生成所有兴趣点、构建尺度空间、对特征点进行定位、特征点主方向分配、生成特征点描述子、特征点匹配等步骤，通过这些步骤计算得到相邻图像的SURF特征匹配点对；
S5：利用提取到的图像SURF特征点对修正地理坐标：
由于已经知道每张图像的地理坐标，因此得到的同名点对的地理坐标应该为同一点，若计算出来的不一样，则以第一张图像为基准，依次修正后面的地理坐标，从而进行位置的配准，提高直接按地理坐标进行放置的准确性；
S6：图像融合策略：
对于修正坐标后的图像，由于每张图像之间有一定的痕迹，采用策略解决拼接缝隙之间的颜色过渡差异问题，采用渐入渐出自适应权重融合方法来对图像之间的缝隙进行平缓过渡。
2.根据权利要求1所述的一种基于无人机POS信息与图像SURF特征结合的图像拼接方法，其特征在于：主要分为六大环节：航拍图像预处理环节、航拍图像重叠区域计算环节、图像地理坐标计算环节、提取图像SURF特征环节、结合相邻图像SURF特征匹配点对修正地理坐标环节和图像融合环节；其中，结合相邻图像SURF特征匹配点对修正图像地理坐标是本方法的创新层；
S1航拍图像预处理：
在预处理几何矫正的过程中，需要依次建立的坐标系为：地球坐标系，地理坐标系，机体坐标系，光电平台坐标系，相机坐标系；传统校正的具体步骤如下：设光电平台坐标系到数码相机坐标系的变换矩阵为R1，由机体坐标系到光电平台坐标系的变换矩阵为R2，由地理坐标系到机体坐标系的变换矩阵为R3，由大地坐标系到空间直角坐标系的变换矩阵为R4，则有：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>R</mi> <mn>1</mn> <mo>=</mo> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;beta;</mi> <mi>P</mi> </msub> <mo>)</mo> </mrow> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>P</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>R</mi> <mn>2</mn> <mo>=</mo> <mi>R</mi> <mrow> <mo>(</mo> <mi>&amp;chi;</mi> <mo>)</mo> </mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>&amp;omega;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>R</mi> <mn>3</mn> <mo>=</mo> <msub> <mi>R</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;beta;</mi> <mo>)</mo> </mrow> <msub> <mi>R</mi> <mi>z</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <msub> <mi>R</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <mn>90</mn> <mo>-</mo> <mi>&amp;lambda;</mi> <mo>)</mo> </mrow> <msub> <mi>R</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <mn>90</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>R</mi> <mn>4</mn> <mo>=</mo> <msup> <msub> <mi>R</mi> <mi>x</mi> </msub> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mo>-</mo> <mo>(</mo> <mn>90</mn> <mo>-</mo> <mi>B</mi> <mo>)</mo> </mrow> <mo>)</mo> <msup> <msub> <mi>R</mi> <mi>z</mi> </msub> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mn>90</mn> <mo>+</mo> <mi>L</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中Rx(λ)Ry(λ)Rz(λ)分别为绕x轴、y轴、z轴的旋转的旋转矩阵，其中αP为像元扫描角，βP为像元偏角，χ为方位角，ω为平台滚动角，β为飞机横滚角，θ为航向角，B为经度，L为纬度，H为高度；因此从相机坐标系(Xc，Yc，Zc)到大地坐标系(Xe，Ye，Ze)之间的转换用如下关系表示：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> <mi>e</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> <mi>e</mi> </mtd> </mtr> <mtr> <mtd> <mi>Z</mi> <mi>e</mi> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msup> <msub> <mi>R</mi> <mn>1</mn> </msub> <mi>T</mi> </msup> <msup> <msub> <mi>R</mi> <mn>2</mn> </msub> <mi>T</mi> </msup> <msup> <msub> <mi>R</mi> <mn>3</mn> </msub> <mi>T</mi> </msup> <msup> <msub> <mi>R</mi> <mn>4</mn> </msub> <mi>T</mi> </msup> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> <mi>c</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> <mi>c</mi> </mtd> </mtr> <mtr> <mtd> <mi>Z</mi> <mi>c</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
常规几何矫正由式(2)逐像素点进行计算和采样；本方法针对是的单一航带进行拼接，且无人机平台横滚角和俯仰角比较小时即垂直向下拍摄时认为图像分辨率是一致的，几何矫正只对水平方向上的飞机航向角和平台方位角进行校正；矫正模型如下所示：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> <mi>e</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> <mi>e</mi> </mtd> </mtr> <mtr> <mtd> <mi>Z</mi> <mi>e</mi> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msup> <mi>R</mi> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mi>&amp;chi;</mi> <mo>+</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> <mi>c</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> <mi>c</mi> </mtd> </mtr> <mtr> <mtd> <mi>Z</mi> <mi>c</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中χ为方位角，θ为航向角，RT(χ+θ)为变换矩阵，完成模型转换后再通过双线性差值重采样方法计算出像元在新的坐标系下的灰度值，从而生成新的图像矩阵，完成几何矫正；
S2：航拍图像重叠区域计算
1)假设无人机航线为偏离正北的角度为θ，其航速为V，将速度分解为正北方向上和正东方向上两个方向上的分量；分别表示为V1和V2；
2)连续拍摄相邻两张曝光点的图像分别编号为Pic1和Pic2，间隔时间为t，根据POS航迹文件得到两张图片的中心点经纬度，分别记为LatA、LonA、LatB、LonB，则有：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>C</mi> <mo>=</mo> <mi>sin</mi> <mrow> <mo>(</mo> <mi>L</mi> <mi>a</mi> <mi>t</mi> <mi>A</mi> <mo>)</mo> </mrow> <mo>*</mo> <mi>sin</mi> <mrow> <mo>(</mo> <mi>L</mi> <mi>a</mi> <mi>t</mi> <mi>B</mi> <mo>)</mo> </mrow> <mo>*</mo> <mi>cos</mi> <mrow> <mo>(</mo> <mi>L</mi> <mi>o</mi> <mi>n</mi> <mi>A</mi> <mo>-</mo> <mi>L</mi> <mi>o</mi> <mi>n</mi> <mi>B</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>cos</mi> <mrow> <mo>(</mo> <mi>L</mi> <mi>a</mi> <mi>t</mi> <mi>A</mi> <mo>)</mo> </mrow> <mo>*</mo> <mi>cos</mi> <mrow> <mo>(</mo> <mi>L</mi> <mi>a</mi> <mi>t</mi> <mi>B</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>L</mi> <mo>=</mo> <mi>R</mi> <mo>*</mo> <mi>A</mi> <mi>r</mi> <mi>c</mi> <mi>cos</mi> <mrow> <mo>(</mo> <mi>C</mi> <mo>)</mo> </mrow> <mo>*</mo> <mi>P</mi> <mi>i</mi> <mo>/</mo> <mn>180</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中R＝6371.004千米，pi取3.1415926，C为两张图片中心点之间的经纬度夹角，L为计算出来的两点的实际距离；
3)以pic1作为基准，pic2与pic1之间的重叠区域表示为矩形区域S，将其重叠区域扩大定义到规则区域，将重叠区域顶点投影到x和y方向上则表示为：
S＝(W-P1)(H-P2) (5)
其中W和H为矩形区域的宽和高，P1和P2在图中所标长度；
通过计算重叠区域减少拼接的计算量，并且随着特征点的寻找面积越小，可能出现的误匹配概率就越小，提高检测的效率；
S3:图像的地理坐标计算：对于几何纠正过的航拍图像，航拍图像的每点像素坐标都有对应的地理坐标，无人机飞行时候的携带的POS信息记录了当前曝光点图像的飞机的经纬度以及飞机的高度、翻滚角、俯仰角、航向角信息为计算地理坐标所用，图像的地理坐标的计算过程分为以下几步：
1)计算地面分辨率，计算公式如下：
<mrow> <mi>G</mi> <mi>S</mi> <mi>D</mi> <mo>=</mo> <mfrac> <mrow> <mi>H</mi> <mo>*</mo> <mi>P</mi> </mrow> <mi>f</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中GSD表示地面分辨率，m；f为镜头焦距，mm；P为成像传感器的像元尺寸，mm；H为无人机对应的航高，m；
2)计算图像对角线实际地面距离：
<mrow> <mi>L</mi> <mo>=</mo> <msqrt> <mrow> <msup> <mi>w</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>h</mi> <mn>2</mn> </msup> </mrow> </msqrt> <mo>*</mo> <mi>G</mi> <mi>S</mi> <mi>D</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中w和h为图像的宽度和高度，L为图像对角线之间的实际距离；
3)计算图像四角点地理坐标，根据图像中心点经纬度及另一点相对中心点的距离及方向角，求得以图像中点为圆心，半径为L/2的对应四角点地理坐标；具体计算公式为：
<mrow> <msub> <mi>Lon</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>L</mi> <mi>sin</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mn>2</mn> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mi>j</mi> </msub> <mo>+</mo> <mo>(</mo> <msub> <mi>R</mi> <mi>c</mi> </msub> <mo>-</mo> <msub> <mi>R</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>*</mo> <mrow> <mo>(</mo> <mn>90</mn> <mo>-</mo> <msub> <mi>Lat</mi> <mi>a</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mn>90</mn> <mo>)</mo> <mo>*</mo> <mi>cos</mi> <mrow> <mo>(</mo> <mi>L</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>+</mo> <msub> <mi>Lon</mi> <mi>a</mi> </msub> <mo>)</mo> <mo>*</mo> <mn>180</mn> </mrow> <mrow> <mi>p</mi> <mi>i</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>Lat</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>L</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mn>2</mn> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mi>j</mi> </msub> <mo>+</mo> <mo>(</mo> <msub> <mi>R</mi> <mi>c</mi> </msub> <mo>-</mo> <msub> <mi>R</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>*</mo> <mrow> <mo>(</mo> <mn>90</mn> <mo>-</mo> <msub> <mi>Lat</mi> <mi>a</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mn>90</mn> <mo>)</mo> </mrow> </mfrac> <mo>+</mo> <msub> <mi>Lat</mi> <mi>a</mi> </msub> <mo>)</mo> <mo>*</mo> <mn>180</mn> </mrow> <mrow> <mi>p</mi> <mi>i</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中θi∈(0,2pi)，LonaLata为图像中心点的经纬度，Ri为赤道半径取6378137m，Rj为极半径取6356725m，pi取3.1415925；
4)地理坐标转换到空间之间坐标系之间的转换，转换公式如下：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>s</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>s</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>s</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mo>(</mo> <mi>N</mi> <mo>+</mo> <mi>H</mi> <mo>)</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>L</mi> <mi>o</mi> <mi>n</mi> <mo>)</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>L</mi> <mi>a</mi> <mi>t</mi> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <mo>(</mo> <mi>N</mi> <mo>+</mo> <mi>H</mi> <mo>)</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>L</mi> <mi>o</mi> <mi>n</mi> <mo>)</mo> <mi>sin</mi> <mo>(</mo> <mi>L</mi> <mi>a</mi> <mi>t</mi> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <mo>&amp;lsqb;</mo> <mi>N</mi> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <mi>e</mi> <mn>2</mn> </msup> <mo>)</mo> <mo>+</mo> <mi>H</mi> <mo>&amp;rsqb;</mo> <mi>sin</mi> <mi> </mi> <mi>L</mi> <mi>o</mi> <mi>n</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中N为曲率半径，Lon、Lat、H为图像上任一点的经度、纬度和高度，将图像转换到空间坐标系，至此得到完整的图像坐标；
S4:图像的SURF特征提取：
SURF采用近似Hessian矩阵检测特征点，并使用积分图像进行卷积运算，减少运算从而提高特征提取速度；SURF描述子包含两个部分：检测特征点和计算特征；具体实现分为以下几步：
1)构建Hessian矩阵，构造尺度空间；
假设图像上某点为X(x，y)，在σ尺度下的矩阵M定义为：
<mrow> <mi>M</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>x</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>x</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msub> <mi>L</mi> <mrow> <mi>y</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
其中Lxx是高斯滤波二阶导同X卷积的结果，Lxy等的含义类似，σ为空间尺度；当Hessian矩阵的的判别式取得局部极大值时，认为定位到关键点的位置；
2)检测特征点
在得到的尺度空间中，将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤去除能量弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；
3)确定特征点主方向
以特征点为圆心，以6σ为半径，求XY方向上的Haar小波响应，统计60度扇形内所有点的水平haar小波特征和垂直haar小波特征总和，并设置haar小波的尺寸变长为4s，使得每个扇形都得到了对应值；然后将60度扇形以一定间隔进行旋转，最后将锁定最大值扇形的方向作为该特征点的主方向；
4)计算特征描述符
在特征点周围取一个正方形框，然后把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的，所以每个特征点就是16*4＝64维的向量；
S5:利用相邻图像特征匹配点对修正地理坐标
由于POS精度低以及几何校正中存在一定的误差，计算出的坐标映射关系有一定的误差，此时利用特征匹配算法去修正图像的地理坐标，具体过程如下：
假设图像1的地理坐标为P1(x1，y1),图像2的地理坐标为P2(x2，y2)，提取图像特征匹、配对后则得到同一个点在不同两张图像间的像素坐标位置，由此得到两张图像中同一个目标点的经纬度坐标(Lon1，Lat1)(Lon2，Lat2)，最后以第一张图像地理坐标为基准，求得第二张图像中目标点与第一张图像之间的偏移量，公式如下：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>x</mi> <mo>=</mo> <mi>L</mi> <mi>o</mi> <mi>n</mi> <mn>2</mn> <mo>-</mo> <mi>L</mi> <mi>o</mi> <mi>n</mi> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>y</mi> <mo>=</mo> <mi>L</mi> <mi>a</mi> <mi>t</mi> <mn>2</mn> <mo>-</mo> <mi>L</mi> <mi>a</mi> <mi>t</mi> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
然后用求得的偏移量去修正图像2的地理坐标P2：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>x</mi> <mn>2</mn> <mo>=</mo> <mi>x</mi> <mn>2</mn> <mo>+</mo> <mi>x</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>y</mi> <mn>2</mn> <mo>=</mo> <mi>y</mi> <mn>2</mn> <mo>+</mo> <mi>y</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
然后将地理坐标投图到空间直角坐标系下，从而完成图像精确的配准，得到修正坐标后的图像；
S5图像融合策略
对于修正坐标后的图像，由于每张图像之间有一定的痕迹，因此需要采用一些策略来解决拼接缝隙之间的颜色过渡差异较大的问题，使拼接图像更加平滑自然，渐入渐出自适应权重融合过程如下所示：
假设I1、I2、I分别为融合前图像1、图像2和融合后的图像3，则通过公式(11)，完成图像融合，
式中，W是两幅不同画面重复的总宽度；w是重合区域左边缘与当前像素点之间的横向距离。
CN201711132452.5A 2017-11-15 2017-11-15 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 Pending CN107808362A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711132452.5A CN107808362A (zh) 2017-11-15 2017-11-15 一种基于无人机pos信息与图像surf特征结合的图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711132452.5A CN107808362A (zh) 2017-11-15 2017-11-15 一种基于无人机pos信息与图像surf特征结合的图像拼接方法

Publications (1)

Publication Number Publication Date
CN107808362A true CN107808362A (zh) 2018-03-16

Family

ID=61580456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711132452.5A Pending CN107808362A (zh) 2017-11-15 2017-11-15 一种基于无人机pos信息与图像surf特征结合的图像拼接方法

Country Status (1)

Country Link
CN (1) CN107808362A (zh)

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965855A (zh) * 2018-07-12 2018-12-07 深圳超多维科技有限公司 一种立体投影方法、装置、设备及存储介质
CN109238240A (zh) * 2018-10-22 2019-01-18 武汉大势智慧科技有限公司 一种顾及地形的无人机倾斜摄影方法及其摄影***
CN109325913A (zh) * 2018-09-05 2019-02-12 北京悦图遥感科技发展有限公司 无人机图像拼接方法及装置
CN109461121A (zh) * 2018-11-06 2019-03-12 中国林业科学研究院资源信息研究所 一种基于并行计算算法的图像融合拼接方法
CN109472752A (zh) * 2018-10-30 2019-03-15 北京工业大学 基于航拍图像的多曝光融合***
CN109544455A (zh) * 2018-11-22 2019-03-29 重庆市勘测院 一种超长高清实景长卷无缝融合方法
CN109712071A (zh) * 2018-12-14 2019-05-03 电子科技大学 基于航迹约束的无人机图像拼接与定位方法
CN109782786A (zh) * 2019-02-12 2019-05-21 上海戴世智能科技有限公司 一种基于图像处理的定位方法和无人机
CN109858527A (zh) * 2019-01-09 2019-06-07 北京全路通信信号研究设计院集团有限公司 一种图像融合方法
CN110033411A (zh) * 2019-04-12 2019-07-19 哈尔滨工业大学 基于无人机的公路施工现场全景图像高效拼接方法
CN110084743A (zh) * 2019-01-25 2019-08-02 电子科技大学 基于多航带起始航迹约束的图像拼接与定位方法
CN110097498A (zh) * 2019-01-25 2019-08-06 电子科技大学 基于无人机航迹约束的多航带图像拼接与定位方法
CN110111250A (zh) * 2019-04-11 2019-08-09 中国地质大学（武汉） 一种鲁棒的自动全景无人机图像拼接方法及装置
CN110223233A (zh) * 2019-06-11 2019-09-10 西北工业大学 一种基于图像拼接的无人机航拍建图方法
CN110473236A (zh) * 2019-06-25 2019-11-19 上海圭目机器人有限公司 一种道面图像检测用相机的偏置位置的测量方法
CN110490830A (zh) * 2019-08-22 2019-11-22 中国农业科学院农业信息研究所 一种农业遥感图像校正方法及***
CN110596740A (zh) * 2019-09-29 2019-12-20 中国矿业大学(北京) 一种适用于地质勘查的快速定位方法
CN110738599A (zh) * 2019-10-14 2020-01-31 北京百度网讯科技有限公司 图像拼接方法、装置、电子设备及存储介质
CN110910432A (zh) * 2019-12-09 2020-03-24 珠海大横琴科技发展有限公司 一种遥感图像匹配方法、装置、电子设备及可读存储介质
CN110992261A (zh) * 2019-11-15 2020-04-10 国网福建省电力有限公司漳州供电公司 一种输电线路无人机影像快速拼接的方法
CN111383205A (zh) * 2020-03-11 2020-07-07 西安应用光学研究所 一种基于特征点和三维模型的图像融合定位方法
CN111401385A (zh) * 2020-03-19 2020-07-10 成都理工大学 一种图像局部拓扑结构特征描述符的相似度计算方法
CN111507901A (zh) * 2020-04-15 2020-08-07 中国电子科技集团公司第五十四研究所 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN111510684A (zh) * 2020-04-24 2020-08-07 安徽比特文化传媒有限公司 一种vr辅助航拍的方法
CN111583110A (zh) * 2020-04-24 2020-08-25 华南理工大学 一种航拍图像的拼接方法
CN111583312A (zh) * 2019-12-26 2020-08-25 珠海大横琴科技发展有限公司 一种遥感图像精准匹配方法、装置、电子设备及存储介质
CN111612828A (zh) * 2019-12-27 2020-09-01 珠海大横琴科技发展有限公司 一种遥感图像纠正匹配方法、装置、电子设备及存储介质
CN111640142A (zh) * 2019-12-25 2020-09-08 珠海大横琴科技发展有限公司 一种遥感图像多特征匹配方法、装置及电子设备
CN111639662A (zh) * 2019-12-23 2020-09-08 珠海大横琴科技发展有限公司 一种遥感图像双向匹配方法、装置、电子设备及存储介质
CN111652915A (zh) * 2019-12-09 2020-09-11 珠海大横琴科技发展有限公司 一种遥感图像的重叠区域计算方法、装置及电子设备
CN111667405A (zh) * 2019-03-06 2020-09-15 西安邮电大学 图像拼接方法及装置
CN111681190A (zh) * 2020-06-18 2020-09-18 深圳天海宸光科技有限公司 一种全景视频高精度坐标映射方法
CN112163995A (zh) * 2020-09-07 2021-01-01 中山大学 一种超大航拍条带图像的拼接生成方法及装置
CN112184703A (zh) * 2020-10-27 2021-01-05 广东技术师范大学 基于时空回溯的玉米穗期无人机图像对齐方法与***
CN112215304A (zh) * 2020-11-05 2021-01-12 珠海大横琴科技发展有限公司 一种用于地理影像拼接的灰度影像匹配方法及装置
CN112288634A (zh) * 2020-10-29 2021-01-29 江苏理工学院 一种多无人机航拍图像的拼接方法及装置
CN112414375A (zh) * 2020-10-08 2021-02-26 武汉大学 一种面向洪涝灾害应急快拼图制作的无人机影像姿态恢复方法
CN112799430A (zh) * 2021-01-13 2021-05-14 东南大学 基于可编程无人机的路面图像智能采集方法
CN112837378A (zh) * 2021-02-03 2021-05-25 江南大学 一种基于多无人机编队的航拍相机姿态外部动态标定以及测绘方法
CN113012047A (zh) * 2021-03-26 2021-06-22 广州市赋安电子科技有限公司 动态摄像头坐标映射建立方法、装置及可读存储介质
WO2021120389A1 (zh) * 2019-12-19 2021-06-24 广州启量信息科技有限公司 一种用于空中全景漫游数据的坐标转换方法及装置
CN113099266A (zh) * 2021-04-02 2021-07-09 云从科技集团股份有限公司 基于无人机pos数据的视频融合方法、***、介质及装置
CN113191946A (zh) * 2021-03-02 2021-07-30 中国人民解放军空军航空大学 航空三步进面阵图像拼接方法
CN113570720A (zh) * 2021-08-04 2021-10-29 西安万飞控制科技有限公司 一种基于gis技术的无人机视频石油管线实时显示方法及***
CN113706389A (zh) * 2021-09-30 2021-11-26 中国电子科技集团公司第五十四研究所 一种基于pos校正的图像拼接方法
CN113706723A (zh) * 2021-08-23 2021-11-26 维沃移动通信有限公司 图像处理方法和装置
CN114202583A (zh) * 2021-12-10 2022-03-18 中国科学院空间应用工程与技术中心 一种无人机的视觉定位方法和***
CN114897966A (zh) * 2022-04-13 2022-08-12 深圳市路远智能装备有限公司 一种大元件的视觉识别方法
CN114999335A (zh) * 2022-06-10 2022-09-02 长春希达电子技术有限公司 基于超宽带、一维包络峰值的led拼接屏修缝方法
CN115393196A (zh) * 2022-10-25 2022-11-25 之江实验室 一种无人机面阵摆扫的红外多序列影像无缝拼接方法
CN115861050A (zh) * 2022-08-29 2023-03-28 如你所视(北京)科技有限公司 用于生成全景图像的方法、装置、设备和存储介质
CN117036666A (zh) * 2023-06-14 2023-11-10 北京自动化控制设备研究所 基于帧间图像拼接的无人机低空定位方法
CN117291980A (zh) * 2023-10-09 2023-12-26 宁波博登智能科技有限公司 一种基于深度学习的单张无人机图像像素定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732482A (zh) * 2015-03-30 2015-06-24 中国人民解放军63655部队 一种基于控制点的多分辨率图像拼接方法
CN105956058A (zh) * 2016-04-27 2016-09-21 东南大学 一种采用无人机遥感影像的变化用地快速发现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732482A (zh) * 2015-03-30 2015-06-24 中国人民解放军63655部队 一种基于控制点的多分辨率图像拼接方法
CN105956058A (zh) * 2016-04-27 2016-09-21 东南大学 一种采用无人机遥感影像的变化用地快速发现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王亚洲等: "基于无人机POS信息的拼接方法", 《地理国情监测云平台》 *

Cited By (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965855A (zh) * 2018-07-12 2018-12-07 深圳超多维科技有限公司 一种立体投影方法、装置、设备及存储介质
CN109325913A (zh) * 2018-09-05 2019-02-12 北京悦图遥感科技发展有限公司 无人机图像拼接方法及装置
CN109325913B (zh) * 2018-09-05 2022-12-16 北京悦图遥感科技发展有限公司 无人机图像拼接方法及装置
CN109238240A (zh) * 2018-10-22 2019-01-18 武汉大势智慧科技有限公司 一种顾及地形的无人机倾斜摄影方法及其摄影***
CN109238240B (zh) * 2018-10-22 2021-01-08 武汉大势智慧科技有限公司 一种顾及地形的无人机倾斜摄影方法及其摄影***
CN109472752A (zh) * 2018-10-30 2019-03-15 北京工业大学 基于航拍图像的多曝光融合***
CN109461121A (zh) * 2018-11-06 2019-03-12 中国林业科学研究院资源信息研究所 一种基于并行计算算法的图像融合拼接方法
CN109461121B (zh) * 2018-11-06 2022-11-04 中国林业科学研究院资源信息研究所 一种基于并行计算算法的图像融合拼接方法
CN109544455B (zh) * 2018-11-22 2023-05-02 重庆市勘测院 一种超长高清实景长卷无缝融合方法
CN109544455A (zh) * 2018-11-22 2019-03-29 重庆市勘测院 一种超长高清实景长卷无缝融合方法
CN109712071A (zh) * 2018-12-14 2019-05-03 电子科技大学 基于航迹约束的无人机图像拼接与定位方法
CN109712071B (zh) * 2018-12-14 2022-11-29 电子科技大学 基于航迹约束的无人机图像拼接与定位方法
CN109858527A (zh) * 2019-01-09 2019-06-07 北京全路通信信号研究设计院集团有限公司 一种图像融合方法
CN109858527B (zh) * 2019-01-09 2021-08-24 北京全路通信信号研究设计院集团有限公司 一种图像融合方法
CN110084743B (zh) * 2019-01-25 2023-04-14 电子科技大学 基于多航带起始航迹约束的图像拼接与定位方法
CN110084743A (zh) * 2019-01-25 2019-08-02 电子科技大学 基于多航带起始航迹约束的图像拼接与定位方法
CN110097498A (zh) * 2019-01-25 2019-08-06 电子科技大学 基于无人机航迹约束的多航带图像拼接与定位方法
CN109782786A (zh) * 2019-02-12 2019-05-21 上海戴世智能科技有限公司 一种基于图像处理的定位方法和无人机
CN109782786B (zh) * 2019-02-12 2021-09-28 上海戴世智能科技有限公司 一种基于图像处理的定位方法和无人机
CN111667405A (zh) * 2019-03-06 2020-09-15 西安邮电大学 图像拼接方法及装置
CN110111250A (zh) * 2019-04-11 2019-08-09 中国地质大学（武汉） 一种鲁棒的自动全景无人机图像拼接方法及装置
CN110033411A (zh) * 2019-04-12 2019-07-19 哈尔滨工业大学 基于无人机的公路施工现场全景图像高效拼接方法
CN110223233A (zh) * 2019-06-11 2019-09-10 西北工业大学 一种基于图像拼接的无人机航拍建图方法
CN110223233B (zh) * 2019-06-11 2022-04-05 西北工业大学 一种基于图像拼接的无人机航拍建图方法
CN110473236B (zh) * 2019-06-25 2022-03-15 上海圭目机器人有限公司 一种道面图像检测用相机的偏置位置的测量方法
CN110473236A (zh) * 2019-06-25 2019-11-19 上海圭目机器人有限公司 一种道面图像检测用相机的偏置位置的测量方法
CN110490830A (zh) * 2019-08-22 2019-11-22 中国农业科学院农业信息研究所 一种农业遥感图像校正方法及***
CN110490830B (zh) * 2019-08-22 2021-09-24 中国农业科学院农业信息研究所 一种农业遥感图像校正方法及***
CN110596740A (zh) * 2019-09-29 2019-12-20 中国矿业大学(北京) 一种适用于地质勘查的快速定位方法
CN110738599A (zh) * 2019-10-14 2020-01-31 北京百度网讯科技有限公司 图像拼接方法、装置、电子设备及存储介质
CN110738599B (zh) * 2019-10-14 2023-04-25 北京百度网讯科技有限公司 图像拼接方法、装置、电子设备及存储介质
CN110992261A (zh) * 2019-11-15 2020-04-10 国网福建省电力有限公司漳州供电公司 一种输电线路无人机影像快速拼接的方法
CN110910432A (zh) * 2019-12-09 2020-03-24 珠海大横琴科技发展有限公司 一种遥感图像匹配方法、装置、电子设备及可读存储介质
CN111652915A (zh) * 2019-12-09 2020-09-11 珠海大横琴科技发展有限公司 一种遥感图像的重叠区域计算方法、装置及电子设备
WO2021120389A1 (zh) * 2019-12-19 2021-06-24 广州启量信息科技有限公司 一种用于空中全景漫游数据的坐标转换方法及装置
CN111639662A (zh) * 2019-12-23 2020-09-08 珠海大横琴科技发展有限公司 一种遥感图像双向匹配方法、装置、电子设备及存储介质
CN111640142A (zh) * 2019-12-25 2020-09-08 珠海大横琴科技发展有限公司 一种遥感图像多特征匹配方法、装置及电子设备
CN111583312A (zh) * 2019-12-26 2020-08-25 珠海大横琴科技发展有限公司 一种遥感图像精准匹配方法、装置、电子设备及存储介质
CN111612828A (zh) * 2019-12-27 2020-09-01 珠海大横琴科技发展有限公司 一种遥感图像纠正匹配方法、装置、电子设备及存储介质
CN111383205A (zh) * 2020-03-11 2020-07-07 西安应用光学研究所 一种基于特征点和三维模型的图像融合定位方法
CN111383205B (zh) * 2020-03-11 2023-03-24 西安应用光学研究所 一种基于特征点和三维模型的图像融合定位方法
CN111401385B (zh) * 2020-03-19 2022-06-17 成都理工大学 一种图像局部拓扑结构特征描述符的相似度计算方法
CN111401385A (zh) * 2020-03-19 2020-07-10 成都理工大学 一种图像局部拓扑结构特征描述符的相似度计算方法
CN111507901B (zh) * 2020-04-15 2023-08-15 中国电子科技集团公司第五十四研究所 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN111507901A (zh) * 2020-04-15 2020-08-07 中国电子科技集团公司第五十四研究所 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN111583110A (zh) * 2020-04-24 2020-08-25 华南理工大学 一种航拍图像的拼接方法
CN111583110B (zh) * 2020-04-24 2023-05-23 华南理工大学 一种航拍图像的拼接方法
CN111510684A (zh) * 2020-04-24 2020-08-07 安徽比特文化传媒有限公司 一种vr辅助航拍的方法
CN111681190A (zh) * 2020-06-18 2020-09-18 深圳天海宸光科技有限公司 一种全景视频高精度坐标映射方法
CN112163995A (zh) * 2020-09-07 2021-01-01 中山大学 一种超大航拍条带图像的拼接生成方法及装置
CN112414375A (zh) * 2020-10-08 2021-02-26 武汉大学 一种面向洪涝灾害应急快拼图制作的无人机影像姿态恢复方法
CN112414375B (zh) * 2020-10-08 2021-09-03 武汉大学 一种面向洪涝灾害应急快拼图制作的无人机影像姿态恢复方法
CN112184703A (zh) * 2020-10-27 2021-01-05 广东技术师范大学 基于时空回溯的玉米穗期无人机图像对齐方法与***
CN112288634A (zh) * 2020-10-29 2021-01-29 江苏理工学院 一种多无人机航拍图像的拼接方法及装置
CN112215304A (zh) * 2020-11-05 2021-01-12 珠海大横琴科技发展有限公司 一种用于地理影像拼接的灰度影像匹配方法及装置
CN112799430A (zh) * 2021-01-13 2021-05-14 东南大学 基于可编程无人机的路面图像智能采集方法
CN112837378B (zh) * 2021-02-03 2024-04-30 江南大学 一种基于多无人机编队的航拍相机姿态外部动态标定以及测绘方法
CN112837378A (zh) * 2021-02-03 2021-05-25 江南大学 一种基于多无人机编队的航拍相机姿态外部动态标定以及测绘方法
CN113191946A (zh) * 2021-03-02 2021-07-30 中国人民解放军空军航空大学 航空三步进面阵图像拼接方法
CN113012047A (zh) * 2021-03-26 2021-06-22 广州市赋安电子科技有限公司 动态摄像头坐标映射建立方法、装置及可读存储介质
CN113099266B (zh) * 2021-04-02 2023-05-26 云从科技集团股份有限公司 基于无人机pos数据的视频融合方法、***、介质及装置
CN113099266A (zh) * 2021-04-02 2021-07-09 云从科技集团股份有限公司 基于无人机pos数据的视频融合方法、***、介质及装置
CN113570720A (zh) * 2021-08-04 2021-10-29 西安万飞控制科技有限公司 一种基于gis技术的无人机视频石油管线实时显示方法及***
CN113570720B (zh) * 2021-08-04 2024-02-27 西安万飞控制科技有限公司 一种基于gis技术的无人机视频石油管线实时显示方法及***
CN113706723A (zh) * 2021-08-23 2021-11-26 维沃移动通信有限公司 图像处理方法和装置
CN113706389A (zh) * 2021-09-30 2021-11-26 中国电子科技集团公司第五十四研究所 一种基于pos校正的图像拼接方法
CN113706389B (zh) * 2021-09-30 2023-03-28 中国电子科技集团公司第五十四研究所 一种基于pos校正的图像拼接方法
CN114202583A (zh) * 2021-12-10 2022-03-18 中国科学院空间应用工程与技术中心 一种无人机的视觉定位方法和***
CN114897966B (zh) * 2022-04-13 2024-04-09 深圳市路远智能装备有限公司 一种大元件的视觉识别方法
CN114897966A (zh) * 2022-04-13 2022-08-12 深圳市路远智能装备有限公司 一种大元件的视觉识别方法
CN114999335A (zh) * 2022-06-10 2022-09-02 长春希达电子技术有限公司 基于超宽带、一维包络峰值的led拼接屏修缝方法
CN114999335B (zh) * 2022-06-10 2023-08-15 长春希达电子技术有限公司 基于超宽带、一维包络峰值的led拼接屏修缝方法
CN115861050A (zh) * 2022-08-29 2023-03-28 如你所视(北京)科技有限公司 用于生成全景图像的方法、装置、设备和存储介质
CN115393196B (zh) * 2022-10-25 2023-03-24 之江实验室 一种无人机面阵摆扫的红外多序列影像无缝拼接方法
CN115393196A (zh) * 2022-10-25 2022-11-25 之江实验室 一种无人机面阵摆扫的红外多序列影像无缝拼接方法
CN117036666A (zh) * 2023-06-14 2023-11-10 北京自动化控制设备研究所 基于帧间图像拼接的无人机低空定位方法
CN117036666B (zh) * 2023-06-14 2024-05-07 北京自动化控制设备研究所 基于帧间图像拼接的无人机低空定位方法
CN117291980B (zh) * 2023-10-09 2024-03-15 宁波博登智能科技有限公司 一种基于深度学习的单张无人机图像像素定位方法
CN117291980A (zh) * 2023-10-09 2023-12-26 宁波博登智能科技有限公司 一种基于深度学习的单张无人机图像像素定位方法

Similar Documents

Publication Publication Date Title
CN107808362A (zh) 一种基于无人机pos信息与图像surf特征结合的图像拼接方法
CN110966991B (zh) 一种无控制点下的单幅无人机影像定位方法
CN104408689B (zh) 基于全景影像的街景面片优化方法
US8315477B2 (en) Method and apparatus of taking aerial surveys
CN104835115A (zh) 用于航空相机的图像成像方法及***
CN108765298A (zh) 基于三维重建的无人机图像拼接方法和***
CN106023086A (zh) 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN113222820B (zh) 一种位姿信息辅助的航空遥感图像拼接方法
CN106373088A (zh) 大倾斜低重叠率航空图像的快速拼接方法
CN105550994A (zh) 一种基于卫星影像的无人机影像快速概略拼接方法
CN109325913A (zh) 无人机图像拼接方法及装置
Liu et al. A new approach to fast mosaic UAV images
Moussa et al. A fast approach for stitching of aerial images
Sai et al. Geometric accuracy assessments of orthophoto production from uav aerial images
CN110160503B (zh) 一种顾及高程的无人机景观匹配定位方法
CN112750075A (zh) 一种低空遥感影像拼接方法以及装置
Zhou et al. Automatic orthorectification and mosaicking of oblique images from a zoom lens aerial camera
KR102389762B1 (ko) 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 인식 시스템 및 그 방법
CN117036666B (zh) 基于帧间图像拼接的无人机低空定位方法
JP2023530449A (ja) 空中と地上の位置合わせのためのシステムおよび方法
Lee et al. Georegistration of airborne hyperspectral image data
Božić-Štulić et al. Complete model for automatic object detection and localisation on aerial images using convolutional neural networks
Wang et al. Automated mosaicking of UAV images based on SFM method
CN110940318A (zh) 航空遥感实时成像方法、电子设备以及存储介质
CN116124094A (zh) 基于无人机侦察图像与组合导航信息的多目标协同定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180316