CN113191946B - 航空三步进面阵图像拼接方法 - Google Patents

航空三步进面阵图像拼接方法 Download PDF

Info

Publication number
CN113191946B
CN113191946B CN202110230020.8A CN202110230020A CN113191946B CN 113191946 B CN113191946 B CN 113191946B CN 202110230020 A CN202110230020 A CN 202110230020A CN 113191946 B CN113191946 B CN 113191946B
Authority
CN
China
Prior art keywords
image
coordinates
point
points
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110230020.8A
Other languages
English (en)
Other versions
CN113191946A (zh
Inventor
孙文邦
岳广
李铜哨
张星铭
白新伟
吴迪
杨帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA AIR FORCE AVIATION UNIVERSITY
Original Assignee
PLA AIR FORCE AVIATION UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA AIR FORCE AVIATION UNIVERSITY filed Critical PLA AIR FORCE AVIATION UNIVERSITY
Priority to CN202110230020.8A priority Critical patent/CN113191946B/zh
Publication of CN113191946A publication Critical patent/CN113191946A/zh
Application granted granted Critical
Publication of CN113191946B publication Critical patent/CN113191946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种航空三步进面阵图像拼接方法，属于图像处理技术领域。本发明的目的是对每张图像拍摄位置坐标的确定，继而可以完成三步进画幅图像粗拼接，再进一步进行坐标微调，完成精拼接的航空三步进面阵图像拼接方法。本发明结合地理信息进行图像拼接、结合特征匹配进行坐标微调、特征检测与匹配、利用匹配对进行坐标微调。本发明算法实现了对三步进图像的无缝拼接，解决了传统算法对三步进图像拼接难以处理的问题，通过对比依靠地理位置信息拼接的图像，该方法具有更好的拼接效果，且明显优于依靠地理信息拼接的方法。

Description

航空三步进面阵图像拼接方法
技术领域
本发明属于图像处理技术领域。
背景技术
航空遥感目前被广泛应用于种植农业、军事侦察、灾害探测等领域，然而受飞行高度和相机视场角的限制，遥感图像视场较小，能照射到的区域范围有限。为了对大目标区域进行全局把握、了解，一般需要多条带或多次成像，然后将多张遥感图像拼接为整幅宽视野图像。
当图像条带增加时，给图像拼接也带来了一定难题。随着条带数量增加，图像间的重叠关系增多，图像匹配关系变得复杂。对多条带图像拼接问题的解决方案主要可以分为基于特征匹配的方法和基于POS(Position and Orientation System)数据的方法。
在基于特征点的拼接方法中，许越等构建了多条带拼接模型，分析了俯仰、翻滚对重叠域的影响，但是该法考虑要素较少，不适用于航空图像。石硕崇等阐述了海洋测绘中的困难，并提出了限制因素，但航空遥感精度达不到测绘水平，适用性不强。在采用机载POS数据进行拼接的方法中，韩文超利用POS数据和特征匹配的方法，完成序列图像拼接，但该法只适用于单条带的图像拼接。徐秋辉通过POS数据结合特征匹配的方法，完成了多条带图像拼接，但实验中未考虑条带间图像的配准关系，拼接效果不佳。Ruizhe Shao提出根据位置和姿态参数，推算下一时刻无人机遥感图像位置，确定条带间图像重叠区域，利用重叠区域中的匹配点对，快速、准确地确定对匹配对位置，该法减少了时间消耗但对数据精度要求较高。
利用上述方法处理由三步进得到的多条带图像时，发现上述文章大部分都不能较好地解决三并列图像拼接问题且对多条带图像拼接效果不理想，由于上述方法考虑到的影响因素较少，导致多条带图像拼接出现错位。
发明内容
本发明的目的是对每张图像拍摄位置坐标的确定，继而可以完成三步进画幅图像粗拼接，再进一步进行坐标微调，完成精拼接的航空三步进面阵图像拼接方法。
本发明步骤是：
S1、结合地理信息进行图像拼接：为了完成结合地理信息的图像粗拼接，需要通过寻找图像中像底点与地面地底点位置坐标；
1、像底点坐标确定：像底点C是过摄影中心S作地平面的垂线与像平面的交点，像底点位于像平面内，表现形式为像点坐标，当像底点C在图像上时，通过记录每张图像的边缘max点，即可求得像底点坐标；当像底点C点不在图像上时，需要构建新图像将像底点C点包含在内并对该坐标进行相应记录；
2、地底点位置坐标确定：
利用下式(1)和式(2)分别获得子午线上各纬度间弧长和平行圈上经度间弧长
Figure RE-GDA0003121032230000011
SB＝ΔLN0cosB0 (2)
其中，ΔB＝B-B0，Mm为Bm处的子午线曲率半径，Bm为B和B0的平均纬度，e′为椭球第二偏心率，ΔL＝L-L0，N0表示卯酉圈曲率半径；
利用上述所求得的经纬度差对应的弧长距离，计算欧式距离作为两地底点间相对距离，当航向方向确定时，两地底点间的相对方向也确定，由此，基于经纬度信息计算出各地底点间的位置及距离关系；
S2、结合特征匹配进行坐标微调
通过在图像重叠区域间进行特征检测并匹配，剔除误匹配对后，根据三步进图像成像的特点，选择坐标微调策略，将匹配正确的特征点用于坐标微调，以纠正POS数据带来的误差；
S3、特征检测与匹配
在重叠区域内提取SIFT特征点，完成特征检测后，将特征点进行特征匹配，剔除误匹配对；
S4、利用匹配对进行坐标微调
剔除误匹配对后，记录下当前状态下各特征点位置坐标，通过像底点与地底点的嵌套，使得图像中特征点坐标一同嵌套至地面点坐标，并记录为新图像下的坐标，通过式(3)得到了需要微调的坐标值
Figure RE-GDA0003121032230000021
式中，(Δrl，Δcl)表示中央条带特征匹配点与左侧条带特征匹配点的距离，(Δrr，Δcr) 表示中央条带特征匹配点与右侧条带特征匹配点的距离；
S5、得到的微调值并非为单一值，为了保证微调值的精准度，将以上求得的若干个微调值进行筛选，在阈值范围内计算各微调值的累积频率，取累积频率最大值对应的微调值作为最终微调值；完成周期图像坐标微调后，然后进行条带间图像坐标微调，在进行条带间图像微调时，以中间周期图像为基准图像，使得上下两侧周期图像进行微调，由此完成了图像精拼接。
本发明针对目前对三步进图像拼接效果不好的问题，提出了三步进图像拼接的新方法。实验结果表明，本发明算法实现了对三步进图像的无缝拼接，解决了传统算法对三步进图像拼接难以处理的问题，通过对比依靠地理位置信息拼接的图像，该方法具有更好的拼接效果，且明显优于依靠地理信息拼接的方法。
附图说明
图1是像底点与地底点位置关系图；
图2是几何校正后的寻找像底点图像与坐标***间的关系图；
图3是相机安装倾角过大时坐标位置关系图；
图4是几何校正后的像底点不在图像上图像与坐标***间的关系图；
图5是中央条带和左侧条带相应匹配点的坐标图；
图6是坐标微调策略图；
图7是通过式(12)和式(13)计算地面上机下点间相对距离绘制飞行航迹图；
图8是像底点位置图；
图9是基于地理位置坐标拼接图像；
图10是精拼接图像；
图11是对比坐标微调前后的结果图。
具体实施方式
利用POS数据中经纬度信息，可以实现对每张图像拍摄位置坐标的确定，继而可以完成三步进画幅图像粗拼接。由于差分GPS***获得的经纬度数据精度不高，利用该数据完成的粗拼接有明显的误差，由此进一步进行坐标微调，完成精拼接。
1、结合地理信息进行图像拼接
差分GPS***记录了航空图像拍摄瞬间的位置，表现形式为经纬度坐标。如图1所示，当图像成像时，由差分GPS记录的经纬度坐标为计划坐标系中地底点(D点)位置。地底点为飞机拍摄瞬间摄影中心S正下方且位于地平面上的点。为了完成结合地理信息的图像粗拼接，需要通过寻找图像中像底点与地面地底点位置坐标，在统一的地面分辨率下，将两点信息进行嵌套，即可完成拼接。
1.1像底点坐标确定
图1中C点为像底点。像底点是过摄影中心S作地平面的垂线与像平面的交点。像底点位于像平面内，表现形式为像点坐标。经几何校正后像底点坐标发生了变化，为了确定像底点坐标的位置，需要在校正后图像中寻找。
如图2所示，图像中展示了几何校正后的图像与坐标***间的关系。
图2中，O-cr为数字图像显示坐标***。C-XY为数字图像运算坐标***，由于在几何校正过程将图像方向旋转至真航向方向，因此X轴指向真北方向，Y轴垂直于X轴向右。图中C表示为像底点，完成图像几何校正，记录图像四个顶点坐标，通过观察图2可以发现， O点相对于数字图像运算坐标系的坐标等同于C点相对于数字图像显示的坐标。通过记录每张图像的边缘max点，即可求得像底点坐标。
然而当成像模式为三步进时，左右相机安装倾角的大小将会影响像底点是否存在图像上。如图3所示，当相机安装倾角过大时，像底点存在于像平面内而不在图像上。
在这种情况下，几何校正后的图像与坐标***间的关系如图4所示。像底点C坐标求解与上述方法一致。然而在构建数字图像显示坐标***时需要考虑C点坐标是否存在于图像上。当C点不在图像上时，需要构建新图像将C点包含在内并对该坐标进行相应记录，以便后期使用该点坐标。
1.2地底点位置坐标确定
图1中D点为地底点。由POS***记录当前地底点的表现形式为经纬度坐标。在图像拼接中，计算图像与图像间的距离及方向信息，即可确定图像位置。
通过POS***记录的经纬度坐标，确定各点间的位置关系。首先利用下式1、2可以分别计算各经纬度间弧长。
Figure RE-GDA0003121032230000031
SB＝ΔLN0 cosB0 (2)
其中，ΔB＝B-B0，Mm为Bm处的子午线曲率半径，Bm为B和B0的平均纬度，e′为椭球第二偏心率，ΔL＝L-L0，N0表示卯酉圈曲率半径。
通过式1，可以计算子午线上各纬度间弧长，当子午线很短时，如子午线两端纬差ΔB<20′，精确到0.001米，可将子午线视为圆弧，其曲率半径采用两端平均纬度处子午圈曲率半径。同理，通过式2，可以计算平行圈上经度间弧长。
利用上述所求得的经纬度差对应的弧长距离，计算欧式距离作为两地底点间相对距离。当航向方向确定时，两地底点间的相对方向也确定。由此，基于经纬度信息可以计算出各地底点间的位置及距离关系。
将寻找到的像底点坐标与对应的地底点坐标进行嵌套，即可完成基于地理信息的图像拼接。
2、结合特征匹配进行坐标微调
仅利用位置坐标进行图像拼接时，对POS***记录数据精度要求很高。在处理POS***精度不高的图像数据时，仍需要进一步进行精拼接。
利用特征匹配可以解决上述问题。通过在图像重叠区域间进行特征检测并匹配，剔除误匹配对后，根据三步进图像成像的特点，选择坐标微调策略，将匹配正确的特征点用于坐标微调，以纠正POS数据带来的误差。
2.1特征检测与匹配
SIFT特征点对图像平移、旋转、缩放具有不变性，对光线变化、噪声、仿射变化有着较强的鲁棒性。因为SIFT特征点比较明显，所以依据这些点辨别图像准确率较高。为提高SIFT算法运算效率，需要在重叠区域内提取特征点。完成特征检测后，将特征点进行特征匹配，剔除误匹配对。
2.2利用匹配对进行坐标微调
剔除误匹配对后，记录下当前状态下各特征点位置坐标。通过像底点与地底点的嵌套，使得图像中特征点坐标一同嵌套至地面点坐标，并记录为新图像下的坐标。如图5所示。(rml1,cml1) 与(rl1,cl1)分别为中央条带和左侧条带相应匹配点的坐标，(rmr1,cmr1)与(rr1,cr1)分别为中央条带和右侧条带相应匹配点的坐标。为了减少误差累积的效果，选择中央条带图像作为基准图像，通过式3计算左、右图像与中间图像间距离，得到了需要微调的坐标值。
Figure RE-GDA0003121032230000041
式中，(Δrl，Δcl)表示中央条带特征匹配点与左侧条带特征匹配点的距离，同理，(Δrr，Δcr)表示中央条带特征匹配点与右侧条带特征匹配点的距离。
由于特征匹配对并不唯一，经计算得到的微调值并非为单一值。为了保证微调值的精准度，将以上求得的若干个微调值进行筛选，在一定阈值范围内计算各微调值的累积频率，取累积频率最大值对应的微调值作为最终微调值。实验中阈值设为10。
如图6所示，通过左右图像与中央条带进行坐标微调，即可完成单个周期内图像坐标微调。重复上述步骤，即可完成多个周期条带间的坐标微调。
完成周期图像坐标微调后，然后进行条带间图像坐标微调。虽然条带间三幅图像均具有重叠率，且各张图像特征匹配关系不尽相同，但在进行周期微调时，选择了中央条带作为了基准图像。因此，在进行条带间图像微调时，为了使得误差累积效果减少，以中间周期图像为基准图像，使得上下两侧周期图像进行微调，由此完成了图像精拼接。
实验与分析
通过式(1)和式(2)计算地面上机下点间相对距离，将各点间相对位置标定，绘制飞行航迹，如图7所示。在绘制飞行航迹时，将地面航迹路线图分辨率与几何校正后图像分辨率保持一致，以保证后续图像间的正确嵌套。
图7中直线表示大致飞行航迹，白色三角表示每张图像拍摄时对应的地面位置。按照飞行方向判断，从右下角到左上角依次为拍摄第1张至第9张时对应地面位置。根据图6所示方法，在校正图像中记录下像底点坐标，如图8所示，图中白色圆点表示像底点坐标。由于采用三并列成像方式，左右安装倾角较大，故像底点坐标没有落在图像上。
将图8中像底点坐标与图7中相应的航迹点嵌套，在图7中绘制基于地理位置坐标拼接的图像，拼接结果如图所示。在图9中，各幅图像的大致位置基本确定，但由于数据精度较低，导致拼接中存在大量错位现象。在道路、建筑明显目标区，错位现象明显，视觉效果差，因此需要进行进一步精拼接。
利用SIFT算法提取特征点并进行特征匹配，经剔除误匹配对后，记录各匹配对的位置坐标。利用匹配对间的坐标关系，通过式(3)计算得到各图像间坐标微调值。采用先微调周期图像，后微调条带图像的顺序，得到精拼接图像，如图10所示。
通过对比细节部分，如图11所示，发现经坐标微调后，图像间无明显拼接错位现象，道路、建筑物等明显目标无明显变形。精拼接效果明显优于粗拼接，视觉效果较好。

Claims (1)

1.一种航空三步进面阵图像拼接方法，其特征在于：其步骤是：
S1、结合地理信息进行图像拼接：为了完成结合地理信息的图像粗拼接，需要通过寻找图像中像底点与地面地底点位置坐标；
1、像底点坐标确定：像底点C是过摄影中心S作地平面的垂线与像平面的交点，像底点位于像平面内，表现形式为像点坐标，当像底点C在图像上时，通过记录每张图像的边缘max点，即可求得像底点坐标；当像底点C点不在图像上时，需要构建新图像将像底点C点包含在内并对该坐标进行相应记录；
2、地底点位置坐标确定：
利用下式(1)和式(2)分别获得子午线上各纬度间弧长和平行圈上经度间弧长
Figure FDA0002958769090000011
SB＝ΔLN0cosB0 (2)
其中，ΔB＝B-B0，Mm为Bm处的子午线曲率半径，Bm为B和B0的平均纬度，e′为椭球第二偏心率，ΔL＝L-L0，N0表示卯酉圈曲率半径；
利用上述所求得的经纬度差对应的弧长距离，计算欧式距离作为两地底点间相对距离，当航向方向确定时，两地底点间的相对方向也确定，由此，基于经纬度信息计算出各地底点间的位置及距离关系；
S2、结合特征匹配进行坐标微调
通过在图像重叠区域间进行特征检测并匹配，剔除误匹配对后，根据三步进图像成像的特点，选择坐标微调策略，将匹配正确的特征点用于坐标微调，以纠正POS数据带来的误差；
S3、特征检测与匹配
在重叠区域内提取SIFT特征点，完成特征检测后，将特征点进行特征匹配，剔除误匹配对；
S4、利用匹配对进行坐标微调
剔除误匹配对后，记录下当前状态下各特征点位置坐标，通过像底点与地底点的嵌套，使得图像中特征点坐标一同嵌套至地面点坐标，并记录为新图像下的坐标，通过式(3)得到了需要微调的坐标值
Figure FDA0002958769090000012
式中，(Δrl，Δcl)表示中央条带特征匹配点与左侧条带特征匹配点的距离，(Δrr，Δcr)表示中央条带特征匹配点与右侧条带特征匹配点的距离；
S5、得到的微调值并非为单一值，为了保证微调值的精准度，将以上求得的若干个微调值进行筛选，在阈值范围内计算各微调值的累积频率，取累积频率最大值对应的微调值作为最终微调值；完成周期图像坐标微调后，然后进行条带间图像坐标微调，在进行条带间图像微调时，以中间周期图像为基准图像，使得上下两侧周期图像进行微调，由此完成了图像精拼接。
CN202110230020.8A 2021-03-02 2021-03-02 航空三步进面阵图像拼接方法 Active CN113191946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110230020.8A CN113191946B (zh) 2021-03-02 2021-03-02 航空三步进面阵图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110230020.8A CN113191946B (zh) 2021-03-02 2021-03-02 航空三步进面阵图像拼接方法

Publications (2)

Publication Number Publication Date
CN113191946A CN113191946A (zh) 2021-07-30
CN113191946B true CN113191946B (zh) 2022-12-27

Family

ID=76973061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110230020.8A Active CN113191946B (zh) 2021-03-02 2021-03-02 航空三步进面阵图像拼接方法

Country Status (1)

Country Link
CN (1) CN113191946B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115593A (zh) * 2022-06-28 2022-09-27 先临三维科技股份有限公司 一种扫描处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583110A (zh) * 2020-04-24 2020-08-25 华南理工大学 一种航拍图像的拼接方法
CN111815765A (zh) * 2020-07-21 2020-10-23 西北工业大学 一种基于异构数据融合的图像三维重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818101B1 (en) * 2012-01-03 2014-08-26 Google Inc. Apparatus and method for feature matching in distorted images
US10244164B1 (en) * 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching
CN107808362A (zh) * 2017-11-15 2018-03-16 北京工业大学 一种基于无人机pos信息与图像surf特征结合的图像拼接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583110A (zh) * 2020-04-24 2020-08-25 华南理工大学 一种航拍图像的拼接方法
CN111815765A (zh) * 2020-07-21 2020-10-23 西北工业大学 一种基于异构数据融合的图像三维重建方法

Also Published As

Publication number Publication date
CN113191946A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
US10634500B2 (en) Aircraft and obstacle avoidance method and system thereof
CN110859044B (zh) 自然场景中的集成传感器校准
US7844077B2 (en) Location measuring device and method
CN110926474B (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
CN105352509B (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
CN108759823B (zh) 基于图像匹配的指定道路上低速自动驾驶车辆定位及纠偏方法
US9495747B2 (en) Registration of SAR images by mutual information
CN104732482A (zh) 一种基于控制点的多分辨率图像拼接方法
CN110569861A (zh) 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN115272077B (zh) 一种基于视域融合的图像拼接方法及***
CN113191946B (zh) 航空三步进面阵图像拼接方法
KR100671504B1 (ko) 복수의 촬영 화상을 이용한 항공사진 화상의 보정방법
Gressin et al. Trajectory-based registration of 3D lidar point clouds acquired with a mobile mapping system
CN109358315B (zh) 一种辅助目标间接定位方法及***
CN102538764A (zh) 一种复合式像对立体定位方法
Oh et al. Automatic georeferencing of aerial images using stereo high-resolution satellite images
CN109003451B (zh) 一种基于低空无人机的交叉口od矩阵估算方法
US10859377B2 (en) Method for improving position information associated with a collection of images
Khezrabad et al. A new approach for geometric correction of UAV-based pushbroom images through the processing of simultaneously acquired frame images
Jende et al. Fully automatic feature-based registration of mobile mapping and aerial nadir images for enabling the adjustment of mobile platform locations in GNSS-denied urban environments
Belaroussi et al. Vehicle attitude estimation in adverse weather conditions using a camera, a GPS and a 3D road map
CN113160070B (zh) 航空三步进面阵图像几何校正方法
Ringaby et al. Co-aligning aerial hyperspectral push-broom strips for change detection
Kwoh et al. AUTOMATIC RELATIVE REGISTRATION OF SPOT5 IMAGERY FOR COLOR MERGING
Jende et al. A Guided Registration Strategy Employing Virtual Planes To Overcome Non-Standard Geometries–Using The Example Of Mobile Mapping And Aerial Oblique Imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant