CN108986025B - 基于不完备姿轨信息的高精度异时图像拼接及校正方法 - Google Patents
基于不完备姿轨信息的高精度异时图像拼接及校正方法 Download PDFInfo
- Publication number
- CN108986025B CN108986025B CN201810584889.0A CN201810584889A CN108986025B CN 108986025 B CN108986025 B CN 108986025B CN 201810584889 A CN201810584889 A CN 201810584889A CN 108986025 B CN108986025 B CN 108986025B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- images
- splicing
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 238000003702 image correction Methods 0.000 claims abstract description 3
- 230000009466 transformation Effects 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于不完备姿轨信息的高精度异时图像拼接及校正方法,其包括以下步骤:S1、根据陀螺仪角速度和卫星在待拼接的两幅条带图像下的姿态信息解算其相应时刻的方向余弦矩阵;S2、根据步骤S1中得到的两个时刻对应的方向余弦矩阵,得到两幅图像相对于导航系的对应关系,也即确定原始线阵扫描图像与当前图像的大概位置对应关系;S3、利用SIFT特征点匹配进行图像校正,确定两幅条带图像的详细位置对应关系,并完成图像拼接。本发明提供的方法解决了传统图像拼接方法对于大范围遥感图像拼接的缺陷,提高了遥感线阵扫描图像的拼接精度和效率。
Description
技术领域
本发明属于遥感图像处理技术领域,特别涉及一种不完备姿轨信息的高精度异时图像拼接及校正技术。
背景技术
随着科学技术的进步和数字成像技术的迅速发展,数字成像设备也得到广泛的应用。然而,数字成像设备由于自身的物理限制,在一些特殊的应用场景中,其不能满足人们的需求,例如,在需要获取到大视场的图像时,因成像设备自身的视场宽度较窄,无法获取到全景图像。因此图像拼接技术的发展也日趋成熟起来,图像拼接技术是指将一系列有重叠的图像(可能是不同时间、不同视角或者不同传感器获得的图像)拼成一副大型的无缝高分辨率图像的技术,拼接后的图像具有比单个图像更高的分辨率和更大的视野。图像拼接技术在计算机视觉、虚拟现实、医学研究、军事侦察、卫星遥感、空间探测等领域具有广泛的应用。
对于航天器线阵推扫成像来说,其实时输出是垂直于航线方向的影像线。然而仅仅依靠一幅条带状的影像线提供的灰度信息显然是不足的。因此必须对多幅在不同时间不同空间位置拍摄的条带图像实现拼接。航天器在摄影瞬间的位置和姿态由六个因素确定,任何一个因素的变化都会造成TDICCD(即时间延迟积分CCD)条带图像间像素空间关系的变化。该变化有可能是规律的,也有可能是不规律的。对于已知的有规律的变化,其图像间的空间变换模型是稳定的,可以很容易实现TDICCD图像间的拼接。而对于不规律的变化,或者未知的变化其图像空间变化模型是未知的,甚至是不稳定的、随机的,这必然会对图像拼接造成很大的困难。因此不完备姿轨信息的高精度异时图像拼接及校正是卫星遥感图像获取中的一个关键技术。
目前,基于特征点匹配的图像拼接是一种主要针对仿射变换模型和透视变换模型的图像拼接技术,这种方法不易受图像平移、旋转、尺度缩放、光照及视角变化等因素的影响,具有配准精度高、拼接效果好等优点。但是,对于规模比较大且覆盖范围广的航天器拍摄的条带图像拼接来说,特征点的选取可能会耗费比较大的时间和计算量,严重影响图像拼接的效率。基于卫星姿态信息和轨道参数的图像粗拼接技术,在不完备姿轨信息的情况下其匹配误差较大,因此无法单独使用完成图像拼接。
针对传统方法在效率、精度上存在的局限性,本发明将开发一种高效高精度的基于不完备姿轨信息的高精度异时图像拼接及校正方法。
发明内容
本发明的目的在于结合卫星姿态信息和轨道参数的粗拼接技术和SIFT特征点匹配的校正技术,以解决传统图像拼接方法对于大范围遥感图像拼接的缺陷,提高遥感线阵扫描图像的拼接精度和效率。
为实现上述目的,本发明采用以下技术方案:
基于不完备姿轨信息的高精度异时图像拼接及校正方法,其包括以下步骤:
S1、根据陀螺仪角速度和卫星在待拼接的两幅条带图像下的姿态信息解算其相应时刻的方向余弦矩阵;
S2、根据步骤S1中得到的两个时刻对应的方向余弦矩阵,得到两幅图像相对于导航系的对应关系,也即确定原始线阵扫描图像与当前图像的大概位置对应关系;
S3、利用SIFT特征点匹配进行图像校正,确定两幅条带图像的详细位置对应关系,并完成图像拼接。
所述步骤S1具体包括以下步骤:
S11、计算载体系相对于惯性系的角速度在导航系中的投影;
S12、计算地球系相对于惯性系的角速度在导航系中的投影;
S13、计算导航系相对于地球的角速度;
S14、计算载体相对于导航系的角速度并用四元数表示;
S15、根据四元数姿态传递方程分别求解两个时刻方向余弦矩阵。
步骤S3具体包括以下步骤:
S31、输入待拼接图像;
S32、对待拼接的图像进行SIFT特征点匹配:确定初始匹配点,将该结果作为匹配的初值,固定参考图像的匹配点;
S33、利用待拼接图像上的初始匹配点建立搜索窗口,使用相关系数法搜索最佳匹配点位,通过设置相关系数阈值将小于该阈值的匹配点剔除;
S34、最小二乘匹配:之后利用最小二乘匹配方法提高匹配的精度,最终得到高精度的匹配点坐标;
S35、计算图像间的变换参数:利用仿射变换模型计算参考图像与待拼接图像之间的变换参数;
S36、图像拼接:根据匹配提纯后的特征点对确定融合区域,对两幅待拼接的图像进行图像融合。
在步骤S33中采用相关系数法进行匹配检核和最小二乘匹配,相关系数的定义式如下:
采用上述技术方案后,本发明与背景技术相比,具有如下优点:
本发明配准精度高、速度快、鲁棒性好以及抗干扰性能强。
附图说明
图1为本发明流程示意图;
图2为本发明卫星方向余弦矩阵计算流程示意图;
图3为本发明利用SIFT特征点匹配完成图像自动拼接的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例
请参阅图1所示,本发明公开了一种基于不完备姿轨信息的高精度异时图像拼接及校正方法,其包括以下步骤:
S1、根据陀螺仪角速度和卫星在待拼接的两幅条带图像下的状态信息解算其相应时刻方向余弦矩阵,得到的两个时刻的方向余弦矩阵(分别为C1和C2)代表载体坐标系相对于导航坐标系的旋转;
S2、根据步骤S1中得到的两个时刻对应的方向余弦矩阵,可以得到两幅图像相对于导航系的对应关系C,也即确定原始线阵扫描图像与当前图像的大概位置对应关系;
S3、缩小搜索范围,利用SIFT特征点进行图像校正,确定两幅条带图像的详细位置对应关系,并完成图像拼接。
参考图2所示,上述步骤S1具体包括以下分步骤:
S11、计算载体系相对于惯性系的角速度在导航系中的投影Wib;
S12、计算地球系相对于惯性系的角速度在导航系中的投影Wie;
S13、计算导航系相对于地球的角速度Wen;
S14、计算载体相对于导航系的角速度Wnb并用四元数表示;S15、根据四元数姿态传递方程分别求解两个时刻方向余弦矩阵C1和C2。方向余弦矩阵与四元数之间的关系:
四元数微分方程为:
毕卡算法是由角增量计算四元数的常用算法,见下式:
求解出四元数Q=[q0,q1,q2,q3],代入式(1)即可得到方向余弦矩阵。
结合图3所示,上述步骤S3具体包括以下步骤:
S31、输入待拼接图像。
S32、对待拼接的图像进行SIFT特征点匹配:确定初始匹配点,将该结果作为匹配的初值,固定参考图像的匹配点。
由于CCD影像之间存在一定的重叠,为了减小SIFT特征点匹配的计算量,只选取两幅图像重叠部分及周围一定范围的区域进行特征点匹配;对于SIFT特征点匹配,首先提取两幅图像在选定区域的SIFT特征点,并生成每一个特征点的特征描述符,针对生成的描述符对两幅图像进行匹配。
S33、利用待拼接图像上的初始匹配点建立搜索窗口,使用相关系数法搜索最佳匹配点位,通过设置相关系数阈值将小于该阈值的匹配点剔除。
当两幅图像的SIFT特征向量生成后,下一步采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量,取其中一幅图像中的某个关键点,并找出其与另一幅图像中欧式距离最近的前两个关键点,在这两个关键点中,如果最近的距离除以次近的距离少于某个比例阈值,则接受这一对匹配点,降低这个比例阈值,SIFT匹配点数目会减少,但更加稳定。
适应度函数是评价影像匹配结果优劣的具体量化标准,影像匹配问题中有很多种适应度函数可以使用,如相关函数法、归一化相关函数法、相关系数法、差绝对值和等。本发明采用相关系数法进行匹配检核和最小二乘匹配,相关系数的定义式如下:
S34、最小二乘匹配:利用最小二乘匹配方法提高匹配的精度,最终得到高精度的匹配点坐标。
由于最小二乘匹配算法能够同时改正匹配影像之间的辐射误差和几何变形误差,而且能够在平差***中灵活地加入各种约束条件,达到1/10~1/100像素的精度,因此是一种高精度的子像素匹配算法。本发明利用兼顾几何变形与辐射改正的最小二乘匹配提高影像匹配的精度。
S35、计算图像间的变换参数:本发明利用仿射变换模型计算参考图像与待拼接图像之间的变换参数,所采用的仿射变换公式如下:
式中,(xL,yL)和(xR,yR)分别为参考图像与待拼接图像的匹配点坐标,理论上至少需要三对不共线的同名点坐标即可解算出仿射变换模型的六个参数。
S36、图像拼接:根据匹配提纯后的特征点对确定融合区域,对两幅待拼接的图像进行图像融合。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (2)
1.基于不完备姿轨信息的高精度异时图像拼接及校正方法,其特征在于:包括以下步骤:
S1、根据陀螺仪角速度和卫星在待拼接的两幅条带图像下的姿态信息解算其相应时刻的方向余弦矩阵;
S2、根据步骤S1中得到的两个时刻对应的方向余弦矩阵,得到两幅图像相对于导航系的对应关系,也即确定原始线阵扫描图像与当前图像的位置对应关系;
S3、利用SIFT特征点匹配进行图像校正,确定两幅条带图像的详细位置对应关系,并完成图像拼接;
所述步骤S3具体包括以下步骤:
S31、输入待拼接图像;
S32、对待拼接的图像进行SIFT特征点匹配:确定初始匹配点,将其作为匹配的初值,固定参考图像的匹配点;
S33、利用待拼接图像上的初始匹配点建立搜索窗口,使用相关系数法搜索最佳匹配点位,通过设置相关系数阈值将小于该阈值的匹配点剔除;
S34、最小二乘匹配:之后利用最小二乘匹配方法提高匹配的精度,最终得到高精度的匹配点坐标;
S35、计算图像间的变换参数:利用仿射变换模型计算参考图像与待拼接图像之间的变换参数;
S36、图像拼接:根据匹配提纯后的特征点对确定融合区域,对两幅待拼接的图像进行图像融合;
所述步骤S33中采用相关系数法进行匹配检核和最小二乘匹配,相关系数的定义式如下:
2.如权利要求1所述的基于不完备姿轨信息的高精度异时图像拼接及校正方法,其特征在于:所述步骤S1具体包括以下步骤:
S11、计算载体系相对于惯性系的角速度在导航系中的投影;
S12、计算地球系相对于惯性系的角速度在导航系中的投影;
S13、计算导航系相对于地球的角速度;
S14、计算载体相对于导航系的角速度并用四元数表示;
S15、根据四元数姿态传递方程分别求解两个时刻方向余弦矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810584889.0A CN108986025B (zh) | 2018-06-08 | 2018-06-08 | 基于不完备姿轨信息的高精度异时图像拼接及校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810584889.0A CN108986025B (zh) | 2018-06-08 | 2018-06-08 | 基于不完备姿轨信息的高精度异时图像拼接及校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108986025A CN108986025A (zh) | 2018-12-11 |
CN108986025B true CN108986025B (zh) | 2023-02-10 |
Family
ID=64541014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810584889.0A Active CN108986025B (zh) | 2018-06-08 | 2018-06-08 | 基于不完备姿轨信息的高精度异时图像拼接及校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108986025B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110368007A (zh) * | 2019-04-12 | 2019-10-25 | 北京诺亦腾科技有限公司 | 一种物体间拼接控制方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100986809B1 (ko) * | 2008-07-17 | 2010-10-08 | 인하대학교 산학협력단 | 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법 |
CN102194225A (zh) * | 2010-03-17 | 2011-09-21 | 中国科学院电子学研究所 | 一种由粗到精的星载合成孔径雷达图像自动配准方法 |
CN104180807B (zh) * | 2013-05-25 | 2017-05-10 | 成都国星通信有限公司 | 一种组合导航***的高精度定姿方法 |
CN104077760A (zh) * | 2014-03-19 | 2014-10-01 | 中科宇图天下科技有限公司 | 一种航空摄影测量的快速拼接***及其实现方法 |
CN104064869B (zh) * | 2014-06-13 | 2016-10-05 | 北京航天万达高科技有限公司 | 基于mems惯导的双四元数动中通天线控制方法及*** |
CN104156968B (zh) * | 2014-08-19 | 2015-06-10 | 山东临沂烟草有限公司 | 大面积地形复杂区域无人机序列影像快速无缝拼接方法 |
CN104408701B (zh) * | 2014-12-03 | 2018-10-09 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
CN105608670B (zh) * | 2015-12-30 | 2018-11-02 | 首都师范大学 | 一种航空视频图像的无鬼影横向条带式快速拼接方法 |
CN107154017A (zh) * | 2016-03-03 | 2017-09-12 | 重庆信科设计有限公司 | 一种基于sift特征点匹配的图像拼接方法 |
CN106023086B (zh) * | 2016-07-06 | 2019-02-22 | 中国电子科技集团公司第二十八研究所 | 一种基于orb特征匹配的航拍影像及地理数据拼接方法 |
CN107392951A (zh) * | 2017-06-06 | 2017-11-24 | 上海卫星工程研究所 | 遥感图像高精度快速配准方法 |
-
2018
- 2018-06-08 CN CN201810584889.0A patent/CN108986025B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108986025A (zh) | 2018-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
CN111561923B (zh) | 基于多传感器融合的slam制图方法、*** | |
CN110009681B (zh) | 一种基于imu辅助的单目视觉里程计位姿处理方法 | |
CN111983639B (zh) | 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法 | |
WO2021233029A1 (en) | Simultaneous localization and mapping method, device, system and storage medium | |
Ji et al. | Panoramic SLAM from a multiple fisheye camera rig | |
CN109676604B (zh) | 机器人曲面运动定位方法及其运动定位*** | |
CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
CN109523589B (zh) | 一种更鲁棒的视觉里程计的设计方法 | |
WO2021004416A1 (zh) | 一种基于视觉信标建立信标地图的方法、装置 | |
CN107677274B (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
CN111553939B (zh) | 一种多目摄像机的图像配准算法 | |
CN113222820B (zh) | 一种位姿信息辅助的航空遥感图像拼接方法 | |
CN109596121B (zh) | 一种机动站自动目标检测与空间定位方法 | |
CN103886107A (zh) | 基于天花板图像信息的机器人定位与地图构建*** | |
CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
CN112766008B (zh) | 一种基于二维码的物体空间位姿获取方法 | |
CN103226840A (zh) | 全景影像拼接及量测***及方法 | |
CN113658337A (zh) | 一种基于车辙线的多模态里程计方法 | |
CN112652020A (zh) | 一种基于AdaLAM算法的视觉SLAM方法 | |
CN108986025B (zh) | 基于不完备姿轨信息的高精度异时图像拼接及校正方法 | |
CN114565516B (zh) | 一种融合传感器数据的安全壳表面区域鲁棒拼接方法 | |
CN115830116A (zh) | 一种鲁棒视觉里程计方法 | |
Kim et al. | Spherical PTAM: a versatile SLAM for spherical video | |
CN111667413A (zh) | 一种基于多源传感数据融合处理的图像消旋方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |