CN110335298B - 一种基于无人机平台图像消旋方法 - Google Patents
一种基于无人机平台图像消旋方法 Download PDFInfo
- Publication number
- CN110335298B CN110335298B CN201910625723.3A CN201910625723A CN110335298B CN 110335298 B CN110335298 B CN 110335298B CN 201910625723 A CN201910625723 A CN 201910625723A CN 110335298 B CN110335298 B CN 110335298B
- Authority
- CN
- China
- Prior art keywords
- image
- block
- fractional
- cosine transform
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 19
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于无人机平台图像消旋方法,包括S1、采用分数阶傅里叶变换寻找图像角点,S2、两幅图像间的角点块的分数阶余弦变换系数配准,S3、采用二次曲线拟合求待拼接图像亚像素匹配点,S4、求拼接图像的仿射方程,S5、选取消旋图像。无人机无论是机身的姿态变化还是相机镜头变焦,通过本发明的基于无人机平台图像消旋方法都能实时、有效的实现角点对的配准,进行图像的仿射变换,完成图像的消旋。
Description
技术领域
本发明涉及一种基于无人机平台图像消旋方法。
背景技术
无人机现有的图像消旋有两种方法以及存在如下的优缺点:
基于相位相关法:相位相关法当照片中含有大量相似结构时,可能会产生不明确的结果,导致匹配的准确性低,算法复杂,运算量大,实时运算困难;
基于特征相关法:首先寻找角点,计算角点出的SIFT、SURF、ORB等不变特征。这些特征具有旋转不变性、尺度不变性、平移不变性。对两幅需要匹配的图像分别进行角点的特征匹配,寻找到匹配角点对。建立两幅图像之间的仿射关系。但由于图像往往非常复杂,这些方法大多需要提取成千上万的特征进行匹配,并且上述不变特征的维数多,计算巨大,有可能无法实时应用于。近来尝试对图像进行降采样,以减少特征搜索和匹配的运算量消耗。但不可避免地会丢失图像细节,降低了图像的分辨率,降低了匹配精度。
发明内容
为了解决上述技术问题,本发明的目的是提供一种基于无人机平台图像消旋方法。
为解决上述技术问题,本发明采用如下技术方案:
一种基于无人机平台图像消旋方法,包括:
S1、采用分数阶傅里叶变换寻找图像角点
将图像划分为不相交的16×16块,逐一对16×16块图像进行分数阶为1的余弦变换;当块的高频系数的能量占所有能量的80%及以上,则该16×16块为具有角点的块;若余弦变换系数按z字型排列从最高频开始230个系数的累加和与整个系数的累加和的比大于80%,则此块为角点块;
S2、两幅图像间的角点块的分数阶余弦变换系数配准
在基准图像找到角点块后,如何与当前图像匹配是关键,由于分数阶余弦变换具有旋转性,在某一分数阶系数下分辨率具有最高的时频分析结果,即最优分数阶;
采用归一化二阶中心矩的方法寻找最优分数阶,归一化二阶中心矩定义如下:
求乘积papa1在[0,2]范围内的两个间隔为1的极小值点,最终两个分数阶次中,选择对应模值大的分数阶次作为最优阶;
首先在基准图确定16个离边缘最近具有角点的块,当确定角点块后,求每个块的最优分数阶,然后在待匹配图像中以基准图的位置为中心、L×L范围内逐点滑动求基准图对应块的最优分数阶余弦变换;由于相邻图像旋转角度不大,因此两幅图像相同块的最优分数阶基本一致,计算并记录基准图像块与L×L范围内待匹配图像最优分数阶余弦变换系数的绝对差累加和,寻找绝对差累加和的最小位置;
式中F(u,v)为基准图像块的最佳分数阶余弦变换系数,F'(x,y)为待匹配图像块的最佳分数阶余弦变换系数;
S3、采用二次曲线拟合求待拼接图像亚像素匹配点
沿最小位置为中心的纵、横方向取5个绝对差累加和,采用二次方程进行拟合,求纵、横方向的极小值位置,求出待匹配对的待匹配图像中纵、横方向亚像素最佳点位置,提高匹配精度;
采用二元回归方程进行二次方程拟合:
式中y′i为纵向位置的绝对差累加和,yi为纵向位置;x′i为横向位置的绝对差累加和,xi为横向位置;
S4、求拼接图像的仿射方程
对于待配准的两幅图像,采用仿射方程进行映射,假设对应点位置的变换关系为:
其中,(x1,y1)(x2,y2)分别为基准图像、待匹配图像中对应角点的坐标;
S5、选取消旋图像
利用已得到的仿射方程,计算待匹配图像的中心点位置映射在拼接图像的位置,以此拼接图像位置为中心,截取需要显示的图像。
进一步的,分数阶余弦变换公式如下:
定义:
上式中φx=αxπ/2是相对x轴的旋转角度;设x轴和y轴的旋转角度相同,即αx=αy,二维分数阶数相同;
令αx=αy=1,则分数阶余弦变换则变为传统余弦变换:
进一步的,所述步骤S4中,由于角点块中有可能包含有运动目标,则采用16对中取四对的组合求仿射方程,用此1820组方程用待匹配图像块位置计算其映射到基准图的位置,统计出每组方程基准图像理论位置与实际位置的方差,取最小方差对应的仿射方程作为本次映射方程。
与现有技术相比,本发明的有益技术效果:
在两幅需匹配的图像中,图像发生变形,特征值的旋转、尺度和平移不变性具有鲁棒性;降低不变特征值的维数,减小运算量,适应实时应用;
无人机无论是机身的姿态变化还是相机镜头变焦,通过本发明的消旋方法都能实时、有效的实现角点对的配准,进行图像的仿射变换,完成图像的消旋。
附图说明
下面结合附图说明对本发明作进一步说明。
图1和图2为本发明的流程图。
具体实施方式
如图1和2所示,一种基于无人机平台图像消旋方法,包括:
S1、采用分数阶傅里叶变换寻找图像角点
将图像划分为不相交的16×16块,逐一对16×16块图像进行分数阶为1的余弦变换。当块的高频系数的能量占所有能量的80%及以上,则该16×16块为具有角点的块。
若余弦变换系数按z字型排列从最高频开始230个系数的累加和与整个系数的累加和的比大于80%,则此块为角点块。
图像16×16块分数阶余弦变换
分数阶余弦变换公式如下:
定义:
上式中φx=αxπ/2是相对x轴的旋转角度。设x轴和y轴的旋转角度相同,即αx=αy,二维分数阶数相同。
令αx=αy=1,则分数阶余弦变换则变为传统余弦变换:
S2、两幅图像间的角点块的分数阶余弦变换系数配准
在基准图像找到角点块后,如何与当前图像匹配是关键。由于分数阶余弦变换具有旋转性,在某一分数阶系数下分辨率具有最高的时频分析结果,即最优分数阶。
采用归一化二阶中心矩的方法寻找最优分数阶。归一化二阶中心矩定义如下:
求乘积papa1在[0,2]范围内的两个间隔为1的极小值点,最终两个分数阶次中,选择对应模值大的分数阶次作为最优阶。
首先在基准图确定16个离边缘最近具有角点的块。当确定角点块后,求每个块的最优分数阶。然后在待匹配图像中以基准图的位置为中心、L×L范围内逐点滑动求基准图对应块的最优分数阶余弦变换。由于相邻图像旋转角度不大,因此两幅图像相同块的最优分数阶基本一致。计算并记录基准图像块与L×L范围内待匹配图像最优分数阶余弦变换系数的绝对差累加和,寻找绝对差累加和的最小位置。
式中F(u,v)为基准图像块的最佳分数阶余弦变换系数,F'(x,y)为待匹配图像块的最佳分数阶余弦变换系数。
S3、采用二次曲线拟合求待拼接图像亚像素匹配点
沿最小位置为中心的纵、横方向取5个绝对差累加和,采用二次方程进行拟合,求纵、横方向的极小值位置,求出待匹配对的待匹配图像中纵、横方向亚像素最佳点位置。提高了匹配精度。
采用二元回归方程进行二次方程拟合:
式中y′i为纵向位置的绝对差累加和,yi为纵向位置;x′i为横向位置的绝对差累加和,xi为横向位置。
S4、求拼接图像的仿射方程
对于待配准的两幅图像,采用仿射方程进行映射。假设对应点位置的变换关系为:
其中,(x1,y1)(x2,y2)分别为基准图像、待匹配图像中对应角点的坐标。
由于角点块中有可能包含有运动目标,则采用16对中取四对的组合求仿射方程。用此1820组方程用待匹配图像块位置计算其映射到基准图的位置,统计出每组方程基准图像理论位置与实际位置的方差。取最小方差对应的仿射方程作为本次映射方程。
S5、选取消旋图像
利用已得到的仿射方程,计算待匹配图像的中心点位置映射在拼接图像的位置。以此拼接图像位置为中心,截取需要显示的图像。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (3)
1.一种基于无人机平台图像消旋方法,其特征在于,包括:
S1、采用分数阶傅里叶变换寻找图像角点
将图像划分为不相交的16×16块,逐一对16×16块图像进行分数阶为1的余弦变换;当块的高频系数的能量占所有能量的80%及以上,则该16×16块为具有角点的块;若余弦变换系数按z字型排列从最高频开始230个系数的累加和与整个系数的累加和的比大于80%,则此块为角点块;
S2、两幅图像间的角点块的分数阶余弦变换系数配准
在基准图像找到角点块后,如何与当前图像匹配是关键,由于分数阶余弦变换具有旋转性,在某一分数阶系数下分辨率具有最高的时频分析结果,即最优分数阶;
采用归一化二阶中心矩的方法寻找最优分数阶,归一化二阶中心矩定义如下:
求乘积papa1在[0,2]范围内的两个间隔为1的极小值点,最终两个分数阶次中,选择对应模值大的分数阶次作为最优阶;
首先在基准图确定16个离边缘最近具有角点的块,当确定角点块后,求每个块的最优分数阶,然后在待匹配图像中以基准图的位置为中心、L×L范围内逐点滑动求基准图对应块的最优分数阶余弦变换;由于相邻图像旋转角度不大,因此两幅图像相同块的最优分数阶基本一致,计算并记录基准图像块与L×L范围内待匹配图像最优分数阶余弦变换系数的绝对差累加和,寻找绝对差累加和的最小位置;
式中F(u,v)为基准图像块的最佳分数阶余弦变换系数,F'(x,y)为待匹配图像块的最佳分数阶余弦变换系数;
S3、采用二次曲线拟合求待拼接图像亚像素匹配点
沿最小位置为中心的纵、横方向取5个绝对差累加和,采用二次方程进行拟合,求纵、横方向的极小值位置,求出待匹配对的待匹配图像中纵、横方向亚像素最佳点位置,提高匹配精度;
采用二元回归方程进行二次方程拟合:
式中y′i为纵向位置的绝对差累加和,yi为纵向位置;x′i为横向位置的绝对差累加和,xi为横向位置;
S4、求拼接图像的仿射方程
对于待配准的两幅图像,采用仿射方程进行映射,假设对应点位置的变换关系为:
其中,(x1,y1)(x2,y2)分别为基准图像、待匹配图像中对应角点的坐标;
S5、选取消旋图像
利用已得到的仿射方程,计算待匹配图像的中心点位置映射在拼接图像的位置,以此拼接图像位置为中心,截取需要显示的图像。
3.根据权利要求1所述的基于无人机平台图像消旋方法,其特征在于,所述步骤S4中,由于角点块中有可能包含有运动目标,则采用16对中取四对的组合求仿射方程,用此1820组方程用待匹配图像块位置计算其映射到基准图的位置,统计出每组方程基准图像理论位置与实际位置的方差,取最小方差对应的仿射方程作为本次映射方程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910625723.3A CN110335298B (zh) | 2019-07-11 | 2019-07-11 | 一种基于无人机平台图像消旋方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910625723.3A CN110335298B (zh) | 2019-07-11 | 2019-07-11 | 一种基于无人机平台图像消旋方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110335298A CN110335298A (zh) | 2019-10-15 |
CN110335298B true CN110335298B (zh) | 2021-08-24 |
Family
ID=68146476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910625723.3A Expired - Fee Related CN110335298B (zh) | 2019-07-11 | 2019-07-11 | 一种基于无人机平台图像消旋方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110335298B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105403873A (zh) * | 2015-12-11 | 2016-03-16 | 西安电子科技大学 | 基于分数阶傅里叶变换的目标特征提取方法 |
CN106157237A (zh) * | 2015-05-11 | 2016-11-23 | 国家电网公司 | 一种基于分数阶傅里叶变换和子带分解的图像处理方法 |
CN106204570A (zh) * | 2016-07-05 | 2016-12-07 | 安徽工业大学 | 一种基于非因果分数阶梯度算子的角点检测方法 |
CN106503143A (zh) * | 2016-10-21 | 2017-03-15 | 广东工业大学 | 一种图像检索方法及装置 |
CN107274334A (zh) * | 2017-06-28 | 2017-10-20 | 南京信息工程大学 | 一种基于四元数变换的彩色图像自适应水印方法 |
US10037594B2 (en) * | 2013-12-27 | 2018-07-31 | Sharp Kabushiki Kaisha | Resolution estimating device |
CN108805916A (zh) * | 2018-04-27 | 2018-11-13 | 沈阳理工大学 | 一种基于分数阶变分光流模型及对偶优化的图像配准方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103456015B (zh) * | 2013-09-06 | 2016-10-05 | 电子科技大学 | 一种基于最优分数域Gabor谱特征的SAR目标检测方法 |
CN103955926B (zh) * | 2014-04-22 | 2016-10-05 | 西南交通大学 | 基于Semi-NMF的遥感图像变化检测方法 |
WO2016014040A1 (en) * | 2014-07-22 | 2016-01-28 | Hewlett-Packard Development Company, L.P. | Recovering planar projections |
CN109658446B (zh) * | 2018-10-30 | 2023-04-07 | 武汉珈和科技有限公司 | 一种高分辨率遥感影像几何配准方法及装置 |
CN109407070B (zh) * | 2018-12-10 | 2020-10-27 | 电子科技大学 | 一种高轨平台地面运动目标检测方法 |
-
2019
- 2019-07-11 CN CN201910625723.3A patent/CN110335298B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10037594B2 (en) * | 2013-12-27 | 2018-07-31 | Sharp Kabushiki Kaisha | Resolution estimating device |
CN106157237A (zh) * | 2015-05-11 | 2016-11-23 | 国家电网公司 | 一种基于分数阶傅里叶变换和子带分解的图像处理方法 |
CN105403873A (zh) * | 2015-12-11 | 2016-03-16 | 西安电子科技大学 | 基于分数阶傅里叶变换的目标特征提取方法 |
CN106204570A (zh) * | 2016-07-05 | 2016-12-07 | 安徽工业大学 | 一种基于非因果分数阶梯度算子的角点检测方法 |
CN106503143A (zh) * | 2016-10-21 | 2017-03-15 | 广东工业大学 | 一种图像检索方法及装置 |
CN107274334A (zh) * | 2017-06-28 | 2017-10-20 | 南京信息工程大学 | 一种基于四元数变换的彩色图像自适应水印方法 |
CN108805916A (zh) * | 2018-04-27 | 2018-11-13 | 沈阳理工大学 | 一种基于分数阶变分光流模型及对偶优化的图像配准方法 |
Non-Patent Citations (2)
Title |
---|
Image registration based on Fractional Fourier Transform;Huixian Niu等;《Optik - International Journal for Light and Electron Optics》;20150803;第3889-3893页 * |
基于分数阶余弦变换算法的人脸面部表情识别的研究;张博;《中国优秀硕士学位论文全文数据库信息科技辑》;20121015(第10期);第I138-2294页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110335298A (zh) | 2019-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
CN107301661B (zh) | 基于边缘点特征的高分辨率遥感图像配准方法 | |
CN108765476B (zh) | 一种偏振图像配准方法 | |
CN103310453B (zh) | 一种基于子图像角点特征的快速图像配准方法 | |
Yu et al. | A fast and fully automatic registration approach based on point features for multi-source remote-sensing images | |
US8355564B2 (en) | Corresponding point searching method and three-dimensional position measuring method | |
CN103456022B (zh) | 一种高分辨率遥感图像特征匹配方法 | |
CN108122256B (zh) | 一种逼近状态下旋转目标位姿测量的方法 | |
US20220028043A1 (en) | Multispectral camera dynamic stereo calibration algorithm based on saliency features | |
CN106447601B (zh) | 一种基于投影-相似变换的无人机遥感影像拼接方法 | |
WO2004063991A1 (ja) | 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム | |
CN102122359B (zh) | 一种图像配准方法及装置 | |
CN102661708B (zh) | 一种基于surf的高密度封装元器件定位方法 | |
CN107025449B (zh) | 一种视角不变局部区域约束的倾斜影像直线特征匹配方法 | |
CN111028292A (zh) | 一种亚像素级图像匹配导航定位方法 | |
CN112634335A (zh) | 面向非线性辐射畸变的稳健遥感影像特征点对提取方法 | |
CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
CN111062972B (zh) | 基于图像频率域转换的图像跟踪方法 | |
Huang et al. | SAR and optical images registration using shape context | |
Tanaka et al. | A parametric template method and its application to robust matching | |
CN106651756B (zh) | 一种基于sift和验证机制的图像配准方法 | |
CN110335298B (zh) | 一种基于无人机平台图像消旋方法 | |
Maybank | A probabilistic definition of salient regions for image matching | |
CN115205558B (zh) | 一种具有旋转和尺度不变性的多模态影像匹配方法及装置 | |
CN113592744B (zh) | 一种适用于高分辨率遥感影像的几何精校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210824 |