CN110335298A - 一种基于无人机平台图像消旋方法 - Google Patents
一种基于无人机平台图像消旋方法 Download PDFInfo
- Publication number
- CN110335298A CN110335298A CN201910625723.3A CN201910625723A CN110335298A CN 110335298 A CN110335298 A CN 110335298A CN 201910625723 A CN201910625723 A CN 201910625723A CN 110335298 A CN110335298 A CN 110335298A
- Authority
- CN
- China
- Prior art keywords
- image
- fractional
- block
- equation
- cosine transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000006340 racemization Effects 0.000 title claims abstract description 19
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 19
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 230000001186 cumulative effect Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于无人机平台图像消旋方法,包括S1、采用分数阶傅里叶变换寻找图像角点,S2、两幅图像间的角点块的分数阶余弦变换系数配准,S3、采用二次曲线拟合求待拼接图像亚像素匹配点,S4、求拼接图像的仿射方程,S5、选取消旋图像。无人机无论是机身的姿态变化还是相机镜头变焦,通过本发明的基于无人机平台图像消旋方法都能实时、有效的实现角点对的配准,进行图像的仿射变换,完成图像的消旋。
Description
技术领域
本发明涉及一种基于无人机平台图像消旋方法。
背景技术
无人机现有的图像消旋有两种方法以及存在如下的优缺点:
基于相位相关法:相位相关法当照片中含有大量相似结构时,可能会产生不明确的结果,导致匹配的准确性低,算法复杂,运算量大,实时运算困难;
基于特征相关法:首先寻找角点,计算角点出的SIFT、SURF、ORB等不变特征。这些特征具有旋转不变性、尺度不变性、平移不变性。对两幅需要匹配的图像分别进行角点的特征匹配,寻找到匹配角点对。建立两幅图像之间的仿射关系。但由于图像往往非常复杂,这些方法大多需要提取成千上万的特征进行匹配,并且上述不变特征的维数多,计算巨大,有可能无法实时应用于。近来尝试对图像进行降采样,以减少特征搜索和匹配的运算量消耗。但不可避免地会丢失图像细节,降低了图像的分辨率,降低了匹配精度。
发明内容
为了解决上述技术问题,本发明的目的是提供一种基于无人机平台图像消旋方法。
为解决上述技术问题,本发明采用如下技术方案:
一种基于无人机平台图像消旋方法,包括:
S1、采用分数阶傅里叶变换寻找图像角点
将图像划分为不相交的16×16块,逐一对16×16块图像进行分数阶为1的余弦变换;当块的高频系数的能量占所有能量的80%及以上,则该16×16块为具有角点的块;若余弦变换系数按z字型排列从最高频开始230个系数的累加和与整个系数的累加和的比大于80%,则此块为角点块;
S2、两幅图像间的角点块的分数阶余弦变换系数配准
在基准图像找到角点块后,如何与当前图像匹配是关键,由于分数阶余弦变换具有旋转性,在某一分数阶系数下分辨率具有最高的时频分析结果,即最优分数阶;
采用归一化二阶中心矩的方法寻找最优分数阶,归一化二阶中心矩定义如下:
其中为归一化一阶原点矩,为归一化二阶原点矩,a的取值范围[0,2];则:
求乘积papa1在[0,2]范围内的两个间隔为1的极小值点,最终两个分数阶次中,选择对应模值大的分数阶次作为最优阶;
首先在基准图确定16个离边缘最近具有角点的块,当确定角点块后,求每个块的最优分数阶,然后在待匹配图像中以基准图的位置为中心、L×L范围内逐点滑动求基准图对应块的最优分数阶余弦变换;由于相邻图像旋转角度不大,因此两幅图像相同块的最优分数阶基本一致,计算并记录基准图像块与L×L范围内待匹配图像最优分数阶余弦变换系数的绝对差累加和,寻找绝对差累加和的最小位置;
式中F(u,v)为基准图像块的最佳分数阶余弦变换系数,F'(x,y)为待匹配图像块的最佳分数阶余弦变换系数;
S3、采用二次曲线拟合求待拼接图像亚像素匹配点
沿最小位置为中心的纵、横方向取5个绝对差累加和,采用二次方程进行拟合,求纵、横方向的极小值位置,求出该匹配对的待匹配图像中纵、横方向亚像素最佳点位置,提高匹配精度;
采用二元回归方程进行二次方程拟合:
式中y'i为纵向位置的绝对差累加和,yi纵向位置;x'i为纵向位置的绝对差累加和,xi纵向位置;
求解方程的6个系数a、b、c、d、e、f;则横向极小值为纵向极小值为
S4、求拼接图像的仿射方程
对于待配准的两幅图像,采用仿射方程进行映射,假设对应点位置的变换关系为:
其中,(x1,y1)(x2,y2)分别为基准图像、待匹配图像中对应角点的坐标;
S5、选取消旋图像
利用已得到的仿射方程,计算待匹配图像的中心点位置映射在拼接图像的位置,以此拼接图像位置为中心,截取需要显示的图像。
进一步的,分数阶余弦变换公式如下:
定义:
上式中φx=αxπ/2是相对x轴的旋转角度;设x轴和y轴的旋转角度相同,即αx=αy,二维分数阶数相同;
令αx=αy=1,则分数阶余弦变换这边为传统余弦变换:
进一步的,所述步骤S4中,由于角点块中有可能包含有运动目标,则采用16对中取四对的组合求仿射方程,用此1820组方程用待匹配图像块位置计算其映射到基准图的位置,统计出每组方程基准图像理论位置与实际位置的方差,取最小方差对应的仿射方程作为本次映射方程。
与现有技术相比,本发明的有益技术效果:
在两幅需匹配的图像中,图像发生变形,特征值的旋转、尺度和平移不变性具有鲁棒性;降低不变特征值的维数,减小运算量,适应实时应用;
无人机无论是机身的姿态变化还是相机镜头变焦,通过本发明的消旋方法都能实时、有效的实现角点对的配准,进行图像的仿射变换,完成图像的消旋。
附图说明
下面结合附图说明对本发明作进一步说明。
图1和图2为本发明的流程图。
具体实施方式
如图1和2所示,一种基于无人机平台图像消旋方法,包括:
S1、采用分数阶傅里叶变换寻找图像角点
将图像划分为不相交的16×16块,逐一对16×16块图像进行分数阶为1的余弦变换。当块的高频系数的能量占所有能量的80%及以上,则该16×16块为具有角点的块。
若余弦变换系数按z字型排列从最高频开始230个系数的累加和与整个系数的累加和的比大于80%,则此块为角点块。
图像16×16块分数阶余弦变换
分数阶余弦变换公式如下:
定义:
上式中φx=αxπ/2是相对x轴的旋转角度。设x轴和y轴的旋转角度相同,即αx=αy,二维分数阶数相同。
令αx=αy=1,则分数阶余弦变换这边为传统余弦变换:
S2、两幅图像间的角点块的分数阶余弦变换系数配准
在基准图像找到角点块后,如何与当前图像匹配是关键。由于分数阶余弦变换具有旋转性,在某一分数阶系数下分辨率具有最高的时频分析结果,即最优分数阶。
采用归一化二阶中心矩的方法寻找最优分数阶。归一化二阶中心矩定义如下:
其中为归一化一阶原点矩,为归一化二阶原点矩,a的取值范围[0,2]。则:
求乘积papa1在[0,2]范围内的两个间隔为1的极小值点,最终两个分数阶次中,选择对应模值大的分数阶次作为最优阶。
首先在基准图确定16个离边缘最近具有角点的块。当确定角点块后,求每个块的最优分数阶。然后在待匹配图像中以基准图的位置为中心、L×L范围内逐点滑动求基准图对应块的最优分数阶余弦变换。由于相邻图像旋转角度不大,因此两幅图像相同块的最优分数阶基本一致。计算并记录基准图像块与L×L范围内待匹配图像最优分数阶余弦变换系数的绝对差累加和,寻找绝对差累加和的最小位置。
式中F(u,v)为基准图像块的最佳分数阶余弦变换系数,F'(x,y)为待匹配图像块的最佳分数阶余弦变换系数。
S3、采用二次曲线拟合求待拼接图像亚像素匹配点
沿最小位置为中心的纵、横方向取5个绝对差累加和,采用二次方程进行拟合,求纵、横方向的极小值位置,求出该匹配对的待匹配图像中纵、横方向亚像素最佳点位置。提高了匹配精度。
采用二元回归方程进行二次方程拟合:
式中y'i为纵向位置的绝对差累加和,yi纵向位置;x'i为纵向位置的绝对差累加和,xi纵向位置。
求解方程的6个系数a、b、c、d、e、f。则横向极小值为纵向极小值为
S4、求拼接图像的仿射方程
对于待配准的两幅图像,采用仿射方程进行映射。假设对应点位置的变换关系为:
其中,(x1,y1)(x2,y2)分别为基准图像、待匹配图像中对应角点的坐标。
由于角点块中有可能包含有运动目标,则采用16对中取四对的组合求仿射方程。用此1820组方程用待匹配图像块位置计算其映射到基准图的位置,统计出每组方程基准图像理论位置与实际位置的方差。取最小方差对应的仿射方程作为本次映射方程。
S5、选取消旋图像
利用已得到的仿射方程,计算待匹配图像的中心点位置映射在拼接图像的位置。以此拼接图像位置为中心,截取需要显示的图像。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (3)
1.一种基于无人机平台图像消旋方法,其特征在于,包括:
S1、采用分数阶傅里叶变换寻找图像角点
将图像划分为不相交的16×16块,逐一对16×16块图像进行分数阶为1的余弦变换;当块的高频系数的能量占所有能量的80%及以上,则该16×16块为具有角点的块;若余弦变换系数按z字型排列从最高频开始230个系数的累加和与整个系数的累加和的比大于80%,则此块为角点块;
S2、两幅图像间的角点块的分数阶余弦变换系数配准
在基准图像找到角点块后,如何与当前图像匹配是关键,由于分数阶余弦变换具有旋转性,在某一分数阶系数下分辨率具有最高的时频分析结果,即最优分数阶;
采用归一化二阶中心矩的方法寻找最优分数阶,归一化二阶中心矩定义如下:
其中为归一化一阶原点矩,为归一化二阶原点矩,a的取值范围[0,2];则:
求乘积papa1在[0,2]范围内的两个间隔为1的极小值点,最终两个分数阶次中,选择对应模值大的分数阶次作为最优阶;
首先在基准图确定16个离边缘最近具有角点的块,当确定角点块后,求每个块的最优分数阶,然后在待匹配图像中以基准图的位置为中心、L×L范围内逐点滑动求基准图对应块的最优分数阶余弦变换;由于相邻图像旋转角度不大,因此两幅图像相同块的最优分数阶基本一致,计算并记录基准图像块与L×L范围内待匹配图像最优分数阶余弦变换系数的绝对差累加和,寻找绝对差累加和的最小位置;
式中F(u,v)为基准图像块的最佳分数阶余弦变换系数,F'(x,y)为待匹配图像块的最佳分数阶余弦变换系数;
S3、采用二次曲线拟合求待拼接图像亚像素匹配点
沿最小位置为中心的纵、横方向取5个绝对差累加和,采用二次方程进行拟合,求纵、横方向的极小值位置,求出该匹配对的待匹配图像中纵、横方向亚像素最佳点位置,提高匹配精度;
采用二元回归方程进行二次方程拟合:
式中y’i为纵向位置的绝对差累加和,yi纵向位置;x’i为纵向位置的绝对差累加和,xi纵向位置;
求解方程的6个系数a、b、c、d、e、f;则横向极小值为纵向极小值为
S4、求拼接图像的仿射方程
对于待配准的两幅图像,采用仿射方程进行映射,假设对应点位置的变换关系为:
其中,(x1,y1)(x2,y2)分别为基准图像、待匹配图像中对应角点的坐标;
S5、选取消旋图像
利用已得到的仿射方程,计算待匹配图像的中心点位置映射在拼接图像的位置,以此拼接图像位置为中心,截取需要显示的图像。
2.根据权利要求1所述的基于无人机平台图像消旋方法,其特征在于,分数阶余弦变换公式如下:
定义:
上式中φx=αxπ/2是相对x轴的旋转角度;设x轴和y轴的旋转角度相同,即αx=αy,二维分数阶数相同;
令αx=αy=1,则分数阶余弦变换这边为传统余弦变换:
3.根据权利要求1所述的基于无人机平台图像消旋方法,其特征在于,所述步骤S4中,由于角点块中有可能包含有运动目标,则采用16对中取四对的组合求仿射方程,用此1820组方程用待匹配图像块位置计算其映射到基准图的位置,统计出每组方程基准图像理论位置与实际位置的方差,取最小方差对应的仿射方程作为本次映射方程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910625723.3A CN110335298B (zh) | 2019-07-11 | 2019-07-11 | 一种基于无人机平台图像消旋方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910625723.3A CN110335298B (zh) | 2019-07-11 | 2019-07-11 | 一种基于无人机平台图像消旋方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110335298A true CN110335298A (zh) | 2019-10-15 |
CN110335298B CN110335298B (zh) | 2021-08-24 |
Family
ID=68146476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910625723.3A Expired - Fee Related CN110335298B (zh) | 2019-07-11 | 2019-07-11 | 一种基于无人机平台图像消旋方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110335298B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103456015A (zh) * | 2013-09-06 | 2013-12-18 | 电子科技大学 | 基于最优分数域Gabor谱特征的SAR目标检测方法 |
CN103955926A (zh) * | 2014-04-22 | 2014-07-30 | 西南交通大学 | 基于Semi-NMF的遥感图像变化检测方法 |
CN105403873A (zh) * | 2015-12-11 | 2016-03-16 | 西安电子科技大学 | 基于分数阶傅里叶变换的目标特征提取方法 |
CN106157237A (zh) * | 2015-05-11 | 2016-11-23 | 国家电网公司 | 一种基于分数阶傅里叶变换和子带分解的图像处理方法 |
CN106204570A (zh) * | 2016-07-05 | 2016-12-07 | 安徽工业大学 | 一种基于非因果分数阶梯度算子的角点检测方法 |
CN106503143A (zh) * | 2016-10-21 | 2017-03-15 | 广东工业大学 | 一种图像检索方法及装置 |
US20170213329A1 (en) * | 2014-07-22 | 2017-07-27 | Hewlett-Packard Development Company, L.P., | Recovering Planar Projections |
CN107274334A (zh) * | 2017-06-28 | 2017-10-20 | 南京信息工程大学 | 一种基于四元数变换的彩色图像自适应水印方法 |
US10037594B2 (en) * | 2013-12-27 | 2018-07-31 | Sharp Kabushiki Kaisha | Resolution estimating device |
CN108805916A (zh) * | 2018-04-27 | 2018-11-13 | 沈阳理工大学 | 一种基于分数阶变分光流模型及对偶优化的图像配准方法 |
CN109407070A (zh) * | 2018-12-10 | 2019-03-01 | 电子科技大学 | 一种高轨平台地面运动目标检测方法 |
CN109658446A (zh) * | 2018-10-30 | 2019-04-19 | 武汉珈和科技有限公司 | 一种高分辨率遥感影像几何配准方法及装置 |
-
2019
- 2019-07-11 CN CN201910625723.3A patent/CN110335298B/zh not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103456015A (zh) * | 2013-09-06 | 2013-12-18 | 电子科技大学 | 基于最优分数域Gabor谱特征的SAR目标检测方法 |
US10037594B2 (en) * | 2013-12-27 | 2018-07-31 | Sharp Kabushiki Kaisha | Resolution estimating device |
CN103955926A (zh) * | 2014-04-22 | 2014-07-30 | 西南交通大学 | 基于Semi-NMF的遥感图像变化检测方法 |
US20170213329A1 (en) * | 2014-07-22 | 2017-07-27 | Hewlett-Packard Development Company, L.P., | Recovering Planar Projections |
CN106157237A (zh) * | 2015-05-11 | 2016-11-23 | 国家电网公司 | 一种基于分数阶傅里叶变换和子带分解的图像处理方法 |
CN105403873A (zh) * | 2015-12-11 | 2016-03-16 | 西安电子科技大学 | 基于分数阶傅里叶变换的目标特征提取方法 |
CN106204570A (zh) * | 2016-07-05 | 2016-12-07 | 安徽工业大学 | 一种基于非因果分数阶梯度算子的角点检测方法 |
CN106503143A (zh) * | 2016-10-21 | 2017-03-15 | 广东工业大学 | 一种图像检索方法及装置 |
CN107274334A (zh) * | 2017-06-28 | 2017-10-20 | 南京信息工程大学 | 一种基于四元数变换的彩色图像自适应水印方法 |
CN108805916A (zh) * | 2018-04-27 | 2018-11-13 | 沈阳理工大学 | 一种基于分数阶变分光流模型及对偶优化的图像配准方法 |
CN109658446A (zh) * | 2018-10-30 | 2019-04-19 | 武汉珈和科技有限公司 | 一种高分辨率遥感影像几何配准方法及装置 |
CN109407070A (zh) * | 2018-12-10 | 2019-03-01 | 电子科技大学 | 一种高轨平台地面运动目标检测方法 |
Non-Patent Citations (2)
Title |
---|
HUIXIAN NIU等: "Image registration based on Fractional Fourier Transform", 《OPTIK - INTERNATIONAL JOURNAL FOR LIGHT AND ELECTRON OPTICS》 * |
张博: "基于分数阶余弦变换算法的人脸面部表情识别的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN110335298B (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108765476B (zh) | 一种偏振图像配准方法 | |
CN112634335A (zh) | 面向非线性辐射畸变的稳健遥感影像特征点对提取方法 | |
CN111028292A (zh) | 一种亚像素级图像匹配导航定位方法 | |
CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
Eichhardt et al. | Affine correspondences between central cameras for rapid relative pose estimation | |
CN105760879A (zh) | 基于傅里叶梅林变换的图像几何匹配方法 | |
Rebut et al. | Image segmentation and pattern recognition for road marking analysis | |
Huang et al. | SAR and optical images registration using shape context | |
Tanaka et al. | A parametric template method and its application to robust matching | |
CN117870659A (zh) | 基于点线特征的视觉惯性组合导航算法 | |
CN106651756B (zh) | 一种基于sift和验证机制的图像配准方法 | |
Paffenholz et al. | Geo-referencing point clouds with transformational and positional uncertainties | |
CN117253063A (zh) | 一种基于点线特征描述的两阶段多模图像匹配方法 | |
CN110335298A (zh) | 一种基于无人机平台图像消旋方法 | |
Bai et al. | Analysis and comparison of feature detection and matching algorithms for rovers vision navigation | |
CN105205825A (zh) | 基于nsct域的多分辨率红外与可见光景象匹配方法 | |
CN106056599B (zh) | 一种基于物体深度数据的物体识别算法及装置 | |
Koutaki et al. | Fast and high accuracy pattern matching using multi-stage refining eigen template | |
CN115131413A (zh) | 基于多尺度三维频域卷积特征的多模遥感图像配准方法 | |
CN113409369A (zh) | 基于改进rift的多模遥感图像配准方法 | |
Liu et al. | Target identification and location algorithm based on SURF-BRISK operator | |
Wang et al. | Aerial-DEM geolocalization for GPS-denied UAS navigation | |
Chang | Fusion Method of Three-Dimensional Building Construction Drawing Mosaic and Fusion Based on Environmental Protection Engineering. | |
Zhou et al. | On mosaicing 3D broken objects based on multiscale Fourier descriptors | |
Sharma et al. | Very high resolution image registration based on two step Harris-Laplace detector and SIFT descriptor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210824 |