CN112348105B - 一种无人机图像匹配优化方法 - Google Patents
一种无人机图像匹配优化方法 Download PDFInfo
- Publication number
- CN112348105B CN112348105B CN202011289613.3A CN202011289613A CN112348105B CN 112348105 B CN112348105 B CN 112348105B CN 202011289613 A CN202011289613 A CN 202011289613A CN 112348105 B CN112348105 B CN 112348105B
- Authority
- CN
- China
- Prior art keywords
- matrix
- image
- unmanned aerial
- points
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000005457 optimization Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 86
- 238000012216 screening Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种无人机图像匹配优化方法，包括：采用SURF算法检测待匹配的无人机航拍图像A和图像B的特征点，并设置SURF算法的Hessian矩阵阈值，获取N对匹配点；遍历图像A和图像B中的匹配点，并筛选出在图像A和图像B中均匀分布的M对匹配点，并构建获得H矩阵；采用RANSAC算法和LMEDS算法分别求得H1矩阵和H2矩阵；对H1矩阵和H2矩阵进行评价，求得最优的矩阵；对最优的矩阵进行校验，以得到最合理的H矩阵。通过上述方案，本发明具有逻辑简单、计算工作量少、匹配准确等优点，在图像处理技术领域具有很高的实用价值和推广价值。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种无人机图像匹配优化方法。
背景技术
随着多轴无人机的迅速发展和普及，无人机航拍技术被应用到越来越多的领域，并且对无人机航拍图像的匹配与识别也成为研究的热点。图像匹配与识别是多种技术的综合运行，被广泛应用于人工智能、安全防护、无人机航拍、辅助驾驶、图像遥感、计算机视觉等诸多领域。
目前，现有技术中的无人机图像多采用特征点进行匹配，如专利申请号为“201810735162.8”、名称为“一种基于融合局部特征的快速无人机图像匹配方法”的中国发明专利，其采用：分别对基准影像和待匹配影像进行3*3格网分块，将一张影像分为9个子区域，并在子区域内进行不变特征的提取；利用特征描述符从不变特征区域提取特征向量；通过比较特征向量之间的相似性，判别初始同名特征，得到稳定的初始匹配；统计各个格网内的匹配点数量，对于格网内匹配点数量小于阈值的区域，进行区域MSERs特征匹配；利用马氏距离的仿射不变性删除误匹配点对。该技术通过特征点的匹配进行直接图像匹配。另外，在***《一种应用于无人机航拍图像的匹配方法》中，首先，接收无人机通过4G传输的图像数据与GPS信息；其次，根据GPS信息读取数据库中对应的地理信息特征点数据；最后，使用特征点完成图像匹配。为了加快匹配速度，其采用SURF特征代替SIFT特征完成运算。
上述技术均采用特征点进行直接匹配，并删除误匹配点；由于匹配的特征点是随机的，其无法获得均匀分布的特征点，导致匹配的图像存在重复、无匹配的问题。若仅仅用局部的特征点进行计算H矩阵，其非常容易求解出一个较异常的值，导致图像扭曲形变过大。在无人机采集图像时需要达到70％-80％覆盖率，同样是为了使得特征点分布在图像各个地方。
因此，急需要提出一种逻辑简单、计算工作量少、匹配准确的无人机图像匹配优化方法。
发明内容
针对上述问题，本发明的目的在于提供一种无人机图像匹配优化方法，本发明采用的技术方案如下：
一种无人机图像匹配优化方法，包括以下步骤：
采用SURF算法检测待匹配的无人机航拍图像A和图像B的特征点，并设置SURF算法的Hessian矩阵阈值，获取N对匹配点；所述N为大于等于4的自然数；
遍历图像A和图像B中的匹配点，并筛选出在图像A和图像B中均匀分布的M对匹配点，并构建获得H矩阵；所述M小于等于N；
所述H矩阵的表达式为：
在齐次坐标下h22＝1，并采用RANSAC算法和LMEDS算法分别求得H1矩阵和H2矩阵；
对H1矩阵和H2矩阵进行评价，求得最优的矩阵；
对最优的矩阵进行校验，以得到最合理的H矩阵。
进一步地，所述对H1矩阵和H2矩阵进行评价，求得最优的矩阵，包括以下步骤：
若H1矩阵和H2矩阵其中之一满足|h20+h21|＞0.0005，则淘汰对应的矩阵；
若H1矩阵和H2矩阵均未被淘汰，则根据||h00|+|h01|+|h10|+|h11|-2|选取取值最小的矩阵，以得到最优的矩阵。
更进一步地，所述对最优的矩阵进行校验，以得到最合理的H矩阵，包括以下步骤：
根据最优的矩阵求得任一图像的坐标变换前后的转换关系，其表达式为：
P’i＝H*Pi
其中，图像的原图四个点齐次化坐标P1(0,0,1),P2(w,0,1),P3(w,h,1),P4(0,h,1)；w表示图像的原图宽度，h表示图像的原图高度；变换后的四个点为P’i(i＝1..4)；
求得图像变换后的四条边的长度，其表达为：
d1＝||P’1-P’2||,d2＝||P’2-P’3||,d3＝||P’3-P’4||,d4＝||P’4-P’1||
其中，||*||代表两点间欧式距离；
若图像变换后的四条边的长度变化值大于2，则淘汰该H矩阵，便可得到最合理的H矩阵。
与现有技术相比，本发明具有以下有益效果：
(1)本发明通过设置Hessian矩阵阈值参数，以获得数对匹配点；在匹配的特征点对中遍历选取均匀分布的特征匹配点，以保证匹配可靠；
(2)本发明巧妙地采用多算法计算H矩阵，并对H矩阵进行评价和校验，其一，计算H矩阵采用的算法都是迭代拟合的，都不一定是最优解，那么采用集成学习的思想，用多算法计算H矩阵，能做到优中选优，提高最后匹配的准确性。另外，若仅采用单一算法求解出的H矩阵，用作投影变换后，会产生较大的形变，这明显是不符合无人机采集图像场景的，会对后来无人机拼接带来较大误差；而本发明根据不同的应用场景，采用不同的评价手段对H矩阵进行评价，便于筛选出更优的H矩阵。
综上所述，本发明具有逻辑简单、计算工作量少、匹配准确等优点，在图像处理技术领域具有很高的实用价值和推广价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的特征点筛选示意图(一)。
图2为本发明的特征点筛选示意图(二)。
具体实施方式
为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
如图1至图2所示，本实施例提供了一种无人机图像匹配优化方法，包括以下步骤：
第一步，采用金字塔SURF方法进行匹配：
本实施例对图A和图B进行匹配，首先，采用较为严格的SURF特征点检测，其中，将Hessian矩阵阈值参数设置为1200。若特征点较少，那么采用较为宽松的SURF特征点检测，并将Hessian矩阵阈值参数逐步降低，如设置为800，400。在本实施例中，一共N对匹配点。Pts1代表图A的特征点集合，Pts2代表图B的特征点集合。如果N≥4，则继续。N＜4则采用降低Heisson阈值再匹配。
第二步，筛选M对匹配点，使得特征点在图像上分布均匀：将图像分为16*16区域；每次遍历这些区域，取出匹配点，如果该区域没有点则跳过；直到取满M个点为止。本实施例中选取M＝50，如果N<M,那么就选取全部N。
第三步，多算法计算H矩阵：
其中，H矩阵的表达式为：
在齐次坐标下h22＝1，并采用RANSAC算法和LMEDS算法分别求得H1矩阵和H2矩阵。
第四步，评价H矩阵，筛选最优的H：
(1)剪切形变大小
如果某个H矩阵的|h20+h21|＞0.0005，则淘汰；
(2)扭转形变
若H1矩阵和H2矩阵均未被淘汰，则根据||h00|+|h01|+|h10|+|h11|-2|选取取值最小的矩阵，以得到最优的矩阵。
第五步，校验H矩阵：
(1)根据最优的矩阵求得任一图像的坐标变换前后的转换关系，其表达式为：
P’i＝H*Pi
其中，图像的原图四个点齐次化坐标P1(0,0,1),P2(w,0,1),P3(w,h,1),P4(0,h,1)；w表示图像的原图宽度，h表示图像的原图高度；变换后的四个点为Pi'(i＝1..4)；
(2)求得图像变换后的四条边的长度，其表达为：
d1＝||P’1-P’2||,d2＝||P’2-P’3||,d3＝||P’3-P’4||,d4＝||P’4-P’1||
其中，||*||代表两点间欧式距离；
(3)若图像变换后的四条边的长度变化值大于2，则淘汰该H矩阵，便可得到最合理的H矩阵。即
d1/w＞2或者d1/w＜0.5则淘汰；
d2/h＞2或者d2/h<0.5则淘汰；
d3/w＞2或者d3/w＜0.5则淘汰；
d4/h＞2或者d4/h＜0.5则淘汰；
本实施例通过第一步至第五步，最终得到的最合理H矩阵。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。
Claims (3)
1.一种无人机图像匹配优化方法，其特征在于，包括以下步骤：
采用SURF算法检测待匹配的无人机航拍图像A和图像B的特征点，并设置SURF算法的Hessian矩阵阈值，获取N对匹配点；所述N为大于等于4的自然数；
遍历图像A和图像B中的匹配点，并筛选出在图像A和图像B中均匀分布的M对匹配点，并构建获得H矩阵；所述M小于等于N；
所述H矩阵的表达式为：
在齐次坐标下h22＝1，并采用RANSAC算法和LMEDS算法分别求得H1矩阵和H2矩阵；
对H1矩阵和H2矩阵进行评价，求得最优的矩阵；
对最优的矩阵进行校验，以得到最合理的H矩阵。
2.根据权利要求1所述的一种无人机图像匹配优化方法，其特征在于，所述对H1矩阵和H2矩阵进行评价，求得最优的矩阵，包括以下步骤：
若H1矩阵和H2矩阵其中之一满足|h20+h21|＞0.0005，则淘汰对应的矩阵；
若H1矩阵和H2矩阵均未被淘汰，则根据||h00|+|h01|+|h10|+|h11|-2|选取取值最小的矩阵，以得到最优的矩阵。
3.根据权利要求1所述的一种无人机图像匹配优化方法，其特征在于，所述对最优的矩阵进行校验，以得到最合理的H矩阵，包括以下步骤：
根据最优的矩阵求得任一图像的坐标变换前后的转换关系，其表达式为：
P'i＝H*Pi
其中，图像的原图四个点齐次化坐标P1(0,0,1),P2(w,0,1),P3(w,h,1),P4(0,h,1)；w表示图像的原图宽度，h表示图像的原图高度；变换后的四个点为Pi'，i＝1，...，4；
求得图像变换后的四条边的长度，其表达为：
d1＝||P'1-P'2||,d2＝||P'2-P'3||,d3＝||P'3-P'4||,d4＝||P'4-P'1||
其中，||*||代表两点间欧式距离；
若图像变换后的四条边的长度变化值大于2，则淘汰该H矩阵，便可得到最合理的H矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011289613.3A CN112348105B (zh) | 2020-11-17 | 2020-11-17 | 一种无人机图像匹配优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011289613.3A CN112348105B (zh) | 2020-11-17 | 2020-11-17 | 一种无人机图像匹配优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112348105A CN112348105A (zh) | 2021-02-09 |
| CN112348105B true CN112348105B (zh) | 2023-09-01 |
Family
ID=74364041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011289613.3A Active CN112348105B (zh) | 2020-11-17 | 2020-11-17 | 一种无人机图像匹配优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348105B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574421A (zh) * | 2015-01-29 | 2015-04-29 | 北方工业大学 | 一种大幅面小重合区域高精度多光谱图像配准方法及装置 |
| CN106940876A (zh) * | 2017-02-21 | 2017-07-11 | 华东师范大学 | 一种基于surf的快速无人机航拍图像拼接算法 |
| CN108961162A (zh) * | 2018-03-12 | 2018-12-07 | 北京林业大学 | 一种无人机林区航拍图像拼接方法和*** |
| CN109697692A (zh) * | 2018-12-29 | 2019-04-30 | 安徽大学 | 一种基于局部结构相似的特征匹配方法 |
| CN110458183A (zh) * | 2019-06-25 | 2019-11-15 | 上海圭目机器人有限公司 | 一种图像自适应的特征匹配优化算法 |
| WO2020199424A1 (zh) * | 2019-04-01 | 2020-10-08 | 苏州中晟宏芯信息科技有限公司 | 一种最优h矩阵生成方法及装置 |
-
2020
- 2020-11-17 CN CN202011289613.3A patent/CN112348105B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574421A (zh) * | 2015-01-29 | 2015-04-29 | 北方工业大学 | 一种大幅面小重合区域高精度多光谱图像配准方法及装置 |
| CN106940876A (zh) * | 2017-02-21 | 2017-07-11 | 华东师范大学 | 一种基于surf的快速无人机航拍图像拼接算法 |
| CN108961162A (zh) * | 2018-03-12 | 2018-12-07 | 北京林业大学 | 一种无人机林区航拍图像拼接方法和*** |
| CN109697692A (zh) * | 2018-12-29 | 2019-04-30 | 安徽大学 | 一种基于局部结构相似的特征匹配方法 |
| WO2020199424A1 (zh) * | 2019-04-01 | 2020-10-08 | 苏州中晟宏芯信息科技有限公司 | 一种最优h矩阵生成方法及装置 |
| CN110458183A (zh) * | 2019-06-25 | 2019-11-15 | 上海圭目机器人有限公司 | 一种图像自适应的特征匹配优化算法 |
Non-Patent Citations (1)
| Title |
|---|
| 结合SURF算法和单应性矩阵的无人机影像匹配;王晓红等;测绘通报(07);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112348105A (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及*** | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| WO2022126377A1 (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| CN109035292B (zh) | 基于深度学习的运动目标检测方法及装置 | |
| CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
| CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN110689043A (zh) | 一种基于多重注意力机制的车辆细粒度识别方法及装置 | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| CN114359851A (zh) | 无人驾驶目标检测方法、装置、设备及介质 | |
| CN112733885A (zh) | 点云识别模型的确定方法、点云识别的方法及装置 | |
| CN108230330B (zh) | 一种快速的高速公路路面分割和摄像机定位的方法 | |
| CN116188999B (zh) | 一种基于可见光和红外图像数据融合的小目标检测方法 | |
| CN113723377A (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
| Farag | A lightweight vehicle detection and tracking technique for advanced driving assistance systems | |
| CN113095152A (zh) | 一种基于回归的车道线检测方法及*** | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111898428A (zh) | 一种基于orb的无人机特征点匹配方法 | |
| US20200005078A1 (en) | Content aware forensic detection of image manipulations | |
| CN115375917B (zh) | 一种目标边缘特征提取方法、装置、终端及存储介质 | |
| CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
| CN111199558A (zh) | 一种基于深度学习的图像匹配方法 | |
| CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| CN114332921A (zh) | 基于改进聚类算法的Faster R-CNN网络的行人检测方法 | |
| CN116246119A (zh) | 3d目标检测方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |