CN108921776A - 一种基于无人机的图像拼接方法及装置 - Google Patents

一种基于无人机的图像拼接方法及装置 Download PDF

Info

Publication number
CN108921776A
CN108921776A CN201810556862.0A CN201810556862A CN108921776A CN 108921776 A CN108921776 A CN 108921776A CN 201810556862 A CN201810556862 A CN 201810556862A CN 108921776 A CN108921776 A CN 108921776A
Authority
CN
China
Prior art keywords
image
point
characteristic point
spliced
unmanned plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810556862.0A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yifei Fonda Technology Co Ltd
Original Assignee
Shenzhen Yifei Fonda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yifei Fonda Technology Co Ltd filed Critical Shenzhen Yifei Fonda Technology Co Ltd
Priority to CN201810556862.0A priority Critical patent/CN108921776A/zh
Publication of CN108921776A publication Critical patent/CN108921776A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及无人机技术领域，公开了一种基于无人机的图像拼接方法及装置，该方法包括：获取待拼接的图像，所述待拼接的图像包括第一图像和第二图像；提取所述待拼接的图像的特征点；对所述第一图像和第二图像的特征点对进行粗匹配；采用边缘检测算法进行边缘检测；去除误匹配的特征点对；采用渐入渐出的融合机制拼接所述第一图像和第二图像；通过提取的图像特征进行匹配，估算出图像间的变换矩阵，然后利用变换矩阵对齐图像，有效地消除了图像的“鬼影”现象，提高了匹配速度和拼接速度，提高了拼接准确率，硬件需求较低。

Description

一种基于无人机的图像拼接方法及装置
技术领域
本发明涉及无人机技术领域，尤其涉及一种基于无人机的图像拼接方法及装置。
背景技术
由于受到拍摄时的环境因素的影响，无人机拍摄的图像所覆盖的面积有限，图像质量较差，无法满足人们对高分辨率、宽视角的需求，并且获取全景图像的硬件设备非常昂贵。因此，需要对图像进行拼接，拓宽视野范围，增加图像的信息量，提高其清晰度。而现有技术拼接速度较低，准确率不高。
发明内容
本发明的主要目的在于提出一种基于无人机的图像拼接方法及装置，通过提取的图像特征进行匹配，估算出图像间的变换矩阵，然后利用变换矩阵对齐图像，有效地消除了图像的“鬼影”现象，提高了匹配速度和拼接速度，提高了拼接准确率，硬件需求较低。
为实现上述目的，本发明提供的一种基于无人机的图像拼接方法，包括：
获取待拼接的图像，所述待拼接的图像包括第一图像和第二图像；
提取所述待拼接的图像的特征点；
对所述第一图像和第二图像的特征点对进行粗匹配；
采用边缘检测算法进行边缘检测；
去除误匹配的特征点对；
采用渐入渐出的融合机制拼接所述第一图像和第二图像。
可选地，所述提取所述待拼接的图像的特征点包括：
对所述第一图像和第二图像进行灰度化；
对灰度化后的第一图像和第二图像进行多维离散小波变换，提取出低频数据和高频数据；
将所述低频数据分成预设大小的若干个图像块，将每个图像块的每个像素点的RGB值作为特征信息。
可选地，所述对所述第一图像和第二图像的特征点对进行粗匹配包括：
计算所述第一图像和第二图像对应图像块的匹配相似度，选择相似度最高的区域作为图像重合区域；
采用BRISK算法进行特征点粗匹配。
可选地，所述去除误匹配的特征点对包括：
随机选取不在同一条线上的3个特征点对，计算变换矩阵；
计算每个特征点经过矩阵变换到对应特征点的距离，采用自适应方法得到的距离阈值将特征点对分为内点和外点；
当内点的数量大于预设的数量阈值时，用所有内点重新估算所述变换矩阵；
当内点的数量不大于所述预设的数量阈值时，根据所述内点数和错误率估算所述变换矩阵。
作为本发明的另一方面，提供的一种基于无人机的图像拼接装置，包括：
图像获取模块，用于获取待拼接的图像，所述待拼接的图像包括第一图像和第二图像；
特征点提取模块，用于提取所述待拼接的图像的特征点；
匹配模块，用于对所述第一图像和第二图像的特征点对进行粗匹配；
边缘检测模块，用于采用边缘检测算法进行边缘检测；
去除模块，用于去除误匹配的特征点对；
拼接模块，用于采用渐入渐出的融合机制拼接所述第一图像和第二图像。
可选地，所述特征点提取模块包括：
灰度化单元，用于对所述第一图像和第二图像进行灰度化；
小波变换单元，用于对灰度化后的第一图像和第二图像进行多维离散小波变换，提取出低频数据和高频数据；
提取单元，用于将所述低频数据分成预设大小的若干个图像块，将每个图像块的每个像素点的RGB值作为特征信息。
可选地，所述匹配模块包括：
相似度计算单元，用于计算所述第一图像和第二图像对应图像块的匹配相似度，选择相似度最高的区域作为图像重合区域；
匹配单元，用于采用BRISK算法进行特征点粗匹配。
可选地，所述去除模块包括：
选取单元，用于随机选取不在同一条线上的3个特征点对，计算变换矩阵；
距离计算单元，用于计算每个特征点经过矩阵变换到对应特征点的距离，采用自适应方法得到的距离阈值将特征点对分为内点和外点；
第一估算单元，用于当内点的数量大于预设的数量阈值时，用所有内点重新估算所述变换矩阵；
第二估算单元，用于当内点的数量不大于所述预设的数量阈值时，根据所述内点数和错误率估算所述变换矩阵。
本发明提出的一种基于无人机的图像拼接方法及装置，该方法包括：获取待拼接的图像，所述待拼接的图像包括第一图像和第二图像；提取所述待拼接的图像的特征点；对所述第一图像和第二图像的特征点对进行粗匹配；采用边缘检测算法进行边缘检测；去除误匹配的特征点对；采用渐入渐出的融合机制拼接所述第一图像和第二图像；通过提取的图像特征进行匹配，估算出图像间的变换矩阵，然后利用变换矩阵对齐图像，有效地消除了图像的“鬼影”现象，提高了匹配速度和拼接速度，提高了拼接准确率，硬件需求较低。
附图说明
图1为本发明实施例一提供的一种基于无人机的图像拼接方法的流程图；
图2为图1中步骤S20的方法流程图；
图3为图1中步骤S30的方法流程图；
图4为图1中步骤S50的方法流程图；
图5为本发明实施例二提供的一种基于无人机的图像拼接装置的示范性结构框图；
图6为图5中特征点提取模块的示范性结构框图；
图7为图5中匹配模块的示范性结构框图；
图8为图5中去除模块的示范性结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，在本实施例中，一种基于无人机的图像拼接方法，包括：
S10、获取待拼接的图像，所述待拼接的图像包括第一图像和第二图像；
S20、提取所述待拼接的图像的特征点；
S30、对所述第一图像和第二图像的特征点对进行粗匹配；
S40、采用边缘检测算法进行边缘检测；
S50、去除误匹配的特征点对；
S60、采用渐入渐出的融合机制拼接所述第一图像和第二图像。
在本实施例中，通过提取的图像特征进行匹配，估算出图像间的变换矩阵，然后利用变换矩阵对齐图像，有效地消除了图像的“鬼影”现象，提高了匹配速度和拼接速度，提高了拼接准确率，硬件需求较低。
在本实施例中，待拼接图像为同一场景的两幅或多幅图像，当待拼接图像为两幅时，按照上述拼接方法进行拼接，当待拼接图像为多幅图像时，两两按照上述拼接方法进行拼接。
如图2所示，在本实施例中，所述步骤S20包括：
S21、对所述第一图像和第二图像进行灰度化；
S22、对灰度化后的第一图像和第二图像进行多维离散小波变换，提取出低频数据和高频数据；
S23、将所述低频数据分成预设大小的若干个图像块，将每个图像块的每个像素点的RGB值作为特征信息。
在本实施例中，低频数据是表征图像的内容信息，高频数据是表征图像的边缘信息，采用基于区域的不平等匹配相似度方法，主要对低频数据分成固定大小(包含1*M个像素)的n个图像块，将每个块的每个像素点的RGB值作为特征信息。
如图3所示，在本实施例中，所述步骤S30包括：
S31、计算所述第一图像和第二图像对应图像块的匹配相似度，选择相似度最高的区域作为图像重合区域；
S32、采用BRISK算法进行特征点粗匹配。
在本实施例中，BRISK算法是2011年ICCV上《BRISK:Binary Robust InvariantScalable Keypoints》文章中，提出来的一种特征提取算法，也是一种二进制的特征描述算子。它具有较好的旋转不变性、尺度不变性，较好的鲁棒性等。在图像配准应用中，速度比较：SIFT<SURF<BRISK<FREAK<ORB，在对有较大模糊的图像配准时，BRISK算法在其中表现最为出色。
如图4所示，在本实施例中，所述步骤S50包括：
S51、随机选取不在同一条线上的3个特征点对，计算变换矩阵；
S52、计算每个特征点经过矩阵变换到对应特征点的距离，采用自适应方法得到的距离阈值将特征点对分为内点和外点；
S53、当内点的数量大于预设的数量阈值时，用所有内点重新估算所述变换矩阵；
S54、当内点的数量不大于所述预设的数量阈值时，根据所述内点数和错误率估算所述变换矩阵。
在本实施例中，所示特征点对也可以称为匹配点，设第一图像和第二图像的特征点对分别为：X＝[x，y]T和X′＝[x′，y′]T，两者满足公式：
X′＝HX
式中H为6参数的变换矩阵，则上式又可以表达为：
其中，为变换矩阵H。
实施例二
如图5所示，在本实施例中，一种基于无人机的图像拼接装置，包括：
图像获取模块10，用于获取待拼接的图像，所述待拼接的图像包括第一图像和第二图像；
特征点提取模块20，用于提取所述待拼接的图像的特征点；
匹配模块30，用于对所述第一图像和第二图像的特征点对进行粗匹配；
边缘检测模块40，用于采用边缘检测算法进行边缘检测；
去除模块50，用于去除误匹配的特征点对；
拼接模块60，用于采用渐入渐出的融合机制拼接所述第一图像和第二图像。
在本实施例中，通过提取的图像特征进行匹配，估算出图像间的变换矩阵，然后利用变换矩阵对齐图像，有效地消除了图像的“鬼影”现象，提高了匹配速度和拼接速度，提高了拼接准确率，硬件需求较低。
在本实施例中，待拼接图像为同一场景的两幅或多幅图像，当待拼接图像为两幅时，按照上述拼接方法进行拼接，当待拼接图像为多幅图像时，两两按照上述拼接方法进行拼接。
如图6所示，在本实施例中，所述特征点提取模块包括：
灰度化单元21，用于对所述第一图像和第二图像进行灰度化；
小波变换单元22，用于对灰度化后的第一图像和第二图像进行多维离散小波变换，提取出低频数据和高频数据；
提取单元23，用于将所述低频数据分成预设大小的若干个图像块，将每个图像块的每个像素点的RGB值作为特征信息。
在本实施例中，低频数据是表征图像的内容信息，高频数据是表征图像的边缘信息，采用基于区域的不平等匹配相似度方法，主要对低频数据分成固定大小(包含1*M个像素)的n个图像块，将每个块的每个像素点的RGB值作为特征信息。
如图7所示，在本实施例中，所述匹配模块包括：
相似度计算单元31，用于计算所述第一图像和第二图像对应图像块的匹配相似度，选择相似度最高的区域作为图像重合区域；
匹配单元32，用于采用BRISK算法进行特征点粗匹配。
在本实施例中，BRISK算法是2011年ICCV上《BRISK:Binary Robust InvariantScalable Keypoints》文章中，提出来的一种特征提取算法，也是一种二进制的特征描述算子。它具有较好的旋转不变性、尺度不变性，较好的鲁棒性等。在图像配准应用中，速度比较：SIFT<SURF<BRISK<FREAK<ORB，在对有较大模糊的图像配准时，BRISK算法在其中表现最为出色。
如图8所示，在本实施例中，所述去除模块包括：
选取单元51，用于随机选取不在同一条线上的3个特征点对，计算变换矩阵；
距离计算单元52，用于计算每个特征点经过矩阵变换到对应特征点的距离，采用自适应方法得到的距离阈值将特征点对分为内点和外点；
第一估算单元53，用于当内点的数量大于预设的数量阈值时，用所有内点重新估算所述变换矩阵；
第二估算单元54，用于当内点的数量不大于所述预设的数量阈值时，根据所述内点数和错误率估算所述变换矩阵。
在本实施例中，所示特征点对也可以称为匹配点，设第一图像和第二图像的特征点对分别为：X＝[x，y]T和X′＝[x′，y′]T，两者满足公式：
X′＝HX
式中H为6参数的变换矩阵，则上式又可以表达为：
其中，为变换矩阵H。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于无人机的图像拼接方法，其特征在于，包括：
获取待拼接的图像，所述待拼接的图像包括第一图像和第二图像；
提取所述待拼接的图像的特征点；
对所述第一图像和第二图像的特征点对进行粗匹配；
采用边缘检测算法进行边缘检测；
去除误匹配的特征点对；
采用渐入渐出的融合机制拼接所述第一图像和第二图像。
2.根据权利要求1所述的一种基于无人机的图像拼接方法，其特征在于，所述提取所述待拼接的图像的特征点包括：
对所述第一图像和第二图像进行灰度化；
对灰度化后的第一图像和第二图像进行多维离散小波变换，提取出低频数据和高频数据；
将所述低频数据分成预设大小的若干个图像块，将每个图像块的每个像素点的RGB值作为特征信息。
3.根据权利要求2所述的一种基于无人机的图像拼接方法，其特征在于，所述对所述第一图像和第二图像的特征点对进行粗匹配包括：
计算所述第一图像和第二图像对应图像块的匹配相似度，选择相似度最高的区域作为图像重合区域；
采用BRISK算法进行特征点粗匹配。
4.根据权利要求3所述的一种基于无人机的图像拼接方法，其特征在于，所述去除误匹配的特征点对包括：
随机选取不在同一条线上的3个特征点对，计算变换矩阵；
计算每个特征点经过矩阵变换到对应特征点的距离，采用自适应方法得到的距离阈值将特征点对分为内点和外点；
当内点的数量大于预设的数量阈值时，用所有内点重新估算所述变换矩阵；
当内点的数量不大于所述预设的数量阈值时，根据所述内点数和错误率估算所述变换矩阵。
5.一种基于无人机的图像拼接装置，其特征在于，包括：
图像获取模块，用于获取待拼接的图像，所述待拼接的图像包括第一图像和第二图像；
特征点提取模块，用于提取所述待拼接的图像的特征点；
匹配模块，用于对所述第一图像和第二图像的特征点对进行粗匹配；
边缘检测模块，用于采用边缘检测算法进行边缘检测；
去除模块，用于去除误匹配的特征点对；
拼接模块，用于采用渐入渐出的融合机制拼接所述第一图像和第二图像。
6.根据权利要求5所述的一种基于无人机的图像拼接装置，其特征在于，所述特征点提取模块包括：
灰度化单元，用于对所述第一图像和第二图像进行灰度化；
小波变换单元，用于对灰度化后的第一图像和第二图像进行多维离散小波变换，提取出低频数据和高频数据；
提取单元，用于将所述低频数据分成预设大小的若干个图像块，将每个图像块的每个像素点的RGB值作为特征信息。
7.根据权利要求6所述的一种基于无人机的图像拼接装置，其特征在于，所述匹配模块包括：
相似度计算单元，用于计算所述第一图像和第二图像对应图像块的匹配相似度，选择相似度最高的区域作为图像重合区域；
匹配单元，用于采用BRISK算法进行特征点粗匹配。
8.根据权利要求7所述的一种基于无人机的图像拼接装置，其特征在于，所述去除模块包括：
选取单元，用于随机选取不在同一条线上的3个特征点对，计算变换矩阵；
距离计算单元，用于计算每个特征点经过矩阵变换到对应特征点的距离，采用自适应方法得到的距离阈值将特征点对分为内点和外点；
第一估算单元，用于当内点的数量大于预设的数量阈值时，用所有内点重新估算所述变换矩阵；
第二估算单元，用于当内点的数量不大于所述预设的数量阈值时，根据所述内点数和错误率估算所述变换矩阵。
CN201810556862.0A 2018-05-31 2018-05-31 一种基于无人机的图像拼接方法及装置 Pending CN108921776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810556862.0A CN108921776A (zh) 2018-05-31 2018-05-31 一种基于无人机的图像拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810556862.0A CN108921776A (zh) 2018-05-31 2018-05-31 一种基于无人机的图像拼接方法及装置

Publications (1)

Publication Number Publication Date
CN108921776A true CN108921776A (zh) 2018-11-30

Family

ID=64420014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810556862.0A Pending CN108921776A (zh) 2018-05-31 2018-05-31 一种基于无人机的图像拼接方法及装置

Country Status (1)

Country Link
CN (1) CN108921776A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020135394A1 (zh) * 2018-12-28 2020-07-02 清华大学 视频拼接方法及装置
CN113592929A (zh) * 2021-08-04 2021-11-02 北京优翼科科技有限公司 一种无人机航摄影像实时拼接方法与***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208997A1 (en) * 2010-11-02 2013-08-15 Zte Corporation Method and Apparatus for Combining Panoramic Image
CN104134200A (zh) * 2014-06-27 2014-11-05 河海大学 一种基于改进加权融合的运动场景图像拼接方法
WO2017107700A1 (zh) * 2015-12-21 2017-06-29 努比亚技术有限公司 一种实现图像配准的方法及终端
CN107274346A (zh) * 2017-06-23 2017-10-20 中国科学技术大学 实时全景视频拼接***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208997A1 (en) * 2010-11-02 2013-08-15 Zte Corporation Method and Apparatus for Combining Panoramic Image
CN104134200A (zh) * 2014-06-27 2014-11-05 河海大学 一种基于改进加权融合的运动场景图像拼接方法
WO2017107700A1 (zh) * 2015-12-21 2017-06-29 努比亚技术有限公司 一种实现图像配准的方法及终端
CN107274346A (zh) * 2017-06-23 2017-10-20 中国科学技术大学 实时全景视频拼接***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020135394A1 (zh) * 2018-12-28 2020-07-02 清华大学 视频拼接方法及装置
US11538177B2 (en) 2018-12-28 2022-12-27 Tsinghua University Video stitching method and device
CN113592929A (zh) * 2021-08-04 2021-11-02 北京优翼科科技有限公司 一种无人机航摄影像实时拼接方法与***

Similar Documents

Publication Publication Date Title
Juan et al. A comparison of sift, pca-sift and surf
US8351662B2 (en) System and method for face verification using video sequence
US7174044B2 (en) Method for character recognition based on gabor filters
Trulls et al. Dense segmentation-aware descriptors
CN110546651B (zh) 用于识别对象的方法、***和计算机可读介质
CN107967482A (zh) 图标识别方法及装置
Zhang et al. Detecting and extracting the photo composites using planar homography and graph cut
US20040190787A1 (en) Image noise reduction
CN111104943A (zh) 基于决策级融合的彩色图像感兴趣区域提取方法
WO2019204577A1 (en) System and method for multimedia analytic processing and display
CN111126412A (zh) 基于特征金字塔网络的图像关键点检测方法
Kim et al. Adaptive weighted fusion with new spatial and temporal fingerprints for improved video copy detection
Swami et al. Candy: Conditional adversarial networks based fully end-to-end system for single image haze removal
CN108921776A (zh) 一种基于无人机的图像拼接方法及装置
CN108805139A (zh) 一种基于频域视觉显著性分析的图像相似性计算方法
CN113469216B (zh) 零售终端海报识别与完整性判断方法、***及存储介质
CN110633691A (zh) 一种基于可见光和近红外相机的双目活体检测方法
Bhullar et al. DWT and SIFT based passive copy-move forgery detection
CN106611417B (zh) 将视觉元素分类为前景或背景的方法及装置
US20030044067A1 (en) Apparatus and methods for pattern recognition based on transform aggregation
CN116309488A (zh) 图像清晰度检测方法、装置、电子设备和可读存储介质
Kumar et al. A review of image features extraction techniques and their applications in image forensic
Shah et al. Copy-move forgery detection using hybrid transform and K-means clustering technique
Chen et al. Forensics of blurred images based on no-reference image quality assessment
CN109101969A (zh) 一种基于字符识别的图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130

RJ01 Rejection of invention patent application after publication