CN112131971A - 一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法 - Google Patents

一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法 Download PDF

Info

Publication number
CN112131971A
CN112131971A CN202010928071.3A CN202010928071A CN112131971A CN 112131971 A CN112131971 A CN 112131971A CN 202010928071 A CN202010928071 A CN 202010928071A CN 112131971 A CN112131971 A CN 112131971A
Authority
CN
China
Prior art keywords
descriptor
floating point
dimensional
point type
hardnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010928071.3A
Other languages
English (en)
Inventor
林秋华
齐妙颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010928071.3A priority Critical patent/CN112131971A/zh
Publication of CN112131971A publication Critical patent/CN112131971A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法，属于图像处理领域。对于一幅输入图像，首先采用SIFT算法检测图像的特征点，以特征点为中心，将输入图像按照SIFT所计算的旋转角旋转，截取一块子图送入HardNet网络，输出128维浮点型特征描述子。然后，将特征描述子的128个浮点数按照从小到大的顺序排序，计算128维浮点型特征描述子的三分位点的位置和大小。进而将128维浮点型特征描述子量化为256维二进制特征描述子，用于图像匹配。与SIFT相比，本发明匹配成功率能够提高到100％；与HardNet浮点型描述子相比，本发明二进制描述子的匹配速度可提升约3倍。

Description

一种将HardNet的128维浮点型特征描述子进行256维二进制 量化的方法
技术领域
本发明属于图像处理领域，特别是涉及一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法。
背景技术
当无人机处于复杂环境下，而GPS不能安全而稳定地满足导航要求时，视觉导航可借助航拍图像与电子地图的匹配辅助无人机的定位。其中，基于局部特征点的匹配方法因其特征不变性和鲁棒性而广为应用。SIFT(scale-invariant feature transform)是一种传统的特征点提取方法，先通过构建高斯金字塔、检测尺度空间的极值点，找到不同尺度下都存在的特征点。再通过计算特征点邻域的梯度方向直方图生成128维浮点型特征描述子。SIFT的优势在于，对尺度、旋转、光照等具有一定的不变性和鲁棒性，是一种优秀的传统匹配算法。但是，在无人机所获取的航拍图像中，存在景物特征不突出等问题，而SIFT提取的特征单一，可能导致图像匹配的性能不够稳定。
随着深度学习的快速发展，卷积神经网络(convolutional neural networks，CNN)在特征提取方面表现突出，在图像检索和图像匹配中取得了比传统方法更优越的性能。与SIFT通过计算邻域像素梯度方向来提取局部特征不同，CNN针对所输入的一幅图片学习特征描述子，故所提取特征更为整体而全面。CNN的卷积堆叠与特征之间的全连接操作，还能够提取更抽象的深度特征。考虑到图像的传统特征和深度特征性能各异，优势互补，人们开始研究将SIFT所检测特征点与CNN学习特征描述子的方法相结合，以提升图像匹配的性能。HardNet就是这样一种方法，在L2-Net架构的基础上引入了一种损失函数，使得一批样本(batch)中最近正样本和最近负样本之间的距离最大化，最终输出128维浮点型特征描述子，在匹配性能上优于传统的SIFT。然而，当无人机对视觉导航的实时性要求较高时，浮点型特征描述子在计算欧氏距离上耗时较大。因此，输出128维浮点型特征描述子的HardNet难以满足无人机视觉导航的实时性要求。
发明内容
本发明提供了一种将HardNet的128维浮点型特征描述子量化为256维二进制描述子的方法，能在保证匹配精度的基础上，大大提升匹配速度，以满足无人机视觉导航的实时性要求。具体方案是，对于一幅输入图像，首先采用SIFT检测图像的特征点，以特征点为中心截取一块子图(patch)送入HardNet网络，输出128维浮点型特征描述子。然后，计算128维浮点型特征描述子的三分位点的位置和大小，进而将128维浮点型特征描述子量化为256维二进制描述子，用于图像匹配。具体实现步骤如下：
第一步：输入一幅无人机航拍灰度图像X，大小是w0×l0，w0和l0分别是航拍图像的长和宽。
第二步：采用SIFT检测航拍图X的特征点，去除图像边缘特征点。
第三步：生成HardNet的128维浮点型特征描述子。由于HardNet没有旋转不变性，以SIFT特征点为中心，将X按照SIFT所计算的旋转角旋转，再截取32×32大小的子图patch，输入到HardNet网络，得到浮点型特征描述子f＝[f1,f2,...,fN]，N＝128。
第四步：计算128维浮点型描述子的三分位点的位置。将特征描述子的128个浮点数按照从小到大的顺序排列为f0＝[f(1),f(2),...,f(N)]。先计算三分位点的位置Li，i＝1,2；再计算三分位点的大小ti，i＝1,2，将f0划分为长度相等的三部分；最后，根据三分位点的大小t1和t2对浮点型特征描述子f＝[f1,f2,...,fN]进行二进制量化。三分位点位置Li的计算方法如式(1)所示：
Li＝(N-1)×pi+1 (1)
式中，p1＝1/3，p2＝2/3。
第五步：计算128维浮点型描述子的三分位点的大小。三分位点的大小ti，i＝1,2的计算公式如式(2)所示:
Figure BDA0002669165510000031
式中，Li是由式(1)计算得到的三分位点位置，
Figure BDA0002669165510000032
和
Figure BDA0002669165510000033
分别表示对Li向下取整和向上取整，
Figure BDA0002669165510000034
和
Figure BDA0002669165510000035
分别表示f0中位置是
Figure BDA0002669165510000036
和
Figure BDA0002669165510000037
的浮点数，i＝1,2。
第六步：量化为二进制描述子。为了保证差距大的浮点型描述子量化为二进制之后距离仍然大，即更好地保持描述子的特征，将浮点型描述子f＝[f1,f2,...,fN]，N＝128的元素按照三分位点的大小分别量化为‘00’，‘01’，‘11’，如式(3)所示：
Figure BDA0002669165510000038
式中，m＝1,...,M，n＝1,...,N；一位浮点数量化后对应两位二进制，进而得到256维二进制描述子b＝[b1,b2,...,bM]，M＝256。
第七步：输出256维二进制描述子b＝[b1,b2,...,bM]，M＝256。
本发明的有益效果：本发明聚焦无人机视觉导航的特征提取问题，提供了一种将HardNet学***均每张航拍图的匹配时间从1106.8ms加快到353.1ms，单幅图最长匹配时间从1761.3ms缩短为544.5ms。由此可见，二进制描述子能够大大加快图像匹配速度。适用于无人机视觉导航等对速度要求较高的领域。
附图说明
图1为本发明将128维浮点型特征描述子量化为256维二进制特征描述子的示意图。
图2为本发明在航拍图像与电子地图匹配中的应用。
具体实施方式
下面结合技术方案详细叙述本发明的一个实施例。现有96张航拍图像，大小均为500×500，以及覆盖航拍图像区域的电子地图。
第一步：输入一幅无人机航拍灰度图像X。设置特征点数最小值Nmin＝30、最大值Nmax、对比度阈值th＝0.02、匹配阈值t＝40。
第二步：采用SIFT检测航拍图X的特征点，去除图像边缘特征点。若特征点数小于Nmin，降低SIFT对比度阈值为原来的一半，增大特征点数；若特征点数大于Nmax，将对比度阈值增大一倍，减少特征点数。
第三步：生成HardNet的128维浮点型特征描述子。以SIFT特征点为中心，将X按照SIFT所计算的旋转角旋转，再截取32×32大小的一块子图，输入到HardNet网络，得到浮点型特征描述子f＝[f1,f2,...,f128]。
第四步：计算128维浮点型描述子的三分位点的位置。将特征描述子的128个浮点数按照从小到大的顺序排列为f0＝[f(1),f(2),...,f(128)]。用式(1)计算三分位点的位置L1和L2。
第五步：用式(2)计算128维浮点型描述子的三分位点的大小t1和t2。
第六步：量化为二进制描述子。用式(3)将浮点型描述子f＝[f1,f2,...,f128]的元素按照三分位点的大小分别量化为‘00’，‘01’，‘11’；进而得到256维二进制描述子b＝[b1,b2,...,b256]。
第七步：计算汉明距离。已知电子地图的所有描述子B2＝{b2,k}，k＝1,2,...,K，K是电子地图的特征点总数。计算航拍图X中每个描述子b1和电子地图选定范围内的每个描述子b2之间的汉明距离。
第八步：获取匹配点对。判定两个描述子匹配的准则是：航拍图的描述子b1与电子地图所有描述子B2的最近汉明距离小于等于匹配阈值。根据这一准则，确定航拍图与电子地图的匹配点对。
第九步：计算仿射变换矩阵。根据航拍图X与电子地图的匹配点对计算仿射变换矩阵，从而计算出X的中心点在电子地图中的坐标。
第十步：输出航拍图在地图中的坐标。对所有的航拍图进行第一步到第九步的操作，输出每张航拍图中心点的坐标。

Claims (1)

1.一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法，其特征在于，以下步骤：
第一步：输入一幅无人机航拍灰度图像X，大小是w0×l0，w0和l0分别是航拍图像的长和宽；
第二步：采用SIFT检测航拍图X的特征点，去除图像边缘特征点；
第三步：生成HardNet的128维浮点型特征描述子；由于HardNet没有旋转不变性，以SIFT特征点为中心，将X按照SIFT所计算的旋转角旋转，再截取32×32大小的子图patch，输入到HardNet网络，得到浮点型特征描述子f＝[f1,f2,...,fN]，N＝128；
第四步：计算128维浮点型描述子的三分位点的位置；将特征描述子的128个浮点数按照从小到大的顺序排列为f0＝[f(1),f(2),...,f(N)]；先计算三分位点的位置Li，i＝1,2；再计算三分位点的大小ti，i＝1,2，将f0划分为长度相等的三部分；最后，根据三分位点的大小t1和t2对浮点型特征描述子f＝[f1,f2,...,fN]进行二进制量化；三分位点位置Li的计算方法如式(1)所示：
Li＝(N-1)×pi+1 (1)
式中，p1＝1/3，p2＝2/3；
第五步：计算128维浮点型描述子的三分位点的大小；三分位点的大小ti，i＝1,2的计算公式如式(2)所示:
Figure FDA0002669165500000011
式中，Li是由式(1)计算得到的三分位点位置，
Figure FDA0002669165500000012
和
Figure FDA0002669165500000013
分别表示对Li向下取整和向上取整，
Figure FDA0002669165500000014
和
Figure FDA0002669165500000015
分别表示f0中位置是
Figure FDA0002669165500000016
和
Figure FDA0002669165500000017
的浮点数，i＝1,2；
第六步：量化为二进制描述子；将浮点型描述子f＝[f1,f2,...,fN]，N＝128的元素按照三分位点的大小分别量化为‘00’，‘01’，‘11’，如式(3)所示：
Figure FDA0002669165500000021
式中，m＝1,...,M，n＝1,...,N；一位浮点数量化后对应两位二进制，进而得到256维二进制描述子b＝[b1,b2,...,bM]，M＝256；
第七步：输出256维二进制描述子b＝[b1,b2,...,bM]，M＝256。
CN202010928071.3A 2020-09-07 2020-09-07 一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法 Withdrawn CN112131971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010928071.3A CN112131971A (zh) 2020-09-07 2020-09-07 一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010928071.3A CN112131971A (zh) 2020-09-07 2020-09-07 一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法

Publications (1)

Publication Number Publication Date
CN112131971A true CN112131971A (zh) 2020-12-25

Family

ID=73848234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010928071.3A Withdrawn CN112131971A (zh) 2020-09-07 2020-09-07 一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法

Country Status (1)

Country Link
CN (1) CN112131971A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837007A (zh) * 2021-08-23 2021-12-24 哈尔滨工业大学 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184786A (zh) * 2015-08-28 2015-12-23 大连理工大学 一种浮点型三角形特征描述方法
CN106127243A (zh) * 2016-06-22 2016-11-16 上海师范大学 一种基于二值化sift描述子的图像匹配方法
CN106778771A (zh) * 2016-11-22 2017-05-31 上海师范大学 一种新型的二值sift描述子及其图像匹配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184786A (zh) * 2015-08-28 2015-12-23 大连理工大学 一种浮点型三角形特征描述方法
CN106127243A (zh) * 2016-06-22 2016-11-16 上海师范大学 一种基于二值化sift描述子的图像匹配方法
CN106778771A (zh) * 2016-11-22 2017-05-31 上海师范大学 一种新型的二值sift描述子及其图像匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZIXIN LUO等: "ContextDesc: Local Descriptor Augmentation With Cross-Modality Context", 《CVPR 2019 OPEN ACCESS》, 31 December 2019 (2019-12-31) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837007A (zh) * 2021-08-23 2021-12-24 哈尔滨工业大学 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法
CN113837007B (zh) * 2021-08-23 2022-04-12 哈尔滨工业大学 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法

Similar Documents

Publication Publication Date Title
AU2020101435A4 (en) A panoramic vision system based on the uav platform
WO2023039959A1 (zh) 一种基于金字塔机制的遥感影像海洋与非海区域分割方法
CN111401384A (zh) 一种变电设备缺陷图像匹配方法
WO2023040247A1 (zh) 一种基于图像和点云融合网络的道路区域图像识别方法
CN111028151B (zh) 基于图残差神经网络融合的点云数据拼接方法
CN112150493A (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN109934272B (zh) 一种基于全卷积网络的图像匹配方法
CN110929735B (zh) 一种基于多尺度特征注意机制的快速显著性检测方法
CN113888547A (zh) 基于gan网络的无监督域自适应遥感道路语义分割方法
WO2023272993A1 (zh) 一种图片识别方法、装置、设备及可读存储介质
CN116758130A (zh) 一种基于多路径特征提取和多尺度特征融合的单目深度预测方法
CN111241924A (zh) 基于尺度估计的人脸检测及对齐方法、装置、存储介质
Kabbai et al. Image matching based on LBP and SIFT descriptor
CN112785636A (zh) 一种多尺度增强式的单目深度估计方法
CN113505634A (zh) 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备
CN112131971A (zh) 一种将HardNet的128维浮点型特征描述子进行256维二进制量化的方法
CN110852214A (zh) 面向边缘计算的轻量级面部识别方法
CN115115698A (zh) 设备的位姿估计方法及相关设备
CN113111736A (zh) 基于深度可分离卷积及融合pan的多级特征金字塔目标检测方法
CN113486718B (zh) 一种基于深度多任务学习的指尖检测方法
CN115527082A (zh) 一种基于图像多重预处理的深度学习小目标检测方法
CN111008555B (zh) 一种无人机图像弱小目标增强提取方法
CN115294371A (zh) 基于深度学习的互补特征可靠描述与匹配方法
CN113177546A (zh) 一种基于稀疏注意力模块的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201225