CN112446431A - 特征点提取与匹配方法、网络、设备及计算机存储介质 - Google Patents

特征点提取与匹配方法、网络、设备及计算机存储介质 Download PDF

Info

Publication number
CN112446431A
CN112446431A CN202011368267.8A CN202011368267A CN112446431A CN 112446431 A CN112446431 A CN 112446431A CN 202011368267 A CN202011368267 A CN 202011368267A CN 112446431 A CN112446431 A CN 112446431A
Authority
CN
China
Prior art keywords
data
matching
feature
feature point
hash table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011368267.8A
Other languages
English (en)
Inventor
孟凡阳
尹建华
陈俊宏
何震宇
田第鸿
柳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Peng Cheng Laboratory
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology, Peng Cheng Laboratory filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202011368267.8A priority Critical patent/CN112446431A/zh
Publication of CN112446431A publication Critical patent/CN112446431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种特征点提取与匹配方法，该方法包括：将图像输入特征及其权重参数进行二值化处理，并对二值化后的数据进行计算以提取特征点；通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像，将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位；将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立二进制化的哈希表；当进行匹配时，计算查询数据与所述哈希表中数据的匹配度，返回所述哈希表中匹配度最高的数据。解决了特征点提取方法存储匹配速度慢、精度不高等问题。使得特征点提取、匹配速度以及特征点定位精度都达到了很大的提升。

Description

特征点提取与匹配方法、网络、设备及计算机存储介质
技术领域
本发明涉及图像处理，尤其涉及一种特征点提取与匹配方法。
背景技术
在计算机视觉中，特征点的提取与匹配扮演着非常重要的角色，也是基础研究工作。例如宽基线立体、目标识别、细粒度分类、多视角重建、图像拼接、三维重建以及基于运动中重建等。一个图像的特征点由两部分构成，即关键点和描述子。其中，关键点指该特征点在图像中的位置，包含方向和尺度信息等两个方面；描述子通常是一个向量，按照认为的设计方式，描述关键点周围像素的信息。特征点提取与匹配在算法中存在主要难点一般为提取速度、匹配精度以及鲁棒性。在工程中运用中，提取、匹配与存储速度、匹配精度以及鲁棒性更为重要。如果提取速度或者匹配存储速度等无法满足工程需求，则当前特征点的信息将会延迟，返回的视觉信息滞后，进而导致不能实时地对视觉信息做出判断；同样，匹配精度不够高，则当前特征点的信息存在误差，这种误差也会传递到返回的视觉信息，从而导致不能对视觉信息做出准确的判断；此外，特征点提取与匹配的鲁棒性差，导致提取与匹配的效果时而比较好、时而比较差，无法正确地判断对应的视觉信息。可见，特征点提取与匹配在计算机视觉领域中占据着非常重要的地位。
目前主要有两种方法研究特征点的提取与匹配：手动特征点提取与匹配以及基于机器学习的特征点提取与匹配。手动特征点提取与匹配最先发展起来，从最初的SIFT(Scale-invariant feature transform，尺度不变特征变换)、到现在的SURF(Speeded UpRobust Features，加速健壮特征)以及ORB(Oriented FAST(Features from AcceleratedSegments Test)and Rotated BRIEF(Binary Robust Independent ElementaryFeatures)，基于FAST特征点和BRIEF特征描述子的特征提取改进算法)等等方法。SIFT算法是在不同的尺度空间上通过高斯微分函数来查找潜在的关键点，在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度，并根据图像局部梯度方向计算出关键点的方向，但是SIFT方法速度慢且边缘信息提取不全。SURF方法是对SIFT的改进版本，利用Haar小波来近似SIFT方法中的梯度操作，同时利用积分图技术进行快速计算，速度是SIFT的3-7倍，大部分情况下它和SIFT的性能相当，因此它应用范围也比较广，尤其是对运行时间要求高的场合；ORB方法是对SIFT和SURF的一种补充，基于FAST特征点的检测方法与BRIEF特征描述子的基础上进行了改进与优化，具有旋转不变性和抗噪声能力，同时计算速度也比SIFT快了两个数量级，且在各个性能上与SIFT一样优越。近几年，随着机器学习的发展，尤其是深度学习，国内外学者关于特征点提取与匹配的研究热点逐渐从传统的手工特征点提取与匹配转向基于机器学习的特征点提取与匹配，其中孪生神经网络的应用更为深入，虽然精度以及鲁棒性均被实验证明比传统的手动方法好，但是匹配与存储速度以及计算提取速度一直是深度学习方法的缺陷，直接影响其在工程中的运用。
发明内容
有鉴于此，提供一种特征点提取与匹配方法，解决传统的手工特征点提取方法存储匹配速度慢、精度不高，且易受到黑夜白天等不同场景影响等问题，以及目前深度学习方法的特征点提取方法虽然精度高但提取以及匹配速度匹配等问题。
本申请实施例提供了一种特征点提取与匹配方法，其特征在于，所述方法包括：
将图像输入特征及其权重参数进行二值化处理，并对二值化后的数据进行计算以提取特征点；
通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像，将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位；
将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立二进制化的哈希表；
当进行匹配时，计算查询数据与所述哈希表中数据的匹配度，返回所述哈希表中匹配度最高的数据。
在一实施例中，所述将图像输入特征进行二值化处理，包括：
基于所述图像输入特征的矩阵，在通道维度上计算绝对值的均值；
将所述均值与二维的卷积核进行卷积操作，获得卷积结果；
采用符号函数将所述卷积结果转化为二值矩阵I。
在一实施例中，所述将权重参数进行二值化处理，包括：
对所述权重参数经归一化处理；
采用符号函数将所述权重参数转化二值矩阵W。
在一实施例中，所述对二值化后的数据进行计算以提取特征点，包括：
对所述二值矩阵W、所述二值矩阵I、所述卷积结果与缩放因子进行点乘操作，以提取特征点；其中所述缩放因子在所述权重参数经归一化处理的过程中获得。
在一实施例中，所述将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位，包括：
将相同层次和分辨率的特征图像进行串行连接；
按照分辨率依次降低的顺序将不同层次的特征图像进行并行连接；其中同一层次的特征图像的分辨率相同；
将不同层次的特征图像的位置信息进行反复交换获得多尺度融合信息；
基于所述多尺度融合信息对特征点进行定位。
在一实施例中，所述将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立二进制化的哈希表，包括：
对待匹配图像数据建立索引，构建索引号；
将所述定位后空间中相邻的特征点的数据经二进制化后，通过哈希算法映射到对应所述索引号的一个表格中。
在一实施例中，所述计算查询数据与所述哈希表中的数据的匹配度，返回所述哈希表中匹配度最高的数据，包括：
将所述查询数据经哈希算法得到相应的所述索引号，获取所述索引号在表格中对应的数据；
计算所述查询数据与获得的所述表格中对应的数据的相似度或距离；
返回所述相似度最小或所述距离最小的数据。
为实现上述目的，还提供一种特征点提取与匹配网络，其特征在于，所述网络为孪生网络框架结构，包括：
第一网络框架和第二网络框架；其中所述第一网络框架和所述第二网络框架相同；
所述第一网络框架或第二网络框架被配置为：
将图像输入特征及其权重参数进行二值化处理，并对二值化后的数据进行计算以提取特征点；
通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像，将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位；
将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立哈希表；
当进行匹配时，计算查询数据与所述哈希表中的数据的匹配度，返回所述哈希表中匹配度最高的数据；
其中，用第一网络框架提取的特征点信息与第二网络框架提取的特征点信息进行特征点匹配。
为实现上述目的，还提供一种计算机可读存储介质，其上存储有特征点提取与匹配方法程序，该特征点提取与匹配方法程序被处理器执行时实现上述任一所述的方法的步骤。
为实现上述目的，还提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的特征点提取与匹配方法的程序，所述处理器执行所述特征点提取与匹配方法程序时实现上述任一所述的方法的步骤。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：将图像输入特征及其权重参数进行二值化处理，并对二值化后的数据进行计算以提取特征点；将图像输入特征及其权重参数进行二值化处理，使得特征点提取的计算速度提升了近两个数量级。通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像，将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位；在每一次更新计算中都将高层信息和低层信息进行多尺度融合，保证了特征点定位精度。将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立二进制化的哈希表；构建二进制化的哈希表，为后续进行特征点匹配提供数据支持。当进行匹配时，计算查询数据与所述哈希表中数据的匹配度，返回所述哈希表中匹配度最高的数据。在匹配方面，传统的浮点型方法匹配降低了存储与匹配速度，通过哈希匹配方法，数据映射到一个哈希表，其中数据检索以及存储均采用二进制，大大加快了存储以及匹配速度，速度提升了近一个数量级。解决了特征点提取方法存储匹配速度慢、精度不高等问题。使得特征点提取、匹配速度以及特征点定位精度都达到了很大的提升。
附图说明
图1为本申请实施例中涉及的特征点提取与匹配方法的硬件架构示意图；
图2为本申请特征点提取与匹配方法的第一实施例的流程示意图；
图3为本申请特征点提取与匹配方法对第一实施例中步骤S110的具体流程示意图；
图4为本申请特征点提取与匹配方法中图像输入特征二值化的流程示意图；
图5为本申请特征点提取与匹配方法对第一实施例中步骤S110的具体流程示意图；
图6为本申请特征点提取与匹配方法中权重参数二值化的流程示意图；
图7为本申请特征点提取与匹配方法对第一实施例中步骤S110的具体流程示意图；
图8为本申请特征点提取与匹配方法中二值化结果点乘的流程示意图；
图9为本申请特征点提取与匹配方法对第一实施例中步骤S120的具体流程示意图；
图10为本申请特征点提取与匹配方法中特征点定位网络框架示意图；
图11为本申请特征点提取与匹配方法对第一实施例中步骤S130的具体流程示意图；
图12为本申请特征点提取与匹配方法中二进制哈希表格构建示意图；
图13为本申请特征点提取与匹配方法对第一实施例中步骤S140的具体流程示意图；
图14为本申请特征点提取与匹配方法的特征点提取对比结果；
图15为本申请特征点提取与匹配方法的特征点匹配结果；
图16为本申请特征点提取与匹配网络的示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：将图像输入特征及其权重参数进行二值化处理，并对二值化后的数据进行计算以提取特征点；通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像，将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位；将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立二进制化的哈希表；当进行匹配时，计算查询数据与所述哈希表中数据的匹配度，返回所述哈希表中匹配度最高的数据。解决了特征点提取方法存储匹配速度慢、精度不高等问题。使得特征点提取、匹配速度以及特征点定位精度都达到了很大的提升。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本申请涉及一种设备010包括如图1所示：至少一个处理器012、存储器011。
处理器012可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器012中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器012可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器011，处理器012读取存储器011中的信息，结合其硬件完成上述方法的步骤。
可以理解，本发明实施例中的存储器011可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ReadOnly Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本发明实施例描述的***和方法的存储器011旨在包括但不限于这些和任意其它适合类型的存储器。
参照图2，图2为本申请特征点提取与匹配方法的第一实施例，所述方法，包括以下步骤：
步骤S110：将图像输入特征及其权重参数进行二值化处理，并对二值化后的数据进行计算以提取特征点。
特征是某一类对象区别于其他类对象的相应(本质)特点或特性，或是这些特点和特性的集合。特征是通过测量或处理能够抽取的数据。
对于图像而言，每一幅图像都具有能够区别于其他类图像的自身特征，有些是可以直观地感受到的自然特征，如亮度、边缘、纹理和色彩等；有些则是需要通过变换或处理才能得到的，如矩、直方图以及主成份等。其中，将某一类对象的多个或多种特性组合在一起，形成一个特征向量来代表该类对象，如果只有单个数值特征，则特征向量为一个一维向量，如果是n个特性的组合，则为一个n维特征向量。该类特征向量常常作为图像输入特征。
权重参数与图像输入特征进行计算，得到图像特征提取结果。其中权重参数可以在训练过程中进行学习和更新，以获得更加精确的图像特征提取结果。
比如一幅图像包括目标物体、背景还有噪声，要想从多值的数字图像中直接提取出目标物体，常用的方法就是设定一个阈值T，用T将图像的数据分成两部分：大于T的像素群和小于T的像素群，称为图像的二值化(Binarization)。
步骤S120：通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像，将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位。
卷积网络又称卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feed-forward Neural Networks)，用来对输入图像进行特征提取。
多个层次可以是根据卷积网络卷积次数的不同获得的多个层次的信息，比如高层位置信息与低层位置信息或者深层信息和浅层信息等。
多尺度融合可以是多个特征融合的过程，特征融合的过程大体上分为如下三类：一种是简单的特征组合，即将所有的特征向量，按照串行或者并行的方法组合在一起，构成新的特征向量；第二种是特征选择，即从新组合的特征向量中，对应的每一维数据中都选择出一个对分类最优的数据，最后把选择出来的数据组成新的特征；最后一种是特征变换，即将所有的特征向量放在一起，再使用一定的数学方法变换一种全新的特征表达方式。本发明中的特征融合方式可以是上述的其中一种或其扩展。
特征点定位是解决许多更高层视觉问题如身份识别,图像分类,姿态估计等的基础。
步骤S130：将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立二进制化的哈希表。
哈希表(Hash table，也叫散列表)，是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做哈希函数，存放记录的数组叫做哈希表。
给定表M，存在函数f(key)，对任意给定的关键字值key，代入函数后若能得到包含该关键字的记录在表中的地址，则称表M为哈希(Hash)表，函数f(key)为哈希(Hash)函数。
步骤S140：当进行匹配时，计算查询数据与所述哈希表中数据的匹配度，返回所述哈希表中匹配度最高的数据。
计算查询数据与哈希表中数据的匹配度，其中，匹配度可以是查询数据与哈希表中数据的相似度，也可以是查询数据与哈希表中数据的距离。其中匹配度的计算方法可以是欧几里得距离、曼哈顿距离、闵氏距离、余弦相似度等，本发明中不限定于上述匹配度的计算方法。
在上述实施例中存在的有益效果：将图像输入特征及其权重参数进行二值化处理，并对二值化后的数据进行计算以提取特征点；将图像输入特征及其权重参数进行二值化处理，使得特征点提取的计算速度提升了近两个数量级。通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像，将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位；在每一次更新计算中都将高层信息和低层信息进行多尺度融合，保证了特征点定位精度。将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立二进制化的哈希表；构建二进制化的哈希表，为后续进行特征点匹配提供数据支持。当进行匹配时，计算查询数据与所述哈希表中数据的匹配度，返回所述哈希表中匹配度最高的数据。在匹配方面，传统的浮点型方法匹配降低了存储与匹配速度，通过哈希匹配方法，数据映射到一个哈希表，其中数据检索以及存储均采用二进制，大大加快了存储以及匹配速度，速度提升了近一个数量级。解决了特征点提取方法存储匹配速度慢、精度不高等问题。使得特征点提取、匹配速度以及特征点定位精度都达到了很大的提升。
参照图3，图3为本申请特征点提取与匹配方法的第一实施例中步骤S110的具体步骤，所述将图像输入特征进行二值化处理，包括：
步骤S111：基于所述图像输入特征的矩阵，在通道维度上计算绝对值的均值。
通道维度决定了一个像素点由多少个值构成，比如单通道是一个像素点由1个值构成；双通道是一个像素点由2个值构成，n维通道是一个像素点由n个值构成。
步骤S112：将所述均值与二维的卷积核进行卷积操作，获得卷积结果。
二维的卷积核又称2D卷积核，可以提取单张静态图像的空间特征(即(height，width)两维)，同神经网络结合之后在图像的分类、检测等任务上取得了很好的效果。
步骤S113：采用符号函数将所述卷积结果转化为二值矩阵I。
符号函数能够把函数的符号析离出来。
例如，在数学和计算机运算中，其功能是取某个数的符号(正或负)：
当x>0，sign(x)＝1；当x＝0，sign(x)＝0；当x<0，sign(x)＝-1。
而本发明中使用的符号函数为宽松化函数Htanh(x)＝clip(x,-1,1)，使得通过宽松化函数将卷积结果转化成为包含1和-1的二值矩阵。
二值矩阵可以是包含两个值的逻辑矩阵。
在本实施例中，如图4所示卷积层的输入是真实值张量I，对通道维度进行求绝对值的均值A，接着将均值A与2D的卷积核k做卷积得到K＝A*k，进而得到了sign(I)函数的二值矩阵。
在上述实施例中存在的有益效果：通过将图像输入特征进行二值化处理，使得计算提取速度提升了近两个数量级。
参照图5，图5为本申请特征点提取与匹配方法的第一实施例中步骤S110的另一具体步骤，所述将权重参数进行二值化处理，包括：
步骤S111'：对所述权重参数经归一化处理。
归一化的目标是把数变为(0，1)之间的小数，主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。归一化可以提升模型的收敛速度，也可以提升模型的精度。所以为了保证结果的可靠性，需要对权重参数进行归一化处理。
步骤S112'：采用符号函数将所述权重参数转化二值矩阵W。
权重参数可以是一个矩阵，符号函数对权重参数矩阵进行处理，转化为二值矩阵。其中二值矩阵在其中一个实施例中已经进行了解释，在此不再赘述。
在本实施例中，如图6所示，将权重参数(W)经归一化处理得到缩放因子α，再转化为sign(W)函数的二值矩阵B，反向传播时采用的是sign函数的宽松化函数Htanh(x)＝clip(x,-1,1)，从而二值化权重w＝αB进行前向传播。
在上述实施例中存在的有益效果：通过将权重参数归一化提高计算的速度，又将归一化结果进行二值化处理，进一步提高特征点提取的速度。
参照图7，图7为本申请特征点提取与匹配方法的第一实施例中步骤S110的另一具体步骤，所述对二值化后的数据进行计算以提取特征点，包括：
步骤S111”：对所述二值矩阵W、所述二值矩阵I、所述卷积结果与缩放因子进行点乘操作，以提取特征点；其中所述缩放因子在所述权重参数经归一化处理的过程中获得。
在本实施例中，如图8所示，通过对所述二值矩阵W、所述二值矩阵I、所述卷积结果与缩放因子进行点乘操作近似得到输入I和权重W的卷积结果，以提取特征点。
在上述实施例中存在的有益效果：将图像输入特征I和权重参数的卷积近似为所述二值矩阵W、所述二值矩阵I、所述卷积结果与缩放因子进行点乘操作，用以提高特征点提取的速度，使得特征点计算提取速度提升了近两个数量级。
参照图9，图9为本申请特征点提取与匹配方法的第一实施例中步骤S120的具体步骤，所述将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位，包括：
步骤S121：将相同层次和分辨率的特征图像进行串行连接。
相同层次和分辨率的特征图像串行之间经过卷积操作提取位置信息。
步骤S122：按照分辨率依次降低的顺序将不同层次的特征图像进行并行连接；其中同一层次的特征图像的分辨率相同。
将不同分辨率的特征图像分为不同层次，按照依次降低的顺序并行连接起来，为后续进行多尺度融合提供架构支持。
步骤S123：将不同层次的特征图像的位置信息进行反复交换获得多尺度融合信息。
相同层次的特征图像进行卷积操作，高层次的特征图像进行下采样操作，低层次的特征图像进行上采样操作，使得特征图像中的位置信息进行反复交换，获得多尺度融合信息。
步骤S124：基于所述多尺度融合信息对特征点进行定位。
对特征图像中的位置信息进行反复交换，使得高层位置信息和低层位置信息进行位置信息的共享，基于共享后的位置信息对特征点进行定位，提高特征点定位的精度。
在本实施例中，如图10所示，主体为三个并行的子网络。每个子网络均是串行的，高分辨率子网络作为第一个阶段，逐个添加两个从高到低的分辨率子网络，形成新的阶段，并将多分辨率子网络并行连接，因此后一阶段并行子网络都是由前一阶段的分辨率和下一阶段分辨率组成；此外，同时在第一阶段和第二阶段以及第三阶段之间进行反复交换来进行重复的多尺度融合从而达到位置信息的共享，整个网络结构达到了8次多尺度融合，其中多尺度融合采用的是卷积操作、高层信息下采样以及低层信息上采样的处理操作。
在上述实施例中存在的有益效果：将多个层次的、分辨率依次降低的特征图像进行多尺度融合的过程中的每一次更新计算中都将高层信息和低层信息进行多尺度融合，保证了特征点定位精度。
参照图11，图11为本申请特征点提取与匹配方法的第一实施例中步骤S130的具体步骤，所述将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立二进制化的哈希表，包括：
步骤S131：对待匹配图像数据建立索引，构建索引号。
索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。
索引表是一张指示逻辑记录和物理记录之间对应关系的表。索引表中的每项索引项按键(或逻辑记录号)的顺序排列。其中键的顺序或者逻辑记录号的顺序为索引号。
步骤S132：将所述定位后空间中相邻的特征点的数据经二进制化后，通过哈希算法映射到对应所述索引号的一个表格中。
二进制数据是由0和1两个数码组成的字符串，使得计算机读取和运算时更加的快捷和准确。
在本实施例中，如图12所示，对待匹配图像数据建立索引，将空间中的两个相邻数据通过构建的映射函数(哈希函数)转换到一个表格中，这两个数据点在新的数据空间中仍然相邻的概率很大，而不相邻的数据点被映射到同一个表的概率很小，通过转换得到多个表格即哈希表格，将查询数据经哈希函数得到相应的表格索引号，将对应的表格中的数据取出(通常只需要取出前两个数据)，计算查询数据与这两个数据之间的相似度或距离，返回最近邻的数据。其中数据检索与存储采用二进制型以加快整个流程的计算速度。
在上述实施例中存在的有益效果：通过哈希匹配方法，数据映射到一个哈希表，其中数据检索以及存储均采用二进制，大大加快了存储以及匹配速度，速度提升了近一个数量级。
参照图13，图13为本申请特征点提取与匹配方法的第一实施例中步骤S140的具体步骤，所述计算查询数据与所述哈希表中的数据的匹配度，返回所述哈希表中匹配度最高的数据，包括：
步骤S141：将所述查询数据经哈希算法得到相应的所述索引号，获取所述索引号在表格中对应的数据。
将所述查询数据经过哈希算法的操作，得到相应的索引号，获取哈希表中该索引号对应的表格中对应的数据。
步骤S142：计算所述查询数据与获得的所述表格中对应的数据的相似度或距离。
在本实施例中，可以计算查询数据与哈希表中数据的相似度，也可以是查询数据与哈希表中数据的距离。其中匹配度的计算方法可以是欧几里得距离、曼哈顿距离、闵氏距离、余弦相似度等，本发明中不限定于上述匹配度的计算方法。
步骤S143：返回所述相似度最小或所述距离最小的数据。
将匹配度最高的数据进行返回，得到最佳匹配结果，其中匹配度最高的数据可以是相似度最小或者是距离最小的数据。
在上述实施例中存在的有益效果：通过计算查询数据和表格中对应的数据的相似度或距离提高特征点匹配的准确性，并且匹配过程中建立了二进制的哈希表，保证特征点的匹配速度。
基于深度学习中的网络框架结构出发，本发明的实施方案侧重于改变网络结构的深度以及计算方式，同时加强高层信息与低层信息的传递，最后在匹配阶段采用快速匹配的算法。首先，从图14分别列出本专利以及传统的SIFT、SURF以及ORB方法，从图中对比分析可知本专利提取的特征点信息基本覆盖重要地方，同时分布比较合理，而ORB方法提取的特征点信息过于集中且存在冗余现象，同时忽视了边缘信息；SIFT和SURF方法提取的特征点信息非常多。并对比四种算法的特征点提取一张图片的特征点耗时，其中本专利、SIFT、SURF以及ORB分别耗时0.0067s、0.050s、0.024s以及0.0051s，经对比本专利的耗时与基于二进制的ORB算法耗时相差很小。此外，图15中显示了特征点匹配，本专利算法耗时0.022s，相对传统算法(耗时0.055s)缩短一半多的时间，如果海量数据匹配时消耗的时间将大大降低，匹配速度会更快。
本发明还提供一种特征点提取与匹配方法的网络，其特征在于，所述网络为孪生网络框架结构，包括：
第一网络框架和第二网络框架；其中所述第一网络框架和所述第二网络框架相同；
所述第一网络框架或第二网络框架被配置为：
将图像输入特征及其权重参数进行二值化处理，并对二值化后的数据进行计算以提取特征点；
通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像，将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位；
将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立哈希表；
当进行匹配时，计算查询数据与所述哈希表中的数据的匹配度，返回所述哈希表中匹配度最高的数据；
其中，用第一网络框架提取的特征点信息与第二网络框架提取的特征点信息进行特征点匹配。
在本实施例中，如图16所示，本发明提供一种特征点提取与匹配方法的网络的原理框架图。特征点提取与匹配方法的网络中基于孪生网络框架结构构建了特征点提取流程以及特征点匹配的流程。
本发明还提供一种计算机可读存储介质，其上存储有特征点提取与匹配方法程序，其特征在于，该特征点提取与匹配方法程序被处理器执行时实现上述任一所述的方法。
本发明还提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的特征点提取与匹配方法程序，所述处理器执行所述特征点提取与匹配方法程序时实现上述任一所述的方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种特征点提取与匹配方法，其特征在于，所述方法包括：
将图像输入特征及其权重参数进行二值化处理，并对二值化后的数据进行计算以提取特征点；
通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像，将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位；
将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立二进制化的哈希表；
当进行匹配时，计算查询数据与所述哈希表中数据的匹配度，返回所述哈希表中匹配度最高的数据。
2.如权利要求1所述的特征点提取与匹配方法，其特征在于，所述将图像输入特征进行二值化处理，包括：
基于所述图像输入特征的矩阵，在通道维度上计算绝对值的均值；
将所述均值与二维的卷积核进行卷积操作，获得卷积结果；
采用符号函数将所述卷积结果转化为二值矩阵I。
3.如权利要求2所述的特征点提取与匹配方法，其特征在于，所述将权重参数进行二值化处理，包括：
对所述权重参数经归一化处理；
采用符号函数将所述权重参数转化二值矩阵W。
4.如权利要求3所述的特征点提取与匹配方法，其特征在于，所述对二值化后的数据进行计算以提取特征点，包括：
对所述二值矩阵W、所述二值矩阵I、所述卷积结果与缩放因子进行点乘操作，以提取特征点；其中所述缩放因子在所述权重参数经归一化处理的过程中获得。
5.如权利要求1所述的特征点提取与匹配方法，其特征在于，所述将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位，包括：
将相同层次和分辨率的特征图像进行串行连接；
按照分辨率依次降低的顺序将不同层次的特征图像进行并行连接；其中同一层次的特征图像的分辨率相同；
将不同层次的特征图像的位置信息进行反复交换获得多尺度融合信息；
基于所述多尺度融合信息对特征点进行定位。
6.如权利要求1所述的特征点提取与匹配方法，其特征在于，所述将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立二进制化的哈希表，包括：
对待匹配图像数据建立索引，构建索引号；
将所述定位后空间中相邻的特征点的数据经二进制化后，通过哈希算法映射到对应所述索引号的一个表格中。
7.如权利要求6所述的特征点提取与匹配方法，其特征在于，所述计算查询数据与所述哈希表中的数据的匹配度，返回所述哈希表中匹配度最高的数据，包括：
将所述查询数据经哈希算法得到相应的所述索引号，获取所述索引号在表格中对应的数据；
计算所述查询数据与获得的所述表格中对应的数据的相似度或距离；
返回所述相似度最小或所述距离最小的数据。
8.一种特征点提取与匹配网络，其特征在于，所述网络为孪生网络框架结构，包括：
第一网络框架和第二网络框架；其中所述第一网络框架和所述第二网络框架相同；
所述第一网络框架或第二网络框架被配置为：
将图像输入特征及其权重参数进行二值化处理，并对二值化后的数据进行计算以提取特征点；
通过卷积网络获取输入图像的多个层次的、分辨率依次降低的特征图像，将所述多个层次的、分辨率依次降低的特征图像进行多尺度融合，以对特征点进行定位；
将进行定位后在空间中相邻的特征点的数据进行哈希运算，建立哈希表；
当进行匹配时，计算查询数据与所述哈希表中的数据的匹配度，返回所述哈希表中匹配度最高的数据；
其中，用第一网络框架提取的特征点信息与第二网络框架提取的特征点信息进行特征点匹配。
9.一种计算机可读存储介质，其特征在于，其上存储有特征点提取与匹配方法程序，该特征点提取与匹配方法程序被处理器执行时实现权利要求1-7任一所述的方法的步骤。
10.一种设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的特征点提取与匹配方法的程序，所述处理器执行所述特征点提取与匹配方法程序时实现权利要求1-7任一所述的方法的步骤。
CN202011368267.8A 2020-11-27 2020-11-27 特征点提取与匹配方法、网络、设备及计算机存储介质 Pending CN112446431A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011368267.8A CN112446431A (zh) 2020-11-27 2020-11-27 特征点提取与匹配方法、网络、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011368267.8A CN112446431A (zh) 2020-11-27 2020-11-27 特征点提取与匹配方法、网络、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN112446431A true CN112446431A (zh) 2021-03-05

Family

ID=74737841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011368267.8A Pending CN112446431A (zh) 2020-11-27 2020-11-27 特征点提取与匹配方法、网络、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112446431A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159296A (zh) * 2021-04-27 2021-07-23 广东工业大学 一种二值神经网络的构建方法
CN113963337A (zh) * 2021-12-22 2022-01-21 中国科学院自动化研究所 物体图像轮廓基元提取方法和装置
WO2024045229A1 (zh) * 2022-08-29 2024-03-07 武汉理工光科股份有限公司 一种特殊场景预警屏蔽方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159296A (zh) * 2021-04-27 2021-07-23 广东工业大学 一种二值神经网络的构建方法
CN113159296B (zh) * 2021-04-27 2024-01-16 广东工业大学 一种二值神经网络的构建方法
CN113963337A (zh) * 2021-12-22 2022-01-21 中国科学院自动化研究所 物体图像轮廓基元提取方法和装置
WO2024045229A1 (zh) * 2022-08-29 2024-03-07 武汉理工光科股份有限公司 一种特殊场景预警屏蔽方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Rocco et al. Efficient neighbourhood consensus networks via submanifold sparse convolutions
Abdel-Basset et al. 2-Levels of clustering strategy to detect and locate copy-move forgery in digital images
Petrou et al. Image processing: dealing with texture
CN110674866B (zh) 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN107679250B (zh) 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
Fan et al. Rotationally invariant descriptors using intensity order pooling
Jaberi et al. Accurate and robust localization of duplicated region in copy–move image forgery
Germain et al. Sparse-to-dense hypercolumn matching for long-term visual localization
CN112084362B (zh) 一种基于层次化特征互补的图像哈希检索方法
CN112446431A (zh) 特征点提取与匹配方法、网络、设备及计算机存储介质
Germain et al. S2DNet: Learning image features for accurate sparse-to-dense matching
Dusmanu et al. Multi-view optimization of local feature geometry
Pang et al. Building discriminative CNN image representations for object retrieval using the replicator equation
Tang et al. Distinctive image features from illumination and scale invariant keypoints
Jeon et al. Guided semantic flow
Baheti et al. Federated Learning on Distributed Medical Records for Detection of Lung Nodules.
Raveendra et al. Hybrid ant colony optimization model for image retrieval using scale-invariant feature transform local descriptor
Dong et al. Multilayer convolutional feature aggregation algorithm for image retrieval
Ge et al. WGI-Net: A weighted group integration network for RGB-D salient object detection
Lee et al. Learning to distill convolutional features into compact local descriptors
Lou et al. Multi-scale context attention network for image retrieval
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
Bampis et al. A LoCATe‐based visual place recognition system for mobile robotics and GPGPUs
Mehbodniya et al. Content-Based Image Recovery System with the Aid of Median Binary Design Pattern.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination