CN111859001B - 图像相似度检测方法、装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供了一种图像相似度检测方法、图像相似度检测装置、计算机可读存储介质与电子设备，涉及图像处理技术领域。该图像相似度检测方法包括：获取根据样本图像集所确定的采样位置序列和所述采样位置序列对应的阈值序列；通过所述采样位置序列从第一图像中提取第一特征点序列，以及从第二图像中提取第二特征点序列；对比所述第一特征点序列和所述阈值序列，得到所述第一特征点序列对应的第一编码，以及对比所述第二特征点序列和所述阈值序列，得到所述第二特征点序列对应的第二编码；确定所述第一编码与所述第二编码之间的相似度，以作为所述第一图像与所述第二图像之间的相似度。本公开提高了相似度检测结果的准确度，并降低了硬件成本。

Description

图像相似度检测方法、装置、存储介质与电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像相似度检测方法、图像相似度检测装置、计算机可读存储介质与电子设备。

背景技术

图像相似度检测是指通过特定的算法计算两张图像相似的程度，在图像检索、视觉跟踪、视频处理等场景中都有广泛应用。

相关技术中，通常利用CNN(Convolutional Neural Networks，卷积神经网络)等深度学习模型从图像中提取特征，再通过特征的对比，确定图像之间的相似度。然而，该方法存在以下两方面缺陷：

1、利用CNN等提取特征时，通常会从图像的各个区域提取内容特征，导致特征的针对性较低，无法体现出图像的重点内容，从而影响相似度检测的准确性。例如对于背景部分相似、前景部分差别较大的两张图像，按照上述方法可能得到较高的相似度，但是前景部分才是图像中重点呈现的内容，前景部分差别较大意味着两张图像不相似，因此相似度检测结果无法反映真实情况。

2、深度学习模型往往涉及复杂的数据处理，计算量较高，因此对硬件性能的要求较高，不利于应用在移动终端等轻量化场景中。

鉴于此，有必要提出一种新的图像相似度检测方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种图像相似度检测方法、图像相似度检测装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善相关技术中相似度检测结果准确性较低、以及计算量较高的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种图像相似度检测方法，包括：获取根据样本图像集所确定的采样位置序列和所述采样位置序列对应的阈值序列；通过所述采样位置序列从第一图像中提取第一特征点序列，以及从第二图像中提取第二特征点序列；对比所述第一特征点序列和所述阈值序列，得到所述第一特征点序列对应的第一编码，以及对比所述第二特征点序列和所述阈值序列，得到所述第二特征点序列对应的第二编码；确定所述第一编码与所述第二编码之间的相似度，以作为所述第一图像与所述第二图像之间的相似度。

根据本公开的第二方面，提供一种图像相似度检测装置，包括：参数获取模块，用于获取根据样本图像集所确定的采样位置序列和所述采样位置序列对应的阈值序列；特征点提取模块，用于通过所述采样位置序列从第一图像中提取第一特征点序列，以及从第二图像中提取第二特征点序列；编码模块，用于对比所述第一特征点序列和所述阈值序列，得到所述第一特征点序列对应的第一编码，以及对比所述第二特征点序列和所述阈值序列，得到所述第二特征点序列对应的第二编码；相似度确定模块，用于确定所述第一编码与所述第二编码之间的相似度，以作为所述第一图像与所述第二图像之间的相似度。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像相似度检测方法及其可能的实施方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像相似度检测方法及其可能的实施方式。

本公开的技术方案具有以下有益效果：

一方面，根据样本图像确定采样位置序列和阈值序列，通过采样位置序列以对待检测的第一图像与第二图像提取特征点，代表了图像中的重要部分，通过阈值序列对特征点进行编码，使编码具有更好的区分度，由此更有针对性地实现了图像的特征编码，有利于提高相似度检测结果的准确度，更好地反映实际情况。另一方面，本方案的图像数据处理过程包括采样与数据编码，不涉及深度学习模型等复杂的处理过程，计算量较低，从而对硬件性能的要求较低，有利于应用在移动终端等轻量化场景中。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中电子设备的结构示意图；

图2示出本示例性实施方式中一种图像相似度检测方法的流程图；

图3示出本示例性实施方式中确定采样位置序列的流程图；

图4示出本示例性实施方式中根据方差图像得到采样位置序列的流程图；

图5示出本示例性实施方式中确定阈值序列的流程图；

图6示出本示例性实施方式中对图像进行编码的示意图；

图7示出本示例性实施方式中对第一特征点序列进行编码的流程图；

图8示出本示例性实施方式中确定相似度的流程图；

图9示出本示例性实施方式的一种图像处理装置的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的示例性实施方式提供一种图像相似度检测方法，用于检测任意两张图像(本示例性实施方式记为第一图像和第二图像)之间的相似度。该方法可应用在图像相似度检测的所有相关场景，包括但不限于：图像检索时，根据第一图像在图像数据库中检索与其相似的图像，可以将图像数据库中的任一图像作为第二图像，检测第一图像和第二图像之间的相似度，以得到图像检索结果；视觉跟踪时，将当前拍摄的跟踪目标的图像作为第一图像，在已添加的关键帧图像中查找与第一图像相似的图像，可以将任一关键帧图像作为第二图像，检测第一图像和第二图像之间的相似度，以确定跟踪目标的状态。

本公开的示例性实施方式提供一种电子设备，以运行图像相似度检测方法。该电子设备一般包括处理器和存储器，存储器用于存储处理器的可执行指令，也可以存储如图像等应用数据，处理器用于执行可执行指令，以实现数据处理。该电子设备可以是智能手机、平板电脑、智能可穿戴设备、无人机、台式电脑、车载智能设备、游戏机等终端设备，也可以是服务端设备，如提供图像搜索服务、图像识别服务、导航服务等平台的后台服务器。

下面以图1中的移动终端100为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图1中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端100的结构限定。在另一些实施方式中，移动终端100也可以采用与图1不同的接口连接方式，或多种接口连接方式的组合。

如图1所示，移动终端100具体可以包括：处理器110、内部存储器121、外部存储器接口122、USB接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器171、受话器172、麦克风173、耳机接口174、传感器模块180、显示屏190、摄像模组191、指示器192、马达193、按键194以及用户标识模块(Subscriber Identification Module，SIM)卡接口195等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、编码器、解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

编码器可以对图像或视频数据进行编码(即压缩)，形成码流数据；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端100可以支持一种或多种编码器和解码器。这样，移动终端100可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(PortableNetwork Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(MovingPicture Experts Group，动态图像专家组)、H.264、HEVC(High Efficiency VideoCoding，高效率视频编码)等视频格式。

NPU通过部署神经网络，利用神经网络处理图像特征提取、图像分类、图像识别等计算工作。在一些实施方式中，神经网络也可以部署于AP中。

在一些实施方式中，处理器110可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit，I2C)接口、集成电路内置音频(Inter-Integrated CircuitSound，I2S)接口、脉冲编码调制(Pulse Code Modulation，PCM)接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，UART)接口、移动产业处理器接口(Mobile Industry Processor Interface，MIPI)、通用输入输出(General-PurposeInput/Output，GPIO)接口、用户标识模块(Subscriber Identity Module，SIM)接口和/或通用串行总线(Universal Serial Bus，USB)接口等。通过不同的接口和移动终端100的其他部件形成连接。

USB接口130是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口130可以用于连接充电器为移动终端100充电，也可以连接耳机，通过耳机播放音频，还可以用于移动终端100连接其他电子设备，例如连接电脑、***设备等。

充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为设备供电。

电源管理模块141用于连接电池142、充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为移动终端100的各个部分供电，还可以用于监测电池的状态。

移动终端100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。移动终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。移动通信模块150可以提供应用在移动终端100上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块160可以提供应用在移动终端100上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星***(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施方式中，移动终端100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得移动终端100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(Global System for Mobilecommunications，GSM)，通用分组无线服务(General Packet Radio Service，GPRS)，码分多址接入(Code Division Multiple Access，CDMA)，宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)，时分码分多址(Time Division-Synchronous CodeDivision Multiple Access，TD-SCDMA)，长期演进(Long Term Evolution，LTE)，新空口(New Radio，NR)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。

移动终端100通过GPU、显示屏190及应用处理器等实现显示功能。GPU用于执行数学和几何计算，以实现图形渲染，并连接显示屏190和应用处理器。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。移动终端100可以包括一个或多个显示屏190，用于显示图像，视频等。

移动终端100可以通过ISP、摄像模组191、编码器、解码器、GPU、显示屏190及应用处理器等实现拍摄功能。

摄像模组191用于捕获静态图像或视频，通过感光元件采集光信号，转换为电信号。ISP用于处理摄像模组191反馈的数据，将电信号转换成数字图像信号。

外部存储器接口122可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端100的存储能力。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端100使用过程中所创建的数据(比如图像，视频)等。处理器110通过运行存储在内部存储器121的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端100的各种功能应用以及数据处理。

移动终端100可以通过音频模块170、扬声器171、受话器172、麦克风173、耳机接口174及应用处理器等实现音频功能。例如音乐播放、录音等。音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。扬声器171，用于将音频电信号转换为声音信号。受话器172，用于将音频电信号转换成声音信号。麦克风173，用于将声音信号转换为电信号。耳机接口174用于连接有线耳机。

传感器模块180可以包括深度传感器1801、压力传感器1802、陀螺仪传感器1803、气压传感器1804等。深度传感器1801用于获取景物的深度信息。压力传感器1802用于感受压力信号，可以将压力信号转换成电信号，用于实现压力触控等功能。陀螺仪传感器1803可以用于确定移动终端100的运动姿态，可用于拍摄防抖、导航、体感游戏等场景。气压传感器1804用于测量气压，可通过计算海拔高度，辅助定位和导航。此外，根据实际需要，还可以在传感器模块180中设置其他功能的传感器，例如磁传感器、加速度传感器、距离传感器等。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

马达193可以产生振动提示，例如来电、闹钟、接收信息等的振动提示，也可以用于触摸振动反馈等。

按键194包括开机键，音量键等。按键194可以是机械按键。也可以是触摸式按键。移动终端100可以接收按键输入，产生与移动终端100的用户设置以及功能控制有关的键信号输入。

移动终端100可以支持一个或多个SIM卡接口195，用于连接SIM卡，使移动终端100通过SIM卡和网络交互，实现通话以及数据通信等功能。

下面结合图2对本公开示例性实施方式的图像相似度检测方法进行具体说明。如图2所示，该图像相似度检测方法可以包括：

步骤S210，获取根据样本图像集所确定的采样位置序列和该采样位置序列对应的阈值序列；

步骤S220，通过上述采样位置序列从第一图像中提取第一特征点序列，以及从第二图像中提取第二特征点序列；

步骤S230，对比第一特征点序列和上述阈值序列，得到第一特征点序列对应的第一编码，以及对比第二特征点序列和上述阈值序列，得到第二特征点序列对应的第二编码；

步骤S240，确定第一编码与第二编码之间的相似度，以作为第一图像与第二图像之间的相似度。

该图像相似度检测方法实现了以下技术效果：一方面，根据样本图像确定采样位置序列和阈值序列，通过采样位置序列以对待检测的第一图像与第二图像提取特征点，代表了图像中的重要部分，通过阈值序列对特征点进行编码，使编码具有更好的区分度，由此更有针对性地实现了图像的特征编码，有利于提高相似度检测结果的准确度，更好地反映实际情况。另一方面，本方案的图像数据处理过程包括采样与数据编码，不涉及深度学习模型等复杂的处理过程，计算量较低，从而对硬件性能的要求较低，有利于应用在移动终端等轻量化场景中。

下面分别对每个步骤的实现过程进行具体说明：

在步骤S210中，获取根据样本图像集所确定的采样位置序列和该采样位置序列对应的阈值序列。

采样位置序列由多个采样位置按顺序排列而成，表示对图像中哪些位置的像素点进行采样，采样位置可以是图像中的像素坐标。例如，采样位置序列L＝[(x1,y1),(x2,y2),…,(xm,ym)]，(x1,y1)等表示图像中的像素坐标。

在一种可选的实施方式中，参考图3所示，采样位置序列可以通过以下步骤S310至S330确定：

步骤S310，获取样本图像集。

本示例性实施方式中，样本图像集中的图像可以是同一类别，也可以是不同类别，具体根据实际情况而定，下面通过三种情况具体说明：

(1)图像相似度检测应用于某一固定场景中，可以选取该场景类别的样本图像。例如，室内SLAM(Simultaneous Localization And Mapping，同时定位与建图)场景中，可以只选取室内类别的图像，构建样本图像集；地标识别场景中，可以只选取人工景观类别的图像，构建样本图像集。

(2)在图像检索中，可能涉及到不同类别的图像，例如用户输入的待检索图像可能是人像、景观、卡通等各种类别，在构建样本图像集时，可以为每个类别单独构建一个样本图像子集，如人像的样本图像子集、景观的样本图像子集、卡通的样本图像集子等，后续可以分别基于每个样本图像子集确定采样位置序列。

(3)在一些模糊检测的场景中，无需特别区分图像类别，例如人物与景观的合照图像，其可能和人像类别中的图像相似，也可能和景观类别中的图像相似。因此在构建样本图像时，可以选取各种不同类别的图像，形成一个样本图像集。

在一些场景中，可以获取深度图像，如RGB-D图像，以作为样本图像，构建样本图像集。

步骤S320，计算样本图像集的至少两张样本图像中相同位置的像素值之间的方差，以得到方差图像。

本示例性实施方式中，可以从样本图像集中选取一部分样本图像，以建立方差图像。所选取的样本图像数量越多，得到的方差图像越具有代表性，因此也可以选取样本图像集的全部样本图像，进行步骤S320的处理，以得到样本图像集全局的方差图像。

需要说明的是，无论选取部分样本图像还是全部样本图像，其尺寸应当相同，如果不相同，可以先进行尺寸调整。例如，按照一个预先确定的标准尺寸，或者样本图像集中最小图像的尺寸，对所选取的样本图像进行尺寸调整(如压缩、下采样等)，得到尺寸相同的样本图像。

在计算方差时，可以从(1,1)位置开始，提取各样本图像中(1,1)位置的像素值，计算方差，该方差就是方差图像中(1,1)位置的像素值。按照该方式，遍历样本图像中的所有位置，计算每个位置的方差，最终得到方差图像。方差图像表征了样本图像在每个位置的像素值离散程度，且方差图像与样本图像的尺寸相同。

需要说明的是，当样本图像为彩色图像(如RGB格式)时，对每个位置，可以分别计算R通道、G通道、B通道的方差，使所得到的方差图像为三通道图像，也可以将样本图像转换为灰度图像，对每个位置计算灰度值的方差，使所得到的方差图像为单通道图像。

此外，也可以将上述方差替换为标准差，后续都采用标准差进行处理，两者都是表征离散程度的统计指标，在一般场合中可以通用，本方案也不例外。

步骤S330，根据方差图像确定采样位置序列。

采样的目的是表示图像特征，因此采样位置可以选取特征性较强的像素点。方差图像表征了样本图像在每个位置的像素值离散程度，对于方差图像中的每个位置，其像素值越高，表示样本图像在该位置的像素值离散程度越高，其像素值越低，表示样本图像在该位置的像素值离散程度越低。一般的，像素值离散程度高的位置，可以体现出图像之间的区别，具有较强的特征性。因此，可以选取方差图像中像素值较高的位置，形成采样位置序列。下面提供两种示例性方式：

方式一、参考图4所示，步骤S330可以具体包括图4中的步骤S410至S430：

步骤S410，利用滑窗遍历方差图像，每次移动滑窗后，将框选区域内的像素值均转变为该框选区域内的最大像素值；

步骤S420，在遍历方差图像后，得到极大值图像；

步骤S430，对比方差图像与极大值图像，根据方差图像与极大值图像中像素值相同的位置，确定采样位置序列。

其中，滑窗的尺寸与步长可以根据经验与图像实际尺寸而定。以滑窗尺寸为8*8，步长为1举例说明，一般从方差图像的左上角开始移动，首选框选出左上角的8*8区域，检测其中的最大像素值，将该区域内的其他像素值也替换为该最大像素值；然后将滑窗向右移动1个像素，检测框选区域的最大像素值，将其他像素值替换为最大像素值；重复该过程，直到遍历完整个方差图像，此时图像中的大部分像素值都被替换过(可能被替换过不止一次)，得到一张极大值图像；对比方差图像与极大值图像，检测出像素值相同的位置，这些位置是滑窗遍历方差图像时的像素最大值位置；可以将这些位置按照一定顺序排列(如从左上到右下)，形成采样位置序列，也可以选取其中像素值较高的一定数量(如预先确定采样位置一共为m个)的位置，形成采样位置序列，等等。

按照图4的方法，可以保证采样位置的像素值离散程度较高，且各采样位置之间不会离得很近(不会在一个滑窗内)，从而具有较好的分布，有利于提高特征点的质量。

方式二、可以直接从方差图像中选取像素值较高的一定数量(如预先确定采样位置一共为m个)的位置，并按照一定顺序排列(如从左上到右下)，形成采样位置序列。

接下来对阈值序列进行说明。阈值序列由多个阈值按顺序排列而成，其中的阈值与采样位置序列中的采样位置具有对应关系，用于对采样位置的像素值进行编码，例如像素值大于或等于阈值时，编码为1，小于阈值时，编码为0。

每个采样位置可以对应于一定通道数量的阈值，例如，阈值序列T_grey＝[T1,T2,…,Tm]，其中的T1、T2等为单通道的阈值，T1与(x1,y1)相对应，T2与(x2,y2)相对应；T_RGBD＝[(TR1,TG1,TB1,TD1),(TR2,TG2,TB2,TD2),…,(TRm,TGm,TBm,TDm)]，其中(TR1,TG1,TB1,TD1)为四通道的阈值，分别对应于RGB-D的四个通道，(TR1,TG1,TB1,TD1)与(x1,y1)相对应。

在一种可选的实施方式中，参考图5所示，阈值序列可以通过以下步骤S510和S520确定：

步骤S510，通过采样位置序列从样本图像集的至少两张样本图像中提取样本特征点序列。

特征点序列是指从图像中提取的特征点的像素值排列而成的序列。假设采样位置序列包括m个采样位置，样本图像为c通道图像，通过采样位置序列从样本图像中提取m个样本特征点(本示例性实施方式将样本图像的特征点称为样本特征点，以区分于第一图像和第二图像中的特征点)，每个样本特征点包括c个像素值，则样本特征点序列包括m*c个像素值。

步骤S520，根据各样本特征点序列中的数值分布，确定阈值序列。

在一种可选的实施方式中，可以以每个样本特征点序列为一行，将各样本特征点序列排列为二维数据列表或者矩阵，对于其中的每一列，可以采用中值或平均值，作为该列的阈值，进而得到阈值序列。

在一种可选的实施方式中，也可以通过以下过程实现：

对于采样位置序列中的第i采样位置，从样本图像S对应的样本特征点序列FS中提取第i采样位置的像素值Pi(S)；

将像素值Pi(S)代入预先建立的损失函数，通过优化损失函数的最小值，求解第i采样位置对应的阈值Ti；

排列每个采样位置对应的阈值，得到阈值序列。

理想状况下，阈值可以对不同类别的图像进行50％划分，即将不同类别中50％图像的对应位置像素值编码为0，50％图像的对应位置像素值编码为1；对同一类别的图像进行100％划分，即将同一类别中100％图像的对应位置像素值编码为相同的值(如全部为0或全部为1)。基于此，可以建立以下损失函数：

其中，G表示样本图像集，G包括k个类别的样本图像，k≥2，j表示其中的第j类别，Gj表示第j类别的样本图像子集。hi表示第i采样位置的编码。Mean表示取平均值，

表示对样本图像集G中全部样本图像对应的样本特征点序列，求第i采样位置的编码平均值，

表示对样本图像子集Gj中全部样本图像对应的样本特征点序列，求第i采样位置的编码平均值。λ₁和λ₂为权重参数，用于均衡损失函数中两部分的相对值，可以根据经验与实际需求设定，一般均大于或等于0。求解损失函数的最小值，以得到每个采样位置的阈值T，关系如下：

Ti＝argmin Loss (3)

需要说明的是，对于多通道的场景，每个采样位置可以计算得到各通道的阈值T。

在一种可选的实施方式中，确定采样位置序列后，也可以对每个采样位置随机生成阈值，以得到阈值序列，并且在实际应用中可以不断对阈值序列进行迭代优化。

在一种可选的实施方式中，对样本图像集划分不同类别的样本图像子集后，可以根据每个样本图像子集分别得到每个类别对应的采样位置序列，再根据每个类别对应的采样位置序列提取样本特征点序列，并确定对应的阈值序列。也就是说，对于每个类别，均可以得到一套对应的采样位置序列和阈值序列。基于此，在实际应用时，可以进行针对性处理，具体来说，在执行步骤S210时，可以先获取第一图像的类别，将其确定为目标类别；然后获取目标类别对应的采样位置序列和阈值序列。

在步骤S220中，通过上述采样位置序列从第一图像中提取第一特征点序列，以及从第二图像中提取第二特征点序列。

其中，第一特征点序列是指从第一图像中所提取的像素点，排列其像素值得到的序列；第二特征点序列是指从第二图像中所提取的像素点，排列其像素值得到的序列。这里提取的方法可以参考上述步骤S510的内容。具体来说，参考图6所示，可以按照采样位置序列中的每个采样位置，从第一图像中依次提取每个采样位置的像素点，排列其像素值P1、P2、P3、P4，如可以按照从左向右排列，形成第一特征点序列；按照采样位置序列中的每个采样位置，从第二图像中依次提取每个采样位置的像素点，排列其像素值，形成第二特征点序列。

在步骤S230中，对比第一特征点序列和上述阈值序列，得到第一特征点序列对应的第一编码，以及对比第二特征点序列和上述阈值序列，得到第二特征点序列对应的第二编码。

以第一特征点序列的编码过程进行说明，参考图7所示，步骤S230可以包括以下步骤S710至S730：

步骤S710，依次对比第一特征点序列中的像素值与阈值序列中的阈值；

步骤S720，根据所对比的像素值与阈值是否相同，确定该像素值对应的编码数值；

步骤S730，合并第一特征点序列中的每个像素值对应的编码数值，形成第一特征点序列对应的第一编码。

一般的，像素值大于或等于对应的阈值时，编码数值为1，反之为0。参考上述图6所示，对比第一特征点序列中P1与阈值序列中的T1，得到对应的编码；依此类推处理，得到第一编码。第二编码的处理过程相同，不再赘述。

需要说明的是，每个采样位置可能包括多通道的像素值和阈值，则将相同通道的像素值与阈值进行对比，得到一个编码数值，这样每个采样位置可以得到多通道的编码数值。

在步骤S240中，确定第一编码与第二编码之间的相似度，以作为第一图像与第二图像之间的相似度。

可以计算第一编码与第二编码之间的L2正则化距离或汉明距离等，以d表示，则相似度可以是1/(1+d)。

在一种可选的实施方式中，参考图8所示，步骤S240可以包括以下步骤S810和S820：

步骤S810，对比第一编码与第二编码中每个编码位置的数值是否相同；

步骤S820，统计数值相同的编码位置在全部编码位置中所占的比例，以得到第一编码与第二编码之间的相似度。

上述步骤可以通过以下公式(4)表示：

其中，Sim表示相似度，Z1表示第一图像，Z2表示第二图像，m为采样位置的数量，

表示第一编码中采样位置k的编码，为c位(c是Z1和Z2的通道数)二进制数值，

表示两段编码相同时为1，否则为0。

通过图8所示的方法，计算相似度的过程较为简单，计算量较低，有利于降低硬件成本。

本公开的示例性实施方式还提供一种图像相似度检测装置。如图9所示，该图像相似度检测装置900可以包括：

参数获取模块910，用于获取根据样本图像集所确定的采样位置序列和采样位置序列对应的阈值序列；

特征点提取模块920，用于通过采样位置序列从第一图像中提取第一特征点序列，以及从第二图像中提取第二特征点序列；

编码模块930，用于对比第一特征点序列和阈值序列，得到第一特征点序列对应的第一编码，以及对比第二特征点序列和阈值序列，得到第二特征点序列对应的第二编码；

相似度确定模块940，用于确定第一编码与第二编码之间的相似度，以作为第一图像与第二图像之间的相似度。

在一种可选的实施方式中，参数获取模块910，被配置为：

获取样本图像集；

计算样本图像集的至少两张样本图像中相同位置的像素值之间的方差，以得到方差图像；至少两张样本图像的尺寸相同，方差图像与样本图像的尺寸也相同；

根据方差图像确定采样位置序列。

在一种可选的实施方式中，参数获取模块910，被配置为：

利用滑窗遍历方差图像，每次移动滑窗后，将框选区域内的像素值均转变为该框选区域内的最大像素值；

在遍历方差图像后，得到极大值图像；

对比方差图像与极大值图像，根据方差图像与极大值图像中像素值相同的位置，确定采样位置序列。

在一种可选的实施方式中，参数获取模块910，被配置为：

通过采样位置序列从样本图像集的至少两张样本图像中提取样本特征点序列；

根据各样本特征点序列中的数值分布，确定阈值序列。

在一种可选的实施方式中，参数获取模块910，被配置为：

对于采样位置序列中的第i采样位置，从样本图像S对应的样本特征点序列FS中提取第i采样位置的像素值Pi(S)；

将像素值Pi(S)代入以下损失函数，通过优化损失函数的最小值，求解第i采样位置对应的阈值Ti；

排列每个采样位置对应的阈值，得到阈值序列；

其中，G表示样本图像集，G包括k个类别的样本图像，k≥2，j表示其中的第j类别，Gj表示第j类别的样本图像子集；λ₁和λ₂为权重参数。

在一种可选的实施方式中，参数获取模块910，被配置为：

将第一图像的类别确定为目标类别；

获取目标类别对应的采样位置序列和阈值序列。

在一种可选的实施方式中，特征点提取模块920，被配置为：

按照采样位置序列中的每个采样位置，从第一图像中依次提取每个采样位置的像素点，形成第一特征点序列。

在一种可选的实施方式中，编码模块930，被配置为：

依次对比第一特征点序列中的像素值与阈值序列中的阈值；

根据所对比的像素值与阈值是否相同，确定该像素值对应的编码数值；

合并第一特征点序列中的每个像素值对应的编码数值，形成第一特征点序列对应的第一编码。

在一种可选的实施方式中，相似度确定模块940，被配置为：

对比第一编码与第二编码中每个编码位置的数值是否相同；

统计数值相同的编码位置在全部编码位置中所占的比例，以得到第一编码与第二编码之间的相似度。

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图2中任意一个或多个步骤。

该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (12)

1.一种图像相似度检测方法，其特征在于，包括：

获取根据样本图像集所确定的采样位置序列和所述采样位置序列对应的阈值序列；

通过所述采样位置序列从第一图像中提取第一特征点序列，以及从第二图像中提取第二特征点序列；

对比所述第一特征点序列和所述阈值序列，得到所述第一特征点序列对应的第一编码，以及对比所述第二特征点序列和所述阈值序列，得到所述第二特征点序列对应的第二编码；

确定所述第一编码与所述第二编码之间的相似度，以作为所述第一图像与所述第二图像之间的相似度。

2.根据权利要求1所述的方法，其特征在于，所述采样位置序列通过以下方式确定：

获取样本图像集；

计算所述样本图像集的至少两张样本图像中相同位置的像素值之间的方差，以得到方差图像；所述至少两张样本图像的尺寸相同，所述方差图像与所述样本图像的尺寸也相同；

根据所述方差图像确定所述采样位置序列。

3.根据权利要求2所述的方法，其特征在于，所述根据所述方差图像确定所述采样位置序列，包括：

利用滑窗遍历所述方差图像，每次移动所述滑窗后，将框选区域内的像素值均转变为该框选区域内的最大像素值；

在遍历所述方差图像后，得到极大值图像；

对比所述方差图像与所述极大值图像，根据所述方差图像与所述极大值图像中像素值相同的位置，确定所述采样位置序列。

4.根据权利要求1所述的方法，其特征在于，所述阈值序列通过以下方式确定：

通过所述采样位置序列从所述样本图像集的至少两张样本图像中提取样本特征点序列；

根据各所述样本特征点序列中的数值分布，确定所述阈值序列。

5.根据权利要求4所述的方法，其特征在于，所述根据各所述样本特征点序列中的数值分布，确定所述阈值序列，包括：

对于所述采样位置序列中的第i采样位置，从样本图像S对应的样本特征点序列FS中提取第i采样位置的像素值Pi(S)；

将像素值Pi(S)代入以下损失函数，通过优化所述损失函数的最小值，求解第i采样位置对应的阈值Ti；

排列每个所述采样位置对应的阈值，得到所述阈值序列；

其中，G表示所述样本图像集，G包括k个类别的样本图像，k≥2，j表示其中的第j类别，Gj表示第j类别的样本图像子集；λ₁和λ₂为权重参数。

6.根据权利要求1所述的方法，其特征在于，所述获取根据样本图像集所确定的采样位置序列和所述采样位置序列对应的阈值序列，包括：

将所述第一图像的类别确定为目标类别；

获取所述目标类别对应的采样位置序列和阈值序列。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述通过所述采样位置序列从第一图像中提取第一特征点序列，包括：

按照所述采样位置序列中的每个采样位置，从所述第一图像中依次提取每个采样位置的像素点，形成所述第一特征点序列。

8.根据权利要求1至6任一项所述的方法，其特征在于，对比所述第一特征点序列和所述阈值序列，得到所述第一特征点序列对应的第一编码，包括：

依次对比所述第一特征点序列中的像素值与所述阈值序列中的阈值；

根据所对比的像素值与阈值是否相同，确定该像素值对应的编码数值；

合并所述第一特征点序列中的每个像素值对应的编码数值，形成所述第一特征点序列对应的第一编码。

9.根据权利要求1至6任一项所述的方法，其特征在于，所述确定所述第一编码与所述第二编码之间的相似度，包括：

对比所述第一编码与所述第二编码中每个编码位置的数值是否相同；

统计数值相同的编码位置在全部编码位置中所占的比例，以得到所述第一编码与所述第二编码之间的相似度。

10.一种图像相似度检测装置，其特征在于，包括：

参数获取模块，用于获取根据样本图像集所确定的采样位置序列和所述采样位置序列对应的阈值序列；

特征点提取模块，用于通过所述采样位置序列从第一图像中提取第一特征点序列，以及从第二图像中提取第二特征点序列；

编码模块，用于对比所述第一特征点序列和所述阈值序列，得到所述第一特征点序列对应的第一编码，以及对比所述第二特征点序列和所述阈值序列，得到所述第二特征点序列对应的第二编码；

相似度确定模块，用于确定所述第一编码与所述第二编码之间的相似度，以作为所述第一图像与所述第二图像之间的相似度。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。

12.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的方法。

Images