CN118262167A - 一种图像检索样本的注册方法、装置、电子设备及介质 - Google Patents
一种图像检索样本的注册方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN118262167A CN118262167A CN202410397299.2A CN202410397299A CN118262167A CN 118262167 A CN118262167 A CN 118262167A CN 202410397299 A CN202410397299 A CN 202410397299A CN 118262167 A CN118262167 A CN 118262167A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- similarity
- feature
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000000605 extraction Methods 0.000 claims abstract description 154
- 230000009466 transformation Effects 0.000 claims abstract description 90
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 98
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 abstract description 7
- 238000011282 treatment Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本申请实施例提供了一种图像检索样本的注册方法、装置、电子设备及介质,电子设备可以获取原始图像样本以及原始图像样本对应的类别标签;对原始图像样本进行不同的变换处理,得到多个变换图像;按照预设特征提取方式,提取每个图像检索样本的图像特征,其中,图像检索样本包括原始图像样本和多个变换图像;将每个图像检索样本的图像特征与对应的类别标签进行存储。由于变换图像是对原始图像样本进行变换处理得到的,并且变换处理并不会改变图像所属的类别,因此可以将变换图像与原始图像样本作为类别相同的图像检索样本,可以使得图像检索样本较为完整地反映同类样本的特征多样性。这样,可以扩充图像检索样本的数量,提高图像检索的准确度。
Description
技术领域
本申请涉及图像检索技术领域,特别是涉及一种图像检索样本的注册方法、装置、电子设备及介质。
背景技术
基于图像检索的图像分类算法主要包括注册和检索两个过程,在注册过程中,需要获取已知标签的图像检索样本,并提取图像检索样本的图像特征,建立数据库存储每个标签与图像特征之间的关系。在图像数据库注册完成后,电子设备可以对标签未知的待检索图像进行检索。具体来说,可以提取待检索图像的图像特征,将该图像特征与图像数据库中存储的各图像特征进行比对,进而确定检索结果。
上述检索结果是基于图像特征的比对结果确定的,可见图像检索样本的数量和质量对检索结果的正确性至关重要。某些图像检索样本的产生代价较高,短时间内获取一定规模的图像检索样本在特定场合难以实施。在图像检索样本有限的情况下,将使得注册的图像检索样本无法较为完整地反映同类样本的特征多样性,也无法明确不同类别样本间的关键差异特征。从而导致待检索图像被误判,图像检索的准确度低。
发明内容
本申请实施例的目的在于提供一种图像检索样本的注册方法、装置、电子设备及介质,以扩充图像检索样本的数量,提高图像检索的准确度。具体技术方案如下:
第一方面,本申请实施例提供了一种图像检索样本的注册方法,所述方法包括:
获取原始图像样本以及所述原始图像样本对应的类别标签;
对所述原始图像样本进行不同的变换处理,得到多个变换图像;
按照预设特征提取方式,提取每个图像检索样本的图像特征,其中,所述图像检索样本包括所述原始图像样本和所述多个变换图像,所述图像检索样本包括的任意两个图像不完全相同;
将所述每个图像检索样本的图像特征与对应的类别标签进行存储,以用于进行图像检索。
可选的,所述对所述原始图像样本进行不同的变换处理,得到多个变换图像的步骤,包括:
针对每个原始图像样本,采用以下预设处理方式中的至少一种对所述原始图像样本进行变换处理,得到多个变换图像,其中,所述预设处理方式包括:感兴趣区域扰动处理、亮度变换处理以及像素变换处理。
可选的,所述感兴趣区域扰动处理的方式,包括:
针对每个原始图像样本,确定该原始图像样本的感兴趣区域位置;
将所述感兴趣区域位置的至少一条边,沿目标方向移动目标距离,并将移动后的边所在直线与其邻边所在直线的交点作为感兴趣区域的顶点,得到更改后的感兴趣区域位置,其中,所述目标方向为所要移动的边的邻边所在直线方向,所述目标距离与所要移动的边的邻边的长度之比为目标比例;和/或,将所述感兴趣区域位置旋转目标角度,得到更改后的感兴趣区域位置;
按照所述更改后的感兴趣区域位置对该原始图像样本进行裁剪,得到变换图像。
可选的,所述确定该原始图像样本的感兴趣区域位置的步骤,包括:
如果获取到原始图像样本的感兴趣区域信息,根据所述感兴趣区域信息,计算感兴趣区域的最小外接矩形,作为该原始图像样本的感兴趣区域位置,其中,所述感兴趣区域信息用于标识感兴趣区域的位置;或,
如果未获取到原始图像样本的感兴趣区域信息,该原始图像样本的全部区域确定为感兴趣区域位置。
可选的,在所述将所述感兴趣区域位置的至少一条边,沿目标方向移动目标距离的步骤之前,所述方法还包括:
获取预设的比例范围,其中,所述预设的比例范围为预先基于感兴趣区域扰动程度确定的;
从所述预设的比例范围中,为每条边确定对应的目标比例。
可选的,所述预设特征提取方式包括多种特征提取方式;
在所述将所述每个图像检索样本的图像特征与对应的类别标签进行存储的步骤之后,所述方法还包括:
针对每种预设特征提取方式,计算同一类别的图像检索样本对应的目标图像特征之间的类内相似度,以及计算不同类别的图像检索样本对应的目标图像特征之间的类间相似度,其中,所述目标图像特征为采用该种预设特征提取方式从图像检索样本中提取得到的图像特征;
基于所述类内相似度以及所述类间相似度,确定该预设特征提取方式对应的方式权重,以使所述类内相似度与所述方式权重成正相关关系,所述类间相似度与所述方式权重成负相关关系。
可选的,在所述基于所述类内相似度以及所述类间相似度,确定该预设特征提取方式对应的方式权重的步骤之后,所述方法还包括:
获取待检索图像;
按照所述多种特征提取方式,分别提取所述待检索图像的多种待检索图像特征;
计算每种待检索图像特征与每个图像检索样本的待比对图像特征之间的相似度,其中,所述待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果。
可选的,所述基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果的步骤,包括:
针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的方式权重进行加权求和,得到加权求和结果,其中,每个相似度对应的方式权重为该相似度对应的待检索图像特征的特征提取方式所对应的权重;
将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
可选的,所述图像特征为矩阵;
在所述将所述每个图像检索样本的图像特征与对应的类别标签进行存储的步骤之后,所述方法还包括:
针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类内相似度,以及不同类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类间相似度,其中,所述目标维度为所述矩阵的每行或每列;
基于所述类内相似度以及所述类间相似度,确定所述目标维度对应的维度权重,以使所述类内相似度与所述维度权重成正相关关系,所述类间相似度与所述维度权重成负相关关系。
可选的,在所述基于所述类内相似度以及所述类间相似度,确定所述目标维度对应的维度权重的步骤之后,所述方法还包括:
获取待检索图像;
按照所述预设特征提取方式,提取所述待检索图像的待检索图像特征;
计算所述待检索图像特征的每个维度的特征值与每个图像检索样本的待比对图像特征对应维度的特征值之间的相似度,其中,所述待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
基于所述待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果。
可选的,所述基于所述待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果的步骤,包括:
针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的维度权重进行加权求和,得到加权求和结果,其中,每个相似度对应的维度权重为该相似度对应的待检索图像特征的维度所对应的权重;
将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
第二方面,本申请实施例提供了一种图像检索样本的注册装置,所述装置包括:
图像获取模块,用于获取原始图像样本以及所述原始图像样本对应的类别标签;
变换处理模块,用于对所述原始图像样本进行不同的变换处理,得到多个变换图像;
特征提取模块,用于按照预设特征提取方式,提取每个图像检索样本的图像特征,其中,所述图像检索样本包括所述原始图像样本和所述多个变换图像,所述图像检索样本包括的任意两个图像不完全相同;
特征存储模块,用于将所述每个图像检索样本的图像特征与对应的类别标签进行存储,以用于进行图像检索。
可选的,所述变换处理模块,包括:
变换处理子模块,用于针对每个原始图像样本,采用以下预设处理方式中的至少一种对所述原始图像样本进行变换处理,得到多个变换图像,其中,所述预设处理方式包括:感兴趣区域扰动处理、亮度变换处理以及像素变换处理。
可选的,所述变换处理子模块,包括:
位置确定单元,用于针对每个原始图像样本,确定该原始图像样本的感兴趣区域位置;
位置更改单元,用于将所述感兴趣区域位置的至少一条边,沿目标方向移动目标距离,并将移动后的边所在直线与其邻边所在直线的交点作为感兴趣区域的顶点,得到更改后的感兴趣区域位置,其中,所述目标方向为所要移动的边的邻边所在直线方向,所述目标距离与所要移动的边的邻边的长度之比为目标比例;
区域旋转单元,用于将所述感兴趣区域位置旋转目标角度,得到更改后的感兴趣区域位置;
图像裁剪单元,用于按照所述更改后的感兴趣区域位置对该原始图像样本进行裁剪,得到变换图像。
可选的,所述位置确定单元,包括:
第一位置确定子单元,用于如果获取到原始图像样本的感兴趣区域信息,根据所述感兴趣区域信息,计算感兴趣区域的最小外接矩形,作为该原始图像样本的感兴趣区域位置,其中,所述感兴趣区域信息用于标识感兴趣区域的位置;
第二位置确定子单元,用于如果未获取到原始图像样本的感兴趣区域信息,该原始图像样本的全部区域确定为感兴趣区域位置。
可选的,所述装置还包括:
范围获取模块,用于获取预设的比例范围,其中,所述预设的比例范围为预先基于感兴趣区域扰动程度确定的;
比例确定模块,用于从所述预设的比例范围中,为每条边确定对应的目标比例;
所述预设特征提取方式包括多种特征提取方式。
可选的,所述装置还包括:
类内相似度计算模块,用于针对每种预设特征提取方式,计算同一类别的图像检索样本对应的目标图像特征之间的类内相似度,以及计算不同类别的图像检索样本对应的目标图像特征之间的类间相似度,其中,所述目标图像特征为采用该种预设特征提取方式从图像检索样本中提取得到的图像特征;
第一权重确定模块,用于基于所述类内相似度以及所述类间相似度,确定该预设特征提取方式对应的方式权重,以使所述类内相似度与所述方式权重成正相关关系,所述类间相似度与所述方式权重成负相关关系。
可选的,所述装置还包括:
第一图像获取模块,用于获取待检索图像;
第一特征提取模块,用于按照所述多种特征提取方式,分别提取所述待检索图像的多种待检索图像特征;
类间相似度计算模块,用于计算每种待检索图像特征与每个图像检索样本的待比对图像特征之间的相似度,其中,所述待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
第一结果确定模块,用于基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果。
可选的,所述第一结果确定模块,包括:
第一计算子模块,用于针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的方式权重进行加权求和,得到加权求和结果,其中,每个相似度对应的方式权重为该相似度对应的待检索图像特征的特征提取方式所对应的权重;
第一结果确定子模块,用于将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
可选的,所述图像特征为矩阵;
所述装置还包括:
第三相似度计算模块,用于针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类内相似度,以及不同类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类间相似度,其中,所述目标维度为所述矩阵的每行或每列;
第二权重确定模块,用于基于所述类内相似度以及所述类间相似度,确定所述目标维度对应的维度权重,以使所述类内相似度与所述维度权重成正相关关系,所述类间相似度与所述维度权重成负相关关系。
可选的,所述装置还包括:
第二图像获取模块,用于获取待检索图像;
第二特征提取模块,用于按照所述预设特征提取方式,提取所述待检索图像的待检索图像特征;
第四相似度计算模块,用于计算所述待检索图像特征的每个维度的特征值与每个图像检索样本的待比对图像特征对应维度的特征值之间的相似度,其中,所述待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
第二结果确定模块,用于基于所述待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果。
可选的,所述第二结果确定模块,包括:
第二计算子模块,用于针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的维度权重进行加权求和,得到加权求和结果,其中,每个相似度对应的维度权重为该相似度对应的待检索图像特征的维度所对应的权重;
第二结果确定子模块,用于将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
第三方面,本申请实施例提供了一种电子设备,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的方法。
本申请实施例有益效果:
本申请实施例提供的方案中,电子设备可以获取原始图像样本以及原始图像样本对应的类别标签;对原始图像样本进行不同的变换处理,得到多个变换图像;按照预设特征提取方式,提取每个图像检索样本的图像特征,其中,图像检索样本包括原始图像样本和多个变换图像,图像检索样本包括的任意两个图像不完全相同;将每个图像检索样本的图像特征与对应的类别标签进行存储,以用于进行图像检索。由于变换图像是对原始图像样本进行变换处理得到的,并且变换处理并不会改变图像所属的类别,因此可以将变换图像与原始图像样本作为类别相同的图像检索样本。即使原始图像样本的数量有限,也能对原始图像样本进行变换处理,进而获得多个变换图像,可以使得图像检索样本较为完整地反映同类样本的特征多样性,并且明确不同类别样本间的关键差异特征。这样,可以扩充图像检索样本的数量,提高图像检索的准确度。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为目前相关技术中图像检索的一种流程示意图;
图2为本申请实施例所提供的一种图像检索样本的注册方法的流程图;
图3(a)为基于图2所示实施例的同类别的多张图像检索样本的一种示意图;
图3(b)为基于图2所示实施例的不同类别的多张图像检索样本的一种示意图;
图4为基于图2所示实施例的对原始图像样本进行感兴趣区域扰动处理的一种流程图;
图5为基于图2所示实施例的感兴趣区域位置的更改过程的一种示意图;
图6为图4所示实施例中步骤S401的一种具体流程图;
图7为基于图2所示实施例的确定目标比例的方式的一种流程图;
图8为基于图2所示实施例的方式权重的计算方式的一种流程图;
图9为基于图8所示实施例的图像检索结果确定方式的一种流程图;
图10为图9所示实施例中步骤S904的一种具体流程图;
图11为基于图2所示实施例的维度权重的计算方式的一种流程图;
图12为基于图11所示实施例的图像检索结果确定方式的一种流程图;
图13为图12所示实施例中步骤S1204的一种具体流程图;
图14为基于图2所示实施例的图像检索样本注册方法的一种示意图;
图15为本申请实施例所提供的一种图像检索样本的注册装置的结构示意图;
图16为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
目前相关技术中,图像检索的流程示意图可以如图1所示,虚线左半部分为样本图像注册的过程,虚线右半部分为图像检索的过程。具体包括以下步骤:
S101,对原始图像样本进行特征提取;
在原始图像样本注册的过程中,电子设备可以对原始图像样本1…原始图像样本i…原始图像样本n进行特征提取,得到n个原始图像样本的图像特征。进而将n个原始图像样本的图像特征与对应的类别标签存储至数据库。
S102,对测试图像进行特征提取;
在图像检索的过程中,电子设备可以对没有类别标签的测试图像进行特征提取,得到测试图像的图像特征。步骤S102所采用的特征提取方式与步骤S101中所采用的特征提取方式相同。
S103,图像检索。
在得到测试图像的图像特征后,电子设备可以计算测试图像的图像特征,与数据库中存储的各原始图像样本的图像特征之间的相似度。将对应的相似度最高的原始图像样本所属的类别,确定为测试图像的类别,即得到检索结果。
可见,目前相关技术中,图像检索所基于的图像特征是对原始图像样本进行特征提取而得到的。如果原始图像样本的数量有限,将使得注册的原始图像样本无法较为完整地反映同类样本的特征多样性,也无法明确不同类别样本间的关键差异特征,图像检索的准确度低。
为了扩充图像检索样本的数量,提高图像检索的准确度。本申请实施例提供了一种图像检索样本的注册方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。下面首先对本申请实施例所提供的一种图像检索样本的注册方法进行介绍。
本申请实施例所提供的一种图像检索样本的注册方法可以应用于任意需要对图像进行检索的电子设备。例如,可以为图像检索设备、图像检索***、处理设备等,在此不做具体限定。为了描述清楚,本文中后续称为电子设备。
如图2所示,一种图像检索样本的注册方法,所述方法包括:
S201,获取原始图像样本以及所述原始图像样本对应的类别标签;
S202,对所述原始图像样本进行不同的变换处理,得到多个变换图像;
S203,按照预设特征提取方式,提取每个图像检索样本的图像特征;
其中,所述图像检索样本包括所述原始图像样本和所述多个变换图像,所述图像检索样本包括的任意两个图像不完全相同。
S204,将所述每个图像检索样本的图像特征与对应的类别标签进行存储,以用于进行图像检索。
可见,本申请实施例中,电子设备可以获取原始图像样本以及原始图像样本对应的类别标签;对原始图像样本进行不同的变换处理,得到多个变换图像;按照预设特征提取方式,提取每个图像检索样本的图像特征,其中,图像检索样本包括原始图像样本和多个变换图像,图像检索样本包括的任意两个图像不完全相同;将每个图像检索样本的图像特征与对应的类别标签进行存储,以用于进行图像检索。由于变换图像是对原始图像样本进行变换处理得到的,并且变换处理并不会改变图像所属的类别,因此可以将变换图像与原始图像样本作为类别相同的图像检索样本。即使原始图像样本的数量有限,也能对原始图像样本进行变换处理,进而获得多个变换图像,可以使得图像检索样本较为完整地反映同类样本的特征多样性,并且明确不同类别样本间的关键差异特征。这样,可以扩充图像检索样本的数量,提高图像检索的准确度。
在步骤S201中,电子设备可以获取原始图像样本,以及原始图像样本对应的类别标签。例如,假设原始图像样本1为车辆图像,那么电子设备可以获取原始图像样本1,以及原始图像样本1对应的类别标签“车辆”。
由于对原始图像样本进行变换处理,并不会改变图像所属的类别。因此在某个类别对应的图像数量有限的情况下,电子设备可以对原始图像样本进行不同的变换处理,得到多个变换图像,即执行步骤S202。进而,将原始图像样本和多个变换图像作为图像检索样本。由于多个变换图像是对原始图像样本进行不同的变换处理得到的,因此图像检索样本包括的任意两个图像不完全相同。
其中,上述变换处理可以为感兴趣区域扰动处理、亮度变换处理以及像素变换处理中的至少一种,在此不做具体限定。
例如,可以对原始图像样本进行感兴趣区域扰动处理,得到变换图像1;对原始图像样本及你行亮度变换处理,得到变换图像2;对原始图像样本依次进行像素变换处理以及感兴趣区域扰动处理,得到变换图像3。
在对图像检索样本进行扩充后,便可以通过生成的多个变换图像,更为全面地反映出同类样本的特征多样性,并且明确不同类别样本间的关键差异特征。同类别的多张图像检索样本的示意图可以如图3(a)所示,图3(a)中的2张图像检索样本的纹理基本相同,属于同一类别,2张图像检索样本是对同一张原始样本图像进行感兴趣区域扰动处理得到的。具体来说,左图是对原始样本图像取圆形的感兴趣区域得到的,右图是对原始样本图像取矩形的感兴趣区域得到的,可以反映出该类别的特征多样性。不同类别的图像检索样本的示意图可以如图3(b)所示,图3(b)中的4张图像检索样本属于不同类别,4张图像检索样本中的纹理各不相同,可以反映出不同类别之间的差异特征。
如果待检索图像的图像特征与某个类别中的图像检索样本的图像特征之间的相似度较高,那么可以确定待检索图像属于该类别。为了确定每个类别中的图像检索样本所具备的特征,进而基于图像检索样本所具备的特征进行图像检索,电子设备可以按照预设特征提取方式,提取每个图像检索样本的图像特征,即执行步骤S203。
其中,预设特征提取方式可以用于提取图像的深度学习特征、全局特征或局部特征等。上述全局特征可以包括LBP(Local Binary Patterns,局部二值模式)特征、HOG(Histogram of Oriented Gradient,方向梯度直方图)特征、以及灰度直方图特征。上述局部特征可以包括SIFT(Scale Invariant Feature Transform,尺度不变特征变换)特征、Harris(角点检测)特征、ORB(Oriented FAST and Rotated BRIEF,特征点检测)特征,在此均不做具体限定。例如,电子设备可以提取图像检索样本的HOG特征,也可以提取图像检索样本的SIFT特征。
作为一种实施方式,电子设备所提取的图像特征的维数均相等。
在提取到每个图像检索样本的图像特征后,便可以基于图像检索样本的图像特征,反映该图像检索样本所属的类别对应的特征。为了进行图像检索,电子设备可以将每个图像检索样本的图像特征与对应的类别标签进行存储,即执行步骤S204。具体来说,电子设备可以将每个图像检索样本的图像特征与对应的类别标签存储至数据库、云端或者存储设备等,在此不做具体限定。
例如,假设图像检索样本1-图像检索样本3对应的类别标签为类别A,图像检索样本1-图像检索样本3对应的图像特征为图像特征1-图像特征3。那么,电子设备可以将类别A与图像特征1-图像特征3之间的对应关系存储至数据库中。
如果将上述对应关系存储至数据库中,那么数据库中的类别和各类别对应的图像特征的数量以及具体内容均可被改变。已经构建的数据库允许进行增加、删除、查询等操作。
作为一种实施方式,第i个类别的第j个图像特征,可以记为F(i,j)。
可见,本申请实施例中,由于变换图像是对原始图像样本进行变换处理得到的,并且变换处理并不会改变图像所属的类别,因此可以将变换图像与原始图像样本作为类别相同的图像检索样本。即使原始图像样本的数量有限,也能对原始图像样本进行变换处理,进而获得多个变换图像,可以使得图像检索样本较为完整地反映同类样本的特征多样性,并且明确不同类别样本间的关键差异特征。这样,可以扩充图像检索样本的数量,提高图像检索的准确度。
作为本申请实施例的一种实施方式,上述对所述原始图像样本进行不同的变换处理,得到多个变换图像的步骤,可以包括:
针对每个原始图像样本,采用以下预设处理方式中的至少一种对所述原始图像样本进行变换处理,得到多个变换图像,其中,所述预设处理方式包括:感兴趣区域扰动处理、亮度变换处理以及像素变换处理。
由于对原始图像样本进行变换处理,不会改变图像所属的类别。因此为了获取与原始图像样本所属类别相同,并且与原始图像样本具有一定差异的图像,电子设备可以针对每个原始图像样本,采用预设处理方式中的至少一种对原始图像样本进行变换处理,进而得到多个变换图像。
其中,预设处理方式可以包括感兴趣区域扰动处理、亮度变换处理以及像素变换处理等处理方式。上述亮度变换处理可以包括伽马校正(Gamma correction)处理、对比度增强处理、线性拉伸处理等;上述像素变换处理可以包括高斯滤波处理、均值滤波处理、运动模糊处理、加噪声处理等,在此均不做具体限定。
在一种实施方式中,原始图像样本I为一个。电子设备可以采用预设处理方式中的至少一种对原始图像样本I进行变换处理,得到由n个变换图像组成的图像组{I1,I2,…,In}。例如,电子设备可以分别采用对比度增强处理、均值滤波处理以及运动模糊处理对原始图像样本进行变换处理,得到变换图像1-变换图像3。
在另一种实施方式中,原始图像样本为多个。针对多个原始图像样本,电子设备可以采用预设处理方式中的至少一种对该原始图像样本进行变换处理,得到多个变换图像。例如,原始图像样本为2个,分别为原始图像样本1和原始图像样本2。电子设备可以针对原始图像样本1,分别采用高斯滤波处理、对比度增强处理以及线性拉伸处理进行变换处理,得到变换图像1-变换图像3;电子设备可以针对原始图像样本2,分别采用加噪声处理以及感兴趣区域扰动处理进行变换处理,得到变换图像4-变换图像5
可见,本申请实施例中,电子设备可以针对每个原始图像样本,采用以下预设处理方式中的至少一种对原始图像样本进行变换处理,得到多个变换图像,其中,预设处理方式包括:感兴趣区域扰动处理、亮度变换处理以及像素变换处理。由于对原始图像样本进行变换处理,不会改变图像所属的类别。因此为了获取与原始图像样本所属类别相同,并且与原始图像样本具有一定差异的图像,电子设备可以针对每个原始图像样本,采用预设处理方式中的至少一种对原始图像样本进行变换处理,进而得到多个变换图像。这样,可以扩充图像检索样本的数量,进而更为完整地反映同类样本的特征多样性,并且明确不同类别样本间的关键差异特征,进而提高图像检索的准确度。
作为本申请实施例的一种实施方式,如图4所示,上述感兴趣区域扰动处理的方式,可以包括:
S401,针对每个原始图像样本,确定该原始图像样本的感兴趣区域位置;
由于图像中的感兴趣区域可以反映图像的特征,因此电子设备可以针对每个原始图像样本,确定该原始图像样本的感兴趣区域位置。其中,感兴趣区域的形状可以为矩形、五边形、六边形、圆形等,在此不做具体限定。
例如,电子设备可以将原始图像样本输入机器视觉模型,得到机器视觉模型输出的原始图像样本的感兴趣区域。又例如,可以预先对原始图像样本的感兴趣区域进行标定,电子设备可以直接获取预先标定的原始图像样本的感兴趣区域。
S402,将所述感兴趣区域位置的至少一条边,沿目标方向移动目标距离,并将移动后的边所在直线与其邻边所在直线的交点作为感兴趣区域的顶点,得到更改后的感兴趣区域位置;和/或,将所述感兴趣区域位置旋转目标角度,得到更改后的感兴趣区域位置;
由于感兴趣区域发生变化后,感兴趣区域的图像特征也将发生变化。因此为了得到与原始图像样本存在一定差异的变换图像,可以基于以下三种实施方式中的任一种对感兴趣区域进行更改。
在第一种实施方式中,电子设备可以将感兴趣区域位置的至少一条边,沿目标方向移动目标距离。由于感兴趣区域位置的一条边或多条边在移动后,均可以改变感兴趣区域位置。因此可以将感兴趣区域位置的至少一条边进行移动。由于将感兴趣区域的某条边进行移动后,该边可能与邻边不再存在交点,感兴趣区域便不再封闭。因此为了使得移动后的感兴趣区域仍然是封闭的,可以将移动后的边所在直线与其邻边所在直线的交点作为感兴趣区域的顶点,得到更改后的感兴趣区域位置。这样,更改后的区域位置对应的图像特征便会与感兴趣区域对应的图像特征产生差异。
其中,目标方向为所要移动的边的邻边所在直线方向。例如,感兴趣区域为矩形。如果所要移动的边为矩形的左边或右边,那么目标方向为上边或下边所在直线的方向。如果所要移动的边为矩形的上边或下边,那么目标方向为左边或右边所在直线的方向。
例如,感兴趣区域位置的更改过程的一种示意图可以如图5所示。所要移动的边为感兴趣区域位置的上边,电子设备可以将上边沿左边或右边所在直线的方向,向上移动目标距离r,感兴趣区域位置的状态如左图所示。此时移动后的上边与左边和右边不再存在交点,为了使得更改后的感兴趣区域仍是封闭的,可以确定移动后的上边所在直线与左边所在直线的第一交点501,以及移动后的上边所在直线与右边所在直线的第二交点502,感兴趣区域位置的状态如中间的图所示。接下来,便可以将第一交点501和第二交点502作为感兴趣区域的顶点,得到更改后的感兴趣区域位置,感兴趣区域位置的状态如右图所示。
第一种情况下,目标距离与所要移动的边的邻边的长度之比为上述目标比例。这样,电子设备可以针对所要移动的边,计算该边对应的目标距离,再沿目标方向将该边移动目标距离。例如,感兴趣区域为矩形。所要移动的边为感兴趣区域的左边和下边,感兴趣区域的上边和下边的边长为10cm,左边和右边的边长为5cm。左边和下边对应的目标比例分别为10%和20%,那么可以计算出左边和下边对应的目标距离分别为1cm和2.5cm。进而将左边沿上边或下边所在直线方向移动1cm,将下边沿左边或右边所在直线方向移动2.5m,并将移动后的下边与左边和右边所在直线的交点,以及左边与上边所在直线的交点作为感兴趣区域的顶点。
第二种情况下,感兴趣区域在更改前后的面积变化量与更改前的感兴趣区域的面积之比为上述目标比例。这种情况下,电子设备可以将所要移动的边,沿目标方向移动一定距离,以使更改前后的感兴趣区域的面积的变化量为目标比例与更改前的感兴趣区域的面积之积。例如,感兴趣区域为矩形。所要移动的边为上边,上边对应的目标比例5%。假设更改前的感兴趣区域的面积为100cm2,那么可以将上边沿左边或右边所在直线方向,移动一定距离,以使更改前后感兴趣区域的面积变化量为5cm2。
第三种情况下,目标距离与预设距离之比为上述目标比例。在这种情况下,电子设备可以计算目标距离,进而将所要移动的边沿目标方向移动目标距离。例如,感兴趣区域为矩形。所要移动的边为感兴趣区域的上边,其对应的目标比例分别为4%,预设距离为50cm。那么可以计算得出上边对应的目标距离为2cm,可以将矩形的上边沿左边或右边所在直线的方向移动2cm。
在第二种实施方式中,为了改变感兴趣区域位置,电子设备可以将感兴趣区域位置旋转目标角度,得到更改后的感兴趣区域位置。由于旋转后的感兴趣区域对应的图像特征,相较于旋转前的感兴趣区域对应的图像特征将发生变化。因此为了得到与原始图像样本存在一定差异的变换图像,电子设备可以将感兴趣区域位置旋转目标角度,得到更改后的感兴趣区域位置。其中,上述目标角度可以为5°、30°、60°等,在此不做具体限定。例如,电子设备可以将感兴趣区域位置顺时针旋转45°,得到更改后的感兴趣区域位置。又例如,电子设备可以将感兴趣区域位置逆时针旋转15°,得到更改后的感兴趣区域位置。
在第三种实施方式中,电子设备可以结合第一种实施方式和第二种实施方式对感兴趣区域进行更改。例如,先基于第一种实施方式对感兴趣区域进行更改,再基于第二种实施方式,对更改后的感兴趣区域位置进行更改,得到更改后的感兴趣区域位置。具体来说,电子设备可以将感兴趣区域位置的至少一条边,沿目标方向移动目标距离,并将移动后的边所在直线与其邻边所在直线的交点作为感兴趣区域的顶点,得到更改后的感兴趣区域位置。再将该感兴趣区域位置旋转目标角度,得到更改后的感兴趣区域位置。
S403,按照所述更改后的感兴趣区域位置对该原始图像样本进行裁剪,得到变换图像。
在确定感兴趣区域位置后,电子设备便可以按照所述更改后的感兴趣区域位置对该原始图像样本进行裁剪,得到变换图像。这样,变换图像便与原始图像样本属于同一类别,但是不相同,可以扩充图像检索样本的数量。
可见,本申请实施例中,电子设备可以针对每个原始图像样本,确定该原始图像样本的感兴趣区域位置;将感兴趣区域位置的至少一条边的位置,沿目标方向移动目标距离,并将移动后的边所在直线与其邻边所在直线的交点作为感兴趣区域的顶点,得到更改后的感兴趣区域位置,其中,所述目标方向为所要移动的边的邻边所在直线方向,所述目标距离与所要移动的边的邻边的长度之比为目标比例;和/或,将感兴趣区域位置旋转目标角度后,得到更改后的感兴趣区域位置;按照更改后的感兴趣区域位置对该原始图像样本进行裁剪,得到变换图像。由于变换图像为对原始图像样本的感兴趣区域进行区域变化和/或旋转处理得到的,因此变换图像与原始图像样本所属类别相同,且变换图像的图像特征与原始图像样本的图像特征具有一定差异。这样,可以快速扩充图像检索样本的数量。
作为本申请实施例的一种实施方式,如图6所示,上述确定该原始图像样本的感兴趣区域位置的步骤,可以包括:
S601,判断是否获取到原始图像样本的感兴趣区域信息;如果获取到原始图像样本的感兴趣区域信息,执行步骤S602;如果未获取到原始图像样本的感兴趣区域信息,执行步骤S603;
为了确定原始图像样本的感兴趣区域,电子设备可以判断是否获取到原始图像样本的感兴趣区域信息,进而执行步骤S602或步骤S603。
S602,根据所述感兴趣区域信息,计算感兴趣区域的最小外接矩形,作为该原始图像样本的感兴趣区域位置;
在获取到原始图像样本的感兴趣区域信息的情况下,电子设备可以确定感兴趣区域信息所标识的感兴趣区域位置,计算该感兴趣区域位置的最小外接矩形,进而将该最小外接矩形作为该原始图像样本的感兴趣区域位置。
例如,假设原始图像样本的感兴趣区域信息所标识的感兴趣区域位置为五边形区域,那么电子设备可以计算该五边形区域的最小外接矩形,进而将该最小外接矩形作为该原始图像样本的感兴趣区域位置。
S603,该原始图像样本的全部区域确定为感兴趣区域位置。
在未获取到原始图像样本的感兴趣区域信息的情况下,电子设备可以将该原始图像样本的全部区域,确定为感兴趣区域位置。
可见,本申请实施例中,如果获取到原始图像样本的感兴趣区域信息,电子设备可以根据感兴趣区域信息,计算感兴趣区域的最小外接矩形,作为该原始图像样本的感兴趣区域位置,其中,感兴趣区域信息用于标识感兴趣区域的位置;如果未获取到原始图像样本的感兴趣区域信息,该原始图像样本的全部区域确定为感兴趣区域位置。这样,电子设备可以快速准确地确定原始图像样本的感兴趣区域位置。
作为本申请实施例的一种实施方式,如图7所示,在上述按照目标比例,改变所述感兴趣区域位置的每条边的位置,得到更改后的区域位置的步骤之前,上述方法还可以包括:
S701,获取预设的比例范围;
在改变感兴趣区域位置的每条边的位置之前,可以基于感兴趣区域的扰动程度,预先设置比例范围。如果为了使得感兴趣区域的扰动程度较大,可以将预设的比例范围的上下限均设置得较大。例如,可以将比例范围的上限和下限设置为10%和20%,比例范围可以为10%-20%。如果为了使得感兴趣区域的扰动程度较小,可以将预设的比例范围的上下限均设置得较小。例如,可以将比例范围的上限和下限设置为0%和10%,比例范围可以为0%-10%。
S702,从所述预设的比例范围中,为每条边确定对应的目标比例。
在获取到预设的比例范围后,电子设备可以从预设的比例范围中,为每条边确定对应的目标比例。例如,假设比例范围可以为10%-20%,那么目标比例可以为12%、15%或18%等。又例如,假设比例范围可以为0%-10%,那么目标比例可以为3%、6%或9%等。
在第一种情况下,电子设备可以为每条边确定各不相同的目标比例。例如,感兴趣区域的四条边均需要进行移动。预设的比例范围为5%-10%,那么可以确定上边、下边、左边以及右边对应的目标比例分别为5.5%、8%、6%以及9%。
在第二种情况下,电子设备可以为每条边确定相同的目标比例。例如,预设的比例范围为5%-10%,那么可以确定每条边对应的目标比例均为7%。
在第三种情况下,电子设备可以为多条边确定相同的目标比例,为其他边确定不同的目标比例。例如,预设的比例范围为5%-10%,那么可以确定上边和左边对应的目标比例均为6%,下边和右边对应的目标比例分别为8%和7%。又例如,电子设备可以确定上边、下边和右边对应的目标比例均为9%,左边对应的目标比例为6%。
可见,本申请实施例中,电子设备可以获取预设的比例范围,其中,预设的比例范围为预先基于感兴趣区域扰动程度确定的;从预设的比例范围中,为每条边确定对应的目标比例。由于可以基于感兴趣区域的扰动程度预先设置比例范围,因此可以在可控范围内随机确定每条边对应的目标比例。这样,可以快速地确定目标比例。
作为本申请实施例的一种实施方式,上述预设特征提取方式包括多种特征提取方式。在这种情况下,如图8所示,在上述将所述每个图像检索样本的图像特征与对应的类别标签进行存储的步骤之后,上述方法还可以包括:
S801,针对每种预设特征提取方式,计算同一类别的图像检索样本对应的目标图像特征之间的类内相似度,以及计算不同类别的图像检索样本对应的目标图像特征之间的类间相似度;
电子设备可以采用预设特征提取方式,对图像检索样本进行特征提取,得到目标图像特征。如果同一类别的图像检索样本对应的目标图像特征之间的相似度较高,并且不同类别的图像检索样本对应的目标图像特征之间的相似度较低,说明目标图像特征所反映出的图像检索样本所具备的特征,使得同一类别的图像检索样本之间的相似程度高,不同类别的图像检索样本之间的相似程度低。
这样,可以较优地反映出同类图像检索样本的类内一致性,以及不同类图像检索样本的类间差异性,可以提高图像检索的准确度。因此为了确定出使得同类图像检索样本的一致性评价较高,不同类图像检索样本的一致性评价较低的预设特征提取方式。电子设备可以针对每种预设特征提取方式,计算同一类别的图像检索样本对应的目标图像特征之间的类内相似度,以及计算不同类别的图像检索样本对应的目标图像特征之间的类间相似度。
例如,假设图像检索样本1-图像检索样本3属于类别A,图像检索样本4-图像检索样本6属于类别B。采用HOG特征对应的预设特征提取方式,对图像检索样本1-图像检索样本6进行特征提取,得到HOG特征1-HOG特征6;采用LBP特征对应的预设特征提取方式,对图像检索样本1-图像检索样本6进行特征提取,得到LBP特征1-LBP特征6。
针对HOG特征对应的预设特征提取方式,电子设备可以计算属于类别A的图像检索样本1-图像检索样本3对应的HOG特征1-HOG特征3之间的类内相似度,以及属于类别B的图像检索样本4-图像检索样本6对应的HOG特征4-HOG特征6之间的类内相似度。得到HOG特征1与HOG特征2之间、HOG特征1与HOG特征3之间以及HOG特征2与HOG特征3之间的类内相似度分别为86%、92%以及89%,HOG特征4与HOG特征5之间、HOG特征4与HOG特征6之间以及HOG特征5与HOG特征6之间的类内相似度分别为91%、93%以及87%。
电子设备可以计算属于类别A的图像检索样本1-图像检索样本3对应的HOG特征1-HOG特征3,与属于类别B的图像检索样本4-图像检索样本6对应的HOG特征4-HOG特征6之间的类间相似度。得到HOG特征1分别与HOG特征4-HOG特征6之间的类间相似度为3%、5%、2%;HOG特征2分别与HOG特征4-HOG特征6之间的类间相似度为5%、6%、1%;HOG特征3分别与HOG特征4-HOG特征6之间的类间相似度为6%、2%、3%。
针对LBP特征对应的预设特征提取方式,电子设备可以计算属于类别A的图像检索样本1-图像检索样本3对应的LBP特征1-LBP特征3之间的类内相似度,以及属于类别B的图像检索样本4-图像检索样本6对应的LBP特征4-LBP特征6之间的类内相似度。得到LBP特征1与LBP特征2之间、LBP特征1与LBP特征3之间以及LBP特征2与LBP特征3之间的类内相似度分别为23%、15%以及36%,LBP特征4与LBP特征5之间、LBP特征4与LBP特征6之间以及LBP特征5与LBP特征6之间的类内相似度分别为12%、14%以及9%。
电子设备可以计算属于类别A的图像检索样本1-图像检索样本3对应的LBP特征1-LBP特征3,与属于类别B的图像检索样本4-图像检索样本6对应的LBP特征4-LBP特征6之间的类间相似度。得到LBP特征1分别与LBP特征4-LBP特征6之间的类间相似度为87%、67%、70%;LBP特征2分别与LBP特征4-LBP特征6之间的类间相似度为91%、75%、85%;LBP特征3分别与LBP特征4-LBP特征6之间的类间相似度为65%、79%、84%。
S802,基于所述类内相似度以及所述类间相似度,确定该预设特征提取方式对应的方式权重,以使所述类内相似度与所述方式权重成正相关关系,所述类间相似度与所述方式权重成负相关关系。
由于采用不同预设特征提取方式提取得到的目标图像特征,对应的类内相似度和类间相似度不同。如果类内相似度较高,并且类间相似度较低,说明同类的图像检索样本之间的相似程度较高,不同类的图像检索样本之间的相似程度较低。这样,能够较优地反映出同类图像检索样本的类内一致性,并且明确不同类图像检索样本的类间差异性。
因此,为了直观体现每种预设特征提取方式对应的目标图像特征所能反映出同类图像检索样本的类内一致性以及不同类图像检索样本的类间差异性。电子设备可以针对每种预设特征提取方式,基于类内相似度以及类间相似度,确定该预设特征提取方式对应的方式权重,以使类内相似度与方式权重成正相关关系,类间相似度与方式权重成负相关关系。
在第一种实施方式中,针对每种预设特征提取方式,电子设备可以计算类内相似度的平均值A1,以及类间相似度的平均值A2,按照以下公式计算方式权重W1:W1=0.5*A1+0.5*(1-A2)。
承接步骤S701中的例子,针对HOG特征对应的提取方式,类内相似度为86%、92%、89%、91%、93%以及87%,类间相似度为3%、5%、2%、5%、6%、1%、6%、2%以及3%。计算得到类内相似度和类间相似度的平均值分别为90%和4%,也就是,A1=90%,A2=4%。那么可以根据本实施方式提供的公式,计算HOG特征对应的提取方式的方式权重W1=0.93。针对LBP特征对应的提取方式,类内相似度为23%、15%、36%、12%、14%以及9%。类间相似度为87%、67%、70%、91%、75%、85%、65%、79%以及84%。同理,可以计算得到,LBP特征对应的预设特征提取方式的方式权重W1=0.2。
在第二种实施方式中,可以基于上述第一种实施方式确定出每种预设特征提取方式的第一方式权重,基于第i种预设特征提取方式的第一方式权重W′1i,按照以下公式计算第i种预设特征提取方式的方式权重W1i:其中,n为预设特征提取方式的总数。
承接上述第一种实施方式中的例子,预设特征提取方式共有2种,n为2。假设第1种预设特征提取方式为HOG特征对应的提取方式,第2种预设特征提取方式为LBP特征对应的提取方式。那么W′11=0.93,W′12=0.2。可以基于本实施方式所示的公式分别计算出HOG特征对应的提取方式的方式权重W11=0.82,LBP特征对应的提取方式的方式权重W12=0.18。
可见,本申请实施例中,电子设备可以针对每种预设特征提取方式,计算同一类别的图像检索样本对应的目标图像特征之间的类内相似度,以及计算不同类别的图像检索样本对应的目标图像特征之间的类间相似度,其中,目标图像特征为采用该种预设特征提取方式从图像检索样本中提取得到的图像特征;基于类内相似度以及类间相似度,确定该预设特征提取方式对应的方式权重,以使类内相似度与方式权重成正相关关系,类间相似度与方式权重成负相关关系。由于采用不同预设特征提取方式提取得到的目标图像特征,对应的类内相似度和类间相似度不同。如果类内相似度较高,并且类间相似度较低,说明同类的图像检索样本之间的相似程度较高,不同类的图像检索样本之间的相似程度较低。进而,电子设备可以基于类内相似度和类间相似度计算方式权重。这样,可以基于方式权重直观体现每种预设特征提取方式对应的目标图像特征所能反映出同类图像检索样本的类内一致性以及不同类图像检索样本的类间差异性。
作为本申请实施例的一种实施方式,如图9所示,在上述基于所述类内相似度以及所述类间相似度,确定该预设特征提取方式对应的方式权重的步骤之后,上述方法还可以包括:
S901,获取待检索图像;
电子设备可以获取待检索图像,待检索图像为需要进行图像检索的图像。
S902,按照所述多种特征提取方式,分别提取所述待检索图像的多种待检索图像特征;
由于不同特征提取方式对于反映类内一致性和类间差异性的重要程度不同,因此为了较为准确地确定出待检索图像的检索结果,电子设备可以按照多种特征提取方式,分别提取待检索图像的多种待检索图像特征。例如,电子设备可以分别提取待检索图像的HOG特征、灰度直方图特征以及SIFT特征。
S903,计算每种待检索图像特征与每个图像检索样本的待比对图像特征之间的相似度;
如果待检索图像的待检索图像特征与某个图像检索样本的待比对图像特征之间的相似度较高,说明待检索图像属于该图像检索样本对应的类别。所以,电子设备可以计算每种待检索图像特征与每个图像检索样本的待比对图像特征之间的相似度。由于同种图像特征之间的相似度才能准确反映出图像之间的相似程度,因此待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同。
例如,假设图像检索样本1-图像检索样本6的HOG特征、灰度直方图特征以及SIFT特征分别为:HOG特征1-HOG特征6、灰度直方图特征1-灰度直方图特征6以及SIFT特征1-SIFT特征6。那么,电子设备可以计算待检索图像的HOG特征分别与HOG特征1-HOG特征6之间的相似度、待检索图像的灰度直方图特征分别与灰度直方图特征1-灰度直方图特征6之间的相似度、待检索图像的SIFT特征分别与SIFT特征1-SIFT特征6之间的相似度。
S904,基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果。
由于方式权重与类内相似度成正相关关系,与类间相似度成负相关关系。因此方式权重可以反映不同的特征提取方式对图像检索的参考价值。为了较为准确地确定出检索图像的检索结果,电子设备可以基于每种待检索图像特征对应的相似度,以及该相似度对应的待检索图像特征的特征提取方式所对应的方式权重,确定图像检索结果。
可见,本申请实施例中,电子设备可以获取待检索图像;按照多种特征提取方式,分别提取待检索图像的多种待检索图像特征;计算每种待检索图像特征与每个图像检索样本的待比对图像特征之间的相似度,其中,待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果。由于方式权重表示相应的图像特征在确定图像检索结果时的重要程度,因此基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果,可以快速准确地确定待检索图像的图像检索结果。
作为本申请实施例的一种实施方式,如图10所示,上述基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果的步骤,可以包括:
S1001,针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的方式权重进行加权求和,得到加权求和结果;
由于方式权重可以反映不同的特征提取方式对图像检索的参考价值,因此电子设备可以针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的方式权重进行加权求和,得到加权求和结果。其中,每个相似度对应的方式权重为该相似度对应的待检索图像特征的特征提取方式所对应的权重。
例如,图像检索样本1-图像检索样本3属于类别A,图像检索样本4-图像检索样本5属于类别B。图像检索样本1-图像检索样本5的HOG特征、灰度直方图特征以及SIFT特征分别为HOG特征1-HOG特征5、灰度直方图特征1-灰度直方图特征5以及SIFT特征1-SIFT特征5。待检索图像的HOG特征与HOG特征1-HOG特征5之间的相似度分别为89%、92%、87%、12%、9%;待检索图像的灰度直方图特征与灰度直方图特征1-灰度直方图特征5之间的相似度分别为45%、43%、53%、23%、19%;待检索图像的SIFT特征与SIFT特征1-SIFT特征5之间的相似度分别为32%、28%、34%、31%、35%。
假设HOG特征对应的提取方式的方式权重为0.7、灰度直方图特征对应的提取方式的方式权重为0.2、SIFT特征对应的提取方式的方式权重为0.1。那么可以计算出待检索图像与图像检索样本1对应的加权求和结果为89%*0.7+45%*0.2+32%*0.1=74.5%。同理,可以计算出待检索图像与图像检索样本2-图像检索样本5对应的加权求和结果分别为75.8%、74.9%、16.1%、13.6%。
S1002,将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
如果加权求和结果较高,说明待检索图像与该加权求和结果对应的图像检索样本的相似度较高。那么,便可以确定待检索图像与该图像检索样本所属类别相同。因此,电子设备可以将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
承接步骤S1001中的例子,由于75.8%为最高的加权求和结果,因此可以将图像检索样本2确定为与待检索图像最接近的样本,将图像检索样本2所属的类别A确定为待检索图像的类别。
在另一种实施方式中,电子设备还可以根据方式权重的排序,预先设置方式权重与比例系数之间的对应关系,将每种待检索图像特征对应的相似度与比例系数相乘并求和,将对应的计算结果最高的图像检索样本所属的类别,确定为待检索图像所属类别。承接步骤S1001中的例子,假设HOG特征对应的提取方式的方式权重为0.7、灰度直方图特征对应的提取方式的方式权重为0.2、SIFT特征对应的提取方式的方式权重为0.1,那么可以预先设置最高的方式权重0.7对应的比例系数为0.9、次高的方式权重0.2对应的比例系数为0.5、最小的方式权重0.1对应的比例系数为0.1。计算出待检索图像与图像检索样本1对应的计算结果为89%*0.9+45%*0.5+32%*0.1=1.058。同理,可以计算出待检索图像与图像检索样本2-图像检索样本5对应的计算结果分别为1.081、1.082、0.254、0.211。由于1.058为最高的计算结果,因此可以将图像检索样本1确定为与待检索图像最接近的样本,将图像检索样本1所属的类别A确定为待检索图像的类别。
可见,本申请实施例中,电子设备可以针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的维度权重进行加权求和,得到加权求和结果,其中,每个相似度对应的维度权重为该相似度对应的待检索图像特征的维度所对应的权重;将对应的加权结果最高的图像检索样本所属的类别,确定为待检索图像对应的图像检索结果。如果加权求和结果较高,说明待检索图像与该加权求和结果对应的图像检索样本的相似度较高。因此,电子设备可以将对应的加权求和结果最高的图像检索样本所属的类别,确定为待检索图像对应的图像检索结果。这样,可以快速准确地进行图像检索。
作为本申请实施例的一种实施方式,上述图像特征可以为矩阵。在这种情况下,如图11所示,在上述将所述每个图像检索样本的图像特征与对应的类别标签进行存储的步骤之后,上述方法还可以包括:
S1101,针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类内相似度,以及不同类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类间相似度;
在图像特征为矩阵的情况下,基于不同维度的特征值计算出的相似度可能不同。如果某个维度的特征值对应的类内相似度较高,且类间相似度较低,说明该维度的特征值可以较优地反映出同类图像检索样本的类内一致性,以及不同类图像检索样本的类间差异性。
因此为了确定出每个维度的特征值所反映的类内一致性以及类间差异性,电子设备可以针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类内相似度,以及不同类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类间相似度。其中,目标维度为图像特征中的每行或每列。
如果图像特征的多个维度按行排列,那么可以针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标行的特征值之间的类内相似度,以及不同类别的图像检索样本对应的该种图像特征中目标行的特征值之间的类间相似度;如果图像特征的多个维度按列排列,那么可以针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标列的特征值之间的类内相似度,以及不同类别的图像检索样本对应的该种图像特征中目标列的特征值之间的类间相似度。
例如,图像检索样本1-图像检索样本2属于类别A,图像检索样本3-图像检索样本4属于类别B。图像检索样本1-图像检索样本4的HOG特征分别为HOG特征1-HOG特征4。假设HOG特征为3×3的矩阵,矩阵的第一行-第三行分别为第一维度-第三维度,那么HOG特征1-HOG特征4中,第一维度的特征值分别为特征值11、特征值12、特征值13以及特征值14;第二维度的特征值分别为特征值21、特征值22、特征值23以及特征值24;第三维度的特征值分别为特征值31、特征值32、特征值33以及特征值34。下面以第一维度和第二维度为例进行类内相似度和类间相似度的计算:
针对第一维度,电子设备可以分别计算特征值11与特征值12之间、特征值13与特征值14之间的类内相似度,得到34%和23%,并分别计算特征值11与特征值13之间、特征值11与特征值14之间、特征值12与特征值13之间、特征值12与特征值14之间的类间相似度,得到16%、19%、15%和18%。
同理,针对第二维度,计算得到特征值21与特征值22之间、特征值23与特征值24之间的类内相似度,得到95%和89%,并计算特征值21与特征值23之间、特征值21与特征值24之间、特征值22与特征值23之间、特征值22与特征值24之间的类间相似度,得到4%、5%、3%和2%。
在一种实施方式中,图像特征可以为多维向量。在这种情况下,目标维度可以为多维向量中的一个维度。
S1102,基于所述类内相似度以及所述类间相似度,确定所述目标维度对应的维度权重,以使所述类内相似度与所述维度权重成正相关关系,所述类间相似度与所述维度权重成负相关关系。
由于不同维度的特征值,对应的类内相似度和类间相似度不同。如果类内相似度较高,并且类间相似度较低,说明同类的图像检索样本之间的相似程度较高,不同类的图像检索样本之间的相似程度较低。这样,能够较优地反映出同类图像检索样本的类内一致性,并且明确不同类图像检索样本的类间差异性。
因此,为了直观体现每个维度的特征值所能反映出同类图像检索样本的类内一致性以及不同类图像检索样本的类间差异性。电子设备可以基于类内相似度以及类间相似度,确定目标维度对应的维度权重,以使类内相似度与维度权重成正相关关系,类间相似度与维度权重成负相关关系。
在第一种实施方式中,针对图像特征中每个维度的特征值,电子设备可以计算该维度的特征值之间类内相似度的平均值A3,以及类间相似度的平均值A4,按照以下公式计算维度权重W2:W2=0.5*A3+0.5*(1-A4)。
承接步骤S901中的例子,针对第一维度,类内相似度为34%和23%,类间相似度为16%、19%、15%和18%。计算得到类内相似度和类间相似度的平均值分别为28.5%和17%,也就是,A3=28.5%,A4=17%。那么可以根据本实施方式提供的公式,计算第一维度的维度权重W2=0.56。同理,针对第二维度,类内相似度为95%和89%,类间相似度为4%、5%、3%和2%,可以计算得到,第二维度的维度权重W2=0.94。
在第二种实施方式中,可以基于上述第一种实施方式确定出每个维度的第一维度权重,基于第i个维度的第一维度权重W′2i,按照以下公式计算第i个维度的维度权重W2i:其中,n为图像特征的总维度数。
承接上述第一种实施方式中的例子,假设HOG特征的第一维度-第三维度对应的维度权重分别为0.56、0.94以及0.32,那么W′21=0.56,W′22=0.94,W′23=0.30。可以基于本实施方式所示的公式分别计算出第一维度的方式权重W21=0.31,第二维度的方式权重W22=0.52,第三维度的方式权重W23=0.17。
可见,本申请实施例中,电子设备可以针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类内相似度,以及不同类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类间相似度,其中,目标维度为所述图像特征的每行或每列;基于类内相似度以及类间相似度,确定目标维度对应的维度权重,以使类内相似度与维度权重成正相关关系,类间相似度与维度权重成负相关关系。由于图像特征中不同维度的特征值,对应的类内相似度和类间相似度不同。如果类内相似度较高,并且类间相似度较低,说明同类的图像检索样本之间的相似程度较高,不同类的图像检索样本之间的相似程度较低。进而,电子设备可以基于类内相似度和类间相似度计算维度权重。这样,可以基于维度权重直观体现每个维度对应的特征值所能反映出同类图像检索样本的类内一致性以及不同类图像检索样本的类间差异性。
作为本申请实施例的一种实施方式,如图12所示,在上述基于所述类内相似度以及所述类间相似度,确定所述目标维度对应的维度权重的步骤之后,上述方法还可以包括:
S1201,获取待检索图像;
电子设备可以获取待检索图像,待检索图像为需要进行图像检索的图像。
S1202,按照所述预设特征提取方式,提取所述待检索图像的待检索图像特征;
为了确定待检索图像所具备的特征,进而对待检索图像进行图像检索,电子设备可以按照预设特征提取方式,提取待检索图像的待检索图像特征。
S1203,计算所述待检索图像特征的每个维度的特征值与每个图像检索样本的待比对图像特征对应维度的特征值之间的相似度;
如果待检索图像特征中某个维度的特征值与某个图像检索样本的对应维度的特征值之间的相似度较高,说明待检索图像可能属于该图像检索样本对应的类别。所以,电子设备可以计算待检索图像特征的每个维度的特征值与每个图像检索样本的待比对图像特征对应维度的特征值之间的相似度。由于同种图像特征之间的相似度才能准确反映出图像之间的相似程度,因此待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
例如,假设HOG特征为3×3的矩阵,矩阵的第一行-第三行分别为第一维度-第三维度,图像检索样本1-图像检索样本3的HOG特征分别为HOG特征1-HOG特征3,HOG特征1中第一维度、第二维度和第三维度的特征值分别为特征值11、特征值12和特征值13;HOG特征2中第一维度、第二维度和第三维度的特征值分别为特征值21、特征值22和特征值23;HOG特征3中第一维度、第二维度和第三维度的特征值分别为特征值31、特征值32和特征值33。待检索图像的HOG特征中第一维度、第二维度和第三维度的特征值分别为特征值41、特征值42和特征值43。那么,电子设备可以计算特征值41分别与特征值11、特征值21、特征值31之间的相似度,可以计算特征值42分别与特征值12、特征值22、特征值32之间的相似度,可以计算特征值43分别与特征值13、特征值23、特征值33之间的相似度。
S1204,基于所述待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果。
由于维度权重与类内相似度成正相关关系,与类间相似度成负相关关系。因此维度权重可以反映图像特征中不同维度对图像检索的参考价值。为了较为准确地确定出检索图像的检索结果,电子设备可以基于待检索图像特征中每个维度的特征值对应的相似度,以及该相似度对应的维度权重为该相似度对应的待检索图像特征的维度所对应的维度权重,确定图像检索结果。
可见,本申请实施例中,电子设备可以获取待检索图像;按照预设特征提取方式,提取待检索图像的待检索图像特征;计算待检索图像特征的每个维度的特征值与每个图像检索样本的待比对图像特征对应维度的特征值之间的相似度,其中,待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;基于待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果。由于维度权重表示相应维度的特征值在确定图像检索结果时的重要程度,因此基于待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果,可以快速准确地确定待检索图像的图像检索结果。
作为本申请实施例的一种实施方式,如图13所示,上述基于基于所述待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果的步骤,可以包括:
S1301,针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的维度权重进行加权求和,得到加权求和结果;
由于维度权重可以反映图像特征中不同维度对图像检索的参考价值,因此电子设备可以针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的维度权重进行加权求和,得到加权求和结果。其中,每个相似度对应的维度权重为该相似度对应的待检索图像特征的维度所对应的权重。
例如,假设HOG特征中第一维度、第二维度以及第三维度对应的维度权重分别为0.5、0.2、0.3。图像检索样本1-图像检索样本2属于类别A,图像检索样本3-图像检索样本4属于类别B。图像检索样本1-图像检索样本4对应的HOG特征分别为HOG特征1-HOG特征4。HOG特征1-HOG特征4中第一维度的特征值对应的相似度分别为76%、65%、11%、6%,HOG特征1-HOG特征4中第二维度的特征值对应的相似度分别为56%、45%、19%、16%,HOG特征1-HOG特征4中第三维度的特征值对应的相似度为72%、52%、11%、14%。
那么可以通过算式76%*0.5+56%*0.2+72%*0.3=0.71,计算出待检索图像与图像检索样本1之间的计算结果。同理,可以计算出待检索图像与图像检索样本2-图像检索样本4对应的计算结果分别为0.57、0.13、0.10。
S1302,将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
如果加权求和结果较高,说明待检索图像与该加权求和结果对应的图像检索样本的相似度较高。那么,便可以确定待检索图像与该图像检索样本所属类别相同。因此,电子设备可以将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
承接步骤S1301中的例子,由于0.71为最高的计算结果,因此可以将图像检索样本1确定为与待检索图像最接近的样本,将图像检索样本1所属的类别A确定为待检索图像的类别。
在另一种实施方式中,电子设备还可以根据方式权重的排序,预先设置维度权重与比例系数之间的对应关系,将每个维度对应的相似度与比例系数相乘并求和,将对应的计算结果最高的图像检索样本所属的类别,确定为待检索图像所属类别。承接步骤S1301中的例子,预先设置最高的维度权重对应的比例系数为0.9、次高的维度权重对应的比例系数为0.5、最小的维度权重对应的比例系数为0.1。计算出待检索图像与图像检索样本1对应的计算结果为76%*0.9+56%*0.5+72%*0.1=1.036。同理,可以计算出待检索图像与图像检索样本2-图像检索样本4对应的计算结果分别为0.862、0.205、0.148。由于1.036为最高的计算结果,因此可以将图像检索样本1确定为与待检索图像最接近的样本,将图像检索样本1所属的类别A确定为待检索图像的类别。
可见,本申请实施例中,电子设备可以针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的维度权重进行加权求和,得到加权求和结果,其中,每个相似度对应的维度权重为该相似度对应的待检索图像特征的维度所对应的权重;将对应的加权结果最高的图像检索样本所属的类别,确定为待检索图像对应的图像检索结果。如果加权求和结果较高,说明待检索图像与该加权求和结果对应的图像检索样本的相似度较高。因此,电子设备可以将对应的加权求和结果最高的图像检索样本所属的类别,确定为待检索图像对应的图像检索结果。这样,可以快速准确地进行图像检索。
作为本申请实施例的一种实施方式,在所述将所述每个图像检索样本的图像特征与对应的类别标签进行存储的步骤之后,上述方法还可以包括:
针对每种预设特征提取方式,计算同一类别的图像检索样本对应的目标图像特征之间的类内相似度,以及计算不同类别的图像检索样本对应的目标图像特征之间的类间相似度,并且针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的第三相似度,以及不同类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的第四相似度;基于类内相似度以及类间相似度,确定该预设特征提取方式对应的方式权重;并且基于第三相似度以及第四相似度,确定目标维度对应的维度权重。
接下来,电子设备可以获取待检索图像;按照多种特征提取方式,分别提取待检索图像的多种待检索图像特征;计算每种待检索图像特征与每个图像检索样本的待比对图像特征之间的第五相似度,以及待检索图像特征的每个维度的特征值与每个图像检索样本的待比对图像特征对应维度的特征值之间的第六相似度;基于每种待检索图像特征对应的第五相似度以及方式权重,以及待检索图像特征中每个维度的特征值对应的第六相似度以及维度权重,确定图像检索结果。这样,可以进一步提高图像检索的准确度。
作为本申请实施例的一种实施方式,图像检索样本注册方法的示意图可以如图14所示,电子设备可以获取原始图像样本以及原始图像样本对应的类别标签。对原始图像样本分别进行图像变换处理1、图像变换处理2…图像变换处理n,也就是说,对原始图像样本分别进行n种不同的变换处理。进而得到变换图像1、变换图像2…变换图像n,对得到的n个变换图像以及原始图像样本进行特征提取,得到原始图像样本对应的图像特征0,变换图像1-变换图像n分别对应的图像特征1、图像特征2…图像特征n。
这样,电子设备便可以基于图像特征0-图像特征n与对应的类别标签进行注册,将图像特征0-图像特征n与对应的类别标签存储于类别数据库。如果原始图像样本的数量为m个,对每个原始图像样本进行n种不同的变换处理,那么可以得到共计m*(n+1)个图像特征。
并且,电子设备可以进行特征选择,也就是说,可以确定出每种图像变换处理对应的图像特征所能反映出的类内一致性和类间差异性。具体来说,电子设备可以针对每种图像变换处理,计算类别数据库中同一类别的图像对应的目标图像特征之间的类内相似度,以及计算不同类别的图像对应的目标图像特征之间的类间相似度,其中,目标图像特征为采用该种图像变换处理从图像检索样本中提取得到的图像特征。进而,基于类内相似度以及类间相似度,确定该图像变换处理对应的方式权重。进而将每种图像变换处理与方式权重之间的对应关系记录在特征权重表中。
可见,本申请实施例中,利用数据增强技术,通过多种数据增强手段生成与原始图像样本存在差异的注册图像样本集,从而更加完善地描述注册的图像样本可能存在的类内差异多样性。通过特征选择的方式确定最适合当前任务的特征类型组合,可以提高基于增强后的数据库进行图像检索的准确度,并且提高图像检索算法对少样本任务场景的适应能力和易用性。
本申请的技术方案中,所涉及的用户个人信息的获取、存储、使用、加工、传输、提供和公开等操作,均是在已取得用户授权的情况下进行的。
相应于上述一种图像检索样本的注册方法,本申请实施例还提供了一种图像检索样本的注册装置,下面对本申请实施例所提供的一种图像检索样本的注册装置进行介绍。
如图15所示,一种图像检索样本的注册装置,所述装置包括:
图像获取模块1501,用于获取原始图像样本以及所述原始图像样本对应的类别标签;
变换处理模块1502,用于对所述原始图像样本进行不同的变换处理,得到多个变换图像;
特征提取模块1503,用于按照预设特征提取方式,提取每个图像检索样本的图像特征,其中,所述图像检索样本包括所述原始图像样本和所述多个变换图像,所述图像检索样本包括的任意两个图像不完全相同;
特征存储模块1504,用于将所述每个图像检索样本的图像特征与对应的类别标签进行存储,以用于进行图像检索。
可见,本申请实施例提供的方案中,电子设备可以获取原始图像样本以及原始图像样本对应的类别标签;对原始图像样本进行不同的变换处理,得到多个变换图像;按照预设特征提取方式,提取每个图像检索样本的图像特征,其中,图像检索样本包括原始图像样本和多个变换图像,图像检索样本包括的任意两个图像不完全相同;将每个图像检索样本的图像特征与对应的类别标签进行存储,以用于进行图像检索。由于变换图像是对原始图像样本进行变换处理得到的,并且变换处理并不会改变图像所属的类别,因此可以将变换图像与原始图像样本作为类别相同的图像检索样本。即使原始图像样本的数量有限,也能对原始图像样本进行变换处理,进而获得多个变换图像,可以使得图像检索样本较为完整地反映同类样本的特征多样性,并且明确不同类别样本间的关键差异特征。这样,可以扩充图像检索样本的数量,提高图像检索的准确度。
作为本申请实施例的一种实施方式,上述变换处理模块1502,可以包括:
变换处理子模块,用于针对每个原始图像样本,采用以下预设处理方式中的至少一种对所述原始图像样本进行变换处理,得到多个变换图像,其中,所述预设处理方式包括:感兴趣区域扰动处理、亮度变换处理以及像素变换处理。
作为本申请实施例的一种实施方式,上述变换处理子模块,可以包括:
位置确定单元,用于针对每个原始图像样本,确定该原始图像样本的感兴趣区域位置;
位置更改单元,用于将所述感兴趣区域位置的至少一条边,沿目标方向移动目标距离,并将移动后的边所在直线与其邻边所在直线的交点作为感兴趣区域的顶点,得到更改后的感兴趣区域位置,其中,所述目标方向为所要移动的边的邻边所在直线方向,所述目标距离与所要移动的边的邻边的长度之比为目标比例;
区域旋转单元,用于将所述感兴趣区域位置旋转目标角度,得到更改后的感兴趣区域位置;
图像裁剪单元,用于按照所述更改后的感兴趣区域位置对该原始图像样本进行裁剪,得到变换图像。
作为本申请实施例的一种实施方式,上述位置确定单元,可以包括:
第一位置确定子单元,用于如果获取到原始图像样本的感兴趣区域信息,根据所述感兴趣区域信息,计算感兴趣区域的最小外接矩形,作为该原始图像样本的感兴趣区域位置,其中,所述感兴趣区域信息用于标识感兴趣区域的位置;
第二位置确定子单元,用于如果未获取到原始图像样本的感兴趣区域信息,该原始图像样本的全部区域确定为感兴趣区域位置。
作为本申请实施例的一种实施方式,上述装置还可以包括:
范围获取模块,用于获取预设的比例范围,其中,所述预设的比例范围为预先基于感兴趣区域扰动程度确定的;
比例确定模块,用于从所述预设的比例范围中,为每条边确定对应的目标比例。
作为本申请实施例的一种实施方式,上述预设特征提取方式可以包括多种特征提取方式,在这种情况下,上述装置还可以包括:
类内相似度计算模块,用于针对每种预设特征提取方式,计算同一类别的图像检索样本对应的目标图像特征之间的类内相似度,以及计算不同类别的图像检索样本对应的目标图像特征之间的类间相似度,其中,所述目标图像特征为采用该种预设特征提取方式从图像检索样本中提取得到的图像特征;
第一权重确定模块,用于基于所述类内相似度以及所述类间相似度,确定该预设特征提取方式对应的方式权重,以使所述类内相似度与所述方式权重成正相关关系,所述类间相似度与所述方式权重成负相关关系。
作为本申请实施例的一种实施方式,上述装置还可以包括:
第一图像获取模块,用于获取待检索图像;
第一特征提取模块,用于按照所述多种特征提取方式,分别提取所述待检索图像的多种待检索图像特征;
类间相似度计算模块,用于计算每种待检索图像特征与每个图像检索样本的待比对图像特征之间的相似度,其中,所述待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
第一结果确定模块,用于基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果。
作为本申请实施例的一种实施方式,上述第一结果确定模块,可以包括:
第一计算子模块,用于针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的方式权重进行加权求和,得到加权求和结果,其中,每个相似度对应的方式权重为该相似度对应的待检索图像特征的特征提取方式所对应的权重;
第一结果确定子模块,用于将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
作为本申请实施例的一种实施方式,上述图像特征可以为矩阵,在这种情况下,上述装置还可以包括:
第三相似度计算模块,用于针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类内相似度,以及不同类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类间相似度,其中,所述目标维度为所述矩阵的每行或每列;
第二权重确定模块,用于基于所述类内相似度以及所述类间相似度,确定所述目标维度对应的维度权重,以使所述类内相似度与所述维度权重成正相关关系,所述类间相似度与所述维度权重成负相关关系。
作为本申请实施例的一种实施方式,上述装置还可以包括:
第二图像获取模块,用于获取待检索图像;
第二特征提取模块,用于按照所述预设特征提取方式,提取所述待检索图像的待检索图像特征;
第四相似度计算模块,用于计算所述待检索图像特征的每个维度的特征值与每个图像检索样本的待比对图像特征对应维度的特征值之间的相似度,其中,所述待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
第二结果确定模块,用于基于所述待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果。
作为本申请实施例的一种实施方式,上述第二结果确定模块,可以包括:
第二计算子模块,用于针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的维度权重进行加权求和,得到加权求和结果,其中,每个相似度对应的维度权重为该相似度对应的待检索图像特征的维度所对应的权重;
第二结果确定子模块,用于将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
本申请实施例还提供了一种电子设备,如图16所示,包括:
存储器1601,用于存放计算机程序;
处理器1602,用于执行存储器1601上所存放的程序时,实现上述任一实施例所述的图像检索样本的注册方法步骤。
并且上述电子设备还可以包括通信总线和/或通信接口,处理器1602、通信接口、存储器1601通过通信总线完成相互间的通信。
可见,本申请实施例提供的方案中,电子设备可以获取原始图像样本以及原始图像样本对应的类别标签;对原始图像样本进行不同的变换处理,得到多个变换图像;按照预设特征提取方式,提取每个图像检索样本的图像特征,其中,图像检索样本包括原始图像样本和多个变换图像,图像检索样本包括的任意两个图像不完全相同;将每个图像检索样本的图像特征与对应的类别标签进行存储,以用于进行图像检索。由于变换图像是对原始图像样本进行变换处理得到的,并且变换处理并不会改变图像所属的类别,因此可以将变换图像与原始图像样本作为类别相同的图像检索样本。即使原始图像样本的数量有限,也能对原始图像样本进行变换处理,进而获得多个变换图像,可以使得图像检索样本较为完整地反映同类样本的特征多样性,并且明确不同类别样本间的关键差异特征。这样,可以扩充图像检索样本的数量,提高图像检索的准确度。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一图像检索样本的注册方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一图像检索样本的注册方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者固态硬盘(Solid StateDisk,SSD)等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、***、电子设备、计算机可读存储介质以及计算机程序产品而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (15)
1.一种图像检索样本的注册方法,其特征在于,所述方法包括:
获取原始图像样本以及所述原始图像样本对应的类别标签;
对所述原始图像样本进行不同的变换处理,得到多个变换图像;
按照预设特征提取方式,提取每个图像检索样本的图像特征,其中,所述图像检索样本包括所述原始图像样本和所述多个变换图像,所述图像检索样本包括的任意两个图像不完全相同;
将所述每个图像检索样本的图像特征与对应的类别标签进行存储,以用于进行图像检索。
2.根据权利要求1所述的方法,其特征在于,所述对所述原始图像样本进行不同的变换处理,得到多个变换图像的步骤,包括:
针对每个原始图像样本,采用以下预设处理方式中的至少一种对所述原始图像样本进行变换处理,得到多个变换图像,其中,所述预设处理方式包括:感兴趣区域扰动处理、亮度变换处理以及像素变换处理。
3.根据权利要求2所述的方法,其特征在于,所述感兴趣区域扰动处理的方式,包括:
针对每个原始图像样本,确定该原始图像样本的感兴趣区域位置;
将所述感兴趣区域位置的至少一条边,沿目标方向移动目标距离,并将移动后的边所在直线与其邻边所在直线的交点作为感兴趣区域的顶点,得到更改后的感兴趣区域位置,其中,所述目标方向为所要移动的边的邻边所在直线方向,所述目标距离与所要移动的边的邻边的长度之比为目标比例;和/或,将所述感兴趣区域位置旋转目标角度,得到更改后的感兴趣区域位置;
按照所述更改后的感兴趣区域位置对该原始图像样本进行裁剪,得到变换图像。
4.根据权利要求3所述的方法,其特征在于,所述确定该原始图像样本的感兴趣区域位置的步骤,包括:
如果获取到原始图像样本的感兴趣区域信息,根据所述感兴趣区域信息,计算感兴趣区域的最小外接矩形,作为该原始图像样本的感兴趣区域位置,其中,所述感兴趣区域信息用于标识感兴趣区域的位置;或,
如果未获取到原始图像样本的感兴趣区域信息,该原始图像样本的全部区域确定为感兴趣区域位置。
5.根据权利要求3所述的方法,其特征在于,在所述将所述感兴趣区域位置的至少一条边,沿目标方向移动目标距离的步骤之前,所述方法还包括:
获取预设的比例范围,其中,所述预设的比例范围为预先基于感兴趣区域扰动程度确定的;
从所述预设的比例范围中,为每条边确定对应的目标比例。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述预设特征提取方式包括多种特征提取方式;
在所述将所述每个图像检索样本的图像特征与对应的类别标签进行存储的步骤之后,所述方法还包括:
针对每种预设特征提取方式,计算同一类别的图像检索样本对应的目标图像特征之间的类内相似度,以及计算不同类别的图像检索样本对应的目标图像特征之间的类间相似度,其中,所述目标图像特征为采用该种预设特征提取方式从图像检索样本中提取得到的图像特征;
基于所述类内相似度以及所述类间相似度,确定该预设特征提取方式对应的方式权重,以使所述类内相似度与所述方式权重成正相关关系,所述类间相似度与所述方式权重成负相关关系。
7.根据权利要求6所述的方法,其特征在于,在所述基于所述类内相似度以及所述类间相似度,确定该预设特征提取方式对应的方式权重的步骤之后,所述方法还包括:
获取待检索图像;
按照所述多种特征提取方式,分别提取所述待检索图像的多种待检索图像特征;
计算每种待检索图像特征与每个图像检索样本的待比对图像特征之间的相似度,其中,所述待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果。
8.根据权利要求7所述的方法,其特征在于,所述基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果的步骤,包括:
针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的方式权重进行加权求和,得到加权求和结果,其中,每个相似度对应的方式权重为该相似度对应的待检索图像特征的特征提取方式所对应的权重;
将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
9.根据权利要求1-5任一项所述的方法,其特征在于,所述图像特征为矩阵;
在所述将所述每个图像检索样本的图像特征与对应的类别标签进行存储的步骤之后,所述方法还包括:
针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类内相似度,以及不同类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类间相似度,其中,所述目标维度为所述矩阵的每行或每列;
基于所述类内相似度以及所述类间相似度,确定所述目标维度对应的维度权重,以使所述类内相似度与所述维度权重成正相关关系,所述类间相似度与所述维度权重成负相关关系。
10.根据权利要求9所述的方法,其特征在于,在所述基于所述类内相似度以及所述类间相似度,确定所述目标维度对应的维度权重的步骤之后,所述方法还包括:
获取待检索图像;
按照所述预设特征提取方式,提取所述待检索图像的待检索图像特征;
计算所述待检索图像特征的每个维度的特征值与每个图像检索样本的待比对图像特征对应维度的特征值之间的相似度,其中,所述待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
基于所述待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果。
11.根据权利要求10所述的方法,其特征在于,所述基于所述待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果的步骤,包括:
针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的维度权重进行加权求和,得到加权求和结果,其中,每个相似度对应的维度权重为该相似度对应的待检索图像特征的维度所对应的权重;
将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
12.一种图像检索样本的注册装置,其特征在于,所述装置包括:
图像获取模块,用于获取原始图像样本以及所述原始图像样本对应的类别标签;
变换处理模块,用于对所述原始图像样本进行不同的变换处理,得到多个变换图像;
特征提取模块,用于按照预设特征提取方式,提取每个图像检索样本的图像特征,其中,所述图像检索样本包括所述原始图像样本和所述多个变换图像,所述图像检索样本包括的任意两个图像不完全相同;
特征存储模块,用于将所述每个图像检索样本的图像特征与对应的类别标签进行存储,以用于进行图像检索。
13.根据权利要求12所述的装置,其特征在于,所述变换处理模块,包括:
变换处理子模块,用于针对每个原始图像样本,采用以下预设处理方式中的至少一种对所述原始图像样本进行变换处理,得到多个变换图像,其中,所述预设处理方式包括:感兴趣区域扰动处理、亮度变换处理以及像素变换处理;
所述变换处理子模块,包括:
位置确定单元,用于针对每个原始图像样本,确定该原始图像样本的感兴趣区域位置;
位置更改单元,用于将所述感兴趣区域位置的至少一条边,沿目标方向移动目标距离,并将移动后的边所在直线与其邻边所在直线的交点作为感兴趣区域的顶点,得到更改后的感兴趣区域位置,其中,所述目标方向为所要移动的边的邻边所在直线方向,所述目标距离与所要移动的边的邻边的长度之比为目标比例;
区域旋转单元,用于将所述感兴趣区域位置旋转目标角度,得到更改后的感兴趣区域位置;
图像裁剪单元,用于按照所述更改后的感兴趣区域位置对该原始图像样本进行裁剪,得到变换图像;
所述位置确定单元,包括:
第一位置确定子单元,用于如果获取到原始图像样本的感兴趣区域信息,根据所述感兴趣区域信息,计算感兴趣区域的最小外接矩形,作为该原始图像样本的感兴趣区域位置,其中,所述感兴趣区域信息用于标识感兴趣区域的位置;
第二位置确定子单元,用于如果未获取到原始图像样本的感兴趣区域信息,该原始图像样本的全部区域确定为感兴趣区域位置;
所述装置还包括:
范围获取模块,用于获取预设的比例范围,其中,所述预设的比例范围为预先基于感兴趣区域扰动程度确定的;
比例确定模块,用于从所述预设的比例范围中,为每条边确定对应的目标比例;
所述预设特征提取方式包括多种特征提取方式;
所述装置还包括:
类内相似度计算模块,用于针对每种预设特征提取方式,计算同一类别的图像检索样本对应的目标图像特征之间的类内相似度,以及计算不同类别的图像检索样本对应的目标图像特征之间的类间相似度,其中,所述目标图像特征为采用该种预设特征提取方式从图像检索样本中提取得到的图像特征;
第一权重确定模块,用于基于所述类内相似度以及所述类间相似度,确定该预设特征提取方式对应的方式权重,以使所述类内相似度与所述方式权重成正相关关系,所述类间相似度与所述方式权重成负相关关系;
所述装置还包括:
第一图像获取模块,用于获取待检索图像;
第一特征提取模块,用于按照所述多种特征提取方式,分别提取所述待检索图像的多种待检索图像特征;
类间相似度计算模块,用于计算每种待检索图像特征与每个图像检索样本的待比对图像特征之间的相似度,其中,所述待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
第一结果确定模块,用于基于每种待检索图像特征对应的相似度以及方式权重,确定图像检索结果;
所述第一结果确定模块,包括:
第一计算子模块,用于针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的方式权重进行加权求和,得到加权求和结果,其中,每个相似度对应的方式权重为该相似度对应的待检索图像特征的特征提取方式所对应的权重;
第一结果确定子模块,用于将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果;
所述图像特征为矩阵;
所述装置还包括:
第三相似度计算模块,用于针对每种图像特征,计算同一类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类内相似度,以及不同类别的图像检索样本对应的该种图像特征中目标维度的特征值之间的类间相似度,其中,所述目标维度为所述矩阵的每行或每列;
第二权重确定模块,用于基于所述类内相似度以及所述类间相似度,确定所述目标维度对应的维度权重,以使所述类内相似度与所述维度权重成正相关关系,所述类间相似度与所述维度权重成负相关关系;
所述装置还包括:
第二图像获取模块,用于获取待检索图像;
第二特征提取模块,用于按照所述预设特征提取方式,提取所述待检索图像的待检索图像特征;
第四相似度计算模块,用于计算所述待检索图像特征的每个维度的特征值与每个图像检索样本的待比对图像特征对应维度的特征值之间的相似度,其中,所述待比对图像特征的特征提取方式与该待检索图像特征的特征提取方式相同;
第二结果确定模块,用于基于所述待检索图像特征中每个维度的特征值对应的相似度以及维度权重,确定图像检索结果;
所述第二结果确定模块,包括:
第二计算子模块,用于针对每个图像检索样本,将该图像检索样本对应的每个相似度按照对应的维度权重进行加权求和,得到加权求和结果,其中,每个相似度对应的维度权重为该相似度对应的待检索图像特征的维度所对应的权重;
第二结果确定子模块,用于将对应的加权结果最高的图像检索样本所属的类别,确定为所述待检索图像对应的图像检索结果。
14.一种电子设备,其特征在于,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-11任一所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-11任一所述的方法。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118262167A true CN118262167A (zh) | 2024-06-28 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | MARCH: Multiscale-arch-height description for mobile retrieval of leaf images | |
Velmurugan et al. | Content-based image retrieval using SURF and colour moments | |
Ali et al. | A hybrid geometric spatial image representation for scene classification | |
Kiforenko et al. | A performance evaluation of point pair features | |
CN107209942B (zh) | 对象检测方法和图像检索*** | |
AU2016402555B2 (en) | Content based search and retrieval of trademark images | |
Tralic et al. | Combining cellular automata and local binary patterns for copy-move forgery detection | |
Ergul et al. | Scene classification using spatial pyramid of latent topics | |
Li et al. | Logo detection with extendibility and discrimination | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN113298146A (zh) | 一种基于特征检测的图像匹配方法、装置、设备及介质 | |
Govindaraj et al. | A new 2D shape retrieval scheme based on phase congruency and histogram of oriented gradients | |
CN110083731B (zh) | 图像检索方法、装置、计算机设备及存储介质 | |
Shao et al. | Feature matching for illumination variation images | |
Sadeghi et al. | A local image descriptor based on radial and angular gradient intensity histogram for blurred image matching | |
Juvela | Template matching method for the analysis of interstellar cloud structure | |
CN118262167A (zh) | 一种图像检索样本的注册方法、装置、电子设备及介质 | |
Han et al. | Synthetic aperture radar target recognition based on joint classification of selected monogenic components by nonlinear correlation information entropy | |
CN115063473A (zh) | 物体高度的检测方法、装置、计算机设备、存储介质 | |
CN111401252B (zh) | 一种基于视觉的图书盘点***的书脊匹配方法和设备 | |
CN114463764A (zh) | 表格线检测方法、装置、计算机设备和存储介质 | |
CN115129915A (zh) | 重复图像检索方法、装置、设备及存储介质 | |
CN113051901A (zh) | 一种身份证文本识别方法、***、介质及电子终端 | |
Xie et al. | KSRFB-net: detecting and identifying butterflies in ecological images based on human visual mechanism | |
Balázs et al. | AQ-convexity vector descriptor for image analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |