CN104504007A - 一种图像相似度的获取方法及*** - Google Patents

Abstract

本发明公开了一种图像相似度的获取方法及***，涉及图像搜索技术领域，本发明技术要点包括：分别提取目标图像及被比图像的GIST特征值、LBP特征值、HSV特征值与神经网络特征值；计算目标图像的各特征值与被比图像的各特征值的相似度；计算公式：融合相似度＝GIST特征相似度×a1+LBP特征相似度×a2+HSV特征相似度×a3+神经网络特征相似度×a4，得到目标图像与被比图像的融合相似度；其中0.1≤a1≤0.5，0.1≤a2≤0.4，0.1≤a3≤0.4，0.1≤a4≤0.5，且a1+a2+a3+a4＝1。

Description

一种图像相似度的获取方法及***

技术领域

本发明涉及图像搜索技术领域，尤其涉及一种基于内容的图像相似度获取方法。

背景技术

基于内容的图像搜索是通过图像处理，特征提取，采用一定相似算法的搜索图像的技术。这种技术与传统的人工加入的语义标签的最大不同在于，前者搜索出来的答案更客观，不需要有意的花大量时间和精力为数据库中的每张图像做语义标签。

目前基于内容的图像搜索原理是利用图像本身包含的色彩、纹理、物体几何关系等底层图像特征来表述，通过特有的算法提取以上特征，然后采用不同的准则函数去检索图像库，把最相似图像的排序提取出来。

基于内容的图像搜索目前主流的具体方法是这样的，采用机器学习方法，这类方法把大千世界的物体和场景分为如干类别，然后人工提取图像特征，采用监督学习算法学习分类器。这类方法的最大缺点一是不可能把现实世界都分类，准确度也不高；二是，不管从计算机资源和训练时间上考虑，开销都很大。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种图像相似度获取方法及***，结合机器提取特征值与人工提取的特征值获取融合相似度方法，为基于内容的图像搜索提供具有更高召回度和准确度的检索依据。

本发明提供的一种图像相似度的获取方法，包括以下步骤：

步骤1：分别提取目标图像的GIST特征值、LBP特征值、HSV特征值与神经网络特征值；分别提取被比图像的GIST特征值、LBP特征值、HSV特征值与神经网络特征值；

步骤2：计算目标图像的GIST特征值与被比图像的GIST特征值的相似度得到GIST特征相似度；计算目标图像的LBP特征值与被比图像的LBP特征值的相似度得到LBP特征相似度；计算目标图像的HSV特征值与被比图像的HSV特征值的相似度得到HSV特征相似度；计算目标图像的神经网络特征值与被比图像的神经网络特征值的相似度得到神经网络特征相似度；

步骤3：按照公式：

融合相似度＝GIST特征相似度×a1+LBP特征相似度×a2+HSV特征相似度×a3+神经网络特征相似度×a4

计算目标图像与被比图像的融合相似度；

其中0.1≤a1≤0.5，0.1≤a2≤0.4，0.1≤a3≤0.4，0.1≤a4≤0.5，且a1+a2+a3+a4＝1。

进一步，提取目标图像或被比图像的GIST特征值的方法包括以下步骤：

选择5个尺度与8个方向的GABOR核；

将图像与上述40个GABOR核依次做卷积得到40个处理后的图像；

将每个处理后的图像分为b×b个小块，并计算每个小块的灰度均值得到40×b×b个灰度均值，40×b×b个灰度均值组成的向量即为40×b×b维的GIST特征值；

其中b的取值为3或4。

进一步，提取目标图像或被比图像的LBP特征值的方法包括以下步骤：

设置3像素点×3像素点的计算窗口；

将计算窗口加到图像上，比较计算窗口的周围点像素值是否大于中心点像素值，若大于将该周围点的像素点设为1，否则设为0，将8个周围点的像素值依次排列得到一个8位无符号的二进制数，将这个无符号二进制数作为中心点的新像素值；

利用计算窗口遍历整个图像，得到图像中每个非边缘像素点的新像素值，并将各边缘像素点的新像素值设为某值，即得到经过LBP处理后的图像；

将经过LBP处理后的图像分为c×c个小块，并分别计算每个小块灰度直方图，所述灰度直方图中的灰度采用64阶表示，便得到每个小块中64个灰阶上分布的像素点数；将c×c个小块64个灰阶上分布的像素点数依次排列最终得到c×c×64维的LBP特征值；

其中c的取值为3或4。

进一步，提取目标图像或被比图像的神经网络特征值的方法包括以下步骤：

选取三级神经网络；

设置d像素点×d像素点的取值窗口；

利用取值窗口在图像中多次随机取d×d个像素点；用取出的像素点依次带入神经网络的输入层神经元，对神经网络进行训练，直到神经网络输出层神经元与神经网络输入层神经元的值差别小于设定值时，则认为此时神经网络隐藏层的节点为神经网络特征值；

所述神经网络的输入层神经元个数与输出层神经元个数均为d×d，且输入层神经元个数大于隐藏层神经元个数；

d为非零自然数。

进一步，提取目标图像或被比图像的HSV特征值的方法包括以下步骤：

根据图像每个像素点的R、G、B值计算该像素点的H、S、V值；

将图像分为e×e个小块，并分别计算每个小块的颜色直方图，所述颜色直方图中的颜色采用90阶表示，便得到每个小块中90个色阶上分布的像素点数；将e×e个小块90个灰阶上分布的像素点数依次排列最终得到e×e×90维的HSV特征值；

其中e的取值为2或3。

本发明还提供了一种图像相似度的获取***，包括：

GIST特征值提取模块，用于提取目标图像与被比图像的GIST特征值；

LBP特征值提取模块，用于提取目标图像与被比图像的LBP特征值；

HSV特征值提取模块，用于提取目标图像与被比图像的HSV特征值；

神经网络特征值提取模块，用于提取目标图像与被比图像的神经网络特征值；

GIST特征相似度计算模块，用于计算目标图像的GIST特征值与被比图像的GIST特征值的相似度得到GIST特征相似度；

LBP特征相似度计算模块，用于计算目标图像的LBP特征值与被比图像的LBP特征值的相似度得到LBP特征相似度；

HSV特征相似度计算模块，用于计算目标图像的HSV特征值与被比图像的HSV特征值的相似度得到HSV特征相似度；

神经网络特征相似度计算模块，用于计算目标图像的神经网络特征值与被比图像的神经网络特征值的相似度得到神经网络特征相似度；

相似度融合模块，用于根据公式

融合相似度＝GIST特征相似度×a1+LBP特征相似度×a2+HSV特征相似度×a3+神经网络特征相似度×a4

计算目标图像与被比图像的融合相似度；

其中0.1≤a1≤0.5，0.1≤a2≤0.4，0.1≤a3≤0.4，0.1≤a4≤0.5，且a1+a2+a3+a4＝1。

GIST特征值提取模块进一步包括：

GABOR核确定模块，用于选择5个尺度与8个方向的GABOR核；

卷积模块，用于将图像与上述40个GABOR核依次做卷积得到40个处理后的图像；

GIST特征值计算模块，用于将每个处理后的图像分为b×b个小块，并计算每个小块的灰度均值，得到40×b×b个灰度均值，40×b×b个灰度均值组成的向量即为40×b×b维的GIST特征值；

其中b的取值为3或4。

LBP特征值提取模块进一步包括：

计算窗口设置模块，用于设置3像素点×3像素点的计算窗口；

LBP处理模块，用于将计算窗口加到图像上，比较计算窗口的周围点像素值是否大于中心点像素值，若大于将该周围点的像素点设为1，否则设为0，将8个周围点的像素值依次排列得到一个8位无符号的二进制数，将这个无符号二进制数作为中心点的新像素值；利用计算窗口遍历整个图像，得到图像中每个非边缘像素点的新像素值，并将各边缘像素点的新像素值设为某值，即得到经过LBP处理后的图像；

LBP特征值计算模块，用于将经过LBP处理后的图像分为c×c个小块，并分别计算每个小块灰度直方图，所述灰度直方图中的灰度采用64阶表示，便得到每个小块中64个灰阶上分布的像素点数；将c×c个小块64个灰阶上分布的像素点数依次排列最终得到c×c×64维的LBP特征值；

其中c的取值为3或4。

神经网络特征值提取模块进一步包括：

取值模块，用于设置d像素点×d像素点的取值窗口；利用取值窗口在图像中多次随机取d×d个像素点；

神经网络特征值计算模块，用取出的像素点依次带入神经网络的输入层神经元，对神经网络进行训练，直到神经网络输出层神经元与神经网络输入层神经元的值差别小于设定值时，则认为此时神经网络隐藏层的节点为神经网络特征值；

所述神经网络为三级神经网络，且输入层神经元个数与输出层神经元个数均为d×d，且输入层神经元个数大于隐藏层神经元个数；d为非零自然数。

HSV特征值提取模块进一步包括：

HSV转换模块，用于根据图像每个像素点的R、G、B值计算该像素点的H、S、V值；

HSV特征值计算模块，用于将图像分为e×e个小块，并分别计算每个小块的颜色直方图，所述颜色直方图中的颜色采用90阶表示，便得到每个小块中90个色阶上分布的像素点数；将e×e个小块90个灰阶上分布的像素点数依次排列最终得到e×e×90维的HSV特征值；

其中e的取值为2或3。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明对图像特征的提取除了包括GIST特征值、LBP特征值及HSV特征值这些人工提取的特征值外，还包括机器自动提取的神经网络特征值，克服了只有人工提取的特征值时，特征选择没有标准，不同的特征准确度不一样，无法提取到图像本身描述的特征值的缺点。

本发明还提供了一种相似度融合算法，将多个特征值按照一定的权重进行融合，与原有的图像搜索方法相比，两者在召回率相同的情况下，本发明方法的准确率比其他搜索方法的准确率高5-10％。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明提供了一种图像相似度的获取方法，包括以下步骤：

步骤1：分别提取目标图像的GIST特征值、LBP特征值、HSV特征值与神经网络特征值；分别提取被比图像的GIST特征值、LBP特征值、HSV特征值与神经网络特征值；

步骤2：计算目标图像的GIST特征值与被比图像的GIST特征值的相似度得到GIST特征相似度；计算目标图像的LBP特征值与被比图像的LBP特征值的相似度得到LBP特征相似度；计算目标图像的HSV特征值与被比图像的HSV特征值的相似度得到HSV特征相似度；计算目标图像的神经网络特征值与被比图像的神经网络特征值的相似度得到神经网络特征相似度；

步骤3：按照公式：

融合相似度＝GIST特征相似度×a1+LBP特征相似度×a2+HSV特征相似度×a3+神经网络特征相似度×a4

计算目标图像与被比图像的融合相似度；

其中0.1≤a1≤0.5，0.1≤a2≤0.4，0.1≤a3≤0.4，0.1≤a4≤0.5，且a1+a2+a3+a4＝1；优选的，a1＝a4＝0.3；a2＝a3＝0.2。

GIST特征是一种生物启发式的特征，本身模拟生物视觉***。GIST特征是通过多尺度多方向GABOR滤波器组对图像滤波后得到的形状信息。GABOR滤波器组在图像处理中使用广泛，主要目的是提取图像的不同尺度不同方向的轮廓细节，在本发明中，尺度选择5个，方向选择8个。

在一个具体实施例中，提取目标图像或被比图像的GIST特征值的方法包括以下步骤：

选择5个尺度与8个方向的GABOR核；

将图像与上述40个GABOR核依次做卷积得到40个处理后的图像。考虑到本发明方法主要用于智能手机上，而GABOR滤波器本身是加窗傅立叶变换，为了加快计算速度，在本发明的一个具体实施例中先把图像变换到频域，与GABOR核依次做乘积后，将结果变换回时域得到轮廓信息。

将每个处理后的图像分为b×b个小块，并计算每个小块的灰度均值得到40×b×b个灰度均值，40×b×b个灰度均值组成的向量即为40×b×b维的GIST特征值；

其中b的取值为3或4。

其中，提取目标图像或被比图像的LBP特征值的方法包括以下步骤：

设置3像素点×3像素点的计算窗口；

将计算窗口加到图像上，比较计算窗口的周围点像素值是否大于中心点像素值，若大于将该周围点的像素点设为1，否则设为0，将8个周围点的像素值依次排列得到一个8位无符号的二进制数，将这个无符号二进制数作为中心点的新像素值。取8个周围点的像素值的顺序可以是以计算窗口左上角的点为起点顺时针取，也可以以其他周围点为起点，顺时针或逆时针取，但是不管以什么样的顺序取值组合得到8位二进制数，只要保证遍历整幅图像的每个计算窗口中的取值顺序一致即可。

利用计算窗口遍历整个图像，得到图像中每个非边缘像素点的新像素值，并将各边缘像素点的新像素值设为某值，即得到经过LBP处理后的图像。其中，边缘像素点是指图像四条边上的像素点，非边缘像素点是指图像中除了四条边上的像素点以外的像素点。

将经过LBP处理后的图像分为c×c个小块，并分别计算每个小块灰度直方图，所述灰度直方图中的灰度采用64阶表示，便得到每个小块中64个灰阶上分布的像素点数；将c×c个小块64个灰阶上分布的像素点数依次排列最终得到c×c×64维的LBP特征值；其中c的取值为3或4。本发明没有采用传统的全局直方图而是提取LBP图像的4*4的局部区域直方图，为了加快计算，没有采用256个灰阶，采用64个灰阶。

其中，提取目标图像或被比图像的神经网络特征值的方法包括以下步骤：

本发明采用3级神经网络的autoencoder(自编码神经网络)，自编码神经网络目的是学习一个函数，使输出尽可能的接近输入，网络的隐藏层的神经元就是提取到的特征。Autoencoder的工作原理是输入层的神经元个数与输出层个数相等，隐藏层神经元个数必须少于其他两层。只有这样，自编码神经网络才能压缩冗余信息，提取能表征图像特征的主要信息。

本发明一个实施例中采用的神经网络的结构如下：

输入层神经元个数：8×8，隐藏层神经元个数：25，输出层神经元个数：8×8。采用的训练算法为反向传播算法。

设置8像素点×8像素点的取值窗口。

利用取值窗口在图像中多次随机取8×8个像素点；用取出的像素点带入神经网络的输入层神经元，对神经网络进行训练，直到神经网络输出的结果与输入的值差别小于设定值时，则认为此时神经网络隐藏层的节点为我们需要的特征值。

具体的，当输入值与输出结果的均方差小于0.2时，则认为此时神经网络隐藏层的节点为我们需要的特征值。

其中，提取目标图像或被比图像的HSV特征值的方法包括以下步骤：

根据图像每个像素点的R、G、B值计算该像素点的H、S、V值。

将图像分为e×e个小块，并分别计算每个小块的颜色直方图，所述颜色直方图中的颜色采用90阶表示，便得到每个小块中90个色阶上分布的像素点数；将e×e个小块90个灰阶上分布的像素点数依次排列最终得到e×e×90维的HSV特征值；其中e的取值为2或3。

相似准则选择：有很多相似函数可以判断两个特征向量之间的相似度，比如欧式距离函数、余弦函数、Hausdorff函数等。在本发明中，经过多次测试，最终选择余弦函数作为图像相似判断的标准。

例如将目标图像与被比图像的GIST特征值带入余弦函数，经过计算得到两者的相似度。以此类推，得到其他特征相似度。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种图像相似度的获取方法，其特征在于，包括以下步骤：

步骤1：分别提取目标图像的GIST特征值、LBP特征值、HSV特征值与神经网络特征值；分别提取被比图像的GIST特征值、LBP特征值、HSV特征值与神经网络特征值；

步骤2：计算目标图像的GIST特征值与被比图像的GIST特征值的相似度得到GIST特征相似度；计算目标图像的LBP特征值与被比图像的LBP特征值的相似度得到LBP特征相似度；计算目标图像的HSV特征值与被比图像的HSV特征值的相似度得到HSV特征相似度；计算目标图像的神经网络特征值与被比图像的神经网络特征值的相似度得到神经网络特征相似度；

步骤3：按照公式：

融合相似度＝GIST特征相似度×a1+LBP特征相似度×a2+HSV特征相似度×a3+神经网络特征相似度×a4

计算目标图像与被比图像的融合相似度；

其中0.1≤a1≤0.5，0.1≤a2≤0.4，0.1≤a3≤0.4，0.1≤a4≤0.5，且a1+a2+a3+a4＝1。

2.根据权利要求1所述的一种图像相似度的获取方法，其特征在于，提取目标图像或被比图像的GIST特征值的方法包括以下步骤：

选择5个尺度与8个方向的GABOR核；

将图像与上述40个GABOR核依次做卷积得到40个处理后的图像；

将每个处理后的图像分为b×b个小块，并计算每个小块的灰度均值，得到40×b×b个灰度均值，40×b×b个灰度均值组成的向量即为40×b×b维的GIST特征值；

其中b的取值为3或4。

3.根据权利要求1所述的一种图像相似度的获取方法，其特征在于，提取目标图像或被比图像的LBP特征值的方法包括以下步骤：

设置3像素点×3像素点的计算窗口；

将计算窗口加到图像上，比较计算窗口的周围点像素值是否大于中心点像素值，若大于将该周围点的像素点设为1，否则设为0，将8个周围点的像素值依次排列得到一个8位无符号的二进制数，将这个无符号二进制数作为中心点的新像素值；

利用计算窗口遍历整个图像，得到图像中每个非边缘像素点的新像素值，并将各边缘像素点的新像素值设为某值，即得到经过LBP处理后的图像；

将经过LBP处理后的图像分为c×c个小块，并分别计算每个小块灰度直方图，所述灰度直方图中的灰度采用64阶表示，便得到每个小块中64个灰阶上分布的像素点数；将c×c个小块64个灰阶上分布的像素点数依次排列最终得到c×c×64维的LBP特征值；

其中c的取值为3或4。

4.根据权利要求1所述的一种图像相似度的获取方法，其特征在于，提取目标图像或被比图像的神经网络特征值的方法包括以下步骤：

选取三级神经网络；

设置d像素点×d像素点的取值窗口；

利用取值窗口在图像中多次随机取d×d个像素点；用取出的像素点依次带入神经网络的输入层神经元，对神经网络进行训练，直到神经网络输出层神经元与神经网络输入层神经元的值差别小于设定值时，则认为此时神经网络隐藏层的节点为神经网络特征值；

所述神经网络的输入层神经元个数与输出层神经元个数均为d×d，且输入层神经元个数大于隐藏层神经元个数；

d为非零自然数。

5.根据权利要求1所述的一种图像相似度的获取方法，其特征在于，提取目标图像或被比图像的HSV特征值的方法包括以下步骤：

根据图像每个像素点的R、G、B值计算该像素点的H、S、V值；

将图像分为e×e个小块，并分别计算每个小块的颜色直方图，所述颜色直方图中的颜色采用90阶表示，便得到每个小块中90个色阶上分布的像素点数；将e×e个小块90个灰阶上分布的像素点数依次排列最终得到e×e×90维的HSV特征值；

其中e的取值为2或3。

6.一种图像相似度的获取***，其特征在于，包括：

GIST特征值提取模块，用于提取目标图像与被比图像的GIST特征值；

LBP特征值提取模块，用于提取目标图像与被比图像的LBP特征值；

HSV特征值提取模块，用于提取目标图像与被比图像的HSV特征值；

神经网络特征值提取模块，用于提取目标图像与被比图像的神经网络特征值；

GIST特征相似度计算模块，用于计算目标图像的GIST特征值与被比图像的GIST特征值的相似度得到GIST特征相似度；

LBP特征相似度计算模块，用于计算目标图像的LBP特征值与被比图像的LBP特征值的相似度得到LBP特征相似度；

HSV特征相似度计算模块，用于计算目标图像的HSV特征值与被比图像的HSV特征值的相似度得到HSV特征相似度；

神经网络特征相似度计算模块，用于计算目标图像的神经网络特征值与被比图像的神经网络特征值的相似度得到神经网络特征相似度；

相似度融合模块，用于根据公式

融合相似度＝GIST特征相似度×a1+LBP特征相似度×a2+HSV特征相似度×a3+神经网络特征相似度×a4

计算目标图像与被比图像的融合相似度；

其中0.1≤a1≤0.5，0.1≤a2≤0.4，0.1≤a3≤0.4，0.1≤a4≤0.5，且a1+a2+a3+a4＝1。

7.根据权利要求6所述的一种图像相似度的获取***，其特征在于，GIST特征值提取模块进一步包括：

GABOR核确定模块，用于选择5个尺度与8个方向的GABOR核；

卷积模块，用于将图像与上述40个GABOR核依次做卷积得到40个处理后的图像；

GIST特征值计算模块，用于将每个处理后的图像分为b×b个小块，并计算每个小块的灰度均值，得到40×b×b个灰度均值，40×b×b个灰度均值组成的向量即为40×b×b维的GIST特征值；

其中b的取值为3或4。

8.根据权利要求6所述的一种图像相似度的获取***，其特征在于，LBP特征值提取模块进一步包括：

计算窗口设置模块，用于设置3像素点×3像素点的计算窗口；

LBP处理模块，用于将计算窗口加到图像上，比较计算窗口的周围点像素值是否大于中心点像素值，若大于将该周围点的像素点设为1，否则设为0，将8个周围点的像素值依次排列得到一个8位无符号的二进制数，将这个无符号二进制数作为中心点的新像素值；利用计算窗口遍历整个图像，得到图像中每个非边缘像素点的新像素值，并将各边缘像素点的新像素值设为某值，即得到经过LBP处理后的图像；

LBP特征值计算模块，用于将经过LBP处理后的图像分为c×c个小块，并分别计算每个小块灰度直方图，所述灰度直方图中的灰度采用64阶表示，便得到每个小块中64个灰阶上分布的像素点数；将c×c个小块64个灰阶上分布的像素点数依次排列最终得到c×c×64维的LBP特征值；

其中c的取值为3或4。

9.根据权利要求6所述的一种图像相似度的获取***，其特征在于，神经网络特征值提取模块进一步包括：

取值模块，用于设置d像素点×d像素点的取值窗口；利用取值窗口在图像中多次随机取d×d个像素点；

神经网络特征值计算模块，用取出的像素点依次带入神经网络的输入层神经元，对神经网络进行训练，直到神经网络输出层神经元与神经网络输入层神经元的值差别小于设定值时，则认为此时神经网络隐藏层的节点为神经网络特征值；

所述神经网络为三级神经网络，且输入层神经元个数与输出层神经元个数均为d×d，且输入层神经元个数大于隐藏层神经元个数；

d为非零自然数。

10.根据权利要求6所述的一种图像相似度的获取***，其特征在于，HSV特征值提取模块进一步包括：

HSV转换模块，用于根据图像每个像素点的R、G、B值计算该像素点的H、S、V值；

HSV特征值计算模块，用于将图像分为e×e个小块，并分别计算每个小块的颜色直方图，所述颜色直方图中的颜色采用90阶表示，便得到每个小块中90个色阶上分布的像素点数；将e×e个小块90个灰阶上分布的像素点数依次排列最终得到e×e×90维的HSV特征值；

其中e的取值为2或3。