CN105469376B - 确定图片相似度的方法和装置 - Google Patents
确定图片相似度的方法和装置 Download PDFInfo
- Publication number
- CN105469376B CN105469376B CN201410393684.6A CN201410393684A CN105469376B CN 105469376 B CN105469376 B CN 105469376B CN 201410393684 A CN201410393684 A CN 201410393684A CN 105469376 B CN105469376 B CN 105469376B
- Authority
- CN
- China
- Prior art keywords
- picture
- feature vector
- similarity
- layer
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种确定图片相似度的方法和装置，属于通信领域。所述方法包括：使用训练数据训练神经网络模型得到图片特征抽取模型；将第一图片和第二图片输入至该图片特征抽取模型，得到输出神经元作为特征的各层上第一图片的特征向量和第二图片的特征向量；对所述各层分别计算第一图片的特征向量和第二图片的特征向量之间的相似度；根据所述各层上第一图片的特征向量和第二图片的特征向量之间的相似度，计算得到第一图片和第二图片的相似度。所述装置包括：训练模块、特征提取模块、第一计算模块和第二计算模块。本发明基于图片特征抽取模型实现了特征的自动抽取，无需依赖手工，极大地节省了人力和时间，提高了确定相似度的效率。
Description
技术领域
本发明涉及通信领域，特别涉及一种确定图片相似度的方法和装置。
背景技术
随着互联网技术的发展，效果广告的应用越来越多。效果广告是指广告主只需要为可衡量的结果付费的广告。效果广告普遍应用于电商网站、社交平台、或移动应用等。效果广告的内容绝大多数为图片，基于图片的特征抽取和相似度计算已经成为实现业务逻辑必不可少的技术手段。
目前，常见的图片相似度计算方法如下：首先对图片做特征抽取，如GIST特征；然后对某些局部特征做抽象化，如聚类；再将这些特征泛化为特征向量；最后利用相似度公式如欧氏距离公式计算得到图片相似度。
但是，上述方法中特征抽取都是基于手工实现，需要人员具备较强的专业知识，对人员的要求较高，而且整个过程需要耗费大量时间，效率较低。
发明内容
有鉴于此，本发明实施例提供了一种确定图片相似度的方法和装置，以实现自动提取特征，提高确定相似度的效率。所述技术方案如下：
一方面，提供了一种确定图片相似度的方法，所述方法包括：
使用训练数据训练神经网络模型得到图片特征抽取模型；
将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；
对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；
根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度。
另一方面，提供了一种确定图片相似度的装置，所述装置包括：
训练模块，用于使用训练数据训练神经网络模型得到图片特征抽取模型；
特征提取模块，用于将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；
第一计算模块，用于对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；
第二计算模块，用于根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度。
本发明实施例提供的技术方案带来的有益效果是：使用训练数据训练神经网络模型得到图片特征抽取模型；将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度；其中，基于图片特征抽取模型实现了特征的自动抽取，无需依赖手工，极大地节省了人力和时间，提高了确定相似度的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的确定图片相似度的方法流程图；
图2是本发明另一实施例提供的确定图片相似度的方法流程图；
图3是本发明另一实施例提供的深度卷积神经网络的结构示意图；
图4是本发明另一实施例提供的卷积层的可视化特征示意图；
图5(a)～图5(d)是本发明另一实施例提供的图片相似度的计算结果示意图；
图6(a)～图6(c)是本发明另一实施例提供的图片分类的示意图；
图7是本发明另一实施例提供的确定图片相似度的装置结构图；
图8是本发明另一实施例提供的确定图片相似度的装置结构图；
图9是本发明另一实施例提供的服务器结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
参见图1，本发明一实施例提供了一种确定图片相似度的方法，包括：
101：使用训练数据训练神经网络模型得到图片特征抽取模型。
神经网络(Neural Networks，NN)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络***，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习***。神经网络模型具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。
本实施例中，所述训练数据可以是图片，图片的类型不限，如可以是电商行业的图片或者ImageNet数据库中的图片等等。
102：将第一图片和第二图片输入至该图片特征抽取模型，得到输出神经元作为特征的各层上该第一图片的特征向量和该第二图片的特征向量。
其中，第一图片和第二图片为任意两个图片，通过本实施例提供的方法来确定第一图片和第二图片的相似度。
103：对该各层分别计算该第一图片的特征向量和该第二图片的特征向量之间的相似度。
本实施例中，所述输出神经元作为特征的各层通常由多层，则其中的每一层都可以得到第一图片的特征向量，也可以得到第二图片的特征向量。
例如，特征抽取模型中输出神经元作为特征的共有3层，A层、B层和C层，则将第一图片输入该模型后可以得到第一图片在A层输出的特征向量Va1、在B层输出的特征向量Vb1和在C层输出的特征向量Vc1；将第二图片输入该模型后可以得到第二图片在A层输出的特征向量Va2、在B层输出的特征向量Vb2和在C层输出的特征向量Vc2。在计算特征向量的相似度时，可以分别计算Va1和Va2的相似度、Vb1和Vb2的相似度、以及Vc1和Vc2的相似度。
104：根据该各层上该第一图片的特征向量和该第二图片的特征向量之间的相似度，计算得到该第一图片和第二图片的相似度。
这里可以采用回归算法来计算两个图片的相似度，各层上计算得到的特征向量之间的相似度可以取不同的权重，通过调整权重值可以使图片相似度的计算结果更准确，提高计算精度。
本实施例中，图片的相似度表征为[0,1]之间的浮点数，数值越大表示越相似，数值越小表示越不相似。
本实施例中，可选的，所述使用训练数据训练神经网络模型得到图片特征抽取模型，可以包括：
使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型；或，
使用训练数据训练深度自动编码器，得到图片特征抽取模型。
进一步地，所述使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型，可以包括：
选取深度卷积神经网络模型，所述深度卷积神经网络模型包括M层卷积层和N层全连接层；
在M+N层中选取指定的K层做特征抽取，以该K层的神经元输出作为特征向量；
使用训练数据基于反向传播算法训练该深度卷积神经网络模型，得到具有K个特征向量的图片特征抽取模型。
本实施例中，优选地，所述K层均为全连接层，或者包括卷积层和全连接层。
本实施例中，可选的，所述对该各层分别计算该第一图片的特征向量和该第二图片的特征向量之间的相似度，可以包括：
使用余弦算法、Jaccard算法或Pearson算法，对该各层分别计算该第一图片的特征向量和该第二图片的特征向量之间的相似度。
本实施例中，可选的，所述根据该各层上该第一图片的特征向量和该第二图片的特征向量之间的相似度，计算得到该第一图片和第二图片的相似度，可以包括：
使用线性回归算法或逻辑回归算法，根据该各层上该第一图片的特征向量和该第二图片的特征向量之间的相似度，计算得到该第一图片和第二图片的相似度。
本实施例提供的上述方法，使用训练数据训练神经网络模型得到图片特征抽取模型；将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度；其中，基于图片特征抽取模型实现了特征的自动抽取，无需依赖手工，极大地节省了人力和时间，提高了确定相似度的效率。
参见图2，本发明另一实施例提供了一种确定图片相似度的方法，该方法包括：
201：使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型。
其中，深度卷积神经网络(deep convolutional neural network)是一种人工神经网络，也是一种深度的有监督的机器学习模型，深度学习的代表方法之一。深度学习(deep learning)是机器学习的一个分支，它试图学习出对特征或概念的多层表达，通过组合低层特征形成更加抽象的高层特征，以发现数据的分布式特征表示。
反向传播算法(Back Propagation，BP)是一种监督学习算法，常被用来训练多层感知机和前向神经网络。本实施例中，使用反向传播算法来训练深度卷积神经网络模型。反向传播算法主要包括两个环节：激励传播和权重更新，通过这两个环节反复进行循环迭代，直到该模型对输入的响应达到预定的目标范围为止。
使用深度卷积神经网络的优势在于，它可以直接使用图片作为网络的输入，避免了人工抽取特征时一系列复杂的预处理过程，将显式特征抽取的方式转化为隐式的特征抽取，极大地节省了时间，提高了特征抽取的效率。另外，这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。
另外，本步骤还可以由以下步骤来替换：
使用训练数据训练深度自动编码器，得到图片特征抽取模型。
其中，深度自动编码器(deep auto encoder)是一种无监督的深度学习方法，也属于神经网络，它通过尽可能复现输入信号来训练模型，可以用来做特征抽取。
202：将第一图片和第二图片输入至该图片特征抽取模型，得到输出神经元作为特征的各层上该第一图片的特征向量和该第二图片的特征向量。
203：使用余弦算法、Jaccard杰卡德算法或Pearson皮尔逊算法，对该各层分别计算该第一图片的特征向量和该第二图片的特征向量之间的相似度。
其中，余弦算法(cosine similarity)是通过测量两个向量内积空间夹角的余弦值来度量它们之间的相似性。Jaccard算法和Pearson算法也都是计算相似度的算法，此处不做过多说明。下面以余弦算法为例进行说明，该算法可以用如下公式来表示：
simlayern＝cosine(fvni，fvnj)；
其中，i和j表示任意两个不同的图片，n表示深度卷积神经网络中的层数，fvni表示图片i在第n层上抽取的特征向量，fvnj表示图片j在第n层上抽取的特征向量，simlayern表示第n层上该两个图片的特征向量之间的相似度。
204：使用线性回归算法或逻辑回归算法，根据该各层上该第一图片的特征向量和该第二图片的特征向量之间的相似度，计算得到该第一图片和第二图片的相似度。
其中，线性回归算法和逻辑回归算法均是用于回归计算的算法，此处不赘述，当然，在其它的实施方式下，也可以采用其它的回归算法，本实施例对此不做具体限定。下面以线性回归算法为例进行具体说明，该线性回归算法可以用如下公式来表示：
其中，m表示在深度卷积神经网络中指定的做特征抽取的层数，k为m层中的任一层，k＝1，...，m，simlayerk为k层上计算出的两个图片的特征向量之间的相似度，Wk为与该simlayerk对应的权重，similarity表示该两个图片之间的相似度，属于[0，1]区间，值越大表示越相似，相同图片的similarity为1。所述权重可以根据测试数据的测试结果来设置，本实施例对此不做具体限定。
上述方法中，步骤201可以具体包括：
选取深度卷积神经网络模型，所述深度卷积神经网络模型包括M层卷积层和N层全连接层；在M+N层中选取指定的K层做特征抽取，以该K层的神经元输出作为特征向量；使用训练数据基于反向传播算法训练该深度卷积神经网络模型，得到具有K个特征向量的图片特征抽取模型。
优选地，所述K层均为全连接层，或者包括卷积层和全连接层。本实施例中，卷积层包括但不限于：卷积、Rectified Linear Units(神经网络激励函数)、max-pooling(下抽样方法)或normalization(标准化)等等，本实施例对此不做具体限定。为了提高相似度的计算精度，可以选择所述K层包括卷积层和全连接层。
例如，参见图3，为本发明一实施例提供的深度卷积神经网络的结构示意图。其中，左端为输入端，右端为输出端，从左至右依次包括五层卷积层和三层全连接层。输入端为原始图片，输出端为图片的特征向量。对于每一层网络，可以预先设置具体的网络参数，以便根据设置的参数训练模型。本实施例对设置的参数不做具体限定，以表1为例进行说明。
表1
其中，输入的图片被缩放成227*227像素大小，分RGB三个颜色维度输入。第一层至第五层L1～L5是卷积层，第六层至第八层L6～L8是全连接层。以第一层为例，卷积滤波器的大小是11*11，卷积步幅为4，本层共有96个卷积滤波器，本层的输出是96个55*55大小的图片。在第一层卷积滤波后，还执行ReLUs操作和Max-Pooling操作。上述三个全连接层相当于在五层卷积层的基础上再加上的三层全连接神经网络分类器。第六层和第七层的神经元个数均为4096个，第八层的神经元个数为1000个，相当于训练目标的1000个图片类别。
在上述结构中，指定抽取特征的层数不限，如可以为第六层至第八层，或者第三层至第七层等等。优选地，可以选取第五层至第八层做特征抽取，即包括一个卷积层和三个全连接层。将这四层的特征输出分别记为四个向量，这四个特征向量的维度分别为43264(＝256*13*13)，4096，4096，1000。
本实施例中，卷积层属于低层，全连接层属于高层。低层的特征能够表征图片的细节特征，如纹理、位移、边缘等。例如，参见图4，针对图中的原始图片，按照上述网络结构可以得到如图所示的卷积层第一层L1、第二层L2和第三层L3表征的图片特征，可以看出这些特征反映的是图片的细节特征。高层的特征能够表征图片的语义特征，如场景、类别等。因此，当指定K层既包括卷积层又包括全连接层时，抽取的特征更准确，计算得到的图片相似度不仅可以捕捉图片的细节差异，更重要的是可以从语义上理解图片，因此，图片相似度的计算更精确，准确率能够达到显著的提升。
为了更好地说明本实施例提供的上述方法计算相似度的准确性。下面给出具体的实例证明。参见图5，为本发明另一实施例提供的图片相似度计算结果示意图。其中，图5(a)的两个图片中两个人物一样，但是站姿和文字批注不一样，计算出来的图片相似度similarity＝0.641919076443，可见相似度依然很高。图5(b)的两个图片中从图片像素上看相似度不高，但从图片理解角度上看，两者都是女鞋，应该具有一定相似度，计算的结果是similarity＝0.492526054382。图5(c)的两个图片中人物的绘制以及位置都不一样，但由于是同一个人物，所以有一定相似度，计算的结果是similarity＝0.509093165398。图5(d)的两个图片中都是一个女生的半身头像，但一个是着重游戏，另一个是着重衣服，所以相似度比较低，计算的结果是similarity＝0.216924488544。从这几个简单的示例可以看出，本发明提供的方法在抓住图片细节的同时，更能够理解图片，所以计算出来的图片相似度更为合理。
另外，值得一提的是，本实施例中，训练深度卷积神经网络模型可以得到图片分类模型，如果在该训练的过程中指定了抽取特征的层，则可以在得到图片分类模型的同时也训练得到图片特征抽取模型。因此，在训练中同时产生了图片分类模型和特征抽取模型。其中，所述图片分类模型可以用来对图片进行分类，且具有良好的精度。
例如，从拍拍网获取到大量的电商行业的图片分类训练数据，从ImageNet获取到全行业的1000个类别的图片分类训练数据。利用这些分类训练数据，基于开源训练平台Caffe分别训练了深度卷积神经网络模型，得到了Paipai电商行业图片分类模型和ImageNet图片分类模型。用这两个模型分别对上述获取的图片进行测试，图6所示为其中的三个图片的测试结果。图6(a)和图6(b)是拍拍电商行业图片分类器的示例，图6(c)是ImageNet图片分类器的示例。每个图片下方有5个分类名称，按照排名先后为Top1～Top5。每个分类右方的数据为计算出来的该图片属于该分类的概率。如图6(a)中的图片属于第一个分类排名“精品男装”的概率为0.910874903202。从图中三个图片分属5个类别的概率可以看出，Paipai电商行业图片分类器分类的结果属于Top1分类的准确率可达50％，属于Top1～Top5分类的准确率可达85％；ImageNet图片分类器分类的结果属于Top1分类的准确率可达40％，属于Top1～Top5分类的准确率可达80％。
本实施例提供的上述方法，使用训练数据训练神经网络模型得到图片特征抽取模型；将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度；其中，基于图片特征抽取模型实现了特征的自动抽取，无需依赖手工，极大地节省了人力和时间，提高了确定相似度的效率。
参见图7，本发明另一实施例提供了一种确定图片相似度的装置，包括：
训练模块701，用于使用训练数据训练神经网络模型得到图片特征抽取模型；
特征提取模块702，用于将第一图片和第二图片输入至该图片特征抽取模型，得到输出神经元作为特征的各层上该第一图片的特征向量和该第二图片的特征向量；
第一计算模块703，用于对该各层分别计算该第一图片的特征向量和该第二图片的特征向量之间的相似度；
第二计算模块704，用于根据该各层上该第一图片的特征向量和该第二图片的特征向量之间的相似度，计算得到该第一图片和第二图片的相似度。
参见图8，本实施例中，可选的，所述训练模块701可以包括：
第一训练单元701a，用于使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型；或，
第二训练单元701b，用于使用训练数据训练深度自动编码器，得到图片特征抽取模型。
本实施例中，可选的，所述第一训练单元可以用于：
选取深度卷积神经网络模型，该深度卷积神经网络模型包括M层卷积层和N层全连接层；
在M+N层中选取指定的K层做特征抽取，以该K层的神经元输出作为特征向量；
使用训练数据基于反向传播算法训练该深度卷积神经网络模型，得到具有K个特征向量的图片特征抽取模型。
优选地，所述K层均为全连接层，或者包括卷积层和全连接层。
本实施例中，可选的，所述第一计算模块703可以包括：
第一计算单元，用于使用余弦算法、Jaccard算法或Pearson算法，对该各层分别计算该第一图片的特征向量和该第二图片的特征向量之间的相似度。
本实施例中，可选的，所述第二计算模块704可以包括：
第二计算单元，用于使用线性回归算法或逻辑回归算法，根据该各层上该第一图片的特征向量和该第二图片的特征向量之间的相似度，计算得到该第一图片和第二图片的相似度。
本实施例提供的上述装置可以执行上述任一方法实施例提供的方法，过程详见方法实施例中的描述，此处不赘述。
本实施例提供的上述装置，使用训练数据训练神经网络模型得到图片特征抽取模型；将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度；其中，基于图片特征抽取模型实现了特征的自动抽取，无需依赖手工，极大地节省了人力和时间，提高了确定相似度的效率。
本发明另一实施例提供了一种服务器，该服务器可以用于执行上述实施例中提供的确定图片相似度的方法。参见图9，该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，和/或，一个或一个以上操作***1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
具体在本实施例中，经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
使用训练数据训练神经网络模型得到图片特征抽取模型；
将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；
对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；
根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度。
其中，所述使用训练数据训练神经网络模型得到图片特征抽取模型，包括：
使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型；或，
使用训练数据训练深度自动编码器，得到图片特征抽取模型。
其中，所述使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型，包括：
选取深度卷积神经网络模型，所述深度卷积神经网络模型包括M层卷积层和N层全连接层；
在M+N层中选取指定的K层做特征抽取，以所述K层的神经元输出作为特征向量；
使用训练数据基于反向传播算法训练所述深度卷积神经网络模型，得到具有K个特征向量的图片特征抽取模型。
其中，所述K层均为全连接层，或者包括卷积层和全连接层。
其中，所述对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，包括：
使用余弦算法、杰卡德算法或皮尔逊算法，对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度。
其中，所述根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度，包括：
使用线性回归算法或逻辑回归算法，根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度。
本实施例提供的上述服务器，使用训练数据训练神经网络模型得到图片特征抽取模型；将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度；其中，基于图片特征抽取模型实现了特征的自动抽取，无需依赖手工，极大地节省了人力和时间，提高了确定相似度的效率。
本发明另一实施例提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备中时，可以使得该设备执行如下步骤的指令(instructions)：
使用训练数据训练神经网络模型得到图片特征抽取模型；
将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；
对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；
根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度。
其中，所述使用训练数据训练神经网络模型得到图片特征抽取模型，包括：
使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型；或，
使用训练数据训练深度自动编码器，得到图片特征抽取模型。
其中，所述使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型，包括：
选取深度卷积神经网络模型，所述深度卷积神经网络模型包括M层卷积层和N层全连接层；
在M+N层中选取指定的K层做特征抽取，以所述K层的神经元输出作为特征向量；
使用训练数据基于反向传播算法训练所述深度卷积神经网络模型，得到具有K个特征向量的图片特征抽取模型。
其中，所述K层均为全连接层，或者包括卷积层和全连接层。
其中，所述对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，包括：
使用余弦算法、杰卡德算法或皮尔逊算法，对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度。
其中，所述根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度，包括：
使用线性回归算法或逻辑回归算法，根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度。
本实施例提供的上述非易失性可读存储介质，使用训练数据训练神经网络模型得到图片特征抽取模型；将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度；其中，基于图片特征抽取模型实现了特征的自动抽取，无需依赖手工，极大地节省了人力和时间，提高了确定相似度的效率。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种非易失性可读存储介质中，所述非易失性可读存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (13)
1.一种确定图片相似度的方法，其特征在于，所述方法包括：
使用训练数据训练神经网络模型得到图片特征抽取模型；
将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；
对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；
根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，采用回归算法计算所述第一图片和所述第二图片的相似度，其中，所述各层上计算得到的所述特征向量之间的相似度对应取不同的权重。
2.根据权利要求1所述的方法，其特征在于，所述使用训练数据训练神经网络模型得到图片特征抽取模型，包括：
使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型；或，
使用训练数据训练深度自动编码器，得到图片特征抽取模型。
3.根据权利要求2所述的方法，其特征在于，所述使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型，包括：
选取深度卷积神经网络模型，所述深度卷积神经网络模型包括M层卷积层和N层全连接层；
在M+N层中选取指定的K层做特征抽取，以所述K层的神经元输出作为特征向量；
使用训练数据基于反向传播算法训练所述深度卷积神经网络模型，得到具有K个特征向量的图片特征抽取模型。
4.根据权利要求3所述的方法，其特征在于，所述K层均为全连接层，或者包括卷积层和全连接层。
5.根据权利要求1所述的方法，其特征在于，所述对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，包括：
使用余弦算法、杰卡德算法或皮尔逊算法，对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度。
6.根据权利要求1所述的方法，其特征在于，所述根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度，包括：
使用线性回归算法或逻辑回归算法，根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度。
7.一种确定图片相似度的装置，其特征在于，所述装置包括：
训练模块，用于使用训练数据训练神经网络模型得到图片特征抽取模型；
特征提取模块，用于将第一图片和第二图片输入至所述图片特征抽取模型，得到输出神经元作为特征的各层上所述第一图片的特征向量和所述第二图片的特征向量；
第一计算模块，用于对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度；
用于根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，采用回归算法计算所述第一图片和所述第二图片的相似度，其中，所述各层上计算得到的所述特征向量之间的相似度对应取不同的权重的模块。
8.根据权利要求7所述的装置，其特征在于，所述训练模块包括：
第一训练单元，用于使用训练数据基于反向传播算法训练深度卷积神经网络模型，得到图片特征抽取模型；或，
第二训练单元，用于使用训练数据训练深度自动编码器，得到图片特征抽取模型。
9.根据权利要求8所述的装置，其特征在于，所述第一训练单元用于：
选取深度卷积神经网络模型，所述深度卷积神经网络模型包括M层卷积层和N层全连接层；
在M+N层中选取指定的K层做特征抽取，以所述K层的神经元输出作为特征向量；
使用训练数据基于反向传播算法训练所述深度卷积神经网络模型，得到具有K个特征向量的图片特征抽取模型。
10.根据权利要求9所述的装置，其特征在于，所述K层均为全连接层，或者包括卷积层和全连接层。
11.根据权利要求7所述的装置，其特征在于，所述第一计算模块包括：
第一计算单元，用于使用余弦算法、杰卡德算法或皮尔逊算法，对所述各层分别计算所述第一图片的特征向量和所述第二图片的特征向量之间的相似度。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括第二计算模块，所述第二计算模块包括：
第二计算单元，用于使用线性回归算法或逻辑回归算法，根据所述各层上所述第一图片的特征向量和所述第二图片的特征向量之间的相似度，计算得到所述第一图片和第二图片的相似度。
13.一种计算机可读存储介质，所述存储介质存储有一个或一个以上的指令，所述一个或者一个以上的指令被配置由处理器执行如权利要求1至6任一所述的确定图片相似度的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410393684.6A CN105469376B (zh) | 2014-08-12 | 2014-08-12 | 确定图片相似度的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410393684.6A CN105469376B (zh) | 2014-08-12 | 2014-08-12 | 确定图片相似度的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105469376A CN105469376A (zh) | 2016-04-06 |
| CN105469376B true CN105469376B (zh) | 2019-10-25 |
Family
ID=55607037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410393684.6A Active CN105469376B (zh) | 2014-08-12 | 2014-08-12 | 确定图片相似度的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105469376B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341509A (zh) * | 2017-06-29 | 2017-11-10 | 北京小米移动软件有限公司 | 卷积神经网络的训练方法及装置 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106251292B (zh) * | 2016-08-09 | 2019-04-16 | 央视国际网络无锡有限公司 | 一种图片分辨率提升方法 |
| CN108242046B (zh) * | 2016-12-27 | 2022-02-18 | 阿里巴巴集团控股有限公司 | 图片处理方法及相关设备 |
| CN108509466A (zh) * | 2017-04-14 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 一种信息推荐方法和装置 |
| CN107145910A (zh) * | 2017-05-08 | 2017-09-08 | 京东方科技集团股份有限公司 | 医学影像的表现生成***、其训练方法及表现生成方法 |
| CN107729931A (zh) * | 2017-10-09 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 图片评分方法和装置 |
| CN107801090A (zh) * | 2017-11-03 | 2018-03-13 | 北京奇虎科技有限公司 | 利用音频信息检测异常视频文件的方法、装置及计算设备 |
| CN109389745A (zh) * | 2018-08-29 | 2019-02-26 | 广州伊思高科技有限公司 | 一种基于图像处理的智能售货装置及方法 |
| CN111291765A (zh) * | 2018-12-07 | 2020-06-16 | 北京京东尚科信息技术有限公司 | 用于确定相似图片的方法和装置 |
| CN111381573B (zh) * | 2018-12-27 | 2021-07-09 | 北京安控科技股份有限公司 | 一种工业控制***安全性的预测方法和*** |
| CN111061586B (zh) * | 2019-12-05 | 2023-09-19 | 深圳先进技术研究院 | 一种容器云平台异常检测方法、***及电子设备 |
| CN113760415A (zh) * | 2020-06-04 | 2021-12-07 | Oppo广东移动通信有限公司 | 表盘生成方法、装置、电子设备和计算机可读存储介质 |
| CN112036501A (zh) * | 2020-09-04 | 2020-12-04 | 深圳壹账通智能科技有限公司 | 基于卷积神经网络的图片的相似度检测方法及其相关设备 |
| CN114816961A (zh) * | 2022-05-16 | 2022-07-29 | 宝德计算机***股份有限公司 | 一种服务器压力测试方法、装置及计算机存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706964A (zh) * | 2009-08-27 | 2010-05-12 | 北京交通大学 | 一种基于图像导数结构的颜色恒常性计算方法及*** |
| CN103020645A (zh) * | 2013-01-06 | 2013-04-03 | 深圳市彩讯科技有限公司 | 一种垃圾图片识别方法和*** |
| CN103366180A (zh) * | 2013-06-14 | 2013-10-23 | 山东大学 | 一种基于自动特征学习的细胞图像分割方法 |
-
2014
- 2014-08-12 CN CN201410393684.6A patent/CN105469376B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706964A (zh) * | 2009-08-27 | 2010-05-12 | 北京交通大学 | 一种基于图像导数结构的颜色恒常性计算方法及*** |
| CN103020645A (zh) * | 2013-01-06 | 2013-04-03 | 深圳市彩讯科技有限公司 | 一种垃圾图片识别方法和*** |
| CN103366180A (zh) * | 2013-06-14 | 2013-10-23 | 山东大学 | 一种基于自动特征学习的细胞图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于内容图像检索***的研究》;张玲;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20061115;第I138-868页 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341509A (zh) * | 2017-06-29 | 2017-11-10 | 北京小米移动软件有限公司 | 卷积神经网络的训练方法及装置 |
| CN107341509B (zh) * | 2017-06-29 | 2020-12-04 | 北京小米移动软件有限公司 | 卷积神经网络的训练方法、装置及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105469376A (zh) | 2016-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105469376B (zh) | 确定图片相似度的方法和装置 | |
| US10726244B2 (en) | Method and apparatus detecting a target | |
| CN103988232B (zh) | 使用运动流形来改进图像匹配 | |
| Najar et al. | Unsupervised learning of finite full covariance multivariate generalized Gaussian mixture models for human activity recognition | |
| CN107657249A (zh) | 多尺度特征行人重识别的方法、装置、存储介质及处理器 | |
| CN106951825A (zh) | 一种人脸图像质量评估***以及实现方法 | |
| CN108197592B (zh) | 信息获取方法和装置 | |
| CN106326857A (zh) | 基于人脸图像的性别识别方法及装置 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN113558603B (zh) | 一种基于深度学习的多模态认知障碍识别方法 | |
| CN104616316A (zh) | 基于阈值矩阵和特征融合视觉单词的人物行为识别方法 | |
| CN111954250B (zh) | 一种轻量级Wi-Fi行为感知方法和*** | |
| CN104537273B (zh) | 一种溺水模式智能推理***及方法 | |
| CN110082821A (zh) | 一种无标签框微地震信号检测方法及装置 | |
| Yang et al. | Centrality graph convolutional networks for skeleton-based action recognition | |
| CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
| CN104063721A (zh) | 一种基于语义特征自动学习与筛选的人类行为识别方法 | |
| CN111401343B (zh) | 识别图像中人的属性的方法、识别模型的训练方法和装置 | |
| CN107563319A (zh) | 一种基于图像的亲子间人脸相似性度量计算方法 | |
| CN104978569A (zh) | 一种基于稀疏表示的增量人脸识别方法 | |
| CN112233102A (zh) | 图像样本集中噪声的识别方法、装置、设备及存储介质 | |
| Lucio et al. | Simultaneous iris and periocular region detection using coarse annotations | |
| Monigari et al. | Plant leaf disease prediction | |
| Sundar et al. | Classification of Diabetic Retinopathy disease levels by extracting topological features using Graph Neural Networks | |
| Saranya et al. | FBCNN-TSA: An optimal deep learning model for banana ripening stages classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |