CN108171255A - 基于图像识别的图片联想强度评分方法及装置 - Google Patents

Abstract

本发明公开了基于图像识别的图片联想强度评分方法，包括以下步骤：建立物件识别模型；获取待评价图片中所包含的所有的物件的图片，并根据每个物件的图片大小确定待评图片中所包含的所有的主体物件，并对每个主体物件的图片进行特征提取得出对应特征向量；根据每个主体物件的特征向量以及物件识别模型得出每个主体物件的名称；根据每个主体物件的名称以及知识图谱得出主体物件之间存在关联关系的个数，进而根据主体物件的个数以及主体物件之间存在关联关系的个数得出待评价图片的评分。本发明还提供了一种电子设备和存储介质。本发明通过对图片中的主体物件以及关联关系进行识别以及评分，进而得出图片的评分结果，避免了人为对图片评分的差异化。

Description

基于图像识别的图片联想强度评分方法及装置

技术领域

本发明涉及图片评分***，尤其涉及一种基于图像识别的图片联想强度评分方法、电子设备及存储介质。

背景技术

目前，创意图片设计、摄影创作作品越来越多，网络上也涌现出一大批以创意题材图片为素材图片或各种摄像题材为主题的图片分享型网站。然后如何对这些创意图片进行评判，成为一个比较重要的问题，而现有的评价方式一般是人为主观地观察图片，并对图片的形式、表现、效果、观念等几个方面来进行一个综合的打分，对图片进行评级。而这些评价标准都是基于人对上述各方面的相关理论或对图片的有限理解为基础，来对图片进行主观评价，由于每个人掌握的理论和社会经历的不同，评价结果也往往不够全面，会因评判人的不同造成评价结果也各不相同。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供基于图像识别的图片联想强度评分方法，其能够解决现有技术中对于图片的评价因标准不同而使得评价结果存在较大差异的问题。

本发明的目的之二在于提供一种电子设备，其能够解决现有技术中对于图片的评价因标准不同而使得评价结果存在较大差异的问题。

本发明的目的之三在于提供一种计算机可读存储介质，其能够解决现有技术中对于图片的评价因标准不同而使得评价结果存在较大差异的问题。

本发明的目的之一采用如下技术方案实现：

基于图像识别的图片联想强度评分方法，包括以下步骤：

模型建立步骤：建立物件识别模型，所述物件识别模型中存储了每种物件的名称以及特征向量的集合；

主体物件提取步骤：获取待评价图片中所包含的所有的物件的图片，并根据每个物件的图片大小确定待评图片中所包含的所有的主体物件；

特征向量提取步骤：对每个主体物件的图片进行特征提取得出每个主体物件的特征向量；

名称识别步骤：根据每个主体物件的特征向量以及物件识别模型得出每个主体物件的名称；

关系识别步骤：根据每个主体物件的名称以及***中预先存储的知识图谱得出主体物件之间存在关联关系的个数；其中，知识图谱存储了各种主体物件之间的关联关系；

评分步骤：根据待评价图片中的所有的主体物件的个数以及主体物件之间存在关联关系的个数得出待评价图片的评分。

进一步地，还包括预处理步骤：对每个主体物件的图片进行预处理过程，其中预处理过程包括以下方法的一种或多种的组合：图像二值化、去除干扰点、质心对齐方法以及线性插值放大方法。

进一步地，所述模型建立步骤具体包括：首先获取每种物件的多张图片并对每张图片进行特征提取得出每张图片的特征向量；然后通过对每种物件的多张图片的特征向量进行识别训练，进而得出每种物件的多个特征向量的集合，也即是物件识别模型。

进一步地，所述根据每个物件的图片大小确定待评图片中所包含的所有的主体物件时，其具体为当待评价图片中的物件的图片的大小与整个待评价图片大小的比例大于或等于预设值时，则该物件为待评价图片中所包含的一个主体物件。

进一步地，所述预设值为15％。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前所述的基于图像识别的图片联想强度评分方法的步骤。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的基于图像识别的图片联想强度评分方法的步骤。

相比现有技术，本发明的有益效果在于：

本发明通过预先建立每种物件所对应的物件识别模型，然后在对图片进行评价时首先通过图像识别的技术识别得出需要评价的图片中的物件，并结合物件识别模型得出图片中所包含的物件的名称，然后根据***中预先存储的知识图谱来匹配得出物件之间存在关联关系的个数，最后根据图片的物件以及物件之间存在的关联关系得出图片的最终评分结果。由于本发明中对于图片进行评分时，首先是根据图片中所存在的主体物件进行评分，因此不存在像现有技术中由于人所掌握知识的不同以及评分标准的不同而对图片的评分结果存在很大差异性。

附图说明

图1为本发明提供的图片示意图；

图2为本发明提供的基于图像识别的图片联想强度评分方法的流程图；

图3为本发明提供的基于图像识别的图片联想强度评分装置的模块图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例

本发明是将图像识别技术、爬虫技术运用到对图片的识别以及评价中，预先通过使用机器学习来建立各种物件的识别模型，以及通过爬虫技术从互联网中抓取物件与物件之间存在的关联关系而形成知识图谱，同时根据物件来制定评分机制。

在对图片进行评分时，首先对待评价图片进行处理识别得出待评价图片所包含的物件，然后结合物件识别模型识别得出待评价图片中所包含的每个物件的名称，再然后根据每个物件的名称在知识图谱中进行匹配来得到物件之间所存在的关联关系的个数，进而根据待评价图片中所包含的物件的个数以及物件之间存在的关联关系的个数得出待评价图片的评分结果，解决了现有认为主观打分不够综合全面和存在主观性的问题，具有一定的商业应用价值。

在使用时，用户可将待评价图片上传至***中，***自动对待评价图片进行相应的处理并得出对应的评分结果。首先，对于物件识别模型是通过预先收集每种物件所对应的图片进行识别训练得到的。其具体建立过程如下：

首先通过互联网等途径获取同一种物件的多张图片。该图片可以是各种角度、方向、场景下的图片。

然后对每张图片进行预处理并对每张图片进行特征提取得出对应的特征向量。由于每种物件的外形、颜色或者材质等组合特征均不同，因此可对每种物件的每张图片进行特征向量的提取，然后对提取出的特征向量进行识别训练得出该物件所对应的特征向量的集合。另外，在识别训练时，需要指出每种物件的名称。比如对于某一品牌型号的汽车，其由于不同的角度所对应的图片不同，在提取出特征向量时，会得出多个，经过大量的识别训练，最终会得出该品牌型号的汽车所对应的特征向量的集合。在识别训练时指出该汽车的品牌型号。

通过上述建立物件识别模型的方法，可针对各种不同的物件建立对应的物件识别模型。在对图片中的物件进行匹配识别时，就能够得出图片中所包含的物件的名称。

另外，由于每种物件，比如人、植物、动物等其外形、颜色、纹理、形状、结构或材质等均不同，则其所具备的主体特征也不同，因此在建立物件识别模型时，需要针对不同的主体分别建立对应的特征模型。

比如对于不同的动物分别建立对应的特征模型，不同的名人分别建立对应的特征模型，对于不同的物体(如各种型号的汽车、商标等)均建立对应的特征模型。

在建立识别模型时，具体可通过采集每种物件的不同角度、光线下的图片，将物件的每张图片划分为5*5的25个方格区域，计算每个方格区域的点数与物品总点数之比，进而得到25维特征向量，进而得出每种物件所对应的特征向量的集合，即该物件所对应的识别模型。

而对于本***中的知识图谱，其可通过现有的爬虫技术对互联网的百度百科、***的百科以及其他百科知识内容提取其中的每个词条的类别标签以及根据词条之间的关联关系得出各种物件之间的关联关系。其中，词条也即是对应本实施例中的物件。比如，可以是名人、车辆、动物、植物、建筑物等。

对于关联关系来说，比如两个词条之间具有上下位关系、并列关系、包含关系以及其他相互关联的关系等。

也即是：知识图谱包含物件与物件之间具有多个层级关系的标签关系网络图，比如通过对获取的每种物件的词条内容进行预处理、分析、关键词标签提取等，构建包含多个层级关系的标签关系网络图。比如，对于名人：埃隆·马斯克，其是特斯拉公司的CEO，则认为埃隆·马斯克与特斯拉公司之间具有关联关系；而特斯拉公司是生产电动车的，则认为特斯拉公司与电动车之间具有关联关系，通过上述关系的描述也可以得出埃隆·马斯克与特斯拉电动车之间也具有关联关系。

另外，在对图片进行评分时，是根据上述识别得出的物件的个数以及物件之间存在的关联关系进行打分，进而得出图片的评分结果。对于打分时，所依据的标准可根据不同的需求进行制定其规则，比如本实施例中可采用图片强度联想评价机制，是假定对物件的个数以及物件之间的关联关系的个数均制定了对应的评分。比如对于图片中存在一个物件，则记1分；当图片中的物件之间存在一个关联关系时，认为该关联关系为一个联接记为2分；当图片中物件之间的关联关系存在两个时，记为4分；以此类推。

在评分时，由于其所依据的标准是预先制定的，因此不存在人为主观的限制，因此，对于同一张图片的评价不会造成较大差异，具有一定的参考价值。

如图2所示，一种基于图像识别的图像联想强度评分方法，其具体包括以下步骤：

S1、获取待评价图片。

S2、根据待评价图片得出待评价图片中所包含的所有的物件的图片，并根据每个物件的图片大小确定待评价图片中所包含的所有的主体物件。

另外，在对待评价图片进行识别物件时，由于在一个图片中有些图像其占有的位置很小，对图片的整体的影响不大，因此在对图片评价时不需要对这些图像进行考虑。因此，对待评价图片中所包含的物件进行区分，比如根据物件的图像大小将其区分为主体物件和次要物件。而主体物件是指在待评价图片中占有主要主导或位置的物件，比如如图1所示，该图片中包含了较多的子图像，但是其中车、人、人群其占用了图片的大部分位置，对图片起到了绝对主导作用，因此在对待评价图片进行物件识别时，只需要对图片中的人、车、人群进行识别即可。

另外，本发明还指出对于图片中的主体物件是指当一个物件的图像大小与整个待评价图片的图像大小的比例超过一定的预设值时，认为该物件为待评价图片的主体物件。预设值可设为15％。比如，图1中识别得出的主体物件有三个。

在识别待评价图片中的主体物件时，可通过对待评价图片中的物件的图像进行识别划分，比如通过颜色聚类、边界划分等来得出每个物件所对应的图像大小，然后根据物件的图像大小来判断该物件是否为待评价图片中的主体物件。

另外，当待评价图片中包含多个主体物件时，可利用种子填充算法得到几个连通线，这样未粘连的主体物件即可分割；而对于粘连的主体物件时，可采用垂直投影图中找谷点的方法将主体物件进行分割。

S3、对每个主体物件的图片进行特征提取并得出每个主体物件的特征向量。

另外，在对每个主体物件的图片进行特征向量提取之前，首先对图片进行预处理过程，通过对图片进行预处理，能够提高服务器对图片的处理识别性能。

比如根据具体图片分析设置合理的阈值，将图像二值化、去除干扰点。通过质心对齐方法和线性插值放大的方法将图片归一化，设置为统一规格。

S4、根据每个主体物件的特征向量以及物件识别模型得出每个主体物件的名称。物件识别模型中存储了每种物件所对应的名称以及特征向量的集合。在匹配时，通过将主体物件的特征向量与物件识别模型中的每种物件的每个特征向量进行识别进而匹配得出该主体物件所对应的名称。

S5、根据每个主体物件的名称以及***中预先存储的知识图谱得出主体物件之间存在关联关系的个数。

S6、根据待评价图片中的所有的主体物件的个数以及主体物件之间存在关联关系的个数得出待评价图片的评分。

例如，对于图1，其通过对图片进行识别处理得出图片中所包含的主体物件有三个，并根据物件识别模型匹配得出主体物件为人：埃隆·马斯克、车：特斯拉电动车、人群，然后根据知识图谱的匹配得出人与车之间存在关联关系，则根据图片联想强度评分机制、主体物件以及主体物件之间存在的关联关系进行打分得出该图1的评分结果为5。

由于对每个图片的主体物件是自动识别，同时评分依据同一个评分标准，这样对于图片的评价结果就具有可比性，具有相对的客观性，解决了现有人为主观打分不够综合全面和存在主观性的问题。

本发明还提供了一种电子设备，其包括存储器、处理器以及存储在存储器上并可在处理上运行的计算机程序，所述处理器执行所述程序时实现如文中所述的基于图像识别的图片联想强度评分方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如文中所述的基于图像识别的图片联想强度评分方法的步骤。

如图3所示，本发明还提供了基于图像识别的图片联想强度评分装置，其包括：

模型建立模块，用于建立物件识别模型，所述物件识别模型中存储了每种物件的名称以及特征向量的集合；

主体物件提取模块，用于获取待评价图片中所包含的所有的物件的图片，并根据每个物件的图片大小确定待评图片中所包含的所有的主体物件；

特征向量提取模块，用于对每个主体物件的图片进行特征提取得出每个主体物件的特征向量；

名称识别模块，用于根据每个主体物件的特征向量以及物件识别模型得出每个主体物件的名称；

关系识别模块，用于根据每个主体物件的名称以及***中预先存储的知识图谱得出主体物件之间存在关联关系的个数；其中，知识图谱存储了各种主体物件之间的关联关系；

评分模块，用于根据待评价图片中的所有的主体物件的个数以及主体物件之间存在关联关系的个数得出待评价图片的评分。

进一步地，还包括预处理模块，用于对每个主体物件的图片进行预处理过程，其中预处理过程包括以下方法的一种或多种的组合：图像二值化、去除干扰点、质心对齐方法以及线性插值放大方法。

本实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (7)

1.基于图像识别的图片联想强度评分方法，其特征在于包括以下步骤：

模型建立步骤：建立物件识别模型，所述物件识别模型中存储了每种物件的名称以及特征向量的集合；

主体物件提取步骤：获取待评价图片中所包含的所有的物件的图片，并根据每个物件的图片大小确定待评图片中所包含的所有的主体物件；

特征向量提取步骤：对每个主体物件的图片进行特征提取得出每个主体物件的特征向量；

名称识别步骤：根据每个主体物件的特征向量以及物件识别模型得出每个主体物件的名称；

关系识别步骤：根据每个主体物件的名称以及***中预先存储的知识图谱得出主体物件之间存在关联关系的个数；其中，知识图谱存储了各种主体物件之间的关联关系；

评分步骤：根据待评价图片中的所有的主体物件的个数以及主体物件之间存在关联关系的个数得出待评价图片的评分。

2.如权利要求1所述的方法，其特征在于：还包括预处理步骤：对每个主体物件的图片进行预处理过程，其中预处理过程包括以下方法的一种或多种的组合：图像二值化、去除干扰点、质心对齐方法以及线性插值放大方法。

3.如权利要求1所述的方法，其特征在于：所述模型建立步骤具体包括：首先获取每种物件的多张图片并对每张图片进行特征提取得出每张图片的特征向量；然后通过对每种物件的多张图片的特征向量进行识别训练，进而得出每种物件的多个特征向量的集合，也即是物件识别模型。

4.如权利要求1所述的方法，其特征在于：所述根据每个物件的图片大小确定待评图片中所包含的所有的主体物件时，其具体为当待评价图片中的物件的图片的大小与整个待评价图片大小的比例大于或等于预设值时，则该物件为待评价图片中所包含的一个主体物件。

5.如权利要求4所述的方法，其特征在于：所述预设值为15％。

6.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于图像识别的图片联想强度评分方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的基于图像识别的图片联想强度评分方法的步骤。