CN107357815A - 一种图片内容的识别方法及*** - Google Patents

Abstract

本发明公开了一种图片内容的智能识别方法及***，该方法包括如下步骤：步骤一，获取待分析图片，对待分析图片进行分析，识别并区分出待分析图片中的不同类别内容；步骤二，利用存储待分析图片的电子设备进行用户历史操作数据信息采集分析，建立预测数据库；步骤三，将步骤一中的获得的待分析图片内容与该预测数据库中的内容进行匹配，获得匹配结果；步骤四，若步骤三中的匹配结果不唯一，则根据匹配结果于相应的大数据库中进行查找匹配，本发明通过先于预测数据库对图片的内容进行识别，于未识别成功时再于大数据库进行匹配以实现相册图片的智能识别，提高了识别效率。

Description

一种图片内容的识别方法及***

技术领域

本发明涉及一种图片内容的识别方法及***，尤其涉及一种通过大数据的分析技术来实现图片智能识别的图片内容的识别方法及***。

背景技术

相册的智能识别是指***可以根据相册中的图片自动区分人、物、景，并且识别出人、物品和景物的具体信息。比如一幅母子海边照，***可以识别出母亲、儿子和海边的信息。或者如果是一幅个人的北京长城照片，***可以识别出照片背景中的景物为长城。图片的内容越具体、清晰，识别度也就越高。这种相册的智能识别功能可以帮助使用者自动管理相册，比如可以进行相册中图片主题的搜索，或者相册中图片分类，同时也增加用户更多的乐趣。

目前这种相册智能识别功能尚未发展成熟，一般都是基于将照片分解为像素，并将这些像素与数据库中已有的信息进行交叉比对来识别。同时照片识别技术运用人工智能的深度学习***，使得照片识别度越来越精确。但这项技术是基于数据库中的信息进行匹配，数据库中的海量信息搜索的速度会受到网络和其他因素的影响，从而降低计算速度。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种图片内容的识别方法及***，以先于预测数据库对图片的内容进行识别，于未识别成功时再于大数据库进行匹配以实现相册图片的智能识别，提高图片的识别效率。

为达上述目的，本发明提供的技术方案如下：

一种图片内容的智能识别方法，包括如下步骤：

步骤一，获取待分析图片，对待分析图片进行分析，识别并区分出待分析图片中的不同类别内容；

步骤二，利用存储待分析图片的电子设备进行用户历史操作数据信息采集分析，建立预测数据库；

步骤三，将步骤一中的获得的待分析图片内容与该预测数据库中的内容进行匹配，获得匹配结果；

步骤四，若步骤三中的匹配结果不唯一，则根据匹配结果于相应的大数据库中进行查找匹配。

在上述技术方案中，通过存储待分析图片的电子设备进行用户历史操作数据的信息采集建立预测数据库，于预测数据库中进行图片内容匹配，提高匹配速度。

进一步，于步骤一中，将该待分析图片的像素进行分解，区分出该待分析图片中的人、物以及风景。

在上述技术方案中，将该待分析图片区分出人、物以及风景，以根据相应的类别内容进行搜索匹配，提高匹配速度。

进一步，于步骤一中，采用神经网络技术对该待分析图片进行处理，实现对该待分析图片中的内容的分类。

在上述技术方案中，利用神经网络将照片中的不同对象初步识别出来，以便于后续的匹配。

进一步，步骤一进一步包括：

步骤S11，将待分析图片以像素矩阵的形式作为原始输入，利用该神经网络第一层的学习功能检测特定方向和形状的边缘的存在与否，以及该些边缘在图片中的位置；

步骤S12，利用该神经网络的第二层检测多种边缘的特定布局，同时忽略边缘位置的微小变化；

步骤S13，利用该神经网络的第三层把特定的边缘布局组合成为实际物体的某个部分。

在上述技术方案中，利用神经网络的三层网络对待分析图片中的不同对象进行识别，初步识别出人、物、景。

进一步，于步骤二中，该历史操作数据信息包括该电子设备用户的基本个人信息、近期经常访问的网站、近期经常搜索的信息、近期下载的 APP、社交网站上近期经常关注的内容关键字中的部分或全部。

在上述技术方案中，基于电子设备的用户的基本个人信息、近期经常访问的网站、近期经常搜索的信息、近期下载的APP、社交网站上近期经常关注的内容关键字中的部分或全部进行信息采集，以建立预测数据库。

进一步，该历史操作数据信息通过历史数据、Log、接口信息调用方式搜集。

在上述技术方案中，通过历史数据、Log、接口信息调用方式实现历史操作数据信息采集。

进一步，步骤二进一步包括：

步骤S21，根据存储该待分析图片的电子设备的历史操作记录进行信息采集；

步骤S22，对该步骤S21中采集到的数据进行提取信息，去除无关的脏数据；

步骤S23，对提取的信息予以保存，生成该预测数据库。

在上述技术方案中，通过对历史操作记录数据进行采集并剔除其中的无关信息，建立预测数据库，以便后续的图片内容匹配。

进一步，于步骤S22中，根据词汇出现的频次，提取高频次出现的词汇，剔除出现频次低的词汇。

在上述技术方案中，根据词汇出现的频次剔除出现频次低的词汇，提高准确率。

进一步，于步骤三之后，该方法还包括：

若步骤三的匹配结果不成功，则于其他数据库中进行查找匹配，获取匹配结果。

在上述技术方案中，当于预测数据库匹配不成功时，将待分析图片的图片内容于网络数据库中进行匹配，以提高匹配的精准度。

本发明还提供一种图片内容的智能识别***，包括：

图片分析单元，获取待分析图片，对待分析图片进行分析，识别并区分出待分析图片中的不同类别内容；

预测数据库建立单元，利用存储待分析图片的电子设备进行用户历史操作数据信息采集分析，建立预测数据库；

匹配识别单元，用于将该图片分析单元获得的待分析图片内容与该预测数据库中的内容进行匹配，获得匹配结果；

大数据库匹配单元，于该匹配识别单元的匹配结果不唯一时，根据匹配结果于相应的大数据库中进行查找匹配。

与现有技术相比，本发明一种图片内容的智能识别方法及***的有益效果在于：

本发明一种图片内容的智能识别方法及***基于待分析图片的电子设备采集该电子设备用户的历史数据信息，根据该些历史数据信息建立预测数据库，并将经神经网络处理的图片与预测数据库中的信息进行匹配以获得匹配结果，以基于用户的个人习惯、个人资料、偏好、最近动态等信息来缩小搜索范围，从而提高信息匹配速度，同时，本发明于图片内容与预测数据库匹配不成功时，还将图片内容于网络的其他数据库中进行查找匹配，以获得更精准的匹配结果。

附图说明

图1为本发明一种图片内容的智能识别方法的一个实施例的步骤流程图；

图2为本发明具体实施例中步骤101的流程示意图；

图3为本发明具体实施例中步骤102的流程示意图；

图4为本发明一种图片内容的智能识别***的***架构图；

图5为本发明具体实施例中预测数据库建立单元的细部结构图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

在本发明的一个实施例中，如图1所示，本发明一种图片内容的智能识别方法，包括如下步骤：

步骤101，获取待分析图片，对待分析图片进行分析，识别并区分出待分析图片中的不同类别内容，例如区分出该待分析图片中的人、物与风景。具体地，本发明通过将图片的像素进行分解，进而区分出人、物、风景。在本发明具体实施例中，采用了神经网络来实现对图片中的内容的分类，神经网络将会自动剔除不相关的特征，例如背景颜色，物体的位置等，但是会自动放大有用的特征，例如形状，具体地，如图2所示，步骤101 进一步包括：

步骤S11，将待分析图片以像素矩阵的形式作为原始输入，利用神经网络第一层的学习功能检测特定方向和形状的边缘的存在与否，以及这些边缘在图像中的位置；

步骤S12，利用神经网络的第二层检测多种边缘的特定布局，同时忽略边缘位置的微小变化；

步骤S13，利用神经网络的第三层把特定的边缘布局组合成为实际物体的某个部分。后续的层次将会把这些部分组合起来，实现物体的识别，这往往通过全连接层来完成。

这里需说明的是，目前对图片的人、物、景的区别及分类的现有方式有很多，本发明具体实施例主要采用了神经网络对图片的人、物、景进行分类，但本发明不以此为限。

步骤102，利用存储待分析图片的电子设备的历史操作记录进行图片相关信息采集，建立预测数据库。具体地，如图3所示，步骤102进一步包括：

步骤S21，根据存储该待分析图片的电子设备的历史操作记录进行信息采集。这里的信息采集可以通过用户经常使用的电子设备或者网络资源中获取，例如用户一些基本个人信息、近期经常访问的网站、近期经常搜索的信息、近期下载的APP、社交网站上近期经常关注的内容关键字等。这些信息可以通过历史数据、Log、接口信息调用等方式来搜集。当然，由于用户有可能不是在一个电子设备进行过操作，则可以将该用户所有的电子设备的历史操作记录都发送至一处理服务器，由处理服务器来实现预测数据库的建立。

步骤S22，对步骤S21中采集到的数据进行提取信息，去除无关的脏数据。例如，根据采集到的数据出现的频次信息进行提取，去除一些无关的脏数据，这里的无关的脏数据指的是出现频率次数低的词汇，也就是说，提取其中高频次出现的词汇，高频次出现的词汇代表该用户近期比较关注的内容，这些内容将有较大可能与照片之中的内容相关，而将出现频次低的信息剔除掉。

步骤S23，对提取的信息予以保存，生成预测数据库。也就是将这些提取的高频次出现的信息依据类别保存到预测数据库中，作为后续步骤中优先查找的数据库来源。

步骤103，将步骤101中的获得的图片内容与预测数据库中的信息进行匹配，获得匹配结果。在本发明具体实施例中，会将步骤101中获得的图片内容一一与预测数据库中的内容依据频次高低依序进行匹配，若匹配成功则获得识别结果。由于对图片内容中人的信息的比较意义不大，因此，在本发明具体实施例中，将步骤101中获得的景和/或物的信息与预测数据库中的内容依据频次高低依序进行匹配，若匹配成功则获得识别结果。例如，将步骤101中获得的图片内容中的景点与预测数据库中的内容进行匹配，获得匹配结果。

步骤104，若步骤103中的匹配结果不唯一，则根据匹配结果于相应的大数据库中进行查找匹配，这里的大数据库可以是网络上的大数据库。也就是说，本发明先于预测数据库对图片内容进行匹配，若匹配结果唯一，则直接完成图片的识别，如果匹配结果不唯一，则意味着缩小了匹配范围，然后再根据匹配结果于其他数据库中进一步识别，提高图片的识别效率。

优选地，于步骤103之后，本发明之图片内容的智能识别方法还包括如下步骤：

若步骤103中的匹配结果不成功，则于其他数据库中进行查找匹配，获取匹配结果。这里的其他数据库可以为网络上的其他数据库，例如全国风景数据库或地方风景数据库，例如当待分析图片的图片内容为景点时，于该预测数据库中未匹配到相应景点，则会通过网络于全国风景数据库或地方风景数据库中予以匹配，以获得相应的匹配结果。由于于网络上的其他大数据库的匹配与现有技术的步骤相同，在此不予赘述。

以下将通过一具体实施例进一步说明本发明：

1、假设用户A从上海飞到北京旅行，在***广场前使用自己的手机拍摄了张***广场的正面照片。

2、通过电子设备采集用户A相关信息。在物联网中，每个电子设备都具有联网互相通信的功能，这些设备都可以作为客户端发送信息到处理服务器中。处理服务器中的数据表保存各个终端发送的数据。

在本实例中，假设有设备D1(用户手机)，设备D2(用户笔记本)，以及处理服务器S。设备D1中安装应用App，包括浏览器、旅游APP、定位软件、地图软件、订票***、通信软件、办公软件等。设备D2中安装各种应用程序，包括浏览器、通信软件、办公软件等。每个应用程序都会通过接口发送和接收消息，并且将程序相关的操作记录缓存文件中。

4、假设用户A前期由于计划去北京旅行，所以在设备D1，D2中通过浏览器进入百度进行大量的北京相关旅游信息的搜索，比如设备D1搜索“北京热门景区”(1次)、“北京交通”(2次)、“***”(3次)、“故宫” (1次)、“长城”(2次)、“北京美食”(2次)、“中国美食”(1次)、“订票网”(1次)、“天气”(1次)等。在设备D2中搜索“***”(1次)、“故宫”(1次)、“长城”(1次)、“北京美食”(1次)等。另外用户A在设备 D1的订票***中购买了从上海往返北京的机票，用户A在旅游APP中预订东城某酒店。

5、将上述信息传入处理服务器S中并保存。信息如下：

标签1：北京热门景区(1次)

标签2：北京交通(2次)

标签3：***(3次)

标签4：故宫(2次)

标签5：长城(3次)

标签6：北京美食(3次)

标签7：中国美食(1次)

标签8：订票网(1次)

标签9：天气(1次)

标签10：上海北京机票(6次)

标签11：北京上海机票(4次)

6、整理数据，剔除无意义的数据后保留高频次出现的内容，建立预测数据库。

比如，保留如下标签，并存入新预测数据表中作为预测数据。本实施例中选择出现次数大于等于2的。

标签-机票1：上海-北京机票(6次)

标签-机票1：北京-上海机票(4次)

标签-北京景点建筑2：***(3次)

标签-北京景点3：长城(3次)

标签-食物4：北京美食(3次)

标签-交通5：北京交通(2次)

标签-北京景点建筑2：故宫(2次)

7、将照片通过利用已有的神经网络技术，对照片进行分析，识别出照片中的内容为：景点建筑。

8、将照片中初步识别的物体与预测数据库中的数据先进行匹配，从出现频次最高的开始。这里可以发现照片中的景点建筑与“标签-北京景点建筑”匹配，可初步识别出照片中景点建筑为北京景点建筑。

9、由于匹配结果中北京景点建筑结果有两个，匹配结果不唯一，则继续根据匹配结果于其他数据库，例如北京风景数据库，匹配出图片的内容，完成图片的识别工作。这里采用的匹配方法为现有技术中的方法，在此不予赘述。

可见，本发明可以基于用户的个人习惯、个人资料、偏好、最近动态等信息来缩小搜索范围，从而提高信息匹配速度。比如同样一幅手机用户刚在北京长城自拍的照片，如果从个人的历史数据库中查找可能只能找到手机用户本人的信息，北京长城背景无法找到，那么***将会从全世界风景的数据库中进行查找匹配，从而识别出北京长城的信息。但如果这个手机用户最近有在手机APP上订过北京机票，那么根据本发明则可以判断此用户的背景可能在北京，这就可以直接调用北京风景的数据库进行匹配查找，相比之下，从北京风景的数据库进行查找与从全世界风景数据查找，肯定会提高查找速度。

在本发明的另一个实施例中，如图4所示为本发明一种图片内容的智能识别***的***架构图，本发明一种图片内容的智能识别***，包括：

图片分析单元401，获取待分析图片，对待分析图片进行分析，识别并区分出待分析图片中的不同类别内容，例如待分析图片中的人、物与风景。本发明通过将图片的像素进行分解，进而区分出人、物、风景。在本发明具体实施例中，采用神经网络来实现对图片中的内容的分类，神经网络将会自动剔除不相关的特征，例如背景颜色，物体的位置等，但是会自动放大有用的特征，例如形状，具体地，图片分析单元401将待分析图片以像素矩阵的形式作为原始输入，利用神经网络第一层的学习功能检测特定方向和形状的边缘的存在与否，以及这些边缘在图像中的位置，然后利用神经网络的第二层检测多种边缘的特定布局，同时忽略边缘位置的微小变化，最后利用神经网络的第三层把特定的边缘布局组合成为实际物体的某个部分。后续的层次将会把这些部分组合起来，实现物体的识别，这往往通过全连接层来完成。

目前，对图片的人、物、景的区分及分类的现有方式有很多，本发明具体实施例主要采用了神经网络对图片的人、物、景进行分类，但本发明不以此为限。

预测数据库建立单元402，用于利用存储待分析图片的电子设备进行图片相关信息采集，建立预测数据库。具体地，如图5所示，预测数据库建立单元402进一步包括：

信息采集单元4020，用于根据存储该待分析图片的电子设备进行信息采集。这里的信息采集可以通过用户经常使用的电子设备或者网络资源中获取，例如用户一些基本个人信息、近期经常访问的网站、近期经常搜索的信息、近期下载的APP、社交网站上近期经常关注的内容关键字等。这些信息可以通过该电子设备的历史数据、Log、接口信息调用等方式来搜集。当然，由于用户有可能不是在一个电子设备进行过操作，则可以将采集到的该用户所有的电子设备的历史操作记录发送至一处理服务器，由处理服务器来实现预测数据库的建立。

信息提取单元4021，用于对信息采集单元4020中采集到的数据进行信息提取，去除无关的脏数据。具体地，信息提取单元4021根据采集到的数据出现的频次信息进行提取，去除一些无关的脏数据，也就是说，提取其中高频次出现的词汇，高频次出现的词汇代表该用户近期比较关注的内容，这些内容将有较大可能与照片之中的内容相关，而将出现频次低的信息剔除掉。

信息保存单元4022，用于对提取的信息予以保存，生成预测数据库。也就是将这些提取的高频次出现的信息依据类别保存到预测数据库中，作为后续步骤中优先查找的数据库来源。

匹配识别单元403，用于将图片分析单元401中的获得的图片内容与预测数据库中的信息进行匹配，对图片内容进行智能识别。在本发明具体实施例中，将图片分析单元401中获得的图片内容一一与预测数据库中的内容依据频次高低依序进行匹配，若匹配成功则获得识别结果。由于对图片内容中人的信息的比较意义不大，因此，在本发明具体实施例中，一般将图片分析单元401获得的景和/或物的信息与预测数据库中的内容依据频次高低依序进行匹配，若匹配成功则获得识别结果。例如，将图片分析单元401中获得的图片内容中的景点与预测数据库中的内容进行匹配，获得匹配结果。

大数据匹配单元404，于匹配识别单元403的匹配结果不唯一时，根据匹配结果于相应的大数据库中进行查找匹配，这里的大数据库可以是网络上的大数据库，也就是说，本发明先于预测数据库对图片内容进行匹配，若匹配结果唯一，则直接完成图片的识别，如果匹配结果不唯一，则意味着缩小了匹配范围，然后再根据匹配结果于其他数据库中进一步识别，提高图片的识别效率。

优选地，本发明之图片内容的智能识别***还包括：深层次匹配单元，于匹配识别单元403的匹配结果不成功，则于其他数据库中进行查找匹配，获取匹配结果。这里的其他数据库可以为网络上的其他数据库，例如全国风景数据库或地方风景数据库，例如当待分析图片的图片内容为景点时，若于该预测数据库中未匹配到相应景点，则会通过网络于全国风景数据库或地方风景数据库中予以匹配，以获得相应的匹配结果，由于这里的匹配采用的是现有技术的方式，在此不予赘述。

综上所述，本发明一种图片内容的智能识别方法及***基于存储待分析图片的电子设备采集该电子设备用户的历史数据信息，根据该些历史数据信息建立预测数据库，并将经神经网络处理的图片与预测数据库中的信息进行匹配以获得匹配结果，以基于用户的个人习惯、个人资料、偏好、最近动态等信息来缩小搜索范围，从而提高信息匹配速度，同时，本发明于图片内容与预测数据库匹配不成功时，还将图片内容于网络的其他数据库中进行查找匹配，以获得更精准的匹配结果。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图片内容的智能识别方法，包括如下步骤：

步骤一，获取待分析图片，对待分析图片进行分析，识别并区分出待分析图片中的不同类别内容；

步骤二，利用存储该待分析图片的电子设备进行用户历史操作数据信息采集分析，建立预测数据库；

步骤三，将步骤一中的获得的待分析图片内容与该预测数据库中的内容进行匹配，获得匹配结果；

步骤四，若步骤三中的匹配结果不唯一，则根据匹配结果于相应的大数据库中进行查找匹配。

2.如权利要求1所述的一种图片内容的智能识别方法，其特征在于：于步骤一中，将该待分析图片的像素进行分解，区分出该待分析图片中的人、物以及风景。

3.如权利要求2所述的一种图片内容的智能识别方法，其特征在于：于步骤一中，采用神经网络技术对该待分析图片进行处理，实现对该待分析图片中的内容的分类。

4.如权利要求3所述的一种图片内容的智能识别方法，其特征在于：步骤一进一步包括：

步骤S11，将待分析图片以像素矩阵的形式作为原始输入，利用该神经网络第一层的学习功能检测特定方向和形状的边缘的存在与否，以及该些边缘在图片中的位置；

步骤S12，利用该神经网络的第二层检测多种边缘的特定布局，同时忽略边缘位置的微小变化；

步骤S13，利用该神经网络的第三层把特定的边缘布局组合成为实际物体的某个部分。

5.如权利要求1所述的一种图片内容的智能识别方法，其特征在于：于步骤二中，该历史操作数据信息包括该电子设备用户的基本个人信息、近期经常访问的网站、近期经常搜索的信息、近期下载的APP、社交网站上近期经常关注的内容关键字中的部分或全部。

6.如权利要求5所述的一种图片内容的智能识别方法，其特征在于：该历史操作数据信息通过历史数据、Log、接口信息调用方式搜集。

7.如权利要求6所述的一种图片内容的智能识别方法，其特征在于，步骤二进一步包括：

步骤S21，根据存储该待分析图片的电子设备的历史操作记录进行信息采集；

步骤S22，对该步骤S21中采集到的数据进行提取信息，去除无关的脏数据；

步骤S23，对提取的信息予以保存，生成该预测数据库。

8.如权利要求7所述的一种图片内容的智能识别方法，其特征在于：于步骤S22中，根据词汇出现的频次，提取高频次出现的词汇，剔除出现频次低的词汇。

9.如权利要求1所述的一种图片内容的智能识别方法，其特征在于，于步骤三之后，该方法还包括：

若步骤三的匹配结果不成功，则于其他数据库中进行查找匹配，获取匹配结果。

10.一种图片内容的智能识别***，包括：

图片分析单元，获取待分析图片，对待分析图片进行分析，识别并区分出待分析图片中的不同类别内容；

预测数据库建立单元，利用存储该待分析图片的电子设备进行用户历史操作数据信息采集分析，建立预测数据库；

匹配识别单元，用于将该图片分析单元获得的待分析图片内容与该预测数据库中的内容进行匹配，获得匹配结果；

大数据库匹配单元，于该匹配识别单元的匹配结果不唯一时，根据匹配结果于相应的大数据库中进行查找匹配。