CN111046213A - 一种基于图像识别的知识库构建方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的知识库构建方法，先获取与目标知识库相关的一系列图像并进行像预处理，再使用三个神经网络群识别输入图像，以获得图像内容的场景、实体、属性信息，并根据实体所占像素范围和属性所占像素范围的重合度，最后根据重合度对输出的实体和属性进行匹配，完成以场景、实体、属性三元组的知识库的构建；这样以图像作为知识库构建源头不仅扩展了知识库的构建方法，又能够减少知识库的冗余和提高查询效率，还能实现了图像知识的累积和可复用性。

Description

一种基于图像识别的知识库构建方法

技术领域

本发明属于机器学习和信息处理技术领域，更为具体地讲，涉及一种基于图像识别的知识库构建方法。

背景技术

信息时代背景下，互联网技术不仅阶跃式地缩短了世界各地的通信距离，使得信息能快速地传播和沟通，而且伴随着工业技术的快速迭代而产生的低廉电子终端的迅速普及，每个终端用户不仅成为了信息的接受者，也顺理成章地变成了信息的生产者。随之发生的巨大变革之一便是知识的***式输出。井喷式的知识输出一方面可以作为新技术的数据基石，例如当下社会最为关注的深度学习技术便是基于大量可获得的训练数据而发挥计算机的高算力的代表，另一方面可以被获取、处理、整理、集合为结构化的知识库数据。

知识库根据制定的规则存储和提取知识，由于其使用显性的知识存储方式，不仅可以作为专家***服务于特定领域，也可以使用相同的知识存储规则构建起开放性知识库，例如知名的知识库DBpedia、Freebase等均采用资源描述框架(RDF)，使得知识库之间可以相互链接。知识库的构建不仅能简化人们获取信息的过程，提高信息利用的效率，也被认为是web3.0的语义网的基础。

现有的知识库构建方法，多是面对结构化或非结构化的文本信息，使用特定的数据处理方法从文本源提取关联数据。例如，DBpedia通过解析Wikipedia常用的WikiText文本，获得关联数据并存储为知识库。专利CN106844723A《基于问答***的医学知识库构建方法》使用公开的医疗网站和医疗数据进行数据处理，并获得数据间的关联信息从而构建得到知识库。专利CN106650940A《一种领域知识库构建方法及装置》也是基于待构建领域中的核心概念以及核心概念所在目标文本，从文本中提取核心概念，并判断是否加入知识库，而实现知识库的自动构建。

从文本中提取实体以及实体间的关系固然是一种可行且普遍的知识库构建方法，但是这种构建方法仅仅将知识源限定于文本，这种不仅限制了知识源的多样性，甚至在一些场景中，该类知识库构建方法无法发挥作用。例如，在警用监控设备中，大量知识和信息存在于长时间的录像画面中。是否图像中出现了可疑人员，可疑人员的行径路线，可疑人员的着装特征，人员出入的时间节点等信息对于辅助警方快速侦破案件起着关键性的作用。但是目前，为了获取图像中的信息和知识，人们基本只能通过长时间的观看，识别有用信息，并人为地整合信息，做出判断。这种获取知识的方式不仅效率低，而且知识的可复用程度低，知识的累积也无法实现。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于图像识别的知识库构建方法，利用图像识别技术来构建目标知识库，弥补了图像作为知识库构建源头的缺失，提高了获取知识的效率且简单易行。

为实现上述发明目的，本发明一种基于图像识别的知识库构建方法，其特征在于，包括以下步骤：

(1)、获取目标图像

获取包含待构建知识库相关的多张场景和实体的图像，每张图像中包含多个实体E₁、E₂、…、E_i、…，且每个实体又具有多个属性值A_1,1、A_1,2、…、A_2,1、A_2,2、…、A_i,j、…；

(2)、目标图像预处理

先将每一张图像转换为灰度图，再对灰度图进行平滑和锐化处理，最后全部保存在图像库；

(3)、搭建神经网络模型

神经网络模型由三个卷积神经网络CNN构成，其中，第二个和第三个CNN并联后串联在第一个CNN的后面，分别用于场景识别、实体识别和属性识别；其中，场景识别的结果以独热向量S表示，实体识别的结果以独热向量E表示，属性识别的结果以独热向量A表示；

(4)、利用神经网络模型识别图像

(4.1)、在图像库中随机选出一张图像输入至神经网络模型；

(4.2)、第一个CNN识别出该张图像中的场景，并输出独热向量S_k，下标k表示第k张图像；

(4.3)、待第一个CNN识别识别完成后，第二个和第三个CNN同时识别该张图像；

(4.3.1)、第二个CNN识别出该张图像中的实体E₁、E₂、…、E_i、…，并且记录下各实体在该张图像中所占像素范围P(E₁)、P(E₂)、…、P(E_i)、…；

(4.3.2)、第三个CNN识别出该张图像中每个实体下的属性A_1,1、A_1,2、…、A_2,1、A_2,2、…、A_i,j、…，并记录下各属性在该张图像中所占像素范围P(A_1,1)、P(A_1,2)、…、P(A_2,1)、P(A_2,2)、…、P(A_i,j)、…；

(5)、计算重合度

计算实体E_i的像素范围P(E_i)和属性A_i,j的像素范围P(A_i,j)的重合度O；

(6)、构建目标知识库

将重合度O与预设的重合度阈值进行比较，如果重合度大于或者等于重合度阈值，则表示所识别的实体和属性处于同一像素区域，即实体E_i和属性A_i,j之间相互匹配，并以(S_k，E_i，A_i,j)的格式保存于目标知识库中；

如果重合度小于重合度阈值，则按照步骤(5)所述方法计算实体E_i的像素范围P(E_i)和属性A_i,j+1的像素范围P(A_i,j+1)的重合度，再返回步骤(6)；然后以此类推，直到完成该张图像中所有实体和属性的匹配；

返回步骤(4.1)，利用神经网络模型识别下一张图像，并按照步骤(5)-(6)所述方法进行依次处理，直到图像库中所有图像中所有实体和属性的匹配完成，从而构建出目标知识库。。

本发明的发明目的是这样实现的：

本发明一种基于图像识别的知识库构建方法，先获取与目标知识库相关的一系列图像并进行像预处理，再使用三个神经网络群识别输入图像，以获得图像内容的场景、实体、属性信息，并根据实体所占像素范围和属性所占像素范围的重合度，最后根据重合度对输出的实体和属性进行匹配，完成以场景、实体、属性三元组的知识库的构建；这样以图像作为知识库构建源头不仅扩展了知识库的构建方法，又能够减少知识库的冗余和提高查询效率，还能实现了图像知识的累积和可复用性。

附图说明

图1是本发明一种基于图像识别的知识库构建方法流程图；

图2是实体与属性匹配的流程图；

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种基于图像识别的知识库构建方法流程图。

在本实施例中，如图1所示，本发明一种基于图像识别的知识库构建方法，包括以下步骤：

S1、获取目标图像

获取包含待构建知识库相关的多张场景和实体的图像，每张图像中包含多个实体E₁、E₂、…、E_i、…，且每个实体又具有多个属性值A_1,1、A_1,2、…、A_2,1、A_2,2、…、A_i,j、…；

在本实施例中，每张图像中包含一个场景如天空，多个实体如人、物品、动物等，且每张图像需要满足基本的清晰度，即足够人眼识别的清晰度。

S2、目标图像预处理

先将每一张图像转换为灰度图，再对灰度图进行平滑和锐化处理，最后全部保存在图像库；

在本实施例中，利用灰度变换改变图像的灰度值，从而改变图像的明亮效果，使图像处于适中的亮度，便于神经网络群能清晰分辨物体轮廓，提高识别精度；平滑处理用于滤除图像中多余的噪点；锐化处理用于增强图像中灰度的跳变部分，能够突出图像中的轮廓信息，有利于实体识别；

S3、搭建神经网络模型

神经网络模型由三个卷积神经网络CNN构成，其中，第二个和第三个CNN并联后串联在第一个CNN的后面，分别用于场景识别、实体识别和属性识别；其中，场景识别的结果以独热向量S表示，实体识别的结果以独热向量E表示，属性识别的结果以独热向量A表示；

在本实施例中，采用CNN搭建神经网络模型，除此之外还可以采用AlexNet、VGGNet、ResNet、GoogLeNet等网络搭建；神经网络模型模型搭建完成后，需要进行预训练，使神经网络模型能够精准的识别场景例如公园、停车场、校园等，实体例如人、物品、动物等，属性例如颜色、形状、大小等，具体的训练过程在此不再赘述；

S4、利用神经网络模型识别图像

S4.1、在图像库中随机选出一张图像输入至神经网络模型；

S4.2、第一个CNN识别出该张图像中的场景，并输出独热向量S_k，下标k表示第k张图像；

S4.3、待第一个CNN识别识别完成后，第二个和第三个CNN同时识别该张图像，具体流程如图2所示；

S4.3.1、第二个CNN识别出该张图像中的实体E₁、E₂、…、E_i、…，并且记录下各实体在该张图像中所占像素范围P(E₁)、P(E₂)、…、P(E_i)、…；

S4.3.2、第三个CNN识别出该张图像中每个实体下的属性A_1,1、A_1,2、…、A_2,1、A_2,2、…、A_i,j、…，并记录下各属性在该张图像中所占像素范围P(A_1,1)、P(A_1,2)、…、P(A_2,1)、P(A_2,2)、…、P(A_i,j)、…；

在本实施例中，可以对CNN的最后一个卷积层输出的特征图进行上采样，直到特征图恢复到输入图像的分辨率，因而可以实现像素级别的图像分割并记录下各属性在该张图像中所占像素范围。

S5、计算重合度

计算实体E_i的像素范围P(E_i)和属性A_i,j的像素范围P(A_i,j)的重合度O，重合度O的范围为[0,1]；

S6、构建目标知识库

将重合度O与预设的重合度阈值＝0.7进行比较，如果重合度大于或者等于重合度阈值，则表示所识别的实体和属性处于同一像素区域，即实体E_i和属性A_i,j之间相互匹配，并以(S_k，E_i，A_i,j)的格式保存于目标知识库中；

如果重合度小于重合度阈值，则按照步骤S5所述方法计算实体E_i的像素范围P(E_i)和属性A_i,j+1的像素范围P(A_i,j+1)的重合度，再返回步骤S6；然后以此类推，直到完成该张图像中所有实体和属性的匹配；

返回步骤S4.1，利用神经网络模型识别下一张图像，并按照步骤S5-S6所述方法进行依次处理，直到图像库中所有图像中所有实体和属性的匹配完成，从而构建出目标知识库。

实例

本实施例构建一个基于监控画面的人员信息知识库，用来辅助公安机关快速确定嫌疑人，描绘出嫌疑人运动轨迹，帮助其快速解决案件。

首先，按照上述方法采集于案件相关的监控设备的图像集并进行预处理。

其次，利用神经网络模型识别图像。在本实施例中，用于实体识别的主要任务为人物识别，而所涉及的属性包括：人体形态(胖瘦程度)、衣着颜色、身高尺寸，具体可以细分为：人体形态(瘦、正常、胖)、衣着颜色(红、橙、黄、绿、青、蓝、紫)、身高尺寸(1.5米以下、1.5-1.6米、1.6-1.7米、1.7-1.8米、1.8-1.9米、1.9米以上)。

最后，计算实体的像素范围和对应属性的像素范围的重合度，并根据重合度完成实体和对应属性之间相互匹配，进而构建出人员信息知识库。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于图像识别的知识库构建方法，其特征在于，包括以下步骤：

(1)、获取目标图像

获取包含待构建知识库相关的多张场景和实体的图像，每张图像中包含多个实体E₁、E₂、…、E_i、…，且每个实体又具有多个属性值A_1,1、A_1,2、…、A_2,1、A_2,2、…、A_i,j、…；

(2)、目标图像预处理

先将每一张图像转换为灰度图，再对灰度图进行平滑和锐化处理，最后全部保存在图像库；

(3)、搭建神经网络模型

神经网络模型由三个卷积神经网络CNN构成，其中，第二个和第三个CNN并联后串联在第一个CNN的后面，分别用于场景识别、实体识别和属性识别；其中，场景识别的结果以独热向量S表示，实体识别的结果以独热向量E表示，属性识别的结果以独热向量A表示；

(4)、利用神经网络模型识别图像

(4.1)、在图像库中随机选出一张图像输入至神经网络模型；

(4.2)、第一个CNN识别出该张图像中的场景，并输出独热向量S_k，下标k表示第k张图像；

(4.3)、待第一个CNN识别识别完成后，第二个和第三个CNN同时识别该张图像；

(4.3.1)、第二个CNN识别出该张图像中的实体E₁、E₂、…、E_i、…，并且记录下各实体在该张图像中所占像素范围P(E₁)、P(E₂)、…、P(E_i)、…；

(4.3.2)、第三个CNN识别出该张图像中每个实体下的属性A_1,1、A_1,2、…、A_2,1、A_2,2、…、A_i,j、…，并记录下各属性在该张图像中所占像素范围P(A_1,1)、P(A_1,2)、…、P(A_2,1)、P(A_2,2)、…、P(A_i,j)、…；

(5)、计算重合度

计算实体E_i的像素范围P(E_i)和属性A_i,j的像素范围P(A_i,j)的重合度O；

(6)、构建目标知识库

将重合度O与预设的重合度阈值进行比较，如果重合度大于或者等于重合度阈值，则表示所识别的实体和属性处于同一像素区域，即实体E_i和属性A_i,j之间相互匹配，并以(S_k，E_i，A_i,j)的格式保存于目标知识库中；

如果重合度小于重合度阈值，则按照步骤(5)所述方法计计算实体E_i的像素范围P(E_i)和属性A_i,j+1的像素范围P(A_i,j+1)的重合度，再返回步骤(6)；然后以此类推，直到完成该张图像中所有实体和属性的匹配；

返回步骤(4.1)，利用神经网络模型识别下一张图像，并按照步骤(5)-(6)所述方法进行依次处理，直到图像库中所有图像中所有实体和属性的匹配完成，从而构建出目标知识库。

2.根据权利要求1所述的一种基于图像识别的知识库构建方法，其特征在于，所述重合度O的取值范围为[0，1]。

Images