CN109344285B - 一种面向监控的视频图谱构建和挖掘方法、设备 - Google Patents

Abstract

本发明实施例提供一种面向监控的视频图谱构建和挖掘方法、设备，通过构建图数据库和键值型数据库作为知识图谱的数据持久化存储，利用深度卷积神经网络自动化地进行人脸识别，大幅减少人工审查的力度，使用共享的卷积神经网络和深度反卷积网络结合自动化地标注行人对象的属性，将非结构化的视频数据转化成结构化的图数据存储，能很好地满足以审查监控视频为基础的人物检索、轨迹挖掘、团伙中心挖掘等安防方面的需求，能够高效地查询节点的属性信息，能够高效地可视化展示节点之间的关联关系，使用主干信息数据库和详细信息数据库存储方式，发挥各自的优势，数据存储和检索效率高。

Description

一种面向监控的视频图谱构建和挖掘方法、设备

技术领域

本发明实施例涉及计算机视觉技术领域，更具体地，涉及一种面向监控的视频图谱构建和挖掘方法、设备。

背景技术

随着技术的发展，智能安防出现在人们生活的方方面面，住宅小区、道路监控、机动车辆、银行学校等都布有监控摄像头。并且随着智能安防的数字化和大规模化，监控视频的数据量不断增长，呈现出数据量大、数据非结构化、获取有价值的信息困难的特点。因此，研发一种自动地将监控视频结构化的框架在监控视频大数据分析应用方面具有极高的现实意义。

知识图谱是人工智能的一个关键的技术分支，被广泛应用于智能搜索、智能问答、个性化推荐、内容分发等领域。目前有两种知识图谱构建方式，一种是自顶向下的方法，一种是自底向上的方法。无论哪种方法都会构建一个包含大量知识的知识库作为知识图谱的结构化基础。现有的知识库大部分都是基于文字构建的，也有很少的基于图片来构建，基于监控视频构建的知识库几乎是一片空白，而且，原始视频中的关键信息，如人、车、物等信息，以更为精简的视频图谱存储，将原本的在视频上获取信息转化成在视频图谱上操作的方式，为后续的数据分析和数据挖掘提供了一个稳定可行的基础。所以，将知识图谱衍化至面向监控视频的视频图谱是很有价值的。

目前的关系型数据库很难处理这些海量非结构化的监控视频数据，依赖关系型数据库中的表来维护这些信息以及实现后续的数据分析并不理想。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种面向监控的视频图谱构建和挖掘方法、设备。

根据本发明实施例的第一个方面，提供一种面向监控的视频图谱构建和挖掘方法，包括：

基于重识别获取不同监控视频中的同一监控对象，获取所述监控对象的属性信息；

基于图形数据库存储所述监控对象的对象编号，基于键值型数据库的行健存储所述监控对象的对象编号，基于键值型数据库的子健存储所述监控对象的属性信息及对应的监控视频编号，建立监控对象视频图谱；

基于所述监控对象视频图谱获取监控对象的轨迹信息。

作为优选的，所述监控对象为监控视频中的任意物体，包括行人、车辆。

作为优选的，在步骤S1中，基于重识别获取不同监控视频中的同一监控对象，具体包括：

基于计算机集群对所有监控视频进行预处理，并将监控视频流按帧分割成图片流，获取含有完整监控对象信息的图片流中监控对象的唯一特征向量；

基于所述唯一特征向量建立分段哈希索引，并基于所述分段哈希索引进行监控对象重识别，获取含有监控对象的监控视频信息，并得到监控对象在所述监控视频中的进入时间、离开时间。

作为优选的，基于所述唯一特征向量建立分段哈希索引，并基于所述分段哈希索引进行监控对象重识别，具体包括：

将所述唯一特征向量转换为哈希码，并将所述哈希码均分为m段，每段的长度为

位，其中b为所述哈希码的长度；

在m段中查询与所述哈希码的汉明距离为r的候选哈希码，并基于已训练的联合贝叶斯分类器判断所述候选哈希码对应的对象是否与所述监控对象相同。

作为优选的，在步骤S1中，获取所述监控对象的属性信息，具体包括：

基于已训练的神经网络模型，对所述监控对象进行语义分割和属性标注，获取所述监控对象的属性信息。

作为优选的，基于图形数据库存储所述监控对象的唯一编号信息前，还包括：

基于所述唯一特征向量和所述属性信息进行检索，查找是否存在相同对象的记录，若选在相同对象的记录，则将相同对象的对象编号作为监控对象的编号，若不存在相同对象的记录，则重新分配一个新的对象编号。

作为优选的，所述步骤S3具体包括：

基于监控对象的对象编号，在所述键值型数据库中获取监控视频编号，并获取监控对象在各监控视频中的进入时间和离开时间；

将所述进入时间、离开时间的均值作为监控对象在对应监控视频中的出现时间，获取监控对象在各监控视频中的出现时间，所述出现时间进行排序，并基于各监控视频对应摄像头的地址，获取监控对象的轨迹信息。

作为优选的，还包括S4、基于监控对象视频图谱进行可疑团伙中心挖掘：

S401、对图形数据库中每个监控视频节点相连的所有监控对象节点p₀、p₁…p_n，并按照进入时间和离开时间的平均值从小到大排序，排序后的节点是

S402、将步骤S401得到的节点序列左移一位后与原序列组合成节点对序列：

将节点对序列输入内存中计算，统计每一对节点进入时间和离开时间的平均值的差值小于阈值K₁的节点编号

记录为一个键值对

S403、对每一个监控视频重复步骤S402的过程，合并所有的键值对，如果有相同的键则将对应的值相加，输出键值对中值大于阈值K₂的键；

S404、对步骤S403中有关系的监控对象组建立邻接矩阵，统计每个节点的度，度最大的节点即为该监控对象组的中心节点。

作为优选的，还包括S5、将所述监控对象视频图谱、监控对象的轨迹信息、可疑团伙中心挖掘信息在网页上展示。

根据本发明实施例的第二个方面，提供一种面向监控的视频图谱构建和挖掘设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例的第一个方面所述面向监控的视频图谱构建和挖掘方法的步骤。

本发明实施例提出一种面向监控的视频图谱构建和挖掘方法、设备，构建图数据库和键值型数据库作为知识图谱的数据持久化存储，利用深度卷积神经网络自动化地进行人脸识别，大幅减少人工审查的力度，使用共享的卷积神经网络和深度反卷积网络结合自动化地标注行人对象的属性，将非结构化的视频数据转化成结构化的图数据存储，能很好地满足以审查监控视频为基础的人物检索、轨迹挖掘、团伙中心挖掘等安防方面的需求，能够高效地查询节点的属性信息，能够高效地可视化展示节点之间的关联关系，使用主干信息数据库和详细信息数据库存储方式，发挥各自的优势，数据存储和检索效率高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的面向监控的视频图谱构建和挖掘方法示意图；

图2为根据本发明实施例的监控对象视频图谱的效果展示图。

图3为根据本发明实施例的基于分段哈希索引的行人重识别示意图；

图4为根据本发明实施例的属性标注学习示意图；

图5为根据本发明实施例的视频图谱构建示意图；

图6为根据本发明实施例的轨迹挖掘示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着监控技术的飞速发展，视频监控已经成为安全防范***的重要组成部分，社会各行业对实施视频监控需求范围的不断扩大，因此，视频监控正在由传统的公安、银行向交通、场馆、社区、校园、家居等领域发展，并与电信、IT等行业逐渐紧密融合，为视频监控带来新的技术手段，也为构建视频监控整合解决方案提供了模板。例如在街道、商场等各种公共场合进行视频监控，以便能及时发现突发事件，便于对突发事件进行实时应对，还可以对存储的视频监控录像进行回溯查看，以便能查找出相应的监控细节。

知识图谱(Knowledge Graph)又称为科学知识图谱，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。具体来说，知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它把复杂的知识领域通过数据挖掘、信息处理、知识计量和图形绘制而显示出来，揭示知识领域的动态发展规律，为学科研究提供切实的、有价值的参考，所以，将知识图谱衍化至面向监控视频的视频图谱是很有价值的。

视频图谱的本质是对海量非结构化的监控视频数据进行数据建模和数据分析，视频中包含的实体种类多，有行人、车辆、物品等；实体的数量庞大，以行人为例，在人流量高的繁华地点，一天之内一个监控摄像头拍到的行人可达上万；实体之间的关系繁多，有行人与行人之间的关系、行人与监控摄像头之间的关系等。目前的关系型数据库很难处理这些海量非结构化的监控视频数据，依赖关系型数据库中的表来维护这些信息以及实现后续的数据分析并不理想。

针对现有技术中的上述缺陷，本发明是实施例通过面向监控的视频图谱构建和挖掘方法、设备，将构建图数据库和键值型数据库作为知识图谱的数据持久化存储，结合图形数据库和键值型数据库存储方式，可以快速地自动化构建视频图谱，并且可以基于视频图谱进行智能化的数据挖掘和数据分析。以下将通过多个实施例进行展开说明和介绍。

本实施例提供了一种面向监控的视频图谱构建和挖掘方法，如图1所示，包括：

S1、基于重识别获取不同监控视频中的同一监控对象，获取所述监控对象的属性信息；

S2、基于图形数据库存储所述监控对象的对象编号，基于键值型数据库的行健存储所述监控对象的对象编号，基于键值型数据库的子健存储所述监控对象的属性信息及对应的监控视频编号，建立监控对象视频图谱；

S3、基于所述监控对象视频图谱获取监控对象的轨迹信息。

在本实施例中，提出了面向监控视频的视频图谱的定义，视频图谱包含三个基本要素：节点、边和属性,视频图谱的节点代表实体对象，实体对象可以是行人，也可以是车辆，或其他移动物体，边代表两个实体对象之间的关系，节点和边都包含各自的属性。本发明实施例的方法利用图数据库的存储方式，能够高效地查询节点的属性信息，能够高效地可视化展示节点之间的关联关系，使用主干信息数据库和详细信息数据库存储方式，发挥各自的优势，数据存储和检索效率高。

视频图谱包含三个基本要素：节点、边和属性,视频图谱的节点代表实体对象，实体对象可以是行人，也可以是车辆或其他可移动物体，边代表两个实体对象之间的关系，节点和边都包含各自的属性。在本实施例中，以行人对象为例，采取的技术方案是：将摄像头下出现的人物当作一个节点作为图谱的一部分，使用基于深度学习的方法提取的人脸特征和人物的属性、人物出现的时间、人物离开的时间作为该人物节点的属性存进主干信息数据库和详细信息数据库中，大量的这些人物节点和已有的摄像头的节点构成图的节点，人物的出现对应图上一个人物节点和一个摄像头的节点的边。基于图谱的挖掘算法可以转化成在图上做图计算。监控对象视频图谱效果展示图如图2所示。

在上述实施例的基础上，基于重识别获取不同监控视频中的同一监控对象，具体包括：

基于计算机集群对所有监控视频进行预处理，并将监控视频流按帧分割成图片流，获取含有完整监控对象信息的图片流中监控对象的唯一特征向量；

基于所述唯一特征向量建立分段哈希索引，并基于所述分段哈希索引进行监控对象重识别，获取含有监控对象的监控视频信息，并得到监控对象在所述监控视频中的进入时间、离开时间。

在本实施例中，待识别对象以行人或车辆为例，行人的唯一特征向量为人脸特征(如虹膜识别、人脸特征识别等)，车辆的唯一特征向量可为车牌；具体的，以行人为例(以下各实施例中的行人还可替换为车辆等可移动物体)，具体重识别包括：

S11、将每路监控视频输入由多台计算机组成的集群，进行视频预处理，检测监控视频中的行人人脸和提取人脸特征；

S12、使用步骤S11中得到的人脸特征建立分段索引，基于分段哈希索引进行行人重识别；

具体的，在本实施例中，采用MTCNN(Multi-task convolutional neuralnetwork，多任务的卷积神经网络)作为人脸检测的方法，输入的是视频中关键的帧，得到视频帧中的人脸位置，并对人脸进行对齐和矫正。采用的人脸特征提取网络，输入对齐和矫正后的人脸，取网络模型最后一层全连接层的结果作为人脸图片的实值特征，若为车辆则可以换成车辆对应唯一识别特征的对其和矫正，如车牌，将其中人脸的处理替换为车牌的处理过程即可。

具体的，在本实施例中，所述步骤S11具体包括：

S111、将所有待处理的监控视频流分配到由多台计算机组成的计算机集群进行处理，分配方式为按照监控摄像头的数量平均分配，将每台计算机中的视频流按帧分割成图片流，每隔30帧划分一个关键帧，其余帧即为非关键帧；

S112、将步骤S111中得到的关键帧输入MTCNN网络，判断输出中是否生成有最终人脸窗口，若无，结束识别；若有，提取最终人脸窗口图像，并将人脸矫正对齐至正中，保存为规定分辨率大小；

S113、使用人脸特征提取网络提取人脸照片和该照片镜像的实值特征向量。

在上述各实施例的基础上，基于所述唯一特征向量建立分段哈希索引，并基于所述分段哈希索引进行监控对象重识别，具体包括：

将所述唯一特征向量转换为哈希码，并将所述哈希码均分为m段，每段的长度为b/m位，其中b为所述哈希码的长度；

在m段中查询与所述哈希码的汉明距离为r的候选哈希码，并基于已训练的联合贝叶斯分类器判断所述候选哈希码对应的对象是否与所述监控对象相同。

由于本发明实施例中包含多个摄像头，每个摄像头的监控视频中含有的行人随着时间在不断增加，这个数量很庞大，所以用到了基于分段索引的行人重识别技术，分段索引通过离线地建立基于段的人脸特征和行人对应关系，极大地提高了检索数据库中是否含有目标人脸的速度，该步骤S12主要包含了以下几个步骤：

S121、将上述步骤中得到唯一特征向量转成哈希码；

S122、假设步骤S121得到的哈希码y的长度为b个比特，将它分为m段，那么每段的长度为

或

位；

S123、进行粗糙匹配阶段，在m段中查询与步骤S122中哈希码y的汉明距离为r的所有哈希码；

S124、将m段的查询结果合并形成候选集；

S125、在候选集上进行精确匹配阶段，假设x₁和x₂分别表示两待验证行人对象的实值特征，使用联合贝叶斯分类器来判别两幅图像是否是同一行人。

具体的，在本实施例中，两个对象属于同一行人时，假设H_s成立；否则，两个对象不属于同一行人时，假设H_u成立。在此假设条件下，给定两个特征x₁和x₂，实际上就是比较两种假设最可能发生的概率，形式上，其可表示为求观察到x₁和x₂的一个对数似然比：

上式(1)、(2)中，当r(x₁,x₂)大于t时，则判定x₁和x₂对应为同一行人对象，否则不是同一行人对象；r(x1,x2)为观察到x1和x2的一个对数似然比；A和G表示通过参数学习获得的模型参数；S_μ和S_ε表示协方差矩阵。

在本实施例中，使用分段哈希索引的目的是加快查找速度，分段哈希索引可以看作是第一层筛选，使用联合贝叶斯分类器判别是第二层筛选，第一层筛选后得到的候选集是第二层筛选的输入数据集。在训练联合贝叶斯分类器的过程中，根据样本数据不断的迭代求解，通过参数学习获得模型参数A和G，保存作为模型参数。并且根据实验结果选取合适的阈值t算法的示意图如图3所示。

在上述各实施例的基础上，获取所述监控对象的属性信息，具体包括：

S13、基于已训练的神经网络模型，对所述监控对象进行语义分割和属性标注，获取所述监控对象的属性信息。

在本实施例中，采用RPN(region proposal network，区域建议网络)网络和DeepDNN(Deep Deconvolutionnetwork，深度反卷积网络)网络结合将人体结构进行语义分割，具体包括以下步骤：

S131、将上述各步骤中得到的视频关键帧，送入到公共的深度卷积神经网络中，前向提取普适的局部特征和行人独有的抽象特征，得到场景的特征激活矩阵；

S132、使用深度RPN网络回归出行人的区域，使用四元组表示每一个动态对象的兴趣区域，并据此在特征激活矩阵上做空间池化，得到尺寸一致且彼此独立的人体特征；使用深度RPN网络回归出行人的区域，使用四元组[x,y,z,h]表示每一个动态对象的兴趣区域，并据此在特征激活矩阵上做空间池化，得到尺寸一致且彼此独立的人体特征；

S133、使用与深度卷积网络镜像对称的深度反卷积网络，重构人体的形态分布；

S134、通过大量样本训练，在还原的过程中，人体或车辆相同部位的像素点逐渐类聚，而不同部位的像素点逐渐远离，最终呈现像素级别的轮廓分割；

S135、在属性分类段，使用全连接和Softmax组合分类器对每个分割对象进行属性分类，完成行人的属性标注，重复标注过程，可以得到行人的身体特征。在属性分类段，使用全连接和Softmax组合分类器对每个分割对象进行属性分类，完成行人的属性标注，重复标注过程，可以得到行人的身体特征，例如头发长短、头发颜色、上衣颜色、裤子颜色等。若为车辆，则可以是车型、车品牌、车颜色、轮胎型号等。

RPN网络是一种深层卷积回归器，它的作用是生成proposals，所有滑动窗口共享这个RPN，采用anchor的机制，通过预先标记正样本和计算Loss值生成proposals。Deep DNN网络是和深度卷积网络镜像堆成的反卷积网络，可以重构人体的形态分布，从而将人体进行语义分割。将语义分割的结果作为掩模，用于在属性分类中训练各部位对应的Softmax分类器，可以得到各部分对应的分类结果，整个语义分割和属性标注的过程如图4所示。

在上述各实施例的基础上，基于图形数据库存储所述监控对象的唯一编号信息前，还包括：

基于所述唯一特征向量和所述属性信息进行检索，查找是否存在相同对象的记录，若选在相同对象的记录，则将相同对象的对象编号作为监控对象的编号，若不存在相同对象的记录，则重新分配一个新的对象编号。

在本实施例中，以行人为例，步骤S2具体包括：

S201、合并得到的人脸特征(唯一特征向量)、哈希特征和属性特征(信息)组成结构化数据；

S202、进行粗糙的分段哈希索引和精确匹配，在人脸库中检索是否有相同的人的记录；

S203、根据索引结果分配人物编号作为数据库中代表该人物的唯一编号，若该人物编号存在则不分配编号，否则重新分配一个新的编号；

S204、将步骤S203得到的人物编号作为节点的编号，存储在图形数据库中；

S205、将步骤S203得到的人物编号作为键值型数据库中的行键，哈希特征、属性名称分别作为子键名存储相应的子键值。

在本实施例中，面向监控的视频图谱构建和挖掘方法能利用深度卷积神经网络自动化地进行人脸识别，大幅减少人工审查的力度，使用共享的卷积神经网络和深度反卷积网络结合自动化地标注行人对象的属性，将非结构化的视频数据转化成结构化的图数据存储，能很好地满足以审查监控视频为基础的人物检索、轨迹挖掘、团伙中心挖掘等安防方面的需求。利用图数据库的存储方式，能够高效地查询节点的属性信息，能够高效地可视化展示节点之间的关联关系，使用主干信息数据库和详细信息数据库存储方式，发挥各自的优势，数据存储和检索效率高。

在构建行人视频图谱之前，就已经将视频中行人的相关信息结构化地提取出来了，使用分段哈希索引和精确匹配能够得到现有的数据库中是否含有检测到的行人，从而计算出行人在后台分配的编号，将主干信息存在图数据库中，将详细的信息存在键值型数据库中，这样做是为了尽量发挥两种数据库的优点，图数据库擅长存储图结构但是不利于存储大量的信息，键值型数据库没有图的结构但是可以存储海量的信息。键值型数据库中的三张表分别是人物表、摄像头表、关系表(人物与摄像头的关系，即人物出现在哪些摄像头内)，图谱构建的示意图如图5所示。

person_table的具体结构如下表1所示：

表1 person_table结构

RowKey	Column
		Person_Id	Person_hash_feature
Person_Id	Person_attribute_1
		Person_Id	Person_attribute_2
…	…
		Person_Id	Person_cameras

camera_table的具体结构如下所示：

表2 camera_table结构

RowKey	Column
		Camera_Id	Camera_producor
Camera_Id	Camera_location
		Camera_Id	Camera_picture
Camera_Id	Camera_latitudeAndLongitude

relationship_table的具体结构如下：

表3 relationship_table结构

RowKey	Column
		Person_Id+Camera_Id	Person_in_time-count
Person_Id+Camera_Id	Person_out_time-count
		Person_Id+Camera_Id	Person_snapshot-count
Person_Id+Camera_Id	count

在上述各实施例的基础上，基于所述监控对象视频图谱获取监控对象的轨迹信息，具体包括：

基于监控对象的对象编号，在所述键值型数据库中获取监控视频编号，并获取监控对象在各监控视频中的进入时间和离开时间；

将所述进入时间、离开时间的均值作为监控对象在对应监控视频中的出现时间，获取监控对象在各监控视频中的出现时间，所述出现时间进行排序，并基于各监控视频对应摄像头的地址，获取监控对象的轨迹信息。

具体的，在本实施例中，基于对象的视频图谱构建完成之后，可以在监控对象视频图谱上进行指定行人或车辆轨迹的挖掘，步骤S3具体包括：

S301、根据人物的编号p，在键值型数据库的人物表中得到摄像头的编号C₁、C₂、C₃；

S302、将人物编号p和步骤S301中得到的摄像头编号C₁、C₂、C₃组合成新的行键继续在关系表中查询进入摄像头时间和离开时间两列，求两个时间的平均值得到人物在每个摄像头前出现的时间t₁、t₂、t₃；

S303、根据步骤S302得到的时间t₁、t₂、t₃按从小到大排序，通过查询摄像头表，输出对应摄像头所在的地址。

具体的，在本实施例中，通过自动地将每个摄像头前捕捉到的行人与该摄像头建立联系，并且在图形数据库和键值型数据库中都有对应的记录，所以根据目标行人能够得到每一个与之有关联摄像头以及出现在该摄像头前对应的时间，从而得到了基于摄像头地点按时间线串起来的轨迹路径。

如图6所示，在摄像头表中有每个摄像头的相关信息，这些信息是静态信息，基本上不会改动，根据时间排序获得行人出现的摄像头的编号可以将行人一段时间内的轨迹连起来。

在上述各实施例的基础上，还包括：

S4、基于监控对象视频图谱进行可疑团伙中心挖掘：

S401、对图数据库中每个摄像头节点相连的所有人物节点p₀、p₁…p_n按照进入摄像头时间和离开时间的平均值从小到大排序，排序后的节点是

S402、将步骤S401得到的节点序列左移一位后与原序列组合成节点对序列：

将节点对序列输入内存中计算，统计每一对节点进入摄像头时间和离开时间的平均值的差值小于阈值K₁的节点编号

记录为一个键值对

S403、对每一个摄像头重复步骤S402的过程，合并所有的键值对，如果有相同的键则将对应的值相加，输出键值对中值大于阈值K₂的键；

S404、对步骤S403中有关系的人物组建立邻接矩阵，统计每个节点的度，度最大的节点即为该人物组的中心节点。

算法的目标分为两个阶段，第一个阶段是寻找视频图谱中有共现关系的两个节点，这一部分按照摄像头的编号进行数据划分，每一组里的行人属于同一摄像头前出现的行人，按照时间先后在组内进行排序，排序完成后统计每组中符合时间差之内的前后两个行人目标，接着合并所有组中相同的两个行人目标；第二阶段是挖掘有共现关系的团伙中的中心人物，这一部分借助图上处理的算法，计算节点的度，从而得出度最大的节点。上述算法的第一部分可以在内存中迭代地计算，从而提升计算效率，第二部分也可用图的其它算法实现代替，达到提高计算速度的目标。

在上述各实施例的基础上，还包括：

S5、将步骤S2-S4所建立的图谱以及挖掘的结果在网页上展示。

S501、在图数据库上使用相应查询语言查询所有节点的编号，包括人物节点p₀、p₁…p_n和摄像头节点C₀、C₁…C_n；

S502、在键值型数据库中找到所有人物的基本信息和摄像头节点的基本信息，组成json格式的数据文件；

S503、网页前端使用D3.js解析步骤S502中的json格式的数据文件，将视频图谱的内容展示在网页上。

本实施例公开了一种面向监控的视频图谱构建和挖掘设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行执行上述各方法实施例所述的面向监控的视频图谱构建和挖掘方法的步骤。例如包括：

基于重识别获取不同监控视频中的同一监控对象，获取所述监控对象的属性信息；

基于图形数据库存储所述监控对象的对象编号，基于键值型数据库的行健存储所述监控对象的对象编号，基于键值型数据库的子健存储所述监控对象的属性信息及对应的监控视频编号，建立监控对象视频图谱；

基于所述监控对象视频图谱获取监控对象的轨迹信息。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所述的面向监控的视频图谱构建和挖掘方法的步骤，例如包括：

基于重识别获取不同监控视频中的同一监控对象，获取所述监控对象的属性信息；

基于图形数据库存储所述监控对象的对象编号，基于键值型数据库的行健存储所述监控对象的对象编号，基于键值型数据库的子健存储所述监控对象的属性信息及对应的监控视频编号，建立监控对象视频图谱；

基于所述监控对象视频图谱获取监控对象的轨迹信息。

本实施例中还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所述的面向监控的视频图谱构建和挖掘方法的步骤，例如包括：

基于重识别获取不同监控视频中的同一监控对象，获取所述监控对象的属性信息；

基于图形数据库存储所述监控对象的对象编号，基于键值型数据库的行健存储所述监控对象的对象编号，基于键值型数据库的子健存储所述监控对象的属性信息及对应的监控视频编号，建立监控对象视频图谱；

基于所述监控对象视频图谱获取监控对象的轨迹信息。

综上所述，本发明实施例提出一种面向监控的视频图谱构建和挖掘方法、设备，构建图数据库和键值型数据库作为知识图谱的数据持久化存储，利用深度卷积神经网络自动化地进行人脸识别，大幅减少人工审查的力度，使用共享的卷积神经网络和深度反卷积网络结合自动化地标注行人对象的属性，将非结构化的视频数据转化成结构化的图数据存储，能很好地满足以审查监控视频为基础的人物检索、轨迹挖掘、团伙中心挖掘等安防方面的需求，能够高效地查询节点的属性信息，能够高效地可视化展示节点之间的关联关系，使用主干信息数据库和详细信息数据库存储方式，发挥各自的优势，数据存储和检索效率高。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种面向监控的视频图谱构建和挖掘方法，其特征在于，包括：

S1、基于重识别获取不同监控视频中的同一监控对象，获取所述监控对象的属性信息；

S2、基于图形数据库存储所述监控对象的对象编号，基于键值型数据库的行健存储所述监控对象的对象编号，基于键值型数据库的子健存储所述监控对象的属性信息及对应的监控视频编号，建立监控对象视频图谱；

S3、基于所述监控对象视频图谱获取监控对象的轨迹信息；

所述步骤S3包括：

S301、根据人物的编号p，在键值型数据库的人物表中得到摄像头的编号C₁、C₂、C₃；

S302、将人物编号p和步骤S301中得到的摄像头编号C₁、C₂、C₃组合成新的行键继续在关系表中查询进入摄像头时间和离开时间两列，求两个时间的平均值得到人物在每个摄像头前出现的时间t₁、t₂、t₃；

S303、根据步骤S302得到的时间t₁、t₂、t₃按从小到大排序，通过查询摄像头表，输出对应摄像头所在的地址。

2.根据权利要求1所述的面向监控的视频图谱构建和挖掘方法，其特征在于，所述监控对象为监控视频中的任意物体，包括行人、车辆。

3.根据权利要求1所述的面向监控的视频图谱构建和挖掘方法，其特征在于，在步骤S1中，基于重识别获取不同监控视频中的同一监控对象，具体包括：

基于计算机集群对所有监控视频进行预处理，并将监控视频流按帧分割成图片流，获取含有完整监控对象信息的图片流中监控对象的唯一特征向量；

基于所述唯一特征向量建立分段哈希索引，并基于所述分段哈希索引进行监控对象重识别，获取含有监控对象的监控视频信息，并得到监控对象在所述监控视频中的进入时间、离开时间。

4.根据权利要求3所述的面向监控的视频图谱构建和挖掘方法，其特征在于，基于所述唯一特征向量建立分段哈希索引，并基于所述分段哈希索引进行监控对象重识别，具体包括：

将所述唯一特征向量转换为哈希码，并将所述哈希码均分为m段，每段的长度为

位，其中b为所述哈希码的长度；

在m段中查询与所述哈希码的汉明距离为r的候选哈希码，并基于已训练的联合贝叶斯分类器判断所述候选哈希码对应的对象是否与所述监控对象相同。

5.根据权利要求3所述的面向监控的视频图谱构建和挖掘方法，其特征在于，在步骤S1中，获取所述监控对象的属性信息，具体包括：

基于已训练的神经网络模型，对所述监控对象进行语义分割和属性标注，获取所述监控对象的属性信息。

6.根据权利要求3所述的面向监控的视频图谱构建和挖掘方法，其特征在于，基于图形数据库存储所述监控对象的唯一编号信息前，还包括：

基于所述唯一特征向量和所述属性信息进行检索，查找是否存在相同对象的记录，若选在相同对象的记录，则将相同对象的对象编号作为监控对象的编号，若不存在相同对象的记录，则重新分配一个新的对象编号。

7.根据权利要求3所述的面向监控的视频图谱构建和挖掘方法，其特征在于，所述步骤S3具体包括：

基于监控对象的对象编号，在所述键值型数据库中获取监控视频编号，并获取监控对象在各监控视频中的进入时间和离开时间；

将所述进入时间、离开时间的均值作为监控对象在对应监控视频中的出现时间，获取监控对象在各监控视频中的出现时间，所述出现时间进行排序，并基于各监控视频对应摄像头的地址，获取监控对象的轨迹信息。

8.根据权利要求7所述的面向监控的视频图谱构建和挖掘方法，其特征在于，还包括S4、基于监控对象视频图谱进行可疑团伙中心挖掘：

S401、对图形数据库中每个监控视频节点相连的所有监控对象节点p₀、p₁…p_n，并按照出现时间从小到大排序，排序后的节点是

S402、将步骤S401得到的节点序列左移一位后与原序列组合成节点对序列：

将节点对序列输入内存中计算，统计每一对节点进入时间和离开时间的平均值的差值小于阈值K₁的节点编号

记录为一个键值对

S403、对每一个监控视频重复步骤S402的过程，合并所有的键值对，如果有相同的键则将对应的值相加，输出键值对中值大于阈值K₂的键；

S404、对步骤S403中有关系的监控对象组建立邻接矩阵，统计每个节点的度，度最大的节点即为该监控对象组的中心节点。

9.根据权利要求8所述的面向监控的视频图谱构建和挖掘方法，其特征在于，还包括S5、将所述监控对象视频图谱、监控对象的轨迹信息、可疑团伙中心挖掘信息在网页上展示。

10.一种面向监控的视频图谱构建和挖掘设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9任一项所述面向监控的视频图谱构建和挖掘方法的步骤。

Images