CN107016374A - 面向特定目标的智能检测追踪及时空轨迹的生成方法 - Google Patents

Abstract

本发明公开了一种面向特定目标的智能检测追踪及时空轨迹的生成方法，包括以下步骤，A、获取具有追踪目标人脸的图像；B、对图像进行人脸检测，提取人脸特征获得特征数据；C、并行计算搜索时间范围内待搜索监控设备的视频的人脸特征，计算在该搜索时间范围内特征数据与待搜索监控设备的人脸特征的欧式距离；D、提取各待搜索监控设备欧式距离小于阈值的目标，并返回目标的时空轨迹点，所述时空轨迹点包括时间序列、监控视频编号、视频帧原图、相似度；E、根据时间序列对时空轨迹点进行排序，并根据监控编号、相似度、视频帧原图排除干扰项；F、将时空轨迹点连线得到轨迹，生成的轨迹不仅可用于侦查使用，且其准确度高。

Description

面向特定目标的智能检测追踪及时空轨迹的生成方法

技术领域

本发明涉及视频监控领域，具体涉及一种面向特定目标的智能检测追踪及时空轨迹的生成方法。

背景技术

随着对智慧城市要求的提高，越来越多的摄像头布设在城市的大街小巷用于实时监控预警以及后期检索。为了检索出特定目标并分析出其运动轨迹，需要将多个视频源作为一个***进行检索。人脸具有稳定、可靠、安全、便利等特点，人脸识别技术在轨迹搜索方面应用广泛。如申请号201510102708.2为“一种动态人脸识别方法及***”，其采用提取监控视频中最优人脸特征与重点人群数据库进行实时的比对计算，若具有高相似度的人员则实时发出预警提示。又譬如申请号201510908108.5的“分布式人脸识别轨迹搜索***和方法”，其通过对客户端输入人脸图片以及相似度阈值，在子库中进行特征对比搜索，对各个子库返回的结果进行聚合排序后得到人脸特征轨迹记录。在侦查时，采用现有轨迹搜索具有很多劣势，譬如：采用以图搜图的方式，在实际侦查中存在一些局限性，比如嫌疑人在某个时间段内的轨迹。

发明内容

本发明为了解决上述技术问题提供一种面向特定目标的智能检测追踪及时空轨迹的生成方法。

本发明通过下述技术方案实现：

面向特定目标的智能检测追踪及时空轨迹的生成方法，包括以下步骤，

A、获取具有追踪目标人脸的图像；

B、对图像进行人脸检测，提取人脸特征获得特征数据；

C、并行计算搜索时间范围内待搜索监控设备的视频的人脸特征，计算在该搜索时间范围内特征数据与待搜索监控设备的人脸特征的欧式距离；

D、提取各待搜索监控设备欧式距离小于阈值的目标，并返回目标的时空轨迹点，所述时空轨迹点包括时间序列、监控视频编号、视频帧原图、相似度；其中，轨迹点的时间序列、监控编号、相似度将在步骤E中用于轨迹点再确认；上述所返回的参数均将用于最后的结果展示；

E、根据时间序列对时空轨迹点进行排序，并根据监控编号、相似度、视频帧原图排除干扰项；

F、将时空轨迹点连线得到轨迹。

本发明可用于事后侦查，对各待搜索监控设备图像进行人脸识别后根据时间对识别后的结果进行排序生成时空轨迹点，有助于实际侦查使用，且对生成的时空轨迹点进行干扰项排除，提高了其准确性。

排序后的时空轨迹点为目标人的初步轨迹图，但是由于人脸比对过程中存在微小误检率，可能导致对时空轨迹点的误判，其对轨迹的生成影响大，故在排序后还需排除干扰项。排除干扰项的方法为：根据各待搜索监控设备安装的地理位置，判断两相邻两个时空轨迹点的时间差内目标是否可以在两者之间转移，若不可以，则舍弃该时空轨迹点；若可以，则计算两者的特征距离，若特征距离大于阈值，则舍弃该时空轨迹点，若特征距离小于阈值，则保留该时空轨迹点。

为了满足事后侦查，我们需要将具体时间、人脸特征、原始视频帧图像等进行保存。一路监控设备每秒可产生几十帧图像，每一帧图像又会有多张人脸，当对多路监控视频数据进行存储时，磁盘每秒的写入将会非常大，比如，假设每秒30帧，每帧1张人脸，1000路监控设备每秒的写入量将达到30*1*1000＝3万；在搜索查询时，需要对满足时间区间的记录进行遍历计算，即时间区间内的顺序读。

作为优选，在步骤C中，待搜索监控设备的视频的人脸特征采用Rocksdb进行存储，每一个监控设备将数据存入各自的数据库内，彼此之间独立。Rocksdb是Key-Value键值数据库，NoSQL中的一种，NoSQL即Not Only SQL，非关系型数据库。存储***的性能瓶颈主要在于磁盘的随机读写，由于Rocksdb采用的是LSM存储引擎，其优势在于通过批量转储技术，有效地规避了磁盘随机写入问题，且存入的记录是按照key值进行有序存储，非常适合大量写顺序读的场景，若是搭配SSD固态硬盘，其读写性能将会更佳。LSM即Log-StructuredMerge，日志结构的合并树。除此之外，Rocksdb提供了多种压缩算法，可选式的对数据进行压缩，从而减少存储空间。Rocksdb上述的特性，正好能满足我们的场景需求。

进一步的，人脸特征的存储方式具体为：以时间戳为Key即数据库内的数据将按照Key时间戳排序，人脸特征、原始视频帧图像、监控设备信息等为Value，将人脸特征与其他信息分别存到不同的Column Family列族。

Rocksdb中的Column Family有利于不同字段的数据既保持关联即都存储在同一个数据库又互相隔离，并且当对多个Column Family进行写入时，Rocksdb是保持原子性的。比如在存储人脸特征数据库时，整个计算过程只需要读取人脸特征，也就是说在计算时，每次只需将人脸特征从磁盘上读入内存，并不需要将原始图像也读入，为了减少磁盘IO，又不失数据之间的关联性，故而将人脸特征与其他信息分别存到不同的Column Family。之所以没有采用建多个库将人脸特征与其他信息存到不同的数据库里，是因为一条人脸特征记录必然要对应一条其他信息或原始图等，即要保持写入的原子性。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明的方法对各待搜索监控设备图像进行人脸识别后根据时间对识别后的结果进行排序生成时空轨迹点，并对时空轨迹点进行干扰项排除，生成的轨迹不仅可用于侦查使用，且其准确度高。

附图说明

图1是本发明的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

如图1所示，面向特定目标的智能检测追踪及时空轨迹的生成方法，从多摄像头的海量历史数据中智能检测追踪目标，并得到其时空轨迹，包括以下步骤，

A、获取具有追踪目标人脸的图像；

B、对图像进行人脸检测，提取人脸特征获得特征数据；

C、并行计算搜索时间范围内待搜索监控设备的视频的人脸特征，搜索时间范围可以根据需求设定，譬如，时间锁定粒度在小时，2017年01月01日至2017年01月07日，这7天内每天下午的14:00～16:00，或者是范围查询，时间锁定粒度在天数，查询2017年01月01日20:00至2017年01月02日08:00这12个小时内的轨迹；计算在该搜索时间范围内特征数据与待搜索监控设备的人脸特征的欧式距离，由于提取到的人脸特征都是一个n维向量，将目标特征数据的每一维与库中特征的每一维进行计算，设目标人的特征为 待搜索监控设备的视频的人脸特征为欧式距离的计算公式为：

其中，k表示向量的第k维。

Distance欧式距离越小，说明两个向量在特征空间的距离越近，也就是说，两者所代表的人脸越相似。当Distance小于某个阈值时，当前环节将认为此人可能是目标人。

D、提取各待搜索监控设备欧式距离小于阈值的目标，并返回目标的时空轨迹点，所述时空轨迹点包括时间序列、监控视频编号、视频帧原图、相似度；

E、根据时间序列对时空轨迹点进行排序，并根据监控编号、相似度、视频帧原图排除干扰项；

F、将时空轨迹点连线得到轨迹。

得到轨迹后，将各个时空轨迹点对应的待搜索监控设备连线，并将每一个轨迹点的时间序列TimeStamp，监控视频编号VideoNo、视频帧原图Picture，一起返回。

实施例2

本实施例在上述实施例的基础上多各步骤做了细化。

排除干扰项的方法很多，现举例说明。

排序后的时空轨迹点即为目标人的初步轨迹图，排除初步轨迹图中干扰项的方法为：根据各待搜索监控设备安装的地理位置，判断两相邻两个时空轨迹点的时间差内目标是否可以在两者之间转移，若不可以在两者之间转移，则舍弃该时空轨迹点，此处的不行指无论采用何种交通工具都不可以在两者之间转移，譬如步行、搭乘交通工具；若可以在两者之间转移，则计算两者的特征距离，若特征距离大于阈值，则舍弃该时空轨迹点，若特征距离小于阈值，则说明这两个相邻的时空轨迹点很有可能是同一个人，这两个时空轨迹点是可取的。

采用上述方法可能存在误删的可能，使得轨迹点不准确，对后续目标跟踪监测造成误导，为了提高对干扰项排除的准确性，现公开另一实施方式。

所述步骤E具体方法为，

E1、根据各待搜索监控设备的时间序列对其进行排序，计算相邻两个待搜索监控设备之间的时间差Δt和两者之间的距离差Δs；

E2、根据时间差Δt、距离差Δs，判断目标是否可以在两者之间转移，若可以，则进入步骤E5；若不可以，则进入步骤E3；

E3、分别计算相邻两个待搜索监控设备与后一个待搜索监控设备的时间差Δt和距离差Δs，并根据步骤E2的方法与判断目标是否可在两者之间转移，若均可以，则进入步骤E4；若一个待搜索监控设备与后一个待搜索监控设备时间差内目标不能转移，则舍弃该待搜索监控设备，进入步骤E5；若两者与后一个待搜索监控设备在时间差内目标均不能转移，则将两者与排在后的第二个待搜索监控设备按此方法进行比对；若两者与排在后的第二个待搜索监控设备在时间差内目标均不能转移，则将两者与排在后的第三个待搜索监控设备按此方法进行比对；若两者与排在后的第三个待搜索监控设备在时间差内目标均不能转移，则保留两者中相似度最高的待搜索监控设备，进入步骤E5；

E4、分别计算相邻两个待搜索监控设备与后一个待搜索监控设备的原始图中人脸的特征距离，得到相似度，结合与目标的相似度、以及与后一个待搜索监控设备轨迹点的相似度，取综合相似度最高的点对应的待搜索监控设备；

E5、是否是最后一个轨迹点，若是，则连接剩余的轨迹点；若不是，则继续步骤E1至E4。

现以具体实施例对上方法进行详细说明。

假设按照时间升序后的轨迹点序列为A、B、C、D、……、N，这些轨迹点均是满足特征距离小于阈值的，每一个轨迹点包含时间戳、原始图、监控设备编号、与输入的目标人的相似度等。

E1、我们从最早的轨迹点开始，比较A与B，计算两者之间的时间差Δt，两者所述监控实际地理距离Δs。

E2、先判断在Δt时间内，目标人是否能移动Δs的距离，不管是采用步行还是交通工具都考虑在内；

i)若存在空间的可移动性，AB两点均保留，进入E5；

ii)若不可能，进入下一步E3。

E3、空间上AB两点是冲突的，此时加入额外轨迹点参与判断。

i)先根据步骤E2判断AC、BC的空间可行性，若AC冲突且BC不冲突，则剔除A保留B，进入E5；

ii)若AC、BC空间上均不冲突，进入下一步E4；

iii)若AC、BC空间上均冲突，将A、B与轨迹点D进行比对，重复步骤E2；最多额外与三个轨迹点进行比对，如：最多与C、D、E三个点比对；若仍然无法判定AB，则保留相似度最高的，即max{相似度(A,目标人),相似度(B,目标人)}；跳到步骤E5。

E4、比对AC、BC，计算AC、BC的原始图中人脸的特征距离Distance，得出A与C、B与C的相似度，也就是判断A和C的原始视频帧中的人脸是不是同一个人；

结合与目标对象的相似度、以及与轨迹点C的相似度；取综合相似度最高的点如：若{相似度(A,目标人)+相似度(A,C)}<{相似度(B,目标人)+相似度(B,C)}，则剔除点轨迹点A，保留轨迹点B；

E5、是否是最后一个轨迹点，若是，判定流程结束，将剩余的轨迹点连线；

若不是，继续判定下一个轨迹点，将其与临近的已保留轨迹点进行比对，重复E1；例如：已保留轨迹点中有AB，下一轨迹点D，假设排除了C,，比较的将是D和B。

实施例3

本实施例在上述实施例的基础上公开一监控视频历史数据的存储方案。

待搜索监控设备的监控视频历史数据量大，为了满足按时间、地点范围搜索的需求，采用下列存储方案：在步骤C中，待搜索监控设备的视频的人脸特征采用Rocksdb按照时间进行存储。

使用Rocksdb存储人脸特征数据库，Rocksdb是个Key-Value键-值数据库，能有效解决高并发随机写，以及海量存储的需要，配合SSD能提供非常高的随机读，并且存入时Key有序；而Column Family列族有利于隔离数据，但是存储在同一个数据库中，比如在存储人脸特征数据库时，整个计算过程只需要人脸特征，而原始视频帧图像只用于在返回结果展示。人脸特征数据库和原始视频帧图像均使用Rocksdb存储，存在不同的列族之中。以下面的例子说明，先创建监控X的数据库，比如名字就叫db_X，在这个数据库中，每一条记录会有两个Column Family——人脸特征、其他信息。

人脸特征的存储方式具体为：以时间戳为Key，人脸特征、原始视频帧图像为Value，人脸特征、原始图像各属不同的Column Family进行存储。

如下所示，假设在2017年1月1日早上10:10:10，监控X捕获到了甲和乙二人，在监控X的数据库里，实际的存储将会如下：

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.面向特定目标的智能检测追踪及时空轨迹的生成方法，其特征在于，包括以下步骤，

A、获取具有追踪目标人脸的图像；

B、对图像进行人脸检测，提取人脸特征获得特征数据；

C、并行计算搜索时间范围内待搜索监控设备的视频的人脸特征，计算在该搜索时间范围内特征数据与待搜索监控设备的人脸特征的欧式距离；

D、提取各待搜索监控设备欧式距离小于阈值的目标，并返回目标的时空轨迹点，所述时空轨迹点包括时间序列、监控视频编号、视频帧原图、相似度；

E、根据时间序列对时空轨迹点进行排序，并根据监控编号、相似度、视频帧原图排除干扰项；

F、将时空轨迹点连线得到轨迹。

2.根据权利要求1所述的面向特定目标的智能检测追踪及时空轨迹的生成方法，其特征在于：步骤E中，排除干扰项的方法为：根据各待搜索监控设备安装的地理位置，判断两相邻两个时空轨迹点的时间差内目标是否可以在两者之间转移，若不可以，则舍弃该时空轨迹点；若可以，则计算两者的特征距离，若特征距离大于阈值，则舍弃该时空轨迹点，若特征距离小于阈值，则保留该时空轨迹点。

3.根据权利要求1所述的面向特定目标的智能检测追踪及时空轨迹的生成方法，其特征在于：所述步骤E具体方法为，

E1、根据各待搜索监控设备的时间序列对其进行排序，计算相邻两个待搜索监控设备之间的时间差Δt和两者之间的距离差Δs；

E2、根据时间差Δt、距离差Δs，判断目标是否可以在两者之间转移，若可以，则进入步骤E5；若不可以，则进入步骤E3；

E3、分别计算相邻两个待搜索监控设备与后一个待搜索监控设备的时间差Δt和距离差Δs，并根据步骤E2的方法与判断目标是否可在两者之间转移，若均可以，则进入步骤E4；若一个待搜索监控设备与后一个待搜索监控设备时间差内目标不能转移，则舍弃该待搜索监控设备；若两者与后一个待搜索监控设备在时间差内目标均不能转移，则将两者与排在后的第二个待搜索监控设备按此方法进行比对；若两者与排在后的第二个待搜索监控设备在时间差内目标均不能转移，则将两者与排在后的第三个待搜索监控设备按此方法进行比对；若两者与排在后的第三个待搜索监控设备在时间差内目标均不能转移，则保留两者中相似度最高的待搜索监控设备，进入步骤E5；

E4、分别计算相邻两个待搜索监控设备与后一个待搜索监控设备的原始图中人脸的特征距离，得到相似度，结合与目标的相似度、以及与后一个待搜索监控设备轨迹点的相似度，取综合相似度最高的点对应的待搜索监控设备；

E5、是否是最后一个轨迹点，若是，则连接剩余的轨迹点；若不是，则继续步骤E1至E4。

4.根据权利要求1所述的面向特定目标的智能检测追踪及时空轨迹的生成方法，其特征在于，在步骤C中，待搜索监控设备的视频的人脸特征采用Rocksdb按照时间进行存储。

5.根据权利要求4所述的面向特定目标的智能检测追踪及时空轨迹的生成方法，其特征在于，人脸特征的存储方式具体为：以时间戳为Key，人脸特征、原始视频帧图像为Value，人脸特征、原始图像各属不同的Column Family进行存储。

6.根据权利要求1所述的面向特定目标的智能检测追踪及时空轨迹的生成方法，其特征在于，数值化后的人脸特征都是一个n维向量，目标人的特征为 待搜索监控设备的视频的人脸特征为两者的欧氏距离计算方法公式如下：

其中，k表示向量的第k维。