CN114693746A - 基于身份识别和跨摄像头目标追踪的智能监控***及方法 - Google Patents

基于身份识别和跨摄像头目标追踪的智能监控***及方法 Download PDF

Info

Publication number
CN114693746A
CN114693746A CN202210335008.8A CN202210335008A CN114693746A CN 114693746 A CN114693746 A CN 114693746A CN 202210335008 A CN202210335008 A CN 202210335008A CN 114693746 A CN114693746 A CN 114693746A
Authority
CN
China
Prior art keywords
camera
frame
pedestrian
track
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210335008.8A
Other languages
English (en)
Inventor
贺宇航
余文涛
韩洁
魏星
龚怡宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210335008.8A priority Critical patent/CN114693746A/zh
Publication of CN114693746A publication Critical patent/CN114693746A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

基于身份识别和跨摄像头目标追踪的智能监控***及方法，数据读取模块用于并行获取多路摄像头的视频流数据；身份注册模块用于将所述数据读取模块中每个摄像头获取的视频进行目标检测和人脸识别，并采用中心点距离贪婪匹配策略，将人脸信息与行人检测框绑定，得到带有目标身份信息的初始轨迹；单摄像头行人追踪模块用于在多路摄像头下并行进行目标检测、采用匈牙利算法基于外观信息和运动信息进行数据关联，得到目标在单摄像头下的追踪轨迹；跨摄像头行人轨迹匹配模块用于基于局部轨迹的外观特征、运动特征以及位置特征进行跨摄像头轨迹匹配，为每个目标生成一条跨摄像头的全局轨迹。本发明可以高效地实现实时的目标身份识别与跨摄像轨迹生成。

Description

基于身份识别和跨摄像头目标追踪的智能监控***及方法
技术领域
本发明属于智能视频监控技术领域，具体涉及一种基于身份识别和跨摄像头目标追踪的智能监控***及方法。
背景技术
跨摄像头多目标追踪，旨在利用多摄像头组成的监控网络实现对不同目标长时间、大范围的追踪，并为每个目标生成一条完整的追踪轨迹。相比于单摄像头追踪，跨摄像头追踪能够在更广范围内持续追踪目标，是视频监控、行为分析、智能交通等领域的重要基础技术，为智慧城市的发展带来重要的实际应用价值。例如，在商场环境下，通过追踪顾客的购物轨迹来对其消费行为进行分析，进而实现消费结构的优化升级，获得更大的经济效益。
与单摄像头多目标追踪相比，跨摄像头多目标追踪的任务主要关注不同摄像头间的轨迹匹配，其难点主要体现在以下三个方面：一是拍摄角度、拍摄距离及光线条件等因素导致的不同摄像头下目标的外观差异明显；二是摄像头间存在视野盲区，导致不同摄像头间目标运动信息缺失；三是由于目标总数未知，跨摄像头轨迹匹配关系不定。
目前，跨摄像头目标追踪方法一般基于目标检测、单摄像头下数据关联和跨摄像头轨迹匹配三个核心算法。在跨摄像头轨迹匹配技术中，主要使用摄像标定和特征匹配的方法。正如之前所述，针对复杂场景下多个目标的追踪问题，使用特征匹配的方法由于拍摄角度、距离等因素的影响具有极大的挑战。而使用摄像设备标定的方法对摄像头的布设方式具有较高的要求，需要不同摄像头的视野间具有重叠区域。由于在实际应用场景中对追踪***的精度、鲁棒性和实时性要求，目前算法在实际应用场景中不能满足需求，在追踪精度和资源开销方面都需要进行进一步优化。
发明内容
针对现有技术的缺陷，本发明提出了一种基于身份识别和跨摄像头目标追踪的智能监控***及方法，在尽可能高效地利用计算资源的情况下能够较为准确地进行目标追踪。
本发明采用如下技术方案来实现的：
基于身份识别和跨摄像头目标追踪的智能监控方法，包括以下步骤：
1)数据读取模块并行获取多路摄像头的视频流数据；
2)身份注册模块将所述数据读取模块中每个摄像头获取的视频流按帧进行切分，对每一帧图像进行目标检测和人脸识别，并采用中心点距离贪婪匹配策略，将人脸信息与行人检测框进行绑定，得到带有真实身份的初始轨迹；
3)单摄像头行人追踪模块在多路摄像头下并行进行目标检测、行人特征提取以及采用匈牙利算法基于外观信息和运动信息进行数据关联，得到目标在单摄像头下的运动轨迹；
4)跨摄像头行人轨迹匹配模块根据局部轨迹的外观特征、运动特征以及位置特征对轨迹和目标进行匹配，为每个目标生成跨摄像头下的全局轨迹。
本发明进一步的改进在于，步骤1)中，数据读取模块基于多进程策略，为每一路摄像头创建一个多进程读取队列，子进程A通过rtsp协议从视频流中不断读取每一帧图像，并放入多进程读取队列中，子进程B不断从多进程读取队列中将图片取出进行处理，然后送入后续子进程模块中。
本发明进一步的改进在于，步骤2)中，身份注册模块对数据读取模块得到的每一个摄像头下的逐帧图像，基于目标检测装置与人脸识别装置分别得到图像中的行人检测框、人脸检测框以及人脸识别结果，通过计算行人检测框与人脸检测框的交并比以及位置信息过滤掉不合理的匹配后，再基于行人检测框上中点与人脸检测框中心点的欧式距离进行贪婪匹配，将人脸识别结果与行人检测框进行绑定，从而得到带有真实身份的初始化轨迹。
本发明进一步的改进在于，目标检测装置使用Yolov4算法得到图像中的行人检测框，行人检测框包含参数(xp,yp,wp,hp)，其中，(xp,yp)为行人检测框左上点坐标，wp和hp分别为框的宽和高；所述人脸识别装置使用InsightFace算法得到人脸检测框和人脸识别结果，人脸检测框包含参数(xf,yf,wf,hf)和r，其中(xf,yf)为人脸检测框左上点坐标，wf和hf分别为框的宽和高，r为人脸识别结果；所述基于行人检测框上中点与人脸检测框中心点的欧式距离进行贪婪匹配包括：
S41：构建一个M行N列的二维矩阵D以表示人脸检测框与行人检测框的位置距离，其中M为当前帧中行人检测框的数量，N为人脸检测框的数量，距离矩阵D的初始值为∞；
用di表示第i个行人检测框，fj表示第j个人脸检测框，其中i∈[1,M],j∈[1,N]；
S42：计算行人检测框di与人脸检测框fj的交并比IOUi,j，同时在水平方向上通过判断人脸检测框fj是否包含行人检测框di的中点来过滤不合理的匹配关系；
S43：依据人脸检测框与行人检测框的重合程度来调整距离矩阵D：
Figure BDA0003576472450000031
其中，
Figure BDA0003576472450000032
为行人检测框di的上中点，
Figure BDA0003576472450000033
为人脸检测框fj的中心点；
S44：对所有行人检测框与人脸检测框进行所述S42、S43步骤，基于调整后的距离矩阵D，使用贪婪匹配策略为每一个行人检测框选择与其距离最小的人脸检测框作为匹配结果，加入匹配列表Mlist中；
S45：根据匹配列表Mlist，将行人检测框与人脸识别结果进行绑定，完成带有真实身份的轨迹初始化工作。
本发明进一步的改进在于，步骤3)中，单摄像头行人追踪模块采用多进程策略，使得多路摄像头能够相互独立并行进行单摄像头下多目标追踪；为每一路摄像头分配三个子进程，分别进行行人目标检测、行人身份重识别以及利用匈牙利算法基于外观信息和运动信息进行帧间数据关联，子进程之间通过多进程消息队列进行消息传递：
S51：行人目标检测子进程不断从读取队列得到逐帧图像信息，完成目标检测后将逐帧检测结果及图像信息存入检测队列中；
S52：行人身份重识别子进程不断从检测队列得到逐帧检测结果及图像信息，完成特征提取后将逐帧检测结果和行人特征存入特征队列中；
S53：数据关联子进程不断从特征队列得到逐帧检测结果和行人特征，将上一帧的追踪结果经过卡尔曼滤波器得到当前帧的预测结果，综合运动信息和外观信息使用匈牙利算法将上一帧的轨迹与当前帧的检测结果进行数据关联；
S54：在每路摄像头下完成所述S51、S52、S53步骤，得到行人在单个摄像头下的运动轨迹，将各个摄像头下的追踪结果传入共享文件夹中供跨摄像头行人轨迹匹配模块使用，摄像头下的追踪结果包括摄像头编号、当前帧数、轨迹编号、身份信息、追踪框位置、行人特征和人脸特征。
本发明进一步的改进在于，步骤4)中，具体实现方法如下：
S61：采用多进程策略并行获取各个摄像头下追踪得到的局部轨迹；
S62：使用Reid特征来表征各摄像头下局部轨迹的外观特征；
S63：将各摄像头下的局部轨迹投影到同一参考坐标系中，并使用同一参考坐标系中的位置来表征局部轨迹的位置特征；
S64：根据身份注册模块获取当前场景需要追踪的所有目标；
S65：基于外观特征和位置特征，使用级联匹配策略将局部轨迹与目标进行匹配，得到跨摄像头下行人的全局轨迹。
本发明进一步的改进在于，在所述步骤S62中，表征局部轨迹外观特征的方法为：
设
Figure BDA0003576472450000041
为第i个摄像头下的局部轨迹集合
Figure BDA0003576472450000042
中的第u条轨迹，用
Figure BDA0003576472450000043
和
Figure BDA0003576472450000044
分别表示局部轨迹
Figure BDA0003576472450000045
在t时刻对应追踪框的宽和高，通过如下公式，局部轨迹
Figure BDA0003576472450000046
的外观特征可表征为t*时刻追踪框的行人特征：
Figure BDA0003576472450000051
在所述步骤S63中，将各摄像头下的局部轨迹投影到参考坐标系的方法为：
用
Figure BDA0003576472450000052
表示第i个摄像头下的第u条局部轨迹
Figure BDA0003576472450000053
在t时刻对应追踪框的左上顶点在图像中的位置，其中
Figure BDA0003576472450000054
分别为横坐标和纵坐标，利用如下公式可获得该追踪框在参考坐标系中的投影位置：
Figure BDA0003576472450000055
其中，Hi为第i个相机和参考平面间的映射矩阵，该映射矩阵是根据相机的标定参数计算得到的，即Hi＝R(Ki[Ri,Ti],[1,2,4])，其中，[·,·]为矩阵列拼接函数，R(·,[1,2,4])代表将输入矩阵的1,2,4列拼接成一个新的矩阵，Ki,Ri,Ti分别为第i个相机的内参矩阵、外参旋转矩阵和外参平移向量；
在所述步骤S65中，级联匹配步骤包括：
(1)基于步骤S63的位置特征建立各局部轨迹与各目标之间的位置相似度度量矩阵；
(2)根据位置相似度度量矩阵，使用贪婪匹配策略将局部轨迹与目标进行匹配；
(3)根据步骤S62获得的外观特征对步骤(2)未匹配成功的轨迹再次匹配。
基于身份识别和跨摄像头目标追踪的智能监控***，包括：
控制单元，用于控制整个基于身份识别和跨摄像头目标追踪的智能监控***的启动和关闭，并控制追踪***中不同单元之间的调度；
摄像单元，用于获取行人的相关视频流数据；
计算单元，用于对获取的视频流数据进行图像预处理、人脸识别、目标检测、特征提取以及目标追踪等操作；
显示单元，用于对单摄像头下行人的实时追踪结果、行人的跨摄像头追踪轨迹，以及从追踪轨迹提取出的相关信息进行展示。
本发明进一步的改进在于，还包括：
交换机，用于控制单元与摄像单元、计算单元和显示单元间的通信耦合，也用于计算单元与摄像单元和显示单元间的通信耦合。
本发明进一步的改进在于，所述摄像单元包括RGB摄像头网络和热红外摄像头网络；所述RGB摄像头网络是用于获取当前场景的RGB光学图像，RGB摄像头网络的布设方式是多个摄像头的视野能够覆盖整个场景，摄像头分布均匀，且不同摄像头的视野范围是具有重叠的；所述热红外摄像头网络是用于在夜间及光照不充分的情况下获取当前场景的热红外图像，用于弥补RGB摄像头在光照不足条件下的缺陷，热红外摄像头网络的布设方式与RGB摄像头网络保持一致；
所述计算单元是由多台具有GPU的计算节点通过交换机进行分布式部署实现的；
所述显示单元包括触摸屏在内的各种类型的显示器。
本发明至少具有如下有益的技术效果：
本发明提供了基于身份识别和跨摄像头目标追踪的智能监控方法，通过对并行获取的多路视频流按帧进行切分，对每帧图像进行目标检测和人脸识别，并采用中心点距离贪婪匹配策略，将人脸信息与行人检测框绑定，得到带有真实身份的初始轨迹；然后在多路摄像头下并行进行目标检测、行人特征提取以及采用匈牙利算法基于外观信息和运动信息进行数据关联，得到目标在单摄像头下的运动轨迹；最后根据局部轨迹的外观特征、运动特征以及位置特征对轨迹和目标进行匹配，为每个目标生成跨摄像头下的全局轨迹。本发明利用目标的视觉信息和运动信息，在尽可能高效地利用计算资源的情况下较为准确地进行单摄像头下行人的实时追踪以及跨摄像头下行人全局轨迹的生成。
本发明提供的基于身份识别和跨摄像头目标追踪的智能监控***，通过人脸识别***，可以实现对追踪目标的身份识别，通过长期的对人员进行信息收集与分析，得以实现对目标的行为习惯、兴趣爱好的统计。同时，利用跨摄像头目标追踪技术，可以对场景内的人员实现无间断追踪，可以无缝地对目标进行全程追踪，在无人超市、大型商场有着重要的应用价值。在跨摄像头多目标追踪数据集EPFL上，本监控***精度大大超过现有方法：
附图说明
图1是本发明一实施例提供的基于身份识别和跨摄像头目标追踪的智能监控***的结构示意图。
图2是本发明一实施例提供的基于身份识别和跨摄像头目标追踪的智能监控方法的流程示意图。
图3是本发明一实施例提供的基于身份识别和跨摄像头目标追踪的智能监控***物理架构示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明一实施例中的基于身份识别和跨摄像头目标追踪的智能监控***的结构示意图，所述方法包括：数据读取模块、身份注册模块、单摄像头行人追踪模块以及跨摄像头行人轨迹匹配模块。
1)数据读取模块，具体实现方式为：
基于多进程策略，为每一路摄像头创建一个多进程读取队列，子进程A通过rtsp协议从视频流中不断读取每一帧图像，并放入多进程读取队列中，子进程B不断从多进程读取队列中将图片取出进行处理，然后送入后续子进程模块中。
2)身份注册模块，具体实现方式为：
对于数据读取模块得到的每一个摄像头下的逐帧图像，基于目标检测装置与人脸识别装置分别得到图像中的行人检测框、人脸检测框以及人脸识别结果，通过计算行人检测框与人脸检测框的交并比以及位置信息过滤不合理的匹配后，再基于行人检测框上中点与人脸检测框中心点的欧式距离进行贪婪匹配，将人脸识别结果与行人检测框进行绑定，从而可以得到带有真实身份的初始化轨迹。
其中，所述目标检测装置使用Yolov4算法得到图像中的行人检测框，行人检测框包含参数(xp,yp,wp,hp)，其中，(xp,yp)为行人检测框左上点坐标，wp和hp分别为框的宽和高；所述人脸识别装置使用InsightFace算法得到人脸检测框和人脸识别结果，人脸检测框包含参数(xf,yf,wf,hf)和r，其中，(xf,yf)为人脸检测框左上点坐标，wf和hf分别为框的宽和高，r为人脸识别结果；所述中心点距离贪婪匹配策略包括：
S21：构建一个M行N列的二维矩阵D以表示人脸检测框与行人检测框的位置距离，其中M为当前帧中行人检测框的数量，N为人脸检测框的数量，距离矩阵D的初始值为∞；
用di表示第i个行人检测框，fj表示第j个人脸检测框，其中i∈[1,M],j∈[1,N]；
S22：计算行人检测框di与人脸检测框fj的交并比IOUi,j，同时在水平方向上通过判断人脸检测框fj是否包含行人检测框di的中点来过滤不合理的匹配关系；
S23：依据人脸检测框与行人检测框的重合程度来调整距离矩阵D：
Figure BDA0003576472450000081
其中，
Figure BDA0003576472450000082
为行人检测框di的上中点，
Figure BDA0003576472450000083
为人脸检测框fj的中心点；
S24：对所有行人检测框与人脸检测框进行所述S22、S23步骤，基于调整后的距离矩阵D，使用贪婪匹配策略为每一个行人检测框选择与其距离最小的人脸检测框作为匹配结果，加入匹配列表Mlist中。
S25：根据匹配列表Mlist，将行人检测框与人脸识别结果进行绑定，完成带有真实身份的轨迹初始化工作。
3)单摄像头行人追踪模块，具体实现方式为：
采用多进程策略，使得多路摄像头可以相互独立并行进行单摄像头下多目标追踪；为每一路摄像头分配三个子进程，分别进行行人目标检测、行人身份重识别以及利用匈牙利算法基于外观信息和运动信息进行帧间数据关联，子进程之间通过多进程消息队列进行消息传递：
S31：行人目标检测子进程不断从读取队列得到逐帧图像信息，完成目标检测后将逐帧检测结果及图像信息存入检测队列中；
S32：行人身份重识别子进程不断从检测队列得到逐帧检测结果及图像信息，完成特征提取后将逐帧检测结果和行人特征存入特征队列中；
S33：数据关联子进程不断从特征队列得到逐帧检测结果和行人特征，将上一帧的追踪结果经过卡尔曼滤波器得到当前帧的预测结果，综合运动信息和外观信息使用匈牙利算法将上一帧的轨迹与当前帧的检测结果进行数据关联。
S34：在每路摄像头下完成所述前三步步骤，得到行人在单个摄像头下的运动轨迹，将各个摄像头下的追踪结果(摄像头编号、当前帧数、轨迹编号、身份信息、追踪框位置、行人特征、人脸特征)传入共享文件夹中供跨摄像头行人轨迹匹配模块使用。
4)跨摄像头行人轨迹匹配模块，具体实现方式为：
S41：采用多进程策略从共享文件夹中并行获取各个摄像头下追踪得到的局部轨迹。
S42：使用Reid特征来表征各摄像头下局部轨迹的外观特征。
具体地，设
Figure BDA0003576472450000091
为第i个摄像头下的局部轨迹集合
Figure BDA0003576472450000092
中的第u条轨迹，用
Figure BDA0003576472450000093
和
Figure BDA0003576472450000094
分别表示局部轨迹
Figure BDA0003576472450000095
在t时刻对应追踪框的宽和高，通过如下公式，局部轨迹
Figure BDA0003576472450000096
的外观特征可表征为t*时刻追踪框的行人特征：
Figure BDA0003576472450000097
S43：将各摄像头下的局部轨迹投影到同一参考坐标系中，并使用同一参考坐标系中的位置来表征局部轨迹的位置特征。
具体来说，利用各个相机的标定信息，将各摄像头下产生的局部轨迹映射到世界坐标系平面内，使得属于同一ID的轨迹在参考平面内位置相近，而属于不同ID的轨迹在参考平面内位置相远。具体操作方法为：用
Figure BDA0003576472450000101
表示第i个摄像头下的第u条局部轨迹
Figure BDA0003576472450000102
在t时刻对应追踪框的左上顶点在图像中的位置，其中
Figure BDA0003576472450000103
分别为横坐标和纵坐标，利用如下公式可获得该追踪框在参考坐标系中的投影位置：
Figure BDA0003576472450000104
其中，Hi为第i个相机和参考平面间的映射矩阵，该映射矩阵是根据相机的标定参数计算得到的，即Hi＝R(Ki[Ri,Ti],[1,2,4])，其中，[·,·]为矩阵列拼接函数，R(·,[1,2,4])代表将输入矩阵的1,2,4列拼接成一个新的矩阵，Ki,Ri,Ti分别为第i个相机的内参矩阵、外参旋转矩阵和外参平移向量。
S44：根据注册登记模块获取当前场景需要追踪的所有目标；
S45：基于外观特征和位置特征，使用级联匹配策略将局部轨迹与目标进行匹配，得到跨摄像头下行人的全局轨迹，具体级联匹配步骤为：
(1)基于S43的位置特征建立各局部轨迹与各目标之间的相似度度量矩阵，具体地，使用欧式距离来度量同一参考系中两个位置之间的距离。
(2)根据位置相似度度量矩阵，使用贪婪匹配策略将局部轨迹与目标进行匹配；
(3)根据S42获得的外观特征对上一步中未匹配成功的轨迹再次匹配，具体来说，使用马氏距离度量外观特征间的距离。
图3是本发明一实施例中的基于身份识别和跨摄像头目标追踪的智能监控***100的物理架构示意图，能够在室内或室外的全天候场景下自动对行人进行跨摄像头追踪。
控制单元102，用于控制整个基于身份识别和跨摄像头目标追踪的智能监控***100的启动和关闭，并控制整个追踪***中不同单元之间的调度。控制单元102与摄像单元104通信耦合，向摄像单元104提供相应的控制指令或控制信号，以控制基于身份识别和跨摄像头目标追踪的智能监控***100对图像的采集工作。控制单元102与计算单元110通信耦合，用于控制基于身份识别和跨摄像头目标追踪的智能监控***100对图像的一系列处理工作。
摄像单元104，用于获取室内或室外全天候场景下行人的相关视频流数据，可通过交换机将图像传输给计算单元110进行处理。
计算单元110，用于对摄像单元104获取的视频数据进行计算处理，包括图像预处理、人脸识别、目标检测、特征提取、单摄像头目标追踪和跨摄像头轨迹匹配等操作。计算单元110是由多台具有GPU的计算节点通过交换机进行分布式部署实现的。计算单元110计算处理得到的结果通过控制单元102可提供给显示单元112进行显示。
显示单元112，用于结果展示，主要展示单摄像头下行人的实时追踪结果，个人的跨摄像头追踪轨迹，以及从追踪轨迹提取出的相关信息等内容。控制单元102发出控制指令和控制信号，将计算单元110处理的结果提供给显示单元112进行显示。显示单元112包括触摸屏在内的各种类型的显示器。
如图3所示，基于身份识别和跨摄像头目标追踪的智能监控***还包括交换机114，用于控制单元102与摄像单元104、计算单元110、显示单元112间的通信耦合，也用于计算单元110与摄像单元104、显示单元112间的通信耦合，为基于身份识别和跨摄像头目标追踪的智能监控***100中不同设备间的通信提供协调和中转服务。
如图3所示，摄像单元104包括RGB摄像头网络106和热红外摄像头网络108，用于实现对全天候场景的图像捕获，为全天候场景的行人追踪提供可用的数据。其中RGB摄像头网络106是用于获取当前场景的RGB光学图像。RGB摄像头网络的布设方式是多个摄像头的视野能够覆盖整个场景，摄像头分布均匀，且不同摄像头的视野范围是具有重叠的。热红外摄像头网络108是用于在夜间及光照不充分的情况下获取当前场景的热红外图像，用于弥补RGB摄像头在光照不足条件下的缺陷。热红外摄像头网络的布设方式与RGB摄像头网络保持一致。
实施案例：
本发明已实际应用到一个科技技术展厅内，对展厅内的人员进行行为监控与分析。首先对进入展厅的人员进行人脸识别，而后对其在展厅内的活动轨迹进行全程追踪。通过对各个展区内的人员进行追踪，可以得到各个展区不同时间段的参观人数；而通过对人员的在整个展厅内的轨迹进行分析，可以进一步完成对人员进行现场快照、分析历史参观信息并进行相应的感兴趣内容推荐。
在跨摄像头多目标追踪数据集EPFL上，本监控***精度大大超过现有方法，如表1：
表1：EPFL数据集上性能比较。可以看出，本发明显著优于现有方法。
Figure BDA0003576472450000121
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，包括以下步骤：
1)数据读取模块并行获取多路摄像头的视频流数据；
2)身份注册模块将所述数据读取模块中每个摄像头获取的视频流按帧进行切分，对每一帧图像进行目标检测和人脸识别，并采用中心点距离贪婪匹配策略，将人脸信息与行人检测框进行绑定，得到带有真实身份的初始轨迹；
3)单摄像头行人追踪模块在多路摄像头下并行进行目标检测、行人特征提取以及采用匈牙利算法基于外观信息和运动信息进行数据关联，得到目标在单摄像头下的运动轨迹；
4)跨摄像头行人轨迹匹配模块根据局部轨迹的外观特征、运动特征以及位置特征对轨迹和目标进行匹配，为每个目标生成跨摄像头下的全局轨迹。
2.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，步骤1)中，数据读取模块基于多进程策略，为每一路摄像头创建一个多进程读取队列，子进程A通过rtsp协议从视频流中不断读取每一帧图像，并放入多进程读取队列中，子进程B不断从多进程读取队列中将图片取出进行处理，然后送入后续子进程模块中。
3.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，步骤2)中，身份注册模块对数据读取模块得到的每一个摄像头下的逐帧图像，基于目标检测装置与人脸识别装置分别得到图像中的行人检测框、人脸检测框以及人脸识别结果，通过计算行人检测框与人脸检测框的交并比以及位置信息过滤掉不合理的匹配后，再基于行人检测框上中点与人脸检测框中心点的欧式距离进行贪婪匹配，将人脸识别结果与行人检测框进行绑定，从而得到带有真实身份的初始化轨迹。
4.根据权利要求3所述的基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，目标检测装置使用Yolov4算法得到图像中的行人检测框，行人检测框包含参数(xp，yp，wp，hp)，其中，(xp，yp)为行人检测框左上点坐标，wp和hp分别为框的宽和高；所述人脸识别装置使用InsightFace算法得到人脸检测框和人脸识别结果，人脸检测框包含参数(xf，yf，wf，hf)和r，其中(xf，yf)为人脸检测框左上点坐标，wf和hf分别为框的宽和高，r为人脸识别结果；所述基于行人检测框上中点与人脸检测框中心点的欧式距离进行贪婪匹配包括：
S41：构建一个M行N列的二维矩阵D以表示人脸检测框与行人检测框的位置距离，其中M为当前帧中行人检测框的数量，N为人脸检测框的数量，距离矩阵D的初始值为∞；
用di表示第i个行人检测框，fj表示第j个人脸检测框，其中i∈[1，M]，j∈[1，N]；
S42：计算行人检测框di与人脸检测框fj的交并比IOUi，j，同时在水平方向上通过判断人脸检测框fj是否包含行人检测框di的中点来过滤不合理的匹配关系；
S43：依据人脸检测框与行人检测框的重合程度来调整距离矩阵D：
Figure FDA0003576472440000021
其中，
Figure FDA0003576472440000022
为行人检测框di的上中点，
Figure FDA0003576472440000023
为人脸检测框fj的中心点；
S44：对所有行人检测框与人脸检测框进行所述S42、S43步骤，基于调整后的距离矩阵D，使用贪婪匹配策略为每一个行人检测框选择与其距离最小的人脸检测框作为匹配结果，加入匹配列表Mlist中；
S45：根据匹配列表Mlist，将行人检测框与人脸识别结果进行绑定，完成带有真实身份的轨迹初始化工作。
5.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，步骤3)中，单摄像头行人追踪模块采用多进程策略，使得多路摄像头能够相互独立并行进行单摄像头下多目标追踪；为每一路摄像头分配三个子进程，分别进行行人目标检测、行人身份重识别以及利用匈牙利算法基于外观信息和运动信息进行帧间数据关联，子进程之间通过多进程消息队列进行消息传递：
S51：行人目标检测子进程不断从读取队列得到逐帧图像信息，完成目标检测后将逐帧检测结果及图像信息存入检测队列中；
S52：行人身份重识别子进程不断从检测队列得到逐帧检测结果及图像信息，完成特征提取后将逐帧检测结果和行人特征存入特征队列中；
S53：数据关联子进程不断从特征队列得到逐帧检测结果和行人特征，将上一帧的追踪结果经过卡尔曼滤波器得到当前帧的预测结果，综合运动信息和外观信息使用匈牙利算法将上一帧的轨迹与当前帧的检测结果进行数据关联；
S54：在每路摄像头下完成所述S51、S52、S53步骤，得到行人在单个摄像头下的运动轨迹，将各个摄像头下的追踪结果传入共享文件夹中供跨摄像头行人轨迹匹配模块使用，摄像头下的追踪结果包括摄像头编号、当前帧数、轨迹编号、身份信息、追踪框位置、行人特征和人脸特征。
6.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，步骤4)中，具体实现方法如下：
S61：采用多进程策略并行获取各个摄像头下追踪得到的局部轨迹；
S62：使用Reid特征来表征各摄像头下局部轨迹的外观特征；
S63：将各摄像头下的局部轨迹投影到同一参考坐标系中，并使用同一参考坐标系中的位置来表征局部轨迹的位置特征；
S64：根据身份注册模块获取当前场景需要追踪的所有目标；
S65：基于外观特征和位置特征，使用级联匹配策略将局部轨迹与目标进行匹配，得到跨摄像头下行人的全局轨迹。
7.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法，其特征在于，在所述步骤S62中，表征局部轨迹外观特征的方法为：
设
Figure FDA0003576472440000031
为第i个摄像头下的局部轨迹集合
Figure FDA0003576472440000032
中的第u条轨迹，用
Figure FDA0003576472440000033
和
Figure FDA0003576472440000034
分别表示局部轨迹
Figure FDA0003576472440000035
在t时刻对应追踪框的宽和高，通过如下公式，局部轨迹
Figure FDA0003576472440000036
的外观特征可表征为t*时刻追踪框的行人特征：
Figure FDA0003576472440000041
在所述步骤S63中，将各摄像头下的局部轨迹投影到参考坐标系的方法为：
用
Figure FDA0003576472440000042
表示第i个摄像头下的第u条局部轨迹
Figure FDA0003576472440000043
在t时刻对应追踪框的左上顶点在图像中的位置，其中
Figure FDA0003576472440000044
分别为横坐标和纵坐标，利用如下公式可获得该追踪框在参考坐标系中的投影位置：
Figure FDA0003576472440000045
其中，Hi为第i个相机和参考平面间的映射矩阵，该映射矩阵是根据相机的标定参数计算得到的，即Hi＝R(Ki[Ri，Ti]，[1，2，4])，其中，[·，·]为矩阵列拼接函数，R(·，[1，2，4])代表将输入矩阵的1，2，4列拼接成一个新的矩阵，Ki，Ri，Ti分别为第i个相机的内参矩阵、外参旋转矩阵和外参平移向量；
在所述步骤S65中，级联匹配步骤包括：
(1)基于步骤S63的位置特征建立各局部轨迹与各目标之间的位置相似度度量矩阵；
(2)根据位置相似度度量矩阵，使用贪婪匹配策略将局部轨迹与目标进行匹配；
(3)根据步骤S62获得的外观特征对步骤(2)未匹配成功的轨迹再次匹配。
8.基于身份识别和跨摄像头目标追踪的智能监控***，其特征在于，包括：
控制单元(102)，用于控制整个基于身份识别和跨摄像头目标追踪的智能监控***(100)的启动和关闭，并控制追踪***中不同单元之间的调度；
摄像单元(104)，用于获取行人的相关视频流数据；
计算单元(110)，用于对获取的视频流数据进行图像预处理、人脸识别、目标检测、特征提取以及目标追踪等操作；
显示单元(112)，用于对单摄像头下行人的实时追踪结果、行人的跨摄像头追踪轨迹，以及从追踪轨迹提取出的相关信息进行展示。
9.根据权利要求8所述的基于身份识别和跨摄像头目标追踪的智能监控***，其特征在于，还包括：
交换机(114)，用于控制单元(102)与摄像单元(104)、计算单元(110)和显示单元(112)间的通信耦合，也用于计算单元(110)与摄像单元(104)和显示单元(112)间的通信耦合。
10.根据权利要求9所述的基于身份识别和跨摄像头目标追踪的智能监控***，其特征在于，所述摄像单元(104)包括RGB摄像头网络(106)和热红外摄像头网络(108)；所述RGB摄像头网络(106)是用于获取当前场景的RGB光学图像，RGB摄像头网络的布设方式是多个摄像头的视野能够覆盖整个场景，摄像头分布均匀，且不同摄像头的视野范围是具有重叠的；所述热红外摄像头网络(108)是用于在夜间及光照不充分的情况下获取当前场景的热红外图像，用于弥补RGB摄像头在光照不足条件下的缺陷，热红外摄像头网络的布设方式与RGB摄像头网络保持一致；
所述计算单元(110)是由多台具有GPU的计算节点通过交换机(114)进行分布式部署实现的；
所述显示单元(112)包括触摸屏在内的各种类型的显示器。
CN202210335008.8A 2022-03-31 2022-03-31 基于身份识别和跨摄像头目标追踪的智能监控***及方法 Pending CN114693746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210335008.8A CN114693746A (zh) 2022-03-31 2022-03-31 基于身份识别和跨摄像头目标追踪的智能监控***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210335008.8A CN114693746A (zh) 2022-03-31 2022-03-31 基于身份识别和跨摄像头目标追踪的智能监控***及方法

Publications (1)

Publication Number Publication Date
CN114693746A true CN114693746A (zh) 2022-07-01

Family

ID=82140864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210335008.8A Pending CN114693746A (zh) 2022-03-31 2022-03-31 基于身份识别和跨摄像头目标追踪的智能监控***及方法

Country Status (1)

Country Link
CN (1) CN114693746A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542858A (zh) * 2023-07-03 2023-08-04 众芯汉创(江苏)科技有限公司 一种基于空间轨迹的数据拼接分析***
CN116580063A (zh) * 2023-07-14 2023-08-11 深圳须弥云图空间科技有限公司 目标追踪方法、装置、电子设备及存储介质
CN117241133A (zh) * 2023-11-13 2023-12-15 武汉益模科技股份有限公司 基于非固定位置的多工序同时作业的视觉报工方法及***
CN117495913A (zh) * 2023-12-28 2024-02-02 中电科新型智慧城市研究院有限公司 夜间目标轨迹的跨时空关联方法和装置
CN117576167A (zh) * 2024-01-16 2024-02-20 杭州华橙软件技术有限公司 多目标跟踪方法、多目标跟踪装置及计算机存储介质
CN117576764A (zh) * 2024-01-15 2024-02-20 四川大学 一种基于多目标追踪的视频无关人员自动识别方法
CN117953580A (zh) * 2024-01-29 2024-04-30 浙江大学 一种基于跨摄像头多目标跟踪的行为识别方法、***及电子设备
CN118115927A (zh) * 2024-04-30 2024-05-31 山东云海国创云计算装备产业创新中心有限公司 目标追踪方法、装置、计算机设备、存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490911A (zh) * 2019-08-14 2019-11-22 西安宏规电子科技有限公司 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法
CN110728702A (zh) * 2019-08-30 2020-01-24 深圳大学 一种基于深度学习的高速跨摄像头单目标跟踪方法及***
CN113269098A (zh) * 2021-05-27 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机的多目标跟踪定位与运动状态估计方法
US20210343027A1 (en) * 2019-07-31 2021-11-04 Tencent Technology (Shenzhen) Company Limited Object tracking method and apparatus, storage medium and electronic device
CN114240997A (zh) * 2021-11-16 2022-03-25 南京云牛智能科技有限公司 一种智慧楼宇在线跨摄像头多目标追踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210343027A1 (en) * 2019-07-31 2021-11-04 Tencent Technology (Shenzhen) Company Limited Object tracking method and apparatus, storage medium and electronic device
CN110490911A (zh) * 2019-08-14 2019-11-22 西安宏规电子科技有限公司 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法
CN110728702A (zh) * 2019-08-30 2020-01-24 深圳大学 一种基于深度学习的高速跨摄像头单目标跟踪方法及***
CN113269098A (zh) * 2021-05-27 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机的多目标跟踪定位与运动状态估计方法
CN114240997A (zh) * 2021-11-16 2022-03-25 南京云牛智能科技有限公司 一种智慧楼宇在线跨摄像头多目标追踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
夏天;李旻先;邵晴薇;管超;陆建峰;: "基于深度学习和时空约束的跨摄像头行人跟踪", 计算机与数字工程, no. 11, 20 November 2017 (2017-11-20) *
焦珊珊;李云波;陈佳林;潘志松;: "多目标跨摄像头跟踪技术", 国防科技, no. 06, 20 December 2019 (2019-12-20) *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542858B (zh) * 2023-07-03 2023-09-05 众芯汉创(江苏)科技有限公司 一种基于空间轨迹的数据拼接分析***
CN116542858A (zh) * 2023-07-03 2023-08-04 众芯汉创(江苏)科技有限公司 一种基于空间轨迹的数据拼接分析***
CN116580063B (zh) * 2023-07-14 2024-01-05 深圳须弥云图空间科技有限公司 目标追踪方法、装置、电子设备及存储介质
CN116580063A (zh) * 2023-07-14 2023-08-11 深圳须弥云图空间科技有限公司 目标追踪方法、装置、电子设备及存储介质
CN117241133B (zh) * 2023-11-13 2024-02-06 武汉益模科技股份有限公司 基于非固定位置的多工序同时作业的视觉报工方法及***
CN117241133A (zh) * 2023-11-13 2023-12-15 武汉益模科技股份有限公司 基于非固定位置的多工序同时作业的视觉报工方法及***
CN117495913A (zh) * 2023-12-28 2024-02-02 中电科新型智慧城市研究院有限公司 夜间目标轨迹的跨时空关联方法和装置
CN117495913B (zh) * 2023-12-28 2024-04-30 中电科新型智慧城市研究院有限公司 夜间目标轨迹的跨时空关联方法和装置
CN117576764A (zh) * 2024-01-15 2024-02-20 四川大学 一种基于多目标追踪的视频无关人员自动识别方法
CN117576167A (zh) * 2024-01-16 2024-02-20 杭州华橙软件技术有限公司 多目标跟踪方法、多目标跟踪装置及计算机存储介质
CN117576167B (zh) * 2024-01-16 2024-04-12 杭州华橙软件技术有限公司 多目标跟踪方法、多目标跟踪装置及计算机存储介质
CN117953580A (zh) * 2024-01-29 2024-04-30 浙江大学 一种基于跨摄像头多目标跟踪的行为识别方法、***及电子设备
CN118115927A (zh) * 2024-04-30 2024-05-31 山东云海国创云计算装备产业创新中心有限公司 目标追踪方法、装置、计算机设备、存储介质及程序产品
CN118115927B (zh) * 2024-04-30 2024-07-09 山东云海国创云计算装备产业创新中心有限公司 目标追踪方法、装置、计算机设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
CN114693746A (zh) 基于身份识别和跨摄像头目标追踪的智能监控***及方法
Wheeler et al. Face recognition at a distance system for surveillance applications
CN100390811C (zh) 实时的从视频中跟踪多个人脸的方法
CN110830756B (zh) 一种监控方法与装置
Hampapur et al. Smart video surveillance: exploring the concept of multiscale spatiotemporal tracking
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
Javed et al. Knight/spl trade: a real time surveillance system for multiple and non-overlapping cameras
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN111836012A (zh) 基于三维场景的视频融合与视频联动方法及电子设备
US20070058717A1 (en) Enhanced processing for scanning video
CN103795976A (zh) 一种全时空立体可视化方法
KR101912569B1 (ko) 비디오 영상에서의 물체 추적시스템
CN110969118B (zh) 轨迹监控***和方法
CN111080679A (zh) 一种对大型场所室内人员动态跟踪定位的方法
CN102819847A (zh) 基于ptz移动摄像头的运动轨迹提取方法
KR101916093B1 (ko) 객체 추적 방법
CN100496122C (zh) 利用单个摄像机进行主从视频跟踪的方法
CN109636763A (zh) 一种智能复眼监控***
CN111783675A (zh) 基于车辆语义感知的智慧城市视频自适应hdr控制方法
CN110378292A (zh) 三维空间定位***和方法
CN107862713A (zh) 针对轮询会场的摄像机偏转实时检测预警方法及模块
CN112785564B (zh) 一种基于机械臂的行人检测跟踪***与方法
CN111681269B (zh) 一种基于空间一致性的多摄像机协同人物追踪***及训练方法
CN111970434A (zh) 多摄像机多目标的运动员跟踪拍摄视频生成***及方法
Sankaranarayanan et al. A fast linear registration framework for multi-camera GIS coordination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination