CN110378929A - 一种商业场所跨摄像头行人轨迹跟踪方法 - Google Patents
一种商业场所跨摄像头行人轨迹跟踪方法 Download PDFInfo
- Publication number
- CN110378929A CN110378929A CN201910627917.7A CN201910627917A CN110378929A CN 110378929 A CN110378929 A CN 110378929A CN 201910627917 A CN201910627917 A CN 201910627917A CN 110378929 A CN110378929 A CN 110378929A
- Authority
- CN
- China
- Prior art keywords
- frame
- target
- image
- hough transform
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种商业场所跨摄像头行人轨迹跟踪方法,包括以下步骤:(1)、目标检测;(2)目标特征提取;(3)、级联匹配。本发明的商业场所跨摄像头行人轨迹跟踪方法,充分利用GPU并行计算特点,组织适当的数据结构,有效提高了计算速度;充分利用特定场景的先验信息,制定合理的增删ID方案,有效提高了目标检测准确率;有效的将判别模型和生成模型统一到一个框架内,实现两种方法的优势互补,提高多目标跟踪准确率。
Description
技术领域
本发明涉及视频分析目标跟踪技术领域。
背景技术
现阶段对于商业场所如(商场,游乐场)对行人进行轨迹跟踪方法包括以下两种:
1)基于生成模型的跟踪方法,包括相关滤波和kalman滤波方法,该方法通过前一帧行人位置预测下一帧该人出现的位置,从而实现将前后两帧行人匹配起来,完成多目标跟踪。
2)基于判别模型的跟踪方法,用特征提取方法将前后两帧行人局部区域图像特征提取,然后基于特征相似度进行匹配,完成多目标跟踪。
以上方法各有优劣,整体上各自的问题是:
1)基于生成模型的目标跟踪方法的前提假设是前后两帧,目标位移不会太大。因此当目标速度较快,或者出现遮挡的情况时跟踪容易出现跳变;
2)基于判别模型的目标跟踪对遮挡和快速运动物体有一定鲁棒性,但是当目标形态出现较大变化时候容易出现目标丢失,比如当行人脱衣服情况下会导致目标丢失;
上述方法在商业场所等限定场景下,会出现多目标跟踪轨迹断裂和错链的问题,从而影响了跟踪准确率。
发明内容
为了解决在限定场景下多目标跟踪轨迹断裂和错链的问题,本发明提供了一种商业场所跨摄像头行人轨迹跟踪方法。
本发明为实现上述目的所采用的技术方案是:一种商业场所跨摄像头行人轨迹跟踪方法,包括以下步骤:
(1)、目标检测:在一个限定场景部署N个摄像头,与服务器连接,在T时刻服务器获取来自(Cam1,Cam2,…Camn)摄像头的图像(Image1,Image2,…Imagen),
d)将来自不同摄像头的图像组成一个batch;
e)将一个batch的图像输入到目标检测神经网络中,得到图像中目标的检测框box用一个四维数组表示[X,Y,W,H],其中:X为矩形检测框左上角横坐标,Y为矩形检测框左上角纵坐标,W为矩形检测框宽度,H为矩形检测框高度;
f)由于要实现跨摄像头目标跟踪,且数据源来自不同的图像,因此需要引入额外信息CamId,最终输出信息如下box=[X,Y,W,H,CamId];
(2)目标特征提取:经过目标检测阶段可以得到t时刻的目标检测框利用这些目标检测框和Kalman预测算法和行人重识别算法进行如下计算:
a)以作为状态向量,利用滤波器预测下一帧目标检测框位置,其中:x为矩形检测框左上角横坐标,y为矩形检测框左上角纵坐标,w为矩形检测框宽度,h为矩形检测框高度,为矩形检测框左上角横坐标的一阶导数,为矩形检测框左上角纵坐标的一阶导数;为矩形检测框宽度的一阶导数,为矩形检测框高度的一阶导数;
b)根据目标检测所得到的检测框在原图上进行裁剪,并统一resize到固定尺寸,将裁剪所得图像以固定张数的图为一个batch存储,不足用零元素补齐。
c)将裁剪所得图像以batch方式输入到神经网络中,得到t时刻每个行人的特征向量
(3)、级联匹配:将固定出入口的先验条件引入来增删行人ID,
f)在t时刻通过***预测得到的t+1时刻目标框估计值
g)根据t+1时刻检测所得目标框与t时刻***所得估计框进行匹配,采用二分图匹配算法,通过计算两个目标框重叠度作为度量距离;
h)将中未匹配上的目标框记为并通过索引得到bt+1中未匹配的目标框记为通过特征向量的欧式距离作为度量,将和做二分图匹配;
i)将中在上一步已经匹配的目标框删除并更新将中在上一步已经匹配的目标框删除并更新
j)判断中目标框是否在出入口附近,如果是则删除ID,如果不是则保留目标框至下一帧;判断中目标框是否在出入口附近,如果是则增加新的ID,如果不是则删除目标框。
所述步骤(1)中,摄像头以RTPS协议与服务器连接。
所述步骤(1)的b)步骤中,检测神经网络为yolov3、m2det或CFENet。
所述步骤(2)的b)步骤中,统一resize到固定尺寸128x64,将裁剪所得图像以32张图为一个batch存储,不足32张图的batch用零元素补齐。
所述步骤(2)的a)步骤中,利用Kalman滤波器预测下一帧目标检测框位置。
所述步骤(2)的b)步骤中,将裁剪所得图像以batch方式输入到Reid神经网络中。
所述步骤(3)的a)步骤中,在t时刻通过Kalman***预测得到的t+1时刻目标框估计值。
本发明的商业场所跨摄像头行人轨迹跟踪方法,充分利用GPU并行计算特点,组织适当的数据结构,有效提高了计算速度;充分利用特定场景的先验信息,制定合理的增删ID方案,有效提高了目标检测准确率;有效的将判别模型和生成模型统一到一个框架内,实现两种方法的优势互补,提高多目标跟踪准确率。
附图说明
图1是本发明商业场所跨摄像头行人轨迹跟踪方法流程图。
具体实施方式
在商业场所(商场,游乐场)都有明确的入口和出口。通过判别目标是否在入口和出口附近出现可以判定目标是新入区域还是对丢失的人恢复跟踪;是离开区域还是被遮挡。通过引入限定场景的先验条件可以有效改善多目标长时间跟踪效果。
本方法是针对跨摄像头多目标跟踪方案,采用生成模型+判别模型组合方式进行级联匹配从而完成前后帧关联,完成多目标跟踪。因此,该方法可以分为三个阶段:目标检测、目标特征提取和级联匹配:
(1)、目标检测:在一个限定场景部署N个摄像头,以RTPS协议与服务器连接。在T时刻服务器获取来自(Cam1,Cam2,…Camn)摄像头的图像(Image1,Image2,…Imagen):
a)将来自不同摄像头的图像组成一个batch;
b)将一个batch的图像输入到目标检测神经网络中,例如(yolov3,m2det,CFENet)等,得到图像中目标的box用一个四维数组表示[X,Y,W,H],其中:X为矩形检测框左上角横坐标,Y为矩形检测框左上角纵坐标,W为矩形检测框宽度,H为矩形检测框高度;
c)由于该方案要实现跨摄像头目标跟踪,且数据源来自不同的图像,因此需要引入额外信息CamId,最终输出信息如下box=[X,Y,W,H,CamId]。
(2)、目标特征提取:经过目标检测阶段可以得到t时刻的目标检测框利用这些目标检测框和Kalman预测算法和行人重识别算法进行如下计算:
a)以作为状态向量,利用Kalman滤波器预测下一帧目标框位置,其中:x为矩形检测框左上角横坐标,y为矩形检测框左上角纵坐标,w为矩形检测框宽度,h为矩形检测框高度,为矩形检测框左上角横坐标的一阶导数,为矩形检测框左上角纵坐标的一阶导数;为矩形检测框宽度的一阶导数,为矩形检测框高度的一阶导数。
b)根据目标检测所得到的检测框在原图上进行裁剪,并统一resize到固定尺寸(128x64)。将裁剪所得图像以32张图为一个batch存储,不足32张图的batch用零元素补齐。
c)将裁剪所得图像以batch方式输入到Reid神经网络中,得到t时刻每个行人的特征向量
(3)、最后一步是级联匹配,也是本方案的核心。考虑到本方案应用于商场娱乐场等场景。这类场景的特点是有固定的出口入口。我们将固定出入口的先验条件引入可以在增删行人ID策略方面有较大改进,显著提高跟踪准确率。
a)在t时刻通过Kalman***预测得到的t+1时刻目标框估计值
b)根据t+1时刻检测所得目标框与t时刻***所得估计框进行匹配。本方案采用二分图匹配算法,通过计算两个目标框重叠度(Iou)作为度量距离;
c)将中未匹配上的目标框记为并通过索引得到bt+1中未匹配的目标框记为通过特征向量的欧式距离作为度量,将和做二分图匹配;
d)将中在上一步已经匹配的目标框删除并更新将中在上一步已经匹配的目标框删除并更新
e)判断中目标框是否在出入口附近,如果是则删除ID,如果不是则保留目标框至下一帧。判断中目标框是否在出入口附近,如果是则增加新的ID,如果不是则删除目标框。
本发明是通过实施例进行描述的,本领域技术人员知悉,在不脱离本发明的精神和范围的情况下,可以对这些特征和实施例进行各种改变或等效替换。另外,在本发明的教导下,可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此,本发明不受此处所公开的具体实施例的限制,所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。
Claims (7)
1.一种商业场所跨摄像头行人轨迹跟踪方法,其特征在于:包括以下步骤:
(1)、目标检测:在一个限定场景部署N个摄像头,与服务器连接,在T时刻服务器获取来自(Cam1,Cam2,…Camn)摄像头的图像(Image1,Image2,…Imagen),
a)将来自不同摄像头的图像组成一个batch;
b)将一个batch的图像输入到目标检测神经网络中,得到图像中目标的检测框box用一个四维数组表示[X,Y,W,H],其中:X为矩形检测框左上角横坐标,Y为矩形检测框左上角纵坐标,W为矩形检测框宽度,H为矩形检测框高度;
c)由于要实现跨摄像头目标跟踪,且数据源来自不同的图像,因此需要引入额外信息CamId,最终输出信息如下box=[X,Y,W,H,CamId];
(2)目标特征提取:经过目标检测阶段可以得到t时刻的目标检测框利用这些目标检测框和Kalman预测算法和行人重识别算法进行如下计算:
a)以作为状态向量,利用滤波器预测下一帧目标检测框位置,其中:x为矩形检测框左上角横坐标,y为矩形检测框左上角纵坐标,w为矩形检测框宽度,h为矩形检测框高度,为矩形检测框左上角横坐标的一阶导数,为矩形检测框左上角纵坐标的一阶导数;为矩形检测框宽度的一阶导数,为矩形检测框高度的一阶导数。
b)根据目标检测所得到的检测框在原图上进行裁剪,并统一resize到固定尺寸,将裁剪所得图像以固定张数的图为一个batch存储,不足用零元素补齐。
c)将裁剪所得图像以batch方式输入到神经网络中,得到t时刻每个行人的特征向量
ft=[ft 1,ft 2,…ft n];
(3)、级联匹配:将固定出入口的先验条件引入来增删行人ID,
a)在t时刻通过***预测得到的t+1时刻目标框估计值
b)根据t+1时刻检测所得目标框与t时刻***所得估计框进行匹配,采用二分图匹配算法,通过计算两个目标框重叠度作为度量距离;
c)将中未匹配上的目标框记为并通过索引得到bt+1中未匹配的目标框记为通过特征向量的欧式距离作为度量,将和做二分图匹配;
d)将中在上一步已经匹配的目标框删除并更新将中在上一步已经匹配的目标框删除并更新
e)判断中目标框是否在出入口附近,如果是则删除ID,如果不是则保留目标框至下一帧;判断中目标框是否在出入口附近,如果是则增加新的ID,如果不是则删除目标框。
2.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法,其特征在于:所述步骤(1)中,摄像头以RTPS协议与服务器连接。
3.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法,其特征在于:所述步骤(1)的b)步骤中,检测神经网络为yolov3、m2det或CFENet。
4.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法,其特征在于:所述步骤(2)的b)步骤中,统一resize到固定尺寸128x64,将裁剪所得图像以32张图为一个batch存储,不足32张图的batch用零元素补齐。
5.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法,其特征在于:所述步骤(2)的a)步骤中,利用Kalman滤波器预测下一帧目标检测框位置。
6.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法,其特征在于:所述步骤(2)的b)步骤中,将裁剪所得图像以batch方式输入到Reid神经网络中。
7.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法,其特征在于:所述步骤(3)的a)步骤中,在t时刻通过Kalman***预测得到的t+1时刻目标框估计值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910627917.7A CN110378929B (zh) | 2019-07-12 | 2019-07-12 | 一种商业场所跨摄像头行人轨迹跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910627917.7A CN110378929B (zh) | 2019-07-12 | 2019-07-12 | 一种商业场所跨摄像头行人轨迹跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378929A true CN110378929A (zh) | 2019-10-25 |
CN110378929B CN110378929B (zh) | 2023-03-24 |
Family
ID=68252861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910627917.7A Active CN110378929B (zh) | 2019-07-12 | 2019-07-12 | 一种商业场所跨摄像头行人轨迹跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378929B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111768429A (zh) * | 2020-06-01 | 2020-10-13 | 重庆大学 | 一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法 |
CN113052876A (zh) * | 2021-04-25 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 一种基于深度学习的视频接力跟踪方法及*** |
CN115641559A (zh) * | 2022-12-23 | 2023-01-24 | 深圳佑驾创新科技有限公司 | 一种环视摄像头组的目标匹配方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013189464A2 (zh) * | 2012-11-28 | 2013-12-27 | 中兴通讯股份有限公司 | 一种近正向俯视监控视频行人跟踪计数方法和装置 |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN109903312A (zh) * | 2019-01-25 | 2019-06-18 | 北京工业大学 | 一种基于视频多目标跟踪的足球球员跑动距离统计方法 |
US20190205608A1 (en) * | 2017-12-29 | 2019-07-04 | Deep Innovations Ltd | Method and apparatus for safety monitoring of a body of water |
-
2019
- 2019-07-12 CN CN201910627917.7A patent/CN110378929B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013189464A2 (zh) * | 2012-11-28 | 2013-12-27 | 中兴通讯股份有限公司 | 一种近正向俯视监控视频行人跟踪计数方法和装置 |
US20190205608A1 (en) * | 2017-12-29 | 2019-07-04 | Deep Innovations Ltd | Method and apparatus for safety monitoring of a body of water |
CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
CN109903312A (zh) * | 2019-01-25 | 2019-06-18 | 北京工业大学 | 一种基于视频多目标跟踪的足球球员跑动距离统计方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111768429A (zh) * | 2020-06-01 | 2020-10-13 | 重庆大学 | 一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法 |
CN113052876A (zh) * | 2021-04-25 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 一种基于深度学习的视频接力跟踪方法及*** |
CN115641559A (zh) * | 2022-12-23 | 2023-01-24 | 深圳佑驾创新科技有限公司 | 一种环视摄像头组的目标匹配方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110378929B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Multiscale U-shaped CNN building instance extraction framework with edge constraint for high-spatial-resolution remote sensing imagery | |
CN110135243B (zh) | 一种基于两级注意力机制的行人检测方法及*** | |
CN109685045B (zh) | 一种运动目标视频跟踪方法及*** | |
CN109447073B (zh) | 一种基于张量鲁棒主成分分析的红外弱小目标检测方法 | |
Patil et al. | Fggan: A cascaded unpaired learning for background estimation and foreground segmentation | |
CN110378929A (zh) | 一种商业场所跨摄像头行人轨迹跟踪方法 | |
CN112926410A (zh) | 目标跟踪方法、装置、存储介质及智能视频*** | |
WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
Wei et al. | City-scale vehicle tracking and traffic flow estimation using low frame-rate traffic cameras | |
CN113763427B (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
CN104217442B (zh) | 基于多模型估计的航拍视频运动目标检测方法 | |
US20240161315A1 (en) | Accurate and robust visual object tracking approach for quadrupedal robots based on siamese network | |
Maddalena et al. | Exploiting color and depth for background subtraction | |
CN110827262A (zh) | 一种基于连续有限帧红外图像的弱小目标检测方法 | |
CN111353385B (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
CN105631405A (zh) | 基于多级分块的交通视频智能识别背景建模方法 | |
Zhang et al. | An improved target detection method based on YOLOv5 in natural orchard environments | |
CN114091519A (zh) | 一种基于多粒度遮挡感知的遮挡行人重识别方法 | |
Oh et al. | Development of an integrated system based vehicle tracking algorithm with shadow removal and occlusion handling methods | |
Chan et al. | Partially occluded object detection by finding the visible features and parts | |
CN113112522A (zh) | 基于可变形卷积和模板更新的孪生网络目标跟踪的方法 | |
Olszewska et al. | Multi-feature vector flow for active contour tracking | |
Zaki et al. | Moving object detection using keypoints reference model. | |
Zhao et al. | Wildfire smoke detection based on depthwise separable convolutions and target-awareness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Cross camera Pedestrian Trajectory Tracking Method in Commercial Places Effective date of registration: 20230726 Granted publication date: 20230324 Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd. Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd. Registration number: Y2023980049989 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |