CN114550219B - 行人追踪方法及装置 - Google Patents
行人追踪方法及装置 Download PDFInfo
- Publication number
- CN114550219B CN114550219B CN202210354218.1A CN202210354218A CN114550219B CN 114550219 B CN114550219 B CN 114550219B CN 202210354218 A CN202210354218 A CN 202210354218A CN 114550219 B CN114550219 B CN 114550219B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- kalman tracker
- kalman
- detection frame
- tracker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 105
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种行人追踪方法,包括:对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器,同时对行人外观特征进行提取;将每个行人检测框、每个卡尔曼追踪器,以及匹配区域,透视变换至透视平面;在透视平面内,对每个卡尔曼追踪器,使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配;所述最大匹配的代价函数为:行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和;用匹配到的行人检测框对相应卡尔曼追踪器进行更新。本发明还公开了一种行人追踪装置。本发明可在提升追踪精度的同时有效降低算法资源消耗。
Description
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种行人追踪方法。
背景技术
视觉目标跟踪是计算机视觉中的一个重要研究方向,有着广泛的应用,如:视频监控,人机交互,无人驾驶等。过去二三十年视觉目标跟踪技术取得了长足的进步,特别是最近两年利用深度学习的目标跟踪方法取得了令人满意的效果,使目标跟踪技术获得了突破性的进展。
行人跟踪属于目标跟踪的一个子类,即要跟踪的目标是行人。行人跟踪主要包括两大部分:目标检测(object detection)和目标跟踪(object tracking),目标检测就是识别出图片或视频中行人目标的静态或动态位置,目标追踪是给定视频中第一帧目标以及它的位置,然后跟踪这个目标,并预测它的轨迹。现有行人跟踪技术主要分为两大类:一类是行人检测结合行人外观特征的方式,即先对视频每一帧中的行人进行检测,然后提取行人的外观特征进行数据关联并形成最终的运动轨迹,但仅仅考虑行人外部特征在一些场景下非常容易出现错误,例如工厂、学校等环境下,统一的制服会导致算法失控,难以实现行人的准确跟踪;另一类是行人检测结合卡尔曼滤波的方式,即对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器,然后使用匈牙利算法或其改进算法对每一帧的行人检测框和卡尔曼追踪器进行最大匹配,并用匹配到的行人检测框对相应卡尔曼追踪器进行更新,该种方案由于追踪的输入是行人检测框,因此对于遮挡、人群密集、人员穿插频繁等场景几乎完全无法使用。
发明内容
本发明所要解决的技术问题在于克服现有技术不足,提供一种行人追踪方法,可在提升追踪精度的同时有效降低算法资源消耗。
本发明具体采用以下技术方案解决上述技术问题:
一种行人追踪方法,包括以下步骤:
对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器,同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取;
将每个行人检测框、每个卡尔曼追踪器,以及以每个卡尔曼追踪器中心点为圆心,以匹配半径R为半径的匹配区域,透视变换至透视平面;
在透视平面内,对每个卡尔曼追踪器,使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配;所述最大匹配的代价函数为:行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和;
用匹配到的行人检测框对相应卡尔曼追踪器进行更新。
进一步地,每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整:
R=R0+γ×t 2
式中,γ为大于0的控制系数;R0为匹配半径初始值;t为该卡尔曼追踪器连续未成功匹配的图像帧数,如卡尔曼追踪器成功匹配,t的值归零,如未成功匹配,t的值加1。
进一步地,卡尔曼追踪器的行人外观特征按照以下方法进行动态更新:在每次匹配成功后,计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度,如相似度低于预设阈值,则按照下式对该卡尔曼追踪器的行人外观特征进行更新:
f k =δf k ’+(1-δ)f d ’
其中,f k ’、f k 分别为更新前、后的卡尔曼追踪器的行人外观特征,f d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征,δ为取值范围在[0,1)的系数。
基于同一发明构思还可以得到以下技术方案:
一种行人追踪装置,包括:
行人检测及特征提取单元,用于对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器,同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取;
透视变换单元,用于将每个行人检测框、每个卡尔曼追踪器,以及以每个卡尔曼追踪器中心点为圆心,以预设匹配半径R为半径的匹配区域,透视变换至透视平面;
匹配单元,用于在透视平面内,对每个卡尔曼追踪器,使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配;所述最大匹配的代价函数为:行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和;
更新单元,用于用匹配到的行人检测框对相应卡尔曼追踪器进行更新。
进一步地,所述行人追踪装置还包括:
匹配半径调整单元,用于将每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整:
R=R0+γ×t 2
式中,γ为大于0的控制系数;R0为匹配半径初始值;t为该卡尔曼追踪器连续未成功匹配的图像帧数,如卡尔曼追踪器成功匹配,t的值归零,如未成功匹配,t的值加1。
进一步地,所述行人追踪装置还包括:
特征动态更新单元,用于对卡尔曼追踪器的行人外观特征按照以下方法进行动态更新:在每次匹配成功后,计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度,如相似度低于预设阈值,则按照下式对该卡尔曼追踪器的行人外观特征进行更新:
f k =δf k ’+(1-δ)f d ’
其中,f k ’、f k 分别为更新前、后的卡尔曼追踪器的行人外观特征,f d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征,δ为取值范围在[0,1)的系数。
相比现有技术,本发明具有以下有益效果:
本发明在行人检测+卡尔曼追踪的方案基础上,在相机的透视变换空间中进行行人检测框与卡尔曼追踪器的匹配,并将空间特征和外观特征相结合,从而有效提高了行人追踪算法的有效性和准确性,同时对计算资源的占用也较少。
附图说明
图1为现有技术中的行人检测框与卡尔曼追踪器的匹配原理示意图;
图2为本发明的行人检测框与卡尔曼追踪器的匹配原理示意图。
具体实施方式
针对现有技术不足,本发明的解决思路是在行人检测+卡尔曼追踪的方案基础上进行改进,在相机的透视变换空间中进行行人检测框与卡尔曼追踪器的匹配,并将空间特征和外观特征相结合,从而有效提高了行人追踪算法的有效性和准确性,同时对计算资源的占用也较少。
本发明所提出的行人追踪方法行人追踪方法,具体包括以下步骤:
对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器,同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取;
将每个行人检测框、每个卡尔曼追踪器,以及以每个卡尔曼追踪器中心点为圆心,以匹配半径R为半径的匹配区域,透视变换至透视平面;
在透视平面内,对每个卡尔曼追踪器,使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配;所述最大匹配的代价函数为:行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和;
用匹配到的行人检测框对相应卡尔曼追踪器进行更新。
进一步地,每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整:
R=R0+γ×t 2
式中,γ为大于0的控制系数;R0为匹配半径初始值;t为该卡尔曼追踪器连续未成功匹配的图像帧数,如卡尔曼追踪器成功匹配,t的值归零,如未成功匹配,t的值加1。
进一步地,卡尔曼追踪器的行人外观特征按照以下方法进行动态更新:在每次匹配成功后,计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度,如相似度低于预设阈值,则按照下式对该卡尔曼追踪器的行人外观特征进行更新:
f k =δf k ’+(1-δ)f d ’
其中,f k ’、f k 分别为更新前、后的卡尔曼追踪器的行人外观特征,f d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征,δ为取值范围在[0,1)的系数。
本发明所提出的行人追踪装置,包括:
行人检测及特征提取单元,用于对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器,同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取;
透视变换单元,用于将每个行人检测框、每个卡尔曼追踪器,以及以每个卡尔曼追踪器中心点为圆心,以预设匹配半径R为半径的匹配区域,透视变换至透视平面;
匹配单元,用于在透视平面内,对每个卡尔曼追踪器,使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配;所述最大匹配的代价函数为:行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和;
更新单元,用于用匹配到的行人检测框对相应卡尔曼追踪器进行更新。
进一步地,所述行人追踪装置还包括:
匹配半径调整单元,用于将每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整:
R=R0+γ×t 2
式中,γ为大于0的控制系数;R0为匹配半径初始值;t为该卡尔曼追踪器连续未成功匹配的图像帧数,如卡尔曼追踪器成功匹配,t的值归零,如未成功匹配,t的值加1。
进一步地,所述行人追踪装置还包括:
特征动态更新单元,用于对卡尔曼追踪器的行人外观特征按照以下方法进行动态更新:在每次匹配成功后,计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度,如相似度低于预设阈值,则按照下式对该卡尔曼追踪器的行人外观特征进行更新:
f k =δf k ’+(1-δ)f d ’
其中,f k ’、f k 分别为更新前、后的卡尔曼追踪器的行人外观特征,f d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征,δ为取值范围在[0,1)的系数。
为了便于公众理解,下面通过具体实施例并结合附图来对本发明的技术方案进行详细说明:
本实施例中的行人追踪过程具体如下:
步骤1、对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器,同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取;
使用行人检测器,如常见的yolo/faster-rcnn/ssd等,对监控视频图像中的行人进行检测,行人检测框可记为:dets=[[x 1,y 1,x 2,y 2,score]…],其中(x 1,y 1),(x 2,y 2),score分别表示检测框的左上、右下点的坐标以及分类执行度,并将行人检测框部分图像P crop 裁切出来;为每个行人检测框构建一个卡尔曼追踪器,用于跟踪检测到物体的速度、位置以及外观特征,使用外观特征提取模型,例如resnet、repvgg等,对P crop 及新出现的卡尔曼追踪器进行外观特征提取,所述行人外观特征包含但不限于发色、衣服裤子颜色款式、箱包背包等,得到每个行人检测框及新出现追踪对象的行人外观特征。
步骤2、将每个行人检测框、每个卡尔曼追踪器,以及以每个卡尔曼追踪器中心点为圆心,以匹配半径R为半径的匹配区域,透视变换至透视平面;
由于普通相机的成像原理符合透视特点,即近大远小,因此本发明先将行人检测框、卡尔曼追踪器和匹配区域透视变换至透视平面;透视变换为现有成熟技术,下面对其进行简要说明:首先将相机稳定安装到墙面、立柱等刚体上保证相机相对静止;在现实场景中指定四个点,四个点围成一个矩形区域,记为PW={p1 W,p2 W,p3 W,p4 W},表示实际空间场景中的点;人工观察现实中的四个点,在相机平面内对应的找出空间内的四个点PC={p1 C,p2 C,p3 C,p4 C},要保证两个点集的顺序保持一致,一一对应;通过PW和PC可得到透视变换矩阵M;通过透视变换矩阵M即可将行人检测框、卡尔曼追踪器和匹配区域透视变换至透视平面。
步骤3、在透视平面内,对每个卡尔曼追踪器,使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配;所述最大匹配的代价函数为:行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和;
传统的行人检测+卡尔曼追踪方案中的匹配原理如图1所示,分别以1~3的三个圆形的卡尔曼追踪器中心点为圆心,用固定半径R区域内的所有矩形行人检测框与该卡尔曼追踪器之间的1-IoU(Intersection over Union,交并比)作为追踪代价来做最大匹配。这种匹配方式的匹配区域半径R是预设的定值,当取值较小时,如图1左侧所示,可能会存在大量的漏匹配;但如果取值过大,如图1右侧所示,则会导致计算资源和计算时间的大幅增加;并且对于大多数斜上方安装的相机而言,这种圆形匹配区域的设定是与实际情况完全不符合的。
为解决这一问题,如图2所示,本发明将行人检测框、卡尔曼追踪器及半径为R的圆形匹配区域均通过透视变换矩阵M变换至透视平面内,图2中左、右分别为透视变换前和透视变换后;然后在透视平面内对卡尔曼追踪器和行人检测框进行最大匹配;本发明的匹配代价函数Loss将外观特征与位置特征相结合,具体如下:
Loss=αsimilarity(f k ,f d )+βdistance(PK,PD)
式中,f k 、f d 分别表示卡尔曼追踪器、行人检测框的行人外观特征,PK、PD分别表示卡尔曼追踪器、行人检测框在透视平面内的中心点,similarity()表示计算相似度,distance()表示计算距离,α和β为权值,可根据实际需要调整两者大小以表明更倾向于外观相似或表示更倾向于位置相近;其中相似度的度量可使用欧式距离、余弦距离等,距离的度量可使用L2距离、Manhattan距离等。
本实施例中,卡尔曼追踪器的行人外观特征按照下式进行动态更新:
f k =δf k ’+(1-δ)f d ’
其中,f k ’、f k 分别为更新前、后的卡尔曼追踪器的行人外观特征,fd’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征,δ为取值范围在[0,1)的系数。
因此,上述匹配代价函数Loss中的f k 是经过动态更新后的行人外观特征;当匹配成功后的行人检测框的行人外观特征与卡尔曼追踪器的行人外观特征的相似度小于阈值t(t取值范围在[0, 1]之间,1表示非常相似不需要更新特征,通常低于0.5认为特征变化明显)时,使用以上公式更新该卡尔曼追踪器的行人外观特征。系数δ的取值范围为[0,1), 可根据实际情况设定。
此外,为了解决固定匹配半径R时无法匹配所有行人尺度,易发生漏匹配的问题,本实施例中每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整:
R=R0+γ×t 2
式中,γ为大于0的控制系数;R0为匹配半径初始值,可根据实际需要灵活设定,例如可设定为行人检测框宽度的1~3倍;t为该卡尔曼追踪器连续未成功匹配的图像帧数,如卡尔曼追踪器成功匹配,t的值归零,如未成功匹配,t的值加1。这样,当发生遮挡、快速移动等超出区域导致无法匹配的问题时,可及时增大匹配搜索范围,以提高匹配成功率;并在成功匹配后回归初始的匹配搜索范围,以避免消耗较多计算资源。
步骤4、用匹配到的行人检测框对相应卡尔曼追踪器进行更新。
Claims (6)
1.一种行人追踪方法,其特征在于,包括以下步骤:
对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器,同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取;
将每个行人检测框、每个卡尔曼追踪器,以及以每个卡尔曼追踪器中心点为圆心,以匹配半径R为半径的匹配区域,透视变换至透视平面;
在透视平面内,对每个卡尔曼追踪器,使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配;所述最大匹配的代价函数为:行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和,匹配代价函数Loss具体如下:
Loss=αsimilarity(f k ,f d )+βdistance(PK,PD)
式中,f k 、f d 分别表示卡尔曼追踪器、行人检测框的行人外观特征,PK、PD 分别表示卡尔曼追踪器、行人检测框在透视平面内的中心点,similarity()表示计算相似度,distance()表示计算距离,α和β为权值;
用匹配到的行人检测框对相应卡尔曼追踪器进行更新。
2.如权利要求1所述行人追踪方法,其特征在于,每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整:
R=R0+γ×t 2
式中,γ为大于0的控制系数;R0为匹配半径初始值;t为该卡尔曼追踪器连续未成功匹配的图像帧数,如卡尔曼追踪器成功匹配,t的值归零,如未成功匹配,t的值加1。
3.如权利要求1所述行人追踪方法,其特征在于,卡尔曼追踪器的行人外观特征按照以下方法进行动态更新:在每次匹配成功后,计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度,如相似度低于预设阈值,则按照下式对该卡尔曼追踪器的行人外观特征进行更新:
f k =δf k ’+(1-δ)f d ’
其中,f k ’、f k 分别为更新前、后的卡尔曼追踪器的行人外观特征,f d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征,δ为取值范围在[0,1)的系数。
4.一种行人追踪装置,其特征在于,包括:
行人检测及特征提取单元,用于对监控视频图像中的行人进行检测并为每个行人检测框构建一个卡尔曼追踪器,同时对每个行人检测框以及新出现的卡尔曼追踪器中的行人外观特征进行提取;
透视变换单元,用于将每个行人检测框、每个卡尔曼追踪器,以及以每个卡尔曼追踪器中心点为圆心,以预设匹配半径R为半径的匹配区域,透视变换至透视平面;
匹配单元,用于在透视平面内,对每个卡尔曼追踪器,使用中心点在该卡尔曼追踪器所对应匹配区域内的所有行人检测框与该卡尔曼追踪器进行最大匹配;所述最大匹配的代价函数为:行人检测框和卡尔曼追踪器的行人外观特征相似度与行人检测框中心点和卡尔曼追踪器中心点在透视平面空间中的距离的加权和,匹配代价函数Loss具体如下:
Loss=αsimilarity(f k ,f d )+βdistance(PK,PD)
式中,f k 、f d 分别表示卡尔曼追踪器、行人检测框的行人外观特征,PK、PD 分别表示卡尔曼追踪器、行人检测框在透视平面内的中心点,similarity()表示计算相似度,distance()表示计算距离,α和β为权值;
更新单元,用于用匹配到的行人检测框对相应卡尔曼追踪器进行更新。
5.如权利要求4所述行人追踪装置,其特征在于,还包括:
匹配半径调整单元,用于将每个卡尔曼追踪器的所述匹配半径R均根据下式进行动态调整:
R=R0+γ×t 2
式中,γ为大于0的控制系数;R0为匹配半径初始值;t为该卡尔曼追踪器连续未成功匹配的图像帧数,如卡尔曼追踪器成功匹配,t的值归零,如未成功匹配,t的值加1。
6.如权利要求4所述行人追踪装置,其特征在于,还包括:
特征动态更新单元,用于对卡尔曼追踪器的行人外观特征按照以下方法进行动态更新:在每次匹配成功后,计算卡尔曼追踪器的行人外观特征与其匹配成功的行人检测框的行人外观特征之间的相似度,如相似度低于预设阈值,则按照下式对该卡尔曼追踪器的行人外观特征进行更新:
f k =δf k ’+(1-δ)f d ’
其中,f k ’、f k 分别为更新前、后的卡尔曼追踪器的行人外观特征,f d ’为当前与该卡尔曼追踪器匹配成功的行人检测框的行人外观特征,δ为取值范围在[0,1)的系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210354218.1A CN114550219B (zh) | 2022-04-06 | 2022-04-06 | 行人追踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210354218.1A CN114550219B (zh) | 2022-04-06 | 2022-04-06 | 行人追踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114550219A CN114550219A (zh) | 2022-05-27 |
CN114550219B true CN114550219B (zh) | 2022-07-08 |
Family
ID=81664954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210354218.1A Active CN114550219B (zh) | 2022-04-06 | 2022-04-06 | 行人追踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114550219B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115908506B (zh) * | 2022-09-09 | 2023-06-27 | 杭州云栖智慧视通科技有限公司 | 基于卡尔曼预测的多目标跟踪方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050129275A1 (en) * | 2003-12-11 | 2005-06-16 | Porter Robert M.S. | Object detection |
CN111488795A (zh) * | 2020-03-09 | 2020-08-04 | 天津大学 | 应用于无人驾驶车辆的实时行人跟踪方法 |
CN112288773A (zh) * | 2020-10-19 | 2021-01-29 | 慧视江山科技(北京)有限公司 | 基于Soft-NMS的多尺度人体跟踪方法及装置 |
CN113192105A (zh) * | 2021-04-16 | 2021-07-30 | 嘉联支付有限公司 | 一种室内多人追踪及姿态估量的方法及装置 |
-
2022
- 2022-04-06 CN CN202210354218.1A patent/CN114550219B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050129275A1 (en) * | 2003-12-11 | 2005-06-16 | Porter Robert M.S. | Object detection |
CN111488795A (zh) * | 2020-03-09 | 2020-08-04 | 天津大学 | 应用于无人驾驶车辆的实时行人跟踪方法 |
CN112288773A (zh) * | 2020-10-19 | 2021-01-29 | 慧视江山科技(北京)有限公司 | 基于Soft-NMS的多尺度人体跟踪方法及装置 |
CN113192105A (zh) * | 2021-04-16 | 2021-07-30 | 嘉联支付有限公司 | 一种室内多人追踪及姿态估量的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114550219A (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021196294A1 (zh) | 一种跨视频人员定位追踪方法、***及设备 | |
CN111627045B (zh) | 单镜头下的多行人在线跟踪方法、装置、设备及存储介质 | |
WO2021139484A1 (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
WO2020042419A1 (zh) | 基于步态的身份识别方法、装置、电子设备 | |
CN105488815B (zh) | 一种支持目标尺寸变化的实时对象跟踪方法 | |
CN111462135A (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
CN104850865B (zh) | 一种多特征迁移学习的实时压缩跟踪方法 | |
CN111932580A (zh) | 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及*** | |
US11145076B1 (en) | Incorporation of semantic information in simultaneous localization and mapping | |
CN111696128A (zh) | 一种高速多目标检测跟踪和目标图像优选方法及存储介质 | |
CN107958479A (zh) | 一种移动端3d人脸增强现实实现方法 | |
CN108960047B (zh) | 基于深度二次树的视频监控中人脸去重方法 | |
WO2021036373A1 (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
CN109670462A (zh) | 基于定位信息的航空器跨全景持续跟踪方法 | |
CN105930790A (zh) | 基于核稀疏编码的人体行为识别方法 | |
CN107798691B (zh) | 一种基于视觉的无人机自主着陆地标实时检测跟踪方法 | |
CN103593654A (zh) | 一种人脸定位的方法与装置 | |
Tan et al. | A multiple object tracking algorithm based on YOLO detection | |
CN114550219B (zh) | 行人追踪方法及装置 | |
CN116309686A (zh) | 游泳运动员视频定位测速方法、装置、设备及存储介质 | |
CN107220597B (zh) | 一种基于局部特征和词袋模型人体动作识别过程的关键帧选取方法 | |
CN103617631A (zh) | 一种基于中心检测的跟踪方法 | |
CN116740539A (zh) | 基于轻量化目标检测网络的视觉slam方法及*** | |
CN117331071A (zh) | 一种基于毫米波雷达与视觉多模态融合的目标检测方法 | |
CN117053779A (zh) | 一种基于冗余关键帧去除的紧耦合激光slam方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 210000 Longmian Avenue 568, High-tech Park, Jiangning District, Nanjing City, Jiangsu Province Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd. Address before: 210000 Longmian Avenue 568, High-tech Park, Jiangning District, Nanjing City, Jiangsu Province Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd. |