CN108198200A - 跨摄像头场景下指定行人在线跟踪方法 - Google Patents
跨摄像头场景下指定行人在线跟踪方法 Download PDFInfo
- Publication number
- CN108198200A CN108198200A CN201810076414.0A CN201810076414A CN108198200A CN 108198200 A CN108198200 A CN 108198200A CN 201810076414 A CN201810076414 A CN 201810076414A CN 108198200 A CN108198200 A CN 108198200A
- Authority
- CN
- China
- Prior art keywords
- layer
- pedestrian
- target
- camera
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 230000004913 activation Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 17
- 230000002093 peripheral effect Effects 0.000 claims description 16
- 238000003475 lamination Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 2
- XCWPUUGSGHNIDZ-UHFFFAOYSA-N Oxypertine Chemical compound C1=2C=C(OC)C(OC)=CC=2NC(C)=C1CCN(CC1)CCN1C1=CC=CC=C1 XCWPUUGSGHNIDZ-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种跨摄像头场景下指定行人在线跟踪方法,通过在任一摄像头视野区域内标定出感兴趣的行人,根据获得的基本信息创建并初始化***;当指定行人离开当前摄像头视野区域后,将行人状态设置为挂起检测,等待下一步行人数据关联操作;当跟踪视野区域内有新行人进入时,则将挂起状态的行人和新目标行人进行通过关联算法判断是否属于同一个行人;根据基于深度学习的数据关联算法得到两个目标行人的相似值,当相似值大于阈值,则更新对应的***,进而得到感兴趣目标行人在整个摄像头网络中的完整运动轨迹。本发明提出的一种跨摄像头场景下指定行人在线跟踪方法,提高了多摄像头场景下非重叠视野区域目标跟踪的实用性和准确度。
Description
技术领域
本发明涉及智能安防领域,特别是一种跨摄像头场景下指定行人在线跟踪方法。
背景技术
随着经济的不断发展,人们对安全的需求与日俱增。因此,安防领域中的智能监控视频的应用范围在不断的扩大,类似于行人跟踪、检索等相关视频智能处理技术开始成为当前研究的热点。其研究范畴从传统技术只针对在单摄像头应用场景开始延展到多摄像头应用场景,研究对象从以前的只对单个行人发展到需要同时对多个行人进行处理。目前,单摄像头下的行人跟踪技术已经相对成熟,但多摄像头,尤其是非重叠视野区域情形下由于盲区的存在使得目标的时空信息变得不再可靠,从而给不同时刻不同空间下不同摄像头中同一目标的识别跟踪和检索造成了很大的困扰。所以,跨摄像头行人跟踪所需要解决的技术难点远比单摄像头场景下得复杂。因此,与之相关的一系列研究正在逐渐兴起。
跨摄像头行人跟踪主要是以行人为研究对象,关注非重叠视野区域的多摄像头多目标跟踪问题。这一问题,目前常见的解决机制是分为两个步骤:首先,使用检测和跟踪算法获得目标在单摄像头下得运行轨迹。其次,使用关联算法将摄像头间独立的行人运行轨迹进行关联整合,从而获得每个目标完整的运动轨迹。上述机制的局限在于只能处理离线的数据,本质上适用于检索场景,无法支持在线跟踪。究其原因在于,目标行人离开当前摄像头视域后,由于盲区的存在目标在进入下一摄像头视域时,时空信息均缺失,增加了将目标行人从上一个摄像头正确移交给下一个摄像头的难度。这种机制还产生了副效应:使得跨摄像头行人跟踪的结果严重依赖单摄像头下得行人跟踪效果。
实现行人跨摄像头在线跟踪的关键在于将不同视域内的同一目标行人正确关联。针对目前大部分跨摄像头行人跟踪算法中对于行人特征学习能力有限,并不能学习到较为鲁棒的行人特征。因此,最终影响到了后面的行人相似性度量的精度,最终造成了并不理想的数据关联结果。所以很难适应于跨摄像头行人跟踪的复杂环境。
尽管现有的跨摄像头指定行人跟踪相关的研究可以比较有效地解决一些对于离线数据的行人跟踪,但是并不能满足对于需要即时在线跟踪的要求,并且也不能在未知行人进出区域的时候进行有效的跟踪。
发明内容
本发明的目的在于提供一种跨摄像头场景下指定行人在线跟踪方法,以克服现有技术中存在的缺陷。
为实现上述目的,本发明的技术方案是:一种跨摄像头场景下指定行人在线跟踪方法,,按照如下步骤实现:
步骤S1:记N个视野区域非重叠的摄像头为C1,C2,...,CN;在第k帧,记摄像机Ci捕捉到m个行人,为其中,表示捕捉到的目标行人的信息;在第k帧标定为感兴趣目标行人,创建并初始化一***,保存该目标行人的信息作为后期数据关联的模板;
步骤S2:将单摄像头视野区域划分为***区域和内围区域;当目标行人从当前单摄像头视野***区域离开时,将该目标行人设置为挂起状态,并等待进行下一步的数据关联操作;
步骤S3:通过采用深度卷积孪生网络在线提取新进入的目标行人的特征,对新进入的行人与等待关联的目标行人进行相似性度量;将相似性值作为权值,建立带权值匹配图;对带权值匹配图求解最大权值匹配的解,获取新进入的行人与等待关联的目标行人间的数据关联的解,进而实现对目标行人在线追踪。
在本发明一实施例中,在所述步骤S1中,所述捕捉到的目标行人的信息包括:行人特征所处位置和时间信息且表示为:
在本发明一实施例中,在所述步骤S2中,还包括如下步骤:
步骤S21:将所述***区域的上、下、左、右区域相对于整个单摄像头的视野区域所占的比例分别为0.2、0.2、0.2以及0.2;
步骤S22:当所述***判断当前的目标行人已经无法继续跟踪时,且经一检测器检测到该目标行人位于所述***区域时,将该目标行人设置为挂起状态,并等待下一步的数据关联操作;否则,则判定该目标行人为跟踪失败,并且结束对该目标行人的跟踪。
在本发明一实施例中,在所述步骤S22中,当所述***的置信度值小于阈值0.25时,记为所述***判断当前目标行人已经无法继续跟踪。
在本发明一实施例中,在所述步骤S3中,记为现实世界中的同一行人不同时刻出现在i,j两个摄像头下,并记为一次关联;通过求解一个关联集合当且仅当是现实世界中的同一行人在不同时刻出现于摄像头i,j下,实现对新进入的行人与等待关联的目标行人间的数据关联的求解。
在本发明一实施例中,在所述步骤S3中,还包括如下步骤:
步骤S31:通过采用用深度卷积孪生网络在线提取新目标行人的特征,构建深度卷积孪生神经基础网络模块R-ResNet;
步骤S32:将两个完全相同的R-ResNet通过权重共享的方式,作为深度卷积孪生网络的基础网络;在两个R-ResNet的最后层分别添加一层卷积层,使用2个卷积核,尺寸大小为(1,1,4096),并将该卷积层获得的特征分别标记为f1和f2;将要计算输入的一对行人的相似性值,转化成对f1和f2特征的相似性比较;
步骤S33:引入一个无参数层Square层来对f1和f2特征求解平方差,作为f1和f2相似性比较层,并记该Square层为:fs=(f1-f2)2;将fs作为两个核大小为1×1×4096的卷积层的输入值,将softmax作为输出函数,输出一个二维向量(q1,q2),表示输入两个对象属于现实世界中同一个人的概率值;
步骤S34:根据所述步骤S33中获得的一对行人间的相似性概率值作为图的权值,将新进入的行人和待关联的目标行人分别作为两个不同的顶点集合,建立所述带权值匹配图;通过求解最大权值匹配图问题的解,获得新进入的行人与等待关联的目标行人间的数据关联的解。
在本发明一实施例中,在所述步骤S31中,所述深度卷积孪生神经基础网络模块R-ResNet的结构如下:
第一层为卷积层:卷积核大小为(7,7,64),max-pooling为(3,3),滑动步长为2;
第二层到第四层都为卷积层:卷积核大小分别为(1,1,64)、(3,3,64)、(1,1,256),激活函数都采用ReLu函数;该三层卷积层和激活函数组成一个卷积块;将该卷积块的输入值既作为所述第一层卷积层的输入值,也作为第三层激活函数的输入值;第五层到第七层以及第八层到十层都采用了与第二层到第四层相同的卷积块,卷积核大小以及结构与第二层到第四层完全相同;
第十一层到第十三层为卷积层:卷积核大小分别为(1,1,128)、(3,3,128)、(1,1,512),激活函数都采用ReLu函数;该三层卷积层和激活函数组成一个卷积块;将该卷积块的输入值既作为第一层卷积层的输入值,也作为第三层激活函数的输入值;第十四层到第十六层、第十七层到第十九层以及第二十层到二十二层的结构与第十一层到第十三层完全相同;
第二十三层到第二十五层为卷积层:卷积核大小分别为(1,1,256)、(3,3,256)、(1,1,1024),激活函数都采用ReLu函数;该三层卷积层和激活函数组成一个卷积块;将该卷积块的输入值既作为第一层卷积层的输入值,也作为第三层激活函数的输入值;第二十六层到第二十八层、第二十九层到三十一层、第三十二层到第三十四层、第三十五层到三十七层、第三十八层到第四十层的结构与第二十三层到二十五层完全相同;
第四十一层到第四十三层为卷积层:卷积核大小分别为(1,1,512)、(3,3,512)、(1,1,2048),激活函数都采用ReLu函数;该三层卷积层和激活函数组成一个卷积块;第四十四层到第四十六层、第四十七层到四十九层也为卷积层,且与第四十一层到第四十二层采用相同的卷积块;
在第四十九层卷积层后增加三个并行的卷积层,每个卷积层,使用2048个卷积核,尺寸大小分别为(3,3,1024)、(5,5,1024)和(7,7,1024),通过一个连接层将这三个并行的卷积层的通道进行合并,其后的max-pooling为(4,4);
R-ResNet的最后一层是使用1024个卷积核,且尺寸大小为(2,2,2048)的卷积层。
在本发明一实施例中,步骤S341:记:
为目标行人离开摄像头Ca后进入到摄像头Cb中,且与摄像头Cb中目标行人是现实世界中同一个行人的概率值;
其中,表示目标行人和的外观相似度;
当且仅当目标行人和离开或者进入的位置都是位于***区域时,否则,
当且仅当目标行人和的离开和出现的时间差不超过提前设定的等待时间阈值时,否则,
将Aij作为图的权值,和作为顶点建立所述带权匹配图;
步骤S342:通过匈牙利算法获得最大权值匹配问题的解,将最大权值匹配边对应着新进入的行人和等待关联的目标行人间的一组最优关联。
相较于现有技术,本发明具有以下有益效果:本发明提出的一种跨摄像头场景下指定行人在线跟踪方法,使用者标定某个感兴趣的目标行人,保存初始化信息作为当目标行人离开当前摄像头区域后,算法进行匹配关联的模板。将两个完全相同的R-ResNet网络,通过权重共享的方式作为深度卷积孪生网络的基础网络,在行人重识别数据集上对深度卷积孪生模型进行训练,使其能够满足在跨摄像头复杂环境下。通过采用本发明的深度卷积孪生网络,将等待关联的目标行人保存的模板和新目标新人的信息作为输入,仅通过单帧匹配的方式就可以进行相似性度量,实现了目标行人间的即时在线关联,解决了传统大部分算法只能处理离线数据的局限性。将每个单摄像头跟踪区域划分为内围和***区域的方法,只对在***区域被检测到的的新老目标进行数据关联,不仅消除了需要提前设定行人进出区域的局限而且还提升了本发明方法的效率,进一步提高了实用性。
附图说明
图1为本发明中跨摄像头场景下指定行人在线跟踪方法的流程示意图。
图2为本发明一实施例中R-ResNet的结构图。
图3为本发明一实施例中深度卷积孪生网络的结构图。
图4为本发明一实施例中一个卷积块的结构图。
图5为本发明一实施例中在单摄像头下指定多个行人的实际运行效果图。
图6是为本发明一实施例中通过采用跨摄像头场景下指定行人在线跟踪方法后的实际运行效果图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明针对目前跨摄像头存在以上的常见限制,提出了一种使用孪生神经网络来解决行人特征在线提取并完成对一对目标行人的相似性度量。基于上述对现有技术的分析,训练深度卷积孪生网络,通过孪生网络实现对行人特征的在线提取和目标行人间的关联匹配;将摄像头区域划分为内围和***的方法解决了需要预设定行人进出区域的难题。
本发明提出的一种跨摄像头场景下指定行人在线跟踪方法,如图1所示,包括如下步骤:
步骤S1:将N个视野区域非重叠的摄像头记为C1,C2,...,CN。在第k帧,将摄像机Ci捕捉到m个行人,记为其中,表示捕捉到的行人的信息,由行人的特征所处位置和时间信息三部分组成。在第k帧标定为感兴趣目标行人,创建并初始化***,并保存该行人的信息作为后期数据关联的模板;
步骤S2:将单摄像头视野区域划分为***和内围,当目标行人从摄像头视野***区域离开时,将该目标行人设置为挂起状态,并等待进行下一步的数据关联操作;
步骤S3:令表示现实世界中的同一行人不同时刻出现在i,j两个摄像头下,记为则为一次关联。求解一个关联集合当且仅当是现实世界中的同一行人在不同时刻出现于摄像头i,j下。使用深度卷积孪生网络在线提取新目标行人的特征,对每对新进入的目标行人与等待关联的行人进行相似性度量,将相似性值作为权值建立带权值匹配图。对带权值匹配图求解最大权值匹配的解,来获得原始问题目标行人间的数据关联的解。
进一步的,在本实施例中,步骤S1具体包括以下步骤:
步骤S11:根据使用者圈出的感兴趣行人,获取指定行人包括位置、时间和初始框等基本信息。
步骤S12:根据步骤S11获取到的基本信息创建并初始化一个***。
步骤S13:使用数据结构保存使用者圈出的感兴趣行人,作为后期行人数据关联的匹配模板。
进一步的,在本实施例中,步骤S2具体包括以下步骤:
步骤S21:将单摄像头下得跟踪视野区域划分为内围和***区域。并将***区域的上下左右区域相对于整个跟踪视野区域所占的比例分别设定为(0.2,0.2,0.2,0.2)。
步骤S22:根据步骤S21的区域划分方法,当***判断目标行人离开了当前跟踪视野区域且该行人位于***区域的时候,则将该目标设置为挂起状态并等待下一步的数据关联操作;若***判断目标行人离开了当前跟踪视野区域,且目标的离开位置位于内围区域,则判定该目标行人为跟踪失败并且结束该目标的跟踪。
进一步的,在本实施例中,步骤S3具体包括以下步骤:
步骤S31:使用深度卷积孪生网络在线提取新目标行人的特征。如图3所示,按照如下结构构建深度卷积孪生神经基础网络模块R-ResNet:
第一层为卷积层:卷积核大小为(7,7,64),max-pooling为(3,3),滑动步长为2。
第二层到第四层都为卷积层:卷积核大小分别为(1,1,64)、(3,3,64)、(1,1,256),激活函数都采用ReLu函数,如图2所示,这三层卷积层和激活函数组成一个卷积块,在三层的卷积块中的输入值不仅作为第一层卷积层的输入值,还作为第三层激活函数ReLu的输入值;第五层到第七层和第八层到十层都采用了相同的卷积块,卷积核大小和结构与第二层到第四层完全相同。
第十一层到第十三层为卷积层:卷积核大小分别为(1,1,128)、(3,3,128)、(1,1,512),激活函数都采用ReLu函数,这三层卷积层和激活函数组成一个卷积块,在三层的卷积块中的输入值不仅作为第一层卷积层的输入值,还作为第三层激活函数ReLu的输入值;其中,第十四层到十六层、第十七层到第十九层和第二十层到二十二层的结构与第十一层到第十三层完全相同。
第二十三层到第二十五层为卷积层:卷积核大小分别为(1,1,256)、(3,3,256)、(1,1,1024),激活函数都采用ReLu函数,这三层卷积层和激活函数组成一个卷积块,在三层的卷积块中的输入值不仅作为第一层卷积层的输入值,还作为第三层激活函数ReLu的输入值;第二十六层到第二十八层、第二十九层到三十一层、第三十二层到第三十四层、第三十五层到三十七层、第三十八层到第四十层的结构与第二十三层到二十五层完全相同。
第四十一层到第四十三层为卷积层:卷积核大小分别为(1,1,512)、(3,3,512)、(1,1,2048),激活函数都采用ReLu函数,这三层卷积层和激活函数组成一个卷积块;第四十四层到第四十六层、第四十七层到四十九层也为卷积层,且结构与第四十一层到第四十二层完全相同。
在第四十九层卷积层后增加三个并行的卷积层。每个卷积层,使用2048个卷积核,尺寸大小分别为(3,3,1024)、(5,5,1024)和(7,7,1024),通过一个连接层将这三个并行的卷积层的通道进行合并,其后的max-pooling为(4,4)。R-ResNet的最后一层是使用1024个卷积核,尺寸大小为(2,2,2048)的卷积层。
步骤S32:如图4所示,将两个完全相同的R-ResNet通过权重共享的方式,作为深度卷积孪生网络的基础网络。在两个R-ResNet网络最后层分别添加一层卷积层,使用2个卷积核,尺寸大小为(1,1,4096)。将该卷积层获得的特征分别标记为f1和f2。将要计算输入的一对行人的相似性值,转化成对f1和f2特征的相似性比较。
步骤S33:引入一个无参数层Square层来对f1和f2特征求解平方差作为f1和f2相似性比较层,Square层定义为fs=(f1-f2)2。之后将fs作为两个核大小为1×1×4096的卷积层的输入值,由softmax作为输出函数,结果输出一个二维向量(q1,q2),表示输入两个对象属于现实世界中同一个人的概率值。
步骤S34:根据步骤S33中获得的一对行人间的相似性概率值作为图的权值,将新进入的行人和待关联的行人分别作为两个不同的顶点集合,建立一个带权匹配图。通过求解最大权值匹配图问题的解,获得原始问题目标行人间的数据关联的解。
进一步的,记表示目标行人离开摄像头Ca后进入到摄像头Cb中,且摄像头Cb中目标行人是现实世界中同一个行人的概率值。
其中,表示目标行人和的外观相似度。当且仅当目标行人和离开或者进入的位置都是位于***区域时,否则,当且仅当目标行人和的离开和出现的时间差不超过提前设定的等待时间阈值时,否则,
将Aij作为图的权值,和作为顶点建立带权匹配图。通过匈牙利算法获得最大权值匹配问题的解,该问题的解所对应的匹配边就是行人间的关联关系。
图5为本实施例中在单摄像头下指定多个行人的实际运行效果图。
图6是为本实施例中通过采用跨摄像头场景下指定行人在线跟踪方法后的实际运行效果图。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (8)
1.一种跨摄像头场景下指定行人在线跟踪方法,其特征在于,其特征在于,按照如下步骤实现:
步骤S1:记N个视野区域非重叠的摄像头为C1,C2,...,CN;在第k帧,记摄像机Ci捕捉到m个行人,为Oi={Oi 1,...,Oi m};其中,Oi a表示捕捉到的目标行人的信息;在第k帧标定为感兴趣目标行人,创建并初始化一***,保存该目标行人的信息作为后期数据关联的模板;
步骤S2:将单摄像头视野区域划分为***区域和内围区域;当目标行人从当前单摄像头视野***区域离开时,将该目标行人设置为挂起状态,并等待进行下一步的数据关联操作;
步骤S3:通过采用深度卷积孪生网络在线提取新进入的目标行人的特征,对新进入的行人与等待关联的目标行人进行相似性度量;将相似性值作为权值,建立带权值匹配图;对带权值匹配图求解最大权值匹配的解,获取新进入的行人与等待关联的目标行人间的数据关联的解,进而实现对目标行人在线追踪。
2.根据权利要求1所述的跨摄像头场景下指定行人在线跟踪方法,其特征在于,在所述步骤S1中,所述捕捉到的目标行人的信息包括:行人特征fi a所处位置和时间信息且表示为:
3.根据权利要求1所述的跨摄像头场景下指定行人在线跟踪方法,其特征在于,在所述步骤S2中,还包括如下步骤:
步骤S21:将所述***区域的上、下、左、右区域相对于整个单摄像头的视野区域所占的比例分别为0.2、0.2、0.2以及0.2;
步骤S22:当所述***判断当前的目标行人已经无法继续跟踪时,且经一检测器检测到该目标行人位于所述***区域时,将该目标行人设置为挂起状态,并等待下一步的数据关联操作;否则,则判定该目标行人为跟踪失败,并且结束对该目标行人的跟踪。
4.根据权利要求3所述的跨摄像头场景下指定行人在线跟踪方法,其特征在于,在所述步骤S22中,当所述***的置信度值小于阈值0.25时,记为所述***判断当前目标行人已经无法继续跟踪。
5.根据权利要求1所述的跨摄像头场景下指定行人在线跟踪方法,其特征在于,在所述步骤S3中,记为现实世界中的同一行人不同时刻出现在i,j两个摄像头下,并记为一次关联;通过求解一个关联集合当且仅当是现实世界中的同一行人在不同时刻出现于摄像头i,j下,实现对新进入的行人与等待关联的目标行人间的数据关联的求解。
6.根据权利要求1所述的跨摄像头场景下指定行人在线跟踪方法,其特征在于,在所述步骤S3中,还包括如下步骤:
步骤S31:通过采用用深度卷积孪生网络在线提取新目标行人的特征,构建深度卷积孪生神经基础网络模块R-ResNet;
步骤S32:将两个完全相同的R-ResNet通过权重共享的方式,作为深度卷积孪生网络的基础网络;在两个R-ResNet的最后层分别添加一层卷积层,使用2个卷积核,尺寸大小为(1,1,4096),并将该卷积层获得的特征分别标记为f1和f2;将要计算输入的一对行人的相似性值,转化成对f1和f2特征的相似性比较;
步骤S33:引入一个无参数层Square层来对f1和f2特征求解平方差,作为f1和f2相似性比较层,并记该Square层为:fs=(f1-f2)2;将fs作为两个核大小为1×1×4096的卷积层的输入值,将softmax作为输出函数,输出一个二维向量(q1,q2),表示输入两个对象属于现实世界中同一个人的概率值;
步骤S34:根据所述步骤S33中获得的一对行人间的相似性概率值作为图的权值,将新进入的行人和待关联的目标行人分别作为两个不同的顶点集合,建立所述带权值匹配图;通过求解最大权值匹配图问题的解,获得新进入的行人与等待关联的目标行人间的数据关联的解。
7.根据权利要求6所述的跨摄像头场景下指定行人在线跟踪方法,其特征在于,在所述步骤S31中,所述深度卷积孪生神经基础网络模块R-ResNet的结构如下:
第一层为卷积层:卷积核大小为(7,7,64),max-pooling为(3,3),滑动步长为2;
第二层到第四层都为卷积层:卷积核大小分别为(1,1,64)、(3,3,64)、(1,1,256),激活函数都采用ReLu函数;该三层卷积层和激活函数组成一个卷积块;将该卷积块的输入值既作为所述第一层卷积层的输入值,也作为第三层激活函数的输入值;第五层到第七层以及第八层到十层都采用了与第二层到第四层相同的卷积块,卷积核大小以及结构与第二层到第四层完全相同;
第十一层到第十三层为卷积层:卷积核大小分别为(1,1,128)、(3,3,128)、(1,1,512),激活函数都采用ReLu函数;该三层卷积层和激活函数组成一个卷积块;将该卷积块的输入值既作为第一层卷积层的输入值,也作为第三层激活函数的输入值;第十四层到第十六层、第十七层到第十九层以及第二十层到二十二层的结构与第十一层到第十三层完全相同;
第二十三层到第二十五层为卷积层:卷积核大小分别为(1,1,256)、(3,3,256)、(1,1,1024),激活函数都采用ReLu函数;该三层卷积层和激活函数组成一个卷积块;将该卷积块的输入值既作为第一层卷积层的输入值,也作为第三层激活函数的输入值;第二十六层到第二十八层、第二十九层到三十一层、第三十二层到第三十四层、第三十五层到三十七层、第三十八层到第四十层的结构与第二十三层到二十五层完全相同;
第四十一层到第四十三层为卷积层:卷积核大小分别为(1,1,512)、(3,3,512)、(1,1,2048),激活函数都采用ReLu函数;该三层卷积层和激活函数组成一个卷积块;第四十四层到第四十六层、第四十七层到四十九层也为卷积层,且结构与第四十一层到第四十二层完全相同;
在第四十九层卷积层后增加三个并行的卷积层,每个卷积层,使用2048个卷积核,尺寸大小分别为(3,3,1024)、(5,5,1024)和(7,7,1024),通过一个连接层将这三个并行的卷积层的通道进行合并,其后的max-pooling为(4,4);
R-ResNet的最后一层是使用1024个卷积核,且尺寸大小为(2,2,2048)的卷积层。
8.根据权利要求6所述的跨摄像头场景下指定行人在线跟踪方法,其特征在于,
步骤S341:记:
为目标行人离开摄像头Ca后进入到摄像头Cb中,且与摄像头Cb中目标行人是现实世界中同一个行人的概率值;
其中,表示目标行人和的外观相似度;
当且仅当目标行人和离开或者进入的位置都是位于***区域时,否则,
当且仅当目标行人和的离开和出现的时间差不超过提前设定的等待时间阈值时,否则,
将Aij作为图的权值,和作为顶点建立所述带权匹配图;
步骤S342:通过匈牙利算法获得最大权值匹配问题的解,将最大权值匹配边对应着新进入的行人和等待关联的目标行人间的一组最优关联。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810076414.0A CN108198200B (zh) | 2018-01-26 | 2018-01-26 | 跨摄像头场景下指定行人在线跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810076414.0A CN108198200B (zh) | 2018-01-26 | 2018-01-26 | 跨摄像头场景下指定行人在线跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108198200A true CN108198200A (zh) | 2018-06-22 |
CN108198200B CN108198200B (zh) | 2022-03-08 |
Family
ID=62590854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810076414.0A Expired - Fee Related CN108198200B (zh) | 2018-01-26 | 2018-01-26 | 跨摄像头场景下指定行人在线跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108198200B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960124A (zh) * | 2018-06-28 | 2018-12-07 | 北京陌上花科技有限公司 | 用于行人再识别的图像处理方法及装置 |
CN109117744A (zh) * | 2018-07-20 | 2019-01-01 | 杭州电子科技大学 | 一种用于人脸验证的孪生神经网络训练方法 |
CN109359507A (zh) * | 2018-08-24 | 2019-02-19 | 南京理工大学 | 一种车间人员数字孪生体模型快速构建方法 |
CN109410245A (zh) * | 2018-09-13 | 2019-03-01 | 北京米文动力科技有限公司 | 一种视频目标跟踪方法及设备 |
CN109598684A (zh) * | 2018-11-21 | 2019-04-09 | 华南理工大学 | 结合孪生网络的相关滤波跟踪方法 |
CN109598743A (zh) * | 2018-11-20 | 2019-04-09 | 北京京东尚科信息技术有限公司 | 行人目标跟踪方法、装置及设备 |
CN109685109A (zh) * | 2018-11-26 | 2019-04-26 | 浙江工业大学 | 一种基于孪生神经网络的基站标号轨迹分类方法 |
CN110222792A (zh) * | 2019-06-20 | 2019-09-10 | 杭州电子科技大学 | 一种基于孪生网络的标签缺陷检测算法 |
CN110619268A (zh) * | 2019-08-07 | 2019-12-27 | 北京市新技术应用研究所 | 基于时空分析与深度特征的行人再识别方法及装置 |
CN110969112A (zh) * | 2019-11-28 | 2020-04-07 | 福州大学 | 跨摄像头场景下行人身份对齐方法 |
CN112614159A (zh) * | 2020-12-22 | 2021-04-06 | 浙江大学 | 一种面向仓库场景的跨摄像头多目标跟踪方法 |
CN113362373A (zh) * | 2021-06-01 | 2021-09-07 | 北京首都国际机场股份有限公司 | 基于双孪生网络的复杂机坪区域内飞机跟踪方法 |
CN113705417A (zh) * | 2021-08-23 | 2021-11-26 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
CN115835008A (zh) * | 2022-11-21 | 2023-03-21 | 上海飞机制造有限公司 | 跨不同拍摄设备的追踪方法、装置、电子设备以及介质 |
CN115984318A (zh) * | 2023-03-20 | 2023-04-18 | 宝略科技(浙江)有限公司 | 一种基于特征最大关联概率的跨摄像头行人跟踪方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070279494A1 (en) * | 2004-04-16 | 2007-12-06 | Aman James A | Automatic Event Videoing, Tracking And Content Generation |
CN102156863A (zh) * | 2011-05-16 | 2011-08-17 | 天津大学 | 跨摄像头的多运动目标跟踪方法 |
CN106097391A (zh) * | 2016-06-13 | 2016-11-09 | 浙江工商大学 | 一种基于深度神经网络的识别辅助的多目标跟踪方法 |
CN106709436A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪*** |
US20170177946A1 (en) * | 2015-12-21 | 2017-06-22 | Canon Kabushiki Kaisha | Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras |
US20170345181A1 (en) * | 2016-05-27 | 2017-11-30 | Beijing Kuangshi Technology Co., Ltd. | Video monitoring method and video monitoring system |
CN107563313A (zh) * | 2017-08-18 | 2018-01-09 | 北京航空航天大学 | 基于深度学习的多目标行人检测与跟踪方法 |
CN107578422A (zh) * | 2017-08-01 | 2018-01-12 | 中国农业大学 | 一种行人追踪检测***及方法 |
-
2018
- 2018-01-26 CN CN201810076414.0A patent/CN108198200B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070279494A1 (en) * | 2004-04-16 | 2007-12-06 | Aman James A | Automatic Event Videoing, Tracking And Content Generation |
CN102156863A (zh) * | 2011-05-16 | 2011-08-17 | 天津大学 | 跨摄像头的多运动目标跟踪方法 |
US20170177946A1 (en) * | 2015-12-21 | 2017-06-22 | Canon Kabushiki Kaisha | Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras |
US20170345181A1 (en) * | 2016-05-27 | 2017-11-30 | Beijing Kuangshi Technology Co., Ltd. | Video monitoring method and video monitoring system |
CN106097391A (zh) * | 2016-06-13 | 2016-11-09 | 浙江工商大学 | 一种基于深度神经网络的识别辅助的多目标跟踪方法 |
CN106709436A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪*** |
CN107578422A (zh) * | 2017-08-01 | 2018-01-12 | 中国农业大学 | 一种行人追踪检测***及方法 |
CN107563313A (zh) * | 2017-08-18 | 2018-01-09 | 北京航空航天大学 | 基于深度学习的多目标行人检测与跟踪方法 |
Non-Patent Citations (6)
Title |
---|
KAIMING HE ET AL.: "Deep Residual Learning for Image Recognition", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
YINGHAO CAI ET AL.: "Exploring Context Information for Inter-Camera Multiple Target Tracking", 《2014 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》 * |
YOUNG-GUN LEE ET AL.: "Online-Learning-Based Human Tracking Across Non-Overlapping Cameras", 《2017 IEEE》 * |
YU CHUNYAN ET AL.: "A New Agent Oriented Model for AutoMotive Computing Platform", 《2010 IEEE》 * |
ZHEDONG ZHENG ET AL.: "A Discriminatively Learned CNN Embedding for Person Reidentification", 《ACM TRANS. MULTIMEDIA COMPUT. COMMUN. APPL》 * |
刘少华等: "基于最小费用流模型的无重叠视域多摄像机目标关联算法", 《自动化学报》 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960124A (zh) * | 2018-06-28 | 2018-12-07 | 北京陌上花科技有限公司 | 用于行人再识别的图像处理方法及装置 |
CN109117744A (zh) * | 2018-07-20 | 2019-01-01 | 杭州电子科技大学 | 一种用于人脸验证的孪生神经网络训练方法 |
CN109359507A (zh) * | 2018-08-24 | 2019-02-19 | 南京理工大学 | 一种车间人员数字孪生体模型快速构建方法 |
CN109359507B (zh) * | 2018-08-24 | 2021-10-08 | 南京理工大学 | 一种车间人员数字孪生体模型快速构建方法 |
CN109410245B (zh) * | 2018-09-13 | 2021-08-10 | 北京米文动力科技有限公司 | 一种视频目标跟踪方法及设备 |
CN109410245A (zh) * | 2018-09-13 | 2019-03-01 | 北京米文动力科技有限公司 | 一种视频目标跟踪方法及设备 |
CN109598743A (zh) * | 2018-11-20 | 2019-04-09 | 北京京东尚科信息技术有限公司 | 行人目标跟踪方法、装置及设备 |
CN109598743B (zh) * | 2018-11-20 | 2021-09-03 | 北京京东尚科信息技术有限公司 | 行人目标跟踪方法、装置及设备 |
CN109598684A (zh) * | 2018-11-21 | 2019-04-09 | 华南理工大学 | 结合孪生网络的相关滤波跟踪方法 |
CN109685109A (zh) * | 2018-11-26 | 2019-04-26 | 浙江工业大学 | 一种基于孪生神经网络的基站标号轨迹分类方法 |
CN109685109B (zh) * | 2018-11-26 | 2020-10-30 | 浙江工业大学 | 一种基于孪生神经网络的基站标号轨迹分类方法 |
CN110222792A (zh) * | 2019-06-20 | 2019-09-10 | 杭州电子科技大学 | 一种基于孪生网络的标签缺陷检测算法 |
CN110619268A (zh) * | 2019-08-07 | 2019-12-27 | 北京市新技术应用研究所 | 基于时空分析与深度特征的行人再识别方法及装置 |
CN110619268B (zh) * | 2019-08-07 | 2022-11-25 | 北京市新技术应用研究所 | 基于时空分析与深度特征的行人再识别方法及装置 |
CN110969112A (zh) * | 2019-11-28 | 2020-04-07 | 福州大学 | 跨摄像头场景下行人身份对齐方法 |
CN110969112B (zh) * | 2019-11-28 | 2022-08-16 | 福州大学 | 跨摄像头场景下行人身份对齐方法 |
CN112614159A (zh) * | 2020-12-22 | 2021-04-06 | 浙江大学 | 一种面向仓库场景的跨摄像头多目标跟踪方法 |
CN113362373B (zh) * | 2021-06-01 | 2023-12-15 | 北京首都国际机场股份有限公司 | 基于双孪生网络的复杂机坪区域内飞机跟踪方法 |
CN113362373A (zh) * | 2021-06-01 | 2021-09-07 | 北京首都国际机场股份有限公司 | 基于双孪生网络的复杂机坪区域内飞机跟踪方法 |
CN113705417A (zh) * | 2021-08-23 | 2021-11-26 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
WO2023024787A1 (zh) * | 2021-08-23 | 2023-03-02 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质及计算机程序产品 |
CN115835008A (zh) * | 2022-11-21 | 2023-03-21 | 上海飞机制造有限公司 | 跨不同拍摄设备的追踪方法、装置、电子设备以及介质 |
CN115984318A (zh) * | 2023-03-20 | 2023-04-18 | 宝略科技(浙江)有限公司 | 一种基于特征最大关联概率的跨摄像头行人跟踪方法 |
CN115984318B (zh) * | 2023-03-20 | 2023-06-13 | 宝略科技(浙江)有限公司 | 一种基于特征最大关联概率的跨摄像头行人跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108198200B (zh) | 2022-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108198200A (zh) | 跨摄像头场景下指定行人在线跟踪方法 | |
EP3869459B1 (en) | Target object identification method and apparatus, storage medium and electronic apparatus | |
CN107330362B (zh) | 一种基于时空注意力的视频分类方法 | |
CN104601964B (zh) | 非重叠视域跨摄像机室内行人目标跟踪方法及*** | |
CN106372576A (zh) | 一种基于深度学习的智能室内入侵检测方法及*** | |
CN107220604A (zh) | 一种基于视频的跌倒检测方法 | |
CN108764066A (zh) | 一种基于深度学习的快件分拣操作规范检测方法 | |
CN109101888A (zh) | 一种游客人流量监控预警方法 | |
CN107103279A (zh) | 一种在垂直视角下基于深度学习的客流计数方法 | |
CN109298785A (zh) | 一种监测设备的人机联控***及方法 | |
CN107194396A (zh) | 国土资源视频监控***中基于特定违章建筑识别预警方法 | |
CN109214263A (zh) | 一种基于特征复用的人脸识别方法 | |
CN108898077A (zh) | 电力设备红外热图的识别方法和电力设备红外识别*** | |
CN109309809A (zh) | 跨区域目标轨迹跟踪的方法及数据处理方法、装置和*** | |
CN107230267A (zh) | 基于人脸识别算法的幼儿园智能签到方法 | |
CN101739568A (zh) | 基于分层观测向量分解的隐马尔科夫模型的行为识别方法 | |
CN113903081A (zh) | 一种水电厂图像视觉识别人工智能报警方法及装置 | |
CN109697391A (zh) | 封闭场所内人物再识别的方法、***及终端设备 | |
CN110263654A (zh) | 一种火焰检测方法、装置及嵌入式设备 | |
CN109002752A (zh) | 一种基于深度学习的复杂公共场景快速行人检测方法 | |
CN110334660A (zh) | 一种雾天条件下基于机器视觉的森林火灾监测方法 | |
CN106778488B (zh) | 基于图像相关性的低照度烟雾视频检测方法 | |
CN110020626A (zh) | 一种基于注意力机制的多源异构数据身份识别方法 | |
CN109241952B (zh) | 拥挤场景下人物计数方法及装置 | |
CN116931524B (zh) | 一种建筑楼宇智能化监控***及其工艺 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220308 |