CN111914690B - 一种视频识别中目标对象中长期跟踪方法 - Google Patents
一种视频识别中目标对象中长期跟踪方法 Download PDFInfo
- Publication number
- CN111914690B CN111914690B CN202010680657.2A CN202010680657A CN111914690B CN 111914690 B CN111914690 B CN 111914690B CN 202010680657 A CN202010680657 A CN 202010680657A CN 111914690 B CN111914690 B CN 111914690B
- Authority
- CN
- China
- Prior art keywords
- tracking
- queue
- detection period
- target
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 133
- 230000007774 longterm Effects 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 abstract description 4
- 230000033001 locomotion Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开一种视频识别中目标对象中长期跟踪方法,采用至少两个长度递增的检测周期进行检测,每个检测周期分别对应一个跟踪对象列表,记录每个跟踪对象唯一的ID,每个检测周期的每个跟踪对象分别对应一个跟踪队列,跟踪队列的每个元素分别对应目标对象的一个跟踪点信息。本发明通过多级跟踪队列实现跟踪点的加入以及目标对象认定的修正,对于高漏检的目标识别情况,有稳健的中长期目标跟踪能力。
Description
技术领域
本发明属于计算机视觉技术领域,涉及目标对象在较长时间跨度内的跟踪方法。
背景技术
在计算机视觉技术中,目标检测是对视频中每帧图片进行处理,识别其中包含的目标对象的种类和位置。目标跟踪是对于识别的目标对象,需要知道其在时间过程中位置的变化,也就是对不同帧识别的对象确定是否为同一个跟踪对象。
为便于分别,下文中将单帧图片通过目标检测获得的对象称为目标对象,通过目标跟踪关联不同帧中目标对象获得的对象称为跟踪对象。目标对象和跟踪对象都对应到现实世界的真实对象。一个真实对象对应到一个或多个跟踪对象,一个跟踪对象对应多个目标对象。
目标跟踪分为单目标跟踪和多目标跟踪,单目标跟踪即针对帧图片中的一个目标对象进行跟踪,因为只有一个目标对象,只要通过目标检测将这个对象检测出来,也就实现了帧间目标对象的关联。多目标跟踪是指帧图片中包含多个目标对象,多个目标对象可能还属于不同的种类,多目标跟踪分别实现各个目标对象的帧间关联。
目标跟踪广泛应用在安防监控和自动驾驶等场景,其意义有两个方面:
A、目标对象前后状态的关联:例如在前面的帧中目标对象是人,能检测到正脸,因此可能通过人脸识别得到这个人的身份,而在后续的帧中,如果发现这个人在做违法的事情,虽然违法行为发生时刻不能拍到正脸,但通过目标跟踪可以确定与前面帧中正脸的目标对象是同一个人的话,通过对之前帧中正脸图片的人脸识别,可以确定违法行为人员的身份;
B、目标运动轨迹识别:连续帧中目标对象中心在帧图片中的位置点连接起来将构成目标运动变化的轨迹线,检测轨迹线与设定区域或目标是否发生碰撞或者碰撞的速度,可以用来检测目标是否存在异常的行为模式,例如穿越禁区或者翻越围栏等。
实际视频识别中,要获得稳定的目标跟踪并不容易,主要是由于两方面的原因:
A、视频中目标对象相互遮挡等引起的目标对象的消失,或者是多个对象交叉穿织,引起跟踪失败;
B、目标检测漏检:目标跟踪依赖于每帧的目标检测结果,目标检测越稳定,漏检越少,目标跟踪就有了更好的基础。实际项目中,无论是采用传统算法的目标检测,还是通过深度学习方法的目标检测,经常会出现目标检测效果不稳定,漏检较多的现象。
在目标跟踪中,对于首次出现的每个目标,将分配一个唯一的跟踪对象ID,后续跟踪过程中,都沿用这个ID。如果因为遮挡或漏检等原因导致跟踪丢失,丢失的时间超过设定的阈值,该ID将被丢弃。等该目标对象重新检出时,***将分配一个新的ID。这样虽然是同一个真实对象,因为跟踪丢失的原因,导致了ID的变化。业界在衡量跟踪效果的时候,有一个指标是ID switch次数(ID切换):又称ID sw.,就是反应跟踪失败的次数的。跟踪算法中理想的ID switch应该为0。
近年出现的相对有影响力的多目标跟踪技术有SORT以及其改进版DeepSort。
SORT全称为Simple Online And Realtime Tracking(简单在线实时跟踪),该方法结合了卡尔曼滤波追踪和匈牙利指派算法。卡尔曼滤波是对目标对象运动轨迹的预测,卡尔曼滤波是假定目标的不同帧间运动是和其他物体及相机运动无关的线性运动,因此预测也是一种线性预测。而匈牙利指派是将目标对象预测的下一帧位置分配给实际目标检测的结果,从而获得目标对象在下一帧的位置。SORT没有使用目标外观特征来关联帧间检出的目标对象,而是仅使用检测框的位置和大小进行目标的运动估计和数据关联。另外,没有考虑遮挡问题,也没有通过目标的外观特征进行目标重识别,SORT核心就是围绕处理速度要快,要能够实时应用。
DeepSort在目标对象匹配时加入了深度表观描述子,使得匹配的效果会更好。
已有目标跟踪技术支持视频前后帧间目标检测对象根据运动位置预测和表征特征进行关联,但如果目标检测由于遮挡或者漏检等原因,导致目标较长一段时间无法检出,现有技术将认为该跟踪已经丢失,再次检出时被认为是新的对象。典型的情况下,如果连续5帧无法检测出来,原有跟踪对象就会被认为丢失,再次检出时会被认为是新的跟踪对象,分配新的对象ID,导致同一个真实对象对应到不同的跟踪对象ID,即导致ID切换。而实际的目标检测中,漏检是常见的问题,一个目标对象连续5帧甚至更长时间无法检测出来而导致跟踪失败,尤其在中长期跟踪中,现有的技术无法解决频繁跟踪失败的问题。本发明通过多级跟踪对象列表的方法,实现了中长期更稳定的对象跟踪的支持。
发明内容
为了解决现有跟踪技术中的以上问题,本发明提供一种视频识别中目标对象中长期跟踪方法,通过不同时间跨度的目标匹配,提升目标跟踪的稳定性。
本发明具体采用如下技术方案:
一种视频识别中目标对象中长期跟踪方法,其特征在于:
采用至少两个长度递增的检测周期进行检测,每个检测周期分别对应一个跟踪对象列表,记录每个跟踪对象唯一的ID,每个检测周期的每个跟踪对象分别对应一个跟踪队列,跟踪队列的每个元素分别对应目标对象的一个跟踪点信息,跟踪点信息至少包含目标对象的位置信息;
当一个较长检测周期到来时,将前序较短检测周期跟踪对象列表中的跟踪对象和较长检测周期跟踪对象列表中的跟踪对象进行匹配,如果匹配成功,则取较短检测周期的跟踪对象的跟踪队列中的信息生成一个跟踪点,加入较长检测周期的相匹配跟踪对象的跟踪队列中。
优选地,跟踪对象匹配成功是指跟踪对象的ID匹配成功。
另一优选地,跟踪对象匹配成功是指根据跟踪算法,跟踪对象基于位置或表征特征相近匹配成功。
进一步优选地,如果跟踪对象根据跟踪算法匹配成功,使用较长检测周期跟踪对象的ID更新较短检测周期跟踪对象的ID
优选地,如果较短检测周期的某个跟踪对象无法匹配较长检测周期的任何跟踪对象,则在较长检测周期的跟踪对象列表中新建一个跟踪对象,取较短检测周期的该个跟踪对象的跟踪队列中的信息生成一个跟踪点,加入较长检测周期的新增跟踪对象的跟踪队列中。
优选地,如果较长检测周期的某个跟踪对象无法匹配较短检测周期的任何跟踪对象,记录该个跟踪对象的在较长检测周期的跟踪队列中丢失一次跟踪,丢失跟踪的次数超过设定值时,将该个跟踪对象的ID从较长检测周期的跟踪对象列表中删除。
进一步优选地,如果较长检测周期的某个跟踪对象无法匹配较短检测周期的任何跟踪对象,则根据之前的跟踪点信息,推测出一个跟踪点,加入较长检测周期的该个跟踪对象的跟踪队列中。
进一步优选地,取较短检测周期的跟踪对象的跟踪队列中的信息生成一个跟踪点时,所述信息取自跟踪队列中固定位置,或根据跟踪队列中各元素平均值来计算获得。
本发明的有益效果:
1、在高漏检情况下实现目标的中长期跟踪
对于每个检测周期对应的跟踪队列,假设连续五个跟踪点都无法找到对应的目标对象,即认为目标对象消失,跟踪失败。对于第一个检测周期跟踪队列,可以容忍的漏检时长为0.04*4=0.16秒。对于第2个检测周期对应的跟踪级队列,可以容忍的漏检时长为0.64*4=2.56秒。对于第3个检测周期对应的跟踪队列,可以容忍的漏检时长为10.24*4=40.96秒。依次类推。也就是说,假设目标对象连续40秒都无法检测到,仍然可以在第2个检测周期对应的跟踪队列中匹配到原来的目标对象。相当于建立了一种多级跟踪队列的机制,对于高漏检的目标识别情况,有稳健的中长期目标跟踪能力。
2、通过长期跟踪修正短期跟踪的目标对象的认定
当目标对象出现一段时间的漏检以后,低级别跟踪队列(对应较短检测周期跟踪队列)将出现跟踪识别,从而在目标对象再次检出时,认为是新的对象,分配新的对象ID。而对于高级别队列(对应较长检测周期跟踪队列),因为容忍的漏检时长更长,目标对象跟踪稳定性更高,因此即使低级别队列跟踪失败,高级别队列仍然可以实现目标对象的匹配。如果目标对象在高级别队列跟踪匹配成功,可以反过来修正低级别队列对目标对象的认定,用高级队列的对象ID来修正低级队列误分配的ID,降低跟踪指标IDSwitch数。
附图说明
图1是多级队列的时间跨度示意图;
图2是第1帧图片的处理示意图;
图3是第2帧图片的处理示意图;
图4是第16帧图片的处理示意图;
图5是第256帧图片的处理示意图;
图6是第8帧图片漏检示意图;
图7是第19-24帧图片漏检示意图;
图8是第0级跟踪对象匹配到第1级跟踪对象示意图;
图9是长期跟踪效果。
具体实施方式
本发明的视频识别中目标对象中长期跟踪方法如下:
一、目标对象跟踪点多级队列
采用长度递增的多检测周期进行跟踪检测,每个检测周期分别对应一个跟踪对象列表,记录跟踪对象唯一的ID。每个检测周期的每个跟踪对象分别对应一个跟踪队列,记录跟踪对象不同时间跨度的跟踪点。这种检测机制相当于为每个跟踪对象建立了多级跟踪队列。假设长度递增的多检测周期从短到长依次为第0周期、第1周期…,第n周期,同一跟踪对象在不同检测周期的跟踪队列相应为第0级跟踪队列、第1级跟踪队列…,第n级跟踪队列,n可以根据跟踪时长自行设定。各级跟踪队列的长度可以相同,也可以不同。根据检测情况,同一个目标对象可以有多个级别的跟踪队列,也可能只有一个级别的跟踪队列。
跟踪队列中存放目标对象的跟踪点,跟踪点记录目标对象的定位框,包括目标对象在图像中的x,y坐标信息以及目标对象的宽度和高度;
二、多级跟踪队列的跟踪点的加入
A、首先读入视频流的第一帧图片,经目标检测以后,获得目标对象的列表,列表包含每个目标对象的类别、位置和大小信息。初始时,第0级队列为空,***为检测到的每个目标对象分配跟踪对象ID,生成跟踪对象列表,并为每个目标对象分配第0级的跟踪队列(对应最短的第0级检测周期),将每个目标对象的位置和大小加入到对应的跟踪队列的队列头;
B、然后读入视频流的后续图片,经目标检测以后,获得后续帧的目标对象列表。利用SORT\DeepSort等多目标跟踪算法,将后续帧中目标对象与前序帧的目标对象进行匹配。如果实现匹配,它们对应相同的跟踪对象,也就有相同的跟踪对象ID,将新的位置和大小加入到该跟踪对象队列的队列头。如果前序帧的跟踪对象在后续帧中没有对应的目标对象,则记录该跟踪对象丢失一个跟踪。当丢失跟踪的次数超过设定值时,将删除该跟踪对象。如果后续帧中新的目标对象无法匹配到已有的前序帧中的跟踪对象,则认为是一个新的跟踪对象,将为该跟踪对象分配跟踪对象ID和跟踪队列,将当前的位置和大小加入跟踪队列。
C、当一个较长的第i(i=1~n)级检测周期到来时,将前序较短的第i-1检测周期和第i检测周期的跟踪对象列表中的跟踪对象进行匹配:
1)如果第i-1检测周期的跟踪对象列表中某个跟踪对象Ui-1的ID已经存在于第i检测周期的跟踪对象列表中,将跟踪对象Ui-1在第i-1检测周期的跟踪队列中的一个跟踪点信息加入其在第i检测周期的跟踪队列中;
2)如果该跟踪对象Ui-1的ID不存在于第i检测周期的跟踪对象列表中,
a)如果该跟踪对象Ui-1根据已有跟踪技术(如基于位置或表征特征的相近程度)与第i检测周期的跟踪对象列表中跟踪对象Ui匹配,取跟踪对象Ui-1在第i-1检测周期跟踪队列中的一个跟踪点信息加入跟踪对象Ui在第i检测周期的跟踪队列中,使用跟踪对象Ui的ID更新跟踪对象Ui-1的ID;
b)如果跟踪对象Ui-1根据跟踪算法与第i检测周期跟踪对象列表中的任何跟踪对象均不匹配,在第i检测周期的跟踪对象列表中新建一个跟踪对象Ui1,取跟踪对象Ui-1在第i-1检测周期跟踪队列中的一个跟踪点信息加入跟踪对象Ui1在第i检测周期的跟踪队列中。
跟踪对象Ui-1在第i-1检测周期跟踪队列中的一个跟踪点信息的获得方法包括多种,可以直接取第i-1检测周期跟踪队列各元素中固定位置的跟踪点,也可以根据各元素平均值来计算获得。跟踪队列采用先进先出队列,新加入的跟踪点信息位于跟踪队列头部。
D、如果第i检测周期的跟踪对象列表中某个跟踪对象Ui与第i-1检测周期的跟踪对象列表中的任何跟踪对象均无法匹配,则根据之前的跟踪点信息,推测出一个跟踪点,加入第i检测周期的跟踪对象Ui的跟踪队列中,并记录跟踪对象Ui的第i检测周期的跟踪队列丢失一次跟踪,丢失跟踪的次数超过设定值时,将该跟踪对象的ID从第i检测周期的跟踪对象列表中删除。
三、目标对象认定的修正
***中每个不同检测周期的目标对象列表独立进行管理,第i-1检测周期的目标对象可能出现在第i检测周期的目标对象集中,也可能没有出现在第i级的目标对象集中,反过来,第i检测周期的目标对象也可能出现在第i-1检测周期的目标对象集中,也可能不出现在第i-1检测周期的目标对象集中。这种情况是由于目标对象的不同时间跨度的跟踪中,目标检测检出的目标对象可能存在不同时长的漏检导致的。漏检的时间短,则第i-1检测周期的目标对象会因为跟踪失败分配新的ID,而对于后序的级别来说,则跟踪会继续;此时i-1检测周期的跟踪对象不会出现在第i检测周期以后的跟踪对象中。理想的情况是没有漏检,每个目标对象都能实现良好的跟踪,第i-1检测周期的目标对象顺利的加入到第i级、第i+1级…,他们都拥有相同的跟踪对象ID,以标识是同一个跟踪对象。
如果第i-1级跟踪队列出现了跟踪丢失,分配了新的跟踪对象ID和跟踪队列,当第i检测周期到来时,如果从第i-1级跟踪队列获取的位置信息可以匹配到第i级的已有的跟踪对象,从而确定第i-1级的新的跟踪对象实际上为已有对象的延续,此时,获取第i级跟踪对象ID,用来更新第i-1级跟踪对象ID,从而实现跟踪对象认定的修正。
下面结合附图和具体实施例对本发明的目标对象中长期跟踪方法进行详细的介绍。
一、中长期跟踪的实现
以安全帽为例,假定是五级队列,采用先进先出队列,每个队列长度为16。第0级队列存放目标对象每帧的跟踪点,第0级队列每16个元素取队列头的最新的元素存入第1级队列的队列头,第1级队列每16个元素以后取队列头中的元素存入第2级队列的队列头,依此类推。为简便起见,本实施例第i检测周期对应第i-1级跟踪对象的跟踪队列填充满的时间。实际应用中,检测周期的长度不受此限制。
如附图1所示,假定帧速率是25帧每秒,以下为每级队列覆盖的时间跨度和每个跟踪点的时间间隔。
第0级:帧速率为25fps,跟踪点间隔为1/25=0.040s,检测周期为16*0.04=0.64秒;
第1级:跟踪点间隔为第0级队列的时间跨度为0.64秒,检测周期为0.64*16=10.24秒;
第2级:跟踪点间隔为第一级队列的时间跨度为10.24秒,检测周期为10.24*16=163.84秒;
依此类推
具体队列的存放过程如下:
以下假定场景中只有一个目标对象,只要前后帧都能检出该目标对象,就认为是同一个目标实例。
1、无漏检的正常跟踪的处理
假定场景中只有一个目标对象:安全帽,视频流每帧都存在安全帽,视频的宽度为1280个像素,高度为720个像素,安全帽的定位框宽度为35像素,高度为25个像素。安全帽初始位置为(100,80),每帧x方向移动2个像素,y方向移动1个像素。目标对象的定位框:(xmin,ymin,xmax,ymax)
第一帧图片,安全帽定位框为(100,80,135,105):
因为是第一个安全帽对象,如图2,首先在第0级为安全帽分配一个跟踪对象ID,如ANQUANMAO001,对应0.64秒的检测周期为该跟踪对象分配一个长度为16的先进先出的队列,将定位框(100,80,135,105)加入该队列的队列头;
第二帧图片,如图3,安全帽定位框为(102,81,137,106):
因为该跟踪对象已经分配,直接将新的定位框加入该跟踪对象的第0级跟踪队列的队首位置。
依次类推,一直加入第16帧的图片对应的目标对象,此时,在第1级分配一个跟踪对象,实例ID不变,仍然是ANQUANMAO001,同样对应一个长度为16的跟踪队列。从第0级取出队首的跟踪框,加入第1级的该跟踪对象对应的跟踪队列中,如附图4所示。
第17帧图片,安全帽定位框为(132,96,167,121):
该定位框继续加入第0级队列的队首,由于队列长度是16,且是先入先出,已有的第0级队列的第一帧图片对应的目标对象的定位框(100,80,135,105)将被挤出队列。
该实例的第1级队列中的元素没有变化
第18帧图片,安全帽定位框为(134,97,169,122):
该定位框继续加入第0级队列的队首,此时第0级队列的第2帧图片对应的目标对象的定位框(102,81,137,106)将被挤出队列。
该实例的第1级队列中的元素没有变化
依次类推
第32帧图片
将该目标对象加入到第0级队列的队首,第0级队列的第16帧图片将被挤出队列。将第0级队列的队首元素加入到该对象实例的第一级队列的队首,此时第一级队列有2个元素。
依次类推
第256帧图片,如附图5所示。第0级和第1级处理同上,此时第1级队列已经满了,在第2级分配一个跟踪对象,实例ID不变,仍然是ANQUANMAO001,同样对应一个长度为16的跟踪队列。从第1级取出队首的跟踪框,加入第2级的该跟踪对象对应的跟踪队列中。
其他层级的处理与以上类似。
二、漏检导致跟踪失败的处理
A、第0级偶尔漏检跟踪对象不丢失
如附图6所示,假设第1~8张图片均能正确检测到安全帽,第9张图片不能检测到安全帽,第10张图片又能检测到安全帽。
此时第0级队列已有8个元素,第9张图片没有检测到对象,此时跟踪队列中加入一个推测的跟踪点。
第10张图片检测到对象以后,重新对应到已有的跟踪对象,在队列中加入新的定位框。
B、第0级连续漏检跟踪对象丢失
如附图7所示,假设第1~18张图片均能正确检测到安全帽,第19~24共6张图片连续不能检测到安全帽,第25张图片以后又能检测到安全帽。
因为已有超过16张图片,此时第1级队列中已有一个元素,第0级、第1级的对象ID都是ANQUANMAO001。
第19~24帧都没有检测到对象,超过设定的连续5帧没有检测到对象,因此认为对象实例ANQUANMAO001在第0级的跟踪中消失,删除第0级的ANQUANMAO001对象。
C、第0级重新检测到以后的重新分配跟踪对象
假设第25帧以后又能检测到对象,此时认为是新的目标对象,重新为该对象在第0级中分配跟踪对象ID,ANQUANMAO002,以及分配新的跟踪队列,后续的跟踪定位框加入新的跟踪队列。
D、第0级新对象进入第1级时重新匹配到原来的对象
如附图8所示:到第32帧时,从第0级的对象中获取队列队首的跟踪框,与第1级的对象的跟踪框进行匹配,匹配成功后,确定第0级的ANQUANMAO002与第1级的ANQUANMAO001是同一个实例,因此将ANQUANMAO002的第0级队列队首的跟踪框加入ANQUANMAO001的第1级队列的队首。
E、从第1级获得跟踪对象ID修正第0级的跟踪对象
如附图8所示,由于第1级实现了ANQUANMAO001和ANQUANMAO002的匹配,因此可以确定第0级的ANQUANMAO002就是原来的ANQUANMAO001,此时修改第0级的对象IDANQUANMAO002为ANQUANMAO001。
修改以后,第0级和第1级的对象ID都是ANQUANMAO001。
三、中长期稳定跟踪保证场景准确识别
如附图9所示,假设一个场景中,要求人必须佩戴安全帽,人与安全帽是两个独立检测的目标对象,如果发现人没有佩戴安全帽,就将发出报警。考虑到检测的稳定性,要求连续3秒检测到没有佩戴安全帽发出报警,第0级队列时间跨度只有0.64秒,所以放在第1级队列来检测,对于第1级队列来说,一个跟踪点的时间跨度是0.64秒,如果连续检测到5次,场景中只有人,而没有安全帽就报警。
在没有稳定跟踪的情况下,安全帽和人可能同时出现,也可能单独出现。假设安全帽和人都是每8帧检出一次,但在同一帧中不被同时检测到,目前现有的跟踪方法超出设定帧数无法检测出来的时候,就认为对象丢失。这样从0级队列看,安全帽存在的时候,人不存在,人存在的时候,安全帽不存在。如果没有第1级的更长时间跟踪,就会错误发出人没有戴安全帽的报警。而因为有更长时间跨度的第1级、第2级跟踪等,安全帽和人都始终存在,而且实际的检测也在第1级完成,因此可以识别人始终戴着安全帽的,不会错误发出报警。
Claims (9)
1.一种视频识别中目标对象中长期跟踪方法,其特征在于:
采用至少两个长度递增的检测周期进行检测,每个检测周期分别对应一个跟踪对象列表,记录每个跟踪对象唯一的ID,每个检测周期的每个跟踪对象分别对应一个跟踪队列,跟踪队列的每个元素分别对应目标对象的一个跟踪点信息,跟踪点信息至少包含目标对象的位置信息;
当一个较长检测周期到来时,将前序较短检测周期跟踪对象列表中的跟踪对象和较长检测周期跟踪对象列表中的跟踪对象进行匹配,如果匹配成功,则取较短检测周期的跟踪对象的跟踪队列中的信息生成一个跟踪点,加入较长检测周期的相匹配跟踪对象的跟踪队列中。
2.如权利要求1所述的视频识别中目标对象中长期跟踪方法,其特征在于跟踪对象匹配成功是指跟踪对象的ID匹配成功。
3.如权利要求1所述的视频识别中目标对象中长期跟踪方法,其特征在于跟踪对象匹配成功是指根据跟踪算法,跟踪对象基于位置或表征特征相近匹配成功。
4.如权利要求3所述的视频识别中目标对象中长期跟踪方法,其特征在于跟踪对象匹配成功后,使用较长检测周期跟踪对象的ID更新较短检测周期跟踪对象的ID。
5.如权利要求1所述的视频识别中目标对象中长期跟踪方法,其特征在于如果较短检测周期的某个跟踪对象无法匹配较长检测周期的任何跟踪对象,则在较长检测周期的跟踪对象列表中新建一个跟踪对象,取较短检测周期的该个跟踪对象的跟踪队列中的信息生成一个跟踪点,加入较长检测周期的新增跟踪对象的跟踪队列中。
6.如权利要求1所述的视频识别中目标对象中长期跟踪方法,其特征在于如果较长检测周期的某个跟踪对象无法匹配较短检测周期的任何跟踪对象,记录该个跟踪对象的在较长检测周期的跟踪队列中丢失一次跟踪,丢失跟踪的次数超过设定值时,将该个跟踪对象的ID从较长检测周期的跟踪对象列表中删除。
7.如权利要求6所述的视频识别中目标对象中长期跟踪方法,其特征在于如果较长检测周期的某个跟踪对象无法匹配较短检测周期的任何跟踪对象,则根据之前的跟踪点信息,推测出一个跟踪点,加入较长检测周期的该个跟踪对象的跟踪队列中。
8.如权利要求1或5所述的视频识别中目标对象中长期跟踪方法,其特征在于取较短检测周期的跟踪对象的跟踪队列中的信息生成一个跟踪点时,所述信息取自跟踪队列中固定位置,或根据跟踪队列中各元素平均值来计算获得。
9.如权利要求1所述的跟踪方法,其特征在于:跟踪队列采用先进先出队列,新加入的跟踪点信息位于跟踪队列头部。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010680657.2A CN111914690B (zh) | 2020-07-15 | 2020-07-15 | 一种视频识别中目标对象中长期跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010680657.2A CN111914690B (zh) | 2020-07-15 | 2020-07-15 | 一种视频识别中目标对象中长期跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111914690A CN111914690A (zh) | 2020-11-10 |
CN111914690B true CN111914690B (zh) | 2023-11-10 |
Family
ID=73281187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010680657.2A Active CN111914690B (zh) | 2020-07-15 | 2020-07-15 | 一种视频识别中目标对象中长期跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111914690B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3952304A (en) * | 1973-11-23 | 1976-04-20 | Hughes Aircraft Company | Tracking system utilizing Kalman filter concepts |
WO2006013689A1 (ja) * | 2004-08-06 | 2006-02-09 | Murata Manufacturing Co., Ltd. | レーダ |
WO2012138828A2 (en) * | 2011-04-08 | 2012-10-11 | The Trustees Of Columbia University In The City Of New York | Kalman filter approach to augment object tracking |
CN104281837A (zh) * | 2014-09-26 | 2015-01-14 | 哈尔滨工业大学深圳研究生院 | 结合卡尔曼滤波和相邻帧间roi扩大的行人跟踪方法 |
CN104574439A (zh) * | 2014-12-25 | 2015-04-29 | 南京邮电大学 | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 |
RU2551356C1 (ru) * | 2013-12-04 | 2015-05-20 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военный учебно-научный центр Военно-Морского Флота "Военно-морская академия имени Адмирала Флота Советского Союза Н.Г. Кузнецова" | Способ бесстробового автоматического сопровождения подвижной цели |
US9552648B1 (en) * | 2012-01-23 | 2017-01-24 | Hrl Laboratories, Llc | Object tracking with integrated motion-based object detection (MogS) and enhanced kalman-type filtering |
CN109271888A (zh) * | 2018-08-29 | 2019-01-25 | 汉王科技股份有限公司 | 基于步态的身份识别方法、装置、电子设备 |
CN109919043A (zh) * | 2019-02-18 | 2019-06-21 | 北京奇艺世纪科技有限公司 | 一种行人跟踪方法、装置及设备 |
CN110378264A (zh) * | 2019-07-08 | 2019-10-25 | Oppo广东移动通信有限公司 | 目标跟踪方法及装置 |
CN110443833A (zh) * | 2018-05-04 | 2019-11-12 | 佳能株式会社 | 对象跟踪方法和设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11430136B2 (en) * | 2019-12-19 | 2022-08-30 | Intel Corporation | Methods and apparatus to improve efficiency of object tracking in video frames |
-
2020
- 2020-07-15 CN CN202010680657.2A patent/CN111914690B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3952304A (en) * | 1973-11-23 | 1976-04-20 | Hughes Aircraft Company | Tracking system utilizing Kalman filter concepts |
WO2006013689A1 (ja) * | 2004-08-06 | 2006-02-09 | Murata Manufacturing Co., Ltd. | レーダ |
WO2012138828A2 (en) * | 2011-04-08 | 2012-10-11 | The Trustees Of Columbia University In The City Of New York | Kalman filter approach to augment object tracking |
US9552648B1 (en) * | 2012-01-23 | 2017-01-24 | Hrl Laboratories, Llc | Object tracking with integrated motion-based object detection (MogS) and enhanced kalman-type filtering |
RU2551356C1 (ru) * | 2013-12-04 | 2015-05-20 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военный учебно-научный центр Военно-Морского Флота "Военно-морская академия имени Адмирала Флота Советского Союза Н.Г. Кузнецова" | Способ бесстробового автоматического сопровождения подвижной цели |
CN104281837A (zh) * | 2014-09-26 | 2015-01-14 | 哈尔滨工业大学深圳研究生院 | 结合卡尔曼滤波和相邻帧间roi扩大的行人跟踪方法 |
CN104574439A (zh) * | 2014-12-25 | 2015-04-29 | 南京邮电大学 | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 |
CN110443833A (zh) * | 2018-05-04 | 2019-11-12 | 佳能株式会社 | 对象跟踪方法和设备 |
CN109271888A (zh) * | 2018-08-29 | 2019-01-25 | 汉王科技股份有限公司 | 基于步态的身份识别方法、装置、电子设备 |
CN109919043A (zh) * | 2019-02-18 | 2019-06-21 | 北京奇艺世纪科技有限公司 | 一种行人跟踪方法、装置及设备 |
CN110378264A (zh) * | 2019-07-08 | 2019-10-25 | Oppo广东移动通信有限公司 | 目标跟踪方法及装置 |
Non-Patent Citations (2)
Title |
---|
基于视频图像的运动目标检测与跟踪技术研究;覃兴平;《中国优秀硕士学位论文全文数据库(电子期刊)》;I138-1520 * |
基于视频的目标检测、跟踪及其行为识别研究;王江涛;《中国博士学位论文全文数据库(电子期刊)》 * |
Also Published As
Publication number | Publication date |
---|---|
CN111914690A (zh) | 2020-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5032846B2 (ja) | 監視装置および監視記録装置、それらの方法 | |
CN108734107B (zh) | 一种基于人脸的多目标跟踪方法及*** | |
EP0659016B1 (en) | Method and apparatus for video cut detection | |
CN110443833B (zh) | 对象跟踪方法和设备 | |
US20200193619A1 (en) | Method and device for tracking an object | |
Yang et al. | Real-time multiple objects tracking with occlusion handling in dynamic scenes | |
KR101191844B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
US20110115920A1 (en) | Multi-state target tracking mehtod and system | |
US20040263625A1 (en) | Camera-linked surveillance system | |
CN110009659B (zh) | 基于多目标运动跟踪的人物视频片段提取方法 | |
US11871125B2 (en) | Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor | |
US20160073179A1 (en) | Video processing system and method | |
EP0940033B1 (en) | Method of processing a video stream | |
CN111914690B (zh) | 一种视频识别中目标对象中长期跟踪方法 | |
KR20180086716A (ko) | 다중 객체 추적 방법 | |
KR101396838B1 (ko) | 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템 | |
KR20040068987A (ko) | 비디오내의 추적된 오브젝트들의 궤적을 효과적으로저장하는 방법 | |
US7738009B2 (en) | Method for following at least one object in a scene | |
Wang et al. | Tracking objects through occlusions using improved Kalman filter | |
KR100711950B1 (ko) | 하이브리드 광학 및 가상 주밍 장치를 사용한 관심있는물체의 실시간 트래킹 | |
CN114842393A (zh) | 一种人流量的统计方法和装置 | |
Cheong | Scene-based shot change detection and comparative evaluation | |
Zhang et al. | What makes for good multiple object trackers? | |
Patel et al. | Scene-Change Detection using Locality Preserving Projections | |
CN109272529B (zh) | 视频分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |