CN113592902A - 目标跟踪方法、装置、计算机设备和存储介质 - Google Patents

目标跟踪方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113592902A
CN113592902A CN202110684131.6A CN202110684131A CN113592902A CN 113592902 A CN113592902 A CN 113592902A CN 202110684131 A CN202110684131 A CN 202110684131A CN 113592902 A CN113592902 A CN 113592902A
Authority
CN
China
Prior art keywords
target tracking
confidence score
target
track
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110684131.6A
Other languages
English (en)
Inventor
刘竞爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202110684131.6A priority Critical patent/CN113592902A/zh
Publication of CN113592902A publication Critical patent/CN113592902A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种目标跟踪方法、装置、计算机设备和存储介质,方法包括:获取目标跟踪检测任务输出的候选目标跟踪轨迹;基于预设质量过滤条件对候选目标跟踪轨迹进行过滤,将满足预设质量过滤条件的候选目标跟踪轨迹确定为目标对象最终的目标跟踪结果。上述方法对于目标跟踪检测任务输出的候选结果,根据目标对象对应的预设质量过滤条件对候选结果进行过滤,可以将候选结果中低质量的结果过滤掉,并且由于对目标跟踪检测任务没有影响,可保证目标跟踪检测任务的速度。

Description

目标跟踪方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种目标跟踪方法、装置、计算机设备和存储介质。
背景技术
多目标跟踪任务作为计算机视觉领域的一个重要分支,其主要任务是找到一个图像序列,在该图像序列中找到运动对象,然后将不同帧中的运动对象一对一地映射,然后给出不同对象的轨迹。这些对象可以是任意的,例如行人、车辆、动物等,目前,由于“行人”是典型的非刚性目标,比刚性目标要困难得多;且行人检测和跟踪在实际应用中具有更大的商业价值,因此对于“行人跟踪”有大量研究最多。
目前对于行人跟踪的一大挑战是速度和精度的平衡问题,在工业界实际部署的行人跟踪***中,为了满足实时性,对于速度有较高要求。速度的提升带来了一定精度上的损失,同时导致了低质量跟踪结果的产生,低质量跟踪结果又主要包括非人体跟踪结果(如动物,非机动车,垃圾桶,消防栓等),如何在不牺牲速度的前提下,过滤这些低质量的跟踪结果,是对于现存技术的一大挑战。
发明内容
基于此,有必要针对上述技术问题,提供一种能够过滤掉低质量跟踪结果的目标跟踪方法、装置、计算机设备和存储介质。
一种目标跟踪方法,所述方法包括:
获取目标跟踪检测任务输出的候选目标跟踪轨迹;
读取所述候选目标跟踪轨迹中目标对象的目标特征置信度分数;
基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件;
将满足所述预设质量过滤条件的候选目标跟踪轨迹确定为所述目标对象最终的目标跟踪结果。
在其中的一个实施例中,所述基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件,包括:
根据所述目标特征置信度分数确定所述候选目标跟踪轨迹的代表置信度分数;
若所述候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定所述候选目标跟踪轨迹满足预设质量过滤条件。
在其中的一个实施例中,所述目标对象包括行人;所述目标特征置信度分数包括:人脸置信度分数和人体置信度分数。
在其中的一个实施例中,所述根据所述目标特征置信度分数确定所述候选目标跟踪轨迹的代表置信度分数包括:
根据所述目标特征置信度分数,确定所述候选目标跟踪轨迹的最高置信度分数、最低置信度分数以及平均置信度分数。
在其中的一个实施例中,所述基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件,还包括:
读取所述候选目标跟踪轨迹的轨迹长度;
若所述轨迹长度大于预设长度阈值,且所述候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定所述候选目标跟踪轨迹满足预设质量过滤条件。
在其中的一个实施例中,所述基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件,还包括:
读取所述候选目标跟踪轨迹中首帧位置和末帧位置;
计算所述首帧位置和末帧位置之间的位置偏移;
若所述位置偏移大于预设偏移阈值,且所述候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定所述候选目标跟踪轨迹满足预设质量过滤条件。
在其中的一个实施例中,所述计算所述首帧位置和末帧位置之间的位置偏移,包括:
分别读取所述首帧、末帧中所述目标对象对应的目标检测区域;
计算所述首帧中的目标检测区域与所述末帧中的目标检测区域的交并比;
若所述交并比小于预设交并比阈值,判定所述位置偏移大于预设偏移阈值。
一种目标跟踪装置,所述装置包括:
候选轨迹获取模块,用于获取目标跟踪检测任务输出的候选目标跟踪轨迹;
置信度读取模块,用于读取所述候选目标跟踪轨迹中目标对象的目标特征置信度分数;
过滤模块,基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件;
结果确定模块,用于将满足所述预设质量过滤条件的候选目标跟踪轨迹确定为所述目标对象最终的目标跟踪结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取目标跟踪检测任务输出的候选目标跟踪轨迹;
读取所述候选目标跟踪轨迹中目标对象的目标特征置信度分数;
基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件;
将满足所述预设质量过滤条件的候选目标跟踪轨迹确定为所述目标对象最终的目标跟踪结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取目标跟踪检测任务输出的候选目标跟踪轨迹;
读取所述候选目标跟踪轨迹中目标对象的目标特征置信度分数;
基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件;
将满足所述预设质量过滤条件的候选目标跟踪轨迹确定为所述目标对象最终的目标跟踪结果。
上述目标跟踪方法、装置、计算机设备和存储介质,获取目标跟踪检测任务输出的候选目标跟踪轨迹;读取各候选目标跟踪轨迹中目标对象的目标特征置信度分数,并基于目标特征置信度分数判断候选目标跟踪轨迹是否满足预设质量过滤条件,最后将满足预设质量过滤条件的候选目标跟踪轨迹确定为目标对象最终的目标跟踪结果。上述方法对于目标跟踪检测任务输出的候选结果,根据各候选结果中目标对象的置信度分数判断是否满足预设质量过滤条件,可以快速将候选结果中低质量的结果过滤掉,并且由于对目标跟踪检测任务没有影响,上述方法仍可保证目标跟踪检测任务的速度。
附图说明
图1为一个实施例中目标跟踪方法的流程示意图;
图2为一个实施例中基于预设质量过滤条件对候选目标跟踪轨迹进行过滤的流程示意图;
图3为另一个实施例中基于预设质量过滤条件对候选目标跟踪轨迹进行过滤的流程示意图;
图4为另一个实施例中基于预设质量过滤条件对候选目标跟踪轨迹进行过滤的流程示意图;
图5为一个实施例中计算首帧位置和末帧位置之间的位置偏移的流程示意图;
图6为一个实施例中IOU定义的示意图;
图7为一个实施例中目标跟踪装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
近年来,基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence,AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用***的新兴科学技术。人工智能学科是一门综合性学科,涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支,具体是让机器识别世界,计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步,该项技术在众多领域展开了应用,例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
在一个实施例中,如图1所示,提供了一种目标跟踪方法,涉及人工智能的图像处理领域。本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的***,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤S110,获取目标跟踪检测任务输出的候选目标跟踪轨迹。
其中,目标跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪,获得运动目标的运动参数,进行处理与分析,实现对运动目标的行为理解,以完成更高一级的检测任务。在本实施例中,目标跟踪检测任务用于在对目标对象进行跟踪之后,输出目标对象的跟踪轨迹,即本实施例中的候选目标跟踪轨迹。
在一个实施例中,在获取到目标跟踪过滤请求时,基于目标跟踪过滤请求获取目标跟踪检测任务输出的候选目标跟踪轨迹。其中,目标跟踪轨迹请求可以是用户发起的,用于请求对目标跟踪轨迹进行过滤;目标跟踪过滤请求中携带了需进行过滤的目标对象的信息。在目标跟踪过程中,对于一系列的图像序列中查找目标对象,然后将不同帧中的目标对象一对一进行映射,输出该图像序列中检测到的目标对象的轨迹。现常用于根据监控视频画面中对目标对象进行跟踪检测,输出目标对象的轨迹。但由于目标跟踪检测任务中在实际应用过程中为了满足实时性面对于速度有较高的要求,速度的提升带来了精度上的一些损失,同时导致了低质量跟踪结果的产生,目标跟踪轨迹过滤请求即用于将目标跟踪轨迹中的低质量结果过滤掉。在一个实施例中,对目标跟踪过滤请求进行解析获得需进行过滤处理的目标对象的信息。读取目标对象的目标跟踪检测任务输出的结果,在本实施例中记为候选目标跟踪轨迹。
在一个具体实施例中,获取目标跟踪检测任务输出的候选目标跟踪轨迹包括:获取目标跟踪检测任务输出的目标对象的置信度、候选目标轨迹长度、候选目标轨迹中各图像帧的位置,等等。
步骤S120,读取候选目标跟踪轨迹中目标对象的目标特征置信度分数。
目标特征置信度分数表示目标跟踪检测任务中输出的置信度分数,置信度通常表示分类器输出的某个目标的类别置信度,即该目标属于A的概率、属于B的概率等等;在本实施例中,目标特征的置信度分数表示目标属于目标特征的概率。进一步地,目标对象的目标特征置信度分数可以从目标对象的目标跟踪检测任务的输出结果中获得。
其中,目标特征可以是目标对象中的一个或者多个特征,该特征从一定程度上可以反映目标对象的特点。目标特征可以根据目标对象的不同进行设置,例如目标对象为行人时,目标特征可以包括人脸、人体等等;又如目标对象为猫狗等宠物,目标特征可以对应设置为猫狗等对应的特征,等等。
由于目标跟踪轨迹中包含多张图像,目标特征对应的置信度分数同样可能包括多个;在一个实施例中,目标特征置信度分数可以是基于各目标特征的置信度分数确定;例如表示为置信度分数中的最高值、最低值、平均值或者中位数值、第四分之三位数值,等等。
步骤S130,基于目标特征置信度分数,确定各候选目标跟踪轨迹是否满足预设质量过滤条件。
其中,预设质量过滤条件为预先设定的,与目标对象对应,用于评价候选目标跟踪轨迹对应的质量;在上述步骤中读取到目标特征置信度分数之后,根据该目标特征置信度分数,分别对各候选目标跟踪轨迹进行判断是否满足预设质量过滤条件。在一个实施例中,基于标特征置信度分数确定候选目标跟踪轨迹是否满足预设质量过滤条件的具体实现方式将会在后续实施例中详细描述,在此不再赘述。
步骤S140,将满足预设质量过滤条件的候选目标跟踪轨迹确定为目标对象最终的目标跟踪结果。
在本实施例中,基于预设质量过滤条件对候选目标跟踪轨迹进行过滤,仅保留满足预设质量过滤条件的候选目标跟踪轨迹,确定为目标对象最终的目标跟踪结果,对于不满足预设质量过滤条件的候选目标跟踪轨迹则过滤掉。可以理解地,不满足预设质量过滤条件的候选目标跟踪轨迹可以认为质量较低;将质量较低的目标跟踪轨迹过滤掉以后,得到的即为目标对象最终的目标跟踪结果。
上述目标跟踪方法,获取目标跟踪检测任务输出的候选目标跟踪轨迹;读取各候选目标跟踪轨迹中目标对象的目标特征置信度分数,并基于目标特征置信度分数判断候选目标跟踪轨迹是否满足预设质量过滤条件,最后将满足预设质量过滤条件的候选目标跟踪轨迹确定为目标对象最终的目标跟踪结果。上述方法对于目标跟踪检测任务输出的候选结果,根据各候选结果中目标对象的置信度分数判断是否满足预设质量过滤条件,可以快速将候选结果中低质量的结果过滤掉,并且由于对目标跟踪检测任务没有影响,上述方法仍可保证目标跟踪检测任务的速度。
在一个实施例中,如图2所示,基于目标特征置信度分数,确定各候选目标跟踪轨迹是否满足预设质量过滤条件,包括步骤S131和步骤S132。
步骤S131,根据目标特征置信度分数确定候选目标跟踪轨迹的代表置信度分数。
针对候选目标跟踪轨迹,其中可能包含两帧以上图像帧,每一帧图像帧都对应一个目标特征置信度分数,在进行过滤时,可以仅利用候选目标跟踪轨迹中的部分目标特征置信度分数作为代表,来进行判断可过滤。
本实施例中,代表置信度分数表示从目标跟踪轨迹的目标特征置信度分数中选择一种分数作为代表,以该分数执行后续的步骤。在一个实施例中,根据目标特征置信度分数确定候选目标跟踪轨迹的代表置信度分数包括:根据目标特征置信度分数,确定候选目标跟踪轨迹的最高置信度分数、最低置信度分数以及平均置信度分数。
可以理解地,最高置信度分数即为一组候选目标跟踪轨迹中的目标特征置信度最高分,最低置信度分数即为该候选目标跟踪轨迹中的目标特征置信度最低分,而平均置信度分数即为该候选目标跟踪轨迹中目标特征置信度的平均分,获取候选目标跟踪轨迹中所有目标特征的置信度分数之后,可计算得到对应的平均分。在本实施例中,采用置信度中的最高分数、最低分数和平均分数作为候选目标跟踪轨迹的目标特征的代表置信度分数,用于后续的过滤。在其他实施例中,也可以采用其他方式确定候选目标跟踪轨迹的代表置信度分数,例如代表置信度分数包括置信度分数的中位数和/或第三四分位数,等等。
进一步地,若目标特征包括两个以上,则针对每一组候选目标跟踪轨迹,分别从其中确定出每一个目标特征的代表置信度分数。在一个实施例中,目标对象包括行人;对应地,目标特征置信度分数包括:人脸置信度分数和人体置信度分数;在本实施例中,从一组候选目标跟踪轨迹中确定一组人脸特征对应的代表置信度分数,和一组人体特征对应的代表置信度分数。
在一个实施例中,人脸置信度分数、人体置信度分数分别表示目标跟踪轨迹中人脸或者人体对应的检测框的置信度分数;置信度也称为可靠度,或置信水平、置信系数,即在抽样对总体参数作出估计时,由于样本的随机性,其结论总是不确定的。因此,采用一种概率的陈述方法,也就是数理统计中的区间估计法,即估计值与总体参数在一定允许的误差范围以内,其相应的概率有多大,这个相应的概率称作置信度。在一个实施例中,置信度可以理解为目标人脸或者人体对应的检测框的质量;可以理解地,在目标跟踪检测任务中目标对象的目标特征对应的置信度分数越高,表示该目标跟踪轨迹中目标对象的目标特征的质量越高,进而在进行识别时,准确率越高。
步骤S132,若候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
其中,预设分数阈值可以根据实际情况进行设置,每一个目标特征置信度对应一组预设分数阈值;在一个实施例中,代表置信度分数包括两个以上置信度分数,预设分数阈值包括两个以上,代表置信度分数与预设分数阈值一一对应。在一个具体实施例中,代表置信度分数包括最高置信度分数、最低置信度分数和平均置信度分数,则预设分数阈值包括最高置信度分数对应的预设分数阈值、最低置信度分数对应的预设分数阈值,以及平均置信度分数对应的预设分数阈值。
在本实施例中,分别将代表置信度分数与对应的预设分数阈值进行比较,若代表置信度分数均大于预设分数阈值,则表示候选目标跟踪轨迹满足预设质量过滤条件。在一个实施例中,任意一个代表置信度小于或者等于对应的预设分数阈值,则表示候选目标跟踪轨迹不满足预设质量过滤条件。
上述实施例中,通过读取候选目标跟踪轨迹中目标特征的置信度分数,并选取其中的部分置信度分数确定代表置信度分数,以代表置信度分数分别与对应的预设分数阈值进行比较,若代表置信度分数均大于对应的预设分数阈值,则判定这一候选目标跟踪轨迹满足预设质量过滤条件,可以保留作为目标对象最终的目标跟踪结果。
在一个实施例中,如图3所示,基于目标特征置信度分数,确定各候选目标跟踪轨迹是否满足预设质量过滤条件,还包括步骤S310和步骤S320:
步骤S310,读取候选目标跟踪轨迹的轨迹长度。
在一个实施例中,候选目标跟踪轨迹包括两张以上图像帧,其中包含的图像帧中均检测到目标对象;在一个实施例中,候选目标跟踪轨迹的轨迹长度可以以包含图像帧的数量表示,或者也可以以候选目标跟踪轨迹持续的时间表示,在不同的实施例中可以根据实际情况选择候选目标跟踪轨迹的轨迹长度。
进一步地,候选目标跟踪轨迹的轨迹长度可以根据目标跟踪检测任务的输出结果确定。
步骤S320,若轨迹长度大于预设长度阈值,且候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
预设长度阈值可以根据实际情况进行设置。在本实施例中,在预设质量过滤条件中,不仅设置了代表置信度分数与对应的预设分数阈值进行比较,还设置了候选目标跟踪轨迹的轨迹长度进行判断,轨迹长度大于预设长度,并且代表置信度分数均大于对应的预设分数阈值,则判断候选目标跟踪轨迹满足预设质量过滤条件。
上述实施例中,对于候选目标跟踪轨迹的轨迹长度达到一定长度阈值,且置信度分数满足相应条件判定为满足预设质量过滤条件,对于轨迹长度未达到预设长度阈值,或者置信度分数不满足相应条件,则判定为不满足预设质量过滤条件,轨迹长度较短的候选目标跟踪轨迹可能是误识别的对象,上述方法可减少被误识别的情况。
在另一个实施例中,如图4所示,基于目标特征置信度分数,确定各候选目标跟踪轨迹是否满足预设质量过滤条件,还包括步骤S410至步骤S430。
步骤S410,读取候选目标跟踪轨迹中首帧位置和末帧位置。
其中,候选目标跟踪轨迹中的首帧表示目标对象在候选目标跟踪轨迹的第一帧图像中的位置,候选目标跟踪轨迹中的末帧表示目标对象在候选目标跟踪轨迹的最后一帧图像中的位置。进一步地,在一个实施例中,首帧位置和末帧位置可以根据目标跟踪检测任务的输出结果确定。
步骤S420,计算首帧位置和末帧位置之间的位置偏移。
在读取到首帧位置和末帧位置之后,计算首帧和末帧之间的位置偏移。
进一步地,如图5所示,在一个实施例中,计算首帧位置和末帧位置之间的位置偏移,包括步骤S421至步骤S423。
步骤S421,分别读取首帧、末帧中目标对象对应的目标检测区域。
其中,目标对象对应的目标检测区域表示目标对象在候选目标跟踪轨迹中将目标对象包含在内的检测区域。在一个实施例中,目标对象的目标检测区域包括将目标对象包含在内的外接矩形框;目标对象对应的目标检测区域可以根据目标跟踪检测任务的输出结果确定。
步骤S422,计算首帧中的目标检测区域与末帧中的目标检测区域的交并比。
其中,交并比(Intersection over Union,IoU)即表示两帧图像中目标检测区域的交集和并集的比值。在一个具体实施例中,IoU定义如图6所示,虚线框与实线框的IoU计算方式为,使用虚线框与实线框重叠面积除以2者面积之和。IoU值越大,表示二者重合度越高,反之,二者重合度越小。
步骤S423,若交并比小于预设交并比阈值,判定位置偏移大于预设偏移阈值。
预设交并比阈值可以根据实际情况进行设置。目标对象在首帧中的目标检测区域与在末帧中的目标检测区域的交并比越大,则表示两者重合度越高,进而可以确定目标对象在候选目标跟踪轨迹中的位置移动较小,在本实施例中,利用目标对象在首帧、末帧中的目标检测区域的交并比来表示目标对象在候选目标跟踪轨迹中的位置偏移。
步骤S430,若位置偏移大于预设偏移阈值,且候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
其中,预设偏移阈值可以根据实际情况进行设置。候选目标跟踪轨迹中的首帧和末帧之间的位置偏移可以体现出目标对象在候选目标跟踪轨迹中的移动距离,若在首帧和末帧之间的位置偏移较小,表示该目标对象在候选目标跟踪轨迹中可能没有发生位置移动,或者位置移动较小,该目标对象可能是静态物体,在追踪行人等任务中,该目标对象很有可能是误识别,此时判定候选目标跟踪轨迹不满足预设质量过滤条件。
在另一个实施例中,若候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,但目标对象在候选目标跟踪轨迹中的首帧、末帧之间的位置偏移小于或者等于预设偏移阈值,生成提示信息,将提示信息发送至相关人员,接收相关人员对提示信息的反馈信息,若根据反馈信息确定正常,判定候选目标跟踪轨迹满足预设质量过滤条件。
上述实施例中,通过在预设质量过滤条件中设置目标对象在候选目标跟踪轨迹中的首帧末帧的位置偏移,对于候选目标跟踪轨迹中首帧末帧的位置偏移大于一定偏移阈值,且置信度分数满足相应条件判定为满足预设质量过滤条件,对于在首帧末帧中的位置偏移未达到预设偏移阈值,或者置信度分数不满足相应条件,则判定为不满足预设质量过滤条件,位置偏移较小的候选目标跟踪轨迹可能是误识别的对象,上述方法可减少被误识别的情况。
在一个具体实施例中,通过一个具体实施例对上述目标跟踪方法进行详细描述,在本实施例中,以该方法应用于行人跟踪的任务中为例。方法包括以下步骤:
获取包含行人的视频流,使用目标跟踪算法进行跟踪,获得目标跟踪的轨迹候选结果,即上述候选目标跟踪轨迹。在一个实施例中,将候选目标跟踪轨迹放入缓存。
读取候选目标跟踪轨迹中的相关信息,分别进行人脸过滤条件判断、人体过滤条件判断和通用过滤条件判断。
1、人脸过滤条件(候选目标跟踪轨迹中包含人脸时,触发该条件)
1)轨迹人脸最高分:指的是整条候选目标跟踪轨迹中,如果轨迹中包含人脸,取人脸的最高置信度分数,即目标跟踪检测任务输出的置信度分数,当轨迹人脸最高置信度分数大于最高预设分数阈值时,可通过人脸过滤条件。
2)轨迹人脸最低分:候选目标跟踪轨迹中人脸分数最低置信度分数,当轨迹人脸最低置信度分数大于最低预设分数阈值时,可通过人脸过滤条件。
3)轨迹人脸平均分:候选目标跟踪轨迹中人脸分数平均置信度分数,当轨迹人脸平均置信度分数大于平均分预设分数阈值时,可通过人脸过滤条件。
2、人体过滤条件
1)轨迹人体最高分:候选目标跟踪轨迹中人体分数最高置信度分数,当轨迹人体最高置信度分数大于特定最高预设分数阈值时,可通过人体过滤条件。
2)轨迹人体最低分:候选目标跟踪轨迹中人体分数最低置信度分数,当轨迹人体最低置信度分数大于最低预设分数阈值时,可通过人体过滤条件。
3)轨迹人体平均分:候选目标跟踪轨迹中人体分数平均置信度分数,当轨迹人体平均置信度分数大于平均分预设分数阈值时,可通过人体过滤条件。
3、通用过滤条件
1)轨迹长度:当轨迹长度大于特定阈值时,可通过通用过滤条件。
2)轨迹首帧和末帧的位置偏移:当一条候选目标跟踪轨迹的位置自始至终变化较小时,该条轨迹被倾向于认为是静止的物体,如垃圾桶、消防栓、树木等类似人体的物体,而非行人。因此对这类轨迹设置了过滤条件。具体使用轨迹首帧人体检测框与轨迹末帧人体检测框,计算两者之间的IoU(Intersection over Union),以计算位置偏移量。当计算出的IoU值小于预设偏移阈值时,可通过通用过滤条件。
上述目标跟踪方法,将满足上述所有过滤条件的候选目标跟踪轨迹“推出”,“推出”是指将轨迹从缓存区取出,推到最终的结果集合中。如果存在任何一条过滤条件不满足,则该条轨迹不能被推出,当满足所有过滤条件时,该条轨迹可以被推出,作为最终过滤后的目标对象最终的目标跟踪结果。通过该方法,可以快速将候选结果中低质量的结果过滤掉,并且由于对目标跟踪检测任务没有影响,上述方法仍可保证目标跟踪检测任务的速度。
应该理解的是,虽然上述实施例中所涉及的各流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述实施例中所涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种目标跟踪装置,包括:候选轨迹获取模块710、置信度读取模块720、过滤模块730和结果确定模块740,其中:
候选轨迹获取模块710,用于获取目标跟踪检测任务输出的候选目标跟踪轨迹;
置信度读取模块720,用于读取候选目标跟踪轨迹中目标对象的目标特征置信度分数;
过滤模块730,基于目标特征置信度分数,确定各候选目标跟踪轨迹是否满足预设质量过滤条件;
结果确定模块740,用于将满足预设质量过滤条件的候选目标跟踪轨迹确定为目标对象最终的目标跟踪结果。
上述目标跟踪装置,获取目标跟踪检测任务输出的候选目标跟踪轨迹;读取各候选目标跟踪轨迹中目标对象的目标特征置信度分数,并基于目标特征置信度分数判断候选目标跟踪轨迹是否满足预设质量过滤条件,最后将满足预设质量过滤条件的候选目标跟踪轨迹确定为目标对象最终的目标跟踪结果。上述方法对于目标跟踪检测任务输出的候选结果,根据各候选结果中目标对象的置信度分数判断是否满足预设质量过滤条件,可以快速将候选结果中低质量的结果过滤掉,并且由于对目标跟踪检测任务没有影响,上述方法仍可保证目标跟踪检测任务的速度。
在一个实施例中,上述装置的过滤模块730包括:代表分数确定单元,用于根据目标特征置信度分数确定候选目标跟踪轨迹的代表置信度分数;判断单元,用于若候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
在一个实施例中,目标对象包括行人;目标特征置信度分数包括:人脸置信度分数和人体置信度分数。
在一个实施例中,上述装置的代表分数确定单元还用于:根据目标特征置信度分数,确定候选目标跟踪轨迹的最高置信度分数、最低置信度分数以及平均置信度分数。
在一个实施例中,上述装置的过滤模块730还包括:轨迹长度读取单元,用于读取候选目标跟踪轨迹的轨迹长度;判断单元还用于若轨迹长度大于预设长度阈值,且候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
在一个实施例中,上述装置的过滤模块730还包括:位置读取单元,用于读取候选目标跟踪轨迹中首帧位置和末帧位置;偏移计算单元,用于计算首帧位置和末帧位置之间的位置偏移;判断单元还用于若位置偏移大于预设偏移阈值,且候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
在一个实施例中,上述装置的偏移计算单元包括:目标检测区域读取子单元,用于分别读取首帧、末帧中目标对象对应的目标检测区域;交并比计算子单元,用于计算首帧中的目标检测区域与末帧中的目标检测区域的交并比;判断单元还用于若交并比小于预设交并比阈值,判定位置偏移大于预设偏移阈值。
关于目标跟踪装置的具体限定可以参见上文中对于目标跟踪方法的限定,在此不再赘述。上述目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取目标跟踪检测任务输出的候选目标跟踪轨迹;读取候选目标跟踪轨迹中目标对象的目标特征置信度分数;基于目标特征置信度分数,确定各候选目标跟踪轨迹是否满足预设质量过滤条件;将满足预设质量过滤条件的候选目标跟踪轨迹确定为目标对象最终的目标跟踪结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据目标特征置信度分数确定候选目标跟踪轨迹的代表置信度分数;若候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据目标特征置信度分数,确定候选目标跟踪轨迹的最高置信度分数、最低置信度分数以及平均置信度分数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:读取候选目标跟踪轨迹的轨迹长度;若轨迹长度大于预设长度阈值,且候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:读取候选目标跟踪轨迹中首帧位置和末帧位置;计算首帧位置和末帧位置之间的位置偏移;若位置偏移大于预设偏移阈值,且候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:分别读取首帧、末帧中目标对象对应的目标检测区域;计算首帧中的目标检测区域与末帧中的目标检测区域的交并比;若交并比小于预设交并比阈值,判定位置偏移大于预设偏移阈值。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取目标跟踪检测任务输出的候选目标跟踪轨迹;读取候选目标跟踪轨迹中目标对象的目标特征置信度分数;基于目标特征置信度分数,确定各候选目标跟踪轨迹是否满足预设质量过滤条件;将满足预设质量过滤条件的候选目标跟踪轨迹确定为目标对象最终的目标跟踪结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据目标特征置信度分数确定候选目标跟踪轨迹的代表置信度分数;若候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据目标特征置信度分数,确定候选目标跟踪轨迹的最高置信度分数、最低置信度分数以及平均置信度分数。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:读取候选目标跟踪轨迹的轨迹长度;若轨迹长度大于预设长度阈值,且候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:读取候选目标跟踪轨迹中首帧位置和末帧位置;计算首帧位置和末帧位置之间的位置偏移;若位置偏移大于预设偏移阈值,且候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定候选目标跟踪轨迹满足预设质量过滤条件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:分别读取首帧、末帧中目标对象对应的目标检测区域;计算首帧中的目标检测区域与末帧中的目标检测区域的交并比;若交并比小于预设交并比阈值,判定位置偏移大于预设偏移阈值图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标跟踪方法,其特征在于,所述方法包括:
获取目标跟踪检测任务输出的候选目标跟踪轨迹;
读取所述候选目标跟踪轨迹中目标对象的目标特征置信度分数;
基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件;
将满足所述预设质量过滤条件的候选目标跟踪轨迹确定为所述目标对象最终的目标跟踪结果。
2.根据权利要求1所述的方法,其特征在于,所述基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件,包括:
根据所述目标特征置信度分数确定所述候选目标跟踪轨迹的代表置信度分数;
若所述候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定所述候选目标跟踪轨迹满足预设质量过滤条件。
3.根据权利要求2所述的方法,其特征在于:
所述目标对象包括行人;所述目标特征置信度分数包括:人脸置信度分数和人体置信度分数。
4.根据权利要求2所述的方法,其特征在于,所述根据所述目标特征置信度分数确定所述候选目标跟踪轨迹的代表置信度分数包括:
根据所述目标特征置信度分数,确定所述候选目标跟踪轨迹的最高置信度分数、最低置信度分数以及平均置信度分数。
5.根据权利要求2至4任意一项所述的方法,其特征在于,所述基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件,还包括:
读取所述候选目标跟踪轨迹的轨迹长度;
若所述轨迹长度大于预设长度阈值,且所述候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定所述候选目标跟踪轨迹满足预设质量过滤条件。
6.根据权利要求2至4任意一项所述的方法,其特征在于,所述基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件,还包括:
读取所述候选目标跟踪轨迹中首帧位置和末帧位置;
计算所述首帧位置和末帧位置之间的位置偏移;
若所述位置偏移大于预设偏移阈值,且所述候选目标跟踪轨迹的代表置信度分数大于对应的预设分数阈值,判定所述候选目标跟踪轨迹满足预设质量过滤条件。
7.根据权利要求6所述的方法,其特征在于,所述计算所述首帧位置和末帧位置之间的位置偏移,包括:
分别读取所述首帧、末帧中所述目标对象对应的目标检测区域;
计算所述首帧中的目标检测区域与所述末帧中的目标检测区域的交并比;
若所述交并比小于预设交并比阈值,判定所述位置偏移大于预设偏移阈值。
8.一种目标跟踪装置,其特征在于,所述装置包括:
候选轨迹获取模块,用于获取目标跟踪检测任务输出的候选目标跟踪轨迹;
置信度读取模块,用于读取所述候选目标跟踪轨迹中目标对象的目标特征置信度分数;
过滤模块,基于目标特征置信度分数,确定各所述候选目标跟踪轨迹是否满足预设质量过滤条件;
结果确定模块,用于将满足所述预设质量过滤条件的候选目标跟踪轨迹确定为所述目标对象最终的目标跟踪结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110684131.6A 2021-06-21 2021-06-21 目标跟踪方法、装置、计算机设备和存储介质 Pending CN113592902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110684131.6A CN113592902A (zh) 2021-06-21 2021-06-21 目标跟踪方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110684131.6A CN113592902A (zh) 2021-06-21 2021-06-21 目标跟踪方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113592902A true CN113592902A (zh) 2021-11-02

Family

ID=78244207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110684131.6A Pending CN113592902A (zh) 2021-06-21 2021-06-21 目标跟踪方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113592902A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972417A (zh) * 2022-04-02 2022-08-30 江南大学 动态轨迹质量量化和特征重规划的多目标跟踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972417A (zh) * 2022-04-02 2022-08-30 江南大学 动态轨迹质量量化和特征重规划的多目标跟踪方法

Similar Documents

Publication Publication Date Title
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
CN112288770A (zh) 基于深度学习的视频实时多目标检测与跟踪方法和装置
CN110751022A (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN112052837A (zh) 基于人工智能的目标检测方法以及装置
WO2021043074A1 (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN114049512A (zh) 模型蒸馏方法、目标检测方法、装置及电子设备
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN113673505A (zh) 实例分割模型的训练方法、装置、***及存储介质
CN112906483A (zh) 一种目标重识别方法、装置及计算机可读存储介质
CN114359618A (zh) 神经网络模型的训练方法、电子设备及计算机程序产品
CN113592902A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN111950507B (zh) 数据处理和模型训练方法、装置、设备及介质
CN113689475A (zh) 跨境头轨迹跟踪方法、设备及存储介质
CN113591921A (zh) 图像识别方法及装置、电子设备、存储介质
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和***
CN116453226A (zh) 基于人工智能的人体姿态识别方法、装置及相关设备
CN115116119A (zh) 一种基于数字图像处理技术的人脸识别***
CN114387496A (zh) 一种目标检测方法和电子设备
CN115049972A (zh) 基于图像识别的智慧安防管理方法、装置及介质
CN115346143A (zh) 行为检测方法、电子设备、计算机可读介质
CN112270257A (zh) 一种运动轨迹确定方法、装置及计算机可读存储介质
Ogawa et al. Identifying Parking Lot Occupancy with YOLOv5
CN112884158A (zh) 一种机器学习程序的训练方法、装置及设备
Messina et al. An optimized pipeline for image-based localization in museums from egocentric images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination