CN112001946A - 一种目标对象跟踪方法、计算机设备以及装置 - Google Patents
一种目标对象跟踪方法、计算机设备以及装置 Download PDFInfo
- Publication number
- CN112001946A CN112001946A CN202010674499.XA CN202010674499A CN112001946A CN 112001946 A CN112001946 A CN 112001946A CN 202010674499 A CN202010674499 A CN 202010674499A CN 112001946 A CN112001946 A CN 112001946A
- Authority
- CN
- China
- Prior art keywords
- target object
- tracking
- frame image
- frame
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims description 31
- 238000012216 screening Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标对象跟踪方法、计算机设备以及装置,该目标对象跟踪方法包括:获取当前帧图像;提取当前帧图像中的多个目标对象候选框,并确定每个目标对象候选框对应的置信度;对置信度较高的多个目标对象候选框和前一帧图像对应的跟踪框进行预设策略处理,以从多个目标对象候选框中获得当前帧图像的跟踪框;基于当前帧图像的跟踪框和当前帧图像之前的若干历史帧图像的跟踪框,调整摄像装置的相关参数,以使得目标对象全部位于图像中;其中,相关参数包括焦距。通过上述方式,本申请能够更加准确的对目标对象进行跟踪。
Description
技术领域
本申请涉及跟踪领域,特别是涉及一种目标对象跟踪方法、计算机设备以及装置。
背景技术
随着图像处理在多种领域的广泛应用,目前使用智能相机的产品越来越多。在一些领域中,可以利用智能相机对目标对象进行跟踪,例如在智慧园区、智慧家居、智慧教育中的进行人型跟踪。
本申请的发明人在长期的研发过程中,发现在进行目标对象跟踪的过程中,可能会由于目标对象的快速运动或动作幅度过大,而导致目标对象的部分区域处于画面之外,从而无法将目标对象的全部动作进行跟踪记录。
发明内容
本申请主要解决的技术问题是提供一种目标对象跟踪方法、计算机设备以及装置,能够更加准确的对目标对象进行跟踪。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种目标对象跟踪方法,该目标对象跟踪方法包括:获取当前帧图像;提取当前帧图像中的多个目标对象候选框,并确定每个目标对象候选框对应的置信度;对置信度较高的多个目标对象候选框和前一帧图像对应的跟踪框进行预设策略处理,以从多个目标对象候选框中获得当前帧图像的跟踪框;基于当前帧图像的跟踪框和当前帧图像之前的若干历史帧图像的跟踪框,调整摄像装置的相关参数,以使得目标对象全部位于图像中;其中,相关参数包括焦距。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种计算机设备,包括相互耦接的处理器和摄像装置,处理器用于执行指令以实现上述的目标跟踪方法,摄像装置用于拍摄图像。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种计算机可读存储介质,计算机可读存储介质用于存储指令/程序数据,指令/程序数据能够被执行以实现上述的目标跟踪方法。
本申请的有益效果是:区别于现有技术的情况,本申请通过提取当前帧图像中的多个目标对象候选框以及对应的置信度,对置信度较高的多个目标对象候选框与前一帧图像对应的跟踪框进行预设策略处理,确定当前帧图像的跟踪框。获得的当前帧图像的跟踪框较具有较高的准确度,从而所获得的目标对象的坐标信息更加准确。以此为依据对摄像装置调节焦距,能够将目标对象的全部区域呈现在画面中,解决了目标对象因为形变较大导致部分区域不在画面中的问题。
此外,基于多帧图像的跟踪框对摄像装置进行调节,可以使得帧间的尺寸变化更加平滑。平滑的尺寸变化可以有效的避免摄像装置镜头频繁的变倍,提高画面的稳定性,并能够延长摄像装置的使用寿命。
附图说明
图1是根据本申请一实施方式的目标对象跟踪方法的流程示意图;
图2是根据本申请一实施方式的调整摄像装置的方法的流程示意图;
图3是根据本申请一实施方式的目标跟踪装置的结构示意图;
图4是根据本申请一实施方式的计算机设备的结构示意图;
图5是根据本申请一实施方式的具有存储功能的装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。
本申请公开了一种基于置信度和预测策略获得图像中的跟踪框,并基于当前帧图像和若干历史帧图像的跟踪框调整摄像装置的相关参数的方法。本申请的实施例可以应用于不同场景下的目标对象跟踪,例如,可以是在园区,家居或教育场景中。目标对象可以是指任意可以运动或移动的对象,例如可以是指人、动物或机器人等。本申请的实施例可以适用于任意可以移动或转动,并能够调节焦距的智能摄像装置,例如,可以是球机等。应当理解的是,本申请的***及方法的应用场景仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。
参阅图1,图1是根据本申请一实施方式的目标对象跟踪方法的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,该方法包括:
步骤S110:获取当前帧图像。
在一实施例中,当前帧图像可以是由摄像装置拍摄的可见光图像。其中摄像装置可以是能够转动的,或能够移动的。摄像装置还可以是能够自动变焦的。当前帧图像中可能包括目标对象,也可能不包括目标对象。
在一实施例中,在获取当前帧图像后,可以对当前帧图像进行归一化处理。归一化处理可以指对图像进行一些标准的处理变换,使图像变换为一固定标准形式的处理过程。具体的,可以对当前帧图像进行格式转换,重构成为一定尺寸的图片。例如,可以是尺寸为256*256的图片。通过将图像的尺寸进行重构变小,可以使得后续图像处理过程的运算量减少,提高图像处理效率。此外,可以通过将当前帧图像的格式进行改变使其可以适用于后续步骤使用的机器学习模型。
在一实施例中,可以基于检测模型提取当前帧图像中的目标对象,在检测到当前帧图像中包含目标对象时,进入后续步骤。具体地,检测模型可以是机器学习模型。利用机器学习模型对当前帧图像进行处理,在当前帧图像中包含目标对象时可以从当前帧图像中提取得到目标对象检测框。当机器学习模型检测到目标对象检测框时,进行后续的跟踪步骤。若当前帧图像中不包括目标对象,则不进行后续的跟踪步骤。目标对象可以为一个或多个。在目标对象为多个时,可以在检测到一个目标对象时即开始后续的跟踪步骤,也可以在检测到一定数量或全部的目标对象时开始后续的跟踪步骤。
在一实施例中,检测模型可以是深度学习卷积网络。深度学习卷积网络可以包括但不限于Mask RCNN、Fast R-CNN、RPN、FPN、R-CNN,SSD或YOLO。可选的,深度学习卷积网络可以为SSD或YOLO。深度学习卷积网络的训练样本为多张带有目标对象并标出目标对象检测框的图像。其中SSD是一种一阶段的目标检测算法,使用卷积神经网络直接进行检测。YOLO是指将全图换位为N*N的单元格,每个单元格负责检测中心点落在格子内的目标,采用一次性预测所有格子所包含目标的边界框以及边界框的置信度等问题。
步骤S120:提取当前帧图像中的多个目标对象候选框,并确定每个目标对象候选框对应的置信度。
在一实施例中,在当前帧图像为包含目标对象的第一帧图像时;利用该当前帧图像创建并保存目标对象特征模板。具体的,可以利用跟踪模型确定目标对象特征模板。若当前帧图像不是包含目标对象的第一帧图像,则进入后续目标对象候选框提取步骤。其中,目标对象特征模板可以是指包含目标对象的第一帧图像中的目标对象检测框。
在一实施例中,可以将当前帧图像(例如,经归一化处理后的图像)输入跟踪模型中,从而获得当前帧图像中的多个候选框以及每个候选框所对应的置信度。其中,置信度是指目标对象候选框与目标对象特征模板相同的可信度。也可以是说,置信度是指目标对象候选框与目标对象特征模板的相似度。其中置信度越大代表该目标对象候选框内的信息与目标对象特征模板越相似。每个候选框的尺寸可以是不同。候选框可能会包括目标对象的全部区域或部分区域。
在一实施例中,跟踪模型可以包括孪生网络(Siames Network)。其中孪生网络分为上下两支,上下两支路的网络结构和参数完全相同,可以分别用于提取模板帧和检测当前帧图像的特征。孪生网络的两个分支可以用一个卷积网络实现。
步骤S130:对置信度较高的多个目标对象候选框和前一帧图像对应的跟踪框进行预设策略处理,以从多个目标对象候选框中获得当前帧图像的跟踪框。
在一实施例中,基于筛选策略对置信度较高的多个目标对象候选框进行筛选,获得最优的候选跟踪框。具体地,挑选置信度较高的若干目标对象候选框可以是指置信度最高的前N个对象候选框。例如,置信度最高的前5个目标对象候选框。其中,最优的候选跟踪框可以是指若干目标对象候选框中的一个,也可以是由多个目标对象候选框进行融合获得的。
在一实施例中,筛选策略包括但不限于余弦窗法、重叠度法、非极大抑制法、高斯分布法。筛选策略还可以是以置信度最高的候选框为最优的候选跟踪框。其中,非极大抑制法(NMS),顾名思义就是抑制不是极大值的元素,可以理解为局部最大搜索。仅作为举例,NMS的过程可以是每轮选取置信度最大的Bounding Box(边框,BBox),接着关注所有剩下的BBox中,与选取的BBox有着高重叠的将被抑制。这一轮选取的BBox会被保留输出,并且不会在下一轮出现。可选的,筛选策略可以为非极大抑制法。
在一实施例中,通过比较当前帧图像中的最优的候选跟踪框与前一帧图像中的跟踪框的相似度,若相似度高于第一阈值,则将该候选跟踪框确定为跟踪框。若相似度低于第一阈值,则返回至基于筛选策略对多个置信度较高的目标对象候选框进行筛选的步骤。第一阈值可以是固定的,也可以是根据实际情况确定的。其中相似度可以是指最优的候选跟踪框与跟踪框之间尺寸(例如长宽比)的相似度,或位置的相似度。即,如果当前帧图像中的最优的候选跟踪框与前一帧图像中的跟踪框尺寸或位置具有较大的差异,则说明该最优的候选跟踪框不是当前帧图像中的跟踪框,需要进行再次筛选。其中,变更后的筛选策略与变更前的筛选策略不同。
例如,对置信度较高的5-10个目标对象候选框进行非极大抑制筛选,得到最优的候选跟踪框;将最优的候选跟踪框的长宽比与前一帧图像的跟踪框的长宽比进行对比,若相似度小于第一阈值,则跟换筛选策略例如余弦窗法进行再次筛选,直到所得到的最优的候选跟踪框与前一帧图像的跟踪框的相似度小于第一阈值,将该最优的候选跟踪框确定为该帧图像的跟踪框。
在一实施例中,可以利用跟踪模型获得当前帧图像的跟踪框。其中跟踪模型还包括RPN(Region Proposal Network)网络。RPN网络可以由两部分组成,一部分是分类分支,用于区分目标和背景;另一部分是回归分支,将候选区域进行微调。
在一实施例中,获得当前帧图像中跟踪框的坐标位置。其中坐标位置可以是指跟踪框的左上角坐标和右下角坐标。
步骤S140:基于当前帧图像的跟踪框和当前帧图像之前的若干历史帧图像的跟踪框,调整摄像装置的相关参数。
在一实施例中,获得当前帧图像中跟踪框与前一帧图像的跟踪框的尺寸变化情况,若尺寸变化较大,则需要进行后续的调整摄像装置焦距步骤;若尺寸变化较小,则不对摄像装置的焦距进行调整。
在一些实施例中,可以通过对比当前帧图像的跟踪框与若干历史帧图像的跟踪框的变化情况,确定是否需要对摄像装置的相关参数进行调整。具体的调整方法见图2及其相关描述,在此不赘述。
在一实施例中,相关参数可以包括焦距。具体的,可以对摄像装置的焦距进行调节,使得目标对象可以全部呈现在摄像装置的画面中。在一实施例中,相关参数还可以包括位置,移动角度等。具体的,可以在目标对象偏离画面中心时,转动摄像装置,使得目标对象处于画面中心。
本申请公开的实施例中,通过使用跟踪模型获得图像中的跟踪框,并基于跟踪框调整摄像装置。其中跟踪模型可以采用siamrpn方法,基于siamrpn方法获得的跟踪框较具有较高的准确度,从而所获得的目标对象的坐标信息更加准确。以此为依据对摄像装置调节焦距,能够将目标对象的全部区域呈现在画面中,解决了目标对象因为形变较大导致部分区域不在画面中的问题。
此外,基于多帧图像的跟踪框对摄像装置进行调节,可以使得帧间的尺寸变化更加平滑。平滑的尺寸变化可以有效的避免摄像装置镜头频繁的变倍,提高画面的稳定性,并能够延长摄像装置的使用寿命。
参阅图2,图2是根据本申请一实施方式的调整摄像装置的方法的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图2所示的流程顺序为限。如图2所示,该方法包括:
步骤S210:获取当前帧图像的跟踪框与当前帧图像之前的若干历史帧图像的跟踪框的尺寸变化率。
在一实施例中,尺寸变化率可以是指当前帧图像的跟踪框与若干历史帧图像的跟踪框的尺寸变化统计数据,例如变化方差,或变化的平均值等。尺寸可以是指跟踪框的长度与宽度的乘积。也可以说是,统计若干帧图像(例如10帧,20帧或30帧等)内跟踪框的尺度变化情况,以获得尺寸变化率。
步骤S220:判断尺寸变化率是否大于第二阈值。
在一实施例中,尺寸变化率大于第二阈值时,进行下述步骤;在尺寸变化率小于第二阈值时,不调整摄像装置的焦距。第二阈值可以是固定的,也可以是根据实际情况确定的。也可以说是,统计若干帧图像内跟踪框尺寸变化情况,如果变化明显,则需要对摄像装置进行变焦。跟踪框的尺寸变化明显,说明目标对象可能在做一些身体浮动大的动作,从而需要调整摄像装置的焦距以使得目标对象可以完全出现在摄像装置的画面中。
步骤S230:获取当前帧图像和若干历史帧图像中尺寸最大的跟踪框。
在一实施例中,尺寸最大可以是指跟踪框的长度最大、宽度最大或长度宽度的乘积最大。在若干帧图像跟踪框变化明显的情况下,以这些帧图像中最大的跟踪框为后续的变焦依据,可以使得目标对象即使在进行较大幅度的运动时,仍能全部肢体被摄像装置所拍摄。
步骤S240:获取尺寸最大的跟踪框在其对应的帧图像中的比例。
在一实施例中,尺寸最大的跟踪框在其对应的帧图像中的比例可以是指长度比例,宽度比例,或面积比例等。具体的,确定尺寸最大的跟踪框所在的帧图像,并获取该帧图像中的跟踪框所占的比例。也可以是,获得尺寸最大的跟踪框在其对应的帧图像中的坐标。
步骤S250:基于比例调整摄像装置的焦距,以使得跟踪框在其对应的帧图像中的比例小于第三阈值。
在一实施例中,基于上述尺寸最大的跟踪框在其对应的帧图像中的比例,调大或调小摄像装置的焦距,使得该跟踪框在其对应的帧图像中的比例小于第三阈值。第三阈值可以是固定的,也可以是根据实际情况确定的。从而,使得摄像装置的画面中可以包括目标对象的全部肢体。在跟踪框满足第三阈值的情况下,可以达到目标对象不仅清晰可见,并且能够全部出现在画面中。
本申请的实施例中,对若干帧图像的进行比较后再对摄像装置进行调焦,有效的防止了目标对象肢体变化过大过快的情况下,摄像装置需要频繁调整焦距的问题。从而,使得帧间目标对象的尺寸变化更加平滑。
请参阅图3,图3是根据本申请一实施方式的目标跟踪装置的结构示意图。该实施方式中,目标跟踪装置包括获取模块310、提取模块320、处理模块330和调整模块340。需要说明的是,本实施方式的装置可以执行上述方法中的步骤,相关内容的详细说明请参见上述方法部分,在此不再赘叙。
在一实施例中,获取模块310用于获取当前帧图像。
在一实施例中,提取模块320用于提取当前帧图像中的多个目标对象候选框,并确定每个目标对象候选框对应的置信度。提取模块320还可以用于在所述当前帧图像为包含所述目标对象的第一帧图像时,利用所述第一帧图像创建并保存目标对象特征模板;否则,进入提取当前帧图像中的多个目标对象候选框,并确定每个目标对象候选框对应的置信度的步骤。提取模块320还可以用于基于目标对象特征模板,利用机器学习模型提取当前帧图像中的多个目标对象候选框,并确定每个目标对象候选框对应的置信度。
在一实施例中,处理模块330用于对置信度较高的多个目标对象候选框和前一帧图像对应的跟踪框进行预设策略处理,以从多个目标对象候选框中获得当前帧图像的跟踪框。处理模块还可以用于基于筛选策略对置信度较高的多个目标对象候选框进行筛选,获得最优的候选跟踪框;获得候选跟踪框与前一帧图像中的跟踪框的相似度;在相似度高于第一阈值时,将候选跟踪框确定为当前帧图像的跟踪框;在相似度低于第一阈值时,变更筛选策略,并返回至基于筛选策略对置信度较高的多个目标对象候选框进行筛选,获得最优的候选跟踪框的步骤;其中,变更后的筛选策略与变更前的筛选策略不同。筛选策略包括余弦窗法、重叠度法、非极大抑制法、高斯分布法中的至少一种。
在一实施例中,调整模块340用于基于当前帧图像的跟踪框和当前帧图像之前的若干历史帧图像的跟踪框,调整摄像装置的相关参数;其中,相关参数包括焦距。调整模块340还可以用于获取当前帧图像的跟踪框与当前帧图像之前的若干历史帧图像的跟踪框的尺寸变化率;在尺寸变化率大于第二阈值时,调整摄像装置的焦距。调整模块340还可以用于获取当前帧图像和若干历史帧图像中尺寸最大的跟踪框;获取尺寸最大的跟踪框在其对应的帧图像中的比例;基于比例调整摄像装置的焦距,以使得跟踪框在其对应的帧图像中的比例小于第三阈值。
在一实施例中,目标跟踪装置还可以包括归一化处理模块和检测模块(图中未示出)。归一化处理模块用于将当前帧图像进行归一化处理。检测模块用于基于检测模型提取当前帧图像中的目标对象;在当前帧图像中包含目标对象时,进入提取当前帧图像中的多个目标对象候选框,并确定每个目标对象候选框对应的置信度步骤。
请参阅图4,图4是根据本申请一实施方式的计算机设备的结构示意图。该实施方式中,计算机设备400包括相互耦接的处理器410和摄像装置420。
处理器410还可以称为CPU(Central Processing Unit,中央处理单元)。处理器410可能是一种集成电路芯片,具有信号的处理能力。处理器410还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
摄像装置420可能是可以移动,或转动并能够调节焦距的摄像装置。摄像装置420用于拍摄图像。
计算机设备400可以进一步包括存储器(图中未示出),用于存储处理器410运行所需的指令和数据。
处理器410用于执行指令以实现上述本申请目标跟踪方法任一实施例及任意不冲突的组合所提供的方法。
请参阅图5,图5是根据本申请一实施方式的具有存储功能的装置的结构示意图。本申请实施例的具有存储功能的装置500存储有指令,该指令被执行时实现本申请SLAM方法任一实施例以及任意不冲突的组合所提供的方法。其中,该指令可以形成程序文件以软件产品的形式存储在上述具有存储功能的装置中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的具有存储功能的装置500包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种目标对象跟踪方法,其特征在于,包括:
获取当前帧图像;
提取所述当前帧图像中的多个目标对象候选框,并确定每个所述目标对象候选框对应的置信度;
对所述置信度较高的所述多个目标对象候选框和前一帧图像对应的跟踪框进行预设策略处理,以从所述多个目标对象候选框中获得所述当前帧图像的跟踪框;
基于所述当前帧图像的所述跟踪框和所述当前帧图像之前的若干历史帧图像的跟踪框,调整摄像装置的相关参数,以使得目标对象全部位于图像中;其中,所述相关参数包括焦距。
2.根据权利要求1所述的方法,其特征在于,对所述置信度较高的所述多个目标对象候选框和前一帧图像对应的跟踪框进行预设策略处理,以从所述多个目标对象候选框中获得所述当前帧图像的跟踪框包括:
基于筛选策略对所述置信度较高的所述多个目标对象候选框进行筛选,获得最优的候选跟踪框;
获得所述候选跟踪框与前一帧图像中的所述跟踪框的相似度;
在所述相似度高于第一阈值时,将所述候选跟踪框确定为所述当前帧图像的跟踪框;在所述相似度低于第一阈值时,变更所述筛选策略,并返回至基于筛选策略对所述置信度较高的所述多个目标对象候选框进行筛选,获得最优的候选跟踪框的步骤;其中,变更后的所述筛选策略与变更前的所述筛选策略不同。
3.根据权利要求2所述的方法,其特征在于,所述筛选策略包括余弦窗法、重叠度法、非极大抑制法、高斯分布法中的至少一种。
4.根据权利要求1所述的方法,其特征在于,基于所述当前帧图像的所述跟踪框和所述当前帧图像之前的若干历史帧图像的所述跟踪框,调整摄像装置的相关参数包括:
获取所述当前帧图像的跟踪框与所述当前帧图像之前的若干历史帧图像的跟踪框的尺寸变化率;
在所述尺寸变化率大于第二阈值时,调整所述摄像装置的焦距。
5.根据权利要求4所述的方法,其特征在于,所述在所述尺寸变化率大于第二阈值时,调整所述摄像装置的焦距包括:
获取所述当前帧图像和所述若干历史帧图像中尺寸最大的所述跟踪框;
获取尺寸最大的所述跟踪框在其对应的帧图像中的比例;
基于所述比例调整所述摄像装置的所述焦距,以使得所述跟踪框在其对应的帧图像中的比例小于第三阈值。
6.根据权利要求1所述的方法,其特征在于,
所述提取所述当前帧图像中的多个目标对象候选框,并确定每个所述目标对象候选框对应的置信度,之前包括:
在所述当前帧图像为包含所述目标对象的第一帧图像时,利用所述第一帧图像创建并保存目标对象特征模板;
否则,进入所述提取所述当前帧图像中的多个目标对象候选框,并确定每个所述目标对象候选框对应的置信度的步骤。
7.根据权利要求6所述的方法,其特征在于,所述提取所述当前帧图像中的多个目标对象候选框,并确定每个所述目标对象候选框对应的置信度包括:
基于所述目标对象特征模板,利用机器学习模型提取所述当前帧图像中的多个目标对象候选框,并确定每个所述目标对象候选框对应的置信度。
8.根据权利要求1所述的方法,其特征在于,所述获取当前帧图像之后还包括:
将所述当前帧图像进行归一化处理;
基于检测模型提取当前帧图像中的目标对象;
在所述当前帧图像中包含目标对象时,进入所述提取所述当前帧图像中的多个目标对象候选框,并确定每个所述目标对象候选框对应的置信度步骤。
9.一种计算机设备,其特征在于,包括相互耦接的处理器和摄像装置,所述处理器用于执行指令以实现如权利要求1-8任一项所述的目标跟踪方法,所述摄像装置用于拍摄图像。
10.一种具有存储功能的装置,其特征在于,所述装置存储有程序,所述程序被执行时能够实现如权利要求1-8任一项所述的目标跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010674499.XA CN112001946A (zh) | 2020-07-14 | 2020-07-14 | 一种目标对象跟踪方法、计算机设备以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010674499.XA CN112001946A (zh) | 2020-07-14 | 2020-07-14 | 一种目标对象跟踪方法、计算机设备以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112001946A true CN112001946A (zh) | 2020-11-27 |
Family
ID=73466939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010674499.XA Pending CN112001946A (zh) | 2020-07-14 | 2020-07-14 | 一种目标对象跟踪方法、计算机设备以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112001946A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113506317A (zh) * | 2021-06-07 | 2021-10-15 | 北京百卓网络技术有限公司 | 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法 |
CN113808162A (zh) * | 2021-08-26 | 2021-12-17 | 中国人民解放军军事科学院军事医学研究院 | 目标跟踪方法、装置、电子设备及存储介质 |
CN113989695A (zh) * | 2021-09-18 | 2022-01-28 | 北京远度互联科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN113989696A (zh) * | 2021-09-18 | 2022-01-28 | 北京远度互联科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN114140494A (zh) * | 2021-06-30 | 2022-03-04 | 杭州图灵视频科技有限公司 | 复杂场景下单目标跟踪***、方法、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109483507A (zh) * | 2018-12-04 | 2019-03-19 | 北京壹氢科技有限公司 | 一种多个轮式机器人行走的室内视觉定位方法 |
CN110084829A (zh) * | 2019-03-12 | 2019-08-02 | 上海阅面网络科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
CN110853076A (zh) * | 2019-11-08 | 2020-02-28 | 重庆市亿飞智联科技有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
CN111127518A (zh) * | 2019-12-24 | 2020-05-08 | 深圳火星探索科技有限公司 | 基于无人机的目标跟踪方法及装置 |
-
2020
- 2020-07-14 CN CN202010674499.XA patent/CN112001946A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109483507A (zh) * | 2018-12-04 | 2019-03-19 | 北京壹氢科技有限公司 | 一种多个轮式机器人行走的室内视觉定位方法 |
CN110084829A (zh) * | 2019-03-12 | 2019-08-02 | 上海阅面网络科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
CN110853076A (zh) * | 2019-11-08 | 2020-02-28 | 重庆市亿飞智联科技有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
CN111127518A (zh) * | 2019-12-24 | 2020-05-08 | 深圳火星探索科技有限公司 | 基于无人机的目标跟踪方法及装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113506317A (zh) * | 2021-06-07 | 2021-10-15 | 北京百卓网络技术有限公司 | 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法 |
CN114140494A (zh) * | 2021-06-30 | 2022-03-04 | 杭州图灵视频科技有限公司 | 复杂场景下单目标跟踪***、方法、电子设备及存储介质 |
CN113808162A (zh) * | 2021-08-26 | 2021-12-17 | 中国人民解放军军事科学院军事医学研究院 | 目标跟踪方法、装置、电子设备及存储介质 |
CN113808162B (zh) * | 2021-08-26 | 2024-01-23 | 中国人民解放军军事科学院军事医学研究院 | 目标跟踪方法、装置、电子设备及存储介质 |
CN113989695A (zh) * | 2021-09-18 | 2022-01-28 | 北京远度互联科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN113989696A (zh) * | 2021-09-18 | 2022-01-28 | 北京远度互联科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN113989695B (zh) * | 2021-09-18 | 2022-05-20 | 北京远度互联科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112001946A (zh) | 一种目标对象跟踪方法、计算机设备以及装置 | |
US11151384B2 (en) | Method and apparatus for obtaining vehicle loss assessment image, server and terminal device | |
US12033082B2 (en) | Maintaining fixed sizes for target objects in frames | |
US20200058075A1 (en) | Method and apparatus for obtaining vehicle loss assessment image, server and terminal device | |
US10628961B2 (en) | Object tracking for neural network systems | |
Du et al. | Object tracking in satellite videos by fusing the kernel correlation filter and the three-frame-difference algorithm | |
CN110866480B (zh) | 对象的跟踪方法及装置、存储介质、电子装置 | |
US9373034B2 (en) | Apparatus and method for tracking object | |
WO2018052547A1 (en) | An automatic scene calibration method for video analytics | |
CN111462185A (zh) | ***辅助的图像捕获 | |
CN110807392B (zh) | 编码控制方法以及相关装置 | |
CN111179302B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
CN111383244A (zh) | 一种目标检测跟踪方法 | |
CN113688804B (zh) | 基于多角度视频的动作识别方法及相关设备 | |
CN114220087A (zh) | 一种车牌检测方法、车牌检测器及相关设备 | |
CN109598195B (zh) | 一种基于监控视频的清晰人脸图像处理方法与装置 | |
Duffner et al. | Fast pixelwise adaptive visual tracking of non-rigid objects | |
Huang et al. | Crowd counting using deep learning in edge devices | |
CN111275045A (zh) | 图像的主体识别方法、装置、电子设备和介质 | |
CN112183183A (zh) | 一种目标检测方法、装置及可读存储介质 | |
CN107147845B (zh) | 对焦方法、装置和终端设备 | |
US11995869B2 (en) | System and method to improve object detection accuracy by focus bracketing | |
US20230237835A1 (en) | Object tracking method and object tracking device | |
CN111968126B (zh) | 页面焦点识别方法、装置、计算机设备和存储介质 | |
KR101760892B1 (ko) | 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |