CN115018882A - 一种跟踪方法、装置、设备及介质 - Google Patents
一种跟踪方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115018882A CN115018882A CN202210699183.5A CN202210699183A CN115018882A CN 115018882 A CN115018882 A CN 115018882A CN 202210699183 A CN202210699183 A CN 202210699183A CN 115018882 A CN115018882 A CN 115018882A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- frame
- current image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种跟踪方法、装置、设备及介质,一方面,本申请不需要保存模板图像,只需要保存目标物品在图像中的中心位置信息即可实现对目标物品的跟踪,相比于图像来说,位置信息这类数字型的数据占用的内存更小;另一方面,由于本申请不需要根据保存的模板图像进行跟踪,因此也不会出现因模板图像质量不高,而影响跟踪质量的问题,再一方面,本申请基于深度学习的检测算法进行跟踪,也就是基于预先训练完成的跟踪模型进行跟踪,相对现有技术中的非深度学习的检测算法进行跟踪而言,具有更强的泛化性,跟踪的质量也更高。
Description
技术领域
本申请涉及图像识别技术领域,尤其涉及一种跟踪方法、装置、设备及介质。
背景技术
多目标跟踪是监控视频智能分析中的重要环节,当前多目标跟踪的主流技术是基于检测的跟踪(Detection-Based Tracking),即可以通过目标检测算法来实现对物品的跟踪。但是基于目标检测算法对物品进行跟踪时,可能会出现在某一张图像中对某一物品跟踪失败而导致该物品漏检的情况,其中,漏检的物品处于的状态也就是所谓的“丢失”(Lost)状态,若该物品在连续采集的多张图像中都处于Lost状态的话,即使后续再次检测到该物品出现在其他的图像中,也难以与之前该物品对应的跟踪轨迹联系起来,俗称“跟丢”。
为了避免漏检对物品跟踪的影响,在基于目标检测的多目标跟踪算法中,确定某一张图像中的某一个物品处于Lost状态后,需要对该处于Lost状态的物品通过别的跟踪算法进行进一步的跟踪。现有技术中,常见的跟踪算法有卡尔曼滤波预测、基于相关滤波的单目标跟踪算法以及基于深度学***方和滤波器(Minimum Output Sum of Squared Error,MOSSE)算法或者CSK算法等等,其中,基于深度学习的单目标跟踪算法可以为基于孪生候选区域生成网络(Siameseregion proposal network,Siamese-RPN)的跟踪算法等等。
相关技术中,被广泛应用的跟踪算法为单目标跟踪算法,先将采集时间在当前图像之前的,且与当前图像相邻的图像中处于Lost状态的目标物品所在的子图像作为模板图像,然后确定在当前图像中该模板图像对应的最大响应区域(即当前图像中与初始模板相似度最大的区域),然后将该最大响应区域对应的子图像更新为模板图像,如此往复来实现跟踪。该方法一方面,为了实现对物品的进一步跟踪,单针对每个处于Lost状态的物品,都需要在电子设备中保存一个对应该物品的模板图像,且由于现有的图像采集设备采集的图像一般为分辨率高的图像,因此该物品对应的模板图像占用的内存比较大,若后续保存的模板图像过多,则会占用电子设备太多的内存空间。另一方面,针对每个物品,若该物品对应的模板图像的图像质量比较低,也会严重影响该物品的跟踪质量。
发明内容
本申请提供了一种跟踪方法、装置、设备及介质,用以解决现有技术中对处于Lost状态的目标物品进行跟踪时,分辨率高的模板图像会占用大量的内存,或模板图像的质量不高,导致对该物品进行跟踪质量的不高的问题。
本申请提供了一种跟踪方法,所述方法包括:
根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置;并确定所述当前图像中所述目标预测中心位置所在的每个第一目标框;
针对每个第一目标框,将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出该第一目标框包围的子图像中所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度;
将与预先保存的所述目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度;
根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比;若所述交并比大于预设的交并比阈值,且所述第二目标置信度大于预设的置信度阈值,则确定所述当前图像中所述目标预测中心位置处的物品为跟踪到的所述目标物品。
进一步地,所述根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置之前,所述方法还包括:
基于目标检测算法,识别所述第一目标图像中是否存在与所述当前图像未匹配成功的物品;若是,则将所述未匹配成功的物品确定为所述目标物品。
进一步地,所述方法还包括:
确定预先保存的所述目标物品在所述第一目标图像中对应的第一标识信息表征所述目标物品是不是根据所述目标检测算法跟踪得到的,并确定所述目标物品是否位于所述第一目标图像的中心区域;
若所述第一标识信息表征所述目标物品不是根据所述目标检测算法跟踪得到的,或者所述目标物品位于所述第一目标图像的中心区域,则将所述目标物品保留;
否则,将所述目标物品删除。
进一步地,所述根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置包括:
根据所述目标物品在所述第一目标图像中的中心位置信息,以及在所述第一目标图像之前采集的,且与所述第一目标图像相邻的第二目标图像的中心位置信息,确定所述目标预测中心位置。
进一步地,所述确定所述当前图像中所述目标预测中心位置所在的每个第一目标框之前,所述方法还包括:
根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度。
进一步地,所述根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度包括:
将其他图像中所述目标物品对应的第二标识信息表征所述目标物品为根据目标检测算法跟踪得到的,且与所述当前图像采集时间最近的其他图像确定为第三目标图像;
确定所述第三目标图像与所述第一目标图像是否为同一图像;
若是,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度确定为所述目标高度和所述目标宽度;
若否,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度,以及所述第一目标图像中所述目标物品对应的第四目标框的高度和宽度,分别确定为当前图像中所述目标物品的第一目标框对应的所述目标高度和所述目标宽度。
进一步地,所述将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度包括:
将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别、所述目标物品对应的第一目标置信度以及所述目标物品对应的预测目标框;
所述根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比之前,所述方法还包括:
将所述预测目标框更新为所述第一目标框。
进一步地,所述根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比之后,所述方法还包括:
若所述交并比不大于预设的交并比阈值,或者所述第二目标置信度不大于预设的第二置信度阈值,则确定所述目标物品跟踪失败。
本申请还提供了一种跟踪装置,该装置包括:
确定模块,用于根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置;并确定所述当前图像中所述目标预测中心位置所在的每个第一目标框;
输出模块,用于针对每个第一目标框,将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出该第一目标框包围的子图像中所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度;
所述确定模块,还用于将与预先保存的所述目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度;根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比;若所述交并比大于预设的交并比阈值,且所述第二目标置信度大于预设的置信度阈值,则确定所述当前图像中所述目标预测中心位置处的物品为跟踪到的所述目标物品。
进一步地,所述确定模块,还用于基于目标检测算法,识别所述第一目标图像中是否存在与所述当前图像未匹配成功的物品;若是,则将所述未匹配成功的物品确定为所述目标物品。
进一步地,所述装置还包括:
处理模块,用于确定预先保存的所述目标物品在所述第一目标图像中对应的第一标识信息表征所述目标物品是不是根据所述目标检测算法跟踪得到的,并确定所述目标物品是否位于所述第一目标图像的中心区域;若所述第一标识信息表征所述目标物品不是根据所述目标检测算法跟踪得到的,或者所述目标物品位于所述第一目标图像的中心区域,则将所述目标物品保留;否则,将所述目标物品删除。
进一步地,所述确定模块,具体用于根据所述目标物品在所述第一目标图像中的中心位置信息,以及在所述第一目标图像之前采集的,且与所述第一目标图像相邻的第二目标图像的中心位置信息,确定所述目标预测中心位置。
进一步地,所述确定模块,具体用于根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度。
进一步地,所述输出模块,具体用于将其他图像中所述目标物品对应的第二标识信息表征所述目标物品为根据目标检测算法跟踪得到的,且与所述当前图像采集时间最近的其他图像确定为第三目标图像;确定所述第三目标图像与所述第一目标图像是否为同一图像;若是,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度确定为所述目标高度和所述目标宽度;若否,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度,以及所述第一目标图像中所述目标物品对应的第四目标框的高度和宽度,分别确定为当前图像中所述目标物品的第一目标框对应的所述目标高度和所述目标宽度。
进一步地,所述输出模块,具体用于将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别、所述目标物品对应的第一目标置信度以及所述目标物品对应的预测目标框;
所述处理模块,还用于将所述预测目标框更新为所述第一目标框。
进一步地,所述确定模块,还用于若所述交并比不大于预设的交并比阈值,或者所述第二目标置信度不大于预设的置信度阈值,则确定所述目标物品跟踪失败。
本申请还提供了一种电子设备,所述电子设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述跟踪方法的步骤。
本申请还提供了一种计算机可读存储介质,其存储有可由终端执行的计算机程序,当所述程序在所述终端上运行时,使得所述终端执行上述任一项所述跟踪方法的步骤。
在本申请中,根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定目标物品在当前图像中的目标预测中心位置,并确定当前图像中目标预测中心位置所在的每个第一目标框,针对每个第一目标框,将当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出目标物品对应的第一目标类别以及目标物品对应的第一目标置信度,将与预先保存的目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度,根据第一目标框与预先保存的在当前图像之前采集,且与当前图像相邻的第一目标图像中目标物品对应的第二目标框的坐标信息,确定第一目标框和第二目标框的交并比,若交并比大于预设的交并比阈值,且第二目标置信度大于预设的置信度阈值,则确定当前图像中目标预测中心位置处的物品为跟踪到的目标物品。一方面,本申请不需要保存模板图像,只需要保存目标物品在图像中的中心位置信息即可实现对目标物品的跟踪,相比于图像来说,位置信息这类数字型的数据占用的内存更小;另一方面,由于本申请不需要根据保存的模板图像进行跟踪,因此也不会出现因模板图像质量不高,而影响跟踪质量的问题,再一方面,本申请基于深度学习的检测算法进行跟踪,也就是基于预先训练完成的跟踪模型进行跟踪,相对现有技术中的非深度学习的检测算法进行跟踪而言,具有更强的泛化性,跟踪的质量也更高。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一些实施例提供的一种跟踪的过程示意图;
图2为本申请一些实施例提供的一种目标物品的跟踪流程示意图;
图3a为本申请一些实施例提供的一种第一目标图像中的目标物品的显示示意图;
图3b为本申请一些实施例提供的一种对目标物品进行筛选后的显示意图;
图4为本申请一些实施例提供的一种第一目标框外扩的显示示意图;
图5为本申请一些实施例提供的跟踪的流程示意图;
图6为本申请一些实施例提供的一种跟踪装置结构示意图;
图7为本申请一些实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请中,根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定目标物品在当前图像中的目标预测中心位置,并确定当前图像中目标预测中心位置所在的每个第一目标框,针对每个第一目标框,将当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出目标物品对应的第一目标类别以及目标物品对应的第一目标置信度,将与预先保存的目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度,根据第一目标框与预先保存的在当前图像之前采集,且与当前图像相邻的第一目标图像中目标物品对应的第二目标框的坐标信息,确定第一目标框和第二目标框的交并比,若交并比大于预设的交并比阈值,且第二目标置信度大于预设的置信度阈值,则确定当前图像中目标预测中心位置处的物品为跟踪到的目标物品。
为了避免保存太多的模板图像占用大量的内存的问题,且提高对物品进行跟踪的质量,本申请实施例提供了一种跟踪方法、装置、设备及介质。
实施例1:
图1为本申请一些实施例提供的一种跟踪的过程示意图,该过程包括以下步骤:
S101:根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置;并确定所述当前图像中所述目标预测中心位置所在的每个第一目标框。
本申请实施例提供的跟踪方法应用于电子设备,该电子设备可以是智能终端、PC、服务器以及图像采集设备等设备。且本申请提供的跟踪方法可以应用在各种跟踪场景中,比如交通智能监控场景、高空全景视频监控跟踪场景等等。
本申请实施例所涉及的当前图像以及其他图像可以为电子设备本身采集的,还可以为其他设备采集到后发送给电子设备的。
本申请实施例所涉及的待跟踪的目标物品可以为与当前图像相邻,且采集时间在当前图像之前采集的图像中(第一目标图像)包含的所有物品,还可以为基于目标检测算法,确定的该第一目标图像中未与当前图像中的物品匹配成功的物品,也就是说,可以基于本申请提供的跟踪方法对该第一目标图像中的所有物品进行跟踪,还可以先基于目标检测算法,检测该第一目标图像中与当前图像中的物品匹配成功的物品,然后将该第一目标图像中的除匹配成功物品以外的其他物品确定为待跟踪的目标物品,并基于本申请提供的跟踪方法对该目标物品进行跟踪。为了便于描述,后续以该目标物品为该第一目标图像中的除匹配成功物品以外的其他物品为例进行说明。
由于一般的物品都是以有限的运动速度运动的,且针对位于图像采集设备采集范围下的每个物品,在设定时间长度内,该图像采集设备连续采集到的每张图像中均可能包含该物品,且该物品在任意两张采集时间相邻的图像中对应的位置信息之间相差的不会太大。因此为了对待跟踪的目标物品进行跟踪,在本申请实施例中,电子设备中可以预先保存了目标物品在当前图像之前采集的其他图像中的中心位置信息,然后根据该目标物品在当前图像之前采集的其他图像中的中心位置信息,确定该目标物品在当前图像中的目标预测中心位置。其中,该其他图像可以为2个、还可以为3个等等,具体的,该其他图像对应的数量可以根据需求进行设置。其中,该中心位置信息包括中心位置的横坐标以及中心位置的纵坐标。
为了确定目标物品在当前图像中的目标预测中心位置,在一种可能的实施方式中,可以获取预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中每两张相邻的其他图像,根据该目标物品在该两张相邻的其他图像对应的中心位置信息,确定该目标物品在该两张相邻的其他图像中的中心位置对应的横坐标的差值,以及中心位置对应的纵坐标的差值。然后根据其他图像中每两张相邻的其他图像的中心位置对应的横坐标的差值,确定平均横坐标差值,并根据每两张相邻的其他图像的中心位置对应的纵坐标的差值,确定平均纵坐标差值,最后将该目标物体在第一目标图像中对应的中心位置信息中的中心位置的横坐标与该平均横坐标差值的和值,确定为该目标物品在当前图像中的目标预测中心位置的目标预测中心横坐标,将该目标物体在第一目标图像中对应的中心位置信息中的中心位置的纵坐标与该平均纵坐标差值的和值,确定为该目标物品在当前图像中的目标预测中心位置的目标预测中心纵坐标。
由于物品一般大小是有限的,因此,针对每个物品,该物品在任意一个图像采集设备采集的图像中对应的大小也是有限的,在本申请实施例中,在确定出目标物品在当前图像中的目标预测中心位置后,可以确定当前图像中该目标预测中心位置所在的每个第一目标框,其中,该第一目标框包围了该目标物品。
其中,针对每个第一目标框,该第一目标框可以为正方形框,也可以为矩阵框等等,具体的,该第一目标框的形状可以根据需求进行设置。其中,该第一目标框的大小与图像采集设备的安装位置,以及该目标物***于该图像采集设备的距离以及角度等因素有关系,具体的,可以根据实际经验对该第一目标框的大小进行设置。
比如,若根据实际经验确定大多数物品在图像中对应的目标框的宽为a,高为b,或者宽为c,高为d,那么则可以确定两个不同大小的第一目标框,该两个第一目标框分别为以目标预测中心位置为中心,宽为a,高为b的目标框,以及以目标预测中心位置为中心,宽为c,高为d的目标框。
S102:针对每个第一目标框,将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出该第一目标框包围的子图像中所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度。
为了确定当前图像中的目标预测中心位置处的物品是否为跟踪到的目标物品,在本申请实施例中,预先训练完成了跟踪模型,用于检测待检测的目标物品对应的第一目标类别以及目标物品对应的第一目标置信度。其中,该预先训练完成的跟踪模型可以为区域卷积神经网络(Region-CNN,RCNN)模型、实时目标检测(You Only Look Once,YOLO)模型、SSD模型等等。
为了检测待检测的目标物品对应的第一目标类别以及目标物品对应的第一目标置信度,针对每个第一目标框,将该当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,该预先训练完成的跟踪模型输出该第一目标框包围的子图像中该目标物品对应的第一目标类别以及该目标物品对应的第一目标置信度。其中,该第一目标类别可以为人、车等等。其中,该第一目标置信度越高,预测的该目标物品对应的第一目标类别越准确。
其中,针对每个第一目标框,预先训练完成的跟踪模型输出该第一目标框包围的子图像中该目标物品对应的第一目标类别可以为一个,也可以为多个,且该目标物品对应的第一目标置信度可以为一个,也可以为多个。
比如,目标物品为物品A,确定的第一目标框的数量为2个,针对第一个第一目标框,将该第一个第一目标框包围的子图像输入到预先训练完成的跟踪模型中之后,该预先训练完成的跟踪模型输出该第一个目标框包围的子图像中该物品A对应的预测类别为苹果,对应的为苹果的置信度为0.9以及该目标物品对应的预测类别为梨,对应的为梨的置信度可以为0.2,将该第二个第一目标框包围的子图像输入到预先训练完成的跟踪模型中之后,该预先训练完成的跟踪模型输出该第二个目标框包围的子图像中该物品A对应的预测类别为苹果,对应的为苹果的置信度为0.85以及该目标物品对应的预测类别为橘子,对应的为梨的置信度可以为0.1。
S103:将与预先保存的所述目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度。
在本申请实施例中,为了便于对目标物品进行跟踪,在获得预先训练完成的跟踪模型输出的每个子目标框包围的子图像中该目标物品对应的第一目标类别以及该目标物品对应的第一目标置信度之后,将与预先保存的该目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度。
比如,目标物品为物品A,预先保存的该物品A的第二目标类型为苹果,预先训练完成的跟踪模型输出四个第一目标类别以及四个第一目标置信度,分别为:第一目标类别为苹果、第一目标置信度为0.9;第一目标类别为梨、第一目标置信度为0.1;第一目标类别为苹果、第一目标置信度为0.95;第一目标类别为橘子,第一目标置信度为0.2,则确定与预先保存的所述目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度为0.9以及0.95,并确定第二目标置信度为0.95。
S104:根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比;若所述交并比大于预设的交并比阈值,且所述第二目标置信度大于预设的置信度阈值,则确定所述当前图像中所述目标预测中心位置处的物品为跟踪到的所述目标物品。
为了确定当前图像中目标预测中心位置处的物品是否为跟踪到的目标物品,在本申请实施例中,可以先根据第一目标框的坐标信息以及预先保存的第一目标图像中该目标物品对应的第二目标框的坐标信息,确定该第一目标框和该第二目标框的交并比,来表征该第一目标框和该第二目标框之间的相似度。其中,该交并比越大,该第一目标框包围的子图像和该第二目标框包围的子图像的相似度越大,该目标预测中心位置处的物品为跟踪到的目标物品的可能性越大。
由于该第一目标框位于当前图像中,第二目标框位于第一目标图像中,而当前图像和第一目标图像都是同一图像采集设备采集的,因此可以认为当前图像和第一目标图像中每个对应像素点应该是对应相同的,当前图像和第一目标图像的坐标系一样。为了更便于确定该第一目标框和第二目标框之间的交并比,在本申请实施例中,可以先根据该第一目标框的坐标信息以及该第二目标框的坐标信息,将该第一目标框与该第二目标框置于同一坐标系中,然后确定第一目标框与第二目标框的交集对应的第一面积,并确定该第一目标框与第二目标框的并集对应的第二面积,最后将该第一面积与该第二面积的比值,确定为该第一目标框和该第二目标框的交并比。
为了确定当前图像中目标预测中心位置处的物品是否为跟踪到的目标物品,在本申请实施例中,预先保存了预设的交并比阈值以及预设的置信度阈值,当确定了第一目标框和该第二目标框的交并比后,确定该交并比是否大于预设的交并比阈值,并确定该预先训练完成的跟踪模型输出的第二目标置信度是否大于预设的第二置信度阈值。若该交并比大于预设的交并比阈值,且该第二目标置信度大于预设的置信度阈值,则说明该目标预测中心位置处的物品为跟踪到的目标物品的可能性很大,因此可以将该当前图像中该目标预测中心位置处的物品确定为跟踪到的目标物品。
其中,该预设的置信度阈值可以为0.9,还可以为0.85等等大于0小于1的数值,具体的,该预设的置信度阈值可以根据需求进行设置。其中,该预设的交并比阈值可以为大于0小于1的数值,具体的,该预设的交并比阈值也可以根据需求进行设置。
S105:若所述交并比不大于预设的交并比阈值,或者所述第二目标置信度不大于预设的置信度阈值,则确定所述目标物品跟踪失败。
若该第一目标框和该第二目标框的交并比不大于预设的交并比阈值,或者该第二目标置信度不大于预设的置信度阈值,则说明该目标预测中心位置处的物品为跟踪到的目标物品的可能性很小,因此确定该目标物品跟踪失败。
图2为本申请一些实施例提供的一种目标物品的跟踪流程示意图,现针对图2进行说明。
在确定第二目标置信度、第一目标框和第二目标框的交并比之后,确定目标物品对应的第二目标置信度是否大于预设的置信度阈值,若不大于预设的置信度阈值,则确定跟踪失败。若该第二目标置信度大于预设的置信度阈值,则确定交并比是否大于预设的交并比阈值,若大于预设的交并比阈值,则确定跟踪成功,若不大于预设的交并比阈值,则确定跟踪失败。
一方面,本申请不需要保存模板图像,只需要保存目标物品在图像中的中心位置信息即可实现对目标物品的跟踪,相比于图像来说,位置信息这类数字型的数据占用的内存更小;另一方面,由于本申请不需要根据保存的模板图像进行跟踪,因此也不会出现因模板图像质量不高,而影响跟踪质量的问题,再一方面,本申请基于深度学习的检测算法进行跟踪,也就是基于预先训练完成的跟踪模型进行跟踪,相对现有技术中的非深度学习的检测算法进行跟踪而言,具有更强的泛化性,跟踪的质量也更高。
实施例2:
为了确定目标物品,在上述实施例的基础上,在本申请实施例中,所述根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置之前,所述方法还包括:
基于目标检测算法,识别所述第一目标图像中是否存在与所述当前图像未匹配成功的物品;若是,则将所述未匹配成功的物品确定为所述目标物品。
在本申请实施例中,为了确定目标物品,先基于目标检测算法,将第一目标图像中的物品与当前图像中的各个物品进行匹配,将该第一目标图像中未匹配成功的物品确定为待匹配的目标物品。
具体的,基于目标检测算法,先检测第一目标图像以及当前图像中的每个物品对应的类别以及每个物品对应的目标框的位置信息,为了便于描述,将该第一目标图像中的物品称为第一物品,将当前图像中的物品称为第二物品,将该第一物品对应的目标框称为第一框,将该第二物品对应的目标框称为第二框,然后针对该第一目标图像中的每个第一物品,确定当前图像中是否存在与该第一物品类别相同,且对应的第二框与该第一框的交并比大于预设的交并比阈值的第二物品,若不存在,则确定该第一物品未匹配成功,并将该第一物品确定为目标物品。若存在,则确定该第一物品匹配成功,并将该第一物品及与该第一物品匹配成功的第二物品确定为同一物品,且设置相同的标识信息。
其中,确定两个目标框的交并比的过程在上述实施例中已经说明,在此不做赘述。
实施例3:
为了对待跟踪目标物品进行筛选,以减少电子设备的工作负担,在上述各实施例的基础上,在本申请实施例中,所述方法还包括:
确定预先保存的所述目标物品在所述第一目标图像中对应的第一标识信息表征所述目标物品是不是根据所述目标检测算法跟踪得到的,并确定所述目标物品是否位于所述第一目标图像的中心区域;
若所述第一标识信息表征所述目标物品不是根据所述目标检测算法跟踪得到的,或者所述目标物品位于所述第一目标图像的中心区域,则将所述目标物品保留;
否则,将所述目标物品删除。
在图像采集设备采集的图像中包含的物品较多的场景下,比如,高空全景视频监控跟踪场景下,由于图像采集设备的架设位置高,采集的全景图像中包含的物品的数量一般也很多,且每个物品在全景图像中对应的尺寸很小,因此,为了减少电子设备的工作负担,可以先将该第一目标图像中的目标物品进行筛选,将第一目标图像中跟踪意义不大,或者不需要进行跟踪的目标物品删除,将跟踪意义大,或者需要进行跟踪的目标物品保留,以减少需要进行跟踪的目标物体的数量,进而减少电子设备的工作负担。
一方面,若在采集当前图像时,物品已经运动到图像采集设备采集不到的范围,此时即使当前图像中找不到与该第一目标图像中的该物品匹配成功的物品,也不需要对该目标物品进行跟踪,而一般即将离开图像采集设备的采集区域的物品不会在图像的中心区域;另一方面,在对图像采集设备进行安装时,在调整图像采集设备的安装位置和安装角度时,往往会需要考虑能够使得图像采集设备采集到的图像中画面中央对应的子图像为最关注的区域;再一方面,针对高空全景视频监控跟踪场景,可能获得的全景图像中为多个图像拼接而生成的原因,中心处的物品的外观更容易发生形变,中心处的物品在检测时也更容易出现漏检的情况。因此,可以将位于该第一目标图像的中心区域的目标物品进行保留,将位于该第一目标图像中的图像边缘区域的目标图像进行删除。
在一种可能的实施方式中,为了确定该目标物品是否位于第一目标图像的中心区域,可以通过以下方式确定:
先根据Dist=abs(obj_center_x–img_center_x)+abs(obj_center_y–img_center_y),确定目标数值;
其中,Dist为目标数值,abs表示绝对值操作,obj_center_x为该目标物品在第一目标图像中对应的第二目标框的中心点的横坐标,obj_center_y为该目标物品在第一目标图像中对应的第二目标框的中心点的纵坐标,img_center_x为第一目标图像的中心点的横坐标,img_center_y为第一目标图像的中心点的纵坐标,该Dist越小,则说明该目标物品位于该第一目标图像的中心区域的可能性越大。
在确定出目标数值之后,可以根据该目标数值与预设的数值阈值的比较,确定该目标物品是否位于该第一目标图像的中心区域。具体的,若该目标数值小于预设的数值阈值,则确定该目标物品位于该第一目标图像的中心区域,则将该目标物品保留;若该目标数值不小于预设的数值阈值,则确定该目标物品不位于该第一目标图像的中心区域,则将该目标物品删除。
在本申请实施例中,为了便于确定每张图像中的各个物品是通过什么算法被跟踪到的,电子设备中预先保存了物品在各个图像中对应的第一标识信息,该第一标识信息用于表征该物品是否根据目标检测算法跟踪得到,其中,采用相同的算法跟踪到的物品对应的第一标识信息相同,采用不同的算法跟踪到的物品对应的第一标识信息不同。具体的,可以将基于目标检测算法跟踪得到的物品的第一标识信息设置为1,将非基于目标检测算法跟踪得到的物品的第一标识信息设置为0等等,具体不做限制。
若预先保存的目标物品在该第一目标图像中对应的第一标识信息表征该目标物品不是根据该目标检测算法跟踪得到,也就是说,是基于本申请的跟踪方法跟踪到的,为了保证跟踪轨迹连续性,还可以将该目标物品保留,若预先保存的目标物品在该第一目标图像中对应的第一标识信息表征该目标物品是根据该目标检测算法跟踪得到,当前图像中未跟踪到该目标物品有可能是因为运动到图像采集设备采集不到的范围,导致没有跟踪到,则可以先将该目标物品删除。
需要说明的是,若第一目标图像中的目标物品的数量较少时,可以不对该第一目标图像中的目标物品通过上述实施例的方法对该目标物品进行筛选,直接将该第一目标图像中的所有目标物品进行跟踪。具体的,电子设备中可以预先保存了筛选阈值,在确定该第一目标图像中的所有目标物品后,确定所有目标物品对应的目标数量,并将该目标数量与预设的筛选阈值进行比较,若该目标数量大于预设的筛选阈值,则通过上述实施例的方法对该第一目标图像中的目标物品进行筛选,若该目标数量不大于预设的筛选阈值,则保留该第一目标图像中的所有目标物品。
图3a为本申请一些实施例提供的一种第一目标图像中的目标物品的显示示意图,图3b为本申请一些实施例提供的一种对目标物品进行筛选后的显示意图,现针对图3a和图3b进行说明。
第一目标图像中的目标物品包含物品A、物品B以及物品C,如图3a所示。
以基于目标检测算法跟踪得到的物品的第一标识信息设置为1,将非基于目标检测算法跟踪得到的物品的第一标识信息设置为0为例进行说明。
若该物品A对应的第一标识信息为0,物品B对应的第一标识信息为1,物品C对应的第一标识信息为1,且物品A、物品B以及物品C中,物品C位于第一目标图像的中心区域,物品A与物品B位于第一目标图像的非中心区域,则将物品A和物品C保留,将物品B删除,具体的,对目标物品进行筛选后的该第一目标图像中包含的目标物体的情况参见图3b。
实施例4:
为了确定目标物品在当前图像中的目标预测中心位置,在上述各实施例的基础上,所述根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置包括:
根据所述目标物品在所述第一目标图像中的中心位置信息,以及在所述第一目标图像之前采集的,且与所述第一目标图像相邻的第二目标图像的中心位置信息,确定所述目标预测中心位置。
在本申请实施例中,为了确定目标物品在当前图像中的目标预测中心位置,电子设备可以根据该目标物品在该第一目标图像中的中心位置信息,以及该第一目标图像之前采集的,且与该第一目标图像相邻的第二目标图像的中心位置信息,确定该目标预测中心位置。
具体的,可以先确定该目标物品在第一目标图像中对应的中心位置的横坐标与该目标物品在第二目标图像中对应的中心位置的横坐标的第一差值,并确定该目标物品在第一目标图像中对应的中心位置的纵坐标与该目标物品在第二目标图像中对应的中心位置的纵坐标的第二差值,然后将该目标物品在第一目标图像中的中心位置的横坐标加上该第一差值,确定为该目标预测中心位置的横坐标,将该目标物品在第一目标图像中的中心位置的纵坐标加上该第二差值,确定为该目标预测中心位置的纵坐标。
具体的,可以通过以下方式确定目标预测中心位置:
center_pred_x=center_x_1+(center_x_1–center_x_2)
center_pred_y=center_y_1+(center_y_1–center_y_2)
其中,center_pred_x为目标预测中心位置的横坐标,center_pred_y为目标预测中心位置的纵坐标,center_x_1为目标物品在第一目标图像中的中心位置的横坐标,center_y_1为目标物品在第一目标图像中的中心位置的纵坐标,center_x_2为目标物品在第二目标图像中的中心位置的横坐标,center_y_2为目标物品在第二目标图像中的中心位置的纵坐标。
实施例5:
为了更准确的确定第一目标框,在上述各实施例的基础上,所述确定所述当前图像中所述目标预测中心位置所在的每个第一目标框之前,所述方法还包括:
根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度。
由于不同大小的物品在当前图像中对应的目标框的大小不相同,且针对在图像采集设备采集范围的每个物品,在该设定时间长度内采集到的每张图像中包含的该物品对应的目标框的大小不会有特别明显的变化,因此,为了更准确的确定当前图像中该目标物品对应的每个第一目标框,在本申请实施例中,可以根据在当前图像之前采集的其他图像中该目标物品对应的第三目标框的宽度和高度,确定在当前图像中该目标物品对应的每个第一目标框的目标宽度和目标高度。
若确定的第一目标框的数量为一个时,在一种可能的实施方式中,可以根据其他图像中对应的第三目标框的宽度和高度,确定宽度平均值以及高度平均值,然后将该高度平均值确定为该第一目标框对应的目标高度,将该宽度平均值确定为该第一目标框对应的目标宽度。
在另外一种可能的实施方式中,可以将第一目标图像中该目标物品对应的第三目标框的宽度和高度,确定为该第一目标框对应的目标宽度和目标高度。
若确定的第一目标框的数量为多个时,比如,确定的第一目标框的数量为两个,则在一种可能的实施方式中,可以将根据其他图像中前一半图像中对应的第三目标框的宽度和高度,确定的宽度平均值以及高度平均值,确定为一个第一目标框的目标宽度和目标高度,可以将根据其他图像中后一半图像中对应的第三目标框的宽度和高度,确定的宽度平均值以及高度平均值,确定为另一个第一目标框的目标宽度和目标高度。
在另外一种可能的实施方式中,还可以将第一目标图像中该目标物品对应的第三目标框的宽度和高度,确定为一个第一目标框对应的目标宽度和目标高度,将采集时间在该第一目标图像之前,且与该第一目标图像相邻的其他图像中该目标物品对应的第三目标框的宽度和高度,确定为另一个第一目标框对应的目标宽度和目标高度。
为了准确的确定该第一目标框对应的目标宽度和目标高度,在上述实施例的基础上,所述根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度包括:
将其他图像中所述目标物品对应的第二标识信息表征所述目标物品为根据目标检测算法跟踪得到的,且与所述当前图像采集时间最近的其他图像确定为第三目标图像;
确定所述第三目标图像与所述第一目标图像是否为同一图像;
若是,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度确定为所述目标高度和所述目标宽度;
若否,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度,以及所述第一目标图像中所述目标物品对应的第四目标框的高度和宽度,分别确定为当前图像中所述目标物品的第一目标框对应的所述目标高度和所述目标宽度。
在本申请实施例中,为了更准确的确定第一目标框的目标宽度以及目标高度,还可以将在当前图像之前采集的其他图像中该目标物品对应的第二标识信息表征该目标物品为根据目标检测算法跟踪得到的,且与当前图像采集时间最近的图像确定为第三目标图像,并确定该第三目标图像与该第一目标图像是否为同一图像,若是,则可以确定一个第一目标框,并将该目标物品在该第三目标图像中对应的第三目标框的高度和宽度确定为该第一目标框的目标高度和所述目标宽度。
若否,则可以确定两个第一目标框,后续基于该两个第一目标框对物品进行跟踪,并将该目标物品在该第三目标图像中对应的第三目标框的高度和宽度,以及该第一目标图像中所述目标物品对应的第四目标框的高度和宽度,分别确定为当前图像中该目标物品的第一目标框对应的该目标高度和所述目标宽度,也就是说,两个第一目标框中,一个第一目标框的目标宽度和目标高度为该目标物品在该第三目标图像中对应的第三目标框的高度和宽度,另外一个第一目标框的目标宽度和目标高度为该第一目标图像中所述目标物品对应的第四目标框的高度和宽度。
本申请实施例提供的确定目标预测中心位置的方法,不仅仅适用于目标物品在运动过程中尺寸基本保持不变的情况,还适用于由于透视原因或者由于画面拼接造成的目标物品发生形变,或者物品在运动过程中尺寸逐渐增大或者逐渐减小的情况。
实施例6:
为了更准确的确定目标物品在当前图像中对应的第一目标框,在上述各实施例的基础上,在本申请实施例中,所述将所述当前图像中所述第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度包括:
将所述当前图像中该述第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别、所述目标物品对应的第一目标置信度以及所述目标物品对应的预测目标框;
所述根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比之前,所述方法还包括:
将所述预测目标框更新为所述第一目标框。
为了更准确的确定目标物品在当前图像中对应的第一目标框,在本申请实施例中,可以在确定目标物品在当前图像中目标预测中心位置所在的每个第一目标框之后,基于预先训练完成的跟踪模型,输出目标物品对应的预测目标框,来对该目标物品在当前图像中对应的目标框进行进一步的预测,具体的可以是,针对每个第一目标框,将当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,该预先训练完成的跟踪模型输出目标物品对应的第一目标类别、目标物品对应的第一目标置信度以及目标物品对应的预测目标框,然后电子设备将该预测目标框更新为该第一目标框。
具体的,由于针对每个第一目标框,该第一目标框都会对应一个第一目标类别、一个第一目标置信度以及一个预测框,因此,为了便于后续对目标物品进行跟踪,在本申请实施例中,可以先确定每个预测框对应的第一目标置信度的最大值,并将第一目标置信度最大值对应的预测框确定为预测目标框,并将该预测目标框更新为该第一目标框。
需要说明的是,由于确定的当前图像中目标物品对应的第一目标框可能不包含完整的目标物品,因此,为了保证输入待预先训练完成的跟踪模型中的子图像中包含完整的目标物体,以便提高模型预测的准确性,在本申请实施例中,可以在将第一目标框包围的子图像输入到预先训练完成的跟踪模型中之前,先将该第一目标框外扩一定比例,具体的,可以预先设置了对应的外扩因子,然后根据该外扩因子,对该第一目标框进行外扩,并将外扩后的获得的目标框更新为第一目标框,再进行将当前图像中第一目标框包围的子图像输入到预先训练完成的跟踪模型中的操作。
具体的,可以通过以下方式,获得外扩后的目标框:
patch1=(center_pred_x,center_pred_y,height_s*expand_factor,width_s*expand_factor)
其中,patch1为外扩后的目标框的信息,其中,外扩因子为expand_factor,center_pred_x为该外扩前第一目标框的中心位置的横坐标,center_pred_y为外扩前第一目标框的中心位置的纵坐标,height_s为外扩前的第一目标框的高度,width_s为外扩前的第一目标框的宽度。
图4为本申请一些实施例提供的一种第一目标框外扩的显示示意图,现针对图4进行说明。
外扩前的第一目标框为目标框1,外扩后的第一目标框为目标框2。
一方面,由于输入到预先训练完成的跟踪模型中的图像为当前图像中第一目标框包围的子图像,相比于将该当前图像直接输入到预先训练完成的跟踪模型而言,该子图像中的干扰因素更少,其中,该干扰因素包含该当前图像中的背景区域以及除该目标物品以外的其他物品;另一方面,由于预先训练完成的跟踪模型基于输入的图像,对图像中的物品对应的第一目标类别、目标物品对应的第一目标置信度以及预测目标框进行预测时,一般需要将输入的图像缩小到设定输入大小,更容易导致尺寸小的物品预测的不准确,而本申请中是将当前图像中第一目标框包围的子图像输入到预先训练完成的跟踪模型中,使得尺寸小的目标物品在子图像中的像素占比更高,从而具有更好的预测效果;再一方面,由于当前图像中第一目标框包围的子图像中的物品很少,因此,可以采用轻量级的网络结构(网络输入更小,网络深度更浅等)作为预先训练完成的跟踪模型,基于可以达到很好的预测效果。
图5为本申请一些实施例提供的跟踪的流程示意图,现针对图4进行说明。
先确定待识别的目标物品,并对该目标物品进行筛选,然后根据预先保存的该目标物品在当前图像之前采集的其他图像中的中心位置信息,确定该目标物品在该当前图像中的目标预测中心位置,并确定该当前图像中该目标预测中心位置所在的每个第一目标框,再针对每个第一目标框,将当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,对该目标物品在当前图像对应的目框进行第二次预测,最后根据预测的结果,确定当前图像中目标预测中心位置处的物品是否为跟踪到的目标物品。
实施例7:
图6为本申请一些实施例提供的一种跟踪装置结构示意图,该装置包括:
确定模块601,用于根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置;并确定所述当前图像中所述目标预测中心位置所在的每个第一目标框;
输出模块602,用于针对每个第一目标框,将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出该第一目标框包围的子图像中所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度;
所述确定模块601,还用于将与预先保存的所述目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度;根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比;若所述交并比大于预设的交并比阈值,且所述第二目标置信度大于预设的置信度阈值,则确定所述当前图像中所述目标预测中心位置处的物品为跟踪到的所述目标物品。
在一种可能的实施方式中,所述确定模块601,还用于基于目标检测算法,识别所述第一目标图像中是否存在与所述当前图像未匹配成功的物品;若是,则将所述未匹配成功的物品确定为所述目标物品。
在一种可能的实施方式中,所述装置还包括:
处理模块603,用于确定预先保存的所述目标物品在所述第一目标图像中对应的第一标识信息表征所述目标物品是不是根据所述目标检测算法跟踪得到的,并确定所述目标物品是否位于所述第一目标图像的中心区域;若所述第一标识信息表征所述目标物品不是根据所述目标检测算法跟踪得到的,或者所述目标物品位于所述第一目标图像的中心区域,则将所述目标物品保留;否则,将所述目标物品删除。
在一种可能的实施方式中,所述确定模块601,具体用于根据所述目标物品在所述第一目标图像中的中心位置信息,以及在所述第一目标图像之前采集的,且与所述第一目标图像相邻的第二目标图像的中心位置信息,确定所述目标预测中心位置。
在一种可能的实施方式中,所述确定模块601,具体用于根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度。
在一种可能的实施方式中,所述输出模块602,具体用于将其他图像中所述目标物品对应的第二标识信息表征所述目标物品为根据目标检测算法跟踪得到的,且与所述当前图像采集时间最近的其他图像确定为第三目标图像;确定所述第三目标图像与所述第一目标图像是否为同一图像;若是,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度确定为所述目标高度和所述目标宽度;若否,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度,以及所述第一目标图像中所述目标物品对应的第四目标框的高度和宽度,分别确定为当前图像中所述目标物品的第一目标框对应的所述目标高度和所述目标宽度。
在一种可能的实施方式中,所述输出模块602,具体用于将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别、所述目标物品对应的第一目标置信度以及所述目标物品对应的预测目标框;
所述处理模块603,还用于将所述预测目标框更新为所述第一目标框。
在一种可能的实施方式中,所述确定模块601,还用于若所述交并比不大于预设的交并比阈值,或者所述第二目标置信度不大于预设的第二置信度阈值,则确定所述目标物品跟踪失败。
实施例8:
在上述各实施例的基础上,本申请一些实施例还提供了一种电子设备,如图7所示,包括:处理器701、通信接口702、存储器703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信。
所述存储器703中存储有计算机程序,当所述程序被所述处理器701执行时,使得所述处理器701执行如下步骤:
根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置;并确定所述当前图像中所述目标预测中心位置所在的每个第一目标框;
针对每个第一目标框,将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出该第一目标框包围的子图像中所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度;
将与预先保存的所述目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度;
根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比;若所述交并比大于预设的交并比阈值,且所述第二目标置信度大于预设的置信度阈值,则确定所述当前图像中所述目标预测中心位置处的物品为跟踪到的所述目标物品。
进一步地,所述处理器701,还用于基于目标检测算法,识别所述第一目标图像中是否存在与所述当前图像未匹配成功的物品;若是,则将所述未匹配成功的物品确定为所述目标物品。
进一步地,所述处理器701,还用于确定预先保存的所述目标物品在所述第一目标图像中对应的第一标识信息表征所述目标物品是不是根据所述目标检测算法跟踪得到的,并确定所述目标物品是否位于所述第一目标图像的中心区域;若所述第一标识信息表征所述目标物品不是根据所述目标检测算法跟踪得到的,或者所述目标物品位于所述第一目标图像的中心区域,则将所述目标物品保留;否则,将所述目标物品删除。
进一步地,所述处理器701,具体用于根据所述目标物品在所述第一目标图像中的中心位置信息,以及在所述第一目标图像之前采集的,且与所述第一目标图像相邻的第二目标图像的中心位置信息,确定所述目标预测中心位置。
进一步地,所述处理器701,还用于根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度。
进一步地,所述处理器701,具体用于将其他图像中所述目标物品对应的第二标识信息表征所述目标物品为根据目标检测算法跟踪得到的,且与所述当前图像采集时间最近的其他图像确定为第三目标图像;确定所述第三目标图像与所述第一目标图像是否为同一图像;若是,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度确定为所述目标高度和所述目标宽度;若否,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度,以及所述第一目标图像中所述目标物品对应的第四目标框的高度和宽度,分别确定为当前图像中所述目标物品的第一目标框对应的所述目标高度和所述目标宽度。
进一步地,所述处理器701,具体用于将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别、所述目标物品对应的第一目标置信度以及所述目标物品对应的预测目标框;
所述处理器701,还用于将所述预测目标框更新为所述第一目标框。
进一步地,所述处理器701,还用于若所述交并比不大于预设的交并比阈值,或者所述第二目标置信度不大于预设的第二置信度阈值,则确定所述目标物品跟踪失败。
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口702用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字指令处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例9:
在上述各实施例的基础上,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行时实现如下步骤:
根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置;并确定所述当前图像中所述目标预测中心位置所在的每个第一目标框;
针对每个第一目标框,将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出该第一目标框包围的子图像中所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度;
将与预先保存的所述目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度;
根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比;若所述交并比大于预设的交并比阈值,且所述第二目标置信度大于预设的置信度阈值,则确定所述当前图像中所述目标预测中心位置处的物品为跟踪到的所述目标物品。
进一步地,所述根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置之前,所述方法还包括:
基于目标检测算法,识别所述第一目标图像中是否存在与所述当前图像未匹配成功的物品;若是,则将所述未匹配成功的物品确定为所述目标物品。
进一步地,所述方法还包括:
确定预先保存的所述目标物品在所述第一目标图像中对应的第一标识信息表征所述目标物品是不是根据所述目标检测算法跟踪得到的,并确定所述目标物品是否位于所述第一目标图像的中心区域;
若所述第一标识信息表征所述目标物品不是根据所述目标检测算法跟踪得到的,或者所述目标物品位于所述第一目标图像的中心区域,则将所述目标物品保留;
否则,将所述目标物品删除。
进一步地,所述根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置包括:
根据所述目标物品在所述第一目标图像中的中心位置信息,以及在所述第一目标图像之前采集的,且与所述第一目标图像相邻的第二目标图像的中心位置信息,确定所述目标预测中心位置。
进一步地,所述确定所述当前图像中所述目标预测中心位置所在的每个第一目标框之前,所述方法还包括:
根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度。
进一步地,所述根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度包括:
将其他图像中所述目标物品对应的第二标识信息表征所述目标物品为根据目标检测算法跟踪得到的,且与所述当前图像采集时间最近的其他图像确定为第三目标图像;
确定所述第三目标图像与所述第一目标图像是否为同一图像;
若是,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度确定为所述目标高度和所述目标宽度;
若否,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度,以及所述第一目标图像中所述目标物品对应的第四目标框的高度和宽度,分别确定为当前图像中所述目标物品的第一目标框对应的所述目标高度和所述目标宽度。
进一步地,所述将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度包括:
将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别、所述目标物品对应的第一目标置信度以及所述目标物品对应的预测目标框;
所述根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比之前,所述方法还包括:
将所述预测目标框更新为所述第一目标框。
进一步地,所述根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比之后,所述方法还包括:
若所述交并比不大于预设的交并比阈值,或者所述第二目标置信度不大于预设的第二置信度阈值,则确定所述目标物品跟踪失败。
一方面,本申请不需要保存模板图像,只需要保存目标物品在图像中的中心位置信息即可实现对目标物品的跟踪,相比于图像来说,位置信息这类数字型的数据占用的内存更小;另一方面,由于本申请不需要根据保存的模板图像进行跟踪,因此也不会出现因模板图像质量不高,而影响跟踪质量的问题,再一方面,本申请基于深度学习的检测算法进行跟踪,也就是基于预先训练完成的跟踪模型进行跟踪,相对现有技术中的非深度学习的检测算法进行跟踪而言,具有更强的泛化性,跟踪的质量也更高。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种跟踪方法,其特征在于,所述方法包括:
根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置;并确定所述当前图像中所述目标预测中心位置所在的每个第一目标框;
针对每个第一目标框,将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出该第一目标框包围的子图像中所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度;
将与预先保存的所述目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度;
根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比;若所述交并比大于预设的交并比阈值,且所述第二目标置信度大于预设的置信度阈值,则确定所述当前图像中所述目标预测中心位置处的物品为跟踪到的所述目标物品。
2.根据权利要求1所述的方法,其特征在于,所述根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置之前,所述方法还包括:
基于目标检测算法,识别所述第一目标图像中是否存在与所述当前图像未匹配成功的物品;若是,则将所述未匹配成功的物品确定为所述目标物品。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
确定预先保存的所述目标物品在所述第一目标图像中对应的第一标识信息表征所述目标物品是不是根据所述目标检测算法跟踪得到的,并确定所述目标物品是否位于所述第一目标图像的中心区域;
若所述第一标识信息表征所述目标物品不是根据所述目标检测算法跟踪得到的,或者所述目标物品位于所述第一目标图像的中心区域,则将所述目标物品保留;
否则,将所述目标物品删除。
4.根据权利要求1所述的方法,其特征在于,所述根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置包括:
根据所述目标物品在所述第一目标图像中的中心位置信息,以及在所述第一目标图像之前采集的,且与所述第一目标图像相邻的第二目标图像的中心位置信息,确定所述目标预测中心位置。
5.根据权利要求1所述的方法,其特征在于,所述确定所述当前图像中所述目标预测中心位置所在的每个第一目标框之前,所述方法还包括:
根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度。
6.根据权利要求5所述的方法,其特征在于,所述根据所述其他图像中所述目标物品对应的第三目标框的宽度和高度,确定在所述当前图像中所述目标物品对应的每个第一目标框的目标宽度和目标高度包括:
将其他图像中所述目标物品对应的第二标识信息表征所述目标物品为根据目标检测算法跟踪得到的,且与所述当前图像采集时间最近的其他图像确定为第三目标图像;
确定所述第三目标图像与所述第一目标图像是否为同一图像;
若是,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度确定为所述目标高度和所述目标宽度;
若否,则将所述目标物品在所述第三目标图像中对应的第三目标框的高度和宽度,以及所述第一目标图像中所述目标物品对应的第四目标框的高度和宽度,分别确定为当前图像中所述目标物品的第一目标框对应的所述目标高度和所述目标宽度。
7.根据权利要求1所述的方法,其特征在于,所述将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度包括:
将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出所述目标物品对应的第一目标类别、所述目标物品对应的第一目标置信度以及所述目标物品对应的预测目标框;
所述根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比之前,所述方法还包括:
将所述预测目标框更新为所述第一目标框。
8.根据权利要求1所述的方法,其特征在于,所述根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比之后,所述方法还包括:
若所述交并比不大于预设的交并比阈值,或者所述第二目标置信度不大于预设的第二置信度阈值,则确定所述目标物品跟踪失败。
9.一种跟踪装置,其特征在于,所述装置包括:
确定模块,用于根据预先保存的待跟踪的目标物品在当前图像之前采集的其他图像中的中心位置信息,确定所述目标物品在所述当前图像中的目标预测中心位置;并确定所述当前图像中所述目标预测中心位置所在的每个第一目标框;
输出模块,用于针对每个第一目标框,将所述当前图像中该第一目标框包围的子图像输入到预先训练完成的跟踪模型中,输出该第一目标框包围的子图像中所述目标物品对应的第一目标类别以及所述目标物品对应的第一目标置信度;
所述确定模块,还用于将与预先保存的所述目标物品的第二目标类别一致的第一目标类别对应的第一目标置信度中,最大的第一目标置信度确定为第二目标置信度;根据所述第一目标框与预先保存的在所述当前图像之前采集,且与所述当前图像相邻的第一目标图像中所述目标物品对应的第二目标框的坐标信息,确定所述第一目标框和所述第二目标框的交并比;若所述交并比大于预设的交并比阈值,且所述第二目标置信度大于预设的置信度阈值,则确定所述当前图像中所述目标预测中心位置处的物品为跟踪到的所述目标物品。
10.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器用于存储程序指令,所述处理器用于执行存储器中存储的计算机程序时实现上述权利要求1-8任一所述跟踪方法的步骤。
11.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-8任一所述跟踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210699183.5A CN115018882A (zh) | 2022-06-20 | 2022-06-20 | 一种跟踪方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210699183.5A CN115018882A (zh) | 2022-06-20 | 2022-06-20 | 一种跟踪方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115018882A true CN115018882A (zh) | 2022-09-06 |
Family
ID=83076630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210699183.5A Pending CN115018882A (zh) | 2022-06-20 | 2022-06-20 | 一种跟踪方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115018882A (zh) |
-
2022
- 2022-06-20 CN CN202210699183.5A patent/CN115018882A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
US20200019806A1 (en) | Tracker assisted image capture | |
KR102155182B1 (ko) | 비디오 리코딩 방법, 서버, 시스템 및 저장 매체 | |
US8995714B2 (en) | Information creation device for estimating object position and information creation method and program for estimating object position | |
EP2948926A1 (en) | Systems and methods for tracking and detecting a target object | |
CN110335313B (zh) | 音频采集设备定位方法及装置、说话人识别方法及*** | |
CN110659658B (zh) | 一种目标检测方法及其装置 | |
CN111667501A (zh) | 目标跟踪方法、装置、计算设备及存储介质 | |
CN113205138B (zh) | 人脸人体匹配方法、设备和存储介质 | |
CN110991385A (zh) | 一种识别船只行驶轨迹的方法、装置及电子设备 | |
KR20180138558A (ko) | 객체 검출을 위한 영상분석 서버장치 및 방법 | |
CN113256683B (zh) | 目标跟踪方法及相关设备 | |
CN114820765A (zh) | 图像识别方法、装置、电子设备及计算机可读存储介质 | |
KR20130091441A (ko) | 물체 추적 장치 및 그 제어 방법 | |
CN114169425A (zh) | 训练目标跟踪模型和目标跟踪的方法和装置 | |
CN116630367B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN113112479A (zh) | 基于关键区块提取的渐进式目标检测方法和装置 | |
CN113052019A (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
CN110706257B (zh) | 有效特征点对的识别方法、相机状态的确定方法及装置 | |
CN113158953B (zh) | 一种人员查找方法、装置、设备及介质 | |
CN112149698A (zh) | 一种困难样本数据的筛选方法及装置 | |
CN115018882A (zh) | 一种跟踪方法、装置、设备及介质 | |
CN112819859B (zh) | 一种应用于智慧安防的多目标跟踪方法及装置 | |
CN116052038A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN115393755A (zh) | 视觉目标跟踪方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |