CN113487647B - 一种目标跟踪方法、显示设备、电子设备及介质 - Google Patents
一种目标跟踪方法、显示设备、电子设备及介质 Download PDFInfo
- Publication number
- CN113487647B CN113487647B CN202011313361.3A CN202011313361A CN113487647B CN 113487647 B CN113487647 B CN 113487647B CN 202011313361 A CN202011313361 A CN 202011313361A CN 113487647 B CN113487647 B CN 113487647B
- Authority
- CN
- China
- Prior art keywords
- target
- target object
- feature vector
- determining
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 209
- 238000000605 extraction Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标跟踪方法、显示设备、电子设备及介质，用以解决现有技术中进行目标跟踪时，出现的跟踪目标丢失或无法继续跟踪的问题。由于在本申请中，在进行目标跟踪时首先获取同一时刻采集的图像中第一目标物体的特征向量，并根据该第一目标物体的特征向量确定该第一目标物体的第一目标特征向量，根据确定的第一目标特征向量，确定该第一目标物体在待跟踪图像中的位置信息，从而实现准确地进行目标跟踪，避免了在进行目标跟踪时存在的跟踪目标丢失、无法跟踪的问题，提高了目标跟踪的准确率。
Description
技术领域
本申请涉及图像处理技术以及智能监控技术领域，尤其涉及一种目标跟踪方法、显示设备、电子设备及介质。
背景技术
随着社会的不断发展，人们生活水平逐渐提高，在观看直播赛事时，通过进行目标跟踪来更准确地实现观看效果、提升用户体验。
现有技术，在进行目标跟踪时，通过以下方式进行目标跟踪：
一、根据视频第一帧确定兴趣目标特征，通过计算得到目标位置实现跟踪。由于输入的第一帧目标特征描述有限，当兴趣目标发生形变或剧烈位移时，就会导致跟踪目标丢失，影响跟踪效果。多视点应用下的目标跟踪技术在受限于单视点跟踪技术，会出现兴趣目标特征参数变化较大，导致兴趣目标丢失或无法继续跟踪等问题。
二、根据待跟踪视频的第一帧，使用元学习对改进的跟踪模型进行线上训练；其中，所述改进的跟踪模型通过使用卷积神经网络求解相关滤波算法中的滤波器参数获取；基于训练好的改进的跟踪模型对待跟踪视频中的当前帧的搜索样本和第一帧的搜索样本分别进行特征提取，将当前帧对应的特征和第一帧对应的特征进行合成，获取最终的特征；基于所述改进的跟踪模型中的回归层对所述最终的特征进行回归处理获取响应图，根据所述响应图获取所述当前帧中的目标框。该方法当兴趣目标发生形变或剧烈位移时，仍会出现跟踪目标丢失或无法跟踪等问题。
由此可知，现有技术在进行目标跟踪时，存在一定的跟踪目标丢失、无法继续跟踪的问题。
发明内容
本申请提供了一种目标跟踪方法、显示设备、电子设备及介质，用以解决现有技术中进行目标跟踪时，出现的跟踪目标丢失或无法继续跟踪的问题。
第一方面，本申请提供一种目标跟踪方法，所述方法包括：
接收对第一图像中第一目标物体的选择操作，确定被选择的第一目标物体；
确定在同一时刻不同视角的其他图像中的所述第一目标物体，并确定所述第一目标物体的第一目标特征向量；
根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息。
第二方面，本申请提供了一种显示设备，所述显示设备包括：
显示器，所述显示器用于进行图像显示；
处理器，所述处理器被配置为：
响应于第一图像中第一目标物体的选择操作，确定被选择的第一目标物体；
确定在同一时刻不同视角的其他图像中的所述第一目标物体，并确定所述第一目标物体的第一目标特征向量；
根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息并控制所述显示器进行指示性显示。
第三方面，本申请提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行存储器中存储的计算机程序时实现上述目标跟踪方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述目标跟踪方法的步骤。
由于在本申请中，在进行目标跟踪时首先获取同一时刻采集的图像中第一目标物体的特征向量，并根据该第一目标物体的特征向量确定该第一目标物体的第一目标特征向量，根据确定的第一目标特征向量，确定该第一目标物体在待跟踪图像中的位置信息，从而实现准确地进行目标跟踪，避免了在进行目标跟踪时存在的跟踪目标丢失、无法跟踪的问题，提高了目标跟踪的准确率。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种目标跟踪方法的过程示意图；
图2为本申请提供的一种显示设备的结构示意图；
图3为本申请提供的一种电子设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图本申请作进一步地详细描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了避免目标物体跟踪丢失、无法跟踪，提高目标物体跟踪的效率，本申请提供了一种目标跟踪方法、显示设备、电子设备及介质。
为了有效地对目标物体进行跟踪，本申请中包含有目标物体的选择操作，在确定选择的目标物体后，根据图像采集设备之间的位置关系，确定该目标物体在其他图像中的位置信息，从而获取全方位的目标物体，根据不同图像中的目标物体，通过特征提取模型，确定该目标物体的目标特征向量；并根据将待目标跟踪图像输入到预先训练完成的目标跟踪模型中，输出待目标跟踪图像中包含的物体的特征向量，根据每个物体的特征向量与目标物体的目标特征向量，确定待目标跟踪图像中为目标物体的物体，并输出该目标物体的位置信息。
图1为本申请提供的一种目标跟踪方法的过程示意图，该过程包括以下步骤：
S101：接收对第一图像中第一目标物体的选择操作，确定被选择的第一目标物体。
本申请实施例提供的目标跟踪方法应用于电子设备，该电子设备可以是图像采集设备，PC或者服务器等智能设备。
由于在进行目标跟踪时首先确定需要跟踪的第一目标物体，因此在本申请中为了确认对哪个物体进行跟踪，可以在进行跟踪之前输入对物体的选择操作，将选择操作选中的物体称为第一目标物体，该选择操作可以是对视频进行单点操作、双击操作。其中为了准确地进行区分，将针对第一目标物体进行选择操作的图像称为第一图像，将选中的物体称为第一目标物体。其中，选择操作也可以为其他操作，在此不做限制。
S102：确定在同一时刻不同视角的其他图像中的所述第一目标物体，并确定所述第一目标物体的第一目标特征向量。
由于本申请对不同视点的视频中同一目标物体进行跟踪，也就是有多个图像采集设备同时采集场景中的视频，每个图像采集设备的安装位置固定，因此每个图像采集设备采集的视频中的图像中每个像素点与场景中实际位置的对应关系是确定的，因此当接收到第一目标物体的选择操作后，根据该选择操作确定的被选择的第一目标物体，也就是需要跟踪的第一目标物体，由于每个图像采集设备采集的图像中每个像素点与场景中实际位置的对应关系确定的，因此可以在每个图像采集设备在同一时刻采集的其他图像中确定该第一目标物体。
如果选择操作选择的图像中的目标物体包括人脸或其他特征，如球衣号码、特殊标志等，还可以采用人脸识别或其他识别方法，在同一时刻采集的其他图像中进行识别，识别该其他图像中的该第一目标物体。
由于同一时刻不同视角采集的图像包含的该第一目标物体已确定，即已在每张图像中将该第一目标物体所在的区域进行了标识，因为同一时刻采集的每张图像是不同视角的图像采集设备进行采集获取的，因此可以认为对该第一目标物体全方位采集的图像中该第一目标物体均已确定，因此可以根据同一时刻采集的每张图像确定每张图像中包含的该第一目标物体的特征向量，由于每张图像的第一目标物体的特征向量均已确定，因此可以根据每张图像中该第一目标物体的特征向量，确定该第一目标物体的第一目标特征向量。其中，该第一目标特征向量可以是每张图像对应的该第一目标物体的特征向量的集合。其中，可以通过训练完成的模型确定图像中包含的该第一目标物体的特征向量，也可以通过其他方式确定，具体如何确定图像中包含的特征向量，在此不做限制。
S103：根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息。
为了准确地对第一目标物体进行跟踪，在本申请中针对待目标跟踪图像，可以确定待目标跟踪图像中第一目标物体的位置信息，其中待目标跟踪图像中该第一目标物体的位置信息可以通过模型进行获取，可以根据模型确定待目标跟踪图像中每个物体的特征向量，根据特征向量与第一目标特征向量的匹配度，确定待目标跟踪图像中的第一目标物体，从而输出第一目标物体的位置信息，具体的，如何获取待目标跟踪图像中第一目标物体的位置信息，在此不做限制。
其中，待目标跟踪图像通常为进行特征提取的图像的采集时刻之后的采集时刻采集到的图像，具体的待目标跟踪图像为什么时刻采集的图像，在此不做限制。
由于在本申请中，在进行目标跟踪时首先获取同一时刻采集的图像中第一目标物体的特征向量，并根据该第一目标物体的特征向量确定该第一目标物体的第一目标特征向量，根据确定的第一目标特征向量，确定该第一目标物体在待跟踪图像中的位置信息，从而实现准确地进行目标跟踪，避免了在进行目标跟踪时存在的跟踪目标丢失、无法跟踪的问题，提高了目标跟踪的准确率。
为了准确地确定第一目标物体的第一目标特征向量，在上述实施例的基础上，在本申请中，所述确定同一时刻不同视角的其他图像中的所述第一目标物体包括：
根据所述第一目标物体，确定所述第一目标物体在所述第一图像中的第一位置信息；根据采集所述第一图像的第一采集设备的位置、采集其他图像的第二采集设备的位置以及所述第一位置信息，确定所述其他图像中对应所述第一位置信息的所述第一目标物体。
为了准确地获取第一目标物体的第一目标特征向量，在本申请中，要确定在同一时刻不同视角采集到的图像中包含第一目标物体的特征向量，因此首先需要确定第一目标物体在同一时刻不同视角采集到的图像中第一目标物体的位置信息，其中，在确定图像中该第一目标物体时，首先确定第一目标物体在第一图像中的第一位置信息，由于针对第一图像进行了第一目标物体的选择操作，因此可以获取第一目标物体在第一图像中的第一位置信息。其中第一图像是为了与其他图像进行区分，因此称为第一图像。获取第一目标物体的操作可以为针对第一图像的中的点击操作等，具体的，针对篮球赛事而言，其中第一目标物体包括：球员、篮球等。
由于在本申请中，图像采集设备的位置是固定的，因此在进行图像采集时，不同视角的图像采集设备采集到的图像中具体的像素点，与场地的具体的位置是对应的，也就是说场景中固定的位置对于不同图像采集设备采集的图像来说有确定的像素点，也可以理解为不同图像采集设备采集的图像之间的像素点之间有相应的对应关系，因此在本申请中预先保存有不同采集设备采集的图像中像素点之间的对应关系。在本申请中，针对其他图像中的任意一张，确定该图像中第一目标物体的位置信息，由于已知采集第一图像的第一采集设备的位置以及采集该图像的第二采集设备的位置，以及第一图像中第一目标物体的第一位置信息，因此可以获取第一目标物体在第二采集设备采集到的该图像中的位置信息，从而可以根据该位置信息，可以确定该图像中的第一目标物体，进而确定其他图像中的第一目标物体。
并且第一目标物体在第二采集设备采集的该图像中的确定过程也可以包括通过人脸识别等方法进行确定，具体的，如何确定其他图像中第一目标物体的位置信息，在此不做赘述。
其中，在本申请中在选择第一目标物体时，还可以是根据上述原理，针对任一时刻不同视角图像采集设备采集到的图像，确定当前帧图像中包含的物体，将不同的物体通过特定的方式呈现给用户，其中，呈现给用户的方式可以为在用户进行观看的设备中进行显示，将用户进行选择的物体确定为第一目标物体，并在同一时刻不同视角采集的其他图像中确定该第一目标物体。
为了准确地确定第一目标物体的第一目标特征向量，在上述各实施例的基础上，在本申请中，所述确定所述第一目标物体的第一目标特征向量包括：
针对同一时刻采集的每张图像，基于预先训练完成的特征提取模型，确定该图像中所述第一目标物体对应的特征向量；
根据每张图像中所述第一目标物体对应的特征向量，确定所述第一目标物体的第一目标特征向量。
为了准确地获取该第一目标物体的第一目标特征向量，在本申请中预先保存有训练完成的特征提取模型，由于同一时刻每张图像中第一目标物体的位置信息已经获取到，因此将同一时刻每张图像输入到预先训练完成的特征提取模型，特征提取模型分别输出每张图像中第一目标物体的特征向量。由于可能其中一张图像没有采集到该第一目标物体具体的某一个特征，但是该特征在其他图像中被采集到了，也可能存在多个图像中均采集到了某一特征，但是其中某一图像采集到的该特征是有误的，由于多个图像均采集到了，则可以避免这种情况。因此根据每个特征向量，可以确定该第一目标物体的第一目标特征向量。具体的，如何根据每个特征向量，确定该第一目标物体的第一目标特征向量，在此不做限制。
例如，当前场景内包括有四个图像采集设备，确定该第一目标物体在四个图像采集设备同一时刻采集到的图像中第一目标物体的位置，例如，第一目标物体为球员，将四张图像分别输入到特征提取模型中，其中四张图像可能分别为该球员的正面、左侧面、右侧面、背面，那么四张图像输入到特征提取模型后，输出的特征可能存在相同的特征，也可能存在不同的特征，例如该特征提取模型针对球员的十个特征进行提取，若其中一张图像中只包含八个特征，那么其余两个特征用未包含该特征的标识进行表示，并且每张图像都会得到一个该球员的特征向量，其中特征向量中可能存在相同的特征，但是提取出的结果不同，也可能存在其中某一特征均未提取出，或其他情况，为了保证获取的第一目标特征向量的准确性，在本实施例中基于获取的每张图像的特征向量，确定该球员的第一目标特征向量。例如，最终确定的第一目标特征向量可以为Fset＝(f1，f2，f3，f4，f5，f6)，其中，Fset为第一目标特征向量，其中该第一目标特征向量中包含多个特征，f1、f2、f3、f4、f5、f6分别为该第一目标物体的不同量度上的特征。
为了准确地确定第一目标物体的第一目标特征向量，在上述各实施例的基础上，在本申请中，所述根据每张图像中所述第一目标物体对应的特征向量，确定所述第一目标物体的第一目标特征向量包括：
针对特征向量中的每个特征，确定所述每张图像对应的特征向量中该特征的特征值的平均值，将该平均值确定为所述第一目标特征向量中该特征的特征值。
为了准确地确定第一目标物体的第一目标特征向量，在本申请中可以根据多种方式确定，其中，根据每个特征向量，确定第一目标物体的第一目标特征向量，其中第一目标特征向量包含的维度与特征向量包含的维度相同，即第一目标特征向量的长度与每个特征向量的长度相同，具体的在根据特征向量，确定第一目标特征向量时，可采用多种方法，可以是将特征向量的平均值，确定为第一目标特征向量。也就是说针对特征向量中的每个特征，将该特征在每个特征向量中对应的数值求平均值，将该平均值作为第一目标特征向量中该特征的特征值。或者，也可以是针对特征向量中的每个特征，将该特征的特征值中出现次数最多的数值确定为目标特征值，将该目标特征值确定为第一目标特征向量中该特征的特征值。
为了准确地确定第一目标物体的位置信息，在上述各实施例的基础上，在申请中，根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息包括：
基于训练完成的目标跟踪模型，针对所述待目标跟踪图像中每个物体，确定该物体的特征向量，根据该物体的特征向量及所述第一目标特征向量，确定该物体的特征向量与所述第一目标特征向量的匹配度；将匹配度大于设定阈值的物体确定为所述第一目标物体，并输出所述待目标跟踪图像中所述第一目标物体的第二位置信息。
为了准确地对第一目标物体进行跟踪，在本申请中预先保存有训练完成的目标跟踪模型，针对待目标跟踪图像，将该待目标跟踪图像及第一目标物体的第一目标特征向量输入到目标跟踪模型中，目标跟踪模型会对该待目标跟踪图像中每个物体的位置信息进行识别，并确定每个物体的特征向量，并且基于每个物体的特征向量，确定该物体的特征向量与该第一目标特征向量的匹配度，根据确定的每个匹配度，将匹配度大于设定阈值的物体作为待目标跟踪图像中的第一目标物体，并且输出包含了该第一目标物体的位置信息的待目标跟踪图像。
为了准确地对第一目标物体进行跟踪，在本申请中，根据获取的待目标跟踪图像中每个物体的特征向量以及上述确定的第一目标物体的第一目标特征向量，确定匹配度，若该物体有的特征并未检测到，该特征可确定为错误特征进行匹配度的计算。
并且待目标跟踪图像中包含多个物体，其中多个物体中可能存在该第一目标物体，也可能不存在该第一目标物体，因此预先设置有阈值，若该物体的特征向量的匹配度大于预先设置的阈值，则确定该物体为第一目标物体，并且由于同一图像中只可能存在一个第一目标物体，因此若该待目标跟踪图像中包含多个匹配度大于预先设定的阈值的物体的特征向量，则将匹配度最大的物体确定为第一目标物体。并且确定第一目标物体之后，输出该第一目标物体的第二位置信息。
由于在本申请中获取了第一目标物体的第一目标特征向量，也就是获得了第一目标物体的多个特征，因此即使当第一目标物体在运动过程中，发生剧烈偏移或者形变，根据待目标跟踪图像中每个物体的特征向量，即使其中有的特征由于剧烈便宜或者形变发生错误，依然不会对物体的大部分特征造成影响，因此依然可以准确地获取第一目标物体。
其中，由于图像是按照视频帧采集时刻分别输入到目标跟踪模型中的，因此在本申请中，依次输出的图像中包含的第一目标物体的位置信息。并且由于输入到目标跟踪模型中的待目标跟踪图像，不止是一个图像采集设备采集到的视频中的图像，还包括其他不同视点的图像采集设备采集到的视频中的图像，相当于针对场景全方位的视频中的图像中包含的第一目标物体的位置信息均进行了确定，因此可以有效准确地实现目标物体的跟踪。
为了准确地获取第一目标物体的位置信息，在上述各实施例的基础上，在本申请中，所述目标跟踪模型通过以下方式进行训练：
获取样本集中的任一样本图像，以及第二目标物体的第二目标特征向量、该样本图像中第二目标物体的目标位置信息；
将样本图像以及所述第二目标特征向量输入到所述目标跟踪模型中，获取该样本图像中包含的每个物体的位置信息以及该物体的特征向量，根据该特征向量与所述第二目标特征向量确定匹配度，将匹配度大于设定阈值的物体确定为第二目标物体，输出第二目标物体的第三位置信息；
根据输出的第三位置信息与所述目标位置信息，对所述目标跟踪模型进行训练。
为了准确地获取第一目标物体的位置信息，在本申请中首先对目标跟踪模型进行训练，训练过程为：首先获取样本集中的其中一个样本图像，并且该样本图像中包含预设的第二目标物体的目标位置信息以及该第二目标物体的第二目标特征向量；将样本图像输入到目标跟踪模型中，获取该样本图像中包含的每个物体的位置信息以及该物体的特征向量；根据该特征向量与第二目标特征向量确定每个物体的匹配度，将匹配度大于设定阈值的物体确定为第二目标物体，输出为第二目标物体的位置信息，并且为了进行区分，将该物体的位置信息称为第三位置信息，根据输出的第三位置信息与目标位置信息确定损失函数，根据确定的损失函数对目标跟踪模型进行训练，其中第三位置信息可以为包含物体的检测框，位置信息可以通过f(P)＝[Lx1，Lx2，Ly1，Ly2]，其中，Lx1为检测框左上角的横坐标，Lx2为检测框右下角的横坐标，Ly1为检测框左上角的纵坐标，Ly2为检测框右下角的纵坐标，具体的坐标系如何建立在此不做限制，并且第三位置信息也可以通过其他方式进行表示，具体的，第三位置信息如何表示在此不做限制。
并且为了使目标跟踪模型达到最好的效果，在本申请中，可以通过参数θ将根据第三位置信息f(P)＝[Lx1，Lx2，Ly1，Ly2]以及目标位置信息确定的损失函数降到最小，参数θ可通过优化函数计算得出，其中，优化函数为现有技术，在此不做限制。
为了准确地确定第一目标物体的位置信息，在上述各实施例的基础上，在本申请中，所述特征提取模型为所述目标跟踪模型中实现特征向量输出的子模型。
在本申请中，目标跟踪模型中实现特征向量输出的子模型为本申请中的特征提取模型，在本申请中，可以通过特征提取模型获取图像中物体的特征向量，并且特征提取模型的训练过程为上述目标跟踪模型中实现特征向量输出的子模型的训练过程。具体的，特征提取模型如何进行训练，在此不再赘述。
为了避免目标物体跟踪丢失、无法跟踪，提高目标物体跟踪的效率，本申请提供了一种显示设备，图2为本申请提供的一种显示设备200的结构示意图，如图2所示，该显示设备200包括：
显示器201，所述显示器201用于进行图像显示；
处理器202，所述处理器202被配置为：
响应于第一图像中第一目标物体的选择操作，确定被选择的第一目标物体；
确定在同一时刻不同视角的其他图像中的所述第一目标物体，并确定所述第一目标物体的第一目标特征向量；
根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息并控制所述显示器进行指示性显示。
在一种可能的实施方式中，所述处理器202还被配置为：
根据所述第一目标物体，确定所述第一目标物体在所述第一图像中的第一位置信息；根据采集所述第一图像的第一采集设备的位置、采集其他图像的第二采集设备的位置以及所述第一位置信息，确定所述其他图像中对应所述第一位置信息的所述第一目标物体。
在一种可能的实施方式中，所述处理器202还被配置为：
针对同一时刻采集的每张图像，基于预先训练完成的特征提取模型，确定该图像中所述第一目标物体对应的特征向量；
根据每张图像中所述第一目标物体对应的特征向量，确定所述第一目标物体的第一目标特征向量。
在一种可能的实施方式中，所述处理器202还被配置为：
针对特征向量中的每个特征，确定所述每张图像对应的特征向量中该特征的特征值的平均值，将该平均值确定为所述第一目标特征向量中该特征的特征值；或
针对特征向量中的每个特征，确定所述每张图像对应的特征向量中该特征的特征值中出现次数最多的目标特征值，将该目标特征值确定为所述第一目标特征向量中该特征的特征值。
在一种可能的实施方式中，所述处理器202还被配置为：
基于训练完成的目标跟踪模型，针对所述待目标跟踪图像中每个物体，确定该物体的特征向量，根据该物体的特征向量及所述第一目标特征向量，确定该物体的特征向量与所述第一目标特征向量的匹配度；将匹配度大于设定阈值的物体确定为所述第一目标物体，并输出所述待目标跟踪图像中所述第一目标物体的第二位置信息。
在一种可能的实施方式中，所述处理器202还被配置为：
获取样本集中的任一样本图像，以及第二目标物体的第二目标特征向量、该样本图像中第二目标物体的目标位置信息；
将样本图像以及所述第二目标特征向量输入到所述目标跟踪模型中，获取该样本图像中包含的每个物体的位置信息以及该物体的特征向量，根据该特征向量与所述第二目标特征向量确定匹配度，将匹配度大于设定阈值的物体确定为第二目标物体，输出第二目标物体的第三位置信息；
根据输出的第三位置信息与所述目标位置信息，对所述目标跟踪模型进行训练。
目标跟踪方法应用于该显示设备，具体的该显示设备执行目标跟踪方法的过程可以参加上述其他实施例，具体内容不再赘述。
图3为本申请提供的一种电子设备结构示意图，在上述各实施例的基础上，本申请实施例还提供了一种电子设备，如图3所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
接收对第一图像中第一目标物体的选择操作，确定被选择的第一目标物体；
确定在同一时刻不同视角的其他图像中的所述第一目标物体，并确定所述第一目标物体的第一目标特征向量；
根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息。
在一种可能的实施方式中，所述确定同一时刻不同视角的其他图像中的所述第一目标物体包括：
根据所述第一目标物体，确定所述第一目标物体在所述第一图像中的第一位置信息；根据采集所述第一图像的第一采集设备的位置、采集其他图像的第二采集设备的位置以及所述第一位置信息，确定所述其他图像中对应所述第一位置信息的所述第一目标物体。
在一种可能的实施方式中，所述确定所述第一目标物体的第一目标特征向量包括：
针对同一时刻采集的每张图像，基于预先训练完成的特征提取模型，确定该图像中所述第一目标物体对应的特征向量；
根据每张图像中所述第一目标物体对应的特征向量，确定所述第一目标物体的第一目标特征向量。
在一种可能的实施方式中，所述根据每张图像中所述第一目标物体对应的特征向量，确定所述第一目标物体的第一目标特征向量包括：
针对特征向量中的每个特征，确定所述每张图像对应的特征向量中该特征的特征值的平均值，将该平均值确定为所述第一目标特征向量中该特征的特征值；或
针对特征向量中的每个特征，确定所述每张图像对应的特征向量中该特征的特征值中出现次数最多的目标特征值，将该目标特征值确定为所述第一目标特征向量中该特征的特征值。
在一种可能的实施方式中，根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息包括：
基于训练完成的目标跟踪模型，针对所述待目标跟踪图像中每个物体，确定该物体的特征向量，根据该物体的特征向量及所述第一目标特征向量，确定该物体的特征向量与所述第一目标特征向量的匹配度；将匹配度大于设定阈值的物体确定为所述第一目标物体，并输出所述待目标跟踪图像中所述第一目标物体的第二位置信息。
在一种可能的实施方式中，所述目标跟踪模型通过以下方式进行训练：
获取样本集中的任一样本图像，以及第二目标物体的第二目标特征向量、该样本图像中第二目标物体的目标位置信息；
将样本图像以及所述第二目标特征向量输入到所述目标跟踪模型中，获取该样本图像中包含的每个物体的位置信息以及该物体的特征向量，根据该特征向量与所述第二目标特征向量确定匹配度，将匹配度大于设定阈值的物体确定为第二目标物体，输出第二目标物体的第三位置信息；
根据输出的第三位置信息与所述目标位置信息，对所述目标跟踪模型进行训练。
在一种可能的实施方式中，所述特征提取模型为所述目标跟踪模型中实现特征向量输出的子模型。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在上述各实施例的基础上，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
接收对第一图像中第一目标物体的选择操作，确定被选择的第一目标物体；
确定在同一时刻不同视角的其他图像中的所述第一目标物体，并确定所述第一目标物体的第一目标特征向量；
根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息。
在一种可能的实施方式中，所述确定同一时刻不同视角的其他图像中的所述第一目标物体包括：
根据所述第一目标物体，确定所述第一目标物体在所述第一图像中的第一位置信息；根据采集所述第一图像的第一采集设备的位置、采集其他图像的第二采集设备的位置以及所述第一位置信息，确定所述其他图像中对应所述第一位置信息的所述第一目标物体。
在一种可能的实施方式中，所述确定所述第一目标物体的第一目标特征向量包括：
针对同一时刻采集的每张图像，基于预先训练完成的特征提取模型，确定该图像中所述第一目标物体对应的特征向量；
根据每张图像中所述第一目标物体对应的特征向量，确定所述第一目标物体的第一目标特征向量。
在一种可能的实施方式中，所述根据每张图像中所述第一目标物体对应的特征向量，确定所述第一目标物体的第一目标特征向量包括：
针对特征向量中的每个特征，确定所述每张图像对应的特征向量中该特征的特征值的平均值，将该平均值确定为所述第一目标特征向量中该特征的特征值；或
针对特征向量中的每个特征，确定所述每张图像对应的特征向量中该特征的特征值中出现次数最多的目标特征值，将该目标特征值确定为所述第一目标特征向量中该特征的特征值。
在一种可能的实施方式中，根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息包括：
基于训练完成的目标跟踪模型，针对所述待目标跟踪图像中每个物体，确定该物体的特征向量，根据该物体的特征向量及所述第一目标特征向量，确定该物体的特征向量与所述第一目标特征向量的匹配度；将匹配度大于设定阈值的物体确定为所述第一目标物体，并输出所述待目标跟踪图像中所述第一目标物体的第二位置信息。
在一种可能的实施方式中，所述目标跟踪模型通过以下方式进行训练：
获取样本集中的任一样本图像，以及第二目标物体的第二目标特征向量、该样本图像中第二目标物体的目标位置信息；
将样本图像以及所述第二目标特征向量输入到所述目标跟踪模型中，获取该样本图像中包含的每个物体的位置信息以及该物体的特征向量，根据该特征向量与所述第二目标特征向量确定匹配度，将匹配度大于设定阈值的物体确定为第二目标物体，输出第二目标物体的第三位置信息；
根据输出的第三位置信息与所述目标位置信息，对所述目标跟踪模型进行训练。
在一种可能的实施方式中，所述特征提取模型为所述目标跟踪模型中实现特征向量输出的子模型。
由于上述提供的计算机可读取介质解决问题的原理与目标跟踪方法相似，因此处理器执行上述计算机可读取介质中的计算机程序后，实现的步骤可以参见上述其他实施例，重复之处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种目标跟踪方法，其特征在于，所述方法包括：
接收对第一图像中第一目标物体的选择操作，确定被选择的第一目标物体；
确定在同一时刻不同视角的其他图像中的所述第一目标物体，并确定所述第一目标物体的第一目标特征向量；其中，该第一目标特征向量为每张图像对应的该第一目标物体的特征向量的集合；
根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息；
其中，所述确定同一时刻不同视角的其他图像中的所述第一目标物体包括：
根据所述第一目标物体，确定所述第一目标物体在所述第一图像中的第一位置信息；根据采集所述第一图像的第一采集设备的位置、采集其他图像的第二采集设备的位置、预先保存有不同采集设备采集的图像中像素点之间的对应关系以及所述第一位置信息，确定所述其他图像中对应所述第一位置信息的所述第一目标物体。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一目标物体的第一目标特征向量包括：
针对同一时刻采集的每张图像，基于预先训练完成的特征提取模型，确定该图像中所述第一目标物体对应的特征向量；
根据每张图像中所述第一目标物体对应的特征向量，确定所述第一目标物体的第一目标特征向量。
3.根据权利要求2所述的方法，其特征在于，所述根据每张图像中所述第一目标物体对应的特征向量，确定所述第一目标物体的第一目标特征向量包括：
针对特征向量中的每个特征，确定所述每张图像对应的特征向量中该特征的特征值的平均值，将该平均值确定为所述第一目标特征向量中该特征的特征值。
4.根据权利要求2所述的方法，其特征在于，根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息包括：
基于训练完成的目标跟踪模型，针对所述待目标跟踪图像中每个物体，确定该物体的特征向量，根据该物体的特征向量及所述第一目标特征向量，确定该物体的特征向量与所述第一目标特征向量的匹配度；将匹配度大于设定阈值的物体确定为所述第一目标物体，并输出所述待目标跟踪图像中所述第一目标物体的第二位置信息。
5.根据权利要求4所述的方法，其特征在于，所述目标跟踪模型通过以下方式进行训练：
获取样本集中的任一样本图像，以及第二目标物体的第二目标特征向量、该样本图像中第二目标物体的目标位置信息；
将样本图像以及所述第二目标特征向量输入到所述目标跟踪模型中，获取该样本图像中包含的每个物体的位置信息以及该物体的特征向量，根据该特征向量与所述第二目标特征向量确定匹配度，将匹配度大于设定阈值的物体确定为第二目标物体，输出第二目标物体的第三位置信息；
根据输出的第三位置信息与所述目标位置信息，对所述目标跟踪模型进行训练。
6.根据权利要求5所述的方法，其特征在于，所述特征提取模型为所述目标跟踪模型中实现特征向量输出的子模型。
7.一种显示设备，其特征在于，所述显示设备包括：
显示器，所述显示器用于进行图像显示；
处理器，所述处理器被配置为：
响应于第一图像中第一目标物体的选择操作，确定被选择的第一目标物体；
确定在同一时刻不同视角的其他图像中的所述第一目标物体，并确定所述第一目标物体的第一目标特征向量；其中，该第一目标特征向量为每张图像对应的该第一目标物体的特征向量的集合；
根据所述第一目标特征向量，确定待目标跟踪图像中进行跟踪的所述第一目标物体的位置信息并控制所述显示器进行指示性显示；
其中，所述处理器还被配置为：
根据所述第一目标物体，确定所述第一目标物体在所述第一图像中的第一位置信息；根据采集所述第一图像的第一采集设备的位置、采集其他图像的第二采集设备的位置、预先保存有不同采集设备采集的图像中像素点之间的对应关系以及所述第一位置信息，确定所述其他图像中对应所述第一位置信息的所述第一目标物体。
8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行存储器中存储的计算机程序时实现权利要求1-6任一所述目标跟踪方法的步骤。
9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时执行权利要求1-6任一所述目标跟踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011313361.3A CN113487647B (zh) | 2020-11-20 | 2020-11-20 | 一种目标跟踪方法、显示设备、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011313361.3A CN113487647B (zh) | 2020-11-20 | 2020-11-20 | 一种目标跟踪方法、显示设备、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487647A CN113487647A (zh) | 2021-10-08 |
| CN113487647B true CN113487647B (zh) | 2024-06-25 |
Family
ID=77932621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011313361.3A Active CN113487647B (zh) | 2020-11-20 | 2020-11-20 | 一种目标跟踪方法、显示设备、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487647B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574443A (zh) * | 2015-01-15 | 2015-04-29 | 西安理工大学 | 一种全景摄像机间运动目标的协同跟踪方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6540330B2 (ja) * | 2015-07-28 | 2019-07-10 | 日本電気株式会社 | 追跡システム、追跡方法および追跡プログラム |
| CN105931269A (zh) * | 2016-04-22 | 2016-09-07 | 海信集团有限公司 | 一种视频中的目标跟踪方法及装置 |
| CN109271927B (zh) * | 2018-09-14 | 2020-03-27 | 北京航空航天大学 | 一种空基多平台的协同监视方法 |
| CN109544598B (zh) * | 2018-11-21 | 2021-09-24 | 电子科技大学 | 目标跟踪方法、装置及可读存储介质 |
| CN110147768B (zh) * | 2019-05-22 | 2021-05-28 | 云南大学 | 一种目标跟踪方法及装置 |
-
2020
- 2020-11-20 CN CN202011313361.3A patent/CN113487647B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574443A (zh) * | 2015-01-15 | 2015-04-29 | 西安理工大学 | 一种全景摄像机间运动目标的协同跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487647A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109076198B (zh) | 基于视频的对象跟踪遮挡检测***、方法和设备 | |
| CN111325089B (zh) | 跟踪对象的方法和设备 | |
| JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
| CN110443210B (zh) | 一种行人跟踪方法、装置以及终端 | |
| CN108846365B (zh) | 视频中打架行为的检测方法、装置、存储介质及处理器 | |
| Milan et al. | Challenges of ground truth evaluation of multi-target tracking | |
| EP2858008B1 (en) | Target detecting method and system | |
| CN107045631B (zh) | 人脸特征点检测方法、装置及设备 | |
| Padua et al. | Linear sequence-to-sequence alignment | |
| US11042991B2 (en) | Determining multiple camera positions from multiple videos | |
| CN112883819A (zh) | 多目标跟踪方法、装置、***及计算机可读存储介质 | |
| CN111402294A (zh) | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 | |
| CN110246160B (zh) | 视频目标的检测方法、装置、设备及介质 | |
| CN108182695B (zh) | 目标跟踪模型训练方法及装置、电子设备和存储介质 | |
| CN109033985B (zh) | 商品识别的处理方法、装置、设备、***及存储介质 | |
| CN112287867B (zh) | 一种多摄像头的人体动作识别方法及装置 | |
| CN110910416A (zh) | 运动障碍物跟踪方法、装置及终端设备 | |
| CN114419102A (zh) | 一种基于帧差时序运动信息的多目标跟踪检测方法 | |
| CN114613006A (zh) | 一种远距离手势识别方法及装置 | |
| CN112233161B (zh) | 手部图像深度确定方法、装置、电子设备及存储介质 | |
| CN116958267B (zh) | 位姿处理方法、装置、电子设备及存储介质 | |
| CN113487647B (zh) | 一种目标跟踪方法、显示设备、电子设备及介质 | |
| CN114913470A (zh) | 一种事件检测方法及装置 | |
| CN114494977A (zh) | 一种异常停车检测方法、电子设备及存储介质 | |
| CN114005053A (zh) | 视频处理方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 266555, No. 218, Bay Road, Qingdao economic and Technological Development Zone, Shandong Applicant after: Hisense Group Holding Co.,Ltd. Address before: 266555, No. 218, Bay Road, Qingdao economic and Technological Development Zone, Shandong Applicant before: QINGDAO HISENSE ELECTRONIC INDUSTRY HOLDING Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |