CN112861565B - 确定轨迹相似度的方法、装置、计算机设备和存储介质 - Google Patents
确定轨迹相似度的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112861565B CN112861565B CN201911101590.6A CN201911101590A CN112861565B CN 112861565 B CN112861565 B CN 112861565B CN 201911101590 A CN201911101590 A CN 201911101590A CN 112861565 B CN112861565 B CN 112861565B
- Authority
- CN
- China
- Prior art keywords
- image feature
- track
- image
- similarity
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种确定轨迹相似度的方法、装置、计算机设备和存储介质,属于图像处理技术领域。所述方法包括:提取第一轨迹包括的k个目标框中每个目标框的图像特征,所述k个目标框包含有同一目标,所述k个目标框是k帧连续的视频图像中每帧视频图像中的目标框,所述k为正整数;对提取到的k个图像特征进行聚类,得到一个或多个图像特征集;根据所述一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从所述一个或多个图像特征集中选取所述第一轨迹对应的目标图像特征集;根据所述第一轨迹对应的目标图像特征集,确定所述第一轨迹与其它轨迹之间的相似度。本申请可以提高确定轨迹相似度时的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种确定轨迹相似度的方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的发展,对图像内容进行识别与理解已经成为研究的热点。目标跟踪作为识别与理解图像内容的一个重要方面,在安防监控、智能交通、自动驾驶等领域有着广泛的应用。在目标跟踪过程中,经常会获取到多个轨迹,每个轨迹包括有属于同一目标的具有时间顺序的一系列目标框。可以通过对两个轨迹的相似度进行计算,来判断这两个轨迹是否属于同一个目标。
目前,在确定两个轨迹之间的相似度时,可以先获取这两个轨迹中每个轨迹的图像特征,然后将这两个轨迹的图像特征之间的相似度作为这两个轨迹之间的相似度。其中,对于这两个轨迹中的任意一个轨迹,在获取这个轨迹的图像特征时,是提取这个轨迹包括的多个目标框中每个目标框的图像特征,将提取出的多个图像特征的平均特征作为这个轨迹的图像特征。
然而,目标在运动过程中可能会存在不同的状态,如可能存在不同的朝向、不同的姿态和不同的遮挡情况等,这会导致目标外观上的差异。上述方式中将从一个轨迹中提取出的多个图像特征的平均特征直接作为这个轨迹的图像特征后,这个轨迹的图像特征将不能全面地表征目标在不同状态下的外观,从而导致据此确定出的轨迹相似度的准确性较低。
发明内容
本申请提供了一种确定轨迹相似度的方法、装置、计算机设备和存储介质,可以解决相关技术中确定轨迹相似度时准确性较低的问题。所述技术方案如下:
一方面,提供了一种确定轨迹相似度的方法,所述方法包括:
提取第一轨迹包括的k个目标框中每个目标框的图像特征,所述k个目标框包含有同一目标,所述k个目标框是k帧连续的视频图像中每帧视频图像中的目标框,所述k为正整数;
对提取到的k个图像特征进行聚类,得到一个或多个图像特征集;
根据所述一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从所述一个或多个图像特征集中选取所述第一轨迹对应的目标图像特征集;
根据所述第一轨迹对应的目标图像特征集,确定所述第一轨迹与其它轨迹之间的相似度。
可选地,所述提取第一轨迹包括的k个目标框中每个目标框的图像特征,包括:
对于所述第一轨迹包括的k个目标框中的任意一个目标框,将所述一个目标框内的图像输入到神经网络模型中;
将所述神经网络模型输出的所述一个目标框内的图像的特征作为所述一个目标框的图像特征。
可选地,所述k为大于或等于2的整数,所述对提取到的k个图像特征进行聚类,得到一个或多个图像特征集,包括:
将所述k个图像特征中的第一个图像特征划分到新创建的一个图像特征集,并令i=2;
获取所述k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度;
判断所述第i个图像特征与指定图像特征集的中心特征之间的相似度是否大于或等于相似度阈值,所述指定图像特征集为与所述第i个图像特征之间的相似度最大的中心特征所属的图像特征集;
如果所述第i个图像特征与所述指定图像特征集的中心特征之间的相似度大于或等于相似度阈值,则将所述第i个图像特征划分到所述指定图像特征集;如果所述第i个图像特征与所述指定图像特征集的中心特征之间的相似度小于相似度阈值,则将所述第i个图像特征划分到新创建的一个图像特征集;
如果所述i与所述k不相等,则令i=i+1,返回所述获取所述k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度的步骤,直至所述i与所述k相等为止。
可选地,所述根据所述一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从所述一个或多个图像特征集中选取所述第一轨迹对应的目标图像特征集,包括:
对于所述一个或多个图像特征集中的任意一个图像特征集,将所述一个图像特征集包括的图像特征的数量除以所述k,得到所述一个图像特征集的数量占比;
当所述一个图像特征集的数量占比大于或等于比例阈值时,将所述一个图像特征集确定为所述第一轨迹对应的目标图像特征集。
可选地,所述根据所述第一轨迹对应的目标图像特征集,确定所述第一轨迹与其它轨迹之间的相似度,包括:
获取第二轨迹对应的目标图像特征集,所述第二轨迹为与所述第一轨迹不同的轨迹;
根据所述第一轨迹对应的目标图像特征集和所述第二轨迹对应的目标图像特征集,确定所述第一轨迹与所述第二轨迹之间的相似度。
可选地,所述第一轨迹对应的目标图像特征集的数量为n,所述第二轨迹对应的目标图像特征数量为m,所述n和所述m均为正整数,所述根据所述第一轨迹对应的目标图像特征集和所述第二轨迹对应的目标图像特征集,确定所述第一轨迹与所述第二轨迹之间的相似度,包括:
获取所述第一轨迹对应的n个目标图像特征集中每个目标图像特征集的中心特征与所述第二轨迹对应的m个目标图像特征集中每个目标图像特征集的中心特征之间的相似度;
将获取到的n*m个相似度中最大的相似度确定为所述第一轨迹与所述第二轨迹之间的相似度。
一方面,提供了一种确定轨迹相似度的装置,所述装置包括:
提取模块,用于提取第一轨迹包括的k个目标框中每个目标框的图像特征,所述k个目标框包含有同一目标,所述k个目标框是k帧连续的视频图像中每帧视频图像中的目标框,所述k为正整数;
聚类模块,用于对提取到的k个图像特征进行聚类,得到一个或多个图像特征集;
选取模块,用于根据所述一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从所述一个或多个图像特征集中选取所述第一轨迹对应的目标图像特征集;
确定模块,用于根据所述第一轨迹对应的目标图像特征集,确定所述第一轨迹与其它轨迹之间的相似度。
可选地,所述提取模块包括:
输入单元,用于对于所述第一轨迹包括的k个目标框中的任意一个目标框,将所述一个目标框内的图像输入到神经网络模型中;
第一确定单元,用于将所述神经网络模型输出的所述一个目标框内的图像的特征作为所述一个目标框的图像特征。
可选地,所述k为大于或等于2的整数,所述聚类模块包括:
第一划分单元,用于将所述k个图像特征中的第一个图像特征划分到新创建的一个图像特征集,并令i=2;
第一获取单元,用于获取所述k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度;
判断单元,用于判断所述第i个图像特征与指定图像特征集的中心特征之间的相似度是否大于或等于相似度阈值,所述指定图像特征集为与所述第i个图像特征之间的相似度最大的中心特征所属的图像特征集;
第二划分单元,用于当所述第i个图像特征与所述指定图像特征集的中心特征之间的相似度大于或等于相似度阈值时,将所述第i个图像特征划分到所述指定图像特征集;当所述第i个图像特征与所述指定图像特征集的中心特征之间的相似度小于相似度阈值时,将所述第i个图像特征划分到新创建的一个图像特征集;
触发单元,用于当i与所述k不相等时,令i=i+1,触发所述第一获取单元获取所述k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度,直至i与所述k相等为止。
可选地,所述选取模块包括:
计算单元,用于对于所述一个或多个图像特征集中的任意一个图像特征集,将所述一个图像特征集包括的图像特征的数量除以所述k,得到所述一个图像特征集的数量占比;
第二确定单元,用于当所述一个图像特征集的数量占比大于或等于比例阈值时,将所述一个图像特征集确定为所述第一轨迹对应的目标图像特征集。
可选地,所述确定模块包括:
第二获取单元,用于获取第二轨迹对应的目标图像特征集,所述第二轨迹为与所述第一轨迹不同的轨迹;
第三确定单元,用于根据所述第一轨迹对应的目标图像特征集和所述第二轨迹对应的目标图像特征集,确定所述第一轨迹与所述第二轨迹之间的相似度。
可选地,所述第一轨迹对应的目标图像特征集的数量为n,所述第二轨迹对应的目标图像特征数量为m,所述n和所述m均为正整数,所述第三确定单元用于:
获取所述第一轨迹对应的n个目标图像特征集中每个目标图像特征集的中心特征与所述第二轨迹对应的m个目标图像特征集中每个目标图像特征集的中心特征之间的相似度;
将获取到的n*m个相似度中最大的相似度确定为所述第一轨迹与所述第二轨迹之间的相似度。
一方面,提供了一种计算机设备,所述计算机设备包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,所述存储器用于存放计算机程序,所述处理器用于执行所述存储器上所存放的程序,以实现上述的确定轨迹相似度的方法的步骤。
一方面,提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述的确定轨迹相似度的方法的步骤。
一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述的确定轨迹相似度的方法的步骤。
本申请提供的技术方案至少可以带来以下有益效果:
提取第一轨迹包括的k个目标框中每个目标框的图像特征后,对提取到的k个图像特征进行聚类,得到一个或多个图像特征集。该一个或多个图像特征集可以全面表征目标在不同状态下的外观。之后,根据该一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从该一个或多个图像特征集中选取第一轨迹对应的目标图像特征集。由于第一轨迹对应的目标图像特征集能较好的表征第一轨迹中包含的目标的外观,所以可以根据第一轨迹对应的目标图像特征集,确定第一轨迹与其它轨迹之间的相似度,如此可以提高确定轨迹相似度时的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种确定轨迹相似度的方法的流程图;
图2是本申请实施例提供的一种图像特征聚类过程的流程图;
图3是本申请实施例提供的一种确定轨迹相似度的装置的结构示意图;
图4是本申请实施例提供的另一种确定轨迹相似度的装置的结构示意图;
图5是本申请实施例提供的又一种确定轨迹相似度的装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
图1是本申请实施例提供的一种确定轨迹相似度的方法的流程图。参见图1,该方法包括以下步骤。
步骤101:提取第一轨迹包括的k个目标框中每个目标框的图像特征。
需要说明的是,第一轨迹包括有k个目标框,该k个目标框包含有同一目标,该k个目标框是k帧连续的视频图像中每帧视频图像中的目标框,k为正整数。对于该k帧连续的视频图像中的每一帧视频图像来说,这一帧视频图像中的目标框用于指示这一帧视频图像中存在这一目标的区域。这种情况下,第一轨迹就是这一目标在该k帧连续的视频图像中的运动轨迹。
另外,目标框的图像特征为目标框内的图像的特征。目标框的图像特征用于表征目标框内的图像内容,即用于表征目标框内包含的目标的外观。一帧视频图像中的目标框的图像特征是该目标框内包含的目标在这一帧视频图像中对应的图像特征。例如,目标框的图像特征可以为一个多维的特征向量。
具体地,步骤101的操作可以为:对于第一轨迹包括的k个目标框中的任意一个目标框,将这一个目标框内的图像输入到神经网络模型中。将该神经网络模型输出的这一个目标框内的图像的特征作为这一个目标框的图像特征。
需要说明的是,该神经网络模型用于提取图像的特征。该神经网络模型可以预先进行设置,如该神经网络模型可以为CNN(Convolutional Neural Networks,卷积神经网络)模型等,本申请实施例对此不作限定。
另外,将这一个目标框内的图像输入到该神经网络模型中后,该神经网络模型就可以提取该图像的特征,并对提取到的特征进行输出。此时可以将该神经网络模型输出的特征作为这一个目标框的图像特征。
进一步地,在步骤101之前可以先获取需要进行目标跟踪的视频,然后从该视频中获取第一轨迹。
需要说明的是,该视频可以为安防监控、智能交通、自动驾驶等领域中使用摄像头拍摄到的视频,当然,该视频也可以为其它有目标跟踪需求的视频,本申请实施例对此不作限定。
另外,从该视频中获取第一轨迹的操作与相关技术中从某个视频中获取某个目标的运动轨迹的操作类似,本申请实施例对此不进行详细阐述。
步骤102:对提取到的k个图像特征进行聚类,得到一个或多个图像特征集。
需要说明的是,提取该k个目标框中每个目标框的图像特征后,就可以得到k个图像特征。然后可以对该k个图像特征进行聚类来得到一个或多个图像特征集,该一个或多个图像特征集中的每个图像特征集中包括至少一个图像特征。同一图像特征集包括的图像特征比较相似,不同图像特征集包括的图像特征之间的差别较大。
值得说明的是,目标在运动过程中可能会存在不同的状态,如可能存在不同的朝向、不同的姿态和不同的遮挡情况等,这会导致目标外观上的差异,即会导致目标在该k帧连续的视频图像中对应的图像特征发生较大变化。本申请实施例对从第一轨迹中提取出的k个图像特征进行聚类,从而使得目标在同一状态下对应的图像特征可以被划分到同一图像特征集中,且使得目标在不同状态下对应的图像特征可以被划分到不同图像特征集中。如此利用该一个或多个图像特征集就可以全面表征目标在不同状态下的外观。
具体地,可以通过多种方式对该k个图像特征进行聚类,来得到一个或多个图像特征集。例如,可以通过K-MEANS(k-means clustering algorithm,k均值聚类算法)、均值漂移聚类算法、凝聚层次聚类算法等聚类算法对该k个图像特征进行聚类,来得到一个或多个图像特征集。
值得注意的是,当k为1时,对该k个图像特征进行聚类时,可以直接将这一个图像特征划分到新创建的一个图像特征集,此时这一个图像特征集中仅包括这个一个图像特征。
当k为大于或等于2的整数时,一种可能的实现方式中,参见图2,步骤102的操作可以包括如下步骤1021-步骤1027:
步骤1021:将该k个图像特征中的第一个图像特征划分到新创建的一个图像特征集,并令i=2。
这种情况下,是将该k个图像特征中的第一个图像特征作为新创建的一个图像特征集中包括的初始图像特征。
步骤1022:获取该k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度。
需要说明的是,一个图像特征集的中心特征用于表征这个图像特征集的整体特征。例如,一个图像特征集的中心特征可以为这个图像特征集中包括的所有图像特征的平均特征。
其中,获取第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度的操作与相关技术中获取两个特征之间的相似度的操作类似,本申请实施例对此不进行详细阐述。
例如,对于已划分出的图像特征集中的任意一个图像特征集,可以计算第i个图像特征与这个图像特征集的中心特征之间的余弦距离,将计算出的余弦距离确定为第i个图像特征与这个图像特征集的中心特征之间的相似度;或者,可以计算第i个图像特征与这个图像特征集的中心特征之间的欧式距离,将1减去计算出的欧式距离后得到的数值确定为第i个图像特征与这个图像特征集的中心特征之间的相似度;当然,也可以通过其它方式确定第i个图像特征与这个图像特征集的中心特征之间的相似度,本申请实施例对此不作限定。
步骤1023:判断第i个图像特征与指定图像特征集的中心特征之间的相似度是否大于或等于相似度阈值。
需要说明的是,指定图像特征集为与第i个图像特征之间的相似度最大的中心特征所属的图像特征集。例如,已划分出的图像特征集包括图像特征集1、图像特征集2和图像特征集3,第i个图像特征与图像特征集1的中心特征之间的相似度为0.7,第i个图像特征与图像特征集2的中心特征之间的相似度为0.9,第i个图像特征与图像特征集3的中心特征之间的相似度为0.5,则指定图像特征集为图像特征集2。
另外,相似度阈值可以预先进行设置,且相似度阈值可以设置的较大,如相似度阈值可以为0.9、0.95等,本申请实施例对此不作限定。
当第i个图像特征与指定图像特征集的中心特征之间的相似度大于或等于相似度阈值时,可以继续执行如下步骤1024、步骤1026-步骤1028。当第i个图像特征与指定图像特征集的中心特征之间的相似度小于相似度阈值时,可以继续执行如下步骤1025-步骤1028。
步骤1024:如果第i个图像特征与指定图像特征集的中心特征之间的相似度大于或等于相似度阈值,则将第i个图像特征划分到指定图像特征集。
由于当第i个图像特征与指定图像特征集的中心特征之间的相似度大于或等于相似度阈值时,表明第i个图像特征与指定图像特征集包括的图像特征比较相似,所以可以将第i个图像特征划分到指定图像特征集。
步骤1025:如果第i个图像特征与指定图像特征集的中心特征之间的相似度小于相似度阈值,则将第i个图像特征划分到新创建的一个图像特征集。
由于当第i个图像特征与指定图像特征集的中心特征之间的相似度小于相似度阈值时,表明第i个图像特征与指定图像特征集包括的图像特征相差较大,此时第i个图像特征与已划分出的所有图像特征集包括的图像特征均相差较大。因而可以新创建一个图像特征集,将第i个图像特征作为新创建的这个图像特征集中包括的初始图像特征。
步骤1026:判断i与k是否相等。
步骤1027:如果i与k不相等,则令i=i+1,返回步骤1022。
当i与k不相等时,表明已经将该k个图像特征中的前i个图像特征划分到了图像特征集中,还存在k-i个图像特征未被划分,所以此时可以令i=i+1,并返回步骤1022来对下一个图像特征进行划分。
步骤1028:如果i与k相等,则结束操作。
当i与k相等时,表明已经将该k个图像特征均划分到了图像特征集中,所以此时可以结束操作。
步骤103:根据该一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从该一个或多个图像特征集中选取第一轨迹对应的目标图像特征集。
需要说明的是,第一轨迹对应的目标图像特征集为该一个或多个图像特征集中能较好的表征第一轨迹中包含的目标的外观的图像特征集。可以从该一个或多个图像特征集中选取至少一个图像特征集作为第一轨迹对应的目标图像特征集,即第一轨迹对应的目标图像特征集的数量可以为n,n为正整数。
具体地,步骤103的操作可以为:对于该一个或多个图像特征集中的任意一个图像特征集,将这一个图像特征集包括的图像特征的数量除以k,得到这一个图像特征集的数量占比;当这一个图像特征集的数量占比大于或等于比例阈值时,将这一个图像特征集确定为第一轨迹对应的目标图像特征集。当然,也可以根据该一个或多个图像特征集中每个图像特征集包括的图像特征的数量,通过其它方式从该一个或多个图像特征集中选取第一轨迹对应的目标图像特征集,本申请实施例对此不作限定。
需要说明的是,比例阈值可以预先进行设置,如比例阈值可以为20%、30%等,本申请实施例对此不作限定。
另外,当这一个图像特征集的数量占比大于或等于比例阈值时,表明这一个图像特征集的数量占比较大,即在该一个或多个图像特征集中,相对于其它图像特征集来说,这一个图像特征集包含的图像特征的数量较多。此时这一个图像特征集应该能较好的表征第一轨迹中包含的目标的外观,因而可以将这一个图像特征集确定为第一轨迹对应的目标图像特征集。
值得说明的是,本申请实施例中将该一个或多个图像特征集中数量占比较大的图像特征集作为第一轨迹对应的目标图像特征集,从而可以挑选出比较有代表性的图像特征,有效避免噪声影响。
步骤104:根据第一轨迹对应的目标图像特征集,确定第一轨迹与其它轨迹之间的相似度。
由于第一轨迹对应的目标图像特征集能较好的表征第一轨迹中包含的目标的外观,所以可以根据第一轨迹对应的目标图像特征集,确定第一轨迹与其它轨迹之间的相似度,如此可以提高确定轨迹相似度时的准确性。
具体地,步骤104的操作可以为:获取第二轨迹对应的目标图像特征集;根据第一轨迹对应的目标图像特征集和第二轨迹对应的目标图像特征集,确定第一轨迹与第二轨迹之间的相似度。
需要说明的是,第二轨迹包括有至少一个目标框,该至少一个目标框包含有同一目标,该至少一个目标框是至少一帧连续的视频图像中每帧视频图像中的目标框。第二轨迹为与第一轨迹不同的轨迹,也即是,第二轨迹包括的至少一个目标框与第一轨迹包括的k个目标框不同。
另外,第二轨迹对应的目标图像特征集能较好的表征第二轨迹中包含的目标的外观。第二轨迹可以对应至少一个目标图像特征集,即第二轨迹对应的目标图像特征集的数量可以为m,m为正整数。
再者,获取第二轨迹对应的目标图像特征集的操作与上述获取第一轨迹对应的目标图像特征集的操作类似,本申请实施例对此不再赘述。
值得说明的是,由于第一轨迹对应的目标图像特征集能较好的表征第一轨迹中包含的目标的外观,第二轨迹对应的目标图像特征集能较好的表征第二轨迹中包含的目标的外观,所以根据第一轨迹对应的目标图像特征集和第二轨迹对应的目标图像特征集,确定第一轨迹与第二轨迹之间的相似度,可以大大提高确定轨迹相似度时的准确性。
其中,根据第一轨迹对应的目标图像特征集和第二轨迹对应的目标图像特征集,确定第一轨迹与第二轨迹之间的相似度的操作可以为:获取第一轨迹对应的n个目标图像特征集中每个目标图像特征集的中心特征与第二轨迹对应的m个目标图像特征集中每个目标图像特征集的中心特征之间的相似度;将获取到的n*m个相似度中最大的相似度确定为第一轨迹与第二轨迹之间的相似度。
需要说明的是,获取第一轨迹对应的n个目标图像特征集中每个目标图像特征集的中心特征与第二轨迹对应的m个目标图像特征集中每个目标图像特征集的中心特征之间的相似度的操作与相关技术中获取两个特征之间的相似度的操作类似,本申请实施例对此不进行详细阐述。
例如,对于第一轨迹对应的n个目标图像特征集中的任意一个目标图像特征集的中心特征,以及对于第二轨迹对应的m个目标图像特征集中的任意一个目标图像特征集的中心特征,可以计算这两个目标图像特征集的中心特征之间的余弦距离,将计算出的余弦距离确定为这两个目标图像特征集的中心特征之间的相似度;或者,可以计算这两个目标图像特征集的中心特征之间的欧式距离,将1减去计算出的欧式距离后得到的数值确定为这两个目标图像特征集的中心特征之间的相似度;当然,也可以通过其它方式确定这两个目标图像特征集的中心特征之间的相似度,本申请实施例对此不作限定。
值得说明的是,本申请实施例中将第一轨迹对应的n个目标图像特征集与第二轨迹对应的m个目标图像特征集进行相似度计算,且选取最大的相似度作为第一轨迹与第二轨迹之间的相似度。由于第一轨迹对应的n个目标图像特征集可以表征第一轨迹中包含的目标在不同状态下的外观,第二轨迹对应的m个目标图像特征集可以表征第二轨迹中包含的目标在不同状态下的外观,所以选取出的最大的相似度是第一轨迹中包含的目标的状态与第二轨迹中包含的目标的状态最接近时的相似度,从而可以大大提高确定轨迹相似度时的准确性和鲁棒性。
在本申请实施例中,提取第一轨迹包括的k个目标框中每个目标框的图像特征后,对提取到的k个图像特征进行聚类,得到一个或多个图像特征集。该一个或多个图像特征集可以全面表征目标在不同状态下的外观。之后,根据该一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从该一个或多个图像特征集中选取第一轨迹对应的目标图像特征集。由于第一轨迹对应的目标图像特征集能较好的表征第一轨迹中包含的目标的外观,所以可以根据第一轨迹对应的目标图像特征集,确定第一轨迹与其它轨迹之间的相似度,如此可以提高确定轨迹相似度时的准确性。
图3是本申请实施例提供的一种确定轨迹相似度的装置的结构示意图。参见图3,该装置包括:提取模块301、聚类模块302、选取模块303和确定模块304。
提取模块301,用于提取第一轨迹包括的k个目标框中每个目标框的图像特征,k个目标框包含有同一目标,k个目标框是k帧连续的视频图像中每帧视频图像中的目标框,k为正整数;
聚类模块302,用于对提取到的k个图像特征进行聚类,得到一个或多个图像特征集;
选取模块303,用于根据一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从一个或多个图像特征集中选取第一轨迹对应的目标图像特征集;
确定模块304,用于根据第一轨迹对应的目标图像特征集,确定第一轨迹与其它轨迹之间的相似度。
可选地,提取模块301包括:
输入单元,用于对于第一轨迹包括的k个目标框中的任意一个目标框,将一个目标框内的图像输入到神经网络模型中;
第一确定单元,用于将神经网络模型输出的一个目标框内的图像的特征作为一个目标框的图像特征。
可选地,k为大于或等于2的整数,聚类模块302包括:
第一划分单元,用于将k个图像特征中的第一个图像特征划分到新创建的一个图像特征集,并令i=2;
第一获取单元,用于获取k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度;
判断单元,用于判断第i个图像特征与指定图像特征集的中心特征之间的相似度是否大于或等于相似度阈值,指定图像特征集为与第i个图像特征之间的相似度最大的中心特征所属的图像特征集;
第二划分单元,用于当第i个图像特征与指定图像特征集的中心特征之间的相似度大于或等于相似度阈值时,将第i个图像特征划分到指定图像特征集;当第i个图像特征与指定图像特征集的中心特征之间的相似度小于相似度阈值时,将第i个图像特征划分到新创建的一个图像特征集;
触发单元,用于当i与k不相等时,令i=i+1,触发第一获取单元获取k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度,直至i与k相等为止。
可选地,选取模块303包括:
计算单元,用于对于一个或多个图像特征集中的任意一个图像特征集,将一个图像特征集包括的图像特征的数量除以k,得到一个图像特征集的数量占比;
第二确定单元,用于当一个图像特征集的数量占比大于或等于比例阈值时,将一个图像特征集确定为第一轨迹对应的目标图像特征集。
可选地,确定模块304包括:
第二获取单元,用于获取第二轨迹对应的目标图像特征集,第二轨迹为与第一轨迹不同的轨迹;
第三确定单元,用于根据第一轨迹对应的目标图像特征集和第二轨迹对应的目标图像特征集,确定第一轨迹与第二轨迹之间的相似度。
可选地,第一轨迹对应的目标图像特征集的数量为n,第二轨迹对应的目标图像特征数量为m,n和m均为正整数,第三确定单元用于:
获取第一轨迹对应的n个目标图像特征集中每个目标图像特征集的中心特征与第二轨迹对应的m个目标图像特征集中每个目标图像特征集的中心特征之间的相似度;
将获取到的n*m个相似度中最大的相似度确定为第一轨迹与第二轨迹之间的相似度。
在本申请实施例中,提取第一轨迹包括的k个目标框中每个目标框的图像特征后,对提取到的k个图像特征进行聚类,得到一个或多个图像特征集。该一个或多个图像特征集可以全面表征目标在不同状态下的外观。之后,根据该一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从该一个或多个图像特征集中选取第一轨迹对应的目标图像特征集。由于第一轨迹对应的目标图像特征集能较好的表征第一轨迹中包含的目标的外观,所以可以根据第一轨迹对应的目标图像特征集,确定第一轨迹与其它轨迹之间的相似度,如此可以提高确定轨迹相似度时的准确性。
需要说明的是:上述实施例提供的确定轨迹相似度的装置在确定轨迹相似度时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的确定轨迹相似度的装置与确定轨迹相似度的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图4是本申请实施例提供的一种确定轨迹相似度的装置的结构示意图。参见图4,该装置可以为终端400,终端400可以是:智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端400包括有:处理器401和存储器402。
处理器401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器401可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器401所执行以实现上述实施例提供的确定轨迹相似度的方法。
在一些实施例中,终端400还可选包括有:***设备接口403和至少一个***设备。处理器401、存储器402和***设备接口403之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口403相连。具体地,***设备包括:射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。
***设备接口403可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器401和存储器402。在一些实施例中,处理器401、存储器402和***设备接口403被集成在同一芯片或电路板上;在一些其他实施例中,处理器401、存储器402和***设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现,本申请对此不加以限定。
射频电路404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路404包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时,显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时,显示屏405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏405可以为一个,设置在终端400的前面板;在另一些实施例中,显示屏405可以为至少两个,分别设置在终端400的不同表面或呈折叠设计;在再一些实施例中,显示屏405可以是柔性显示屏,设置在终端400的弯曲表面上或折叠面上。甚至,显示屏405还可以设置成非矩形的不规则图形,也即异形屏。显示屏405可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件406用于采集图像或视频。可选地,摄像头组件406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器401进行处理,或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路407还可以包括耳机插孔。
定位组件408用于定位终端400的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源409用于为终端400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于:加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以终端400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号,控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或用户的运动数据的采集。
陀螺仪传感器412可以检测终端400的机体方向及转动角度,陀螺仪传感器412可以与加速度传感器411协同采集用户对终端400的3D动作。处理器401根据陀螺仪传感器412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在终端400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在终端400的侧边框时,可以检测用户对终端400的握持信号,由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时,由处理器401根据用户对触摸显示屏405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹,由处理器401根据指纹传感器414采集到的指纹识别用户的身份,或者,由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器401授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置在终端400的正面、背面或侧面。当终端400上设置有物理按键或厂商Logo时,指纹传感器414可以与物理按键或厂商Logo集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中,处理器401可以根据光学传感器415采集的环境光强度,控制触摸显示屏405的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏405的显示亮度;当环境光强度较低时,调低触摸显示屏405的显示亮度。在另一个实施例中,处理器401还可以根据光学传感器415采集的环境光强度,动态调整摄像头组件406的拍摄参数。
接近传感器416也称距离传感器,通常设置在终端400的前面板。接近传感器416用于采集用户与终端400的正面之间的距离。在一个实施例中,当接近传感器416检测到用户与终端400的正面之间的距离逐渐变小时,由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态;当接近传感器416检测到用户与终端400的正面之间的距离逐渐变大时,由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图4中示出的结构并不构成对终端400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图5是本申请实施例提供的一种确定轨迹相似度的装置的结构示意图。参见图5,该装置可以为服务器500,服务器500可以是后台服务器集群中的服务器。具体来讲:
服务器500包括CPU(Central Processing Unit,中央处理器)501、包括RAM(Random Access Memory,随机存取存储器)502和ROM(Read-Only Memory,只读存储器)503的***存储器504,以及连接***存储器504和中央处理单元501的***总线505。服务器500还包括帮助计算机内的各个器件之间传输信息的基本I/O(Input/Output,输入/输出)***506,和用于存储操作***513、应用程序514和其他程序模块515的大容量存储设备507。
基本输入/输出***506包括有用于显示信息的显示器508和用于用户输入信息的诸如鼠标、键盘之类的输入设备509。其中显示器508和输入设备509都通过连接到***总线505的输入/输出控制器510连接到中央处理单元501。基本输入/输出***506还可以包括输入/输出控制器510以用于接收和处理来自键盘、鼠标或电子触控笔等多个其他设备的输入。类似地,输入/输出控制器510还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备507通过连接到***总线505的大容量存储控制器(未示出)连接到中央处理单元501。大容量存储设备507及其相关联的计算机可读介质为服务器500提供非易失性存储。也就是说,大容量存储设备507可以包括诸如硬盘或CD-ROM(Compact DiscRead-Only Memory,只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Electrically Erasable Programmable Read-Only Memory,可擦可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存或其他固态存储其技术,以及包括CD-ROM、DVD(Digital VersatileDisc,数字通用光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。***存储器504和大容量存储设备507可以统称为存储器。
根据本申请的各种实施例,服务器500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器500可以通过连接在***总线505上的网络接口单元511连接到网络512,或者说,也可以使用网络接口单元511来连接到其他类型的网络或远程计算机***(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。该一个或者一个以上程序包含用于进行上述实施例提供的确定轨迹相似度的方法的指令。
在一些实施例中,还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中确定轨迹相似度的方法的步骤。例如,该计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
值得注意的是,本申请提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。该计算机指令可以存储在上述计算机可读存储介质中。
也即是,在一些实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述的确定轨迹相似度的方法的步骤。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种确定轨迹相似度的方法,其特征在于,所述方法包括:
提取第一轨迹包括的k个目标框中每个目标框的图像特征,所述k个目标框包含有同一目标,所述k个目标框是k帧连续的视频图像中每帧视频图像中的目标框,所述k为大于或等于2的正整数;
对提取到的k个图像特征进行聚类,得到一个或多个图像特征集;
根据所述一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从所述一个或多个图像特征集中选取所述第一轨迹对应的目标图像特征集;
获取第二轨迹对应的目标图像特征集,所述第二轨迹为与所述第一轨迹不同的轨迹,所述第一轨迹对应的目标图像特征集的数量为n,所述第二轨迹对应的目标图像特征数量为m,所述n和所述m均为正整数;
获取所述第一轨迹对应的n个目标图像特征集中每个目标图像特征集的中心特征与所述第二轨迹对应的m个目标图像特征集中每个目标图像特征集的中心特征之间的相似度,一个图像特征集的中心特征用于表征所述图像特征集的整体特征;
将获取到的n*m个相似度中最大的相似度确定为所述第一轨迹与所述第二轨迹之间的相似度。
2.如权利要求1所述的方法,其特征在于,所述对提取到的k个图像特征进行聚类,得到一个或多个图像特征集,包括:
将所述k个图像特征中的第一个图像特征划分到新创建的一个图像特征集,并令i=2;
获取所述k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度;
判断所述第i个图像特征与指定图像特征集的中心特征之间的相似度是否大于或等于相似度阈值,所述指定图像特征集为与所述第i个图像特征之间的相似度最大的中心特征所属的图像特征集;
如果所述第i个图像特征与所述指定图像特征集的中心特征之间的相似度大于或等于相似度阈值,则将所述第i个图像特征划分到所述指定图像特征集;如果所述第i个图像特征与所述指定图像特征集的中心特征之间的相似度小于相似度阈值,则将所述第i个图像特征划分到新创建的一个图像特征集;
如果所述i与所述k不相等,则令i=i+1,返回所述获取所述k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度的步骤,直至所述i与所述k相等为止。
3.如权利要求1所述的方法,其特征在于,所述根据所述一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从所述一个或多个图像特征集中选取所述第一轨迹对应的目标图像特征集,包括:
对于所述一个或多个图像特征集中的任意一个图像特征集,将所述一个图像特征集包括的图像特征的数量除以所述k,得到所述一个图像特征集的数量占比;
当所述一个图像特征集的数量占比大于或等于比例阈值时,将所述一个图像特征集确定为所述第一轨迹对应的目标图像特征集。
4.一种确定轨迹相似度的装置,其特征在于,所述装置包括:
提取模块,用于提取第一轨迹包括的k个目标框中每个目标框的图像特征,所述k个目标框包含有同一目标,所述k个目标框是k帧连续的视频图像中每帧视频图像中的目标框,所述k为大于或等于2的正整数;
聚类模块,用于对提取到的k个图像特征进行聚类,得到一个或多个图像特征集;
选取模块,用于根据所述一个或多个图像特征集中每个图像特征集包括的图像特征的数量,从所述一个或多个图像特征集中选取所述第一轨迹对应的目标图像特征集;
确定模块包括第二获取单元和第三确定单元,
所述第二获取单元,用于获取第二轨迹对应的目标图像特征集,所述第二轨迹为与所述第一轨迹不同的轨迹,所述第一轨迹对应的目标图像特征集的数量为n,所述第二轨迹对应的目标图像特征数量为m,所述n和所述m均为正整数;
所述第三确定单元,用于获取所述第一轨迹对应的n个目标图像特征集中每个目标图像特征集的中心特征与所述第二轨迹对应的m个目标图像特征集中每个目标图像特征集的中心特征之间的相似度,一个图像特征集的中心特征用于表征所述图像特征集的整体特征;将获取到的n*m个相似度中最大的相似度确定为所述第一轨迹与所述第二轨迹之间的相似度。
5.如权利要求4所述的装置,其特征在于,所述聚类模块包括:
第一划分单元,用于将所述k个图像特征中的第一个图像特征划分到新创建的一个图像特征集,并令i=2;
第一获取单元,用于获取所述k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度;
判断单元,用于判断所述第i个图像特征与指定图像特征集的中心特征之间的相似度是否大于或等于相似度阈值,所述指定图像特征集为与所述第i个图像特征之间的相似度最大的中心特征所属的图像特征集;
第二划分单元,用于当所述第i个图像特征与所述指定图像特征集的中心特征之间的相似度大于或等于相似度阈值时,将所述第i个图像特征划分到所述指定图像特征集;当所述第i个图像特征与所述指定图像特征集的中心特征之间的相似度小于相似度阈值时,将所述第i个图像特征划分到新创建的一个图像特征集;
触发单元,用于当所述i与所述k不相等时,令i=i+1,触发所述第一获取单元获取所述k个图像特征中的第i个图像特征与已划分出的图像特征集中每个图像特征集的中心特征之间的相似度,直至i与所述k相等为止。
6.如权利要求4所述的装置,其特征在于,所述选取模块包括:
计算单元,用于对于所述一个或多个图像特征集中的任意一个图像特征集,将所述一个图像特征集包括的图像特征的数量除以所述k,得到所述一个图像特征集的数量占比;
第二确定单元,用于当所述一个图像特征集的数量占比大于或等于比例阈值时,将所述一个图像特征集确定为所述第一轨迹对应的目标图像特征集。
7.一种计算机设备,其特征在于,所述计算机设备包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,所述存储器用于存放计算机程序,所述处理器用于执行所述存储器上所存放的程序,以实现权利要求1-3任一所述方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-3任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911101590.6A CN112861565B (zh) | 2019-11-12 | 2019-11-12 | 确定轨迹相似度的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911101590.6A CN112861565B (zh) | 2019-11-12 | 2019-11-12 | 确定轨迹相似度的方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112861565A CN112861565A (zh) | 2021-05-28 |
CN112861565B true CN112861565B (zh) | 2023-05-23 |
Family
ID=75984392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911101590.6A Active CN112861565B (zh) | 2019-11-12 | 2019-11-12 | 确定轨迹相似度的方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112861565B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113723316B (zh) * | 2021-09-01 | 2024-04-16 | 杭州智诚惠通科技有限公司 | 一种车辆识别方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101321269A (zh) * | 2007-06-05 | 2008-12-10 | 同济大学 | 基于计算机视觉的客流量检测方法及*** |
CN201654982U (zh) * | 2010-01-13 | 2010-11-24 | 北京视博数字电视科技有限公司 | 多目标处理装置及终端 |
CN106875421A (zh) * | 2017-01-19 | 2017-06-20 | 博康智能信息技术有限公司北京海淀分公司 | 一种多目标跟踪方法及装置 |
CN108470353A (zh) * | 2018-03-01 | 2018-08-31 | 腾讯科技(深圳)有限公司 | 一种目标跟踪方法、装置和存储介质 |
CN110198473A (zh) * | 2019-06-10 | 2019-09-03 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8050454B2 (en) * | 2006-12-29 | 2011-11-01 | Intel Corporation | Processing digital video using trajectory extraction and spatiotemporal decomposition |
CN104794425B (zh) * | 2014-12-19 | 2018-05-18 | 长安大学 | 一种基于行驶轨迹的车辆统计方法 |
CN105843919A (zh) * | 2016-03-24 | 2016-08-10 | 云南大学 | 一种基于多特征融合与聚类集成的移动对象轨迹聚类方法 |
CN109035299B (zh) * | 2018-06-11 | 2023-03-31 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
CN108921876A (zh) * | 2018-07-10 | 2018-11-30 | 北京旷视科技有限公司 | 视频处理方法、装置和***及存储介质 |
CN109978918A (zh) * | 2019-03-21 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 一种轨迹追踪方法、装置和存储介质 |
-
2019
- 2019-11-12 CN CN201911101590.6A patent/CN112861565B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101321269A (zh) * | 2007-06-05 | 2008-12-10 | 同济大学 | 基于计算机视觉的客流量检测方法及*** |
CN201654982U (zh) * | 2010-01-13 | 2010-11-24 | 北京视博数字电视科技有限公司 | 多目标处理装置及终端 |
CN106875421A (zh) * | 2017-01-19 | 2017-06-20 | 博康智能信息技术有限公司北京海淀分公司 | 一种多目标跟踪方法及装置 |
CN108470353A (zh) * | 2018-03-01 | 2018-08-31 | 腾讯科技(深圳)有限公司 | 一种目标跟踪方法、装置和存储介质 |
CN110198473A (zh) * | 2019-06-10 | 2019-09-03 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
"基于特征点轨迹的动作识别";秦磊 等;《计算机学报》;第37卷(第6期);第1281-1288页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112861565A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960209B (zh) | 身份识别方法、装置及计算机可读存储介质 | |
CN110222789B (zh) | 图像识别方法及存储介质 | |
CN109117635B (zh) | 应用程序的病毒检测方法、装置、计算机设备及存储介质 | |
CN111127509B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
CN112084811B (zh) | 身份信息的确定方法、装置及存储介质 | |
CN110807361A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN111754386B (zh) | 图像区域屏蔽方法、装置、设备及存储介质 | |
CN113627413B (zh) | 数据标注方法、图像比对方法及装置 | |
CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN110738185B (zh) | 表单对象的识别方法、装置及存储介质 | |
CN112749590B (zh) | 目标检测方法、装置、计算机设备和计算机可读存储介质 | |
CN111986227B (zh) | 轨迹生成方法、装置、计算机设备及存储介质 | |
CN111931712B (zh) | 人脸识别方法、装置、抓拍机及*** | |
CN111782950B (zh) | 样本数据集获取方法、装置、设备及存储介质 | |
CN112861565B (zh) | 确定轨迹相似度的方法、装置、计算机设备和存储介质 | |
CN111860064B (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
CN111639639B (zh) | 检测文本区域的方法、装置、设备及存储介质 | |
CN111488895B (zh) | 对抗数据生成方法、装置、设备及存储介质 | |
CN108831423B (zh) | 提取音频数据中主旋律音轨的方法、装置、终端及存储介质 | |
CN110163192B (zh) | 字符识别方法、装置及可读介质 | |
CN113592874B (zh) | 图像显示方法、装置和计算机设备 | |
CN111984755B (zh) | 确定目标停车点的方法、装置、电子设备及存储介质 | |
CN112365088B (zh) | 行程关键点的确定方法、装置、设备及可读存储介质 | |
CN113343709B (zh) | 意图识别模型的训练方法、意图识别方法、装置及设备 | |
CN112950535B (zh) | 视频处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |