发明内容
本实施例提供一种目标跟踪方法及装置、存储介质,能够提高目标跟踪的准确性。
本公开的技术方案是这样实现的:
本实施例提供一种目标跟踪方法,所述方法包括:
根据与当前图像帧相邻的历史图像帧,确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息,所述遮挡对象为与所述第一目标对象最接近的目标;
根据所述当前图像帧之前的历史图像帧序列,确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列;
根据所述当前图像帧,确定第二目标对象对应的当前目标位置信息和当前目标外观特征;
根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征,确定所述第一目标对象和所述第二目标对象之间的目标相似度信息;
根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征,确定遮挡对象相似度信息;
根据所述目标相似度信息和所述遮挡对象相似度信息,确定所述第一目标对象的跟踪轨迹。
在上述方法中,所述根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征,确定所述第一目标对象和所述第二目标对象之间的目标相似度信息,包括:
根据所述预测目标位置信息和所述当前目标位置信息,确定所述目标位置相似度;
根据所述历史目标外观特征序列和所述当前目标外观特征,确定所述目标外观相似度序列;
将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
在上述方法中,所述根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征,确定遮挡对象相似度信息,包括:
根据所述预测遮挡对象位置信息和所述当前目标位置信息,确定所述遮挡对象位置相似度;
根据所述历史遮挡对象外观特征序列和所述当前目标外观特征,确定所述遮挡对象外观相似度;
将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
在上述方法中,所述确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息,包括:
利用可实现单目标跟踪的神经网络,确定所述预测目标位置信息和所述预测遮挡对象位置信息。
在上述方法中,所述确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列,包括:
利用可实现行人重识别的神经网络,确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
在上述方法中,所述根据所述目标相似度信息和所述遮挡对象相似度信息,确定所述第一目标对象的跟踪轨迹,包括:
根据所述目标相似度信息和所述遮挡对象相似度信息,确定所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系;
利用所述目标轨迹关联关系,在所述第二目标对象中查找与所述第一目标对象关联的目标,以确定所述第一目标对象的跟踪轨迹。
在上述方法中,所述根据所述目标相似度信息和所述遮挡对象相似度信息,确定所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系,包括:
将所述目标相似度信息和所述遮挡对象相似度信息,输入预设分类器;
利用所述预设分类器,确定出多种轨迹关联关系的多个决策分数,所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联,得到的轨迹关联关系;
从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系,作为所述目标轨迹关联关系。
在上述方法中,所述根据所述目标相似度信息和所述遮挡对象相似度信息,确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系之后,所述方法还包括:
当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时,根据所述第三目标对象的置信度值,获取所述预测目标位置信息;
利用所述目标关联关系和所述预测目标位置信息,确定出所述第一目标对象的跟踪轨迹。
在上述方法中,所述根据所述目标相似度信息和所述遮挡对象相似度信息,确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系之后,所述方法还包括:
当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时,将所述第四目标对象添加至下一轮关联关系中,所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
在上述方法中,所述方法还包括:
利用所述可实现单目标跟踪的神经网络,确定所述第一目标对象对应的置信度值。
在上述方法中,所述根据所述第三目标对象的置信度值,获取所述预测目标位置信息,包括:
当所述第三目标对象的置信度值满足预设置信度值时,获取所述预测目标位置信息。
在上述方法中,所述第一目标对象的个数和所述第二目标对象的个数均为多个。
本实施例提供一种目标跟踪装置,所述目标跟踪装置包括:
第一确定模块,用于根据与当前图像帧相邻的历史图像帧,确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息,所述遮挡对象为与所述第一目标对象最接近的目标;根据所述当前图像帧之前的历史图像帧序列,确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列;根据所述当前图像帧,确定第二目标对象对应的当前目标位置信息和当前目标外观特征;
第二确定模块,用于根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征,确定所述第一目标对象和所述第二目标对象之间的目标相似度信息;根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征,确定遮挡对象相似度信息;
轨迹跟踪模块,用于根据所述目标相似度信息和所述遮挡对象相似度信息,确定出所述第一目标对象的跟踪轨迹。
在上述装置中,所述第一确定模块,还用于根据所述预测目标位置信息和所述当前目标位置信息,确定出所述目标位置相似度;根据所述历史目标外观特征序列和所述当前目标外观特征,确定出所述目标外观相似度序列;将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
在上述装置中,所述第一确定模块,还用于根据所述预测遮挡对象位置信息和所述当前目标位置信息,确定出所述遮挡对象位置相似度;根据所述历史遮挡对象外观特征序列和所述当前目标外观特征,确定出所述遮挡对象外观相似度;将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
在上述装置中,所述第一确定模块,还用于利用可实现单目标跟踪的神经网络,确定所述预测目标位置信息和所述预测遮挡对象位置信息。
在上述装置中,所述第一确定模块,还用于利用可实现行人重识别的神经网络,确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
在上述装置中,所述轨迹跟踪模块,还用于根据所述目标相似度信息和所述遮挡对象相似度信息,确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系;利用所述目标轨迹关联关系,在所述第二目标对象中查找与所述第一目标对象关联的目标,以确定出所述第一目标对象的跟踪轨迹。
在上述装置中,所述轨迹跟踪模块包括:输入子模块和第三确定子模块;
所述输入子模块,用于将所述目标相似度信息和所述遮挡对象相似度信息,输入预设分类器;
所述第三确定子模块,还用于利用所述预设分类器,确定出多种轨迹关联关系的多个决策分数,所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联,得到的轨迹关联关系;从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系,作为所述目标轨迹关联关系。
在上述装置中,所述轨迹跟踪模块还包括:获取子模块;
所述获取子模块,还用于当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时,根据所述第三目标对象的置信度值,获取所述预测目标位置信息;
所述第三确定子模块,还用于利用所述目标关联关系和所述预测目标位置信息,确定出所述第一目标对象的跟踪轨迹。
在上述装置中,所述装置还包括:添加模块;
所述添加模块,还用于当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时,将所述第四目标对象添加至下一轮关联关系中,所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
在上述装置中,所述第二确定模块,还用于利用所述可实现单目标跟踪的神经网络,确定所述第一目标对象对应的置信度值。
在上述装置中,所述获取子模块,还用于当所述第三目标对象的置信度值满足预设置信度值时,获取所述预测目标位置信息。
在上述装置中,所述第一目标对象的个数和所述第二目标对象的个数均为多个。
本实施例提供一种目标跟踪装置,所述目标跟踪装置包括:处理器、存储器及通信总线,所述处理器执行所述存储器中存储的运行程序时实现如上述任一项所述的目标跟踪方法。
本实施例提供一种计算机可读存储介质,其上存储有计算机程序,应用于目标跟踪装置,该计算机程序被处理器执行时实现如上述任一项所述的目标跟踪方法。
本实施例公开一种目标跟踪方法及装置、存储介质,该方法可以包括:根据与当前图像帧相邻的历史图像帧,确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息;根据当前图像帧之前的历史图像帧序列,确定第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列;根据当前图像帧,确定第二目标对象对应的当前目标位置信息和当前目标外观特征;根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征,确定第一目标对象和第二目标对象之间的目标相似度信息;根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征,确定遮挡对象相似度信息;根据目标相似度信息和遮挡对象相似度信息,确定第一目标对象的跟踪轨迹。采用上述方法实现方案,目标跟踪装置根据与当前图像帧相邻的历史图像帧,确定遮挡对象的预测遮挡对象位置信息、根据当前图像帧之前的历史图像帧序列,确定遮挡对象的历史遮挡对象外观特征序列,并融合遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列,确定出历史图像帧中的第一目标对象的跟踪轨迹,使得在进行目标跟踪时,由于利用了遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列,进而降低了遮挡对象对目标跟踪造成的影响,提高了目标跟踪的准确性。
具体实施方式
应当理解,此处描述的具体实施例仅仅用以解释本公开。并不用于限定本公开。
本实施例公开一种目标跟踪方法,如图1所示,该方法可以包括:
S101、根据与当前图像帧相邻的历史图像帧,确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息,遮挡对象为与第一目标对象最接近的目标。
本实施例提供的一种目标跟踪方法适用于在视频中对多个目标进行跟踪的场景下。
本实施例中,历史图像帧中的目标可以为行人、车辆等,具体的根据实际情况进行选择,本实施例不做具体的限定。
本实施例中,目标跟踪装置在历史图像帧中确定出第一目标对象和与第一目标对象最接近的遮挡对象,之后利用可实现单目标跟踪的神经网络,确定第一目标对象的预测目标位置信息和遮挡对象的预测遮挡对象位置信息。
本实施例中,可实现单目标跟踪的神经网络可以利用单目标跟踪算法组成的网络。
本实施例中,目标跟踪装置在历史图像帧中框定包括第一目标对象的目标外接矩形,之后,目标跟踪装置将目标外接矩形的交面积除以并面积的值最大的一个额外的目标对象,确定为与第一目标对象最接近的遮挡对象。
本实施例中,目标跟踪装置获取当前图像帧之前的一帧相邻图像,作为历史图像帧,并利用单目标跟踪算法,确定第一目标对象在当前图像帧中的预测目标位置信息和遮挡对象在当前图像帧中的预测遮挡对象位置信息。
可选的,单目标跟踪算法包括孪生区域提议网络(SiameseRegion ProposalNetwork)方法、孪生全卷积网络(Siamese FullyConvolutional)方法等,具体的可以根据实际情况进行选择,本实施例不做具体的限定。
本实施例中,位置信息可以包括坐标信息或经纬度信息,具体的根据实际情况进行选择,本实施例不做具体的限定。
S102、根据当前图像帧之前的历史图像帧序列,确定第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列。
本实施例中,目标跟踪装置根据当前图像帧之前的历史图像帧序列,确定出第一目标对象和与第一目标对象最接近的遮挡对象,之后利用行人重识别算法,确定第一目标对象的历史目标外观特征序列和遮挡对象的历史遮挡对象外观特征序列。
本实施例中,目标跟踪装置获取当前图像帧之前的连续多帧图像,作为历史图像帧序列,并利用可实现行人重识别的神经网络,确定第一目标对象的历史目标外观特征序列和遮挡对象的历史遮挡对象外观特征序列。
本实施例中,历史目标外观特征序列中的特征个数和历史遮挡对象外观特征序列中的特征个数,与历史图像帧序列的帧数一一对应,具体的根据实际情况进行选择,本实施例不做具体的限定。
本实施例中,可实现行人重识别的神经网络可以利用行人重识别算法组成的网络。
本实施例中,行人重识别算法包括Inception-v4模型。
本实施例中,第一目标对象的个数为多个。
需要说明的是,S101和S102为S103之前的两个并列的步骤,S101和S102之间并没有绝对的时序关系,具体的根据实际情况进行选择,本实施例不限定两者的执行顺序。
S103、根据当前图像帧,确定第二目标对象对应的当前目标位置信息和当前目标外观特征。
当目标跟踪装置确定出第一目标对象对应的预测目标位置信息和历史目标外观特征序列,以及遮挡对象对应的预测遮挡对象位置信息和历史遮挡对象外观特征序列之后,目标跟踪装置根据当前图像帧,确定第二目标对象对应的当前目标位置信息和当前目标外观特征。
本实施例中,目标跟踪装置根据当前图像帧,确定出第二目标对象以及第二目标对象对应的当前目标位置信息和当前目标外观特征。
本实施例中,第一目标对象和第二目标对象至少部分匹配,即第一目标对象中的至少部分目标与第二目标对象中的至少部分目标匹配。
本实施例中,第二目标对象的对象为多个。
S104、根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征,确定第一目标对象和第二目标对象之间的目标相似度信息。
当目标跟踪装置在当前图像帧中,确定出第二目标对象对应的当前目标位置信息和当前目标外观特征之后,目标跟踪装置根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征,确定第一目标对象和第二目标对象之间的目标相似度信息。
本实施例中,目标跟踪装置根据预测目标位置信息和当前目标位置信息,确定目标位置相似度;目标跟踪装置根据历史目标外观特征序列和当前目标外观特征,确定目标外观相似度序列;之后,目标跟踪装置将目标位置相似度和目标外观相似度序列确定为第一目标对象和第二目标对象之间的目标相似度信息。
本实施例中,目标跟踪装置将预测目标位置信息和当前目标位置信息进行相似度计算,得到目标位置相似度;目标跟踪装置对历史目标外观特征序列和当前目标外观特征进行相似度计算,得到目标外观相似度序列。
S105、根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征,确定遮挡对象相似度信息。
当目标跟踪装置在当前图像帧中,确定出第二目标对象对应的当前目标位置信息和当前目标外观特征之后,目标跟踪装置根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征,确定遮挡对象相似度信息。
本实施例中,目标跟踪装置根据预测遮挡对象位置信息和当前目标位置信息,确定遮挡对象位置相似度;目标跟踪装置根据历史遮挡对象外观特征序列和当前目标外观特征,确定遮挡对象外观相似度;之后,目标跟踪装置将遮挡对象位置相似度和遮挡对象外观相似度确定为遮挡对象相似度信息。
本实施例中,目标跟踪装置对预测遮挡对象位置信息和当前目标位置信息进行相似度计算,得到遮挡对象位置相似度;目标跟踪装置对历史遮挡对象外观特征序列和当前目标外观特征进行相似度计算,得到遮挡对象外观相似度。
本实施例中,目标位置相似度为目标外接矩形的交面积除以并面积的值,目标外观相似度序列为外观特征余弦夹角。
需要说明的是,遮挡对象位置相似度的计算过程与目标位置相似度的计算过程相同,遮挡对象外观相似度和目标外观相似度序列的计算过程相同,在此不再赘述。
需要说明的是,S104和S105为S103之后、S106之前的两个并列的步骤,S104和S105之间并没有绝对的时序关系,具体的根据实际情况进行选择,本实施例不限定两者的执行顺序。
S106、根据目标相似度信息和遮挡对象相似度信息,确定第一目标对象的跟踪轨迹。
当目标跟踪装置确定出目标相似度信息和遮挡对象相似度信息之后,目标追踪装置根据目标相似度信息和遮挡对象相似度信息,确定出第一目标对象的跟踪轨迹。
本实施例中,目标跟踪装置根据目标相似度信息和遮挡对象相似度信息,确定第一目标对象和第二目标对象之间的目标轨迹关联关系;目标跟踪装置利用目标轨迹关联关系,在第二目标对象中查找与第一目标对象关联的目标,以确定第一目标对象的跟踪轨迹。
本实施例中,目标跟踪装置将目标相似度信息和遮挡对象相似度信息,输入预设分类器;之后利用预设分类器,确定出多种轨迹关联关系的多个决策分数,其中多种轨迹关联关系为对第一目标对象和第二目标对象之间进行轨迹关联,得到的轨迹关联关系;目标跟踪装置从多种轨迹关联关系中确定出决策分数最高的轨迹关联关系,作为目标轨迹关联关系。
本实施例中,预设分类器输出多种轨迹关联关系中每个关联目标之间的决策分数,之后,将每一种轨迹关联关系中的决策分数进行叠加,得到该种轨迹关联关系对应的决策分数,至此,就得到了多种轨迹关联关系的多个决策分数。
本实施例中,目标跟踪装置利用预设轨迹关联算法,对历史图像帧中的第一目标对象和当前图像帧中的第二目标对象进行轨迹关联,得到第一目标对象和第二目标对象之间的多种轨迹关联关系。
本实施例中,分类器采用梯度增强决策树模型。
本实施例中,预设轨迹关联算法为二分图的加权最大匹配算法,即最小费用最大流算法。
进一步地,当目标跟踪装置确定出目标轨迹关联关系之后,目标跟踪装置在目标关联关系中的第一目标对象中确定与第二目标对象关联的目标,当目标跟踪装置在目标关联关系中的第一目标对象中确定出与第二目标对象不关联的第三目标对象时,目标跟踪装置根据第三目标对象的置信度值,获取预测目标位置信息,之后,目标跟踪装置利用目标关联关系和预测目标位置信息,确定出第一目标对象的跟踪轨迹。
示例性的,当目标跟踪装置在第一目标对象中确定出与第二目标对象不关联的第三目标对象时,目标跟踪装置判断出历史图像帧中的第三目标对象并未在当前图像帧中显现,此时,目标跟踪装置判断第三目标对象并未在当前图像帧中显现的原因,当第三目标对象的置信度值不满足预设置信度阈值时,表征第三目标对象离开当前图像帧;当第三目标对象的置信度值满足预设置信度阈值时,表征第三目标对象在当前图像帧中被遮挡对象遮挡,此时,目标跟踪装置根据第三目标对象对应的预测目标位置信息,预测第三目标对象在当前图像帧中的位置。
进一步地,目标跟踪装置在目标关联关系中的第二目标对象中确定与第一目标对象关联的目标,当目标跟踪装置在目标关联关系中的第二目标对象中确定出与第一目标对象不关联的第四目标对象时,目标跟踪装置将第四目标对象添加至下一轮关联关系中,其中,下一轮关联关系为以当前图像帧为历史图像帧生成的关联关系。
示例性的,当目标跟踪装置在第二目标对象中确定出与第一目标对象不关联的第四目标对象时,表征第四目标对象为新增的目标对象,此时,目标跟踪装置对第四目标对象进行目标跟踪。
本实施例中,在目标关联关系中,第一目标对象和第二目标对象中匹配的目标对象组成了二元组,第一目标对象和第二目标对象中未匹配的目标对象组成了一元组,目标跟踪装置从一元组中查找第二目标对象中的目标对象,作为与第一目标对象不关联的第四目标对象;目标跟踪装置从一元组中查找第一目标对象中的目标对象,作为与第二目标对象不关联的第三目标对象。
本实施例中,目标跟踪装置利用单目标跟踪算法,分别计算第一目标对象对应的置信度值和预测目标位置信息。
本实施例中,目标跟踪装置将第三目标对象对应的置信度值和预设置信度值进行比较,当第三目标对象对应的置信度值满足预设置信度值时,目标跟踪装置获取预测目标位置信息。
需要说明的是,本实施例中的单目标跟踪算法、行人重识别算法、预设分类器和预设轨迹关联算法均为可替换算法,具体的根据实际情况进行选择,本实施例不做具体的限定。
本实施例中,目标跟踪装置从目标关联关系,确定出在视频中的不同目标对象的行动轨迹,进而能够对目标对象进行跟踪。
示例性的,如图2所示,在短期线索中,输入Ex模板至单目标跟踪算法(SOT,SingleObject Tracking)子网中,得到在t+1时刻的预测目标位置信息D
track和置信度Score map,之后将检测到的t+1时刻的当前目标位置信息D
det和D
track进行相似度计算,得到目标位置相似度f
s(D
track,D
det);在长期线索中,输入D
det对应的当前图像区域I
t+1,Ddet至行人重识别(ReID,Person Re-identification)子网中,得到当前目标外观特征A
det,并获取当前目标在历史图像帧中的历史图像区域
并将历史图像区域输入至ReID子网中,得到历史目标外观特征序列
之后,依次计算当前目标外观特征与历史目标外观特征序列之间的相似度,得到目标外观相似度序列
之后,将目标位置相似度和目标外观相似度序列输入遮挡对象敏感的分类器(SAC,Switcher-Aware Classifier)中,得到多种轨迹关联关系的多个决策分数,之后,从多种轨迹关联关系中确定出决策分数最高的轨迹关联关系,作为目标轨迹关联关系。
可以理解的是,目标跟踪装置根据与当前图像帧相邻的历史图像帧,确定遮挡对象的预测遮挡对象位置信息、根据当前图像帧之前的历史图像帧序列,确定遮挡对象的历史遮挡对象外观特征序列,并融合遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列,确定出历史图像帧中的第一目标对象的跟踪轨迹,使得在进行目标跟踪时,由于利用了遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列,进而降低了遮挡对象对目标跟踪造成的影响,提高了目标跟踪的准确性。
本实施例提供一种目标跟踪装置1,如图3所示,该装置可以包括:
第一确定模块10,用于根据与当前图像帧相邻的历史图像帧,确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息,所述遮挡对象为与所述第一目标对象最接近的目标;根据所述当前图像帧之前的历史图像帧序列,确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列;根据所述当前图像帧,确定第二目标对象对应的当前目标位置信息和当前目标外观特征;
第二确定模块11,用于根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征,确定所述第一目标对象和所述第二目标对象之间的目标相似度信息;根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征,确定遮挡对象相似度信息;
轨迹跟踪模块12,用于根据所述目标相似度信息和所述遮挡对象相似度信息,确定出所述第一目标对象的跟踪轨迹。
可选的,所述第一确定模块10,还用于根据所述预测目标位置信息和所述当前目标位置信息,确定出所述目标位置相似度;根据所述历史目标外观特征序列和所述当前目标外观特征,确定出所述目标外观相似度序列;将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
可选的,所述第一确定模块10,还用于根据所述预测遮挡对象位置信息和所述当前目标位置信息,确定出所述遮挡对象位置相似度;根据所述历史遮挡对象外观特征序列和所述当前目标外观特征,确定出所述遮挡对象外观相似度;将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
可选的,所述第一确定模块10,还用于利用可实现单目标跟踪的神经网络,确定所述预测目标位置信息和所述预测遮挡对象位置信息。
可选的,所述第一确定模块10,还用于利用可实现行人重识别的神经网络,确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
可选的,所述轨迹跟踪模块12,还用于根据所述目标相似度信息和所述遮挡对象相似度信息,确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系;利用所述目标轨迹关联关系,在所述第二目标对象中查找与所述第一目标对象关联的目标,以确定出所述第一目标对象的跟踪轨迹。
可选的,所述轨迹跟踪模块12包括:输入子模块120和第三确定子模块121;
所述输入子模块120,用于将所述目标相似度信息和所述遮挡对象相似度信息,输入预设分类器;
所述第三确定子模块121,还用于利用所述预设分类器,确定出多种轨迹关联关系的多个决策分数,所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联,得到的轨迹关联关系;从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系,作为所述目标轨迹关联关系。
可选的,所述轨迹跟踪模块12还包括:获取子模块122;
所述获取子模块122,还用于当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时,根据所述第三目标对象的置信度值,获取所述预测目标位置信息;
所述第三确定子模块121,还用于利用所述目标关联关系和所述预测目标位置信息,确定出所述第一目标对象的跟踪轨迹。
可选的,所述装置还包括:添加模块13;
所述添加模块13,还用于当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时,将所述第四目标对象添加至下一轮关联关系中,所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
可选的,所述第二确定模块11,还用于利用所述可实现单目标跟踪的神经网络,确定所述第一目标对象对应的置信度值。
可选的,所述获取子模块122,还用于当所述第三目标对象的置信度值满足预设置信度值时,获取所述预测目标位置信息。
可选的,所述第一目标对象的个数和所述第二目标对象的个数均为多个。
图4为本实施例提出的目标跟踪装置1的组成结构示意图一,在实际应用中,基于上述实施例的同一公开构思下,如图4所示,本实施例的目标跟踪装置1包括:处理器14、存储器15、及通信总线16。所述第一确定模块10、所述第二确定模块11、所述轨迹跟踪模块12、所述输入子模块120、所述第三确定子模块121、获取子模块122和添加模块13由处理器1实现。
在具体的实施例的过程中,上述处理器14可以为特定用途集成电路(ASIC,Application Specific Integrated Circuit)、数字信号处理器(DSP,Digital SignalProcessor)、数字信号处理图像显示设备(DSPD,Digital Signal Processing Device)、可编程逻辑图像显示设备(PLD,Programmable Logic Device)、现场可编程门阵列(FPGA,Field Programmable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本实施例不作具体限定。
在本公开的实施例中,上述通信总线16用于实现处理器14和存储器15之间的连接通信;上述处理器14用于执行存储器15中存储的运行程序,以实现如上述实施例的方法。
本实施例提供一种计算机可读存储介质,上述计算机可读存储介质存储有一个或者多个程序,上述一个或者多个程序可被一个或者多个处理器执行,应用于目标跟踪装置中,该程序被处理器执行时实现如上述实施例的方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台图像显示设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本公开各个实施例所述的方法。
以上所述,仅为本公开的较佳实施例而已,并非用于限定本公开的保护范围。