CN112989962B - 轨迹生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种轨迹生成方法、装置、电子设备及存储介质，该方法包括获取多帧图像和每一帧图像对应的历史参考帧图像；基于历史参考帧图像对每一帧图像进行前景识别，生成前景二值图；根据历史参考帧图像生成背景参考图像；将每一帧图像、对应的前景二值图和背景参考图像输入目标检测网络进行目标检测，得到每一帧图像中的目标图像和目标图像的位置信息；将每一帧图像中的目标图像和目标图像的位置信息输入目标重识别网络进行目标重识别，得到每一帧图像中的目标图像的目标标识信息；基于目标标识信息和目标图像的位置信息生成目标的轨迹信息。利用本公开实施例可以提高目标检测精度，实现有效的目标再识别，进而生成准确的目标的轨迹信息。

Description

轨迹生成方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种轨迹生成方法、装置、电子设备及存储介质。

背景技术

随着图像处理在民用和商用领域的广泛应用，目标跟踪在智能视频监控、自动驾驶和无人超市等领域起到日益重要的作用，因此，目标跟踪，也面临着更高的要求。

通常在目标跟踪过程中，需要先进行目标检测，然后，通过对检测出的目标进行再识别，可以生成反映目标在一段时间内运动过程的轨迹信息，进而实现对目标的跟踪。但在一些应用场景中，由于一些目标处于高速运动，例如高空抛物等，往往会造成目标在图像中像素占比极低、模糊等问题，导致现有的基于深度学习算法的目标检测网络无法精准的检测出的目标，造成无法有效的进行目标再识别，也无法生成准确生成目标运动过程中的轨迹信息。

发明内容

本公开提供一种轨迹生成方法、装置、电子设备及存储介质，可以提高目标检测精度，和目标再识别精准性，进而准确的生成能够有反映目标运动过程的轨迹信息，提升目标追踪的精准性。本公开的技术方案如下：

根据本公开实施例的一方面，提供一种轨迹生成方法，包括：

获取多帧图像和所述多帧图像中每一帧图像对应的历史参考帧图像；

基于所述每一帧图像对应的历史参考帧图像对所述每一帧图像进行前景识别，生成所述每一帧图像对应的前景二值图；

根据所述每一帧图像对应的历史参考帧图像生成所述每一帧图像对应的背景参考图像；

将所述每一帧图像、对应的前景二值图和对应的背景参考图像输入目标检测网络进行目标检测，得到所述每一帧图像中的目标图像和所述目标图像的位置信息，所述目标图像为包括目标的图像；

将所述每一帧图像中的目标图像和所述目标图像的位置信息输入目标重识别网络进行目标重识别，得到所述每一帧图像中的目标图像的目标标识信息；

基于所述目标标识信息和所述目标图像的位置信息生成所述目标的轨迹信息。

上述技术方案通过每一帧图像对应的历史参考帧图像来刻画每一帧图像的背景像素分布，进而可以对每一帧图像进行前景识别，生成能够准确定位每一帧图像中前景的前景二值图，同时结合历史参考帧图像来生成有效表征背景像素分布的背景参考图像，并在对每一帧图像进行目标检测时，结合与其对应的前景二值图和背景参考图像，可以更好地剔除背景信息，进而提升目标检测的精度，接着结合目标图像和目标图像的位置信息进行目标重识别，可以有效避免了在同一位置出现多个目标和目标高度运动，导致难以被识别而造成的跟踪失败的情况，大大目标重识别的精准性，进而准确的生成能够有反映目标运动过程的轨迹信息，大大提升了目标追踪的精准性。

可选的，所述获取多帧图像包括：

获取原始视频中的当前帧图像和所述当前帧图像对应的历史参考帧图像；

基于所述当前帧图像对应的历史参考帧图像对所述当前帧图像进行前景识别，生成所述当前帧图像对应的当前前景二值图；

根据所述当前帧图像对应的历史参考帧图像生成所述当前帧图像对应的当前背景参考图像；

将所述当前帧图像、所述当前前景二值图和所述当前背景参考图像输入所述目标检测网络进行目标检测，得到检测结果；

在所述检测结果指示所述当前帧图像包括目标的情况下，将包括目标的当前帧图像和所述包括目标的当前帧图像之后的第二预设数量帧图像作为所述多帧图像。

上述技术方案通过目标对应的事件发生时间，可以精准的提取记录目标运动过程的多帧图像，也可以通过对原视频中提取的每一帧当前帧图像进行目标检测过程中，结合该帧图像对应的历史参考帧图像来刻画该帧图像的背景像素分布，进而可以对每一帧图像进行前景识别，生成能够确的定位当前帧图像中前景的当前前景二值图，同时结合历史参考帧图像来生成有效表征背景像素分布的当前背景参考图像，并在对当前帧图像进行目标检测时，结合与其对应的当前前景二值图和当前背景参考图像，可以更好地剔除背景信息，进而精准的检测出目标，进而将能检测出目标的当前帧图像和该当前帧图像之后的第二预设数量帧图像作为记录目标运动过程的多帧图像。

可选的，所述每一帧图像对应的历史参考帧图像包括所述每一帧图像的前第一预设数量帧图像，所述基于所述每一帧图像对应的历史参考帧图像对所述每一帧图像进行前景识别，生成所述每一帧图像对应的前景二值图包括：

将所述每一帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点进行匹配；

确定所述每一帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点间的匹配次数；

将匹配次数大于等于所述第一预设阈值的像素点作为背景像素点；

将匹配次数小于所述第一预设阈值的像素点作为前景像素点；

基于每一帧图像的背景像素点和前景像素点生成所述每一帧图像对应的前景二值图。

上述技术方案通过每一帧图像对应的历史参考帧图像来刻画每一帧图像的背景像素分布，进而可以对每一帧图像进行前景识别，生成每一帧图像的前景位置图，进而在后续进行目标检测时，可以结合该前景二值图准确定位每一帧图像中前景，进而更好的剔除背景信息，提升目标检测精度。

可选的，所述根据所述每一帧图像对应的历史参考帧图像生成所述每一帧图像对应的背景参考图像包括：

确定所述每一帧图像的前第一预设数量帧图像中的时序中值图；

将所述每一帧图像对应的时序中值图作为所述每一帧图像对应的背景参考图像；

或，

提取所述每一帧图像的前第一预设数量帧图像的特征信息；

获取所述每一帧图像的前第一预设数量帧图像的特征信息的平均特征信息；

根据所述每一帧图像对应的平均特征信息，生成所述每一帧图像对应的背景参考图像。

上述技术方案通过将每一帧图像对应的前第一预设数量帧图像中的时序中值图，或前第一预设数量帧图像的对应的平均特征信息重构得到的图像，作为每一帧图像对应的背景参考图像，可以实现对背景像素分布的准确表征，进而在后续进行目标检测时，可以结合该背景参考图像可以更好的剔除背景信息，提升目标检测精度。

可选的，所述目标重识别网络包括：特征提取模块和特征匹配模块；所述将所述每一帧图像中的目标图像和所述目标图像的位置信息输入目标重识别网络进行目标重识别，得到所述每一帧图像中的目标图像的目标标识信息包括：

按照所述多帧图像对应的时序，遍历所述每一帧图像中的目标图像；

在当前遍历到的目标图像为所述多帧图像中第一帧图像中的目标图像的情况下，生成所述第一帧图像中的目标图像的目标标识信息，将所述第一帧图像中的目标图像输入所述特征提取模块进行特征提取，得到所述第一帧图像中的目标图像的目标特征信息；

在当前遍历到的目标图像为所述多帧图像中非第一帧图像中的目标图像的情况下，将所述当前遍历到的目标图像输入所述特征提取模块进行特征提取，得到所述当前遍历到的目标图像的目标特征信息；

将所述当前遍历到的目标图像的目标特征信息和位置信息，以及遍历过的目标图像的目标特征信息和位置信息输入所述特征匹配模块进行特征匹配，得到所述当前遍历到的目标图像的目标标识信息。

可选的，所述将所述当前遍历到的目标图像的目标特征信息和位置信息，以及遍历过的目标图像的目标特征信息和位置信息输入所述特征匹配模块进行特征匹配，得到所述当前遍历到的目标图像的目标标识信息包括：

基于所述特征匹配模块计算所述当前遍历到的目标图像的目标特征信息与遍历过的目标图像的目标特征信息间的特征相似度；

基于所述特征匹配模块计算所述当前遍历到的目标图像的位置信息与遍历过的目标图像的位置信息间的位置相似度；

根据所述特征相似度和所述位置相似度确定所述遍历过的目标图像与所述当前遍历到的目标图像间的相似度；

在所述相似度中存在大于第二预设阈值的相似度的情况下，将最大相似度对应的遍历过的目标图像的目标标识信息作为所述当前遍历到的目标图像的目标标识信息；

在所述相似度中不存在大于所述第二预设阈值的相似度的情况下，为所述当前遍历到的目标图像重新生成目标标识信息。

上述目标重识别过程中，不仅结合了目标的目标特征信息间的相似度，还结合了目标的位置信息间的相似度，可以有效避免了在同一位置出现多个目标和目标高度运动，导致难以被识别而造成的跟踪失败的情况，大大提升目标重识别的精准性。

可选的，所述将所述每一帧图像、对应的前景二值图和对应的背景参考图像输入目标检测网络进行目标检测，得到所述每一帧图像中的目标图像和所述目标图像的位置信息包括：

对所述每一帧图像、对应的前景二值图和对应的背景参考图像进行合成处理，得到合成图像；

基于所述目标检测网络对所述合成图像进行目标检测，得到所述每一帧图像中的目标图像和所述目标图像的位置信息。

上述技术方案中，将需要进行目标检测的图像、该图像对应的前景二值图和对应的背景参考图像作为目标检测网络的输入，在进行目标检测过程中，可以更好地剔除背景信息，进而提升目标检测的精度。

可选的，所述方法还包括：

在所述目标的轨迹信息满足预设告警触发条件时，发出告警通知；

或，

基于所述目标的轨迹信息进行目标定位，得到目标定位信息。

上述技术方案上述实施例中，结合生成的目标的轨迹信息进行提前告警，可以有效避免抛物事件等造成的损失；且可以结合对目标的轨迹信息对应的运动方向和运动速度的分析，确定目标运动的起始位置信息或目标坠落的终点位置信息，以进行事后追责或提前预警。

可选的，所述方法还包括：

获取样本图像集、所述样本图像集中样本图像对应的前景二值图、对应的背景参考图像、对应的样本类别信息和对应的样本位置信息；

将所述样本图像集、所述样本图像集中样本图像对应的前景二值图和对应的背景参考图像输入第一预设神经网络进行目标检测，得到所述样本图像集对应的预测位置信息和预测类别信息；

基于所述样本类别信、所述预测类别信息、所述样本位置信息和所述预测位置信息，对所述第一预设神经网络进行反向传播，得到所述目标检测网络。

可选的，所述基于所述样本类别信、所述预测类别信息、所述样本位置信息和所述预测位置信息，对所述第一预设神经网络进行反向传播，得到所述目标检测网络包括：

根据所述样本类别信息和所述预测类别信息，确定类别损失；

根据所述样本位置信息和所述预测位置信息，确定位置损失；

根据所述类别损失和所述位置损失确定目标损失；

基于所述目标损失对所述第一预设神经网络进行反向传播，得到所述目标检测网络。

上述技术方案在目标检测网络的训练过程中，结合了样本图像、样本图像对应的前景二值图、对应的背景参考图像，可以更好的剔除背景信息，大大提升训练出的目标检测网络对目标的检测精度。

可选的，所述方法还包括：

获取样本目标图像集、所述样本目标图像集中样本目标的位置信息和所样本目标图像集中样本目标对应的样本目标标识信息；

将所述样本目标图像集和所述样本目标的位置信息输入第二预设神经网络进行目标重识别，得到所述样本目标图像集中样本目标对应的预测目标标识信息；

基于所述样本目标标识信息和所述预测目标标识信息对所述第二预设神经网络进行反向传播，得到所述目标重识别网络。

可选的，所述基于所述样本目标标识信息和所述预测目标标识信息对所述第二预设神经网络进行反向传播，得到所述目标重识别网络包括：

根据所述样本目标标识信息和所述预测目标标识信息，确定标识损失；

基于所述标识损失对所述第二预设神经网络进行反向传播，得到所述目标重识别网络。

上述技术方案在目标重识别网络训练过程中，在提取目标的特征(目标特征信息)的同时，还结合了目标的位置信息，可以有效避免了在同一位置出现多个目标和目标高度运动，导致难以被识别而造成的跟踪失败的情况，大大提升训练出的目标重识别网络的目标重识别精度。

根据本公开实施例的另一方面，提供一种轨迹生成装置，包括：

图像获取模块，用于获取多帧图像和所述多帧图像中每一帧图像对应的历史参考帧图像；

前景识别模块，用于基于所述每一帧图像对应的历史参考帧图像对所述每一帧图像进行前景识别，生成所述每一帧图像对应的前景二值图；

背景参考图像生成模块，用于根据所述每一帧图像对应的历史参考帧图像生成所述每一帧图像对应的背景参考图像；

第一目标检测模块，用于将所述每一帧图像、对应的前景二值图和对应的背景参考图像输入目标检测网络进行目标检测，得到所述每一帧图像中的目标图像和所述目标图像的位置信息，所述目标图像为包括目标的图像；

第一目标重识别模块，用于将所述每一帧图像中的目标图像和所述目标图像的位置信息输入目标重识别网络进行目标重识别，得到所述每一帧图像中的目标图像的目标标识信息；

目标的轨迹信息生成模块，用于基于所述目标标识信息和所述目标图像的位置信息生成所述目标的轨迹信息。

可选的，所述图像获取模块包括：

图像获取单元，用于获取原始视频中的当前帧图像和所述当前帧图像对应的历史参考帧图像；

前景识别单元，用于基于所述当前帧图像对应的历史参考帧图像对所述当前帧图像进行前景识别，生成所述当前帧图像对应的当前前景二值图；

背景参考图像生成单元，用于根据所述当前帧图像对应的历史参考帧图像生成所述当前帧图像对应的当前背景参考图像；

第一目标检测单元，用于将所述当前帧图像、所述当前前景二值图和所述当前背景参考图像输入所述目标检测网络进行目标检测，得到检测结果；

多帧图像确定单元，用于在所述检测结果指示所述当前帧图像包括目标的情况下，将包括目标的当前帧图像和所述包括目标的当前帧图像之后的第二预设数量帧图像作为所述多帧图像。

可选的，所述前景识别模块包括：

像素点匹配单元，用于将所述每一帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点进行匹配；

匹配次数确定单元，用于确定所述每一帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点间的匹配次数；

背景像素点确定单元，用于将匹配次数大于等于所述第一预设阈值的像素点作为背景像素点；

前景像素点确定单元，用于将匹配次数小于所述第一预设阈值的像素点作为前景像素点；

前景二值图生成单元，用于基于每一帧图像的背景像素点和前景像素点生成所述每一帧图像对应的前景二值图。

可选的，所述背景参考图像生成模块包括：

时序中值图确定单元，用于确定所述每一帧图像的前第一预设数量帧图像中的时序中值图；

背景参考图像确定单元，用于将所述每一帧图像对应的时序中值图作为所述每一帧图像对应的背景参考图像；

或，

第一特征提取单元，用于提取所述每一帧图像的前第一预设数量帧图像的特征信息；

平均特征信息获取单元，用于获取所述每一帧图像的前第一预设数量帧图像的特征信息的平均特征信息；

背景参考图像生成单元，用于根据所述每一帧图像对应的平均特征信息，生成所述每一帧图像对应的背景参考图像。

可选的，所述目标重识别网络包括：特征提取模块和特征匹配模块；所述第一目标重识别模块包括：

目标图像遍历单元，用于按照所述多帧图像对应的时序，遍历所述每一帧图像中的目标图像；

第一帧图像处理单元，用于在当前遍历到的目标图像为所述多帧图像中第一帧图像中的目标图像的情况下，生成所述第一帧图像中的目标图像的目标标识信息，将所述第一帧图像中的目标图像输入所述特征提取模块进行特征提取，得到所述第一帧图像中的目标图像的目标特征信息；

第二特征提取单元，用于在当前遍历到的目标图像为所述多帧图像中非第一帧图像中的目标图像的情况下，将所述当前遍历到的目标图像输入所述特征提取模块进行特征提取，得到所述当前遍历到的目标图像的目标特征信息；

特征匹配单元，用于将所述当前遍历到的目标图像的目标特征信息和位置信息，以及遍历过的目标图像的目标特征信息和位置信息输入所述特征匹配模块进行特征匹配，得到所述当前遍历到的目标图像的目标标识信息。

可选的，所述特征匹配单元包括：

特征相似度计算单元，用于基于所述特征匹配模块计算所述当前遍历到的目标图像的目标特征信息与遍历过的目标图像的目标特征信息间的特征相似度；

位置相似度计算单元，用于基于所述特征匹配模块计算所述当前遍历到的目标图像的位置信息与遍历过的目标图像的位置信息间的位置相似度；

相似度确定单元，用于根据所述特征相似度和所述位置相似度确定所述遍历过的目标图像与所述当前遍历到的目标图像间的相似度；

目标标识信息确定单元，用于在所述相似度中存在大于第二预设阈值的相似度的情况下，将最大相似度对应的遍历过的目标图像的目标标识信息作为所述当前遍历到的目标图像的目标标识信息；

目标标识信息生成单元，用于在所述相似度中不存在大于所述第二预设阈值的相似度的情况下，为所述当前遍历到的目标图像重新生成目标标识信息。

可选的，所述第一目标检测模块包括：

合成处理单元，用于对所述每一帧图像、对应的前景二值图和对应的背景参考图像进行合成处理，得到合成图像；

第二目标检测单元，用于基于所述目标检测网络对所述合成图像进行目标检测，得到所述每一帧图像中的目标图像和所述目标图像的位置信息。

可选的，所述装置还包括：

告警模块，用于在所述目标的轨迹信息满足预设告警触发条件时，发出告警通知；

或，

目标定位模块，用于基于所述目标的轨迹信息进行目标定位，得到目标定位信息。

可选的，所述装置还包括：

第一训练数据获取模块，用于获取样本图像集、所述样本图像集中样本图像对应的前景二值图、对应的背景参考图像、对应的样本类别信息和对应的样本位置信息；

第二目标检测模块，用于将所述样本图像集、所述样本图像集中样本图像对应的前景二值图和对应的背景参考图像输入第一预设神经网络进行目标检测，得到所述样本图像集对应的预测位置信息和预测类别信息；

第一反向传播模块，用于基于所述样本类别信、所述预测类别信息、所述样本位置信息和所述预测位置信息，对所述第一预设神经网络进行反向传播，得到所述目标检测网络。

可选的，所述第一反向传播模块包括：

类别损失确定单元，用于根据所述样本类别信息和所述预测类别信息，确定类别损失；

位置损失确定单元，用于根据所述样本位置信息和所述预测位置信息，确定位置损失；

目标损失确定单元，用于根据所述类别损失和所述位置损失确定目标损失；

第一反向传播单元，用于基于所述目标损失对所述第一预设神经网络进行反向传播，得到所述目标检测网络。

可选的，所述装置还包括：

第二训练数据获取模块，用于获取样本目标图像集、所述样本目标图像集中样本目标的位置信息和所样本目标图像集中样本目标对应的样本目标标识信息；

第二目标重识别模块，用于将所述样本目标图像集和所述样本目标的位置信息输入第二预设神经网络进行目标重识别，得到所述样本目标图像集中样本目标对应的预测目标标识信息；

第二反向传播模块，用于基于所述样本目标标识信息和所述预测目标标识信息对所述第二预设神经网络进行反向传播，得到所述目标重识别网络。

可选的，所述第二反向传播模块包括：

标识损失确定单元，用于根据所述样本目标标识信息和所述预测目标标识信息，确定标识损失；

第二反向传播子单元，用于基于所述标识损失对所述第二预设神经网络进行反向传播，得到所述目标重识别网络。

根据本公开实施例的另一方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述任一项所述的方法。

根据本公开实施例的另一方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的上述任一所述方法。

根据本公开实施例的另一方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的上述任一所述方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种应用环境的示意图；

图2是根据一示例性实施例示出的一种轨迹生成方法的流程图；

图3是根据一示例性实施例示出的一种获取多帧图像的流程示意图；

图4是根据一示例性实施例示出的一种基于当前帧图像对应的历史参考帧图像对当前帧图像进行前景识别，生成当前帧图像对应的当前前景二值图的流程示意图；

图5是根据一示例性实施例示出的一种训练目标检测网络的流程图；

图6是根据一示例性实施例示出的一种训练目标重识别网络的流程图；

图7是根据一示例性实施例示出的一种将每一帧图像中的目标图像和目标图像的位置信息输入目标重识别网络进行目标重识别，得到每一帧图像中的目标图像的目标标识信息的流程图；

图8是根据一示例性实施例示出的一种轨迹生成装置框图；

图9是根据一示例性实施例示出的一种用于轨迹生成的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器100和终端200。

在一个可选的实施例中，服务器100可以用于训练可以进行目标检测的目标检测网络以及用于训练可以进行目标重识别的目标重识别网络。具体的，服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一个可选的实施例中，终端200可以结合服务器100训练出的目标检测网络和目标重识别网络生成目标的轨迹信息。具体的，终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作***可以包括但不限于安卓***、IOS***、linux、windows等。

此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如轨迹信息的生成也可以在服务器实现，可选的，服务器可以将生成的轨迹信息发送给终端200进行展示等。

本说明书实施例中，上述服务器100以及终端200可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。

图2是根据一示例性实施例示出的一种轨迹生成方法的流程图，如图2所示，该轨迹生成方法用于终端、服务器、边缘计算节点等电子设备中，具体的，可以包括：

S201：获取多帧图像和多帧图像中每一帧图像对应的历史参考帧图像。

在一个具体的实施例中，多帧图像可以为预先拍摄的视频中的多帧连续视频图像，也可以为实时拍摄的多帧连续视频图像。每一帧图像对应的历史参考帧图像可以包括该帧图像的前第一预设数量帧图像。具体的，第一预设数量可以结合实际应用预先设置，例如可以为10。

在一个可选的实施例中，在多帧图像为实时拍摄的多帧连续视频图像的情况下，例如，需要结合抛物轨迹，进行提前预警的场景中，往往会对实时拍摄的每一帧图像进行目标检测，当检测到目标的情况下，会将该帧图像和该帧图像以后一定数量帧作为用于生成目标的轨迹信息的多帧图像。相应的，如图3所示，上述获取多帧图像可以包括：

S301：获取原始视频中的当前帧图像和当前帧图像对应的历史参考帧图像。

在一个具体的实施例中，原始视频可以为实时采集的视频，当然，在目标对应的时间发生时间不详细的情况下，也可以通过对原视频中每一帧图像进行目标检测，以记录有目标的多帧图像。相应的，原始视频也可以为预先拍摄的视频。具体的，当前帧图像对应的历史参考帧图像可以包括该当前帧图像的前第一预设数量帧图像。

S303：基于当前帧图像对应的历史参考帧图像对当前帧图像进行前景识别，生成当前帧图像对应的当前前景二值图。

在一个具体的实施例中，在生成一个图像的前景二值图的过程中，可以结合KNN(KNear Neighbor，最邻近结点算法)算法，具体的，KNN中每个样本都可以用它最接近的k个邻居来代表，一般的，一个图像对应的历史参考帧图像为多帧反映该图像背景信息的图像，这多帧历史参考帧图像中相同位置的像素点可以看作一个类别(即背景)的，相应的，可以通过判断某一图像中任意位置的像素点是否与其历史参考帧图像中相应位置的像素点为同类别，来提取出不满足背景像素值分布的前景二值图。在一个具体的实施例中，如图4所示，基于当前帧图像对应的历史参考帧图像对当前帧图像进行前景识别，生成当前帧图像对应的当前前景二值图可以包括：

S3031：将当前帧图像中每一像素点与当前帧图像对应的前第一预设数量帧图像中对应像素点进行匹配；

S3033：确定当前帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点间的匹配次数；

S3035：在当前帧图像中任一像素点对应的匹配次数大于等于第一预设阈值的情况下，将匹配次数大于等于第一预设阈值的像素点作为当前帧图像的背景像素点；

S3037：在当前帧图像中任一像素点对应的匹配次数小于第一预设阈值的情况下，将匹配次数小于第一预设阈值的像素点作为当前帧图像的前景像素点；

S3039：基于当前帧图像的背景像素点和前景像素点生成当前前景二值图。

在一个具体的实施例中，可以将当前帧图像中任意位置的像素点分别与其对应的前第一预设数量帧图像中对应位置的像素点进行匹配，可选的，可通过计算像素点间的距离来确定两个像素点是否匹配。

在一个具体的实施例中，两个像素点间的距离可以表征两个像素点的相似程度，相应的，两个像素点间的距离越近，这两个像素点的相似程度越高；反之，两个像素点间的距离越远，这两个像素点的相似程度越低。可选的，两个像素点间的距离可以包括但不限于两个像素点间的欧式距离，曼哈顿距离、余弦距离等。

在一个具体的实施例中，在两个像素点间的距离小于等于预设距离阈值的情况下，可以确定这两个像素点匹配。具体的，预设距离阈值可以结合实际应用对两个匹配的像素点间相似程度的要求预先设置。一般的，预设距离阈值越大，两个匹配的像素点间的相似程度越高。

在一个具体的实施例中，可以统计当前帧图像中每一像素点与其对应的前第一预设数量帧图像中对应像素点间的匹配次数，在任一像素点对应的匹配次数大于等于第一预设阈值的情况下，该匹配次数大于等于第一预设阈值的像素点属于满足背景像素值分布的背景像素点；反之，在任一像素点对应的匹配次数小于第一预设阈值的情况下，该匹配次数小于属于不满足背景像素值分布的前景像素点；进一步的，可以结合当前帧图像中前景像素点和背景像素点，生成该当前帧图像的前景二值图(即上述当前前景二值图)。

在一个可选的实施例中，在生成前景二值图的时候，前景像素点可以为白色，背景像素点可以为黑色。

S305：根据当前帧图像对应的历史参考帧图像生成当前帧图像对应的当前背景参考图像。

在一个可选的实施例中，上述根据当前帧图像对应的历史参考帧图像生成当前帧图像对应的背景参考图像可以包括：确定当前帧图像的前第一预设数量帧图像中的时序中值图；将当前帧图像对应的时序中值图作为当前帧图像对应的背景参考图像。

在实际应用中，第一预设数量帧图像为视频中提取的图像，即这第一预设数量帧图像具有时序(采集时间的先后顺序)；相应的，可以按照时序将排序在中间的那帧图像作为时序中值图。

在另一个可选的实施例中，上述根据当前帧图像对应的历史参考帧图像生成当前帧图像对应的背景参考图像可以包括：提取当前帧图像的前第一预设数量帧图像的特征信息；获取当前帧图像的前第一预设数量帧图像的特征信息的平均特征信息；根据当前帧图像对应的平均特征信息生成当前帧图像对应的背景参考图像。

在一个具体的实施例中，可以结合预先设置的编码网络进行图像的特征信息提取，并获取第一预设数量帧图像的特征信息的平均特征信息，接着，结合解码网络对平均特征信息进行图像重构，生成当前帧图像对应的背景参考图像。

S307：将当前帧图像、当前前景二值图和当前背景参考图像输入目标检测网络进行目标检测，得到检测结果。

在一个具体的实施例中，目标检测网络可以为预先基于样本图像集、样本图像集中样本图像对应的前景二值图、对应的背景参考图像、对应的样本类别信息和对应的样本位置信息对第一预设神经网络进行目标检测训练得到的。在一个具体的实施例中，可以预先训练出目标检测网络，具体的，如图5所示，目标检测网络可以采用下述方式训练：

S501：获取样本图像集、样本图像集中样本图像对应的前景二值图、对应的背景参考图像、对应的样本类别信息和对应的样本位置信息；

S503：将样本图像集、样本图像集中样本图像对应的前景二值图和对应的背景参考图像输入第一预设神经网络进行目标检测，得到样本图像集对应的预测位置信息和预测类别信息；

S505：基于样本类别信、预测类别信息、样本位置信息和预测位置信息，对第一预设神经网络进行反向传播，得到目标检测网络。

在一个具体的实施例中，上述基于样本类别信、预测类别信息、样本位置信息和预测位置信息，对第一预设神经网络进行反向传播，得到目标检测网络可以包括：根据样本类别信息和预测类别信息，确定类别损失；根据样本位置信息和预测位置信息，确定位置损失；根据类别损失和位置损失确定目标损失；基于目标损失对第一预设神经网络进行反向传播，得到目标检测网络。

在一个具体的实施例中，样本图像集可以包括大量包括目标的正样本(样本图像)和不包括目标的负样本(样本图像)。在一个具体的实施例中，目标可以为抛物或移动中的车辆等具有运动轨迹的对象。样本图像的样本类别信息可以为该样本图像中包括目标，或不包括目标，其中，不包括目标的样本图像中的像素点均属于背景像素点，相应的，不包括目标的样本图像的样本类别信息也可以为背景。相应的，样本类别信息为包括目标的样本图像可以为正样本，反之，样本类别信息为不包括目标的样本图像可以为负样本。具体的，样本图像的样本位置信息可以包括目标的形状大小，以及目标在样本图像中的相对位置信息。相应的，负样本的样本位置信息可以为0。负样本对应的前景二值图可以为全黑的背景图，负样本对应的背景参考图像即该负样本本身。

在实际应用中，不同样本图像中目标的形状大小往往不同，相应的，在目标检测训练过程中，可以先将样本图像集中样本图像的真实目标框(即样本位置信息)与第一预设神经网络中的预设的先验框进行匹配，与之匹配的先验框将负责预测该样本图像中的目标，进而提高训练速度。

在一个可选的实施例中，尽管一个真实目标框可以与多个先验框匹配，但是真实目标框相对先验框还是太少了，所以负样本相对正样本会很多。为了保证正负样本尽量平衡，可以对负样本进行抽样，具体的，在抽样时按照置信度损失(预测为背景的置信度越小，损失越大)进行降序排列，选取损失的较大的k个负样本参与训练，以保证正负样本比例。

本说明书实施例中，样本图像集中样本图像对应的前景二值图、对应的背景参考图像的具体获取方式，可以参见上述当前帧图像对应的当前前景二值图和当前背景参考图像的相关步骤，在此不再赘述。

在一个具体的实施例中，将样本图像集中每一样本图像和对应的前景二值图，以及对应的背景参考图输入第一预设神经网络过程中，可以通过设置三通道的方式，先对每一样本图像和对应的前景二值图，以及对应的背景参考图进行合成处理，得到样本合成图像，然后，基于第一预设神经网络对样本合成图像进行目标检测。具体的，第一预设神经网络可以为待训练的目标检测网络。

在一个具体的实施例中，第一预设神经网络可以输出样本图像中预测框(即目标所在区域的图像)相对于先验框的位置偏移信息和缩放系数，相应的，结合预测框相对于先验框的位置偏移信息和缩放系数，对先验框进行位置移动和缩放，可以得到预测框的预测位置信息。

在一个可选的实施例中，在训练过程中，为了提升训练过程中的预测精度和速度，对于每个样本图像对应的每个预测框，可以根据类别置信度(包括目标的概率)确定其预测类别信息(类别置信度最大者)，并过滤掉属于背景的预测框(即根据预设设置的置信度阈值(例如0.5)过滤掉类别置信度较低的预测框)。对于剩余的预测框，结合先验框，得到其真实的预测位置信息之后，还可以结合类别置信度进行降序排列，然后仅保留top-k(如400)个预测框。最后，将置信度大于置信度阈值的预测框分别与置信度最大的预测框进行重叠度计算，过滤掉那些重叠度较大的预测框，将过滤后的预测框对应的预设位置信息和预测类别信息作为第一预设神经网络最终的输出，用于进行后续损失的计算。

具体的，在根据样本位置信息和预测位置信息，确定位置损失，以及根据样本类别信息和预测类别信息，确定类别损失的过程中，可以结合第一预设损失函数，来确定位置损失和类别损失。

本说明书实施例中，上述第一预设损失函数可以包括但不限于交叉熵损失函数、逻辑损失函数、Hinge(铰链)损失函数、指数损失函数等，本说明书实施例并不以上述为限。且用于确定位置损失和类别损失的损失函数可以相同，也可以不同。

在一个具体的实施例中，在得到位置损失和类别损失之后，可以对位置损失和类别损失进行加权计算，得到目标损失。具体的，位置损失和类别损失的权重可以结合实际应用需求进行设置。

在一个可选的实施例中，基于目标损失对第一预设神经网络进行反向传播，得到目标检测网络可以包括基于目标损失，调整第一预设神经网络中的网络参数，基于调整后的第一预设神经网络重复上述目标检测和确定目标损失的步骤，至目标损失满足第一预设条件；在目标损失满足第一预设条件的情况下，将当前的第一预设神经网络作为目标检测网络。

在一个具体的实施例中，目标损失满足第一预设条件可以为目标损失小于等于第一损失阈值，或前后两次训练过程中对应的目标损失与上一次训练后对应的目标损失间的差值小于第一损失差阈值。本说明书实施例中，第一损失阈值和第一损失差阈值可以为结合实际训练需求进行设置。

上述实施例中，在目标检测网络的训练过程中，结合了样本图像、样本图像对应的前景二值图、对应的背景参考图像，可以更好的剔除背景信息，大大提升训练出的目标检测网络对目标的检测精度。

进一步的，将当前帧图像、当前前景二值图和当前背景参考图像输入目标检测网络进行目标检测，可以得到检测结果，具体的，检测结果可以包括检测框和检测框对应的置信度；具体的，其中检测框可以为预测出的当前帧图像中的目标所在区域的图像，检测框对应的置信度可以为该检测框属于目标所在区域的图像的概率；相应的，可以预先结合实际应用中对目标检测的精度需求，设置一个置信度阈值，在检测框对应的置信度小于置信度阈值的情况下，该检测结果指示当前帧图像不包括目标；反之，在检测框对应的置信度大于等于置信度阈值的情况下，该检测结果指示当前帧图像包括目标。

S309：在检测结果指示当前帧图像包括目标的情况下，将包括目标的当前帧图像和包括目标的当前帧图像之后的第二预设数量帧图像作为多帧图像。

上述实施例中，通过对原视频中提取的每一帧当前帧图像进行目标检测过程中，结合该帧图像对应的历史参考帧图像来刻画该帧图像的背景像素分布，进而可以对每一帧图像进行前景识别，生成能够确的定位当前帧图像中前景的当前前景二值图，同时结合历史参考帧图像来生成有效表征背景像素分布的当前背景参考图像，并在对当前帧图像进行目标检测时，结合与其对应的当前前景二值图和当前背景参考图像，可以更好地剔除背景信息，进而精准的检测出目标，进而将能检测出目标的当前帧图像和该当前帧图像之后的第二预设数量帧图像作为记录目标运动过程的多帧图像。

S203：基于每一帧图像对应的历史参考帧图像对每一帧图像进行前景识别，生成每一帧图像对应的前景二值图。

在一个具体的实施例中，每一帧图像对应的历史参考帧图像可以为该帧图像的前第一预设数量帧图像。上述基于每一帧图像对应的历史参考帧图像对每一帧图像进行前景识别，生成每一帧图像对应的前景二值图可以包括：

将每一帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点进行匹配；

确定每一帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点间的匹配次数；

在每一帧图像中任一像素点对应的匹配次数大于等于第一预设阈值的情况下，将匹配次数大于等于第一预设阈值的像素点作为背景像素点；

在每一帧图像中任一像素点对应的匹配次数小于第一预设阈值的情况下，将匹配次数小于第一预设阈值的像素点作为前景像素点；

基于每一帧图像的背景像素点和前景像素点生成每一帧图像对应的前景二值图。

本说明书实施例中，生成每一帧图像对应的前景二值图的具体细化可以参见上述生成当前帧图像对应的当前前景二值图的具体细化，在此不再赘述。

上述实施例中，通过每一帧图像对应的历史参考帧图像来刻画每一帧图像的背景像素分布，进而可以对每一帧图像进行前景识别，生成每一帧图像的前景位置图，进而在后续进行目标检测时，可以结合该前景二值图准确定位每一帧图像中前景，进而更好的剔除背景信息，提升目标检测精度。

在一个可选的实施例中，在结合目标的轨迹信息进行事后追责的场景中，例如抛物事后追责的场景中，抛物事件发生的大概时间(事件发生时间)往往是预先知道的，相应的，可以结合抛物事件发生的时间信息，从原始视频中提取记录有抛物事件的多帧图像，以及从原始视频中提取多帧图像中每一帧图像前第一预设数量帧图像作为该帧图像对应的历史参考帧图像。相应的，上述获取多帧图像可以包括：

1)确定目标对应的事件发生时间；

2)基于时间发生时间从原始视频中提取多帧图像；

在一个具体的实施例中，目标对应的事件发生时间可以为目标运动过程的时间信息，例如可以包括事件发生的起始时间和事件发生的结束时间。相应的，上述原始视频可以至少包括记录有目标对应事件的视频片段和该视频片段之前第一预设数量帧图像的视频。在一个具体的实施例中，例如，原始视频可以为某一小区某一区域在发生抛物事件那天的监控视频，相应的，上述多帧图像可以为该监控视频中，发生抛物事件那段时间内的多帧视频图像。

上述实施例中，通过目标对应的事件发生时间，可以精准的提取记录目标运动过程的多帧图像。

S205：根据每一帧图像对应的历史参考帧图像生成每一帧图像对应的背景参考图像。

在一个可选的实施例中，根据每一帧图像对应的历史参考帧图像生成每一帧图像对应的背景参考图像可以包括：确定每一帧图像的前第一预设数量帧图像中的时序中值图；将每一帧图像对应的时序中值图作为每一帧图像对应的背景参考图像。

在另一个可选的实施例中，根据每一帧图像对应的历史参考帧图像生成每一帧图像对应的背景参考图像可以包括：提取每一帧图像的前第一预设数量帧图像的特征信息；获取每一帧图像的前第一预设数量帧图像的特征信息的平均特征信息；根据每一帧图像对应的平均特征信息，生成每一帧图像对应的背景参考图像。

本说明书实施例中，生成每一帧图像对应的背景参考图像的具体细化可以参见上述生成当前帧图像对应的当前背景参考图像的具体细化，在此不再赘述。

上述实施例中，通过将每一帧图像对应的前第一预设数量帧图像中的时序中值图，或前第一预设数量帧图像的对应的平均特征信息重构得到的图像，作为每一帧图像对应的背景参考图像，可以实现对背景像素分布的准确表征，进而在后续进行目标检测时，可以结合该背景参考图像可以更好的剔除背景信息，提升目标检测精度。

S207：将每一帧图像、对应的前景二值图和对应的背景参考图像输入目标检测网络进行目标检测，得到每一帧图像中的目标图像和目标图像的位置信息。

在一个具体的实施例中，将每一帧图像、对应的前景二值图和对应的背景参考图像输入目标检测网络进行目标检测，得到每一帧图像中的目标图像和目标图像的位置信息可以包括：对每一帧图像、对应的前景二值图和对应的背景参考图像进行合成处理，得到合成图像；基于目标检测网络对合成图像进行目标检测，得到每一帧图像中的目标图像和目标图像的位置信息。

具体的，目标图像可以为包括目标的图像。可选的，目标图像可以为目标所在区域的图像。目标标图像的位置信息可以为目标在对应帧图像中的相对位置信息。

上述实施例中，将需要进行目标检测的图像、该图像对应的前景二值图和对应的背景参考图像作为目标检测网络的输入，在进行目标检测过程中，可以更好地剔除背景信息，进而提升目标检测的精度。

S209：将每一帧图像中的目标图像和目标图像的位置信息输入目标重识别网络进行目标重识别，得到每一帧图像中的目标图像的目标标识信息。

在一个具体的实施例中，目标重识别网络可以为预先基于样本目标图像集、样本目标图像集中样本目标的位置信息和本目标图像集中样本目标对应的样本目标标识信息对第二预设神经网络进行目标重识别训练得到的。在一个具体的实施例中，可以预先训练出目标重识别网络，具体的，如图6所示，目标重识别网络可以采用下述方式训练：

S601：获取样本目标图像集、样本目标图像集中样本目标的位置信息和所样本目标图像集中样本目标对应的样本目标标识信息。

在一个具体的实施例中，样本目标图像集可以包括从样本图像集中提取的目标所在区域的图像。样本目标的位置信息可以为样本目标在样本图像中的相对位置信息。

S603：将样本目标图像集和样本目标的位置信息输入第二预设神经网络进行目标重识别，得到样本目标图像集中样本目标对应的预测目标标识信息；

S605：基于样本目标标识信息和预测目标标识信息对第二预设神经网络进行反向传播，得到目标重识别网络。

在一个具体的实施例中，上述基于样本目标标识信息和预测目标标识信息对第二预设神经网络进行反向传播，得到目标重识别网络包括：根据样本目标标识信息和预测目标标识信息，确定标识损失；基于标识损失对第二预设神经网络进行反向传播，得到目标重识别网络。

具体的，在根据样本目标标识信息和预测目标标识信息，确定标识损失的过程中，可以结合第二预设损失函数，来确定标识损失。

本说明书实施例中，上述第二预设损失函数可以包括但不限于交叉熵损失函数、逻辑损失函数、Hinge(铰链)损失函数、指数损失函数等，本说明书实施例并不以上述为限。

在一个具体的实施例中，第二预设神经网络可以为待训练的目标重识别网络。

在一个具体的实施例中，基于样本目标标识信息和预测目标标识信息对第二预设神经网络进行反向传播，得到目标重识别网络可以包括：基于标识损失，调整第二预设神经网络中的网络参数，基于调整后的第二预设神经网络重复上述目标重识别和确定标识损失的步骤，至标识损失满足第二预设条件；在标识损失满足第二预设条件的情况下，将当前的第二预设神经网络作为目标重识别网络。

在一个可选的实施例中，标识损失满足第二预设条件可以为标识损失小于等于第二损失阈值，或前后两次训练过程中对应的标识损失与上一次训练后对应的表述损失间的差值小于第二损失差阈值。本说明书实施例中，第二损失阈值和第二损失差阈值可以为结合实际训练需求进行设置。

上述实施例中，在目标重识别网络训练过程中，在提取目标的特征(目标特征信息)的同时，还结合了目标的位置信息，可以有效避免了在同一位置出现多个目标和目标高度运动，导致难以被识别而造成的跟踪失败的情况，大大提升训练出的目标重识别网络的目标重识别精度。

在一个具体的实施例中，目标重识别网络可以包括：特征提取模块和特征匹配模块；如图7所示，将每一帧图像中的目标图像和目标图像的位置信息输入目标重识别网络进行目标重识别，得到每一帧图像中的目标图像的目标标识信息可以包括：

S2091：按照多帧图像对应的时序，遍历每一帧图像中的目标图像；

S2093：在当前遍历到的目标图像为多帧图像中第一帧图像中的目标图像的情况下，生成第一帧图像中的目标图像的目标标识信息，将第一帧图像中的目标图像输入特征提取模块进行特征提取，得到第一帧图像中的目标图像的目标特征信息；

S2095：在当前遍历到的目标图像为多帧图像中非第一帧图像中的目标图像的情况下，将当前遍历到的目标图像输入特征提取模块进行特征提取，得到当前遍历到的目标图像的目标特征信息；

S2097：将当前遍历到的目标图像的目标特征信息和位置信息，以及遍历过的目标图像的目标特征信息和位置信息输入特征匹配模块进行特征匹配，得到当前遍历到的目标图像的目标标识信息。

在实际应用中，以目标为抛物为例，由于日常生活中抛物往往各式各样。在同一时刻拍摄的图像中也可能存在一个或多个抛物，在检测到抛物后，为了跟踪抛物的运动轨迹，可以结合检测出的抛物图像进行抛物再识别。

在一个具体的实施例中，多帧图像按照时序具有一定的顺序，可以按照时序来遍历多帧图像中的目标图像；并将遍历到的目标图像输入特征提取模块进行特征提取，得到当前遍历到的目标图像的目标特征信息；然后，将当前遍历到的目标图像的目标特征信息和位置信息，以及遍历过的目标图像的目标特征信息和位置信息输入特征匹配模块进行特征匹配，得到当前遍历到的目标图像的目标标识信息。具体的，上述将当前遍历到的目标图像的目标特征信息和位置信息，以及遍历过的目标图像的目标特征信息和位置信息输入特征匹配模块进行特征匹配，得到当前遍历到的目标图像的目标标识信息可以包括：

1)基于特征匹配模块计算当前遍历到的目标图像的目标特征信息与遍历过的目标图像的目标特征信息间的特征相似度；

2)基于特征匹配模块计算当前遍历到的目标图像的位置信息与遍历过的目标图像的位置信息间的位置相似度；

3)根据特征相似度和位置相似度确定遍历过的目标图像与当前遍历到的目标图像间的相似度；

4)在相似度中存在大于第二预设阈值的相似度的情况下，将最大相似度对应的遍历过的目标图像的目标标识信息作为当前遍历到的目标图像的目标标识信息；

5)在相似度中不存在大于第二预设阈值的相似度的情况下，为当前遍历到的目标图像重新生成目标标识信息。

在一个具体的实施例中，两个目标图像的目标特征信息间的特征相似度可以表征两个目标图像的目标特征信息的相似程度，在一个具体的实施例中。特征相似度可以包括但不限于目标特征信息间的欧式距离，曼哈顿距离、余弦距离等。

在一个具体的实施例中，两个目标图像的位置信息间的位置相似度可以表征两个目标图像的位置信息的相似程度，在一个具体的实施例中。位置相似度可以包括但不限于位置信息间的欧式距离，曼哈顿距离、余弦距离等。

在一个具体的实施例中，可以对两个目标图像对应的位置相似度和特征相似度进行加权，得到两个目标图像间的相似度。具体的，第二预设阈值可以为预先设置的用来判断两个目标图像中的目标是否属于相同目标的相似度下限。相应的，在遍历过的目标图像中存在与当前遍历到的目标图像间的相似度大于第二预设阈值的目标图像的情况下，可以将最大相似度对应的遍历过的目标图像的目标标识信息作为当前遍历到的目标图像的目标标识信息。在遍历过的目标图像中不存在与当前遍历到的目标图像间的相似度大于第二预设阈值的目标图像的情况下，可以为当前遍历到的目标图像重新生成目标标识信息。

上述实施例中，在目标重识别过程中，不仅结合了目标的目标特征信息间的相似度，还结合了目标的位置信息间的相似度，可以有效避免了在同一位置出现多个目标和目标高度运动，导致难以被识别而造成的跟踪失败的情况，大大提升目标重识别的精准性。

S211：基于目标标识信息和目标图像的位置信息生成目标的轨迹信息。

在一个具体的实施例中，由于多帧图像中可能存在一个或多个目标，相应的，可以将同一目标标识信息对应的目标图像的位置信息按照对应的时序，拟合成一个目标的轨迹信息。

在一个具体的实施例中，上述方法还可以包括：

在目标的轨迹信息满足预设告警触发条件时，发出告警通知。

在实际应用中，不同目标的运动轨迹既有不同的特点，以抛物为例，抛物对应的轨迹信息往往满足向下加速的特点。可选的，目标的轨迹信息满足预设告警触发条件可以包括目标的轨迹信息对应的运动特点为向下加速。具体的，可以结合对目标的轨迹信息的斜率计算来判断其对应的运动特点是否为向下加速。

上述实施例中，结合生成的目标的轨迹信息进行提前告警，可以有效避免抛物事件等造成的损失。

在一个具体的实施例中，上述方法还可以包括：

基于目标的轨迹信息进行目标定位，得到目标定位信息。

在实际应用中，可以结合对目标的轨迹信息对应的运动方向和运动速度的分析，确定目标运动的起始位置信息或目标坠落的终点位置信息，以进行事后追责或提前预警。

由以上本说明书实施例提供的技术方案可见，本说明书中通过每一帧图像对应的历史参考帧图像来刻画每一帧图像的背景像素分布，进而可以对每一帧图像进行前景识别，生成能够准确定位每一帧图像中前景的前景二值图，同时结合历史参考帧图像来生成有效表征背景像素分布的背景参考图像，并在对每一帧图像进行目标检测时，结合与其对应的前景二值图和背景参考图像，可以更好地剔除背景信息，进而提升目标检测的精度，接着结合目标图像和目标图像的位置信息进行目标重识别，可以有效避免了在同一位置出现多个目标和目标高度运动，导致难以被识别而造成的跟踪失败的情况，大大目标重识别的精准性，进而准确的生成能够有反映目标运动过程的轨迹信息，大大提升了目标追踪的精准性。

图8是根据一示例性实施例示出的一种轨迹生成装置框图。参照图8，该装置包括：

图像获取模块810，可以用于获取多帧图像和多帧图像中每一帧图像对应的历史参考帧图像；

前景识别模块820，可以用于基于每一帧图像对应的历史参考帧图像对每一帧图像进行前景识别，生成每一帧图像对应的前景二值图；

背景参考图像生成模块830，可以用于根据每一帧图像对应的历史参考帧图像生成每一帧图像对应的背景参考图像；

第一目标检测模块840，可以用于将每一帧图像、对应的前景二值图和对应的背景参考图像输入目标检测网络进行目标检测，得到每一帧图像中的目标图像和目标图像的位置信息，所述目标图像为包括目标的图像；

第一目标重识别模块850，可以用于将每一帧图像中的目标图像和目标图像的位置信息输入目标重识别网络进行目标重识别，得到每一帧图像中的目标图像的目标标识信息；

目标的轨迹信息生成模块860，可以用于基于目标标识信息和目标图像的位置信息生成目标的轨迹信息。

可选的，图像获取模块810包括：

图像获取单元，用于获取原始视频中的当前帧图像和当前帧图像对应的历史参考帧图像；

前景识别单元，用于基于当前帧图像对应的历史参考帧图像对当前帧图像进行前景识别，生成当前帧图像对应的当前前景二值图；

背景参考图像生成单元，用于根据当前帧图像对应的历史参考帧图像生成当前帧图像对应的当前背景参考图像；

第一目标检测单元，用于将当前帧图像、当前前景二值图和当前背景参考图像输入目标检测网络进行目标检测，得到检测结果；

多帧图像确定单元，用于在检测结果指示当前帧图像包括目标的情况下，将包括目标的当前帧图像和包括目标的当前帧图像之后的第二预设数量帧图像作为多帧图像。

可选的，前景识别模块820包括：

像素点匹配单元，用于将每一帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点进行匹配；

匹配次数确定单元，用于确定每一帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点间的匹配次数；

背景像素点确定单元，用于在每一帧图像中任一像素点对应的匹配次数大于等于第一预设阈值的情况下，将匹配次数大于等于第一预设阈值的像素点作为背景像素点；

前景像素点确定单元，用于在每一帧图像中任一像素点对应的匹配次数小于第一预设阈值的情况下，将匹配次数小于第一预设阈值的像素点作为前景像素点；

前景二值图生成单元，用于基于每一帧图像的背景像素点和前景像素点生成每一帧图像对应的前景二值图。

可选的，背景参考图像生成模块830包括：

时序中值图确定单元，用于确定每一帧图像的前第一预设数量帧图像中的时序中值图；

背景参考图像确定单元，用于将每一帧图像对应的时序中值图作为每一帧图像对应的背景参考图像；

或，

第一特征提取单元，用于提取每一帧图像的前第一预设数量帧图像的特征信息；

平均特征信息获取单元，用于获取每一帧图像的前第一预设数量帧图像的特征信息的平均特征信息；

背景参考图像生成单元，用于根据每一帧图像对应的平均特征信息，生成每一帧图像对应的背景参考图像。

可选的，目标重识别网络包括：特征提取模块和特征匹配模块；第一目标重识别模块850包括：

目标图像遍历单元，用于按照多帧图像对应的时序，遍历每一帧图像中的目标图像；

第一帧图像处理单元，用于在当前遍历到的目标图像为多帧图像中第一帧图像中的目标图像的情况下，生成第一帧图像中的目标图像的目标标识信息，将第一帧图像中的目标图像输入特征提取模块进行特征提取，得到第一帧图像中的目标图像的目标特征信息；

第二特征提取单元，用于在当前遍历到的目标图像为多帧图像中非第一帧图像中的目标图像的情况下，将当前遍历到的目标图像输入特征提取模块进行特征提取，得到当前遍历到的目标图像的目标特征信息；

特征匹配单元，用于将当前遍历到的目标图像的目标特征信息和位置信息，以及遍历过的目标图像的目标特征信息和位置信息输入特征匹配模块进行特征匹配，得到当前遍历到的目标图像的目标标识信息。

可选的，特征匹配单元包括：

特征相似度计算单元，用于基于特征匹配模块计算当前遍历到的目标图像的目标特征信息与遍历过的目标图像的目标特征信息间的特征相似度；

位置相似度计算单元，用于基于特征匹配模块计算当前遍历到的目标图像的位置信息与遍历过的目标图像的位置信息间的位置相似度；

相似度确定单元，用于根据特征相似度和位置相似度确定遍历过的目标图像与当前遍历到的目标图像间的相似度；

目标标识信息确定单元，用于在相似度中存在大于第二预设阈值的相似度的情况下，将最大相似度对应的遍历过的目标图像的目标标识信息作为当前遍历到的目标图像的目标标识信息；

目标标识信息生成单元，用于在相似度中不存在大于第二预设阈值的相似度的情况下，为当前遍历到的目标图像重新生成目标标识信息。

可选的，第一目标检测模块840包括：

合成处理单元，用于对每一帧图像、对应的前景二值图和对应的背景参考图像进行合成处理，得到合成图像；

第二目标检测单元，用于基于目标检测网络对合成图像进行目标检测，得到每一帧图像中的目标图像和目标图像的位置信息。

可选的，上述装置还包括：

告警模块，用于在目标的轨迹信息满足预设告警触发条件时，发出告警通知；

或，

目标定位模块，用于基于目标的轨迹信息进行目标定位，得到目标定位信息。

可选的，上述装置还包括：

第一训练数据获取模块，用于获取样本图像集、样本图像集中样本图像对应的前景二值图、对应的背景参考图像、对应的样本类别信息和对应的样本位置信息；

第二目标检测模块，用于将样本图像集、样本图像集中样本图像对应的前景二值图和对应的背景参考图像输入第一预设神经网络进行目标检测，得到样本图像集对应的预测位置信息和预测类别信息；

第一反向传播模块，用于基于样本类别信、预测类别信息、样本位置信息和预测位置信息，对第一预设神经网络进行反向传播，得到目标检测网络。

可选的，上述第一反向传播模块包括：

类别损失确定单元，用于根据样本类别信息和预测类别信息，确定类别损失；

位置损失确定单元，用于根据样本位置信息和预测位置信息，确定位置损失；

目标损失确定单元，用于根据类别损失和位置损失确定目标损失；

第一反向传播单元，用于基于目标损失对第一预设神经网络进行反向传播，得到目标检测网络。

可选的，上述装置还包括：

第二训练数据获取模块，用于获取样本目标图像集、样本目标图像集中样本目标的位置信息和所样本目标图像集中样本目标对应的样本目标标识信息；

第二目标重识别模块，用于将样本目标图像集和样本目标的位置信息输入第二预设神经网络进行目标重识别，得到样本目标图像集中样本目标对应的预测目标标识信息；

第二反向传播模块，用于基于样本目标标识信息和预测目标标识信息对第二预设神经网络进行反向传播，得到目标重识别网络。

可选的，上述第二反向传播模块包括：

标识损失确定单元，用于根据样本目标标识信息和预测目标标识信息，确定标识损失；

第二反向传播子单元，用于基于标识损失对第二预设神经网络进行反向传播，得到目标重识别网络。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种用于轨迹生成的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图9所示。该电子设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种轨迹生成方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的轨迹生成方法。

在示例性实施例中，还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的轨迹生成方法。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的轨迹生成方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种轨迹生成方法，其特征在于，包括：

获取多帧图像和所述多帧图像中每一帧图像对应的历史参考帧图像；

基于所述每一帧图像对应的历史参考帧图像对所述每一帧图像进行前景识别，生成所述每一帧图像对应的前景二值图；

根据所述每一帧图像对应的历史参考帧图像生成所述每一帧图像对应的背景参考图像；

将所述每一帧图像、对应的前景二值图和对应的背景参考图像输入目标检测网络进行目标检测，得到所述每一帧图像中的目标图像和所述目标图像的位置信息，所述目标图像为包括目标的图像；

将所述每一帧图像中的目标图像和所述目标图像的位置信息输入目标重识别网络进行目标重识别，得到所述每一帧图像中的目标图像的目标标识信息；

基于所述目标标识信息和所述目标图像的位置信息生成所述目标的轨迹信息。

2.根据权利要求1所述的轨迹生成方法，其特征在于，所述获取多帧图像包括：

获取原始视频中的当前帧图像和所述当前帧图像对应的历史参考帧图像；

基于所述当前帧图像对应的历史参考帧图像对所述当前帧图像进行前景识别，生成所述当前帧图像对应的当前前景二值图；

根据所述当前帧图像对应的历史参考帧图像生成所述当前帧图像对应的当前背景参考图像；

将所述当前帧图像、所述当前前景二值图和所述当前背景参考图像输入所述目标检测网络进行目标检测，得到检测结果；

在所述检测结果指示所述当前帧图像包括目标的情况下，将包括目标的当前帧图像和所述包括目标的当前帧图像之后的第二预设数量帧图像作为所述多帧图像。

3.根据权利要求1所述的轨迹生成方法，其特征在于，所述每一帧图像对应的历史参考帧图像包括所述每一帧图像的前第一预设数量帧图像，所述基于所述每一帧图像对应的历史参考帧图像对所述每一帧图像进行前景识别，生成所述每一帧图像对应的前景二值图包括：

将所述每一帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点进行匹配；

确定所述每一帧图像中每一像素点与对应的前第一预设数量帧图像中对应像素点间的匹配次数；

将匹配次数大于等于所述第一预设阈值的像素点作为背景像素点；

将匹配次数小于所述第一预设阈值的像素点作为前景像素点；

基于每一帧图像的背景像素点和前景像素点生成所述每一帧图像对应的前景二值图。

4.根据权利要求3所述的轨迹生成方法，其特征在于，所述根据所述每一帧图像对应的历史参考帧图像生成所述每一帧图像对应的背景参考图像包括：

确定所述每一帧图像的前第一预设数量帧图像中的时序中值图；

将所述每一帧图像对应的时序中值图作为所述每一帧图像对应的背景参考图像；

或，

提取所述每一帧图像的前第一预设数量帧图像的特征信息；

获取所述每一帧图像的前第一预设数量帧图像的特征信息的平均特征信息；

根据所述每一帧图像对应的平均特征信息，生成所述每一帧图像对应的背景参考图像。

5.根据权利要求1至4任一所述的轨迹生成方法，其特征在于，所述目标重识别网络包括：特征提取模块和特征匹配模块；所述将所述每一帧图像中的目标图像和所述目标图像的位置信息输入目标重识别网络进行目标重识别，得到所述每一帧图像中的目标图像的目标标识信息包括：

按照所述多帧图像对应的时序，遍历所述每一帧图像中的目标图像；

在当前遍历到的目标图像为所述多帧图像中第一帧图像中的目标图像的情况下，生成所述第一帧图像中的目标图像的目标标识信息，将所述第一帧图像中的目标图像输入所述特征提取模块进行特征提取，得到所述第一帧图像中的目标图像的目标特征信息；

在当前遍历到的目标图像为所述多帧图像中非第一帧图像中的目标图像的情况下，将所述当前遍历到的目标图像输入所述特征提取模块进行特征提取，得到所述当前遍历到的目标图像的目标特征信息；

将所述当前遍历到的目标图像的目标特征信息和位置信息，以及遍历过的目标图像的目标特征信息和位置信息输入所述特征匹配模块进行特征匹配，得到所述当前遍历到的目标图像的目标标识信息。

6.根据权利要求5所述的轨迹生成方法，其特征在于，所述将所述当前遍历到的目标图像的目标特征信息和位置信息，以及遍历过的目标图像的目标特征信息和位置信息输入所述特征匹配模块进行特征匹配，得到所述当前遍历到的目标图像的目标标识信息包括：

基于所述特征匹配模块计算所述当前遍历到的目标图像的目标特征信息与遍历过的目标图像的目标特征信息间的特征相似度；

基于所述特征匹配模块计算所述当前遍历到的目标图像的位置信息与遍历过的目标图像的位置信息间的位置相似度；

根据所述特征相似度和所述位置相似度确定所述遍历过的目标图像与所述当前遍历到的目标图像间的相似度；

在所述相似度中存在大于第二预设阈值的相似度的情况下，将最大相似度对应的遍历过的目标图像的目标标识信息作为所述当前遍历到的目标图像的目标标识信息；

在所述相似度中不存在大于所述第二预设阈值的相似度的情况下，为所述当前遍历到的目标图像重新生成目标标识信息。

7.根据权利要求1至4任一所述的轨迹生成方法，其特征在于，所述将所述每一帧图像、对应的前景二值图和对应的背景参考图像输入目标检测网络进行目标检测，得到所述每一帧图像中的目标图像和所述目标图像的位置信息包括：

对所述每一帧图像、对应的前景二值图和对应的背景参考图像进行合成处理，得到合成图像；

基于所述目标检测网络对所述合成图像进行目标检测，得到所述每一帧图像中的目标图像和所述目标图像的位置信息。

8.根据权利要求1至4任一所述的轨迹生成方法，其特征在于，所述方法还包括：

在所述目标的轨迹信息满足预设告警触发条件时，发出告警通知；

或，

基于所述目标的轨迹信息进行目标定位，得到目标定位信息。

9.根据权利要求1至4任一所述的轨迹生成方法，其特征在于，所述方法还包括：

获取样本图像集、所述样本图像集中样本图像对应的前景二值图、对应的背景参考图像、对应的样本类别信息和对应的样本位置信息；

将所述样本图像集、所述样本图像集中样本图像对应的前景二值图和对应的背景参考图像输入第一预设神经网络进行目标检测，得到所述样本图像集对应的预测位置信息和预测类别信息；

基于所述样本类别信、所述预测类别信息、所述样本位置信息和所述预测位置信息，对所述第一预设神经网络进行反向传播，得到所述目标检测网络。

10.根据权利要求9所述的轨迹生成方法，其特征在于，所述基于所述样本类别信、所述预测类别信息、所述样本位置信息和所述预测位置信息，对所述第一预设神经网络进行反向传播，得到所述目标检测网络包括：

根据所述样本类别信息和所述预测类别信息，确定类别损失；

根据所述样本位置信息和所述预测位置信息，确定位置损失；

根据所述类别损失和所述位置损失确定目标损失；

基于所述目标损失对所述第一预设神经网络进行反向传播，得到所述目标检测网络。

11.根据权利要求1至4任一所述的轨迹生成方法，其特征在于，所述方法还包括：

获取样本目标图像集、所述样本目标图像集中样本目标的位置信息和所样本目标图像集中样本目标对应的样本目标标识信息；

将所述样本目标图像集和所述样本目标的位置信息输入第二预设神经网络进行目标重识别，得到所述样本目标图像集中样本目标对应的预测目标标识信息；

基于所述样本目标标识信息和所述预测目标标识信息对所述第二预设神经网络进行反向传播，得到所述目标重识别网络。

12.根据权利要求11所述的轨迹生成方法，其特征在于，所述基于所述样本目标标识信息和所述预测目标标识信息对所述第二预设神经网络进行反向传播，得到所述目标重识别网络包括：

根据所述样本目标标识信息和所述预测目标标识信息，确定标识损失；

基于所述标识损失对所述第二预设神经网络进行反向传播，得到所述目标重识别网络。

13.一种轨迹生成装置，其特征在于，包括：

图像获取模块，用于获取多帧图像和所述多帧图像中每一帧图像对应的历史参考帧图像；

前景识别模块，用于基于所述每一帧图像对应的历史参考帧图像对所述每一帧图像进行前景识别，生成所述每一帧图像对应的前景二值图；

背景参考图像生成模块，用于根据所述每一帧图像对应的历史参考帧图像生成所述每一帧图像对应的背景参考图像；

第一目标检测模块，用于将所述每一帧图像、对应的前景二值图和对应的背景参考图像输入目标检测网络进行目标检测，得到所述每一帧图像中的目标图像和所述目标图像的位置信息，所述目标图像为包括目标的图像；

第一目标重识别模块，用于将所述每一帧图像中的目标图像和所述目标图像的位置信息输入目标重识别网络进行目标重识别，得到所述每一帧图像中的目标图像的目标标识信息；

目标的轨迹信息生成模块，用于基于所述目标标识信息和所述目标图像的位置信息生成所述目标的轨迹信息。

14.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至12中任一项所述的轨迹生成方法。

15.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得轨迹生成设备能够执行如权利要求1至12中任一项所述的轨迹生成方法。