CN110610510B - 目标跟踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种目标跟踪方法、装置、电子设备及存储介质，属于图像处理技术领域。该方法包括：获取待跟踪视频的多个帧图像，并从所述多个帧图像中获取多个关键帧；将所述多个关键帧输入至检测网络，得到检测数据，所述检测数据包括目标物的位置信息；利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。本申请实施例获取到多个帧图像时，可以从所述多个帧图像中获取多个关键帧，该关键帧的引入可以有效删除多个帧图像中的模糊图像，在一定程度上可以提高目标跟踪的准确性。

Description

目标跟踪方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种目标跟踪方法、装置、电子设备及存储介质。

背景技术

目标跟踪技术是近些年才发展并投入应用的一项技术，也是当前一个重要的课题和研究热点，目标跟踪通过在连续的视频图像序列中估计跟踪目标的位置、形状所占区域，确定目标的运动速度、方向及轨迹等运动信息，实现对运动目标行为的分析和理解，以便完成更高级的任务。显然，目标跟踪是视频分析的核心问题之一，其在视频监控、人机交互、虚拟现实等领域有广泛的应用。虽然在过去几十年来该技术的研究取得了很大的进展，但由于应用中存在尺度变化、光照变化、快速运动、部分遮挡、背景复杂等多种因素，寻求快速稳定、适合对象变化的跟踪方法始终是一个挑战。

发明内容

有鉴于此，本发明提出了一种目标跟踪方法、装置、电子设备及存储介质，以解决上述问题。

第一方面，本申请实施例提供了一种目标跟踪方法，应用于电子设备，该方法包括：获取待跟踪视频的多个帧图像，并从所述多个帧图像中获取多个关键帧；将所述多个关键帧输入至检测网络，得到检测数据，所述检测数据包括目标物的位置信息；利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。

第二方面，本申请实施例提供了一种目标跟踪装置，应用于电子设备。所述装置包括：关键帧获取模块、检测数据获取模块和目标跟踪模块。关键帧获取模块，用于获取待跟踪视频的多个帧图像，并从所述多个帧图像中获取多个关键帧。检测数据获取模块，用于将所述多个关键帧输入至检测网络，得到检测数据，所述检测数据包括目标物的位置信息。目标跟踪模块，用于利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。

第三方面，本申请实施例还提供了一种电子设备，包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述方法。

第四方面，本申请实施例还提供了一种计算机可读介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

相对于现有技术，本申请实施例提供的目标跟踪方法、装置、电子设备及存储介质，该目标跟踪方法中可以先获取待跟踪视频的多个帧图像，并从这些帧图像中获取多个关键帧，然后将所述多个关键帧输入至检测网络，得到检测数据，其中，检测数据可以包括目标物的位置信息，最后利用其获取的检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。本申请实施例获取到多个帧图像后，不是直接将其输入至检测网络而是先从这些帧图像中获取多个关键帧，然后才将所述多个关键帧输入至检测网络，通过引入该关键帧本申请可以更加准确有效的对目标物进行跟踪。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的目标跟踪的总体框架图；

图2示出了本申请一个实施例提供的目标跟踪方法的方法流程图；

图3示出了本申请另一个实施例提供的目标跟踪方法的方法流程图；

图4示出了本申请另一个实施例提供的目标跟踪方法中步骤S302的详细流程图；

图5示出了本申请另一个实施例提供的目标跟踪方法中获取多个关键帧示意图；

图6示出了本申请又一个实施例提供的目标跟踪方法的方法流程图；

图7示出了本申请实施例提供的目标跟踪装置的模块框图；

图8示出了本申请实施例提供的电子设备的模块框图；

图9出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的目标跟踪方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着计算机技术的不断发展，人们对智能相机的要求也不断提高，进而智能相机的不同功能被研发出来。例如，百度的***Lens以及华为的智慧识物等，通过这些功能智能相机可以实时在其屏幕中显示物体的详细信息。通常情况下屏幕中显示的物体有多个，为了能够直观展示每个物体的标签信息，需要标签可以实时跟随物体移动，因此对电子设备提出了跟踪的要求。现有的目标跟踪方法通常利用CNN检测网络给出目标物体的位置，如此对目标进行跟踪时容易出现标签在物体周围跳动且卡顿的问题。虽然一些目标跟踪方法对上述提出的问题进行了解决，但是其提高精度的代价通常是拉低目标跟踪的实时性。

因此，为了克服上述缺陷，本申请提供了如图1所示的目标跟踪的总体框架图，从图1可以看出目标跟踪整体可以分为两部分，第一部分是获取待滤波数据，第二部分是获取到检测框，即通过本申请实施可以获取到原始图像对应的待滤波数据和检测框，结合这两个数据即可实现对目标物的跟踪。具体的，可以将原始图像输入至初始化提取器，并利用该初始化提取器对原始图像进行特征提取。

本申请实施例中初始化提取器可以包括目标检测网络，该目标检测网络可以是MobileNet-SSD(深度卷积神经网络)、GOTURN(Generic Object Tracking UsingRegreSSion Networks)等。利用初始化进行特征提取后，可以获取到跟踪目标的特征数据，该特征数据可以存储于电子设备的数据库(DB)中，而后可以利用该跟踪目标的特征数据对目标物进行跟踪，本申请实施例可以通过KCF(Kernel Correlation Filter，核相关滤波算法)对跟踪目标的特征数据进行采样与分析，进而可以获取到跟踪目标的新位置，即实现对目标物的跟踪。另外，从图1可以看出在进行目标跟踪时，本申请可以利用更新提取器不断获取新的检测框，进而可以对数据库中存储的特征数据进行不断的更新。

如图2所示本申请实施例提供了一种目标跟踪方法，应用于电子设备，该方法可以包括步骤S201至步骤203。

步骤S201：获取待跟踪视频的多个帧图像，并从所述多个帧图像中获取多个关键帧。

本发明实施例中，电子设备可以是手机、笔记本电脑、平板电脑(TabletPersonalComputer)、掌上电脑、膝上型电脑(LaptopComputer)、个人数字助理(personaldigitalaSSistant，简称PDA)、移动互联网设备(MobileInternetDevice，MID)或可穿戴式设备(例如，智能手表(如iWatch)、智能手环、计步器等)或其他可安装部署即时通讯应用客户端的电子设备。

在一个实施例中，获取到待跟踪视频后，可以对所述待跟踪视频进行分帧处理，得到多个帧图像，并存储所述待跟踪视频的相关参数，其中，所述相关参数可以包括：视频持续时间长度、视频编码格式、视频总帧数、视频录制时间点、视频曝光时间、视频帧率以及视频录制所在地的经纬度等。本申请实施例中，多个帧图像的获取可以从视频的第一帧开始，并一帧一帧的按照顺序获取，因此，每获取一帧图像后都要保存相应的状态和参数。例如，从视频文件中获取多个帧图像，需要保存视频文件的文件名、相应的解码类型等，具体利用哪种方式获取待跟踪视频的帧图像，这里不进行明确显示。

电子设备获取到待跟踪视频的多个帧图像时，可以从所述多个帧图像中获取多个关键帧，其中，关键帧可以是随机从所述多个帧图像中选取的任意数量的图像，也可以是按照一定的规则选取出的图像。本申请实施例可以通过比较所述多个帧图像的像素值来选取多个关键帧，所述关键帧的像素值比普通帧图像的像素值高；也可以通过比较每个所述帧图像的亮度值来选出关键帧，即所述关键帧的亮度值较高；或者也可以获取每个所述帧图像的畸变值、均衡值或者分辨率等来获取多个关键帧。显然，关键帧主要指的是多个帧图像中图像质量比较好的图像，本申请实施例可以利用上述方法中的任意一种获取多个关键帧，也可以结合上述多个方法来获取所述多个关键帧，具体如何获取这里就不进行详细赘述。

步骤S202：将所述多个关键帧输入至检测网络，得到检测数据，所述检测数据包括目标物的位置信息。

在一种实时方式中，电子设备可以将其获取的多个关键帧输入至检测网络中，利用所述检测网络进行特征提取，进而得到检测数据，而该检测数据则可以包括目标物的位置信息。本申请实施例中，检测网络可以是目标检测网络，目标检测网络也可以称为目标提取网络，其主要作用是从目标图像中分割出目标物体，并对该目标物体进行识别，显然，目标检测网络是将目标物的分割和识别合二为一。常用的目标检测网络有GOTURN网络、MobileNet-SSD深度卷积神经网络、FasterRCNN神经网络、Yolo神经网络以及SPP-Net(Spatial Pyramid Pooling)神经网络等，常用于视频跟踪的神经网络是GOTURN和MobileNet-SSD。

GOTURN神经网络是一种利用卷积神经网络进行离线训练的目标跟踪算法，其利用现有大规模分类数据集预训练的CNN分类网络提取特征，再用观测模型进行分类获得跟踪结果。其跟踪过程是将当前帧图像和上一帧图像通过VGG-Net(Very Deep ConvolutionalNetworks for Large-scaleImage Recognition)网络获得两帧图像的特征表达，再通过一个离线训练的决策网络，即可得到当前帧目标图像所在的位置。GOTURN神经网络对于简单场景下的完整目标具有良好的跟踪能力，并且对尺度变化、形变等具有较强的鲁棒性。

MobileNet-SSD深度卷积神经网络基于流线型的架构，其主要是通过深度可分离的卷积来构建轻量级的深层神经网络，即MobileNet-SSD深度卷积神经网络主要是为了适用于移动端而提出的一种轻量级深度网络模型。MobileNet-SSD深度卷积神经网络可以包括两个简单的全局超参数，在延迟度和准确度之间进行了有效的平衡，这两个超参数允许允许模型构建者根据问题的约束条件，通过选择合适大小的模型，在精度略微降低的条件下，MobileNet-SSD深度卷积神经网络具有较强的实时性。

在一个实施例中，MobileNet-SSD深度卷积神经网络可以采用特征金字塔进行目标检测，而检测时则可以利用MobileNet(基础网络)作为特征提取器提取多个大小不同的Feature Maps(特征图)，并在多个特征图上同时进行Softmax分类和位置回归；对于宽为W高为H的特征图，设置W×H个Prior Box(预选框)，预选框的中心均匀地分布在整张图上，然后通过Softmax分类和Bounding Box RegreSSion(边框回归)获取目标的准确位置。另外，MobileNet-SSD深度卷积神经网络可以运行于神经计算棒中，所述神经计算棒是一种使用USB接口的深度学习设备，其体积比U盘略大，功耗1W，浮点性能可以达到100GFLOPs，有着低功耗高性能的优点。

通过上述介绍可以知道，相较于GOTURN神经网络MobileNet-SSD深度卷积神经网络在进行目标跟踪时其检测精度高、鲁棒性强以及实时性好，即相比GOTURN神经网络MobileNet-SSD深度卷积神经网络出框精度更高，同时出框速度更快，同时其还可以依据出框结果对图像进行预处理，并将预处理之后的图像传输至下一级分类模型。因此，本申请实施例将MobileNet-SSD深度卷积神经网络作为检测网络，主要原因是其可以很好的兼顾目标检测的速度和精度。

在一种实施方式中，MobileNet-SSD深度卷积神经网络可以包括四个部分：第一部分是输入层，该部分主要用于输入图像，即输入关键帧；第二部分为改进的MobileNet卷积网络，其主要用于提取输入的关键帧的特征；第三部分为SSD元结构，用于分类回归和边界回归；第四部分为输出层，其主要用于输出检测结果。SSD元结构是一种回归模型，利用不同卷积层输出的特征进行分类回归和边界框回归，不仅可以较好的缓解了平移不变性和平移可变性之间的矛盾，而且对检测精度和速度有个较好的折中，即在提高检测速度的同时具有较高的检测精度。

利用MobileNet-SSD深度卷积神经网络得到检测数据的过程包括：获取第一个关键帧，获取所述第一个关键帧中目标物对应的目标检测框，并将所述目标检测框对应的位置信息作为检测数据进行存储；读取下一关键帧，并获取该关键帧中目标物体对应的目标检测框，并将所述目标检测框对应的位置信息作为检测数据进行存储，重复上述步骤直至获取到每个所述关键帧中目标物体对应的目标检测框。

步骤S203：利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。

在一种实施方式中，获取到检测数据并将该数据存储于数据库时可以利用核相关滤波算法(Kernel Correlation Filter，KCF)对所述多个帧图像中的所述目标物进行跟踪，其中，核相关滤波算法是一种基于在线学习模型的目标跟踪算法。KCF跟踪过程可以分为提取目标特征、模板训练、目标位置预测以及模板更新四个步骤。KCF采用的是岭回归模型，岭回归是一种线性回归模型，由于岭回归有一个简单的闭式解，所以其分类效果能与复杂模型如SVM相当。

利用检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪的具体过程是：将所述检测数据中包含的目标物的位置信息传输至核相关滤波算法，使用该核相关滤波算法跟踪检测到的目标物，即得到目标物的运动轨迹。显然，核相关滤波算法是一种鉴别式跟踪方法，其在进行目标跟踪时可以训练得到一个目标检测器，并用该目标检测器检测下一关键帧预测位置是否是目标，然后再使用新检测结果去更新目标检测器，而在训练目标检测器时一般选取目标区域为正样本，目标周围区域为负样本，越靠近目标的区域为正样本的可能性越大。

本申请实施例提出的一种目标跟踪方法获取到待跟踪视频的多个帧图像后，可以从所述多个帧图像中获取多个关键帧，这些关键帧整体质量比帧图像好，因此，将其输入至检测网络，得到的检测数据更加准确，即在一定程度上可以提高目标检测的效率和准确率，同时本申请利用核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪，可以满足跟踪的稳定性和实效性的需求。

本申请另一个实施例提供了一种目标跟踪方法，应用于电子设备，请参阅图3，该目标跟踪方法可以包括步骤S301至步骤S304。

步骤S301：获取待跟踪视频的多个帧图像，并将所述多个帧图像分为N个图像组。

通过上述介绍可以知道，获取到待跟踪视频时，电子设备可以对所述待跟踪视频进行分帧处理，由此得到多个帧图像，为了提高目标跟踪的准确性，本申请实施例可以从所述多个帧图像中获取多个固定数量的关键帧，因此，需先将所述多个帧图像分为N个图像组，每个所述图像组中所包含的帧图像的数量保持一致。例如，获取到一个待跟踪视频并将该视频进行分帧处理得到14400个帧图像，可以将这些帧图像分成720个图像组，即每个图像组中包含有20个帧图像。

步骤S302：从每个所述图像组中各获取一个关键帧，得到多个关键帧。

在一种实施方式中，将待跟踪视频的多个帧图像分为N个图像组后，可以从每个所述图像组中各获取一个关键帧，如此即可得到多个关键帧。例如，14400个帧图像可以分成720个图像组后，可以从这每个图像组中各获取一个关键帧，即从20个帧图像中选取一个关键帧，最后即可得到720的关键帧。从每个所述图像组中各获取一个关键帧，得到多个关键帧的具体步骤如图4所示，从图4可以知道获取多个关键帧可以包括步骤S401至步骤S405。

步骤S401：从当前图像组中获取一个备选帧。

在一种实施方式中，可以将当前图像组中的第一个帧图像作为备选帧，也可以随机从当前图像组中获取一个帧图像作为备选帧。在一个具体实施每个图像组中包含有20个帧图像，本申请实施例可以将这20个帧图像的第一帧作为备选帧，也可以将这20个帧图像中的第十帧作为备选帧，具体将当前图像组中的哪个帧图像作为备选帧这里不进行明确限制。

步骤S402：判断所述备选帧是否为清晰图像。

在一种实施方式中，判断备选帧是否为清晰图像可以包括：获取所述备选帧的像素均值，并判断该像素均值是否大于预设阈值，当所述像素均值大于预设阈值时，所述备选帧则为清晰图像，即进入步骤S403。其中，像素均值指的是对备选帧中所有R通道像素、G通道像素以及B通道像素求均值，而后再对这三个通道的均值求平均，得到的值即为像素均值。而当所述像素均值小于等于预设阈值时，则可以判定所述备选帧不是清晰图像，即该备选帧为模糊图像，此时，则可以获取该备选帧的下一帧图像，即进入步骤S404。

在一个具体实施例中，当前图像组中可以包含有20个帧图像，首先将所述20个帧图像中的第一帧图像作为备选帧，获取所述备选帧的像素均值，并判该像素均值是否大于预设阈值，如果大于预设阈值，则表明所述第一帧图像是清晰图像，即可以将该备选帧作为关键帧，而如果该像素均值小于等于预设阈值，则获取这20个帧图像中的第二帧图像，并判断所述第二帧图像是否是清晰图像，以此类推直至获取到清晰图像。综上所述，本申请实施例可以利用拉普拉斯算子边缘检测判断备选帧是否为模糊图像，也可以利用清晰度算法BreNNer来判断备选帧是否为模糊图像，或者也可以通过Tenengrad梯度函数来判断备选帧是否为模糊图像，具体使用哪种方法对备选帧的清晰度进行判断这里不进行明确限制。

步骤S403：将所述备选帧作为所述当前图像组的关键帧。

如果判定所述备选帧是清晰图像，则将该备选帧作为当前图像组的关键帧，在此之后可以获取下一个图像组，即进入步骤S405。

步骤S404：获取所述备选帧的下一帧图像，并将所述下一帧图像作为新的备选帧。

如果判定所述备选帧不是清晰图像时，则获取所述备选帧的下一帧图像，并将所述下一帧图像作为新的备选帧，并返回执行判断所述备选帧是否为清晰图像的操作，即进入步骤S402。例如，获取到第一个图像组的第一帧图像后，判断出所述第一帧图像是模糊图像，此时，则可以获取所述第一个图像组的第二帧图像，并将该第二帧图像作为备选帧判断其像素均值是否大于预设阈值，如果其像素均值仍然小于等于预设阈值，则获取第一个图像组的第三帧图像，并判断所述第三帧图像的像素均值是否大于预设阈值，依次执行直至获取到符合条件的关键帧。

需要说明的是，如果当前图像组中的所有帧图像的像素均值均小于等于预设阈值时，则可以对这些帧图像的像素均值进行排序，选取像素均值最大的帧图像作为当前图像组的关键帧；也可以直接将当前图像组中的最后一个帧图像作为当前图像组的关键帧，或者可以不从当前图像组中获取关键帧，继续从下一个图像组中获取关键帧。

步骤S405：获取下一个图像组，并将所述下一个图像组作为当前图像组，获取当前图像组中的关键帧。

在一种实施方式中，如果备选帧是清晰图像，则将所述备选帧作为当前图像组的关键帧之后，可以获取下一个图像组，并将所述下一个图像组作为当前图像组，获取当前图像组中的关键帧。为了更加清楚的理解如何从多个帧图像中获取多个关键帧，本申请给出一个具体的实施例，在该实施例中可以从每20帧中获取一个关键帧。首先可以将第一个图像组的初始帧(标号为1)作为备选帧，并判断所述备选帧是否模糊，如果该备选帧不模糊则将这个初始帧作为关键帧输入至检测网络中，而后获取第二个图像组，并将所述第二个图像组的第一帧(标号21)作为备选帧，如果所述第一帧(标号21)模糊，则获取该图像组的第二帧(标号22)，并将该帧作为备选帧，如果所述第二帧(标号22)不模糊，则将所述第二帧(标号22)输入至检测网络中，而后获取第三个图像组，并将所述第三个图像组的第二帧(标号42)作为备选帧，依此类推，直至获取到所有图像组的关键帧。

如图5给出了获取多个关键帧的具体示意图，从图5可以看出关键帧的获取主要是通过关键帧提取器获取的，在对关键帧进行选择前需先将多个帧图像以数据流的方式送入至关键帧提取器，其中数据流的送入帧率(每秒送入几帧)为30fps，即每20帧的时间间隔为2/3≈0.67s，该时间也是核相关滤波算法卷积核的更新频率，其可以完全满足实际使用中场景更新的频度，同时也能避免过于频繁运行检测网络模型，造成功耗问题。

在一个实施例中，关键提取器可以从每20个帧图像中选择一个关键帧，在此之前需先获取一个备选帧，通过拉普拉斯算子边缘检测，判定该备选帧是否模糊，如果不模糊则判定为关键帧，跳过20帧继续获取备选帧以及判断选取的备选帧是否模糊。如果模糊则选取当前帧的下一帧再次执行模糊判断，以此类推。其中，初始帧可以认为是特殊的关键帧(首张关键帧)，而模糊判别则可以是判断备选帧的像素均值是否大于预设阈值，如果大于则将该备选帧作为关键帧，送入检测网络。

需要说明的是，本申请实施例可以从每个图像组中各获取一个关键帧，也可以从每个图像组中各获取两个关键帧，或者也可以从每个图像组中各获取三个关键帧，具体从每个图像组中获取多少个关键帧这里不进行明确限制，可以根据实际情况进行选择。例如，待跟踪视频的质量整体比较好，则可以从每个图像组中多获取几个关键帧，而如果视频整体质量不好、清晰度较差时，则可以适当减少每个图像组中关键帧获取的数量。

步骤S303：将所述多个关键帧输入至检测网络，得到检测数据，所述检测数据包括目标物的位置信息。

步骤S304：利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。

本申请实施提出的一种目标跟踪方法为了使目标跟踪更加准确可以将获取的多个帧图像分为N个图像组，并从每个图像组中各获取一个关键帧，得到多个关键帧，其中，关键帧的获取则可以通过判断图像的像素均值来获取，即本申请实施例引入关键帧提取机制，可以有效删除多个帧图像中的抖动模糊的图像，提高检测网络获取目标位置信息的准确度，进而可以提高核相关滤波算法的跟踪能力，同时能够给降低检测网络模型的运行频率，降低整个电子设备的功耗。

本申请又一个实施例提供了一种目标跟踪方法，应用于电子设备，请参阅图6，该目标跟踪方法可以包括步骤S601至步骤S606。

步骤S601：获取待跟踪视频的多个帧图像，并从所述多个帧图像中获取多个关键帧。

步骤S602：将所述多个关键帧输入至检测网络，得到检测数据，所述检测数据包括目标物的位置信息。

在一种实施方式中，为了使目标跟踪更加准确，可以将多个关键帧输入至检测网络中，以获取每个关键帧中目标物对应的目标检测框，而后可以获取该目标检测框对应的置信度，并判断所述目标检测框的置信度是否大于置信阈值，如果所述目标检测框的置信度大于置信阈值，则将所述目标检测框对应的位置信息作为检测数据。其中，目标边界框的置信度指的是候选框真正包含有目标的概率，目标边界框置信度的计算过程与具体的检测网络相关，本发明实施例在此不做赘述。

另外，如果所述目标检测框的置信度小于等于置信阈值，则不将所述目标检测框对应的位置信息作为检测数据，即电子设备的屏幕对目标进行显示时不对置信度小于等于置信阈值的检测框进行显示。例如，置信阈值为0.5，关键帧中包含的目标物有人、狗和猫，检测网络获取到人对应的检测框的置信度为0.88，狗对应的检测框的置信度为0.75，而猫对应的检测框的置信度则为0.45，显然，人对应的检测框的置信度和狗对应的检测框的置信度均大于置信阈值0.5，因此，可以将人对应的检测框对应的位置信息和狗对应的检测框对应的位置信息作为检测数据，而猫对应的检测框对应的位置信息则不能作为检测数据，故电子设备的屏幕上最终只显示人和狗对应的检测框，而不显示猫对应的检测框。

步骤S603：判断是否成功获取到所述检测数据。

通过上述介绍可以知道，电子设备获取到多个关键帧后可以将所述多个关键帧输入至检测网络里，利用所述检测网络对这些关键帧进行特征提取，进而可以获取到检测数据，其中，检测数据则可以包括目标物的位置信息，而后电子设备可以将所述检测数据存储于数据库中。而当关键帧未输入至检测网络，或者将关键帧输入至检测网络时发生丢帧现象，或者检测网络在运行时其参数发生错误警告时则有可能无法得到检测数据。因此，需要判断是否成功获取到检测数据，如果成功获取到所述检测数据，则利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪，即进入步骤S604，如果未成功获取到检测数据，则暂停对所述多个帧图像中目标帧图像中的所述目标物进行跟踪，即进入步骤S605。

步骤S604：利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。

步骤S605：暂停对所述多个帧图像中目标帧图像中的所述目标物进行跟踪。

在一种实施方式中，如果未成功获取到所述检测数据，则暂停对所述多个帧图像中目标帧图像中的所述目标物进行跟踪，而后将所述目标帧的下一帧图像作为新的目标帧图像，即进入步骤S606。

步骤S606：将所述目标帧的下一帧图像作为新的目标帧图像。

当判定电子设备未成功获取到检测数据时，可以暂停对多个帧图像中目标帧图像中的目标物进行跟踪，然后将所述目标帧的下一帧图像作为新的目标帧图像，并返回执行判断是否成功获取到所述检测数据的操作，即进入步骤S603。因此，在数据库保存初始的检测数据之前，传输至核相关滤波算法的图像均会被丢弃不予处理，直到初始化提取器完成，核相关滤波算法能够访问数据库中的检测数据后，即开始进行目标跟踪。在进行目标跟踪的同时，本申请实施例仍然会根据关键帧送入检测网络后得到的目标物的位置信息来提取新的特征，随后更新到数据库中，而最新的数据也可以即时用于目标跟踪。

通过图1可以知道本申请实施例中将所述多个关键帧输入至检测网络的操作，以及利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物体进行跟踪的操作可以并行执行。换句话说，利用检测网络得到检测数据的操作是独立于核相关滤波算法结构的，在软件框架设计中检测网络和核相关滤波算法是在各自的线程中运行的，多个帧图像通过关键帧提取器分流后分别传输至检测网络对应的线程和核相关滤波算法对应的线程，而这两个线程唯一的交互则是在数据库中，即检测网络获取检测数据并存储至数据库，而核相关滤波算法则是从数据库中提取检测数据，利用该检测数据进行目标物的跟踪。

通过上述介绍可以知道，核相关滤波算法的跟踪不需要等待检测网络的运行结果，可以很好的体现实时性，而检测网络的出框精度和出框数量能够独立调节，进而控制核相关滤波算法能够跟踪目标准确度与数量多寡，同时检测网络的检测结果不仅可以用于目标跟踪，其也可以用于图像的预处理，即使将其传输至实时性较差的网络也可以获取到比较准确的分类结果。

本申请实施例中提出的一种目标跟踪方法利用检测网络可以获取到更加准确的位置信息，进而可以提高核相关滤波算法输出的跟踪准确度，并且本申请实施例可以通过置信阈值来控制出框的多寡，进而提高跟踪的准确率，同时检测网络和核相关滤波算法并行运算，核相关滤波算法从检测网络的运算结果中更新数据并不会陷入等待，即使检测网络停止运算核相关滤波算法仍然可以运行，即提高目标跟踪的实时性。

请参阅图7，本申请实施例提出的一种目标跟踪装置700，应用于电子设备，具体地，该目标跟踪装置700包括：关键帧获取模块701、检测数据获取模块702和目标跟踪模块703。

关键帧获取模块701，用于获取待跟踪视频的多个帧图像，并从所述多个帧图像中获取多个关键帧。

进一步的，关键帧获取模块701还用于将所述多个帧图像分为N个图像组，从每个所述图像组中各获取一个关键帧，得到多个关键帧。

进一步的，关键帧获取模块701还用于从当前图像组中获取一个备选帧，判断所述备选帧是否为清晰图像，如果所述备选帧是清晰图像，则将所述备选帧作为所述当前图像组的关键帧。

进一步的，关键帧获取模块701还用于如果所述备选帧是清晰图像，则将所述备选帧作为所述当前图像组的关键帧之后，获取下一个图像组，并将所述下一个图像组作为当前图像组，获取当前图像组中的关键帧。

进一步的，关键帧获取模块701还用于获取所述备选帧的像素均值，并判断该像素均值是否大于预设阈值，当所述像素均值大于预设阈值时，所述备选帧则为清晰图像。

进一步的，关键帧获取模块701还用于如果所述备选帧不是清晰图像，则获取所述备选帧的下一帧图像，并将所述下一帧图像作为新的备选帧，并返回执行判断所述备选帧是否为清晰图像的操作。

检测数据获取模块702，用于将所述多个关键帧输入至检测网络，得到检测数据，所述检测数据包括目标物的位置信息。

进一步的，检测数据获取模块702还用于将所述多个关键帧输入至检测网络，以获取每个关键帧中目标物对应的目标检测框，获取所述目标检测框的置信度，并判断所述目标检测框的置信度是否大于置信阈值，如果所述目标检测框的置信度大于置信阈值，则将所述目标检测框对应的位置信息作为检测数据。

目标跟踪模块703，用于利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。

进一步的，目标跟踪模块703还用于判断是否成功获取到所述检测数据，如果成功获取到所述检测数据，则利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。

进一步的，目标跟踪模块703还用于如果未成功获取到所述检测数据，则暂停对所述多个帧图像中目标帧图像中的所述目标物进行跟踪，将所述目标帧的下一帧图像作为新的目标帧图像，并返回执行判断是否成功获取到所述检测数据的操作。

另外，所述将所述多个关键帧输入至检测网络的操作，以及利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪的操作并行执行。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图8，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、屏幕130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(DigitalSignalProceSSing，DSP)、现场可编程门阵列(Field－ProgrammableGateArray，FPGA)、可编程逻辑阵列(ProgrammableLogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProceSSingUnit，CPU)、图像处理器(GraphicsProceSSingUnit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

具体地，处理器110可以包括中央处理器(CentralProceSSingUnit，CPU)、多媒体显示处理器和图形处理器(GraphicsProceSSingUnit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和客户端等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(RandomAcceSSMemory，RAM)，也可以包括只读存储器(Read-OnlyMemory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

所述屏幕130用于显示由用户输入的信息、提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成，在一个实例中，触摸屏可设置于所述显示面板上从而与所述显示面板构成一个整体。

请参考图9，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1000中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1000可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1000包括非易失性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读存储介质1000具有执行上述方法中的任何方法步骤的程序代码1010的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1010可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种目标跟踪方法，其特征在于，应用于电子设备，所述方法包括：

获取待跟踪视频的多个帧图像，并将所述多个帧图像分为N个图像组；从当前图像组中获取一个备选帧；

获取所述备选帧中所有R通道像素、G通道像素以及B通道像素分别求均值，再对所述R通道像素、G通道像素以及B通道像素各自对应的均值求平均，得到所述备选帧的像素均值，并判断该像素均值是否大于预设阈值；

当所述像素均值大于预设阈值时，则确定所述备选帧图像为清晰图像，并将所述备选帧作为所述当前图像组的关键帧，如果所述当前图像组中的所有帧图像的像素均值均小于等于所述预设阈值时，对所述当前图像组中的所有帧图像的像素均值进行排序，选取像素均值最大的帧图像作为当前图像组的关键帧；

获取下一个图像组，并将所述下一个图像组作为当前图像组，获取当前图像组中的关键帧，以获取多个关键帧，所述多个关键帧包括每个图像组的关键帧；

将所述多个关键帧输入至检测网络，得到检测数据，所述检测数据包括目标物的位置信息；

利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述备选帧不是清晰图像，则获取所述备选帧的下一帧图像，并将所述下一帧图像作为新的备选帧，并返回执行判断所述备选帧是否为清晰图像的操作。

3.根据权利要求1所述的方法，其特征在于，所述利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪，包括：

判断是否成功获取到所述检测数据；

如果成功获取到所述检测数据，则利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

如果未成功获取到所述检测数据，则暂停对所述多个帧图像中目标帧图像中的所述目标物进行跟踪；

将所述目标帧的下一帧图像作为新的目标帧图像，并返回执行判断是否成功获取到所述检测数据的操作。

5.根据权利要求1所述的方法，其特征在于，所述将所述多个关键帧输入至检测网络的操作，以及利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪的操作并行执行。

6.根据权利要求1所述的方法，其特征在于，所述将所述多个关键帧输入至检测网络，得到检测数据，包括：

将所述多个关键帧输入至检测网络，以获取每个关键帧中目标物对应的目标检测框；

获取所述目标检测框的置信度，并判断所述目标检测框的置信度是否大于置信阈值；

如果所述目标检测框的置信度大于置信阈值，则将所述目标检测框对应的位置信息作为检测数据。

7.一种目标跟踪装置，其特征在于，应用于电子设备，所述装置包括：

关键帧获取模块，用于获取待跟踪视频的多个帧图像，并将所述多个帧图像分为N个图像组；从当前图像组中获取一个备选帧；获取所述备选帧中所有R通道像素、G通道像素以及B通道像素分别求均值，再对所述R通道像素、G通道像素以及B通道像素各自对应的均值求平均，得到所述备选帧的像素均值，并判断该像素均值是否大于预设阈值；当所述像素均值大于预设阈值时，则确定所述备选帧图像为清晰图像，并将所述备选帧作为所述当前图像组的关键帧，如果所述当前图像组中的所有帧图像的像素均值均小于等于所述预设阈值时，对所述当前图像组中的所有帧图像的像素均值进行排序，选取像素均值最大的帧图像作为当前图像组的关键帧；获取下一个图像组，并将所述下一个图像组作为当前图像组，获取当前图像组中的关键帧，以获取多个关键帧，所述多个关键帧包括每个图像组的关键帧；

检测数据获取模块，用于将所述多个关键帧输入至检测网络，得到检测数据，所述检测数据包括目标物的位置信息；

目标跟踪模块，用于利用所述检测数据和核相关滤波算法对所述多个帧图像中的所述目标物进行跟踪。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。

9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。

Images