CN107481270B - 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备 - Google Patents

Abstract

本发明涉及一种乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备。获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像，从图像中提取出跟踪目标对应的候选区域。将候选区域输入预设跟踪模型进行处理得到跟踪目标对应的包围盒。获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的包围盒中心的二维坐标，再根据摄像机投影矩阵计算出包围盒中心的三维坐标。获取连续时刻的包围盒的三维坐标构成连续的坐标序列，将连续的坐标序列输入递归神经网络LSTM中进行计算生成后续的坐标序列，根据上述坐标序列得到跟踪目标的轨迹。采用预设跟踪模型对目标位置进行跟踪，再结合LSTM能够有效地分析时序特征的优势，就能够实现对跟踪目标运动轨迹的准确预测。

Description

乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机 设备

技术领域

本发明涉及图像处理技术领域，特别是涉及一种乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备。

背景技术

在乒乓球机器人***的设计中，有两个问题需要解决。一个是目标跟踪的问题，即给定跟踪目标上一帧的位置，预测跟踪目标下一帧中可能出现的位置。另一个是轨迹预测的问题，即给定一小段的乒乓球坐标序列，自动生成后续的坐标序列。

目标跟踪问题作为计算机视觉中的经典问题，在近几十年不断取得重大发展。从一开始的基于纯计算机视觉方法的Lucas-Kanade***，mean-shift***等，到后来整合了detection和及其学习思想的更为复杂的***，再到如今基于深度学习的跟踪算法。目前用于跟踪的主要深度学习模型都是基于CNN，即卷积神经网络。在一般的基于CNN的跟踪算法中，CNN模型主要作为特征提取器(feature extractor)。利用目前的跟踪算法得出的包围框不够精确，不精确的包围框不仅意味着位置信息的误差，还会直接导致整个跟踪框架产生飘移甚至丢失目标。当目标跟踪出现误差时会直接导致轨迹预测的误差。

发明内容

基于此，有必要针对上述技术问题，提供一种乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备。

一种乒乓球目标跟踪和轨迹预测方法，所述方法包括：

获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像；

从所述图像中提取出所述跟踪目标对应的候选区域；

将所述候选区域输入预设跟踪模型进行处理得到所述跟踪目标对应的包围盒；

获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的所述包围盒中心的二维坐标，再根据摄像机投影矩阵计算出所述时刻对应的跟踪目标的包围盒中心的三维坐标；

获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将所述连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列；

根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

在其中一个实施例中，所述方法还包括：

将计算出的所述时刻对应的跟踪目标的包围盒中心的三维坐标输入LSTM中进行计算，预测所述两台摄像机拍摄的下一帧图像中的跟踪目标的三维坐标；

将包含所述三维坐标的区域作为下一帧图像中跟踪目标的候选区域。

在其中一个实施例中，所述将所述候选区域输入预设跟踪模型进行处理得到所述跟踪目标对应的包围盒，包括：

将所述候选区域输入预设卷积神经网络模型经过处理得到所述图像中跟踪目标的包围盒；

将所述图像中跟踪目标的包围盒输入预设回归层进行回归处理后得到所述跟踪目标对应的回归后的包围盒，所述预设回归层包含所述预设卷积神经网络模型的低层卷积层。

在其中一个实施例中，所述从所述图像中提取出所述跟踪目标对应的候选区域，包括：

从所述图像中采用背景减除的方法提取出所述跟踪目标对应的候选区域。

在其中一个实施例中，建立所述摄像机投影矩阵的过程，包括：

分别建立世界坐标系、摄像机坐标系；

获取摄像机的内参数矩阵和外参数矩阵；

根据所述内参数矩阵和外参数矩阵建立摄像机投影矩阵，所述摄像机投影矩阵可将摄像机坐标系的二维坐标转换至世界坐标系的三维坐标。

一种乒乓球目标跟踪和轨迹预测装置，所述装置包括：

摄像机拍摄模块，用于获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像；

跟踪目标候选区域提权模块，用于从所述图像中提取出所述跟踪目标对应的候选区域；

跟踪目标包围盒获取模块，用于将所述候选区域输入预设跟踪模型进行处理得到所述跟踪目标对应的包围盒；

跟踪目标包围盒三维坐标计算模块，用于获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的所述包围盒中心的二维坐标，再根据摄像机投影矩阵计算出所述时刻对应的跟踪目标的包围盒中心的三维坐标；

坐标序列生成模块，用于获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将所述连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列；

跟踪目标的轨迹生成模块，用于根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

在其中一个实施例中，所述装置还包括：

跟踪目标的三维坐标预测模块，用于将计算出的所述时刻对应的跟踪目标的包围盒中心的三维坐标输入LSTM中进行计算，预测所述两台摄像机拍摄的下一帧图像中的跟踪目标的三维坐标；

跟踪目标的候选区域获取模块，用于将包含所述三维坐标的区域作为下一帧图像中跟踪目标的候选区域。

在其中一个实施例中，所述跟踪目标包围盒获取模块包括：

卷积神经网络模块，用于将所述候选区域输入预设卷积神经网络模型经过处理得到所述图像中跟踪目标的包围盒；

回归层模块，用于将所述图像中跟踪目标的包围盒输入预设回归层进行回归处理后得到所述跟踪目标对应的回归后的包围盒，所述预设回归层包含所述预设卷积神经网络模型的低层卷积层。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像；

从所述图像中提取出所述跟踪目标对应的候选区域；

将所述候选区域输入预设跟踪模型进行处理得到所述跟踪目标对应的包围盒；

获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的所述包围盒中心的二维坐标，再根据摄像机投影矩阵计算出所述时刻对应的跟踪目标的包围盒中心的三维坐标；

获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将所述连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列；

根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

一种计算机设备，所述计算机设备包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像；

从所述图像中提取出所述跟踪目标对应的候选区域；

将所述候选区域输入预设跟踪模型进行处理得到所述跟踪目标对应的包围盒；

获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的所述包围盒中心的二维坐标，再根据摄像机投影矩阵计算出所述时刻对应的跟踪目标的包围盒中心的三维坐标；

获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将所述连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列；

根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

上述乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备，通过获取两台摄像机在同一时刻分别对跟踪目标拍摄的图像，再从图像中提取出跟踪目标对应的候选区域，将候选区域输入CNN模型进行处理得到跟踪目标对应的包围盒。因为是两台摄像机同时拍摄，所以每一个时刻都会获得两张图像进而获得两个包围盒，将同一时刻图像中跟踪目标对应的两个包围盒中心的二维坐标结合摄像机投影矩阵计算出该时刻对应的跟踪目标的包围盒的三维坐标。获取连续时刻的包围盒对应的三维坐标，并构成连续的坐标序列。将连续的坐标序列输入LSTM中进行计算，生成后续的坐标序列。根据连续的坐标序列和后续的坐标序列就得到了跟踪目标完整的轨迹。采用CNN模型进行准确的目标位置的跟踪，再结合LSTM能够有效地分析时序特征的优势，就能够实现对跟踪目标的运动轨迹的准确预测。

附图说明

图1为一个实施例中乒乓球目标跟踪和轨迹预测方法的应用环境图；

图2为一个实施例中服务器的内部结构图；

图3为一个实施例中乒乓球目标跟踪和轨迹预测方法的流程图；

图4为一个实施例中乒乓球目标跟踪和轨迹预测方法的流程图；

图5为图4中得到包围盒方法的流程图；

图6为一个实施例中建立摄像机投影矩阵方法的流程图；

图7为一个实施例中乒乓球目标跟踪和轨迹预测装置的结构示意图；

图8为一个实施例中乒乓球目标跟踪和轨迹预测装置的结构示意图；

图9为图7中跟踪目标包围盒获取模块的结构示意图；

图10为一个实施例中乒乓球目标跟踪和轨迹预测装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

近年来，随着计算机视觉技术的发展与逐渐成熟，计算机在体育运动领域的具体应用也不断出现。在乒乓球运动中，在摄像机拍摄的每一帧图像中跟踪乒乓球，从而记录球的位置信息，并对乒乓球的运动轨迹进行预测。由于乒乓球具有体积小、特征少、运动快的特点，需要专门设计跟踪和预测算法以满足这些要求。

本发明实施例中提出的一种乒乓球目标跟踪和轨迹预测方法，需要在特定的实际环境配置下使用。如图1所示，假设运动员正在打球，用摄像机对乒乓球110，乒乓球台120进行拍摄。具体来说，在乒乓球台的一侧放置了两台高速摄像机，通过硬件触发器并联，同步地对球台区域进行拍摄，并且保持在整个过程中不移动。为了保证之后能够准确计算三维坐标，相机的型号规格需要一致。以球台的一个角作为原点，建立世界坐标系。其中x轴沿球台底线，y轴沿球台边线，z轴垂直于球台。需要事先计算好两台摄像机到球台的投影矩阵，以便从两台摄像机得到的二维坐标计算三维坐标，或者将三维坐标投影至摄像机平面。

在一个实施例中，如图2所示，还提供了一种服务器，该服务器包括通过***总线连接的处理器、非易失性存储介质、内存储器、网络接口，非易失性存储介质中存储有操作***和一种乒乓球目标跟踪和轨迹预测装置，该乒乓球目标跟踪和轨迹预测装置用于执行一种乒乓球目标跟踪和轨迹预测方法。该处理器用于提高计算和控制能力，支撑整个服务器的运行。内存储器用于为非易失性存储介质中的乒乓球目标跟踪和轨迹预测装置的运行提供环境，该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得该处理器执行一种乒乓球目标跟踪和轨迹预测方法。网络接口接收包含跟踪目标的视频等。

在一个实施例中，如图3所示，提供了一种乒乓球目标跟踪和轨迹预测方法，以该方法应用于图1中的应用场景为例进行说明，包括：

步骤310，获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像。

在乒乓球台的一侧放置了两台高速摄像机，同步地对球台区域进行拍摄。跟踪目标为运动的乒乓球，在每一个时刻，从两台摄像机中分别获取一帧图像。

步骤320，从图像中提取出跟踪目标对应的候选区域。

在对图像中的跟踪目标进行跟踪前，首先要解决的就是如何得到跟踪目标的初始包围盒，即如何在图像中检测到跟踪目标—乒乓球。本框架首先寻找乒乓球的可能区域。由于摄像机始终固定，且整个场景没有太多运动物体，具体的可以采用背景减除等方式分别从两台摄像机拍摄的图像中提取前景区域，缩小搜索范围，将这些区域作为跟踪目标对应的候选区域。

步骤330，将候选区域输入预设跟踪模型进行处理得到跟踪目标对应的包围盒。

预设跟踪模型包括：预设卷积神经网络模型和预设回归层。卷积神经网络(Convolutional Neural Network,CNN)是深度学习技术中极具代表的网络结构之一。预设卷积神经网络模型是预先通过一组标注训练集对卷积神经网络进行训练所得的卷积神经网络模型，包括卷积层、池化层以及全连接层。预设回归层包括：全连接层、兴趣区域池化层及上述预设卷积神经网络模型中的低层卷积层。建立预设回归层，需要将另一组标注训练集先经过上述已将建立的预设卷积神经网络模型进行处理后，在经过回归层进行回归处理后，经过训练建立预设回归层。

分别将从图像中提取出的候选区域输入预设跟踪模型进行处理得到跟踪目标对应的包围盒。具体为，将候选区域依次输入CNN中进行目标检测，输出一个概率值来表示该候选区域是否包含目标。如果输入的候选区域未发现目标，则需要把所有候选区域都输入CNN检测目标。如果从上一帧图像中发现了目标，就只将上一帧图像中目标所在位置附近的候选区域输入CNN，可以减少不必要的计算，提高效率。

步骤340，获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的包围盒中心的二维坐标，再根据摄像机投影矩阵计算出该时刻对应的跟踪目标的包围盒中心的三维坐标。

经过预设跟踪模型处理后，得到了两台摄像机在同一时刻分别拍摄的图像中跟踪目标对应的包围盒，再根据包围盒得到包围盒中心的二维坐标。此时这个二维坐标是摄像机坐标系中的，再根据摄像机投影矩阵计算出该时刻对应的跟踪目标的包围盒中心在世界坐标系中的三维坐标。其中，摄像机投影矩阵为预先计算好的。具体的，预先分别建立世界坐标系、摄像机坐标系，再获取摄像机的内参数矩阵和外参数矩阵。根据内参数矩阵和外参数矩阵建立摄像机投影矩阵，摄像机投影矩阵可将摄像机坐标系的二维坐标转换至世界坐标系的三维坐标。

步骤350，获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列。

对每一个时刻拍摄的图像经过上述计算，获取连续时刻的跟踪目标对应的包围盒，再获取包围盒中心对应的三维坐标。将这些连续时刻对应的包围盒中心的三维坐标，依次构成连续的坐标序列。将连续的坐标序列输入递归神经网络LSTM中自动生成后续的坐标序列。LSTM(Long Short-Term Memory)，是指双向长短期记忆网络模型，是一种时间递归神经网络。双向长短期记忆网络模型包括前向长短期记忆网络模型和后向长短期记忆网络模型。

步骤360，根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

将由连续的坐标序列输入LSTM中进行计算得到的后续的坐标序列、连续的坐标序列一起就构成了跟踪目标的轨迹，便可以对跟踪目标例如乒乓球进行轨迹预测和落点预测。

本实施例中，通过获取两台摄像机在同一时刻分别对跟踪目标拍摄的图像，再从图像中提取出跟踪目标对应的候选区域，将候选区域输入预设跟踪模型进行处理得到跟踪目标对应的包围盒。因为是两台摄像机同时拍摄，所以每一个时刻都会获得两张图像进而获得两个包围盒，将同一时刻图像中跟踪目标对应的两个包围盒中心的二维坐标结合摄像机投影矩阵计算出该时刻对应的跟踪目标的包围盒的三维坐标。获取连续时刻的包围盒对应的三维坐标，并构成连续的坐标序列。将连续的坐标序列输入LSTM中进行计算，生成后续的坐标序列。根据连续的坐标序列和后续的坐标序列就得到了跟踪目标完整的轨迹。采用预设跟踪模型进行准确的目标位置的跟踪，再结合LSTM能够有效地分析时序特征的优势，就能够实现对跟踪目标的运动轨迹的准确预测。

在一个实施例中，如图4所示，一种乒乓球目标跟踪和轨迹预测方法，还包括：

步骤370，将计算出的时刻对应的跟踪目标的包围盒中心的三维坐标输入LSTM中进行计算，预测两台摄像机拍摄的下一帧图像中的跟踪目标的三维坐标。

LSTM也可以作为目标跟踪的模型，将对本次拍摄的图像进行处理得到的坐标输入至LSTM中，预测下一帧图像中跟踪目标包围盒的坐标。具体的，在每次循环中都将得到的坐标输入LSTM模型，并令LSTM模型只输出一个混合高斯模型的参数，类似于卡尔曼滤波器，来预测跟踪目标在下一帧可能出现的位置，从而减小跟踪的搜索范围。

步骤380，将包含三维坐标的区域作为下一帧图像中跟踪目标的候选区域。

将包含经过LSTM预测得到的三维坐标的区域作为下一帧图像中跟踪目标的候选区域。在发生遮挡或跟踪目标运动速度过快，预设跟踪模型可能会丢失目标时，使用LSTM的预测结果作为跟踪结果，使得整个跟踪框架能够继续工作，不至于因为预设跟踪模型丢失目标而瘫痪。

在本实施例中，利用前几帧图像计算所得的跟踪目标连续的坐标序列，通过LSTM模型不仅可以得到跟踪目标后续的坐标序列，再根据坐标序列得到跟踪目标完整的轨迹。也可以对下一帧图像中的目标进行跟踪。从而可以减小利用预设跟踪模型进行跟踪的搜索范围，而且可以弥补在跟踪目标发生遮挡或运动速度过快，预设跟踪模型可能会丢失目标时的缺陷。

在一个实施例中，如图5所示，将候选区域输入预设跟踪模型进行处理得到跟踪目标对应的包围盒，包括：

步骤331，将候选区域输入预设卷积神经网络模型经过处理得到图像中跟踪目标的包围盒。

预设跟踪模型包括：预设卷积神经网络模型和预设回归层。具体的，将从图像中提取出的像素为100×100候选区域输入预设卷积神经网络模型中进行卷积操作。预设卷积神经网络模型中的卷积层使用了预先训练的CaffeNet。上述卷积操作可以为进行多次卷积操作，提取候选区域的特征图。

在卷积层之上是池化层，将提取出的图像的特征图输入池化层进行池化操作，即进行特征压缩得到压缩后的特征图。具体的，池化层可以为空间金字塔池化层(spacialpyramid pooling layer)，这种空间金字塔池化层用于保留更多位置信息。

将经过池化层得到的压缩后的特征图，再经过两个全连接层，将输出的2500维向量变换为50×50的矩阵，即输出50×50的概率图。矩阵中的每一个元素是一个概率值，代表输入图像中相应位置的像素属于跟踪目标的概率。对于一张包含跟踪目标的图像，一般会输出一个连通的区域。在这个区域之内的概率值明显比之外的概率值高。可以通过对概率值设置阈值，超过某一个概率值则为包围盒内的，从而计算出一个包围盒，这个包围盒便作为对目标位置的预测结果。

其中，建立预设卷积神经网络模型的步骤如下：获取用于建模的卷积神经网络训练集，卷积神经网络训练集包括包含目标的图像和不包含目标的图像，图像为从包含目标的视频中获取的；对图像进行标注，将图像中目标的实际包围盒内的值设置为第一值，将图像中目标的实际包围盒外的值设置为第二值；将卷积神经网络训练集输入初始化网络参数的卷积神经网络中进行训练得到图像中目标的包围盒；根据图像中目标的包围盒、标注出的实际包围盒及Softmax损失函数计算建模后的卷积神经网络的网络参数；根据网络参数得到预设卷积神经网络模型。

其中，建立预设回归层的步骤如下：获取用于建模的回归层训练集，回归层训练集包括包含目标的图像，图像为从包含目标的视频中获取的；对图像进行标注，标注出图像中目标的实际包围盒的大小；将回归层训练集输入预设卷积神经网络模型中进行训练得到图像中目标的包围盒；将图像中目标的包围盒输入初始化网络参数的回归层进行回归处理后得到目标对应的回归后的包围盒的大小；根据目标对应的回归后的包围盒的大小、标注出的实际包围盒的大小及smoothL1损失函数计算建模后的回归层的网络参数；根据网络参数得到预设回归层。

步骤333，将图像中跟踪目标的包围盒输入预设回归层进行回归处理后得到跟踪目标对应的回归后的包围盒，预设回归层包含预设卷积神经网络模型的低层卷积层。

在预设卷积神经网络模型之后紧接着是回归层。回归层自下至上依次是预设卷积神经网络模型中的低层卷积层、兴趣区域池化层、全连接层。将目标的候选区域经过预设卷积神经网络模型得到目标的包围盒，投影至预设卷积神经网络模型中的低层卷积层中进行卷积处理得到目标的特征图。

即对上一步骤中得到的目标的特征图输入至兴趣区域池化层进行特征压缩，得到压缩后的特征图。具体为，将包围盒在低层卷积层的特征图上进行裁剪，并缩放至一个7×7大小的新的特征图。

将压缩后的特征图输入全连接层进行处理得到，由CNN计算出的包围盒与回归后的包围盒之间xy方向的位移和长宽的缩放。从而根据CNN计算出的包围盒、xy方向的位移和长宽的缩放得到回归后的包围盒。具体为，在这个特征图之上再添加一个全连接层，考虑到卷积层的位置精度不能太低，本发明实施例选择在conv-1(第一层卷积层)进行裁剪。经过全连接层处理后输出的为4个实数，代表回归后的包围盒与CNN计算出的包围盒两者在xy方向的位移和长宽的缩放。从而对经过CNN计算出的包围盒进行了校正和微调。最终得到了跟踪目标对应的包围盒。

在本实施例中，将经过预设卷积神经网络模型处理得到的目标的包围盒输入至预设回归层进行回归处理后，因为预设回归层包含预设卷积神经网络模型的低层卷积层，所以可以同时兼顾高层卷积层的语义信息(目标类别等)和低层卷积层的位置信息，从而可以正确辨别出输入图像中的目标并准确地给出目标的包围盒。由回归层最终计算出回归后的包围盒与CNN计算出的包围盒两者在xy方向的位移和长宽的缩放。从而对CNN计算出的包围盒进行了修正，使得回归后的包围盒更加精确，有效避免整个跟踪框架产生飘移甚至丢失目标。

在一个实施例中，从图像中提取出跟踪目标对应的候选区域，包括：从图像中采用背景减除的方法提取出跟踪目标对应的候选区域。

一般在目标跟踪的工作中，跟踪算法通常会假设在第一帧图像中已经给出了要跟踪的目标的初始包围盒。因此在实际使用跟踪算法时，首先要解决的就是如何得到初始包围盒，即如何在图像中检测到跟踪目标。本发明实施例首先寻找目标乒乓球的可能区域。由于摄像机始终固定，且整个场景没有太多运动物体，可以采用背景减除等方式提取前景区域，缩小搜索范围。这些区域作为目标候选区域，之后会被输入到预设跟踪模型中计算。具体的，要注意这个***并非严重依赖于背景减除。它只需要在最初几帧找到目标的初始位置，然后便可以使用例如LSTM模型进行目标跟踪。当然，在算法的主体部分中，依旧可以使用背景减除作为辅助方法，为跟踪提供候选区域。

在本实施例中，采用背景减除方法可以很快缩小搜索范围，使得后续利用预设跟踪模型或者预设LSTM模型来根据前几帧图像中目标的包围盒坐标预测下一帧目标的包围盒坐标。

在一个实施例中，如图6所示，建立摄像机投影矩阵的过程，包括：

步骤610，分别建立世界坐标系、摄像机坐标系。

以球台的一个角作为原点，建立世界坐标系。其中x轴沿球台底线，y轴沿球台边线，z轴垂直于球台。以摄像机为原点建立摄像机坐标系。当然，也可以用其他方式建立摄像机坐标系。

步骤630，获取摄像机的内参数矩阵和外参数矩阵。

首先，使用棋盘标定法，通过多角度拍摄棋盘图片，并使用OpenCV的内置标定函数，获取相机的内参数矩阵M_3×3以及畸变系数。内参数矩阵用于将摄像机坐标系三维坐标转换为摄像机平面二维坐标：

随后，通过颜色特征识别图像中的乒乓球台区域，利用霍夫变换得到其边界线。通过边界线的交点得到球台四个角的坐标，然后计算相机到球台的外参数矩阵，包括旋转矩阵R_3×3和位移矩阵T_3x1。外参数矩阵用于摄像机坐标系和世界坐标系的转换：

步骤650，根据内参数矩阵和外参数矩阵建立摄像机投影矩阵，摄像机投影矩阵可将摄像机坐标系的二维坐标转换至世界坐标系的三维坐标。

最后，综合上述两式，已知某点在两个摄像机平面的二维坐标，利用以下公式计算三维坐标。

其中，Z_c为该点在一个摄像机坐标系中的Z坐标，为未知数。u,v为该点在摄像机平面的坐标。R为旋转矩阵，T为位移矩阵。X_w,Y_w,Z_w为要求解的世界坐标系下的三维坐标。总共四个未知数，两台摄像机各提供一个上述方程式，因此可以利用线性代数直接求解。

在本实施例中，预先计算出摄像机投影矩阵，以便在进行乒乓球目标跟踪和轨迹预测时候直接将摄像机坐标系的二维坐标转换至世界坐标系的三维坐标。统一至世界坐标系进行计算，这样方便快捷。

在一个实施例中，如图7所示，提供了一种乒乓球目标跟踪和轨迹预测装置700，该装置包括：摄像机拍摄模块710、跟踪目标候选区域提权模块720、跟踪目标包围盒获取模块730、跟踪目标包围盒三维坐标计算模块740、坐标序列生成模块750及跟踪目标的轨迹生成模块760。

摄像机拍摄模块710，用于获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像。

跟踪目标候选区域提权模块720，用于从图像中提取出跟踪目标对应的候选区域。

跟踪目标包围盒获取模块730，用于将候选区域输入预设跟踪模型进行处理得到跟踪目标对应的包围盒。

跟踪目标包围盒三维坐标计算模块740，用于获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的包围盒中心的二维坐标，再根据摄像机投影矩阵计算出时刻对应的跟踪目标的包围盒中心的三维坐标。

坐标序列生成模块750，用于获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列。

跟踪目标的轨迹生成模块760，用于根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

在一个实施例中，如图8所示，一种乒乓球目标跟踪和轨迹预测装置700还包括：跟踪目标的三维坐标预测模块770及跟踪目标的候选区域获取模块780。

跟踪目标的三维坐标预测模块770，用于将计算出的时刻对应的跟踪目标的包围盒中心的三维坐标输入LSTM中进行计算，预测两台摄像机拍摄的下一帧图像中的跟踪目标的三维坐标。

跟踪目标的候选区域获取模块780，用于将包含三维坐标的区域作为下一帧图像中跟踪目标的候选区域。

在一个实施例中，如图9所示，跟踪目标包围盒获取模块730包括：卷积神经网络模块731和回归层模块733。

卷积神经网络模块731，用于将候选区域输入预设卷积神经网络模型经过处理得到图像中跟踪目标的包围盒。

回归层模块733，用于将图像中跟踪目标的包围盒输入预设回归层进行回归处理后得到跟踪目标对应的回归后的包围盒，预设回归层包含预设卷积神经网络模型的低层卷积层。

在一个实施例中，跟踪目标候选区域提权模块720还用于：从图像中采用背景减除的方法提取出跟踪目标对应的候选区域。

在一个实施例中，如图10所示，一种乒乓球目标跟踪和轨迹预测装置700还包括摄像机投影矩阵建立模块790，摄像机投影矩阵建立模块790用于分别建立世界坐标系、摄像机坐标系；获取摄像机的内参数矩阵和外参数矩阵；根据内参数矩阵和外参数矩阵建立摄像机投影矩阵，摄像机投影矩阵可将摄像机坐标系的二维坐标转换至世界坐标系的三维坐标。

在一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像；从图像中提取出跟踪目标对应的候选区域；将候选区域输入预设跟踪模型进行处理得到跟踪目标对应的包围盒；获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的包围盒中心的二维坐标，再根据摄像机投影矩阵计算出时刻对应的跟踪目标的包围盒中心的三维坐标；获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列；根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：将计算出的时刻对应的跟踪目标的包围盒中心的三维坐标输入LSTM中进行计算，预测两台摄像机拍摄的下一帧图像中的跟踪目标的三维坐标；将包含三维坐标的区域作为下一帧图像中跟踪目标的候选区域。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：将候选区域输入预设卷积神经网络模型经过处理得到图像中跟踪目标的包围盒；将图像中跟踪目标的包围盒输入预设回归层进行回归处理后得到跟踪目标对应的回归后的包围盒，预设回归层包含预设卷积神经网络模型的低层卷积层。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：从图像中采用背景减除的方法提取出跟踪目标对应的候选区域。

在一个实施例中，上述程序被处理器执行时还实现以下步骤：分别建立世界坐标系、摄像机坐标系；获取摄像机的内参数矩阵和外参数矩阵；根据内参数矩阵和外参数矩阵建立摄像机投影矩阵，摄像机投影矩阵可将摄像机坐标系的二维坐标转换至世界坐标系的三维坐标。

在一个实施例中，还提供了一种计算机设备，该计算机设备包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像；从图像中提取出跟踪目标对应的候选区域；将候选区域输入预设跟踪模型进行处理得到跟踪目标对应的包围盒；获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的包围盒中心的二维坐标，再根据摄像机投影矩阵计算出时刻对应的跟踪目标的包围盒中心的三维坐标；获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列；根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：将计算出的时刻对应的跟踪目标的包围盒中心的三维坐标输入LSTM中进行计算，预测两台摄像机拍摄的下一帧图像中的跟踪目标的三维坐标；将包含三维坐标的区域作为下一帧图像中跟踪目标的候选区域。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：将候选区域输入预设卷积神经网络模型经过处理得到图像中跟踪目标的包围盒；将图像中跟踪目标的包围盒输入预设回归层进行回归处理后得到跟踪目标对应的回归后的包围盒，预设回归层包含预设卷积神经网络模型的低层卷积层。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：从图像中采用背景减除的方法提取出跟踪目标对应的候选区域。

在一个实施例中，上述处理器执行计算机程序时还实现以下步骤：分别建立世界坐标系、摄像机坐标系；获取摄像机的内参数矩阵和外参数矩阵；根据内参数矩阵和外参数矩阵建立摄像机投影矩阵，摄像机投影矩阵可将摄像机坐标系的二维坐标转换至世界坐标系的三维坐标。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机***的存储介质中，并被该计算机***中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种乒乓球目标跟踪和轨迹预测方法，所述方法包括：

获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像；

从所述图像中提取出所述跟踪目标对应的候选区域；

将所述候选区域输入预设卷积神经网络模型经过处理得到所述图像中跟踪目标的包围盒；

将所述图像中跟踪目标的包围盒输入预设回归层进行回归处理后得到所述跟踪目标对应的回归后的包围盒，所述预设回归层包含所述预设卷积神经网络模型的低层卷积层；

获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的所述包围盒中心的二维坐标，再根据摄像机投影矩阵计算出所述时刻对应的跟踪目标的包围盒中心的三维坐标；

获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将所述连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列；

根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将计算出的所述时刻对应的跟踪目标的包围盒中心的三维坐标输入LSTM中进行计算，预测所述两台摄像机拍摄的下一帧图像中的跟踪目标的三维坐标；

将包含所述三维坐标的区域作为下一帧图像中跟踪目标的候选区域。

3.根据权利要求1所述的方法，其特征在于，所述从所述图像中提取出所述跟踪目标对应的候选区域，包括：

从所述图像中采用背景减除的方法提取出所述跟踪目标对应的候选区域。

4.根据权利要求1所述的方法，其特征在于，建立所述摄像机投影矩阵的过程，包括：

分别建立世界坐标系、摄像机坐标系；

获取摄像机的内参数矩阵和外参数矩阵；

根据所述内参数矩阵和外参数矩阵建立摄像机投影矩阵，所述摄像机投影矩阵可将摄像机坐标系的二维坐标转换至世界坐标系的三维坐标。

5.一种乒乓球目标跟踪和轨迹预测装置，其特征在于，所述装置包括：

摄像机拍摄模块，用于获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像；

跟踪目标候选区域提权模块，用于从所述图像中提取出所述跟踪目标对应的候选区域；

跟踪目标包围盒获取模块，用于将所述候选区域输入预设卷积神经网络模型经过处理得到所述图像中跟踪目标的包围盒；将所述图像中跟踪目标的包围盒输入预设回归层进行回归处理后得到所述跟踪目标对应的回归后的包围盒，所述预设回归层包含所述预设卷积神经网络模型的低层卷积层；

跟踪目标包围盒三维坐标计算模块，用于获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的所述包围盒中心的二维坐标，再根据摄像机投影矩阵计算出所述时刻对应的跟踪目标的包围盒中心的三维坐标；

坐标序列生成模块，用于获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将所述连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列；

跟踪目标的轨迹生成模块，用于根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

跟踪目标的三维坐标预测模块，用于将计算出的所述时刻对应的跟踪目标的包围盒中心的三维坐标输入LSTM中进行计算，预测所述两台摄像机拍摄的下一帧图像中的跟踪目标的三维坐标；

跟踪目标的候选区域获取模块，用于将包含所述三维坐标的区域作为下一帧图像中跟踪目标的候选区域。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的乒乓球目标跟踪和轨迹预测方法。

8.一种计算机设备，所述计算机设备包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的乒乓球目标跟踪和轨迹预测方法。

Images