CN107194308B - 视频中球员追踪方法和装置 - Google Patents

Abstract

本发明涉及一种视频中球员追踪方法和装置，该方法包括获取视频的当前帧中的球场区域；获取球场区域中的球员像素；根据所述球员像素生成球员标记框；当所述当前帧中的所述球员标记框的面积增大时，则获取面积增大的所述球员标记框的分割点；根据所述分割点将所述球员标记框分割以形成新的球员标记框；通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪显示。上述的视频中球员追踪方法和装置，通过检测球员标记框的面积是否出现增大来判断是否存在球员遮挡，处理简单，且在存在遮挡时，可以通过分割点对球员标记框进行分割，从而使得卡尔曼滤波可以准确地对球员标记框进行追踪，不会出现由于球员的遮挡，而造成球员信息丢失的情况。

Description

视频中球员追踪方法和装置

技术领域

本发明涉及图像处理领域，特别是涉及一种视频中球员追踪方法和装置。

背景技术

在足球视频领域，Bebie等人实现了半自动的足球比赛视频片段，着重于球员动作和姿态的重现，Bobick等提出“closed-world”的概念并将其应用于美式橄榄球的追踪中。但是上述方法中至少存在以下问题：且一旦球员出现遮挡的情况，对该遮挡的球员进行重新跟踪等需要进行复杂的检测机制。

发明内容

基于此，有必要针对球员存在遮挡的问题，提供一种视频中球员追踪方法和装置。

一种视频中球员追踪方法，所述方法包括：

获取视频的当前帧中的球场区域；

获取球场区域中的球员像素；

根据所述球员像素生成球员标记框；

当所述当前帧中的所述球员标记框的面积增大时，则获取面积增大的所述球员标记框的分割点；

根据所述分割点将所述球员标记框分割以形成新的球员标记框；

通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪显示。

在其中一个实施例中，所述获取面积增大的所述球员标记框的分割点的步骤，包括：

获取面积增大的所述球员标记框的预设的、相对的两条边上的球员像素的个数；

当预设的、相对的两条边上的球员像素的个数不相等时，则根据面积增大的所述球员标记框的坐标获取未遮挡前各个球员标记框的长度和宽度；

根据未遮挡前各个球员标记框的长度和宽度，计算所述球员标记框的分割点；

当所述预设的相对的两条边上的球员像素的个数相等时，则获取所述球员标记框的中心点为所述分割点。

在其中一个实施例中，所述通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪显示的步骤，包括：

通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪；

获取追踪到的所述球员标记框的坐标；

获取所述球员标记框的坐标投影至目标平面的第一球员投影坐标；

在所述目标平面中，根据所述第一球员投影坐标，追踪显示所述上一帧中的相应球员坐标投影至所述目标平面中的第二球员投影坐标处的球员标识。

在其中一个实施例中，所述通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪的步骤，包括：

通过以下公式计算所述当前帧中的球员标记框的预测值和真实值之间的误差协方差矩阵：

其中，

为k时刻的预测值，其中，

为k-1时刻的估计值，u_k-1为k-1时刻的当前帧，A为前一时刻预测值转换为当前时刻预测值的转换矩阵，B为前一时刻输入值转换为当前时刻预测值的转换矩阵，P_k′为k时刻预测值与真实值之间的误差协方差矩阵，x_k为k时刻的真实值，Q为***噪声的协方差矩阵；

通过以下公式计算卡尔曼增益：

K_k＝P′_kH^T(HP′_kH^T+R)^-1，且

其中，K_k为k时刻的卡尔曼增益，H为同一时刻的预测值转换为测量值的转换矩阵，R为测量噪声变量的协方差矩阵，z_k为k时刻的测量值；

通过以下公式，根据所述卡尔曼增益和所述预测值和真实值之间的误差协方差矩阵计算估计值和真实值之间的误差协方差矩阵：

根据所述估计值和真实值之间的误差协方差矩阵获得所述真实值，并追踪所述真实值。

在其中一个实施例中，所述方法还包括：

通过霍夫变换获得所述球场区域中的球场线；

根据所述球场线，确定所述当前帧与目标平面之间的坐标投影关系。

一种视频中球员追踪装置，所述装置包括：

球场区域获取模块，用于获取视频的当前帧中的球场区域；

球员标记框生成模块，用于获取球场区域中的球员像素，并根据所述球员像素生成球员标记框；

分割点获取模块，用于当所述当前帧中的所述球员标记框的面积增大时，则获取面积增大的所述球员标记框的分割点；

分割模块，用于根据所述分割点将所述球员标记框分割以形成新的球员标记框；

追踪模块，用于通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪显示。

在其中一个实施例中，所述分割点获取模块包括：

个数获取单元，用于获取面积增大的所述球员标记框的预设的、相对的两条边上的球员像素的个数；

分割点确定单元，用于当预设的、相对的两条边上的球员像素的个数不相等时，则根据面积增大的所述球员标记框的坐标获取未遮挡前各个球员标记框的长度和宽度；根据未遮挡前各个球员标记框的长度和宽度，计算所述球员标记框的分割点；当所述预设的相对的两条边上的球员像素的个数相等时，则获取所述球员标记框的中心点为所述分割点。

在其中一个实施例中，所述追踪模块包括：

追踪单元，用于通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪；

第一坐标计算单元，用于获取追踪到的所述球员标记框的坐标；

第二坐标计算单元，用于获取所述球员标记框的坐标投影至目标平面的第一球员投影坐标；

显示单元，用于在所述目标平面中，根据所述第一球员投影坐标，追踪显示所述上一帧中的相应球员坐标投影至所述目标平面中的第二球员投影坐标处的球员标识。

在其中一个实施例中，所述追踪单元包括：

第一矩阵计算单元，用于通过以下公式计算所述当前帧中的球员标记框的预测值和真实值之间的误差协方差矩阵：

其中，

为k时刻的预测值，其中，

为k-1时刻的估计值，u_k-1为k-1时刻的当前帧，A为前一时刻预测值转换为当前时刻预测值的转换矩阵，B为前一时刻输入值转换为当前时刻预测值的转换矩阵，P_k′为k时刻预测值与真实值之间的误差协方差矩阵，x_k为k时刻的真实值，Q为***噪声的协方差矩阵；

卡尔曼增益计算单元，用于通过以下公式计算卡尔曼增益：

K_k＝P′_kH^T(HP′_kH^T+R)^-1，且

其中，K_k为k时刻的卡尔曼增益，H为同一时刻的预测值转换为测量值的转换矩阵，R为测量噪声变量的协方差矩阵，z_k为k时刻的测量值；

第二矩阵计算单元，用于通过以下公式，根据所述卡尔曼增益和所述预测值和真实值之间的误差协方差矩阵计算估计值和真实值之间的误差协方差矩阵：

真实值计算单元，用于根据所述估计值和真实值之间的误差协方差矩阵获得所述真实值，并追踪所述真实值。

在其中一个实施例中，所述装置还包括：

坐标投影关系计算单元，用于通过霍夫变换获得所述球场区域中的球场线；根据所述球场线，确定所述当前帧与目标平面之间的坐标投影关系。

上述的视频中球员追踪方法和装置，通过检测球员标记框的面积是否出现增大来判断是否存在球员遮挡，处理简单，且在存在遮挡时，可以通过分割点对球员标记框进行分割，从而使得卡尔曼滤波可以准确地对球员标记框进行追踪，不会出现由于球员的遮挡，而造成球员信息丢失的情况。

附图说明

图1为一实施例中视频中球员追踪方法的流程图；

图2为图1所示的实施例中的步骤S108的流程图；

图3为图2所示实施例的遮挡球员的球员标记框的示意图；

图4为图1所示实施例中的步骤S112的流程图；

图5为图1所示实施例中的目标平面中的第一球员投影坐标的示意图；

图6为图1所示实施例中步骤S112的流程图；

图7为一实施例中坐标投影关系获取步骤的流程图；

图8为图1所示实施例中的当前帧的R通道的灰度直方图；

图9为图1所示实施例中的当前帧的G通道的灰度直方图；

图10为图1所示实施例中的当前帧的B通道的灰度直方图；

图11为图1所示实施例中的球场区域的示意图；

图12为一实施例中球场区域中的白线区域的示意图；

图13为图12所示实施例经过霍夫变换后的示意图；

图14为一实施例中视频中球员追踪装置的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

在详细说明根据本发明的实施例前，应该注意到的是，所述的实施例主要在于与数据排序方法和装置相关的步骤和***组件的组合。因此，所属***组件和方法步骤已经在附图中通过常规符号在适当的位置表示出来了，并且只示出了与理解本发明的实施例有关的细节，以免因对于得益于本发明的本领域普通技术人员而言显而易见的那些细节模糊了本发明的公开内容。

在本文中，诸如左和右，上和下，前和后，第一和第二之类的关系术语仅仅用来区分一个实体或动作与另一个实体或动作，而不一定要求或暗示这种实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。

请参阅图1，图1为一实施例中视频中球员追踪方法的流程图，该方法包括：

S102：获取视频的当前帧中的球场区域。

具体地，由于足球场一般是由草地组成，草地的颜色为绿色，草地的周围为跑道，跑道的颜色为红色，因此可以通过颜色来将球场区域从当前帧中提取出来。

S104：获取球场区域中的球员像素。

具体地，球员像素是指表示球员的像素，由于球场上不同队的球员的队服的颜色不一样，且与草地的颜色也不一样，因此可以根据颜色的不同，从当前帧中将球场区域中的球员像素提取出来。

S106：根据球员像素生成球员标记框。

具体地，球员标记框可以根据球员像素的连通域的大小来确定，例如，可以通过广度优先搜索的方式，根据某一球员像素生成包含某一区域中的球员像素的最小的矩形框作为球员标记框。

S108：当当前帧中的球员标记框的面积增大时，则获取面积增大的球员标记框的分割点。

具体地，由于在一定时间内球员的形态不可能发生突变，因此可以通过球员标记框的面积来判断是否存在球员遮挡的现象，当存在球员遮挡时，则对该球员标记框进行分割。

分割点是指可以确定存在遮挡现象的球员矩形框的分割线的分割点，其可以是存在遮挡现象的球员标记框的中心点等。

S110：根据分割点将球员标记框分割以形成新的球员标记框。

具体地，当该球员标记框为球员矩形框时，当获取到该球员矩形框的分割点时，可以根据该分割点获取相应的分割线，例如可以是根据该分割点确定相互垂直的两条线为该球员矩形框的分割线。

S112：通过卡尔曼滤波对分割后的当前帧中的球员标记框进行追踪显示。

具体地，当对存在遮挡的球员矩形框进行分割后，再通过卡尔曼滤波对分割后的当前帧中的球员标记框进行追踪显示，可以避免因为球员遮挡，而出现卡尔曼滤波中球员追踪丢失的情况。

上述的视频中球员追踪方法，通过检测球员标记框的面积是否出现增大来判断是否存在球员遮挡，处理简单，且在存在遮挡时，可以通过分割点对球员标记框进行分割，从而使得卡尔曼滤波可以准确地对球员标记框进行追踪，不会出现由于球员的遮挡，而造成球员信息丢失的情况。

在其中一个实施例中，请参阅图2，图2为图1所示的实施例中的步骤S108的流程图，该步骤S108，即获取面积增大的球员标记框的分割点的步骤可以包括：

S202：获取面积增大的球员标记框的预设的、相对的两条边上的球员像素的个数。

具体地，参阅图3，图3为图2所示实施例的遮挡球员的球员标记框的示意图，其中边AB与边CD为预设的、相对的两条边，该两条边上均有球员像素，当两条边上的球员像素的个数不相同时，则可以认为存在遮挡的球员在当前视角下存在前后位置关系，因此为了分割的准确性，需要将在前面的球员标记框先分割出来。

S204：当预设的、相对的两条边上的球员像素的个数不相等时，则根据面积增大的球员标记框的坐标获取未遮挡前各个球员标记框的长度和宽度。

具体地，如图3，该球员标记框ABCD的面积增大，则可以获得存在遮挡的球员标记框的长L、宽W，以及未遮挡前的球员标记框的长度和宽度，如图3，原第一球员标记框AEKF，其长为AF，宽为AE，原第二球员标记框GHCL，其长为HC，宽为GH。

S206：根据未遮挡前各个球员标记框的长度和宽度，计算球员标记框的分割点。

通过((AE+GH)-W)/2来获得分割点的横坐标，通过((AF+HC)-L)/2来获得分割点的纵坐标，如图3中的O点，再通过该O点作垂直于AB和AC的分割线，例如PQ和RS。

S208:当预设的相对的两条边上的球员像素的个数相等时，则获取球员标记框的中心点为分割点。

当两条边上的球员像素的个数相同时，则可以认为存在遮挡的球员存在在当前视角下不存在前后位置关系，因此可以直接将该存在遮挡的球员标记框的中心点作为分割点。

本实施例中，通过预设的、相对的两条边上的球员像素的个数来判断存在遮挡的球员在当前视角下是否存在前后位置关系，当存在前后位置关系时，则通过面积增大的球员标记框的坐标获取未遮挡前各个球员标记框的长度和宽度，从而可以准确地确定分割点，提高分割精度。

在其中一个实施例中，请参阅图4，图4为图1所示实施例中的步骤S112的流程图，该步骤S112，即通过卡尔曼滤波对分割后的当前帧中的球员标记框进行追踪显示的步骤可以包括：

S402：通过卡尔曼滤波对分割后的当前帧中的球员标记框进行追踪。

具体地，当存在遮挡球员时，对该遮挡球员进行分割后，再通过卡尔曼滤波对分割后的当前帧中的球员标记框进行追踪。

S404：获取追踪到的球员标记框的坐标。

具体地，可以通过球员标记框计算球员坐标，例如可以以该球员标记框的中心点为球员坐标，还可以以该球员标记框的某一个角点位标记框，在此不作限制。

S406：获取球员标记框的坐标投影至目标平面的第一球员投影坐标。

具体地，具体地，目标平面可以为一二维平面，其与球场相对应，可以将该目标平面理解成为按比例缩小的球场平面。且为了直观地向观看视频的用户展现球员在球场的位置，将当前帧中的确定球员坐标投影至该目标平面中的第一球员投影坐标，如图5。

S408：在目标平面中，根据第一球员投影坐标，追踪显示上一帧中的相应球员坐标投影至目标平面中的第二球员投影坐标处的球员标识。

具体地，球员标识是可以唯一确定该球员的图标，例如可以为一圆形图标、三角形图标等，也可以为一带有号码的人形图标等。为了实现对该球员的追踪，可以将上一帧中的相应球员坐标投影至目标平面中的第二球员投影坐标处的球员标识，移动至第一球员投影坐标处，以直观地表示该球员的位置发生了变化，实现对该球员的追踪。

在本实施例中，不仅通过卡尔曼滤波对当前帧中的球员标记框进行追踪，且为了给用户提供直观的表示，将摄像机视角下的追踪图像转换到目标平面中，从而提高用户的体验。

在其中一个实施例中，请参阅图6，图6为图1所示实施例中步骤S112的流程图，该步骤S112，即通过卡尔曼滤波对分割后的当前帧中的球员标记框进行追踪的步骤可以包括：

S602：通过以下公式计算当前帧中的球员标记框的预测值和真实值之间的误差协方差矩阵：

其中，

为k时刻的预测值，其中，

为k-1时刻的估计值，u_k-1为k-1时刻的当前帧，A为前一时刻预测值转换为当前时刻预测值的转换矩阵，B为前一时刻输入值转换为当前时刻预测值的转换矩阵，P_k′为k时刻预测值与真实值之间的误差协方差矩阵，x_k为k时刻的真实值，Q为***噪声的协方差矩阵；

S604：通过以下公式计算卡尔曼增益：

K_k＝P′_kH^T(HP′_kH^T+R)^-1，且

其中，K_k为k时刻的卡尔曼增益，H为同一时刻的预测值转换为测量值的转换矩阵，R为测量噪声变量的协方差矩阵，z_k为k时刻的测量值；

S606：通过以下公式，根据卡尔曼增益和预测值和真实值之间的误差协方差矩阵计算估计值和真实值之间的误差协方差矩阵：

S608：根据估计值和真实值之间的误差协方差矩阵获得真实值，并追踪真实值。

具体地，卡尔曼滤波中的状态差分方程为：

x_k＝Ax_k-1+Bu_k-1+w_k-1 (4)

其中x_k为k时刻的球员标记框、x_k-1为k-1时刻的球员标记框，大小为n×1。A为前一时刻预测值转换为当前时刻预测值的转换矩阵，大小为n×n。u_k-1为k-1时刻的当前帧，大小为k×1。B为前一时刻输入值转换为当前时刻预测值的转换矩阵，大小为n×k。随机变量w_k-1为k-1时刻的***噪声。这个方程表示，***的最新状态等于之前的状态加上***输入的影响、再加上***的噪声。

然而，测量往往存在误差，在大多数情况下很难对真实运动的***构建出准确的模型，于是引入反馈。测量值是由***状态变量映射出来的，方程形式如下：

z_k＝Hx_k+v_k (5)

其中，z_k为k时刻的测量值，大小为m×1，H为同一时刻的预测值转换为测量值的转换矩阵，v_k为k时刻的测量噪声。

对于状态方程中的***噪声w_k-1和测量噪声v_k，假设服从如下多元高斯分布，并且w、v是相互独立的。Q为***噪声的协方差矩阵，R为测量噪声变量的协方差矩阵。

p(w)～N(0，Q)

p(v)～N(0，R) (6)

其中，

是k时刻的预测值，

是k时刻的估计值，

为k时刻的测量值的预测，由一般的反馈思想得到估计值：

其中，

为残差，也就是预测值的和测量值之间的差距。如果这项等于0，说明预测值和测量值相等。

求解K_k，构建估计值和真实值间误差的协方差矩阵，由于协方差矩阵的对角线元素就是方差，求这个协方差矩阵，就是利用其的对角线元素的和计算得到均方差.

把前面得到的估计值代入这里能够化简得：

化简后得到：

同理，能够得到预测值和真实值之间误差的协方差矩阵：

最后得到：

继续展开

接下来要用到最小均方差，协方差矩阵的对角线元素就是方差。这样一来，把矩阵P的对角线元素求和，用字母T来表示这种算子。

最小均方差就是使得上式最小，对未知量K_k求导，令导函数等于0，就能找到K_k的值。

K_k＝P′_kH^T(HP′_kH^T+R)^-1

注意这个计算式K_k，转换矩阵H是常数，测量噪声协方差R也是常数。因此K_k的大小将与预测值的误差协方差有关。假设，上面式子中的矩阵维数都是1×1大小的，并假设H＝1，P_k′不等于0。那么P_k′可以写成如下：

所以P_k′越大，那么K_k就越大，权重将更加重视反馈，如果P_k′等于0，也就是预测值和真实值相等，那么K_k＝0，估计值就等于预测值。

将计算出的K_k反代入P_k中，就能简化P_k：

因此递推公式中每一步的K_k就计算出来了，同时每一步的估计协方差也能计算出来。但K_k的公式中又多了一个预测值和真实值之间误差的协方差矩阵。

先注意到预测值的递推形式是：

且

由此也得到了P′_k的递推公式。因此只需设定最初的P_k，就能不断递推下去。

上述实施例中，通过卡尔曼滤波，只要知道前一时刻球员标记框的状态，就可以得到当前时刻球员矩形框的状态，处理量小，不会出现卡顿等现象。

在其中一个实施例中，参阅图7，图7为一实施例中坐标投影关系获取步骤的流程图，该坐标投影关系获取步骤可以在图1所示的实施例前进行，该坐标投影关系获取步骤可以包括：

S702：通过霍夫变换获得球场区域中的球场线。

具体地，参阅图8至图10，为当前帧的R通道(红色通道)、G通道(绿色通道)以及B通道(蓝色通道)的灰度直方图，其中横坐标标识灰度值规范化到0～1后对应的灰度，其中占有较大面积的为球场区域，具体地，R通道直方图中具有较高灰度值、并且具有较高峰值的为跑道区域，而分布较为分散的部分为球场区域；G通道直方图中具有较低灰度值、并且相对陡峭的部分为跑道周围树木区域，而而分布较为分散的且有较高灰度的部分为球场区域；B通道直方图中，可得蓝色分布较为均匀。根据直方图选取合适阈值后，分割得到二值化图像；然后利用中值滤波去除椒盐噪声，并选取图中的最大连通区域而将其与周围环境分开；最后利用Matlab填充孔洞的函数，以及开、闭等数学形态学操作，得到完整的球场区域掩膜如图11所示。

参阅图12，为一实施例中球场区域中的白线区域的示意图，其中利用白线的颜色特征，阈值分割出球场线的区域，且利用canny算子可以求出图像边缘。利用中值滤波和形态学操作除噪后提取球场白线区域效果如图12所示。利用霍夫变换确定边缘性的效果如图13所示。

S704：根据球场线，确定当前帧与目标平面之间的坐标投影关系。

参见图13，可以获取到球场区域的边界点以及真实球场区域中各个线段的比例。以图13中所创建的坐标系为例，其中X点的坐标可以通过求取球场区域中y值最大的交点即可，得到X点的坐标后，可以根据线段的交点得到U点和V点的坐标，计算Z＝VU/XU，其中假设真实球场区域中V’U’/X’U’＝a，Y’U’/X’U’＝a，假设h＝Z/a，由于透视变形连续，可以忽略摄像头可能产生的广角畸变，计算Y’U’/X’U’＝h×a，从而图13中所示的球场区域存在以下关系YU/XU＝h×a，从而可以得到YU＝h×a×XU，因此Y点的坐标也可以确定。然后再计算Z点和T点的坐标，可以先计算W点的坐标，且由于真实球场区域中X’W’/Z’W’的值是已知的，结合YU/XU＝h×a，可以得到Z点的坐标，且由于透视关系中，直线XZ、直线YT以及直线L1相交于一点，因此可以计算直线XZ与直线L1的交点，从而可以得到直线YT的方程和直线ZT的方程，求直线YT和和直线ZT的交点即可得到T点的坐标。

在X点、Y点、Z点以及T点的坐标确定后，可以根据坐标变换求得当前帧与目标平面之间的坐标投影关系，二维坐标的转换可以表示为3×3矩阵，自由度为8，将得到的X点、Y点、Z点以及T点的坐标带入到待求矩阵中，即可得到该待求矩阵，即当前帧与目标平面之间的坐标投影关系。

上述实施例中，通过获取球场区域中的球场线，根据该球场线的关键点的坐标即可求得当前帧与目标平面之间的坐标投影关系，可以实现视频图像到目标平面的转换，从而在后续球员追踪过程中，可以在该目标平面实时呈现追踪到的球员，简单、直观。

在其中一个实施例中，还可以采用多通道灰度联合对比，以识别不同队的球员，例如其中一队球员为红衣球员，另一队球员为橙衣球员时，守门员在R通道和G通道灰度低，B通道灰度高；红衣队员在R通道灰度高，但在G通道B通道灰度低；橙衣球员在R通道G通道灰度高，但在B通道灰度低。由此仍可依照基于颜色的阈值分割来划分不同球员。这样在卡尔曼滤波追踪到球员后，还可以根据颜色来对球员进行划分。

本实施例中，仅通过颜色即可以实现对球员的划分，操作简单，准确率高。

请参阅图14，图14为一实施例中视频中球员追踪装置的示意图，该装置包括：

球场区域获取模块100，用于获取视频的当前帧中的球场区域。

球员标记框生成模块200，用于获取球场区域中的球员像素，并根据球员像素生成球员标记框。

分割点获取模块300，用于当当前帧中的球员标记框的面积增大时，则获取面积增大的球员标记框的分割点。

分割模块400，用于根据分割点将球员标记框分割以形成新的球员标记框。

追踪模块500，用于通过卡尔曼滤波对分割后的当前帧中的球员标记框进行追踪显示。

在其中一个实施例中，分割点获取模块300可以包括：

个数获取单元，用于获取面积增大的球员标记框的预设的、相对的两条边上的球员像素的个数。

分割点确定单元，用于当预设的、相对的两条边上的球员像素的个数不相等时，则根据面积增大的球员标记框的坐标获取未遮挡前各个球员标记框的长度和宽度；根据未遮挡前各个球员标记框的长度和宽度，计算球员标记框的分割点；当预设的相对的两条边上的球员像素的个数相等时，则获取球员标记框的中心点为分割点。

在其中一个实施例中，追踪模块500可以包括：

追踪单元，用于通过卡尔曼滤波对分割后的当前帧中的球员标记框进行追踪。

第一坐标计算单元，用于获取追踪到的球员标记框的坐标。

第二坐标计算单元，用于获取球员标记框的坐标投影至目标平面的第一球员投影坐标。

显示单元，用于在目标平面中，根据第一球员投影坐标，追踪显示上一帧中的相应球员坐标投影至目标平面中的第二球员投影坐标处的球员标识。

在其中一个实施例中，追踪单元可以包括：

第一矩阵计算单元，用于通过以下公式计算当前帧中的球员标记框的预测值和真实值之间的误差协方差矩阵：

其中，

为k时刻的预测值，其中，

为k-1时刻的估计值，u_k-1为k-1时刻的当前帧，A为前一时刻预测值转换为当前时刻预测值的转换矩阵，B为前一时刻输入值转换为当前时刻预测值的转换矩阵，P_k′为k时刻预测值与真实值之间的误差协方差矩阵，x_k为k时刻的真实值，Q为***噪声的协方差矩阵。

卡尔曼增益计算单元，用于通过以下公式计算卡尔曼增益：

K_k＝P′_kH^T(HP′_kH^T+R)^-1，且

其中，K_k为k时刻的卡尔曼增益，H为同一时刻的预测值转换为测量值的转换矩阵，R为测量噪声变量的协方差矩阵，z_k为k时刻的测量值。

第二矩阵计算单元，用于通过以下公式，根据卡尔曼增益和预测值和真实值之间的误差协方差矩阵计算估计值和真实值之间的误差协方差矩阵：

真实值计算单元，用于根据估计值和真实值之间的误差协方差矩阵获得真实值，并追踪真实值。

在其中一个实施例中，装置还可以包括：坐标投影关系计算单元，用于通过霍夫变换获得球场区域中的球场线；根据球场线，确定当前帧与目标平面之间的坐标投影关系。

上述对于视频中球员追踪装置的限定可以参照上文中对于视频中球员追踪方法的限定，在此不再赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种视频中球员追踪方法，其特征在于，所述方法包括：

获取视频的当前帧中的球场区域；

获取球场区域中的球员像素；

根据所述球员像素生成球员标记框；

当所述当前帧中的所述球员标记框的面积增大时，则获取面积增大的所述球员标记框的分割点；

根据所述分割点将所述球员标记框分割以形成新的球员标记框；

通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪显示；

所述获取面积增大的所述球员标记框的分割点的步骤，包括：

获取面积增大的所述球员标记框的预设的、相对的两条边上的球员像素的个数；

当预设的、相对的两条边上的球员像素的个数不相等时，则根据面积增大的所述球员标记框的坐标获取未遮挡前各个球员标记框的长度和宽度；

根据未遮挡前各个球员标记框的长度和宽度，计算所述球员标记框的分割点；

当所述预设的相对的两条边上的球员像素的个数相等时，则获取所述球员标记框的中心点为所述分割点。

2.根据权利要求1所述的方法，其特征在于，所述通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪显示的步骤，包括：

通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪；

获取追踪到的所述球员标记框的坐标；

获取所述球员标记框的坐标投影至目标平面的第一球员投影坐标，所述第一球员投影坐标是指当前帧中所追踪到的球员标记框，投影至目标平面的坐标；

在所述目标平面中，根据所述第一球员投影坐标，追踪显示上一帧中的相应球员坐标投影至所述目标平面中的第二球员投影坐标处的球员标识，所述第二球员投影坐标是指上一帧中相应球员坐标投影至所述目标平面中的坐标。

3.根据权利要求2所述的方法，其特征在于，所述通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪的步骤，包括：

通过以下公式计算所述当前帧中的球员标记框的预测值和真实值之间的误差协方差矩阵：

其中，

为k时刻的预测值，其中，

为k-1时刻的估计值，u_k-1为k-1时刻的当前帧，A为前一时刻预测值转换为当前时刻预测值的转换矩阵，B为前一时刻输入值转换为当前时刻预测值的转换矩阵，P_k′为k时刻预测值与真实值之间的误差协方差矩阵，x_k为k时刻的真实值，Q为***噪声的协方差矩阵；

通过以下公式计算卡尔曼增益：

K_k＝P′_kH^T(HP′_kH^T+R)^-1，且

其中，K_k为k时刻的卡尔曼增益，H为同一时刻的预测值转换为测量值的转换矩阵，R为测量噪声变量的协方差矩阵，z_k为k时刻的测量值；

通过以下公式，根据所述卡尔曼增益和所述预测值和真实值之间的误差协方差矩阵计算估计值和真实值之间的误差协方差矩阵：

根据所述估计值和真实值之间的误差协方差矩阵获得所述真实值，并追踪所述真实值。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

通过霍夫变换获得所述球场区域中的球场线；

根据所述球场线，确定所述当前帧与目标平面之间的坐标投影关系。

5.一种视频中球员追踪装置，其特征在于，所述装置包括：

球场区域获取模块，用于获取视频的当前帧中的球场区域；

球员标记框生成模块，用于获取球场区域中的球员像素，并根据所述球员像素生成球员标记框；

分割点获取模块，用于当所述当前帧中的所述球员标记框的面积增大时，则获取面积增大的所述球员标记框的分割点；

分割模块，用于根据所述分割点将所述球员标记框分割以形成新的球员标记框；

追踪模块，用于通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪显示；

所述分割点获取模块包括：

个数获取单元，用于获取面积增大的所述球员标记框的预设的、相对的两条边上的球员像素的个数；

分割点确定单元，用于当预设的、相对的两条边上的球员像素的个数不相等时，则根据面积增大的所述球员标记框的坐标获取未遮挡前各个球员标记框的长度和宽度；根据未遮挡前各个球员标记框的长度和宽度，计算所述球员标记框的分割点；当所述预设的相对的两条边上的球员像素的个数相等时，则获取所述球员标记框的中心点为所述分割点。

6.根据权利要求5所述的装置，其特征在于，所述追踪模块包括：

追踪单元，用于通过卡尔曼滤波对分割后的所述当前帧中的所述球员标记框进行追踪；

第一坐标计算单元，用于获取追踪到的所述球员标记框的坐标；

第二坐标计算单元，用于获取所述球员标记框的坐标投影至目标平面的第一球员投影坐标，所述第一球员投影坐标是指当前帧中所追踪到的球员标记框，投影至目标平面的坐标；

显示单元，用于在所述目标平面中，根据所述第一球员投影坐标，追踪显示上一帧中的相应球员坐标投影至所述目标平面中的第二球员投影坐标处的球员标识，所述第二球员投影坐标是指上一帧中相应球员坐标投影至所述目标平面中的坐标。

7.根据权利要求6所述的装置，其特征在于，所述追踪单元包括：

第一矩阵计算单元，用于通过以下公式计算所述当前帧中的球员标记框的预测值和真实值之间的误差协方差矩阵：

其中，

为k时刻的预测值，其中，

为k-1时刻的估计值，u_k-1为k-1时刻的当前帧，A为前一时刻预测值转换为当前时刻预测值的转换矩阵，B为前一时刻输入值转换为当前时刻预测值的转换矩阵，P_k′为k时刻预测值与真实值之间的误差协方差矩阵，x_k为k时刻的真实值，Q为***噪声的协方差矩阵；

卡尔曼增益计算单元，用于通过以下公式计算卡尔曼增益：

K_k＝P′_kH^T(HP′_kH^T+R)^-1，且

其中，K_k为k时刻的卡尔曼增益，H为同一时刻的预测值转换为测量值的转换矩阵，R为测量噪声变量的协方差矩阵，z_k为k时刻的测量值；

第二矩阵计算单元，用于通过以下公式，根据所述卡尔曼增益和所述预测值和真实值之间的误差协方差矩阵计算估计值和真实值之间的误差协方差矩阵：

真实值计算单元，用于根据所述估计值和真实值之间的误差协方差矩阵获得所述真实值，并追踪所述真实值。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

坐标投影关系计算单元，用于通过霍夫变换获得所述球场区域中的球场线；根据所述球场线，确定所述当前帧与目标平面之间的坐标投影关系。

Images