CN102074017B - 一种杠铃中心点检测及跟踪的方法和装置 - Google Patents

Abstract

一种杠铃中心点检测及跟踪方法和装置；方法包括：提取第一个图像帧中的杠铃中心点；对于各图像帧，由杠铃中心点出发做一个菱形矩阵，记录每个矩阵点的位置，并设置每个矩阵点的权重；对于各相邻的两个图像帧，对该两个图像帧中的菱形矩阵的中心点进行LK金字塔光流法得到其跟踪点，对其余多个矩阵点进行光流法跟踪得到各自的跟踪点；去除没有跟踪正确的跟踪点，并去除该跟踪点关于菱形中心点对称的跟踪点；将各跟踪点的权重相加后平均，得到杠铃中心点的平滑跟踪矢量，确定跟踪到的杠铃中心点；各跟踪点的权重为其对应的矩阵点的权重。本发明方法能够实现杠铃中心点的检测和跟踪，而且有效的抑制拖尾现象带来的跟踪误差。

Description

一种杠铃中心点检测及跟踪的方法和装置

技术领域

本发明涉及视频处理领域，具体涉及一种杠铃中心点检测及跟踪的方法和装置。

背景技术

在体育运动分析领域，运动员为了提高比赛成绩通常会加大训练量，而不适当地增加训练强度往往会对运动员造成伤害，因此有必要研究科学、定量的运动训练***。

举重是我国的传统优势项目，到目前为止已经获得24枚***金牌。举重运动诊断技术的好坏直接决定运动员最终的比赛成绩，因此，能否为运动员和教练员提供一个有效的实用的运动技术快速诊断手段是当前举重科研届急需解决的一个问题。以往举重技术诊断主要分为定性诊断和定量诊断两种方式。定性诊断主要通过人工观看训练视频来完成，这种方式比较直观，但缺少量化指标以供教练参考，无法满足科学训练的需求。定量诊断主要通过人工解析来进行，往往在测试几天后才能为教练员反馈测试报告，由于反馈速度太慢，使科研测试效果大打折扣。

为了有效地指导运动员的训练，就必须对运动员的动作姿态或者运动轨迹进行分析，找出提高比赛成绩的有效方法，以举重训练为例，有经验的教练能够根据杠铃中心运动轨迹发现问题，从而纠正运动员的不正确的举重姿势。最早的举重训练中，在杠铃的一端绑上一支毛笔，杠铃的轨迹随着杠铃移动在其上面的毛笔画在纸上。目前，可以根据视频进行杠铃中心点运动轨迹的追踪；经典的运动跟踪算法包括块匹配算法和LK金字塔光流法。

块匹配是根据块来进行匹配的，很难提取出杠铃的旋转参数，这样就不能给教练提供更多的杠铃的运动信息。LK金字塔光流法和块匹配法来比，有了一定得进步，解决了杠铃旋转的问题，但是还是因为举重视频在摄录的时候的曝光时间过长的原因，存在一些拖尾和运动模糊现象。

这样的图像会干扰到块匹配和光流法的跟踪精度，从而会产生一些误差。修改摄影机的曝光时间是可以来修正摄录图像拖尾现象的产生的，但是这么做会严重影响了举重观众的观看效果，因为缩短曝光时间虽然去除了拖尾现象，但是却引出了图像连续性不好的缺点，会使观众感觉图像总是不连贯，一跳一跳的，所以这样做是行不通的。

发明内容

本发明要解决的技术问题是提供一种杠铃中心点检测及跟踪的方法和装置，在不改动视频曝光时间的情况下来提高对杠铃中心运动轨迹的跟踪效果。

为了解决上述问题，本发明提供了一种杠铃中心点检测及跟踪的方法，包括：

A、提取输入的视频中第一个图像帧中的杠铃中心点；

B、对于所述视频中的各图像帧，由杠铃中心点出发做一个菱形矩阵；记录该菱形矩阵中每个矩阵点的位置，并设置每个矩阵点的权重；对于各相邻的两个图像帧，对该两个图像帧中的菱形矩阵的中心点进行LK金字塔光流法得到其跟踪点，对菱形矩阵中的其余多个矩阵点进行光流法跟踪得到该其余多个矩阵点各自的跟踪点；去除没有跟踪正确的跟踪点，并去除该跟踪点关于菱形矩阵的中心点对称的跟踪点；将各跟踪点的权重相加后平均，得到杠铃中心点的平滑跟踪矢量，根据所述杠铃中心点和该平滑跟踪矢量确定跟踪到的杠铃中心点；各跟踪点的权重为其对应的矩阵点的权重。

进一步地，所述步骤B具体包括：

B1、在当前图像帧中，由所述杠铃中心点出发做一个菱形矩阵，包括若干个矩阵点；该菱形矩阵的中心矩阵点为所述杠铃中心点；记录每个矩阵点的位置，对各个所述矩阵点赋予不同的权重；

对当前图像帧和相邻的下一个图像帧进行下列步骤：

B2、对所述中心矩阵点做两帧间的LK金字塔光流法，得到中心矩阵点的跟踪点；

B3、对菱形矩阵中的其余多个矩阵点进行光流法跟踪，得到该其余多个矩阵点的跟踪点；

B4、在菱形矩阵中去除没有跟踪正确的跟踪点，并去除这个跟踪点关于菱形矩阵的中心点对称的跟踪点；

B5、将各跟踪点按照其对应的矩阵点的权重相加后，再做平均，得到杠铃中心点的平滑跟踪矢量；根据当前图像帧中的杠铃中心点和该平滑跟踪矢量确定跟踪到的杠铃中心点；

B6、将所述跟踪到的杠铃中心点作为所述下一个图像帧的杠铃中心点，将所述下一个图像帧作为当前图像帧，然后返回步骤B1。

进一步地，所述步骤B2具体包括：

31、对图像帧进行金字塔变换，在最顶层的金字塔做光流法，获得所述中心矩阵点的运动矢量V；

32、将窗口中心移动到刚刚算出来的运动矢量V处，迭代计算运动矢量V直到收敛为止；

33、将收敛的运动矢量V传入下一层图像金字塔；

34、判断是否为图像金字塔最底层的图像，如果是则找到最佳匹配点作为跟踪点；否则返回步骤32。

进一步地，所述步骤B1中，对各个所述矩阵点赋予不同的权重具体是指：

对菱形矩阵点上半三角区域的矩阵点，设置比该菱形矩阵的下半三角区域中的矩阵点大的权重。

进一步地，所述步骤B1中，由所述杠铃中心点出发做一个菱形矩阵具体是指：

建立一个由所述杠铃中心点展开得到的9个点的菱形矩阵，所述杠铃中心点的横坐标为a，纵坐标为b；菱形矩阵中其它八个点的坐标分别为：

第一点的横坐标为a，纵坐标为b+15；

第二点的横坐标为a，纵坐标为b-15；

第三点的横坐标为a+15，纵坐标为b；

第四点的横坐标为a-15，纵坐标为b；

第五点的横坐标为a+7，纵坐标为b+7；

第六点的横坐标为a+7，纵坐标为b-7；

第七点的横坐标为a-7，纵坐标为b+7；

第八点的横坐标为a-7，纵坐标为b-7；

单位为像素；

对各个所述矩阵点赋予不同的权重具体是指：

将所述中心点、第三点和第四点的权重设为5，第二点的权重设为0，第一点的权重设为10，第五点和第七点的权重设为7，第六点和第八点的权重设为2。

进一步地，所述步骤A具体包括：

A1、输入图像帧；对输入的第一个图像帧进行下列步骤；

A2、根据预设的颜色进行彩色分割，将符合条件的部分保留；

A3、对彩色分割后筛选出的图像进行若干次腐蚀和若干次膨胀；将满足预定约束条件的区域作为杠铃所在的大致位置区域；所述约束条件包括预定的区域长宽比和面积的范围；

A4、在原图像帧中对前面得到的所述杠铃大致位置区域进行边缘检测；

A5、进行霍夫变换求取出该图像帧中的杠铃中心点。

进一步地，所述步骤A2具体包括：

A21、对第一个图像帧进行RGB颜色空间到HSV颜色空间的变换；

A22、根据H值对图像帧中各像素点进行筛选，对H值满足预设的HSV颜色模型中的H值范围的像素点，将该像素点的有效值置为1，否则置为0；

A23、输出有效值为1的像素点，得到彩色分割后筛选出的图像。

进一步地，所述步骤A4具体包括：

A41、对所述杠铃大致位置区域中各像素点按照上式求出其灰度值，得到所述杠铃大致位置区域的灰度图像；

A42、对所述灰度图像进行边缘运算；

A43、在对通过边缘运算的灰度图像做二值化，将大于灰度值阈值的并且包含在所述杠铃大致位置区域中的像素点的灰度值设置为255，小于所述灰度值阈值或不在所述杠铃大致位置区域内的点的灰度值设置为0。

进一步地，所述灰度值阈值为：

本发明还提供了一种杠铃中心点检测及跟踪的装置，包括：

图像输入模块，用于接收输入的视频，即连续的若干图像帧；

检测模块，用于检测所述视频中第一个图像帧中的杠铃中心点；

跟踪模块，用于在所述视频中各图像帧中跟踪所述杠铃中心点；

所述跟踪模块具体包括：

矩阵生成子模块，用于对于各图像帧，由杠铃中心点出发做一个菱形矩阵；记录该菱形矩阵中每个矩阵点的位置，并设置每个矩阵点的权重；

光流法子模块，用于对于各相邻的两个图像帧，对该两个图像帧中的菱形矩阵的中心点进行LK金字塔光流法得到其跟踪点，对菱形矩阵中的其余多个矩阵点进行光流法跟踪得到该其余多个矩阵点各自的跟踪点；

过滤子模块，在所述菱形矩阵中去除没有跟踪正确的跟踪点，并去除该跟踪点关于菱形矩阵的中心点对称的跟踪点；

矢量子模块，将各跟踪点的权重相加后平均，得到杠铃中心点的平滑跟踪矢量，根据所述杠铃中心点和该平滑跟踪矢量确定跟踪到的杠铃中心点；各跟踪点的权重为其对应的矩阵点的权重。

本发明的技术方案可以对举重运动中杠铃中心点进行自动识别与跟踪。在杠铃中心点识别部分，应用了一种较为鲁棒，适应性较好的HSV颜色模型进行颜色分割，得到了杠铃的大致位置区域，接着用了基于方向边缘检测的算法对杠铃圆心进行提取，这种算法优于现在普遍被使用的Hough变换。在目标跟踪方面，本发明的技术方案提出了一种基于LK金字塔光流法的平滑跟踪方案来对杠铃的中心点进行平滑跟踪，能够实现杠铃的跟踪，而且有效的抑制拖尾现象带来的跟踪误差。

附图说明

图1为实施例一中进行杠铃中心点检测的步骤的流程示意图；

图2为实施例一中进行彩色分割的步骤的流程示意图；

图3为实施例一中进行HOUGH变换的流程图；

图4为实施例一中进行LK金字塔光流法的流程图；

图5为实施例一中菱形矩阵的示意图；

图6为实施例一中进行杠铃中心点跟踪的流程图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

实施例一，一种杠铃中心点检测及跟踪的方法，包括两大步骤：

A、对输入的视频中的第一个图像帧进行杠铃分割，即检测(提取)各图像帧中的杠铃中心点，本文中，图像帧里的杠铃指的是对着镜头那一端的铃片，本文所述的杠铃中心点指的是杠铃对着镜头那一端的铃片的圆心。

为了将杠铃中心点精确的定位出来，所述步骤A具体包括：

输入视频；所述视频为多个连续的图像帧；

对所述视频中的第一个图像帧进行以下步骤：

先对杠铃进行粗定位，去除大部分背景噪音；

再根据粗定位的结果对其进行限定区域的Hough(霍夫)变换来确定杠铃中心点，从而达到精确定位的效果。

B、在各图像帧中进行杠铃中心点跟踪；

由于举重运动视频在拍摄的时候曝光时间和杠铃旋转的原因，块匹配算法和LK金字塔光流法的跟踪结果不太理想；本实施例中，提出了基于LK金字塔光流法的多点平滑误差跟踪方案来实现跟踪，为绘制杠铃的运动跟踪轨迹提供了良好的保障。

步骤B具体包括：

对于所述视频中各图像帧，由杠铃中心点出发做一个菱形矩阵；记录该菱形矩阵中每个矩阵点的位置，并设置每个矩阵点的权重；对于各相邻的两个图像帧，对该两个图像帧中的菱形矩阵的中心点进行LK金字塔光流法得到其跟踪点，对菱形矩阵中的其余多个矩阵点进行光流法跟踪得到该其余多个矩阵点各自的跟踪点；去除明显没有跟踪正确的跟踪点，并去除该跟踪点关于菱形矩阵的中心点对称的跟踪点；将各跟踪点的权重相加后平均，得到杠铃中心点的平滑跟踪矢量，根据所述杠铃中心点和该平滑跟踪矢量确定跟踪到的杠铃中心点；各跟踪点的权重为其对应的矩阵点的权重。

下面将分别详细介绍两个步骤。

要跟踪整个杠铃的运动轨迹，就要首先确定图像帧中杠铃中心点，再利用所述杠铃中心点来进行每个图像帧的匹配来进行跟踪。因为举重比赛中的背景是非固定背景，因此没有可利用的背景信息，无法用背景减的方法来获得运动区域，只能利用杠铃自身的特征进行检测；考虑到杠铃和运动员始终都是被近景拍摄的，即是视频图像中的主要运动对象，而且标准的杠铃颜色为固定的几种颜色，侧面的杠铃形状为圆形，因此本实施例中，利用杠铃的颜色和形状特征自动检测杠铃的中心点。

本实施例中步骤A如图1所示，具体包括：

A1、输入图像帧；对输入的第一个图像帧进行下列步骤；

A2、根据预设的颜色进行彩色分割，将符合条件的部分保留；本步骤为粗分割；

A3、对彩色分割后筛选出的图像进行形态学处理；利用约束条件——比如长宽比和面积大小——来确定杠铃所在的大致位置区域；

A4、在原图像帧中对前面得到的所述杠铃大致位置区域进行边缘检测；

A5、进行霍夫变换求取出该图像帧中的杠铃中心点。

下面详细描述步骤A2；先介绍一下在颜色分割领域中常用的颜色模型HSV颜色模型，该模型在本实施例中将被用于杠铃的颜色分割。

HSV颜色空间是一个柱状的颜色空间，这种彩色模型由于其与于人眼视觉特性的良好匹配，使其成为图像分割、边缘检测、彩色聚类与图像分析和理解的常用的色度空间。现在windows平台下普遍用到的bmp格式的图片都是以RGB格式来排列的，因此必须要将常用的RGB格式的图像转换到HSV颜色空间下，然后再做处理。

RGB到HSV的转换公式为：

H＝h*60

V＝max(R，G，B)                                    (公式1.1)

S＝mm/V(mm＝max(R，G，B)-min(R，G，B))

r＝(V-r)/mm g＝(V-r)/mmb＝(V-r)/mm

在HSV空间中，一组HVS对应了多组RGB的组合。

彩色分割前需要先求取杠铃的H值，H值又是根据杠铃的颜色来定的，下面就介绍下杠铃的标准颜色。在正规比赛中采用标准杠铃，不同重量的铃片颜色不同，25千克(红色)；20千克(蓝色)、15千克(黄色)；10千克(绿色)；5千克(白色)；2.5千克(红色)；2千克(蓝色)；1.5千克(黄色)；1.0千克(绿色)和0.5千克(白色)。这些颜色对应的H(色调Hue)值分别为红色(0)；黄色(60)；绿色(120)；蓝色(240)。本实施例中利用不同的H值来辨别杠铃的颜色，从而能够在复杂背景下找到杠铃的准确位置。

以杠铃颜色为蓝色为例，该情况下所要检测的就是杠铃蓝色部分的中心位置，因此在粗分割阶段要分割出来的就是蓝色杠铃区域。

本实施例中，杠铃的蓝色颜色在HSV颜色空间中的取值范围为：200＜H＜240。虽然各个图像的亮度是不太一样的，但是蓝色的H值始终是在这个范围内小幅度浮动的，根据前面的RGB转换HSV的公式，对输入的原始的图像帧进行颜色转换，并根据上述H的取值范围对该原始的图像帧进行约束，在该原始图像帧中找出H值满足上述取值范围的像素点。

本实施例的一种实施方式中，所述步骤A2如图2所示，具体可包括：

A21、对第一个图像帧进行RGB颜色空间到HSV颜色空间的变换；

A22、根据H值对图像帧中各像素点进行筛选，本实施例中是对H值满足预设的HSV颜色模型中的H值范围(200＜H＜240)的像素点，将该像素点的有效值置为1，否则置为0；

A23、输出筛选出的像素点，得到彩色分割后筛选出的图像；本实施例中是输出有效值为1的像素点。

当然，实际应用中不排除其它实现方案，比如：将满足H值范围的像素点的有效值置为0，输出为0的像素点；该有效值可以但不限于为一标志位。

经过彩色分割后，基本可以完整地分割出杠铃区域，但杠铃上的部分区域，尤其是杠铃边缘和中心可能被“挖掉”了，而且在颜色分割后整幅图像上面也留下了许多噪音点，这将给后续带来不必要的干扰。因此就要对分割结果进行简单的形态学处理，也就是腐蚀和膨胀的运算，这样做一是能够起到使分割后的图像的连通域更加明显的作用，二来是也能够起到简单滤波器的作用，滤掉图像中的噪音点，从而尽可能将预选区域还原到真正的杠铃大小，并尽可能去除较小的干扰，为下一步处理打好基础。

本实施例的所述步骤A3中，采用腐蚀和膨胀的方式进行形态学处理，从而达到去噪声和增强连通域的效果。下面将介绍腐蚀和膨胀的原理。

腐蚀具体是指：把结构元素S平移x后得到Sx，若Sx包含于X，则记下这个x点，所有满足上述条件的x点组成的集合称作X被S腐蚀(Erosion)的结果。用公式表示为： $\mathrm{XS}=\left\{x\right|\mathrm{Sx}\⋐X\}$

X用S腐蚀的结果是所有使S平移x后仍在X中的x的集合。换句话说，用S来腐蚀X得到的集合是S完全包括在X中时S的原点位置的集合。

腐蚀的方法是，拿S的原点和X上的点一个一个地对比，如果S上的所有点都在X的范围内，则S的原点对应的点保留，否则将该点去掉；右边是腐蚀后的结果。可以看出，它仍在原来X的范围内，且比X包含的点要少，就像X被腐蚀掉了一层。

值得注意的是，结构元素的原点坐标很重要，如果结构元素形状不变，而原点坐标改变，则腐蚀运算的结果是不一样的。当结构元素的原点在结构元素中间时，则腐蚀掉图像中目标的边界部分。所以腐蚀的作用是消除物体边界点。腐蚀可以把小于结构元素的物体(毛刺、小凸起)去除；如果两个物体之间有细小的连通，结构元素足够大时，通过腐蚀运算可以将两个物体分开。

所述膨胀是指：把结构元素S平移x后得到Sx，若Sx与X相交不为空，记下这个x点，所有满足上述条件的x点组成的集合称做X被S膨胀((dilation))的结果。用公式表示为： $X\⊕S=\left\{x\right|\mathrm{Sx}\∪X\≠\}$ (公式1.2)

膨胀的结果会使目标变大。

膨胀的方法是，拿S的原点和X上的点一个一个地对比，如果S上有一个点落在X的范围内，则S的原点对应的点就为图像；右边是膨胀后的结果。可以看出，它包括X的所有范围，就像X膨胀了一圈似的。同样，结构元素的原点坐标不同，膨胀运算的结果是不一样用腐蚀和膨胀运算可以实现图像的平移。如果在自定义结构元素时选择不在原点的一个点作为结构元素，则得到的图像形状没有任何改变，只是位置发生了移动。

本实施例中，进行形态学处理是指：对彩色分割后筛选出的图像进行若干次腐蚀和若干次膨胀，比如腐蚀3次，膨胀4次。

经过形态学处理后，原图像的一些小的噪音点或者消失了、或者变成了非常容易分辨的大的噪音点，然而这些大的噪音点在连通域的面积大小和长宽比上面都明显区别于要被粗定位出来的杠铃区域。分别计算出每一个连通域的面积和长宽比，并根据举重的领域知识对备选区域进行约束，最终得到杠铃的大致位置区域。

本实施例中，根据举重的领域知识对备选区域进行约束是指筛选出满足下列两个条件的区域，保留该区域中的各像素点：

条件一、长宽比＞0.9，并且长宽比＜1.1；

条件二、面积＞10*10像素，并且面积＜100*100像素；

筛选后能够找出杠铃的大致位置区域，从而为下面的精确定位提供了良好的条件，因为如果粗定位定的好，将为精确定位去除很多的背景干扰噪音。

在得到了杠铃大致位置区域后，把所得到的该杠铃大致位置区域传回原图，并在原图中的该杠铃大致位置区域做边缘检测，这样做是为了下一步对杠铃中心点进行Hough变换提取杠铃中心点做准备的，用于做Hough变换的图像如果是边缘图像，将更好的通过杠铃的边缘轮廓提取出杠铃的中心点。

下面，先介绍一下边缘提取的概念和基本原理。首先先说一下什么是图像的边缘。图像的边缘是指其周围像素灰度一阶变化的像素的集合，是图像最基本的特征之一，它广泛存在于物体与背景、物体与物体、基元与基元之间。要获得边缘图像首先就要将原始的彩色图像灰度化，然后在灰度域中进行边缘提取，最后将边缘提取出来的图像二值化，传入最后的Hough运算中。

本实施例中，所述步骤A4包括三步：

A41、灰度运算；

A42、边缘运算；

A43、二值化。

下面将分别具体介绍一下这三步：

步骤A41、对图像进行灰度运算；

灰度运算就是将目标区域图像进行灰度运算，即将彩色图像通过公式映射到256个不同的灰度级别中去，下面就是按照最基本的求灰度值公式1.3来计算：

灰度值＝(R+G+B)/3                (公式1.3)

本实施例中，采用的是经典的RGB三色平均值的灰度变换公式，对所述杠铃大致位置区域中各像素点按照上式求出其灰度值，得到所述杠铃大致位置区域的灰度图像，由前面所得到的所述杠铃大致位置区域已经被映射到灰度域中，得到一灰度图像。

步骤A42、对所述灰度图像进行边缘运算；

下面对得到的灰度图像进行边缘运算。传统的图像边缘检测算法大多从图像的高频分量中提取边缘信息，微分运算是边缘检测与提取的主要手段。通常采用两类微分运算，即一阶微分运算(又称梯度算子)，以Robert算子、Sobel算子、PreWitt算子等为典型代表；另一类则是以Laplacian算子为代表的二阶微分运算。对连续函数f(x，y)，梯度算子在(x，y)的梯度矢量可表示为 $\▿f(x,y)=[\frac{\∂f}{\∂x},\frac{\∂f}{\∂y}],$ Laplacian算子在(x，y)的梯度矢量可表示为 ${\▿}^{2}f(x,y)=[\frac{{\∂}^{2}f}{{\∂x}^2},\frac{{\∂}^{2}f}{{\∂y}^2}].$

而本实施例中对Robert算子、Sobel算子、Laplacian算子进行了实验，从各种边缘算子的比较中选取边缘效果比较理想的算子，最终采用了对于圆形图像效果较好的PreWitt算子，再用其对所述灰度图像进行边缘运算，从而能够更方便求出杠铃边缘，并确定圆心。PreWitt算子核为：

$\left(\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right)$ $\left(\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right)$

步骤A43、边缘图像二值化；

最后就是把通过边缘运算的灰度图像进行二值化处理，为Hough变换做铺垫。图像的二值化就是通过给定的灰度值阈值将图像的256个灰度映射到0和255两个灰度级别上。即将256个亮度等级的灰度图像通过适当的灰度值阀值选取以获得可以反映图像整体和局部特征的二值化图像。如果某特定物体在内部有均匀一致的灰度值，并且其处在一个具有其他等级灰度值的均匀背景下，使用阈值法就可以得到比较好的分割效果。如果物体同背景的差别表现不在灰度值上(比如纹理不同)，可以将这个差别特征转换为灰度的差别，然后利用阀值选取技术来分割该图像。动态调节灰度值阀值来实现图像的二值化可动态观察其分割图像的具体结果，增强了此算法的普适性。

本实施例中，在对通过边缘运算的灰度图像做二值化的时候选取的灰度值阈值是自动均值阈值，这样灰度值阈值会根据图像的不同而自动变化，从而增加了此算法的鲁棒性和普适性。灰度值阈值的计算公式为公式1.4：

(公式1.4)

本实施例的例子中，最后所计算出来的灰度值阈值为59.959766，将大于所述灰度值阈值的并且包含在所述杠铃大致位置区域中的像素点的灰度值设置为255，小于所述灰度值阈值或不在所述杠铃大致位置区域内的点的灰度值设置为0，就完成了颜色约束下的二值化。

最后，还可以进一步对二值化后的图像进行连通域约束；在对图像做了二值化后，杠铃的边缘外面还是有一些背景的噪音点，这些点还是或多或少影响到对杠铃中心点的提取。由上文可知，对图像中杠铃第一次进行粗定位的时候使用了形态学中的膨胀原理，现在可以进一步利用前面膨胀得到的联通区域进行约束，滤除杠铃外的像素点。

根据膨胀的原理，膨胀后连通域肯定是大于真实的杠铃尺寸的。因此可以利用这一点去除大部分杠铃外的噪音点，为更精确的提取出杠铃的中心点提供更好的图像。

本实施例的所述步骤A5中，采用HOUGH变换检测圆心；使用Hough变换时因为Hough变换能够检测出图像中的参数曲线，并用参数方程描绘出来。其主要优点是，检测曲线的能力受曲线中断点等干扰的影响较小，因此选用Hough变换来做圆心的提取。

下面先简单介绍一下标准Hough变换。

Hough变换实现的是一种从图像空间到参数空间的映射。它将图像空间中复杂的边缘特征信息转化为参数空间中的聚类检测问题。如果图像中的轮廓曲线符合一定的解析表达式，那么以这个解析表达式中的几个变量及变量之间的关系，可以构成一个参数空间。原图像中的特征曲线，就会相对集中地对于参数空间的一个点。那么，准确地提取参数空间的信息，就相应地获得了原曲线的信息。

由于本实施例中所处理的对象(杠铃)都是圆形的，因此只介绍利用Hough变换提取圆的方法。

圆的轨迹方程为：(x-a)²+(y-b)²＝r²。其中x，y是变量。常量a，b，r分别代表圆形圆心的横、纵坐标以及圆形的半径。根据Hough变换的基本思想，可以选a，b，r来构造参数坐标系。这个参数坐标系是三维。其中a，b构成了圆心参数平面，这个参数平面的大小应当和原始图像的平面大小一致；另外一维是由r构成的半径参数。

在参数坐标系中，x，y为常量，a，b是变量。取原图像上的任意一点(坐标为(x0，y0))，将其映射到参数坐标系中，便可以得到很多个圆。这些圆构成了一个无底的圆锥体。若对原图像中的所有点都做上述处理，在三维参数坐标系中，就可以得到很多这样的锥体。而这些若干个圆锥体通过最多的那个点(a，b，r)就对应于原图像中一个圆。基于这几个参数，就可以准确的写出圆的解析表达式。

本实施例中，使用标准Hough变换来处理图像，由于已知杠铃的圆形半径大小大概在50到60之间，所以Hough变换的实现就可以大大的简化运算时间。用半径为50-60之间的圆循环进行Hough变换，每个半径计算一个Hough变换的最大值，然后进一步提取所有半径计算出的最大值中的最大值，该最大值对应的圆心和半径r随之确定。进行Hough变换的结果得到杠铃的圆心坐标为(466，449)。

步骤A5中进行HOUGH变换的流程图如图3所示，包括：

A51、初始化HOUGH矩阵A(x，y，r)＝0；

A52、如果经过边缘检测后的图像中所有的像素点都已扫描过，则结束；否则扫描图像中一个未扫描过的像素点im；

A53、如果im(i，j)为边界点，则进行A54；否则返回A52；

A54、令(x-i)²+(y-j)²＝r²；

A55、令A(x，y，r)＝A(x，y，r)+1，返回A52。

本实施例中步骤B进行的是运动跟踪。

根据步骤A，已经可以精确的得到杠铃中心点，下面就要进行对所述杠铃中心点的跟踪。

为了能够在不改动视频曝光时间的情况下来提高跟踪效果，本实施例中提出了一种基于LK金字塔光流法的多点平滑LK金字塔光流跟踪方案，引入图像金字塔的方案，并和LK光流法连用，能够很好的去除拖尾现象带来的跟踪不准确的情况。

所述图像金字塔能够很好的解决运动矢量过大而带来的跟踪目标丢失的问题。将一幅图像的长宽尺寸缩小一半(因而图像的分辨率缩为原来的1/4)，而又使得缩小前后两幅图像尽可能地保持某种程度的“相似”；重复这一过程，直到将图像最终缩为一点，由此得到的序列图像被称为图像金字塔(image pyramid)，所述序列图像中的每一幅也称为金字塔图像的一层。在把原始图像变换成金字塔图像序列的时候，是用了高斯卷积核来对图像进行上滤而得到的，卷积公式1.6如下：

$I^L(x,y)=\frac{1}{4}{I}^{L-1}(2x,2y)+$

$\frac{1}{8}(I^{L-1}(2x-\mathrm{1,2}y)+I^{L-1}(2x+\mathrm{1,2}y)+I^{L-1}(2x,2y-1)+I^{L-1}(2x,2y+1))+$

$\frac{1}{16}(I^{L-1}(2x-\mathrm{1,2}y-1)+I^{L-1}(2x+\mathrm{1,2}y+1)+I^{L-1}(2x-\mathrm{1,2}y+1)+I^{L-1}(2x+\mathrm{1,2}y-1))$

(公式1.6)

本实施例中，对杠铃中心点进行LK金字塔光流法跟踪时，先对图像帧进行金字塔变换，在金字塔的最上层的图像中来做光流法的跟踪处理，得到运动矢量后再向下一层金字塔传播，并修改运动矢量的比例，最终，在金字塔最下层的图像中找到的最佳匹配点即为LK金字塔光流法得出的跟踪点。

本实施例中的进行LK金字塔光流法的流程如图4所示，包括：

41、对图像帧进行金字塔变换，在最顶层的金字塔做光流法，获得所述中心矩阵点的运动矢量V；

42、将窗口中心移动到刚刚算出来的运动矢量V处，迭代计算运动矢量V直到收敛为止；

43、将收敛的运动矢量V传入下一层图像金字塔；

44、判断是否为图像金字塔最底层的图像，如果是则找到的最佳匹配点即为LK金字塔光流法得出的跟踪点，得到要跟踪的运动矢量；否则返回步骤42。

利用LK金字塔光流法算出的跟踪点结果要比利用宏块跟踪法计算出的跟踪点结果更准确，并能解决杠铃的旋转问题，因为光流法是点对点的匹配算法，而块匹配是宏块与宏块之间的匹配算法。然而，在举重比赛中，人们为了使记录举重比赛视频更加连贯，往往把摄像机的曝光时间调的比较长，这样的做会使连续视频在分割成单帧图像的时候，在单帧图像中出现运动模糊和拖尾残影现象，这种现象会严重的影响对杠铃跟踪的精确度，这种拖尾现象往往连人眼都很难精确定位出准确的杠铃中心点；而本实施例中的多点平滑跟踪方案的实现是基于前面所实现的LK金字塔光流法，但是LK金字塔光流法是针对单个特征点的跟踪的，如果图像存在模糊拖尾的现象，一个点的跟踪势必会受到影响，为了解决这个问题，本实施例利用到杠铃上面的其它点来做辅助跟踪点来平滑运动模糊和拖尾残影带来的跟踪误差。

首先建立一个由前述杠铃中心点展开得到的菱形矩阵，假设建立一9个点的菱形矩阵，该菱形矩阵中，各个点p1～p8和杠铃中心点p0的位置关系如图5所示：

所述杠铃中心点p0的坐标为(a，b)，将该杠铃中心点作为菱形矩阵中的一个点，其横坐标为a，纵坐标为b；菱形矩阵中点p1的横坐标为a，纵坐标为b+15，菱形矩阵中点p2的横坐标为a，纵坐标为b-15，菱形矩阵中点p3的横坐标为a+15，纵坐标为b，菱形矩阵中点p4的横坐标为a-15，纵坐标为b，菱形矩阵中点p5的横坐标为a+7，纵坐标为b+7，菱形矩阵中点p6的横坐标为a+7，纵坐标为b-7，菱形矩阵中点p7的横坐标为a-7，纵坐标为b+7，菱形矩阵中点p8的横坐标为a-7，纵坐标为b-7。以上单位均为像素。

在跟踪的时候，给所述菱形矩阵中的各个点赋予不同的权值，这样做的原因是根据举重比赛的领域知识，杠铃被上提的速度是明显高于其它时候的速度，是举重过程中最难跟踪的部分。因此，本实施例中，将赋予菱形矩阵点上半三角区域的点更多的权重，因为在上提的过程中杠铃中心点的拖尾现象主要是影响到在杠铃中心点以下的点，即杠铃的下半圆更加不清晰，如果增加清晰区域的跟踪结果对图像的影响并换算求和从而进行平滑，就能够克服图像拖尾的弊端，同样的原因，赋给菱形矩阵的下半三角区域更小的权重。

本实施例中，将图5中所述菱形矩阵中各点的权重设置如下：

将点p0、p3和p4的权重设为5，点p2的权重设为0，点p1的权重设为10，点p5和点p7的权重设为7，点p6和点p8的权重设为2。

本实施例中，给各点配置的权重是根据领域知识加上多次实验而得到的。通过这种方法得到的权值经过实验证明是具有一定鲁棒性和普适性的。实际应用时，也不排除菱形矩阵点数不止9的情况，权重可以根据上述原则和实验来设置。

在获得所述菱形矩阵中各个点的相邻帧的运动矢量后，分别乘以该点的权重后相加，然后再除以菱形矩阵点的权重数之和，最后得到的运动矢量即为LK金字塔光流法的多点平滑跟踪算法计算后的运动矢量，即杠铃中心点的运动矢量。计算公式如1.9：

$\mathrm{Vector}(x,y)=\frac{\mathrm{\ΣPoint}(x,y)*\mathrm{Weight}}{\mathrm{\ΣWeight}}$ (公式1.9)

本实施例中，所述步骤B的具体流程如图6所示，包括：

61、在当前图像帧中，由所述杠铃中心点出发做一个菱形矩阵，包括若干个矩阵点；该菱形矩阵的中心矩阵点为所述杠铃中心点；记录每个矩阵点的位置；根据菱形矩阵中的矩阵点所在位置的不同，对各个所述矩阵点设置不同的权重；如果菱形矩阵的点数是确定的，设置权重可以只设置一次。

对当前图像帧和相邻的下一个图像帧进行下列步骤：

62、对所述中心矩阵点做两图像帧间的LK金字塔光流法，得到中心矩阵点的跟踪点，具体做法见上述步骤41～44的描述；

63、对菱形矩阵中的其余多个矩阵点进行光流法跟踪，得到该其余多个矩阵点的跟踪点；

64、在菱形矩阵中去除明显没有跟踪正确的跟踪点，即运动矢量和运动距离明显比其它跟踪点大的跟踪点(比如运动矢量和运动距离分别大于运动矢量阈值和运动距离阈值，这两个阈值可以根据经验或实验设置)，并去除这个跟踪点关于菱形矩阵的中心点对称的跟踪点；

65、将各跟踪点按照其对应的矩阵点的权重相加后，再做平均，得到杠铃中心点的平滑跟踪矢量，根据当前图像帧中的杠铃中心点和该平滑跟踪矢量确定跟踪到的杠铃中心点；

66、将所述跟踪到的杠铃中心点作为所述下一个图像帧的杠铃中心点，将所述下一个图像帧作为当前图像帧，然后返回步骤61，即：在下一图像帧中重新生成菱形矩阵，并进行跟踪，直到图像帧全部被处理完。

对于输入的视频而言，该视频的第一个图像帧为第一次执行步骤61时的当前图像帧，对第一个、第二个图像帧进行后继跟踪步骤；跟踪完成后，再将第二个图像帧作为当前图像帧，执行步骤61，然后对第二个、第三个图像帧进行后继步骤；......；以此类推。

通过LK金字塔光流法的多点平滑跟踪算法跟踪的方法，可以平滑举重图像中运动模糊和拖尾现象的影响，去除跟踪过程中的干扰点，最大程度上的确保跟踪的精确度。原来在没有使用多点LK金字塔光流法的时候，对杠铃中心点的跟踪会受运动模糊和拖尾的影响，最终失去跟踪目标。然而使用多点LK金字塔光流法后，即使菱形矩阵中有些点没有跟踪上，但是因为杠铃的上半部分拖尾现象并不严重，跟踪效果还是很好，上半部分的跟踪点的权重又很大，还是可以从错误中自己恢复，从而得到杠铃的中心点，这一方法的提出增强了LK金字塔光流法在跟踪领域中的鲁棒性和普适性。有着很大的应用前景。

实施例二、一种杠铃中心点检测及跟踪的装置，包括：

图像输入模块，用于接收输入的视频，即连续的若干图像帧；

检测模块，用于检测所述视频中第一个图像帧中的杠铃中心点；

跟踪模块，用于在所述视频中各图像帧中跟踪所述杠铃中心点。

本实施例中，所述检测模块具体包括：

粗分割子模块，用于根据预设的颜色对第一个图像帧进行彩色分割，将符合条件的部分输出；

区域确定子模块，用于对粗分割子模块输出的图像进行形态学处理，将一些噪音点去除；并利用长宽比和面积大小等约束条件来确定杠铃所在的大致位置区域；

边缘检测子模块，用于在原图像帧中对前面得到的所述杠铃大致位置区域进行边缘检测；

变换子模块，用于对边缘检测后的图像进行霍夫变换求取出杠铃中心点。

本实施例中，所述粗分割子模块具体可包括：

初始化单元，用于对第一个图像帧进行RGB颜色空间到HSV颜色空间的变换；以及设定HSV颜色模型中的H值范围；

设置单元，用于对图像帧中每个像素点进行判断；如果一个像素点的H值满足预设的H值范围，则将该像素点的值置为1，否则置为0；

输出单元，用于输出值为1的像素点。

本实施例中，所述区域确定子模块利用长宽比和面积大小来确定杠铃所在的大致位置区域是指筛选出满足下列两个条件的区域，保留该区域中的各像素点：

条件一、长宽比＞0.9，并且长宽比＜1.1；

条件二、面积＞100*100像素，并且面积＜100*100像素。

本实施例中，所述边缘检测子模块具体可包括：

灰度运算单元，用于得到所述杠铃大致位置区域的灰度图像；所述杠铃大致位置区域中各像素点的灰度值为该像素点的(R+G+B)/3；

边缘运算单元，用于采用PreWitt算子对所述灰度图像进行边缘运算，PreWitt算子核为：

$\left(\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 1& 1\end{array}\right)$ $\left(\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right)$

二值化单元，用于将大于所述灰度值阈值的并且包含在所述杠铃大致位置区域中的像素点的灰度值设置为255，小于所述灰度值阈值或不在区域内的点的灰度值设置为0。

本实施例中，所述变换子模块进行霍夫变换具体是指：

初始化HOUGH矩阵A(x，y，r)＝0；

逐个扫描图像中每个像素点，当扫描到边界点im(i，j)时，令(x-1)²+(y-j)²＝r²，并令A(x，y，r)＝A(x，y，r)+1后继续扫描。

本实施例中，所述跟踪模块具体可以包括：

矩阵生成子模块，用于对于各图像帧，由杠铃中心点出发做一个菱形矩阵；记录该菱形矩阵中每个矩阵点的位置，并设置每个矩阵点的权重；

光流法子模块，用于对于各相邻的两个图像帧，对该两个图像帧中的菱形矩阵的中心点进行LK金字塔光流法得到其跟踪点，对菱形矩阵中的其余多个矩阵点进行光流法跟踪得到该其余多个矩阵点各自的跟踪点；

过滤子模块，在所述菱形矩阵中去除明显没有跟踪正确的跟踪点，并去除该跟踪点关于菱形矩阵的中心点对称的跟踪点；

矢量子模块，将各跟踪点的权重相加后平均，得到杠铃中心点的平滑跟踪矢量，根据所述杠铃中心点和该平滑跟踪矢量确定跟踪到的杠铃中心点；各跟踪点的权重为其对应的矩阵点的权重。

各模块实现的其它细节同实施例一。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (8)

1.一种杠铃中心点检测及跟踪的方法，包括：

A、提取输入的视频中第一个图像帧中的杠铃中心点；其中，所述杠铃中心点是指杠铃对着镜头那一端的铃片的圆心；

B、对于所述视频中的各图像帧，由杠铃中心点出发做一个菱形矩阵；记录该菱形矩阵中每个矩阵点的位置，并设置每个矩阵点的权重；对于各相邻的两个图像帧，对该两个图像帧中的菱形矩阵的中心点进行LK金字塔光流法得到其跟踪点，对菱形矩阵中的其余多个矩阵点进行光流法跟踪得到该其余多个矩阵点各自的跟踪点；去除没有跟踪正确的跟踪点，并去除该跟踪点关于菱形矩阵的中心点对称的跟踪点；将各跟踪点的权重相加后平均，得到杠铃中心点的平滑跟踪矢量，根据所述杠铃中心点和该平滑跟踪矢量确定跟踪到的杠铃中心点；各跟踪点的权重为其对应的矩阵点的权重；

其中，由所述杠铃中心点出发做一个菱形矩阵具体是指：

建立一个由所述杠铃中心点展开得到的9个点的菱形矩阵，所述杠铃中心点的横坐标为a，纵坐标为b；菱形矩阵中其它八个点的坐标分别为：

第一点的横坐标为a，纵坐标为b+15；

第二点的横坐标为a，纵坐标为b-15；

第三点的横坐标为a+15，纵坐标为b；

第四点的横坐标为a-15，纵坐标为b；

第五点的横坐标为a+7，纵坐标为b+7；

第六点的横坐标为a+7，纵坐标为b-7；

第七点的横坐标为a-7，纵坐标为b+7；

第八点的横坐标为a-7，纵坐标为b-7；

单位为像素；

所述设置每个矩阵点的权重具体是指：

将所述中心点、第三点和第四点的权重设为5，第二点的权重设为0，第一点的权重设为10，第五点和第七点的权重设为7，第六点和第八点的权重设为2。

2.如权利要求1所述的方法，其特征在于，所述步骤B具体包括：

B 1、在当前图像帧中，由所述杠铃中心点出发做所述菱形矩阵，该菱形矩阵的中心矩阵点为所述杠铃中心点；记录所述菱形的9个矩阵点的位置，对各个所述矩阵点赋予所设置的权重；

对当前图像帧和相邻的下一个图像帧进行下列步骤：

B2、对所述中心矩阵点做两帧间的LK金字塔光流法，得到中心矩阵点的跟踪点；

B3、对菱形矩阵中的其余多个矩阵点进行光流法跟踪，得到该其余多个矩阵点的跟踪点；

B4、在菱形矩阵中去除没有跟踪正确的跟踪点，并去除这个跟踪点关于菱形矩阵的中心点对称的跟踪点；

B5、将各跟踪点按照其对应的矩阵点的权重相加后，再做平均，得到杠铃中心点的平滑跟踪矢量；根据当前图像帧中的杠铃中心点和该平滑跟踪矢量确定跟踪到的杠铃中心点；

B6、将所述跟踪到的杠铃中心点作为所述下一个图像帧的杠铃中心点，将所述下一个图像帧作为当前图像帧，然后返回步骤B1。

3.如权利要求2所述的方法，其特征在于，所述步骤B2具体包括：

31、对图像帧进行金字塔变换，在最顶层的金字塔做光流法，获得所述中心矩阵点的运动矢量V；

32、将窗口中心移动到刚刚算出来的运动矢量V处，迭代计算运动矢量V直到收敛为止；

33、将收敛的运动矢量V传入下一层图像金字塔；

34、判断是否为图像金字塔最底层的图像，如果是则找到最佳匹配点作为跟踪点；否则返回步骤32。

4.如权利要求1到3中任一项所述的方法，其特征在于，所述步骤A具体包括：

A1、输入图像帧；对输入的第一个图像帧进行下列步骤；

A2、根据预设的颜色进行彩色分割，将符合条件的部分保留；

A3、对彩色分割后筛选出的图像进行若干次腐蚀和若干次膨胀；将满足预定约束条件的区域作为杠铃所在的大致位置区域；所述约束条件包括：条件一、长宽比＞0.9，并且长宽比＜1.1；以及条件二、面积＞10*10像素，并且面积＜100*100像素；

A4、在原图像帧中对前面得到的所述杠铃大致位置区域进行边缘检测；

A5、进行霍夫变换求取出该图像帧中的杠铃中心点。

5.如权利要求4所述的方法，其特征在于，所述步骤A2具体包括：

A21、对第一个图像帧进行RGB颜色空间到HSV颜色空间的变换；

A22、根据H值对图像帧中各像素点进行筛选，对H值满足预设的HSV颜色模型中的H值范围的像素点，将该像素点的有效值置为1，否则置为0；

A23、输出有效值为1的像素点，得到彩色分割后筛选出的图像。

6.如权利要求4所述的方法，其特征在于，所述步骤A4具体包括：

A41、对所述杠铃大致位置区域中各像素点按照上式求出其灰度值，得到所述杠铃大致位置区域的灰度图像；

A42、对所述灰度图像进行边缘运算；

A43、在对通过边缘运算的灰度图像做二值化，将大于灰度值阈值的并且包含在所述杠铃大致位置区域中的像素点的灰度值设置为255，小于所述灰度值阈值或不在所述杠铃大致位置区域内的点的灰度值设置为0。

7.如权利要求6所述的方法，其特征在于，所述灰度值阈值为：

8.一种杠铃中心点检测及跟踪的装置，其特征在于，包括：

图像输入模块，用于接收输入的视频，即连续的若干图像帧；

检测模块，用于检测所述视频中第一个图像帧中的杠铃中心点；

跟踪模块，用于在所述视频中各图像帧中跟踪所述杠铃中心点；

所述检测模块具体包括：

粗分割子模块，用于根据预设的颜色对第一个图像帧进行彩色分割，将符合条件的部分输出；

区域确定子模块，用于对粗分割子模块输出的图像进行形态学处理，将一些噪音点去除；并利用长宽比和面积大小等约束条件来确定杠铃所在的大致位置区域，其中所述约束条件包括：条件一、长宽比＞0.9，并且长宽比＜1.1；以及条件二、面积＞10*10像素，并且面积＜100*100像素；

边缘检测子模块，用于在原图像帧中对前面得到的所述杠铃大致位置区域进行边缘检测；

变换子模块，用于对边缘检测后的图像进行霍夫变换求取出杠铃中心点；

所述跟踪模块具体包括：

矩阵生成子模块，用于对于各图像帧，由杠铃中心点出发做一个菱形矩阵；记录该菱形矩阵中每个矩阵点的位置，并设置每个矩阵点的权重；

光流法子模块，用于对于各相邻的两个图像帧，对该两个图像帧中的菱形矩阵的中心点进行LK金字塔光流法得到其跟踪点，对菱形矩阵中的其余多个矩阵点进行光流法跟踪得到该其余多个矩阵点各自的跟踪点；

过滤子模块，在所述菱形矩阵中去除没有跟踪正确的跟踪点，并去除该跟踪点关于菱形矩阵的中心点对称的跟踪点；

矢量子模块，将各跟踪点的权重相加后平均，得到杠铃中心点的平滑跟踪矢量，根据所述杠铃中心点和该平滑跟踪矢量确定跟踪到的杠铃中心点；各跟踪点的权重为其对应的矩阵点的权重。

Images