CN110866903B - 基于霍夫圆变换技术的乒乓球识别方法 - Google Patents

Abstract

本发明公开了一种基于霍夫圆变换技术的乒乓球识别方法，用梯度Hough变换的方法来提高识别速度。包括以下步骤，1)图像灰度化处理；2)滤波处理；3)边缘提取；4)乒乓球标记；5)乒乓球识别的特殊处理及关参数的设置。相比于现有技术，本发明对于摄像头中读入的图片，可以实现实时识别每帧图片中所包含的乒乓球，能在复杂情况下准确识别乒乓球。

Description

基于霍夫圆变换技术的乒乓球识别方法

技术领域

本发明属于机器人技术领域,具体涉及一种通过霍夫圆变换技术的乒乓球识别方法。

背景技术

为了配合捡乒乓球机器人工作，实现捡乒乓球机器人自动识别乒乓球的功能，设计一种能够在连续图像中识别、跟踪乒乓球的方法是尤为重要。目前，识别乒乓球的算法大多数停留对于给定的一张图片，从中能标注出乒乓球。这种方法在背景复杂的乒乓球场内容易受到杂物干扰，在画面存在轻微撕裂、噪点的情况下无法保证识别乒乓球的准确率。

针对上述问题，本发明提出一种基于霍夫圆变换技术的乒乓球识别方法,能配合捡乒乓球机器人对视频实现实时识别乒乓球。这种算法可在背景复杂的乒乓球场内排除杂物干扰，在画面存在轻微撕裂、噪点的情况下依然保证识别乒乓球的准确率。

Hough变换的方法识别圆的原理如下：

设通过分辨率为M*N的视觉传感器采集到的图像为f(x,y)，则圆的一般方程可以用公式

(x-a)²+(y-b)²＝r²

来表示，其中(a,b)为圆心，r为圆的半径。经典Hough变换把X-Y平面上的圆转换到a-b-r参数空间，则图像空间中同一圆上的点所对应于参数空间中所有三维锥面必然交于一点，然后通过对该点的投票可以得判断结果是否为圆。

这种方法可靠性高，受噪声、变形、曲线间断的影响较小，但也存在明显的缺陷：内存占用大、计算量大，因此难以满足实时对圆的检测。同时由于本发明是应用于移动机器人平台上，受硬件条件限制，以及对实时检测要求较高，所以本实例采用了梯度Hough变换的方法来提高识别速度。

发明内容

为了实现捡乒乓球机器人自动识别摄像头检测到的乒乓球的功能，本发明专利提出了一种基于霍夫圆变换技术的乒乓球识别方法，对于在摄像头视野内且符合约束条件的乒乓球，可以在画面上对其进行标记，实现识别乒乓球的功能。

基于霍夫圆变换技术的乒乓球识别方法，采用梯度Hough变换的方法来提高识别速度。以极坐标方程

A＝x-r cosθ,B＝y-r sinθ (1)

来表示圆，其中，x和y为当前像素点的坐标，r为半径，θ为梯度方向角，A和B为计算得到的可能的圆心坐标。

基于Hough变换技术的乒乓球识别方法，包括以下步骤：

步骤1.图像灰度化处理

机器人的处理器可以持续不断地通过视觉传感器获得前方的图像，然后对读入的图片进行预处理。采用平均值法对图像进行灰度化处理。设彩色图像三分量分别为R(x,y)，G(x,y)，B(x,y)则灰度化处理后，图像的灰度值Gray(x,y)可以表示为：

步骤2.滤波处理

灰度化处理之后，对图像进行滤波处理以抑制噪声、减少环境干扰，提高目标乒乓球的边缘清晰度。本发明采用了中值滤波的方式，对模板中的数据由小到大排序，取排在中间位置上的数据作为最终的处理结果。经过中值滤波后的输出为：

g(x,y)＝Med{f(x-k,y-l),(k,l)∈W} (3)

其中，f(x,y)、g(x,y)分别为原图像和处理后的图像，W为二维滑动窗口，一般从3*3、5*5中选择。

步骤3.边缘提取

本发明采用基于梯度Hough变换的方法找到圆心，再通过Canny算法实现对乒乓球边缘的提取。梯度Hough变换寻找圆心坐标的步骤为：

3.1利用梯度公式

计算原图像的梯度值，并将图像进行二值化。

3.2求图像中梯度值不为0的像素点的梯度方向角θ，然后利用式(1)求可能为圆心的像素点的坐标。

步骤3.3遍历图像中所有梯度值不为0的像素点，按照步骤3.2的方式求所有可能为圆心的点，并对每个点进行投票。

3.4对整幅图像扫描完毕后，得票最高的点就是待检测圆的圆心。

步骤4.乒乓球标记

对于检测到乒乓球的某一帧图像，以图像左上角为原点、每个像素为一个单位长度，将图像中每一个圆的坐标、半径标记在图像上。依据近大远小的物理规则，筛选出距离机器人最近的乒乓球，将这个球的x、y坐标和半径传递给处理器，进行收集操作。

步骤5.乒乓球识别的特殊处理及关参数的设置

5.1乒乓球遮挡情况处理方法

在实际情况下，可能会发生多个乒乓球互相遮挡、距离机器人过远或过近等情况。所以在进行Hough变换后，需要对两个圆心之间的最小距离、累加平面对是否是圆的判定阈值、检测到的圆的半径的最大值和最小值等参数进行设置。

本发明在调整参数时，选用2m*2m的黑色橡胶场地；捡球装置入口宽15cm，视觉传感器的最大分辨率为640*480，照射广度为70°，照射长度50cm，可识别乒乓球的距离范围为机器人前方20cm-70cm.在此范围内，可识别出的乒乓球最大半径为80像素、最小半径为15像素。由于乒乓球距离机器人过远时收集成功率不高，所以本实例中，将检测到的圆的半径的最大像素值和最小像素值设置为80和30。因本实例测试时使用的场地为黑色纯色橡胶垫，反光情况不严重，非乒乓球物体对于检测效率的影响并不大，所以累加平面对是否是圆的判定阈值分别设置为1，处于一个较为常规的适中状态。如果两个乒乓球重叠过多，可能会出现摄像头无法识别捕捉到的乒乓球的情况，且在此条件下，乒乓球的半径通常为80像素，所以两个圆心之间的最小距离设置为120像素，不影响识别效果，且能很好的限制乒乓球重叠情况。

5.2配合捡乒乓球机器人工作时的参数设置

为了更好地配合捡球装置完成捡球动作、提高捡球效率，在此基础上要求乒乓球进入捡球器的位置尽可能居中，以避免因乒乓球触碰到捡球器左、右边缘而被推离机器人，导致无法捡球的状况。在本实例中，因捡球装置入口为15cm，摄像头像素为640*480，照射广度为70°，可照射范围大于捡球装置入口范围；捡球范围为机器人前20cm到70cm，现实中的直线在摄像头中照射到的画面为梯形，为了能使最远处70cm的乒乓球也能被成功收集，经过多次实验，最终确定当乒乓球圆心位于x轴上160像素到480像素之间才进行收集。若在可收集范围外识别到乒乓球，则驱动机器人进行相应的姿态调整，使得乒乓球圆心进入可收集范围内并进行收集。

5.3乒乓球识别优化处理

实际的乒乓球场地中干扰因素较少，但为了在较为复杂的环境中也能保证检测乒乓球的准确率，可以选择性地对图片进行进一步的处理来消除背景所带来的影响，例如腐蚀、膨胀等。

对灰度图进行腐蚀、膨胀操作可以分别用公式(4)、(5)来表示：

fob＝min{f_x-b(x),x∈D(b)} (4)

fgb＝max{f_x+b(x),x∈D(b)} (5)

其中，D(b)结构元素b的模板区域。

使用开、闭操作来实现提高识别乒乓球准确率的目的。开运算是对图像先腐蚀后膨胀的过程，可以用来消除小黑点、在纤细点处分离物体、平滑较大物体的边界，同时并不明显改变其面积；闭运算对图像先膨胀后腐蚀的过程，可以用来排除小黑洞。

附图说明

图1为本发明的方法流程图

图2为乒乓球灰度图

图3为中值滤波处理乒乓球后的中值滤波图

图4为Canny算法边缘提取结果图

图5为修改双阈值后的效果图

图6为乒乓球标记示例图

图7为未使用开闭操作的检测结果

图8为使用开闭操作后的检测结果

具体实施方式

基于Hough变换技术的乒乓球识别方法，具体实现方法的流程图如图1所示。包括以下步骤：

步骤1.图像灰度化处理

在本发明的实例中，视觉传感器的分辨率为640*480像素。通过视觉传感器，机器人的处理器可以持续不断地获得视觉传感器前方的图像，然后对读入的图片进行预处理。首先对图片进行灰度化处理，本发明采用了平均值法灰度化。设彩色图像三分量分别为R(x,y)，G(x,y)，B(x,y)则灰度化处理后，图像的灰度值Gray(x,y)可以表示为：

其原理是将彩色图像中的三分量亮度求平均从而得到灰度值，即在RGB模型中，计算一个像素点的R、G、B三种颜色的值的平均值，用这个值来表示这该像素点的灰度值，这样使得彩色图像转变为灰色图像，减少了一定的计算量。

读取一张乒乓球RGB三色分量的原图，此时每一个像素点的颜色均由R(x,y)，G(x,y)，B(x,y)三个值来表示。对此图进行灰度化处理得到图2，此时每个像素点的颜色只由一个值Gray(x,y)来表示，可以降低图像处理的运算量。

步骤2.滤波处理

灰度化处理后，考虑到在实际场景中存在光线干扰，且视觉传感器拍摄、压缩图像、传输过程中带来了噪声，因此需要对图像进行滤波处理，目的是为了抑制噪声、减少环境干扰，提高目标乒乓球的边缘清晰度。在本发明采用了中值滤波的方式，对模板中的数据由小到大排序，取排在中间位置上的数据作为最终的处理结果。经过中值滤波后的输出为：

g(x,y)＝Med{f(x-k,y-l),(k,l)∈W} (3)

其中，f(x,y)、g(x,y)分别为原图像和处理后的图像，W为二维滑动窗口，一般从3*3、5*5中选择，本实例选择以3*3的滑动窗口进行滤波。由图3可以看出，经过中值滤波处理后，图像上的噪点少了很多，图像也平滑了许多，便于下一步的处理。

步骤3.边缘提取

接下来就可以对图中的乒乓球进行边缘提取。本发明的实例中采用了基于梯度Hough变换的方法找到圆心，再通过Canny算法实现对乒乓球边缘的提取。梯度Hough变换寻找圆心坐标的思路为：

3.1利用梯度公式

计算原图像的梯度值，并将图像进行二值化。

3.2求图像中梯度值不为0的像素点的梯度方向角θ，然后利用式(1)求可能为圆心的像素点的坐标。

3.3遍历图像中所有梯度值不为0的像素点，按照步骤3.2的方式求所有可能为圆心的点，并对每个点进行投票。

3.4对整幅图像扫描完毕后，得票最高的点就是待检测圆的圆心。

由图4可以看出，通过梯度Hough变换的方法以及经过Canny算法进行边缘提取处理后，乒乓球的大致轮廓已经被提取了出来，但同时也存在边界模糊、间断的问题。在本实例中，经过多次测试，最终将Canny算法中的高低双阈值分别整定为100、30后，边缘提取效果会如图5所示改善很多。

步骤4.乒乓球标记

检测到乒乓球的某一帧图像，则以图像左上角为原点、每个像素为一个单位长度，将图像中每一个圆的坐标、半径标记在图像上。最后，依据近大远小的物理规则，筛选出距离机器人最近的乒乓球，将这个球的x、y坐标和半径传递给处理器，进行收集操作。

图6给出了标记乒乓球的示例。在图中乒乓球用圆形圈出，乒乓球上的数字代表乒乓球的半径大小。左上方的乒乓球距离摄像头较远，所以半径数值小于右下方的乒乓球，在实际情况中，右下方乒乓球距离摄像头近，机器人会判定优先收集这个乒乓球。

步骤5.乒乓球识别的特殊处理及关参数的设置

5.1乒乓球遮挡情况处理方法

在实际情况下，可能会发生多个乒乓球互相遮挡、距离机器人过远或过近等情况。所以在进行Hough变换后，需要对两个圆心之间的最小距离、累加平面对是否是圆的判定阈值、检测到的圆的半径的最大值和最小值等参数进行设置。

本发明在调整参数时，选用2m*2m的黑色橡胶场地；捡球装置入口宽15cm，视觉传感器的最大分辨率为640*480，照射广度为70°，照射长度50cm，可识别乒乓球的距离范围为机器人前方20cm-70cm.在此范围内，可识别出的乒乓球最大半径为80像素、最小半径为15像素。由于乒乓球距离机器人过远时收集成功率不高，所以本实例中，将检测到的圆的半径的最大像素值和最小像素值设置为80和30。因本实例测试时使用的场地为黑色纯色橡胶垫，反光情况不严重，非乒乓球物体对于检测效率的影响并不大，所以累加平面对是否是圆的判定阈值分别设置为1，处于一个较为常规的适中状态。如果两个乒乓球重叠过多，可能会出现摄像头无法识别捕捉到的乒乓球的情况，且在此条件下，乒乓球的半径通常为80像素，所以两个圆心之间的最小距离设置为120像素，不影响识别效果，且能很好的限制乒乓球重叠情况。

5.2配合捡乒乓球机器人工作时的参数设置

为了更好地配合捡球装置完成捡球动作、提高捡球效率，在此基础上要求乒乓球进入捡球器的位置尽可能居中，以避免因乒乓球触碰到捡球器左、右边缘而被推离机器人，导致无法捡球的状况。在本实例中，因捡球装置入口为15cm，摄像头像素为640*480，照射广度为70°，可照射范围大于捡球装置入口范围；捡球范围为机器人前20cm到70cm，现实中的直线在摄像头中照射到的画面为梯形，为了能使最远处70cm的乒乓球也能被成功收集，经过多次实验，最终确定当乒乓球圆心位于x轴上160像素到480像素之间才进行收集。若在可收集范围外识别到乒乓球，则驱动机器人进行相应的姿态调整，使得乒乓球圆心进入可收集范围内并进行收集。

5.3乒乓球识别优化处理

实际的乒乓球场地中干扰因素较少，但为了在较为复杂的环境中也能保证检测乒乓球的准确率，可以选择性地对图片进行进一步的处理来消除背景所带来的影响，例如腐蚀、膨胀等。

对灰度图进行腐蚀、膨胀操作可以分别用公式(4)、(5)来表示：

fob＝min{f_x-b(x),x∈D(b)} (4)

fgb＝max{f_x+b(x),x∈D(b)} (5)

其中，D(b)结构元素b的模板区域。

本实例中，笔者使用开、闭操作来实现提高识别乒乓球准确率的目的。开运算是对图像先腐蚀后膨胀的过程，可以用来消除小黑点、在纤细点处分离物体、平滑较大物体的边界，同时并不明显改变其面积；闭运算对图像先膨胀后腐蚀的过程，可以用来排除小黑洞。

图7展示了未使用开、闭运算的识别情况。可以看到虽然通过Hough变换的方法能够在复杂环境中识别出乒乓球，但同时也出现了很多误判。

图8展示了使用开、闭运算后的识别效果。可以看出，相比于图8，所有的误判均被消除，并且依然可以稳定识别乒乓球。所以在机器人工作环境较为复杂时，本实例通过加入开、闭运算来消除复杂背景对识别乒乓球的影响。

Claims (3)

1.基于霍夫圆变换技术的乒乓球识别方法，其特征在于：采用梯度Hough变换的方法来提高识别速度；以极坐标方程

A＝x-rcosθ,B＝y-rsinθ (1)

来表示圆，其中x和y为当前像素点的坐标，r为半径，θ为梯度方向角，A和B为计算得到的可能的圆心坐标；

本方法包括以下步骤：

步骤1.图像灰度化处理

机器人的处理器可以持续不断地通过视觉传感器获得前方的图像，然后对读入的图片进行预处理；采用平均值法对图像进行灰度化处理，设彩色图像三分量分别为R(x,y)，G(x,y)，B(x,y)则灰度化处理后，图像的灰度值Gray(x,y)可以表示为：

步骤2.滤波处理

灰度化处理之后，对图像进行滤波处理以抑制噪声、减少环境干扰，提高目标乒乓球的边缘清晰度；本发明采用了中值滤波的方式，对模板中的数据由小到大排序，取排在中间位置上的数据作为最终的处理结果；经过中值滤波后的输出为：

g(x,y)＝Med{f(x-k,y-l),(k,l)∈W} (3)

其中，f(x,y)、g(x,y)分别为原图像和处理后的图像，W为二维滑动窗口，一般从3*3、5*5中选择；

步骤3.边缘提取

本发明采用基于梯度Hough变换的方法找到圆心，再通过Canny算法实现对乒乓球边缘的提取；梯度Hough变换寻找圆心坐标的步骤为：

3.1利用梯度公式

计算原图像的梯度值，并将图像进行二值化；

3.2求图像中梯度值不为0的像素点的梯度方向角θ，然后利用式(1)求可能为圆心的像素点的坐标；

步骤3.3遍历图像中所有梯度值不为0的像素点，按照步骤3.2的方式求所有可能为圆心的点，并对每个点进行投票；

3.4对整幅图像扫描完毕后，得票最高的点就是待检测圆的圆心；

步骤4.乒乓球标记

对于检测到乒乓球的某一帧图像，以图像左上角为原点、每个像素为一个单位长度，将图像中每一个圆的坐标、半径标记在图像上；依据近大远小的物理规则，筛选出距离机器人最近的乒乓球，将这个球的x、y坐标和半径传递给处理器，进行收集操作；

步骤5.乒乓球识别的特殊处理及关参数的设置

5.1乒乓球遮挡情况处理方法

在进行Hough变换后，需要对两个圆心之间的最小距离、累加平面对是否是圆的判定阈值、检测到的圆的半径的最大值和最小值参数进行设置；

5.2配合捡乒乓球机器人工作时的参数设置

在本实例中，因捡球装置入口为15cm，摄像头像素为640*480，照射广度为70°，可照射范围大于捡球装置入口范围；捡球范围为机器人前20cm到70cm，现实中的直线在摄像头中照射到的画面为梯形，为了能使最远处70cm的乒乓球也能被成功收集，经过多次实验，最终确定当乒乓球圆心位于x轴上160像素到480像素之间才进行收集；若在可收集范围外识别到乒乓球，则驱动机器人进行相应的姿态调整，使得乒乓球圆心进入可收集范围内并进行收集；

5.3乒乓球识别优化处理

选择性地对图片进行腐蚀、膨胀操作来消除背景所带来的影响；

对灰度图进行腐蚀、膨胀操作可以分别用公式(4)、(5)来表示：

其中，D(b)结构元素b的模板区域；

使用开、闭操作来实现提高识别乒乓球准确率的目的；开运算是对图像先腐蚀后膨胀的过程，用来消除小黑点、在纤细点处分离物体、平滑较大物体的边界，同时并不明显改变其面积；闭运算对图像先膨胀后腐蚀的过程，用来排除小黑洞。

2.如权利要求1所述的基于霍夫圆变换技术的乒乓球识别方法，其特征在于：所述步骤5.1中，在调整参数时，选用2m*2m的黑色橡胶场地；捡球装置入口宽15cm，视觉传感器的最大分辨率为640*480，照射广度为70°，照射长度50cm，可识别乒乓球的距离范围为机器人前方20cm-70cm.在此范围内，可识别出的乒乓球最大半径为80像素、最小半径为15像素；将检测到的圆的半径的最大像素值和最小像素值设置为80和30；累加平面对是否是圆的判定阈值分别设置为1，处于一个较为常规的适中状态；当两个乒乓球重叠过多，出现摄像头无法识别捕捉到的乒乓球时，根据乒乓球的半径通常为80像素，将两个圆心之间的最小距离设置为120像素。

3.如权利要求1所述的基于霍夫圆变换技术的乒乓球识别方法，其特征在于：所述步骤5.2中，乒乓球进入捡球器的位置尽可能居中，避免因乒乓球触碰到捡球器左、右边缘而被推离机器人，导致无法捡球的状况以更好地完成捡球动作、提高捡球效率；捡球装置入口为15cm，摄像头像素为640*480，照射广度为70°，可照射范围大于捡球装置入口范围；捡球范围为机器人前20cm到70cm，现实中的直线在摄像头中照射到的画面为梯形，乒乓球圆心位于x轴上160像素到480像素之间时进行收集，能使最远处70cm的乒乓球被成功收集；若在可收集范围外识别到乒乓球，则驱动机器人进行相应的姿态调整，使得乒乓球圆心进入可收集范围内并进行收集。

Images