CN109064479B - 一种基于邻近视频帧灰度动态特征的海天线检测方法 - Google Patents

Abstract

本发明公开了一种基于邻近视频帧灰度动态特征的海天线检测方法，包括以下步骤：步骤1、获取船载摄像机拍摄的海上可见光视频中间隔时间较短的两帧彩色图像；步骤2、将两帧彩色图像转换为灰度图像；步骤3、利用帧间差分法处理两帧灰度图像得到差分图像；步骤4、对差分图像进行形态学孔洞填充处理，得到处理后的差分图像；步骤5、逐列提取处理后的差分图像的灰度剖面曲线，求取每条灰度剖面曲线的极大值并计算极大值的增长率，将增长率的峰值点作为海天线候选边缘点；步骤6、利用霍夫变换对海天线候选边缘点进行直线拟合得到海天线检测结果。本发明能够检测出复杂背景条件下的海天线，具有准确度高，耗时短的优点。

Description

一种基于邻近视频帧灰度动态特征的海天线检测方法

技术领域

本发明涉及海上无人船目标检测领域，具体涉及到一种基于邻近视频帧灰度动态特征的海天线检测方法。

背景技术

海天线的准确检测对无人船载摄像机的环境感知具有重要意义，主要表现在：1)通常情况下，远距离船只、礁石、浮标等目标一般位于海天线附近，实现海天线的检测可以缩小图像中目标的检测范围，抑制噪声和虚假目标的干扰；2)海天线在图像中的位置信息可以为双目相机外参数标定、图像校正及海平面三维拟合提供重要参考依据。

船载摄像机拍摄的海上可见光视频主要包含两种特征，一种为单帧图像中的静态特征，另一种为视频序列随时间变化呈现出的动态特征。单幅图像中的静态特征主要表现为图像是由天空区域、海天线以及海面区域三部分组成；通常情况下，天空区域比海面区域亮度大，海面区域比天空区域纹理复杂，海天线表现为一条直线。视频序列中的动态特征是指受风浪、波光反射等自然因素的影响，相邻视频帧中海面区域的纹理、亮度等特征较天空区域变化快，此外受载体运动的影响，海天线的位置也会随时间发生改变。

受天气、海况等因素的影响，可见光图像中海天线可能会出现模糊、部分被遮挡甚至是消失的情况，给海天线检测带来很大的挑战。针对此问题，相关学者开展了大量的研究工作，提出了系列海天线检测方法。这些方法都是利用了单幅图像中的静态特征，主要可分为三类方法。第一类是基于纹理特征的检测方法。例如，利用灰度共生矩阵确定对比度最大的图像块为海天线区域，然后通过Otsu算法分割图像块后提取边缘点拟合海天线；受波光反射、海云纹理等因素的影响，此类方法检测的准确性易受海天线区域以外的纹理突变区域的干扰。第二类是基于海天线直线特征的检测方法。例如，利用线段检测器粗略地筛选出候选海天线后，利用Canny算子计算得到边缘点，配合Hough变换提取海天线，但此类方法的检测性能易受海云、波浪等边缘特征的影响。第三类是基于灰度特征的检测方法。例如，根据图像块的灰度复杂度及其上下邻域的平均灰度差异确定海天线区域的方法。但此类方法的检测性能易受图像中占像素比例较大的船只、礁石等目标的影响。

综上所述，由于无人船船载摄像机采集的海上可见光视频中图像背景复杂多变，导致目前基于单幅图像的海天线检测方法检测准确率较低。

发明内容

本发明的目的是为克服上述现有技术的不足，提供一种基于邻近视频帧灰度动态特征的海天线检测方法。该方法能够检测出复杂背景条件下的海天线，具有准确度高，耗时短的优点。

为实现上述目的，本发明对邻近视频帧海天线的动态特征及海天区域的灰度变化差异进行了分析，得出了以下结论：

①邻近视频帧间海天线变化区域及海面区域的像素灰度变化量远大于天空区域；

②由于相邻视频帧之间的采样间隔较短，相邻采样帧间的海天线位置变化非常小，可近似认为两帧图像中海天线的位置相同。

基于上述结论，本发明提供一种基于邻近视频帧灰度动态特征的海天线检测方法，包括以下步骤：

步骤1、获取船载摄像机拍摄的海上可见光视频中间隔时间较短的两帧彩色图像；

步骤2、将两帧彩色图像转换为灰度图像；

步骤3、利用帧间差分法处理两帧灰度图像得到差分图像；

步骤4、对差分图像进行形态学孔洞填充处理，得到处理后的差分图像；

步骤5、逐列提取处理后的差分图像的灰度剖面曲线，求取每条灰度剖面曲线的极大值并计算极大值的增长率，将增长率的峰值点作为海天线候选边缘点；

步骤6、利用霍夫变换对海天线候选边缘点进行直线拟合得到海天线检测结果。

上述方案中，所述步骤1的具体步骤为：以采样周期T(比如，取T＝0.04s)对船载摄像机拍摄的海上可见光视频进行采样。

上述方案中，所述步骤2的具体步骤为：将步骤1采样得到的两帧彩色图像转换为灰度图像，转换公式如下所示：

I＝0.299R+0.587G+0.114B

式中，I表示灰度图像，R、G、B分别表示彩色图像的红、绿、蓝分量图像，图像大小为M×N。

上述方案中，所述步骤3的具体步骤为：对步骤2处理得到的两帧灰度图像进行差分运算得到差分图像，计算公式如下所示：

D(x,y)＝|I_t+T(x,y)-I_t(x,y)|

式中，I_t+T、I_t分别表示t+T时刻与t时刻的灰度图像，D为两者之间的差分图像，(x,y)表示像素的坐标位置，T为视频帧的采样周期。差分图像D能够反映出相邻两帧图像各区域之间的灰度变化差异。在差分图像中，以海天线为界，海天线上方天空区域的灰度近似为0，且像素间的灰度差异较小，而海天线下方海面区域像素间的灰度差异较大，灰度在海天线处发生突变，呈现出较明显的边缘特征。

上述方案中，由于受海面反光、水波运动等因素的影响，部分灰度剖面曲线中对应海面区域的部分，其极大值之间的增长率会超过海天线候选边缘点处的极大值增长率，干扰海天线边缘点的提取。为解决此问题，所述步骤4的具体步骤为：对步骤3处理得到的差分图像进行形态学孔洞填充处理；对于灰度图像而言，孔洞被定义为由较亮像素所围绕的较暗像素区域；对灰度图像进行孔洞填充，即让较暗区域处的像素灰度与较亮边界上的像素灰度的最小值相等，而边界灰度值保持不变；通过填补差分图像中海面低亮度区域，能够使得海天线候选边缘点处的灰度增长率为最大，孔洞填充的方法可由下式表示：

式中，(x,y)表示像素的坐标位置，f_b为较亮边界像素的灰度，t_min为边界上像素灰度的最小值，f_m表示孔洞填充处理后的差分图像。

上述方案中，所述步骤5的具体步骤为：根据孔洞填充后的差分图像中海天线处灰度发生突变的特点，逐列提取图像f_m的灰度剖面曲线，求取每条灰度剖面曲线的极大值并计算极大值的增长率，将增长率的峰值点作为海天线候选边缘点，具体计算公式如下：

式中，

表示图像f_m的第n列灰度剖面曲线上第i个极大值，i_n表示第n列灰度剖面曲线上极大值点的数量，F_n表示第n列灰度剖面曲线的极大值增长率的峰值；

将每列灰度剖面曲线上的极大值增长率的峰值对应位置的像素灰度设为1，其余像素的灰度设为0，得到海天线候选边缘二值图像。

上述方案中，由于可见光图像中位于海天线上方的船只、礁石、浮标等目标遮挡海天线，使得提取出的少数边缘点出现在海天线的上方，造成二值图像中海天线出现断裂的现象。为解决此问题，所述步骤6的具体步骤为：基于海天线的直线特征，利用霍夫变换拟合海天线候选边缘点得到海天线检测结果，具体步骤如下：

①沿水平方向对步骤5处理得到的二值图像中的海天线候选边缘点进行等间隔采样，每隔4个候选边缘点采样1次得到新的二值图像；

②利用霍夫变换将二值图像中的候选边缘点映射为参数空间中的曲线，霍夫变换公式为：

ρ＝x cosθ+y sinθ

式中，ρ为图像坐标系中原点(位于二值图像左上角)与直线之间的垂线长度，x、y分别表示海天线候选边缘点在图像坐标系中的行列坐标，θ为垂线与x轴正方向的夹角；

③利用点与线的对应关系，统计参数空间中曲线交点的累计峰值，确定最佳直线模型。

本发明与现有技术相比，有以下显著的优点：

①本发明对邻近两帧灰度图像进行差分运算得到差分图像，根据灰度变化量差异来检测海天区域，有效地减少了图像背景中的干扰因素对海天线检测的影响；

②本发明对差分图像进行形态学孔洞填充处理，有效地抑制了海面反光、水波运动等因素的干扰；

③本发明提取出的海天线候选边缘点中，干扰点一般为海天线上方船只、礁石等目标的轮廓点，此类干扰点一般不具备共线特征，提高了霍夫变换拟合海天线的准确率；

④本发明在保证霍夫变换拟合海天线准确率的基础上，对海天线候选边缘点进行降采样，有效地缩短了霍夫变换拟合海天线耗用的时间。

附图说明

图1是本发明基于邻近视频帧灰度动态特征的海天线检测方法流程图；

图2是本发明邻近两帧灰度图像；

图3是本发明差分图像，其中图3中左为二维差分图像，图3中右为差分图像的立体坐标图；

图4是本发明孔洞填充处理前后的灰度剖面曲线；

图5是本发明海天线候选边缘二值图像；

图6是本发明海天线检测结果；

图7是本发明不同背景条件下海天线检测结果,其中图7中(a)为图像中含岛屿干扰；图7中(b)为图像中含近距离船只干扰；图7中(c)为图像中含波浪边缘干扰；图7中(d)为图像中含海面反光区域干扰。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，一种基于邻近视频帧灰度动态特征的海天线检测方法，包括以下步骤：

步骤1、获取船载摄像机拍摄的海上可见光视频中间隔时间较短的两帧彩色图像；

步骤2、将两帧彩色图像转换为灰度图像；

步骤3、利用帧间差分法处理两帧灰度图像得到差分图像；

步骤4、对差分图像进行形态学孔洞填充处理，得到处理后的差分图像；

步骤5、逐列提取处理后的差分图像的灰度剖面曲线，求取每条灰度剖面曲线的极大值并计算极大值的增长率，将增长率的峰值点作为海天线候选边缘点；

步骤6、利用霍夫变换对海天线候选边缘点进行直线拟合得到海天线检测结果。

所述步骤1中，获取船载摄像机拍摄的海上可见光视频中间隔时间较短的两帧彩色图像；具体步骤为：以采样周期T(比如，取T＝0.04s)对船载摄像机拍摄的海上可见光视频进行采样。

所述步骤2中，将两帧彩色图像转换为灰度图像，如图2所示；灰度转换公式如下所示：

I＝0.299R+0.587G+0.114B (1)

式中，I表示灰度图像，R、G、B分别表示彩色图像的红、绿、蓝分量图像，图像大小为M×N。

所述步骤3中，利用帧间差分法处理两帧灰度图像得到差分图像，如图3所示，图3左为二维差分图像，图3右为差分图像的立体坐标图；帧间差分法的公式为：

D(x,y)＝|I_t+T(x,y)-I_t(x,y)| (2)

式中，I_t+T、I_t分别表示t+T时刻与t时刻的灰度图像，D为两者之间的差分图像，(x,y)表示像素的坐标位置，T为视频帧的采样周期。差分图像D能够反映出相邻两帧图像各区域之间的灰度变化差异。在差分图像中，以海天线为界，海天线上方天空区域的灰度近似为0，且像素间的灰度差异较小，而海天线下方海面区域像素间的灰度差异较大，灰度在海天线处发生突变，呈现出较明显的边缘特征。

所述步骤4中，由于受海面反光、水波运动等因素的影响，部分灰度剖面曲线中对应海面区域的部分，其极大值之间的增长率会超过海天线候选边缘点处的极大值增长率，干扰海天线边缘点的提取。为解决此问题，所述步骤4的具体步骤为：对差分图像进行形态学孔洞填充处理；对于灰度图像而言，孔洞被定义为由较亮像素所围绕的较暗像素区域；对差分图像进行形态学孔洞填充处理，即让较暗区域的像素灰度与较亮边界上的像素灰度的最小值相等，而边界灰度值保持不变；通过填补差分图像中海面低亮度区域，能够使得海天线候选边缘点处的灰度增长率为最大；孔洞填充处理前后的差分图像某一列灰度剖面曲线，如图4所示，孔洞填充的方法可由下式表示：

式中，(x,y)表示像素的坐标位置，f_b为较亮边界像素的灰度，t_min为边界上像素灰度的最小值，f_m表示孔洞填充处理后的差分图像。

所述步骤5中，根据孔洞填充后的差分图像中海天线处灰度发生突变的特点，逐列提取图像f_m的灰度剖面曲线，求取每条灰度剖面曲线的极大值并计算极大值的增长率，将增长率的峰值点作为海天线候选边缘点，具体计算公式如下：

式中，

表示图像f_m的第n列灰度剖面曲线上第i个极大值，i_n表示第n列灰度剖面曲线上极大值点的数量，F_n表示第n列灰度剖面曲线的极大值增长率的峰值；

将每列灰度剖面曲线上的极大值增长率的峰值对应位置的像素灰度设为1，其余像素的灰度设为0，得到海天线候选边缘二值图像，如图5所示。

所述步骤6中，由于可见光图像中位于海天线上方的船只、礁石、浮标等目标遮挡海天线，使得提取出的少数边缘点出现在海天线的上方，造成二值图像中海天线出现断裂的现象。为解决此问题，所述步骤6的具体步骤为：基于海天线的直线特征，利用霍夫变换拟合海天线候选边缘点得到海天线检测结果，如图6所示：

①沿水平方向对步骤5处理得到的二值图像中的海天线候选边缘点进行等间隔采样，每隔4个候选边缘点采样1次得到新的二值图像；

②利用霍夫变换将二值图像中的候选边缘点映射为参数空间中的曲线，霍夫变换公式为：

ρ＝x cosθ+y sinθ (5)

式中，ρ为图像坐标系中原点(位于二值图像左上角)与直线之间的垂线长度，x、y分别表示海天线候选边缘点在图像坐标系中的行列坐标，θ为垂线与x轴正方向的夹角；

③利用点与线的对应关系，统计参数空间中曲线交点的累计峰值，确定最佳直线模型。

为了验证本发明检测海天线的性能，采用某无人船在某港口近海采集的可见光视频图像进行实验验证。实验中选用的测试样本根据图像中的主要干扰特点分为以下4类：如图7中(a)所示，图像中含岛屿干扰；如图7中(b)所示，图像中含近距离船只干扰；如图7中(c)所示，图像中含波浪边缘干扰；如图7中(d)所示，图像中含海面反光区域干扰。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于邻近视频帧灰度动态特征的海天线检测方法，其特征在于，包括以下步骤：

步骤1、获取船载摄像机拍摄的海上可见光视频中的两帧彩色图像；

所述步骤1的具体步骤是：以采样周期T对船载摄像机拍摄的海上可见光视频进行采样；

步骤2、将两帧彩色图像转换为灰度图像；

步骤3、利用帧间差分法处理两帧灰度图像得到差分图像；

步骤4、对差分图像进行形态学孔洞填充处理，得到处理后的差分图像；

步骤5、逐列提取处理后的差分图像的灰度剖面曲线，求取每条灰度剖面曲线的极大值并计算极大值的增长率，将增长率的峰值点作为海天线候选边缘点；

步骤6、利用霍夫变换对海天线候选边缘点进行直线拟合得到海天线检测结果。

2.根据权利要求1所述的基于邻近视频帧灰度动态特征的海天线检测方法，其特征在于，所述步骤2的具体步骤是：将步骤1采样得到的两帧彩色图像转换为灰度图像，转换公式如下所示：

I＝0.299R+0.587G+0.114B

式中，I表示灰度图像，R、G、B分别表示彩色图像的红、绿、蓝分量图像，图像大小为M×N。

3.根据权利要求2所述的基于邻近视频帧灰度动态特征的海天线检测方法，其特征在于，所述步骤3的具体步骤为：对步骤2处理得到的两帧灰度图像进行差分运算得到差分图像，计算公式如下所示：

D(x,y)＝|I_t+T(x,y)-I_t(x,y)|

式中，I_t+T、I_t分别表示t+T时刻与t时刻的灰度图像，D为两者之间的差分图像，(x,y)表示像素坐标位置，T为视频帧的采样周期。

4.根据权利要求3所述的基于邻近视频帧灰度动态特征的海天线检测方法，其特征在于，所述步骤4的具体步骤为：对步骤3处理得到的差分图像进行形态学孔洞填充处理；孔洞被定义为由较亮像素所围绕的较暗像素区域；对灰度图像进行孔洞填充，即让较暗区域处的像素灰度与较亮边界上的像素最小灰度值相等，而边界灰度值保持不变，孔洞填充的方法可由下式表示：

式中，(x,y)表示像素坐标的位置，f_b为较亮边界像素的灰度，t_min为边界上像素灰度的最小值，f_m表示孔洞填充处理后的差分图像。

5.根据权利要求4所述的基于邻近视频帧灰度动态特征的海天线检测方法，其特征在于，所述步骤5的具体步骤为：逐列提取步骤4处理后的差分图像的灰度剖面曲线，求取每条灰度剖面曲线的极大值并计算极大值的增长率，将增长率的峰值点作为海天线候选边缘点，具体计算公式如下：

式中，

表示图像f_m的第n列灰度剖面曲线上第i个极大值，i_n表示第n列灰度剖面曲线上极大值点的数量，F_n表示第n列灰度剖面曲线的极大值增长率的峰值；

将每列灰度剖面曲线上的极大值增长率的峰值对应位置的像素灰度设为1，其余像素的灰度设为0，得到海天线候选边缘二值图像。

6.根据权利要求5所述的基于邻近视频帧灰度动态特征的海天线检测方法，其特征在于，所述步骤6的具体步骤为：

①沿水平方向对步骤5处理得到二值图像中的海天线候选边缘点进行等间隔采样，每隔4个候选边缘点采样1次得到新的二值图像；

②利用霍夫变换将二值图像中的候选边缘点映射为参数空间中的曲线，霍夫变换公式为：

ρ＝x cosθ+y sinθ

式中，ρ为图像坐标系中原点到直线之间的垂线长度，x、y分别表示海天线候选边缘点在图像坐标系中的行列坐标，θ为垂线与x轴正方向的夹角；

③利用点与线的对应关系，统计参数空间中曲线交点的累计峰值，确定最佳直线模型。

7.根据权利要求1所述的基于邻近视频帧灰度动态特征的海天线检测方法，其特征在于，所述采样周期T＝0.04s。

Images