CN109300125B - 一种复杂环境下城轨列车受电弓滑板图像提取方法 - Google Patents

Abstract

本发明公开了一种复杂环境下城轨列车受电弓滑板图像提取算法。该方法为：首先工业相机拍照获取原始图像；其次对原始图像进行初步截取，以确定滑板在原始图像中的粗略矩形区域；然后利用投影法，确定滑板所在精确矩形区域的上下边界；进一步地，再利用边缘检测算法提取图像边缘，使用Hough变换对边缘图像进行直线检测，进而确定滑板所在精确矩形区域的左右边界；最后根据滑板所在精确矩形区域计算出滑板的厚度。本发明能够在复杂环境下提取出受电弓滑板的边缘，且提取算法在复杂环境下具有鲁棒性高的优点。

Description

一种复杂环境下城轨列车受电弓滑板图像提取方法

技术领域

本发明属于交通安全工程技术领域，特别是一种复杂环境下城轨列车受电弓滑板图像提取方法。

背景技术

随着我国城市轨道交通的快速发展及多条线路的开通运行，列车在线运行的安全问题也日益显著。城轨列车受电弓是城轨列车从接触网上受取电流的装置，其滑板与接触网导线直接接触，从接触网导线上受取电流供城轨列车使用。受电弓滑板的好坏直接影响城轨列车的安全运行，受电弓滑板的厚度过小，不仅影响城轨列车的正常供电，由此产生电弧放电还会进一步加剧受电弓滑板和接触线的磨耗。随着城轨列车的飞速发展，对受电弓的可靠性运行提出了更高的要求，因此对受电弓状态的智能检测具有重大意义。

目前国内外受电弓状态的检测方法主要包括车载设备检测和在线定点式检测两种方式。车载式检测装置有一定的局限性，在实际运作中的投资规模大，成本高。在线定点式检测方式，国内外有基于超声波传感器的检测、基于激光测距的检测等多种实现方式。在这些方法中，有的***机构复杂，可靠性不高；有的***在线检测效率低，受复杂环境影响比较大。

发明内容

本发明的目的在于提供一种在复杂环境下能够准确提取城轨列车受电弓滑板图像的算法。

实现本发明目的的技术解决方案为：一种复杂环境下城轨列车受电弓滑板图像提取方法，包括以下步骤：

步骤1、确定滑板在原始图像中的矩形区域范围：由相机获取到原始图像，对图像进行初步截取，去除干扰信息，得到包含受电弓滑板的图像；对得到的图像进行平滑处理；然后根据投影法，对获取的受电弓滑板的图像进行进一步精确截取；

步骤2、确定滑板所在精确矩形区域的上下边界：采用投影法对步骤1得到的图像进行水平投影，得到关于水平方向上灰度和的曲线，通过对曲线的分析以及进一步的处理，得到受电弓滑板所在精确矩形区域的上下边界；

步骤3、确定滑板所在精确矩形区域的左右边界：对步骤1截取出来的图像滤波后进行边缘检测，使用Hough变换检测边缘图像中的直线段，找出直线段中接触线边缘形成的直线段，以确定左右边界；

步骤4、根据滑板所在精确矩形区域计算滑板厚度：对边缘检测图像进行膨胀腐蚀处理，根据寻找出的滑板所在精确矩形区域中滑板的上下边缘计算滑板的剩余厚度。

进一步地，步骤1中所述确定滑板在原始图像中的矩形区域范围，具体如下：

步骤1.1、图像的粗定位：由相机获取到原始图像，根据受电弓滑板所在图像中的位置，对图像进行初步截取，得到包含受电弓滑板的图像；

步骤1.2、图像的精确定位：首先将步骤1.1粗定位所得到的图片进行平滑处理，然后根据水平投影法，得出每一行的灰度和y，并得出曲线；再对每一行的灰度和y进行一阶求导，并得出关于一阶导数的曲线，最后对两幅曲线图像进行分析，根据图片中灰度和以及灰度和一阶导数的跳变特征，最终定位出含有受电弓滑板的精确图像。

进一步地，步骤2中所述确定滑板所在精确矩形区域的上下边界，具体如下：

步骤2.1、首先对步骤1中所得到得精确图像进行水平投影，得出每一行的灰度和y，并得出曲线；再对每一行的灰度和y进行一阶求导，并得出关于一阶导数ydiff的曲线；进一步地，对灰度和y进行二阶求导，并得出关于二阶导数ydiff2的曲线；

步骤2.2、根据步骤2.1所得到的关于灰度和y曲线以及灰度和一阶导数ydiff曲线中的特征，得出滑板所在精确矩形区域的上边界；然后根据灰度和一阶导数ydiff曲线以及灰度和二阶导数ydiff2曲线中的特征，得出滑板所在精确矩形区域的下边界。

进一步地，步骤3中所述确定滑板所在精确矩形区域的左右边界，具体如下：

步骤3.1、使用高斯低通滤波器对步骤1中截取出来的图像进行滤波，得到滤波之后的图像；

步骤3.2、使用Canny边缘检测算法对步骤3.1得到的滤波之后的图像进行边缘检测，得到边缘图像；

步骤3.3、使用Hough变换检测步骤3.2得到的边缘图像中的直线段，直线段由参数ρ、θ、端点(x₁,y₁)与端点(x₂,y₂)表示，经过该线段的直线的方程为ρ＝xcosθ+ysinθ；删除长度小于l₀的线段，合并ρ与θ相同且距离小于l₁的线段，在合并后的线段中保留步骤3.2得到的边缘图像中刚性接触线上形成的边缘部分，即保留θ在区间(θ₁,θ₂)之内的线段，θ₁与θ₂需根据实际情况中刚性接触线上形成的边缘部分在图像中的角度取值；

步骤3.4、在步骤2中确定的滑板所在精确矩形区域的上边界上取一点，确保该点位于刚性接触线上形成的边缘左方，得到该点的坐标为(x₀,y₀)；遍历计算步骤3.3中剩余的刚性接触线上形成的边缘部分线段与点(x₀,y₀)的距离，距离计算的公式为：

保留d值最小的那条线段，即为刚性接触网最左边的边缘形成的线段；

步骤3.5、计算步骤2中确定的滑板所在精确矩形区域的上边界与步骤3.4中得到的刚性接触网最左边的边缘形成的线段或该线段的延长线形成的交点，该点坐标为(x_r,y_r)：

取滑板所在精确矩形区域的右边界的直线方程为：x＝x_r–δ，其中δ为向左偏移的余量；

步骤3.6、滑板所在精确矩形区域的左边界直线方程为：x＝x_r–δ–w，其中，w为根据经验得到的矩形区域的长度。

进一步地，步骤4中所述根据滑板所在精确矩形区域计算滑板厚度，具体如下：

步骤4.1、对步骤3.2得到的边缘图像进行形态学腐蚀处理后再进行形态学膨胀处理，以将步骤2和步骤3中确定的滑板所在精确矩形区域中滑板的边缘连接起来，消除边缘中断造成的异常值；

步骤4.2、对于经步骤4.1处理后图像中的精确矩形区域，按列得到该列上第一个与最后一个像素点的坐标，即滑板上边缘与下边缘的像素点，并将该点坐标转换为原始图像上的坐标；

步骤4.3、根据步骤4.2得到的滑板上下边缘在原始图像中坐标点，以及相机的标定矩阵，即可算出滑板的剩余厚度；

步骤4.4、计算滑板剩余厚度的最小值，将滑板原始厚度减去剩余厚度的最小值，即得到滑板的磨耗值。

本发明与现有技术相比，其显著优点为：(1)基于行投影曲线的特征提取出受电弓滑板区域的上下限定位置，准确性高；(2)通过选择合适的核进行膨胀腐蚀操作，解决了滑板边缘附近非相关边缘干扰和边缘断裂的问题；(3)能够在复杂环境下提取出受电弓滑板的边缘，且提取方法在复杂环境下鲁棒性高。

附图说明

图1为本发明复杂环境下城轨列车受电弓滑板图像提取方法的流程示意图。

图2为本发明中截取得到的包含受电弓滑板的示意图。

图3为本发明中根据投影方法得到的进一步截取的受电弓滑板图。

图4为本发明中受电弓滑板图像的灰度值按行相加得到的曲线图。

图5为本发明中灰度值曲线的一阶导数示意图。

图6为本发明中灰度值曲线的二阶导数示意图。

图7为本发明中受电弓滑板图像进行边缘检测后得到的二值图像进行Hough变换检测到的所有线段示意图。

图8为本发明中对边缘检测后的图像进行边缘连接后的示意图。

具体实施方式

结合图1～8，本发明复杂环境下城轨列车受电弓滑板图像提取方法，包括以下步骤：

步骤1、确定滑板在原始图像中的矩形区域范围：由相机获取到图像，根据经验对图像进行初步截取，去除不必要的干扰信息，得到包含受电弓滑板的图像；对得到的图像进行平滑处理；然后根据投影法，对获取的受电弓滑板的图像进行进一步精确截取；

步骤2、确定滑板所在精确矩形区域的上下边界：采用投影法对步骤1得到的图像进行水平投影，得到关于水平方向上灰度和的曲线，通过对曲线的分析以及进一步的处理，得到受电弓滑板所在精确矩形区域的上下边界；

步骤3、确定滑板所在精确矩形区域的左右边界：对步骤1截取出来的图像滤波后进行边缘检测，使用Hough变换检测边缘图像中的直线段，找出直线段中接触线边缘形成的直线段，以确定左右边界；

步骤4、根据滑板所在精确矩形区域计算滑板厚度：对边缘检测图像进行膨胀腐蚀处理，根据寻找出的滑板所在精确矩形区域中滑板的上下边缘计算滑板的剩余厚度。

进一步地，步骤1中确定滑板在原始图像中的矩形区域范围，具体如下：

步骤1.1、图像的粗定位：由相机获取到图像，根据受电弓滑板一般所在图像中的位置，对图像进行初步截取，得到包含受电弓滑板的图像；

步骤1.2、图像的精确定位：首先将步骤1.1粗定位所得到的图片进行平滑处理，然后根据水平投影法，得出每一行的灰度和y，并得出曲线；再对每一行的灰度和y进行一阶求导，并得出关于一阶导数ydiff的曲线，最后对两幅曲线图像进行分析，根据图片中灰度和以及灰度和一阶导数的跳变特征，最终定位出含有受电弓滑板的精确图像。

进一步地，步骤2中确定滑板所在精确矩形区域的上下边界，具体如下：

步骤2.1、首先对步骤1中所得到得精确图像进行水平投影，得出每一行的灰度和y，并得出曲线；再对每一行的灰度和y进行一阶求导，并得出关于一阶导数ydiff的曲线；进一步地，对灰度和y进行二阶求导，并得出关于二阶导数ydiff2的曲线；

步骤2.2、根据步骤2.1所得到的关于灰度和y曲线以及灰度和一阶导数ydiff曲线中的特征，得出滑板所在精确矩形区域的上边界；然后根据灰度和一阶导数ydiff曲线以及灰度和二阶导数ydiff2曲线中的特征，得出滑板所在精确矩形区域的下边界。

进一步地，步骤3所述的确定滑板所在精确矩形区域的左右边界，具体如下：

步骤3.1、使用高斯低通滤波器对步骤1中截取出来的图像进行滤波，得到滤波之后的图像；

步骤3.2、使用Canny边缘检测算法对步骤3.1得到的滤波之后的图像进行边缘检测，得到边缘图像；

步骤3.3、使用Hough变换检测步骤3.2得到的边缘图像中的直线段，直线段由参数ρ、θ、端点(x₁,y₁)与端点(x₂,y₂)表示，经过该线段的直线的方程为ρ＝xcosθ+ysinθ；删除长度小于l₀的线段，合并ρ与θ相同且距离小于l₁的线段，在合并后的线段中保留步骤3.2得到的边缘图像中刚性接触线上形成的边缘部分，即保留θ在区间(θ₁,θ₂)之内的线段，θ₁与θ₂需根据实际情况中刚性接触线上形成的边缘部分在图像中的角度取值。

步骤3.4、以拍摄的受电弓左侧的图像为例，在步骤2中确定的滑板所在精确矩形区域的上边界上取一点，且根据经验确保该点位于刚性接触线上形成的边缘左方，得到该点的坐标为(x₀,y₀)。遍历计算步骤3.3中剩余的刚性接触线上形成的边缘部分线段与点(x₀,y₀)的距离，距离计算的公式为：

保留d值最小的那条线段，即为刚性接触网最左边的边缘形成的线段；

步骤3.5、计算步骤2中确定的滑板所在精确矩形区域的上边界与步骤3.4中得到的刚性接触网最左边的边缘形成的线段或该线段的延长线形成的交点，该点坐标为(x_r,y_r)：

取滑板所在精确矩形区域的右边界的直线方程为：x＝x_r–δ，其中δ为向左偏移的余量；

步骤3.6、滑板所在精确矩形区域的左边界直线方程为：x＝x_r–δ–w，其中，w为根据经验得到的矩形区域的长度。

进一步地，步骤4所述的根据滑板所在精确矩形区域计算滑板厚度，具体如下：

步骤4.1、对步骤3.2得到的边缘图像进行形态学腐蚀处理后再进行形态学膨胀处理，以将步骤2和步骤3中确定的滑板所在精确矩形区域中滑板的边缘连接起来，避免边缘中断造成的异常值；

步骤4.2、对于经步骤4.1处理后图像中的精确矩形区域，按列得到该列上第一个与最后一个像素点的坐标，即滑板上边缘与下边缘的像素点，并将该点坐标转换为原始图像上的坐标；

步骤4.3、根据步骤4.2得到的滑板上下边缘在原始图像中坐标点，以及相机的标定矩阵，即可算出滑板的剩余厚度；

步骤4.4、计算滑板剩余厚度的最小值，将滑板原始厚度减去剩余厚度的最小值，即可得到滑板的磨耗值。

实施例1

结合图1～8，本实施例以广州地铁工业相机采集到的图像进行处理分析。如图1所示，包括以下步骤：

步骤1、确定滑板在原始图像中的矩形区域范围：由相机获取到图像，根据受电弓滑板一般所在图像中的位置，对图像进行初步截取，得到包含受电弓滑板的图像。对粗略截取后所得到的含有受电弓滑板的图像进行平滑处理，然后根据水平投影法，得出每一行的灰度和y，并得出曲线；再对每一行的灰度和y进行一阶求导，并得出关于一阶导数的曲线，最后对两幅曲线图像进行分析，根据图片中灰度和以及灰度和一阶导数的曲线跳变特征，最终定位出含有受电弓滑板的精确图像；

步骤2、确定滑板所在精确矩形区域的上下边界：首先对步骤1中所得到得精确图像进行水平投影，得出每一行的灰度和y，并画出曲线；再对每一行的灰度和y进行一阶求导，并画出关于一阶导数ydiff的曲线；进一步地，对灰度和y进行二阶求导，并画出关于二阶导数ydiff2的曲线。根据所得到的关于灰度和y曲线以及灰度和一阶导数ydiff曲线中的特征，得出滑板所在精确矩形区域的上边界；然后根据灰度和一阶导数ydiff曲线以及灰度和二阶导数ydiff2曲线中的特征，得出滑板所在精确矩形区域的下边界。

步骤3、确定滑板所在精确矩形区域的左右边界：对步骤1截取出来的图像滤波后进行边缘检测，使用Hough变换检测边缘图像中的直线段，找出直线段中接触线边缘形成的直线段以确定左右边界。具体步骤如下：

步骤3.1、使用高斯低通滤波器对步骤1中截取出来的图像进行滤波，得到滤波之后的图像；

步骤3.2、使用Canny边缘检测算法对步骤3.1得到的滤波之后的图像进行边缘检测，得到边缘图像；

步骤3.3、使用Hough变换检测步骤3.2得到的边缘图像中的直线段，直线段由参数ρ、θ、端点(x₁,y₁)与端点(x₂,y₂)表示，经过该线段的直线的方程为ρ＝xcosθ+ysinθ；删除长度小于l₀的线段，合并ρ与θ相同且距离小于l₁的线段，在合并后的线段中保留步骤3.2得到的边缘图像中刚性接触线上形成的边缘部分，即保留θ在区间(θ₁,θ₂)之内的线段，θ₁与θ₂需根据实际情况中刚性接触线上形成的边缘部分在图像中的角度取值；

步骤3.4、以拍摄的受电弓左侧的图像为例，在步骤2中确定的滑板所在精确矩形区域的上边界上取一点，且根据经验确保该点位于刚性接触线上形成的边缘左方，得到该点的坐标为(x₀,y₀)。遍历计算步骤3.3中剩余的刚性接触线上形成的边缘部分线段与点(x₀,y₀)的距离，距离计算的公式为：

保留d值最小的那条线段，即为刚性接触网最左边的边缘形成的线段；

步骤3.5、计算步骤2中确定的滑板所在精确矩形区域的上边界与步骤3.4中得到的刚性接触网最左边的边缘形成的线段或该线段的延长线形成的交点，该点坐标为(x_r,y_r)：

取滑板所在精确矩形区域的右边界的直线方程为：x＝x_r–δ，其中δ为向左偏移的余量；

步骤3.6、滑板所在精确矩形区域的左边界直线方程为：x＝x_r–δ–w，其中，w为根据经验得到的矩形区域的长度。

步骤4、根据滑板所在精确矩形区域计算滑板厚度：对步骤3中得到的边缘图像进行形态学腐蚀后再进行形态学膨胀，以将步骤2和步骤3中确定的滑板所在精确矩形区域中滑板的边缘连接起来，避免边缘中断造成的异常值；按列计算滑板所在精确矩形区域中上边缘与下边缘的距离，再根据标定矩阵计算两点间的实际距离，从而得到滑板所在精确矩形区域内的滑板厚度。

根据步骤1的数据获取方法，对原始图像进行初步截取和精确截取，得到如图2，图3的受电弓图像。

根据步骤2中的方法对图3的受电弓图像进行水平投影，得到每一行的灰度和y，并对灰度和y进行连续求导，得出一阶导数ydiff及二阶导数ydiff2，并画出如图4、图5、图6所示的曲线图像。

根据步骤3中的方法进行Hough变换之后，检测到的所有直线如图7所示，设定刚性接触线上形成的边缘部分的角度在区间(-30,0)之间，即得到图7中右侧两条斜线段，计算到点(x₀,y₀)距离最短的线段，即为图7中矩形框中线段。对边缘检测后的图像进行边缘连接后，得到的矩形区域为图8中的矩形框部分。

根据步骤4进行形态学处理之后的图像如图8所示，可以看出经形态学处理后，图8中矩形框部分内，受电弓滑板的上下边缘的上下两侧没有其他边缘，从而得到受电弓滑板的上下边缘，根据改边缘的坐标以及标定矩阵即可算出滑板的剩余厚度，再用滑板的初始厚度减去剩余厚度，取其最大值为受电弓滑板的磨耗值。

Claims (3)

1.一种复杂环境下城轨列车受电弓滑板图像提取方法，其特征在于，包括以下步骤：

步骤1、确定滑板在原始图像中的矩形区域范围：由相机获取到原始图像，对图像进行初步截取，去除干扰信息，得到包含受电弓滑板的图像；对得到的图像进行平滑处理；然后根据投影法，对获取的受电弓滑板的图像进行进一步精确截取；

步骤2、确定滑板所在精确矩形区域的上下边界：采用投影法对步骤1得到的图像进行水平投影，得到关于水平方向上灰度和的曲线，通过对曲线的分析以及进一步的处理，得到受电弓滑板所在精确矩形区域的上下边界，具体如下：

步骤2.1、首先对步骤1中所得到得精确图像进行水平投影，得出每一行的灰度和y，并得出曲线；再对每一行的灰度和y进行一阶求导，并得出关于一阶导数ydiff的曲线；进一步地，对灰度和y进行二阶求导，并得出关于二阶导数ydiff2的曲线；

步骤2.2、根据步骤2.1所得到的关于灰度和y曲线以及灰度和一阶导数ydiff曲线中的特征，得出滑板所在精确矩形区域的上边界；然后根据灰度和一阶导数ydiff曲线以及灰度和二阶导数ydiff2曲线中的特征，得出滑板所在精确矩形区域的下边界；

步骤3、确定滑板所在精确矩形区域的左右边界：对步骤1截取出来的图像滤波后进行边缘检测，使用Hough变换检测边缘图像中的直线段，找出直线段中接触线边缘形成的直线段，以确定左右边界，具体如下：

步骤3.1、使用高斯低通滤波器对步骤1中截取出来的图像进行滤波，得到滤波之后的图像；

步骤3.2、使用Canny边缘检测算法对步骤3.1得到的滤波之后的图像进行边缘检测，得到边缘图像；

步骤3.3、使用Hough变换检测步骤3.2得到的边缘图像中的直线段，直线段由参数ρ、θ、端点(x₁,y₁)与端点(x₂,y₂)表示，经过该线段的直线的方程为ρ＝xcosθ+ysinθ；删除长度小于l₀的线段，合并ρ与θ相同且距离小于l₁的线段，在合并后的线段中保留步骤3.2得到的边缘图像中刚性接触线上形成的边缘部分，即保留θ在区间(θ₁,θ₂)之内的线段，θ₁与θ₂需根据实际情况中刚性接触线上形成的边缘部分在图像中的角度取值；

步骤3.4、在步骤2中确定的滑板所在精确矩形区域的上边界上取一点，确保该点位于刚性接触线上形成的边缘左方，得到该点的坐标为(x₀,y₀)；遍历计算步骤3.3中剩余的刚性接触线上形成的边缘部分线段与点(x₀,y₀)的距离，距离计算的公式为：

保留d值最小的那条线段，即为刚性接触网最左边的边缘形成的线段；

步骤3.5、计算步骤2中确定的滑板所在精确矩形区域的上边界与步骤3.4中得到的刚性接触网最左边的边缘形成的线段或该线段的延长线形成的交点，该点坐标为(x_r,y_r)：

取滑板所在精确矩形区域的右边界的直线方程为：x＝x_r–δ，其中δ为向左偏移的余量；

步骤3.6、滑板所在精确矩形区域的左边界直线方程为：x＝x_r–δ–w，其中，w为根据经验得到的矩形区域的长度；

步骤4、根据滑板所在精确矩形区域计算滑板厚度：对边缘检测图像进行膨胀腐蚀处理，根据寻找出的滑板所在精确矩形区域中滑板的上下边缘计算滑板的剩余厚度。

2.根据权利要求1所述的复杂环境下城轨列车受电弓滑板图像提取方法，其特征在于，步骤1中所述确定滑板在原始图像中的矩形区域范围，具体如下：

步骤1.1、图像的粗定位：由相机获取到原始图像，根据受电弓滑板所在图像中的位置，对图像进行初步截取，得到包含受电弓滑板的图像；

步骤1.2、图像的精确定位：首先将步骤1.1粗定位所得到的图片进行平滑处理，然后根据水平投影法，得出每一行的灰度和y，并得出曲线；再对每一行的灰度和y进行一阶求导，并得出关于一阶导数的曲线，最后对两幅曲线图像进行分析，根据图片中灰度和以及灰度和一阶导数的跳变特征，最终定位出含有受电弓滑板的精确图像。

3.根据权利要求1所述的复杂环境下城轨列车受电弓滑板图像提取方法，其特征在于，步骤4中所述根据滑板所在精确矩形区域计算滑板厚度，具体如下：

步骤4.1、对步骤3.2得到的边缘图像进行形态学腐蚀处理后再进行形态学膨胀处理，以将步骤2和步骤3中确定的滑板所在精确矩形区域中滑板的边缘连接起来，消除边缘中断造成的异常值；

步骤4.2、对于经步骤4.1处理后图像中的精确矩形区域，按列得到该列上第一个与最后一个像素点的坐标，即滑板上边缘与下边缘的像素点，并将该点坐标转换为原始图像上的坐标；

步骤4.3、根据步骤4.2得到的滑板上下边缘在原始图像中坐标点，以及相机的标定矩阵，即可算出滑板的剩余厚度；

步骤4.4、计算滑板剩余厚度的最小值，将滑板原始厚度减去剩余厚度的最小值，即得到滑板的磨耗值。

Images