CN104298993B - 一种适用于轨道沿线复杂场景下的杆号定位和识别方法 - Google Patents

Abstract

本发明涉及一种适用于轨道沿线复杂场景下的杆号定位和识别方法，本发明首先对采集轨道沿线的场景图像进行缩小和中值滤波的预处理，然后用维数较大的sobel滤波器寻找边缘，再通过霍夫变换检测最强边缘，即确定电线杆的位置，然后利用号码牌共生矩阵纹理特征，将数字区域具体定位出来；接着进行杆号的数字识别，将图像进行滤波、二值化和分割得到每个数字图像的64维特征，用训练模型进行识别，并在号码牌识别完成以后，会对所有识别结果进行重新处理，根据号码牌所特有的性质，进行号码牌自校正，通过自校正，使得号码牌的识别率得到90%以上。

Description

一种适用于轨道沿线复杂场景下的杆号定位和识别方法

技术领域

本发明涉及一种适用于轨道沿线复杂场景下的杆号定位和识别方法。

背景技术

随着铁路总体规模的不断提高，速度不断加快，运行间隔不断缩短，导致了铁路的安全性越来越重要，检测任务越来越重。传统的靠人工沿线检查的方式已经远远不能适应铁路的快速发展，而使用机器视觉已经是大势所趋。

为确保高速铁路运营秩序，提高供电安全性、可靠性，铁道部构建了高速铁路供电安全检测监测***(6C***)，以下统称6C***。其目的是对高速铁路的牵引供电***进行全方位、全覆盖的综合检测监测，主要功能包括对高速接触网悬挂参数和弓网运行参数的检测，对接触网悬挂、腕臂结构、附属线索和零部件的检测，对接触网参数的实时检测，对动车组受电弓滑板状态及接触网特殊断面和地点的实时监测，对接触网运行参数和供电设备参数的实时在线检测等，为高铁供电设备的安全运行、运行状态和参数的综合分析、设备的维修提供技术依据。杆号识别***的适用范围是指***是否可以在不同的成像条件下正常运行。比较常见的因素有天气条件是否恶略，自然光线是否充足，杆号样式是否一致等等。一般来说机器视觉***都是在室内进行，鲜有室外。室外的困难在于，天气情况不可控，环境光线不可控。除此之外，杆号与相机距离不固定，杆号样式不固定等都增加了机器识别的难度。目前市场上尚未发现有杆号识别的相关软件产品，铁路局对杆号的识别只能通过人工对成千上万的图片进行识别。人工检测效率低，内容枯燥，容易疲惫，检测结果受人工影响比较大。常见的目标定位主要有车牌定位，但是车牌定位时背景一般为地面，且车牌自身颜色比较特别，在杆号识别技术中，杆号定位是至关重要的一步。这是因为在自然场景中，背景复杂多样，对杆号的定位就变得异常困难。

发明内容

本发明的目的是提供一种适用于轨道沿线复杂场景下的杆号定位和识别方法，以解决目前杆号定位和识别中分别存在的定位困难和识别效率低的问题。

本发明为解决上述技术问题而提供一种适用于轨道沿线复杂场景下的杆号定位方法，该定位方法包括以下步骤：

1）采集轨道沿线的场景图像，并对采集的场景图像进行预处理，使图像便于分割和识别；

2）对预处理后的图像进行边缘提取，确定电线杆区域；

3）利用号码牌共生矩阵纹理特征，将杆号的数字区域定位出来。

所述步骤1）中的预处理包括图像缩放和滤波两个步骤，其中图像缩放是根据图像中电线杆的宽度进行缩放。

所述步骤2）包括以下步骤：

A.对预处理后的图像进行边缘提取；

B.采用霍夫变换求取所提取边缘的最大直线，并计算直线角度；

C.根据所求最大直线的位置反推到初始采集图像位置，以所求直线为中心，左右各扩展一倍电线杆宽度，得到初步电线杆区域；

D.将步骤C中得到图像按照步骤计算的角度进行旋转，使电线杆在图像中处于竖直方向；

E.根据数值投影用局部极大值确定电线杆的左边缘和右边缘，左右边缘之间的区域称之为电线杆区域。

所述步骤3）中的共生矩阵表示的是两个位置的像素联合概率密，用于反应图像灰度关于方向、相邻间隔和变化幅度的综合信息，f(x,y)为一幅二维数字图象，其大小为M×N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：

P(i,j)=#｛(x1,y1),(x2,y2)∈M×N｜f(x1,y1)=i,f(x2,y2)=j｝

其中#(x)表示集合x中的元素个数，P为Ng×Ng的矩阵，若(x1,y1)与(x2,y2)间距离为d，两者与坐标横轴的夹角为θ，各种间距及角度的灰度共生矩阵P(i,j,d,θ)。

本发明为解决上述技术问题还提供了一种适用于轨道沿线复杂场景下的杆号识别方法，该识别方法包括以下步骤：

1）采集轨道沿线的场景图像，并对采集的场景图像进行预处理，使图像便于分割和识别；

2）对预处理后的图像进行边缘提取，确定电线杆区域；

3）利用号码牌共生矩阵纹理特征，将杆号的数字区域定位出来；

4）将定位出来的数字图像进行滤波、二值化和分割得到每个数字图像的64维特征，用训练模型进行识别，确定杆号。

所述的识别方法还包括对所识别出的杆号进行自校正的步骤，该步骤根据人工确定的起始杆号生成正确的杆号序列，然后与实际识别出的杆号进行匹配，对于实际中漏掉的杆号进行插值，并推算出漏检杆号对应的帧数。

所述步骤1）中的预处理包括图像缩放和滤波两个步骤，其中图像缩放是根据图像中电线杆的宽度进行缩放，使缩放后的电线杆宽度为。

所述步骤2）包括以下步骤：

A.对预处理后的图像进行边缘提取；

B.采用霍夫变换求取所提取边缘的最大直线，并计算直线角度；

C.根据所求最大直线的位置反推到初始采集图像位置，以所求直线为中心，左右各扩展一倍电线杆宽度，得到初步电线杆区域；

D.将步骤C中得到图像按照步骤计算的角度进行旋转，使电线杆在图像中处于竖直方向；

E.根据数值投影用局部极大值确定电线杆的左边缘和右边缘，左右边缘之间的区域称之为电线杆区域；

F.对确定的电线杆区域进行共生矩阵计算，找到纹理特征最相近的区域。

所述步骤3）中的杆号识别包括以下步骤：

a.采集图像的杆号区域进行整理，作为训练样本；

b.对图像进行二值化处理；

c.将二值化后的图像进行水平投影，切割出每个数字图像；

d.将切割出来的每个数字图像缩放成8*8大小，提取64维特征，用训练模型进行识别。

所述步骤d中的训练模型是通过离线训练得到，所述离线训练包括以下步骤：

a）采集图像的杆号区域图像进行人工整理，作为训练样本；

b）采用最大类间方差法将图进行二值化；

c）将二值化的图像进行水平投影，切割出每个数字图像，搜集0-9共10类数字图像；

d）将切割出来的10类数字图像缩放成8*8大小，提取64维特征，通过支持向量机对特征进行训练，得到每个数字的训练模型。

本发明的有益效果是:本发明采集轨道沿线的场景图像，首先对整张图像进行缩小和中值滤波的预处理，然后用维数较大的sobel滤波器寻找边缘，再通过霍夫变换检测最强边缘，即确定电线杆的位置，然后利用号码牌共生矩阵纹理特征，将数字区域具体定位出来；接着进行杆号的数字识别，将图像进行滤波、二值化和分割得到每个数字图像的64维特征，用训练模型进行识别，并在号码牌识别完成以后，会对所有识别结果进行重新处理，根据号码牌所特有的性质，进行号码牌自校正，通过自校正，使得号码牌的识别率得到90%以上。

附图说明

图1是本发明的适用于轨道沿线复杂场景下杆号识别方法的流程图；

图2是本发明实施例中电线杆区域与号码牌区域的示意图；

图3是本发明实施例中杆号定位的流程图；

图4是本发明实施例中杆号识别的流程图；

图5是本发明实施例中杆号识别的离线训练流程图；

图6是本发明实施例中杆号识别的在线识别流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明。

本发明的一种适用于轨道沿线复杂场景下杆号定位方法的实施例

本发明首先采用图像滤波、形态学等手段对图片进行预处理，然后依据边缘特征以及纹理特征将杆号定位出来，在进行杆号的数字识别，在整段数据识别完成以后，通过后处理提高识别率。整个过程如图3所示，主要包括以下步骤：

1.采集轨道沿线的场景图像，并对采集的场景图像进行预处理，使图像便于分割和识别。

该预处理过程首先根据图像中电线杆的宽度进行缩放，使缩放后电线杆宽度为10～20即可，一般缩小倍数为2的整数倍，由于图像中背景复杂，干扰较多，但是电线杆一般宽度比较大，通过缩小（本质上是抽取样本点），可以达到小的杂质消失的效果，因此对提高定位质量十分关键；对缩小后的图像进行中值滤波。

2.杆号定位

该步骤包括对与处理后的图像进行边缘提取，边缘提取采用sobel实现，卷积核的大小适当加大；对sobel提取的边缘，用霍夫变换求取最大直线，并计算直线角度。根据所求的位置反推到初始采集图像位置，并以所求直线为中心，左右各扩展一倍电线的杆宽度，得到初步电线杆区域，即图像预处理对图像的一些处理，只是用来定位电线杆的位置，由于在图像预处理的过程中，图像本身信息丢失巨大，在更精确定位的时候，要采用原始图像中部分区域。根据计算出来的角度进行旋转，将电线杆矫正为竖直方向，在实际图片采集过程中，由于火车上下颠簸和实际电线杆也有倾斜情况，因此图片中电线杆的站立角度不一致，需要将其同一旋转到竖直方向。在旋转到竖直方向后，用sobel提取边缘，用竖直投影用局部极大值得到电线杆的左边缘和右边缘，在左右边缘之间的区域称之为电线杆区域，如图2所示，电线杆区域越准确，范围越小，对后续号码牌区域查找的干扰就越少。

对通过上述过程得到的图像进行共生矩阵计算，找到纹理特征最相近区域，共生矩阵用两个位置的像素的联合概率密度来定义，即反应亮度的分布特性，也反映具有同样亮度或接近亮度的像素之间的位置分布特性，是有关图像亮度变化的二阶统计特征，它是定义一组纹理特征的基础，一幅图像的灰度共生矩阵能够反映出图像灰度关于方向、相邻间隔和变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。

本发明的一种适用于轨道沿线复杂场景下杆号识别方法

本实施例中的识别方法首先采用图像滤波、形态学等手段对图片进行预处理，然后依据边缘特征以及纹理特征将杆号定位出来，在进行杆号的数字识别，在整段数据识别完成以后，通过后处理提高识别率。整个过程如图1所示，主要包括以下步骤：

1.采集轨道沿线的场景图像，并对采集的场景图像进行预处理，使图像便于分割和识别。

该预处理过程首先根据图像中电线杆的宽度进行缩放，使缩放后电线杆宽度为10～20即可，一般缩小倍数为2的整数倍，由于图像中背景复杂，干扰较多，但是电线杆一般宽度比较大，通过缩小（本质上是抽取样本点），可以达到小的杂质消失的效果，因此对提高定位质量十分关键；对缩小后的图像进行中值滤波。

2.杆号定位

该步骤如图3所示，包括对与处理后的图像进行边缘提取，边缘提取采用sobel实现，卷积核的大小适当加大；对sobel提取的边缘，用霍夫变换求取最大直线，并计算直线角度。根据所求的位置反推到初始采集图像位置，并以所求直线为中心，左右各扩展一倍电线的杆宽度，得到初步电线杆区域，即图像预处理对图像的一些处理，只是用来定位电线杆的位置，由于在图像预处理的过程中，图像本身信息丢失巨大，在更精确定位的时候，要采用原始图像中部分区域。根据计算出来的角度进行旋转，将电线杆矫正为竖直方向，在实际图片采集过程中，由于火车上下颠簸和实际电线杆也有倾斜情况，因此图片中电线杆的站立角度不一致，需要将其同一旋转到竖直方向。在旋转到竖直方向后，用sobel提取边缘，用竖直投影用局部极大值得到电线杆的左边缘和右边缘，在左右边缘之间的区域称之为电线杆区域，如图2所示，电线杆区域越准确，范围越小，对后续号码牌区域查找的干扰就越少。

对通过上述过程得到的图像进行共生矩阵计算，找到纹理特征最相近区域，共生矩阵用两个位置的像素的联合概率密度来定义，即反应亮度的分布特性，也反映具有同样亮度或接近亮度的像素之间的位置分布特性，是有关图像亮度变化的二阶统计特征，它是定义一组纹理特征的基础，一幅图像的灰度共生矩阵能够反映出图像灰度关于方向、相邻间隔和变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。

一幅图像的灰度共生矩阵能反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。

设f(x,y)为一幅二维数字图象，其大小为M×N，灰度级别为Ng,则满足一定空间关系的灰度共生矩阵为

P(i,j)=#｛(x1,y1),(x2,y2)∈M×N｜f(x1,y1)=i,f(x2,y2)=j｝

其中#(x)表示集合x中的元素个数，显然P为Ng×Ng的矩阵，若(x1,y1)与(x2,y2)间距离为d,两者与坐标横轴的夹角为θ，则可以得到各种间距及角度的灰度共生矩阵P(i,j,d,θ)。

号码区域的纹理特征，需要事先截取大量的号码牌区域，进行计算平均而得到。本实例中主要使用共生矩阵的方差和相关性这两个特征。

在进行图像匹配搜索的时候，首先确定电线杆的宽度，再估计号码牌区域的宽度，根据固定的高宽比，从而将号码牌区域高度确定，进一步将d确定，θ为90°。从左到右，从上到下，依次计算共生矩阵，寻找满足阈值的地方，将杆号区域确定。

3.杆号识别

该过程包括离线训练和在线识别两部分，流程图参见图4、图5、图6。离线训练阶段主要包含以下步骤：首先对采集图像的杆号区域图像进行人工整理，作为训练样本；然后用最大类间方差法将图像二值化；接着图像分割，对图像进行水平投影，切割出每个数字图像，需要搜集0-9共10类数字图像；最后对切出来的数字，把数字图像缩放成8*8大小，提取64维特征，通过支持向量机对特征进行训练，得到每个数字的训练模型。

在线识别阶段主要包含以下步骤：在线识别时，首先进行图像去噪。通过中值滤波把图像噪声去除。然后进行步骤31所述的图像二值化操作，接着进行步骤31所述的图像分割操作。最后对切出来的数字提取步骤31所述的64维特征，用训练模型进行识别。在本实例中，对于识别错误的数字作为样本，再次训练，更新模型以提高识别率。

4.后处理

在正常情况下，杆号之间差2的整数倍，即同为奇数或偶数，杆号的增减性一致，要么递增，要么递减，对大量杆号进行统计，得到前段杆号的奇偶性和增减性，将错误杆号进行丢弃。本实例中，选择200个识别结果。如果筛选后的结果与筛选前结果相比，数量减少巨大，说明该段结果识别可能存在问题，不进行处理，以防止出错，在本实例中阈值设为70%，也就是至少70%的结果被保留下来才会进行处理。根据人工确定的起始杆号，自动生成正确的杆号序列。然后与实际检测到的杆号进行匹配，对于实际中漏掉的杆号，进行插值，并推算出漏检杆号对应的帧数。匹配的时候，要分情况处理。比如应该0126，但是识别结果为0166。由于结果相差巨大，所以直接判定识别结果为错误结果。在本实例中要求两者相差不超过20。比如应该0126，但是识别结果为0128。出现这种情况时，匹配过程要考虑两种可能，a)0128是正确的，***0126b)0128是错误的。在分辨这两种可能的时候，一般需要特殊处理，延后给出判定结果。也就是还需要对这个结果后面数个结果进行判断，在本实例中采用15个识别结果。

本发明所提出的适用于轨道沿线复杂场景下的杆号识别方法，通过巧妙的缩放变换，中值滤波，大滤波核边缘检测，霍夫变换直线检测都一系列方法，快速准确的将电线杆区域定位。之后在电线杆区域内，通过纹理检测来寻找具体的号码牌区域，这些为号码牌的识别奠定基础。在号码牌识别完成以后，会对所有识别结果进行重新处理。根据号码牌所特有的性质，进行号码牌自校正，通过自校正，使得号码牌的识别率得到90%以上。

以上所述仅为本发明的较佳实施例，并不局限本发明的专利保护范围，故举凡运用本发明说明书及图式内容所为的等效变化，均同理皆包含于本发明的权利保护范围内。

Claims (6)

1.一种适用于轨道沿线复杂场景下的杆号定位方法，其特征在于，该定位方法包括以下步骤：

1)采集轨道沿线的场景图像，并对采集的场景图像进行预处理，使图像便于分割和识别；

2)对预处理后的图像进行边缘提取，根据所求的位置反推到初始采集图像位置，确定电线杆区域；

3)利用号码牌共生矩阵纹理特征，将杆号的数字区域定位出来；

所述步骤1)中的预处理由图像缩小和滤波两个步骤构成，其中图像缩小是根据图像中电线杆的宽度进行缩小；所述图像缩小用以通过缩小来消除杂质；

所述步骤2)包括以下步骤：

A.对预处理后的图像进行边缘提取；

B.采用霍夫变换求取所提取边缘的最大直线，并计算直线角度；

C.根据所求最大直线的位置反推到初始采集图像位置，以所求直线为中心，左右各扩展一倍电线杆宽度，得到初步电线杆区域；

D.将步骤C中得到图像按照步骤计算的角度进行旋转，使电线杆在图像中处于竖直方向；

E.根据数值投影用局部极大值确定电线杆的左边缘和右边缘，左右边缘之间的区域称之为电线杆区域。

2.根据权利要求1所述的适用于轨道沿线复杂场景下的杆号定位方法，其特征在于，所述步骤3)中的共生矩阵表示的是两个位置的像素联合概率密，用于反应图像灰度关于方向、相邻间隔和变化幅度的综合信息，f(x,y)为一幅二维数字图象，其大小为M×N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：

P(i,j)＝#{(x1,y1),(x2,y2)∈M×N|f(x1,y1)＝i,f(x2,y2)＝j}

其中#(x)表示集合x中的元素个数，P为Ng×Ng的矩阵，若(x1,y1)与(x2,y2)间距离为d，两者与坐标横轴的夹角为θ，各种间距及角度的灰度共生矩阵P(i,j,d,θ)。

3.一种适用于轨道沿线复杂场景下的杆号识别方法，其特征在于，该识别方法包括以下步骤：

1)采集轨道沿线的场景图像，并对采集的场景图像进行预处理，使图像便于分割和识别；

2)对预处理后的图像进行边缘提取，根据所求的位置反推到初始采集图像位置，确定电线杆区域；

3)利用号码牌共生矩阵纹理特征，将杆号的数字区域定位出来；

4)将定位出来的数字图像进行滤波、二值化和分割得到每个数字图像的64维特征，用训练模型进行识别，确定杆号；

所述步骤1)中的预处理由图像缩小和滤波两个步骤构成，其中图像缩小是根据图像中电线杆的宽度进行缩小；所述图像缩小用以通过缩小来消除杂质；

所述步骤2)包括以下步骤：

A.对预处理后的图像进行边缘提取；

B.采用霍夫变换求取所提取边缘的最大直线，并计算直线角度；

C.根据所求最大直线的位置反推到初始采集图像位置，以所求直线为中心，左右各扩展一倍电线杆宽度，得到初步电线杆区域；

D.将步骤C中得到图像按照步骤计算的角度进行旋转，使电线杆在图像中处于竖直方向；

E.根据数值投影用局部极大值确定电线杆的左边缘和右边缘，左右边缘之间的区域称之为电线杆区域；

F.对确定的电线杆区域进行共生矩阵计算，找到纹理特征最相近的区域。

4.根据权利要求3所述的适用于轨道沿线复杂场景下的杆号识别方法，其特征在于，所述的识别方法还包括对所识别出的杆号进行自校正的步骤，该步骤首先对杆号进行统计，得到该杆号的奇偶性和增减性，再根据人工确定的起始杆号生成正确的杆号序列，然后与实际识别出的杆号进行匹配，对于实际中漏掉的杆号进行插值，并推算出漏检杆号对应的帧数。

5.根据权利要求3所述的适用于轨道沿线复杂场景下的杆号识别方法，其特征在于，所述步骤4 )中的杆号识别包括以下步骤：

a.采集图像的杆号区域进行整理，作为训练样本；

b.对图像进行二值化处理；

c.将二值化后的图像进行水平投影，切割出每个数字图像；

d.将切割出来的每个数字图像缩放成8*8大小，提取64维特征，用训练模型进行识别。

6.根据权利要求5所述的适用于轨道沿线复杂场景下的杆号识别方法，其特征在于，所述步骤d中的训练模型是通过离线训练得到，所述离线训练包括以下步骤：

a)采集图像的杆号区域图像进行人工整理，作为训练样本；

b)采用最大类间方差法将图进行二值化；

c)将二值化的图像进行水平投影，切割出每个数字图像，搜集0-9共10类数字图像；

d)将切割出来的10类数字图像缩放成8*8大小，提取64维特征，通过支持向量机对特征进行训练，得到每个数字的训练模型。