CN112651988B - 基于双指针定位的指形图像分割、指形板错台和紧固件异常检测方法 - Google Patents

Abstract

本发明公开了一种基于双指针定位的指形图像分割、指形板错台和紧固件异常检测方法，首先，获取指形原始图像数据；设置双指针，然后采用双指针定位分割原始图像数据得到指形区域图像；再通过指形板图像特征训练模型得到的能判断指形板是否错台或紧固件是否异常的模型，最终并得到判断结果。本方法提供的指形板区域分割方法，能更准确地确定指形区域的位置，避免了通过直接统计点数来确定指形区域的弊端，计算速度快，准确率高，且鲁棒性好。

Description

基于双指针定位的指形图像分割、指形板错台和紧固件异常 检测方法

技术领域

本发明涉及轨道交通检测技术领域，特别是一种基于双指针定位的指形图像分割、指形板错台和紧固件异常检测方法。

背景技术

跨座式单轨是一种由单个轨道进行导向和支撑的交通工具，其车体骑跨于轨道梁上，以高压电作为动力来源，具有适应性强、噪声低、转弯半径小以及爬坡能力强等优点。跨座式单轨造价低廉、所占空间小、轻巧灵活，更加适合在地形复杂和人口密集的城市进行铺设。指形板由钢制材料打造，用于两榀轨道梁连接处，确保列车车轮安全、平稳地通过轨道梁。而如果指形板发生异常可能会造成严重的事故，会造成严重的财产损失和人员伤亡。因此对于指形板的检测是必不可少的工作。指形板常见的异常有错台、紧固件松动或者缺失等。

目前轨道公司对指形板的状态的排查基本采用人工检测的方式。由于单轨通常作为城市地铁使用，其线路长，劳动强度大，检测人员容易疲劳，检测数据的精度难以保证；其次检测无法保证安全，单轨轨道梁通常架于高空或者隧道中，两侧还存在着给列车供电的接触网，工作环境恶劣，所以传统的人工检测的方式必定很难完成任务。

对于指形板错台来说，有人提出利用激光断面仪测量纵断面高程数据，根据测得数据建立指形板的纵断面模型，实现错台的检测，但是采样点较少，如果两榀梁如果本身就不在一个高度上那么会导致测量精度大大降低；也有人提出利用三维相机采集得到点云图像，利用图像来拟合指形板平面来求平面法线的夹角的方式求得是否发生错台，首先这种方法中存在大量的数学计算，其判别速度会大大降低；其次如果发生梯形错台(即指形板一部分是正常，一部分是错台)的情况下通过这种方法得到的结果准确率就会大大降低。

对于紧固件松动或者脱落的异常来说，目前有使用图像处理的方法来判断紧固件是否发生脱落，而不能检测紧固件是否发生松动，其次传统图像的方法需要采用自然光照明或者大功率灯照明，使得采集图像受到太阳光干扰严重或者***功耗过大，数据自动处理的可靠性难以保证，大大降低了轨道检查的效率和准确性。

发明内容

有鉴于此，本发明的目的在于提供一种基于双指针定位的指形图像分割、指形板错台和紧固件异常检测方法，该方法同采集到的原始点云图像而对指形板的错台和紧固件脱落或松动进行检测。

为达到上述目的，本发明提供如下技术方案：

本发明提供的基于双指针定位的指形图像分割方法，包括以下步骤：

获取待处理的指形图像数据；

根据图像数据设置双指针初始位置和双指针间距值；所述双指针包括第一指针P1和第二指针P2；

判断第一指针P1位置上的图像数据点数与第二指针P2位置上的图像数据点数的差值与预设阈值之间的关系，如果差值小于或等于预设阈值，则第一指针P1和第二指针P2同时向后移动一个位置；

如果差值大于预设阈值，则第一指针P1位置不变，第二指针P2位置向后移动一位；

若移动后的第一指针P1位置的图像点数减去第二指针P2位置的图像点数大于预设阈值，则循环上面操作预设循环次数，则将第一指针P1与双指针间距之和所指向的位置数为指形图像数据中的指形开始位置。

进一步，还包括以下步骤：

根据指形图像中指形区域的长度值确定指形区域的结束位置；

根据指形区域的开始位置和结束位置将指形区域图像分割出来。

进一步，所述差值的按照以下公式计算：

α＝(非指形部分正常的值–指形开始部分正常的值)/2；

其中，α表示差值。

本发明还提供了一种基于双指针定位的指形板错台检测方法，包括以下步骤：

获取指形原始图像数据；

采用双指针定位分割原始图像数据得到指形区域图像；

将指形区域图像输入到模型中，所述模型是通过多组指形区域图像训练数据训练完成的，所述训练数据包括正常指形图像、异常指形图像；

获取所述模型的输出信息，所述输出信息包括指形板错台数据，所述指形板错台数据包括指形板位置信息、指形板错台角度信息。

进一步，所述模型为神经网络模型，所述训练数据中的正常指形图像和异常指形图像的类别数量比例为3：1～2：1；所述异常指形图像包括不同角度错台指形图像、平行错台指形图像、梯形错台指形图像。

进一步，所述通过双指针定位分割原始图像数据得到指形区域图像后还包括以下步骤：

对指形区域图像进行统计学滤波得到指形区域图像特征数据。

本发明还提供了一种基于双指针定位的指形板紧固件检测方法，包括以下步骤：

获取指形原始图像数据；

采用双指针定位分割原始图像数据得到指形板紧固件图像；

将指形板紧固件图像输入到模型中，所述模型是通过多组指形板紧固件图像训练数据训练完成的，所述训练数据包括正常指形板紧固件图像、异常指形板紧固件图像；

获取所述模型的输出信息，所述输出信息包括指形板紧固件状态数据，所述指形板紧固件状态数据包括指形板紧固件位置信息、指形板紧固件状态信息。

进一步，所述模型为神经网络模型，所述训练数据中的正常指形板紧固件图像和异常指形板紧固件图像的类别数量比例为3：1～2：1；所述异常指形板紧固件图像包括指形板紧固件松动信息、指形板紧固件缺失信息。

进一步，所述通过双指针定位分割原始图像数据得到指形区域图像后还包括以下步骤：

对指形区域图像进行统计学滤波得到指形区域图像特征数据。

进一步，所述指形板紧固件状态信息包括指形板紧固件松动信息、指形板紧固件缺失信息；所述指形板紧固件状态信息是通过指形板紧固件的点云数据中的高度信息进行识别的。

本发明的有益效果在于：

本发明提供的基于双指针定位的指形图像分割方法、指形板错台和紧固件检测方法及***，首先，获取指形原始图像数据；设置双指针，然后采用双指针定位分割原始图像数据得到指形区域图像；再通过指形板图像特征训练模型得到的能判断指形板是否错台或紧固件是否异常的模型，最终并得到判断结果。本方法提供的指形板区域分割方法，能更准确地确定指形区域的位置，避免了通过直接统计点数来确定指形区域的弊端，计算速度快，准确率高，且鲁棒性好。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

附图说明

图1为数据预处理算法流程。

图2为经过粗滤波得到的效果图。

图3为点云分割算法流程图。

图4为在竖直方向上做线扫描示意图。

图5为每列点的个数point与每列对应Xi的位置列表index示意图。

图6指形板分割示意图。

图7滤除的离群点示意图。

图8开始采集的前几列是倾斜的示意图。

图9指形板错台检测流程图。

图10固件松动或脱落检测流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

实施例1

本实施例提供的基于双指针定位的指形图像分割、指形板错台和紧固件异常检测方法，该方法是基于采集到的原始点云图像来进行指形板的错台和紧固件脱落或者松动的检测方法，包括以下步骤：

如图1所示，图1为数据预处理算法流程图，数据预处理部分：

步骤一：将获取的指形板点云图进行滤波处理，去除离群点和噪点等；首先做一个粗滤波，由于通常采集到的点云图中，有物体的地方高度信息不为0，没有物体的平面部分一般都为0，我们只需要有物体的部分的点云信息，其他的点通常为噪点需要舍去，这个粗滤波的做法就是遍历点云中的所有点，留下所有高度值大于10小于50(这里单位一般为mm，一般指形板高度为30mm左右，这里取10～50是为了更好滤掉所有高度小于10mm、大于50mm的噪点)的点。如图2所示，图2为经过粗滤波得到的效果图。

如图3所示，图3为点云分割算法流程图；其中，N表示循环的次数，一般取值为10～20，本实施例中取值为10；point[P1]表示在列表point中，指针P1的位置上点的个数；point[P2]表示在列表point中，指针P2的位置上点的个数；index[P1+15]表示实际指形部分开始的位置；X0表示实际指形板开始的位置；α为非指形部分与指形部分的个数差的阈值，本实施例中取值为160；γ为从指形位置往前推的长度；α、γ两个参数根据实际情况取得合适的值即可。

步骤二：将指形板与梁面部分分割出来；由于一般采集到的点云图像中都会有部分梁面在其中，所以需要将我们需要的指形板部分分割出来，本实施例采用线扫描的方式，如图4所示，图4为在竖直方向上做线扫描示意图，统计每条竖直直线上点云的个数，一般在直线A上点的个数会远远大于直线B上点的个数；包括以下几个步骤：

步骤A：遍历每列点云，对其做线扫描，得到每列点云的个数将其存入列表point中，同时得到另外一个记录着每列对应Xi的位置列表index，如图5所示，图5为每列点的个数point与每列对应Xi的位置列表index示意图。注：其中列表point表示每列的个数，列表index表示对应列所处的横坐标的位置Xi。

步骤B：为了更方便进行比较，使用双指针的方式来查找位置；首先P1指向列表point中第一个数的位置，P2指向列表point中第十五个数的位置，判断P1位置上的数减去P2位置上的数的差是否大于160(根据具体得到的点云图像来设置，图4中A的位置每列大概有600个点，B的位置每列大概280个点，所以这个差值可以取160)，如果差值小于160则P1、P2同时向后移动一个位置，如果差值大于160则P1位置不变，P2位置向后移动一位，若移动后P1位置的数减去P2位置的数依然大于160，循环上面操作(防止出现偶然性)，若循环了十次，那么可以认为此时列表index中指针(P1+15)指向的数为指形开始的位置(数学表示为start＝index[P1+15])；由于指形板的尺寸是固定的，那么此时的位置往前推固定的长度即为指形板开始的位置；

本实施例中的P2一般取值范围为10～20即可；差值的取法一般遵循以下公式即可；

α＝(非指形部分正常的值–指形开始部分正常的值)/2；

如本数据中一般非指形部分每列的个数在600左右，指形开始部分每列的个数在280左右，所以本文取值为160左右。

步骤C：以同样的方法，从列表右端开始执行步骤B的操作，即可得到指形板结束的位置；

步骤D：得到开始和结束的位置后，即可将这个范围内的指形板给分割出来；

这里若直接使用阈值的方法(即遍历列表，若连续几列小于一个阈值X那么就认为此位置为开始的位置)来定位，会有如下弊端：

a)若第一步粗滤波后得到的数据左侧仍然含有少量离群点，如图7示，图7未被滤除的离群点示意图。从点云的第一列进行线扫描就会把这些离群点给记录进去，那么point数组的开始就可能出现如下情况：point＝[2,4,4,4,6,8,11,39,41,152,181,170,223,275,316,…]；若阈值取为280，那么就可能在这个时候产生误判，把这种离群点的数据认为是指形开始的部分；

b)若开始采集的前几列是倾斜的，如图8所示，图8开始采集的前几列是倾斜的示意图，那么同样会造成point列表中的前几十个数出现逐步递增并且小于设定阈值的情况，那么算法同样可能发生误判；

而使用本实施例提供的方法设定两个指针，必须满足P2指向的数小于P1并且差值达到设定的值后，即点的个数在短距离内产生断崖式的减小才会被认定为指形开始的区域，使得本方法更具有鲁棒性，适应不同采集条件下的点云数据。

步骤三：由于分割后的点云中还带有少量噪点和离群点，此时再使用统计学滤波的方法(PCL库中有内置此滤波方法)，其中有两个函数setMeanK()、setStddevMulThresh()的参数，在本数据中分别选用50、1.0表现效果较好，经过上述处理后得到的数据如图6，图6指形板分割示意图,至此数据预处理完毕。

本实施例提供双指针定位法能更准确地确定指形区域的位置，避免了通过直接统计点数来确定指形区域的弊端，因为直接统计点数的方法可能因为采集的问题导致采集数据在开始的几列数据并一定对应于指形板的边缘；或者采集数据出现递增的现象，也有可能导致无法定位指形板边缘的现象。

本实施例提供的双指针定位法只需要前面p2的个数小于后面p1的个数，就可以解决用阈值的方式在开头的列数小于阈值产生的误判。

实施例2

如图9所示，图9为指形板错台检测流程图；下面分别对错台和紧固件脱落松动检测提供方案。对于指形板的错台的解决方案：

近几年深度学习越来越流行，神经网络使用端对端的训练方式来优化类别标签的代价函数，可以达到网络自动提取特征的效果。训练良好的网络提取的特征相比于手工特征具有更好的区分度，因此该方法往往能够达到很高的准确率；对于指形板的错台来说，其本质就是一个二分类问题，可利用神经网络强大的学习能力来对图片进行自动分类。

步骤一：首先采集大量的原始图片(至少上千张)，其中包含正常的指形板、错台不同角度的指形板、平行错台的指形板、梯形错台的指形板等等，其中正常为正常类别，其他的全部为异常类别；

步骤二：采用预处理方法对数据进行预处理，其中在预处理中得到分割部分，只需要分割出指形部分即可，即找到指形板中指形开始和结束的位置之后，直接将指形部分给分割出来，然后再进行统计学滤波，通过这种方式只让网络来学习指形部分的特征来进行分类，提高网络分类的准确度；

步骤三：将正负类别数量的比例控制在3：1～2：1；选取合适的点云分类网络，将数据送入网络中训练，本实施例使用的比例为3：1；正负类别是指正常和异常类别。

步骤四：待网络训练完成后即可得到网络权重，将新的点云送入训练好的网络中即可得到结果；

对于分类只需要将指形板指形的部分送入网络中，让其学习这部分的特征，而不去关心对分类没有作用的其他部分的信息，节省了大量的算力，经过这样的处理后，网络的运算速度、准确率都会有很大的提升。

如图10所示，图10为紧固件松动或脱落检测流程图；对于指形板紧固件松动和错台的解决方案：

由于使用的是点云数据，点云数据拥有第三个维度的信息，即高度信息，可以利用目标检测的方法来获取紧固件区域的位置，并求取紧固件区域内所有点云的平均高度，利用求得的平均高度与正常情况下的高度信息进行比较即可得知是否发生紧固件的松动现象；

步骤一：采集原始点云图片，其中包括紧固件正常的情况、紧固件松动的情况、紧固件缺失的情况，并使用文中提出的预处理方法进行预处理；

步骤二：对处理后的点云图片中紧固件区域部分进行标注，其中正常、松动点云的紧固件区域标注的类别为正常；缺失的点云紧固件区域标注的类别为异常，通常使正负样本比例在3：1左右；

步骤三：将标注好的数据送入目标检测网络中进行训练，待网络训练完成后将新的点云数据送入网络中，若网络输出的框的类别为异常，则该框所对应位置的紧固件为缺失；若输出的框的类别为正常，则进入下一步骤；

步骤四：从上步可以得到紧固件所在的位置信息，那么就可以通过求取此范围内所有点云的平均高度即可，若此范围内的平均高度与正常的平均高度相差超过10(单位一般为mm)即为紧固件松动，否则为正常；

上述方案的最终表现与所选取网络、网络训练的时间、网络的参数和所采集的数据有关；若训练得到较好的网络后，用此方案能够大批量地、更快、更准确地检测出指形板是否发生错台、紧固件缺失或者松动现象。

其中，N为正常情况下紧固件区域的平均高度；M表示定位框中点云的平均高度；ε为高度差的阈值，来判断是否发生松动；这两个参数根据具体情况来获取，一般情况下ε取值范围为10～15。

上述实施方案仅为最优方案，不构成对本发明专利的限制，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.基于双指针定位的指形图像分割方法，其特征在于：包括以下步骤：

获取待处理的指形图像数据；

根据图像数据设置双指针初始位置和双指针间距值；所述双指针包括第一指针P1和第二指针P2；

判断第一指针P1位置上的图像数据点数与第二指针P2位置上的图像数据点数的差值与预设阈值之间的关系，如果差值小于或等于预设阈值，则第一指针P1和第二指针P2同时向后移动一个位置；

如果差值大于预设阈值，则第一指针P1位置不变，第二指针P2位置向后移动一位；

若移动后的第一指针P1位置的图像点数减去第二指针P2位置的图像点数大于预设阈值，则循环上面操作预设循环次数，则将第一指针P1与双指针间距之和所指向的位置数为指形图像数据中的指形开始位置；

还包括以下步骤：

根据指形图像中指形区域的长度值确定指形区域的结束位置；

根据指形区域的开始位置和结束位置将指形区域图像分割出来；

所述差值的按照以下公式计算：

α = (非指形部分正常的值– 指形开始部分正常的值)/2；

其中，α表示差值。

2.根据权利要求1所述的基于双指针定位的指形图像分割方法来实现的指形板错台检测方法，其特征在于：包括以下步骤：

获取指形原始图像数据；

采用双指针定位分割原始图像数据得到指形区域图像；

将指形区域图像输入到模型中，所述模型是通过多组指形区域图像训练数据训练完成的，所述训练数据包括正常指形图像、异常指形图像；

获取所述模型的输出信息，所述输出信息包括指形板错台数据，所述指形板错台数据包括指形板位置信息、指形板错台角度信息。

3.如权利要求2所述的指形板错台检测方法，其特征在于：所述模型为神经网络模型，所述训练数据中的正常指形图像和异常指形图像的类别数量比例为3：1~2：1；所述异常指形图像包括不同角度错台指形图像、平行错台指形图像、梯形错台指形图像。

4.如权利要求2所述的指形板错台检测方法，其特征在于：所述通过双指针定位分割原始图像数据得到指形区域图像后还包括以下步骤：

对指形区域图像进行统计学滤波得到指形区域图像特征数据。

5.根据权利要求1和2任一项所述的基于双指针定位的指形图像分割方法来实现的指形板紧固件异常检测方法，其特征在于：包括以下步骤：

获取指形原始图像数据；

采用双指针定位分割原始图像数据得到指形板紧固件图像；

将指形板紧固件图像输入到模型中，所述模型是通过多组指形板紧固件图像训练数据训练完成的，所述训练数据包括正常指形板紧固件图像、异常指形板紧固件图像；

获取所述模型的输出信息，所述输出信息包括指形板紧固件状态数据，所述指形板紧固件状态数据包括指形板紧固件位置信息、指形板紧固件状态信息。

6.如权利要求5所述的指形板紧固件异常检测方法，其特征在于：所述模型为神经网络模型，所述训练数据中的正常指形板紧固件图像和异常指形板紧固件图像的类别数量比例为3：1~2：1；所述异常指形板紧固件图像包括指形板紧固件松动信息、指形板紧固件缺失信息。

7.如权利要求5所述的指形板紧固件异常检测方法，其特征在于：所述通过双指针定位分割原始图像数据得到指形区域图像后还包括以下步骤：

对指形区域图像进行统计学滤波得到指形区域图像特征数据。

8.如权利要求5所述的指形板紧固件异常检测方法，其特征在于：所述指形板紧固件状态信息包括指形板紧固件松动信息、指形板紧固件缺失信息；所述指形板紧固件状态信息是通过指形板紧固件的点云数据中的高度信息进行识别的。