CN105809668A - 基于线扫描三维点云的物体表面变形特征提取方法 - Google Patents

Abstract

本发明公开了一种基于线扫描三维点云的物体表面变形特征提取方法。包括利用基于线结构光扫描的三维测量传感器进行数据采集，数据预处理后得到物体表面的三维点云数据；消除异常数据、纹理对断面主轮廓提取的影响，准确获取了物体断面主轮廓；结合变形特征知识库，基于断面提取变形特征点得到二值图像，基于子块图像初步定位变形区域得到目标形态子块集；再对子块集内的变形特征点进行形态学操作，生成置信变形区域ROC，接着利用ROC的几何形态特征，进行区域生长还原目标，以保证变形区域检测的完整性；最后按预定义的变形特征，统计物体表面变形区域的变形特征值，从而准确获取物体变形的完整属性信息。

Description

基于线扫描三维点云的物体表面变形特征提取方法

技术领域

本发明涉及表面检测技术领域，尤其涉及到物体变形特征提取方法技术领域。

背景技术

随着社会科技的进步，人们对物体质量的要求越来越高，甚至到了“近似完美”的境界。物体在受力时会表现出变形与失效等力学性能，使材料服役于失效极限范围之内，同时具有较好的稳定性及经济性是材料科学的重要内容之一。由于生产缺陷或使用磨损，物体表面可能出现各种变形(如裂缝、孔洞、路面车辙、轨道弯曲、衬砌形变、易拉罐变形、管道变形等)，从而影响物体的性能甚至引发安全事故。因此，及时进行物体表面变形检测在有效预防安全事故、降低经济损失、提高产品质量等方面具有重要价值和意义。

目前绝大多数物体表面变形检测依赖于人眼检查，检测结果依赖于人的主观性，同时，当人工作时间较长时，人眼易出现疲劳，此时误检、漏检率极高，故依赖于人眼检测的方式无法有效的检测物体表面变形，同时浪费了大量的劳动资源。另外，目前出现了基于二维机器视觉的自动化表面缺陷自动检测检测技术，该技术通过物体反射回的亮度信息，得到物体表面缺陷的二维轮廓信息，从而实现物体表面的缺陷检测，但此种检测方法无法获取物体缺陷的深度信息，同时，在很多情况下，当无法采用特殊光源获取显著的二维缺陷特征时，缺陷识别变得非常困难、识别结果与人眼识别效果差距巨大，还需要进一步研究以满足生产检查的要求。

目前三维建模技术已经广泛应用于各个领域，从宏观国土调查、三维可视化、三维动漫、高精度三维建模到三维打印均得到广泛应用。根据激光三角测量原理，基于线结构光结合视觉传感器测量的方法实现同一姿态、同一时刻的同步测量，即要求一次测量采样一个完整断面，保证一个断面在同一个姿态下完成测量，基于线结构光结合视觉传感器测量获取的三维点云数据可准确获取高精度的物体断面轮廓三维信息，同时也包含了缺陷二维信息，从而三维点云数据能较直接和方便地获取物体形变的完整信息，包括形变位置、形变程度等。

现有的自动化表面缺陷检测检测技术主要有以下两种：

(1)在基于二维机器视觉的表面缺陷检测技术中，影响缺陷识别率的关键在于产品缺陷的成像质量，而缺陷的形状、方位以及表面材质、纹理等，都直接影响图像成像质量，其根本原因是光照对缺陷成像的影响，不同的缺陷，采用的光源、照射角度、强度都不一样，但缺陷种类繁多，很难提出一种具有普适性的特殊算法，这对缺陷识别提出了很大的挑战，同时此种检测方法无法获取物体缺陷的深度信息，即无法准确、有效的评价缺陷的损坏程度，更无法检测物体是否发生较大范围的变形。

(2)现有的基于激光三维雷达技术的物体变形特征提取方法，采用旋转棱镜测量单个断面、旋转云台扫描整个视场的方式获取物体三维点云，基于时间飞行差脉冲测量，测量精度达到毫米级，测量速度达到每秒百万点以上，测量时棱镜和云台同步旋转，其测量断面不是严格意义上的断面(非同一时空下获取的断面)，可以理解为离散点组成的物体表面三维点云。此方法可用于物体缓慢变形的固定站点监测，但是，在诸如道路病害检测、隧道测量、轨道病害检测、在线芯片微弱缺陷检测及文物考古等方面，都要求在高速动态环境下测量，且需要一次测量能获取严格意义上的一个测量断面，即断面上的点是同一姿态、同一时间测量，如公路车辙检测，测量幅宽至少2000毫米以上，测量分辨率(同一断面的点采用间隔)至少达到毫米，距离测量精度达到0.01毫米，测量频率10KHz以上，相当于每秒测量2亿个点，现有激光三维雷达测量技术都无法满足测量需求。

发明内容

本发明所要解决的技术问题是克服上述现有技术的缺陷，提出一种基于线扫描三维点云的物体表面变形特征提取方法。

为解决上述技术问题，本发明提出一种基于线扫描三维点云的物体表面变形特征提取方法，包括以下步骤：

步骤1、利用基于线结构光扫描的三维测量传感器进行数据采集，实现同步测量同一姿态、同一时刻的断面轮廓；

步骤2、对三维测量传感器测量的物体断面轮廓通过标定文件进行校正预处理，校正所述测量中因三维测量传感器安装偏差及激光线弧度引起的***误差，同时矫正异常零值点；

步骤3、对所述预处理后的物体断面轮廓逐个提取其断面主轮廓；

步骤4、基于断面轮廓特征，通过分析所述断面主轮廓与标准轮廓的偏差获取较大面积类变形的特征、通过分析预处理后断面轮廓与断面主轮廓的偏差获取较小面积类变形的特征，结合变形特征知识库，提取断面轮廓的变形特征点；

利用提取断面轮廓的变形特征点，对变形特征知识库信息进行完善。

步骤5、将所述变形特征点组成二值图像，并结合变形特征知识库，统计所述特征二值图像中各连通区域的长度、几何形态，再将所述特征二值图划分成互不重叠的图像子块，对于每个所述图像子块，如果所述图像子块中包含较长连接区域，或者所述图像子块中特征点形态具有目标形态特征，则将该子块标记为变形目标形态子块；

在步骤5中，对变形特征知识库信息进行完善。

步骤6、对变形目标子块集内的变形特征点进行形态学操作，并去掉长度较短的噪声区域,生成置信变形区域ROC(RegionofConfidence)；接着利用ROC的几何形态特征，进行区域生长还原目标；

步骤7、按预定义的变形特征，统计物体表面变形区域的变形特征值，包括线性特征值、面阵特征值、变形程度。

进一步优选的，所述步骤3、对所述预处理后的物体断面轮廓逐个提取其断面主轮廓，具体包括以下步骤：

3-1、对预处理后的断面轮廓PP_j,PP_j＝{PP_j1，PP_j2，…,PP_jn}，其中n为单个断面测量点个数，利用中值滤波，初步获取去除异常数据、纹理的参考断面轮廓RP_j,RP_j＝{RP_j1，RP_j2，…,RP_jn}，其中n为单个断面测量点个数；

3-2、计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离D_j,D_j＝{D_j1，D_j2，…,D_jn},其中,D_ji＝|PP_ji-RP_ji|,i＝1,2,…,n,n为单个断面测量点个数；

3-3、对计算的距离D_j中的元素按升序进行排序，形成新距离集合S_j,S_j＝{S_j1，S_j2，…,S_jn}，其中n为单个断面测量点个数；

3-4、计算阈值T_j1，T_j1＝S_jk，k的值为n*p向上取整，p值为60％～98％，

3-5、选择并生成新的轮廓点集合NP_j,NP_j＝{NP_j1，NP_j2，…,NP_jn}，其中n为单个断面测量点个数；轮廓点集合NP_j中元素取值按照如下公式进行计算；

对选择的点轮廓点集合NP_j进行均值滤波，从而得到断面主轮廓MP_j,MP_j＝{MP_j1，MP_j2，…,MP_jn}，其中n为单个断面测量点个数。

所述步骤4具体包括：

对当前第j(j＝1,2，…,m，m为采集断面个数)个断面轮廓的较大面积类变形特征点的提取，具体步骤如下：

4-1、将预处理后断面轮廓PP_j、断面主轮廓MP_j作为输入,PP_j＝{PP_j1，PP_j2，…,PP_jn}，MP_j＝{MP_j1，MP_j2，…,MP_jn}，其中n为单个断面测量点个数；

4-2、结合断面采集的位置信息，提取与当前断面轮廓PP_j相匹配的标准轮廓SP_j,SP_j＝{SP_j1，SP_j2，…,SP_jn}，其中n为单个断面测量点个数；

4-3、计算断面主轮廓MP_ji与标准轮廓SP_ji的偏差,形成偏差集合DEV_j,DEV_j＝{DEV_j1，DEV_j2，…,DEV_jn},DEV_ji＝|MP_ji-SP_ji|，i＝1,2,…,n；

4-4、将偏差大于变形精度检测要求T₂的点提取为变形特征点,并标记值为1，否则标记值为0,并记录到变形特征标记值集合F_j中，F_j＝{F_j1，F_j2，…,F_jn}；

4-5、输出变形特征标记值集合F_j；

对当前第j个(j＝1,2，…,m，m为采集断面个数)断面轮廓的较小面积类变形特征点的提取，具体步骤如下：

4-1’、将预处理后断面轮廓PP_j、断面主轮廓MP_j作为输入,PP_j＝{PP_j1，PP_j2，…,PP_jn}，MP_j＝{MP_j1，MP_j2，…,MP_jn}，其中n为断面测量点个数；

4-2’、计算预处理后断面轮廓PP_j各点与断面主轮廓MP_j对应点的绝对距离DIS_jDIS_j＝{DIS_j1，DIS_j2，…,DIS_jn},其中,DIS_ji＝|PP_ji-MP_ji|,i＝1,2,…,n,n为断面测量点个数,再对绝对距离求平均值从而获取当前断面的路面纹理值Tex_j＝Avg_DIS_j；

4-3’、计算断面变形点分割阈值T_j3＝K*Tex_j的点,其中K为阈值系数,K>1；

4-4’、计算预处理后断面轮廓PP_j各点与断面主轮廓MP_j对应点的距离S_j,S_j＝{S_j1，S_j2，…,S_jn},其中,S_ji＝PP_ji-MP_ji或S_ji＝MP_ji-PP_ji,或S_ji＝|MP_ji-PP_ji|，i＝1,2,…,n,n为断面测量点个数；

4-5’、将偏差大于变形点分割阈值T_j3的点提取为变形特征点,并标记值为1，否则标记值为0,并记录到变形特征标记值集合F_j中，F_j＝{F_j1，F_j2，…,F_jn}；

4-6’、输出变形特征标记值集合F_j。

所述步骤5包括的具体步骤如下：

5-1、按断面采集顺序，输入一系列连续采集断面的变形特征点F_j,其中j＝1,2,…,m；

5-2、将提取的一系列断面的变形特征点依序拼接组成特征二值图像F＝{F_ji|j＝1,2,…,m,i＝1,2,…,n}；

5-3、对二值图像进行连通域标记，记录标记值为FR＝{FR_ji|j＝1,2,…,m,i＝1,2,…,n}，并统计连通域标记图像FR中各连通区域的UR_u的长度URL_u、几何形态,UR_u为标记值为u的连通区域，u＝1,2，…,U,U为连通区域的总个数，URL_u为标记值为u的连通区域外接矩长边或对角线的长度；

5-4、将当前二值图合理划分成大小为sm*sn且互不重叠的图像子块，SU＝{SU_xy|x＝1,2,…,M,y＝1,2,…,N}，SU_xy＝{F_ji|j∈X_x,i∈Y_y}，其中M＝m/sm为子块图像在行方向的子块个数，N＝n/sn为子块图像在列方向的子块个数，X_x∈[(x-1)*sm+1x*sm]且X_x∈Z^*，Y_y∈[(y-1)*sn+1y*sn]且Y_y∈Z^*；

5-5、结合变形目标的形态特征，获取各图像子块中变形特征点的形态特征，包括方向特征SUD_xy，其中x＝1,2,…,M,y＝1,2,…,N；

5-6、设置x＝1，y＝1；开始讨论当前图像子块是否为变形目标形态单元；

5-7、若子块图像中包含长度大于T₄的连通区域,T₄从变形知识库中获取；则将当前子块标记为变形目标形态单元按下面公式计算，并记录标记值FSU_xy＝1，否则转入第(5-8)步；

5-8、若当前子块图像中变形特征点具有变形目标形态特征，则将当前子块标记为变形目标形态单元，并记录标记值FSU_xy＝1，否则记录标记值FSU_xy＝0；

5-9、若y小于N，则设置y＝y+1，转入第(5-7)步；否则，转入第(5-10)步；

5-10、若x小于M，则设置x＝x+1，y＝1，转入第(5-7)步；否则，转入第(5-11)步；

5-11、输出变形目标形态子块集FS＝{FS_ji|j＝1,2,…,m,i＝1,2,…,n}，其值按如下公式计算：

本发明的有益效果包括：

(1)本专利通过预处理，利用标定文件，有效校正三维测量传感器测量的物体断面轮廓中因传感器安装及激光线弧度引起的***误差，同时，对三维测量传感器测量的物体断面轮廓中存在的部分异常零值噪声点进行处理，从而获取被测物料的真实断面轮廓信息，为后续的物体表面变形特征提取提供了良好的输入。

(2)本专利通过首先利用中值滤波，初步获取除去异常数据、纹理的参考断面轮廓，再计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离Di，并对计算的距离进行排序，依据断面轮廓特征，选取合适比例P的偏离参考断面轮廓距离较小的轮廓点，偏离参考断面轮廓距离较大的轮廓点用参考断面轮廓上的点代替，对选择的点进行均值滤波，进而得到断面主轮廓，及本专利在断面主轮廓提取过程中，消除了异常数据、纹理对断面主轮廓提取的影响，进而准确获取了物体断面主轮廓。

(3)本专利在物体变形特征提取过程中，通过分析断面主轮廓与标准轮廓的偏差获取较大面积类变形的特征、通过分析预处理后断面轮廓与断面主轮廓的偏差获取较小面积类变形(如裂缝、孔洞)的特征，即，对单个断面轮廓而言，本专利针对物体表面不同变形区域大小，分别设计了有效的变形区域特征提取方法，保证了对不同类变形区域提取的有效性，对整个变形区域提取的完整性。

(4)本发明将提取的一系列断面的变形特征点组成特征二值图像，并结合变形特征知识库，统计二值图像中各连通区域的长度、几何形态(方向、形状等)，再将当前二值图合理划分成互不重叠的图像子块，对每个子块，如果子块中包含较长连接区域，或者子块中特征点形态具有目标形态特征，则将子块标记为变形骨架，从而实现变形区域的快速、准确定位。

(5)本发明利用变形特征点的形态学特征，进行区域生长还原目标，以保证变形区域检测的完整性。

(6)本发明按预定义的变形特征，统计物体表面变形区域的变形特征，从而准确获取物体变形的完整属性信息。

(7)变形特征知识库相当于一个经验总结知识库，在特定的变形特征提取中，结合变形特征知识库信息，提取预定义的特定变形特征，在方法应用过程中，对变形特征知识库信息进行完善，进而逐步提升变形特征知识库的稳定、可靠性。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1为本发明总体实施流程图。

图2为基于线结构光扫描的三维测量结构原理图。

图3为提取断面轮廓的变形特征点流程图。

图4为定位变形区域流程图。

图5为断面一主轮廓提取示例图。

图6为断面二主轮廓提取示例图。

图7为断面轮廓一的变形特征点提取示例图。

图8为断面轮廓二的变形特征点提取示例图。

图9为变形区域一的定位示例图，从左到右a1、a2、a3、a4，依次是原始图像、二值图像、变形目标形态子块集、变形目标形态子块集内特征点。

图10为变形区域二的定位示例图，从左到右b1、b2、b3、b4，依次是原始图像、二值图像、变形目标形态子块集、变形目标形态子块集内特征点。

图11为车牌检测实施例中断面主轮廓提取示例图。

图12为车牌检测实施例中断面变形特征点提取示例图。

图13为车牌检测实施例中变形特征点组成的二值图。

图14为车牌检测实施例中初步定位的变形目标形态子块集。

图15为车牌检测实施例中根据车牌尺寸大小定位的车牌目标形态子块集。

图16为车牌检测实施例中提取的车牌区域。

具体实施方式

不同被测物体的形状、纹理、尺寸等特征不同，不同测量对象的变形特征也不同，如管道变形检测的管道直径为重要检测特征，而对平面物体则不存在直径特征；如沥青路面纹理偏离路面主轮廓2mm～5mm为正常纹理，对于元器件变形检测，当断面轮廓偏离标准轮廓1mm时已为严重变形，故对不同的测量对象，其变形特征不同，需要有针对性的定义检测对象的变形特征。

常见的变形特征包含线性特征(变形深度、长度、宽度、曲率、方向、距离等)、面阵特征(变形区域的深度、面积等)、变形程度特征(如轻、中、重)、连续性特征等。

在特定的变形特征提取中，结合变形特征知识库信息，提取预定义的特定变形特征，在数据应用过程中，对变形特征知识库信息进行完善。

本发明的总体实施方式如图1所示。下面进一步详细描述各个步骤。

数据采集步骤：

本专利利用基于线结构光扫描的三维测量技术，简称线扫描三维测量技术，通过传感器测量得到被测物表面相对变化情况，反应了被测物表面变化程度，其测量原理如下图2所示。

本专利涉及的数据采集利用上述的基于线结构光扫描的三维测量传感器进行数据采集，实现同一姿态、同一时刻的断面轮廓同步测量，采集方式包含两种方式：其一，三维测量传感器安装在固定支架上，在三维测量传感器测量范围内，被测物体以一定速度穿过测量区域，在被测物体运动过程中，实现对被测物体的三维轮廓数据采集；其二，三维测量传感器安装在运动载体上，在测量载体运动过程中，对被测物体三维轮廓进行数据采集。

数据预处理步骤：

基于线结构光结合视觉传感器的三维测量传感器(以下简称三维测量传感器)本质上由一字激光器与面阵相机相结合的方式组成，由于生产工艺原因，一字激光器发射的激光线无法达到绝对的准直，存在一定程度的弯曲；激光线与相机光轴存在安装夹角；故对三维测量传感器测量的物体断面轮廓需通过标定文件进行校正，具体的标定方法可有多个现有技术方案选用，是本领域技术人员的常规手段，故不再赘述。另外，由于测量环境的变化，三维测量传感器测量的物体断面轮廓中可能存在部分异常噪声点(当被测物表面存在水渍、油渍或被测区域被物体遮挡等出现零值点)，本发明利用零值附近区域的非零值均值替换该零值点。

断面主轮廓提取步骤：

本专利首先利用中值滤波，初步获取去除局部缺陷、较大深度纹理的参考断面轮廓，再计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离，并对计算的距离进行排序，依据断面轮廓特征，选取合适比例P(约60％～98％)的偏离参考断面轮廓距离较小(小于等于T₁)的轮廓点，偏离参考断面轮廓距离较大(大于T1)的轮廓点用参考断面轮廓上的点代替，对选择的点进行均值滤波，进而得到断面主轮廓。对当前第j(j＝1,2，…,m，m为采集断面个数)个采集的断面轮廓，具体断面主轮廓提取步骤如下：

(1)对预处理后的断面轮廓PP_j(PP_j＝{PP_j1，PP_j2，…,PP_jn}，其中n为单个断面测量点个数)，利用中值滤波，初步获取去除异常数据、纹理的参考断面轮廓RP_j(RP_j＝{RP_j1，RP_j2，…,RP_jn}，其中n为单个断面测量点个数)；

(2)计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离D_j(D_j＝{D_j1，D_j2，…,D_jn},其中,D_ji＝|PP_ji-RP_ji|,i＝1,2,…,n,n为单个断面测量点个数))；

(3)对计算的距离D_j中的元素按升序进行排序，形成新距离集合S_j(S_j＝{S_j1，S_j2，…,S_jn}，其中n为单个断面测量点个数)；

(4)计算阈值T_j1，T_j1＝S_jk，k的值为n*p向上取整，p值约为60％～98％，

(5)选择并生成新的轮廓点集合NP_j(NP_j＝{NP_j1，NP_j2，…,NP_jn}，其中n为单个断面测量点个数),轮廓点集合NP_j中元素取值按照如下公式进行计算；

(6)对选择的点轮廓点集合NP_j进行均值滤波，从而得到断面主轮廓MP_j(MP_j＝{MP_j1，MP_j2，…,MP_jn}，其中n为单个断面测量点个数)。

提取断面轮廓的变形特征点步骤：

基于断面轮廓特征，通过分析断面主轮廓MP与标准轮廓SP的偏差获取较大面积类变形的特征、通过分析预处理后断面轮廓PP与断面主轮廓MP的偏差获取较小面积类变形(如裂缝、孔洞)的特征，结合变形特征知识库，提取断面轮廓的变形特征点，其流程如图3所示。

对当前第j(j＝1,2，…,m，m为采集断面个数)个断面轮廓的较大面积类变形特征点的提取，具体步骤如下：

(7)将预处理后断面轮廓PP_j(PP_j＝{PP_j1，PP_j2，…,PP_jn}，其中n为单个断面测量点个数)、断面主轮廓MP_j(MP_j＝{MP_j1，MP_j2，…,MP_jn}，其中n为单个断面测量点个数)作为输入；

(8)结合断面采集的位置信息(采集设备的当前位置信息或被测物体的位置信息)，提取与当前断面轮廓PP_j相匹配的标准轮廓SP_j(SP_j＝{SP_j1，SP_j2，…,SP_jn}，其中n为单个断面测量点个数)；

(9)计算断面主轮廓MP_ji与标准轮廓SP_ji偏差,形成偏差集合DEV_j(DEV_j＝{DEV_j1，DEV_j2，…,DEV_jn},DEV_ji＝|MP_ji-SP_ji|，i＝1,2,…,n)；

(10)将偏差大于变形精度检测要求T₂的点提取为变形特征点,并标记值为1，否则标记值为0,并记录到变形特征标记值集合F_j中，F_j＝{F_j1，F_j2，…,F_jn}；

(11)输出变形特征标记值集合F_j。

对当前第j(j＝1,2，…,m，m为采集断面个数)个断面轮廓的较小面积类变形特征点的提取，具体步骤如下：

(12)将预处理后断面轮廓PP_j(PP_j＝{PP_j1，PP_j2，…,PP_jn}，其中n为断面测量点个数)、断面主轮廓MP_j(MP_j＝{MP_j1，MP_j2，…,MP_jn}，其中n为断面测量点个数)作为输入；

(13)计算预处理后断面轮廓PP_j各点与断面主轮廓MP_j对应点的绝对距离DIS_j(DIS_j＝{DIS_j1，DIS_j2，…,DIS_jn},其中,DIS_ji＝|PP_ji-MP_ji|,i＝1,2,…,n,n为断面测量点个数)),再对绝对距离求平均值从而获取当前断面的路面纹理值Tex_j＝Avg_DIS_j；

(14)计算断面变形点分割阈值T_j3＝K*Tex_j的点,其中K(K>1)为阈值系数；

(15)计算预处理后断面轮廓PP_j各点与断面主轮廓MP_j对应点的距离S_j(S_j＝{S_j1，S_j2，…,S_jn},其中,S_ji＝PP_ji-MP_ji或S_ji＝MP_ji-PP_ji,或S_ji＝|MP_ji-PP_ji|，i＝1,2,…,n,n为断面测量点个数)；

(16)将偏差大于变形点分割阈值T_j3的点提取为变形特征点,并标记值为1，否则标记值为0,并记录到变形特征标记值集合F_j中，F_j＝{F_j1，F_j2，…,F_jn}；

(17)输出变形特征标记值集合F_j。

在方法应用过程中，对变形特征知识库信息进行完善，进而逐步提升变形特征知识库的稳定、可靠性。

定位变形区域骨架步骤：

在定位变形区域过程中，本发明首先将提取的一系列断面的变形特征点组成特征二值图像，并结合变形特征知识库，统计二值图像中各连通区域的长度、几何形态(方向、形状等)，再将当前二值图合理划分成互不重叠的图像子块，对每个子块，如果子块中包含较长连接区域，或者子块中特征点形态具有目标形态特征，则将子块标记为变形骨架，从而实现变形区域的快速、准确定位，其流程如图4所示,具体步骤如下：

(18)按断面采集顺序，输入一系列连续采集断面的变形特征点F_j,其中j＝1,2,…,m；

(19)将提取的一系列断面的变形特征点依序拼接组成特征二值图像F＝{F_ji|j＝1,2,…,m,i＝1,2,…,n}；

(20)对二值图像进行连通域标记，记录标记值为FR＝{FR_ji|j＝1,2,…,m,i＝1,2,…,n}，并统计连通域标记图像FR中各连通区域的UR_u(标记值为u的连通区域，u＝1,2，…,U,U为连通区域的总个数)的长度URL_u(标记值为u的连通区域外接矩长边或对角线的长度)、几何形态(如方向URD_u(如用最小二乘拟合获取))；

(21)将当前二值图合理划分成大小互不重叠的图像子块(大小为sm*sn)，SU＝{SU_xy|x＝1,2,…,M,y＝1,2,…,N}，SU_xy＝{F_ji|j∈X_x,i∈Y_y}，其中M＝m/sm为子块图像在行方向的子块个数，N＝n/sn为子块图像在列方向的子块个数，X_x∈[(x-1)*sm+1x*sm]且X_x∈Z^*，Y_y∈[(y-1)*sn+1y*sn]且Y_y∈Z^*；

(22)结合变形目标的形态特征，获取各图像子块中变形特征点的形态特征，如方向特征SUD_xy(用最小二乘拟合或方向投影获取)，其中x＝1,2,…,M,y＝1,2,…,N；

(23)设置x＝1，y＝1；开始讨论当前图像子块是否为变形骨架单元；

(24)若子块图像中包含长度大于T₄(从变形知识库中获取)的连通区域；则将当前子块标记为骨架单元(按下面公式计算)，并记录标记值FSU_xy＝1，否则转入第(25)步；

(25)若当前子块图像中变形特征点具有变形目标形态特征(如裂缝具有较强的线性特征)，则将当前子块标记为骨架单元，并记录标记值FSU_xy＝1，否则记录标记值FSU_xy＝0；

(26)若y小于N，则设置y＝y+1，转入第(24)步；否则，转入第(27)步；

(27)若x小于M，则设置x＝x+1，y＝1，转入第(24)步；否则，转入第(28)步；

(28)输出变形区域骨架FS＝{FS_ji|j＝1,2,…,m,i＝1,2,…,n}，其值按如下公式计算。

在方法应用过程中，对变形特征知识库信息进行完善，进而逐步提升变形特征知识库的稳定、可靠性。

基于形态学特征的区域生长还原步骤：

本发明首先对变形区域骨架内的变形特征点进行膨胀操作，再对其进行腐蚀操作，并去掉长度较短的噪声区域,生成置信变形区域ROC(RegionofConfidence)；接着利用ROC的形态学特征，进行区域生长还原目标，以保证变形区域检测的完整性。

变形区域特征提取步骤：

本发明按预定义的变形特征，统计物体表面变形区域的变形特征值，如线性特征值(变形深度、长度、宽度、曲率、方向、距离等)、面阵特征值(变形区域的深度、面积等)、变形程度特征(如轻、中、重)等。

实施例1

1)知识库

本发明技术方案实施例以沥青路面裂缝识别为例，描述基于线扫描三维点云的沥青路面裂缝特征提取方法。

沥青路面裂缝特征知识库信息包含：路面纹理模型、裂缝长度>10cm、裂缝深度>1mm、裂缝具有方向性(横裂、纵裂、龟裂、块裂)、连续性、聚集性、裂缝在断面轮廓中为较小面积类变形、裂缝位于路面表面下方、裂缝深度大于一般路面纹理深度、裂缝具有一定宽度、裂缝具有面积特征、裂缝具有破损程度特征。

其中裂缝的面积计算方式、裂缝方向类别、裂缝破损程度可按照各国的规范进行定义，也可依据用途自己定义，如：将裂缝面积定义为裂缝区域的最小外接矩面积。

2)数据采集

沥青路面表面三维点云数据的采集方式为：三维测量传感器安装在载车上，载车在以正常速度行进的过程中，测量传感器对被测物体三维轮廓断面进行数据采集。

3)数据预处理

本专利利用标定文件，校正三维测量传感器测量的物体断面轮廓中因传感器安装及激光线弧度引起的***误差，另外，由于测量环境的变化，三维测量传感器测量的路面断面轮廓中可能存在部分异常噪声点(当被测物表面存在水渍、油渍或被测区域被物体遮挡等出现零值点)，本发明利用零值附近区域的非零值均值替换该零值点；并将预处理后的一系列断面沿行车方向进行拼接，得到沥青路面三维点云数据。

4)断面主轮廓提取

对预处理后的断面轮廓，本专利首先利用中值滤波，初步获取除去异常数据、大纹理的参考断面轮廓，再计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离，并对计算的距离进行排序，依据断面轮廓特征，选取合适比例P(约70％)的偏离参考断面轮廓距离较小的轮廓点，偏离参考断面轮廓距离较大的轮廓点用参考断面轮廓上的点代替，对选择的点进行均值滤波，进而得到断面主轮廓，图5、图6分别为任意选择的两个横断面中第100～400个测量点的断面主轮廓提取示例。

5)提取断面轮廓的变形特征点

对路面逐个轮廓，将单个断面轮廓作为一个计算单元，结合变形特征知识库中的路面纹理模型，计算当前断面轮廓的路面纹理值，从而获取当前断面的路面纹理值Tex，再从轮廓点低于路面表面的点中选出距离大于阈值T₃＝K*Tex的点作为变形特征点,其中K(K＝2.5)为纹理系数；另外，对拼接的三维点云，沿行车方向的路面轮廓，作为新的断面轮廓，也按上述方法进行变形特征点提取，图7、图8为任意选择的两个横断面中第100～400个测量点的变形特征点提取示例，示例中两个断面的纹理值分别为0.7078mm、0.7939mm。

6)定位变形目标形态子块集

本发明将提取的一系列断面的变形特征点组成特征二值图像，如图9(a2)、图10(b2)所示，并统计二值图像中各连通区域的长度、方向，再将当前二值图合理划分成互不重叠的图像子块，对每个子块，将当前变形特征点连通区域较长、线性性较好的子块作为变形目标形态子块，如图9(a3)及图10(b3)内的矩形框所示，进而快速、准确定位变形区域特征点，如图9(a4)及图10(b4)所示。

7)基于形态学特征的区域生长还原

对变形目标子块集内的变形特征点，进行形态学操作，并去掉长度较短的连通区域，同时生成置信变形区域ROC(RegionofConfidence)。接着利用ROC的几何形态特征，进行区域生长还原目标，以保证变形区域检测的完整性。

8)变形区域特征提取

本发明按预定义的变形特征，统计裂缝区域的变形特征，如裂缝长度、裂缝宽度、裂缝平均深度、裂缝方向或类型(横裂、纵裂、龟裂、块裂)、裂缝面积、裂缝破损程度等特征。

实施例2

1)知识库

本发明技术方案实施例以车牌识别为例，描述基于线扫描三维点云的车牌特征提取方法。

车牌特征知识库信息包含：车牌在断面轮廓中为较小面积类变形、车牌深度大于一般背景纹理深度、车牌具有规则的几何形态特征，多表现为矩形，大小多为440mm×220mm。

2)数据采集

车牌三维点云数据的采集方式为：三维测量传感器安装在载车上，车牌位于路面上，载车在以正常速度行进的过程中，测量传感器对被测物体三维轮廓断面进行数据采集。

3)数据预处理

本专利利用标定文件，校正三维测量传感器测量的物体断面轮廓中因传感器安装及激光线弧度引起的***误差，并将预处理后的一系列断面沿行车方向进行拼接，得到三维点云数据。

4)断面主轮廓提取

对预处理后的断面轮廓，本专利首先进行中值滤波，再计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离，并对计算的距离进行排序，依据断面轮廓特征，选取合适比例P(约70％)的偏离参考断面轮廓距离较小的轮廓点，偏离参考断面轮廓距离较大的轮廓点用参考断面轮廓上的点代替，对选择的点进行均值滤波，进而得到断面主轮廓，如图11所示。

5)提取断面轮廓的变形特征点

将单个断面轮廓作为一个计算单元，结合变形特征知识库中的背景纹理模型，计算当前断面轮廓的纹理值，从而获取当前断面的纹理值Tex，再从轮廓点低于路面表面的点中选出距离大于阈值T3＝K*Tex的点作为变形特征点,其中K(K＝3)为纹理系数；另外，对拼接的三维点云，沿行车方向的路面轮廓，作为新的断面轮廓，也按上述方法进行变形特征点提取，图12第48个横断面中变形特征点提取示例，示例中两个断面的纹理值分别为0.7925mm。

6)定位变形目标形态子块集

本发明将提取的一系列断面的变形特征点组成特征二值图像，如图13所示，再将当前二值图合理划分成互不重叠的图像子块，对每个子块，将当前变形特征点连通区域较长、线性性较好的子块作为变形目标形态子块，如图14内的矩形框所示，进而快速、准确定位变形目标形态子块集。统计各形态子块集的长度、宽度，依据知识库，去除长宽不满足车牌尺寸特征的形态子块集，得到车牌形态子块集，如图15所示。

7)基于形态学特征的区域生长还原

对变形目标子块集内的变形特征点，进行形态学操作，并去掉长度较短的连通区域，同时生成置信变形区域ROC(RegionofConfidence)。接着利用ROC的几何形态特征，进行区域生长还原目标，以保证变形区域检测的完整性，如图16所示。

8)变形区域特征提取

本发明按预定义的变形特征，统计车牌区域的变形特征，如车牌长度、车牌宽度、车牌面积等特征。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，包括以下步骤：

步骤1、利用基于线结构光扫描的三维测量传感器进行数据采集，实现同步测量同一姿态、同一时刻的断面轮廓；

步骤2、对三维测量传感器测量的物体断面轮廓通过标定文件进行校正预处理，校正所述测量中因三维测量传感器安装偏差及激光线弧度引起的***误差；

步骤3、对所述预处理后的物体断面轮廓逐个提取其断面主轮廓；

步骤4、基于断面轮廓特征，通过分析所述断面主轮廓与标准轮廓的偏差获取较大面积类变形的特征、通过分析预处理后断面轮廓与断面主轮廓的偏差获取较小面积类变形的特征，结合变形特征知识库，提取断面轮廓的变形特征点；

步骤5、将所述变形特征点组成二值图像，并结合变形特征知识库，统计所述特征二值图像中各连通区域的长度、几何形态，再将所述特征二值图划分成互不重叠的图像子块，对于每个所述图像子块，如果所述图像子块中包含较长连通区域，或者所述图像子块中特征点形态具有目标形态特征，则将该子块标记为变形目标形态子块；

步骤6、对变形目标形态子块集内的变形特征点进行形态学操作，并去掉长度较短的噪声区域,生成置信变形区域ROC；接着利用ROC的几何形态特征，进行区域生长还原目标；

步骤7、按预定义的变形特征，统计物体表面变形区域的变形特征值，包括线性特征值、面阵特征值、变形程度。

2.根据权利要求1所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤4中，利用提取断面轮廓的变形特征点后，对变形特征知识库信息进行完善。

3.根据权利要求1或2所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤5中，还包括对变形特征知识库信息进行完善的步骤。

4.根据权利要求1所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤2中，还包括矫正物体断面轮廓上的异常零值点的步骤。

5.根据权利要求1所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤3，对所述预处理后的物体断面轮廓逐个提取其断面主轮廓，具体包括以下步骤：

3-1、对预处理后的断面轮廓PP_j,PP_j＝{PP_j1，PP_j2，…,PP_jn}，其中n为单个断面测量点个数，利用中值滤波，初步获取去除异常数据、纹理的参考断面轮廓RP_j,RP_j＝{RP_j1，RP_j2，…,RP_jn}，其中n为单个断面测量点个数；

3-2、计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离D_j,D_j＝{D_j1，D_j2，…,D_jn},其中,D_ji＝|PP_ji-RP_ji|,i＝1,2,…,n,n为单个断面测量点个数；

3-3、对计算的距离D_j中的元素按升序进行排序，形成新距离集合S_j,S_j＝{S_j1，S_j2，…,S_jn}，其中n为单个断面测量点个数；

3-4、计算阈值T_j1，T_j1＝S_jk，k的值为n*p向上取整，p值为60％～98％，

3-5、选择并生成新的轮廓点集合NP_j,NP_j＝{NP_j1，NP_j2，…,NP_jn}，其中n为单个断面测量点个数；轮廓点集合NP_j中元素取值按照如下公式进行计算；

对选择的点轮廓点集合NP_j进行均值滤波，从而得到断面主轮廓MP_j,MP_j＝{MP_j1，MP_j2，…,MP_jn}，其中n为单个断面测量点个数。

6.根据权利要求1所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤4具体包括：

对当前第j(j＝1,2，…,m，m为采集断面个数)个断面轮廓的较大面积类变形特征点的提取，具体步骤如下：

4-1、将预处理后断面轮廓PP_j、断面主轮廓MP_j作为输入,PP_j＝{PP_j1，PP_j2，…,PP_jn}，MP_j＝{MP_j1，MP_j2，…,MP_jn}，其中n为单个断面测量点个数；

4-2、结合断面采集的位置信息，提取与当前断面轮廓PP_j相匹配的标准轮廓SP_j,SP_j＝{SP_j1，SP_j2，…,SP_jn}，其中n为单个断面测量点个数；

4-3、计算断面主轮廓MP_ji与标准轮廓SP_ji的偏差,形成偏差集合DEV_j,DEV_j＝{DEV_j1，DEV_j2，…,DEV_jn},DEV_ji＝|MP_ji-SP_ji|，i＝1,2,…,n；

4-4、将偏差大于变形精度检测要求T₂的点提取为变形特征点,并标记值为1，否则标记值为0,并记录到变形特征标记值集合F_j中，F_j＝{F_j1，F_j2，…,F_jn}；

4-5、输出变形特征标记值集合F_j；

对当前第j个(j＝1,2，…,m，m为采集断面个数)断面轮廓的较小面积类变形特征点的提取，具体步骤如下：

4-1’、将预处理后断面轮廓PP_j、断面主轮廓MP_j作为输入,PP_j＝{PP_j1，PP_j2，…,PP_jn}，MP_j＝{MP_j1，MP_j2，…,MP_jn}，其中n为断面测量点个数；

4-2’、计算预处理后断面轮廓PP_j各点与断面主轮廓MP_j对应点的绝对距离DIS_jDIS_j＝{DIS_j1，DIS_j2，…,DIS_jn},其中,DIS_ji＝|PP_ji-MP_ji|,i＝1,2,…,n,n为断面测量点个数,再对绝对距离求平均值从而获取当前断面的路面纹理值Tex_j＝Avg_DIS_j；

4-3’、计算断面变形点分割阈值T_j3＝K*Tex_j的点,其中K为阈值系数,K>1；

4-4’、计算预处理后断面轮廓PP_j各点与断面主轮廓MP_j对应点的距离S_j,S_j＝{S_j1，S_j2，…,S_jn},其中,S_ji＝PP_ji-MP_ji或S_ji＝MP_ji-PP_ji,或S_ji＝|MP_ji-PP_ji|，i＝1,2,…,n,n为断面测量点个数；

4-5’、将偏差大于变形点分割阈值T_j3的点提取为变形特征点,并标记值为1，否则标记值为0,并记录到变形特征标记值集合F_j中，F_j＝{F_j1，F_j2，…,F_jn}；

4-6’、输出变形特征标记值集合F_j。

7.根据权利要求1所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤5包括的具体步骤如下：

5-1、按断面采集顺序，输入一系列连续采集断面的变形特征点F_j,其中j＝1,2,…,m；

5-2、将提取的一系列断面的变形特征点依序拼接组成特征二值图像F＝{F_ji|j＝1,2,…,m,i＝1,2,…,n}；

5-3、对二值图像进行连通域标记，记录标记值为FR＝{FR_ji|j＝1,2,…,m,i＝1,2,…,n}，并统计连通域标记图像FR中各连通区域的UR_u的长度URL_u、几何形态,UR_u为标记值为u的连通区域，u＝1,2，…,U,U为连通区域的总个数，URL_u为标记值为u的连通区域外接矩长边或对角线的长度；

5-4、将当前二值图合理划分成大小为sm*sn且互不重叠的图像子块，SU＝{SU_xy|x＝1,2,…,M,y＝1,2,…,N}，SU_xy＝{F_ji|j∈X_x,i∈Y_y}，其中M＝m/sm为子块图像在行方向的子块个数，N＝n/sn为子块图像在列方向的子块个数，X_x∈[(x-1)*sm+1x*sm]且X_x∈Z^*，Y_y∈[(y-1)*sn+1y*sn]且Y_y∈Z^*；

5-5、结合变形目标的形态特征，获取各图像子块中变形特征点的形态特征，包括方向特征SUD_xy，其中x＝1,2,…,M,y＝1,2,…,N；

5-6、设置x＝1，y＝1；开始讨论当前图像子块是否为变形目标形态单元；

5-7、若子块图像中包含长度大于T₄的连通区域,T₄从变形知识库中获取；则将当前子块标记为变形目标形态单元按下面公式计算，并记录标记值FSU_xy＝1，否则转入第(5-8)步；

5-8、若当前子块图像中变形特征点具有变形目标形态特征，则将当前子块标记为变形目标形态单元，并记录标记值FSU_xy＝1，否则记录标记值FSU_xy＝0；

5-9、若y小于N，则设置y＝y+1，转入第(5-7)步；否则，转入第(5-10)步；

5-10、若x小于M，则设置x＝x+1，y＝1，转入第(5-7)步；否则，转入第(5-11)步；

5-11、输出变形目标形态子块集FS＝{FS_ji|j＝1,2,…,m,i＝1,2,…,n}，其值按如下公式计算：