CN114581805A - 一种采用3d线激光轮廓技术的涂敷辊面缺陷检测方法 - Google Patents

Abstract

本发明提供了一种采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，该方法包括通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取辊面图像数据；预处理辊面图像；运用图像处理算法，对辊面图像数据进行智能分析，以识别辊面缺陷及判定缺陷等级。本申请中，检测方式为实时在线、连续性、非接触式、高度自动化及智能化检测识别，能够将涂敷辊面的异常状态清晰成像，同时基于profile数据获取所需的3D高度信息，同时数据传输实时性强，低延时，满足现场的高精度质量控制要求。

Description

一种采用3D线激光轮廓技术的涂敷辊面缺陷检测方法

技术领域

本发明属于缺陷检测领域，具体而言，涉及一种采用3D线激光轮廓技术的涂敷辊面缺陷检测方法。

背景技术

现有单套辊涂机一般包含2套涂敷辊，对于高端彩涂带钢进行表面涂敷，一旦涂敷辊表面产生掉肉、剥落等缺陷，会造成带钢表面涂敷异常、涂层缺失、涂层不均等各类表面缺陷。

在智慧智造及劳动效率提升的要求下，产线的自动化率在大幅提高，现场人员往往由于操作集中控制，无法对于现场涂敷辊区域进行有效的实时状态监测，更没有特定的检测装置对于涂敷辊表面做专项检测。当人工或后工序检测装置发现带钢表面有涂敷辊面异常造成的缺陷时，往往已产生了较多的批量缺陷，有些较轻微的缺陷更加存在漏检测的风险，进一步造成对于涂敷辊面当前是否正常的判断盲区，这些对于用户的质量控制带来较大挑战。因此由涂敷辊面异常造成的带钢瑕疵持续影响现场产品质量控制。

现有的缺陷监测技术无法获取缺陷的深度信息，同时由于涂敷辊表面的覆膜状态，也容易干扰现有的缺陷检测，因此现有的检测技术往往有明显的局限性。

发明内容

(一)解决的技术问题

本申请实施例提供了一种采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，解决了现场存在的涂敷辊面状态波动问题，消除了因辊面异常造成的带钢表面缺陷，能够从源头端杜绝缺陷产生，提高产品质量控制水平。

(二)技术方案

第一方面，本申请实施例提供了一种采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，包括：

通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取辊面图像数据；

预处理所述辊面图像；

运用图像处理算法，对所述辊面图像数据进行智能分析，以识别辊面缺陷及判定缺陷等级。

其中，通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取辊面图像数据，包括：

通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取3D轮廓数据及2D灰度图像；

运用图像处理算法，对所述辊面图像数据进行智能分析，以识别辊面缺陷及判定缺陷等级，包括：

优先处理分析3D轮廓数据，以识别缺陷，当识别出缺陷时，同步采集分析2D灰度图像，进行图像分割、特征提取、目标检测，以识别缺陷。

其中，运用图像处理算法，对所述辊面图像数据进行智能分析，以识别辊面缺陷及判定缺陷等级，包括：缺陷曲面分割以及分割后曲面缺陷检测，所述缺陷曲面分割的步骤包括：

三维点云数据最终是以多行轮廓的形式输出，检测出每条轮廓的拐点，求多条轮廓检测出的对应位置的拐点列索引值的平均值即可得到分割三维平面的切面；

从轮廓数据求得拐点的步骤包括：

对于每条轮廓，轮廓上各点的横纵坐标均能够获得，对于点I，求取索引i前5点以及索引i后5点平均值作为统计结果，计算该点I的纵向梯度，求得每一条轮廓纵坐标梯度变化最大的前4个点即为轮廓的拐点。

其中，分割后曲面缺陷检测的步骤包括：

通过最小二乘法对各个曲面进行拟合；

将拟合平面与实际分割平面数据点进行对比以检测出缺陷点。

其中，通过最小二乘法对各个曲面进行拟合，包括：

初始化一个系数矩阵和结果矩阵；

判断所述系数矩阵是否为奇异矩阵；

求解逆矩阵，拟合后将平面方程Ax + By + Cz + D = 0中的A、B、C、D四个系数依次求解出来。

其中，分割后曲面缺陷检测的步骤包括：

将每一块区域分块进行拟合，对分割后得到的区域按照100*100的区域进行拟合，将采样点100*100的区域块进行曲面拟合，不足100的样点区域则以对100求余的结果进行拟合，这样分别对每一块所构成的三维平面进行拟合；

计算拟合后的平面与实际样点的距离，将距离最大的前20%数据点舍弃，在剩下的数据点基础上继续进行平面拟合，最后通过多次迭代，让余下的数据点尽可能的多的位于一个平面上，有一个迭代优化的过程，最终得到该像素块样点的平面拟合方程Ax + By +Cz + D = 0，最后利用该拟合方程筛出可能的缺陷点。

其中，还包括采用3D+2D的缺陷展示方式。

其中，还包括：检测出预设级别的缺陷时，发出报警信息，报警方式包括声光报警或画面报警。

其中，预处理所述辊面图像包括图像重建、图像变换、图像增强、恢复和校正。

第二方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

(三)有益效果

本申请实施例采用3D线激光轮廓技术的涂敷辊面缺陷检测方法具有如下有益效果：

本申请采用3D线激光轮廓技术的涂敷辊面缺陷检测方法包括通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取辊面图像数据；预处理辊面图像；运用图像处理算法，对辊面图像数据进行智能分析，以识别辊面缺陷及判定缺陷等级。本申请中，检测方式为实时在线、连续性、非接触式、高度自动化及智能化检测识别，能够将涂敷辊面的异常状态清晰成像，同时基于profile数据获取所需的3D高度信息，同时数据传输实时性强，低延时，满足现场的高精度质量控制要求。

附图说明

图1为本申请实施例采用3D线激光轮廓技术的涂敷辊面缺陷检测方法流程示意图；

图2为本申请中轮廓拐点示意图；

图3为本申请中（280*360）样点构成的曲面分块拟合示意图。

具体实施方式

下面结合附图和实施例对本申请进行进一步的介绍。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本发明的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。

现有单套辊涂机一般包含2套涂敷辊，对于高端彩涂带钢进行表面涂敷，一旦涂敷辊表面产生掉肉、剥落等缺陷，会造成带钢表面涂敷异常、涂层缺失、涂层不均等各类表面缺陷。常规的2D缺陷监测技术无法获取缺陷的深度信息，同时由于涂敷辊表面的覆膜状态，也容易干扰2D相机的缺陷检测，因此若采用2D检测技术往往有明显的局限性。

3D视觉技术与2D视觉技术的区别如下：1、3D视觉同时获得XYZ数据， 2D视觉只能得到XY数据；2、3D对被测物是否有足够对比度无要求， 而2D通常需要较高的对比度；3、3D视觉技术通常集成度高，具备更高的稳定性和重复性。

如图1所示，本申请采用3D线激光轮廓技术的涂敷辊面缺陷检测方法包括：S101，通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取辊面图像数据；S103，预处理辊面图像；S105，运用图像处理算法，对辊面图像数据进行智能分析，以识别辊面缺陷及判定缺陷等级。

本申请采用3D线激光轮廓传感器获取具有涂敷辊面轮廓数据，检测辊面剥落、掉肉等关注缺陷的3D+2D复合特征，运用特定的图像处理算法进行缺陷识别及等级判定。本申请解决了现场存在的涂敷辊面状态波动问题，消除了因辊面异常造成的带钢表面缺陷，能够从源头端杜绝缺陷产生，提高产品质量控制水平。

本申请基于3D线激光轮廓图像传感器，以非接触方式，动态实时获取辊面Profile（轮廓）的点云数据、以专门针对涂覆辊工作中产生的辊面缺陷采用定制的算法处理图像数据，获取目标图像的表面特征及深度信息，进行AI深度学习智能分析、识别，缺陷深度测量，做出最终缺陷判断或分级判断，完成实时在线辊面状态检测、及时报警或联动现场控制***，进而从源头杜绝缺陷的产生。

本申请应用了光、机、电多学科知识，涉及照明技术、图像采集、数字图像处理、模式识别、人工智能深度学习等诸多技术，能够准确、及时、有效地检出和对象表面的各类关注缺陷及深度信息，是产品质量检测的先进方法。

涂敷辊面缺陷检测装置包括3D成像***、电气***、计算机***、软件***、机械设备等。***通过高精度线激光轮廓3D传感器对于在线运动中的涂覆辊进行设定时间间隔的定期扫描，形成3D轮廓数据及高清晰的2D灰度图像。涂覆辊表面状态以3D点云缺陷数据形式通过专用的线缆传输至图像处理单元中，结合过滤算法及后处理规则集来进行下一步的过滤。其中的2D灰度图缺陷进行基于深度学习计算的优化性二次分类，集合高度数据，进行综合缺陷二次合并处理，得到最后的识别结果，将客户关心的缺陷进行有效的检出，并通过HMI进行呈现包括3D缺陷类别、深度、距离操作侧传动侧的位置、尺寸等信息等。

基于涂覆辊的规格，单套涂敷辊在宽度方向上设计2套3D相机，同步编码器的线速度信号触发，一次获取涂覆辊表面三维、两维数据。在传感器选择具有10kHz+以上的最新蓝光3D传感器，更高采样频率和更高精度设计分辨率，满足成像参数下XYZ轴各个方向下关注缺陷的检出。基于点云输出的3D缺陷识别及2D缺陷匹配缺陷瑕疵检测，及相关软件优化设计、报警功能，其中 2D灰度图缺陷的单独深度学习模式识别分类处理。

机电设计及冷却***，箱体密闭性和防护性适合钢铁生产现场的恶劣环境、确保设备稳定性工作和快捷维护操作。***预留通讯接口用于将图像数据、缺陷信息、等级信息等数据上传用户质量管理平台，用于后续数据挖掘应用。

在一些实施例中，通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取辊面图像数据，包括：通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取3D轮廓数据及2D灰度图像。运用图像处理算法，对辊面图像数据进行智能分析，以识别辊面缺陷及判定缺陷等级，包括：优先处理分析3D轮廓数据，以识别缺陷，当识别出缺陷时，同步采集分析2D灰度图像，进行图像分割、特征提取、目标检测，以识别缺陷。

本申请中缺陷检测算法如下：

1.图像处理方法

1）图像变换：（空域与频域、几何变换、色度变换、尺度变换）；

2）图像增强：灰度变换增强（线性灰度变换、分段线性灰度变换、非线性灰度变换）；

2.直方图增强（灰度直方图、直方图均衡化）；

3.图像平滑/降噪（邻域平均法、加权平均法、中值滤波、非线性均值滤波、高斯滤波、双边滤波）；图像（边缘）锐化：梯度锐化，Roberts算子、Laplace算子、Sobel算子等；

4.图像分割：图像分割是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。

（1）阈值分割（固定阈值分割、最优/OTSU阈值分割、自适应阈值分割）;

（2）基于边界分割（Canny边缘检测、轮廓提取、边界跟踪）；

（3）Hough变换（Hough变换直线检测、Hough变换圆检测）；

（4）基于区域分割（区域生长、区域归并与***、聚类分割）；

（5）色彩分割；

（6）分水岭分割；

对于需要检测的样件，由于可以获得其各个像素点的亮度信息，可以通过直方图的方法将亮度最低的20%的像素点得到，初步对缺陷区域进行一步筛选，而实际上这么操作后效果一般，实际使用的检测算法如下。

实际使用的检测算法步骤：

针对被采集的样件特点，将其分为5个三维平面分别进行缺陷检测。主要过程分为缺陷曲面分割以及分割后曲面缺陷检测两个过程。

缺陷曲面分割的过程如下：如图2所示，各块缺陷曲面分割:三维点云数据最终是以多行轮廓的形式输出，检测出每条轮廓的拐点再将多条轮廓检测出的对应位置的拐点列索引值（例如图2中的1号拐点）求平均值即可得到较好地分割三维平面的切面（图2中箭头标出）。

从轮廓数据求得拐点的方法：对于每条轮廓，轮廓上各点的横纵坐标均可以获得（加上该轮廓位于XOY二维平面），为保证计算出的拐点相对准确，本申请的做法是对于点I,求取索引i前5点以索引i后5点平均值作为统计结果，计算该点的纵向梯度（斜率变化大小），因为相机采集得到数据x或者y方向分辨率固定所以其斜率变化大小可以通过纵坐标变化反映出来，通过该方法求得每一条轮廓纵坐标梯度变化最大的前4个点即为轮廓的几个拐点。

分割后各块曲面缺陷检测的过程如下：按照上述方法可将缺陷工件分割成若干曲面，接下来主要介绍曲面缺陷检测流程，主要通过最小二乘法对各个曲面进行拟合，根据拟合平面与实际分割平面数据点进行对比检测出缺陷点，可以分为以下几个步骤：

1）最小二乘法曲面拟合平面

通过离散点拟合平面，也就是说，要找到一个平面（z=ax+by+c），使这平面到各个点的“距离”最近，根据最小二乘法，

，也就是说要求得一组a,b,c,使得对于已有的离散点来说，S的值最小。最终，该问题转化为1.首先初始化一个系数矩阵和结果矩阵。2.判断系数矩阵是否为奇异阵。3.求逆，计算结果。通过引入外部库Eigen，可以方便的实现求解逆矩阵的过程，拟合后将平面方程Ax + By + Cz + D = 0中的A,B,C,D四个系数依次求解出来。

2）直接用最小二乘法对整个平面进行拟合固然可以得到结果，不过由于当数据点过于庞大（缺陷区域行像素点大于1900，列像素点大于1200），平面拟合效果自然一般。采取的优化方法如下：

1.将每一块区域分块进行拟合，具体操作时对5个分割后得到的区域按照100*100的区域进行拟合，如图3所示，将采样点100*100的区域块进行曲面拟合，不足100的样点区域则以对100求余的结果进行拟合，这样分别对每一块所构成的三维平面进行拟合。图3中数字表示对应边长的像素点/样点的个数。

2.计算拟合后的平面与实际样点的距离，将距离（误差）最大的前20%数据点舍弃，用剩下的数据点基础上继续进行平面拟合，最后通过多次迭代，让余下的数据点尽可能的多的位于一个平面上，有一个迭代优化的过程，最终得到该像素块样点的平面拟合方程Ax+ By + Cz + D = 0，最后利用该拟合方程筛出可能的缺陷点。（凸起或者凹坑会较远的偏离平面，因而可以很好的检出该类型缺陷）。

针对检测过程中的震动及噪音影响，容易遮盖实际缺陷影响缺陷检测，本申请采用对于整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。去噪方式支持多类滤波算法：中值滤波、高斯滤波、平滑、法向滤波、均值滤波、高度阈值等。

在一些实施例中，本申请还包括采用3D+2D的缺陷展示方式，以便于客户观察及验证实际缺陷。还包括：检测出预设级别的缺陷时，发出报警信息，报警方式包括声光报警或画面报警。

本申请中，检测方式为实时在线、连续性、非接触式、高度自动化及智能化检测识别，能够将涂敷辊面的异常状态清晰成像，同时基于profile数据获取所需的3D高度信息，同时数据传输实时性强，低延时，满足现场的高精度质量控制要求。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述采用3D线激光轮廓技术的涂敷辊面缺陷检测方法步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米***（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。

以上介绍仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，其特征在于，包括：

通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取辊面图像数据；

预处理所述辊面图像；

运用图像处理算法，对所述辊面图像数据进行智能分析，以识别辊面缺陷及判定缺陷等级。

2.根据权利要求1所述采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，其特征在于，通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取辊面图像数据，包括：

通过3D线激光轮廓图像传感器以预设周期T定期扫描在线运动中的涂覆辊，获取3D轮廓数据及2D灰度图像；

运用图像处理算法，对所述辊面图像数据进行智能分析，以识别辊面缺陷及判定缺陷等级，包括：

优先处理分析3D轮廓数据，以识别缺陷，当识别出缺陷时，同步采集分析2D灰度图像，进行图像分割、特征提取、目标检测，以识别缺陷。

3.根据权利要求2所述采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，其特征在于，运用图像处理算法，对所述辊面图像数据进行智能分析，以识别辊面缺陷及判定缺陷等级，包括：缺陷曲面分割以及分割后曲面缺陷检测，所述缺陷曲面分割的步骤包括：

三维点云数据最终是以多行轮廓的形式输出，检测出每条轮廓的拐点，求多条轮廓检测出的对应位置的拐点列索引值的平均值即可得到分割三维平面的切面；

从轮廓数据求得拐点的步骤包括：

对于每条轮廓，轮廓上各点的横纵坐标均能够获得，对于点I，求取索引i前5点以及索引i后5点平均值作为统计结果，计算该点I的纵向梯度，求得每一条轮廓纵坐标梯度变化最大的前4个点即为轮廓的拐点。

4.根据权利要求1-3任一项所述采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，其特征在于，分割后曲面缺陷检测的步骤包括：

通过最小二乘法对各个曲面进行拟合；

将拟合平面与实际分割平面数据点进行对比以检测出缺陷点。

5.根据权利要求4所述采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，其特征在于，通过最小二乘法对各个曲面进行拟合，包括：

初始化一个系数矩阵和结果矩阵；

判断所述系数矩阵是否为奇异矩阵；

求解逆矩阵，拟合后将平面方程Ax + By + Cz + D = 0中的A、B、C、D四个系数依次求解出来。

6.根据权利要求4所述采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，其特征在于，分割后曲面缺陷检测的步骤包括：

将每一块区域分块进行拟合，对分割后得到的区域按照100*100的区域进行拟合，将采样点100*100的区域块进行曲面拟合，不足100的样点区域则以对100求余的结果进行拟合，这样分别对每一块所构成的三维平面进行拟合；

计算拟合后的平面与实际样点的距离，将距离最大的前20%数据点舍弃，在剩下的数据点基础上继续进行平面拟合，最后通过多次迭代，让余下的数据点尽可能的多的位于一个平面上，有一个迭代优化的过程，最终得到该像素块样点的平面拟合方程Ax + By + Cz +D = 0，最后利用该拟合方程筛出可能的缺陷点。

7.根据权利要求1-3中任一项所述采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，其特征在于，还包括采用3D+2D的缺陷展示方式。

8.根据权利要求1-3中任一项所述采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，其特征在于，还包括：检测出预设级别的缺陷时，发出报警信息，报警方式包括声光报警或画面报警。

9.根据权利要求1-3中任一项所述采用3D线激光轮廓技术的涂敷辊面缺陷检测方法，其特征在于，预处理所述辊面图像包括图像重建、图像变换、图像增强、恢复和校正。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-9中任一项所述方法的步骤。

Images