CN115641337B - 一种线状缺陷检测方法、装置、介质、设备及*** - Google Patents

Abstract

本申请公开了线状缺陷检测方法、装置、介质、设备及***，该方法包括：获取待测目标图像，并基于基准坐标系对待测目标图像进行位姿变换；基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，对待测区域图像进行多次缩放处理，获得多个缩放图像；基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量；比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点。本申请通过求取不同尺寸的缩放图像中的每个像素点的法向量，根据每个像素点的法向量与预设线状缺陷阈值的大小关系，确定线状缺陷点，实现使用同一参数对不同线宽线状缺陷的检测，检测准确度高。

Description

一种线状缺陷检测方法、装置、介质、设备及***

技术领域

本申请涉及图像处理技术领域，特别涉及一种线状缺陷检测方法、装置、介质、设备及***。

背景技术

随着科技的发展，产品外观缺陷自动检测技术在很多工业场景得到了广泛应用。产品外观缺陷自动检测技术的原理是借助光学设计将产品的缺陷进行凸显，并通过图像采集设备将产品图像采集到计算机，并借助于合理的图像处理算法计算出缺陷的位置和大小，进一步获取缺陷的纹理特征，并结合缺陷的尺寸以及纹理特征对缺陷进行分类和等级划分。

目前，现有的产品外观缺陷自动检测技术对很多形状的缺陷的定位检测准确率很高，但是由于线状缺陷背景复杂成像较弱，且线状大小不统一等问题，产品外观缺陷自动检测技术对线状缺陷的定位检测准确率较低。

发明内容

有鉴于此，本申请提供了一种线状缺陷检测方法、装置、介质、设备及***，主要目的在于解决目前产品外观缺陷自动检测技术对线状缺陷的定位检测准确率较低的问题。

根据本申请的一个方面，提供了一种线状缺陷检测方法，该方法包括：

获取待测目标图像，并基于基准坐标系对所述待测目标图像进行位姿变换；

基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，对所述待测区域图像进行多次缩放处理，获得多个缩放图像；

基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量；

比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点。

可选地，所述对所述待测区域图像进行多次缩放处理，获得多个缩放图像，包括：

基于预设的高斯滤波函数，对所述待测区域图像进行高斯滤波处理；

提取滤波后的待测区域图像中处于奇数行和奇数列的像素点，作为第一缩放图像；

基于预设的高斯滤波函数，对所述第一缩放图像进行高斯滤波处理，提取滤波后的第一缩放图像中处于奇数行和奇数列的像素点，作为第二缩放图像；

基于预设的高斯滤波函数，对所述第二缩放图像进行高斯滤波处理，提取滤波后的第二缩放图像中处于奇数行和奇数列的像素点，作为第三缩放图像。

可选地，采用下述方法设置所述预设的高斯滤波函数：

根据预设线状缺陷的宽度，设置滤波函数的方差；

基于所述滤波函数的方差，设置所述预设的高斯滤波函数。

可选地，所述基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量，包括：

分别获得所述缩放图像中每个像素点的灰度值对应的Hessian矩阵；

获取每个Hessian矩阵的最大特征值，并求取每个最大特征值对应的特征向量，作为所述像素点的法向量。

可选地，所述预设线状缺陷阈值包括第一线状缺陷阈值和第二线状缺陷阈值，所述比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点，包括：

将所述法向量大于第一线状缺陷阈值的像素点作为线状缺陷点，将所述法向量大于第二线状缺陷阈值且小于所述第一线状缺陷阈值的像素点作为待定缺陷点；

当所述待定缺陷点的相邻像素点为线状缺陷点时，所述待定缺陷点为线状缺陷点。

可选地，所述预设线状缺陷阈值包括第一线状缺陷阈值和第二线状缺陷阈值，所述比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点，包括：

将法向量大于第一阈值的像素点作为候选缺陷点，将法向量大于第二阈值且小于所述第一阈值的像素点作为待定缺陷点，当待定缺陷点的相邻像素点为候选缺陷点时，待定缺陷点为候选缺陷点；

对所述候选缺陷点进行泰勒二项式展开，从展开曲线中选出沿法向量方向的展开结果最大值，所述展开结果最大值对应的像素点为线状缺陷点。

可选地，所述基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，包括：

对位姿变换后的待测目标图像进行初步框选，获得包含被测目标的框选区域，并对所述框选区域进行边缘增强处理；

对边缘增强处理后的框选区域进行二值化处理，根据二值化处理结果，确定检测区域；

对所述第一框选区域内与检测区域相邻的区域进行填充，获得待测区域图像。

可选地，采用ROI区域框选方法对位姿变换后的待测目标图像进行初步框选，获得包含被测目标的框选区域。

可选地，对所述框选区域进行边缘增强处理，包括：

采用soble算子分别对所述框选区域内图像的每个像素点沿X轴方向和Y轴方向进行卷积，获得边缘增强处理后的框选区域。

可选地，基于基准坐标系对所述待测目标图像进行位姿变换，包括：

对模板图像和待测目标图像分别进行坐标系的建立，获得所述模板图像的基础坐标系和所述待测目标图像的第一坐标系；

将所述待测目标图像设置于所述模板图像上，平移所述待测目标图像直至所述第一坐标系的原点与所述基础坐标系的原点重合，以重合后的原点为中心，旋转所述待测目标图像直至所述第一坐标系中的X轴与所述基础坐标系中的X轴重合，获取旋转角度，并作为转换角度；

基于所述转换角度和待测目标图像中每个像素点的坐标，计算所述待测目标图像中每个像素点在所述模板图像中的坐标。

可选地，基于所述线状缺陷点在在所述模板图像中的坐标，将相邻的线状缺陷点连接，获得线状缺陷。

可选地，采用下述方法进行坐标系的建立：

在图像中确定拟合坐标系的范围，在所述拟合坐标系的范围内对被测目标的边缘进行直线拟合，获得两条直线；

确定两条直线的交点，将所述交点作为原点；

将所述两条直线中的一条作为X轴，过原点做所述X轴的垂线，作为Y轴。

可选地，采用下述方法在所述拟合坐标系的范围内对被测目标的边缘进行直线拟合：

在所述拟合坐标系的范围内获取被测目标的多个边缘点；

采用最小二乘法对多个边缘点进行直线拟合。

可选地，基于基准坐标系对所述待测目标图像进行位姿变换之前，所述方法还包括：

判断所述待侧目标图像是否为灰度图像，当所述待侧目标图像不是灰度图像时，对所述待侧目标图像进行灰度处理。

根据本申请的另一个方面，提供了一种线状缺陷检测装置，包括：

位姿变换模块，用于获取待测目标图像，并基于基准坐标系对所述待测目标图像进行位姿变换；

缩放图像获取模块，用于基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，对所述待测区域图像进行多次缩放处理，获得多个缩放图像；

法向量获取模块，用于基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量；

线状缺陷点获取模块，用于比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点。

可选地，所述对所述待测区域图像进行多次缩放处理，获得多个缩放图像，包括：

基于预设的高斯滤波函数，对所述待测区域图像进行高斯滤波处理；

提取滤波后的待测区域图像中处于奇数行和奇数列的像素点，作为第一缩放图像；

基于预设的高斯滤波函数，对所述第一缩放图像进行高斯滤波处理，提取滤波后的第一缩放图像中处于奇数行和奇数列的像素点，作为第二缩放图像；

基于预设的高斯滤波函数，对所述第二缩放图像进行高斯滤波处理，提取滤波后的第二缩放图像中处于奇数行和奇数列的像素点，作为第三缩放图像。

可选地，采用下述方法设置所述预设的高斯滤波函数：

根据预设线状缺陷的宽度，设置滤波函数的方差；

基于所述滤波函数的方差，设置所述预设的高斯滤波函数。

可选地，所述基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量，包括：

分别获得所述缩放图像中每个像素点的灰度值对应的Hessian矩阵；

获取每个Hessian矩阵的最大特征值，并求取每个最大特征值对应的特征向量，作为所述像素点的法向量。

可选地，所述预设线状缺陷阈值包括第一线状缺陷阈值和第二线状缺陷阈值，所述比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点，包括：

将所述法向量大于第一线状缺陷阈值的像素点作为线状缺陷点，将所述法向量大于第二线状缺陷阈值且小于所述第一线状缺陷阈值的像素点作为待定缺陷点；

当所述待定缺陷点的相邻像素点为线状缺陷点时，所述待定缺陷点为线状缺陷点。

可选地，所述预设线状缺陷阈值包括第一线状缺陷阈值和第二线状缺陷阈值，所述比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点，包括：

将法向量大于第一阈值的像素点作为候选缺陷点，将法向量大于第二阈值且小于所述第一阈值的像素点作为待定缺陷点，当待定缺陷点的相邻像素点为候选缺陷点时，待定缺陷点为候选缺陷点；

对所述候选缺陷点进行泰勒二项式展开，从展开曲线中选出沿法向量方向的展开结果最大值，所述展开结果最大值对应的像素点为线状缺陷点。

可选地，所述基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，包括：

对位姿变换后的待测目标图像进行初步框选，获得包含被测目标的框选区域，并对所述框选区域进行边缘增强处理；

对边缘增强处理后的框选区域进行二值化处理，根据二值化处理结果，确定检测区域；

对所述第一框选区域内与检测区域相邻的区域进行填充，获得待测区域图像。

可选地，采用ROI区域框选方法对位姿变换后的待测目标图像进行初步框选，获得包含被测目标的框选区域。

可选地，对所述框选区域进行边缘增强处理，包括：

采用soble算子分别对所述框选区域内图像的每个像素点沿X轴方向和Y轴方向进行卷积，获得边缘增强处理后的框选区域。

可选地，基于基准坐标系对所述待测目标图像进行位姿变换，包括：

对模板图像和待测目标图像分别进行坐标系的建立，获得所述模板图像的基础坐标系和所述待测目标图像的第一坐标系；

将所述待测目标图像设置于所述模板图像上，平移所述待测目标图像直至所述第一坐标系的原点与所述基础坐标系的原点重合，以重合后的原点为中心，旋转所述待测目标图像直至所述第一坐标系中的X轴与所述基础坐标系中的X轴重合，获取旋转角度，并作为转换角度；

基于所述转换角度和待测目标图像中每个像素点的坐标，计算所述待测目标图像中每个像素点在所述模板图像中的坐标。

可选地，基于所述线状缺陷点在在所述模板图像中的坐标，将相邻的线状缺陷点连接，获得线状缺陷。

可选地，采用下述方法进行坐标系的建立：

在图像中确定拟合坐标系的范围，在所述拟合坐标系的范围内对被测目标的边缘进行直线拟合，获得两条直线；

确定两条直线的交点，将所述交点作为原点；

将所述两条直线中的一条作为X轴，过原点做所述X轴的垂线，作为Y轴。

可选地，采用下述方法在所述拟合坐标系的范围内对被测目标的边缘进行直线拟合：

在所述拟合坐标系的范围内获取被测目标的多个边缘点；

采用最小二乘法对多个边缘点进行直线拟合。

可选地，基于基准坐标系对所述待测目标图像进行位姿变换之前，所述方法还包括：

判断所述待侧目标图像是否为灰度图像，当所述待侧目标图像不是灰度图像时，对所述待侧目标图像进行灰度处理。

根据本申请的另一个方面，一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述线状缺陷检测方法对应的操作。

根据本申请的另一个方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述线状缺陷检测方法对应的操作。

根据本申请的另一个方面，提供了一种线状缺陷检测***，所述线状缺陷检测***包括图像采集设备和计算机设备，所述计算机设备用于实现上述线状缺陷检测方法对应的操作。

借由上述技术方案，本申请实施例提供的技术方案至少具有下列优点：

本申请提供的一种线状缺陷检测方法、装置、介质、设备及***，将待测目标图像进行位姿转换后，获得包含被测目标的待测区域图像，将待测区域图像进行多次缩放，获得多个缩放图像，使得每个缩放图像的线状缺陷尺寸不同，求取每个缩放图像中的每个像素点的法向量，根据每个像素点的法向量与预设线状缺陷阈值的大小关系，确定线状缺陷点，实现使用同一参数对不同线宽线状缺陷的检测，检测准确度高。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请实施例提供的一种线状缺陷检测方法的流程图；

图2示出了本申请实施例提供的另一种线状缺陷检测方法的流程图；

图3示出了本申请实施例提供的一种线状缺陷检测方法的位姿变换示意图；

图4示出了本申请实施例提供的又一种线状缺陷检测方法的流程图；

图5示出了本申请实施例提供的一种线状缺陷检测方法的坐标系建立示意图；

图6示出了本申请实施例提供的再一种线状缺陷检测方法的流程图；

图7示出了本申请实施例提供的一种线状缺陷检测方法的待测区域图像示意图；

图8示出了本申请实施例提供的又一种线状缺陷检测方法的流程图；

图9示出了本申请实施例提供的一种线状缺陷检测装置的组成框图；

图10示出了本申请实施例提供的一种计算机设备的结构示意图。

其中，

图9中：902-位姿变换模块；904-缩放图像获取模块；906-法向量获取模块；908-线状缺陷点获取模块；

图10中：112-处理器；114-通信接口；116-存储器；118-通信总线；110-程序。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

为更进一步阐述本申请为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本申请申请的具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

针对目前产品外观缺陷自动检测技术对线状缺陷的定位检测准确率较低的问题，本申请实施例提供了一种线状缺陷检测方法，如图1所示，该方法包括：

102：获取待测目标图像，并基于基准坐标系对待测目标图像进行位姿变换；

在本申请的实施例中，线状缺陷检测方法只能识别检测模板图像里基础坐标系下的固定图像区域，因此将待测目标图像进行位姿变换，转换到模板图像的基准坐标系下，以便进行后续的线状缺陷检测。

在另一个本申请实施例中，为了进一步限定及说明，如图2所示，基于基准坐标系对待测目标图像进行位姿变换，包括：

202：对模板图像和待测目标图像分别进行坐标系的建立，获得模板图像的基础坐标系和待测目标图像的第一坐标系；

204：将待测目标图像设置于模板图像上，平移待测目标图像直至第一坐标系的原点与基础坐标系的原点重合，以重合后的原点为中心，旋转待测目标图像直至第一坐标系中的X轴与基础坐标系中的X轴重合，获取旋转角度，并作为转换角度；

206：基于转换角度和待测目标图像中每个像素点的坐标，计算待测目标图像中每个像素点在模板图像中的坐标。

在本实施例中，如图3所示，分别获得模板图像的基础坐标系 坐标系和待测目标图像的第一坐标系 坐标系，由于待测目标图像和模板图像的尺寸相同，因此首先将待测目标图像放置于模板图像上方，使两者重合，然后平移待测目标图像使得第一坐标系的原点与基础坐标系的原点重合，然后再旋转第一坐标系，使得第一坐标系与基础坐标系重合，获取第一坐标系的转动角度，即第一坐标系 坐标系，相对于基础坐标系 坐标系的角度偏移，作为转换角度。根据此转换角度，从而将待测目标图像上每个像素点p1点在第一坐标系下的坐标转换到模板图像基础坐标下的坐标，用于后续的图像处理定位和计算。采用下述计算公式进行坐标的换算：

其中，为待测目标图像中像素点在第一坐标系下的x轴坐标，为待测目标图像中像素点在基础坐标系下的x轴坐标，为转换角度，为待测目标图像中像素点在第一坐标系下的y轴坐标，为待测目标图像中像素点在基础坐标系下的y轴坐标。

在另一个本申请实施例中，为了进一步限定及说明，如图4所示，采用下述方法进行坐标系的建立：

402：在图像中确定拟合坐标系的范围，在拟合坐标系的范围内对被测目标的边缘进行直线拟合，获得两条直线；

404：确定两条直线的交点，将交点作为原点；

406：将两条直线中的一条作为X轴，过原点做X轴的垂线，作为Y轴。

在本实施例中，采用下述方法在拟合坐标系的范围内对被测目标的边缘进行直线拟合：

在拟合坐标系的范围内获取被测目标的多个边缘点；

采用最小二乘法对多个边缘点进行直线拟合。

在本实施例中，以模板图像建立基础坐标系为例进行详细说明，待测目标图像采用同样的方法建立第一坐标系。具体而言，获取模板图像，判断模板图像是否为灰度图像，若模板图像不是灰度图像，则对模板图像的原图像进行灰度化，得到灰度化的模板图像，后续对灰度化的模板图像进行处理。

首先在模板图像内获取框选拟合坐标系的范围，在区域内部进行直线拟合，分别获取L1和L2两条线段；

直线拟合通过像素扫描方向来确定前后两个像素点的对比度来判断当前点是否为边缘点，若当前像素点和下一个像素点的对比度超过阈值T则当前点被标记为拟合直线的备选点。

采用最小二乘法对多个备选点进行直线拟合获得L1和L2两条位于被测物上的直线。

使拟合直线L1，L2得延长线交于原点，得到模板图像基础坐标下的原点O和仿射变换角度。

对模板图上两个相交的边缘进行直线拟合，得到两个相交的直线，交于原点O。选择两个相交直线的其中一条直线作为坐标系的X轴，做垂直于X轴的直线作为Y轴，构建坐标系，该坐标系为基础坐标系。如图5所示，以拟合直线1（L1）和拟合直线2（L2）的交点（O）为坐标系原点，以拟合直线1（L1）为创建的坐标系的X轴，以垂直拟合直线L1（坐标系X轴）过原点O的直线（非直线L2）为创建的坐标系的Y轴，构造XY坐标系。

在一个实施例中，采用下述方法进行直线拟合：通过对边缘像素点的比对选择出满足对比度的像素点数，之后，采用随机一致性采样方法对得到的像素点进行筛选。其步骤如下所示：

（1）要得到一个直线模型，需要两个点唯一确定一个直线方程。所以第一步随机选择两个点。

（2）通过这两个点，可以计算出这两个点所表示的模型方程y=ax+b。

（3）将所有的数据点带入模型中计算误差。

（4）找到所有满足误差阈值的点。

（5）然后再重复（1）~（4）这个过程，直到达到一定迭代次数后，选出那个被支持的最多的模型，作为最终的拟合直线点集。

针对通过随机一致性采样方法得到的拟合直线点集，再通过最小二乘法进行直线的拟合，最终获得一条直线。

104：基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，对待测区域图像进行多次缩放处理，获得多个缩放图像；

本申请实施例中，根据待测目标图像中被测目标的所在位置，获取包含被测目标的待测区域图像，对待测区域图像进行多次缩放处理，缩放处理包括高斯滤波和下采样，获得不同尺度的缩放图像。

在一个实施例中，在获取包含被测目标的待测区域图像之前，还包括：

获取待测图像，判断待测目标图像是否为灰度图像，若待测目标图像不是灰度图像，则对待测目标图像进行灰度转换，得到灰度图像。

具体的，由于本实例所得到的待测目标的原始图像来自检测***中的线阵，或面阵相机，因此输入的原图像即可能是灰度图像，也有可能是彩色图像，由于在后续处理过程中检测处理都是针对图像中的各个像素点的灰度值进行处理的。因此为了节省计算时间以及内存占用，需要将彩色图像转换为灰度图像再进行后续操作。

在另一个本申请实施例中，为了进一步限定及说明，如图6所示，基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，包括：

602：对位姿变换后的待测目标图像进行初步框选，获得包含被测目标的框选区域，并对框选区域进行边缘增强处理；

604：对边缘增强处理后的框选区域进行二值化处理，根据二值化处理结果，确定检测区域；

606：对第一框选区域内与检测区域相邻的区域进行填充，获得待测区域图像。

在本实施例中，采用ROI区域框选方法对位姿变换后的待测目标图像进行初步框选，获得包含被测目标的框选区域。

在本实施例中，对框选区域进行边缘增强处理，包括：

采用soble算子分别对框选区域内图像的每个像素点沿X轴方向和Y轴方向进行卷积，获得边缘增强处理后的框选区域。

在本实施例中，使用ROI框选包含被测目标的区域，作为框选区域，使用soble滤波器对框选区域进行边缘增强滤波得到边缘增强的图像，具体为使用soble算子对框选区域内图像的X和Y两个方向进行卷积获得边缘增强后的图像，对增强后图像进行二值化操作得到二值化图像，根据得到的二值化图像获取包含被测目标检测区域，对二值化之后得到的框选区域内的非目标检测区域进行填充，得到填充后的待测区域图像，采用ROI框选区域提取速度快。

作为优选实施方式，soble算子的XY方向分别是：

使用上述算子对ROI框选区域中的像素点进行卷积得到边缘增强后的图像。

如图7所示，玻璃盖板为被测目标，收集玻璃盖板外的四边形作为ROI框选区域后又通过边缘增强和二值化方法提取的检测区域，如细线条所围成的区域。在提取到检测区域后对非检测区域进行填充，获得待测区域图像。

在另一个本申请实施例中，为了进一步限定及说明，如图8所示，对待测区域图像进行多次缩放处理，获得多个缩放图像，包括：

802：基于预设的高斯滤波函数，对待测区域图像进行高斯滤波处理；

804：提取滤波后的待测区域图像中处于奇数行和奇数列的像素点，作为第一缩放图像；

806：基于预设的高斯滤波函数，对第一缩放图像进行高斯滤波处理，提取滤波后的第一缩放图像中处于奇数行和奇数列的像素点，作为第二缩放图像；

808：基于预设的高斯滤波函数，对第二缩放图像进行高斯滤波处理，提取滤波后的第二缩放图像中处于奇数行和奇数列的像素点，作为第三缩放图像。

在本实施例中，针对填充后的待测区域图像进行高斯滤波-下采样方式进行图像变换，得到不同目标尺度图像，也就是说针对待测区域图像进行三次高斯滤波-下采样方法处理，得到三个尺度缩放后的图像。

具体的针对线状缺陷的检测方法，和线条宽度有很大的关联性，若使用同一参数，则无法同时检测出不同线宽的线状缺陷，且输入的源图像中一般含有干扰噪声，存在复杂的纹理，并且相机所直接采集到的源图像数据量很大，因此采用高斯滤波-下采样方法，进行多次的图像缩放，首先能使得在后续线状检测过程中使用同一参数可对不同的线状缺陷进行检出。其次在进行高斯滤波下采样后可以对源图像的噪声进行去除，同时也可以降低图像的数据量，从而提高后续计算时间。

高斯滤波-下采样方法分为高斯滤波和下采样两个步骤。输入待测区域图像后首先使用5×5的高斯滤波核对其进行卷积滤波，其滤波公式如下所示：

其中， m(x,y)为5×5窗口高斯滤波后的图像（即，滤波后的待测区域图像），gussa{}为高斯滤波函数，f(x,y)为待测区域图像，k为滤波窗口的长度，l为滤波窗口的宽度，x为x轴方向的坐标，y为y轴方向的坐标。高斯滤波核如下所示：

然后，对高斯滤波后的待测区域图像进行下采样去除偶数行和偶数列，即提取奇数行和奇数列，得到原图像大小的四分之一的降采样图像。

在一个实施例中，具体的正常线状缺陷的横截面，为近似高斯分布但是由于横截面不是理想的正态函数，因此需要使用方差为线宽的高斯滤波函数，对其进行高斯模糊将线状缺陷的横截面光强分布变为理想的正态函数。

在本实施例中，采用下述方法设置预设的高斯滤波函数：根据预设线状缺陷的宽度，设置滤波函数的方差；基于滤波函数的方差，设置预设的高斯滤波函数。

高斯滤波根据线状缺陷的宽度，设置高斯滤波函数的方差，对缩放后的图像进行滤波。滤波核大小为线宽大小。高斯滤波函数如下：

 

 其中，w为线宽，得到高斯滤波函数滤波核之后，对图像进行高斯滤波得到滤波图像，x为线条的坐标。

106：基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量；

在另一个本申请实施例中，为了进一步限定及说明，基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量，包括：

分别获得每个缩放图像中每个像素点的灰度值对应的Hessian矩阵；

获取每个Hessian矩阵的最大特征值，并求取每个最大特征值对应的特征向量，作为像素点的法向量。

具体而言，针对一个像素点，求取该像素点的Hessian矩阵为：

通过求取Hessian矩阵的最大特征值，然后再求取最大特征值对应的特征向量，作为该像素点的法向量，其中，rxy为像素点的灰度值在x方向的二阶导数，rxy为像素点的灰度值在x方向求一阶导数后又在y方向求一阶导数，ryy为像素点的灰度值在y方向的二阶导数。

采用同样的方法获得每个缩放图像中，每个像素点的法向量。

108：比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定像素点中的线状缺陷点。

本申请实施例中，通过对像素点的法向量与预设线状缺陷阈值的大小比较，实现对不同尺度线状缺陷完整检出。

在本申请实施例中，为了进一步限定及说明，预设线状缺陷阈值包括第一线状缺陷阈值和第二线状缺陷阈值，比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定像素点中的线状缺陷点，包括：

将法向量大于第一线状缺陷阈值的像素点作为线状缺陷点，将法向量大于第二线状缺陷阈值且小于第一线状缺陷阈值的像素点作为待定缺陷点；

当待定缺陷点的相邻像素点为线状缺陷点时，待定缺陷点为线状缺陷点。

在本实施例中，预设线状缺陷阈值包括第一线状缺陷阈值H和第二线状缺陷阈值W，法向量大于H的像素点为线状缺陷点，小于W为非缺陷点，介于两者之间的数值，为待定缺陷点，查看是否和线状缺陷点有连接，若有连接，则该像素点同样为线状缺陷点，若没有连接则不是线状缺陷点。

在一个实施例中，将法向量大于第一阈值的像素点作为候选缺陷点，将法向量大于第二阈值且小于所述第一阈值的像素点作为待定缺陷点，当待定缺陷点的相邻像素点为候选缺陷点时，待定缺陷点为候选缺陷点，对候选缺陷点进行泰勒二项式展开，从展开曲线中选出沿法向量方向的展开结果最大值，所述展开结果最大值对应的像素点为线状缺陷点。在得到线状缺陷点后，在线状缺陷点沿着法线方向根据设置好的线模型，找到对应的边缘点，从而得到完整的线状缺陷。

在一个实施例中，基于线状缺陷点在在模板图像中的坐标，将相邻的线状缺陷点连接，获得线状缺陷。

本申请提供了一种线状缺陷检测方法，与现有技术相比，将待测目标图像进行位姿转换后，获得包含被测目标的待测区域图像，将待测区域图像进行多次缩放，获得多个缩放图像，使得每个缩放图像的线状缺陷尺寸不同，求取每个缩放图像中的每个像素点的法向量，根据每个像素点的法向量与预设线状缺陷阈值的大小关系，确定线状缺陷点，实现使用同一参数对不同线宽线状缺陷的检测，检测准确度高。

进一步的，作为对上述图1所示方法的实现，本申请实施例提供了一种线状缺陷检测确定装置，如图9所示，该装置包括：

位姿变换模块，用于获取待测目标图像，并基于基准坐标系对待测目标图像进行位姿变换；

缩放图像获取模块，用于基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，对待测区域图像进行多次缩放处理，获得多个缩放图像；

法向量获取模块，用于基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量；

线状缺陷点获取模块，用于比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定像素点中的线状缺陷点。

在一个实施例中，对待测区域图像进行多次缩放处理，获得多个缩放图像，包括：

基于预设的高斯滤波函数，对待测区域图像进行高斯滤波处理；

提取滤波后的待测区域图像中处于奇数行和奇数列的像素点，作为第一缩放图像；

基于预设的高斯滤波函数，对第一缩放图像进行高斯滤波处理，提取滤波后的第一缩放图像中处于奇数行和奇数列的像素点，作为第二缩放图像；

基于预设的高斯滤波函数，对第二缩放图像进行高斯滤波处理，提取滤波后的第二缩放图像中处于奇数行和奇数列的像素点，作为第三缩放图像。

在一个实施例中，采用下述方法设置预设的高斯滤波函数：根据预设线状缺陷的宽度，设置滤波函数的方差；基于滤波函数的方差，设置预设的高斯滤波函数。

在一个实施例中，基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量，包括：

分别获得缩放图像中每个像素点的灰度值对应的Hessian矩阵；

获取每个Hessian矩阵的最大特征值，并求取每个最大特征值对应的特征向量，作为像素点的法向量。

在一个实施例中，预设线状缺陷阈值包括第一线状缺陷阈值和第二线状缺陷阈值，比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定像素点中的线状缺陷点，包括：

将法向量大于第一线状缺陷阈值的像素点作为线状缺陷点，将法向量大于第二线状缺陷阈值且小于第一线状缺陷阈值的像素点作为待定缺陷点；

当待定缺陷点的相邻像素点为线状缺陷点时，待定缺陷点为线状缺陷点。

在一个实施例中，预设线状缺陷阈值包括第一线状缺陷阈值和第二线状缺陷阈值，比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定像素点中的线状缺陷点，包括：

将法向量大于第一阈值的像素点作为候选缺陷点，将法向量大于第二阈值且小于第一阈值的像素点作为待定缺陷点，当待定缺陷点的相邻像素点为候选缺陷点时，待定缺陷点为候选缺陷点；

对候选缺陷点进行泰勒二项式展开，从展开曲线中选出沿法向量方向的展开结果最大值，展开结果最大值对应的像素点为线状缺陷点。

在一个实施例中，基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，包括：

对位姿变换后的待测目标图像进行初步框选，获得包含被测目标的框选区域，并对框选区域进行边缘增强处理；

对边缘增强处理后的框选区域进行二值化处理，根据二值化处理结果，确定检测区域；

对第一框选区域内与检测区域相邻的区域进行填充，获得待测区域图像。

在一个实施例中，采用ROI区域框选方法对位姿变换后的待测目标图像进行初步框选，获得包含被测目标的框选区域。

在一个实施例中，对框选区域进行边缘增强处理，包括：

采用soble算子分别对所述框选区域内图像的每个像素点沿X轴方向和Y轴方向进行卷积，获得边缘增强处理后的框选区域。

在一个实施例中，基于基准坐标系对待测目标图像进行位姿变换，包括：

对模板图像和待测目标图像分别进行坐标系的建立，获得模板图像的基础坐标系和待测目标图像的第一坐标系；

将待测目标图像设置于模板图像上，平移待测目标图像直至第一坐标系的原点与基础坐标系的原点重合，以重合后的原点为中心，旋转待测目标图像直至第一坐标系中的X轴与基础坐标系中的X轴重合，获取旋转角度，并作为转换角度；

基于转换角度和待测目标图像中每个像素点的坐标，计算待测目标图像中每个像素点在模板图像中的坐标。

在一个实施例中，基于线状缺陷点在在模板图像中的坐标，将相邻的线状缺陷点连接，获得线状缺陷。

在一个实施例中，采用下述方法进行坐标系的建立：

在图像中确定拟合坐标系的范围，在拟合坐标系的范围内对被测目标的边缘进行直线拟合，获得两条直线；

确定两条直线的交点，将交点作为原点；

将两条直线中的一条作为X轴，过原点做X轴的垂线，作为Y轴。

在一个实施例中，采用下述方法在所述拟合坐标系的范围内对被测目标的边缘进行直线拟合：

在拟合坐标系的范围内获取被测目标的多个边缘点；

采用最小二乘法对多个边缘点进行直线拟合。

在一个实施例中，基于基准坐标系对所述待测目标图像进行位姿变换之前，所述方法还包括：

判断待侧目标图像是否为灰度图像，当待侧目标图像不是灰度图像时，对所述待侧目标图像进行灰度处理。

本申请提供了一种线状缺陷检测装置，与现有技术相比，将待测目标图像进行位姿转换后，获得包含被测目标的待测区域图像，将待测区域图像进行多次缩放，获得多个缩放图像，使得每个缩放图像的线状缺陷尺寸不同，求取每个缩放图像中的每个像素点的法向量，根据每个像素点的法向量与预设线状缺陷阈值的大小关系，确定线状缺陷点，实现使用同一参数对不同线宽线状缺陷的检测，检测准确度高。

根据本申请一个实施例提供了一种存储介质，存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的线状缺陷检测方法。

图10示出了根据本申请一个实施例提供的一种计算机设备的结构示意图，本申请具体实施例并不对计算机设备的具体实现做限定。

如图10所示，该计算机设备可以包括：处理器(processor)112、通信接口(Communications Interface)114、存储器(memory)116、以及通信总线118。

其中：处理器112、通信接口114、以及存储器116通过通信总线118完成相互间的通信。

通信接口114，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器112，用于执行程序110，具体可以执行上述线状缺陷检测方法实施例中的相关步骤。

具体地，程序110可以包括程序代码，该程序代码包括计算机操作指令。

处理器112可能是中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器116，用于存放程序110。存储器116可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

程序110具体可以用于使得处理器112执行以下操作：

获取待测目标图像，并基于基准坐标系对待测目标图像进行位姿变换；

基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，对待测区域图像进行多次缩放处理，获得多个缩放图像；

基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量；

比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定像素点中的线状缺陷点。

本申请还提供一种线状缺陷检测***，线状缺陷检测***包括图像采集设备和计算机设备，计算机设备用于实现上述线状缺陷检测方法对应的操作。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，在一个实施例中，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (16)

1.一种线状缺陷检测方法，其特征在于，包括：

获取待测目标图像，并基于基准坐标系对所述待测目标图像进行位姿变换；

基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，对所述待测区域图像进行多次缩放处理，获得多个缩放图像；

基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量；

比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点；

其中，所述对所述待测区域图像进行多次缩放处理，获得多个缩放图像，包括：

基于预设的高斯滤波函数，对所述待测区域图像进行高斯滤波处理；

提取滤波后的待测区域图像中处于奇数行和奇数列的像素点，作为第一缩放图像；

基于预设的高斯滤波函数，对所述第一缩放图像进行高斯滤波处理，提取滤波后的第一缩放图像中处于奇数行和奇数列的像素点，作为第二缩放图像；

基于预设的高斯滤波函数，对所述第二缩放图像进行高斯滤波处理，提取滤波后的第二缩放图像中处于奇数行和奇数列的像素点，作为第三缩放图像；

所述基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量，包括：

分别获得所述缩放图像中每个像素点的灰度值对应的Hessian矩阵；

获取每个Hessian矩阵的最大特征值，并求取每个最大特征值对应的特征向量，作为所述像素点的法向量。

2.权利要求1所述的线状缺陷检测方法，其特征在于，采用下述方法设置所述预设的高斯滤波函数：

根据预设线状缺陷的宽度，设置滤波函数的方差；

基于所述滤波函数的方差，设置所述预设的高斯滤波函数。

3.权利要求1所述的线状缺陷检测方法，其特征在于，所述预设线状缺陷阈值包括第一线状缺陷阈值和第二线状缺陷阈值，所述比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点，包括：

将所述法向量大于第一线状缺陷阈值的像素点作为线状缺陷点，将所述法向量大于第二线状缺陷阈值且小于所述第一线状缺陷阈值的像素点作为待定缺陷点；

当所述待定缺陷点的相邻像素点为线状缺陷点时，所述待定缺陷点为线状缺陷点。

4.如权利要求1所述的线状缺陷检测方法，其特征在于，所述预设线状缺陷阈值包括第一线状缺陷阈值和第二线状缺陷阈值，所述比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点，包括：

将法向量大于第一线状缺陷阈值的像素点作为候选缺陷点，将法向量大于第二线状缺陷阈值且小于所述第一线状缺陷阈值的像素点作为待定缺陷点，当待定缺陷点的相邻像素点为候选缺陷点时，待定缺陷点为候选缺陷点；

对所述候选缺陷点进行泰勒二项式展开，从展开曲线中选出沿法向量方向的展开结果最大值，所述展开结果最大值对应的像素点为线状缺陷点。

5.如权利要求1所述的线状缺陷检测方法，其特征在于，所述基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，包括：

对位姿变换后的待测目标图像进行初步框选，获得包含被测目标的框选区域，并对所述框选区域进行边缘增强处理；

对边缘增强处理后的框选区域进行二值化处理，根据二值化处理结果，确定检测区域；

对所述框选区域内与检测区域相邻的区域进行填充，获得待测区域图像。

6.如权利要求5所述的线状缺陷检测方法，其特征在于，采用ROI区域框选方法对位姿变换后的待测目标图像进行初步框选，获得包含被测目标的框选区域。

7.如权利要求5所述的线状缺陷检测方法，其特征在于，对所述框选区域进行边缘增强处理，包括：

采用soble算子分别对所述框选区域内图像的每个像素点沿X轴方向和Y轴方向进行卷积，获得边缘增强处理后的框选区域。

8.如权利要求1所述的线状缺陷检测方法，其特征在于，所述基于基准坐标系对所述待测目标图像进行位姿变换，包括：

对模板图像和待测目标图像分别进行坐标系的建立，获得所述模板图像的基准坐标系和所述待测目标图像的第一坐标系；

将所述待测目标图像设置于所述模板图像上，平移所述待测目标图像直至所述第一坐标系的原点与所述基准坐标系的原点重合，以重合后的原点为中心，旋转所述待测目标图像直至所述第一坐标系中的X轴与所述基准坐标系中的X轴重合，获取旋转角度，并作为转换角度；

基于所述转换角度和待测目标图像中每个像素点的坐标，计算所述待测目标图像中每个像素点在所述模板图像中的坐标。

9.如权利要求8所述的线状缺陷检测方法，其特征在于，基于所述线状缺陷点在所述模板图像中的坐标，将相邻的线状缺陷点连接，获得线状缺陷。

10.如权利要求8所述的线状缺陷检测方法，其特征在于，采用下述方法进行坐标系的建立：

在图像中确定拟合坐标系的范围，在所述拟合坐标系的范围内对被测目标的边缘进行直线拟合，获得两条直线；

确定两条直线的交点，将所述交点作为原点；

将所述两条直线中的一条作为X轴，过原点做所述X轴的垂线，作为Y轴。

11.如权利要求10所述的线状缺陷检测方法，其特征在于，采用下述方法在所述拟合坐标系的范围内对被测目标的边缘进行直线拟合：

在所述拟合坐标系的范围内获取被测目标的多个边缘点；

采用最小二乘法对多个边缘点进行直线拟合。

12.如权利要求1所述的线状缺陷检测方法，其特征在于，所述基于基准坐标系对所述待测目标图像进行位姿变换之前，所述方法还包括：

判断所述待测目标图像是否为灰度图像，当所述待测目标图像不是灰度图像时，对所述待测目标图像进行灰度处理。

13.一种线状缺陷检测装置，其特征在于，包括：

位姿变换模块，用于获取待测目标图像，并基于基准坐标系对所述待测目标图像进行位姿变换；

缩放图像获取模块，用于基于位姿变换后的待测目标图像，获取包含被测目标的待测区域图像，对所述待测区域图像进行多次缩放处理，获得多个缩放图像；

法向量获取模块，用于基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量；

线状缺陷点获取模块，用于比较每个像素点的法向量与预设线状缺陷阈值的大小关系，依据大小关系确定所述像素点中的线状缺陷点；

其中，所述对所述待测区域图像进行多次缩放处理，获得多个缩放图像，包括：

基于预设的高斯滤波函数，对所述待测区域图像进行高斯滤波处理；

提取滤波后的待测区域图像中处于奇数行和奇数列的像素点，作为第一缩放图像；

基于预设的高斯滤波函数，对所述第一缩放图像进行高斯滤波处理，提取滤波后的第一缩放图像中处于奇数行和奇数列的像素点，作为第二缩放图像；

基于预设的高斯滤波函数，对所述第二缩放图像进行高斯滤波处理，提取滤波后的第二缩放图像中处于奇数行和奇数列的像素点，作为第三缩放图像；

所述基于每个缩放图像中每个像素点的灰度值，获取每个缩放图像中每个像素点的法向量，包括：

分别获得所述缩放图像中每个像素点的灰度值对应的Hessian矩阵；

获取每个Hessian矩阵的最大特征值，并求取每个最大特征值对应的特征向量，作为所述像素点的法向量。

14.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-12中任一项所述的线状缺陷检测方法对应的操作。

15.一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-12中任一项所述的线状缺陷检测方法对应的操作。

16.一种线状缺陷检测***，其特征在于，所述线状缺陷检测***包括图像采集设备和计算机设备，所述计算机设备用于实现如权利要求1-12中任一项所述的线状缺陷检测方法对应的操作。

Images