CN115908269A - 视觉缺陷检测方法、装置、存储介质和计算机设备 - Google Patents

Abstract

本申请公开了一种视觉缺陷检测方法、装置、存储介质和计算机设备。方法包括：获取待检测对象的油墨区的目标图像；对目标图像进行边缘提取处理，确定目标图像中感兴趣区域的梯度图像，梯度图像包括边缘轮廓信息；根据边缘轮廓信息中像素点的图像梯度的绝对值，生成梯度图像对应的缺陷图像；根据缺陷图像，确定油墨区的缺陷信息。本申请的方法，能够针对较为微小的缺陷进行快速且精准的识别，实现了单方向下不均匀背景的缺陷检测，大大提升缺陷检测的可靠性，有助于提高产品的良品率。

Description

视觉缺陷检测方法、装置、存储介质和计算机设备

技术领域

本申请涉及计算机设备技术领域，尤其是涉及到一种视觉缺陷检测方法、装置、存储介质和计算机设备。

背景技术

手机盖板作为手机的重要零部件，其表面的缺陷严重影响着产品质量和用户体验，手机盖板通常由盖板玻璃、胶层、Sensor Glass及液晶面板四部分组成。随着人工智能、机器学习等相关理论的迅猛发展，基于机器视觉的无损检测技术日趋用于各类工业产品的检测中，手机盖板亦是其中之一。机器视觉技术通过机器视觉装置将被摄取目标转换成图像信号，传送给专用的图像处理***，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理***对这些信号进行各种运算来抽取目标的特征。但是，为了防止各像素混色和漏光的问题，手机盖板通常会制作油墨(Black Matrix，BM)区，与手机盖板的可操作(Active Area，AA)区和可视(View Area，VA)区不同，油墨区具有较高的遮光度。若缺陷位于油墨区，使得缺陷相对于油墨区背景的对比度很低，现有的缺陷检测方法无法快速准确地实现油墨区微弱缺陷的检测。

发明内容

有鉴于此，本申请提供了一种视觉缺陷检测方法、装置、存储介质和计算机设备，解决了难以快速准确地检测出油墨区缺陷的问题。

根据本申请的一个方面，提供了一种视觉缺陷检测方法，包括：

获取待检测对象的油墨区的目标图像；

对目标图像进行边缘提取处理，确定目标图像中感兴趣区域的梯度图像，梯度图像包括边缘轮廓信息；

根据边缘轮廓信息中像素点的图像梯度的绝对值，生成梯度图像对应的缺陷图像；

根据缺陷图像，确定油墨区的缺陷信息。

可选地，缺陷图像包括至少一个缺陷区域，根据缺陷图像，确定油墨区的缺陷信息，包括：

确定至少一个缺陷区域中面积符合预设面积范围的第一缺陷区域；

对第一缺陷区域进行融合处理，得到目标缺陷区域；

提取目标缺陷区域的缺陷信息。

可选地，对第一缺陷区域进行融合处理，包括：

确定第一缺陷区域的边缘上的任两个特征点之间的特征点距离；

若特征点距离位于预设距离范围内，对第一缺陷区域进行形态学处理，得到目标缺陷区域，其中，形态学处理包括形态学膨胀处理和/或形态学腐蚀处理。

可选地，对第一缺陷区域进行形态学处理，包括：

根据第一缺陷区域的边缘上特征点的位置和预设面积范围对应的膨胀/腐蚀矩阵，将缺陷图像中的第一像素点集合中的像素点的像素值赋值为特征点的像素值，得到目标缺陷区域；

其中，膨胀/腐蚀矩阵为第一像素点集合中所有像素点与特征点在预设距离范围内的相对位置矩阵，膨胀/腐蚀矩阵包括在第一缺陷区域沿目标方向平移后的第一区域图像中不包含在对第一缺陷区域进行膨胀/腐蚀运算后得到的第二区域图像的像素点相对于第一区域图像的原点的位置矩阵。

可选地，对目标图像进行边缘提取处理，确定目标图像中感兴趣区域的梯度图像，包括：

获取感兴趣区域参数；

根据感兴趣区域参数，确定目标图像中的感兴趣区域；

根据感兴趣区域中像素点的像素值，将目标图像转换为梯度图像；

识别梯度图像中的边缘轮廓信息。

可选地，根据感兴趣区域中像素点的像素值，将目标图像转换为梯度图像，包括：

若感兴趣区域中相邻像素点的像素值之间的差值大于预设差值，根据相邻像素点的排布方向确定边缘检测方向；

按照边缘检测方向，利用索贝尔算子对目标图像进行边缘检测处理，得到梯度图像。

可选地，获取待检测对象的油墨区的目标图像，包括：

采集待检测对象的油墨区图像；

按照预设缩放比例对油墨区图像进行缩放处理；

对缩放处理后的油墨区图像的进行灰度处理，得到灰度图像；

对灰度图像进行平滑去噪处理，得到目标图像。

可选地，对灰度图像进行平滑去噪处理，包括：

对灰度图像进行均值滤波处理或中值滤波处理。

可选地，对缩放处理后的油墨区图像的进行灰度处理，包括：

根据灰度映射公式对缩放处理后的油墨区图像的像素值执行灰度映射，确定像素值对应的灰度值；

按照灰度值对缩放处理后的油墨区图像进行处理，得到灰度图像。

可选地，视觉缺陷检测方法还包括：

将缺陷信息输入分析模型，确定缺陷图像中目标缺陷区域的缺陷类别，

其中，缺陷信息包括以下至少一种：圆度、外接矩形尺寸信息、缺陷凸度、缺陷面积、灰度均值、灰度方差和缺陷数量。

根据本申请的另一方面，提供了一种视觉缺陷检测装置，包括：

获取模块，用于获取待检测对象的油墨区的目标图像；

图像处理模块，用于对目标图像进行边缘提取处理，确定目标图像中感兴趣区域的梯度图像，梯度图像包括边缘轮廓信息；以及，根据边缘轮廓信息中像素点的图像梯度的绝对值，生成梯度图像对应的缺陷图像；

检测模块，根据缺陷图像，确定油墨区的缺陷信息。

可选地，缺陷图像包括至少一个缺陷区域，视觉缺陷检测装置，还包括：

确定模块，用于确定至少一个缺陷区域中面积符合预设面积范围的第一缺陷区域；

融合模块，用于对第一缺陷区域进行融合处理，得到目标缺陷区域；

检测模块，具体用于提取目标缺陷区域的缺陷信息。

可选地，融合模块，具体用于确定第一缺陷区域的边缘上的任两个特征点之间的特征点距离；若特征点距离位于预设距离范围内，对第一缺陷区域进行形态学处理，得到目标缺陷区域，其中，形态学处理包括形态学膨胀处理和/或形态学腐蚀处理。

可选地，融合模块，具体用于根据第一缺陷区域的边缘上特征点的位置和预设距离范围对应的膨胀/腐蚀矩阵，将缺陷图像中的第一像素点集合中的像素点的像素值赋值为特征点的像素值，得到目标缺陷区域；其中，膨胀/腐蚀矩阵为第一像素点集合中所有像素点与特征点在预设距离范围内的相对位置矩阵，膨胀/腐蚀矩阵包括在第一缺陷区域沿目标方向平移后的第一区域图像中不包含在对第一缺陷区域进行膨胀/腐蚀运算后得到的第二区域图像的像素点相对于第一区域图像的原点的位置矩阵。

可选地，视觉缺陷检测装置，还包括：

输入模块，用于获取感兴趣区域参数；

图像处理模块，具体用于根据感兴趣区域参数，确定目标图像中的感兴趣区域；以及，根据感兴趣区域中像素点的像素值，将目标图像转换为梯度图像；以及，识别梯度图像中的边缘轮廓信息。

可选地，图像处理模块，具体用于若感兴趣区域中相邻像素点的像素值之间的差值大于预设差值，根据相邻像素点的排布方向确定边缘检测方向；按照边缘检测方向，利用索贝尔算子对目标图像进行边缘检测处理，得到梯度图像。

可选地，获取模块，具体包括：

图像采集模块，用于采集待检测对象的油墨区图像；

预处理模块，用于按照预设缩放比例对油墨区图像进行缩放处理；以及，对缩放处理后的油墨区图像的进行灰度处理，得到灰度图像；以及，对灰度图像进行平滑去噪处理，得到目标图像。

可选地，预处理模块，具体用于对灰度图像进行均值滤波处理或中值滤波处理。

可选地，预处理模块，具体用于根据灰度映射公式对缩放处理后的油墨区图像的像素值执行灰度映射，确定像素值对应的灰度值；按照灰度值对缩放处理后的油墨区图像进行处理，得到灰度图像。

可选地，视觉缺陷检测装置，还包括：

分析模块，用于将缺陷信息输入分析模型，确定缺陷图像中目标缺陷区域的缺陷类别，其中，缺陷信息包括以下至少一种：圆度、外接矩形尺寸信息、缺陷凸度、缺陷面积、灰度均值、灰度方差和缺陷数量。

根据本申请再一个方面，提供了可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现上述视觉缺陷检测方法的步骤。

根据本申请又一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，处理器执行程序时实现上述视觉缺陷检测方法的步骤。

借由上述技术方案，对待检测对象的油墨区的目标图像进行处理，将目标图像中感兴趣区域对应的图像部分转换为梯度图像。利用梯度图像中各个像素点的图像梯度即可快速识别出梯度图像中存在缺陷的缺陷区域。通过计算出的图像梯度的绝对值绘制梯度图像对应的缺陷图像，以从梯度图像中过滤出缺陷区域，并删除非缺陷的背景区域。最后根据缺陷图像，提取油墨区的缺陷信息。从而利用图像梯度计算突出图像中的异常边缘轮廓，以准确区分目标图像中较为平滑的部分和存在凹凸的部分，避免了因油墨区对比度较低导致的缺陷检测准确度不足的问题，即使较为微小的缺陷也能够进行快速且精准的识别，实现了单方向下不均匀背景的缺陷检测，大大提升缺陷检测的可靠性，有助于提高产品的良品率。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请实施例提供的视觉缺陷检测方法的流程示意图之一；

图2示出了本申请实施例提供的视觉缺陷检测方法的流程示意图之二；

图3示出了本申请实施例提供的视觉缺陷检测装置的结构示意图；

图4示出了本申请实施例提供的目标图像的示意图之一；

图5示出了本申请实施例提供的梯度图像的示意图；

图6示出了本申请实施例提供的缺陷图像的示意图之一；

图7示出了本申请实施例提供的缺陷图像的示意图之二；

图8示出了本申请实施例提供的缺陷图像的示意图之三；

图9示出了本申请实施例提供的目标图像的示意图之二。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“相接”到另一元件时，它可以直接连接或相接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“相接”可以包括无线连接或无线稠接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。应当理解的是，提供这些实施例是为了使得本申请的公开彻底且完整，并且将这些示例性实施例的构思充分传达给本领域普通技术人员。

在本实施例中提供了一种视觉缺陷检测方法，如图1所示，该方法包括：

步骤101，获取待检测对象的油墨区的目标图像；

具体地，待检测对象可以是移动终端的盖板、半导体晶圆片、车载后视镜等具备油墨区的平面工件，平面工件的材料可以是玻璃、塑料、金属或树脂。油墨(Black Matrix，BM)区，又称为黑色矩阵区，是指平面工件中涂覆有不透光的黑色遮光层的区域，其主要的作用为隔绝RGB以防止在外观上的混色，增进色彩对比性，避免光电流产生，同时起到遮光的作用。

在该实施例中，先获取待检测对象的油墨区的目标图像，以便于利用机器视觉技术对目标图像进行检测处理，从而对待检测对象的油墨区中存在的缺陷进行检测。

进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，步骤101，获取待检测对象的油墨区的目标图像，具体包括：

步骤101-1，采集待检测对象的油墨区图像；

步骤101-2，按照预设缩放比例对油墨区图像进行缩放处理；

其中，预设缩放比例用于将油墨区图像缩放至指定尺寸，预设缩放比例可通过用户输入进行配置，或者根据油墨区图像的实际尺寸匹配得到。

在该实施例中，控制摄像装置对待检测对象的油墨区进行拍摄，得到油墨区图像。按照预设缩放比例缩放油墨区图像，也即降分辨率处理，不仅使缩放处理后的油墨区图像能够满足机器视觉检测的图像尺寸需求，有助于提高检测速度，而且能够在放大微小的缺陷，同时降低因图像过大而失真的可能性，有助于将一个大的干扰缩小为一个很小的干扰，保证了油墨区图像的清晰度，有助于提高检测精度和速度，进而降低检测所需的时间。

例如，现场用的油墨区图像尺寸(8000×12000)已超出预设尺寸范围，为了满足检测速度，需要缩放图像。当然，对于图像尺寸适宜的油墨区图像，也即油墨区图像尺寸位于预设尺寸范围内，可以不进行缩放处理。

步骤101-3，对缩放处理后的油墨区图像的进行灰度处理，得到灰度图像；

步骤101-4，对灰度图像进行平滑去噪处理，得到目标图像。

在该实施例中，在缩放处理后，通过灰度处理增大油墨区图像中缺陷与背景之间的灰度差异，使得缺陷与背景之间的差异构成较大的对比度，给予缺陷区域更高的增益，以便于滤除油墨区图像中无用的背景部分。进一步地，考虑到灰度处理时对缺陷与噪声进行了无区别对待，在增强缺陷的同时也增强了噪声，为了降低噪声对后续检测造成误差影响，通过平滑去噪处理去除图像中的高斯白噪声，提升图像信噪比，进一步突出图像中的缺陷，以便于实现快速且准确的缺陷检测。

具体地，对缩放处理后的油墨区图像的灰度处理，包括：根据灰度映射公式对油墨区图像的像素值执行灰度映射，确定像素值对应的灰度值；按照灰度值对缩放处理后的油墨区图像进行处理，以实现对图像进行不同级别的灰度处理。例如，灰度处理级别具体可以是2(二值化)、4、6、8、16、32等。以4级灰度处理为例，灰度处理过程具体为：将0至255这256个灰度级别划分为4段：[0，63]、[64，127]、[128，191]、[192，255]，将图像中灰度值在[0，63]范围之内的像素点的灰度值映射为第一灰度值，灰度值在[64，127]范围之内的像素点的灰度值映射为第二灰度值，灰度值在[128，191]范围之内的像素点的灰度值映射为第三灰度值，灰度值在[192，255]范围之内的像素点的灰度值映射为第四灰度值，从而呈现出不同灰度的分辨率差异。

具体地，对灰度图像进行平滑去噪处理，包括：对灰度图像进行均值滤波处理或中值滤波处理。从而通过中值滤波处理滤除图像中波动较大的异常像素值(如，椒盐噪声)，可以保护图像中尖锐的边缘，或者通过均值滤波处理滤除图像中相邻像素点的像素值更加平滑，进而去除图像中的颗粒噪声。使最终获得的目标图像可靠性、抗干扰性、可性度更高。

值得一提的是，除了灰度处理和平滑去噪处理以外，还可以采用几何畸变矫正处理、锐化处理、对比度增强处理等图像预处理方式对油墨区图像中的真实信息进行加强。

步骤102，对目标图像进行边缘检测处理，确定目标图像中感兴趣区域的梯度图像；

其中，梯度图像包括边缘轮廓信息，边缘轮廓信息包括边缘轮廓对应像素点在梯度图像中的坐标、图像梯度或图像梯度的绝对值(梯度值)等。

在该实施例中，用户可按需选取需要进行缺陷检测的感兴趣区域。以感兴趣区域中像素点的像素值作为梯度转换依据，对目标图像进行边缘检测处理，从而将目标图像配置成根据图像中边缘轮廓的成分指标值判定在每个细分区域中是否存在缺陷的梯度图像。从而利用图像梯度计算突出图像中的异常边缘轮廓，以准确区分目标图像中较为平滑的部分和存在凹凸的部分，避免了因油墨区对比度较低导致的缺陷检测准确度不足的问题，即使较为微小的缺陷也能够进行快速且精准的识别，大大提升缺陷检测的可靠性。

进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，步骤102，也即对目标图像进行边缘检测处理，确定目标图像中感兴趣区域的梯度图像，具体包括：

步骤102-1，获取感兴趣区域参数；

其中，感兴趣区域参数用于区分目标图像中的感兴趣区域，例如，用户通过滑动操作在屏幕上圈出的感兴趣区域的边界，或者用户输入的感兴趣区域的端点坐标或边界尺寸。

步骤102-2，根据感兴趣区域参数，确定目标图像中的感兴趣区域；

其中，感兴趣区域(Region Of Interest，ROI)对应的图形可以是规则的，也可以是不规则的。

步骤102-3，根据感兴趣区域中像素点的像素值，将目标图像转换为梯度图像；

其中，用户可按需选取需要进行缺陷检测的感兴趣区域。

在该实施例中，考虑到缺陷对应的灰度值有多种，背景对应的灰度值也有多种，若直接采用像素值进行分辨容易将灰度值相似的背景识别为缺陷，为了降低边缘检测误差，以感兴趣区域中像素点的像素值作为梯度转换依据，计算对感兴趣区域中各个像素点的图像梯度，从而构造出梯度图像，从而通过不同的图像梯度剔除假的边缘，以明显区分背景和缺陷，有助于精准识别缺陷。

具体地，图像梯度是指图像某像素相对于其相邻像素在X和Y两个方向上的变化率，梯度是一个二维向量，由X轴的变化、Y轴的变化这2个分量组成。

在具体应用场景中，若感兴趣区域中相邻像素点的像素值之间的差值大于预设差值，也即相邻像素点之间较为明显的差异，则根据相邻像素点的排布方向，也即目标图像的像素变化方向，设置边缘检测方向。再参照边缘检测方向，利用索贝尔算子(Sobeloperator)进行边缘检测处理，以将目标图像转换为梯度图像。例如，如图4中的箭头所示，目标图像从左到右渐变，也即像素变化方向为X轴方向，则在计算梯度时将边缘检测方向设置为Y轴方向。同理，目标图像从上到下渐变时，将边缘检测方向设置为X轴方向。

步骤102-4，识别梯度图像中的边缘轮廓信息。

在该实施例中，像素点图像梯度的绝对值(梯度值)越大，说明像素值发生跃迁，也即灰度值变化较大，该像素点位于边缘的可能性越高；相反，像素点梯度值越小，其灰度值变化较小，则对应于图像中比较平滑的部分。由此转换后得到的梯度图像能够呈现出明显的边缘轮廓。故而，基于梯度图像的图像梯度即可完成梯度图像中的因缺陷产生的边缘轮廓的识别，并提取对应的确定边缘轮廓信息。以便于利用边缘轮廓信息中各个像素点的图像梯度绝对值快速识别出梯度图像中存在缺陷的缺陷区域，进而增强对弱小缺陷的识别和检测。

步骤103，根据边缘轮廓信息中像素点的图像梯度的绝对值，生成梯度图像对应的缺陷图像；

在该实施例中，通过边缘轮廓信息中像素点的图像梯度的绝对值，将梯度图像中的异常部分提取出来，构成包含有至少一个缺陷区域的缺陷图像，以便于后续对缺陷进行识别和检测。

步骤104，根据缺陷图像，确定油墨区的缺陷信息。

在该实施例中，通过计算出的图像梯度的绝对值绘制梯度图像对应的缺陷图像，以从梯度图像中过滤出缺陷区域，并删除非缺陷的背景区域。最后根据缺陷图像，提取油墨区的缺陷信息。从而利用图像梯度计算突出图像中的异常边缘轮廓，以准确区分目标图像中较为平滑的部分和存在凹凸的部分，避免了因油墨区对比度较低导致的缺陷检测准确度不足的问题，即使较为微小的缺陷也能够进行快速且精准的识别，实现了单方向下不均匀背景的缺陷检测，大大提升缺陷检测的可靠性，有助于提高产品的良品率。

本实施例的缺陷检测的方法的执行主体为具备图像处理功能和/或图像采集功能的计算机设备，计算机设备具体可以是：计算机、平板电脑、手机等等，本申请实施例并不对此进行限定。

需要说明的是，缺陷是灰度异常的像素集合，它们构成了一个连通域，这个连通域就是缺陷区域。

进一步地，缺陷图像包括至少一个缺陷区域，步骤104，也即根据缺陷图像，提取油墨区的缺陷信息，具体包括：

步骤104-1，确定至少一个缺陷区域中面积符合预设面积范围的第一缺陷区域；

在该实施例中，比对每个缺陷区域的面积和预设面积范围，并将面积位于预设面积范围的缺陷区域记作第一缺陷区域。从而通过预设面积范围对可能存在缺陷的缺陷区域进行筛选，去除面积过大或过小的区域，从而减少图像处理过程中或非缺陷引入的误差，实现多种阈值的缺陷检测，有利于提高缺陷检测精度。

步骤104-2，对第一缺陷区域进行融合处理，得到目标缺陷区域；

在该实施例中，考虑到图像处理过程中可将一个缺陷识别为两个第一缺陷区域，或两个第一缺陷区域之间的距离较近可能存在重叠区域，容易降低缺陷的识别精度。为此，基于形态学方法，对第一缺陷区域进行融合，以填充第一缺陷区域内部的孔洞区域或两个第一缺陷区域之间的空白区域，从而使融合处理后的目标缺陷区域能够更加贴合缺陷实际的形态，使得通过缺陷区域提取的缺陷信息更加准确，便于快速分析出缺陷区域对应的缺陷类型，为后续检测和加工提供可靠的数据支持。

在实际应用场景中，步骤104-2，也即对第一缺陷区域进行融合处理，具体包括：

步骤104-2-a，确定第一缺陷区域的边缘上的任两个特征点之间的特征点距离；

可以理解的是，任两个特征点可以位于同一个第一缺陷区域的边缘，也可以分别位于两个不同第一缺陷区域的边缘。

步骤104-2-b，若特征点距离位于预设距离范围内，对第一缺陷区域进行形态学处理，得到目标缺陷区域。

其中，形态学处理包括形态学膨胀处理和/或形态学腐蚀处理。图像腐蚀是一种消除图像边界点，使图像边界向内部收缩的过程，可用来消除小且无意义的区域。形态学膨胀处理也称之为图像开运算，对图像进行膨胀处理是将与区域接触的所有背景点合并到该区域中，使边界向外部扩张的过程，从而消除小区域、在纤细点处分离区域、平滑较大区域的边界的同时并不明显改变其面积。

在该实施例中，通过第一缺陷区域的边缘上的任两个特征点之间的特征点距离判断一个第一缺陷区域内部是否存在孔洞或或不同第一缺陷区域是否距离较近。若特征点距离位于预设距离范围内，说明一个第一缺陷区域内部是否存在孔洞区域，或不同第一缺陷区域为同一缺陷分割而成，或多个第一缺陷区域之间距离较近可能存在重叠，则基于形态学方法，对第一缺陷区域进行融合，以填充第一缺陷区域内部的孔洞区域或两个第一缺陷区域之间的空白区域，从而让属于同一缺陷的区域得以连通，保证了融合处理后的目标缺陷区域能够更加贴合缺陷实际的形态，使得通过缺陷区域提取的缺陷信息更加准确，便于快速分析出缺陷区域对应的缺陷类型，为后续检测和加工提供可靠的数据支持。

值得一提的是，在任两个特征点位于同一个第一缺陷区域的边缘的情况下，当任两个特征点之间的特征点距离位于预设距离范围内，说明该第一缺陷区域内部存在孔洞区域，此时，可通过形态学处理对孔洞区域进行填充，以对第一缺陷区域中不同部位进行融合。在任两个特征点分别位于两个第一缺陷区域的边缘的情况下，当任两个特征点之间的特征点距离位于预设距离范围内，说明两个第一缺陷区域的边界相靠近，这两个第一缺陷区域可能是图像边缘检测或预处理时造成的针对同一个缺陷分割出的不同区域或两个第一缺陷区域之间距离较近可以近似视为一个缺陷，此时，基于形态学，可通过形态学处理对两个第一缺陷区域的边界之间构成的空白区域进行填充，以对这两个第一缺陷区域进行融合。

具体地，对第一缺陷区域进行形态学处理的步骤包括：根据特征点的位置和膨胀/腐蚀矩阵(二维结构元素)，将缺陷图像中的第一像素点集合中的像素点的像素值赋值为该特征点的像素值，得到目标缺陷区域。其中，第一像素点集合中所有像素点与特征点在预设距离范围的临界值(最大值和最小值)的相对位置矩阵为膨胀/腐蚀矩阵，膨胀/腐蚀矩阵可以为包含在第一缺陷区域沿目标方向平移后的区域图像中不包含在对第一缺陷区域进行膨胀/腐蚀运算后得到的区域图像的像素点相对于平移后的区域图像的原点的位置矩阵，膨胀/腐蚀矩阵用于表示预设面积范围。

可以理解的是，对于第一缺陷区域可能进行多次融合处理。

步骤104-3，提取目标缺陷区域的缺陷信息。

具体举例来说，以待检测物体为手机前盖为例，如图4所示，在获得手机前盖的BM图像后根据设定的缩放比例，将BM图像进行缩放，得到目标尺寸的图像(目标图像)。如图5所示，根据输入的ROI参数通过边缘提取方法，对目标尺寸的图像提取边缘，得到带有边缘轮廓的梯度图像。如图6所示，对梯度图像求绝对值，得到绝对值图像(缺陷图像)，并根据得到的绝对值图像，通过阈值分割，得到初步的缺陷轮廓信息。如图7所示，通过设定的预筛选最小面积(预设面积范围)，结合缩放因子，筛选出符合条件的缺陷。如图8所示，根据缺陷内部融合最小最大阈值，通过形态学方法，对得到的缺陷进行融合，以针对同一个缺陷分割成不同区域做融合。根据设定的距离融合阈值(预设距离范围中的阈值)，通过形态学方法，对缺陷做进一步的距离融合，如图9所示，按照设定的最小、最大面积阈值(第二预设面积范围)，做进一步的筛选得到最终的真实缺陷(目标缺陷区域)，将目标缺陷区轮廓映射在目标图像上，以便于缺陷信息提取。

进一步地，如图2所示，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，视觉缺陷检测方法还包括：

步骤201，将缺陷信息输入分析模型，确定缺陷图像中目标缺陷区域的缺陷类别。

其中，缺陷信息包括以下至少一种：圆度、外接矩形尺寸信息、缺陷凸度、缺陷面积、灰度均值、灰度方差和缺陷数量。

在该实施例中，通过预先配置的分析模型对缺陷信息进行分析，以，依据缺陷信息中不同矢量对不同缺陷进行定性判断。从而辅助用户精确检测和识别诸如线状刮伤、点状刮伤、脏污、亮白点、毛丝异物等缺陷。

例如，如果目标缺陷区域有较大的长宽比，则可以确定为狭长型的线刮或者毛丝异物缺陷。如果目标缺陷区域其圆度较大，则可能为片状脏污，本申请实施例不再一一例举。

进一步地，如图3所示，作为上述视觉缺陷检测方法的具体实现，本申请实施例提供了一种视觉缺陷检测装置300，该视觉缺陷检测装置300包括：获取模块301、图像处理模块302以及检测模块303。

其中，获取模块301，用于获取待检测对象的油墨区的目标图像；图像处理模块302，用于对目标图像进行边缘提取处理，确定目标图像中感兴趣区域的梯度图像，梯度图像包括边缘轮廓信息；以及，根据边缘轮廓信息中像素点的图像梯度的绝对值，生成梯度图像对应的缺陷图像；检测模块303，根据缺陷图像，确定油墨区的缺陷信息。

在该实施例中，对待检测对象的油墨区的目标图像进行处理，将目标图像中感兴趣区域对应的图像部分转换为梯度图像。利用梯度图像中各个像素点的图像梯度即可快速识别出梯度图像中存在缺陷的缺陷区域。通过计算出的图像梯度的绝对值绘制梯度图像对应的缺陷图像，以从梯度图像中过滤出缺陷区域，并删除非缺陷的背景区域。最后根据缺陷图像，提取油墨区的缺陷信息。从而利用图像梯度计算突出图像中的异常边缘轮廓，以准确区分目标图像中较为平滑的部分和存在凹凸的部分，避免了因油墨区对比度较低导致的缺陷检测准确度不足的问题，即使较为微小的缺陷也能够进行快速且精准的识别，实现了单方向下不均匀背景的缺陷检测，大大提升缺陷检测的可靠性，有助于提高产品的良品率。

进一步地，缺陷图像包括至少一个缺陷区域，视觉缺陷检测装置300，还包括：确定模块(图中未示出)，确定模块用于确定至少一个缺陷区域中面积符合预设面积范围的第一缺陷区域；融合模块(图中未示出)，融合模块用于对第一缺陷区域进行融合处理，得到目标缺陷区域；检测模块303，具体用于提取目标缺陷区域的缺陷信息。

进一步地，融合模块，具体用于确定第一缺陷区域的边缘上的任两个特征点之间的特征点距离；若特征点距离位于预设距离范围内，对第一缺陷区域进行形态学处理，得到目标缺陷区域，其中，形态学处理包括形态学膨胀处理和/或形态学腐蚀处理。

进一步地，融合模块，具体用于根据第一缺陷区域的边缘上特征点的位置和预设距离范围对应的膨胀/腐蚀矩阵，将缺陷图像中的第一像素点集合中的像素点的像素值赋值为特征点的像素值，得到目标缺陷区域；其中，膨胀/腐蚀矩阵为第一像素点集合中所有像素点与特征点在预设距离范围内的相对位置矩阵，膨胀/腐蚀矩阵包括在第一缺陷区域沿目标方向平移后的第一区域图像中不包含在对第一缺陷区域进行膨胀/腐蚀运算后得到的第二区域图像的像素点相对于第一区域图像的原点的位置矩阵。

进一步地，视觉缺陷检测装置300，还包括：输入模块(图中未示出)，输入模块用于获取感兴趣区域参数；图像处理模块302，具体用于根据感兴趣区域参数，确定目标图像中的感兴趣区域；以及，根据感兴趣区域中像素点的像素值，将目标图像转换为梯度图像；以及，识别梯度图像中的边缘轮廓信息。

进一步地，图像处理模块302，具体用于若感兴趣区域中相邻像素点的像素值之间的差值大于预设差值，根据相邻像素点的排布方向确定边缘检测方向；按照边缘检测方向，利用索贝尔算子对目标图像进行边缘检测处理，得到梯度图像。

进一步地，获取模块301，具体包括：图像采集模块(图中未示出)，图像采集模块用于采集待检测对象的油墨区图像；预处理模块(图中未示出)，预处理模块用于按照预设缩放比例对油墨区图像进行缩放处理；以及，对缩放处理后的油墨区图像的进行灰度处理，得到灰度图像；以及，对灰度图像进行平滑去噪处理，得到目标图像。

进一步地，预处理模块，具体用于对灰度图像进行均值滤波处理或中值滤波处理。

进一步地，预处理模块，具体用于根据灰度映射公式对缩放处理后的油墨区图像的像素值执行灰度映射，确定像素值对应的灰度值；按照灰度值对缩放处理后的油墨区图像进行处理，得到灰度图像。

进一步地，视觉缺陷检测装置300，还包括：分析模块(图中未示出)，分析模块用于将缺陷信息输入分析模型，确定缺陷图像中目标缺陷区域的缺陷类别，其中，缺陷信息包括以下至少一种：圆度、外接矩形尺寸信息、缺陷凸度、缺陷面积、灰度均值、灰度方差和缺陷数量。

关于视觉缺陷检测装置的具体限定可以参见上文中对于视觉缺陷检测方法的限定，在此不再赘述。上述视觉缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的视觉缺陷检测方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。

基于上述如图1和图2所示的方法，以及图3所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的视觉缺陷检测方法。

可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作***、网络通信模块。操作***是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现获取待检测对象的油墨区的目标图像；对目标图像进行边缘提取处理，确定目标图像中感兴趣区域的梯度图像，梯度图像包括边缘轮廓信息；根据边缘轮廓信息中像素点的图像梯度的绝对值，生成梯度图像对应的缺陷图像；根据缺陷图像，确定油墨区的缺陷信息。本申请实施例通过计算出的图像梯度的绝对值绘制梯度图像对应的缺陷图像，以从梯度图像中过滤出缺陷区域，并删除非缺陷的背景区域。最后根据缺陷图像，提取油墨区的缺陷信息。从而利用图像梯度计算突出图像中的异常边缘轮廓，以准确区分目标图像中较为平滑的部分和存在凹凸的部分，避免了因油墨区对比度较低导致的缺陷检测准确度不足的问题，即使较为微小的缺陷也能够进行快速且精准的识别，实现了单方向下不均匀背景的缺陷检测，大大提升缺陷检测的可靠性，有助于提高产品的良品率。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (22)

1.一种视觉缺陷检测方法，其特征在于，所述方法包括：

获取待检测对象的油墨区的目标图像；

对所述目标图像进行边缘提取处理，确定所述目标图像中感兴趣区域的梯度图像，所述梯度图像包括边缘轮廓信息；

根据所述边缘轮廓信息中像素点的图像梯度的绝对值，生成所述梯度图像对应的缺陷图像；

根据所述缺陷图像，确定所述油墨区的缺陷信息。

2.根据权利要求1所述的视觉缺陷检测方法，其特征在于，所述缺陷图像包括至少一个缺陷区域；所述根据所述缺陷图像，确定所述油墨区的缺陷信息，包括：

确定所述至少一个缺陷区域中面积符合预设面积范围的第一缺陷区域；

对所述第一缺陷区域进行融合处理，得到目标缺陷区域；

提取所述目标缺陷区域的缺陷信息。

3.根据权利要求2所述的视觉缺陷检测方法，其特征在于，所述对所述第一缺陷区域进行融合处理，包括：

确定所述第一缺陷区域的边缘上的任两个特征点之间的特征点距离；

若所述特征点距离位于预设距离范围内，对所述第一缺陷区域进行形态学处理，得到所述目标缺陷区域，其中，所述形态学处理包括形态学膨胀处理和/或形态学腐蚀处理。

4.根据权利要求3所述的视觉缺陷检测方法，其特征在于，所述对所述第一缺陷区域进行形态学处理，包括：

根据所述第一缺陷区域的边缘上特征点的位置和所述预设面积范围对应的膨胀/腐蚀矩阵，将缺陷图像中的第一像素点集合中的像素点的像素值赋值为所述特征点的像素值，得到所述目标缺陷区域；

其中，所述膨胀/腐蚀矩阵为所述第一像素点集合中所有像素点与所述特征点在所述预设距离范围内的相对位置矩阵，所述膨胀/腐蚀矩阵包括在所述第一缺陷区域沿目标方向平移后的第一区域图像中不包含在对所述第一缺陷区域进行膨胀/腐蚀运算后得到的第二区域图像的像素点相对于所述第一区域图像的原点的位置矩阵。

5.根据权利要求1至4中任一项所述的视觉缺陷检测方法，其特征在于，所述对所述目标图像进行边缘提取处理，确定所述目标图像中感兴趣区域的梯度图像，包括：

获取感兴趣区域参数；

根据所述感兴趣区域参数，确定所述目标图像中的感兴趣区域；

根据所述感兴趣区域中像素点的像素值，将所述目标图像转换为梯度图像；

识别所述梯度图像中的所述边缘轮廓信息。

6.根据权利要求5所述的视觉缺陷检测方法，其特征在于，所述根据所述感兴趣区域中像素点的像素值，将所述目标图像转换为梯度图像，包括：

若所述感兴趣区域中相邻像素点的像素值之间的差值大于预设差值，根据所述相邻像素点的排布方向确定边缘检测方向；

按照所述边缘检测方向，利用索贝尔算子对所述目标图像进行边缘检测处理，得到所述梯度图像。

7.根据权利要求1至4中任一项所述的视觉缺陷检测方法，其特征在于，所述获取待检测对象的油墨区的目标图像，包括：

采集所述待检测对象的油墨区图像；

按照预设缩放比例对所述油墨区图像进行缩放处理；

对缩放处理后的所述油墨区图像的进行灰度处理，得到灰度图像；

对所述灰度图像进行平滑去噪处理，得到所述目标图像。

8.根据权利要求7所述的视觉缺陷检测方法，其特征在于，所述对所述灰度图像进行平滑去噪处理，包括：

对所述灰度图像进行均值滤波处理或中值滤波处理。

9.根据权利要求8所述的视觉缺陷检测方法，其特征在于，所述对缩放处理后的所述油墨区图像的进行灰度处理，包括：

根据灰度映射公式对缩放处理后的所述油墨区图像的像素值执行灰度映射，确定所述像素值对应的灰度值；

按照所述灰度值对缩放处理后的所述油墨区图像进行处理，得到所述灰度图像。

10.根据权利要求1至4中任一项所述的视觉缺陷检测方法，其特征在于，所述方法还包括：

将所述缺陷信息输入分析模型，确定所述缺陷图像中目标缺陷区域的缺陷类别，

其中，所述缺陷信息包括以下至少一种：圆度、外接矩形尺寸信息、缺陷凸度、缺陷面积、灰度均值、灰度方差和缺陷数量。

11.一种视觉缺陷检测装置，其特征在于，所述装置包括：

获取模块，用于获取待检测对象的油墨区的目标图像；

图像处理模块，用于对所述目标图像进行边缘提取处理，确定所述目标图像中感兴趣区域的梯度图像，所述梯度图像包括边缘轮廓信息；以及，

根据所述边缘轮廓信息中像素点的图像梯度的绝对值，生成所述梯度图像对应的缺陷图像；

检测模块，用于根据所述缺陷图像，确定所述油墨区的缺陷信息。

12.根据权利要求11所述的视觉缺陷检测装置，其特征在于，所述缺陷图像包括至少一个缺陷区域；所述视觉缺陷检测装置，还包括：

确定模块，用于确定所述至少一个缺陷区域中缺陷区域面积符合预设面积范围的第一缺陷区域；

融合模块，用于对所述第一缺陷区域进行融合处理，得到第二缺陷区域；

所述确定模块，还用于确定第二缺陷区域中区域面积符合第二预设面积范围的目标缺陷区域；

所述检测模块，具体用于提取所述目标缺陷区域的缺陷信息。

13.根据权利要求12所述的视觉缺陷检测装置，其特征在于，

所述融合模块，具体用于确定所述第一缺陷区域的边缘上的任两个特征点之间的特征点距离；若所述特征点距离位于预设距离范围内，对所述第一缺陷区域进行形态学处理，得到所述第二缺陷区域，其中，所述形态学处理包括形态学膨胀处理和/或形态学腐蚀处理。

14.根据权利要求13所述的视觉缺陷检测装置，其特征在于，

所述融合模块，具体用于根据所述第一缺陷区域的边缘上特征点的位置和所述预设距离范围对应的膨胀/腐蚀矩阵，将缺陷图像中的第一像素点集合中的像素点的像素值赋值为所述特征点的像素值，得到所述第二缺陷区域；

其中，所述膨胀/腐蚀矩阵为所述第一像素点集合中所有像素点与所述特征点在所述预设距离范围内的相对位置矩阵，所述膨胀/腐蚀矩阵包括在所述第一缺陷区域沿目标方向平移后的第一区域图像中不包含在对所述第一缺陷区域进行膨胀/腐蚀运算后得到的第二区域图像的像素点相对于所述第一区域图像的原点的位置矩阵。

15.根据权利要求11至14中任一项所述的视觉缺陷检测装置，其特征在于，所述视觉缺陷检测装置，还包括：

输入模块，用于获取感兴趣区域参数；

所述图像处理模块，具体用于根据所述感兴趣区域参数，确定所述目标图像中的感兴趣区域；以及，

根据所述感兴趣区域中像素点的像素值，将所述目标图像转换为梯度图像；以及，

识别所述梯度图像中的所述边缘轮廓信息。

16.根据权利要求15所述的视觉缺陷检测装置，其特征在于，

所述图像处理模块，具体用于若所述感兴趣区域中相邻像素点的像素值之间的差值大于预设差值，根据所述相邻像素点的排布方向确定边缘检测方向；

按照所述边缘检测方向，利用索贝尔算子对所述目标图像进行边缘检测处理，得到所述梯度图像。

17.根据权利要求11至14中任一项所述的视觉缺陷检测装置，其特征在于，所述获取模块，具体包括：

图像采集模块，用于采集所述待检测对象的油墨区图像；

预处理模块，用于按照预设缩放比例对所述油墨区图像进行缩放处理；以及，

对缩放处理后的所述油墨区图像的进行灰度处理，得到灰度图像；以及

对所述灰度图像进行平滑去噪处理，得到所述目标图像。

18.根据权利要求17所述的视觉缺陷检测装置，其特征在于，

所述预处理模块，具体用于对所述灰度图像进行均值滤波处理或中值滤波处理。

19.根据权利要求18所述的视觉缺陷检测装置，其特征在于，

所述预处理模块，具体用于根据灰度映射公式对缩放处理后的所述油墨区图像的像素值执行灰度映射，确定所述像素值对应的灰度值；

按照所述灰度值对缩放处理后的所述油墨区图像进行处理，得到所述灰度图像。

20.根据权利要求11至14中任一项所述的视觉缺陷检测装置，其特征在于，所述视觉缺陷检测装置，还包括：

分析模块，用于将所述缺陷信息输入分析模型，确定所述缺陷图像中目标缺陷区域的缺陷类别，

其中，所述缺陷信息包括以下至少一种：圆度、外接矩形尺寸信息、缺陷凸度、缺陷面积、灰度均值、灰度方差和缺陷数量。

21.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至10中任一项所述的视觉缺陷检测方法的步骤。

22.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至10中任一项所述的视觉缺陷检测方法。

Images