CN116703874A - 目标检测方法、装置及存储介质 - Google Patents

Abstract

本公开涉及一种目标检测方法、装置及存储介质，可以获取待检测对象的目标图像；对所述目标图像进行离群点检测，得到缺陷检测提示点，所述缺陷检测提示点为所述目标图像上有缺陷检测信息的像素点，所述缺陷检测信息用于指示所述像素点是否为缺陷像素点；根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测。

Description

目标检测方法、装置及存储介质

技术领域

本公开涉及计算机视觉领域，尤其涉及一种目标检测方法、装置及存储介质。

背景技术

压铸件是一种压力铸造的零件。压力铸造的生产过程较为复杂，压铸件表面不可避免的会产生许多缺陷(如冷隔、缩孔、缩松、裂纹、凹陷等缺陷)。显然，存在缺陷的压铸件会影响后续基于压铸件制作的产品的质量，因此，有必要对压铸件表面的缺陷进行检测。

发明内容

为克服相关技术中存在的问题，本公开提供一种目标检测方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种目标检测方法，包括：

获取待检测对象的目标图像；

对所述目标图像进行离群点检测，得到缺陷检测提示点，所述缺陷检测提示点为所述目标图像上有缺陷检测信息的像素点，所述缺陷检测信息用于指示所述像素点是否为缺陷像素点；

根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测。

可选地，所述对所述目标图像进行离群点检测，得到缺陷检测提示点包括：

对所述目标图像进行特征提取，得到所述待检测对象的第一特征图；

对所述第一特征图进行离群点检测，得到所述缺陷检测提示点。

可选地，所述对所述第一特征图进行离群点检测，得到所述缺陷检测提示点包括：

获取所述第一特征图上，每个第一像素点分别对应的特征向量；

根据每个第一像素点分别对应的所述特征向量，通过预设离群点检测模型确定每个第一像素点分别对应的离群分数，所述离群分数表征对应的第一像素点是否属于离群像素点；

根据每个第一像素点分别对应的所述离群分数，确定所述缺陷检测提示点。

可选地，所述根据每个第一像素点分别对应的所述离群分数，确定所述缺陷检测提示点包括：

对所述第一特征图进行上采样，得到与所述目标图像的尺寸相同的第二特征图；

针对每个第一像素点，根据所述第一像素点的离散分数，确定所述第二特征图上第二像素点的离散分数，所述第二像素点为与所述第一像素点对应的像素点；

根据所述第二特征图上每个第二像素点的离群分数确定所述缺陷检测提示点。

可选地，所述缺陷检测提示点包括缺陷检测正样本提示点和缺陷检测负样本提示点；所述根据所述第二特征图上每个第二像素点的离群分数确定所述缺陷检测提示点包括：

获取第一预设缺陷检测比例；

按照所述离群分数对所述第二像素点进行大小排序后，按照从大到小的顺序选取排序结果中所述第一预设缺陷检测比例的第二像素点作为所述缺陷检测正样本提示点，并按照从小到大的顺序选取排序结果中所述第一预设缺陷检测比例的第二像素点作为所述缺陷检测负样本提示点。

可选地，所述对所述目标图像进行特征提取，得到所述待检测对象的第一特征图包括：

将所述目标图像输入预先训练得到的特征提取模型后，获取所述特征提取模型的至少一个预设中间层分别输出的图像特征；

将至少一个预设中间层分别输出的图像特征按照特征通道进行拼接后，得到拼接特征；

对所述拼接特征进行随机采样后，得到所述第一特征图。

可选地，所述根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测包括：

通过执行缺陷检测步骤对所述待检测对象进行缺陷检测；

所述缺陷检测步骤包括：

从所述缺陷检测正样本提示点中获取预设数量的目标正样本提示点；

从所述缺陷检测负样本提示点中获取预设数量的目标负样本提示点；

将预设数量的所述目标正样本提示点和预设数量的所述目标负样本提示点输入所述目标检测模型后，根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域。

可选地，所述根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域包括：

在执行第一预设次数的所述缺陷检测步骤后，将每次检测得到的所述图像分割区域的交集作为所述目标图像区域。

可选地，所述根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域包括：

在执行第二预设次数的所述缺陷检测步骤后，获取每次检测得到的所述图像分割区域，所述第二预设次数大于第一预设次数；

针对所述图像分割区域中的每个像素点，根据所述像素点在每次检测得到的图像分割区域中的像素值，确定所述像素点对应的目标像素值；

根据所述图像分割区域中每个像素点的所述目标像素值确定所述目标图像区域。

可选地，所述根据所述像素点在每次检测得到的图像分割区域中的像素值，确定所述像素点对应的目标像素值包括：

统计所述像素点的像素值为第一指定像素值的次数；

在所述次数大于或者等于预设次数阈值的情况下，将所述第一指定像素值作为所述像素点对应的所述目标像素值；

在所述次数小于所述预设次数阈值的情况下，将第二指定像素值作为所述像素点对应的所述目标像素值，其中，所述第一指定像素值表征对应的像素点为缺陷的像素点，所述第二指定像素值表征对应的像素点为非缺陷的像素点。

可选地，所述根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域包括：

获取第二预设缺陷检测比例，所述第二预设缺陷检测比例大于所述第一预设缺陷检测比例；

按照所述离群分数对所述第二像素点进行大小排序后，按照从小到大的顺序选取排序结果中所述第二预设缺陷检测比例的第二像素点作为掩膜像素点，并将所述掩膜像素点对应的图像区域作为图像掩膜，所述图像掩膜对应的图像区域中不存在所述缺陷；

根据模型输出的图像分割区域和所述图像掩膜确定所述目标图像区域。

可选地，所述目标检测模型包括视觉大模型SAM。

根据本公开实施例的第二方面，提供一种目标检测装置，包括：

获取模块，被配置为获取待检测对象的目标图像；

第一检测模块，被配置为对所述目标图像进行离群点检测，得到缺陷检测提示点，所述缺陷检测提示点为所述目标图像上有缺陷检测信息的像素点，所述缺陷检测信息用于指示所述像素点是否为缺陷像素点；

第二检测模块，被配置为根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测。

可选地，所述第一检测模块，被配置为对所述目标图像进行特征提取，得到所述待检测对象的第一特征图；对所述第一特征图进行离群点检测，得到所述缺陷检测提示点。

可选地，所述第一检测模块，被配置为获取所述第一特征图上，每个第一像素点分别对应的特征向量；根据每个第一像素点分别对应的所述特征向量，通过预设离群点检测模型确定每个第一像素点分别对应的离群分数，所述离群分数表征对应的第一像素点是否属于离群像素点；根据每个第一像素点分别对应的所述离群分数，确定所述缺陷检测提示点。

可选地，所述第一检测模块，被配置为对所述第一特征图进行上采样，得到与所述目标图像的尺寸相同的第二特征图；针对每个第一像素点，根据所述第一像素点的离散分数，确定所述第二特征图上第二像素点的离散分数，所述第二像素点为与所述第一像素点对应的像素点；根据所述第二特征图上每个第二像素点的离群分数确定所述缺陷检测提示点。

可选地，所述缺陷检测提示点包括缺陷检测正样本提示点和缺陷检测负样本提示点；所述第一检测模块，被配置为获取第一预设缺陷检测比例；

按照所述离群分数对所述第二像素点进行大小排序后，按照从大到小的顺序选取排序结果中所述第一预设缺陷检测比例的第二像素点作为所述缺陷检测正样本提示点，并按照从小到大的顺序选取排序结果中所述第一预设缺陷检测比例的第二像素点作为所述缺陷检测负样本提示点。

可选地，所述第一检测模块，被配置为将所述目标图像输入预先训练得到的特征提取模型后，获取所述特征提取模型的至少一个预设中间层分别输出的图像特征；将至少一个预设中间层分别输出的图像特征按照特征通道进行拼接后，得到拼接特征；对所述拼接特征进行随机采样后，得到所述第一特征图。

可选地，所述第二检测模块，被配置为通过执行缺陷检测步骤对所述待检测对象进行缺陷检测；

所述缺陷检测步骤包括：

从所述缺陷检测正样本提示点中获取预设数量的目标正样本提示点；

从所述缺陷检测负样本提示点中获取预设数量的目标负样本提示点；

将预设数量的所述目标正样本提示点和预设数量的所述目标负样本提示点输入所述目标检测模型后，根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域。

可选地，所述第二检测模块，被配置为在执行第一预设次数的所述缺陷检测步骤后，将每次检测得到的所述图像分割区域的交集作为所述目标图像区域。

可选地，所述第二检测模块，被配置为在执行第二预设次数的所述缺陷检测步骤后，获取每次检测得到的所述图像分割区域，所述第二预设次数大于第一预设次数；针对所述图像分割区域中的每个像素点，根据所述像素点在每次检测得到的图像分割区域中的像素值，确定所述像素点对应的目标像素值；根据所述图像分割区域中每个像素点的所述目标像素值确定所述目标图像区域。

可选地，所述第二检测模块，被配置为统计所述像素点的像素值为第一指定像素值的次数；在所述次数大于或者等于预设次数阈值的情况下，将所述第一指定像素值作为所述像素点对应的所述目标像素值；在所述次数小于所述预设次数阈值的情况下，将第二指定像素值作为所述像素点对应的所述目标像素值，其中，所述第一指定像素值表征对应的像素点为缺陷的像素点，所述第二指定像素值表征对应的像素点为非缺陷的像素点。

可选地，所述第二检测模块，被配置为获取第二预设缺陷检测比例，所述第二预设缺陷检测比例大于所述第一预设缺陷检测比例；按照所述离群分数对所述第二像素点进行大小排序后，按照从小到大的顺序选取排序结果中所述第二预设缺陷检测比例的第二像素点作为掩膜像素点，并将所述掩膜像素点对应的图像区域作为图像掩膜，所述图像掩膜对应的图像区域中不存在所述缺陷；根据模型输出的图像分割区域和所述图像掩膜确定所述目标图像区域。

可选地，所述目标检测模型包括视觉大模型SAM。

根据本公开实施例的第三方面，提供一种目标检测装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取待检测对象的目标图像；

对所述目标图像进行离群点检测，得到缺陷检测提示点，所述缺陷检测提示点为所述目标图像上有缺陷检测信息的像素点，所述缺陷检测信息用于指示所述像素点是否为缺陷像素点；

根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的目标检测方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：通过对目标图像进行离群点检测，得到缺陷检测提示点，以便后续的目标检测模型可以基于该缺陷检测提示点进行缺陷检测，从而避免了需要人工提供缺陷提示，实现了对待检测对象进行自动化的缺陷检测，提高检测效率。与此同时，本公开提供的该目标检测方法还无需进行大量的缺陷数据的标注，从而节省了检测成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种目标检测方法的流程图。

图2是根据图1所示实施例示出的另一种目标检测方法的流程图。

图3是根据图2所示实施例示出的一种目标检测方法的流程图。

图4是根据图3所示实施例示出的一种目标检测的方法的流程图。

图5是根据一示例性实施例示出的一种目标检测装置的框图。

图6是根据一示例性实施例示出的一种用于目标检测的装置800的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

本公开主要应用于基于计算机视觉技术对待检测对象进行缺陷检测的场景中。其中，该待检测对象例如可以包括生产线上生产的零部件(如压铸件)。以压铸件为例，在对生产后的压铸件进行缺陷检测时，通常可以在生产线上拍摄压铸件的X光图像，然后通过安装在工控机上的计算机视觉检测算法基于X光图像获得压铸件的缺陷检测结果。

现有的缺陷检测方案主要包含两类：基于传统视觉检测方法和基于视觉监督的检测方法。其中，基于传统视觉检测方法主要通过图像阈值分割、边缘检测、离群点检测等方法获得检测结果，但是这类方法容易受到复杂背景的影响，难以应用到压铸件的缺陷检测中；基于视觉监督的检测方法主要通过目标检测、图像分割等方法，通过数据学习缺陷的图像特征，最终实现缺陷的检测，然而这类方法通常需要大量的缺陷数据标注，其标注成本较高。

另外，在计算机视觉领域，视觉大模型(例如Segment Anything Model，SAM)可以做到无需样本标注检测和分割图像中的物体。然而，这类大模型在自然界中稀缺的语义很难做到准确分割，例如，复杂压铸件的缺陷检测。现有方法可以通过人工交互的方法为视觉大模型SAM提供提示，例如，通过指定图像中目标所在像素点、边界框、掩模和文本等，从而实现较为准确的分割。但是这种方法依赖于人工的交互，无法进行自动化的压铸件的缺陷检测，其检测效率较低，从而难以应用于实际的生产环节。

为解决上述存在的问题，本公开提供一种目标检测方法、装置及存储介质。下面结合附图对本公开的具体实施方式进行详细说明。

图1是根据一示例性实施例示出的一种目标检测方法的流程图，该方法可以应用于待检测对象的生产线上的工控机，如图1所示，该方法包括以下步骤：

在步骤S101中，获取待检测对象的目标图像。

其中，该目标图像可以为X光图像。在本步骤中，可以通过X光图像采集设备获取待检测对象的X光图像。

在获取到该待检测对象的X光图像后，可以对该X光图像进行灰度处理得到灰度图像后，基于该灰度图像进行后续的特征提取以及缺陷检测。

在步骤S102中，对所述目标图像进行离群点检测，得到缺陷检测提示点，所述缺陷检测提示点为所述目标图像上有缺陷检测信息的像素点，所述缺陷检测信息用于指示所述像素点是否为缺陷像素点。

在本公开中，该缺陷检测提示点可以包括缺陷检测正样本提示点和缺陷检测负样本提示点，其中，缺陷检测正样本提示点为目标图像上属于待检测对象的缺陷的像素点，缺陷检测负样本提示点为目标图像上不属于待检测对象的缺陷的像素点。

在步骤S103中，根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测。

在本步骤中，可以将该缺陷检测提示点输入至该目标检测模型后，通过该目标检测模型输出该待检测对象的缺陷检测结果，该缺陷检测结果可以为在目标对象上标注出的缺陷区域。

另外，该目标检测模型可以包括视觉大模型(又称之为“图像分割大模型”或者“视觉基础模型”)，例如可以为SAM模型，SAM模型可以在不需要标注的情况下，对图像中的目标对象进行分割，通过该视觉大模型SAM可以获得比较精确的缺陷检测结果。

采用上述方法，通过对目标图像进行离群点检测，得到缺陷检测提示点，以便后续的目标检测模型可以基于该缺陷检测提示点进行缺陷检测，从而避免了需要人工提供缺陷提示，实现了对待检测对象进行自动化的缺陷检测，提高检测效率。与此同时，本公开提供的该目标检测方法还无需进行大量的缺陷数据的标注，从而节省了检测成本。

图2是根据图1所示实施例示出的另一种目标检测方法的流程图，如图2所示，步骤S102包括以下子步骤：

在步骤S1021中，对所述目标图像进行特征提取，得到所述待检测对象的第一特征图。

在本步骤中，可以通过以下方式实现对该目标图像的特征提取：

将所述目标图像输入预先训练得到的特征提取模型后，获取所述特征提取模型的至少一个预设中间层分别输出的图像特征；将至少一个预设中间层分别输出的图像特征按照特征通道进行拼接后，得到拼接特征；对所述拼接特征进行随机采样后，得到所述第一特征图。

其中，该特征提取模型例如可以为在ImageNet数据集上预训练得到的resnet50网络模型，resnet50网络模型的模型参数可以采用在ImageNet上预训练的参数进行初始化。另外，resnet50网络的模型结构可以包括输入层input、输出层output以及连接在输入层和输出层之间的多个预设中间层(例如，可以分别记为layer0、layer1、layer2......)，不同的预设中间层之间可以顺序连接，这样，resnet50网络的模型结构例如可以表示为input→layer0→layer1→layer2→......→layerN→output，不同的预设中间层用于提取输入图像不同维度的特征，并且输入图像通过输入层输入resnet50网络模型后，经过各个预设中间层进行追层下采样，特征图像尺寸逐渐减小，特征通道数逐渐增加。

示例地，以对压铸件进行缺陷检测为例，可以获取通过X光图像采集设备采集的压铸件的X光图像，并进行灰度化处理得到灰度图像。之后可以根据该特征提取模型的输入参数(包括输入图像的尺寸数据)，调整该灰度图像的图像尺寸，例如可以将图像尺寸调整为224*224的图像。针对每张待提取特征的调整尺寸后的图像，可以将该图像输入至resnet50网络，之后可以获取resnet50网络中的预设中间层layer1、预设中间层layer2以及预设中间层layer3分别输出的图像特征，例如，预设中间层layer1输出的图像特征维度为256*56*56，预设中间层layer2输出的图像特征维度为512*28*28，预设中间层layer3输出的图像特征维度为1024*14*14，其中每个图像特征维度的第一维度表示特征通道数，第二维度和第三维度表示图像尺寸，之后可以将预设中间层layer2输出的图像特征进行二倍上采样成为512*56*56，将预设中间层layer3输出的图像特征进行四倍上采样成为1024*56*56，这样可以将三个预设中间层分别输出的图像特征按照特征通道进行拼接后，得到拼接特征，该拼接特征的尺寸即为1972*56*56，然后对所述拼接特征进行随机采样后，得到第一特征图，该第一特征图的特征维度例如可以为200*56*56，上述示例仅是举例说明，本公开对此不作限定。

这样，采用深度学习中的特征提取模型对目标图像进行特征提取，得到待检测对象的第一特征图后，后续基于该第一特征图进行离群点检测，可以节省计算资源，同时提升离群点检测的效率。

在步骤S1022中，对所述第一特征图进行离群点检测，得到所述缺陷检测提示点。

图3是根据图2所示实施例示出的一种目标检测方法的流程图，如图3所示，步骤S1022包括以下子步骤：

在步骤S10221中，获取所述第一特征图上，每个第一像素点分别对应的特征向量。

一种可能的实现方式中，针对该第一特征图上的每个第一像素点，可以沿着通道方向获取到每个第一像素点分别对应的该特征向量。例如，假设该第一特征图的尺寸为200*56*56为例，可以沿着通道方向获取到56*56个第一像素点中，每个第一像素点分别对应的200维的特征向量，此处仅是举例说明，本公开对此不作限定。

另外，在进行离群点检测时，也可以对多张第一特征图进行批量处理，例如，在本步骤中，可以将N张图像分别对应的第一特征图进行叠加，得到尺寸为N*200*56*56，然后沿着通道方向获取到每个第一像素点分别对应的N*200维的特征向量。

在获取到第一特征图中每个第一像素点分别对应的该特征向量后，可以对该特征向量进行归一化处理，变为单位向量，以便基于该单位向量进行后续的离群点检测。

在步骤S10222中，根据每个第一像素点分别对应的所述特征向量，通过预设离群点检测模型确定每个第一像素点分别对应的离群分数，所述离群分数表征对应的第一像素点是否属于离群像素点。

其中，该预设离群点检测模型可以为任一离群点检测算法对应的检测模型，例如，该预设离群点检测模型可以为LOF(Local Outlier Factor，局部离群因子)算法对应的离群点检测模型。

在本步骤一种可能的实现方式中，针对每个第一像素点，使用LOF模型对该第一像素点的特征向量和其它每个第一像素点的特征向量进行距离度量后，得到该第一像素点对应的该离群分数，通常情况下，该离群分数越高，表征该第一像素点属于离群像素点的概率越大。

举例来说，对于N张200*56*56的第一特征图来说，通过预设离群点检测模型确定出每个第一像素点分别对应的离群分数后，得到的离群分数矩阵的维度为N*56*56。

在步骤S10223中，根据每个第一像素点分别对应的所述离群分数，确定所述缺陷检测提示点。

在本步骤中，可以对所述第一特征图进行上采样，得到与所述目标图像的尺寸相同的第二特征图；针对每个第一像素点，根据所述第一像素点的离散分数，确定所述第二特征图上第二像素点的离散分数，所述第二像素点为与所述第一像素点对应的像素点；根据所述第二特征图上每个第二像素点的离群分数确定所述缺陷检测提示点。

考虑到本公开需确定的缺陷检测结果为在目标图像上标注出缺陷图像区域，因此，需要对该第一特征图进行上采样，得到与该目标图像的尺寸相同的第二特征图，该第二特征图上的第二像素点与目标图像上的像素点一一对应，这样，在确定出该第二特征图上的离群像素点后，即可确定出目标图像上的缺陷像素点。

示例地，以对一张第一特征图进行离群点检测为例，假设进行离群点检测后得到的离群分数矩阵的维度为56*56，原始目标图像的尺寸为224*224，因此，需要对该第一特征图进行四倍上采样，得到第二特征图，该第二特征图的尺寸即为224*224，可以理解的是，将第一特征图进行四倍上采样，得到第二特征图后，第一特征图上的每个第一像素点，在该第二特征图上均存在与之对应的四个第二像素点，这样，在该第一像素点的离散分数为a的情况下，该第二特征图上与之对应的四个第二像素点的离散分数也分别为a，这样，即实现了根据第一像素点的离散分数，确定出第二特征图上每个第二像素点的离散分数，上述示例仅是举例说明，本公开对此不作限定。

另外，在本公开中，所述缺陷检测提示点包括缺陷检测正样本提示点和缺陷检测负样本提示点；其中，该缺陷检测正样本提示点为目标图像上属于待检测对象的缺陷的像素点，缺陷检测负样本提示点为目标图像上不属于待检测对象的缺陷的像素点。

这样，本公开根据所述第二特征图上每个第二像素点的离群分数确定所述缺陷检测提示点的过程中，一种可能的实现方式可以是：获取第一预设缺陷检测比例；按照所述离群分数对所述第二像素点进行大小排序后，按照从大到小的顺序选取排序结果中所述第一预设缺陷检测比例的第二像素点作为所述缺陷检测正样本提示点，并按照从小到大的顺序选取排序结果中所述第一预设缺陷检测比例的第二像素点作为所述缺陷检测负样本提示点。

以对压铸件进行缺陷检测为例，在对压铸件进行缺陷检测的场景中，压铸件上的缺陷(如裂纹、冷隔等)在目标图像上的像素与压铸件上的非缺陷区域在目标图像上的像素的差异较大，并且总体来说，压铸件上的缺陷对应的像素点在整个目标图像上的占比相对较少，因此，压铸件上的缺陷对应的像素点可以视为离群像素点，这样，可以根据该离群分数确定第二特征图上的第二像素点中，哪些像素点属于压铸件的缺陷像素点，哪些像素点不属于压铸件缺陷的像素点，并将属于压铸件缺陷的像素点视为该缺陷检测正样本提示点，将不属于压铸件缺陷的像素点视为该缺陷检测负样本提示点。

示例地，假设该第一预设缺陷检测比例为5％，如前文所述，该离群分数越高，表征对应的像素点属于离群像素点的概率越大，因此，在按照离群分数对所述第二像素点进行大小排序后，按照从大到小的顺序选取排序结果中前5％(即离群分数最高的前5％的第二像素点)的第二像素点作为该缺陷检测正样本提示点，并选取后5％(即离群分数最低的后5％的第二像素点)的第二像素点作为该缺陷检测负样本提示点，上述示例仅是举例说明，本公开对此不作限定。

图4是根据图3所示实施例示出的一种目标检测的方法的流程图，在本公开一种可能的实现方式中，在步骤S103中可以通过执行缺陷检测步骤对所述待检测对象进行缺陷检测，如图4所示，缺陷检测步骤包括以下几个步骤：

在步骤S1031中，从所述缺陷检测正样本提示点中获取预设数量的目标正样本提示点；

在步骤S1032中，从所述缺陷检测负样本提示点中获取预设数量的目标负样本提示点；

在步骤S1033中，将预设数量的所述目标正样本提示点和预设数量的所述目标负样本提示点输入所述目标检测模型后，根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域。

其中，该目标检测模型例如可以为SAM模型，该目标图像区域即为标注出的缺陷区域。

示例地，对于每张目标图像，可以从该目标图像对应的缺陷检测正样本提示点中随机采样3个点(即预设数量)作为正样本提示点，从该目标图像对应的缺陷检测负样本提示点中随机采样3个点(即预设数量)作为负样本提示点，然后将正样本提示点和负样本提示点输入至SAM模型，通过该SAM模型输出图像分割区域M，这样可以将该图像分割区域M作为该目标图像区域，此处仅是举例说明，本公开对此不作限定。

在本公开另一种可能的实现方式中，为了提高缺陷检测结果的准确性，可以通过执行多次上述的缺陷检测步骤，得到多个模型输出的图像分割区域，然后取多个图像分割区域的交集作为该目标图像区域。

也就是说，本公开还可以在执行第一预设次数的所述缺陷检测步骤后，将每次检测得到的所述图像分割区域的交集作为所述目标图像区域。

示例地，可以重复执行缺陷检测步骤三次(即该第一预设次数)后，获取到三个图像分割区域分别记为M1、M2、M3，这样可以取M1、M2、M3的交集作为该目标图像区域。

在本公开又一种可能的实现方式中，还可以在执行第二预设次数的所述缺陷检测步骤后，获取每次检测得到的所述图像分割区域，所述第二预设次数大于第一预设次数；针对所述图像分割区域中的每个像素点，根据所述像素点在每次检测得到的图像分割区域中的像素值，确定所述像素点对应的目标像素值；根据所述图像分割区域中每个像素点的所述目标像素值确定所述目标图像区域。

其中，可以通过以下方式根据所述像素点在每次检测得到的图像分割区域中的像素值，确定所述像素点对应的目标像素值：

统计所述像素点的像素值为第一指定像素值的次数；在所述次数大于或者等于预设次数阈值的情况下，将所述第一指定像素值作为所述像素点对应的所述目标像素值；在所述次数小于所述预设次数阈值的情况下，将第二指定像素值作为所述像素点对应的所述目标像素值，其中，所述第一指定像素值表征对应的像素点为缺陷的像素点，所述第二指定像素值表征对应的像素点为非缺陷的像素点。

其中，该第一指定像素值可以为表征像素点属于缺陷像素点的像素值，该第二指定像素值可以为表征像素点属于非缺陷像素点的像素值，例如，第一指定像素值可以为1，第二指定像素值可以为0。

示例地，假设第一指定像素值为1，第二指定像素值为0，在重复执行上述的缺陷检测步骤100次(即该第二预设次数)后，针对每次检测得到的所述图像分割区域，可以对该图像分割区域中每个像素点的像素值进行统计，若该像素点在这100次的缺陷检测中，像素值为1的次数为90次，像素值为0的次数为10次，像素值为1的次数大于预设次数阈值80，那么可以将该像素点对应的目标像素值确定为1，若该像素值为1的次数小于预设次数阈值80，那么可以将该像素点对应的目标像素值确定为0，这样，可以确定出图像分割区域中每个像素点的目标像素值，进而可以将目标像素值为1的像素点的图像区域作为该目标图像区域，上述示例仅是举例说明，本公开对此不作限定。

另外，考虑到基于视觉大模型进行缺陷检测的结果的区域范围可能较大，因此，在本公开又一种可能的实现方式中，可以使用图像掩膜将模型输出的缺陷对应的图像分割区域缩小，从而进一步提高缺陷检测的精度。

因此，在本公开中，该方法还包括：

获取第二预设缺陷检测比例，所述第二预设缺陷检测比例大于所述第一预设缺陷检测比例；例如，该第二预设缺陷检测比例可以为30％，然后按照所述离群分数对所述第二像素点进行大小排序后，按照从小到大的顺序选取排序结果中所述第二预设缺陷检测比例的第二像素点作为掩膜像素点，并将所述掩膜像素点对应的图像区域作为图像掩膜，所述图像掩膜对应的图像区域中不存在所述缺陷；例如，可以按照从小到大的顺序选取排序结果中30％的离群分数最小的第二像素点作为掩膜像素点，并将该掩膜像素点对应的图像区域作为图像掩膜，由于离群分数越小，表征像素点属于缺陷像素点的概率越小，因此，掩膜像素点均为离群分数较小的像素点，所以图像掩膜对应的图像区域中不存在缺陷。

这样，在根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域的过程中，可以根据模型输出的图像分割区域和所述图像掩膜确定所述目标图像区域，通常情况下，可以将图像分割区域与该图像掩膜的差集确定为存在缺陷的该目标图像区域。

图5是根据一示例性实施例示出的一种目标检测装置的框图，如图5所示，该装置包括：

获取模块501，被配置为获取待检测对象的目标图像；

第一检测模块502，被配置为对所述目标图像进行离群点检测，得到缺陷检测提示点，所述缺陷检测提示点为所述目标图像上有缺陷检测信息的像素点，所述缺陷检测信息用于指示所述像素点是否为缺陷像素点；

第二检测模块503，被配置为根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测。

可选地，所述第一检测模块502，被配置为对所述目标图像进行特征提取，得到所述待检测对象的第一特征图；对所述第一特征图进行离群点检测，得到所述缺陷检测提示点。

可选地，所述第一检测模块502，被配置为获取所述第一特征图上，每个第一像素点分别对应的特征向量；根据每个第一像素点分别对应的所述特征向量，通过预设离群点检测模型确定每个第一像素点分别对应的离群分数，所述离群分数表征对应的第一像素点是否属于离群像素点；根据每个第一像素点分别对应的所述离群分数，确定所述缺陷检测提示点。

可选地，所述第一检测模块502，被配置为对所述第一特征图进行上采样，得到与所述目标图像的尺寸相同的第二特征图；针对每个第一像素点，根据所述第一像素点的离散分数，确定所述第二特征图上第二像素点的离散分数，所述第二像素点为与所述第一像素点对应的像素点；根据所述第二特征图上每个第二像素点的离群分数确定所述缺陷检测提示点。

可选地，所述缺陷检测提示点包括缺陷检测正样本提示点和缺陷检测负样本提示点；所述第一检测模块502，被配置为获取第一预设缺陷检测比例；按照所述离群分数对所述第二像素点进行大小排序后，按照从大到小的顺序选取排序结果中所述第一预设缺陷检测比例的第二像素点作为所述缺陷检测正样本提示点，并按照从小到大的顺序选取排序结果中所述第一预设缺陷检测比例的第二像素点作为所述缺陷检测负样本提示点。

可选地，所述第一检测模块502，被配置为将所述目标图像输入预先训练得到的特征提取模型后，获取所述特征提取模型的至少一个预设中间层分别输出的图像特征；将至少一个预设中间层分别输出的图像特征按照特征通道进行拼接后，得到拼接特征；对所述拼接特征进行随机采样后，得到所述第一特征图。

可选地，所述第二检测模块503，被配置为通过执行缺陷检测步骤对所述待检测对象进行缺陷检测；

所述缺陷检测步骤包括：

从所述缺陷检测正样本提示点中获取预设数量的目标正样本提示点；

从所述缺陷检测负样本提示点中获取预设数量的目标负样本提示点；

将预设数量的所述目标正样本提示点和预设数量的所述目标负样本提示点输入所述目标检测模型后，根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域。

可选地，所述第二检测模块503，被配置为在执行第一预设次数的所述缺陷检测步骤后，将每次检测得到的所述图像分割区域的交集作为所述目标图像区域。

可选地，所述第二检测模块503，被配置为在执行第二预设次数的所述缺陷检测步骤后，获取每次检测得到的所述图像分割区域，所述第二预设次数大于第一预设次数；

针对所述图像分割区域中的每个像素点，根据所述像素点在每次检测得到的图像分割区域中的像素值，确定所述像素点对应的目标像素值；

根据所述图像分割区域中每个像素点的所述目标像素值确定所述目标图像区域。

可选地，所述第二检测模块503，被配置为统计所述像素点的像素值为第一指定像素值的次数；

在所述次数大于或者等于预设次数阈值的情况下，将所述第一指定像素值作为所述像素点对应的所述目标像素值；

在所述次数小于所述预设次数阈值的情况下，将第二指定像素值作为所述像素点对应的所述目标像素值，其中，所述第一指定像素值表征对应的像素点为缺陷的像素点，所述第二指定像素值表征对应的像素点为非缺陷的像素点。

可选地，所述第二检测模块503，被配置为获取第二预设缺陷检测比例，所述第二预设缺陷检测比例大于所述第一预设缺陷检测比例；

按照所述离群分数对所述第二像素点进行大小排序后，按照从小到大的顺序选取排序结果中所述第二预设缺陷检测比例的第二像素点作为掩膜像素点，并将所述掩膜像素点对应的图像区域作为图像掩膜，所述图像掩膜对应的图像区域中不存在所述缺陷；根据模型输出的图像分割区域和所述图像掩膜确定所述目标图像区域。

可选地，所述目标检测模型包括视觉大模型SAM。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的目标检测方法的步骤。

图6是根据一示例性实施例示出的一种用于目标检测的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的目标检测方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

输入/输出接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述目标检测方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述目标检测方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的目标检测方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种目标检测方法，其特征在于，包括：

获取待检测对象的目标图像；

对所述目标图像进行离群点检测，得到缺陷检测提示点，所述缺陷检测提示点为所述目标图像上有缺陷检测信息的像素点，所述缺陷检测信息用于指示所述像素点是否为缺陷像素点；

根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行离群点检测，得到缺陷检测提示点包括：

对所述目标图像进行特征提取，得到所述待检测对象的第一特征图；

对所述第一特征图进行离群点检测，得到所述缺陷检测提示点。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一特征图进行离群点检测，得到所述缺陷检测提示点包括：

获取所述第一特征图上，每个第一像素点分别对应的特征向量；

根据每个第一像素点分别对应的所述特征向量，通过预设离群点检测模型确定每个第一像素点分别对应的离群分数，所述离群分数表征对应的第一像素点是否属于离群像素点；

根据每个第一像素点分别对应的所述离群分数，确定所述缺陷检测提示点。

4.根据权利要求3所述的方法，其特征在于，所述根据每个第一像素点分别对应的所述离群分数，确定所述缺陷检测提示点包括：

对所述第一特征图进行上采样，得到与所述目标图像的尺寸相同的第二特征图；

针对每个第一像素点，根据所述第一像素点的离散分数，确定所述第二特征图上第二像素点的离散分数，所述第二像素点为与所述第一像素点对应的像素点；

根据所述第二特征图上每个第二像素点的离群分数确定所述缺陷检测提示点。

5.根据权利要求4所述的方法，其特征在于，所述缺陷检测提示点包括缺陷检测正样本提示点和缺陷检测负样本提示点；所述根据所述第二特征图上每个第二像素点的离群分数确定所述缺陷检测提示点包括：

获取第一预设缺陷检测比例；

按照所述离群分数对所述第二像素点进行大小排序后，按照从大到小的顺序选取排序结果中所述第一预设缺陷检测比例的第二像素点作为所述缺陷检测正样本提示点，并按照从小到大的顺序选取排序结果中所述第一预设缺陷检测比例的第二像素点作为所述缺陷检测负样本提示点。

6.根据权利要求2所述的方法，其特征在于，所述对所述目标图像进行特征提取，得到所述待检测对象的第一特征图包括：

将所述目标图像输入预先训练得到的特征提取模型后，获取所述特征提取模型的至少一个预设中间层分别输出的图像特征；

将至少一个预设中间层分别输出的图像特征按照特征通道进行拼接后，得到拼接特征；

对所述拼接特征进行随机采样后，得到所述第一特征图。

7.根据权利要求5所述的方法，其特征在于，所述根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测包括：

通过执行缺陷检测步骤对所述待检测对象进行缺陷检测；

所述缺陷检测步骤包括：

从所述缺陷检测正样本提示点中获取预设数量的目标正样本提示点；

从所述缺陷检测负样本提示点中获取预设数量的目标负样本提示点；

将预设数量的所述目标正样本提示点和预设数量的所述目标负样本提示点输入所述目标检测模型后，根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域。

8.根据权利要求7所述的方法，其特征在于，所述根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域包括：

在执行第一预设次数的所述缺陷检测步骤后，将每次检测得到的所述图像分割区域的交集作为所述目标图像区域。

9.根据权利要求7所述的方法，其特征在于，所述根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域包括：

在执行第二预设次数的所述缺陷检测步骤后，获取每次检测得到的所述图像分割区域，所述第二预设次数大于第一预设次数；

针对所述图像分割区域中的每个像素点，根据所述像素点在每次检测得到的图像分割区域中的像素值，确定所述像素点对应的目标像素值；

根据所述图像分割区域中每个像素点的所述目标像素值确定所述目标图像区域。

10.根据权利要求9所述的方法，其特征在于，所述根据所述像素点在每次检测得到的图像分割区域中的像素值，确定所述像素点对应的目标像素值包括：

统计所述像素点的像素值为第一指定像素值的次数；

在所述次数大于或者等于预设次数阈值的情况下，将所述第一指定像素值作为所述像素点对应的所述目标像素值；

在所述次数小于所述预设次数阈值的情况下，将第二指定像素值作为所述像素点对应的所述目标像素值，其中，所述第一指定像素值表征对应的像素点为缺陷的像素点，所述第二指定像素值表征对应的像素点为非缺陷的像素点。

11.根据权利要求7所述的方法，其特征在于，所述根据模型输出的图像分割区域确定所述待检测对象上的缺陷对应的目标图像区域包括：

获取第二预设缺陷检测比例，所述第二预设缺陷检测比例大于所述第一预设缺陷检测比例；

按照所述离群分数对所述第二像素点进行大小排序后，按照从小到大的顺序选取排序结果中所述第二预设缺陷检测比例的第二像素点作为掩膜像素点，并将所述掩膜像素点对应的图像区域作为图像掩膜，所述图像掩膜对应的图像区域中不存在所述缺陷；

根据模型输出的图像分割区域和所述图像掩膜确定所述目标图像区域。

12.根据权利要求1-11任一项所述的方法，其特征在于，所述目标检测模型包括视觉大模型SAM。

13.一种目标检测装置，其特征在于，包括：

获取模块，被配置为获取待检测对象的目标图像；

第一检测模块，被配置为对所述目标图像进行离群点检测，得到缺陷检测提示点，所述缺陷检测提示点为所述目标图像上有缺陷检测信息的像素点，所述缺陷检测信息用于指示所述像素点是否为缺陷像素点；

第二检测模块，被配置为根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测。

14.一种目标检测装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取待检测对象的目标图像；

对所述目标图像进行离群点检测，得到缺陷检测提示点，所述缺陷检测提示点为所述目标图像上有缺陷检测信息的像素点，所述缺陷检测信息用于指示所述像素点是否为缺陷像素点；

根据所述缺陷检测提示点通过预先训练得到的目标检测模型对所述待检测对象进行缺陷检测。

15.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～12中任一项所述方法的步骤。