CN113610832A - 一种徽标缺陷检测方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了一种徽标缺陷检测方法、装置、设备和存储介质，方法包括：采集门店中包含徽标的图像作为待检测徽标图像；将待检测徽标图像输入到徽标缺陷检测模型，使得徽标缺陷检测模型对待检测徽标图像进行特征提取，并基于提取到的特征识别待检测徽标图像是否存在缺陷，得到待检测徽标图像的缺陷检测结果；将待检测徽标图像的缺陷检测结果保存至预置数据库，改善了现有的门店徽标通常是通过人工定时检查，存在费时费力、效率低的技术问题。

Description

一种徽标缺陷检测方法、装置、设备和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种徽标缺陷检测方法、装置、设备和存储介质。

背景技术

现有的零售企业通常设计有特定的徽标，它代表着整个企业的形象，因此，在实体门店的徽标通常需要保持清洁、图案完整，不能有缺陷。传统的门店徽标通常是通过人工在手机端或电脑端定时检查，人工查看徽标是否存在缺陷，该方法费时费力，特别是在门店数量较多时，通常采用抽查的方式进行检测，效率较低。

发明内容

本申请提供了一种徽标缺陷检测方法、装置、设备和存储介质，用于改善现有的门店徽标通常是通过人工定时检查，存在费时费力、效率低的技术问题。

有鉴于此，本申请第一方面提供了一种徽标缺陷检测方法，包括：

采集门店中包含徽标的图像作为待检测徽标图像；

将所述待检测徽标图像输入到徽标缺陷检测模型，使得所述徽标缺陷检测模型对所述待检测徽标图像进行特征提取，并基于提取到的特征识别所述待检测徽标图像是否存在缺陷，得到所述待检测徽标图像的缺陷检测结果；

将所述待检测徽标图像的缺陷检测结果保存至预置数据库。

可选的，所述徽标缺陷检测模型的训练过程为：

获取包含徽标的原始图像；

依据所述原始图像中所述徽标的完整程度构建训练样本；

通过所述训练样本训练预先构建的神经网络对徽标进行缺陷检测的能力，直到所述神经网络满足预设的训练条件，将训练完成的神经网络作为徽标缺陷检测模型。

可选的，所述训练样本包括正样本与负样本；所述依据所述原始图像中所述徽标的完整程度构建训练样本，包括：

对所述原始图像中所述徽标的完整程度进行检测，以将所述徽标完整的原始图像作为正样本，所述徽标不完整的原始图像作为负样本；

分别对所述正样本与所述负样本执行数据增强操作，得到由数据增强后的正样本与数据增强后的负样本构成的训练样本；

其中，所述数据增强操作包括但不限于随机裁剪、中心裁剪、随机旋转、随机水平翻转。

可选的，所述对所述原始图像中所述徽标的完整程度进行检测，以将所述徽标完整的原始图像作为正样本，所述徽标不完整的原始图像作为负样本，包括：

检测所述原始图像中所述徽标的特征信息，所述特征信息包括文字信息、图案信息、纹理信息以及亮度信息；

若所述特征信息不满足预设的徽标设计要求，则确认当前检测的徽标为不完整徽标，将该徽标不完整的原始图像作为负样本；

若所述特征信息满足所述徽标设计要求，则确认当前检测的徽标为完整徽标，将该徽标完整的原始图像作为正样本。

可选的，所述文字信息包括文字内容、文字的排版顺序，所述图案信息包括图案内容、图案的颜色，所述纹理信息包括背景纹理、背景颜色，所述亮度信息包括徽标的亮度值；所述徽标设计要求包括目标文字内容、目标文字的排版顺序、目标图案内容、目标图案的颜色、目标背景纹理、目标背景颜色、徽标的目标亮度值；

在所述检测所述原始图像中所述徽标的特征信息之后，还包括：

当确定所述文字内容不符合目标文字内容和\或所述文字的排版顺序不符合目标文字的排版顺序时，确定所述特征信息不满足预设的徽标设计要求；

和/或，

当确定所述图案内容不符合目标图案内容和\或所述图案的颜色不符合目标图案的颜色时，确定所述特征信息不满足预设的徽标设计要求；

和/或，

当确定所述背景纹理不符合目标背景纹理和\或所述背景颜色不符合目标背景颜色时，确定所述特征信息不满足预设的徽标设计要求；

和/或，

当确定所述徽标的亮度值不符合徽标的目标亮度值时，确定所述特征信息不满足预设的徽标设计要求。

可选的，所述通过所述训练样本训练预先构建的神经网络对徽标进行缺陷检测的能力，直到所述神经网络满足预设的训练条件，将训练完成的神经网络作为徽标缺陷检测模型，包括：

将所述训练样本输入预先构建的神经网络中，利用所述神经网络提取所述训练样本中徽标在多个维度下的特征，输出得到由多个所述特征融合的徽标分类特征；

计算所述徽标分类特征的损失值；

若所述损失值大于或等于预设的阈值，则利用所述损失值更新所述神经网络中的参数，返回执行所述将所述训练样本输入预先构建的神经网络中；

若所述损失值小于预设的阈值，则确定所述神经网络训练完成；

将训练完成的神经网络作为徽标缺陷检测模型。

可选的，预先构建的神经网络包括残差网络、注意力机制模块、可变形卷积模块；所述将所述训练样本输入预先构建的神经网络中，利用所述神经网络提取所述训练样本中徽标在多个维度下的特征，输出得到由多个所述特征融合的徽标分类特征，包括：

利用所述残差网络中的多个残差块对所述训练样本执行卷积操作，得到卷积特征；

通过所述注意力机制模块对所述卷积特征按照徽标缺陷的类别进行特征选择，融合特征选择后的多个卷积特征，输出得到徽标分类特征；其中，所述徽标缺陷的类别包括徽标在文字、图案、纹理、亮度中任意一个维度下的缺陷；

其中，所述可变形卷积模块用于调整所述训练样本在整个神经网络的前向传播过程中的特征感受野。

本申请第二方面提供了一种徽标缺陷检测装置，包括：

采集单元，用于采集门店中包含徽标的图像作为待检测徽标图像；

缺陷检测单元，用于将所述待检测徽标图像输入到徽标缺陷检测模型，使得所述徽标缺陷检测模型对所述待检测徽标图像进行特征提取，并基于提取到的特征识别所述待检测徽标图像是否存在缺陷，得到所述待检测徽标图像的缺陷检测结果；

存储单元，用于将所述待检测徽标图像的缺陷检测结果保存至预置数据库。

本申请第三方面提供了一种徽标缺陷检测设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的徽标缺陷检测方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的徽标缺陷检测方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种徽标缺陷检测方法，包括：采集门店中包含徽标的图像作为待检测徽标图像；将待检测徽标图像输入到徽标缺陷检测模型，使得徽标缺陷检测模型对待检测徽标图像进行特征提取，并基于提取到的特征识别待检测徽标图像是否存在缺陷，得到待检测徽标图像的缺陷检测结果；将待检测徽标图像的缺陷检测结果保存至预置数据库。

本申请中，在获取到待检测徽标图像后，通过徽标缺陷检测模型对待检测徽标图像进行特征提取和缺陷检测，并将缺陷检测结果保存至预置数据库供用户查阅，通过徽标缺陷检测模型进行徽标缺陷检测，检测速度快，不需要人工进行徽标缺陷检测，提高了检测效率，从而改善了现有的门店徽标通常是通过人工定时检查，存在费时费力、效率低的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种徽标缺陷检测方法的一个流程示意图；

图2为本申请实施例提供的一种添加SE-Net后的残差块的一个结构示意图；

图3为本申请实施例提供的一种徽标缺陷检测方法的另一个流程示意图；

图4为本申请实施例提供的一种徽标缺陷检测装置的一个结构示意图。

具体实施方式

本申请提供了一种徽标缺陷检测方法、装置、设备和存储介质，用于改善现有的门店徽标通常是通过人工定时检查，存在费时费力、效率低的技术问题。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供了一种徽标缺陷检测方法的一个实施例，该实施例可以适用于对线下实体门店中的商家徽标(Logo)进行检测、定位徽标上的缺陷的场景，该徽标缺陷检测方法可以包括：

步骤101、采集门店中包含徽标的图像作为待检测徽标图像。

可以批量对所有门店的门口场景进行定时拍照，包括早晚开关门情况。可以通过安装在门店中的摄像头或门店的移动端设备定时采集门店内放置的徽标图像作为待检测徽标图像，例如，可以在后台***控制门店摄像头定时执行指定场景的拍摄任务，以获取门店徽标图像作为待检测徽标图像。也可以通过各个门店的店员移动端(例如手机、iPad)定时拍摄门店徽标图像，采集到待检测徽标图像后，可以将其上传至巡店APP。

步骤102、将待检测徽标图像输入到徽标缺陷检测模型，使得徽标缺陷检测模型对待检测徽标图像进行特征提取，并基于提取到的特征识别待检测徽标图像是否存在缺陷，得到待检测徽标图像的缺陷检测结果。

在获取到待检测徽标图像后，可以设置程序定时从巡店APP中批量获取待检测徽标图像，然后调用训练好的徽标缺陷检测模型对待检测徽标图像进行特征提取，通过徽标缺陷检测模型根据提取到的特征识别待检测徽标图像是否完整，从而确定待检测徽标图像是否存在缺陷，得到待检测徽标图像的缺陷检测结果。

进一步，徽标缺陷检测模型的训练过程为：

S1021、获取包含徽标的原始图像。

可以通过巡店APP提供的API(ApplicationProgram Interface，应用程序接口)获取大量包含徽标的原始图像。

S1022、依据原始图像中徽标的完整程度构建训练样本。

本申请实施例中，在获取到原始图像后，检测原始图像中徽标的完整程度，将具有完整徽标的原始图像作为正样本，具有不完整徽标的原始图像作为负样本。具体的，依据原始图像中徽标的完整程度构建训练样本，包括：

对原始图像中徽标的完整程度进行检测，以将徽标完整的原始图像作为正样本，徽标不完整的原始图像作为负样本。

分别对正样本与负样本执行数据增强操作，得到由数据增强后的正样本与数据增强后的负样本构成的训练样本，其中，数据增强操作包括但不限于随机裁剪、中心裁剪、随机旋转、随机水平翻转。

本申请实施例中，对原始图像中徽标的完整程度进行检测，以将徽标完整的原始图像作为正样本，徽标不完整的原始图像作为负样本，包括：

检测原始图像中徽标的特征信息，特征信息包括文字信息、图案信息、纹理信息以及亮度信息；

若特征信息不满足预设的徽标设计要求，则确认当前检测的徽标为不完整徽标，将该徽标不完整的原始图像作为负样本；

若特征信息满足徽标设计要求，则确认当前检测的徽标为完整徽标，将该徽标完整的原始图像作为正样本。

本申请实施例中的文字信息可以包括文字内容、文字的排版顺序等，图案信息可以包括图案内容、图案的颜色、图案的尺寸等，纹理信息可以包括背景纹理(即徽标中除了图案和文字之外的背景的纹理)、背景颜色(即徽标中除了图案和文字之外的背景的颜色)等，亮度信息可以包括徽标的亮度值、颜色对比度等；其中，徽标设计要求为企业设计的特定徽标所符合的要求，本申请实施例中的徽标设计要求可以包括特定的文字内容(目标文字内容)、特定的文字排版顺序(目标文字的排版顺序)、特定的图案构成(目标图案内容)、特定的图案尺寸(目标图案的大小规格)、特定的图案颜色(目标图案的颜色)、特定的背景纹理(目标背景颜色)、特定的背景颜色(目标背景颜色)、徽标的目标亮度值等。

在本发明的一个优选实施例中，文字信息包括文字内容、文字的排版顺序，图案信息包括图案内容、图案的颜色，纹理信息包括背景纹理、背景颜色，亮度信息包括徽标的亮度值；徽标设计要求包括目标文字内容、目标文字的排版顺序、目标图案内容、目标图案的颜色、目标背景纹理、目标背景颜色、徽标的目标亮度值；在检测原始图像中徽标的特征信息之后，还包括：

当确定文字内容不符合目标文字内容和\或文字的排版顺序不符合目标文字的排版顺序时，确定特征信息不满足预设的徽标设计要求；

和/或，

当确定图案内容不符合目标图案内容和\或图案的颜色不符合目标图案的颜色时，确定特征信息不满足预设的徽标设计要求；

和/或，

当确定背景纹理不符合目标背景纹理和\或背景颜色不符合目标背景颜色时，确定特征信息不满足预设的徽标设计要求；

和/或，

当确定徽标的亮度值不符合徽标的目标亮度值时，确定特征信息不满足预设的徽标设计要求。

本申请实施例在检测原始图像中徽标的特征信息后，判定徽标的特征信息是否满足预设的徽标设计要求，根据得到的判定结果区分正样本和负样本。

具体的，在一个示例中，当徽标设计要求包括目标文字内容和/或目标文字的排版顺序时，此时检测原始图像中徽标的特征信息为文字信息，文字信息包括文字内容、文字的排版顺序；当确定文字内容不符合目标文字内容和\或文字的排版顺序不符合目标文字的排版顺序时，确定徽标的特征信息不满足预设的徽标设计要求，则确认当前检测的徽标为不完整徽标，将该徽标不完整的原始图像作为负样本；当确定文字内容符合目标文字内容和\或文字的排版顺序符合目标文字的排版顺序时，确定徽标的特征信息满足徽标设计要求，则确认当前检测的徽标为完整徽标，将该徽标完整的原始图像作为正样本。

在另一个示例中，当徽标设计要求包括目标图案内容和/或目标图案的颜色时，此时检测原始图像中徽标的特征信息为图案信息，图案信息包括图案内容、图案的颜色；当确定图案内容不符合目标图案内容和\或图案的颜色不符合目标图案的颜色时，确定徽标的特征信息不满足预设的徽标设计要求，则确认当前检测的徽标为不完整徽标，将该徽标不完整的原始图像作为负样本；当确定图案内容符合目标图案内容和\或图案的颜色符合目标图案的颜色时，确定徽标的特征信息满足徽标设计要求，则确认当前检测的徽标为完整徽标，将该徽标完整的原始图像作为正样本。

在又一个示例中，当徽标设计要求包括目标背景纹理和/或目标背景颜色时，此时检测原始图像中徽标的特征信息为纹理信息，纹理信息包括背景纹理、背景颜色；当确定背景纹理不符合目标背景纹理和\或背景颜色不符合目标背景颜色时，确定徽标的特征信息不满足预设的徽标设计要求，则确认当前检测的徽标为不完整徽标，将该徽标不完整的原始图像作为负样本；当确定背景纹理符合目标背景纹理和\或背景颜色符合目标背景颜色时，确定徽标的特征信息满足徽标设计要求，则确认当前检测的徽标为完整徽标，将该徽标完整的原始图像作为正样本。

在又一个示例中，当徽标设计要求包括徽标的目标亮度值时，此时检测原始图像中徽标的特征信息为亮度信息，亮度信息包括徽标的亮度值；当确定徽标的亮度值不符合徽标的目标亮度值时，确定徽标的特征信息不满足预设的徽标设计要求，则确认当前检测的徽标为不完整徽标，将该徽标不完整的原始图像作为负样本；当确定徽标的亮度值符合徽标的目标亮度值时，确定徽标的特征信息满足预设的徽标设计要求，则确认当前检测的徽标为完整徽标，将该徽标完整的原始图像作为正样本。

在又一个示例中，当徽标设计要求包括徽标的目标文字内容、目标文字的排版顺序、目标图案内容、目标图案的颜色、目标背景纹理、目标背景颜色以及目标亮度值时，此时检测原始图像中徽标的特征信息包括文字信息、图案信息、纹理信息以及亮度信息，若检测到徽标的特征信息中文字信息、图案信息、纹理信息以及亮度信息任意一种信息不满足徽标的设计要求，则确定当前的原始图像中的徽标为不完整的徽标，将该徽标不完整的原始图像作为负样本；若检测到徽标的特征信息中文字信息、图案信息、纹理信息以及亮度信息均满足徽标的设计要求，则确定当前的原始图像中的徽标为完整的徽标，将该徽标完整的原始图像作为正样本。

可以理解的是，徽标设计要求还可以包括徽标的目标文字内容、目标文字的排版顺序、目标图案内容、目标图案的颜色；或，包括目标背景纹理、目标背景颜色、目标亮度值；或，包括目标文字内容、目标文字的排版顺序、目标亮度值等多种组合情况，不同企业的徽标(Logo)，对应的徽标设计要求也可能不同，具体的徽标设计要求可以根据实际情况具体设置，在此本申请实施例不再一一列举说明。

进一步，本申请实施例考虑到在训练卷积神经网络时，若训练样本的数量太少，会使得训练卷积神经网络不能得到充分训练，导致网络缺陷检测能力较差。基于此，在构建得到正、负样本后，可以对正样本和负样本进行数据增强操作，得到由数据增强后的正样本与数据增强后的负样本构成的训练样本，以扩增训练样本数量，提高训练效果。具体的，可以对正、负样本进行随机裁剪(如将正、负样本随机裁剪到256×256)、中心裁剪(如将正、负样本中心裁剪到224×224)、随机旋转、随机水平翻转等实现数据增强。

S1023、通过训练样本训练预先构建的神经网络对徽标进行缺陷检测的能力，直到神经网络满足预设的训练条件，将训练完成的神经网络作为徽标缺陷检测模型。

在构建得到训练样本后，通过训练样本训练预先构建的神经网络对徽标进行缺陷检测的能力，直到神经网络满足预设的训练条件，将训练完成的神经网络作为徽标缺陷检测模型，包括：

S10231、将训练样本输入预先构建的神经网络中，利用神经网络提取训练样本中徽标在多个维度下的特征，输出得到由多个特征融合的徽标分类特征。

本申请实施例中预先构建的神经网络包括残差网络、注意力机制模块、可变形卷积模块。具体的，将训练样本输入到预先构建的神经网络中，利用残差网络中的多个残差块对训练样本执行卷积操作，得到卷积特征；通过注意力机制模块对卷积特征按照徽标缺陷的类别进行特征选择，融合特征选择后的多个卷积特征，输出得到徽标分类特征；其中，徽标缺陷的类别包括徽标在文字、图案、纹理、亮度中任意一个维度下的缺陷，可变形卷积模块用于调整训练样本在整个神经网络的前向传播过程中的特征感受野。

本申请实施例中的残差网络优选采用ResNet50网络，ResNet50网络由卷积层、4个残差块(Residual Block)和全连接层构成。其中，ResNet50网络中的第一个残差块Block1包括9个二维卷积层；第二个残差块Block2包括12个二维卷积层；第三个残差块Block3包括18个二维卷积层；第四个残差块Block4包括9个二维卷积层。训练时，ResNet50网络在前向传播中，首先对输入图像(即训练样本)执行卷积操作，然后通过4个残差块对卷积层提取的特征进行处理，最后通过全连接层进行分类，也可以对最后一层全连接层进行改进以优化输出，例如可以将最后一个全连接层的输入给到一个有若干个(例如256个)输出单元的线性层，接着再连接ReLU层和Dropout层，最后再连接Softmax层(也称激活层)，通过Softmax层将分类后的输出特征进行归一化，输出各个特征归属类别的置信度，得到最终的分类结果。其中，Dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，即随机丢弃，用于防止过拟合。

本申请实施例中的注意力机制模块优选采用SE-Net(Squeeze-and-ExcitationNetworks)，该模块可以分别添加在残差网络的多个残差块中，SE-Net由全局池化层、两个全连接层和激活函数构成，添加SE-Net后的残差块的结构可以参考图2，SE-Net通过全局池化(Globalpooling)、全连接层(FC)、激活函数(ReLU)、全连接层(FC)和激活函数(Sigmoid)依次对原始残差块输出的卷积特征在通道维度上按照徽标缺陷的类别进行特征选择，徽标缺陷的类别包括文字缺陷(即文字内容不符合目标文字内容和\或文字的排版顺序不符合目标文字的排版顺序)、图案缺陷(即图案内容不符合目标图案内容和\或图案的颜色不符合目标图案的颜色)、纹理缺陷(即背景纹理不符合目标背景纹理和\或背景颜色不符合目标背景颜色)、亮度缺陷(即徽标的亮度值不符合徽标的目标亮度值)，进而得到每个特征通道的置信度，确定每个特征的重要性，然后依据每个特征通道的置信度采用乘法逐通道加权到原始残差块输出的卷积特征上，实现特征选择，最终融合输入到原始残差块的原始特征与特征选择后的卷积特征，输出得到徽标分类特征。SE-Net通过对各个特征通道进行权重分配，帮助网络学习重要的特征信息，进而提高分类准确率。

为了进一步提高网络的分类性能，本申请实施例还可以采用可变形卷积模块(Deformable convolution)替换ResNet50网络中普通的卷积层(Convolution)。具体的，可以采用可变形卷积模块替换残差块中普通的卷积层，本领域技术人员可以根据实际情况具体选择替换哪些残差块，本申请实施例在此不做具体限定。本申请实施例考虑到ResNet50网络结构不够完善，由于其内部网络结构，对未知的变化的建模能力不足，例如在采集徽标图像时，有正面采集徽标图像，也有侧面采集徽标图像，在侧面采集得到的徽标图像因为角度原因会存在一定的形变，使得正面采集的徽标图像中的徽标和侧面采集的徽标图像中的徽标的大小不同，而现有的网络结构对该形变的图像的特征提取能力较差，通常需要人为调整形变的图像，然后再输入到网络中进行训练和分类，而且现有的网络中的卷积操作本身具有非常固定的几何结构，对于任何规则或不规则形状的物体都是采用一个非常规矩(通常是正方形)的采样。基于此，为了提高分类效率和准确率，避免过多的人工干涉，本申请实施例在ResNet50网络中采用可变形卷积模块替换普通的卷积层，通过可变形卷积模块对存在形变的图像自动调整前向传播过程中的特征感受野，增强特征提取能力，以弥补形变的图像带来的影响，进而提高网络分类能力。其中，特征感受野(Receptive Field)是神经网络中每一层输出的特征图(feature map)上的像素点在输入图片(即本实施例中的训练样本)上映射的区域大小。特征图在数学表达上是由多个特征的数值构成的二维矩阵。

可以理解的是，得到训练样本后还可以对其进行预处理，例如归一化处理，再将预处理后的训练样本输入到预先构建的卷积神经网络中进行训练。需要说明的是，仅在残差网络中添加注意力机制模块也能提高网络的分类性能，本领域技术人员可以根据实际情况来选择是否采用可变形卷积模块。

S10232、计算徽标分类特征的损失值。

在提取到徽标分类特征后，卷积神经网络的全连接层(网络中的全连接层具有分类器的作用)对徽标分类特征进行徽标缺陷类别预测，输出该徽标分类特征在各徽标缺陷类别下的概率，概率最大的徽标缺陷类别即为该徽标分类特征的预测标签，然后通过损失函数计算该徽标分类特征在预测标签和真实标签之间的损失值。其中，损失函数可以采用均方误差函数、交叉熵函数等。

需要说明的是，真实标签为获取训练样本时，根据训练样本中徽标的完整程度标注得到的，真实标签包括完整类和不完整类两类，其中，不完整类包括文字缺陷、图案缺陷、纹理缺陷、亮度缺陷等。

S10233、若损失值大于或等于预设的阈值，则利用损失值更新神经网络中的参数，返回执行将训练样本输入预先构建的神经网络中。

S10234、若损失值小于预设的阈值，则确定神经网络训练完成。

S10235、将训练完成的神经网络作为徽标缺陷检测模型。

在计算得到损失值后，可以通过判断损失值是否满足预设的阈值来确定网络是否收敛，若损失值大于或等于预设的阈值，说明网络还未收敛，则利用损失值反向传播更新神经网络中的参数(如权重、偏置等)，并返回执行将训练样本输入预先构建的神经网络中，进行下一轮训练，直至损失值小于预设的阈值，停止训练，将训练好的卷积神经网络作为徽标缺陷检测模型。

还可以通过计算卷积神经网络的检测准确率来判断该卷积神经网络是否收敛，当卷积神经网络的检测准确率未达到预置准确率阈值时，则判定该卷积神经网络还未收敛，根据计算得到的损失值反向传播更新神经网络中的参数，并返回执行将训练样本输入预先构建的神经网络中，进入下一轮训练，直至卷积神经网络的检测准确率达到预置准确率阈值，则判定卷积神经网络收敛，停止训练，将训练好的卷积神经网络作为徽标缺陷检测模型。

还可以获取当前训练次数，通过判断当前训练次数是否达到预设的最大训练次数来判断卷积神经网络是否收敛，若当前训练次数未达到最大训练次数，则判定卷积神经网络还未收敛，通过计算得到的损失值反向传播更新卷积神经网络的参数，并返回执行将训练样本输入预先构建的神经网络中，进入下一轮训练，直至当前训练次数达到最大训练次数，则判定卷积神经网络收敛，停止训练，将训练好的卷积神经网络作为徽标缺陷检测模型。

最终将训练好的徽标缺陷检测模型部署在生成环境中，用于徽标的缺陷检测。

步骤103、将待检测徽标图像的缺陷检测结果保存至预置数据库。

在检测得到待检测徽标图像的缺陷检测结果后，可以按照拍摄徽标图像的日期将待检测徽标图像的缺陷检测结果保存至预置数据库中，方便用户查看。

本申请实施例中，在获取到待检测徽标图像后，通过徽标缺陷检测模型对待检测徽标图像进行特征提取和缺陷检测，并将缺陷检测结果保存至预置数据库供用户查阅，通过徽标缺陷检测模型进行徽标缺陷检测，检测速度快，不需要人工进行徽标缺陷检测，提高了检测效率，从而改善了现有的门店徽标通常是通过人工定时检查，存在费时费力、效率低的技术问题。

以上为本申请提供的一种徽标缺陷检测方法的一个实施例，以下为本申请提供的一种徽标缺陷检测方法的另一个实施例。

请参考图3，本申请实施例提供的一种徽标缺陷检测方法，包括：

步骤201、采集门店中包含徽标的图像作为待检测徽标图像。

步骤202、将待检测徽标图像输入到徽标缺陷检测模型，使得徽标缺陷检测模型对待检测徽标图像进行特征提取，并基于提取到的特征识别待检测徽标图像是否存在缺陷，得到待检测徽标图像的缺陷检测结果。

步骤203、将待检测徽标图像的缺陷检测结果保存至预置数据库。

步骤201至步骤203的具体内容与前述实施例中的步骤101至步骤103的具体内容一致，在此不再进行赘述。

步骤204、根据预置数据库中的缺陷检测结果生成徽标缺陷报表，并将徽标缺陷报表发送至审核部门进行审核。

本申请实施例可以根据预置数据库中的缺陷检测结果生成所有门店的徽标缺陷报表，可以设置定期生成徽标缺陷报表，例如每周生成一次徽标缺陷报表，生成的徽标缺陷报表可以通过邮件自动发送至审核部门进行审核。

本申请实施例中，在获取到待检测徽标图像后，通过徽标缺陷检测模型对待检测徽标图像进行特征提取和缺陷检测，并将缺陷检测结果保存至预置数据库供用户查阅，通过徽标缺陷检测模型进行徽标缺陷检测，检测速度快，不需要人工进行徽标缺陷检测，提高了检测效率，从而改善了现有的门店徽标通常是通过人工定时检查，存在费时费力、效率低的技术问题。

进一步，本申请实施例定期生成徽标缺陷报表，并自动发送至审核部门进行审核，不需要人工统计徽标缺陷情况，方便用户审核查看，提高了审核效率。

以上为本申请提供的一种徽标缺陷检测方法另一个实施例，以下为本申请提供的一种徽标缺陷检测装置的一个实施例。

请参考图4，本申请实施例提供的一种徽标缺陷检测装置，包括：

采集单元，用于采集门店中包含徽标的图像作为待检测徽标图像；

缺陷检测单元，用于将所述待检测徽标图像输入到徽标缺陷检测模型，使得所述徽标缺陷检测模型对所述待检测徽标图像进行特征提取，并基于提取到的特征识别所述待检测徽标图像是否存在缺陷，得到所述待检测徽标图像的缺陷检测结果；

存储单元，用于将所述待检测徽标图像的缺陷检测结果保存至预置数据库。

作为进一步地改进，装置还包括：

报表生成单元，用于根据预置数据库中的缺陷检测结果生成徽标缺陷报表，并将徽标缺陷报表发送至审核部门进行审核。

本申请实施例中，在获取到待检测徽标图像后，通过徽标缺陷检测模型对待检测徽标图像进行特征提取和缺陷检测，并将缺陷检测结果保存至预置数据库供用户查阅，通过徽标缺陷检测模型进行徽标缺陷检测，检测速度快，不需要人工进行徽标缺陷检测，提高了检测效率，从而改善了现有的门店徽标通常是通过人工定时检查，存在费时费力、效率低的技术问题。

进一步，本申请实施例定期生成徽标缺陷报表，并自动发送至审核部门进行审核，不需要人工统计徽标缺陷情况，方便用户审核查看，提高了审核效率。

本申请实施例还提供了一种徽标缺陷检测设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行前述方法实施例中的徽标缺陷检测方法。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现前述方法实施例中的徽标缺陷检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种徽标缺陷检测方法，其特征在于，包括：

采集门店中包含徽标的图像作为待检测徽标图像；

将所述待检测徽标图像输入到徽标缺陷检测模型，使得所述徽标缺陷检测模型对所述待检测徽标图像进行特征提取，并基于提取到的特征识别所述待检测徽标图像是否存在缺陷，得到所述待检测徽标图像的缺陷检测结果；

将所述待检测徽标图像的缺陷检测结果保存至预置数据库。

2.根据权利要求1所述的徽标缺陷检测方法，其特征在于，所述徽标缺陷检测模型的训练过程为：

获取包含徽标的原始图像；

依据所述原始图像中所述徽标的完整程度构建训练样本；

通过所述训练样本训练预先构建的神经网络对徽标进行缺陷检测的能力，直到所述神经网络满足预设的训练条件，将训练完成的神经网络作为徽标缺陷检测模型。

3.根据权利要求2所述的徽标缺陷检测方法，其特征在于，所述训练样本包括正样本与负样本；所述依据所述原始图像中所述徽标的完整程度构建训练样本，包括：

对所述原始图像中所述徽标的完整程度进行检测，以将所述徽标完整的原始图像作为正样本，所述徽标不完整的原始图像作为负样本；

分别对所述正样本与所述负样本执行数据增强操作，得到由数据增强后的正样本与数据增强后的负样本构成的训练样本；

其中，所述数据增强操作包括但不限于随机裁剪、中心裁剪、随机旋转、随机水平翻转。

4.根据权利要求3所述的徽标缺陷检测方法，其特征在于，所述对所述原始图像中所述徽标的完整程度进行检测，以将所述徽标完整的原始图像作为正样本，所述徽标不完整的原始图像作为负样本，包括：

检测所述原始图像中所述徽标的特征信息，所述特征信息包括文字信息、图案信息、纹理信息以及亮度信息；

若所述特征信息不满足预设的徽标设计要求，则确认当前检测的徽标为不完整徽标，将该徽标不完整的原始图像作为负样本；

若所述特征信息满足所述徽标设计要求，则确认当前检测的徽标为完整徽标，将该徽标完整的原始图像作为正样本。

5.根据权利要求4所述的徽标缺陷检测方法，其特征在于，所述文字信息包括文字内容、文字的排版顺序，所述图案信息包括图案内容、图案的颜色，所述纹理信息包括背景纹理、背景颜色，所述亮度信息包括徽标的亮度值；所述徽标设计要求包括目标文字内容、目标文字的排版顺序、目标图案内容、目标图案的颜色、目标背景纹理、目标背景颜色、徽标的目标亮度值；

在所述检测所述原始图像中所述徽标的特征信息之后，还包括：

当确定所述文字内容不符合目标文字内容和\或所述文字的排版顺序不符合目标文字的排版顺序时，确定所述特征信息不满足预设的徽标设计要求；

和/或，

当确定所述图案内容不符合目标图案内容和\或所述图案的颜色不符合目标图案的颜色时，确定所述特征信息不满足预设的徽标设计要求；

和/或，

当确定所述背景纹理不符合目标背景纹理和\或所述背景颜色不符合目标背景颜色时，确定所述特征信息不满足预设的徽标设计要求；

和/或，

当确定所述徽标的亮度值不符合徽标的目标亮度值时，确定所述特征信息不满足预设的徽标设计要求。

6.根据权利要求2-5任一项所述的徽标缺陷检测方法，其特征在于，所述通过所述训练样本训练预先构建的神经网络对徽标进行缺陷检测的能力，直到所述神经网络满足预设的训练条件，将训练完成的神经网络作为徽标缺陷检测模型，包括：

将所述训练样本输入预先构建的神经网络中，利用所述神经网络提取所述训练样本中徽标在多个维度下的特征，输出得到由多个所述特征融合的徽标分类特征；

计算所述徽标分类特征的损失值；

若所述损失值大于或等于预设的阈值，则利用所述损失值更新所述神经网络中的参数，返回执行所述将所述训练样本输入预先构建的神经网络中；

若所述损失值小于预设的阈值，则确定所述神经网络训练完成；

将训练完成的神经网络作为徽标缺陷检测模型。

7.根据权利要求6所述的徽标缺陷检测方法，其特征在于，预先构建的神经网络包括残差网络、注意力机制模块、可变形卷积模块；所述将所述训练样本输入预先构建的神经网络中，利用所述神经网络提取所述训练样本中徽标在多个维度下的特征，输出得到由多个所述特征融合的徽标分类特征，包括：

利用所述残差网络中的多个残差块对所述训练样本执行卷积操作，得到卷积特征；

通过所述注意力机制模块对所述卷积特征按照徽标缺陷的类别进行特征选择，融合特征选择后的多个卷积特征，输出得到徽标分类特征；其中，所述徽标缺陷的类别包括徽标在文字、图案、纹理、亮度中任意一个维度下的缺陷；

其中，所述可变形卷积模块用于调整所述训练样本在整个神经网络的前向传播过程中的特征感受野。

8.一种徽标缺陷检测装置，其特征在于，包括：

采集单元，用于采集门店中包含徽标的图像作为待检测徽标图像；

缺陷检测单元，用于将所述待检测徽标图像输入到徽标缺陷检测模型，使得所述徽标缺陷检测模型对所述待检测徽标图像进行特征提取，并基于提取到的特征识别所述待检测徽标图像是否存在缺陷，得到所述待检测徽标图像的缺陷检测结果；

存储单元，用于将所述待检测徽标图像的缺陷检测结果保存至预置数据库。

9.一种徽标缺陷检测设备，其特征在于，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的徽标缺陷检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现权利要求1-7任一项所述的徽标缺陷检测方法。

Images