CN112330594A - 一种纸筒缺陷检测方法、装置、电子设备及存储介质 - Google Patents
一种纸筒缺陷检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112330594A CN112330594A CN202011090248.3A CN202011090248A CN112330594A CN 112330594 A CN112330594 A CN 112330594A CN 202011090248 A CN202011090248 A CN 202011090248A CN 112330594 A CN112330594 A CN 112330594A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- detection model
- layer
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 279
- 238000001514 detection method Methods 0.000 title claims abstract description 228
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 238000007499 fusion processing Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种纸筒缺陷检测方法、装置、电子设备及存储介质，本发明实施例中在进行纸筒缺陷检测时，预先训练有两个模型，分别是用于检测纸筒侧面缺陷的第一检测模型和用于检测纸筒顶面缺陷的第二检测模型，这样在进行模型训练时，基于侧面样本图像对第一检测模型进行训练，基于顶面样本图像对第二检测模型进行训练。降低了第一检测模型和第二检测模型的复杂度。另外，第一检测模型只检测侧面图像的缺陷及对应的类别，第二检测模型只检测顶面图像的缺陷及对应的类别，避免了缺陷种类分类模糊的问题，提高了确定缺陷类别的准确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种纸筒缺陷检测方法、装置、电子设备及存储介质。
背景技术
厂家生产纸筒产品之后，或者用户在使用纸筒产品时，一般需要对纸筒进行缺陷检测。现有技术中，一般依靠人工观察检测出存在绊丝的产品，人工检测一方面检测效率低，人工资源消耗大，另一方面，人眼处于疲劳状态时也会导致纸筒缺陷检测的准确率较低。
随着机器视觉的快速发展，现有技术中出现了基于机器视觉进行纸筒缺陷检测的方案。采集纸筒的顶面图像和侧面图像，针对每个图像，采用穷举法遍历图像得到每个候选区域，然后将每个候选区域与预先保存的正常区域进行比较，得到缺陷区域。然后将缺陷区域输入分类器检测缺陷类别。该方案存在的问题是，顶面图像和侧面图像的缺陷区域输入到同一个分类器，然而顶面图像和侧面图像的差异较大，并且缺陷类别一般也存在差别，现有的方案一方面使得分类器的模型设计复杂度较大，另一方面采用一个分类器检测顶面图像和侧面图像的缺陷类型会使得缺陷种类分类模糊，使得确定缺陷类别的准确性较差。
发明内容
本发明实施例提供了一种纸筒缺陷检测方法、装置、电子设备及存储介质，用以解决现有技术中确定纸筒缺陷类别的准确性较差的问题。
本发明实施例提供了一种纸筒缺陷检测方法，所述方法包括：获取纸筒的侧面图像和顶面图像；
将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别；
将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。
进一步地，所述方法还包括：
采用预设的算法，分别对同一类别的存在交叉的第一缺陷区域，以及同一类别的存在交叉的第二缺陷区域进行融合处理。
进一步地，检测模型依次包括残差网络结构、定位层和分类层；
基于检测模型对图像进行缺陷检测，输出图像中的缺陷区域及缺陷类别包括：
基于所述残差网络结构，对图像进行卷积处理，得到特征图像；基于所述定位层，确定所述特征图像中的缺陷区域的位置信息；基于所述分类层，确定所述缺陷区域对应的缺陷类别。
进一步地，所述基于所述残差网络结构，对图像进行卷积处理，得到特征图像包括：
基于所述残差网络结构中的卷积层、池化层和反卷积层，对图像进行卷积处理、池化处理以及反卷积处理，得到特征图像。
进一步地，所述第一检测模型的训练过程包括：
将第一样本集中的每个侧面样本图像和每个侧面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第一检测模型，对所述第一检测模型中的残差网络结构、定位层和分类层的参数进行训练；
所述第二检测模型的训练过程包括：
将第二样本集中的每个顶面样本图像和每个顶面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第二检测模型，对所述第二检测模型中的残差网络结构定位层和分类层的参数进行训练。
另一方面，本发明实施例提供了一种纸筒缺陷检测装置，所述装置包括：
获取模块，用于获取纸筒的侧面图像和顶面图像；
检测模块，用于将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别；
所述检测模块，还用于将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。
进一步地，所述装置还包括：
融合模块，用于采用预设的算法，分别对同一类别的存在交叉的第一缺陷区域，以及同一类别的存在交叉的第二缺陷区域进行融合处理。
进一步地，检测模型依次包括残差网络结构、定位层和分类层；
所述检测模块，具体用于基于所述残差网络结构，对图像进行卷积处理，得到特征图像；基于所述定位层，确定所述特征图像中的缺陷区域的位置信息；基于所述分类层，确定所述缺陷区域对应的缺陷类别。
进一步地，所述检测模块，具体用于基于所述残差网络结构中的卷积层、池化层和反卷积层，对图像进行卷积处理、池化处理以及反卷积处理，得到特征图像。
进一步地，所述装置还包括：
训练模块，用于将第一样本集中的每个侧面样本图像和每个侧面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第一检测模型，对所述第一检测模型中的残差网络结构、定位层和分类层的参数进行训练；
所述训练模块，还用于将第二样本集中的每个顶面样本图像和每个顶面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第二检测模型，对所述第二检测模型中的残差网络结构、定位层和分类层的参数进行训练。
另一方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种纸筒缺陷检测方法、装置、电子设备及存储介质，所述方法包括：获取纸筒的侧面图像和顶面图像；将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别；将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。
上述的技术方案具有如下优点或有益效果：
本发明实施例中在进行纸筒缺陷检测时，预先训练有两个模型，分别是用于检测纸筒侧面缺陷的第一检测模型和用于检测纸筒顶面缺陷的第二检测模型，这样在进行模型训练时，基于侧面样本图像对第一检测模型进行训练，基于顶面样本图像对第二检测模型进行训练。降低了第一检测模型和第二检测模型的复杂度。另外，第一检测模型只检测侧面图像的缺陷及对应的类别，第二检测模型只检测顶面图像的缺陷及对应的类别，避免了缺陷种类分类模糊的问题，提高了确定缺陷类别的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的纸筒缺陷检测过程示意图；
图2为本发明实施例3提供的残差网络结构示意图；
图3为本发明实施例4提供的残差网络结构示意图；
图4为本发明实施例5提供的缺陷检测流程图；
图5为本发明实施例5提供的纸筒侧面图像局部示意图；
图6为本发明实施例5提供的纸筒顶面图像局部示意图；
图7为本发明实施例6提供的纸筒缺陷检测装置结构示意图；
图8为本发明实施例7提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的纸筒缺陷检测过程示意图，包括以下过程：
S101：获取纸筒的侧面图像和顶面图像。
S102：将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别。
S103：将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。
本发明实施例提供的纸筒缺陷检测方法应用于电子设备，该电子设备可以是PC、平板电脑等设备。
通过图像采集设备采集纸筒的侧面图像和顶面图像，其中纸筒的侧面图像包括多张侧面图像，例如从前后左右四个方向分别采集侧面图像可以得到4张侧面图像。纸筒的顶面图像包括上顶面和下顶面两张顶面图像。图像采集设备将采集到的每张侧面图像和顶面图像分别发送至电子设备。
电子设备中保存有预先训练完成的第一检测模型和第二检测模型。第一检测模型用于对侧面图像进行缺陷检测，第二检测模型用于对顶面图像进行缺陷检测。电子设备获取到纸筒的每张侧面图像和顶面图像之后，将每张侧面图像分别输入至第一检测模型，基于第一检测模型确定每张侧面图像的第一缺陷区域及第一缺陷类别。将每张顶面图像分别输入至第二检测模型，基于第二检测模型确定每张顶面图像的第二缺陷区域及第二缺陷类别。
由于第一检测模型用于对侧面图像进行缺陷检测，因此在对第一检测模型进行训练时，仅需基于侧面样本图像对第一检测模型进行训练，不需要采集顶面图像，降低了对第一检测模型训练的难度以及复杂度。同样的，由于第二检测模型用于对顶面图像进行缺陷检测，因此在对第二检测模型进行训练时，仅需基于顶面样本图像对第二检测模型进行训练，不需要采集侧面图像，降低了对第二检测模型训练的难度以及复杂度。并且，因为顶面图像和侧面图像的缺陷类别也存在着差别，采用第一检测模型确定侧面图像中的缺陷类别，采用第二检测模型确定顶面图像中的缺陷类别，也避免了缺陷种类分类模糊的问题，提高了确定缺陷类别的准确性。
实施例2：
因为纸筒缺陷在空间上存在交叉，在上述实施例中，基于第一检测模型确定出第一缺陷区域，以及基于第二检测模型确定出第二缺陷区域之后，会出现相同类型的缺陷区域存在多个检测框的情况，检测结果很不美观，为了使检测结果更加直观清晰，在本发明实施例中，所述方法还包括：
采用预设的算法，分别对同一类别的存在交叉的第一缺陷区域，以及同一类别的存在交叉的第二缺陷区域进行融合处理。
在本发明实施例中，基于第一检测模型对侧面图像进行缺陷检测，输出侧面图像中的第一缺陷区域及第一缺陷类别之后，将第一缺陷区域按照不同的缺陷类别进行划分，然后针对每个第一缺陷类别，判断该第一缺陷类别的第一缺陷区域中，是否存在交叉的第一缺陷区域，如果存在，采用预设的算法，对存在交叉的第一缺陷区域进行融合处理。同样的，基于第二检测模型对顶面图像进行缺陷检测，输出顶面图像中的第二缺陷区域及第二缺陷类别之后，将第二缺陷区域按照不同的缺陷类别进行划分，然后针对每个第二缺陷类别，判断该第二缺陷类别的第二缺陷区域中，是否存在交叉的第二缺陷区域，如果存在，采用预设的算法，对存在交叉的第二缺陷区域进行融合处理。其中，预设的算法可以是最小二乘法，或者是非极大值抑制算法等。
在本发明实施例中，通过采用预设的算法，分别对同一类别的存在交叉的第一缺陷区域，以及同一类别的存在交叉的第二缺陷区域进行融合处理。能够减少同一缺陷类别的检测区域的数量，使检测结果更加直观清晰，提高了检测质量。
实施例3：
在上述各实施例的基础上，在本发明实施例中，检测模型依次包括残差网络结构、定位层和分类层；
基于检测模型对图像进行缺陷检测，输出图像中的缺陷区域及缺陷类别包括：
基于所述残差网络结构，对图像进行卷积处理，得到特征图像；基于所述定位层，确定所述特征图像中的缺陷区域的位置信息；基于所述分类层，确定所述缺陷区域对应的缺陷类别。
本发明实施例中的第一检测模型和第二检测模型的结构相同，都是包括残差网络结构、定位层和分类层，第一检测模型和第二检测模型的区别在于残差网络结构、定位层和分类层的参数不同。
残差网络结构的作用是对输入的图像进行卷积处理，提取图像的特征信息得到特征图像，然后将特征图像输入定位层。定位层的作用是确定出特征图像中的缺陷区域的位置信息。分类层的作用是结合缺陷区域的位置信息和特征图像，确定出缺陷区域的特征图像，然后根据缺陷区域的特征图像确定缺陷区域对应的缺陷类别。
在本发明实施例中，残差网络结构可以是如图2所示的结构，首先对输入的图像进行卷积处理得到第一图像，然后再对第一图像进行卷积处理，得到第二图像，对输入的图像进行两次卷积处理得到第三图像，然后将第二图像和第三图像进行融合处理得到第四图像，并将第四图像输入到下一个残差网络结构中。
实施例4：
为了降低检测模型的计算量，在上述各实施例的基础上，在本发明实施例中，所述基于所述残差网络结构，对图像进行卷积处理，得到特征图像包括：
基于所述残差网络结构中的卷积层、池化层和反卷积层，对图像进行卷积处理、池化处理以及反卷积处理，得到特征图像。
本发明实施例中的残差网络结构如图3所示，首先对输入的图像进行卷积处理以及池化处理得到第五图像，然后再对第五图像进行卷积处理以及池化处理得到第六图像，对输入的图像进行两次卷积处理以及两次池化处理得到第七图像，然后将第六图像和第七图像进行融合处理，得到第八图像，再将第八图像进行反卷积处理得到第九图像，并将第九图像输入到下一个残差网络结构中。
在本发明实施例中，通过加入池化层在对图像处理过程中缩小了图像尺寸，减小了计算量，并且通过加入反卷积层对处理后的图像的尺寸进行了恢复。
需要说明的是，因为神经网络层数的增加有利有弊，好处就是可以增强网络学习能力，坏处就是会带来学习不稳定，梯度弥散，网络参数过大等问题，因此层数不是越多越好。因此本申请中的检测模型中的残差网络结构包括预设数量的残差网络结构，其中预设数量可以根据经验进行设定。相较于图2所示的残差网络结构，在本发明实施例中加入了池化层和反卷积层，图2所示的残差网络结构提出了网络跳跃连接可以加深网络的层数，同时可以减轻网络层数增加，也可以缓解梯度弥散的问题，但是残差网络本质上还是会带入参数，如果把前面的特征层进行降采样，就能有效减少参数量，从而降低检测模型的计算量。
根据图2和图3可以发现，图2中从左往右特征图的尺度是一样的，大小一样意味着计算量较大，图3中，每个立方体表示特征图，特征图有宽度和高度和深度，借鉴图2的残差网络的跨层结构，但是中间加入池化层，池化层也是神经网络的基础结构，作用是把图片进行缩小。
实施例5：
在上述各实施例的基础上，在本发明实施例中，所述第一检测模型的训练过程包括：
将第一样本集中的每个侧面样本图像和每个侧面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第一检测模型，对所述第一检测模型中的残差网络结构、定位层和分类层的参数进行训练；
所述第二检测模型的训练过程包括：
将第二样本集中的每个顶面样本图像和每个顶面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第二检测模型，对所述第二检测模型中的残差网络结构定位层和分类层的参数进行训练。
电子设备中预先保存有用于训练第一检测模型的第一样本集，第一样本集中的样本图像都是纸筒的侧面样本图像，对于每一个侧面样本图像，预先标注有该样本图像中缺陷区域位置标注信息和缺陷类别标注信息，将每个侧面样本图像和每个侧面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入第一检测模型，对第一检测模型中的残差网络结构、定位层和分类层的参数进行训练。
同样的，电子设备中预先保存有用于训练第二检测模型的第二样本集，第二样本集中的样本图像都是纸筒的顶面样本图像，对于每一个顶面样本图像，预先标注有该样本图像中缺陷区域位置标注信息和缺陷类别标注信息，将每个顶面样本图像和每个顶面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入第二检测模型，对第二检测模型中的残差网络结构、定位层和分类层的参数进行训练。
下面对本发明实施例提供的纸筒缺陷检测方案进行详细说明。
本发明实施例采用多类别检测分类的思路，将深度学习用于纸筒缺陷检测领域，并且基于第一检测模型检测侧面图像，基于第二检测模型检测顶面图像，然后采用预设的算法，分别对同一类别的存在交叉的第一缺陷区域，以及同一类别的存在交叉的第二缺陷区域进行融合处理。剔除两个模型输出的冗余的检测结果。然后将两个模型输出的缺陷区域和缺陷类别进行合并输出，使得缺陷检测更加完整。本发明实施例提供的纸筒缺陷检测方案，解决了纸筒检测耗时长，精度低，错误率高，检测结果呈现方式不美观的问题。
具体的技术方案分为以下几个部分：
1、区分缺陷不同种类。不同于一般的缺陷检测方式，传统做法只是区分有无缺陷，本发明在设计之初就支持区分多种缺陷，并支持缺陷类型的扩展。具体做法是，在检测模型训练阶段，给不同的缺陷标注上不同的标签，使检测模型在训练阶段可以自动区分不同的类别。本发明实施例中不对缺陷类别的划分进行限定，缺陷类别可以是划线、油污、裂缝等等。
2、深度学习用于缺陷检测。利用深度学习在图像上取得的进步，将深度学习用于提取缺陷特征。主要做法是，设计一个类似YOLO结构的检测模型，改进相关参数，加入一些能提高网络训练速度和网络检测精度的基础神经网络结构。具体如图2和图3所示，通过加入池化层和反卷积层提高模型训练以及缺陷检测的速度。
3、设计低耗时神经网络结构。深度学习用于缺陷检测领域，检测精度较其他方法高，然而因为耗时多，在实际应用中比较有限，因此，需要对神经网络结构进行修改和完善是急需解决的一个问题，利用底层特征重复利用的策略，调整神经网络层次结构能在取得良好精度的同时降低耗时。
具体是，将上述图3所示的结构放于网络的前几层，因为前几层的特征是底层信息比较多，如果增加网络层数，是利用高维语义特征，本发明实施例针对的对象是纸筒，它的低层信息较多，比如我们觉得边界有起毛就是破损，体现了图像上的是梯度特征，很底层的特征，所以我们把这种结构提前。之后，我们发现，特征图会越来越小，也就是宽和高会越来越小，因此引入特征金字塔结构，这样就能恢复特征图的大小，用到的结构是反卷积层，类似于图像放大的一种操作，简单来说就是结构改进和结构调整。
需要说明的是，检测模型中的残差网络结构和定位层之间可以根据需要设置一定数量的卷积层，用于继续对图像进行卷积处理。
4、纸筒缺陷回归框后处理策略。因为纸筒缺陷在空间上存在交叉，位置重叠的情况，直接用回归框圈中缺陷部位回出现同一个区域存在多个检测框的情况，检测结果很不美观，因此对结果进行后处理可以将检测结果显示的更为清晰和直观。利用最小二乘法拟合在空间上具有交叉的检测框，能减少检测框的数量并提升检测质量。
图4为本发明实施例提供的缺陷检测流程图，如图4所示，将侧面图像输入预先训练完成的第一检测模型中的残差网络结构中，经过残差网络结构对侧面图像进行特征提取得到特征图，然后将特征图输入定位层进行缺陷区域的位置信息的确定，然后再根据分类层确定缺陷区域对应的缺陷类别。最后对检测结果进行融合处理再输出。
本发明实施例涉及到两个模型的训练，第一检测模型是面阵模型，用于检测纸筒的侧面缺陷，纸筒的侧面容易存在的缺陷包括以下几种类型：凹坑，未磨边，面纸破，毛刺，划线等。第二检测模型是线阵模型，用于检测纸筒的顶面缺陷，顶面容易存在的缺陷包括以下几种类型：划线，面纸破，裂缝，砸坑等。针对两种图片缺陷种类的不同，设计两种检测模型更有利于缺陷的定位；然后，在得到两个模型的检测结果后，对结果进行处理，对单个模型中相同类别的检测框进行合并，剔除两种模型中的冗余检测结果，能让检测结果更清晰。
图5为本发明实施例提供的纸筒侧面图像局部示意图，图6为本发明实施例提供的纸筒顶面图像局部示意图。
本发明实施例提供的缺陷检测方案具有以下有益效果：
针对缺陷区域定位困难，本发明利用深度学习在定位上的优势，自适应提取候选区域，无需人工干预。针对缺陷种类分类模糊，本发明给不同缺陷定义不同的标签，以人的先验知识为参考，让缺陷以某种特定的方式分出不同的类。针对特征选择困难的问题，本发明用深度卷积网络提取图像特征，除了利用浅层的纹理，梯度等特征，还利用深层的高维语义特征，用于判断目标种类。针对模型设计不合理的问题，本发明以纸筒缺陷为研究目标，设计将卷积神经网络模型进行必要的压缩，在保证精度的同时，确保检测速度。
实施例6：
图7为本发明实施例提供的纸筒缺陷检测装置结构示意图，所述装置包括：
获取模块71，用于获取纸筒的侧面图像和顶面图像；
检测模块72，用于将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别；
所述检测模块72，还用于将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。
所述装置还包括：
融合模块73，用于采用预设的算法，分别对同一类别的存在交叉的第一缺陷区域，以及同一类别的存在交叉的第二缺陷区域进行融合处理。
检测模型依次包括残差网络结构、定位层和分类层；
所述检测模块72，具体用于基于所述残差网络结构，对图像进行卷积处理，得到特征图像；基于所述定位层，确定所述特征图像中的缺陷区域的位置信息；基于所述分类层，确定所述缺陷区域对应的缺陷类别。
所述检测模块73，具体用于基于所述残差网络结构中的卷积层、池化层和反卷积层，对图像进行卷积处理、池化处理以及反卷积处理，得到特征图像。
所述装置还包括：
训练模块74，用于将第一样本集中的每个侧面样本图像和每个侧面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第一检测模型，对所述第一检测模型中的残差网络结构、定位层和分类层的参数进行训练；
所述训练模块74，还用于将第二样本集中的每个顶面样本图像和每个顶面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第二检测模型，对所述第二检测模型中的残差网络结构、定位层和分类层的参数进行训练。
实施例7：
在上述各实施例的基础上，本发明实施例中还提供了一种电子设备，如图8所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行如下步骤：
获取纸筒的侧面图像和顶面图像；
将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别；
将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。
基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与纸筒缺陷检测方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时，实现获取纸筒的侧面图像和顶面图像；将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别；将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。本发明实施例中在进行纸筒缺陷检测时，预先训练有两个模型，分别是用于检测纸筒侧面缺陷的第一检测模型和用于检测纸筒顶面缺陷的第二检测模型，这样在进行模型训练时，基于侧面样本图像对第一检测模型进行训练，基于顶面样本图像对第二检测模型进行训练。降低了第一检测模型和第二检测模型的复杂度。另外，第一检测模型只检测侧面图像的缺陷及对应的类别，第二检测模型只检测顶面图像的缺陷及对应的类别，避免了缺陷种类分类模糊的问题，提高了确定缺陷类别的准确性。
实施例8：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
获取纸筒的侧面图像和顶面图像；
将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别；
将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与纸筒缺陷检测方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序，计算机程序被处理器执行时实现获取纸筒的侧面图像和顶面图像；将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别；将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。本发明实施例中在进行纸筒缺陷检测时，预先训练有两个模型，分别是用于检测纸筒侧面缺陷的第一检测模型和用于检测纸筒顶面缺陷的第二检测模型，这样在进行模型训练时，基于侧面样本图像对第一检测模型进行训练，基于顶面样本图像对第二检测模型进行训练。降低了第一检测模型和第二检测模型的复杂度。另外，第一检测模型只检测侧面图像的缺陷及对应的类别，第二检测模型只检测顶面图像的缺陷及对应的类别，避免了缺陷种类分类模糊的问题，提高了确定缺陷类别的准确性。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种纸筒缺陷检测方法，其特征在于，所述方法包括：
获取纸筒的侧面图像和顶面图像；
将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别；
将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
采用预设的算法，分别对同一类别的存在交叉的第一缺陷区域，以及同一类别的存在交叉的第二缺陷区域进行融合处理。
3.如权利要求1所述的方法，其特征在于，检测模型依次包括残差网络结构、定位层和分类层；
基于检测模型对图像进行缺陷检测，输出图像中的缺陷区域及缺陷类别包括：
基于所述残差网络结构，对图像进行卷积处理，得到特征图像；基于所述定位层，确定所述特征图像中的缺陷区域的位置信息；基于所述分类层，确定所述缺陷区域对应的缺陷类别。
4.如权利要求3所述的方法，其特征在于，所述基于所述残差网络结构，对图像进行卷积处理，得到特征图像包括：
基于所述残差网络结构中的卷积层、池化层和反卷积层，对图像进行卷积处理、池化处理以及反卷积处理，得到特征图像。
5.如权利要求3所述的方法，其特征在于，所述第一检测模型的训练过程包括：
将第一样本集中的每个侧面样本图像和每个侧面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第一检测模型，对所述第一检测模型中的残差网络结构、定位层和分类层的参数进行训练；
所述第二检测模型的训练过程包括：
将第二样本集中的每个顶面样本图像和每个顶面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第二检测模型，对所述第二检测模型中的残差网络结构定位层和分类层的参数进行训练。
6.一种纸筒缺陷检测装置，其特征在于，所述装置包括：
获取模块，用于获取纸筒的侧面图像和顶面图像；
检测模块，用于将所述侧面图像输入预先训练完成的第一检测模型中，基于所述第一检测模型对所述侧面图像进行缺陷检测，输出所述侧面图像中的第一缺陷区域及第一缺陷类别；
所述检测模块，还用于将所述顶图像输入预先训练完成的第二检测模型中，基于所述第二检测模型对所述顶面图像进行缺陷检测，输出所述顶面图像中的第二缺陷区域及第二缺陷类别。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
融合模块，用于采用预设的算法，分别对同一类别的存在交叉的第一缺陷区域，以及同一类别的存在交叉的第二缺陷区域进行融合处理。
8.如权利要求6所述的装置，其特征在于，检测模型依次包括残差网络结构、定位层和分类层；
所述检测模块，具体用于基于所述残差网络结构，对图像进行卷积处理，得到特征图像；基于所述定位层，确定所述特征图像中的缺陷区域的位置信息；基于所述分类层，确定所述缺陷区域对应的缺陷类别。
9.如权利要求8所述的装置，其特征在于，所述检测模块，具体用于基于所述残差网络结构中的卷积层、池化层和反卷积层，对图像进行卷积处理、池化处理以及反卷积处理，得到特征图像。
10.如权利要求8所述的装置，其特征在于，所述装置还包括：
训练模块，用于将第一样本集中的每个侧面样本图像和每个侧面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第一检测模型，对所述第一检测模型中的残差网络结构、定位层和分类层的参数进行训练；
所述训练模块，还用于将第二样本集中的每个顶面样本图像和每个顶面样本图像对应的缺陷区域位置标注信息、缺陷类别标注信息输入所述第二检测模型，对所述第二检测模型中的残差网络结构、定位层和分类层的参数进行训练。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一项所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011090248.3A CN112330594B (zh) | 2020-10-13 | 2020-10-13 | 一种纸筒缺陷检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011090248.3A CN112330594B (zh) | 2020-10-13 | 2020-10-13 | 一种纸筒缺陷检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330594A true CN112330594A (zh) | 2021-02-05 |
| CN112330594B CN112330594B (zh) | 2024-01-30 |
Family
ID=74313051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011090248.3A Active CN112330594B (zh) | 2020-10-13 | 2020-10-13 | 一种纸筒缺陷检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330594B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177921A (zh) * | 2021-04-30 | 2021-07-27 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于神经网络的磁瓦表面缺陷检测方法 |
| CN114066890A (zh) * | 2022-01-14 | 2022-02-18 | 成都数联云算科技有限公司 | 齿轮缺陷检测方法、装置、计算机设备及存储介质 |
| CN114998313A (zh) * | 2022-07-18 | 2022-09-02 | 山东海鑫达石油机械有限公司 | 基于视觉定位的流体输送管管口毛刺识别定位方法 |
| CN115859074A (zh) * | 2022-10-27 | 2023-03-28 | 大连理工大学 | 一种基于超声导波和深度学习的复合材料加筋板损伤识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6408654B1 (ja) * | 2017-06-16 | 2018-10-17 | 株式会社オプトン | 検査装置 |
| CN108827969A (zh) * | 2018-03-20 | 2018-11-16 | 中国科学院自动化研究所 | 金属零件表面缺陷检测与识别方法及装置 |
| CN110163858A (zh) * | 2019-05-27 | 2019-08-23 | 成都数之联科技有限公司 | 一种铝型材表面缺陷检测与分类方法及*** |
| CN110969600A (zh) * | 2019-11-12 | 2020-04-07 | 华北电力大学扬中智能电气研究中心 | 一种产品缺陷检测方法、装置、电子设备及存储介质 |
| CN114863221A (zh) * | 2022-05-31 | 2022-08-05 | 商汤人工智能研究中心(深圳)有限公司 | 检测模型的训练方法、装置、***、设备及存储介质 |
-
2020
- 2020-10-13 CN CN202011090248.3A patent/CN112330594B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6408654B1 (ja) * | 2017-06-16 | 2018-10-17 | 株式会社オプトン | 検査装置 |
| CN108827969A (zh) * | 2018-03-20 | 2018-11-16 | 中国科学院自动化研究所 | 金属零件表面缺陷检测与识别方法及装置 |
| CN110163858A (zh) * | 2019-05-27 | 2019-08-23 | 成都数之联科技有限公司 | 一种铝型材表面缺陷检测与分类方法及*** |
| CN110969600A (zh) * | 2019-11-12 | 2020-04-07 | 华北电力大学扬中智能电气研究中心 | 一种产品缺陷检测方法、装置、电子设备及存储介质 |
| CN114863221A (zh) * | 2022-05-31 | 2022-08-05 | 商汤人工智能研究中心(深圳)有限公司 | 检测模型的训练方法、装置、***、设备及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177921A (zh) * | 2021-04-30 | 2021-07-27 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于神经网络的磁瓦表面缺陷检测方法 |
| CN114066890A (zh) * | 2022-01-14 | 2022-02-18 | 成都数联云算科技有限公司 | 齿轮缺陷检测方法、装置、计算机设备及存储介质 |
| CN114998313A (zh) * | 2022-07-18 | 2022-09-02 | 山东海鑫达石油机械有限公司 | 基于视觉定位的流体输送管管口毛刺识别定位方法 |
| CN115859074A (zh) * | 2022-10-27 | 2023-03-28 | 大连理工大学 | 一种基于超声导波和深度学习的复合材料加筋板损伤识别方法 |
| CN115859074B (zh) * | 2022-10-27 | 2023-10-20 | 大连理工大学 | 一种基于超声导波和深度学习的复合材料加筋板损伤识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330594B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330594A (zh) | 一种纸筒缺陷检测方法、装置、电子设备及存储介质 | |
| CN111047551B (zh) | 一种基于U-net改进算法的遥感影像变化检测方法及*** | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及*** | |
| CN109683360B (zh) | 液晶面板缺陷检测方法及装置 | |
| US9846929B2 (en) | Fast density estimation method for defect inspection application | |
| CN106295502A (zh) | 一种人脸检测方法及装置 | |
| CN114612472B (zh) | 一种基于SegNet改进的皮革缺陷分割网络算法 | |
| CN112257665A (zh) | 图像内容的识别方法、图像识别模型的训练方法及介质 | |
| CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
| CN114241432A (zh) | 车牌识别方法、设备及存储介质 | |
| CN108520263B (zh) | 一种全景图像的识别方法、***及计算机存储介质 | |
| CN111915593A (zh) | 模型建立方法、装置、电子设备及存储介质 | |
| CN113240623A (zh) | 一种路面病害检测方法及装置 | |
| CN115082909B (zh) | 一种肺部病变识别方法及*** | |
| CN117437647B (zh) | 基于深度学习和计算机视觉的甲骨文字检测方法 | |
| CN114612418A (zh) | 一种鼠标外壳表面缺陷检测方法及装置、***、电子设备 | |
| Luo et al. | Adaptive canny and semantic segmentation networks based on feature fusion for road crack detection | |
| CN112907433A (zh) | 数字水印嵌入方法、提取方法、装置、设备及介质 | |
| CN116958089A (zh) | 一种基于双重注意力机制的石油管道裂纹检测方法 | |
| CN116503340A (zh) | 一种micro oled面板缺陷检测方法、装置以及设备 | |
| CN116206155A (zh) | 基于YOLOv5网络的废钢分类识别方法 | |
| CN115578362A (zh) | 电极涂层的缺陷检测方法、装置、电子设备及介质 | |
| CN113362347B (zh) | 一种基于超像素特征增强的图像缺陷区域分割方法和*** | |
| Chen et al. | EEE-Net: Efficient edge enhanced network for surface defect detection of glass | |
| CN113077431A (zh) | 基于深度学习的激光芯片缺陷检测方法与***、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: C10, No. 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Zhejiang Huarui Technology Co.,Ltd. Address before: C10, No. 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province Applicant before: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |