CN117197029B - 球销的自动化生产线及其方法 - Google Patents
球销的自动化生产线及其方法 Download PDFInfo
- Publication number
- CN117197029B CN117197029B CN202310479990.0A CN202310479990A CN117197029B CN 117197029 B CN117197029 B CN 117197029B CN 202310479990 A CN202310479990 A CN 202310479990A CN 117197029 B CN117197029 B CN 117197029B
- Authority
- CN
- China
- Prior art keywords
- feature
- detection
- classification
- matrix
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 141
- 239000013598 vector Substances 0.000 claims abstract description 116
- 230000036961 partial effect Effects 0.000 claims abstract description 97
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 52
- 238000005457 optimization Methods 0.000 claims abstract description 31
- 238000000465 moulding Methods 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 164
- 230000007246 mechanism Effects 0.000 claims description 57
- 238000011176 pooling Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 230000003213 activating effect Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000005728 strengthening Methods 0.000 claims description 5
- 239000010410 layer Substances 0.000 description 34
- 238000009826 distribution Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005299 abrasion Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011247 coating layer Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical group [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
公开了一种球销的自动化生产线及其方法。其首先对检测图像和参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像，接着，所述多个第一检测局部图像和所述多个第二参考局部图像分别通过卷积神经网络模型以得到多个第一检测局部特征矩阵和多个第二参考局部特征矩阵，然后，分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量，最后，对所述分类特征向量进行流形曲面优化后通过分类器以得到用于表示被检测球销的成型质量是否合格的分类结果。这样，可以提高球销检测的准确性和效率。
Description
技术领域
本申请涉及自动化生产领域，且更为具体地，涉及一种球销的自动化生产线及其方法。
背景技术
球销是一种用于连接机械零件的紧固件，通常由球头和销体组成。球销的生产线通常包括原料供给、球头成形、销体成形、检测和分选。
其中，球销的检验存在一些问题和缺陷，不同的生产厂家或使用单位可能采用不同的检验方法和要求，导致球销的质量难以保证；同时，检验人员基于固有知识和已有经验对球销进行检验，无法保证球销的质量的一致性。
因此，期待一种优化的解决方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种球销的自动化生产线及其方法。其首先对检测图像和参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像，接着，所述多个第一检测局部图像和所述多个第二参考局部图像分别通过卷积神经网络模型以得到多个第一检测局部特征矩阵和多个第二参考局部特征矩阵，然后，分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量，最后，对所述分类特征向量进行流形曲面优化后通过分类器以得到用于表示被检测球销的成型质量是否合格的分类结果。这样，可以提高球销检测的准确性和效率。
根据本申请的一个方面，提供了一种球销的自动化生产线，其包括：
检测图像获取模块，用于获取由摄像头采集的被检测球销的检测图像；
参考图像获取模块，用于获取质量合格的球销的参考图像；
区域划分模块，用于对所述检测图像和所述参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像；
检测空间强化模块，用于将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵；
参考空间强化模块，用于将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵；
相似度度量模块，用于分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量；
优化模块，用于对所述分类特征向量进行流形曲面优化以得到优化分类特征向量；以及
检测结果生成模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被检测球销的成型质量是否合格。
在上述的球销的自动化生产线中，所述检测空间强化模块，用于：
通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成第一卷积特征图；
对所述第一卷积特征图进行池化处理以生成第一池化特征图；
对所述第一池化特征图进行非线性激活以生成第一激活特征图；
计算所述第一激活特征图的各个位置沿通道维度的均值以生成第一空间特征矩阵；
计算所述第一空间特征矩阵中各个位置的类Softmax函数值以获得第一空间得分矩阵；以及
计算所述第一空间特征矩阵和所述第一空间得分矩阵的按位置点乘以获得第一特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第一检测局部特征矩阵。
在上述的球销的自动化生产线中，所述参考空间强化模块，用于：
通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成第二卷积特征图；
对所述第二卷积特征图进行池化处理以生成第二池化特征图；
对所述第二池化特征图进行非线性激活以生成第二激活特征图；
计算所述第二激活特征图的各个位置沿通道维度的均值以生成第二空间特征矩阵；
计算所述第二空间特征矩阵中各个位置的类Softmax函数值以获得第二空间得分矩阵；以及
计算所述第二空间特征矩阵和所述第二空间得分矩阵的按位置点乘以获得第二特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第二参考局部特征矩阵。
在上述的球销的自动化生产线中，所述相似度度量模块，包括：
余弦相似度计算单元，用于以如下余弦相似度计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到所述多个余弦相似度；
其中，所述余弦相似度计算公式为：
，
其中，和/>分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵，/>和分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵的第/>位置的特征值，表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间的余弦距离；以及
排列单元，用于将所述多个余弦相似度进行排列以得到所述分类特征向量。
在上述的球销的自动化生产线中，所述优化模块，用于：
以如下优化公式对所述分类特征向量进行流形曲面优化以得到所述优化分类特征向量；
其中，所述优化公式为：
，
其中，是所述分类特征向量的第/>个位置的特征值，/>和/>是所述分类特征向量的特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。
在上述的球销的自动化生产线中，所述检测结果生成模块，用于：
使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面，提供了一种球销的自动化生产方法，其包括：
获取由摄像头采集的被检测球销的检测图像；
获取质量合格的球销的参考图像；
对所述检测图像和所述参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像；
将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵；
将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵；
分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量；
对所述分类特征向量进行流形曲面优化以得到优化分类特征向量；以及
将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被检测球销的成型质量是否合格。
在上述的球销的自动化生产方法中，将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵，包括：
通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成第一卷积特征图；
对所述第一卷积特征图进行池化处理以生成第一池化特征图；
对所述第一池化特征图进行非线性激活以生成第一激活特征图；
计算所述第一激活特征图的各个位置沿通道维度的均值以生成第一空间特征矩阵；
计算所述第一空间特征矩阵中各个位置的类Softmax函数值以获得第一空间得分矩阵；以及
计算所述第一空间特征矩阵和所述第一空间得分矩阵的按位置点乘以获得第一特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第一检测局部特征矩阵。
在上述的球销的自动化生产方法中，将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵，包括：
通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成第二卷积特征图；
对所述第二卷积特征图进行池化处理以生成第二池化特征图；
对所述第二池化特征图进行非线性激活以生成第二激活特征图；
计算所述第二激活特征图的各个位置沿通道维度的均值以生成第二空间特征矩阵；
计算所述第二空间特征矩阵中各个位置的类Softmax函数值以获得第二空间得分矩阵；以及
计算所述第二空间特征矩阵和所述第二空间得分矩阵的按位置点乘以获得第二特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第二参考局部特征矩阵。
在上述的球销的自动化生产方法中，分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量，包括：
以如下余弦相似度计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到所述多个余弦相似度；
其中，所述余弦相似度计算公式为：
，
其中，和/>分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵，/>和分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵的第/>位置的特征值，表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间的余弦距离；以及
将所述多个余弦相似度进行排列以得到所述分类特征向量。
与现有技术相比，本申请提供的球销的自动化生产线及其方法，其首先对检测图像和参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像，接着，所述多个第一检测局部图像和所述多个第二参考局部图像分别通过卷积神经网络模型以得到多个第一检测局部特征矩阵和多个第二参考局部特征矩阵，然后，分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量，最后，对所述分类特征向量进行流形曲面优化后通过分类器以得到用于表示被检测球销的成型质量是否合格的分类结果。这样，可以提高球销检测的准确性和效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的球销的示意图。
图2为根据本申请实施例的球销的自动化生产线的应用场景图。
图3为根据本申请实施例的球销的自动化生产线的框图示意图。
图4为根据本申请实施例的球销的自动化生产线中的所述相似度度量模块的框图示意图。
图5为根据本申请实施例的球销的自动化生产方法的流程图。
图6为根据本申请实施例的球销的自动化生产方法的***架构的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述***和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
针对上述技术问题，本申请的技术构思是综合利用由摄像头采集的被检测球销的检测图像和质量合格的球销的参考图像，并结合基于深度学习的图像处理技术来实现对球销成型质量的智能判断，从而有效地提高球销检测的准确性和效率，降低人工检测的成本和误差。
如图1所示，球销包括球头11和销体12，其中，销体12设有平均膜厚8-15μm的涂层，涂层呈银灰色，且不能有影响功能的外观缺陷。涂层的附着力需满足：使用25mm宽（7±1）N的胶带粘贴涂层表面，快速撕开胶带，涂层应保持在零件表面，允许少量的涂层转移到胶带。
具体地，在本申请的技术方案中，首先，获取由摄像头采集的被检测球销的检测图像，同时，获取质量合格的球销的参考图像。这里，通过获取被检测球销的检测图像可以快速、准确地捕捉球销的外形和细节，以及球销的球头、销体之间的相对位置和角度等信息，从而发现球销的缺陷和不良现象，如裂纹、变形、磨损、松动等。且在本申请的技术方案中，获取质量合格的球销的参考图像是为了与被检测球销的检测图像进行对比，以提高检测的准确性和效率。值得一提的是，质量合格的球销的参考图像可以根据不同的生产厂家或使用单位的检验标准和要求，选择或生成适合的参考图像，保证球销的质量符合规范。
接着，对所述检测图像和所述参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像。这里，区域划分是将图像分割成不同的区域，每个区域包含具有相似属性的像素。其中，一个第一检测局部图像中的像素通常具有相似的强度值并形成一个连通区域，而其他第一检测局部图像中的像素具有不同的值。同样，第二参考局部图像亦是如此。这样做的目的是简化并改变图像的表示形式，使其更有意义、更易于分析，也就是说，可以将大型复杂的图像分解为小型简单的子图像，从而降低计算复杂度和内存消耗，提高运行速度和效率；同时也可以增加模型对局部特征的敏感度和关注度，提高分类准确性和鲁棒性。
为了更聚焦于各个局部图像中重要的信息，在本申请的技术方案中，将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵，同时，将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵。这里，空间注意力机制是一种自适应的空间区域选择机制，可以根据不同的任务和输入，关注图像中最重要的部分，抑制无关的信息。具体而言，使用空间注意力机制的卷积神经网络模型，可以利用卷积层提取局部特征，同时利用空间注意力层对局部特征进行加权，突出关键区域，抑制背景干扰。这样，就可以得到更具有代表性和区分性的特征信息。
然后，分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量。其中，余弦相似度是一种用于衡量两个向量之间相似性的方法，它的值越大，表示两个向量越接近；反之，值越小，表示两个向量越远离。具体而言，使用余弦相似度可以有效地比较被检测球销的检测图像和参考图像在各个局部区域上的差异。通过将多个余弦相似度组合成一个分类特征向量，可以综合考虑被检测球销和参考球销在所有局部区域上的图像特征的相似程度。
继而，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被检测球销的成型质量是否合格。其中，分类器可以根据输入数据的特征向量来预测其属于哪个类别。具体地，分类器可以根据输入的分类特征向量来判断被检测球销是否与参考球销相似，从而判断其成型质量是否合格。这样可以避免人为设定一个固定的阈值来判断是否合格，而是让分类器自动学习一个最优的决策边界，适应不同的情况和需求。
在本申请的技术方案中，通过计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间的余弦相似度，可以使得由所述多个余弦相似度组成的所述分类特征向量更能够表达所述检测图像和所述参考图像在各个局部的相关性分布，但是，考虑到所述检测图像和所述参考图像在划分为局部图像并通过空间注意力机制强化局部图像的语义特征空间分布之后，所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间的余弦相似度会有较大方差，从而导致所述分类特征向量的整体特征分布的规则化程度低，影响了所述分类特征向量通过分类器进行分类回归得到的分类结果的准确性。
基于此，本申请的申请人对所述分类特征向量，例如记为进行流形曲面的高斯概率密度参数二次正则化，具体表示为：
，
其中和/>是特征值集合/>的均值和标准差，且/>是优化后的所述分类特征向量/>的第/>个位置的特征值。
具体地，为了解决所述分类特征向量的特征集合的高维特征分布在高维特征空间内的分布不规则化的问题，通过特征值针对分类器的类概率分布的高斯概率密度参数的似然性进行所述分类特征向量/>的各个特征值的二次正则化，来将基于目标类概率的高斯概率密度参数的参数空间内的等距离分布进行特征值的平滑约束，以获得高维特征的流形曲面表达的原始概率密度似然函数在参数空间内的规则化重整，从而提升优化后的所述分类特征向量的特征分布的规则性，以提升优化后的所述分类特征向量通过分类器进行分类回归得到的分类结果的准确性。
本申请具有如下几点技术效果：
1、提供了一种球销的自动化检测方案。
2、该方案通过对球销图像进行区域划分和特征提取，利用空间注意力机制增强感兴趣区域的特征表达能力，并利用余弦相似度计算不同区域特征之间的相似程度，采用分类器对特征向量进行分类，从而实现对球销成型质量的判断。这样，有效地提高球销检测的准确性和效率，降低人工检测的成本和误差。
图2为根据本申请实施例的球销的自动化生产线的应用场景图。如图2所示，在该应用场景中，首先，获取由摄像头（例如，图2中所示意的C）采集的被检测球销（例如，图2中所示意的N）的检测图像（例如，图2中所示意的D1），以及，质量合格的球销的参考图像（例如，图2中所示意的D2），然后，将所述检测图像和所述参考图像输入至部署有球销的自动化生产算法的服务器中（例如，图2中所示意的S），其中，所述服务器能够使用所述球销的自动化生产算法对所述检测图像和所述参考图像进行处理以得到用于表示被检测球销的成型质量是否合格的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图3为根据本申请实施例的球销的自动化生产线的框图示意图。如图3所示，根据本申请实施例的球销的自动化生产线100，包括：检测图像获取模块110，用于获取由摄像头采集的被检测球销的检测图像；参考图像获取模块120，用于获取质量合格的球销的参考图像；区域划分模块130，用于对所述检测图像和所述参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像；检测空间强化模块140，用于将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵；参考空间强化模块150，用于将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵；相似度度量模块160，用于分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量；优化模块170，用于对所述分类特征向量进行流形曲面优化以得到优化分类特征向量；以及，检测结果生成模块180，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被检测球销的成型质量是否合格。
更具体地，在本申请实施例中，所述检测图像获取模块110，用于获取由摄像头采集的被检测球销的检测图像。所述参考图像获取模块120，用于获取质量合格的球销的参考图像。通过获取被检测球销的检测图像可以快速、准确地捕捉球销的外形和细节，以及球销与球头、销体之间的相对位置和角度等信息，从而发现球销的缺陷和不良现象，如裂纹、变形、磨损、松动等。且在本申请的技术方案中，获取质量合格的球销的参考图像是为了与被检测球销的检测图像进行对比，以提高检测的准确性和效率。值得一提的是，质量合格的球销的参考图像可以根据不同的生产厂家或使用单位的检验标准和要求，选择或生成适合的参考图像，保证球销的质量符合规范。
更具体地，在本申请实施例中，所述区域划分模块130，用于对所述检测图像和所述参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像。区域划分是将图像分割成不同的区域，每个区域包含具有相似属性的像素。其中，一个第一检测局部图像中的像素通常具有相似的强度值并形成一个连通区域，而其他第一检测局部图像中的像素具有不同的值。同样，第二参考局部图像亦是如此。这样做的目的是简化并改变图像的表示形式，使其更有意义、更易于分析，也就是说，可以将大型复杂的图像分解为小型简单的子图像，从而降低计算复杂度和内存消耗，提高运行速度和效率；同时也可以增加模型对局部特征的敏感度和关注度，提高分类准确性和鲁棒性。
更具体地，在本申请实施例中，所述检测空间强化模块140，用于将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵。为了更聚焦于各个局部图像中重要的信息，在本申请的技术方案中，将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵。空间注意力机制是一种自适应的空间区域选择机制，可以根据不同的任务和输入，关注图像中最重要的部分，抑制无关的信息。使用空间注意力机制的卷积神经网络模型，可以利用卷积层提取局部特征，同时利用空间注意力层对局部特征进行加权，突出关键区域，抑制背景干扰。这样，就可以得到更具有代表性和区分性的特征信息。
应可以理解，卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
相应地，在一个具体示例中，所述检测空间强化模块140，用于：通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成第一卷积特征图；对所述第一卷积特征图进行池化处理以生成第一池化特征图；对所述第一池化特征图进行非线性激活以生成第一激活特征图；计算所述第一激活特征图的各个位置沿通道维度的均值以生成第一空间特征矩阵；计算所述第一空间特征矩阵中各个位置的类Softmax函数值以获得第一空间得分矩阵；以及，计算所述第一空间特征矩阵和所述第一空间得分矩阵的按位置点乘以获得第一特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第一检测局部特征矩阵。
更具体地，在本申请实施例中，所述参考空间强化模块150，用于将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵。为了更聚焦于各个局部图像中重要的信息，在本申请的技术方案中，将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵。
相应地，在一个具体示例中，所述参考空间强化模块150，用于：通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成第二卷积特征图；对所述第二卷积特征图进行池化处理以生成第二池化特征图；对所述第二池化特征图进行非线性激活以生成第二激活特征图；计算所述第二激活特征图的各个位置沿通道维度的均值以生成第二空间特征矩阵；计算所述第二空间特征矩阵中各个位置的类Softmax函数值以获得第二空间得分矩阵；以及，计算所述第二空间特征矩阵和所述第二空间得分矩阵的按位置点乘以获得第二特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第二参考局部特征矩阵。
更具体地，在本申请实施例中，所述相似度度量模块160，用于分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量。余弦相似度是一种用于衡量两个向量之间相似性的方法，它的值越大，表示两个向量越接近；反之，值越小，表示两个向量越远离。具体而言，使用余弦相似度可以有效地比较被检测球销的检测图像和参考图像在各个局部区域上的差异。通过将多个余弦相似度组合成一个分类特征向量，可以综合考虑被检测球销和参考球销在所有局部区域上的图像特征的相似程度。
相应地，在一个具体示例中，如图4所示，所述相似度度量模块160，包括：余弦相似度计算单元161，用于以如下余弦相似度计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到所述多个余弦相似度；其中，所述余弦相似度计算公式为：
，
其中，和/>分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵，/>和分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵的第/>位置的特征值，表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间的余弦距离；以及，排列单元162，用于将所述多个余弦相似度进行排列以得到所述分类特征向量。
更具体地，在本申请实施例中，所述优化模块170，用于对所述分类特征向量进行流形曲面优化以得到优化分类特征向量。在本申请的技术方案中，通过计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间的余弦相似度，可以使得由所述多个余弦相似度组成的所述分类特征向量更能够表达所述检测图像和所述参考图像在各个局部的相关性分布，但是，考虑到所述检测图像和所述参考图像在划分为局部图像并通过空间注意力机制强化局部图像的语义特征空间分布之后，所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间的余弦相似度会有较大方差，从而导致所述分类特征向量的整体特征分布的规则化程度低，影响了所述分类特征向量通过分类器进行分类回归得到的分类结果的准确性。基于此，本申请的申请人对所述分类特征向量，例如记为进行流形曲面的高斯概率密度参数二次正则化。
相应地，在一个具体示例中，所述优化模块170，用于：以如下优化公式对所述分类特征向量进行流形曲面优化以得到所述优化分类特征向量；其中，所述优化公式为：
，
其中，是所述分类特征向量的第/>个位置的特征值，/>和/>是所述分类特征向量的特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。
具体地，为了解决所述分类特征向量的特征集合的高维特征分布在高维特征空间内的分布不规则化的问题，通过特征值针对分类器的类概率分布的高斯概率密度参数的似然性进行所述分类特征向量/>的各个特征值的二次正则化，来将基于目标类概率的高斯概率密度参数的参数空间内的等距离分布进行特征值的平滑约束，以获得高维特征的流形曲面表达的原始概率密度似然函数在参数空间内的规则化重整，从而提升优化后的所述分类特征向量的特征分布的规则性，以提升优化后的所述分类特征向量通过分类器进行分类回归得到的分类结果的准确性。
更具体地，在本申请实施例中，所述检测结果生成模块180，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被检测球销的成型质量是否合格。具体地，分类器可以根据输入的分类特征向量来判断被检测球销是否与参考球销相似，从而判断其成型质量是否合格。
也就是，在本申请的技术方案中，所述分类器的标签包括被检测球销的成型质量合格(第一标签)，以及，被检测球销的成型质量不合格(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征矩阵属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“被检测球销的成型质量是否合格”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，被检测球销的成型质量是否合格的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“被检测球销的成型质量是否合格”的语言文本意义。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
相应地，在一个具体示例中，所述检测结果生成模块180，用于：使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的球销的自动化生产线100被阐明，其首先对检测图像和参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像，接着，所述多个第一检测局部图像和所述多个第二参考局部图像分别通过卷积神经网络模型以得到多个第一检测局部特征矩阵和多个第二参考局部特征矩阵，然后，分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量，最后，对所述分类特征向量进行流形曲面优化后通过分类器以得到用于表示被检测球销的成型质量是否合格的分类结果。这样，可以提高球销检测的准确性和效率。
如上所述，根据本申请实施例的基于本申请实施例的球销的自动化生产线100可以实现在各种终端设备中，例如具有基于本申请实施例的球销的自动化生产算法的服务器等。在一个示例中，基于本申请实施例的球销的自动化生产线100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的球销的自动化生产线100可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的球销的自动化生产线100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的球销的自动化生产线100与该终端设备也可以是分立的设备，并且该球销的自动化生产线100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图5为根据本申请实施例的球销的自动化生产方法的流程图。如图5所示，根据本申请实施例的球销的自动化生产方法，其包括：S110，获取由摄像头采集的被检测球销的检测图像；S120，获取质量合格的球销的参考图像；S130，对所述检测图像和所述参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像；S140，将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵；S150，将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵；S160，分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量；S170，对所述分类特征向量进行流形曲面优化以得到优化分类特征向量；以及，S180，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被检测球销的成型质量是否合格。
图6为根据本申请实施例的球销的自动化生产方法的***架构的示意图。如图6所示，在所述球销的自动化生产方法的***架构中，首先，获取由摄像头采集的被检测球销的检测图像；接着，获取质量合格的球销的参考图像；然后，对所述检测图像和所述参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像；接着，将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵；然后，将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵；接着，分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量；然后，对所述分类特征向量进行流形曲面优化以得到优化分类特征向量；最后，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被检测球销的成型质量是否合格。
在一个具体示例中，在上述球销的自动化生产方法中，将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵，包括：通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成第一卷积特征图；对所述第一卷积特征图进行池化处理以生成第一池化特征图；对所述第一池化特征图进行非线性激活以生成第一激活特征图；计算所述第一激活特征图的各个位置沿通道维度的均值以生成第一空间特征矩阵；计算所述第一空间特征矩阵中各个位置的类Softmax函数值以获得第一空间得分矩阵；以及，计算所述第一空间特征矩阵和所述第一空间得分矩阵的按位置点乘以获得第一特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第一检测局部特征矩阵。
在一个具体示例中，在上述球销的自动化生产方法中，将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵，包括：通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以生成第二卷积特征图；对所述第二卷积特征图进行池化处理以生成第二池化特征图；对所述第二池化特征图进行非线性激活以生成第二激活特征图；计算所述第二激活特征图的各个位置沿通道维度的均值以生成第二空间特征矩阵；计算所述第二空间特征矩阵中各个位置的类Softmax函数值以获得第二空间得分矩阵；以及，计算所述第二空间特征矩阵和所述第二空间得分矩阵的按位置点乘以获得第二特征矩阵；其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第二参考局部特征矩阵。
在一个具体示例中，在上述球销的自动化生产方法中，分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量，包括：以如下余弦相似度计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到所述多个余弦相似度；其中，所述余弦相似度计算公式为：
，
其中，和/>分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵，/>和分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵的第/>位置的特征值，表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间的余弦距离；以及，将所述多个余弦相似度进行排列以得到所述分类特征向量。
在一个具体示例中，在上述球销的自动化生产方法中，对所述分类特征向量进行流形曲面优化以得到优化分类特征向量，包括：以如下优化公式对所述分类特征向量进行流形曲面优化以得到所述优化分类特征向量；其中，所述优化公式为：
，
其中，是所述分类特征向量的第/>个位置的特征值，/>和/>是所述分类特征向量的特征值集合的均值和标准差，且/>是所述优化分类特征向量的第/>个位置的特征值。
在一个具体示例中，在上述球销的自动化生产方法中，将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被检测球销的成型质量是否合格，包括：使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述球销的自动化生产方法中的各个步骤的具体操作已经在上面参考图2到图4的球销的自动化生产线100的描述中得到了详细介绍，并因此，将省略其重复描述。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。
Claims (9)
1.一种球销的自动化生产线，其特征在于，包括：
检测图像获取模块，用于获取由摄像头采集的被检测球销的检测图像；
参考图像获取模块，用于获取质量合格的球销的参考图像；
区域划分模块，用于对所述检测图像和所述参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像；
检测空间强化模块，用于将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵；
参考空间强化模块，用于将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵；
相似度度量模块，用于分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量；
优化模块，用于对所述分类特征向量进行流形曲面优化以得到优化分类特征向量；以及
检测结果生成模块，用于将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被检测球销的成型质量是否合格；
其中，所述优化模块，用于：
以如下优化公式对所述分类特征向量进行流形曲面优化以得到所述优化分类特征向量；
其中，所述优化公式为：
v'i＝(μσ)vi 2+viμ+(vi-σ)μ2
其中，vi是所述分类特征向量的第i个位置的特征值，μ和σ是所述分类特征向量的特征值集合的均值和标准差，且v'i是所述优化分类特征向量的第i个位置的特征值。
2.根据权利要求1所述的球销的自动化生产线，其特征在于，所述检测空间强化模块，用于：
通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成第一卷积特征图；
对所述第一卷积特征图进行池化处理以生成第一池化特征图；
对所述第一池化特征图进行非线性激活以生成第一激活特征图；
计算所述第一激活特征图的各个位置沿通道维度的均值以生成第一空间特征矩阵；
计算所述第一空间特征矩阵中各个位置的类Softmax函数值以获得第一空间得分矩阵；以及
计算所述第一空间特征矩阵和所述第一空间得分矩阵的按位置点乘以获得第一特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第一检测局部特征矩阵。
3.根据权利要求2所述的球销的自动化生产线，其特征在于，所述参考空间强化模块，用于：
通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成第二卷积特征图；
对所述第二卷积特征图进行池化处理以生成第二池化特征图；
对所述第二池化特征图进行非线性激活以生成第二激活特征图；
计算所述第二激活特征图的各个位置沿通道维度的均值以生成第二空间特征矩阵；
计算所述第二空间特征矩阵中各个位置的类Softmax函数值以获得第二空间得分矩阵；以及
计算所述第二空间特征矩阵和所述第二空间得分矩阵的按位置点乘以获得第二特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第二参考局部特征矩阵。
4.根据权利要求3所述的球销的自动化生产线，其特征在于，所述相似度度量模块，包括：
余弦相似度计算单元，用于以如下余弦相似度计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到所述多个余弦相似度；
其中，所述余弦相似度计算公式为：
其中，M1和M2分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵，和/>分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵的第(i,j)位置的特征值，d(M1,M2)表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间的余弦距离；以及
排列单元，用于将所述多个余弦相似度进行排列以得到所述分类特征向量。
5.根据权利要求4所述的球销的自动化生产线，其特征在于，所述检测结果生成模块，用于：
使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
6.一种球销的自动化生产方法，其特征在于，包括：
获取由摄像头采集的被检测球销的检测图像；
获取质量合格的球销的参考图像；
对所述检测图像和所述参考图像进行区域划分以得到多个第一检测局部图像和多个第二参考局部图像；
将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵；
将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵；
分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量；
对所述分类特征向量进行流形曲面优化以得到优化分类特征向量；以及
将所述优化分类特征向量通过分类器以得到分类结果，所述分类结果用于表示被检测球销的成型质量是否合格；
其中，对所述分类特征向量进行流形曲面优化以得到优化分类特征向量，包括：
以如下优化公式对所述分类特征向量进行流形曲面优化以得到所述优化分类特征向量；
其中，所述优化公式为：
v'i＝(μσ)vi 2+viμ+(vi-σ)μ2
其中，vi是所述分类特征向量的第i个位置的特征值，μ和σ是所述分类特征向量的特征值集合的均值和标准差，且v'i是所述优化分类特征向量的第i个位置的特征值。
7.根据权利要求6所述的球销的自动化生产方法，其特征在于，将所述多个第一检测局部图像通过使用空间注意力机制的卷积神经网络模型以得到多个第一检测局部特征矩阵，包括：
通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成第一卷积特征图；
对所述第一卷积特征图进行池化处理以生成第一池化特征图；
对所述第一池化特征图进行非线性激活以生成第一激活特征图；
计算所述第一激活特征图的各个位置沿通道维度的均值以生成第一空间特征矩阵；
计算所述第一空间特征矩阵中各个位置的类Softmax函数值以获得第一空间得分矩阵；以及
计算所述第一空间特征矩阵和所述第一空间得分矩阵的按位置点乘以获得第一特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第一检测局部特征矩阵。
8.根据权利要求7所述的球销的自动化生产方法，其特征在于，将所述多个第二参考局部图像通过所述使用空间注意力机制的卷积神经网络模型以得到多个第二参考局部特征矩阵，包括：
通过所述使用空间注意力机制的卷积神经网络模型的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以生成第二卷积特征图；
对所述第二卷积特征图进行池化处理以生成第二池化特征图；
对所述第二池化特征图进行非线性激活以生成第二激活特征图；
计算所述第二激活特征图的各个位置沿通道维度的均值以生成第二空间特征矩阵；
计算所述第二空间特征矩阵中各个位置的类Softmax函数值以获得第二空间得分矩阵；以及
计算所述第二空间特征矩阵和所述第二空间得分矩阵的按位置点乘以获得第二特征矩阵；
其中，所述使用空间注意力机制的卷积神经网络模型的最后一层输出的所述特征矩阵为所述多个第二参考局部特征矩阵。
9.根据权利要求8所述的球销的自动化生产方法，其特征在于，分别计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到由多个余弦相似度组成的分类特征向量，包括：
以如下余弦相似度计算所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间余弦相似度以得到所述多个余弦相似度；
其中，所述余弦相似度计算公式为：
其中，M1和M2分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵，和/>分别表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵的第(i,j)位置的特征值，d(M1,M2)表示所述多个第一检测局部特征矩阵和所述多个第二参考局部特征矩阵中每组对应的第一检测局部特征矩阵和第二参考局部特征矩阵之间的余弦距离；以及
将所述多个余弦相似度进行排列以得到所述分类特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310479990.0A CN117197029B (zh) | 2023-04-28 | 2023-04-28 | 球销的自动化生产线及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310479990.0A CN117197029B (zh) | 2023-04-28 | 2023-04-28 | 球销的自动化生产线及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197029A CN117197029A (zh) | 2023-12-08 |
| CN117197029B true CN117197029B (zh) | 2024-05-03 |
Family
ID=88996676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310479990.0A Active CN117197029B (zh) | 2023-04-28 | 2023-04-28 | 球销的自动化生产线及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197029B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103090792A (zh) * | 2013-01-08 | 2013-05-08 | 常州先进制造技术研究所 | 基于机器视觉的球销类不合格品的自动分检方法和装置 |
| CN113989279A (zh) * | 2021-12-24 | 2022-01-28 | 武汉华康龙兴工贸有限公司 | 基于人工智能及图像处理的塑料薄膜质量检测方法 |
| CN114596426A (zh) * | 2022-03-14 | 2022-06-07 | 深圳市凌云视迅科技有限责任公司 | 基于点线面几何特征的数模对齐方法及装置 |
| CN115410069A (zh) * | 2022-08-25 | 2022-11-29 | 绍兴幺贰玖零科技有限公司 | 基于多重注意力机制的故障检测方法及其*** |
| CN115560274A (zh) * | 2022-10-14 | 2023-01-03 | 慈溪市远辉照明电器有限公司 | 一种易接线型三防灯 |
| CN115937571A (zh) * | 2022-10-24 | 2023-04-07 | 江苏长欣车辆装备有限公司 | 车用玻璃球面度检测装置及其检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3832550A1 (en) * | 2019-12-02 | 2021-06-09 | Robert Bosch GmbH | Device and method for training a classifier |
| CN115965217A (zh) * | 2023-01-10 | 2023-04-14 | 吉安吉之模型有限公司 | 用于塑料模型的智能化生产监控方法及其*** |
-
2023
- 2023-04-28 CN CN202310479990.0A patent/CN117197029B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103090792A (zh) * | 2013-01-08 | 2013-05-08 | 常州先进制造技术研究所 | 基于机器视觉的球销类不合格品的自动分检方法和装置 |
| CN113989279A (zh) * | 2021-12-24 | 2022-01-28 | 武汉华康龙兴工贸有限公司 | 基于人工智能及图像处理的塑料薄膜质量检测方法 |
| CN114596426A (zh) * | 2022-03-14 | 2022-06-07 | 深圳市凌云视迅科技有限责任公司 | 基于点线面几何特征的数模对齐方法及装置 |
| CN115410069A (zh) * | 2022-08-25 | 2022-11-29 | 绍兴幺贰玖零科技有限公司 | 基于多重注意力机制的故障检测方法及其*** |
| CN115560274A (zh) * | 2022-10-14 | 2023-01-03 | 慈溪市远辉照明电器有限公司 | 一种易接线型三防灯 |
| CN115937571A (zh) * | 2022-10-24 | 2023-04-07 | 江苏长欣车辆装备有限公司 | 车用玻璃球面度检测装置及其检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于流形学习的近红外光谱建模技术研究;张瑾;中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑);20230215(第02期);第B014-3152页 * |
| 王楠等.自然语言理解与行业知识图谱 概念、方法与工程落地.机械工业出版社,2022,第52-53页. * |
| 程俊等.基于形状知识的不合格品自动检测算法.电子测量技术.2011,(第01期),第119-123页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197029A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gao et al. | A multilevel information fusion-based deep learning method for vision-based defect recognition | |
| CN112598017A (zh) | 用于对产品进行分类的***和方法 | |
| CN103544499B (zh) | 一种基于机器视觉的表面瑕疵检测的纹理特征降维方法 | |
| CN116580029B (zh) | 铝合金铸造成品的质检管控***及其方法 | |
| CN113516656B (zh) | 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法 | |
| Meister et al. | Cross-evaluation of a parallel operating SVM–CNN classifier for reliable internal decision-making processes in composite inspection | |
| CN114418980A (zh) | 印刷线路板缺陷识别的深度学习方法、***、设备及介质 | |
| CN116597377A (zh) | 牛养殖的智能监控管理方法及其*** | |
| CN116862320A (zh) | 一种农村生态环境评估监管方法、***及存储介质 | |
| CN117011274A (zh) | 自动化玻璃瓶检测***及其方法 | |
| CN110717602B (zh) | 一种基于噪音数据的机器学习模型鲁棒性评估方法 | |
| CN116596556A (zh) | 肉牛追溯管理***及方法 | |
| CN116824481A (zh) | 基于图像识别的变电站巡检方法及其*** | |
| CN116597198A (zh) | 一种节能环保陶瓷砂锅的制备方法 | |
| CN116957315A (zh) | 雨衣布的智能化加工方法及其*** | |
| CN116310563A (zh) | 一种贵金属库存的管理方法及*** | |
| CN113221758B (zh) | 一种基于gru-nin模型的水声目标识别方法 | |
| CN113642540A (zh) | 一种基于胶囊网络的人脸表情识别方法及装置 | |
| CN117197029B (zh) | 球销的自动化生产线及其方法 | |
| Durasov et al. | Zigzag: Universal sampling-free uncertainty estimation through two-step inference | |
| CN116563251A (zh) | 汽车用拉杆球头的智能加工方法及其*** | |
| CN116994049A (zh) | 全自动针织横机及其方法 | |
| CN116188445A (zh) | 一种产品表面缺陷的检测定位方法、装置及终端设备 | |
| CN110363227B (zh) | 一种基于流形学习的led分类方法 | |
| CN116593890B (zh) | 永磁同步电机转子及其成型检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |