CN116385442A - 一种基于深度学习的虚拟装配缺陷检测方法 - Google Patents

一种基于深度学习的虚拟装配缺陷检测方法 Download PDF

Info

Publication number
CN116385442A
CN116385442A CN202310657878.1A CN202310657878A CN116385442A CN 116385442 A CN116385442 A CN 116385442A CN 202310657878 A CN202310657878 A CN 202310657878A CN 116385442 A CN116385442 A CN 116385442A
Authority
CN
China
Prior art keywords
virtual assembly
deep learning
image
layer
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310657878.1A
Other languages
English (en)
Other versions
CN116385442B (zh
Inventor
闫岩
孙显彬
张站奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202310657878.1A priority Critical patent/CN116385442B/zh
Publication of CN116385442A publication Critical patent/CN116385442A/zh
Application granted granted Critical
Publication of CN116385442B publication Critical patent/CN116385442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及缺陷检测技术领域，尤其为一种基于深度学习的虚拟装配缺陷检测方法，包括如下步骤：S1：通过检测装置，获取虚拟装配过程的图像信息；S2：提取虚拟装配过程的图像信息，并对虚拟装配过程的图像信息进行预处理；S3：以预处理信息为原始信息构建并训练深度学习网络，获得深度学习模型；S4：将深度学习模型部署到***中进行应用当虚拟装配缺陷存在时进行自动预警。本发明对预处理的数据进行图像增强获得更多原始数据作为模型训练的输入值，当计算机进行虚拟装配仿真试验时，不需要对数据进行收集计算机就能自己收集数据，并传送至模型当中自动检测，当检测结果出现异常时***就会自动产生预警。

Description

一种基于深度学习的虚拟装配缺陷检测方法
技术领域
本发明涉及缺陷检测技术领域，尤其是一种基于深度学习的虚拟装配缺陷检测方法。
背景技术
虚拟仿真试验是以计算机为基础进行发展。当前，虚拟仿真试验已经运用于各个领域当中，通过虚拟仿真试验进行虚拟装配缺陷检测能够避免现实试验中出现问题后造成不必要的损失。
虚拟仿真试验成功后要运行在现实情况之中，因此虚拟装配缺陷检测方法显得尤为重要，但目前尚存的方法都是基于简单模型的虚拟装配检测并且由人工进行虚拟仿真试验图像的输入并不能做到实时检测，因此存在导致风险的可能性，故本发明提出一种基于深度学习的虚拟装配缺陷检测方法。
发明内容
本发明的目的是通过提出一种基于深度学习的虚拟装配缺陷检测方法，以解决上述背景技术中提出的缺陷。
本发明采用的技术方案如下：
提供一种基于深度学习的虚拟装配缺陷检测方法，包括如下步骤：
S1：通过检测装置，获取虚拟装配过程的图像信息；
S2：提取虚拟装配过程的图像信息，并对虚拟装配过程的图像信息进行预处理；
S3：以预处理信息为原始信息构建并训练深度学习网络，获得深度学习模型；
S4：将深度学习模型部署到***中进行应用当虚拟装配缺陷存在时进行自动预警。
作为本发明的一种优选技术方案：所述S2中的预处理操作包括图像降噪、图像标注、图像增强。
作为本发明的一种优选技术方案：所述图像降噪是通过对虚拟装配过程的信息进行中值滤波计算公式如下：
Figure SMS_1
；
其中
Figure SMS_2
为降噪后i行j列对应的像素值，
Figure SMS_3
为降噪前k行l列对应的像素值，
Figure SMS_4
为降噪邻域大小。
作为本发明的一种优选技术方案：所述图像标注是通过MATLAB自带的大图像标注器对降噪后的数据进行标注。
作为本发明的一种优选技术方案：所述图像增强计算公式如下：
Figure SMS_5
；
其中
Figure SMS_6
为处理后图像对应的像素点（i,j）对应的像素值
Figure SMS_7
，
Figure SMS_8
为原始的 图像对应的像素点（i，j）的像素值
Figure SMS_9
，
Figure SMS_10
为空间转化函数。
作为本发明的一种优选技术方案：所述深度学习网络为深度学习算法，算法步骤如下：
S3.1：将虚拟装配过程的图像信息和图像增强后的虚拟装配过程的图像像素点通过大图像标注器标注后作为深度学习模型训练的输入；
S3.2：构造网络的输入层、隐藏层、输出层；
S3.3：将大图像标注器标注后的虚拟装配图像信息进行切割分为训练集和测试集；
S3.4：构建损失函数；
S3.5：重复隐藏层工作直至损失函数收敛输出所有参数。
作为本发明的一种优选技术方案：
所述深度学习包括卷积层、池化层、全连接层，具体如下：
卷积层：
Figure SMS_11
；
Figure SMS_12
；
Figure SMS_13
；
其中A为卷积核，
Figure SMS_14
为卷积核内的数据，卷积核内存储的数 据是用于特征提取的权重参数，这些参数通过训练过程学习得到，可以捕捉到输入数据中 与缺陷相关的特征，X为原始输入虚拟装配过程的特征图，
Figure SMS_15
为图像增强后的虚拟装配过程的图像像素点对应的像 素值，B为偏置矩阵，C为计算后得到的矩阵；
池化层：
Figure SMS_16
；
其中
Figure SMS_17
为池化后得到的像素值，nm为池化层选取步长的大小；
全连接层：正向传播：
Figure SMS_18
；
其中a为正向传播的输入，
Figure SMS_19
为正向传播权重系数，
Figure SMS_20
为第i个神经元的偏置值，
Figure SMS_21
为激活后的向量，
Figure SMS_22
为激活函数，
Figure SMS_23
为池化后得到的像素值,反向传播：
Figure SMS_24
；
Figure SMS_25
；
Figure SMS_26
；
其中loss为损失函数，
Figure SMS_27
为学习率，
Figure SMS_28
为模型的预测值，
Figure SMS_29
为真实的目标值，最后 得到预测结果：
Figure SMS_30
；
其中
Figure SMS_31
为最终预测结果，
Figure SMS_32
为对应像素点（i,j）的像素值。
作为本发明的一种优选技术方案：所述深度学习的虚拟装配缺陷检测识别模型是通过卷积层、池化层和全连接层训练获得。
作为本发明的一种优选技术方案：所述将深度学习模型部署到***是将虚拟装配缺陷检测识别模型部署到***CPU或GPU中进行后续输入预测。
作为本发明的一种优选技术方案：所述S4中自动预警是将训练模型部署到CPU或GPU中当运行检测到虚拟装配缺陷存在时控制计算机。
本发明提供的基于深度学习的虚拟装配缺陷检测方法，与现有技术相比，其有益效果有：
本发明通过计算机自动获得虚拟装配的装配过程图进行图像预处理，对预处理的数据进行图像增强获得更多原始数据作为模型训练的输入值，能够满足更为复杂的深度学习模型，通过卷积神经网络对输入值进行神经网络模型训练，对训练好的数据直接部署到计算机CPU或者GPU当中，当计算机进行虚拟装配仿真试验时，不需要对数据进行收集计算机就能自己收集数据并传送至模型当中自动检测，当检测结果出现异常时***就会自动产生预警。
附图说明
图1为本发明优选实施例的方法流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本实施例中的实施例及实施例中的特征可以相互组合，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本发明优选实施例提供了一种基于深度学习的虚拟装配缺陷检测方法，包括如下步骤：
S1：通过检测装置，获取虚拟装配过程的图像信息；
S2：提取虚拟装配过程的图像信息，并对虚拟装配过程的图像信息进行预处理；
S3：以预处理信息为原始信息构建并训练深度学习网络，获得深度学习模型；
S4：将深度学习模型部署到***中进行应用当虚拟装配缺陷存在时进行自动预警。
S2中的预处理操作包括图像降噪、图像标注、图像增强，其中图像降噪是为了减少环境对数据预测造成的影响，同时在模型训练过程中需要有标签所以需要对图像进行标注，为了增加模型的正确率对原始图像进行图像增强提供更多的初始输入能够满足更复杂的深度学习网络的要求。
首先对图像进行降噪处理，过滤图像中质量差的或者有缺失的像素信息，对降噪后的数据进行标注分类，然后对标注分类的数据通过图像增强的方式获得更多的训练数据，图像降噪是通过对虚拟装配过程的图像信息进行中值滤波计算公式如下：
Figure SMS_33
；
其中
Figure SMS_34
为降噪后i行j列对应的像素值，
Figure SMS_35
为降噪前k行l列对应的像素值，
Figure SMS_36
为降噪邻域大小。
具体的， 虚拟装配过程是通过计算机中的仿真软件来实现的，本实施例中采用Siemens PLM Software软件来实现，使用Siemens PLM Software，可以生成虚拟的装配环境，并模拟真实的装配过程。而Siemens PLM Software软件本身即可提供图像捕捉功能，可以用来记录装配过程中的图像信息，为预处理提供了足够的虚拟装配过程图像信息。
图像标注是通过MATLAB自带的大图像标注器对降噪后的数据进行标注，将标注好 的数据作为图像增强的输入。具体的，通过
Figure SMS_37
构建矩阵形成原始输入特征图X，然后使用卷 积神经网络提取图像特征向量，通过学习滤波器权重，能够捕捉图像中的局部和全局特征， 具体的公式如下：
Figure SMS_38
，其中，C表示卷积层的输出特征图，A是卷积核，B是偏 置项，f是激活函数。通过将输入图像X代入公式进行卷积操作，得到卷积层的输出特征图C， 通过分解输出特征图 C得到每个像素的特征向量
Figure SMS_39
，它包含了提取的图像特征。再使用K- means聚类算法对提取的特征向量进行聚类，以实现自动标注。具体为：
a. 初始化聚类中心：随机选择 K 个聚类中心。
b. 分配特征向量到最近的聚类中心：计算每个特征向量与聚类中心的距离，将特征向量分配给距离最近的聚类中心。
c. 更新聚类中心：计算每个聚类的均值作为新的聚类中心。
d. 重复步骤 b 和 c，直到聚类中心不再变化或达到预定的迭代次数。
在K-means算法中，通过迭代更新聚类中心，最终得到每个特征向量的标签，即实现了自动标注。
具体的公式如下：
Figure SMS_40
；
其中，
Figure SMS_41
是特征向量
Figure SMS_42
与聚类中心
Figure SMS_43
的距离，
Figure SMS_44
是样本的总数，
Figure SMS_45
是分 配给聚类中心
Figure SMS_46
的样本集合，
Figure SMS_47
是特征向量样本。
在K-means算法中，通过迭代更新聚类中心，最终得到每个样本的标签，即实现了自动标注。
图像增强计算公式如下：
Figure SMS_48
；
其中
Figure SMS_49
为处理后图像对应的像素点（i,j）对应的像素值
Figure SMS_50
，
Figure SMS_51
为原始的 图像对应的像素点（i，j）的像素值
Figure SMS_52
，
Figure SMS_53
为空间转化函数。
深度学习算法步骤如下：
S3.1：将虚拟装配过程的图像信息和图像增强后的虚拟装配过程的图像像素点通过大图像标注器标注后作为深度学习模型训练的输入；
S3.2：构造网络的输入层、隐藏层、输出层；
S3.3：将大图像标注器标注后的虚拟装配图像信息进行切割分为训练集和测试集；
S3.4：构建损失函数；
S3.5：重复隐藏层工作直至损失函数收敛输出所有参数。
所述深度学习包括卷积层、池化层、全连接层，具体如下：
卷积层：
Figure SMS_54
；
Figure SMS_55
；
Figure SMS_56
；
其中A为卷积核，
Figure SMS_57
为卷积核内的数据，卷积核内存储的数 据是用于特征提取的权重参数，这些参数通过训练过程学习得到，可以捕捉到输入数据中 与缺陷相关的特征，X为原始输入虚拟装配过程的特征图，
Figure SMS_58
为图像增强后的虚拟装配过程的图像像素点对应的像 素值，B为偏置矩阵，C为计算后得到的矩阵；
池化层：
Figure SMS_59
；
其中
Figure SMS_60
为池化后得到的像素值，nm为池化层选取步长的大小；
全连接层：正向传播：
Figure SMS_61
；
其中a为正向传播的输入，
Figure SMS_62
为正向传播权重系数，/>
Figure SMS_63
为第i个神经元的偏置值，
Figure SMS_64
为激活后的向量，/>
Figure SMS_65
为激活函数，/>
Figure SMS_66
为池化后得到的像素值，反向传播：
Figure SMS_67
；
Figure SMS_68
；
Figure SMS_69
；
其中loss为损失函数，
Figure SMS_70
为学习率，/>
Figure SMS_71
为模型的预测值，/>
Figure SMS_72
为真实的目标值，最后得到预测结果：
Figure SMS_73
；
其中
Figure SMS_74
为最终预测结果，/>
Figure SMS_75
为对应像素点（i,j）的像素值，关于R的函数进行模型封装，方便后续部署到CPU或GPU当中去。
S4中将训练模型部署到计算机或GPU中当运行检测到虚拟装配缺陷存在时控制计算机进行自动预警工作，其中，在模型的运行过程中，模型内部会准备一个标注好的数据集，其中包含了正常装配过程和不同类型的装配缺陷。缺陷样本可以为具体问题的定义，例如缺失零部件、错误位置、尺寸偏差等。通过上述过程中图像标注的方式，将缺陷样本和正常样本进行分类标记，这样即可使得计算机的CPU或GPU能够检测到样本属于或不属于装配缺陷的情形。
具体的，在实现过程中，为了避免过拟合，可以在损失函数中添加正则化项。本实施例中采用L2正则化，通过在损失函数中添加权重系数的平方和乘以一个正则化系数来实现。这有助于控制权重的大小，避免过度拟合。
具体为：原始的损失函数为Loss，将其修改为带有L2正则化项的损失函数。权重矩阵为W，L2正则化项的系数为λ，则修改后的损失函数为：
Figure SMS_76
。其中，
Figure SMS_77
表示权重矩阵W的所有元素的平方和。
根据修改后的损失函数，计算相对于权重矩阵W的梯度。为了实现L2正则化，梯度计算的时候需要加上正则化项的导数。梯度的计算公式为：
Figure SMS_78
。其中，/>
Figure SMS_79
表示原始损失函数对权重矩阵W的梯度。
根据计算得到的梯度，使用梯度下降法或其他优化算法来更新权重矩阵W。更新的公式为：
Figure SMS_80
，其中，learning_rate表示学习率，控制参数更新的步长。
通过引入L2正则化项，可以对网络的权重进行约束，使其保持较小的值，从而防止过拟合现象的发生。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于深度学习的虚拟装配缺陷检测方法，其特征在于：包括如下步骤：
S1：通过检测装置，获取虚拟装配过程的图像信息；
S2：提取虚拟装配过程的图像信息，并对虚拟装配过程的图像信息进行预处理；
S3：以预处理信息为原始信息构建并训练深度学习网络，获得深度学习模型；
S4：将深度学习模型部署到***中进行应用当虚拟装配缺陷存在时进行自动预警。
2.根据权利要求1所述的基于深度学习的虚拟装配缺陷检测方法，其特征在于：所述S2中的预处理操作包括图像降噪、图像标注、图像增强。
3.根据权利要求2所述的基于深度学习的虚拟装配缺陷检测方法，其特征在于：所述图像降噪是通过对虚拟装配过程的信息进行中值滤波，计算公式如下：
Figure QLYQS_1
；
其中
Figure QLYQS_2
为降噪后i行j列对应的像素值，/>
Figure QLYQS_3
为降噪前k行l列对应的像素值，/>
Figure QLYQS_4
为降噪邻域大小。
4.根据权利要求2所述的基于深度学习的虚拟装配缺陷检测方法，其特征在于：所述图像标注是通过MATLAB自带的大图像标注器对降噪后的数据进行标注。
5.根据权利要求4所述的基于深度学习的虚拟装配缺陷检测方法，其特征在于：所述图像增强计算公式如下：
Figure QLYQS_5
；
其中
Figure QLYQS_6
为处理后图像对应的像素点（i,j）对应的像素值/>
Figure QLYQS_7
，/>
Figure QLYQS_8
为原始的图像对应的像素点（i，j）的像素值/>
Figure QLYQS_9
，/>
Figure QLYQS_10
为空间转化函数。
6.根据权利要求1所述的基于深度学习的虚拟装配缺陷检测方法，其特征在于：所述深度学习网络为深度学习算法，算法步骤如下：
S3.1：将虚拟装配过程的图像信息和图像增强后的虚拟装配过程的图像像素点通过大图像标注器标注后作为深度学习模型训练的输入；
S3.2：构造网络的输入层、隐藏层、输出层；
S3.3：将大图像标注器标注后的虚拟装配图像信息进行切割分为训练集和测试集；
S3.4：构建损失函数；
S3.5：重复隐藏层工作直至损失函数收敛输出所有参数。
7.根据权利要求6所述的基于深度学习的虚拟装配缺陷检测方法，其特征在于：所述深度学习包括卷积层、池化层、全连接层，具体如下：
卷积层：
Figure QLYQS_11
；
Figure QLYQS_12
；
Figure QLYQS_13
；
其中A为卷积核，
Figure QLYQS_14
为卷积核内的数据，卷积核内存储的数据是用于特征提取的权重参数，这些参数通过训练过程学习得到，可以捕捉到输入数据中与缺陷相关的特征，X为原始输入虚拟装配过程的特征图，/>
Figure QLYQS_15
为图像增强后的虚拟装配过程的图像像素点对应的像素值，B为偏置矩阵，C为计算后得到的矩阵；
池化层：
Figure QLYQS_16
；
其中
Figure QLYQS_17
为池化后得到的像素值，nm为池化层选取步长的大小；
全连接层：正向传播：
Figure QLYQS_18
；
其中a为正向传播的输入，
Figure QLYQS_19
为正向传播权重系数，/>
Figure QLYQS_20
为第i个神经元的偏置值，/>
Figure QLYQS_21
为激活后的向量，/>
Figure QLYQS_22
为激活函数，/>
Figure QLYQS_23
为池化后得到的像素值,反向传播：
Figure QLYQS_24
；
Figure QLYQS_25
；
Figure QLYQS_26
；
其中loss为损失函数，
Figure QLYQS_27
为学习率，/>
Figure QLYQS_28
为模型的预测值，/>
Figure QLYQS_29
为真实的目标值，最后得到预测结果：
Figure QLYQS_30
；
其中
Figure QLYQS_31
为最终预测结果，/>
Figure QLYQS_32
为对应像素点（i,j）的像素值。
8.根据权利要求7所述的基于深度学习的虚拟装配缺陷检测方法，其特征在于：所述深度学习的虚拟装配缺陷检测识别模型是通过卷积层、池化层和全连接层训练获得。
9.根据权利要求8所述的基于深度学习的虚拟装配缺陷检测方法，其特征在于：所述将深度学习模型部署到***是将虚拟装配缺陷检测识别模型部署到***CPU或GPU中进行后续输入预测。
10.根据权利要求9所述的基于深度学习的虚拟装配缺陷检测方法，其特征在于：所述S4中自动预警是将训练模型部署到CPU或GPU中当运行检测到虚拟装配缺陷存在时控制计算机。
CN202310657878.1A 2023-06-06 2023-06-06 一种基于深度学习的虚拟装配缺陷检测方法 Active CN116385442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310657878.1A CN116385442B (zh) 2023-06-06 2023-06-06 一种基于深度学习的虚拟装配缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310657878.1A CN116385442B (zh) 2023-06-06 2023-06-06 一种基于深度学习的虚拟装配缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116385442A true CN116385442A (zh) 2023-07-04
CN116385442B CN116385442B (zh) 2023-08-18

Family

ID=86961922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310657878.1A Active CN116385442B (zh) 2023-06-06 2023-06-06 一种基于深度学习的虚拟装配缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116385442B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108982508A (zh) * 2018-05-23 2018-12-11 江苏农林职业技术学院 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN111062364A (zh) * 2019-12-28 2020-04-24 青岛理工大学 一种基于深度学习的监测装配操作的方法和装置
US20210110557A1 (en) * 2019-10-10 2021-04-15 Andrew Thomas Busey Pattern-triggered object modification in augmented reality system
CN113076989A (zh) * 2021-03-30 2021-07-06 太原理工大学 一种基于ResNet网络的芯片缺陷图像分类方法
KR20210129775A (ko) * 2020-04-20 2021-10-29 세이지리서치 주식회사 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치
US20220004935A1 (en) * 2021-09-22 2022-01-06 Intel Corporation Ensemble learning for deep feature defect detection
CN115761285A (zh) * 2022-12-22 2023-03-07 湘潭大学 一种基于虚拟位姿与场景感知匹配学习的辅助装配方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108982508A (zh) * 2018-05-23 2018-12-11 江苏农林职业技术学院 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
US20210110557A1 (en) * 2019-10-10 2021-04-15 Andrew Thomas Busey Pattern-triggered object modification in augmented reality system
CN111062364A (zh) * 2019-12-28 2020-04-24 青岛理工大学 一种基于深度学习的监测装配操作的方法和装置
KR20210129775A (ko) * 2020-04-20 2021-10-29 세이지리서치 주식회사 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치
CN113076989A (zh) * 2021-03-30 2021-07-06 太原理工大学 一种基于ResNet网络的芯片缺陷图像分类方法
US20220004935A1 (en) * 2021-09-22 2022-01-06 Intel Corporation Ensemble learning for deep feature defect detection
CN115761285A (zh) * 2022-12-22 2023-03-07 湘潭大学 一种基于虚拟位姿与场景感知匹配学习的辅助装配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUAI WANG: "Manufacture Assembly Fault Detection Method based on Deep Learning and Mixed Reality", 《2018 IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION (ICIA)》, pages 808 - 813 *
李腾飞;秦永彬;: "基于迭代深度学习的缺陷检测", 计算机与数字工程, no. 06, pages 125 - 129 *
雷文桐: "基于深度学习的元器件视觉识别和定位技术", 《电子测量技术》, vol. 46, no. 8, pages 65 - 73 *

Also Published As

Publication number Publication date
CN116385442B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN108229489B (zh) 关键点预测、网络训练、图像处理方法、装置及电子设备
Sun et al. MEAN-SSD: A novel real-time detector for apple leaf diseases using improved light-weight convolutional neural networks
CN108764292B (zh) 基于弱监督信息的深度学习图像目标映射及定位方法
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
US8379994B2 (en) Digital image analysis utilizing multiple human labels
CN111738070A (zh) 一种多个小目标的自动准确检测方法
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN112529005B (zh) 基于语义特征一致性监督金字塔网络的目标检测方法
CN112581450B (zh) 基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法
CN110738247A (zh) 一种基于选择性稀疏采样的细粒度图像分类方法
CN113111947B (zh) 图像处理方法、装置和计算机可读存储介质
CN112991280B (zh) 视觉检测方法、***及电子设备
CN113569852A (zh) 语义分割模型的训练方法、装置、电子设备及存储介质
CN112598031A (zh) 一种蔬菜病害检测方法及***
CN111368634A (zh) 基于神经网络的人头检测方法、***及存储介质
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及***及设备
CN112528058A (zh) 基于图像属性主动学习的细粒度图像分类方法
CN112149612A (zh) 一种基于深度神经网络的海洋生物识别***及识别方法
CN115082781A (zh) 一种舰船图像检测方法、装置以及存储介质
CN113011528B (zh) 一种基于上下文和级联结构的遥感图像小目标检测方法
CN114022475A (zh) 基于自监督掩膜的图像异常检测和异常定位方法及***
CN115082909A (zh) 一种肺部病变识别方法及***
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN117576038A (zh) 基于YOLOv8网络的织物瑕疵检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant