CN116843611A - 一种基于差分和图神经网络的五金表面瑕疵检测*** - Google Patents

一种基于差分和图神经网络的五金表面瑕疵检测*** Download PDF

Info

Publication number
CN116843611A
CN116843611A CN202310392530.4A CN202310392530A CN116843611A CN 116843611 A CN116843611 A CN 116843611A CN 202310392530 A CN202310392530 A CN 202310392530A CN 116843611 A CN116843611 A CN 116843611A
Authority
CN
China
Prior art keywords
image
flaw
module
gray
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310392530.4A
Other languages
English (en)
Inventor
谢晓东
张汉昌
何咏琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Qianze Technology Co ltd
Guangdong Hehe Construction Hardware Manufacturing Co Ltd
Foshan Hehexing Technology Industrial Co Ltd
Original Assignee
Foshan Qianze Technology Co ltd
Guangdong Hehe Construction Hardware Manufacturing Co Ltd
Foshan Hehexing Technology Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Qianze Technology Co ltd, Guangdong Hehe Construction Hardware Manufacturing Co Ltd, Foshan Hehexing Technology Industrial Co Ltd filed Critical Foshan Qianze Technology Co ltd
Priority to CN202310392530.4A priority Critical patent/CN116843611A/zh
Publication of CN116843611A publication Critical patent/CN116843611A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于差分和图神经网络的五金表面瑕疵检测***，涉及图像检测技术领域，包括数据采集层、管理控制层和瑕疵检测层；所述的数据采集层包括有表面图像数据采集模块、光学设备配置模块以及产品数据模块；所述管理控制层包括瑕疵方案模块、光源调度模块和数据传输模块；所述瑕疵检测层包括图像数据处理模块、瑕疵检测模块以及瑕疵分类模块；所述的图像数据处理模块用于对图像数据进行预处理；所述的瑕疵检测模块用于对图像数据处理模块预处理后的图形数据进行处理以识别产品中是否存在瑕疵；所述的瑕疵分类模块通过图神经网络以及小样本学习预测瑕疵类型进行分类。能提高效率并提升了检测的准确性，既节省人力成本还提质增效。

Description

一种基于差分和图神经网络的五金表面瑕疵检测***
技术领域
本发明涉及图像检测技术领域，尤其涉及一种基于差分和图神经网络的五金表面瑕疵检测***。
背景技术
传统五金制造行业进行升级改造转型，才能更好的适应社会和经济的发展，消费者对于五金产品的质量要求也越来越高，其质量要求不仅反映在其功能以及耐用性上，更体现在对产品外观和审美的需求，如五金配件表面出现损坏、凸起、破洞、毛刺以及缺失等瑕疵，会对让消费者对于产品的质量有负面评价。因此在产品出货前需要对五金配件产品进行表面瑕疵检测，现有的表面瑕疵检测技术一般以视觉检测为主，例如公开号为CN110596124A的中国专利于2019-12-20公开了一种用于瑕疵检测的图像获取装置以及瑕疵检测***，包括检测箱、照明模块和摄像模块，待检测物品放置于检测箱中；所述照明模块和所述摄像模块安装于检测箱内侧壁上，且所述照明模块和所述摄像模块相对设置；所述照明模块的照射方向不直接指向待检测物品上表面，且所述照明模块通过检测箱内侧壁的漫反射照亮待检测物品上表面；所述摄像模块用于采集待检测物品的图像。然而现有的视觉检测技术中，其识别瑕疵时一般利用待检测图像与瑕疵模板库内的图形直接对比，其可识别的瑕疵类型有限，对准确率有不利影响。
发明内容
本发明的目的在于克服现有技术的不足，提供一种技术新颖自动化程度高检测准确率高的基于差分和图神经网络的五金表面瑕疵检测***。
为了实现以上目的，本发明所采用的技术方案是：一种基于差分和图神经网络的五金表面瑕疵检测***，包括数据采集层、管理控制层和瑕疵检测层；所述的数据采集层包括有表面图像数据采集模块、光学设备配置模块以及产品数据模块；所述的表面图像数据采集模块用于对产品进行各表面图像的采集，并把图像数据上传至所述管理控制层进行调度；所述光学设备配置模块用于执行所述管理控制层下达的光源调度策略，根据不同产品类型提供不同类型的光照条件； 所述产品数据模块用于记录当前受检产品的相关数据；所述管理控制层包括瑕疵方案模块、光源调度模块和数据传输模块；所述瑕疵方案模块用于根据不同产品类型制定相关不良品的瑕疵规则方案；所述光源调度模块用于根据不同产品类型提供对应的光源控制策略；所述数据传输模块用于将所述数据采集层的数据上传至云服务器和传输至所述瑕疵检测层；所述瑕疵检测层包括图像数据处理模块、瑕疵检测模块以及瑕疵分类模块；所述的图像数据处理模块用于对图像数据进行预处理；所述的瑕疵检测模块用于对图像数据处理模块预处理后的图形数据进行处理以识别产品中是否存在瑕疵；所述的瑕疵分类模块通过图神经网络以及小样本学习预测瑕疵类型进行分类。
优选地，所述图像数据处理模块对图像数据进行预处理的过程包括以下步骤：
S1. 获取图像，根据瑕疵定位方案应用定位ROI区域；
S2. 通过灰度处理和中值滤波处理，增强图像对比度或者锐化图像。
优选地，所述瑕疵检测模块识别产品表面瑕疵的过程包括以下步骤：
a.提取图像上的ROI区域，对ROI区域直接进行差分处理或者与标准图像进行差分处理；
b.判断步骤S1中提取ROI区域是否能定位到图像ROI区域，若能则转到步骤d，若不能则对图像进行模板匹配定位图像的ROI区域，转至步骤c；
c.先定位模板区域求得模板区域的坐标创建产品的形状模板M, 提取图像上的ROI区域，挑选多无瑕疵产品的图像来训练模板，通过对多张图片进行迭代训练计算出多张无瑕疵产品的图像的平均值和标准方差基于此得到训练完成的标准差异模型，将待测图像通过仿射变换与标准差异模型图像重合，利用差分检查标准差异模型图像与，有差异的地方即为瑕疵区域，转至步d；
d.通过选定特征的设定瑕疵阈值判断是否为瑕疵品；
e.筛选出瑕疵产品。
优选地，所述瑕疵分类模块的瑕疵类型进行分类的过程包括以下步骤：
A.准备通过所述瑕疵方案模块准备该产品类型的瑕疵图像样本集合、训练集以及待分类样本的瑕疵标签集合；
B.将输入的数据集分为三个部分: 带有标签的瑕疵图像数据集、没有标签的产品图像训练集和不带标签的预测分类集；
C.将瑕疵图像数据集的图片与查询图片输入到嵌入式网络转化为对应的特征向量以及图的初始顶点；
D.将步骤S3构造的初始顶点输入到GNN当中进行瑕疵分类；
E.经过步骤S4的GNN层堆叠，将瑕疵标签和样本信息从有标签的训练样本传播到无标签的待测样本中，利用待测样本的预测值和真实标签计算交叉熵，基于此来进行小样本学习瑕疵分类；
F.输出瑕疵分类结果。
优选地，所述步骤S2中，所述灰度处理的算法如下：设置原图像f(x,y)灰度范围在[0,]，/>为f(x,y)灰度上限值，变换图像g(x,y)灰度范围为[0,/>]，/>为g(x,y)灰度上限值。ROI目标的灰度范围在[a,b]，欲使灰度范围拉伸到[c,d],则对应的分段线性变换为：
；
利用灰度增强，增强边缘，先模糊原图像，原图与模糊差为模板，把模板加到原图上基于此来锐化边缘；
为突出ROI区域所在的灰度区间，抑制非ROI区域，采用分段线性变换，其算法如下：设置原图像f(x,y)灰度范围在[0,]，/>为f(x,y)灰度上限值，变换图像g(x,y)灰度范围为[0,/>]，/>为g(x,y)灰度上限值；ROI区域的灰度范围在[a,b]，欲使灰度范围拉伸到[c,d],则对应的分段线性变换为：
；
所述中值滤波处理的算法如下：
其中表示序列/>的中值即处理后的图像，N为整个图像矩阵，f为图像里的像素点，m为滤波器核大小。
优选地，所述步骤a中与标准图像进行差分处理的算法如下：
计算出模板图检测区域图像的灰度平均值，计算待测图检测区域图像的灰度平均值/>,灰度均值计算公式如下：
令r是一个离散型随机变量，它表示区间[0,L-1]内的灰度值，令是相对于灰度值/>的归一化直方图分量，即/>为灰度/>的概率密度函数，图像像素灰度的均值为avg；
灰度差值C=Abs(-/>),如果C>10,则生成一幅图像，其灰度值为模板图中计算得到的平均灰度值，如果C/>10，则生成一幅图像，其灰度值为待测图中计算得到的平均灰度值；
将待测图与新生成的灰度值图像做差值，识别待测图和模板图灰度值有差异的区域即瑕疵区域。
优选地，所述步骤A中，所述瑕疵图像样本集合为（）；
所述训练集为：
所述瑕疵标签集合为：,其中s为瑕疵标签样本的数量，r为无瑕疵标签样本的数量，当r>0时采用半监督学习或主动学习场景；t为要分类的样本数量；K为类别数。
优选地，所述步骤C的算法如下：
；
其中为图片样本，/>为节点特征编码，/>为节点标签的一位有效编码，每类的一个瑕疵样本得到其特征向量与已有的标签即one-hot向量信息连接一起作为图的一个顶点，对于待分类的瑕疵图像样本与零向量连接作为图的顶点。
优选地，所述步骤D瑕疵分类的算法如下： 所述GNN由多节点和边构成的图模型，每个节点代表一幅输入的图像，而每个边上的权重代表图之间的关系，采用稠密连接图基于此每两个输入图像数据之间都有边连接，邻接矩阵存储两个节点间的权重值。
首先计算GNN的图模型中相邻各节点之间的权重值，计算过程如下：
；
；
其中为GNN的图模型中的两个节点/>之间的绝对值差，/>为权重值，/>为对称函数，通过两个顶点向量差绝对值后再用MLP通过堆叠1x1卷积实现通道数降维，将计算得到的/>中每一行进行softmax函数处理，保证GNN的图模型中每个节点与其他节点之间的权重和为1；
利用图神经网络计算得到下一层网络，计算过程如下：
；
式中代表GNN的图模型中第k+1层的节点，/>表示节点上特征向量的长度，/>表示非线性激活层，使用leaky ReLU激活函数。
优选地，所述步骤E中的算法如下；
；
其中为标签，k为特征值数，/>为信息熵。
本发明的有益效果是：本发明的五金缺陷检测***利用智能方法对五金产品表面进行图像识别检测，与现有技术中采用人工检测的方法相比能提高效率并提升了检测的准确性，既节省人力成本还同时实现提质增效。本发明通过建立差异模型，并通过图神经网络小样本学习的方法对瑕疵产品的图像数据进行瑕疵分类，获得多种不同的瑕疵类型。进行缺陷检测，并通过图神经网络小样本学习的方法，对缺陷图像数据进行瑕疵分类，基于此获取缺陷类型。然后利用blob分析+差分的方法以及模板匹配+差分的方法相结合，前者适用于获取整张图或者图中局部易于提取出来的情况，后者通过形状匹配或者局部变形匹配定位较难处理的图像，适用于前者无法定位的情况当中，该结合使优缺点互补，一定程度提高了检测的效率与质量。并通过建立差异模型，训练出较为理想的差异模型，通过将产品图像数据同训练好的理想差异图像进行并对比，直接通过他们的灰度值进行比较，并且可以通过差异图像比较可以被空间地加权，基于此来检测五金产品在制造过程中的小概率的损坏、凸起、破洞、毛刺以及缺失等质量检测。
附图说明
图1为本发明的***原理图。
图2为本发明瑕疵检测原理图。
图3为本发瑕疵分类原理图。
具体实施方式
现结合附图和具体实施例对本发明所要求保护的技术方案作进一步详细说明。
参见图1至图3所示，本实施例中的基于差分和图神经网络的五金表面瑕疵检测***，包括数据采集层、管理控制层和瑕疵检测层。
所述的数据采集层包括有表面图像数据采集模块、光学设备配置模块以及产品数据模块。具体地所述表面图像数据采集模块用于负责对产品进行各表面图像的采集，并把图像数据上传至所述管理控制层进行调度。所述光学设备配置模块用于执行所述管理控制层下达的光源调度策略，根据不同产品类型提供不同类型的光照条件，基于此利于各面图像的采集。所述产品数据模块即记录当前受检产品的相关数据，如电子标签、种类等各类数据，方便追根溯源优化生产。
所述管理控制层包括瑕疵方案模块、光源调度模块和数据传输模块。具体地所述瑕疵方案模块用于根据不同产品类型制定相关不良品的瑕疵规则方案。所述光源调度模块用于根据不同产品类型提供对应的光源控制策略。所述数据传输模块用于负责将所述数据采集层的数据上传至云服务器和传输至所述瑕疵检测层。
所述瑕疵检测层包括图像数据处理模块、瑕疵检测模块以及瑕疵分类模块。具体地所图像数据处理模块即通过图像增强和图像分割等数字图像处理技术来进行图像预处理。所述瑕疵检测模块通过Blob分析与模板匹配加差分的方式进行检测。Blob分析是对图像中相同像素的连通域进行分析。其过程其实就是将图像进行二值化，分割得到前景和背景，然后进行连通区域检测，从而得到Blob块的过程。所述瑕疵分类模块即对检测出的瑕疵产品图像进行分类，采用图神经网络以及小样本目标检测的方法进行瑕疵分类，其目的是将标签信息从有标签的样本传播到无标签的查询图像。
在本实施例中所图像数据处理模块对图像数据进行预处理的过程包括以下步骤：
S1. 获取图像，根据瑕疵定位方案应用定位ROI区域。
S2. 进行图像预处理，通过灰度处理和空间滤波，增强图像对比度或者锐化图像。具体地首先对初步采集的图像进行灰度化处理,灰度增强，这里使用加权平均灰度处理方法，具体公式如下，设gray(i,j)表示位于空间位置(i,j)处的像素，该像素的R分量、G分量、B分量值分别为R(i,j)、G(i,j)、B(i,j)）的灰度化：
利用灰度增强，增强边缘，先模糊原图像，原图与模糊差为模板，把模板加到原图上基于此来锐化边缘。为了突出ROI区域所在的灰度区间，相对抑制那些不感兴趣的灰度区间，可以采用分段线性变换。
设置原图像f(x,y)灰度范围在[0,]，/>为f(x,y)灰度上限值，变换图像g(x,y)灰度范围为[0,/>]，/>为g(x,y)灰度上限值。ROI目标的灰度范围在[a,b]，欲使灰度范围拉伸到[c,d],则对应的分段线性变换为：
对图像进行中值滤波操作，主要目的为了平滑灰度图像，提高后续定位提取ROI区域的能力。中值滤波器用领域像素值的中位数替代该像素，抑制噪声的同时又能保持细节有效去除噪声。具体公式如下：
其中表示序列/>的中值即处理后的图像，N为整个图像矩阵，f为图像里的像素点，m为滤波器核大小。
在本实施例中所述瑕疵分类模块的瑕疵类型进行分类的过程包括以下步骤：
a.提取图像上的ROI区域，对ROI区域直接进行差分处理或者与标准图像进行差分处理。以标准图像中的灰度值为模板，计算ROI区域检测图像的灰度值，并于标准图像作差，灰度值差异越大证明检测图像中存在于标准图比有明显灰度变化的区域，这部分区域即瑕疵区域。具体如下：
计算出模板图检测区域图像的灰度平均值，计算待测图检测区域图像的灰度平均值/>,灰度均值计算公式如下：
令r是一个离散型随机变量，它表示区间[0,L-1]内的灰度值，令是相对于灰度值/>的归一化直方图分量，即/>为灰度/>的概率密度函数，图像像素灰度的均值为avg。
两者做差，灰度差值C=Abs(-/>),如果C>10,则生成一幅图像，其灰度值为模板图中计算得到的平均灰度值，如果C/>10，则生成一幅图像，其灰度值为待测图中计算得到的平均灰度值。
将待测图与新生成的灰度值图像做差值，找出待测图和模板图灰度值有差异的区域，即这部分区域就是我们要筛选出的瑕疵区域。b.判断步骤S1中提取ROI区域是否能定位到图像ROI区域，若能则转到步骤d，若不能则对图像进行模板匹配定位图像的ROI区域，转至步骤c；
步骤五：模板匹配定位加差分的方法检测瑕疵，先定位模板区域求得模板区域的坐标创建产品的形状模板M,抠出感兴趣区域，理论上范围越小越好，根据实际情况定夺，获得感兴趣区域的中心定位参考点创建形差异模板，挑选数十张质量良好的产品图像来训练模板，使用仿射变换，将当前图像平移旋转到与模板图像重合，通过对多张图片进行迭代训练计算出多张质量良好的图片的平均值和标准方差基于此得到训练完成的标准差异模型。c.先定位模板区域求得模板区域的坐标创建产品的形状模板M, 提取图像上的ROI区域，挑选多无瑕疵产品的图像来训练模板，通过对多张图片进行迭代训练计算出多张无瑕疵产品的图像的平均值和标准方差基于此得到训练完成的标准差异模型，将待测图像通过仿射变换与标准差异模型图像重合，利用差分检查标准差异模型图像与，有差异的地方即为瑕疵区域，转至步骤d；
d.通过选定特征如面积，差值深度等设定瑕疵阈值判断是否为瑕疵品。
e.筛选出瑕疵产品。
在本实施例中，所述瑕疵分类模块的瑕疵类型进行分类的过程包括以下步骤：
A.准备通过所述瑕疵方案模块准备该产品类型的瑕疵图像样本集合、训练集以及待分类样本的瑕疵标签集合。具体地所述瑕疵图像样本集合为（）；
所述训练集为：
所述瑕疵标签集合为：,其中s为瑕疵标签样本的数量，r为无瑕疵标签样本的数量，当r>0时采用半监督学习或主动学习场景；t为要分类的样本数量；K为类别数。本实施例将采用t=1的情况，即每个任务T只会分类一个样本。
B.将输入的数据集分为三个部分: 带有标签的瑕疵图像数据集、没有标签的产品图像训练集和不带标签的预测分类集。这里t=1，三个数据集是独立同分布的。
C.将瑕疵图像数据集的图片与查询图片输入到嵌入式网络转化为对应的特征向量以及图的初始顶点；图片带有瑕疵标签的与1个查询图片/>输入到嵌入式网络/>即CNN当中转化为对应的特征向量，即将拥有已知的标签/>的图片样本/>与标签one-hot向量连接后输入到CNN中去。
其中为图片样本，/>为节点特征编码，/>为节点标签的一位有效编码即one-hot编码，每类的一个瑕疵样本得到其特征向量与已有的标签即one-hot向量信息连接一起作为图的一个顶点，对于待分类的瑕疵图像样本与零向量连接作为图的顶点。
D.将步骤S3构造的初始顶点输入到GNN当中进行瑕疵分类；具体地GNN由许多节点和边构成的图模型，即每个节点代表一幅输入的图像，而每个边上的权重代表图之间的关系，采用稠密连接图基于此每两个输入图像数据之间都有边连接，邻接矩阵存储两个节点间的权重值。权值计算过程如下：
；
；
其中为GNN的图模型中的两个节点/>之间的绝对值差，/>为权重值，/>为对称函数，通过两个顶点向量差绝对值后再用MLP通过堆叠1x1卷积实现通道数降维，将计算得到的/>中每一行进行softmax函数处理，保证GNN的图模型中每个节点与其他节点之间的权重和为1；
利用图神经网络计算得到下一层网络，计算过程如下：
；
式中代表GNN的图模型中第k+1层的节点，/>表示节点上特征向量的长度，/>表示非线性激活层，使用leaky ReLU激活函数。
E.经过步骤S4的GNN层堆叠，将瑕疵标签和样本信息从有标签的训练样本传播到无标签的待测样本中，利用待测样本的预测值和真实标签计算交叉熵，待分类样本由图中顶点*表示，GNN的最后一层通过softmax将待分类顶点特征映射到K分类预测，即K个特征值每个特征代表每个类的概率，概率最大即位预测的类别，基于此来进行小样本学习瑕疵分类，顶点*的loss计算过程为：
其中为标签，k为特征值数，/>为信息熵，信息熵是用来衡量事物不确定性的。信息熵越大（信息量越大，P越小），事物越具不确定性，事物越复杂。/>为顶点*的特征概率，即在T任务集条件下/>的概率。
F.输出瑕疵分类结果。
通过上述的步骤实现对五金产品表面的瑕疵检测。
以上所述之实施例仅为本发明的较佳实施例，并非对本发明做任何形式上的限制。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出更多可能的变动和润饰，或修改为等同变化的等效实施例。故凡未脱离本发明技术方案的内容，依据本发明之思路所作的等同等效变化，均应涵盖于本发明的保护范围内。

Claims (10)

1.一种基于差分和图神经网络的五金表面瑕疵检测***，其特征在于：包括数据采集层、管理控制层和瑕疵检测层；
所述的数据采集层包括有表面图像数据采集模块、光学设备配置模块以及产品数据模块；
所述的表面图像数据采集模块用于对产品进行各表面图像的采集，并把图像数据上传至所述管理控制层进行调度；
所述光学设备配置模块用于执行所述管理控制层下达的光源调度策略，根据不同产品类型提供不同类型的光照条件；
所述产品数据模块用于记录当前受检产品的相关数据；
所述管理控制层包括瑕疵方案模块、光源调度模块和数据传输模块；
所述瑕疵方案模块用于根据不同产品类型制定相关不良品的瑕疵规则方案；
所述光源调度模块用于根据不同产品类型提供对应的光源控制策略；
所述数据传输模块用于将所述数据采集层的数据上传至云服务器和传输至所述瑕疵检测层；
所述瑕疵检测层包括图像数据处理模块、瑕疵检测模块以及瑕疵分类模块；
所述的图像数据处理模块用于对图像数据进行预处理；
所述的瑕疵检测模块用于对图像数据处理模块预处理后的图形数据进行处理以识别产品中是否存在瑕疵；
所述的瑕疵分类模块通过图神经网络以及小样本学习预测瑕疵类型进行分类。
2.根据权利要求1所述的一种基于差分和图神经网络的五金表面瑕疵检测***，其特征在于：所述图像数据处理模块对图像数据进行预处理的过程包括以下步骤：
S1. 获取图像，根据瑕疵定位方案应用定位ROI区域；
S2. 通过灰度处理和中值滤波处理，增强图像对比度或者锐化图像。
3.根据权利要求2所述的一种基于差分和图神经网络的五金表面瑕疵检测***，其特征在于：所述瑕疵检测模块识别产品表面瑕疵的过程包括以下步骤：
a.提取图像上的ROI区域，对ROI区域直接进行差分处理或者与标准图像进行差分处理；
b.判断步骤S1中提取ROI区域是否能定位到图像ROI区域，若能则转到步骤d，若不能则对图像进行模板匹配定位图像的ROI区域，转至步骤c；
c.先定位模板区域求得模板区域的坐标创建产品的形状模板M, 提取图像上的ROI区域，挑选多无瑕疵产品的图像来训练模板，通过对多张图片进行迭代训练计算出多张无瑕疵产品的图像的平均值和标准方差基于此得到训练完成的标准差异模型，将待测图像通过仿射变换与标准差异模型图像重合，利用差分检查标准差异模型图像与，有差异的地方即为瑕疵区域，转至步骤d；
d.通过选定特征的设定瑕疵阈值判断是否为瑕疵品；
e.筛选出瑕疵产品。
4.根据权利要求1所述的一种基于差分和图神经网络的五金表面瑕疵检测***，其特征在于：所述瑕疵分类模块的瑕疵类型进行分类的过程包括以下步骤：
A.准备通过所述瑕疵方案模块准备该产品类型的瑕疵图像样本集合、训练集以及待分类样本的瑕疵标签集合；
B.将输入的数据集分为三个部分: 带有标签的瑕疵图像数据集、没有标签的产品图像训练集和不带标签的预测分类集；
C.将瑕疵图像数据集的图片与查询图片输入到嵌入式网络转化为对应的特征向量以及图的初始顶点；
D.将步骤S3构造的初始顶点输入到GNN当中进行瑕疵分类；
E.经过步骤S4的GNN层堆叠，将真实标签和样本信息从有标签的训练样本传播到无标签的待测样本中，利用待测样本的预测值和瑕疵标签计算交叉熵，基于此来进行小样本学习瑕疵分类；
F.输出瑕疵分类结果。
5.根据权利要求2所述的一种基于差分和图神经网络的五金表面瑕疵检测***，其特征在于：所述步骤S2中，所述灰度处理的算法如下：设置原图像f(x,y)灰度范围在[0,]，f(x,y)灰度上限值，变换图像g(x,y)灰度范围为[0,/>]，/>为g(x,y)灰度上限值；
ROI目标的灰度范围在[a,b]，欲使灰度范围拉伸到[c,d],则对应的分段线性变换为：；
利用灰度增强，增强边缘，先模糊原图像，原图与模糊差为模板，把模板加到原图上基于此来锐化边缘；为突出ROI区域所在的灰度区间，抑制非ROI区域，采用分段线性变换，其算法如下：设置原图像f(x,y)灰度范围在[0,]，/>为f(x,y)灰度上限值，变换图像g(x,y)灰度范围为[0,/>]，/>为g(x,y)灰度上限值；ROI区域的灰度范围在[a,b]，欲使灰度范围拉伸到[c,d],则对应的分段线性变换为：
；
所述中值滤波处理的算法如下：其中/>表示序列/>的中值即处理后的图像，N为整个图像矩阵，f为图像里的像素点，m为滤波器核大小。
6.权利要求3所述的一种基于差分和图神经网络的五金表面瑕疵检测***，其特征在于：
所述步骤a中与标准图像进行差分处理的算法如下：
计算出模板图检测区域图像的灰度平均值，计算待测图检测区域图像的灰度平均值/>,灰度均值计算公式如下：
令r是一个离散型随机变量，它表示区间[0,L-1]内的灰度值，令是相对于灰度值/>的归一化直方图分量，即/>为灰度/>的概率密度函数，图像像素灰度的均值为avg；
灰度差值C=Abs(-/>),如果C>10,则生成一幅图像，其灰度值为模板图中计算得到的平均灰度值，如果C/>10，则生成一幅图像，其灰度值为待测图中计算得到的平均灰度值；
将待测图与新生成的灰度值图像做差值，识别待测图和模板图灰度值有差异的区域即瑕疵区域。
7.权利要求4所述的一种基于差分和图神经网络的五金表面瑕疵检测***，其特征在于：所述步骤A中，所述瑕疵图像样本集合为（）；
所述训练集为：所述瑕疵标签集合为：/>,其中s为瑕疵标签样本的数量，r为无瑕疵标签样本的数量，当r>0时采用半监督学习或主动学习场景；t为待分类的样本数量；K为类别数。
8.根据权利要求4所述的一种基于差分和图神经网络的五金表面瑕疵检测***，其特征在于：
所述步骤C的算法如下：
；
其中为图片样本， />为节点特征编码，/>为节点标签的一位有效编码，每类的一个瑕疵样本得到其特征向量与已有的标签即one-hot向量信息连接一起作为图的一个顶点，对于待分类的瑕疵图像样本与零向量连接作为图的顶点。
9.根据权利要求4所述的一种基于差分和图神经网络的五金表面瑕疵检测***，其特征在于：所述步骤D瑕疵分类的算法如下： 所述GNN由多节点和边构成的图模型，每个节点代表一幅输入的图像，而每个边上的权重代表图之间的关系，采用稠密连接图基于此每两个输入图像数据之间都有边连接，邻接矩阵存储两个节点间的权重值；
首先计算GNN的图模型中相邻各节点之间的权重值，计算过程如下：
；
；
其中为GNN的图模型中的两个节点/>之间的绝对值差，/>为权重值，/>为对称函数，通过两个顶点向量差绝对值后再用MLP通过堆叠1x1卷积实现通道数降维，将计算得到的/>中每一行进行softmax函数处理，保证GNN的图模型中每个节点与其他节点之间的权重和为1；
利用图神经网络计算得到下一层网络，计算过程如下：
；
式中代表GNN的图模型中第k+1层的节点，/>表示节点上特征向量的长度，/>表示非线性激活层，使用leaky ReLU激活函数。
10.根据权利要求4所述的一种基于差分和图神经网络的五金表面瑕疵检测***，其特征在于：所述步骤E中的算法如下；
；
其中
为标签，k为特征值数，
为信息熵。
CN202310392530.4A 2023-04-13 2023-04-13 一种基于差分和图神经网络的五金表面瑕疵检测*** Pending CN116843611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310392530.4A CN116843611A (zh) 2023-04-13 2023-04-13 一种基于差分和图神经网络的五金表面瑕疵检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310392530.4A CN116843611A (zh) 2023-04-13 2023-04-13 一种基于差分和图神经网络的五金表面瑕疵检测***

Publications (1)

Publication Number Publication Date
CN116843611A true CN116843611A (zh) 2023-10-03

Family

ID=88167743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310392530.4A Pending CN116843611A (zh) 2023-04-13 2023-04-13 一种基于差分和图神经网络的五金表面瑕疵检测***

Country Status (1)

Country Link
CN (1) CN116843611A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115147A (zh) * 2023-10-19 2023-11-24 山东华盛创新纺织科技有限公司 一种基于机器视觉的纺织品检测方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115147A (zh) * 2023-10-19 2023-11-24 山东华盛创新纺织科技有限公司 一种基于机器视觉的纺织品检测方法及***
CN117115147B (zh) * 2023-10-19 2024-01-26 山东华盛创新纺织科技有限公司 一种基于机器视觉的纺织品检测方法及***

Similar Documents

Publication Publication Date Title
Xiao et al. Surface defect detection using image pyramid
CN110148130B (zh) 用于检测零件缺陷的方法和装置
Li et al. No-reference image quality assessment with shearlet transform and deep neural networks
Cord et al. Automatic road defect detection by textural pattern recognition based on AdaBoost
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN111968095B (zh) 一种产品表面缺陷检测方法及***及装置及介质
CN106557740B (zh) 一种遥感图像中油库目标的识别方法
CN113962274B (zh) 一种异常识别方法、装置、电子设备及存储介质
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN116012291A (zh) 工业零件图像缺陷检测方法及***、电子设备和存储介质
CN111091134A (zh) 一种基于多特征融合的色纺织物组织结构识别的方法
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN116843611A (zh) 一种基于差分和图神经网络的五金表面瑕疵检测***
Maestro-Watson et al. Deep learning for deflectometric inspection of specular surfaces
CN116797602A (zh) 一种用于工业产品检测的表面缺陷鉴定方法和装置
CN116912144A (zh) 一种基于大律算法与通道注意力机制的数据增强方法
Dulecha et al. Crack detection in single-and multi-light images of painted surfaces using convolutional neural networks
Wu et al. Semiautomatic mask generating for electronics component inspection
CN115082449A (zh) 一种电子元器件缺陷检测方法
CN114862755A (zh) 一种基于小样本学习的表面缺陷检测方法及***
Su et al. High-precision matching algorithm for multi-image segmentation of micro animation videos in mobile network environment
CN111882545A (zh) 基于双向信息传递及特征融合的织物疵点检测方法
Xu et al. A multitarget visual attention based algorithm on crack detection of industrial explosives

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination