CN114943684A - 一种利用对抗生成自编码神经网络的曲面异常检测方法 - Google Patents
一种利用对抗生成自编码神经网络的曲面异常检测方法 Download PDFInfo
- Publication number
- CN114943684A CN114943684A CN202210396491.0A CN202210396491A CN114943684A CN 114943684 A CN114943684 A CN 114943684A CN 202210396491 A CN202210396491 A CN 202210396491A CN 114943684 A CN114943684 A CN 114943684A
- Authority
- CN
- China
- Prior art keywords
- detection
- image
- neural network
- defect
- curved surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 230000007547 defect Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000005856 abnormality Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 33
- 238000001914 filtration Methods 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013499 data model Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- -1 floors Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种利用对抗生成自编码神经网络的曲面异常检测方法，包括以下步骤：利用多个工业相机组采集无缺陷图像，并进行组合；将无缺陷图像导入异常检测神经网络中，进行预训练，保存误检缺陷的位置信息；最后保存排除误检测后的结果，作为异常检测最终结果；将异常检测的最终结果预览图加载入共享内存，并通过Socket将推理结束信号返回给客户端。本发明克服了现有技术的不足，通过将对抗生成网络与自编码器组合的异常检测方法运用在异常检测领域中，通过卷积神经网络与传统图像处理，实现高效、准确的异常检测。
Description
技术领域
本发明涉及缺陷图像识别技术领域，具体涉及一种利用对抗生成自编码神经网络的曲面异常检测方法。
背景技术
生产涉及多道工序，通常会不可避免的出现曲面表面缺陷问题。受到工业自动化发展的推动，当前基本实现了生产流程的无人化，但质检流程仍然需要依赖大量人工操作，该方法具有人力资源消耗大、效率低、漏检率高等缺点。曲面表面异常检测作为产品质量管理的重要环节，实现自动化并提高检测准确率已成为急需突破的技术瓶颈。
基于卷积神经网络与传统图像处理的曲面表面异常检测技术，当下已成为主流方法广泛应用于陶瓷、玻璃、地板、钢轨等产品的曲面表面异常检测，具有效率高可靠性强的特点。结合自动化检测平台，可实现稳定性强、检测速度快、成本低的异常检测方案。而对于轮胎等复杂曲面来说常见的异常检测都是基于激光器信号与物理方式抽取真空等的，由于曲面表面非平面存在高度差，存在大量复杂花纹和标记文字信息，传统的检测方法无法识别曲面表面的印刷错位、纹理错位、文字错误等问题，无法摆脱大量的人工检测，全曲面表面的光学采图也有很高的难度。
因此，如何提供一种基于卷积神经网络的自动化曲面表面异常检测方法是本领域技术人员亟需解决的问题。
发明内容
针对现有技术的不足，本发明提供了一种利用对抗生成自编码神经网络的曲面异常检测方法，克服了现有技术的不足，通过将对抗生成网络与自编码器组合的异常检测方法运用在异常检测领域中，通过卷积神经网络与传统图像处理，实现高效、准确的异常检测。
为实现以上目的，本发明通过以下技术方案予以实现：
一种利用对抗生成自编码神经网络的曲面异常检测方法，包括以下步骤：
步骤S1：利用工业相机组采集完整曲面表面特征图像，建立缺陷图像库；
步骤S2：利用边缘检测算法对步骤S1中采集的缺陷图像进行自动化图像裁剪，精准定位区域；并将曲面表面特征图像根据花纹的重复性划分为多个检测扇区，截取出区域，组合获得图像；
步骤S3：对步骤S2中获得的图像数据集进行数据增强处理；
步骤S4：建立基于卷积神经网络的曲面表面缺陷的异常判别神经网络；
步骤S5：将经过增强处理后的缺陷图像输入到异常判别神经网络中，对目异常判别神经网络进行训练，获得优化后的异常判别神经网络；
步骤S6：固化步骤S5训练出来的模型参数并部署到高速推理引擎，使用Socket通讯与共享内存相结合的方式实现与任意语言编写软件的对接，同时进行异常检测；
步骤S7：对复杂纹路引起的误检测进行排除。
优选地，所述步骤S1中，图像库由多种工业相机采集的高分辨率图像组成，主要数据为高精度扫描图像。
优选地，所述步骤S2具体包括以下步骤：
步骤S21：对步骤S1中采集的缺陷图像进行高斯滤波平滑处理，减少底噪干扰，其中，高斯滤波平滑的计算公式如下：
其中，f(m,n)为位置(m,n)的灰度值，σ为高斯滤波的宽度，决定平滑程度，gσ(m,n)为位置(m,n)经过高斯滤波后的灰度值；
步骤S22：通过计算梯度幅度，估计出每一点的边缘强度与梯度方向，边缘强度的计算公式以及梯度方向的计算公式分别如下：
其中，gx(m,n)和gy(m,n)为两个方向的梯度值；
步骤S23：根据梯度方向，对梯度幅值进行非极大值抑制，然后将边缘连接起来；
步骤S24：将曲面表面根据花纹的重复性划分为多个检测扇区，截取出区域，组合获得图像。
优选地，所述步骤S3具体包括以下步骤：
步骤S31：使用随机旋转和翻转操作对图像进行数据增强处理，扩充缺陷数据集；
步骤S32：对增强处理后的缺陷图像按照缺陷类别进行标注，并将标注后的图像划分为训练集、验证集和测试集。
优选地，所述步骤S4利用自编码器加卷积神经网络构建异常判别神经网络，利用对抗生成的方式进行训练。
优选地，所述步骤S6中异常检测方法的实现步骤为：
步骤S61：对扫描图像进行边缘检测与裁切；
步骤S62，每次检测前，先以一批无缺陷预训练用作排除误检测的数据模型；
步骤S63，利用部署到TensorRT的加速推理引擎进行图像推理；
步骤S64，利用排除误检测的数据模型完成检测结果的确认，并输出结果。
优选地，所述步骤S6中异常检测方法的结果传递步骤为：
步骤S65：利用Socket通讯从软件端获取指令，采取Mmap技术从共享内存中获取实时图像；
步骤S66：将图像进行裁减、缩放、翻转等预处理操作后执行推理过程；
步骤S67：将结果储存本地，并将结果预览图加载入共享内存并回传代表执行完毕的Socket信号。
优选地，所述步骤S7中，对复杂纹路引起误检测的排除的实现步骤为：
步骤S71：加载曲面表面花纹模板；
步骤S72，对一批无缺陷进行检测，并记录所有检测到缺陷目标的位置；
步骤S73，对每类缺陷的目标位置采用聚类算法，获取每个聚类中心点坐标位置，共同构成一个反误检模型；
步骤S74，对于模型推理获取的检测结果，利用FLANN最近邻算法查找该检测目标是否靠近反误检模型内的某个点，判断出该点是否为误检；
步骤S75，输出排除误检测后的检测结果。
本发明提供了一种利用对抗生成自编码神经网络的曲面异常检测方法。具备以下有益效果：本发明针对异常检测特点进行神经网络设计，并结合TensorRT高速推理引擎，实现高效的曲面表面异常检测，此外本发明针对的特性，融合了对抗生成网络与自编码器方法，在缺陷不可知的前提下训练出模型对于异常的检出能力。从而相比传统异常检测方法，不仅提高了检测的准确率，降低了对于大量收集标注缺陷的需求，还极大节省了人力成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对现有技术描述中所需要使用的附图作简单地介绍。
图1本发明的的曲面表面异常检测方法总流程图(以轮胎为例)；
图2本发明中步骤S4的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。
实施例
如图1至图2所示，一种利用对抗生成自编码神经网络的曲面异常检测方法，包括以下步骤：
步骤S1：利用工业相机组在不同角度拍摄获取完整曲面表面特征图片，建立缺陷图像库；其中，图像库由多种工业相机采集的高分辨率图像组成，主要数据为高精度扫描图像；
步骤S2：利用传统图像处理中的边缘检测算法对步骤S1中采集的缺陷图像进行自动化图像裁剪，将背景图像裁切掉，精准定位区域，本步骤能够避免图像背景对异常检测造成影响，同时缩小检测范围，从而提高检测效率；具体做法为：
首先对步骤S1中采集的缺陷图像进行高斯滤波平滑处理，减少底噪干扰，其中，高斯滤波平滑的计算公式如下：
其中，f(m,n)为位置(m,n)的灰度值，σ为高斯滤波的宽度，决定平滑程度，gσ(m,n)为位置(m,n)经过高斯滤波后的灰度值；通过该公式计算出每个坐标经过高斯滤波后的具体灰度值gσ(m,n)，即可完成对整幅图像的高斯平滑处理；
再计算图像每一点两个方向的梯度值gx(m,n)和gy(m,n)：
利用梯度值估计出的图像中每一点的边缘强度，计算公式如下：
利用梯度值估计出的图像中每一点的梯度方向，计算公式如下：
再根据梯度方向，对梯度幅值进行非极大值抑制，然后将边缘连接起来；
再将曲面表面根据花纹的重复性划分为多个检测扇区，截取出区域，组合获得缺陷的图像。
步骤S3：对步骤S2中获得的图像数据集进行数据增强处理；具体做法如下：
首先使用随机旋转和翻转操作对图像进行数据增强处理，扩充缺陷数据集；
再对增强处理后的缺陷图像未分类、合格、不合格图像进行分类标注，利用标注后的图像和对应标注文件按照比例划分为训练集、验证集和测试集。
步骤S4：建立基于卷积神经网络的曲面表面缺陷的异常判别神经网络；
本发明利用自编码器加卷积神经网络构建异常判别神经网络，利用对抗生成的方式进行训练，模型构建方式如下：
在编码阶段使用多头自注意力机制和可变卷积层的ResNest18基础结构，提高网络对小目标特征和位置信息的感知与提取能力，作为判别网络；
基于经典GAN结构的理论：前期将未标注图片作为正样本，自编码器还原图片作为负样本，训练出自编码器的还原能力与判别网络对的识别能力；训练到一定程度后将经过自编码器的合格作为正样本，经过自编码器的不合格作为负样本，进一步进行对抗训练，训练出自编码器对正负样本的分类能力：
步骤S5：将经过增强处理后的的训练集与缺陷标注文件输入到异常判别神经网络中，对异常判别神经网络进行训练，通过多次模型参数调优并训练，获得优化后的异常判别神经网络；
步骤S6：利用神经网络结合TensorRT实现高效异常检测，具体做法为：
首先，固化步骤S5训练出来的模型参数，将训练好的异常判别神经网络部署到TensorRT高速推理引擎；
然后将推理引擎部分的功能作为服务端，使用Socket通讯的方式与客户端软件建立连接关系；
然后客户端会通过Mmap技术将工业相机组采集到的缺陷图像映射进内存，服务端从共享内存中读取出实时扫描的缺陷图像，并对图片进行裁减、旋转和翻转等预处理；
再利用TensorRT进行异常检测；
最后将缺陷图片以及推理出的缺陷位置信息保存到本地；
获取异常检测的最终结果，将结果预览图加载入共享内存，并通过Socket将推理结束信号返回给客户端。
在本步骤中，异常检测方法的实现步骤为：
步骤S61：对扫描图像进行边缘检测与裁切；
步骤S62，每次检测前，先以一批无缺陷预训练用作排除误检测的数据模型；
步骤S63，利用部署到TensorRT的加速推理引擎进行图像推理；
步骤S64，利用排除误检测的数据模型完成检测结果的确认，并输出结果。
在本步骤中，异常检测方法的结果传递步骤为：
步骤S65：利用Socket通讯从软件端获取指令，采取Mmap技术从共享内存中获取实时图像；
步骤S66：将图像进行裁减、缩放、翻转等预处理操作后执行推理过程；
步骤S67：将结果储存本地，并将结果预览图加载入共享内存并回传代表执行完毕的Socket信号。
步骤S7：对复杂纹路引起的误检测进行排除；具体实现步骤为：
首先加载曲面表面花纹模板；
再对一批无缺陷进行检测，并记录所有检测到缺陷目标的位置；
然后对每类缺陷的目标位置采用聚类算法，获取每个聚类中心点坐标位置，共同构成一个反误检模型；
接着对于模型推理获取的检测结果，利用FLANN最近邻算法查找该检测目标是否靠近反误检模型内的某个点，判断出该点是否为误检；
最后输出排除误检测后的检测结果。
总体而言，本发明所提出的以上技术方案与当前人工异常检测方法相比，能够取得下列有益效果：
本发明提供的曲面表面异常检测方法，针对异常检测特点进行神经网络设计，并结合TensorRT高速推理引擎，实现高效的曲面表面异常检测，此外本发明针对非平面、缺陷种类繁多样本极少的特点，利用对抗生成训练自编码器的方式做异常检测，不仅提高了检测的准确率，降低了漏检率，还极大节省了人力成本。
如图1所示，以轮胎行业为例，行业内后需要大量人员进行人工分拣、修剪再进行成品检测，每个厂用于该环节的人力投入均以百人计。而后阶段有90％左右的无需任何处理，将这一部分预先挑选出，可极大降低人工修剪和分拣的工作量。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种利用对抗生成自编码神经网络的曲面异常检测方法，其特征在于：包括以下步骤：
步骤S1：利用工业相机组采集完整曲面表面特征图像，建立缺陷图像库；
步骤S2：利用边缘检测算法对步骤S1中采集的缺陷图像进行图像裁剪；并将曲面表面特征图像根据花纹的重复性划分为多个检测扇区，截取出区域，组合获得图像；
步骤S3：对步骤S2中获得的图像数据集进行数据增强处理；
步骤S4：建立基于卷积神经网络的曲面表面缺陷的异常判别神经网络；
步骤S5：将经过增强处理后的缺陷图像输入到异常判别神经网络中，对目异常判别神经网络进行训练，获得优化后的异常判别神经网络；
步骤S6：固化步骤S5训练出来的模型参数并部署到高速推理引擎，进行异常检测。
2.根据权利要求1所述的一种利用对抗生成自编码神经网络的曲面异常检测方法，其特征在于：所述步骤S1中，图像库由多种工业相机采集的高分辨率图像组成，主要数据为高精度扫描图像。
3.根据权利要求1所述的一种利用对抗生成自编码神经网络的曲面异常检测方法，其特征在于：所述步骤S2具体包括以下步骤：
步骤S21：对步骤S1中采集的缺陷图像进行高斯滤波平滑处理，减少底噪干扰，其中，高斯滤波平滑的计算公式如下：
其中，f(m,n)为位置(m,n)的灰度值，σ为高斯滤波的宽度，决定平滑程度，gσ(m,n)为位置(m,n)经过高斯滤波后的灰度值；
步骤S22：通过计算梯度幅度，估计出每一点的边缘强度与梯度方向，边缘强度的计算公式以及梯度方向的计算公式分别如下：
其中，gx(m,n)和gy(m,n)为两个方向的梯度值；
步骤S23：根据梯度方向，对梯度幅值进行非极大值抑制，然后将边缘连接起来；
步骤S24：将曲面表面根据花纹的重复性划分为多个检测扇区，截取出区域，组合获得图像。
4.根据权利要求1所述的一种利用对抗生成自编码神经网络的曲面异常检测方法，其特征在于：所述步骤S3具体包括以下步骤：
步骤S31：使用随机旋转和翻转操作对图像进行数据增强处理，扩充缺陷数据集；
步骤S32：对增强处理后的缺陷图像按照缺陷类别进行标注，并将标注后的图像划分为训练集、验证集和测试集。
5.根据权利要求1所述的一种利用对抗生成自编码神经网络的曲面异常检测方法，其特征在于：所述步骤S4利用自编码器加卷积神经网络构建异常判别神经网络，利用对抗生成的方式进行训练。
6.根据权利要求1所述的一种利用对抗生成自编码神经网络的曲面异常检测方法，其特征在于：所述步骤S6中异常检测方法的实现步骤为：
步骤S61：对扫描图像进行边缘检测与裁切；
步骤S62，每次检测前，先以一批无缺陷预训练用作排除误检测的数据模型；
步骤S63，利用部署到TensorRT的加速推理引擎进行图像推理；
步骤S64，利用排除误检测的数据模型完成检测结果的确认，并输出结果。
7.根据权利要求6所述的一种利用对抗生成自编码神经网络的曲面异常检测方法，其特征在于：所述步骤S6中异常检测方法的结果传递步骤为：
步骤S65：利用Socket通讯从软件端获取指令，采取Mmap技术从共享内存中获取实时图像；
步骤S66：将图像进行裁减、缩放、翻转等预处理操作后执行推理过程；
步骤S67：将结果储存本地，并将结果预览图加载入共享内存并回传代表执行完毕的Socket信号。
8.根据权利要求1所述的一种利用对抗生成自编码神经网络的曲面异常检测方法，其特征在于：还包括步骤S7：对复杂纹路引起的误检测进行排除；其实现步骤为：
步骤S71：加载曲面表面花纹模板；
步骤S72，对一批无缺陷进行检测，并记录所有检测到缺陷目标的位置；
步骤S73，对每类缺陷的目标位置采用聚类算法，获取每个聚类中心点坐标位置，共同构成一个反误检模型；
步骤S74，对于模型推理获取的检测结果，利用FLANN最近邻算法查找该检测目标是否靠近反误检模型内的某个点，判断出该点是否为误检；
步骤S75，输出排除误检测后的检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210396491.0A CN114943684B (zh) | 2022-04-15 | 2022-04-15 | 一种利用对抗生成自编码神经网络的曲面异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210396491.0A CN114943684B (zh) | 2022-04-15 | 2022-04-15 | 一种利用对抗生成自编码神经网络的曲面异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114943684A true CN114943684A (zh) | 2022-08-26 |
| CN114943684B CN114943684B (zh) | 2023-04-07 |
Family
ID=82907827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210396491.0A Active CN114943684B (zh) | 2022-04-15 | 2022-04-15 | 一种利用对抗生成自编码神经网络的曲面异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943684B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101808237A (zh) * | 2010-03-09 | 2010-08-18 | 西安科技大学 | 嵌入式***Web服务器的图像采集终端及图像采集方法 |
| US20140086453A1 (en) * | 2011-05-17 | 2014-03-27 | Toyo Tire & Rubber Co. Ltd. | Tire defect detection method |
| CN105430006A (zh) * | 2015-12-25 | 2016-03-23 | 深圳市研唐科技有限公司 | 一种动态实时调整spice图像品质的方法 |
| CN107680086A (zh) * | 2017-09-27 | 2018-02-09 | 电子科技大学 | 一种既有弧形边又有直线边的材料轮廓缺陷检测方法 |
| CN107886509A (zh) * | 2017-11-24 | 2018-04-06 | 苏州珂锐铁电气科技有限公司 | 一种图像缺陷识别方法、电子设备、存储介质及*** |
| CN108961217A (zh) * | 2018-06-08 | 2018-12-07 | 南京大学 | 一种基于正例训练的表面缺陷检测方法 |
| CN112528975A (zh) * | 2021-02-08 | 2021-03-19 | 常州微亿智造科技有限公司 | 工业质检方法、装置和计算机可读存储介质 |
| US20210374928A1 (en) * | 2020-05-26 | 2021-12-02 | Fujitsu Limited | Defect detection method and apparatus |
| CN113901947A (zh) * | 2021-11-04 | 2022-01-07 | 浙江大学高端装备研究院 | 一种小样本下的轮胎表面瑕疵智能识别方法 |
| CN113935953A (zh) * | 2021-09-18 | 2022-01-14 | 南通豪派金属制品有限公司 | 基于图像处理的钢卷缺陷检测方法 |
-
2022
- 2022-04-15 CN CN202210396491.0A patent/CN114943684B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101808237A (zh) * | 2010-03-09 | 2010-08-18 | 西安科技大学 | 嵌入式***Web服务器的图像采集终端及图像采集方法 |
| US20140086453A1 (en) * | 2011-05-17 | 2014-03-27 | Toyo Tire & Rubber Co. Ltd. | Tire defect detection method |
| CN105430006A (zh) * | 2015-12-25 | 2016-03-23 | 深圳市研唐科技有限公司 | 一种动态实时调整spice图像品质的方法 |
| CN107680086A (zh) * | 2017-09-27 | 2018-02-09 | 电子科技大学 | 一种既有弧形边又有直线边的材料轮廓缺陷检测方法 |
| CN107886509A (zh) * | 2017-11-24 | 2018-04-06 | 苏州珂锐铁电气科技有限公司 | 一种图像缺陷识别方法、电子设备、存储介质及*** |
| CN108961217A (zh) * | 2018-06-08 | 2018-12-07 | 南京大学 | 一种基于正例训练的表面缺陷检测方法 |
| US20210374928A1 (en) * | 2020-05-26 | 2021-12-02 | Fujitsu Limited | Defect detection method and apparatus |
| CN112528975A (zh) * | 2021-02-08 | 2021-03-19 | 常州微亿智造科技有限公司 | 工业质检方法、装置和计算机可读存储介质 |
| CN113935953A (zh) * | 2021-09-18 | 2022-01-14 | 南通豪派金属制品有限公司 | 基于图像处理的钢卷缺陷检测方法 |
| CN113901947A (zh) * | 2021-11-04 | 2022-01-07 | 浙江大学高端装备研究院 | 一种小样本下的轮胎表面瑕疵智能识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| HAIQIAO WEN 等: "Detecting the Surface Defects of the Magnetic- Tile Based on Improved YOLACT ++", 《2021 IEEE 21ST INTERNATIONAL CONFERENCE ON COMMUNICATION TECHNOLOGY》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114943684B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110543878B (zh) | 一种基于神经网络的指针仪表读数识别方法 | |
| US10803573B2 (en) | Method for automated detection of defects in cast wheel products | |
| CN109840900B (zh) | 一种应用于智能制造车间的故障在线检测***及检测方法 | |
| CN113362326A (zh) | 一种电池焊点缺陷的检测方法及装置 | |
| CN111815572B (zh) | 一种基于卷积神经网络对锂电池焊接质量的检测方法 | |
| CN114994061B (zh) | 一种基于机器视觉的钢轨智能化检测方法及*** | |
| CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN110751604A (zh) | 一种基于机器视觉的钢管焊缝缺陷在线检测方法 | |
| CN113627435B (zh) | 一种瓷砖的瑕疵检测与识别方法及*** | |
| CN111591715A (zh) | 一种皮带纵向撕裂检测方法及装置 | |
| CN115131268A (zh) | 一种基于图像特征提取与三维模型匹配的自动化焊接*** | |
| CN109693140A (zh) | 一种智能化柔性生产线及其工作方法 | |
| CN115035092A (zh) | 基于图像的瓶体检测方法、装置、设备及存储介质 | |
| CN111524154B (zh) | 一种基于影像的隧道管片自动化分割方法 | |
| TWI822968B (zh) | 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法 | |
| CN114612471B (zh) | 一种复杂纹理瓷砖表面缺陷检测方法 | |
| CN117649404A (zh) | 一种基于图像数据分析的药品包装盒质量检测方法及*** | |
| US20240046617A1 (en) | Machine Learning-Based Generation of Rule-Based Classification Recipes for Inspection System | |
| Kähler et al. | Anomaly detection for industrial surface inspection: application in maintenance of aircraft components | |
| CN103926255A (zh) | 一种基于小波神经网络的布匹表面瑕疵检测方法 | |
| CN117455917B (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
| Ekambaram et al. | Identification of defects in casting products by using a convolutional neural network | |
| CN117252840B (zh) | 一种光伏阵列缺陷消除评定方法、装置及计算机设备 | |
| CN113705564A (zh) | 一种指针式仪表识别读数方法 | |
| CN114943684B (zh) | 一种利用对抗生成自编码神经网络的曲面异常检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |