CN116309277A - 基于深度学习的钢材检测方法及*** - Google Patents
基于深度学习的钢材检测方法及*** Download PDFInfo
- Publication number
- CN116309277A CN116309277A CN202211607711.6A CN202211607711A CN116309277A CN 116309277 A CN116309277 A CN 116309277A CN 202211607711 A CN202211607711 A CN 202211607711A CN 116309277 A CN116309277 A CN 116309277A
- Authority
- CN
- China
- Prior art keywords
- steel
- defect
- image
- image data
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 174
- 239000010959 steel Substances 0.000 title claims abstract description 174
- 238000001514 detection method Methods 0.000 title claims abstract description 101
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 230000007547 defect Effects 0.000 claims abstract description 199
- 239000000463 material Substances 0.000 claims abstract description 21
- 238000004140 cleaning Methods 0.000 claims abstract description 18
- 238000013145 classification model Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000009499 grossing Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 16
- 239000002184 metal Substances 0.000 abstract description 2
- 229910052751 metal Inorganic materials 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000005507 spraying Methods 0.000 description 5
- 238000007664 blowing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000007921 spray Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003723 Smelting Methods 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005422 blasting Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于金属制造工艺质量检测技术领域，特别涉及一种基于深度学习的钢材检测方法及***，通过采集流水线作业中钢材表面清理工序后的图像数据，并对图像数据进行预处理，分离出图像数据中钢材区域图像；将钢材区域图像输入至已训练的缺陷检测模型，检测并定位出钢材缺陷区域图像；利用已训练的缺陷分类模型对钢材缺陷区域图像进行分类，确定钢材缺陷或伪缺陷类别，针对缺陷类别下的图像数据进行第二次分类并输出缺陷所属类别，记录图像中钢材缺陷类别及对应缺陷区域位置。本发明利用传统算法和深度学习算法相结合使钢材缺陷检测方案具有检出率高、误检率低、适应性强的优点，提高整个钢材表面缺陷检测***的鲁棒性，具有较好的应用前景。
Description
技术领域
本发明属于金属制造工艺质量检测技术领域，特别涉及一种基于深度学习的钢材检测方法及***。
背景技术
钢材在现代工业制造领域占据着不可或缺的地位，被广泛应用于机械、化工、航空航天、汽车、船舶、建筑等行业。但在生产过程中由于设备、生产工艺和冶炼方法等因素的影响，钢材表面极易出现各种复杂的缺陷。这些缺陷不仅会对产品的耐腐蚀、抗磨损，抗形变等能力产生严重影响，还可能会对企业与社会造成不可预估的经济损失。因此，如何快速准确检出钢材表面的各种缺陷，提高钢材的表面质量，成为了目前亟待解决的问题。
钢材表面缺陷检测以往通常采用人工目视与其他技术(如荧光磁粉探伤技术)相结合方式检测，但它存在一些弊端：如，工作效率不高、劳动强度大、缺陷信息无法保存等缺点；操作检测人员长期在高温、噪声、粉尘、辐射和震动的环境下工作，对身体及心理健康会产生不良影响。近年来，大量学者开始对钢材检测算法开展研究，大多采用如下技术路线：首先使用边缘检测或直方图或阈值等技术对前景与背景进行语义分割与连通域标记，而后通过小波分析或局部二值化或形态学分析等方法提取候选缺陷目标，最后利用特定特征提取算法与传统机器学习相结合方式对候选缺陷目标进行缺陷类别判断。但是，由于产品种类繁多、生产环境复杂等因素，导致产品与缺陷成像形态各异，且传统机器学习表征学习能力有限，难以达到较高的准确性和鲁棒性。
发明内容
为此，本发明提供一种基于深度学习的钢材检测方法及***，提高钢材缺陷检测准确率，利于提升钢材制品工艺中的质量监控自动化程度，提高效率。
按照本发明所提供的设计方案，提供一种基于深度学习的钢材检测方法，包含如下内容：
采集流水线作业中钢材表面清理工序后的图像数据，并对图像数据进行预处理，分离出图像数据中钢材区域图像；
将钢材区域图像输入至已训练的缺陷检测模型，检测并定位出钢材缺陷区域图像；
利用已训练的缺陷分类模型对钢材缺陷区域图像进行分类，确定钢材缺陷或伪缺陷类别，针对缺陷类别下的图像数据进行第二次分类并输出缺陷所属类别，记录图像中钢材缺陷类别及对应缺陷区域位置。
作为本发明中基于深度学习的钢材检测方法，进一步地，采集流水线作业中钢材表面清理工序后的图像数据中，在表面清理工序和缺陷标记工序之间的钢材输送流水线上设置视觉拍照***，利用该视觉拍照***来收集钢材不同方向角度的表面纹理图像数据。
作为本发明中基于深度学习的钢材检测方法，进一步，所述视觉拍照***利用4个同一竖直垂面上的工业相机从四个方向来分别收集钢材四个不同方向角度的表面纹理图像数据。
作为本发明中基于深度学***滑处理，获取竖直投影图像数据组；然后，对竖直投影图像数据组进行归一化处理，通过合并查找来分离出钢材区域图像。
作为本发明基于深度学***滑处理的感兴趣区域图像进行竖直方向投影，逐列统计灰度信息之和，将统计之后的灰度信息作为竖直方向投影数组，并依据感兴趣区域最低灰度值和感兴趣区域高度来滤除采集到钢材两端位置图像。
作为本发明基于深度学***滑处理；接着，从左到右遍历高斯平滑处理后的数据，依据图像像素起止位置将起止位置大于投影宽度预设值的图像像素数据以数组形式进行记录和保存，其中，记录保存的图像像素数据至少包含：图像像素起止位置和对应宽度数据；然后，依据相邻图像像素之间的距离来合并更新数组数据及当前图像像素宽度，并通过查看当前图像像素宽度是否与钢材宽度预设值匹配，通过匹配结果来分离出钢材区域图像。
作为本发明基于深度学习的钢材检测方法，进一步地，依据相邻图像像素之间的距离来合并更新数组数据，包含：将数组中相邻图像像素之间距离与预设值进行比对，若距离小于预设值且相邻图像像素中前一个图像像素终点位置到后一个图像像素起始位置间的灰度值大于预设的感兴趣区域最低灰度值，则合并该相邻图像像素，并将后一个图像像素起始位置更新为前一个图像像素的起始位置。
作为本发明基于深度学习的钢材检测方法，进一步地，所述缺陷检测模型采用darknet-53作为骨干网络来提取输入图像数据的缺陷特征，并利用SPP网络来融合不同尺寸大小的缺陷特征数据，通过分类和回归预测来进行解耦；模型训练过程中，将已标注的钢材缺陷样本数据集作为训练数据集和验证数据集，并利用训练数据集和验证数据集来训练和验证缺陷检测模型。
作为本发明基于深度学习的钢材检测方法，进一步地，所述缺陷分类模型采用ResNet网络结构，利用残差模块对不同卷积层的特征图进行连接，通过分类器来获取输入图像的缺陷类别；并利用缺陷分类数据集对缺陷分类模型进行预训练。
进一步地，本发明还提供一种基于深度学习的钢材检测***，包含：图像采集模块、缺陷检测模块和缺陷分类模块，其中，
图像采集模块，用于采集流水线作业中钢材表面清理工序后的图像数据，并对图像数据进行预处理，分离出图像数据中钢材区域图像；
缺陷检测模块，用于将钢材区域图像输入至已训练的缺陷检测模型，检测并定位出钢材缺陷区域图像；
缺陷分类模块，用于利用已训练的缺陷分类模型对钢材缺陷区域图像进行分类，确定钢材缺陷或伪缺陷类别，针对缺陷类别下的图像数据进行第二次分类并输出缺陷所属类别，记录图像中钢材缺陷类别及对应缺陷区域位置。
本发明的有益效果：
1、本发明利用传统算法和深度学习算法相结合，不仅具有可解释性强和精度高等特点，还具有特征表达能力和泛化能力强等特点，可使钢材缺陷检测方案具有检出率高、误检率低、适应性强的优点，提高整个钢材表面缺陷检测***的鲁棒性，具有较好的应用前景。
2、本发明中，首先对视觉模块采集到的灰度图像进行预处理，然后对灰度图竖直投影后的图像进行归一化后，记录满足条件的水平方向起止位置，最后筛选出方刚所在位置，获得钢材所在区域图像。前景钢材提取效果好，抗干扰能力强。与传统的阈值分割或霍夫变换提取感兴趣区域相比，通过采用的灰度图竖直投影与归一化相结合的思想，能稳定提取到感兴趣区域，不易受钢材表面成像和外界生产环境的干扰，极大程度上提高了检测***的稳定性。
3、本案方案中利用深度学习强大的特征学习表达能力和泛化能力强的特点，可有效检出缺陷的位置与种类信息，剔除伪缺陷，缺陷检出率高、误检率低，适应性强。与传统的特征提取与机器学习相结合的方法相比，本案方案能够应对不同的钢材检测场景，具有准确度高、定位精度高、适应性强等特点。
附图说明：
图1为实施例中基于深度学习的钢材检测流程示意；
图2为实施例中钢材检测提取感兴趣区域结果效果示意；
图3为实施例中分离钢材区域图像效果示意；
图4为实施例中钢材缺陷检测网络训练与测试方法流程示意；
图5为实施例中钢材缺陷分类网络训练与测试方法流程示意；
图6为实施例中钢材缺陷检测结果示意；
图7为实施例中视觉机构架设示意；
图8为实施例中设备结构整体示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
本案实施例，提供一种基于深度学习的钢材检测方法，包含：采集流水线作业中钢材表面清理工序后的图像数据，并对图像数据进行预处理，分离出图像数据中钢材区域图像；将钢材区域图像输入至已训练的缺陷检测模型，检测并定位出钢材缺陷区域图像；利用已训练的缺陷分类模型对钢材缺陷区域图像进行分类，确定钢材缺陷或伪缺陷类别，针对缺陷类别下的图像数据进行第二次分类并输出缺陷所属类别，记录图像中钢材缺陷类别及对应缺陷区域位置。
参见图1所示，钢材输送至流水线相应工位时，通过传感器触发相机来获取不同方向的钢材图像，作为数据输入；对输入图像进行平滑处理，然后对统计后的竖直投影数组进行归一化处理，通过合并查找等运算找出钢材所在候选区域，最后判断候选区域中是否存在满足钢材预设宽度的区域，若存在，则分离出钢材区域图像，反之，则结束当前检测流程；将上述钢材区域图像作为缺陷检测模型的数据输入，进行网络推理；判断是否存在满足条件的候选缺陷，若存在，则获取缺陷的位置与类别信息，分离出缺陷区域图像，反之，则结束当前检测流程；将上述检测到的缺陷图像作为缺陷分类模型的数据输入，进行网络推理，获取缺陷类别信息；统计上述网络分类模型推理后的缺陷类别信息，去除伪缺陷，记录真实缺陷信息，若存在真实缺陷，反之，结束当前检测流程；保存缺陷图像，将缺陷位置与类别信息标记到结果图上；将上述真实缺陷位置信息，可通过流水线控制***引导喷涂装置对缺陷所在区域进行喷涂标记，实现钢材质量监控的自动化检测，且能够保证检测准确率的同时，大幅提升检测效率。
通过采用传统图像处理算法与深度学习技术相结合方式，不仅提高了钢材产品表面缺陷的检测准确率，还降低了误检率，能很好地适应不同型号钢材产品，增加了检测***整体的稳定性。待检测对象为钢材四个表面。在工业生产中并不仅限于上述检测对象，也可以是塑料薄膜表面、玻璃表面，纺织品表面等，本申请对此不做限制。
优选实施例，进一步地，采集流水线作业中钢材表面清理工序后的图像数据中，在表面清理工序和缺陷标记工序之间的钢材输送流水线上设置视觉拍照***，利用该视觉拍照***来收集钢材不同方向角度的表面纹理图像数据。参见图8所示，所述视觉拍照***可利用4个同一竖直垂面上的工业相机从四个方向来分别收集钢材四个不同方向角度的表面纹理图像数据。进一步地，可结合实际生产环境，在同一竖直平面内，用4台工业线阵相机搭建图像采集环境，分别从4个方向采集钢材的表面纹理信息。
在现场生产环境中，钢材表面成像会受到生产工艺控制、产品运输、视觉搭建环境所限等外界干扰因素影响，导致前景与背景区分度不稳。如若在进行语义分割时，采用二值化阈值或直方图投影或边缘检算(如Canny算法)等方法，并不能稳定的提取到钢材所在区域。针对上述方法不足之处，本实施例结合不同方法对钢材区域图像进行分离，来提高检测***的整体鲁棒性。其中，对图像数据进行预处理，分离出图像数据中钢材区域图像，包含如下内容：首先，对图像数据进行灰度化处理并选取钢材所在区域为感兴趣区域，对感兴趣区域图像进行平滑处理，获取竖直投影图像数据组；然后，对竖直投影图像数据组进行归一化处理，通过合并查找来分离出钢材区域图像。
进一步地，本案实施例获取竖直投影图像数据组中，可依据感兴趣区域左上角位置和感兴趣宽高来标记感兴趣区域，并对平滑处理的感兴趣区域图像进行竖直方向投影，逐列统计灰度信息之和，将统计之后的灰度信息作为竖直方向投影数组，并依据感兴趣区域最低灰度值和感兴趣区域高度来滤除采集到钢材两端位置图像。其中，对竖直投影图像数据组进行归一化处理，通过合并查找来分离出钢材区域图像，可包含：首先，将竖直方向投影数组线性归一化到[0,1]区间，并对归一化后的数据进行一维高斯平滑处理；接着，从左到右遍历高斯平滑处理后的数据，依据图像像素起止位置将起止位置大于投影宽度预设值的图像像素数据以数组形式进行记录和保存，其中，记录保存的图像像素数据至少包含：图像像素起止位置和对应宽度数据；然后，依据相邻图像像素之间的距离来合并更新数组数据及当前图像像素宽度，并通过查看当前图像像素宽度是否与钢材宽度预设值匹配，通过匹配结果来分离出钢材区域图像。
对钢材区域图像进行分离的算法流程，可如图2所示，选取灰度图像中钢材所在区域为感兴趣区域，对感兴趣图像进行二维高斯平滑处理，减弱噪声干扰，记感兴趣区域为R(Xs,Ys,W,H)，其中(Xs,Ys)为感兴趣的左上角位置，(W,H)代表感兴趣的宽高；对上述预处理后图像进行竖直方向投影，逐列统计灰度信息之和，记为S(Xi)；根据现场实际生产环境，设感兴趣区域最低灰度值为Vmin，统计满足S(Xi)≥Vmin×H的区域宽度，记为Wi，若Wi大于预设的钢材宽度，则进行后续步骤，反之，则表明当前采集到图像为钢材两端位置图像，不进行后续处理，当前检测流程终止；对上述竖直方向投影数组S(Xi)，进行线性归一化到[0,1]区间，记为N(Xi)，进一步对N(Xi)进行一维高斯平滑处理，记为G(Xi)；对高斯平滑后数组G(Xi)，从左到右进行遍历，记录满足预设值的起止位置，若起止距离大于投影宽度预设值，则记为L(Xs,Xe,W)，将所有满足条件的起止位置与宽度，保存到数组P(Li)中；合并更新数组P(Li)。
进一步地，在合并更新数组数据时，若Li与Li+1之间距离小于合并预设值且Li终止位置到Li+1起始位置间得灰度值大于Vmin,则合并Li与Li+1，并更新Li+1起始位置为Li得起始位置，记录宽度
合并更新数组完毕后，查看是否存在/>
大于钢材宽度预设值，若存在，则分离出钢材区域图像，参见图3所示，反之，则结束当前检测流程。
本案实施例中，进一步地，所述缺陷检测模型采用darknet-53作为骨干网络来提取输入图像数据的缺陷特征，并利用SPP网络来融合不同尺寸大小的缺陷特征数据，通过分类和回归预测来进行解耦；模型训练过程中，将已标注的钢材缺陷样本数据集作为训练数据集和验证数据集，并利用训练数据集和验证数据集来训练和验证缺陷检测模型。
收集上述钢材区域图像，标注缺陷位置、尺寸与类别信息，建立钢材缺陷样本数据集。将上述样本数据作为缺陷检测网络输入数据，该网络模型首先通过darknet-53作为backbone网络进行缺陷特征提取，然后经过SPP(Spatial Pyramid Pooling)网络融合不同尺寸大小得缺陷图像特征，最后对分类与回归预测模块进行解耦，经过一定迭代次数或损失值低于预设值，则停止训练,得到不同迭代次数固化后的网络权重参数。缺陷检测网络模型训练流程，参见图4。对上述得到的不同迭代次数得网络权重参数，在验证集上进行测试，将map和IOU测试结果较高的权重参数，作为部署网络时的权重参数。
为了进一步适合当前缺陷检测需求，对已标注好的缺陷样本集利用K-Means聚类思想进行尺度聚类，生成适合当前缺陷检测需求的anchor尺寸；对已标注好的缺陷样本进行数据增强后，作为目标检测模型网络数据输入，进行迁移学习，经过一定次数迭代或损失值小于预设值，则停止训练，得到固化后的网络权重参数模型。该目标区域检测模型为YOLOV5网络模型。钢材图像作为输入，对上述已完成训练的目标检测模型进行推理，判断输入图像是否存在缺陷，若存在，则得到缺陷位置与类别(裂纹、划伤等)信息，保存缺陷图像。
进一步地，所述缺陷分类模型采用ResNet网络结构，利用残差模块对不同卷积层的特征图进行连接，通过分类器来获取输入图像的缺陷类别；并利用缺陷分类数据集对缺陷分类模型进行预训练。
缺陷分类网络采用卷积神经网络模型结构来对输入缺陷图像进行分类识别，获取输入图像的缺陷类别信息，去除伪缺陷，统计真实缺陷类别与尺寸信息。
针对缺陷区域图像数据，可按真实缺陷类别与伪缺陷进行分类，建立缺陷分类数据集。将缺陷分类识别样本集进行数据增强后作为输入，对缺陷分类网络进行迁移学习，经过一定次数迭代或loss值小于预设值，则停止训练，得到固化后的网络权重参数模型。该缺陷分类模型可为ResNet网络结构。
参见图5所示，在步骤S501，深度卷积神经网络训练模块。在本申请实施例，使用ResNet作为对象识别模型。该网络使用残差模块，使用1×1卷积降维，最后再通过1×1卷积升维，与前面卷积得到特征图连接，在解决随着网络深度增加产生参数退化问题，同时也减少了计算量和增加网络的学习表征能力。本申请实施时，预先采集不同类别对象的缺陷图像作为训练数据，训练ResNet网络模型，当Loss值或迭代次数满足要求时，停止训练。在步骤S502，将所述候选缺陷图像作为输入图像，利用所述已生成对象识别模型，对缺陷图像进行分类识别，去除伪缺陷图像。在步骤S503，利用所述网络识别模型预测结果，统计缺陷特征信息，标记缺陷位置，保存缺陷小图。经过上述检测流程后，样例中的缺陷检测结果图，参见图6所示。
进一步地，基于上述的方法，本发明实施例还提供一种基于深度学习的钢材检测***，包含：图像采集模块、缺陷检测模块和缺陷分类模块，其中，
图像采集模块，用于采集流水线作业中钢材表面清理工序后的图像数据，并对图像数据进行预处理，分离出图像数据中钢材区域图像；
缺陷检测模块，用于将钢材区域图像输入至已训练的缺陷检测模型，检测并定位出钢材缺陷区域图像；
缺陷分类模块，用于利用已训练的缺陷分类模型对钢材缺陷区域图像进行分类，确定钢材缺陷或伪缺陷类别，针对缺陷类别下的图像数据进行第二次分类并输出缺陷所属类别，记录图像中钢材缺陷类别及对应缺陷区域位置。
钢材检测方法和/或***在实际应用中，通过与流水线上视觉成像***、缺陷喷涂标记、吹气清洁及控制模块相结合，抛丸后的钢材首先随上料***经流水线输送至吹气模块进行表面清理后，然后当钢材经过传感器触发位置时，触发四个相机同时拍照，接着将视觉采集图像传输至检测模块，所述检测模块采用上述的钢材表面缺陷检测***，检测完成后，对缺陷图像进行存档，最后将上述缺陷所处区域位置传输至电气控制模块，由其控制喷涂标记模块对缺陷所处区域进行喷涂标记。
参见图7所示，钢材的视觉检测部分由4个相同的视觉模块组成，分别对应钢材四个检测面，为了兼顾不同尺寸的工件，其中1、2模块可固定在直线模组上，切换品种时调整模块位置。每个视觉模块由线阵相机、镜头和高亮线光源组成。
参见图8所示，视觉成像模块，由线阵相机、镜头、高亮线光源和直线模组构成，用于采集不同品相钢材的四个检测面图像；吹气清洁模块，用于清洁钢材表面铁锈、异物等，减少外界环境干扰；检测***，用于检测钢材四个表面的缺陷，并将缺陷所在区域传送到控制***；电控***，用于控制传感器触发相机拍照，缺陷喷涂标记等。钢材经产线输送至抓取工位后，机械手将其抓取到上料位置；产品随上料流水线，输送至吹气清洁***对产品表面进行吹气，清洁完毕后移动至传感器触发位置，传感器触发视觉成像模块同步采集四个方向不同钢材表面的图像；将上述采集图像，传输至视觉检测控制模块，通过上述缺陷检测方法判断产品表面是否存在缺陷；统计缺陷类别与位置信息，保存缺陷结果图，并将缺陷所在区域传输至控制***，引导喷涂标记模块对缺陷所在区域进行喷涂标记，方便后续操作人员查看确认缺陷并对所在钢材表面区域进行修磨。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的各实例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已按照功能一般性地描述了各示例的组成及步骤。这些功能是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不认为超出本发明的范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如：只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的钢材检测方法，其特征在于，包含如下内容：
采集流水线作业中钢材表面清理工序后的图像数据，并对图像数据进行预处理，分离出图像数据中钢材区域图像；
将钢材区域图像输入至已训练的缺陷检测模型，检测并定位出钢材缺陷区域图像；
利用已训练的缺陷分类模型对钢材缺陷区域图像进行分类，确定钢材缺陷或伪缺陷类别，针对缺陷类别下的图像数据进行第二次分类并输出缺陷所属类别，记录图像中钢材缺陷类别及对应缺陷区域位置。
2.根据权利要求1所述的基于深度学习的钢材检测方法，其特征在于，采集流水线作业中钢材表面清理工序后的图像数据中，在表面清理工序和缺陷标记工序之间的钢材输送流水线上设置视觉拍照***，利用该视觉拍照***来收集钢材不同方向角度的表面纹理图像数据。
3.根据权利要求2所述的基于深度学习的钢材检测方法，其特征在于，所述视觉拍照***利用4个同一竖直垂面上的工业相机从四个方向来分别收集钢材四个不同方向角度的表面纹理图像数据。
4.根据权利要求1所述的基于深度学***滑处理，获取竖直投影图像数据组；然后，对竖直投影图像数据组进行归一化处理，通过合并查找来分离出钢材区域图像。
5.根据权利要求4所述的基于深度学***滑处理的感兴趣区域图像进行竖直方向投影，逐列统计灰度信息之和，将统计之后的灰度信息作为竖直方向投影数组，并依据感兴趣区域最低灰度值和感兴趣区域高度来滤除采集到钢材两端位置图像。
6.根据权利要求4或5所述的基于深度学***滑处理；接着，从左到右遍历高斯平滑处理后的数据，依据图像像素起止位置将起止位置大于投影宽度预设值的图像像素数据以数组形式进行记录和保存，其中，记录保存的图像像素数据至少包含：图像像素起止位置和对应宽度数据；然后，依据相邻图像像素之间的距离来合并更新数组数据及当前图像像素宽度，并通过查看当前图像像素宽度是否与钢材宽度预设值匹配，通过匹配结果来分离出钢材区域图像。
7.根据权利要求6所述的基于深度学习的钢材检测方法，其特征在于，依据相邻图像像素之间的距离来合并更新数组数据，包含：将数组中相邻图像像素之间距离与预设值进行比对，若距离小于预设值且相邻图像像素中前一个图像像素终点位置到后一个图像像素起始位置间的灰度值大于预设的感兴趣区域最低灰度值，则合并该相邻图像像素，并将后一个图像像素起始位置更新为前一个图像像素的起始位置。
8.根据权利要求1所述的基于深度学习的钢材检测方法，其特征在于，所述缺陷检测模型采用darknet-53作为骨干网络来提取输入图像数据的缺陷特征，并利用SPP网络来融合不同尺寸大小的缺陷特征数据，通过分类和回归预测来进行解耦；模型训练过程中，将已标注的钢材缺陷样本数据集作为训练数据集和验证数据集，并利用训练数据集和验证数据集来训练和验证缺陷检测模型。
9.根据权利要求1所述的基于深度学习的钢材检测方法，其特征在于，所述缺陷分类模型采用ResNet网络结构，利用残差模块对不同卷积层的特征图进行连接，通过分类器来获取输入图像的缺陷类别；并利用缺陷分类数据集对缺陷分类模型进行预训练。
10.一种基于深度学习的钢材检测***，其特征在于，包含：图像采集模块、缺陷检测模块和缺陷分类模块，其中，
图像采集模块，用于采集流水线作业中钢材表面清理工序后的图像数据，并对图像数据进行预处理，分离出图像数据中钢材区域图像；
缺陷检测模块，用于将钢材区域图像输入至已训练的缺陷检测模型，检测并定位出钢材缺陷区域图像；
缺陷分类模块，用于利用已训练的缺陷分类模型对钢材缺陷区域图像进行分类，确定钢材缺陷或伪缺陷类别，针对缺陷类别下的图像数据进行第二次分类并输出缺陷所属类别，记录图像中钢材缺陷类别及对应缺陷区域位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607711.6A CN116309277A (zh) | 2022-12-14 | 2022-12-14 | 基于深度学习的钢材检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211607711.6A CN116309277A (zh) | 2022-12-14 | 2022-12-14 | 基于深度学习的钢材检测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309277A true CN116309277A (zh) | 2023-06-23 |
Family
ID=86778582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211607711.6A Pending CN116309277A (zh) | 2022-12-14 | 2022-12-14 | 基于深度学习的钢材检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309277A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823756A (zh) * | 2023-06-25 | 2023-09-29 | 江苏永康机械有限公司 | 一种桩腿焊缝缺陷检测方法 |
| CN117173151A (zh) * | 2023-09-25 | 2023-12-05 | 江苏精益智控科技有限公司 | 一种长型钢材的外表面缺陷视觉识别装置、方法及*** |
| CN117314904A (zh) * | 2023-11-28 | 2023-12-29 | 江苏金恒信息科技股份有限公司 | 一种钢板表面缺陷检测方法 |
-
2022
- 2022-12-14 CN CN202211607711.6A patent/CN116309277A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823756A (zh) * | 2023-06-25 | 2023-09-29 | 江苏永康机械有限公司 | 一种桩腿焊缝缺陷检测方法 |
| CN117173151A (zh) * | 2023-09-25 | 2023-12-05 | 江苏精益智控科技有限公司 | 一种长型钢材的外表面缺陷视觉识别装置、方法及*** |
| CN117173151B (zh) * | 2023-09-25 | 2024-03-08 | 江苏精益智控科技有限公司 | 一种长型钢材的外表面缺陷视觉识别装置、方法及*** |
| CN117314904A (zh) * | 2023-11-28 | 2023-12-29 | 江苏金恒信息科技股份有限公司 | 一种钢板表面缺陷检测方法 |
| CN117314904B (zh) * | 2023-11-28 | 2024-02-23 | 江苏金恒信息科技股份有限公司 | 一种钢板表面缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163853B (zh) | 一种边缘缺陷的检测方法 | |
| CN111292305B (zh) | 一种改进型yolo-v3的金属加工表面缺陷检测方法 | |
| KR102579783B1 (ko) | 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템 | |
| CN116309277A (zh) | 基于深度学习的钢材检测方法及*** | |
| CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
| CN107389701A (zh) | 一种基于图像的pcb表观缺陷自动检测***及方法 | |
| CN112862770B (zh) | 一种基于人工智能的缺陷分析诊断***、方法、装置 | |
| CN105044122A (zh) | 一种基于半监督学习模型的铜件表面缺陷视觉检测***及检测方法 | |
| CN110977767B (zh) | 一种铸件瑕疵分布检测方法以及铸件打磨方法 | |
| CN111369516A (zh) | 基于红外图像识别的变压器套管发热缺陷检测方法 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN106529551B (zh) | 面向包装行业的类圆对象智能识别计数检测方法 | |
| CN114119595A (zh) | 一种基于集成深度学习的gmaw焊接质量在线监测及评价方法 | |
| CN114549493A (zh) | 一种基于深度学习的磁芯缺陷检测***及方法 | |
| CN110705553B (zh) | 一种适用于车辆远景图像的划痕检测方法 | |
| CN113516619A (zh) | 一种基于图像处理技术的产品表面瑕疵识别方法 | |
| CN114049316A (zh) | 一种基于金属光泽区域的钢丝绳缺陷检测方法 | |
| AlNaimi et al. | IoT based on-the-fly visual defect detection in railway tracks | |
| Tang et al. | Surface inspection system of steel strip based on machine vision | |
| CN117252840B (zh) | 一种光伏阵列缺陷消除评定方法、装置及计算机设备 | |
| Kamani et al. | Automatic paint defect detection and classification of car body | |
| CN114332622A (zh) | 一种基于机器视觉的标签检测方法 | |
| CN113469974A (zh) | 球团链篦机蓖板状态监测方法及其监测*** | |
| US20230152781A1 (en) | Manufacturing intelligence service system connected to mes in smart factory | |
| CN114120318B (zh) | 一种基于集成决策树的暗场图像目标点精确提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |