CN113706471A - 一种基于模型压缩的钢铁产品表面缺陷检测方法 - Google Patents
一种基于模型压缩的钢铁产品表面缺陷检测方法 Download PDFInfo
- Publication number
- CN113706471A CN113706471A CN202110870944.4A CN202110870944A CN113706471A CN 113706471 A CN113706471 A CN 113706471A CN 202110870944 A CN202110870944 A CN 202110870944A CN 113706471 A CN113706471 A CN 113706471A
- Authority
- CN
- China
- Prior art keywords
- network
- steps
- pruning
- defect
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000007547 defect Effects 0.000 title claims abstract description 116
- 238000001514 detection method Methods 0.000 title claims abstract description 97
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 58
- 239000010959 steel Substances 0.000 title claims abstract description 58
- 238000007906 compression Methods 0.000 title claims abstract description 43
- 230000006835 compression Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000012795 verification Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000013138 pruning Methods 0.000 claims description 64
- 230000004927 fusion Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 claims 1
- 238000011282 treatment Methods 0.000 claims 1
- 238000003860 storage Methods 0.000 abstract description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical group [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 7
- 238000011897 real-time detection Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 229910052742 iron Inorganic materials 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于模型压缩的钢铁产品表面缺陷检测方法，属于钢材表面缺陷检测技术领域，包括以下步骤：S1：对热轧带钢表面缺陷图像样本进行预处理；S2：基于anchor‑free目标检测框架，搭建热轧带钢表面缺陷检测网络；S3：对缺陷检测网络进行模型压缩，并采用线性策略及训练样本训练模型；S4：在独立验证集上测试缺陷检测网络并输出检测速度与检测结果。本发明先搭建用于识别与定位的钢铁表面缺陷检测网络，再移除缺陷检测网络中冗余的参数，减少模型高额的存储空间以及计算资源消耗，将缺陷检测网络更稳定、高效的落地在硬件平台上。
Description
技术领域
本发明涉及钢材表面缺陷检测技术领域，具体涉及一种基于模型压缩的钢铁产品表面缺陷检测方法。
背景技术
产品的表面缺陷不仅破坏美感和舒适度，还可能造成性能上的严重损害。因此，产品的表面缺陷检测必须覆盖在生产的中间关节以及出厂前的最后环节。以带钢检测为例，带钢是电机、发电机和变压器铁芯的主要制作材料，裂纹、夹杂、斑块、轧制氧化皮、划痕等表面缺陷会严重损害带钢的抗腐蚀性、抗疲劳性和铁损特性，直接影响电机、发电机等产品的性能。若存在缺陷的带钢在出厂前未能被鉴别出来，可能导致严重的安全事故。随着消费水平的不断升级，大众对产品的质量和外观越来越关注，生产高质量、高可靠性的产品已是大势所趋。在这种背景下，产品表面缺陷检测有助于减少大量生产成本、提高产品质量和生产效率。然而现阶段的产品缺陷检查主要依赖于专业技术人员的人工观察，这种检测方法既费时又存在主观性。因此，对于钢铁表面缺陷的检测，期望一种高精度且高速的自动检测方法。
目前，针对表面缺陷的自动检测有很多的研究和相关专利。在早期，表面缺陷检测多用传统的图像分析方法。申请号为CN201811245513.3的中国发明专利申请公开了一种基于图像识别的表面缺陷识别方法，提出通过对表面缺陷图像中缺陷轮廓以及表面缺陷图像与背景之间轮廓的提取来识别表面缺陷，这些算法存在对不同手机膜表面纹理和光照敏感的问题，需要人为设定很多阈值等缺点。最近，随着深度学习在图像识别领域取得了重大突破，申请号为CN202011264401.X的中国发明专利申请公开了一种基于迁移学习的钢板表面缺陷的分类方法，使用神经网络模型MobileNet，但这种神经网络只适合单目标的识别，无法独立完成对钢铁表面存在的多个缺陷的同时识别。申请号为CN201910968466.3的中国发明专利申请公开了一种人造板表面缺陷检测方法及其***，使用目标检测算法完成对人造板表面存在的多个缺陷的同时识别，但是检测速度仅有3.9FPS，无法满足工业现场实时检测的要求。申请号为CN202110171633.9的中国发明专利申请公开了一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法，在中高端的RTX 2060S GPU上检测速度为20FPS，依然无法满足工业现场实时检测的要求。
现存最先进的基于计算机视觉的自动检测方法要么是使用大型模型面向精度，但导致推理速度上的高延迟，要么是使用轻量级模型面向速度，但牺牲了检测精度。虽然一些一阶段的目标检测算法权衡了精度与速度，但都是实施在高端消费级GPU上，很难广泛应用在工业生产中，就钢铁表面缺陷的检测成本而言，亟待一种在资源受限的平台例如常规GPUs甚至是嵌入式***就可以实现高精度且高速的自动检测方法。为此，提出一种基于模型压缩的钢铁产品表面缺陷检测方法。
发明内容
本发明所要解决的技术问题在于：如何减少模型高额的存储空间以及计算资源消耗，将缺陷检测网络更稳定、高效地部署在硬件平台上，从而在极大地降低检测成本的同时又能兼顾检测精度，提供了一种基于模型压缩的钢铁产品表面缺陷检测方法。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
S1：对热轧带钢表面缺陷图像样本进行预处理；
S2：搭建用于识别与定位的钢铁表面缺陷检测网络；
S3：设计一种模型压缩新方案并对缺陷检测网络的参数进行压缩以及提出线性策略用于提升剪枝后模型的性能；
S4：在独立验证集上测试并输出检测速度与检测结果。
更进一步地，所述步骤S1包括以下子步骤：
S11：在NEU-DET官网上获取热轧带钢表面缺陷图像数据库，将获取的数据样本以7:3比例划分为训练集和独立验证集；
S12：将训练集中的图像尺寸调整为384×384，并对训练样本进行随机翻转、平移、色彩抖动、裁减等一系列数据增强处理。
更进一步地，所述步骤S2基于现有的anchor-free目标检测框架，搭建热轧带钢表面缺陷检测网络的步骤为：
S21：基于现有的anchor-free目标检测框架，选择参数量较少的TinyDarknet网络作为特征提取器，输出尺寸为12×12×512的特征图；
S22：使用调制形变卷积与双线性插值对S21所得到的特征图进行上采样，重复三次分别得到维度为24×24×256、48×48×128和96×96×64的特征图，再采用多尺度特征图融合手段用于丰富目标缺陷的语义以及位置信息；
S23：对S22所得到的特征图进行高斯映射生成一张热力图，使用三个独立的卷积分支分别预测目标缺陷的中心、中心偏移量以及缺陷区域的长度和宽度，完成对目标缺陷的识别与定位。
更进一步地，所述步骤S3对缺陷检测网络进行模型压缩，并用训练样本训练模型的步骤为：
S31：在通道剪枝方式的模型压缩方法基础上，针对缺陷检测网络设计了一种端对端的剪枝方案，解决了传统剪枝框架繁琐且耗时的三阶段权重优化过程，即稀疏化训练、剪枝，对训练剪枝后的模型进行微调参数；
S32：将S12预处理后的图像输入到压缩后的缺陷检测网络，采用本发明所设计的线性策略对其进行训练，再利用反向传播与随机梯度下降算法进行参数学习及更新。
更进一步地，所述步骤S4对训练好的压缩模型在独立验证集上进行测试，并输出检测结果的步骤为：
S41：对独立验证集的钢铁表面缺陷样本进行放大1.65倍、随机翻转以及保持原分辨率三种数据增强处理；
S42：输出网络的检测结果以及检测速度。
更进一步地，所述步骤S22所设计上采样以及多尺度特征融合的步骤为：
S221：3×3的形变卷积用于提升常规卷积的形变建模能力并且改变特征图的通道数，双线性插值用于特征上采样，以上组合重复三次分别得到维度为24×24×256、48×48×128和96×96×64的特征图；
S222：对于骨干网络中与三个上采样层24×24×256、48×48×128和96×96×64维度相同的特征图，直接采用对应元素相加操作进行相同尺度特征图融合；对于不同维度的四层特征图，即骨干网络最后一层维度为12×12×512以及三个上采样层中维度为24×24×256、48×48×128和96×96×64的特征图，首先分别采用1×1卷积将特征图的通道数统一为64，再使用上采样步长分别为2、4与6的插值法将特征图的维度统一为96×96×64，最后再使用对应元素相加操作进行多尺度特征融合。
更进一步地，所述步骤S23对表面缺陷实施分类及定位的步骤为：
使用三个独立的分支对维度为96×96×64的特征图使用相同的3×3与1×1卷积核组合，输出96×96×6的特征图，其中6为钢铁表面缺陷的总类别数，再经过高斯核映射用于预测钢铁缺陷的中心位置及其类别，96×96×2的特征图用于预测缺陷中心坐标的偏移量，96×96×2的特征图用于预测缺陷区域的长度和宽度。
更进一步地，为了极致地压缩网络的参数从而能够在通用的GPUs，嵌入式***甚至是移动设备上做到实时检测，所述步骤S31设计端对端的剪枝方案为：
S311：传统剪枝方案是对稀疏化训练后的参数进行剪枝，本发明证明了在NEU-DET数据集上的稀疏化训练对网络最终的剪枝结构并不产生影响，反而无论在哪一种剪枝率的情况下，直接对网络在ImageNet上的预训练权重进行剪枝所得到的网络结构与对稀疏训练后的权重进行剪枝所得到的网络结构是一致的；
S312：直接对TinyDarknet网络在ImageNet训练好的参数进行通道剪枝，上采样层的通道数随剪枝后骨干网络的通道数而调整，使相同尺度特征图的通道数相等以解决特征图融合之前通道数不匹配的问题；
S313：使用剪枝后的ImageNet上的参数对剪枝后的TinyDarknet网络进行初始化，其它层的参数从给定的均值和标准差的正态分布N(mean，std2)中生成值，初始化张量，进而在NEU-DET数据集上做到从头开始训练剪枝后的网络。
更进一步地，所述步骤S32线性策略的步骤如下所示：
为解决模型越稀疏，学习速度越慢，更容易陷入局部最优值，最终导致检测精度也越低的问题，本发明探索了剪枝率与学习率之间的潜在规律，然后采用一条曲线近似的拟合剪枝率与最优学习率之间的数据分布，即
其中zin是输入(学习率)，zout对应输出，p为剪枝率。由于在较高压缩率的情况下，剪枝后的网络需要更长的训练步长去使得网络收敛的更好，本发明依然使用以上公式去得到对应的训练步长以及学习率衰减步长。
本发明相比现有技术具有以下优点：
(1)基于现有的anchor-free目标检测框架，选择参数量较少的卷积神经网络TinyDarknet作为特征提取网络，同时设计了上采样以及多尺度融合，丰富了待检测缺陷实例的语义以及边缘信息；本发明所设计的钢铁表面缺陷检测模型在NEU-DET数据集上实现了79.9％mAP，其检测速度在中端的Titan X GPU上达到了85.6FPS，在低端的GTX960m GPU上达到了21.6FPS，其检测性能优于现阶段所有钢铁缺陷检测模型。
(2)在通道剪枝方式的模型压缩方法基础上，针对缺陷检测网络设计了一种端对端的剪枝方案，解决了传统剪枝框架繁琐且耗时的三阶段权重优化过程，即稀疏化训练、剪枝，对训练剪枝后的模型进行微调参数；为解决模型越稀疏，学习速度越慢，更容易陷入局部最优值，最终导致检测精度也越低的问题，本发明探索了剪枝率与学习率之间的潜在规律并设计了线性策略，显著的提高了剪枝后模型的检测性能。
(3)本发明中端对端的剪枝方案，极致地压缩了10.8倍的网络参数，其参数量仅为0.6M以及7.1MB存储空间的情况下，在低端的GTX960m上实现了79.2％mAP且检测速度为40.1FPS，在中端的Titan X GPU上达到了103.7FPS，该模型极大的降低了模型对资源的占用并且足以满足部署在嵌入式设备甚至是手机移动端的要求，同时也满足了实际生产过程中实时检测的需求。
附图说明
图1是本发明实施例中基于模型压缩的钢铁产品表面缺陷检测方法的流程图；
图2是本发明实施例中NEU-DET数据库中6种典型的钢铁表面缺陷图像样本；
图3是本发明实施例中缺陷检测网络的架构示意图；
图4是本发明实施例中通道剪枝框架图；
图5是本发明实施例中不同阶段稀疏化训练后的参数对剪枝结构的影响示意图；
图6是本发明实施例中学习率与剪枝率的规律示意图；
图7是本发明实施例中本发明的缺陷检测网络和其它先进的钢表面缺陷探测器的比较图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供一种技术方案：一种基于模型压缩的钢铁产品表面缺陷检测方法，以对热轧带钢表面缺陷进行识别与定位，如图1所示，其步骤如下：
S1：对热轧带钢表面缺陷图像样本进行预处理。
该步骤中，包括以下两个子步骤：
S11：在NEU-DET官网上获取热轧带钢表面缺陷图像数据库，如图2所示，将获取的数据样本以7:3比例划分为训练集和独立验证集；
S12：将训练集中的图像尺寸调整为384×384，并对训练样本进行随机翻转、平移、色彩抖动、裁减等一系列数据增强处理。
S2：搭建用于识别与定位的钢铁表面缺陷检测网络。详细的实施方案为：
基于现有的anchor-free目标检测框架，选择参数量较少的TinyDarknet网络作为特征提取器，即骨干网络，输出尺寸为12×12×512的特征图，再使用调制形变卷积与双线性插值对所得到的特征图进行上采样，重复三次分别得到维度为24×24×256、48×48×128和96×96×64的特征图。本发明设计了多尺度特征融合，对于骨干网络中与三层上采样层24×24×256、48×48×128和96×96×64尺度相同的特征图，直接采用对应元素相加操作进行相同尺度特征图融合；对于不同维度的四层特征图，即骨干网络最后一层维度为12×12×512以及三个上采样层中维度为24×24×256、48×48×128和96×96×64的特征图，首先分别采用1×1卷积将特征图的通道数统一为64，再使用上采样步长分别为2、4与6的插值法将特征图的维度统一为96×96×64，最后再使用对应元素相加操作进行多尺度特征融合。从前向传播的角度来说，为了丰富待检测目标缺陷的语义以及位置信息进而提升检测性能；从反向传播的角度来说，实现了对低层特征图的监督，有利于加快网络梯度的传播。使用三个独立的分支对维度为96×96×64的特征图使用相同的3×3与1×1卷积核组合，输出96×96×6的特征图，其中6为钢铁表面缺陷的总类别数，再经过高斯核映射用于预测钢铁缺陷的中心位置及其类别，96×96×2的特征图用于预测缺陷坐标中心的偏移量，96×96×2的特征图用于预测缺陷区域的长度和宽度，从而完成对目标缺陷的识别与定位，如图3所示。
S3：设计一种新的模型压缩框架并对缺陷检测网络的参数进行压缩以及提出线性策略用于提升剪枝后模型的性能，其模型压缩的步骤为：
S31：在通道剪枝方式的模型压缩方法基础上，如图4所示，针对缺陷检测网络设计了一种端对端的剪枝方案，解决了传统剪枝框架繁琐且耗时的三阶段权重优化过程，即稀疏化训练、剪枝，对训练剪枝后的模型进行微调参数；
该步骤中包含以下三个子步骤：
S311：传统剪枝方案是对稀疏化训练后的参数进行剪枝。如图5所示，本发明证明了在NEU-DET数据集上的稀疏化训练对网络最终的剪枝结构并不产生影响，反而无论在哪一种剪枝率的情况下，直接对网络在ImageNet上的预训练权重进行剪枝所得到的网络结构与对稀疏训练后的权重进行剪枝所得到的网络结构是一致的；
S312：直接对TinyDarknet网络在ImageNet训练好的参数进行通道剪枝，上采样层的通道数随剪枝后骨干网络的通道数而调整，使相同尺度特征图的通道数相等以解决特征图融合之前通道数不匹配的问题，即图3中骨干网络与上采样相对应的层；
S313：使用剪枝后的ImageNet上的参数对剪枝后的TinyDarknet网络进行初始化，其它层的参数从给定的均值和标准差的正态分布N(mean，std2)中生成值，初始化张量，进而在NEU-DET数据集上做到从头开始训练剪枝后的网络。
S32：将步骤S12预处理后的图像输入到压缩后的缺陷检测网络，采用本发明所设计的线性策略对其进行训练，再利用反向传播与随机梯度下降算法进行参数学习及更新。
在本实施例中，所述步骤S32线性策略的步骤如下所示：
为解决模型越稀疏，学习速度越慢，更容易陷入局部最优值，最终导致检测精度也越低的问题，本发明探索了剪枝率与学习率之间的潜在规律，如图6所示，采用一条曲线近似的拟合剪枝率与最优学习率之间的数据分布，即：
其中zin是输入(学习率)，zout是对应输出，p为剪枝率。由于在较高压缩率的情况下，剪枝后的网络需要更长的训练步长去使得网络收敛的更好，本发明依然使用以上公式去得到对应的训练步长以及学习率衰减步长。
S4：在独立验证集上测试并输出检测速度与检测结果。
对训练好的压缩模型在独立验证集上进行测试包括以下步骤：
S41：对独立验证集的钢铁表面缺陷样本进行放大1.65倍、随机翻转以及保持原分辨率三种数据增强处理；
S42：输出网络的检测结果以及检测速度。
表1线性策略对剪枝后模型性能的影响
从表1可以看出随着剪枝率的提高，线性策略所带来的性能收益也在提升。例如在0.34剪枝率下带来的性能上的收益是0.9％mAP，而在0.55剪枝率下是2.4％mAP。因此本发明的线性策略是合理的、有效的。
在本实施例中，本发明端对端的通道型剪枝方法与其它有代表性的通道型剪枝方法在相同的压缩率下做了比较，包括Network Slimming(简写为NS)和Rethinking thevalue of network pruning(简写为Rethink，Rethink*表示增加一倍的训练步长)，以下实验都在低端的GTX960m GPU上实施。
表2本发明与其它有代表性的结构型剪枝方法之间的比较
从表2中可知，相对于NS和Rethink方法，本发明中的压缩方法没有损失缺陷检测性能的情况下实现了3倍的参数压缩率、79.9％mAP。同时本发明中的压缩方法花费了相对较小的训练预算，训练步长仅为395epochs。并且，该方法在目标检测上实现了真正意义的端对端剪枝在不需要NEU-DET数据集上的预训练权重，稀疏训练，以及微调阶段从而极大地简化了模型压缩繁琐的流程。
表3本发明端对端剪枝的有效性
| 参数量 | 压缩率 | FLOPs | 内存占用 | 存储占用 | FPS | mAP(％) |
| 6,652,987 | 1.0× | 6.2G | 160.5MB | 76.2MB | 21.6 | 79.9 |
| 2,223,771 | 3.0× | 4.4G | 152.5MB | 25.5MB | 27.0/+5.4 | 79.9/+0.0 |
| 1,562,459 | 4.3× | 3.5G | 119.4MB | 17.9MB | 30.2/+8.6 | 79.7/-0.2 |
| 613,867 | 10.8× | 1.8G | 96.8MB | 7.1MB | 40.1/+18.5 | 79.2/-0.7 |
表3可以看出，本发明端对端的剪枝方法在达到3倍压缩率的情况下，检测性能并没有任何损失且对设备资源的需求大大减少，检测速度提升5.4FPS；在4.3倍压缩率的情况下，在低端GPU上做到实时检测；在10.8倍压缩率的情况下，模型参数仅有0.6M，存储占用仅仅只有7.1MB，完全能够部署在嵌入式甚至是移动设备上。
表4本发明与其它有代表性的缺陷检测方法之间的比较
由表4可知，本发明所设计的缺陷检测网络参数量仅有0.6M、浮点运算(FLOPs)仅为1.8G、检测精度为79.2mAP。其在中端Titan X GPU上检测速度为103.7FPS，在低端GTX960m GPU上检测速度为40.1FPS，检测速度远远超出其它有代表性的缺陷检测方法，并且具有相当甚至更高的检测精度。从图7可以看出，只有本发明所设计的方法可以在低端GPU上做到实时检测。
综上所述，上述实施例的基于模型压缩的钢铁产品表面缺陷检测方法，先搭建用于识别与定位的钢铁表面缺陷检测网络，再移除缺陷检测网络中冗余的参数，减少模型高额的存储空间以及计算资源消耗，将缺陷检测网络更稳定、高效的落地在硬件平台上，值得被推广使用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于模型压缩的钢铁产品表面缺陷检测方法，其特征在于，包括以下步骤：
S1：对热轧带钢表面缺陷图像样本进行预处理；
S2：基于anchor-free目标检测框架，搭建热轧带钢表面缺陷检测网络；
S3：对缺陷检测网络进行模型压缩，并采用线性策略及训练样本训练模型；
S4：在独立验证集上测试缺陷检测网络并输出检测速度与检测结果。
2.根据权利要求1所述的一种基于模型压缩的钢铁产品表面缺陷检测方法，其特征在于：所述步骤S1具体包括以下过程：
S11：在热轧带钢表面缺陷图像数据库获取数据样本，将获取的数据样本以设定比例划分为训练集和独立验证集；
S12：将训练集中的图像尺寸调整为384×384，并对数据样本进行数据增强处理。
3.根据权利要求2所述的一种基于模型压缩的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S11中，热轧带钢表面缺陷包括6类，分别为麻点(pitted surface)、夹杂(inclusion)、轧制氧化皮(rolled-in scale)、裂纹(crazing)、划痕(scratches)、斑块(patches)。
4.根据权利要求1所述的一种基于模型压缩的钢铁产品表面缺陷检测方法，其特征在于：所述步骤S2具体包括以下过程：
S21：基于anchor-free目标检测框架，选择TinyDarknet网络作为特征提取器，即骨干网络，输出尺寸为12×12×512的特征图；
S22：使用调制形变卷积与双线性插值对步骤S21所得到的特征图进行上采样，重复三次分别得到维度为24×24×256、48×48×128和96×96×64的特征图，再采用多尺度特征图融合方式丰富目标缺陷的语义以及位置信息；
S23：对步骤S22所得到的特征图进行高斯映射生成一张热力图，使用三个独立的卷积分支分别预测目标缺陷的中心、中心偏移量以及缺陷区域的长度和宽度，完成对目标缺陷的识别与定位。
5.根据权利要求4所述的一种基于模型压缩的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S22中，进行上采样及多尺度特征图融合的具体过程如下：
S221：使用3×3的形变卷积改变特征图的通道数，利用双线性差值进行特征上采样，以上组合依次重复分别得到维度为24×24×256、48×48×128和96×96×64的特征图；
S222：对于骨干网络中与三层上采样层24×24×256、48×48×128和96×96×64维度相同的特征图，直接采用对应元素相加操作进行相同尺度特征图融合；对于不同维度的四层特征图，即骨干网络最后一层维度为12×12×512以及三个上采样层中维度为24×24×256、48×48×128和96×96×64的特征图，首先分别采用1×1卷积将特征图的通道数统一为64，再使用上采样步长分别为2、4与6的插值法将特征图的维度统一为96×96×64，最后再使用对应元素相加操作进行多尺度特征融合。
6.根据权利要求4所述的一种基于模型压缩的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S23中，对表面缺陷实施分类及定位的具体过程为：使用三个独立的分支对维度为96×96×64的特征图使用相同的3×3与1×1卷积核组合，输出96×96×6的特征图，其中6为钢铁表面缺陷的总类别数，再经过高斯核映射用于预测钢铁缺陷的中心位置及其类别，96×96×2的特征图用于预测缺陷中心坐标的偏移量，96×96×2的特征图用于预测缺陷区域的长度和宽度。
7.根据权利要求1所述的一种基于模型压缩的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S3中，对缺陷检测网络进行模型压缩，并用训练样本训练模型的具体过程为：
S31：在通道剪枝方式的模型压缩方法基础上，对缺陷检测网络进行端对端剪枝操作，并对训练剪枝后的模型进行参数调整；
S32：将步骤S12处理后的图像输入到压缩后的缺陷检测网络，采用线性策略对其进行训练，再利用反向传播与随机梯度下降算法进行参数学习及更新。
8.根据权利要求7所述的一种基于模型压缩的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S31中，端对端剪枝操作具体过程如下：
S311：直接对TinyDarknet网络在ImageNet训练好的参数进行通道剪枝，上采样层的通道数随剪枝后骨干网络的通道数而调整，使相同尺度特征图的通道数相等以解决特征图融合之前通道数不匹配的问题；
S312：使用剪枝后的ImageNet上的参数对剪枝后的TinyDarknet网络进行初始化，其它层的参数从给定的均值和标准差的正态分布N(mean,std2)中生成值，初始化张量，进而在NEU-DET数据集上做到从头开始训练剪枝后的网络。
9.根据权利要求7所述的一种基于模型压缩的钢铁产品表面缺陷检测方法，其特征在于：在所述步骤S32中，探索了剪枝率与学习率之间的潜在规律，采用一条曲线近似的拟合剪枝率与最优学习率之间的数据分布，即
其中zin是输入(学习率)，zout是对应输出，p为剪枝率。
10.根据权利要求1所述的一种基于模型压缩的钢铁产品表面缺陷检测方法，其特征在于：所述步骤S4具体包括以下过程：
S41：对独立验证集的钢铁表面缺陷样本进行放大设定倍数、随机翻转以及保持原分辨率三种数据增强处理；
S42：输出缺陷检测网络的检测结果以及检测速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110870944.4A CN113706471A (zh) | 2021-07-30 | 2021-07-30 | 一种基于模型压缩的钢铁产品表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110870944.4A CN113706471A (zh) | 2021-07-30 | 2021-07-30 | 一种基于模型压缩的钢铁产品表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113706471A true CN113706471A (zh) | 2021-11-26 |
Family
ID=78651001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110870944.4A Withdrawn CN113706471A (zh) | 2021-07-30 | 2021-07-30 | 一种基于模型压缩的钢铁产品表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706471A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972261A (zh) * | 2022-05-27 | 2022-08-30 | 东北大学 | 一种板带钢表面质量缺陷的识别方法 |
| CN115496752A (zh) * | 2022-11-16 | 2022-12-20 | 齐鲁工业大学 | 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 |
-
2021
- 2021-07-30 CN CN202110870944.4A patent/CN113706471A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972261A (zh) * | 2022-05-27 | 2022-08-30 | 东北大学 | 一种板带钢表面质量缺陷的识别方法 |
| CN115496752A (zh) * | 2022-11-16 | 2022-12-20 | 齐鲁工业大学 | 一种基于一阶段目标检测算法的钢材表面缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830330B (zh) | 基于自适应特征融合残差网的多光谱图像分类方法 | |
| CN110175613A (zh) | 基于多尺度特征和编解码器模型的街景图像语义分割方法 | |
| CN113706471A (zh) | 一种基于模型压缩的钢铁产品表面缺陷检测方法 | |
| CN107633520A (zh) | 一种基于深度残差网络的超分辨率图像质量评估方法 | |
| CN113628178B (zh) | 一种速度与精度平衡的钢铁产品表面缺陷检测方法 | |
| CN111640125A (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
| CN111753828A (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
| CN112232328A (zh) | 基于卷积神经网络的遥感影像建筑区提取方法、装置 | |
| CN109948527B (zh) | 基于集成深度学习的小样本太赫兹图像异物检测方法 | |
| CN115953408B (zh) | 一种基于YOLOv7的避雷器表面缺陷检测方法 | |
| CN112348830A (zh) | 基于改进3D U-Net的多器官分割方法 | |
| CN111222545A (zh) | 基于线性规划增量学习的图像分类方法 | |
| CN111951289B (zh) | 一种基于BA-Unet的水下声呐图像数据分割方法 | |
| CN114972759A (zh) | 基于分级轮廓代价函数的遥感图像语义分割方法 | |
| CN112800851B (zh) | 基于全卷积神经元网络的水体轮廓自动提取方法及*** | |
| CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及*** | |
| CN113807362A (zh) | 基于层间语义信息融合深度卷积网络的图像分类方法 | |
| CN113160078A (zh) | 雨天交通车辆图像去雨方法、装置、设备及可读存储介质 | |
| CN116012709B (zh) | 一种高分辨率遥感影像建筑物提取方法及*** | |
| CN112561054A (zh) | 一种基于批量特征热图的神经网络滤波器剪枝方法 | |
| CN114863223B (zh) | 结合去噪自编码器与场景增强的高光谱弱监督分类方法 | |
| CN116109826A (zh) | 一种道路裂缝检测方法 | |
| CN115906937A (zh) | 一种可解释的cnn分类模型的模型剪枝方法 | |
| CN114973005A (zh) | 一种基于RePMMS-Net的绿豆叶斑病识别方法 | |
| CN114782754A (zh) | 一种基于轻量化卷积神经网络的混凝土裂缝检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211126 |
|
| WW01 | Invention patent application withdrawn after publication |