CN110992267A - 一种基于DPSR与Lightweight CNN的磨粒识别方法 - Google Patents

一种基于DPSR与Lightweight CNN的磨粒识别方法 Download PDF

Info

Publication number
CN110992267A
CN110992267A CN201911237070.8A CN201911237070A CN110992267A CN 110992267 A CN110992267 A CN 110992267A CN 201911237070 A CN201911237070 A CN 201911237070A CN 110992267 A CN110992267 A CN 110992267A
Authority
CN
China
Prior art keywords
abrasive
resolution
abrasive particle
super
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911237070.8A
Other languages
English (en)
Inventor
张桃红
胡俊楠
杨名扬
周明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201911237070.8A priority Critical patent/CN110992267A/zh
Publication of CN110992267A publication Critical patent/CN110992267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于DPSR与Lightweight CNN的磨粒识别方法，能够提高磨粒分类的效率和准确性。所述方法包括：获取单磨粒图像集，其中，单磨粒图像集中的图像为低分辨率且具有单一磨粒类型的图像；利用深度即插即用超分辨率网络对单磨粒图像集中的图像进行超分辨率重建，得到超分辨率磨粒图像；将得到的所有超分辨率磨粒图像输入到轻量级卷积神经网络模型中进行训练和测试，以便利用训练好的轻量级卷积神经网络模型对待识别的超分辨率磨粒图像进行识别，输出磨粒类型。本发明涉及磨粒智能识别领域。

Description

一种基于DPSR与Lightweight CNN的磨粒识别方法
技术领域
本发明涉及磨粒智能识别领域，特别是指一种基于DPSR与Lightweight CNN的磨粒识别方法。
背景技术
传统磨粒识别主要采用定期采样和离线检测的方法，但这种方法实时性差，不能实现机械磨损故障的预警。针对这种情况，近年来提出磨粒在线监测的方法，可以实时监测油液中磨粒的种类和数量，从而更好地实现机械磨损故障的早期诊断和在线预警。例如，WU等人研究了铁谱技术与计算机视觉技术相结合的可能性，提出了一种快速识别重叠磨粒的算法，虽然该算法可以分离出重叠的磨粒，但它需要大量的专业知识，并且后面没有提到如何对磨损颗粒进行分类，这不是一个全面的诊断***。以船用柴油机监测为例，某研究构建了一个集成了多个独立在线传感器的***，在该研究中，开发了智能软件来自动分析油的特性和诊断机器的健康状态，虽然该研究满足自动化条件，但不能很好地准确检测出磨粒。
综上，虽然目前的在线监测***在磨粒识别的自动化方面取得了一定的成功，但磨粒识别的准确率较低。
发明内容
本发明要解决的技术问题是提供一种基于DPSR与Lightweight CNN的磨粒识别方法，以解决现有技术所存在的磨粒识别准确率低的问题。
为解决上述技术问题，本发明实施例提供一种基于DPSR与Lightweight CNN的磨粒识别方法，包括：
获取单磨粒图像集，其中，单磨粒图像集中的图像为低分辨率且具有单一磨粒类型的图像；
利用深度即插即用超分辨率网络对单磨粒图像集中的图像进行超分辨率重建，得到超分辨率磨粒图像；
将得到的所有超分辨率磨粒图像输入到轻量级卷积神经网络模型中进行训练和测试，以便利用训练好的轻量级卷积神经网络模型对待识别的超分辨率磨粒图像进行识别，输出磨粒类型。
进一步地，所述获取单磨粒图像集包括：
采集油液图像，其中，每幅油液图像包含若干类型的磨粒；
对油液图像中的磨粒进行切割，得到单磨粒图像集，其中，单磨粒图像集中的磨粒类型已标注。
进一步地，在利用深度即插即用超分辨率网络对单磨粒图像集中的图像进行超分辨率重建，得到超分辨率磨粒图像之后，所述方法还包括：
通过数据增强的方法对超分辨率磨粒图像进行变换，所述数据增强的方法包括：尺度变换、标准化、随机裁剪和随机水平翻转中的一种或多种。
进一步地，所述将得到的所有超分辨率磨粒图像输入到轻量级卷积神经网络模型中进行训练和测试包括：
将得到的所有超分辨率磨粒图像划分为训练集图像和测试集图像；
利用所述训练集图像对轻量级卷积神经网络模型进行训练；
利用所述测试集图像对训练好的轻量级卷积神经网络模型进行测试。
进一步地，所述利用所述训练集图像对轻量级卷积神经网络模型进行训练包括：
利用其他相关图像数据集对轻量级卷积神经网络模型进行预训练，获得轻量级卷积神经网络模型的初始权值和偏差；
利用所述训练集图像对预训练后的轻量级卷积神经网络模型进行微调，更新所述轻量级卷积神经网络模型的权重和偏差。
进一步地，所述利用训练好的轻量级卷积神经网络模型对待识别的超分辨率磨粒图像进行识别，输出磨粒类型包括：
获取待识别的单磨粒图像；
利用深度即插即用超分辨率网络对待识别的单磨粒图像进行超分辨率重建，得到待识别的超分辨率磨粒图像；
将待识别的超分辨率磨粒图像输入训练好的轻量级卷积神经网络模型实现磨粒识别、分类，得到待识别的单磨粒图像的磨粒类型。
进一步地，所述磨粒类型包括：非金属、切割、气泡、滑动和疲劳。
本发明的上述技术方案的有益效果如下：
上述方案中，利用深度即插即用超分辨率网络对单磨粒图像集中的低分辨率磨粒图像进行超分辨率重建，得到超分辨率磨粒图像，超分辨率磨粒图像可以放大磨粒的特征，使不同类型磨粒之间的差异更加明显，从而获得比原低分辨率图像更好的细节特征，使重建后的高分辨率图像具有更好的分类能力；然后，将得到的所有超分辨率磨粒图像输入到轻量级卷积神经网络模型中进行训练和测试，以便利用训练好的轻量级卷积神经网络模型(即：磨粒分类模型) 对待识别的超分辨率磨粒图像进行识别，输出磨粒类型。这样，通过训练好的轻量级卷积神经网络模型能够直接根据磨粒图像对磨粒进行分类，提高了在线监测的效率和准确性且不需要过多的专业知识。
附图说明
图1为本发明实施例提供的基于DPSR与Lightweight CNN的磨粒识别方法的流程示意图；
图2为本发明实施例提供的基于DPSR与Lightweight CNN的磨粒识别方法的流程示意图；
图3(a)为本发明实施例提供的磨粒类型示意图；
图3(b)为本发明实施例提供的超分辨率重建前后的磨粒图像对比示意图；
图4为本发明实施例提供的保持模块的结构示意图；
图5为本发明实施例提供的通道重排操作的原理示意图；
图6为本发明实施例提供的降维模块的结构示意图；
图7为本发明实施例提供的磨粒识别分类结果准确率示意图；
图8为本发明实施例提供的不同磨粒识别方法的结果对比示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的磨粒识别准确率低的问题，提供一种基于DPSR与 LightweightCNN的磨粒识别方法。
如图1和图2所示，本发明实施例提供的基于深度即插即用超分辨率(Deep Plug-and-Play Super-Resolution，DPSR)网络与轻量级卷积神经网络 (Lightweight CNN，LCNN)模型的磨粒识别方法，包括：
S101，获取单磨粒图像集，其中，单磨粒图像集中的图像为低分辨率(LR) 且具有单一磨粒类型的图像；
S102，利用深度即插即用超分辨率网络对单磨粒图像集中的图像进行超分辨率(SR)重建，得到超分辨率磨粒图像；
S103，将得到的所有超分辨率磨粒图像输入到轻量级卷积神经网络模型中进行训练和测试，以便利用训练好的轻量级卷积神经网络模型对待识别的超分辨率磨粒图像进行识别，输出磨粒类型。
本发明实施例所述的基于DPSR与Lightweight CNN的磨粒识别方法，利用深度即插即用超分辨率网络对单磨粒图像集中的低分辨率磨粒图像进行超分辨率重建，得到超分辨率磨粒图像，超分辨率磨粒图像可以放大磨粒的特征，使不同类型磨粒之间的差异更加明显，从而获得比原低分辨率图像更好的细节特征，使重建后的高分辨率图像具有更好的分类能力；然后，将得到的所有超分辨率磨粒图像输入到轻量级卷积神经网络模型中进行训练和测试，以便利用训练好的轻量级卷积神经网络模型(即：磨粒分类模型)对待识别的超分辨率磨粒图像进行识别，输出磨粒类型。这样，通过训练好的轻量级卷积神经网络模型能够直接根据磨粒图像对磨粒进行分类，提高了在线监测的效率和准确性且不需要过多的专业知识。
为了更好地理解本实施例，先对低分辨率和超分辨率进行简要说明：
1)低分辨率指图像的尺寸大小过小，均在几十乘几十的分辨率级别上，这样的分辨率对于轻量级卷积神经网络来说不足以提取出有效的特征。也即是说：低分辨率图像为图像细节特征不明显、轻量级卷积神经网络无法提取出对应特征的图像；
2)超分辨率与低分辨率对应，低分辨率图像经过DPSR网络重建后输出的图像都是超分辨率图像，超分辨率图像的尺寸大小适中，能达到百位乘百位的分辨率级别，并且，使用DPSR网络重建后的图像放大，与普通的图像插值的图像放大相比，效果有显著提升。
在前述基于DPSR与Lightweight CNN的磨粒识别方法的具体实施方式中，进一步地，所述获取单磨粒图像集包括：
采集油液图像，其中，每幅油液图像包含若干类型的磨粒；
对油液图像中的磨粒进行切割，得到单磨粒图像集，其中，单磨粒图像集中的磨粒类型已标注。
本实施例中，首先利用相机对油液进行拍照，采集油液图像，每幅油液图像可以包含若干类型的磨粒，对图像中的磨粒进行了切割，切割得到的具有单一磨粒类型的图像组成单磨粒图像集，其中，磨粒类型分为疲劳、滑动、切削、非金属和气泡，如图3(a)所示。
本实施例中，由于在线监测的条件，获得的所有单磨粒图像都是低分辨率 (LR)图像，无法获得良好的特征进行分类。针对单磨粒图像低分辨率的缺点，对每一幅低分辨率单磨粒图像使用DPSR网络实现超分辨率重建，使每一幅单磨粒图像的尺寸增大四倍，提高磨粒图像分辨率，从而得到清晰的超分辨率磨粒图像。
本实施例中，DPSR网络通过扩展基于双三次退化的深度超分辨率图像重建技术(SRIR)，借助即插即用框架来处理任意模糊核的LR图像，DPSR网络不仅可以用任意的模糊核对LR图像进行超分辨，得到清晰的高分辨率图像，而且可以实现单幅图像的超分辨，DPSR网络可以获得比原低分辨率图像更好的细节特征，使重建后的超分辨率图像具有更好的分类能力。超分辨率图像可以放大磨粒的特征，使不同类型磨粒之间的差异更加明显。图3(b)为超分辨率重建前后的磨粒图像对比，从图3(b)可以看出，经过超分辨率重建后的各磨粒图像尺寸都有所增大，其特征比原低分辨率图像更加清晰。
在前述基于DPSR与Lightweight CNN的磨粒识别方法的具体实施方式中，进一步地，在利用深度即插即用超分辨率网络对单磨粒图像集中的图像进行超分辨率重建，得到超分辨率磨粒图像之后，如图2所示，所述方法还包括：
通过数据增强的方法对超分辨率磨粒图像进行变换，所述数据增强的方法包括：尺度变换、标准化、随机裁剪和随机水平翻转中的一种或多种。
本实施例中，由于得到的超分辨率磨粒图像的数据量不足，为了减少后续得到的磨粒分类模型的过拟合现象，通过数据增强的方法对超分辨率磨粒图像进行变换，扩充超分辨率磨粒图像的数据量，以便得到一个泛化能力更强的磨粒分类模型，更好的适应应用场景。
本实施例中，使用的数据增强方法包括：
1)尺度变换(Resize):对图像按照指定的尺度因子,进行放大或缩小。该变换主要是为了适应模型的输入尺寸大小；
2)标准化(Normalize)：对数据按通道进行标准化，即先减均值，再除以标准差；
3)随机裁剪(RandomCrop)：依据给定的尺寸进行随机裁剪；
4)随机水平翻转(RandomHorizontalFlip)：对图片进行水平翻转。
在前述基于DPSR与Lightweight CNN的磨粒识别方法的具体实施方式中，进一步地，所述将得到的所有超分辨率磨粒图像输入到轻量级卷积神经网络模型中进行训练和测试包括：
将得到的所有超分辨率磨粒图像划分为训练集图像和测试集图像；
利用所述训练集图像对轻量级卷积神经网络模型进行训练；
利用所述测试集图像对训练好的轻量级卷积神经网络模型进行测试。
本实施例中，假设得到的超分辨率磨粒图像共有1760个，具体包括：281 个非金属、486个滑动、439个切削、459个疲劳和95个气泡；并将其中80％作为训练集图像、20％作为测试集图像。
在前述基于DPSR与Lightweight CNN的磨粒识别方法的具体实施方式中，进一步地，所述利用所述训练集图像对轻量级卷积神经网络模型进行训练包括：
利用其他相关图像数据集对轻量级卷积神经网络模型进行预训练，获得轻量级卷积神经网络模型的初始权值和偏差；
利用所述训练集图像对预训练后的轻量级卷积神经网络模型进行微调，更新所述轻量级卷积神经网络模型的权重和偏差。
本实施例中，即使通过数据增强增加了超分辨率磨粒图像的数量，但是仍然只是一个相对较小的数据集，因此，先利用其他相关图像数据集(例如， ImageNet图像数据集)对轻量级卷积神经网络模型进行预训练，获得轻量级卷积神经网络模型的初始权值和偏差；然后，利用所述训练集图像对预训练后的轻量级卷积神经网络模型进行微调，更新所述轻量级卷积神经网络模型的权重和偏差，并使轻量级卷积神经网络模型的全连接层的输出尺寸与磨粒类别相匹配，即输出通道数为5个，以获得磨粒五分类模型(简称：磨粒分类模型)。这样，只需要少量的磨粒样本即可实现磨粒分类模型的训练。
本实施例中，轻量级卷积神经网络模型的构建模块主要包括：保持模块和降维模块；如图4所示，对于保持模块，对输入张量
Figure BDA0002305168050000071
其中， W1表示图像的宽度(像素点个数)；H1表示图像的高度(像素点个数)；L1表示图像的通道数(彩色为3通道：R、G、B)；
Figure BDA0002305168050000072
指一个集合，该集合内均为 W1×H1×L1的三维张量(向量)；首先进行通道分离(ChannelSplit)操作，即平均分为输入张量为两个
Figure BDA0002305168050000073
的张量，其中一支经过一个卷积核为1*1的卷积层(Conv)，后接3*3的深度分离(DepthWise)卷积层(DWConv)，再接一个卷积核为1*1的卷积层(Conv)，得到变换后的
Figure BDA0002305168050000074
的张量；变换后的张量
Figure BDA0002305168050000075
与通道分离操作得到的另一支
Figure BDA0002305168050000076
的张量合并(Concat)得到W1×H1×L1的张量，最后通过通道重排(Channel Shuffle) 操作增加信息(即：不同像素点的像素值)交流，原本通道内的各个特征不会与其它通道参与计算，通道重排则是重新将通道进行排序，使得不同通道的特征能够一起计算。
本实施例中，以彩色图像为例，如图5所示，对通道重排操作增加信息交流进行简要说明：由于彩色图像有3个通道(R、G、B)，不同通道对应有不同像素点，通道重排后，不同通道间的像素点会混在一起参加计算。原来只是同一通道内像素点的像素值一起参加运算，现在混在一起参加运算，即增加了不同通道间的信息交流。
如图6所示，对于降维模块，输入张量为
Figure BDA0002305168050000077
也是分成两支，但是通道数没有缩减，其中一支经过一个卷积核为1*1的卷积层(Conv)，后接步长为2，卷积核大小为3*3的深度分离(DepthWise)卷积层(DWConv)，此时特征大小缩减为
Figure BDA0002305168050000078
再接一个卷积核为1*1的卷积层(Conv)，得到变换后的
Figure BDA0002305168050000081
的张量。另外一支经过一个步长为2，卷积核大小为 3*3的深度分离卷积层(DWConv)，此时特征大小缩减为
Figure BDA0002305168050000082
再接一个卷积核为1*1的卷积层(Conv)，得到变换后的
Figure BDA0002305168050000083
的张量。最后两个张量进行合并(Concat)得到
Figure BDA0002305168050000084
的张量，同样采用通道重排 (Channel Shuffle)操作增加信息交流。
本实施例中，如表1所示，以一个224*224的输入图像为例，对轻量级卷积神经网络模型的处理流程进行说明：
H1，先经过第一层步长为2，24通道的卷积层(Conv1)得到112*112的卷积特征，再经过最大池化层(MaxPool)得到56*56的特征；
H2，接着经过一个降维模块得到28*28的特征，然后再经过3个保持模块得到28*28的特征(Stage2)；
H3，然后经过一个降维模块得到14*14的特征，再经过7个保持模块得到14*14的特征(Stage3)；
H4，然后经过一个降维模块得到7*7的特征，再经过3个保持模块得到 7*7的特征(Stage4)；
H5，然后经过步长为1，卷积核大小为1*1，1024通道的卷积层(Conv5) 得到7*7的特征；
H6，然后做全局的池化(GlobalPool)，即7*7＝49个数取平均得到一个数。最终得到1024维的向量特征；
H7，得到特征后经过一个1024*5的全连接层，得到5种分类结果：0非金属磨粒、1切削磨粒、2气泡、3疲劳磨粒、4滑动磨粒。
表1轻量级卷积神经网络模型的结构表
Figure BDA0002305168050000085
本实施例中，轻量级卷积神经网络模型使用块卷积(block convolution)代替传统的卷积层，极大地加快了网络的训练和测试过程，其中，块卷积指的是保持模块和降维模块中的3×3的深度分离卷积层的卷积操作。
本实施例中，可以使用随机梯度下降(Stochastic gradient descent,SGD)法对轻量级卷积神经网络模型模型进行训练，训练的批量大小(batch_size)为128，网络结构规格(width_mult)为1.0，初始学习率为0.001，随着迭代次数的增加而降低，最大迭代次数为2000次。实验表明，当迭代次数为1000时，轻量级卷积神经网络模型的精度达到最大值。
本实施例中，经过训练，轻量级卷积神经网络模型在测试集上的分类结果准确率如图7所示。
在前述基于DPSR与Lightweight CNN的磨粒识别方法的具体实施方式中，进一步地，所述利用训练好的轻量级卷积神经网络模型对待识别的超分辨率磨粒图像进行识别，输出磨粒类型包括：
获取待识别的单磨粒图像；
利用深度即插即用超分辨率网络对待识别的单磨粒图像进行超分辨率重建，得到待识别的超分辨率磨粒图像；
将待识别的超分辨率磨粒图像输入训练好的轻量级卷积神经网络模型实现磨粒识别、分类，得到待识别的单磨粒图像的磨粒类型。
本实施例中，由于轻量级卷积神经网络模型是基于超分辨率磨粒图像进行训练的，因此，在使用该模型时，应先通过DPSR网络实现超分，再输入轻量级卷积神经网络模型实现分类，再对应回原始的单磨粒图像，即可完整实现磨粒图像的分类。
本实施例中，在超分辨率磨粒图像的基础上，训练出轻量级卷积神经网络模型，使其能对待识别的超分辨率磨粒图像进行五分类：非金属磨粒、切削磨粒、气泡、疲劳磨粒、滑动磨粒。
本实施例中，DPSR网络可以获得比原低分辨率图像更好的细节特征，使重建后的超分辨率磨粒图像能够更好地分类，基于超分辨率图像重建技术 (SRIR)的轻量级CNN的分类精度和分类效率也高于AlexNet、ResNet50和不使用SRIR的轻量级CNN，如图8所示。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于DPSR与Lightweight CNN的磨粒识别方法，其特征在于，包括：
获取单磨粒图像集，其中，单磨粒图像集中的图像为低分辨率且具有单一磨粒类型的图像；
利用深度即插即用超分辨率网络对单磨粒图像集中的图像进行超分辨率重建，得到超分辨率磨粒图像；
将得到的所有超分辨率磨粒图像输入到轻量级卷积神经网络模型中进行训练和测试，以便利用训练好的轻量级卷积神经网络模型对待识别的超分辨率磨粒图像进行识别，输出磨粒类型。
2.根据权利要求1所述的基于DPSR与Lightweight CNN的磨粒识别方法，其特征在于，所述获取单磨粒图像集包括：
采集油液图像，其中，每幅油液图像包含若干类型的磨粒；
对油液图像中的磨粒进行切割，得到单磨粒图像集，其中，单磨粒图像集中的磨粒类型已标注。
3.根据权利要求1所述的基于DPSR与Lightweight CNN的磨粒识别方法，其特征在于，在利用深度即插即用超分辨率网络对单磨粒图像集中的图像进行超分辨率重建，得到超分辨率磨粒图像之后，所述方法还包括：
通过数据增强的方法对超分辨率磨粒图像进行变换，所述数据增强的方法包括：尺度变换、标准化、随机裁剪和随机水平翻转中的一种或多种。
4.根据权利要求1所述的基于DPSR与Lightweight CNN的磨粒识别方法，其特征在于，所述将得到的所有超分辨率磨粒图像输入到轻量级卷积神经网络模型中进行训练和测试包括：
将得到的所有超分辨率磨粒图像划分为训练集图像和测试集图像；
利用所述训练集图像对轻量级卷积神经网络模型进行训练；
利用所述测试集图像对训练好的轻量级卷积神经网络模型进行测试。
5.根据权利要求1所述的基于DPSR与Lightweight CNN的磨粒识别方法，其特征在于，所述利用所述训练集图像对轻量级卷积神经网络模型进行训练包括：
利用其他相关图像数据集对轻量级卷积神经网络模型进行预训练，获得轻量级卷积神经网络模型的初始权值和偏差；
利用所述训练集图像对预训练后的轻量级卷积神经网络模型进行微调，更新所述轻量级卷积神经网络模型的权重和偏差。
6.根据权利要求5所述的基于DPSR与Lightweight CNN的磨粒识别方法，其特征在于，所述利用训练好的轻量级卷积神经网络模型对待识别的超分辨率磨粒图像进行识别，输出磨粒类型包括：
获取待识别的单磨粒图像；
利用深度即插即用超分辨率网络对待识别的单磨粒图像进行超分辨率重建，得到待识别的超分辨率磨粒图像；
将待识别的超分辨率磨粒图像输入训练好的轻量级卷积神经网络模型实现磨粒识别、分类，得到待识别的单磨粒图像的磨粒类型。
7.根据权利要求6所述的基于DPSR与Lightweight CNN的磨粒识别方法，其特征在于，所述磨粒类型包括：非金属、切割、气泡、滑动和疲劳。
CN201911237070.8A 2019-12-05 2019-12-05 一种基于DPSR与Lightweight CNN的磨粒识别方法 Pending CN110992267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911237070.8A CN110992267A (zh) 2019-12-05 2019-12-05 一种基于DPSR与Lightweight CNN的磨粒识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911237070.8A CN110992267A (zh) 2019-12-05 2019-12-05 一种基于DPSR与Lightweight CNN的磨粒识别方法

Publications (1)

Publication Number Publication Date
CN110992267A true CN110992267A (zh) 2020-04-10

Family

ID=70090570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911237070.8A Pending CN110992267A (zh) 2019-12-05 2019-12-05 一种基于DPSR与Lightweight CNN的磨粒识别方法

Country Status (1)

Country Link
CN (1) CN110992267A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112082915A (zh) * 2020-08-28 2020-12-15 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN117036916A (zh) * 2023-08-02 2023-11-10 中国航空发动机研究院 基于轻量级卷积神经网络模型的磨粒类型识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984340A (zh) * 2010-10-28 2011-03-09 浙江工业大学 一种基于人工智能的软性磨粒两相湍流流型识别方法
CN106910161A (zh) * 2017-01-24 2017-06-30 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
CN110009565A (zh) * 2019-04-04 2019-07-12 武汉大学 一种基于轻量化网络的超分辨率图像重建方法
CN110046598A (zh) * 2019-04-23 2019-07-23 中南大学 即插即用的多尺度空间和通道注意遥感影像目标检测方法
CN110210350A (zh) * 2019-05-22 2019-09-06 北京理工大学 一种基于深度学习的快速停车位检测方法
US20190347537A1 (en) * 2016-11-15 2019-11-14 Google Llc Efficient Convolutional Neural Networks and Techniques to Reduce Associated Computational Costs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984340A (zh) * 2010-10-28 2011-03-09 浙江工业大学 一种基于人工智能的软性磨粒两相湍流流型识别方法
US20190347537A1 (en) * 2016-11-15 2019-11-14 Google Llc Efficient Convolutional Neural Networks and Techniques to Reduce Associated Computational Costs
CN106910161A (zh) * 2017-01-24 2017-06-30 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
CN110009565A (zh) * 2019-04-04 2019-07-12 武汉大学 一种基于轻量化网络的超分辨率图像重建方法
CN110046598A (zh) * 2019-04-23 2019-07-23 中南大学 即插即用的多尺度空间和通道注意遥感影像目标检测方法
CN110210350A (zh) * 2019-05-22 2019-09-06 北京理工大学 一种基于深度学习的快速停车位检测方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
AAAABBA: "用PaddlePaddle实现图像分类-ShuffleNetV2（动态图版）", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/94144066》 *
KAI ZHANG,ET AL.: "Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
NINGNING MA等: "ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design", 《ECCV 2018》 *
TAOHONG ZHANG,ET AL.: "Text Feature Extraction and Classification Based on Convolutional Neural Network (CNN)", 《INTERNATIONAL CONFERENCE OF PIONEERING COMPUTER SCIENTISTS,ENGINEERS AND EDUCATORS》 *
TOM TIRER，ET AL.: "Super-Resolution via Image-Adapted Denoising CNNs: Incorporating External and Internal Learning", 《 IEEE SIGNAL PROCESSING LETTERS 》 *
刘超等: "图像超分辨率卷积神经网络加速算法", 《国防科技大学学报》 *
叠加态的猫: "高性能模型轻量级网络ShuffleNet_v1及v2", 《HTTPS://WWW.CNBLOGS.COM/HELLCAT/P/10318630.HTML》 *
安超等: "基于卷积神经网络的铁谱磨粒智能识别研究", 《现代制造工程》 *
樊星等: "基于级联端对端深度架构的交通", 《计算机测量与控制》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112082915A (zh) * 2020-08-28 2020-12-15 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN112082915B (zh) * 2020-08-28 2024-05-03 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN117036916A (zh) * 2023-08-02 2023-11-10 中国航空发动机研究院 基于轻量级卷积神经网络模型的磨粒类型识别方法及装置
CN117036916B (zh) * 2023-08-02 2024-04-05 中国航空发动机研究院 基于轻量级卷积神经网络模型的磨粒类型识别方法及装置

Similar Documents

Publication Publication Date Title
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN109035149B (zh) 一种基于深度学习的车牌图像去运动模糊方法
CN109523470B (zh) 一种深度图像超分辨率重建方法及***
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN115294038A (zh) 一种基于联合优化与混合注意力特征融合的缺陷检测方法
CN106339984B (zh) 基于k均值驱动卷积神经网络的分布式图像超分辨方法
CN110751644B (zh) 道路表面裂纹检测方法
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN110879982A (zh) 一种人群计数***及方法
CN114332008B (zh) 一种基于多层次特征重构的无监督缺陷检测与定位方法
CN114898284B (zh) 一种基于特征金字塔局部差异注意力机制的人群计数方法
CN110288613B (zh) 一种超高像素的组织病理图像分割方法
CN114331869B (zh) 一种坝面裂缝语义分割方法
CN110992267A (zh) 一种基于DPSR与Lightweight CNN的磨粒识别方法
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和***
CN111932639B (zh) 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN114863179B (zh) 基于多尺度特征嵌入和交叉注意力的内窥镜图像分类方法
CN116757988A (zh) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN115661459A (zh) 一种使用差异信息的2D mean teacher模型
CN113192076A (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及***
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN114066920B (zh) 一种基于改进Segnet图像分割的收割机视觉导航方法与***
CN113269734B (zh) 一种基于元学习特征融合策略的肿瘤图像检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410