CN111126441B - 一种分类检测网络模型的构建方法 - Google Patents

一种分类检测网络模型的构建方法 Download PDF

Info

Publication number
CN111126441B
CN111126441B CN201911167163.8A CN201911167163A CN111126441B CN 111126441 B CN111126441 B CN 111126441B CN 201911167163 A CN201911167163 A CN 201911167163A CN 111126441 B CN111126441 B CN 111126441B
Authority
CN
China
Prior art keywords
training
convolution
network model
convolution network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911167163.8A
Other languages
English (en)
Other versions
CN111126441A (zh
Inventor
管声启
雷鸣
常江
倪弈棋
卢浩
郭飞飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN201911167163.8A priority Critical patent/CN111126441B/zh
Publication of CN111126441A publication Critical patent/CN111126441A/zh
Application granted granted Critical
Publication of CN111126441B publication Critical patent/CN111126441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种分类检测网络模型的构建方法，包括：获取待分类对象图像的训练样本，建立训练模型数据集，将训练模型数据集输入第一卷积网络模型中进行训练，得到权重文件；将权重文件输入第二卷积网络模型中，得到每层卷积网络对应的特征图和原图像；将每层卷积网络对应的特征图和原图像输入图像质量评价算法得到评价结果；根据评价结果选择第一卷积网络模型中每层网络对应的合适卷积操作步长、增加卷积核的数量，形成新的卷积网络参数；利用新的卷积网络参数更新第一卷积网络模型，得到分类网络模型。满足柔性检测，智能检测的需求，降低检测成本和检测的复杂性。

Description

一种分类检测网络模型的构建方法
技术领域
本发明属于分类检测模型技术领域，涉及一种分类检测网络模型的构建方法。
背景技术
随着大数据和计算机硬件的发展，神经网络再度崛起，深度学习，人工智能，大数据，物联网等技术开始飞跃发展，在计算机技术的发展推动下，制造业开始从传统的机械化生产，任务繁重的刚性制造方式，逐渐转化为由机器替代人工劳动路的自动化，智能化和柔性化的智能制造方式。人工智能不仅仅在局限于计算机领域，而已经成为一个具有众多实际应用和活跃研究课题的领域。深度学习是研究计算机怎样模拟实现人类的学习行为，来获取新的知识或者技能，并重新组织已有的知识结构并不断改善自身性能的学科。
深度学习的概念来源于人工神经网络的研究，含有多层隐藏层的多层感知机就是一种深度学习结构。深度学习通过组合底层信息来形成更加抽象的高层信息，来表示属性类别或者特征，来发现数据的分布式特征表示。其动机在于建立，模拟人脑进行分析学习仿人神经网络，模拟人脑的机制来解释数据，例如图像、文本和声音等等。
在传统的机械领域，有关图像自动检测方面的问题，一直采用计算机视觉或者图像处理技术来解决刚性的检测问题，但是随着制造业的转型，检测作为制造的重要环节，也需要往柔性化，智能化的方向发展。然而传统的检测技术，仅仅是针对某一类环境或者某一类检测对象而开发的刚性检测环节。因此为了发展柔性检测技术，将具有自我学习能力的深度学习网络用于检测技术上，有助于检测环节向柔性化，智能化发展。目前深度学习在机械行业飞速发展，为工业机器人提供视觉支持，虽然在图像识别，定位，分类，测量等方面都有了较大的进展。但深度学习和工业技术的融合还没能真正意上的实现柔性检测，也没有针对不同的检测对象能自动调整的分类网络模型。
发明内容
本发明的目的是提供一种分类检测网络模型的构建方法，能得到根据不同检测对象自动调整的分类网络模型。
本发明所采用的技术方案是，一种分类检测网络模型的构建方法，包括以下步骤：
步骤1、获取待分类对象图像的训练样本，建立训练模型数据集，将训练模型数据集输入第一卷积网络模型中进行训练，得到权重文件；
步骤2、将权重文件输入第二卷积网络模型中，得到每层卷积网络对应的特征图和原图像；
步骤3、将每层卷积网络对应的特征图和原图像输入图像质量评价算法得到评价结果；
步骤4、根据评价结果选择第一卷积网络模型中每层网络对应的合适卷积操作步长、增加卷积核的数量，形成新的卷积网络参数；
步骤5、利用新的卷积网络参数更新第一卷积网络模型，得到分类网络模型。
本发明的特点还在于：
步骤1具体包括：
步骤1.1、获取待分类对象图像的训练样本，建立训练模型数据集，训练模型数据集包括训练集、验证集、预测集，并生成训练集标记文件、验证集标记文件、预测集标记文件；
步骤1.2、将训练集的标记文件作为训练数据、验证集的标记文件作为验证数据输入第一卷积网络模型中进行训练，得到权重文件。
第二卷积网络为反卷积网络。
步骤2具体包括：第二卷积网络模型将权重模型文件中每层卷积网络对应的卷积核滤波器中存储的特征值提取出来，并投影到对应的像素空间，得到每层卷积网络的特征图，并提取每层卷积网络对应的输出图像，与特征图对应输出原图像。
步骤3具体包括：将特征图作为失真图像与原图像进行对比，得到特征图的质量评价结果。
本发明的有益效果是：
本发明的分类检测网络模型的构建方法，通过第一卷积网络模型对训练模型数据集进行训练，第二卷积网络反卷积得到特征图和原图像，并根据特征图和原图像质量评价结果进行分类网络模型参数优化，得到新的分类检测网络模型，适用于构建不同分类对象的分类检测网络模型；满足柔性检测，智能检测的需求，降低检测成本和检测的复杂性。
附图说明
图1是本发明一种分类检测网络模型的构建方法的流程图；
图2是本发明一种分类检测网络模型的构建方法中VGG19网络模型和反卷积网络模型的原理图；
图3是本发明一种分类检测网络模型的构建方法中特征图和原图像的评价结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种分类检测网络模型的构建方法，如图1所示，具体包括以下步骤：
步骤1、获取待分类对象图像的训练样本，建立训练模型数据集，将所述训练模型数据集输入第一卷积网络模型中进行训练，得到权重文件；
步骤1.1、获取待分类对象图像的训练样本，建立训练模型数据集，所述训练模型数据集包括训练集、验证集、预测集，并生成训练集标记文件、验证集标记文件、预测集标记文件；
具体的，本实施例以九种表面缺陷的热轧钢为训练样本，分别为cr，gg，in，pa，ps，rp，rs，sc，sp，每种含有200张图片，每张图片大小为200*200pixel，共计1800张。分别将数据集按照6:1:1的比例分为：
训练集-train：九种缺陷每种150张，共计1350张；
验证集-val：九种缺陷每种25张，共计225张；
预测集-predict：九种缺陷每种25张，共计225张。
九种类型的缺陷训练集，验证集和预测集都含有9个文件，九种缺陷分别按照类别标记为0，1，2，3，4，5，6，7，8，并生成对应的train.label文件和val.label文件；然后将train.label文件和train训练集输入creat.record.py函数得到train_tf.record，同理val.label和val验证集利用creat.record.py函数生成对应的val_tf.record文件。
步骤1.2、将训练集的标记文件作为训练数据、验证集的标记文件作为验证数据输入第一卷积网络模型中进行训练，得到权重文件。
第一卷积网络模型为VGG19网络模型，VGG19网络模型原理图如图2所示，VGG19模型由十六层卷积层(conv1_1,conv1_2,conv2_1,conv2_2,conv3_1,conv3_2,conv3_3,conv3_4,conv4_1,conv4_2,conv4_3,conv4_4,conv5_1,conv5_2,conv5_3,conv5_4)，四层最大池化层(Maxpooling)，一个平均池化(Average pool)，一个全连接层(Full connect)和一个softmax层组成。
具体的，将两个tf.record文件作为VGG19分类模型的train训练数据输入和val验证数据输入进行迭代训练，训练后得到用于带钢缺陷分类的VGG19网络的权重文件—checkpoint文件(checkpoint文件是基于tensorflow框架下模型训练后得到的模型参数文件保存格式，在tensorflow中checkpoints文件是一个二进制文件，用于存储所有的weights,biases,gradients和其他variables的值)，然后将权重文件从checkpoint格式转换为npy文件。
步骤2、将所述权重文件输入第二卷积网络模型中，得到每层卷积网络对应的特征图和原图像；
第二卷积网络模型为反卷积网络，网络结构和VGG19基本一致，反卷积网络模型的原理图如图2所示，卷积和池化操作采用完全相反的操作，即反卷积(deconv)和反池化(unpooling)的操作，将步骤1训练后得到的权重模型文件中16层卷积网络每层卷积网络对应的卷积核滤波器中存储的特征值提取出来，并投影到对应的像素空间，得到16层卷积网络对应的特征图，反卷积网络还能将每层卷积网络对应的输出图像image提取出来，并和16张特征图一一对应输出16张原图像(image)。
步骤3、将每层所述卷积网络对应的特征图和原图像输入图像质量评价算法得到评价结果；
具体的，将16层卷积网络对应的16张特征图(feature map)作为失真图像和16张原图像输入图像质量评价算法(SSIM)中得到16种评价结果。这16种对应的结果也是16层卷积网络特征图和输出图的质量评价结果。通过结构相似性图像质量评估算法评估可视化网络每层卷积网络所提取的特征图的质量，来判断每层卷积网络在带钢表面缺陷工业背景下提取特征的性能。对应的评价结果越差，表明对应的卷积网络的滤波器选择的卷积核较大，卷积步长较大，导致特征信息损失较多。在卷积操作中，卷积核的大小决定了图像采集视野的大小，卷积核越小，图像采集视野越小，采集的数据越多，计算量也越大。卷积步长则决定了图像采集视野的平移长度，平移长度越大，图像采集视野的跨度越大，信息采集的越少。
结构相似性，是一种衡量两幅图像相似度的指标，结构相似性的范围为0～1。当两张图像一模一样时，SSIM的值等于1。
SSIM结构相似度指数是从图像组成的角度将图像结构的信息定义为独立于亮度(luminance)，对比度(contrast)，反映场景中物体结构(structure)的属性，并将失真建模为亮度对比(luminance comparison)，对比度对比(contrast comparison)和结构对比(structure comparison)三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似度程度的度量。
图3中采用两种图像质量评价算法峰值信噪比算法PSNR和结构相似性图像质量评估算法SSIM对利用带钢缺陷数据集训练得到的16层卷积网络提取的特征图(feature map)和输出图(image)进行对评价图像进行对比结果如图所示，最终决定采用SSIM图像评价质量算法，用于本发明的图像质量评价模块。
步骤4、根据所述评价结果选择第一卷积网络模型中每层网络对应的合适卷积操作步长、增加卷积核的数量，形成新的卷积网络参数；
具体的，将图像评价模块输出的16种评价结果，一一进行二分类决策，选择每层卷积网络对应合适的卷积操作步长，增加卷积核的数量，指导性的形成新的卷积网络参数。图像质量评价结果较差的原因是特征信息损失较大，也是因为对应卷积网络参数设置不合理，例如采用较大的卷积核和卷积步长，或者对应的卷积核数量较少，都会引起图像像素点的损失，进而导致图像质量的降低。因此根据图像质量评价的结果，来作为分类网络模型参数优化的指标，来生成新的适用于当前分类数据集的新的网络模型。
步骤5、利用所述新的卷积网络参数更新第一卷积网络模型，得到分类网络模型。可直接利用得到分类网络模型对带钢缺陷进行分类，只需改变训练样本得到训练数据集，即可得到不同的分类检测对象的分类网络模型。
通过以上方式，本发明的分类检测网络模型的构建方法，通过第一卷积网络模型对训练模型数据集进行训练，第二卷积网络反卷积得到特征图和原图像，并根据特征图和原图像质量评价结果进行分类网络模型参数优化，得到新的分类检测网络模型，适用于构建不同分类对象的分类检测网络模型；满足柔性检测，智能检测的需求，降低检测成本和检测的复杂性。

Claims (5)

1.一种分类检测网络模型的构建方法，其特征在于，包括以下步骤：
步骤1、获取待分类对象图像的训练样本，建立训练模型数据集，将所述训练模型数据集输入第一卷积网络模型中进行训练，得到权重文件；
步骤2、将所述权重文件输入第二卷积网络模型中，得到每层卷积网络对应的特征图和原图像；
步骤3、将每层所述卷积网络对应的特征图和原图像输入图像质量评价算法得到评价结果；
步骤4、根据所述评价结果选择第一卷积网络模型中每层网络对应的合适卷积操作步长、增加卷积核的数量，形成新的卷积网络参数；
步骤5、利用所述新的卷积网络参数更新第一卷积网络模型，得到分类网络模型。
2.根据权利要求1所述的一种分类检测网络模型的构建方法，其特征在于，步骤1具体包括：
步骤1.1、获取待分类对象图像的训练样本，建立训练模型数据集，所述训练模型数据集包括训练集、验证集、预测集，并生成训练集标记文件、验证集标记文件、预测集标记文件；
步骤1.2、将训练集的标记文件作为训练数据、验证集的标记文件作为验证数据输入第一卷积网络模型中进行训练，得到权重文件。
3.根据权利要求1所述的一种分类检测网络模型的构建方法，其特征在于，所述第二卷积网络为反卷积网络。
4.根据权利要求1所述的一种分类检测网络模型的构建方法，其特征在于，所述步骤2具体包括：第二卷积网络模型将权重模型文件中每层卷积网络对应的卷积核滤波器中存储的特征值提取出来，并投影到对应的像素空间，得到每层卷积网络的特征图，并提取每层卷积网络对应的输出图像，与特征图对应输出原图像。
5.根据权利要求1所述的一种分类检测网络模型的构建方法，其特征在于，所述步骤3具体包括：将所述特征图作为失真图像与原图像进行对比，得到特征图的质量评价结果。
CN201911167163.8A 2019-11-25 2019-11-25 一种分类检测网络模型的构建方法 Active CN111126441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911167163.8A CN111126441B (zh) 2019-11-25 2019-11-25 一种分类检测网络模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911167163.8A CN111126441B (zh) 2019-11-25 2019-11-25 一种分类检测网络模型的构建方法

Publications (2)

Publication Number Publication Date
CN111126441A CN111126441A (zh) 2020-05-08
CN111126441B true CN111126441B (zh) 2023-04-07

Family

ID=70496579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911167163.8A Active CN111126441B (zh) 2019-11-25 2019-11-25 一种分类检测网络模型的构建方法

Country Status (1)

Country Link
CN (1) CN111126441B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860582B (zh) * 2020-06-11 2021-05-11 北京市威富安防科技有限公司 图像分类模型构建方法、装置、计算机设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579897B2 (en) * 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection
CN108491880B (zh) * 2018-03-23 2021-09-03 西安电子科技大学 基于神经网络的物体分类和位姿估计方法
CN108830242A (zh) * 2018-06-22 2018-11-16 北京航空航天大学 基于卷积神经网络的sar图像海洋目标分类检测方法

Also Published As

Publication number Publication date
CN111126441A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CA3043621C (en) Method and system for color representation generation
CN109685072B (zh) 一种基于生成对抗网络的复合降质图像高质量重建方法
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN110738697A (zh) 基于深度学习的单目深度估计方法
CN110647875B (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN110675370A (zh) 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法
CN107423747A (zh) 一种基于深度卷积网络的显著性目标检测方法
CN108985342A (zh) 一种基于深度增强学***衡分类方法
CN110136130A (zh) 一种检测产品缺陷的方法及装置
CN112819063B (zh) 一种基于改进的Focal损失函数的图像识别方法
CN108791302A (zh) 驾驶员行为建模***
CN114581356B (zh) 基于风格迁移数据增广的图像增强模型泛化方法
CN107480723A (zh) 基于局部二进制阈值学习网络的纹理识别方法
CN112819096A (zh) 一种基于复合卷积神经网络的化石图像分类模型的构建方法
CN109543749A (zh) 基于深度学习的绘画情感分析方法
CN111126441B (zh) 一种分类检测网络模型的构建方法
CN115222754A (zh) 一种基于知识蒸馏和对抗学习的镜面图像分割方法
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
CN113361496B (zh) 一种基于U-Net的城市建成区统计方法
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
CN111242131B (zh) 一种智能阅卷中图像识别的方法、存储介质及装置
CN111369124A (zh) 一种基于自生成全局特征和注意力的图像美学预测方法
CN113688789B (zh) 一种基于深度学习的在线学习投入度识别方法及***
CN116309242A (zh) 一种风格迁移图像质量评价方法
CN116029581A (zh) 一种基于多源数据融合的在线教育用专注度评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant