CN113343787B - 一种基于深度学习的适用于图谱对比场景中等级评定方法 - Google Patents

一种基于深度学习的适用于图谱对比场景中等级评定方法 Download PDF

Info

Publication number
CN113343787B
CN113343787B CN202110550431.5A CN202110550431A CN113343787B CN 113343787 B CN113343787 B CN 113343787B CN 202110550431 A CN202110550431 A CN 202110550431A CN 113343787 B CN113343787 B CN 113343787B
Authority
CN
China
Prior art keywords
grade
value
label
projection module
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110550431.5A
Other languages
English (en)
Other versions
CN113343787A (zh
Inventor
李巨文
于涵
李兴捷
尚尔峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Foundry Research Institute Co Ltd Of China National Machinery Research Institute Group
Original Assignee
Shenyang Foundry Research Institute Co Ltd Of China National Machinery Research Institute Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Foundry Research Institute Co Ltd Of China National Machinery Research Institute Group filed Critical Shenyang Foundry Research Institute Co Ltd Of China National Machinery Research Institute Group
Priority to CN202110550431.5A priority Critical patent/CN113343787B/zh
Publication of CN113343787A publication Critical patent/CN113343787A/zh
Application granted granted Critical
Publication of CN113343787B publication Critical patent/CN113343787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的适用于图谱对比场景中等级评定方法，该等级评定方法采用One‑hot标签软化机制，将原始的等级标签转化为离散概率分布，以建模等级标签的不确定性、歧义性、及其跨等级相关性。结合多任务学习的卷积神经网络框架，最终实现高精度的等级评估。本发明与传统one‑hot标签相比，该机制模拟了人工标注等级时的不确定性，避免失去内在的等级之间的相关性，实现了更好的等级评定准确率。本方法提出了一种基于多任务学习的卷积神经网络框架，通过联合最小化多个损失函数，相比于使用单个任务，收敛更快且取得更优的效果。

Description

一种基于深度学习的适用于图谱对比场景中等级评定方法
技术领域
本发明具体涉及一种基于深度学习的适用于图谱对比场景中等级评定方法。
背景技术
目前，在一些工业检测场景中，如铸件缺陷、晶粒度等，需要根据国家标准或自行定义的标准中的各等级参考图谱对采集到的图像明确其相应的等级。准确地等级评定对保证产品质量，提高利润率具有重要意义。
现有技术中一些基于计算机视觉及深度学习技术的适用于图谱对比场景的等级评估方法：参见公布号：CN111161224A的一篇专利申请，在此方法中，首先基于国家标准铸件缺陷等级参考图谱对采集的铸造缺陷的图片进行人工的等级评定，缺陷图像作为网络输入，等级评定结果作为网络的标签。其次构造带有残差模块及双流通道注意力模块的卷积神经网络模型并进行网络的训练，实现缺陷的等级评价。
相似地，参见公布号：CN109034217A的一篇专利申请，其收集了不同材料及不同金相状态的晶粒度数据库，并根据参考图谱由人工对每张晶粒度金相图片进行等级评定，最后基于深度学习进行训练，从而实现晶粒度等级评定。
上述方法的本质与共同点是将等级评估问题视为图像分类问题，因而存在三个明显的缺点。其一，由于人在图谱对比过程中的主观性，不同的检测专家对同一图像的等级判断往往具有差异，即等级标注具有一定的不确定性；其二，不同等级图像之间的相似程度不同，相邻等级间的图像相似程度更高，图像分类方法会丧失等级间的相关性。其三，在类别数较大时，基于图像分类的算法会间接降低每一类的训练数据量，增大了过拟合的风险。
鉴于上述方法存在的一些弊端，本发明提出了一种适用于图谱对比场景中等级评定的深度学习方法，以实现更高准确率的等级评价。
发明内容
针对现有技术中存在的缺陷，本发明提供了一种基于深度学习的适用于图谱对比场景中等级评定方法，该等级评定方法采用One-hot标签软化机制，将原始的等级标签转化为离散概率分布，以建模等级标签的不确定性、歧义性、及其跨等级相关性。结合多任务学习的卷积神经网络框架，最终实现高精度的等级评估。
基于深度学习的适用于图谱对比场景中等级评定方法具体步骤如下：
(1)构建等级评估数据集：采集需要进行等级评估的待测图像，对每张待测图像Ik进行等级的评定，标注等级值gk；将所有的图像数据及其对应的标注等级值随机划分为训练集、验证集和测试集，其比例分别为70％，10％和20％；
(2)one-hot标签软化
(3)构造基于多任务学习的卷积神经网络，由特征提取网络，分布投影模块，等级投影模块及多任务损失函数四部分组成；
(4)训练网络：搭建好模型后，使用步骤(1)中的训练集进行训练，每次输入固定数量的图像后，经前向传播获得损失函数值，利用反向传播算法优化模型各个卷积层中参数；重复上述步骤，直至损失函数值不再下降，模型收敛，卷积层中参数值固定；
(5)等级推断：训练完成后，将任意的待测图像输入网络模型中，得到分布投影模块的输出值pk与等级投影模块的输出值mk，计算最终的等级值，计算公式如下：
进一步，所述步骤(2)中one-hot标签软化具体为：将标注的等级值gk转化为离散概率分布Dk，Dk中的第i个元素由下式计算获得：
其中，i＝[0,1,2,…,λ]，λ是标准规定的最大等级值，σ控制标签的软化程度，τ是归一化系数。
进一步，所述特征提取网络为ImageNet预训练的VGG16、AlexNet、ResNet、DenseNet或Xception，不使用特征提取网络中全局池化层之后的部分。
进一步，所述分布投影模块由全连接层1与soft-max层顺接组成，具体如下：
特征向量fk经过全连接层1变为sk，sk经过soft-max层变为pk，其中，W1 T,b1是全连接层1的参数；
sk＝W1 Tfk+b1
进一步，等级值投影模块直接获得图像的归一化等级值mk，由全连接层2和sigmoid激活函数来实现，具体如下：
其中b2指的是全连接层2的参数。
进一步，多任务损失函数具体为：使用KL散度损失函数度量Dk与pk的分布距离Ld，使用L1损失函数分别度量Dk的期望与gk的距离Le，等级投影模块中mk与gk的距离Lr，具体公式如下：
L＝Ld+Le+Lr。
相对于现有技术，本发明的优点如下：
1.该方法提出了one-hot标签软化机制。与传统one-hot标签相比，该机制模拟了人工标注等级时的不确定性，避免失去内在的等级之间的相关性，实现了更好的等级评定准确率。
2.该方法提出了一种基于多任务学习的卷积神经网络框架，通过联合最小化多个损失函数，相比于使用单个任务，收敛更快且取得更优的效果。
附图说明
图1是one-hot软化标签的概率分布示意图。
图2是多任务学习网络模型框架示意图。
具体实施方式
现结合附图和实施例对本发明作出进一步详细的说明。
实施例1
本实施例提供了一种基于深度学习的适用于图谱对比场景中等级评定方法，所述的基于深度学习的适用于图谱对比场景中等级评定方法包括以下步骤：
(1)构建等级评估数据集：采集需要进行等级评估的待测图像若干张，根据其相应的国家标准或自行定义的标准中的等级评定参考图谱，由专业的检测人员对每张待测图像Ik进行等级的评定，如1级、5级、8级。对于某些图像的等级gk可能介于两个等级之间，标注的等级值可以不为整数，如4.5级，5.2级。将所有的图像数据及其对应的标注值随机划分为训练集、验证集和测试集，其比例分别为70％，10％和20％。
(2)one-hot标签软化：基于本发明提出的one-hot标签软化机制，将标注的等级值gk转化为离散概率分布Dk，Dk中的第i个元素由下式计算获得：
在公式(1)中，i＝[0,1,2,…,λ]，λ是标准规定的最大等级值，σ控制标签的软化程度，σ越大，概率分布越离散，等级间相关性越大，对标注正确性的信心就越小。反之，概率分布越集中，等级间相关性越小，对标注正确性的信心就越大。σ可根据具体任务自行确定。τ是归一化系数，确保中各元素之和为1。图1是当最大等级为8，标注等级为6时的软化标签的概率分布示意图。
(3)构造基于多任务学习的卷积神经网络：网络模型结构如图2所示，由特征提取网络，分布投影模块，等级投影模块及多任务损失函数四部分组成。其中，使用在ImageNet预训练的VGG16作为特征提取网络，除VGG16以外，还可以选择AlexNet，ResNet，DenseNet，Xception等网络。本发明不使用特征提取网络中全局池化层之后的部分。分布投影模块由全连接层1与soft-max层顺接组成，其目的是是将特征提取网络提取的特征向量转化为概率分布向量。特征向量fk经过全连接层1变为sk，sk经过soft-max层变为pk。公式(2)中的W1 T,b1是全连接层1的参数。
sk＝W1 Tfk+b1 (2)
等级值投影模块旨在直接获得图像的归一化等级值mk，其功能是由全连接层2和sigmoid激活函数来实现的。
其中b2指的是全连接层2的参数。本发明中使用多个损失函数来联合学习等级评估过程，具体而言，使用KL散度损失函数度量Dk与pk的分布距离Ld，使用L1损失函数分别度量Dk的期望与gk的距离Le，等级投影模块中mk与gk的距离Lr。
L＝Ld+Le+Lr (8)
(4)训练网络：搭建好模型后，使用步骤(1)中的训练数据集进行训练，每次输入固定数量的图像后，经前向传播获得损失函数值，利用反向传播算法优化模型各个卷积层中参数。重复上述步骤，直至损失函数值不再下降，模型收敛，卷积层中参数值固定。
(5)等级推断：训练完成后，将任意的待测图像输入网络模型中，得到分布投影模块的输出值pk与等级投影模块的输出值mk。通过公式(9)即可计算最终的等级值。

Claims (2)

1.一种基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，该等级评定方法采用One-hot标签软化机制，结合多任务学习的卷积神经网络框架，最终实现高精度的等级评估；
具体步骤如下：
(1)构建等级评估数据集：采集需要进行等级评估的待测图像，对每张待测图像Ik进行等级的评定，标注等级值gk；将所有的图像数据及其对应的标注等级值随机划分为训练集、验证集和测试集，其比例分别为70％，10％和20％；
(2)one-hot标签软化，所述One-hot标签软化机制为：将原始的等级标签转化为离散概率分布，建模等级标签的不确定性、歧义性及其跨等级相关性；所述one-hot标签软化具体为：将标注的等级值gk转化为离散概率分布Dk，Dk中的第i个元素由下式计算获得：
其中，i＝[0,1,2,…,λ]，λ是标准规定的最大等级值，σ控制标签的软化程度，τ是归一化系数；
(3)构造基于多任务学习的卷积神经网络，由特征提取网络，分布投影模块，等级值投影模块及多任务损失函数四部分组成；
分布投影模块由全连接层1与soft-max层顺接组成，具体如下：
特征向量fk经过全连接层1变为sk，sk经过soft-max层变为pk，其中，W1 T,b1是全连接层1的参数；
sk＝W1 Tfk+b1
等级值投影模块直接获得图像的归一化等级值mk，由全连接层2和sigmoid激活函数来实现，具体如下：
其中W2 T,b2指的是全连接层2的参数；
多任务损失函数具体为：使用KL散度损失函数度量Dk与pk的分布距离Ld，使用L1损失函数分别度量Dk的期望与gk的距离Le，等级投影模块中mk与gk的距离Lr，具体公式如下：
L＝Ld+Le+Lr
(4)训练网络：搭建好模型后，使用步骤(1)中的训练集进行训练，每次输入固定数量的图像后，经前向传播获得损失函数值，利用反向传播算法优化模型各个卷积层中参数；重复上述步骤，直至损失函数值不再下降，模型收敛，卷积层中参数值固定；
(5)等级推断：训练完成后，将任意的待测图像输入网络模型中，得到分布投影模块的输出值pk与等级投影模块的输出值mk，计算最终的等级值；
计算最终的等级值公式如下：
2.根据权利要求1所述的基于深度学习的适用于图谱对比场景中等级评定方法，其特征在于，所述特征提取网络为ImageNet预训练的VGG16、AlexNet、ResNet、DenseNet或Xception，不使用特征提取网络中全局池化层之后的部分。
CN202110550431.5A 2021-05-20 2021-05-20 一种基于深度学习的适用于图谱对比场景中等级评定方法 Active CN113343787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110550431.5A CN113343787B (zh) 2021-05-20 2021-05-20 一种基于深度学习的适用于图谱对比场景中等级评定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110550431.5A CN113343787B (zh) 2021-05-20 2021-05-20 一种基于深度学习的适用于图谱对比场景中等级评定方法

Publications (2)

Publication Number Publication Date
CN113343787A CN113343787A (zh) 2021-09-03
CN113343787B true CN113343787B (zh) 2023-09-01

Family

ID=77470155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110550431.5A Active CN113343787B (zh) 2021-05-20 2021-05-20 一种基于深度学习的适用于图谱对比场景中等级评定方法

Country Status (1)

Country Link
CN (1) CN113343787B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171707A (zh) * 2018-01-23 2018-06-15 武汉精测电子集团股份有限公司 一种基于深度学习的Mura缺陷等级评判方法及装置
CN110751170A (zh) * 2019-09-06 2020-02-04 武汉精立电子技术有限公司 面板质量检测方法、***、终端设备及计算机可读介质
CN110781944A (zh) * 2019-10-21 2020-02-11 中冶南方（武汉）自动化有限公司 一种基于深度学习的铁水自动扒渣控制方法
KR20200021733A (ko) * 2018-08-21 2020-03-02 주식회사 더마프로 딥러닝 기반 주름 평가 장치
CN111161224A (zh) * 2019-12-17 2020-05-15 沈阳铸造研究所有限公司 基于深度学习的铸件内部缺陷分级评估***及方法
CN111461345A (zh) * 2020-03-31 2020-07-28 北京百度网讯科技有限公司 深度学习模型训练方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171707A (zh) * 2018-01-23 2018-06-15 武汉精测电子集团股份有限公司 一种基于深度学习的Mura缺陷等级评判方法及装置
KR20200021733A (ko) * 2018-08-21 2020-03-02 주식회사 더마프로 딥러닝 기반 주름 평가 장치
CN110751170A (zh) * 2019-09-06 2020-02-04 武汉精立电子技术有限公司 面板质量检测方法、***、终端设备及计算机可读介质
CN110781944A (zh) * 2019-10-21 2020-02-11 中冶南方（武汉）自动化有限公司 一种基于深度学习的铁水自动扒渣控制方法
CN111161224A (zh) * 2019-12-17 2020-05-15 沈阳铸造研究所有限公司 基于深度学习的铸件内部缺陷分级评估***及方法
CN111461345A (zh) * 2020-03-31 2020-07-28 北京百度网讯科技有限公司 深度学习模型训练方法及装置

Also Published As

Publication number Publication date
CN113343787A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113780292B (zh) 一种基于证据推理的语义分割网络模型不确定性量化方法
CN111079836B (zh) 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN110837846A (zh) 一种图像识别模型的构建方法、图像识别方法及装置
CN111696092B (zh) 一种基于特征对比的缺陷检测方法及***、存储介质
CN114048468A (zh) 入侵检测的方法、入侵检测模型训练的方法、装置及介质
CN113628059A (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
CN112364974B (zh) 一种基于激活函数改进的YOLOv3算法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN107392217B (zh) 计算机实现的信息处理方法及装置
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN114283320A (zh) 基于全卷积的无分支结构目标检测方法
CN111915595A (zh) 图像质量评价方法、图像质量评价模型的训练方法和装置
CN111523586A (zh) 一种基于噪声可知的全网络监督目标检测方法
CN113642602B (zh) 一种基于全局与局部标签关系的多标签图像分类方法
CN117131348B (zh) 基于差分卷积特征的数据质量分析方法及***
CN112183645B (zh) 基于上下文感知的注意力机制的图像美学质量评价方法
CN117853151A (zh) 基于大数据的电商数据分析***及其方法
CN113592008A (zh) 一种基于自编码器的图神经网络机制解决小样本图像分类的***、方法、设备及存储介质
CN113343787B (zh) 一种基于深度学习的适用于图谱对比场景中等级评定方法
CN116662307A (zh) 一种基于多源数据融合的智能预警方法、***及设备
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN115952438A (zh) 社交平台用户属性预测方法、***、移动设备及存储介质
CN112613533B (zh) 基于排序约束的图像分割质量评价网络***、方法
CN112559640B (zh) 图谱表征***的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 110000 No.17, Yunfeng South Street, Tiexi District, Shenyang City, Liaoning Province

Applicant after: Shenyang Foundry Research Institute Co., Ltd. of China National Machinery Research Institute Group

Address before: 110000 No.17, Yunfeng South Street, Tiexi District, Shenyang City, Liaoning Province

Applicant before: SHENYANG RESEARCH INSTITUTE OF FOUNDRY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant