CN111860681A - 一种双注意力机制下的深度网络困难样本生成方法及应用 - Google Patents
一种双注意力机制下的深度网络困难样本生成方法及应用 Download PDFInfo
- Publication number
- CN111860681A CN111860681A CN202010749955.2A CN202010749955A CN111860681A CN 111860681 A CN111860681 A CN 111860681A CN 202010749955 A CN202010749955 A CN 202010749955A CN 111860681 A CN111860681 A CN 111860681A
- Authority
- CN
- China
- Prior art keywords
- attention
- channel
- deep network
- application
- difficult sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004445 quantitative analysis Methods 0.000 claims description 6
- 201000010099 disease Diseases 0.000 claims description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 3
- 239000003814 drug Substances 0.000 claims description 3
- 229940079593 drug Drugs 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000002787 reinforcement Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000008485 antagonism Effects 0.000 abstract description 2
- 230000002457 bidirectional effect Effects 0.000 abstract description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种新的用于深度学习的困难样本的生成方法及应用,设计一种双向注意力机制自动生成困难样本,有助于深度模型跳出局部最优解,使模型的鲁棒性更强。该方法的注意力机制不仅能够强调突出前景目标,同时能够在一定程度上避免背景杂波的影响,使得遮挡的区域更加集中且生成的困难样本更具有对抗性,进而可提高了深度网络目标识别精度。
Description
技术领域
本发明涉及一种双注意力机制下的深度网络困难样本生成方法,属于人工智能技术领域。
背景技术
深度学习的方法需要增加训练样本的多样性来提高模型的泛化能力,缓解过拟合现象。
然而,对于大多数识别任务来说,收集一个大的数据集是比较困难的问题。数据增强是一个值得考虑的替代方法,不需要人工标注大量的图片。通常的数据扩充方法包括随机裁剪、镜像图像以及图像抖动等,参考文献[1-2]。近来,对抗生成网络的发展为模型引入额外的扩充数据带来了可靠的选择,参考文献[3-4]。
但是通常来说,使用对抗生成网络进行数据扩充需要额外的数据集,因为需要利用额外数据集的风格或姿态等信息生成训练集可利用的数据集。为了在增加样本数量的同时,增强样本对网络的约束力,人们开始研究困难样本的生成。文献[5]在网络的输入图片中随机擦除一些区域避免网络陷入过拟合从而使得网络更加鲁棒。
但是另一方面,随意遮挡样本有可能给网络增加噪音,从而使得网络收敛得更慢。
文献[6]利用滑动窗口生成困难样本池,根据不同的困难样本加入模型训练后的精度选取最困难样本,按照选取的最困难样本扩充训练集,重新训练模型,但是步骤比较繁琐。
发明内容
本发明的目的是提出一种新的用于深度学习的困难样本的生成方法,设计一种双向注意力机制自动生成困难样本,有助于深度模型跳出局部最优解,使模型的鲁棒性更强。技术方案包括如下步骤:
S03、建立通道注意机制,得到通道注意向量ac;
S06、对于每一张Bk,k=1,2,...,N,选取其最大的连通域,在对应的原图Ik,k=1,2,...,N上将该连通域对应像素的灰度值置为0,即生成双注意机制下的困难样本Jk,k=1,2,...,N。
进一步地,步骤S02具体为:
(1)提取来自conv5_3层的特征F;
(3)空间位置l=(x,y)处的注意力权重可以通道softmax操作获得:
进一步地,步骤S03具体为:
(2)在平均池化层后接一个卷积层学习每个通道的强化特征,即:
u'=Wc*u+bc
其中*表示卷积操作,Wc表示权重,bc是偏置项。
本发明还提供了深度网络困难样本生成方法在监控图像识别、热图识别领域的应用。
本发明还提供了深度网络困难样本生成方法在金融经济量化分析领域的应用。
本发明还提供了深度网络困难样本生成方法在金融经济量化分析领域的应用。
本发明还提供了深度网络困难样本生成方法在医疗药物挖掘、病情分析、医学影像分析领域的应用。
本发明还提供了深度网络困难样本生成方法在网络安全领域的应用。
本发明还提供了深度网络困难样本生成方法在在过滤垃圾邮件领域的应用。
本发明还提供了深度网络困难样本生成方法在在DNS恶意域名分析领域的应用。
本发明具有如下有益效果:
本发明设计了一种基于空间和通道的双注意力机制的深度网络困难样本生成方法,其注意力机制不仅能够强调突出前景目标,同时能够在一定程度上避免背景杂波的影响,使得遮挡的区域更加集中且生成的困难样本更具有对抗性,进而可提高了深度网络目标识别精度。
附图说明
图1为一种双注意力机制下的深度网络困难样本生成方法的流程示意图;
图2为双注意力模型网络框架图;
图3为关注热图与困难样本示例。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明,但应当说明的是,这些实施方式并非对本发明的限制,本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代,均属于本发明的保护范围之内。
如图1所示,为本发明所提供的一种双注意力机制下的深度网络困难样本生成方法的流程示意图。在本实施方式中,一种双注意力机制下的深度网络困难样本生成方法,包括如下步骤:
S01、将训练集图像Ik,k=1,2,...,N输入基础网络ResNet-50,提取来自conv5_3层的特征F,N为训练集图像数量;
如图2(a)所示,所述步骤S02具体为:
(3)空间位置l=(x,y)处的注意力权重可以通道softmax操作获得:
S03、建立通道注意机制,得到通道注意向量ac;
如图2(b)所示,所述步骤S03具体为:
(2)在平均池化层后接一个卷积层学习每个通道的聚合特征,即:
u'=Wc*u+bc
其中*表示卷积操作,Wc表示权重,bc是偏置项。
如图2(c)所示,所述步骤S04具体为:
Fi sc=as*Fi c
S05、利用Grad-cam将Ik,k=1,2,...,N网络关注的区域可视化,得到关注热图,并利用OTSU算法对关注热图进行二值化操作,得到关注二值图片Bk,k=1,2,...,N;
S06、对于每一张Bk,k=1,2,...,N,选取其最大的连通域,在对应的原图Ik,k=1,2,...,N上将该连通域对应像素的灰度值置为0,即生成双注意机制下的困难样本Jk,k=1,2,...,N。
如图3所示为本发明所生成的关注热图及困难样本示例。将本发明所生成的困难样本用于行人再识别,随机挑选30%的困难样本替代原始的训练样本来重新训练模型,在公开数据集Market1501数据集和DukeMTMC-reID数据集上进行实验,实验结果如表1所示。
表1实验结果比较
实施例2
一种深度网络困难样本生成方法在监控图像识别、热图识别领域的应用。
实施例3
一种深度网络困难样本生成方法在金融经济量化分析领域的应用。
实施例4
一种深度网络困难样本生成方法在金融经济量化分析领域的应用。
实施例5
一种深度网络困难样本生成方法在医疗药物挖掘、病情分析、医学影像分析领域的应用。
实施例6
一种深度网络困难样本生成方法在网络安全领域的应用。
实施例7
一种深度网络困难样本生成方法在在过滤垃圾邮件领域的应用。
实施例8
一种深度网络困难样本生成方法在在DNS恶意域名分析领域的应用。
虽然本发明已以较佳实施例公开如上,但其并非用以限定本发明,任何熟悉此技术的人,在不脱离本发明的精神和范围内,都可做各种的改动与修饰,因此本发明的保护范围应该以权利要求书所界定的为准。
参考文献:
[1]Fadaee,Marzieh,Arianna Bisazza,and Christof Monz."Dataaugmentation for low-resource neural machine translation."arXiv preprintarXiv:1705.00440(2017).
[2]Perez L,Wang J.The effectiveness of data augmentation in imageclassification using deep learning[J].arXiv preprint arXiv:1712.04621,2017.
[3]Frid-Adar M,Diamant I,Klang E,et al.GAN-based synthetic medicalimage augmentation for increased CNN performance in liver lesionclassification[J].Neurocomputing,2018,321:321-331.
[4]Lim S K,Loo Y,Tran N T,et al.Doping:Generative data augmentationfor unsupervised anomaly detection with gan[C]//2018IEEE InternationalConference on Data Mining(ICDM).IEEE,2018:1122-1127.
[5]Zhong Z,Zheng L,Kang G,et al.Random erasing data augmentation[J].arXiv preprint arXiv:170804896,2017.
[6]Huang H,Li D,Zhang Z,et al.Adversarially occluded samples forperson re-identification;proceedings of the Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2018
虽然本发明已以较佳实施例公开如上,但其并非用以限定本发明,任何熟悉此技术的人,在不脱离本发明的精神和范围内,都可做各种的改动与修饰,因此本发明的保护范围应该以权利要求书所界定的为准。
Claims (10)
1.一种深度网络困难样本生成方法,其特征在于,包括如下步骤:
S03、建立通道注意机制,得到通道注意向量ac;
S06、对于每一张Bk,k=1,2,...,N,选取其最大的连通域,在对应的原图Ik,k=1,2,...,N上将该连通域对应像素的灰度值置为0,即生成双注意机制下的困难样本Jk,k=1,2,...,N。
4.一种深度网络困难样本生成方法在监控图像识别、热图识别领域的应用。
5.一种深度网络困难样本生成方法在金融经济量化分析领域的应用。
6.一种深度网络困难样本生成方法在金融经济量化分析领域的应用。
7.一种深度网络困难样本生成方法在医疗药物挖掘、病情分析、医学影像分析领域的应用。
8.一种深度网络困难样本生成方法在网络安全领域的应用。
9.一种深度网络困难样本生成方法在在过滤垃圾邮件领域的应用。
10.一种深度网络困难样本生成方法在在DNS恶意域名分析领域的应用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010749955.2A CN111860681B (zh) | 2020-07-30 | 2020-07-30 | 一种双注意力机制下的深度网络困难样本生成方法及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010749955.2A CN111860681B (zh) | 2020-07-30 | 2020-07-30 | 一种双注意力机制下的深度网络困难样本生成方法及应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111860681A true CN111860681A (zh) | 2020-10-30 |
CN111860681B CN111860681B (zh) | 2024-04-30 |
Family
ID=72945119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010749955.2A Active CN111860681B (zh) | 2020-07-30 | 2020-07-30 | 一种双注意力机制下的深度网络困难样本生成方法及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111860681B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113361588A (zh) * | 2021-06-03 | 2021-09-07 | 北京文安智能技术股份有限公司 | 基于图像数据增强的图像训练集生成方法和模型训练方法 |
CN114005078A (zh) * | 2021-12-31 | 2022-02-01 | 山东交通学院 | 一种基于双关系注意力机制的车辆重识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948658A (zh) * | 2019-02-25 | 2019-06-28 | 浙江工业大学 | 面向特征图注意力机制的对抗攻击防御方法及应用 |
CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
CN110991311A (zh) * | 2019-11-28 | 2020-04-10 | 江南大学 | 一种基于密集连接深度网络的目标检测方法 |
US20200184252A1 (en) * | 2018-12-10 | 2020-06-11 | International Business Machines Corporation | Deep Learning Network for Salient Region Identification in Images |
CN114818920A (zh) * | 2022-04-26 | 2022-07-29 | 常熟理工学院 | 基于双注意力擦除和注意力信息聚合的弱监督目标检测方法 |
-
2020
- 2020-07-30 CN CN202010749955.2A patent/CN111860681B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200184252A1 (en) * | 2018-12-10 | 2020-06-11 | International Business Machines Corporation | Deep Learning Network for Salient Region Identification in Images |
CN109948658A (zh) * | 2019-02-25 | 2019-06-28 | 浙江工业大学 | 面向特征图注意力机制的对抗攻击防御方法及应用 |
CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
CN110991311A (zh) * | 2019-11-28 | 2020-04-10 | 江南大学 | 一种基于密集连接深度网络的目标检测方法 |
CN114818920A (zh) * | 2022-04-26 | 2022-07-29 | 常熟理工学院 | 基于双注意力擦除和注意力信息聚合的弱监督目标检测方法 |
Non-Patent Citations (2)
Title |
---|
占哲琦;陈鹏;桑永胜;彭德中;: "融合双注意力的深度神经网络在无人机目标检测中的应用", 现代计算机, no. 11, 15 April 2020 (2020-04-15) * |
张超;陈莹;: "残差网络下基于困难样本挖掘的目标检测", 激光与光电子学进展, no. 10, 11 May 2018 (2018-05-11) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113361588A (zh) * | 2021-06-03 | 2021-09-07 | 北京文安智能技术股份有限公司 | 基于图像数据增强的图像训练集生成方法和模型训练方法 |
CN114005078A (zh) * | 2021-12-31 | 2022-02-01 | 山东交通学院 | 一种基于双关系注意力机制的车辆重识别方法 |
CN114005078B (zh) * | 2021-12-31 | 2022-03-29 | 山东交通学院 | 一种基于双关系注意力机制的车辆重识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111860681B (zh) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109345508B (zh) | 一种基于两阶段神经网络的骨龄评价方法 | |
CN108986140B (zh) | 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 | |
CN111369572B (zh) | 一种基于图像修复技术的弱监督语义分割方法和装置 | |
CN109903237B (zh) | 一种基于分离低高频的多尺度人脸图像去模糊方法 | |
CN109685801B (zh) | 结合纹理特征和深度神经网络信息的皮肤镜图像处理方法 | |
CN112102266A (zh) | 基于注意力机制的脑梗死医学影像分类模型的训练方法 | |
CN111126115A (zh) | 暴力分拣行为识别方法和装置 | |
CN110705591A (zh) | 一种基于最优子空间学习的异构迁移学习方法 | |
CN111860681A (zh) | 一种双注意力机制下的深度网络困难样本生成方法及应用 | |
CN113657267B (zh) | 一种半监督行人重识别方法和装置 | |
Sharma et al. | Potential of generative adversarial net algorithms in image and video processing applications–a survey | |
CN114743126A (zh) | 一种基于图注意力机制网络的车道线标志分割方法 | |
CN108876776A (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
Kiran et al. | Improvement on deep features through various enhancement techniques for vehicles classification | |
CN111553437A (zh) | 一种基于神经网络图像分类方法 | |
Kurmi et al. | An algorithm for various crop diseases detection and classification using leaves images | |
Zhang et al. | Face deblurring based on separable normalization and adaptive denormalization | |
CN114187440A (zh) | 一种基于动态分类器的小样本目标检测***及方法 | |
CN113989567A (zh) | 垃圾图片分类方法及装置 | |
CN113744241A (zh) | 基于改进slic算法的细胞图像分割方法 | |
Wang et al. | SEM image quality assessment based on intuitive morphology and deep semantic features | |
Krupiński et al. | Improved two-step binarization of degraded document images based on Gaussian mixture model | |
Mangal et al. | Image co-saliency detection using CLAHE and modified Resnet-50 convolution neural network | |
CN117315702B (zh) | 基于集合预测的文本检测方法、***及介质 | |
CN111046869B (zh) | 一种基于深度学习的显著区域提取方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |