CN112215119A - 一种基于超分辨率重建的小目标识别方法、装置及介质 - Google Patents
一种基于超分辨率重建的小目标识别方法、装置及介质 Download PDFInfo
- Publication number
- CN112215119A CN112215119A CN202011067984.7A CN202011067984A CN112215119A CN 112215119 A CN112215119 A CN 112215119A CN 202011067984 A CN202011067984 A CN 202011067984A CN 112215119 A CN112215119 A CN 112215119A
- Authority
- CN
- China
- Prior art keywords
- resolution image
- super
- loss
- discriminator
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 41
- 239000002245 particle Substances 0.000 claims abstract description 28
- 238000012795 verification Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 51
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 230000004913 activation Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- WDLRUFUQRNWCPK-UHFFFAOYSA-N Tetraxetan Chemical compound OC(=O)CN1CCN(CC(O)=O)CCN(CC(O)=O)CCN(CC(O)=O)CC1 WDLRUFUQRNWCPK-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于超分辨率重建的小目标识别方法、装置及介质,方法包括:构建包括生成器和判别器的识别模型;以低分辨率图像作为生成器的输入,以超分辨率图像作为生成器的输出,以真实高分辨率图像或超分辨率图像作为判别器的输入,以判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出,结合生成器损失函数和判别器损失函数,训练识别模型;基于粒子群算法,选择训练好的模型在验证样本集上的F1分数作为适应度函数值,以最大的F1分数对应的β值作为最优权重系数,由此确定最优识别模型,并基于最优识别模型进行小目标识别。如此,能够有效提升模型对小目标的识别性能。
Description
技术领域
本发明涉及目标识别技术领域,更具体地,涉及一种基于超分辨率重建的小目标识别方法、装置及介质。
背景技术
现实生活中,随着电子设备的应用在社会生产和人们生活中越来越普遍,每时每刻都在产生海量的图像数据,各类摄像头采集的图像数据中存在着许许多多的小目标,例如利用无人机拍摄的一些地面小目标、医疗图像中一些小尺寸的病变部位,监控摄像头拍摄的较远的行人车辆等小目标。因此,对小目标进行精确识别对于分析和处理这些图像数据显得非常重要,并且小目标识别技术在医疗图像分析、安防***、视频监控与跟踪、自动驾驶等领域也有着非常重要的价值,而基于深度学习的小目标识别问题是计算机视觉领域较难解决的一类问题。相比常规尺寸的目标,小目标通常只有几个或者几十个像素,并且存在分辨率低,携带的图像信息很少等问题,因此导致小目标的特征表达能力弱,识别起来更加困难。
图像超分辨率重建是指将低分辨率图像转为超分辨率图像的一种图像复原技术,它在深度学习领域也得到了全世界范围内的积极探索,并在超分辨率评价指标上达到了非常优异的性能。在现实生活中,图像超分辨率重建有着非常广泛的实际应用,例如医学成像、安防等方面,它不仅能帮助提升图像感知质量,也有助于改善其它的计算机视觉任务。由于图像超分辨率重建本身就是一种不适定问题,单一的低分辨率图像可能恢复出多个不同的超分辨率图像。因此,如何从低质量的低分辨率图像恢复出超分辨率图像,尤其是能提高识别性能的超分辨率图像,这是个非常具有挑战性和实际应用价值的问题。
目标识别的任务就是给定一个目标,正确给出该目标所对应的类别。目标识别算法根据目标的语义信息对不同类别的目标进行区分,近几年深度学习发展迅猛,国内外也迎来了这一技术的研究热潮,深度学习的优势在于它做到了直接从大型数据集中自动学习复杂且有用的特征,可以利用复杂的神经网络学习并自动提取各种层次的特征,大幅度地提升了目标识别算法的准确率。对于尺寸较大的目标识别任务而言,VGG,ResNet,DenseNet等深度网络的识别性能较好,而对于尺寸较小的目标识别任务而言,由于小目标只有几十个或者更少的像素信息,小目标存在着分辨率低、图像模糊、携带的信息少等缺点,直接使用VGG,ResNet,DenseNet等深度网络会导致对小目标的特征表达能力较弱,很难与背景或者其它相似的目标进行区分。
发明内容
针对现有技术的缺陷和改进需求,本发明提供一种基于超分辨率重建的小目标识别方法、装置及介质,用以解决现有目标识别器存在的在小目标识别问题上性能差的技术问题。
为实现上述目的,本发明提供了一种基于超分辨率重建的小目标识别方法,包括以下步骤:S1、构建包括生成器和判别器的识别模型;S2、以低分辨率图像作为所述生成器的输入,以超分辨率图像作为所述生成器的输出,以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入,以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出,结合生成器损失函数和判别器损失函数,训练所述识别模型;其中,所述生成器损失函数LG表示为:LG=LMSE+0.006×LVGG+0.001×LADV+β×LCLS,其中,LMSE、LVGG、LADV、LCLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失,β为所述目标识别损失LCLS的权重系数;所述判别器损失函数LD表示为:LD=LD-SR+LD-Cls,其中,LD-SR、LD-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失;S3、基于粒子群算法,选择训练好的模型在验证样本集上的F1分数作为适应度函数值,以最大的F1分数对应的β值作为最优权重系数,由此确定最优识别模型,并基于所述最优识别模型进行小目标识别。
进一步地,还包括:在所述生成器的后端加入新增特征层,所述新增特征层的输入是所述生成器生成的图像,输出是所述低分辨率图像经过双三次插值后的图像和真实高分辨率图像之间的残差;以所述经过双三次插值后的图像加上新增特征层学习到的残差,作为所述超分辨率图像。
进一步地,所述判别器的后端为两个并行的全连接层,分别用于判断输入图像是超分辨率图像还是真实高分辨率图像以及输出小目标的识别结果。
进一步地,所述像素均方误差损失LMSE为超分辨率图像与真实高分辨率图像之间对应像素差的平方和的均值;所述VGG特征匹配损失LVGG为基于VGG19网络,对超分辨率图像和真实高分辨率图像逐点求取欧氏距离的平方和的均值;所述对抗损失其中,N表示每次迭代训练时样本的个数,Dθ表示判别器网络,其中θ表示判别器的网络参数,表示第i个样本经过生成器网络生成的超分辨率图像,表示属于真实高分辨率图像的概率值;所述目标识别损失 其中,N表示每次迭代训练时样本的个数,Dcls表示判别器的目标识别分支,表示输入给生成器的低分辨率图像,表示真实高分辨率图像,表示第i个超分辨率重建样本经过判别器的目标识别分支输出的结果,yi表示目标的标签。
进一步地,所述步骤S2还包括:设置优化器为Adam优化器,初始化初始学习率、一阶矩估计的指数衰减率、二阶矩估计的指数衰减率、权重衰减倍数、单次训练用的样本数、权重系数β的解空间范围、学习因子c1和c2、粒子群数量、初始惯性权值、迭代至最大进化代数时的惯性权值、粒子群算法的最大迭代次数、每个β值下网络训练的epoch数量。
本发明另一方面提供了一种基于超分辨率重建的小目标识别装置,包括:
模型构建模块,用于构建包括生成器和判别器的识别模型;
模型训练模块,用于以低分辨率图像作为所述生成器的输入,以超分辨率图像作为所述生成器的输出,以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入,以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出;结合生成器损失函数和判别器损失函数,训练所述识别模型;其中,所述生成器损失函数LG表示为:LG=LMSE+0.006×LVGG+0.001×LADV+β×LCLS,其中,LMSE、LVGG、LADV、LCLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失,β为所述目标识别损失LCLS的权重系数;所述判别器损失函数LD表示为:LD=LD-SR+LD-Cls,其中,LD-SR、LD-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失;
小目标识别模块,用于基于粒子群算法,选择训练好的模型在验证样本集上的F1分数作为适应度函数值,以最大的F1分数对应的β值作为最优权重系数,由此确定最优识别模型,并基于所述最优识别模型进行小目标识别。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的基于超分辨率重建的小目标识别方法的步骤。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
(1)本发明通过构建包括生成器和判别器的识别模型;对生成器以及判别器的网络参数进行初始化,结合生成器损失函数和判别器损失函数,训练识别模型;基于粒子群算法,选择训练好的模型在验证样本集上的F1分数作为适应度函数值,以最大的F1分数对应的β值作为最优权重系数。如此,本发明在SRGAN的基础上提出了一种集成了小目标超分辨率重建、小目标识别的多任务深度网络框架,该框架包含生成器和判别器,通过引入更具针对性的损失函数,并采用粒子群算法对损失函数中的权重系数进行寻优,有效地提升了模型对于小目标的识别性能。
(2)本发明引入了残差学习的思想,摈弃了SRGAN中直接学习超分辨率图像的思路,转而学习超分辨率图像和低分辨率图像之间的残差,缓解了SRGAN训练困难的问题;另一方面,本发明在VDSR生成器的后端加入新增特征层,新增特征层的输入是VDSR生成的图像,输出是双三次插值和真实高分辨率图像之间的残差,然后通过“短路连接”使双三次插值的结果加上网络学习到的残差,最终得到超分辨率图像SR,即最终恢复的图像;如此,加深了网络深度,使得生成器对于小目标的特征提取更加充分,帮助生成器恢复更清晰、细节信息更丰富、更便于识别的超分辨率图像。
(3)本发明以SRGAN的判别器为基础,保留了其特征提取部分,然后增加了两个并行的全连接层,分别用于判断输入图像是超分辨率图像还是真实高分辨率图像以及输出小目标的识别结果,其中,超分辨率重建分支与目标识别分支共享了所有公共的卷积层,即共享了特征提取部分的网络参数。由此大大地减少了网络的参数量,减少资源的消耗,使得网络的训练过程更加高效。
(4)本发明通过在LM-SRRENet-G中引入像素均方误差损失、VGG特征匹配损失、对抗损失以及目标识别损失,使得生成器在学习的过程中,每一次的迭代更新都受上述四种损失的约束,有利于生成器恢复更清晰、细节信息更丰富、更便于识别的超分辨率图像;通过在LM-SRRENet-D中引入LD-SR以及LD-Cls,使得判别器在学习的过程中,每一次的迭代更新都受LD-SR和LD-Cls的约束,帮助判别器既能对超分辨率图像还是真实高分辨率图像进行判断,也能对小目标类型进行判断。
(5)本发明采用粒子群算法对权重系数β进行寻优,避免了参数的随机选择而带来的识别性能不确定性,进一步有效地提升了模型对于小目标的识别性能。
(6)本发明在多任务深度网络框架M-SRRENet的生成器以及判别器中,既包含卷积操作,也包含BN操作。通过引入一系列的BN操作,使得网络中每层输入数据的分布相对稳定,加速模型学习速度;使得模型对网络中的参数不那么敏感,简化调参过程,使得网络学习更加稳定;缓解梯度消失问题;在一定程度上能起到正则化的效果,帮助模型获得更优的泛化效果。
附图说明
图1为本发明实施例提供的一种基于超分辨率重建的小目标识别方法的流程框图;
图2为本发明实施例提供的生成器网络结构示意图;
图3为本发明实施例提供的判别器网络结构示意图;
图4为本发明实施例提供的权重系数β的寻优流程框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
一种基于超分辨率重建的小目标识别方法,如图1所示,包括:
S1、构建包括生成器和判别器的识别模型;
S2、以低分辨率图像作为所述生成器的输入,以超分辨率图像作为所述生成器的输出,以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入,以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出;结合生成器损失函数和判别器损失函数,训练所述识别模型;其中,所述生成器损失函数LG表示为:LG=LMSE+0.006×LVGG+0.001×LADV+β×LCLS,其中,LMSE、LVGG、LADV、LCLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失,β为所述目标识别损失LCLS的权重系数;所述判别器损失函数LD表示为:LD=LD-SR+LD-Cls,其中,LD-SR、LD-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失;
S3、基于粒子群算法,选择训练好的模型在验证样本集上的F1分数作为适应度函数值,以最大的F1分数对应的β值作为最优权重系数,由此确定最优识别模型,并基于所述最优识别模型进行小目标识别。
本实施例在SRGAN的基础上提出了一种集成了小目标超分辨率重建、小目标识别的多任务深度网络框架M-SRRENet,该框架包含生成器和判别器。对于生成器而言,如图2所示,本实施例一方面引入了残差学习的思想,摈弃了SRGAN中直接学习超分辨率图像的思路,转而学习超分辨率图像和低分辨率图像之间的残差,缓解了SRGAN训练困难的问题;另一方面,M-SRRENet在生成器当中增加了额外的特征层,加深了网络深度,使得生成器对于小目标的特征提取更加充分,帮助生成器恢复更清晰、细节信息更丰富、更便于识别的超分辨率图像。具体来说是在VDSR生成器的后端加入新增特征层,新增特征层的输入是VDSR生成的图像,输出是双三次插值和真实高分辨率图像之间的残差,然后通过“短路连接”使双三次插值的结果加上网络学习到的残差,最终得到超分辨率图像SR,即最终恢复的图像。对于判别器而言,如图3所示,本实施例以SRGAN的判别器为基础,保留了其特征提取部分,然后增加了两个并行的全连接层,分别用于判断输入图像是超分辨率图像还是真实高分辨率图像以及输出小目标的识别结果。本实施例通过将小目标超分辨率重建任务以及小目标识别任务进行集成,有效地提升了对于小目标的识别性能。
优选的,通过向所述生成器输入模糊、信息量少的低分辨率图像,获得更清晰、目标信息更丰富、更便于小目标识别的超分辨率图像;通过向所述判别器输入由所述生成器生成的超分辨率图像或者真实高分辨率图像,获得两个分支:超分辨率重建分支给出输入图像属于真实高分辨率图像的概率,目标识别分支给出小目标的识别结果。
需要说明的是,图2、图3中的block1、block2...block18为一系列的组合操作,具体为:block1表示卷积+ReLU激活操作、block2表示18次卷积+ReLU激活操作、block3表示卷积操作、block4表示卷积+BN+LeakyReLU激活操作、block5表示12次卷积+BN+LeakyReLU激活操作、block6表示卷积+BN+LeakyReLU激活操作、block7表示卷积+BN+LeakyReLU激活操作、block8表示卷积操作、block9表示卷积+LeakyReLU激活操作、block10~block16表示卷积+BN+LeakyReLU激活操作、block17和block18表示全连接层+sigmoid激活操作。
优选的,所有卷积操作的卷积核都为3*3,padding都为1。
在所述多任务深度网络框架M-SRRENet的判别器中,超分辨率重建分支与目标识别分支共享了所有公共的卷积层,即:共享了特征提取部分的网络参数。由此大大地较少了网络的参数量,减少资源的消耗,使得网络的训练过程更加高效。
优选的,所述判别器的超分辨率重建分支以及目标识别分支都采用sigmoid激活函数,每个分支都得到0-1之间的概率值,分别表示属于真实高分辨率图像的概率值以及属于目标识别结果的置信度值。
本实施例进一步提出了一种损失函数MTG-Loss,具体的,MTG-Loss包含指导生成器训练的损失函数LM-SRRENet-G,以及指导判别器训练的损失函数LM-SRRENet-D。所述损失函数LM-SRRENet-G具体为:LM-SRRENet-G=LMSE+0.006×LVGG+0.001×LADV+β×LCLS,其中,LMSE为像素均方误差损失、LVGG为VGG特征匹配损失、LADV为对抗损失、LCLS为目标识别损失,β为权重系数值;所述损失函数LM-SRRENet-D具体为:LM-SRRENet-D=LD-SR+LD-Cls,其中,LD-SR为用于判断输入图像是真实图像还是超分图像的损失、LD-Cls为用于判断输入小目标类型的损失,其与LCLS相同,均采用二分类交叉熵损失。
通过在LM-SRRENet-G中引入像素均方误差损失、VGG特征匹配损失、对抗损失以及目标识别损失,使得生成器在学习的过程中,每一次的迭代更新都受上述四种损失的约束,有利于生成器恢复更清晰、细节信息更丰富、更便于识别的超分辨率图像;通过在LM-SRRENet-D中引入LD-SR以及LD-Cls,使得判别器在学习的过程中,每一次的迭代更新都受LD-SR和LD-Cls的约束,帮助判别器既能对超分辨率图像还是真实高分辨率图像进行判断,也能对小目标类型进行判断。
优选的,VGG特征匹配损失LVGG以及对抗损失LADV都可以有效地帮助生成器学习图像高频细节更丰富的超分辨率图像。
优选的,所述目标识别损失LCLS和LD-Cls为二分类的交叉熵损失。
具体的,像素均方误差损失LMSE为超分辨率图像与真实高分辨率图像之间对应像素差的平方和的均值;
VGG特征匹配损失LVGG是基于预训练的VGG19模型来定义的,具体为:先根据VGG19网络分别提取超分辨率图像和真实高分辨率图像的特征图,然后对真实高分辨率图像IHR和超分辨率图像逐点求取欧氏距离的平方和,然后求该平方和的均值;公式为: 指的是通过第i个最大池化层前的第j个卷积层(在激活函数之后)得到的特征图,Wi,j和Hi,j分别表示VGG网络中特征图的两个维度。
目标识别损失 其中,N表示每次迭代训练时样本的个数,Dcls表示M-SRRENet的判别器的目标识别分支,表示输入给生成器的低分辨率图像,表示真实高分辨率图像,表示第i个超分辨率重建样本经过该判别器的目标识别分支输出的结果,它是一个范围为0-1之间的置信度值,而yi表示目标的标签,在这里正样本用1表示,负样本用0表示。
进一步地,本实施例采用粒子群算法对权重系数β进行寻优,权重系数β的寻优框架如图4所示,具体包括以下步骤:初始化、更新粒子的速度和位置、根据适应度函数,评估粒子的适应度函数值、判断算法迭代是否结束。粒子群算法从随机解出发,通过迭代寻找最优解,并且通过适应度函数来评价解的品质,由此来获得在解空间范围里最优的权重系数值。本实施例通过采用粒子群算法对权重系数β进行寻优,避免了参数的随机选择而带来的识别性能不确定性,进一步有效地提升了模型对于小目标的识别性能。
优选的,为了找到全局最优的β值,本实施例采用的适应度函数的定义为:给定β值,构造具体的损失函数,保证其他实验参数不变的条件下训练M-SRRENet模型,计算此模型在同一个测试集下的F1分数,以该F1分数作为此时的适应度函数值。
优选的,每次迭代过程中,需要根据PSO算法的迭代公式更新每个粒子的的速度和位置,速度v和位置β的更新公式如下:
v=w×v+c1×rand×(pbest-β)+c2×rand×(gbest-β)
β=β+v
其中,v表示粒子的速度;β表示粒子的位置,即本文需要求的权重系数值;w表示惯性因子,在实际训练过程中,w采用线性递减权值策略进行更新;c1和c2是学习因子,为常数;rand表示0-1之间的随机数;pbest表示某个粒子的当前最优位置;gbest表示群体的全局最优位置。
优选的,更新粒子的速度和位置时,如果更新之后的值不在解空间范围,需要进行合法性调整,使其仍处于解空间范围。
在所述多任务深度网络框架M-SRRENet的生成器以及判别器中,既包含卷积操作,也包含BN操作。通过引入一系列的BN操作,使得网络中每层输入数据的分布相对稳定,加速模型学习速度;使得模型对网络中的参数不那么敏感,简化调参过程,使得网络学习更加稳定;缓解梯度消失问题;在一定程度上能起到正则化的效果,帮助模型获得更优的泛化效果。
优选的,迭代训练,具体为:
步骤11、对所述生成器以及判别器进行网络参数初始化;
步骤21、对学习率、优化器、粒子个数等实验参数进行相应的设置;
步骤31、在训练样本集、损失函数LM-SRRENet-G、LM-SRRENet-D、步骤11以及步骤21的基础上,进行网络的迭代训练,具体来说是交替训练所述生成器与判别器,其中生成器的输入为所述训练样本集中的低分辨率图像,判别器的输入为真实高分辨率图像或由生成器生成的超分辨率图像。
步骤41、采用粒子群算法对权重系数寻优的过程包含在所述迭代训练的过程中,对于每一个β值而言,选择训练好的模型在验证集上的F1分数作为适应度函数值,最后以最大的F1分数对应的β值作为本文所选择的权重系数值,同时以该β值下训练好的模型作为本发明最终选用的识别模型。
为了验证本实施例方法得到的识别器对小目标的识别结果,本实施例基于无人机数据集和DOTA数据集来构建用于小目标识别的数据集。并分别以无人机目标与背景的二分类、汽车目标与舰船目标的二分类为例,数据集的详细内容如表1所示。
表1数据集详情表
需要说明的是,上表中,训练集既包含低分辨率正、负样本,也包含高分辨率正、负样本。而验证集和测试集只包含低分辨率正、负样本。在测试集上进行识别算法的性能评估。
数据集准备好之后,需要进行模型训练和测试,具体过程如下:
对于Reub、Revs而言,利用训练集训练M-SRRENet中的网络参数,利用验证集比较不同网络参数下M-SRRENet的性能,而利用测试集对训练完成的M-SRRENet进行客观的性能评估以及对比。在网络的训练过程中,本发明使用Adam优化器,初始学习率设置为0.0001,一阶矩估计的指数衰减率设置为0.9,二阶矩估计的指数衰减率设置为0.999,权重衰减倍数设置为0.001,单次训练用的样本数设置为64,权重系数β的解空间范围为[0.01,1],学习因子c1和c2均设置为2,粒子群数量设置为3,初始惯性权值设置为0.9,迭代至最大进化代数时的惯性权值设置为0.4,粒子群算法的最大迭代次数设置为100,而每个β值下网络训练的epoch数量设置为120。
使用训练好的网络对Reub、Revs测试集分别进行测试,同时使用其他几种深度学习目标识别方法对测试集进行测试,计算测试集上的AUC值,实验结果如表2所示。
表2采用各识别方法获得的AUC值对比表
由表2中的实验结果可以看出,对于AUC值的结果分析来看:在Reub上,VGG16的AUC值为0.921960,VGG19的AUC值为0.936725,ResNet50的AUC值为0.925727,ResNet101的AUC值为0.926003,DenseNet40的AUC值为0.959354,DenseNet100的AUC值为0.966098,而本实施例提出的M-SRRENet的AUC值达到了最高的0.985433,比次优的DenseNet100高出0.019335;在Revs上,VGG16的AUC值为0.937742,VGG19的AUC值为0.929416,ResNet50的AUC值为0.890069,ResNet101的AUC值为0.882721,DenseNet40的AUC值为0.965732,DenseNet100的AUC值为0.968881,而本实施例提出的M-SRRENet的AUC值达到了最高的0.983143,比次优的DenseNet100高出0.014262,所以M-SRRENet在ROC曲线上也达到了最优的识别性能。
从以上的分析可以得出结论:在无人机目标与背景的二分类、汽车目标和舰船目标的二分类任务上,本实施例提出的M-SRRENet都达到了最优的识别性能。而从理论上分析,M-SRRENet同样适用于其它的小目标识别任务。
实施例二
一种基于超分辨率重建的小目标识别装置,包括:
模型构建模块,用于构建包括生成器和判别器的识别模型;其中,以低分辨率图像作为所述生成器的输入,以超分辨率图像作为所述生成器的输出,以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入,以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出;
模型训练模块,用于对所述生成器以及判别器的网络参数进行初始化,结合生成器损失函数和判别器损失函数,训练所述识别模型;其中,所述生成器损失函数LG表示为:LG=LMSE+0.006×LVGG+0.001×LADV+β×LCLS,其中,LMSE、LVGG、LADV、LCLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失,β为所述目标识别损失LCLS的权重系数;所述判别器损失函数LD表示为:LD=LD-SR+LD-Cls,其中,LD-SR、LD-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失;
小目标识别模块,用于基于粒子群算法,选择训练好的模型在验证样本集上的F1分数作为适应度函数值,以最大的F1分数对应的β值作为最优权重系数,由此确定最优识别模型,并基于所述最优识别模型进行小目标识别。
上述基于超分辨率重建的小目标识别装置中各个模块的划分仅用于举例说明,在其他实施例中,可将基于超分辨率重建的小目标识别装置按照需要划分为不同的模块,以完成上述装置的全部或部分功能。
本申请实施例中提供的基于超分辨率重建的小目标识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
实施例三
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行基于超分辨率重建的小目标识别方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行基于超分辨率重建的小目标识别方法。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于超分辨率重建的小目标识别方法,其特征在于,包括以下步骤:
S1、构建包括生成器和判别器的识别模型;
S2、以低分辨率图像作为所述生成器的输入,以超分辨率图像作为所述生成器的输出,以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入,以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出,结合生成器损失函数和判别器损失函数,训练所述识别模型;其中,所述生成器损失函数LG表示为:LG=LMSE+0.006×LVGG+0.001×LADV+β×LCLS,其中,LMSE、LVGG、LADV、LCLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失,β为所述目标识别损失LCLS的权重系数;所述判别器损失函数LD表示为:LD=LD-SR+LD-Cls,其中,LD-SR、LD-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失;
S3、基于粒子群算法,选择训练好的模型在验证样本集上的F1分数作为适应度函数值,以最大的F1分数对应的β值作为最优权重系数,由此确定最优识别模型,并基于所述最优识别模型进行小目标识别。
2.根据权利要求1所述的一种基于超分辨率重建的小目标识别方法,其特征在于,还包括:
在所述生成器的后端加入新增特征层,所述新增特征层的输入是所述生成器生成的图像,输出是所述低分辨率图像经过双三次插值后的图像和真实高分辨率图像之间的残差;以所述经过双三次插值后的图像加上新增特征层学习到的残差,作为所述超分辨率图像。
3.根据权利要求1所述的一种基于超分辨率重建的小目标识别方法,其特征在于,所述判别器的后端为两个并行的全连接层,分别用于判断输入图像是超分辨率图像还是真实高分辨率图像以及输出小目标的识别结果。
4.根据权利要求1至3任一项所述的一种基于超分辨率重建的小目标识别方法,其特征在于,
所述像素均方误差损失LMSE为超分辨率图像与真实高分辨率图像之间对应像素差的平方和的均值;
所述VGG特征匹配损失LVGG为基于VGG19网络,对超分辨率图像和真实高分辨率图像逐点求取欧氏距离的平方和的均值;
5.根据权利要求4所述的一种基于超分辨率重建的小目标识别方法,其特征在于,所述步骤S2还包括:设置优化器为Adam优化器,初始化初始学习率、一阶矩估计的指数衰减率、二阶矩估计的指数衰减率、权重衰减倍数、单次训练用的样本数、权重系数β的解空间范围、学习因子c1和c2、粒子群数量、初始惯性权值、迭代至最大进化代数时的惯性权值、粒子群算法的最大迭代次数、每个β值下网络训练的epoch数量。
6.一种基于超分辨率重建的小目标识别装置,其特征在于,包括:
模型构建模块,用于构建包括生成器和判别器的识别模型;
模型训练模块,用于以低分辨率图像作为所述生成器的输入,以超分辨率图像作为所述生成器的输出,以真实高分辨率图像或所述超分辨率图像作为所述判别器的输入,以所述判别器的输入为真实高分辨率图像的概率以及识别结果作为所述判别器的输出,结合生成器损失函数和判别器损失函数,训练所述识别模型;其中,所述生成器损失函数LG表示为:LG=LMSE+0.006×LVGG+0.001×LADV+β×LCLS,其中,LMSE、LVGG、LADV、LCLS分别为像素均方误差损失、VGG特征匹配损失、对抗损失、目标识别损失,β为所述目标识别损失LCLS的权重系数;所述判别器损失函数LD表示为:LD=LD-SR+LD-Cls,其中,LD-SR、LD-Cls分别用于判断输入图像为真实高分辨率图像或超分辨率图像的损失、用于识别输入图像的损失;
小目标识别模块,用于基于粒子群算法,选择训练好的模型在验证样本集上的F1分数作为适应度函数值,以最大的F1分数对应的β值作为最优权重系数,由此确定最优识别模型,并基于所述最优识别模型进行小目标识别。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的一种基于超分辨率重建的小目标识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011067984.7A CN112215119B (zh) | 2020-10-08 | 2020-10-08 | 一种基于超分辨率重建的小目标识别方法、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011067984.7A CN112215119B (zh) | 2020-10-08 | 2020-10-08 | 一种基于超分辨率重建的小目标识别方法、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112215119A true CN112215119A (zh) | 2021-01-12 |
CN112215119B CN112215119B (zh) | 2022-04-12 |
Family
ID=74053470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011067984.7A Active CN112215119B (zh) | 2020-10-08 | 2020-10-08 | 一种基于超分辨率重建的小目标识别方法、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112215119B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112784857A (zh) * | 2021-01-29 | 2021-05-11 | 北京三快在线科技有限公司 | 一种模型训练以及图像处理方法及装置 |
CN113160050A (zh) * | 2021-03-25 | 2021-07-23 | 哈尔滨工业大学 | 基于时空神经网络的小目标识别方法及*** |
CN113344110A (zh) * | 2021-06-26 | 2021-09-03 | 浙江理工大学 | 一种基于超分辨率重建的模糊图像分类方法 |
CN113610087A (zh) * | 2021-06-30 | 2021-11-05 | 国网福建省电力有限公司信息通信分公司 | 一种基于先验超分辨率的图像小目标检测方法及存储介质 |
CN114120056A (zh) * | 2021-10-29 | 2022-03-01 | 中国农业大学 | 小目标识别方法、装置、电子设备、介质及产品 |
WO2023029418A1 (zh) * | 2021-09-02 | 2023-03-09 | 深圳市中兴微电子技术有限公司 | 图像超分辨率模型训练方法、装置和计算机可读存储介质 |
WO2024109902A1 (zh) * | 2022-11-25 | 2024-05-30 | 中国科学院深圳先进技术研究院 | 一种基于视频超分辨率的多目标识别方法和装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002197443A (ja) * | 2000-12-25 | 2002-07-12 | Minolta Co Ltd | 3次元形状データの生成装置 |
US20110268334A1 (en) * | 2010-04-30 | 2011-11-03 | Korean Advanced Institute Of Science And Technology | Apparatus for Improving Image Resolution and Apparatus for Super-Resolution Photography Using Wobble Motion and Point Spread Function (PSF), in Positron Emission Tomography |
CN107451619A (zh) * | 2017-08-11 | 2017-12-08 | 深圳市唯特视科技有限公司 | 一种基于感知生成对抗网络的小目标检测方法 |
US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
CN110720915A (zh) * | 2019-09-09 | 2020-01-24 | 浙江工业大学 | 一种基于gan的脑部电阻抗断层成像方法 |
CN111144361A (zh) * | 2019-12-31 | 2020-05-12 | 合肥湛达智能科技有限公司 | 一种基于二值化cgan网络的公路车道检测方法 |
CN111310508A (zh) * | 2020-02-14 | 2020-06-19 | 北京化工大学 | 一种二维码识别方法 |
CN111461134A (zh) * | 2020-05-18 | 2020-07-28 | 南京大学 | 一种基于生成对抗网络的低分辨率车牌识别方法 |
-
2020
- 2020-10-08 CN CN202011067984.7A patent/CN112215119B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002197443A (ja) * | 2000-12-25 | 2002-07-12 | Minolta Co Ltd | 3次元形状データの生成装置 |
US20110268334A1 (en) * | 2010-04-30 | 2011-11-03 | Korean Advanced Institute Of Science And Technology | Apparatus for Improving Image Resolution and Apparatus for Super-Resolution Photography Using Wobble Motion and Point Spread Function (PSF), in Positron Emission Tomography |
US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
CN107451619A (zh) * | 2017-08-11 | 2017-12-08 | 深圳市唯特视科技有限公司 | 一种基于感知生成对抗网络的小目标检测方法 |
CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
CN110720915A (zh) * | 2019-09-09 | 2020-01-24 | 浙江工业大学 | 一种基于gan的脑部电阻抗断层成像方法 |
CN111144361A (zh) * | 2019-12-31 | 2020-05-12 | 合肥湛达智能科技有限公司 | 一种基于二值化cgan网络的公路车道检测方法 |
CN111310508A (zh) * | 2020-02-14 | 2020-06-19 | 北京化工大学 | 一种二维码识别方法 |
CN111461134A (zh) * | 2020-05-18 | 2020-07-28 | 南京大学 | 一种基于生成对抗网络的低分辨率车牌识别方法 |
Non-Patent Citations (4)
Title |
---|
CHRISTIAN LEDIG ET AL.: "Photo-realistic image super-resolution using a generative adversarial network", 《THE COMPUTER VISION FOUNDATION》 * |
JIABO MA ET AL.: "PathSRGAN:multi-supervised super-resolution for cytopathological images using generative adversarial network", 《IEEE TRANSATION ON MEDICAL IMAGING》 * |
ZHI-SONG LIU ET AL.: "Hierarchical back projection network for image super-resolution", 《THE COMPUTER VISION FOUNDATION》 * |
王万良: "生成对抗网络研究进展", 《通信学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112784857A (zh) * | 2021-01-29 | 2021-05-11 | 北京三快在线科技有限公司 | 一种模型训练以及图像处理方法及装置 |
CN113160050A (zh) * | 2021-03-25 | 2021-07-23 | 哈尔滨工业大学 | 基于时空神经网络的小目标识别方法及*** |
CN113160050B (zh) * | 2021-03-25 | 2023-08-25 | 哈尔滨工业大学 | 基于时空神经网络的小目标识别方法及*** |
CN113344110A (zh) * | 2021-06-26 | 2021-09-03 | 浙江理工大学 | 一种基于超分辨率重建的模糊图像分类方法 |
CN113344110B (zh) * | 2021-06-26 | 2024-04-05 | 浙江理工大学 | 一种基于超分辨率重建的模糊图像分类方法 |
CN113610087A (zh) * | 2021-06-30 | 2021-11-05 | 国网福建省电力有限公司信息通信分公司 | 一种基于先验超分辨率的图像小目标检测方法及存储介质 |
CN113610087B (zh) * | 2021-06-30 | 2023-06-09 | 国网福建省电力有限公司信息通信分公司 | 一种基于先验超分辨率的图像小目标检测方法及存储介质 |
WO2023029418A1 (zh) * | 2021-09-02 | 2023-03-09 | 深圳市中兴微电子技术有限公司 | 图像超分辨率模型训练方法、装置和计算机可读存储介质 |
CN114120056A (zh) * | 2021-10-29 | 2022-03-01 | 中国农业大学 | 小目标识别方法、装置、电子设备、介质及产品 |
WO2024109902A1 (zh) * | 2022-11-25 | 2024-05-30 | 中国科学院深圳先进技术研究院 | 一种基于视频超分辨率的多目标识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112215119B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112215119B (zh) | 一种基于超分辨率重建的小目标识别方法、装置及介质 | |
CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
CN111950453B (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
CN106228185B (zh) | 一种基于神经网络的通用图像分类识别***及方法 | |
CN110059586B (zh) | 一种基于空洞残差注意力结构的虹膜定位分割*** | |
CN108230291B (zh) | 物体识别***训练方法、物体识别方法、装置和电子设备 | |
CN114565655B (zh) | 一种基于金字塔分割注意力的深度估计方法及装置 | |
CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及*** | |
CN113378706B (zh) | 一种辅助儿童观察植物和学习生物多样性的绘画*** | |
CN110968734A (zh) | 一种基于深度度量学习的行人重识别方法及装置 | |
CN114140469A (zh) | 一种基于多层注意力的深度分层图像语义分割方法 | |
CN110135435B (zh) | 一种基于广度学习***的显著性检测方法及装置 | |
CN110135428B (zh) | 图像分割处理方法和装置 | |
CN113393385B (zh) | 基于多尺度融合的无监督去雨方法、***、装置及介质 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
WO2022120996A1 (zh) | 视觉位置识别方法及装置、计算机设备及可读存储介质 | |
CN117132910A (zh) | 一种用于无人机的车辆检测方法、装置及存储介质 | |
CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
CN116664867A (zh) | 一种基于多证据融合选取训练样本的特征提取方法及装置 | |
CN117036897A (zh) | 一种基于Meta RCNN的少样本目标检测方法 | |
CN114821356B (zh) | 一种精确定位的光学遥感目标检测方法 | |
CN116311504A (zh) | 一种小样本行为识别方法、***及设备 | |
CN114863164A (zh) | 一种面向小目标超分辨重建图像的目标识别模型构建方法 | |
CN112446345A (zh) | 一种低质量三维人脸识别方法、***、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |