CN109993072A - 基于超分辨图像生成的低分辨率行人重识别***和方法 - Google Patents
基于超分辨图像生成的低分辨率行人重识别***和方法 Download PDFInfo
- Publication number
- CN109993072A CN109993072A CN201910191960.3A CN201910191960A CN109993072A CN 109993072 A CN109993072 A CN 109993072A CN 201910191960 A CN201910191960 A CN 201910191960A CN 109993072 A CN109993072 A CN 109993072A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- resolution
- image
- super
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004069 differentiation Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 13
- 239000000284 extract Substances 0.000 abstract description 8
- 238000011084 recovery Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 52
- 239000000523 sample Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于超分辨图像生成的低分辨率行人重识别***和方法,该***包括行人属性引导的超分辨图像生成网络模型和行人重识别网络模型,该方法步骤为:选取高、低分辨率图像样本及行人属性向量;训练超分辨率图像生成网络模型;训练行人重识别网络模型;联合训练超分辨图像生成网络模型和行人重识别网络模型;将低分辨率行人图像测试集与对应的行人属性向量输入到联合训练后的超分辨图像生成网络模型和行人重识别网络模型提取行人图像特征;计算行人图像特征的余弦相似度,根据余弦相似度得到不同分辨率的行人图像匹配的结果,本发明实现低分辨率图像细节恢复,同时扩大了网络的容量,提高低分辨率行人重识别的效果。
Description
技术领域
本发明涉及计算机视觉,智能监控领域,尤其涉及一种基于超分辨图像生成的低分辨率行人重识别***和方法。
背景技术
行人重识别的任务是识别跨摄像头下的行人身份信息。随着视频监控的快速发展,行人重识别在智能监控中起到越来越重要的作用。对于行人重识别的问题,通常步骤是先提取行人的特征,对行人的特征进行距离度量得到相似性得分,然后根据相似性得分进行排序,最终得到行人的身份。在现实生活中,由于摄像头的摆放位置不同以及行人与摄像头的距离变化,本实施例获取的行人图像的分辨率通常不同,即存在高分辨率和低分辨率的行人图像,本实施例进行不同分辨率的行人重识别任务,本实施例把这种任务定义为低分辨率行人重识。由于低分辨率行人图像会丢失很多行人的细节信息因此提取得到的行人特征的区分度比较低,这就造成了行人重识别效果的降低,因此需要研究并解决行人重识别中的由于分辨率过低带来的问题。
目前大部分行人重识别的方法假设图像的分辨率是相同的,直接将需要匹配的图片通过插值变成一样的大小,实际上低分辨率的图像会缺失一些具有区分性的信息。对于低分辨率行人重识别的研究并不多,有以下几种方法:
(1)基于特征映射的方法:将同一个行人的高低分辨率的特征映射到公共空间,然后进行匹配;
(2)通过探索高低分辨率行人图像特征的关系,将低分辨率的特征映射成高分辨率的特征。
(3)通过探索分辨率与特征度量距离的函数空间,得到分辨率与特征度量距离的函数,进而得到不同分辨率的行人图像对之间的度量距离进行匹配。
(4)通过超分辨的方法来超分辨低分辨率的行人图像,然后利用超分辨率行人图像进行行人重识别。
方法(1)假设同一个行人不同分辨率特征分布相似,提出了在联合学习的框架下同时优化高低分辨率的行人特征的拉近以及距离度量模型,然而在图像细节丢失的情况下将行人的不同分辨率特征仅仅通过一个变换拉近很困难。方法(2)提出了一个半耦合低秩的字典学习方法来探究发现低分辨率和高分辨率图像的特征关系。方法(3)通过在与高分辨率图像匹配时改变低分辨率图像的尺度来探索尺度-距离函数空间的特征。方法(1)、(2)、(3)都没有从图像层面上回复高频的细节,丢失了一些具有区分度的外表,由于不能合成在图像采集中丢失的高频率和辨别性外观信息,这些方法本身就受到限制。此外,方法(1)、(2)、(3)都选用的传统特征,需要手动选择行人的特征。方法(4)、(5)虽然对低分辨率的行人图像进行了超分辨,实现了部分信息的恢复,当行人图像分辨率过低时,利用超分辨网络进行图像的超分辨效果不佳。
发明内容
针对现有技术存在的缺陷与不足,针对行人图像由于分辨率过低丢失判别性的信息从而导致行人重识别的效果差的问题,本发明提供一种基于超分辨图像生成的低分辨率行人重识别***和方法,通过联合训练行人属性引导的分辨行人图像生成网络模型和行人重识别网络模型来提高低分辨率行人重识别的效果。
为了达到上述目的,本发明采用以下技术方案:
本发明提供一种基于超分辨图像生成的低分辨率行人重识别***,包括行人属性引导的超分辨图像生成网络模型和行人重识别网络模型,
所述行人属性引导的超分辨图像生成网络模型包括生成器和判别器,生成器包括第一生成器Gh→l和第二生成器Gl→h,判别器包括第一判别器Dh→l,第二判别器Dl→h;
所述第一生成器Gh→l用于将高分辨率图像生成低分辨率图像,第二生成器Gl→h用于将低分辨率图像和行人属性向量生成高分辨率图像;
所述第一判别器Dh→l用于判定低分辨率图像的真假,第二判别器Dl→h用于判定高分辨率图像以及属性的真假;
所述行人属性引导的超分辨图像生成网络模型训练后生成超分辨率行人图像;
所述行人重识别网络模型包括行人重识别网络和分类器,所述行人重识别网络用于提取图像中的行人特征,所述分类器用于将超分辨行人图像和高分辨率的行人图像中的真实行人身份区别。
作为优选的技术方案,所述行人属性引导的超分辨图像生成网络模型的生成器采用条件循环对抗生成网络中的生成器,判别器采用条件循环对抗生成网络中的判别器。
作为优选的技术方案,所述行人重识别网络采用残差卷积神经网络ResNet-50。
本发明还提供一种基于超分辨图像生成的低分辨率行人重识别方法,包括下述步骤:
S1:选取高分辨率行人图像样本h、低分辨率行人图像样本l,选取与行人图像对应的行人属性向量z、与行人图像不对应的行人属性向量
S2:训练行人属性引导的超分辨率图像生成网络模型:
采用条件循环对抗生成网络构建超分辨率图像生成网络,高分辨率图像h经过第一生成器Gh→l生成低分辨率图像低分辨率图像与行人属性向量经过第二生成器Gl→h得到重建的高分辨率图像
低分辨率图像l与行人属性向量经过第二生成器Gl→h生成高分辨率图像经过第一生成器Gh→l得到重建的低分辨率行人图像
低分辨率图像l和生成的低分辨率图像经过第一判别器Dh→l得到判定为真实低分辨率图像的概率分别为:ρr=Dh→l(l)和
高分辨率图像h和行人属性向量z经过第二判别器Dl→h得到概率值:
sr=Dl→h(h,z);
生成的高分辨率图像和行人属性向量z进行通道拼接后,经过第二判别器Dl→h得到概率值:
高分辨率图像h和与图像不相符的行人属性向量经过第二判别器Dl→h得到概率值:
第一判别器Dh→l的损失函数为:
第二判别器Dl→h的损失函数为:
根据对抗生成网络构建判别器损失函数LD:
第一生成器Gh→l的损失函数为:
第二生成器Gl→h的损失函数为:
循环对抗生成网络的重构损失函数Lc为:
其中,λ1、λ2为损失函数的权重值;
根据循环对抗生成网络的重构损失函数Lc构建生成器损失函数LG:
交替迭代更新超分辨率图像生成网络模型参数,输出超分辨行人图像;
S3:训练行人重识别网络模型:
采用超分辨行人图像和高分辨率的行人图像输入行人重识别网络,行人重识别网络采用残差卷积神经网络结构提取图像中的行人特征,分类器将超分辨行人图像和高分辨率的行人图像中的真实行人特征区分;
S4:联合训练超分辨图像生成网络模型和行人重识别网络模型:
行人重识别网络训练中的参数回传到超分辨图像生成网络模型,更新超分辨图像生成网络参数,采用交替迭代更新参数,先更新判别器的参数,同时更新生成器和行人重识别网络的参数;
S5:选取低分辨率行人图像测试集、高分辨率行人图像测试集,低分辨率行人图像测试集与对应的行人属性向量z输入到联合训练后的超分辨率图像生成网络,生成高分辨率行人图像,
生成的高分辨率图像与高分辨率行人图像测试集分别通过联合训练后的行人重识别模型提取行人图像特征;
S6:计算行人图像特征的余弦相似度,余弦相似度越大的行人图像的相似程度越低,根据相似程度得到不同分辨率的行人图像匹配的结果。
作为优选的技术方案,步骤S2所述训练行人属性引导的超分辨率图像生成网络模型,具体图像生成步骤如下所述:
高分辨率图像h经过第一生成器Gh→l生成低分辨率图像低分辨率图像经过双立方插值放大,与复制后的行人属性向量进行通道拼接,经过第二生成器Gl→h得到重建的高分辨率图像
低分辨率图像l经过双立方插值放大,与复制后的行人属性向量进行通道拼接,经过第二生成器Gl→h生成高分辨率图像经过第一生成器Gh→l得到重建的低分辨率行人图像
作为优选的技术方案,所述交替迭代的更新方式具体步骤为:
采用链式法则计算损失函数对第一判别器Dh→l中所有参数的梯度,采用随机梯度下降算法更新第一判别器Dh→l中所有参数;
采用链式法则计算损失函数对第二判别器Dl→h中所有参数的梯度,采用随机梯度下降算法更新第二判别器Dl→h中所有参数;
采用链式法则计算损失函数LG对第一生成器Gh→l和第二生成器Gl→h中所有参数的梯度,采用随机梯度下降算法更新第一生成器Gh→l和第二生成器Gl→h中所有参数。
作为优选的技术方案,步骤S3所述训练行人重识别网络模型的具体步骤如下所述:
训练好行人属性引导的超分辨图像生成网络之后,将低分辨率行人图像l以及相应的行人属性z通过训练好的生成器Gl→h得到超分辨行人图像利用超分辨行人图像和高分辨率的行人图像h训练行人重识别网络Dreid,训练后行人重识别网络Dreid输出分别为:
f=Dreid(h);
其中,f和分别为高分辨率图像h和超分辨行人图像的特征
将行人特征f和输入到分类器C中,得到和行人类别相关的得分向量r和
r=C(f)=[r1,r2,…,rm,…,rM]∈RM;
其中,M为行人类别的数量,RM表示r和为实数域维度为M的向量,
rm表示行人高分辨率图像h的特征f属于第m类行人的得分,表示超分辨行人图像的特征属于第m类行人的得分;
将得分通过指数函数再进行归一化得到预测高分辨率的行人图像h为第m类行人的概率为:
预测超分辨行人图像为第m类行人的概率为:
使用交叉熵损失函数作为行人重识别网络损失函数Lreid:
其中,y为高分辨率的行人图像h、超分辨行人图像的真实的行人身份标签。
作为优选的技术方案,步骤S4所述联合训练超分辨图像生成网络模型和行人重识别网络模型,具体步骤如下所述:
超分辨图像生成网络判别器的损失函数LD保持不变;
超分辨行人图像部分的行人重识别的损失函数回传到超分辨生成网络模型,更新超分辨网络模型的参数;
构建联合训练过程中的生成器损失函数LG2为:
其中,表示第一生成器Gh→l的损失函数,表示第二生成器Gl→h的损失函数;Lc表示循环对抗生成网络的重构损失函数;表示超分辨行人图像的特征属于第m类行人的得分;表示预测超分辨行人图像为第m类行人的概率;y为高分辨率的行人图像h、超分辨行人图像的真实的行人身份标签。
作为优选的技术方案,步骤S4中所述采用交替迭代更新参数,具体步骤如下所述:
采用链式法则计算损失函数对第一判别器Dh→l中所有参数的梯度,采用随机梯度下降算法更新第一判别器Dh→l中所有参数;
采用链式法则计算损失函数对第二判别器Dl→h中所有参数的梯度,采用随机梯度下降算法更新第二判别器Dl→h中所有参数;
采用链式法则计算损失函数LG对第一生成器Gh→l、第二生成器Gl→h、行人重识别网络和分类器中所有参数的梯度,采用随机梯度下降算法同时更新第一生成器Gh→l、第二生成器Gl→h、行人重识别网络和分类器中所有参数。
作为优选的技术方案,步骤S6中所述计算行人图像特征的余弦相似度,余弦相似度的具体计算公式为:
其中,A为行人A的行人特征,B为行人B的行人特征,n表示的是行人特征向量的维度,i表示第i维行人特征,计算得到行人A和行人B的相似程度,结果越大,A和B相似程度越高。
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明采用循环对抗生成网络生成低分辨率图像相对应的高分辨率图像,解决由于图像层面上高平细节丢失的而导致识别效果不高的技术问题,并基于行人属性引导超分辨的图像生成,实现低分辨率图像细节恢复。
(2)本发明采用残差卷积神经网络ResNet-50提取行人的特征,联合训练超分辨图像生成网络和提取行人特征进行重识别的网络,扩大网络的容量,能够获得更好的低分辨率行人重识别的效果。
(3)本发明采用了将行人重识别损失函数作为总生成器损失函数组成部分的技术方案,解决了超分辨图像生成网络仅仅生成视觉效果好而识别效果不好的超分辨图像的技术问题,超分辨生成网络可以回复一些具有区分性的行人图像细节,达到了提高低分辨行人重识别识别率的技术效果。
附图说明
图1为本实施例属性引导的超分辨图像生成网络模型的结构示意图;
图2为本实施例低分辨率行人重识别网络训练过程示意图;
图3为本实施例训练行人属性引导的超分辨图像生成网络的图像生成过程示意图;
图4为本实施例训练行人属性引导的超分辨图像生成网络的图像真假判别过程示意图;
图5为本实施例低分辨率行人重识别的测试过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例:
针对低分辨率的行人重识别问题,本实施例提出了一种基于超分辨图像生成的低分辨率行人重识别***,该***包括行人属性引导的超分辨图像生成网络模型和行人重识别网络模型,
在本实施例中,行人属性引导的超分辨图像生成网络模型包括生成器和判别器,生成器采用条件循环对抗生成网络中的生成器,判别器采用条件循环对抗生成网络中的判别器;生成器包括第一生成器Gh→l和第二生成器Gl→h,判别器包括第一判别器Dh→l,第二判别器Dl→h;第一生成器Gh→l用于将高分辨率图像生成低分辨率图像,第二生成器Gl→h用于将低分辨率图像和行人属性向量生成高分辨率图像;所述第一判别器Dh→l用于判定低分辨率图像的真假,第二判别器Dl→h用于判定高分辨率图像以及属性的真假;所述行人属性引导的超分辨图像生成网络模型训练后生成超分辨率行人图像。
在本实施例中,行人重识别网络模型包括行人重识别网络和分类器,行人重识别网络采用残差卷积神经网络ResNet-50,用于提取图像中的行人特征,分类器用于将超分辨行人图像和高分辨率的行人图像中的真实行人身份区别。
本实施例还提供一种基于超分辨图像生成的低分辨率行人重识别方法,先训练行人属性引导的超分辨图像生成网络模型,然后得到低分辨率行人图像对应的超分辨行人图像,将高分辨和超分辨行人图像一起训练行人重识别网络,最后联合训练行人属性引导的超分辨图像生成网络模型和行人重识别模型,具体包括下述步骤:
S1:选取高分辨率行人图像样本h、低分辨率行人图像样本l;选取与行人图像对应的行人属性向量z,与行人图像不对应的行人属性向量在本实施例中,行人属性向量z是人工标定的,在行人数据库中选取行人属性的数据;
S2:训练行人属性引导的超分辨率图像生成网络模型:
如图1所示,定义l为具有属性向量z的低分辨率的行人图像样本,行人身份标签为y,h为l与具有相同行人身份标签的高分辨率的行人图像样本,h也同样具有属性向量z,为与行人图像不对应的行人属性向量,本实施例也称为假的行人属性向量。行人属性类型包括是否戴帽子,鞋子颜色深浅,穿短或者长上衣等等,不同的行人数据库标定的行人属性类型不同。
本实施例的目标是利用高低分辨率图像以及行人属性来学习一个超分辨率图像生成网络模型,即输入一个低分辨图像以及对应行人属性能够得到相应的超分辨行人图像。
本实施例采用条件循环对抗生成网络(CycleGAN)来实现行人属性引导的超分辨率图像生成网络模型。生成器包括第一生成器Gh→l和第二生成器Gl→h,判别器包括第一判别器Dh→l,第二判别器Dl→h;第一生成器Gh→l用于将高分辨率图像生成低分辨率图像,第二生成器Gl→h用于将低分辨率图像和行人属性向量生成高分辨率图像;
如图3所示,并结合图1,高分辨率图像h经过第一生成器Gh→l生成低分辨率图像低分辨率图像经过双立方插值放大,与复制后的行人属性向量进行通道拼接,经过第二生成器Gl→h得到重建的高分辨率图像低分辨率图像l经过双立方插值放大,与复制后的行人属性向量进行通道拼接,经过第二生成器Gl→h生成高分辨率图像经过第一生成器Gh→l得到重建的低分辨率行人图像本实施例中的通道拼接具体操作是将图像矩阵和复制行人属性向量得到的行人矩阵直接进行矩阵拼接,拼接的维度是按照RGB通道进行拼接。
在本实施例中,低分辨率图像样本l和生成的低分辨率图像经过第一判别器Dh→l分别得到判定为真实低分辨率图像的概率ρr=Dh→l(l)和第一判别器Dh→l的目标是当输入图像为真实低分辨率图像l时应该判定为真,当输入图像为生成低分辨率图像判定为假。第二判别器Dl→h的输入为高分辨率的图像以及属性,高分辨的行人图像样本h和该行人相应的属性z得到概率值sr=Dl→h(h,z),输入生成高分辨率图像和该行人相应的属性z得到概率值高分辨的行人图像样本h和假的行人属性向量即与图像不相符的属性得到概率值仅仅当输入的图像为真实的高分辨的行人图像样本h并且属性为图像对应的属性向量z时应该判定为真实。根据对抗生成网络(GAN)判别器鉴别图像的真假,构建如下的判别器损失函数LD:
第一判别器Dh→l的损失函数
第二判别器Dl→h的损失函数为:
根据对抗生成网络构建判别器损失函数LD为:
在本实施例中,判别器损失函数LD来表示整个***的判别损失。其中的来更新判别器Dh→l,用来更新Dl→h,互相不会有影响。
在本实施例中,生成器的目标是生成逼近真实的图像使得判别器无法区分图像的真假,根据循环对抗生成网络(CycleGAN)的重构损失函数Lc,构建如下的生成器损失函数LG:
第一生成器Gh→l的损失函数为:
第二生成器Gl→h的损失函数为:
循环对抗生成网络的重构损失函数Lc为:
其中,λ1、λ2为损失函数的权重值;权重λ1、λ2是用来平衡总生成器损失函数LG里面两个生成器的损失和重构损失比重,如果λ1、λ2大的话,则重构损失占得比重比较大,那么总生成器损失函数着重考虑整体的重构效果,较少考虑局部的生成损失;
根据循环对抗生成网络的重构损失函数Lc构建生成器损失函数LG:
通过优化这个总的生成器损失函数LG来同时优化第一生成器Gh→l和第二生成器Gl→h;
在本实施例中,训练行人属性引导的超分辨率图像生成网络模型采用交替迭代的更新方式,先优化判别器损失函数,使用梯度下降的方式更新判别器参数,再优化生成器损失函数,使用梯度下降的方式更新生成器参数,具体步骤如下所述:
利用链式法则计算损失函数对第一判别器Dh→l中所有参数的梯度,利用随机梯度下降算法更新第一判别器Dh→l中所有参数;
利用链式法则计算损失函数对第二判别器Dl→h中所有参数的梯度,利用随机梯度下降算法更新第二判别器Dl→h中所有参数;
利用链式法则计算损失函数LG对第一生成器Gh→l和第二生成器Gl→h中所有参数的梯度,利用随机梯度下降算法更新第一生成器Gh→l和第二生成器Gl→h中所有参数。
如图4所示,高分辨率行人图像样本h与对应的行人属性向量z、高分辨率行人图像样本h与不对应的行人属性向量重建的高分辨行人图像与对应的行人属性向量z分别输入到第二判别器Dl→h,判别高分辨率图像以及行人属性向量的真假;重建的低分辨率行人图像与低分辨率行人图像样本l输入到第一判别器Dh→l,判别低分辨行人图像的真假,具体步骤如下:
先利用双立方插值将32×16的RGB三通道低分辨率图像放大成与高分辨率图像相同的大小256×128,此时低分辨率的图像大小虽然放大到了和高分辨率图像的相同的大小,但是图像很模糊,因此本实施例仍然将放大后的低分辨率图像称为低分辨率图像。在生成网络中,行人属性向量z包含n个行人属性,通过复制的方式变成n×256×128大小的特征图,将放大之后的低分辨图像与复制后的属性拼接起来得到(3+n)×256×128大小的输入,经过生成器Gl→h生成256×128大小的RGB三通道高分辨率行人图像,而256×128大小的高分辨率行人图像直接经过生成器Gh→l生成低分辨率图像。在判别网络中,将高分辨率图像输入到判别器Dl→h的第一个卷积层conv1输出64×128×64的特征图,同样将n个行人属性通过复制的方式变成n×128×64的大小,然后与conv1特征图拼接得到(64+n)×128×64大小的特征图继续输入到后续网络里面。低分辨率直接输入到判别器Dh→l网络中进行判别。本实施例的训练过程的参数,设置重构损失函数中的权重λ1=10,λ2=10,学习率为0.0002,一个批次为16个样本,训练代数为200代。
S3:训练行人重识别网络;
如图2所示,训练好行人属性引导的超分辨图像生成网络之后,将低分辨率行人图像样本l以及相应的行人属性z通过训练好的生成器Gl→h得到超分辨行人图像利用超分辨行人图像和高分辨率的行人图像样本h一起来训练行人重识别网络Dreid。行人重识别网络采用残差卷积神经网络结构提取图像中的行人特征,分类器将超分辨行人图像和高分辨率的行人图像中的真实行人特征区分;
在本实施例中,训练好行人属性引导的超分辨图像生成网络之后,将低分辨率行人图像l以及相应的行人属性z通过训练好的生成器Gl→h得到超分辨行人图像利用超分辨行人图像和高分辨率的行人图像h训练行人重识别网络Dreid,训练后行人重识别网络Dreid输出分别为:
f=Dreid(h);
其中,f和分别为高分辨率图像h和超分辨行人图像的特征
将行人特征f和输入到分类器C中,得到和行人类别相关的得分向量r和
r=C(f)=[r1,r2,…,rm,…,rM]∈RM
其中,M为行人类别的数量,RM表示r和为实数域维度为M的向量,行人m是第m个行人,本实施例将行人的身份信息编码为1,2,….,m,…,M,行人m即身份信息为m的行人,rm表示行人图像h的特征f属于第m个行人(行人的类别为第m类)的得分,表示超分辨行人图像的特征属于第m个行人(行人的类别为第m类)的得分;
将得分通过指数函数再进行归一化得到预测高分辨率的行人图像h为行人m的概率为:
预测超分辨行人图像为行人m的概率为:
使用交叉熵损失函数作为行人重识别网络损失函数Lreid:
其中,y为高分辨率的行人图像h、超分辨行人图像的真实的行人身份标签。
具体地,所有的大小为32×16的低分辨率的行人图像先利用双立方插值成256×128大小,然后通过训练好的生成器Gl→h得到256×128大小的超分辨行人图像,同时所有的高分辨的行人图像都插值成256×128的图像,256×128大小的超分辨行人图像和高分辨的行人图像均作为行人重识别网络的输入。行人重识别网络采用残差卷积神经网络(ResNet-50)结构。用在ImageNet数据库上训练的ResNet-50作为网络的预训练模型,训练过程中的参数,设置学习率为0.01,一个批次为16个样本,训练代数为200代。
S4:联合训练超分辨图像生成网络和行人重识别网络;
为了获取更好的超分辨行人图像,以及更好的行人重识别效果,本实施例提出了联合训练超分辨图像生成网络以及行人重识别的网络。在联合训练的过程中,超分辨图像生成网络判别器的损失函数LD保持不变。关于超分辨行人图像部分的行人重识别的损失函数也会回传到超分辨生成网络来更新超分辨网络的参数,因此联合训练过程中的生成器损失函数为:
同时,最小化行人重识别损失函数Lreid来优化行人重识别网络。同样采用交替迭代更新的方式,先更新判别器的参数,然后同时更新生成器和行人重识别网络的参数,交替迭代更新的具体步骤为:
采用链式法则计算损失函数对第一判别器Dh→l中所有参数的梯度,采用随机梯度下降算法更新第一判别器Dh→l中所有参数;
采用链式法则计算损失函数对第二判别器Dl→h中所有参数的梯度,采用随机梯度下降算法更新第二判别器Dl→h中所有参数;
采用链式法则计算损失函数LG对第一生成器Gh→l、第二生成器Gl→h、行人重识别网络Dreid、分类器C中所有参数的梯度,采用随机梯度下降算法同时更新第一生成器Gh→l、第二生成器Gl→h、行人重识别网络、分类器中所有参数。
在本实施例中,具体的训练过程是利用训练好的行人属性引导的超分辨图像生成网络,以及行人重识别网络作为联合训练的初始化,超分辨图像生成网络参数更新的学习率为0.0002,行人重识别网络参数更新的学习率为0.01,一个批次为16个样本,训练代数为100代。
S5:选取低分辨率行人图像测试集、高分辨率行人图像测试集,低分辨率行人图像测试集与对应的行人属性向量z输入到联合训练后的超分辨率图像生成网络,生成高分辨率行人图像,
生成的高分辨率图像与高分辨率行人图像测试集分别通过联合训练后的行人重识别模型进行行人图像特征提取;本实施例利用联合训练里面的行人重识别网络进行行人图像的特征提取,输入行人图像到行人重识别网络,行人重识别网络的输出即为行人图像特征。
S6:计算行人图像特征的余弦相似度,余弦相似度越大的行人图像的相似程度越低,根据相似程度得到不同分辨率的行人图像匹配的结果。
在本实施例中,低分辨率行人重识别的任务是匹配不同分辨率的行人图像,如图5所示,设定查询的行人图像query为32×16的低分辨率行人图像,被查询的行人图像集gallery均为高分辨率的行人图像,都通过插值变成256×128的行人图像。联合训练超分辨图像生成网络和行人重识别网络之后,对于32×16的低分辨行人图像,首先插值成256×128大小,然后利用超分辨图像生成网络模型得到相应的256×128高分辨率的行人图像,然后利用行人重识别网络提取行人特征,而高分辨行人图像直接利用行人重识别网络提取行人图像特征。得到行人的特征之后,计算行人特征的余弦相似度,余弦相似度越大的行人图像的相似程度越低,根据相似程度得到匹配的结果。
在本实施例中,余弦相似度的具体计算公式为:
其中,A为行人A的行人特征,B为行人B的行人特征,n表示的是行人特征向量的维度,i表示第i维行人特征,计算得到行人A和行人B的相似程度,结果越大,A和B相似程度越高。
本实施例针对行人图像由于分辨率过低丢失判别性的信息从而导致行人重识别的效果差的问题,通过联合训练行人属性引导的分辨行人图像生成网络模型和行人重识别网络模型来提高低分辨率行人重识别的效果。具体采用循环对抗生成网络生成低分辨率图像相对应的高分辨率图像,解决由于图像层面上高平细节丢失的而导致识别效果不高的技术问题,并基于行人属性引导超分辨的图像生成,实现低分辨率图像细节恢复;具体采用残差卷积神经网络ResNet-50提取行人的特征,联合训练超分辨图像生成网络和提取行人特征进行重识别的网络,扩大网络的容量,获得了更好的低分辨率行人重识别的效果。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种基于超分辨图像生成的低分辨率行人重识别***,其特征在于,包括行人属性引导的超分辨图像生成网络模型和行人重识别网络模型,
所述行人属性引导的超分辨图像生成网络模型包括生成器和判别器,生成器包括第一生成器Gh→l和第二生成器Gl→h,判别器包括第一判别器Dh→l,第二判别器Dl→h;
所述第一生成器Gh→l用于将高分辨率图像生成低分辨率图像,第二生成器Gl→h用于将低分辨率图像和行人属性向量生成高分辨率图像;
所述第一判别器Dh→l用于判定低分辨率图像的真假,第二判别器Dl→h用于判定高分辨率图像以及属性的真假;
所述行人属性引导的超分辨图像生成网络模型训练后生成超分辨率行人图像;
所述行人重识别网络模型包括行人重识别网络和分类器,所述行人重识别网络用于提取图像中的行人特征,所述分类器用于将超分辨行人图像和高分辨率的行人图像中的真实行人身份区别。
2.根据权利要求1所述的基于超分辨图像生成的低分辨率行人重识别***,其特征在于,所述行人属性引导的超分辨图像生成网络模型的生成器采用条件循环对抗生成网络中的生成器,判别器采用条件循环对抗生成网络中的判别器。
3.根据权利要求1所述的基于超分辨图像生成的低分辨率行人重识别***,其特征在于,所述行人重识别网络采用残差卷积神经网络ResNet-50。
4.一种基于超分辨图像生成的低分辨率行人重识别方法,其特征在于,包括下述步骤:
S1:选取高分辨率行人图像样本h、低分辨率行人图像样本l,选取与行人图像对应的行人属性向量z、与行人图像不对应的行人属性向量
S2:训练行人属性引导的超分辨率图像生成网络模型:
采用条件循环对抗生成网络构建超分辨率图像生成网络,高分辨率图像h经过第一生成器Gh→l生成低分辨率图像低分辨率图像与行人属性向量经过第二生成器Gl→h得到重建的高分辨率图像
低分辨率图像l与行人属性向量经过第二生成器Gl→h生成高分辨率图像经过第一生成器Gh→l得到重建的低分辨率行人图像
低分辨率图像l和生成的低分辨率图像经过第一判别器Dh→l得到判定为真实低分辨率图像的概率分别为:ρr=Dh→l(l)和
高分辨率图像h和行人属性向量z经过第二判别器Dl→h得到概率值:
sr=Dl→h(h,z);
生成的高分辨率图像和行人属性向量z进行通道拼接后,经过第二判别器Dl→h得到概率值:
高分辨率图像h和与图像不相符的行人属性向量经过第二判别器Dl→h得到概率值:
第一判别器Dh→l的损失函数为:
第二判别器Dl→h的损失函数为:
根据对抗生成网络构建判别器损失函数LD:
第一生成器Gh→l的损失函数为:
第二生成器Gl→h的损失函数为:
循环对抗生成网络的重构损失函数Lc为:
其中,λ1、λ2为损失函数的权重值;
根据循环对抗生成网络的重构损失函数Lc构建生成器损失函数LG:
交替迭代更新超分辨率图像生成网络模型参数,输出超分辨行人图像;
S3:训练行人重识别网络模型:
采用超分辨行人图像和高分辨率的行人图像输入行人重识别网络,行人重识别网络采用残差卷积神经网络结构提取图像中的行人特征,分类器将超分辨行人图像和高分辨率的行人图像中的真实行人特征区分;
S4:联合训练超分辨图像生成网络模型和行人重识别网络模型:
行人重识别网络训练中的参数回传到超分辨图像生成网络模型,更新超分辨图像生成网络参数,采用交替迭代更新参数,先更新判别器的参数,同时更新生成器和行人重识别网络的参数;
S5:选取低分辨率行人图像测试集、高分辨率行人图像测试集,低分辨率行人图像测试集与对应的行人属性向量z输入到联合训练后的超分辨率图像生成网络,生成高分辨率行人图像,
生成的高分辨率图像与高分辨率行人图像测试集分别通过联合训练后的行人重识别模型提取行人图像特征;
S6:计算行人图像特征的余弦相似度,余弦相似度越大的行人图像的相似程度越低,根据相似程度得到不同分辨率的行人图像匹配的结果。
5.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法,其特征在于,步骤S2所述训练行人属性引导的超分辨率图像生成网络模型,具体图像生成步骤如下所述:
高分辨率图像h经过第一生成器Gh→l生成低分辨率图像低分辨率图像经过双立方插值放大,与复制后的行人属性向量进行通道拼接,经过第二生成器Gl→h得到重建的高分辨率图像
低分辨率图像l经过双立方插值放大,与复制后的行人属性向量进行通道拼接,经过第二生成器Gl→h生成高分辨率图像经过第一生成器Gh→l得到重建的低分辨率行人图像
6.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法,其特征在于,所述交替迭代的更新方式具体步骤为:
采用链式法则计算损失函数对第一判别器Dh→l中所有参数的梯度,采用随机梯度下降算法更新第一判别器Dh→l中所有参数;
采用链式法则计算损失函数对第二判别器Dl→h中所有参数的梯度,采用随机梯度下降算法更新第二判别器Dl→h中所有参数;
采用链式法则计算损失函数LG对第一生成器Gh→l和第二生成器Gl→h中所有参数的梯度,采用随机梯度下降算法更新第一生成器Gh→l和第二生成器Gl→h中所有参数。
7.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法,其特征在于,步骤S3所述训练行人重识别网络模型的具体步骤如下所述:
训练好行人属性引导的超分辨图像生成网络之后,将低分辨率行人图像l以及相应的行人属性z通过训练好的生成器Gl→h得到超分辨行人图像利用超分辨行人图像和高分辨率的行人图像h训练行人重识别网络Dreid,训练后行人重识别网络Dreid输出分别为:
f=Dreid(h);
其中,f和分别为高分辨率图像h和超分辨行人图像的特征
将行人特征f和输入到分类器C中,得到和行人类别相关的得分向量r和
r=C(f)=[r1,r2,...,rm,...,rM]∈RM;
其中,M为行人类别的数量,RM表示r和为实数域维度为M的向量,
rm表示行人高分辨率图像h的特征f属于第m类行人的得分,表示超分辨行人图像的特征属于第m类行人的得分;
将得分通过指数函数再进行归一化得到预测高分辨率的行人图像h为第m类行人的概率为:
预测超分辨行人图像为第m类行人的概率为:
使用交叉熵损失函数作为行人重识别网络损失函数Lreid:
其中,y为高分辨率的行人图像h、超分辨行人图像的真实的行人身份标签。
8.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法,其特征在于,步骤S4所述联合训练超分辨图像生成网络模型和行人重识别网络模型,具体步骤如下所述:
超分辨图像生成网络判别器的损失函数LD保持不变;
超分辨行人图像部分的行人重识别的损失函数回传到超分辨生成网络模型,更新超分辨网络模型的参数;
构建联合训练过程中的生成器损失函数LG2为:
其中,表示第一生成器Gh→l的损失函数,表示第二生成器Gl→h的损失函数;Lc表示循环对抗生成网络的重构损失函数;表示超分辨行人图像的特征属于第m类行人的得分;表示预测超分辨行人图像为第m类行人的概率;y为高分辨率的行人图像h、超分辨行人图像的真实的行人身份标签。
9.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法,其特征在于,步骤S4中所述采用交替迭代更新参数,具体步骤如下所述:
采用链式法则计算损失函数对第一判别器Dh→l中所有参数的梯度,采用随机梯度下降算法更新第一判别器Dh→l中所有参数;
采用链式法则计算损失函数对第二判别器Dl→h中所有参数的梯度,采用随机梯度下降算法更新第二判别器Dl→h中所有参数;
采用链式法则计算损失函数LG对第一生成器Gh→l、第二生成器Gl→h、行人重识别网络和分类器中所有参数的梯度,采用随机梯度下降算法同时更新第一生成器Gh→l、第二生成器Gl→h、行人重识别网络和分类器中所有参数。
10.根据权利要求4所述的基于超分辨图像生成的低分辨率行人重识别方法,其特征在于,步骤S6中所述计算行人图像特征的余弦相似度,余弦相似度的具体计算公式为:
其中,A为行人A的行人特征,B为行人B的行人特征,n表示的是行人特征向量的维度,i表示第i维行人特征,计算得到行人A和行人B的相似程度,结果越大,A和B相似程度越高。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910191960.3A CN109993072B (zh) | 2019-03-14 | 2019-03-14 | 基于超分辨图像生成的低分辨率行人重识别***和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910191960.3A CN109993072B (zh) | 2019-03-14 | 2019-03-14 | 基于超分辨图像生成的低分辨率行人重识别***和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109993072A true CN109993072A (zh) | 2019-07-09 |
CN109993072B CN109993072B (zh) | 2021-05-25 |
Family
ID=67130662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910191960.3A Active CN109993072B (zh) | 2019-03-14 | 2019-03-14 | 基于超分辨图像生成的低分辨率行人重识别***和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109993072B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110516569A (zh) * | 2019-08-15 | 2019-11-29 | 华侨大学 | 一种基于身份和非身份属***互学习的行人属性识别方法 |
CN110688897A (zh) * | 2019-08-23 | 2020-01-14 | 深圳久凌软件技术有限公司 | 一种基于联合判断与生成学习的行人重识别方法及装置 |
CN110765864A (zh) * | 2019-09-17 | 2020-02-07 | 北京大学 | 一种基于分辨率无关特征的图片行人再识别***及方法 |
CN111340700A (zh) * | 2020-02-21 | 2020-06-26 | 北京中科虹霸科技有限公司 | 模型生成方法、分辨率提高方法、图像识别方法及装置 |
CN111738048A (zh) * | 2020-03-10 | 2020-10-02 | 重庆大学 | 一种行人再识别的方法 |
CN111883222A (zh) * | 2020-09-28 | 2020-11-03 | 平安科技(深圳)有限公司 | 文本数据的错误检测方法、装置、终端设备及存储介质 |
CN111967408A (zh) * | 2020-08-20 | 2020-11-20 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于“预测-恢复-识别”的低分辨率行人重识别方法及*** |
CN112528788A (zh) * | 2020-12-01 | 2021-03-19 | 重庆兆光科技股份有限公司 | 一种基于域不变特征和时空特征的重识别方法 |
CN112992304A (zh) * | 2020-08-24 | 2021-06-18 | 湖南数定智能科技有限公司 | 高分辨率红眼病案例数据生成方法、设备及存储介质 |
CN113033410A (zh) * | 2021-03-26 | 2021-06-25 | 中山大学 | 基于自动数据增强的域泛化行人重识别方法、***及介质 |
CN113344110A (zh) * | 2021-06-26 | 2021-09-03 | 浙江理工大学 | 一种基于超分辨率重建的模糊图像分类方法 |
CN113486688A (zh) * | 2020-05-27 | 2021-10-08 | 海信集团有限公司 | 一种人脸识别方法及智能设备 |
CN113591825A (zh) * | 2021-10-08 | 2021-11-02 | 湖南大学 | 基于超分辨网络的目标搜索重建方法、装置及存储介质 |
CN117612266A (zh) * | 2024-01-24 | 2024-02-27 | 南京信息工程大学 | 基于多尺度图像及特征层对齐的跨分辨率行人重识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
CN107133601A (zh) * | 2017-05-13 | 2017-09-05 | 五邑大学 | 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法 |
CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
CN108573479A (zh) * | 2018-04-16 | 2018-09-25 | 西安电子科技大学 | 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法 |
CN108573222A (zh) * | 2018-03-28 | 2018-09-25 | 中山大学 | 基于循环对抗生成网络的行人图像遮挡检测方法 |
-
2019
- 2019-03-14 CN CN201910191960.3A patent/CN109993072B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
CN107133601A (zh) * | 2017-05-13 | 2017-09-05 | 五邑大学 | 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法 |
CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
CN108573222A (zh) * | 2018-03-28 | 2018-09-25 | 中山大学 | 基于循环对抗生成网络的行人图像遮挡检测方法 |
CN108573479A (zh) * | 2018-04-16 | 2018-09-25 | 西安电子科技大学 | 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法 |
Non-Patent Citations (3)
Title |
---|
JIENING JIAO 等: "Deep Low-Resolution Person Re-Identification", 《ELECTRONIC ENGINEERING AND COMPUTER SCIENCE》 * |
XIANG LI 等: "Multi-scale Learning for Low-resolution Person Re-identification", 《IEEE》 * |
高媛 等: "基于深度残差生成对抗网络的医学影像超分辨率算法", 《计算机应用》 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110516569A (zh) * | 2019-08-15 | 2019-11-29 | 华侨大学 | 一种基于身份和非身份属***互学习的行人属性识别方法 |
CN110688897A (zh) * | 2019-08-23 | 2020-01-14 | 深圳久凌软件技术有限公司 | 一种基于联合判断与生成学习的行人重识别方法及装置 |
CN110765864A (zh) * | 2019-09-17 | 2020-02-07 | 北京大学 | 一种基于分辨率无关特征的图片行人再识别***及方法 |
CN111340700A (zh) * | 2020-02-21 | 2020-06-26 | 北京中科虹霸科技有限公司 | 模型生成方法、分辨率提高方法、图像识别方法及装置 |
CN111340700B (zh) * | 2020-02-21 | 2023-04-25 | 北京中科虹霸科技有限公司 | 模型生成方法、分辨率提高方法、图像识别方法及装置 |
CN111738048A (zh) * | 2020-03-10 | 2020-10-02 | 重庆大学 | 一种行人再识别的方法 |
CN111738048B (zh) * | 2020-03-10 | 2023-08-22 | 重庆大学 | 一种行人再识别的方法 |
CN113486688A (zh) * | 2020-05-27 | 2021-10-08 | 海信集团有限公司 | 一种人脸识别方法及智能设备 |
CN111967408A (zh) * | 2020-08-20 | 2020-11-20 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于“预测-恢复-识别”的低分辨率行人重识别方法及*** |
CN111967408B (zh) * | 2020-08-20 | 2022-06-21 | 中科人工智能创新技术研究院(青岛)有限公司 | 基于“预测-恢复-识别”的低分辨率行人重识别方法及*** |
CN112992304B (zh) * | 2020-08-24 | 2023-10-13 | 湖南数定智能科技有限公司 | 高分辨率红眼病案例数据生成方法、设备及存储介质 |
CN112992304A (zh) * | 2020-08-24 | 2021-06-18 | 湖南数定智能科技有限公司 | 高分辨率红眼病案例数据生成方法、设备及存储介质 |
CN111883222A (zh) * | 2020-09-28 | 2020-11-03 | 平安科技(深圳)有限公司 | 文本数据的错误检测方法、装置、终端设备及存储介质 |
CN111883222B (zh) * | 2020-09-28 | 2020-12-22 | 平安科技(深圳)有限公司 | 文本数据的错误检测方法、装置、终端设备及存储介质 |
CN112528788A (zh) * | 2020-12-01 | 2021-03-19 | 重庆兆光科技股份有限公司 | 一种基于域不变特征和时空特征的重识别方法 |
CN112528788B (zh) * | 2020-12-01 | 2023-11-21 | 重庆兆光科技股份有限公司 | 一种基于域不变特征和时空特征的重识别方法 |
CN113033410A (zh) * | 2021-03-26 | 2021-06-25 | 中山大学 | 基于自动数据增强的域泛化行人重识别方法、***及介质 |
CN113033410B (zh) * | 2021-03-26 | 2023-06-06 | 中山大学 | 基于自动数据增强的域泛化行人重识别方法、***及介质 |
CN113344110A (zh) * | 2021-06-26 | 2021-09-03 | 浙江理工大学 | 一种基于超分辨率重建的模糊图像分类方法 |
CN113344110B (zh) * | 2021-06-26 | 2024-04-05 | 浙江理工大学 | 一种基于超分辨率重建的模糊图像分类方法 |
CN113591825A (zh) * | 2021-10-08 | 2021-11-02 | 湖南大学 | 基于超分辨网络的目标搜索重建方法、装置及存储介质 |
CN117612266A (zh) * | 2024-01-24 | 2024-02-27 | 南京信息工程大学 | 基于多尺度图像及特征层对齐的跨分辨率行人重识别方法 |
CN117612266B (zh) * | 2024-01-24 | 2024-04-19 | 南京信息工程大学 | 基于多尺度图像及特征层对齐的跨分辨率行人重识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109993072B (zh) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109993072A (zh) | 基于超分辨图像生成的低分辨率行人重识别***和方法 | |
CN110163110B (zh) | 一种基于迁移学习和深度特征融合的行人重识别方法 | |
CN109948425B (zh) | 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置 | |
CN109522857B (zh) | 一种基于生成式对抗网络模型的人数估计方法 | |
CN108537136A (zh) | 基于姿态归一化图像生成的行人重识别方法 | |
CN111325115B (zh) | 带有三重约束损失的对抗跨模态行人重识别方法和*** | |
CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
CN112507901B (zh) | 一种基于伪标签自纠正的无监督行人重识别方法 | |
CN108021947B (zh) | 一种基于视觉的分层极限学习机目标识别方法 | |
CN109446898A (zh) | 一种基于迁移学习和特征融合的行人重识别方法 | |
CN112396027A (zh) | 基于图卷积神经网络的车辆重识别方法 | |
CN109543602A (zh) | 一种基于多视角图像特征分解的行人再识别方法 | |
CN109670528A (zh) | 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法 | |
CN107463920A (zh) | 一种消除局部遮挡物影响的人脸识别方法 | |
CN111310668B (zh) | 一种基于骨架信息的步态识别方法 | |
CN107463954B (zh) | 一种模糊异谱图像的模板匹配识别方法 | |
CN104298992B (zh) | 一种基于数据驱动的自适应尺度行人重识别方法 | |
CN105760821A (zh) | 基于核空间的分类聚集稀疏表示的人脸识别方法 | |
CN109614853A (zh) | 一种基于身体结构划分的双线性行人再识别网络构建方法 | |
CN109063643B (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
CN113096169B (zh) | 一种非刚性多模医学图像的配准模型建立方法及其应用 | |
CN108985200A (zh) | 一种基于终端设备的非配合式的活体检测算法 | |
CN108108716A (zh) | 一种基于深度信念网络的回环检测方法 | |
CN114241517A (zh) | 基于图像生成和共享学习网络的跨模态行人重识别方法 | |
CN109598711A (zh) | 一种基于特征挖掘和神经网络的热图像缺陷提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |