CN113128456B - 一种联合图片生成的行人重识别方法 - Google Patents
一种联合图片生成的行人重识别方法 Download PDFInfo
- Publication number
- CN113128456B CN113128456B CN202110485010.9A CN202110485010A CN113128456B CN 113128456 B CN113128456 B CN 113128456B CN 202110485010 A CN202110485010 A CN 202110485010A CN 113128456 B CN113128456 B CN 113128456B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- picture
- model
- characteristic information
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 13
- 238000000926 separation method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种联合图片生成的行人重识别方法。本发明基于对抗生成网络GAN对行人图片进行重识别,并在对抗生成网络的训练过程中,使用类似无监督的学习方法,采用教师模型来预测行人图片的身份(特征信息),指导GAN的特征编码器,更充分地利用了生成样本的信息,提升模型质量,得到精度更高的学生模型,本发明不需要引入额外的标注信息和预训练模型等,可以提高行人重识别算法在不同场景的适用性。此外,本发明还利用了三元组损失的思想,扩充数据缩短类内差异的同时,增加了类间差异,进一步提高了识别精度。
Description
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种联合图片生成的行人重识别方法。
背景技术
行人重识别是指已知一个待检索的行人图片,在不重叠的相机拍摄图片数据库中检索出该行人其他图片,通常视为度量学习问题。其难点在于由不同摄像机拍摄的图片在行人外观、姿态、背景等信息上具有严重的类内差异性。同时,行人在特定视角下也会具有一定的类间相似性。随着近年深度卷积网络的发展,对行人图片更鲁棒、识别能力更强的表示让行人重识别取得巨大进展,在一些数据集上甚至表现比人类识别表现更好。
为了减小类内差异的影响,一些方法将行人图片进行部件分割,进而通过部件匹配或将部件特征直接嵌入到行人特征表示中。虽然鲁棒的度量学习策略一定程度上解决了数据不足的问题,然而引入额外的行人图片可以直接增加模型的准确性。随着生成对抗网络的发展,生成模型在扩充数据中广泛应用,一些方法通过生成新样本来扩充原数据集。但通过生成样本的方法还存在生成样本的区别信息较少、样本的身份真实度不高、生成模型与重识别模型分离等问题。
现有的技术方案通常引入姿态或语义等信息来生成样本,如2018年计算机视觉会议NeurIPS上发表的《FD-GAN:Pose-guided Feature Distilling GAN for Robust PersonRe-identification》公布了一种对行人图片提取身份信息,结合人体姿态利用GAN生成对应姿态行人图片的方法;2019年计算机视觉会议CVPR上发表的《Joint Discriminativeand Generative Learning for Person Re-identification》公布了一种将行人身份特征编码器嵌入到行人重识别模型中的联合学习框架,同时利用预训练的行人重识别模型作为教师模型对生成样本分配伪标签。然而,在实际应用中,预训练且识别精度较高的模型不一定存在。
发明内容
有鉴于此,本发明提供了一种联合图片生成的行人重识别方法,基于生成对抗网络(GAN)使用编码器解码器结构生成未标注样本,引入教师模型对生成样本进行身份预测,不需要引入额外的标注信息和预训练模型等,可提高识别精度,并提高行人重识别算法在不同场景的适用性。
本发明的联合图片生成的行人重识别方法,采用生成对抗网络完成图片生成和重识别,所述生成对抗网络包括特征编码器、结构编码器、生成器和判别器;其中,还包括教师模型,所述教师模型用于识别输入行人图片的特征信息;以所述特征编码器作为学生模型,教师模型的结构与所述特征编码器的结构一致;教师模型的参数更新方式为:当前时刻教师模型的参数为当前时刻学生模型的参数和上一时刻教师模型参数的加权和,教师模型参数的初始值取特征编码器参数的初始值;
生成对抗网络的损失函数还包括当前时刻教师模型识别的特征信息与当前时刻特征编码器识别的特征信息的一致性损失;
针对待识别的行人图片,由生成对抗网络中的特征编码器获取其特征信息,并将特征信息与样本集中数据进行比对,完成行人身份识别。
较优的,当前时刻教师模型的参数为上一时刻教师模型参数与当前时刻特征编码器参数的指数加权平均和。
较优的,生成对抗网络的损失函数还包括三元组损失,其中,三元组损失Ltrip为:
较优的,完成生成对抗网络训练后,针对待识别的行人图片,直接由教师模型获取其特征信息,并将特征信息与样本集中数据进行比对,完成行人身份识别。
有益效果:
(1)本发明基于生成对抗网络GAN对行人图片进行重识别,并在生成对抗网络的训练过程中,使用类似无监督的学习方法,采用教师模型来预测行人图片的身份(特征信息),指导GAN的特征编码器,更充分地利用了生成样本的信息,提升模型质量,得到精度更高的学生模型,本发明不需要引入额外的标注信息和预训练模型等,可以提高行人重识别算法在不同场景的适用性。
(2)教师模型采用加权平均方法更新模型参数,不需要通过迭代训练来更新模型参数,节约了训练时间和减小了整体模型的复杂度。
(3)本发明利用了三元组损失的思想,扩充数据缩短类内差异的同时,增加了类间差异,进一步提高了识别精度。
附图说明
图1为本发明方法的流程示意图;
图2为本发明的整体模型结构示意图;
图3为本发明的平均教师模型的结构示意图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
本发明提供了一种联合图片生成的行人重识别方法,其流程图如图1所示,具体包括如下步骤:
步骤1,从样本数据集中读取数据,获取数据集中行人图片xi(xi∈X,i=1,2…,N,N为样本数据集中图片总数)及其标注身份信息yk(yk∈Y,k=1,2…,K,K为样本数据集中身份类别总个数)。
步骤2,构建生成对抗网络(GAN):
生成对抗网络(GAN)包括编码器E、生成器G和判别器D,其中,编码器又包括结构编码器Es和特征编码器Ef;生成对抗网络的整体结构如图2所示。
将读取的带有身份标识的行人图片xi输入至结构编码器Es和特征编码器Ef,分别获取行人图片的结构信息si和特征信息fi,其中结构信息包含图片背景、行人姿态等信息,特征信息包含与身份识别有关的信息,然后利用生成器G进行图片的重构;其中生成器G的图片重构包括自我重构和交叉重构:
(1)自我重构:
行人图片xi通过两个方法实现自我重构:
(1-1)将行人图片xi的特征信息fi和结构信息si进行重构,生成特征信息为fi、结构信息为si的重构图片如图2中的第二行的图片所示;本重构的约束条件为重构生成图片与原行人图片保持身份一致且像素上一致,因此可通过像素上一致的方法来求解损失,即本重构使用l1方法计算损失:
其中,G表示生成器,E表示期望计算,“|| ||1”表示l1损失计算方法。
(1-2)利用与图片xi具有同一身份行人但具有其他不同结构信息的图片xk,将图片xi的结构信息si和图片xk的特征信息fk通过生成器G重构,生成特征信息为fk、结构信息为si的图片如图2中的第三行的图片所述;同样的,本重构的约束条件为生成图片与原行人图片保持身份一致且像素上一致,因此亦可通过像素上一致的方法来求解损失,即本重构使用l1方法计算损失:
以上两种重构方法作为对生成器G的主要约束,后者促进了聚合相同身份的特征信息,减少类内特征的差异。
同时,本发明引入身份损失来保证不同身份的特征信息保持分离:
其中p(yi|xi)是基于特征信息对图片xi的身份预测与其真实值yi的一致性比较。公式中的log以e为底,下同。
(2)交叉重构:
交叉重构是将不同身份的两张行人图片混合生成一张图片,其中行人图片xi提供特征编码器Ef编码的特征信息fi、不同身份的行人图片xj提供结构编码器Es编码的结构信息sj,重构生成的图片即在xj的结构信息sj上保持xi的特征信息fi,如图2中的第一行的图片所述。由于没有真实值,无法通过图片像素上一致的方法来求解损失,但是,本重构生成图片的特征信息和结构信息,约束条件为与原输入信息保持一致,因此可认为生成图片与特征信息来源行人图片在身份特征上具有部分一致性,因此,本重构对生成图片的特征信息和结构信息分别进行损失计算:
同样的,也使用身份损失保持其特征信息在身份上的分离:
最后采用判别器D,对生成图片的真实性进行判别。
使用GAN生成图片不可避免地会引入对抗损失来保证生成图片的真实性,所述对抗损失为:
Ladv=E[log D(xi)+log(1-D(G(fi,sj)))] (7)
对于交叉重构,由于生成的交叉身份图片的身份信息难以界定,本发明除了假设与特征信息身份来源一致外,还使用教师模型来预测身份,指导GAN中特征编码器的识别。
以GAN中的特征编码器作为学生模型,构建教师模型,其中,教师模型的结构与特征编码器的结构一致,教师模型的初始参数取特征编码器的初始参数;在GAN的训练过程中,教师模型的参数随学生模型更新,而不是与学生模型一样通过损失函数来优化更新,教师模型更新为上一时刻教师模型参数和当前时刻学生模型参数的加权和。
本实施例中,当前时刻教师模型参数θt'采用当前时刻学生模型的参数θt和上一时刻的教师模型参数θ′t-1的指数加权,即:
θ′t=αθ′t-1+(1-α)θt (8)
其中,α是平滑系数。
采用平均权重教师模型可替代预训练重识别模型对生成图片进行身份标注,同时教师模型不通过损失函数更新,降低了整体模型的复杂度,平均权重教师模型的结构示意如图3所示。
本发明认为,在模型训练前期,教师模型比学生模型具有更高的行人重识别精度。为了使学生模型预测与教师模型一致,使用l2损失构成二者(学生模型和教师模型)预测的一致性损失函数:
此外,在交叉重构过程中,本实施例还对图片xi、xj、特征信息使用三元组损失。由于生成的图片期望在xj的结构下保持xi的特征,不可避免地会与xj有特征上的相似,为了提升生成图片身份的辨别性,引入特征分离损失,采用类似三元组的模式,使生成图片分别和两种行人身份图片的特征信息距离大于m,构成特征分离损失函数。
具体的,将上述三张图片作为一个三元组,特征编码器作为映射函数,可得到特征三元组损失:
将上述损失函数(式(1)~式(7),式(9)~式(10))加权相加,得到总损失函数:
利用样本集数据来优化特征编码器Ef、结构编码器Es、生成器和判别器D,最终获得训练好的生成对抗网络。
针对待识别行人图片,由特征编码器识别该行人图片的特征信息,然后与样本集中数据进行比对,完成行人身份识别。
为了证明本发明方法的有效性,在Market1501和DukeMTMC-reID数据集上进行了对比实验,实验结果如表1所示,分别是基础网络、只使用平均教师损失、只使用三元组损失和二者都使用的结果。实验表明,该发明方法效果有益,使行人重识别模型准确度更高。
表1
本发明还与当前效果较好的已发表方法进行对比,结果如表2所示,上半部分为没有使用生成样本的有监督方法,下半部分为使用了生成样本的方法,我们分别测试特征编码器Ef和教师模型Et。实验表明,本发明方法在其中非常具有挑战性且准确度更高。
表2
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种联合图片生成的行人重识别方法,采用生成对抗网络完成图片生成和重识别,所述生成对抗网络包括特征编码器、结构编码器、生成器和判别器;其特征在于,还包括教师模型,所述教师模型用于识别输入行人图片的特征信息;以所述特征编码器作为学生模型,教师模型的结构与所述特征编码器的结构一致;教师模型的参数更新方式为:当前时刻教师模型的参数为当前时刻学生模型的参数和上一时刻教师模型参数的加权和,教师模型参数的初始值取特征编码器参数的初始值;
生成对抗网络的损失函数还包括当前时刻教师模型识别的特征信息与当前时刻特征编码器识别的特征信息的一致性损失;
针对待识别的行人图片,由生成对抗网络中的特征编码器获取其特征信息,并将特征信息与样本集中数据进行比对,完成行人身份识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110485010.9A CN113128456B (zh) | 2021-04-30 | 2021-04-30 | 一种联合图片生成的行人重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110485010.9A CN113128456B (zh) | 2021-04-30 | 2021-04-30 | 一种联合图片生成的行人重识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113128456A CN113128456A (zh) | 2021-07-16 |
CN113128456B true CN113128456B (zh) | 2023-04-07 |
Family
ID=76780750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110485010.9A Active CN113128456B (zh) | 2021-04-30 | 2021-04-30 | 一种联合图片生成的行人重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113128456B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934117A (zh) * | 2019-02-18 | 2019-06-25 | 北京联合大学 | 基于生成对抗网络的行人重识别检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008842A (zh) * | 2019-03-09 | 2019-07-12 | 同济大学 | 一种基于深度多损失融合模型的行人重识别方法 |
CN110427813B (zh) * | 2019-06-24 | 2023-06-09 | 中国矿业大学 | 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法 |
KR102225022B1 (ko) * | 2019-08-27 | 2021-03-08 | 연세대학교 산학협력단 | 사람 재식별 장치 및 방법 |
-
2021
- 2021-04-30 CN CN202110485010.9A patent/CN113128456B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934117A (zh) * | 2019-02-18 | 2019-06-25 | 北京联合大学 | 基于生成对抗网络的行人重识别检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113128456A (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
AU2014368997B2 (en) | System and method for identifying faces in unconstrained media | |
CN112800903B (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及*** | |
CN108230291B (zh) | 物体识别***训练方法、物体识别方法、装置和电子设备 | |
CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
CN109255289B (zh) | 一种基于统一式生成模型的跨衰老人脸识别方法 | |
WO2022052530A1 (zh) | 人脸矫正模型的训练方法、装置、电子设备及存储介质 | |
CN113705290A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN111931908B (zh) | 一种基于人脸轮廓的人脸图像自动生成方法 | |
CN116311483B (zh) | 基于局部面部区域重构和记忆对比学习的微表情识别方法 | |
CN114220154A (zh) | 一种基于深度学习的微表情特征提取与识别方法 | |
CN117611932B (zh) | 基于双重伪标签细化和样本重加权的图像分类方法及*** | |
CN114387641A (zh) | 基于多尺度卷积网络和ViT的虚假视频检测方法及*** | |
CN112364791A (zh) | 一种基于生成对抗网络的行人重识别方法和*** | |
CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
CN112784783A (zh) | 基于虚拟样本的行人重识别方法 | |
WO2022166840A1 (zh) | 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备 | |
CN113822790B (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
CN112380374B (zh) | 一种基于语义扩充的零样本图像分类方法 | |
CN113096133A (zh) | 一种基于注意力机制的语义分割网络的构建方法 | |
CN111461061A (zh) | 一种基于相机风格适应的行人重识别方法 | |
CN113128456B (zh) | 一种联合图片生成的行人重识别方法 | |
CN116311472A (zh) | 基于多层次图卷积网络的微表情识别方法及装置 | |
CN115965836A (zh) | 一种语义可控的人体行为姿态视频数据扩增***及方法 | |
CN111539420B (zh) | 基于注意力感知特征的全景图像显著性预测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |