CN111967325A - 一种基于增量优化的无监督跨域行人重识别方法 - Google Patents
一种基于增量优化的无监督跨域行人重识别方法 Download PDFInfo
- Publication number
- CN111967325A CN111967325A CN202010686036.5A CN202010686036A CN111967325A CN 111967325 A CN111967325 A CN 111967325A CN 202010686036 A CN202010686036 A CN 202010686036A CN 111967325 A CN111967325 A CN 111967325A
- Authority
- CN
- China
- Prior art keywords
- model
- pedestrian
- triple
- domain
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及行人识别技术领域,且公开了一种基于增量优化的无监督跨域行人重识别方法,包括以下步骤:1)基于监督学习的预训练:初始化阶段,预训练模型来提取目标数据的特征,利用风格转换后的图片来对模型进行预训练。该基于增量优化的无监督跨域行人重识别方法,我们将源数据域上的图片翻译到带有目标数据域特性的图片中时,可以不断学习到目标区域的特性,从而使在源数据集上训练的模型逐步地适应目标数据集,从而可以获取更加具有鉴别性的初始特征;我们基于排序距离矩阵,即根据图像的相似性来选择了更可靠的三元组样本,并提出了基于排序的三元组损失,最后,通过联合两个三元组损失函数来微调模型。
Description
技术领域
本发明涉及行人识别技术领域,具体为一种基于增量优化的无监督跨域 行人重识别方法。
背景技术
行人重识别旨在非重叠视角域多摄像头网络下进行的行人匹配,其在智 能监控和安防中具有重要的应用价值。近年来,尽管行人重识别的识别率已 经有了较大的提升,但当行人重识别应用到多个数据集时,在一个数据集上 训练的行人重识别的模型到了另一个数据集上往往表现较差。
为了解决行人重识别中多个数据集之间的区域间隔问题,提出了无监督跨 域行人重识别算法。其主要思想是利用在源域上预训练的模型来提高在无标 注目标域中的性能,从而缩小两个域之间的区域间隔。现有的解决办法主要 分为:
一、利用循环一致对抗网络在源数据集和目标数据集上进行图像翻译, 将源数据域上的图片翻译到带有目标数据域风格的图片,并且使用风格转换 后的图片其用于模型的训练。但是,由于不能有效的保证生成图片的身份信 息,这些风格转换的方法不能取得较好的性能。
二、通过结合其他辅助信息作为辅助任务来提高模型的泛化能力,例 如:时空信息、姿态信息等。但是,这些方法也需要收集有用的属性标签, 也需要耗费大量人力和财力,从而受到一定的限制。
三、一些方法侧重于评估目标数据集的伪标签,然后通过有监督学习的 方式来学习行人重识别模型。通常,在特征空间利用聚类方法来生成一些列 不同的簇并为其分配伪标签,从而来更新具有嵌入损失(三元组损失或对比损 失)的网络或分类损失(交叉熵损失)的网络。
目前,基于标签估计的无监督跨域方法被广泛应用于行人重识别任务中, 其实现步骤分为:①利用有标记的源数据集训练一个预训练模型;②用预训 练模型为无标记目标数据集提取特征;③采用聚类算法对提取的特征进行分 类来选择可靠的训练集,并为每张图片分配一个伪标签;④利用无标记数据 及对应的伪标签作为监督信息来微调模型。通过不断迭代②-④来优化网络, 从而增强模型的泛化能力。
上述中存在以下缺点:
(1)当我们直接利用在源数据集上训练的模型来为目标数据集中的图片 提取特征时,由于不同数据集之间存在区域间隔问题,会使得我们无法提取 具有鉴别性的初始特征。
(2)当我们基于聚类方法的结果,即分配的伪标签来选择三元组样本时。 这种方法会引入标签噪声,当我们使用错误的伪标签直接进行基于聚类的三 元组损失来微调模型时,会使得行人重识别性能降低。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种基于增量优化的无监督跨域行 人重识别方法,旨在解决现有基于聚类方法产生的标签噪声问题。
(二)技术方案
为实现上述目的,本发明提供如下技术方案:一种基于增量优化的无监 督跨域行人重识别方法,包括以下步骤:
1)基于监督学习的预训练:初始化阶段,预训练模型来提取目标数据的 特征,利用风格转换后的图片来对模型进行预训练。
2)相似性分组:在这一步,从整体到局部对目标数据的相似性进行研究, 对于步骤1)提取的特征图,利用全局平均池化(GAP)得到特征向量,采用 水平分割的方法将特征图分为上下两部分,并将获得的三组特征向量(整体、 上半部分和下半部分),作为框架的输入,对输入的三组特征向量计算其相似 性,采用K-倒排编码法对每个图像之间的距离进行计算并进行升序排列,然 后分别对排序距离矩阵采用基于密度的空间聚类算法为每个部分进行分组, 并分配伪标签,最后采用损失函数用于模型的优化。
其中,通过K-倒排编码法得到距离矩阵D,表示为
正如我们所知,距离越小,图像之间的相似度越大,因此对距离矩阵进 行从小到大排序得到排序距离矩阵DR:
3)增量优化模型:基于聚类结果,选择三元组样本并采用基于聚类的三 元组损失来更新模型,最后使用基于聚类的三元组损失和提出的基于排序的 三元组损失联合更新网络,基于排序的三元组样本选择方法:对于任意给定 的行人图片Xi,我们从排序距离矩阵DR的(0,η]中选择一个正样本xp,从(η,2η]中 选择一个负样本xn来生成三元组样本,然后将三元组样本放入网络中并用所提 出来的基于排序的三元组损失函数来训练。
优选的,所述1)将源数据域上的图片翻译成带有目标数据域特性的图片。
优选的,所述3)基于排序距离矩阵,即根据图像的相似性选择三元组样 本,并提出基于排序的三元组损失,最后通过联合两个三元组损失函数来微 调模型。
(三)有益效果
与现有技术相比,本发明提供了一种基于增量优化的无监督跨域行人重 识别方法,具备以下有益效果:
该基于增量优化的无监督跨域行人重识别方法,我们将源数据域上的图 片翻译到带有目标数据域特性的图片中时,可以不断学习到目标区域的特性, 从而使在源数据集上训练的模型逐步地适应目标数据集,从而可以获取更加 具有鉴别性的初始特征;我们基于排序距离矩阵,即根据图像的相似性来选 择了更可靠的三元组样本,并提出了基于排序的三元组损失,最后,通过联 合两个三元组损失函数来微调模型,利用图像相似性来选择更可靠的三元组 样本用于特征学习。
附图说明
图1为本发明的一种基于增量优化的无监督跨域行人重识别流程图;
图2为本发明的一种基于增量优化的无监督跨域行人重识别原理图。
具体实施方式
下面将结合本发明的实施例和附图,对本发明实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而 不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-2,一种基于增量优化的无监督跨域行人重识别方法,包括以 下步骤:
1)基于监督学习的预训练:初始化阶段,我们需要预训练模型来提取目 标数据的特征,为了使模型在目标数据集中抽取的初始特征更加具有判别性, 可以利用风格转换后的图片来对模型进行预训练,因为风格迁移后的图片能 减小与目标域之间的分布差异,从而能更好的适应目标域,也为后面的训练 提供了更好的初始化模型,在这部分,我们采用基于CycleGAN的图像翻译基 准方法以无监督学习的方式翻译源数据域上的图片,翻译后的图片同时保留 目标数据域图片的风格特征和源数据域图片的身份信息,当获得风格转后的 图像以及它们对应的标签,可以像监督学习一样进行标准的特征学习,从而 获得预训练模型,用于对目标数据集中的图片提取特征。
2)相似性分组:在这一步,我们从整体到局部对目标数据的相似性进行 研究。对于1)提取的特征图,利用全局平均池化(GAP)得到特征向量,我 们采用水平分割的方法将特征图分为上下两部分,并将获得的三组特征向量 (整体、上半部分和下半部分)作为我们框架的输入,对输入的三组特征向量 计算其相似性,采用K-倒排编码法对每个图像之间的距离进行计算并进行升 序排列,从而得到对应的三个排序距离矩阵,然后,分别对排序距离矩阵采 用基于密度的空间聚类算法(HDBSCAN)为每个部分进行分组,并分配伪标签。 最后,我们采用损失函数用于模型的优化。
其中,通过K-倒排编码法得到距离矩阵D,表示为
正如我们所知,距离越小,图像之间的相似度越大,因此对距离矩阵进 行从小到大排序得到排序距离矩阵DR:
3)增量优化模型:基于聚类结果,我们选择三元组样本并采用基于聚类 的三元组损失来更新模型,为了减小聚类带来的标签噪声,我们提出基于排 序距离矩阵来选择更可靠的三元组样本,最后,我们使用基于聚类的三元组 损失和提出的基于排序的三元组损失联合更新网络,通过不断迭代相似性分 组和微调模型来增量优化网络,从而增量优化模型的泛化能力。
基于排序的三元组样本选择方法:对于任意给定的行人图片Xi,我们从排 序距离矩阵DR的(0,η]中选择一个正样本xp,从(η,2η]中选择一个负样本xn来生 成三元组样本,然后将三元组样本放入网络中并用所提出来的基于排序的三 元组损失函数来训练。
在1)中,现有方法都是直接利用有标注源数据集中的图片来训练一个预 训练模型。由于不同数据集间存在区域间隔,当我们直接利用源数据集中训 练的模型来为目标数据集提取特征时,会使得性能急剧下降。然而,当我们 将源数据域上的图片翻译到带有目标数据域特性的图片中时,可以不断学习 到目标区域的特性,从而使在源数据集上训练的模型逐步地适应目标数据集, 从而可以获取更加具有鉴别性的初始特征。
在3)中,现有技术通常只采用基于聚类结果生成的三元组样进行三元组 损失更新网络,由于其过分依赖于聚类获得的伪标签,聚类结果的误差直接 影响分类的结果。为了解决这一问题,我们基于排序距离矩阵,即根据图像 的相似性来选择了更可靠的三元组样本,并提出了基于排序的三元组损失。 最后,通过联合两个三元组损失函数来微调模型。
对于给定的目标数据集中的图片放入预训练模型M中得到特征图然后,我们将水平分为上下两部分,分别表示为和最后,我们将全局平均池化(GAP)应用在整体特征图和部 分特征图上,即:和从而得到对应的特征向量和我们在无标注目标数据集上所有图片重复上面的操作,从而可以取得三组特 征向量,即:
接下来,我们在三个排序距离矩阵上分别利用基于密度的空间聚类算法(HDBSCAN)来得到三个不同部分:SpaceA、SpaceB和SpaceC的一系列不同 的分组,并根据聚类结果更新训练集,其属于整个训练集的子集,然后根据 其所属的组分配一个伪标签。因此,对于每一张图片根据三个特征向量的 分组结果,我们可以得到三个伪标,表示为和因此,我们可以 建立一个新的带有标签的目标数据集,表示为:
最后,我们将伪标签作为监督信息来更新优化模型,类似于有监督学习。 通过联合基于聚类三元组损失和基于排序的三元组损失来更新模型。
基于聚类的三元组损失表示为:
其中,其中xi,j是表示批次中第i组的第j个图像的数据点。f(xi,a)是xi,j的 特征向量,而m是人为设定的一个阈值参数。
基于排序的三元组损失表示为:
其中,η是正样本取样最大的排序位置,Pp和Pn分别是指正样本xp和xn相对 于xa的排序位置。
最后的三元组损失表示为:
L=LC_tri+λLR_tri
其中,λ是衡量两个损失函数的损失权重。
最后利用更新后的模型对新的训练集中的图片提取特征,通过反复迭代 这一过程,增量优化行人重识别模型。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而 言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限 定。
Claims (3)
1.一种基于增量优化的无监督跨域行人重识别方法,其特征在于,包括以下步骤:
1)基于监督学习的预训练:初始化阶段,预训练模型来提取目标数据的特征,利用风格转换后的图片来对模型进行预训练。
2)相似性分组:在这一步,从整体到局部对目标数据的相似性进行研究,对于步骤1)提取的特征图,利用全局平均池化(GAP)得到特征向量,采用水平分割的方法将特征图分为上下两部分,并将获得的三组特征向量(整体、上半部分和下半部分),作为框架的输入,对输入的三组特征向量计算其相似性,采用K-倒排编码法对每个图像之间的距离进行计算并进行升序排列,然后分别对排序距离矩阵采用基于密度的空间聚类算法为每个部分进行分组,并分配伪标签,最后将带有伪标签的样本采用损失函数来优化模型。
其中,通过K-倒排编码法得到距离矩阵D,表示为
正如我们所知,距离越小,图像之间的相似度越大,因此对距离矩阵进行从小到大排序得到排序距离矩阵DR:
3)增量优化模型:基于聚类结果,选择三元组样本并采用基于聚类的三元组损失来更新模型,最后使用基于聚类的三元组损失和提出的基于排序的三元组损失联合更新网络,基于排序的三元组样本选择方法:对于任意给定的行人图片xi,我们从排序距离矩阵DR的(0,η]中选择一个正样本xp,从(η,2η]中选择一个负样本xn来生成三元组样本,然后将三元组样本放入网络中并用所提出来的基于排序的三元组损失函数来训练。
2.根据权利要求1所述的一种基于增量优化的无监督跨域行人重识别方法,其特征在于:所述1)将源数据域上的图片翻译成带有目标数据域特性的图片。
3.根据权利要求1所述的一种基于增量优化的无监督跨域行人重识别方法,其特征在于:所述3)基于排序距离矩阵,即根据图像的相似性选择三元组样本,并提出基于排序的三元组损失,最后通过联合两个三元组损失函数来微调模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010686036.5A CN111967325A (zh) | 2020-07-16 | 2020-07-16 | 一种基于增量优化的无监督跨域行人重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010686036.5A CN111967325A (zh) | 2020-07-16 | 2020-07-16 | 一种基于增量优化的无监督跨域行人重识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111967325A true CN111967325A (zh) | 2020-11-20 |
Family
ID=73361358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010686036.5A Withdrawn CN111967325A (zh) | 2020-07-16 | 2020-07-16 | 一种基于增量优化的无监督跨域行人重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111967325A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112784772A (zh) * | 2021-01-27 | 2021-05-11 | 浙江大学 | 一种基于对比学习的相机内有监督跨相机行人重识别方法 |
CN112861705A (zh) * | 2021-02-04 | 2021-05-28 | 东北林业大学 | 一种基于混合学习的跨域行人重识别方法 |
CN112950601A (zh) * | 2021-03-11 | 2021-06-11 | 成都微识医疗设备有限公司 | 用于食管癌模型训练的图片的筛选方法、***及存储介质 |
CN113642547A (zh) * | 2021-10-18 | 2021-11-12 | 中国海洋大学 | 一种基于密度聚类的无监督域适应人物重识别方法及*** |
CN113657254A (zh) * | 2021-08-16 | 2021-11-16 | 浙江大学 | 一种基于可靠价值样本和新身份样本挖掘的行人重识别域适应方法 |
CN113673589A (zh) * | 2021-08-12 | 2021-11-19 | 南京理工大学 | 基于边框距离度量的标签选择自适应增量检测方法及*** |
CN115205570A (zh) * | 2022-09-14 | 2022-10-18 | 中国海洋大学 | 一种基于对比学习的无监督跨域目标重识别方法 |
-
2020
- 2020-07-16 CN CN202010686036.5A patent/CN111967325A/zh not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112784772A (zh) * | 2021-01-27 | 2021-05-11 | 浙江大学 | 一种基于对比学习的相机内有监督跨相机行人重识别方法 |
CN112784772B (zh) * | 2021-01-27 | 2022-05-27 | 浙江大学 | 一种基于对比学习的相机内有监督跨相机行人重识别方法 |
CN112861705A (zh) * | 2021-02-04 | 2021-05-28 | 东北林业大学 | 一种基于混合学习的跨域行人重识别方法 |
CN112861705B (zh) * | 2021-02-04 | 2022-07-05 | 东北林业大学 | 一种基于混合学习的跨域行人重识别方法 |
CN112950601A (zh) * | 2021-03-11 | 2021-06-11 | 成都微识医疗设备有限公司 | 用于食管癌模型训练的图片的筛选方法、***及存储介质 |
CN112950601B (zh) * | 2021-03-11 | 2024-01-09 | 成都微识医疗设备有限公司 | 用于食管癌模型训练的图片的筛选方法、***及存储介质 |
CN113673589A (zh) * | 2021-08-12 | 2021-11-19 | 南京理工大学 | 基于边框距离度量的标签选择自适应增量检测方法及*** |
CN113657254A (zh) * | 2021-08-16 | 2021-11-16 | 浙江大学 | 一种基于可靠价值样本和新身份样本挖掘的行人重识别域适应方法 |
CN113657254B (zh) * | 2021-08-16 | 2023-09-19 | 浙江大学 | 一种基于可靠价值样本和新身份样本挖掘的行人重识别域适应方法 |
CN113642547A (zh) * | 2021-10-18 | 2021-11-12 | 中国海洋大学 | 一种基于密度聚类的无监督域适应人物重识别方法及*** |
CN115205570A (zh) * | 2022-09-14 | 2022-10-18 | 中国海洋大学 | 一种基于对比学习的无监督跨域目标重识别方法 |
CN115205570B (zh) * | 2022-09-14 | 2022-12-20 | 中国海洋大学 | 一种基于对比学习的无监督跨域目标重识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111967325A (zh) | 一种基于增量优化的无监督跨域行人重识别方法 | |
CN111967294B (zh) | 一种无监督域自适应的行人重识别方法 | |
CN111191732B (zh) | 一种基于全自动学习的目标检测方法 | |
CN110414368B (zh) | 一种基于知识蒸馏的无监督行人重识别方法 | |
CN108960140B (zh) | 基于多区域特征提取和融合的行人再识别方法 | |
CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
CN110956185A (zh) | 一种图像显著目标的检测方法 | |
CN111666851B (zh) | 一种基于多粒度标签的交叉域自适应行人重识别方法 | |
CN114241282A (zh) | 一种基于知识蒸馏的边缘设备场景识别方法及装置 | |
CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN110909820A (zh) | 基于自监督学习的图像分类方法及*** | |
CN108875816A (zh) | 融合置信度准则和多样性准则的主动学习样本选择策略 | |
CN110728694B (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
CN108491766B (zh) | 一种端到端的基于深度决策森林的人群计数方法 | |
WO2022062419A1 (zh) | 基于非督导金字塔相似性学习的目标重识别方法及*** | |
CN112819065B (zh) | 基于多重聚类信息的无监督行人难样本挖掘方法和*** | |
CN106874862B (zh) | 基于子模技术和半监督学习的人群计数方法 | |
CN111931814B (zh) | 一种基于类内结构紧致约束的无监督对抗域适应方法 | |
CN111274958B (zh) | 一种网络参数自纠正的行人重识别方法及*** | |
CN108345866B (zh) | 一种基于深度特征学习的行人再识别方法 | |
CN116910571B (zh) | 一种基于原型对比学习的开集域适应方法及*** | |
CN112364791B (zh) | 一种基于生成对抗网络的行人重识别方法和*** | |
CN112488229A (zh) | 一种基于特征分离和对齐的域自适应无监督目标检测方法 | |
CN113627266A (zh) | 基于Transformer时空建模的视频行人重识别方法 | |
CN112070010B (zh) | 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201120 |