CN110956158A - 一种基于教师学生学习框架的遮挡行人再标识方法 - Google Patents
一种基于教师学生学习框架的遮挡行人再标识方法 Download PDFInfo
- Publication number
- CN110956158A CN110956158A CN201911289053.9A CN201911289053A CN110956158A CN 110956158 A CN110956158 A CN 110956158A CN 201911289053 A CN201911289053 A CN 201911289053A CN 110956158 A CN110956158 A CN 110956158A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- network
- data
- teacher
- shielding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims description 62
- 208000006440 Open Bite Diseases 0.000 claims description 20
- 230000000903 blocking effect Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000004088 simulation Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 13
- 238000011160 research Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- PPWHTZKZQNXVAE-UHFFFAOYSA-N Tetracaine hydrochloride Chemical compound Cl.CCCCNC1=CC=C(C(=O)OCCN(C)C)C=C1 PPWHTZKZQNXVAE-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于教师学生学习框架的遮挡行人再标识方法，包括步骤：首先训练教师网络，利用已有的大规模完整行人数据来模拟遮挡行人再标识的训练过程，该过程的实现由带有跨域模拟器的联合显著检测网络来完成，这个过程为教师教学过程；然后再将教师网络传递给学生网络，让学生网络利用教师网络的模型在真实的小规模遮挡行人数据上继续训练，这个过程为学生实践过程；最后，通过上述教师教学和学生实践过程，训练得到一个既有行人判别性又有遮挡鲁棒性的模型，可用于遮挡行人再标识。本发明能较大幅度地提高现有的遮挡行人再标识任务的效果性能，具有广泛的应用价值。
Description
技术领域
本发明涉及一种针对遮挡情况下的行人再标识方法，尤其涉及一种多阶段跨域学习的、基于教师学生学习框架的遮挡行人再标识方法。
背景技术
行人再标识任务指的是跨越不同的摄像头在不同时刻、角度、光照等不同条件下搜寻出同一个身份的行人。随着智能监控***的快速发展，行人再标识技术被用于各种公共的实际应用中，旨在不同的摄像头中寻找特定的行人，比如罪犯、儿童和失踪人员。但在现实场景的应用中，摄像头拍摄到的行人常常会被周围环境中静态或动态遮挡物如其他行人、流动的车辆、建筑物、花草树木等所遮挡，导致目标主体信息的损失和遮挡信息的干扰，为此给行人再标识任务的效果带来下降。由于遮挡问题是行人再标识任务中不可避免和不可忽视的挑战，且具有重要的现实意义，因此对遮挡行人再标识的研究已经成为了计算机视觉领域极具价值的重点课题。
一般行人再标识的研究工作主要可分为两个方面，分别是特征提取与度量学习。特征提取是为了提取代表目标主体的重要描述信息，称之为特征描述子，提取的特征描述子具有鲁棒性和判别性才能更好地适应任务匹配的需求。度量学习是继特征提取后建立度量子空间来匹配代表行人的特征描述子，将相同样本的特征描述子在度量空间拉近距离，不同样本的特征描述子在特征空间更加分离，从而实现对行人身份的分类识别。尽管一般行人再标识研究工作目前比较成熟，但其用在遮挡行人再标识问题上仍存在很大的缺陷。主要是因为一般行人再标识方法对整张图像建立关注会导致来自遮挡部位更多的影响。
近年来，针对遮挡行人再标识问题，有一些研究工作者提出了应对的方案。主要的解决思路是通过分块提取局部特征，选择局部未被遮挡的部分进行匹配和相似度度量以减少遮挡区域的影响，同时结合全局特征来实现更好的遮挡行人再标识效果。该方案虽然可以达到一定的效果，但由于需要对切分成的每一小块分别进行特征提取，计算的复杂度大大提高，也容易出现分块对齐问题，影响行人再标识的效果。由于遮挡行人再标识问题近年来研究工作有限，除此之外，遮挡训练数据不足的限制也导致该问题未能被很好地展开研究，导致遮挡行人再标识的相关研究工作进展缓慢。
针对以往研究工作以及训练数据限制的问题，提出一种基于教师学生学习框架的遮挡行人再标识方法，具有重要的研究意义和实用价值。
发明内容
本发明针对遮挡行人再标识任务的困难，提供一种基于教师学生学习框架的遮挡行人再标识方法，该方法可以通过小规模的真实遮挡数据的训练实现行人再标识，具有匹配率高、鲁棒性强的优点。
本发明的目的通过以下的技术方案实现：一种基于教师学生学习框架的遮挡行人再标识方法，包括步骤：
首先，训练教师网络，利用已有的大规模完整行人数据来模拟遮挡行人再标识的训练过程，该过程的实现由带有跨域模拟器的联合显著检测网络来完成，这个过程为教师教学过程；然后，再将教师网络传递给学生网络，让学生网络利用教师网络的模型在真实的小规模遮挡行人数据上继续训练，这个过程为学生实践过程；最后，通过上述教师教学和学生实践过程，训练得到一个既有行人判别性又有遮挡鲁棒性的模型，可用于遮挡行人再标识。本发明能较大幅度地提高现有的遮挡行人再标识任务的效果性能，具有广泛的应用价值。
具体的，所述基于教师学生学习框架的遮挡行人再标识方法，包括步骤：
S1.利用现有的显著物体检测模型生成完整行人数据的显著行人掩模标签，并对生成的样本进行筛选，所述完整行人数据包括完整不带遮挡行人图像以及行人对应的身份标签、显著行人掩模标签，为模型训练提供初始材料；
S2.为了实现教师教学过程，建立一个跨域模拟器，用来利用完整行人数据模拟遮挡行人再标识过程。跨域模拟器设置一个遮挡选择的概率，在每一轮数据加载过程中选择一定比例的完整行人数据进行模拟遮挡的处理，同时赋予新的标签信息，为教师网络的训练提供可靠的数据来源；
S3.经过跨域模拟器处理的数据输入联合显著检测的行人再标识网络也就是教师网络进行训练，随着训练迭代次数的进行，数据中模拟遮挡的行人数据和完整的行人数据比例会越来越大，经过网络的不断前向传播和后向反馈调整，训练直至网络损失收敛，得到一个初步对遮挡具有鲁棒的有行人识别功能的基础模型；
S4.使用步骤S3得到的联合显著检测的行人再标识网络中的联合显著检测支路生成真实遮挡行人数据的显著行人掩模标签，为学生网络的训练提供材料；
S5.学生实践过程的学生网络搭建参照步骤S3中教师网络，同时继承步骤S3中教师网络得到的网络参数继续在真实的遮挡行人数据上进行训练，经过多轮训练收敛，得到最后的网络模型。
优选的，所述步骤S1中，对生成的样本进行筛选，筛选方法是：若样本生成的显著行人掩模标签的平均置信度高于预设阈值，则留下样本作为训练数据；若样本生成的显著行人掩模标签的平均置信度低于等于预设阈值，则剔除样本。
优选的，所述步骤S2中，建立一个跨域模拟器，实现从完整行人数据域到模拟遮挡行人数据域的逐渐跨度，步骤是：
(1-1)首先加载所有完整行人数据，按照比例p随机选取部分完整行人数据进行遮挡处理；
(1-2)对于选取的每一个完整行人样本，计算图像面积，以及按照设置遮挡的比例，计算得到遮挡面积大小；
(1-3)从完整行人图像的背景区域选取一背景块，不定长宽比例缩放到遮挡面积大小，这样每次操作都得到不一样的遮挡块；
(1-4)对遮挡块也生成同样大小形状的黑色块，用于对显著行人掩模标签的处理；
(1-5)随机选择完整行人图像的任意位置覆盖遮挡块，同样在显著行人掩模标签的同样位置覆盖黑色块，完成图像操作上的模拟遮挡，行人身份标签保持不变；
(1-6)为每一个模拟生成的遮挡行人样本赋予一个新的二分类标签，所述二分类标签是指遮挡与非遮挡二分类标签，赋予标签值为1，表示遮挡行人；
(1-7)没有进行遮挡处理的完整行人数据，其行人图像、显著掩模标签、行人身份标签保持不变，赋予遮挡与非遮挡二分类标签，标签值为0，表示未遮挡(完整)行人；
(1-8)教师网络训练的每一轮迭代都重复步骤(1-1)-(1-6)，并随着迭代轮数的增加，比例p会越来越大，被选取进行遮挡处理的完整行人数据会越来越多，直到训练停止为止。
优选的，所述步骤S3中，联合显著检测的行人再标识网络由三个部分组成，分别是特征提取主干、联合显著检测支路和行人分类识别支路。特征提取主干采用ResNet-50深度网络去掉全连接层部分；联合显著检测支路用于预测显著行人掩模，采用softmax损失函数，每个点进行分类是否为行人区域；行人分类识别支路用于行人身份分类，采用softmax损失函数，每个行人作为一个类别；主干以及两个支路一起进行训练模型。
更进一步的，所述步骤S3中，联合显著检测支路计算每个像素点的分类损失误差，然后累加像素点的分类损失误差进行反馈回传，它对预测掩模中的每个像素点进行前景和背景分类，前景是行人区域，背景是非行人区域，该支路用于对图像中的行人区域进行显著标注。
具体的，设联合显著检测支路的损失函数LS表示为：
其中Lsoftmax表示softmax函数与交叉熵损失函数，f(·)和h(·)分别表示特征提取器和显著行人检测器。DF表示完整行人数据的集合，包含了CF个身份行人,一共有NF张图像，
表示集合DF的第i张图像，
分别表示相应的行人身份类标和显著行人掩模标签，其中cF∈{1，2，…,CF}，sF∈SF。(p,q)表示图像上每个像素点的位置坐标，HF和WF表示图像的长和宽。
本发明中，行人分类识别支路是对行人身份进行分类，用softmax交叉熵作为损失函数，用LC表示为：
其中，g(·)表示行人身份分类器。DF表示完整行人数据的集合，包含了CF个身份行人,一共有NF张图像，
表示数据集DF的第i张图像，
表示行人身份类别标签，Lsoftmax表示softmax函数与交叉熵损失函数。
作为一种实施方式，对联合显著检测支路和行人分类识别支路的损失函数分别赋予不同的权重，组成联合显著检测的行人再标识网络损失函数，用公式表达为：
L(IF,CF,SF)＝αLC(IF,CF)+(1-α)LS(IF,SF)
其中，α是用来平衡两个支路损失函数之间权重的超参数，α的取值范围在0到1之间。通过设置α＞0.5，可以保证将行人分类识别支路作为主要任务，而联合显著检测支路协助网络实现对行人的关注。
优选的，所述步骤S3中联合显著检测的行人再标识网络行人分类识别支路中，由于跨域生成器可以为样本带来新的标签，即遮挡与非遮挡二分类标签,因此遮挡与非遮挡二分类损失函数被加入到行人分类识别支路，通过对行人是否遮挡的判断从而提高特征提取过程对行人关注的能力。遮挡与非遮挡二分类损失函数LO可以表示为：
其中，b(·)表示遮挡与非遮挡二分类分类器，IF/O'表示做了遮挡处理的图片(O'数据集中的图片)和没有做遮挡处理的图片(F数据集的图片)放在一起得到的用于网络训练的新集合，
表示为IF/O'中的第i个样本,
是这个样本对应的遮挡与非遮挡的二分类标签，数据为0或者1，0表示完整(非遮挡)行人样本，1表示模拟的遮挡行人样本。加入了遮挡与非遮挡二分类损失函数，行人分类识别支路的损失函数变为多任务损失函数，用LM表示为：
LM(IF/O',CF/O',OF/O')＝βLC(IF/O',CF/O')+(1-β)LO(IF/O',OF/O')
其中，IF/O'表示做了遮挡处理的图片(O＇数据集中的图片)和没有做遮挡处理的图片(F数据集的图片)放在一起得到的用于网络训练的新集合，CF/O'表示每个样本对应的行人身份标签，也就是分类标签；OF/O'表示每个样本遮挡与非遮挡二分类的属性，也就是遮挡或者非遮挡的标签。Lc和Lo分别表示行人身份分类的损失函数、遮挡与非遮挡二分类损失函数，β∈(0，1)表示平衡上述两个损失函数之间权重的超参数。
作为另一种实施方式，对联合显著检测支路和加入跨域生成器后的行人分类识别支路的损失函数分别赋予不同的权重，组成联合显著检测的行人再标识网络损失函数，用公式表达为：
L(IF/O',CF/O',OF/O',SF/O')＝αLM(IF/O',CF/O',OF/O')+(1-α)LS(IF/O',SF/O'))
其中，α是用来平衡两个支路损失函数之间权重的超参数，α的取值范围在0到1之间。通过设置α＞0.5，可以保证将行人分类识别支路作为主要任务，而联合显著检测支路协助网络实现对行人的关注。
本发明与现有技术相比，具有如下优点和有益效果：
1.本发明针对遮挡行人再标识任务中的两大挑战，分别是提取特征对遮挡影响不鲁棒和遮挡训练数据集不足，而提出了一种基于教师学生学习网络的遮挡行人再标识网络框架。该框架通过教师教学阶段，利用现有的大规模的非遮挡完整行人数据来模拟生成遮挡行人数据，联合参与网络训练，得到对遮挡鲁棒的基本模型，并将基本模型用于学生实践阶段用在真实的遮挡行人数据进行进一步地训练，最后得到对遮挡具有鲁棒的模型。模型可以学习到大量的遮挡情况的样本，突破遮挡行人数据不足的限制，同时网络也能通过对行人的重点关注解决遮挡物带来的不好的影响，有效地提高遮挡行人再标识任务性能，达到在遮挡问题下理想的行人再标识效果。
2.本发明在教师教学过程中，设计了一个联合显著检测的行人再标识网络。该网络的优势在于通过共享特征提取主干并联合相互协助的联合显著检测支路和行人分类识别支路来实现对行人部位的关注，使得网络不会受到遮挡部位的干扰，达到遮挡鲁棒的好处。
3.本发明为实现对遮挡行人再标识过程的模拟，通过一个跨域模拟器对大规模的完整行人数据集以及标签进行操作。在跨域模拟器中设计一个随着训练增长的概率选取完整行人数据进行处理，使得从完整行人数据过渡到模拟的遮挡行人数据过程更加平稳，为教师教学过程提供了充分的材料。
附图说明
图1为本发明的方法的实施示意图。
图2为本发明对行人关注的发明动机示意图。
图3为本发明的联合显著检测支路示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图2所示，现有技术中针对遮挡行人再标识任务采用全局关注会导致识别错误的问题，本实施例提供一种遮挡行人再标识方法，如图1所示，该方法采取基于教师学生学习框架应用在遮挡行人再标识问题，分教师网络和学生网络两个阶段进行参数优化和更新。首先，给定原始大规模的完整行人训练样本，通过教师教学过程的跨域模拟器，实现对遮挡行人数据的模拟。接着，输入教师网络即是联合显著检测的行人再标识网络进行训练，得到具有行人分类判别又有遮挡鲁棒性能的基础网络。然后，在学生实践过程，学生网络在教师网络模型基础上在真实的遮挡行人数据进行网络的进一步训练和调整。通过教师网络教学的模拟训练和学生网络实践的实际训练，模型可以学习到大量的遮挡情况的样本，突破遮挡行人数据不足的限制，同时网络也能通过对行人的重点关注解决遮挡物带来的不好的影响，有效地提高遮挡行人再标识任务性能，达到在遮挡问题下理想的行人再标识效果。下面结合附图对方法的各个步骤进行具体的说明。
S1.输入完整行人数据，包括行人图像和行人身份信息。利用现有的显著物体检测算法对行人图像进行操作，生成对应的显著行人掩模，作为新的标签。对行人样本进行筛选：若样本生成的显著行人掩模标签的平均置信度高于0.5，则留下样本作为训练数据；若样本生成的显著行人掩模标签的平均置信度小于等于0.5，则剔除样本。操作后，得到完整行人数据包括完整行人图像以及行人对应的身份标签、显著行人掩模，作为训练的数据。
S2.经过步骤S1得到的训练数据，通过跨域模拟器，产生每一次迭代输入的包含完整行人和遮挡行人的联合数据。
完整行人数据包括完整不带遮挡行人图像以及行人对应的身份标签、显著行人掩模，这里用DF表示完整行人数据的集合，包含了CF个身份行人,一共有NF张图像，IF表示DF中的图像，其对应的标签分别是身份类标cF∈{1，2，…,CF}和显著行人掩模sF∈SF。跨域模拟器实现从完整行人数据域到模拟生成的遮挡行人数据的跨度，表示为映射函数F:DF→DO'，DO'表示遮挡模拟生成器生成的遮挡行人数据。
生成模拟的遮挡行人数据的步骤是：
(1-1)首先加载所有完整行人数据DF，按照比例p随机选取部分完整行人数据进行遮挡处理；
(1-2)对于选取的每一个完整行人样本IF，计算图像面积
以及按照设置遮挡的比例[r1,r2]，计算得到遮挡面积大小
(1-3)从完整行人图像的背景区域选取一小块背景块patch，不定长宽比例缩放到遮挡面积大小；
(1-4)对遮挡块也生成同样大小形状的黑色块black_patch，用于对显著行人掩模标签的处理；
(1-5)随机选择完整行人图像的任意位置覆盖遮挡块，同样在显著行人掩模标签的同样位置覆盖黑色块，完成图像操作上的模拟遮挡，得到新的模拟生成的遮挡行人图像IO'和显著行人标签sO'，行人身份标签保持不变cO'；
(1-6)为生成的模拟的遮挡行人样本赋予一个新的二分类标签(遮挡与非遮挡二分类标签)，表示为oO'＝1，表示遮挡行人；
(1-7)剩下的没有进行遮挡处理的完整行人数据，其行人图像、显著掩模标签、行人身份标签保持不变(IF,cF,sF)，赋予遮挡与非遮挡二分类标签，表示为oF＝0，表示未遮挡(完整)行人；
(1-8)经过了跨域模拟器，用于网络训练的数据变为完整行人数据和模拟生成的遮挡行人数据的联合数据，表示为DF/O'，随着训练迭代轮数的增加，模拟生成的遮挡行人数据占据训练数据的比例会越来越多。被选取进行遮挡处理的完整行人数据会越来越多，直到训练停止为止。因此网络可以通过观察多种不同类型的遮挡图像获得遮挡鲁棒性。
S3.将联合完整行人和模拟生成的遮挡行人的数据集合输入联合显著检测的行人再标识教师网络进行训练，该教师网络有三个主要部分，分别是特征提取主干和两个不同的分支。特征提取主干使用的基础深度网络是ResNet-50，去掉全连接层部分，作用为网络的特征提取器f(·)。
其中一个分支是联合显著检测支路，如图3所示，该支路计算每个像素点的分类损失误差，然后累加像素点的分类损失误差进行反馈回传，它对预测掩模中的每个像素点进行前景和背景分类，前景是行人区域，背景是非行人区域，因此该支路可以对图像中的行人区域进行显著标注。该分支使用像素级别的softmax交叉熵作为损失函数，也就是对每个像素点划分为是否行人区域的分类，联合显著检测支路表示为h(·)，LS为对应的联合显著检测损失函数，则损失函数表示为：
另一个分支是行人分类识别支路，实现对行人身份的分类。
作为一种实施方式，行人分类识别支路可采用softmax交叉熵作为损失函数，每个行人作为一个类别。用LC表示为：
其中，g(·)表示行人身份分类器。
在该实施方式中，对上面两个支路的损失函数分别赋予不同的权重，即组成联合显著检测的行人再标识网络损失函数，用公式表达为：
L(IF,CF,SF)＝αLC(IF,CF)+(1-α)LS(IF,SF)
其中，α是用来平衡两个支路损失函数之间权重的超参数，α的取值范围在0到1之间。通过设置α＞0.5，可以保证将行人分类识别支路作为主要任务，而联合显著检测支路协助网络实现对行人的关注。
作为另一种实施方式，行人分类识别支路除了有行人身份损失函数LC外，还联合了辅助的遮挡与非遮挡二分类损失函数LO，组成了多任务损失函数，用LM表示，损失函数为：
LM(IF/O',CF/O',OF/O')＝βLC(IF/O',CF/O')+(1-β)LO(IF/O',OF/O')
其中，β∈(0，1)为平衡多任务损失函数中两个损失函数加权比例的超参数，并且β一般设置大于0.5，以实现行人身份分类识别为主要任务。
教师网络通过共享了特征提取主干，然后两个支路各自作用在特征提取主干上，反馈监督信息，从而对特征提取过程进行指导。联合两个支路，最后得到的总体损失函数为：
L(IF/O',CF/O',OF/O',SF/O')＝αLM(IF/O',CF/O',OF/O')+(1-α)LS(IF/O',SF/O')
其中，α∈(0，1)为平衡两个支路在网络中比重的超参数。依据任务需要，设置α＞0.5，可以保证将行人分类识别支路作为主要任务，而联合显著检测支路协助网络实现对行人的关注。
随着教师网络训练的进行，网络一方面对行人分类的判别能力增强，另一方面对行人显著的能力也不断提高，这也反映了网络可以对行人进行重点的关注。通过联合两个支路的训练，从以往的全局关注逐渐发展为对显著行人区域的关注，不断加强对遮挡鲁棒的性能，使得模型可以针对遮挡问题的行人再标识提取更好的特征进行后续的匹配。
S4.教师网络训练完成后，由于教师网络的联合显著检测支路可以对行人区域进行预测，并且对行人显著检测的能力中步骤S3的训练中得到加强，因此，采用教师网络的联合显著检测支路对真实的遮挡行人数据进行显著行人掩模标签的生成，为学生网络的训练提供材料。
S5.为了能在现实应用达到更好的效果，需要再在步骤S3中教师网络训练结果的基础上，进行真实的遮挡行人数据的训练。真实的遮挡行人数据的训练以教师网络的模型为基础，由学生网络进行训练，而学生网络的结构设置参照教师网络的形式，在真实的遮挡行人数据上进行训练直到参数收敛，得到最后的网络模型。
本实施例通过实验对方法的效果进行说明，实验数据库选择Occluded-REID遮挡行人数据库、Partial-REID遮挡行人数据库、P-DukeMTMC-reID遮挡行人数据库和P-ETHZ遮挡行人数据库：其中Occluded-REID数据库包含200个不同的行人，每个行人有5张不同遮挡类型的行人图像和5张未遮挡的行人图像，共计2000张图像。实验将遮挡行人图像作为查询域图像，将未遮挡行人图像作为搜索域图像，选择其中100个行人的图像组成训练集，剩余的100个行人则作为测试集；Partial-REID数据库包含60个不同行人的900张图像。每个行人有5张不同遮挡类型的图像、5张裁去遮挡的局部图像和5张全身未遮挡的图像，选择其中30个行人进行训练，剩余30个行人进行测试。P-DukeMTMC-reID数据库包含1299个行人的24143张图像，每一个行人都包含全身未遮挡的图像和多张遮挡的图像，选择其中665个行人的图像组成数据集，剩余的634个行人则作为测试集。P-ETHZ数据库包含85个行人的3897张图像，选择其中43个行人的图像组成训练集，剩余的42个行人则作为测试集。
本发明选择ResNet-50作为初始化网络，在Occluded-REID数据库、Partial-REID数据库、P-DukeMTMC-reID数据库和P-ETHZ数据库上验证教师学生学习网络中的教师网络、联合显著检测支路和跨域模拟器这三部分的有效性，如表1所示：
表1本发明各部分的效果
由表1可知，在加入教师网络之后，识别准确率大大提高，分别提高了38.50％、40.33％、6.34％和17.38％。由于P-DukeMTMC-reID数据规模较大，学生网络实践过程难度增大，与其他三个数据库相比，加入教师网络后的识别率提升较少。再者，加入了联合显著检测支路分别提高了5.80％、6.67％、4.69％和5.95％的识别准确率，加入了跨域模拟器分别提高了5.17％、10.00％、4.15％和8.58％的识别准确率。表1结果表明教师网络、联合显著检测支路和跨域模拟器这三者结合能达到最好的效果。
本实施例还将本发明的方法与现有的一些主流的基于传统描述子和深度网络的方法进行了比较，在Occluded-REID数据库、Partial-REID数据库、P-DukeMTMC-reID数据库和P-ETHZ数据库上的比较结果如表2所示。
表2本发明与主流算法比较结果
由表2结果可知，本发明在Occluded-REID数据库、Partial-REID数据库、P-DukeMTMC-reID数据库和P-ETHZ数据库上分别达到了73.69％、82.67％、51.42％和62.86％的识别准确率，领先于大部分行人再标识主流算法，这表明了本发明在遮挡行人再标识问题上的效果已经达到领域先进水平。
可通过各种手段实施本发明描述的技术。举例来说，这些技术可实施在硬件、固件、软件或其组合中。对于硬件实施方案，处理模块可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、现场可编辑逻辑门阵列(FPGA)、处理器、控制器、微控制器、电子装置、其他经设计以执行本发明所描述的功能的电子单元或其组合内。
对于固件和/或软件实施方案，可用执行本文描述的功能的模块(例如，过程、步骤、流程等)来实施所述技术。固件和/或软件代码可存储在存储器中并由处理器执行。存储器可实施在处理器内或处理器外部。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于教师学生学习框架的遮挡行人再标识方法，其特征在于，包括步骤：
首先，训练教师网络，利用已有的大规模完整行人数据来模拟遮挡行人再标识的训练过程，该过程的实现由带有跨域模拟器的联合显著检测网络来完成，这个过程为教师教学过程；
然后，再将教师网络传递给学生网络，让学生网络利用教师网络的模型在真实的小规模遮挡行人数据上继续训练，这个过程为学生实践过程；
最后，通过上述教师教学和学生实践过程，训练得到一个既有行人判别性又有遮挡鲁棒性的模型，用于遮挡行人再标识。
2.根据权利要求1所述的基于教师学生学习框架的遮挡行人再标识方法，其特征在于，包括步骤：
S1.生成完整行人数据的显著行人掩模标签，对生成的样本进行筛选，所述完整行人数据包括完整不带遮挡行人图像以及行人对应的身份标签、显著行人掩模标签，为模型训练提供初始材料；
S2.建立一个跨域模拟器，用来利用完整行人数据模拟遮挡行人再标识过程，跨域模拟器设置一个遮挡选择的概率，在每一轮数据加载过程中选择一定比例的完整行人数据进行模拟遮挡的处理，同时赋予新的标签信息，为教师网络的训练提供可靠的数据来源；
S3.经过跨域模拟器处理的数据输入联合显著检测的行人再标识网络也就是教师网络进行训练，随着训练迭代次数的进行，数据中模拟遮挡的行人数据和完整的行人数据比例会越来越大，经过网络的不断前向传播和后向反馈调整，训练直至网络损失收敛，得到一个初步对遮挡具有鲁棒的有行人识别功能的基础模型；
S4.使用步骤S3得到的联合显著检测的行人再标识网络中的联合显著检测支路生成真实遮挡行人数据的显著行人掩模标签，为学生网络的训练提供材料；
S5.学生实践过程的学生网络搭建参照步骤S3中教师网络，同时继承步骤S3中教师网络得到的网络参数继续在真实的遮挡行人数据上进行训练，经过多轮训练收敛，得到最后的网络模型。
3.根据权利要求2所述的基于教师学生学***均置信度高于预设阈值，则留下样本作为训练数据；若样本生成的显著行人掩模标签的平均置信度低于等于预设阈值，则剔除样本。
4.根据权利要求2所述的基于教师学生学习框架的遮挡行人再标识方法，其特征在于，所述步骤S2中，建立一个跨域模拟器，实现从完整行人数据域到模拟遮挡行人数据域的逐渐跨度，步骤是：
(1-1)首先加载所有完整行人数据，按照比例p随机选取部分完整行人数据进行遮挡处理；
(1-2)对于选取的每一个完整行人样本，计算图像面积，以及按照设置遮挡的比例，计算得到遮挡面积大小；
(1-3)从完整行人图像的背景区域选取一背景块，不定长宽比例缩放到遮挡面积大小，这样每次操作都得到不一样的遮挡块；
(1-4)对遮挡块也生成同样大小形状的黑色块，用于对显著行人掩模标签的处理；
(1-5)随机选择完整行人图像的任意位置覆盖遮挡块，同样在显著行人掩模标签的同样位置覆盖黑色块，完成图像操作上的模拟遮挡，行人身份标签保持不变；
(1-6)为每一个模拟生成的遮挡行人样本赋予一个新的二分类标签，所述二分类标签是指遮挡与非遮挡二分类标签，赋予标签值为1，表示遮挡行人；
(1-7)没有进行遮挡处理的完整行人数据，其行人图像、显著掩模标签、行人身份标签保持不变，赋予遮挡与非遮挡二分类标签，标签值为0，表示未遮挡行人；
(1-8)教师网络训练的每一轮迭代都重复步骤(1-1)-(1-6)，并随着迭代轮数的增加，比例p会越来越大，被选取进行遮挡处理的完整行人数据会越来越多，直到训练停止为止。
5.根据权利要求2所述的基于教师学生学习框架的遮挡行人再标识方法，其特征在于，所述步骤S3中，联合显著检测的行人再标识网络由三个部分组成，分别是特征提取主干、联合显著检测支路和行人分类识别支路；特征提取主干采用ResNet-50深度网络去掉全连接层部分；联合显著检测支路用于预测显著行人掩模，采用softmax损失函数，每个点进行分类是否为行人区域；行人分类识别支路用于行人身份分类，采用softmax损失函数，每个行人作为一个类别；主干以及两个支路一起进行训练模型；
联合显著检测支路计算每个像素点的分类损失误差，然后累加像素点的分类损失误差进行反馈回传，它对预测掩模中的每个像素点进行前景和背景分类，前景是行人区域，背景是非行人区域，该支路用于对图像中的行人区域进行显著标注。
6.根据权利要求5所述的基于教师学生学习框架的遮挡行人再标识方法，其特征在于，设联合显著检测支路的损失函数LS表示为：
其中Lsoftmax表示softmax函数与交叉熵损失函数，f(·)和h(·)分别表示特征提取器和显著行人检测器；
表示集合DF的第i张图像，DF表示完整行人数据的集合，包含了CF个身份行人,一共有NF张图像，
分别表示相应的行人身份类标和显著行人掩模标签，其中cF∈{1，2，…,CF}，sF∈SF，(p,q)表示图像上每个像素点的位置坐标，HF和WF表示图像的长和宽。
7.根据权利要求6所述的基于教师学生学习框架的遮挡行人再标识方法，其特征在于，行人分类识别支路是对行人身份进行分类，采用softmax损失函数，用LC表示为：
其中，g(·)表示行人身份分类器，DF表示完整行人数据的集合，包含了CF个身份行人,一共有NF张图像，
表示数据集DF的第i张图像，
表示行人身份类别标签，Lsoftmax表示softmax函数与交叉熵损失函数。
8.根据权利要求7所述的基于教师学生学习框架的遮挡行人再标识方法，其特征在于，对联合显著检测支路和行人分类识别支路的损失函数分别赋予不同的权重，组成联合显著检测的行人再标识网络损失函数，用公式表达为：
L(IF,CF,SF)＝αLC(IF,CF)+(1-α)LS(IF,SF)
其中，α是用来平衡两个支路损失函数之间权重的超参数，α的取值范围在0到1之间。
9.根据权利要求6所述的基于教师学生学习框架的遮挡行人再标识方法，其特征在于，所述步骤S3中联合显著检测的行人再标识网络行人分类识别支路中，遮挡与非遮挡二分类损失函数LO表示为：
其中，b(·)表示遮挡与非遮挡二分类分类器，IF/O'表示做了遮挡处理的图片和没有做遮挡处理的图片放在一起得到的用于网络训练的新集合，
表示为IF/O'中的第i个样本,
是这个样本对应的遮挡与非遮挡的二分类标签，数据为0或者1，0表示完整行人样本，1表示模拟的遮挡行人样本；
加入了遮挡与非遮挡二分类损失函数，行人分类识别支路的损失函数变为多任务损失函数，用LM表示为：
LM(IF/O',CF/O',OF/O')＝βLC(IF/O',CF/O')+(1-β)LO(IF/O',OF/O')
其中，IF/O'表示做了遮挡处理的图片和没有做遮挡处理的图片放在一起得到的用于网络训练的新集合，CF/O'表示每个样本对应的行人身份标签，也就是分类标签；OF/O'表示每个样本遮挡与非遮挡二分类的属性，也就是遮挡或者非遮挡的标签，Lc和Lo分别表示行人身份分类的损失函数、遮挡与非遮挡二分类损失函数，β∈(0，1)表示平衡上述两个损失函数之间权重的超参数。
10.根据权利要求9所述的基于教师学生学习框架的遮挡行人再标识方法，其特征在于，对联合显著检测支路和加入跨域生成器后的行人分类识别支路的损失函数分别赋予不同的权重，组成联合显著检测的行人再标识网络损失函数，用公式表达为：
L(IF/O',CF/O',OF/O',SF/O')＝αLM(IF/O',CF/O',OF/O')+(1-α)LS(IF/O',SF/O'))
其中，α是用来平衡两个支路损失函数之间权重的超参数，α的取值范围在0到1之间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911289053.9A CN110956158A (zh) | 2019-12-12 | 2019-12-12 | 一种基于教师学生学习框架的遮挡行人再标识方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911289053.9A CN110956158A (zh) | 2019-12-12 | 2019-12-12 | 一种基于教师学生学习框架的遮挡行人再标识方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110956158A true CN110956158A (zh) | 2020-04-03 |
Family
ID=69981622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911289053.9A Pending CN110956158A (zh) | 2019-12-12 | 2019-12-12 | 一种基于教师学生学习框架的遮挡行人再标识方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110956158A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553333A (zh) * | 2020-07-10 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 人脸图像识别模型训练方法、识别方法、装置和电子设备 |
| CN111738289A (zh) * | 2020-05-09 | 2020-10-02 | 北京三快在线科技有限公司 | 计算机视觉cv模型训练方法、装置、电子设备和存储介质 |
| CN111783606A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸识别网络的训练方法、装置、设备及存储介质 |
| CN111814705A (zh) * | 2020-07-14 | 2020-10-23 | 广西师范大学 | 一种基于批次分块遮挡网络的行人再辨识方法 |
| CN112149542A (zh) * | 2020-09-15 | 2020-12-29 | 北京字节跳动网络技术有限公司 | 训练样本生成方法、图像分类方法、装置、设备和介质 |
| CN113076917A (zh) * | 2021-04-20 | 2021-07-06 | 南京甄视智能科技有限公司 | 行人质量评估方法及*** |
| CN113505797A (zh) * | 2021-09-09 | 2021-10-15 | 深圳思谋信息科技有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596211A (zh) * | 2018-03-29 | 2018-09-28 | 中山大学 | 一种基于集中学习与深度网络学习的遮挡行人再识别方法 |
| CN108960127A (zh) * | 2018-06-29 | 2018-12-07 | 厦门大学 | 基于自适应深度度量学习的遮挡行人重识别方法 |
| CN109934177A (zh) * | 2019-03-15 | 2019-06-25 | 艾特城信息科技有限公司 | 行人再识别方法、***及计算机可读存储介质 |
| CN110197154A (zh) * | 2019-05-30 | 2019-09-03 | 汇纳科技股份有限公司 | 融合部位纹理三维映射的行人重识别方法、***、介质及终端 |
| CN110321801A (zh) * | 2019-06-10 | 2019-10-11 | 浙江大学 | 一种基于自编码网络的换衣行人重识别方法及*** |
-
2019
- 2019-12-12 CN CN201911289053.9A patent/CN110956158A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596211A (zh) * | 2018-03-29 | 2018-09-28 | 中山大学 | 一种基于集中学习与深度网络学习的遮挡行人再识别方法 |
| CN108960127A (zh) * | 2018-06-29 | 2018-12-07 | 厦门大学 | 基于自适应深度度量学习的遮挡行人重识别方法 |
| CN109934177A (zh) * | 2019-03-15 | 2019-06-25 | 艾特城信息科技有限公司 | 行人再识别方法、***及计算机可读存储介质 |
| CN110197154A (zh) * | 2019-05-30 | 2019-09-03 | 汇纳科技股份有限公司 | 融合部位纹理三维映射的行人重识别方法、***、介质及终端 |
| CN110321801A (zh) * | 2019-06-10 | 2019-10-11 | 浙江大学 | 一种基于自编码网络的换衣行人重识别方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| JIAXUAN ZHUO ET AL.: "A Novel Teacher-Student Learning Framework For Occluded Person Re-Identification" * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738289A (zh) * | 2020-05-09 | 2020-10-02 | 北京三快在线科技有限公司 | 计算机视觉cv模型训练方法、装置、电子设备和存储介质 |
| CN111738289B (zh) * | 2020-05-09 | 2024-05-14 | 北京三快在线科技有限公司 | 计算机视觉cv模型训练方法、装置、电子设备和存储介质 |
| CN111783606A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸识别网络的训练方法、装置、设备及存储介质 |
| CN111783606B (zh) * | 2020-06-24 | 2024-02-20 | 北京百度网讯科技有限公司 | 一种人脸识别网络的训练方法、装置、设备及存储介质 |
| CN111553333A (zh) * | 2020-07-10 | 2020-08-18 | 支付宝(杭州)信息技术有限公司 | 人脸图像识别模型训练方法、识别方法、装置和电子设备 |
| CN111553333B (zh) * | 2020-07-10 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 人脸图像识别模型训练方法、识别方法、装置和电子设备 |
| CN111814705A (zh) * | 2020-07-14 | 2020-10-23 | 广西师范大学 | 一种基于批次分块遮挡网络的行人再辨识方法 |
| CN111814705B (zh) * | 2020-07-14 | 2022-08-02 | 广西师范大学 | 一种基于批次分块遮挡网络的行人再辨识方法 |
| CN112149542A (zh) * | 2020-09-15 | 2020-12-29 | 北京字节跳动网络技术有限公司 | 训练样本生成方法、图像分类方法、装置、设备和介质 |
| CN113076917A (zh) * | 2021-04-20 | 2021-07-06 | 南京甄视智能科技有限公司 | 行人质量评估方法及*** |
| CN113076917B (zh) * | 2021-04-20 | 2022-08-12 | 南京甄视智能科技有限公司 | 行人质量评估方法及*** |
| CN113505797A (zh) * | 2021-09-09 | 2021-10-15 | 深圳思谋信息科技有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tabernik et al. | Deep learning for large-scale traffic-sign detection and recognition | |
| CN110956158A (zh) | 一种基于教师学生学习框架的遮挡行人再标识方法 | |
| CN109034044B (zh) | 一种基于融合卷积神经网络的行人再识别方法 | |
| CN109359559B (zh) | 一种基于动态遮挡样本的行人再识别方法 | |
| Wang et al. | Actionness estimation using hybrid fully convolutional networks | |
| CN111027493B (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
| CN110210551A (zh) | 一种基于自适应主体敏感的视觉目标跟踪方法 | |
| CN108596211B (zh) | 一种基于集中学习与深度网络学习的遮挡行人再识别方法 | |
| CN111767882A (zh) | 一种基于改进yolo模型的多模态行人检测方法 | |
| CN109902806A (zh) | 基于卷积神经网络的噪声图像目标边界框确定方法 | |
| CN106845499A (zh) | 一种基于自然语言语义的图像目标检测方法 | |
| CN109711262B (zh) | 一种基于深度卷积神经网络的智能挖掘机行人检测方法 | |
| CN106096602A (zh) | 一种基于卷积神经网络的中文车牌识别方法 | |
| CN108304798A (zh) | 基于深度学习及运动一致性的街面秩序事件视频检测方法 | |
| CN107133569A (zh) | 基于泛化多标记学习的监控视频多粒度标注方法 | |
| CN108960184A (zh) | 一种基于异构部件深度神经网络的行人再识别方法 | |
| CN103810500B (zh) | 一种基于有监督学习概率主题模型的地点图像识别方法 | |
| CN104021381B (zh) | 一种基于多层级特征的人体动作识别方法 | |
| Yu et al. | Research of image main objects detection algorithm based on deep learning | |
| CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
| CN104680193B (zh) | 基于快速相似性网络融合算法的在线目标分类方法与*** | |
| CN108345866B (zh) | 一种基于深度特征学习的行人再识别方法 | |
| CN111368660A (zh) | 一种单阶段半监督图像人体目标检测方法 | |
| Janku et al. | Fire detection in video stream by using simple artificial neural network | |
| CN115019039A (zh) | 一种结合自监督和全局信息增强的实例分割方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200403 |
|
| WD01 | Invention patent application deemed withdrawn after publication |