CN114581956A - 一种多分支细粒度特征融合的行人重识别方法 - Google Patents

一种多分支细粒度特征融合的行人重识别方法 Download PDF

Info

Publication number
CN114581956A
CN114581956A CN202210266865.7A CN202210266865A CN114581956A CN 114581956 A CN114581956 A CN 114581956A CN 202210266865 A CN202210266865 A CN 202210266865A CN 114581956 A CN114581956 A CN 114581956A
Authority
CN
China
Prior art keywords
local
features
pedestrian
feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210266865.7A
Other languages
English (en)
Inventor
雒江涛
纵荣光
任媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210266865.7A priority Critical patent/CN114581956A/zh
Publication of CN114581956A publication Critical patent/CN114581956A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种多分支细粒度特征融合的行人重识别方法，属于计算机视觉领域，包括以下步骤：获取行人数据并进行数据预处理，采用残差网络建立行人特征提取网络；构建行人重识别网络的全局分支、局部分支、局部关联分支；采用行人重识别网络的全局分支、局部分支、局部关联分支分别提取全局特征、局部特征、局部关联特征；将所述全局特征、局部特征、局部关联特征在通道维度拼接，作为行人的外观特征表示；将待查询行人与查询库中的行人特征向量计算欧式距离，按照相似度进行排序，得到与待查询行人最相似的行人。本发明设计了一种多分支细粒度特征融合重识别方法，通过融合全局和局部特征，使得行人重识别网络提取的特征具有更强的分辨能力。

Description

一种多分支细粒度特征融合的行人重识别方法
技术领域
本发明属于计算机视觉领域，涉及一种多分支细粒度特征融合的行人重识别方法。
背景技术
行人重识别是指在监控视频中检索出与待查询行人具有相同身份的行人图像。随着计算机视觉技术的不断发展，行人重识别技术开始应用于视频监控、智能交通场景中。然而实际应用场景中存在相机角度、行人姿态、光照变化，导致提取的特征鲁棒性较低，影响重识别准确率。
目前行人重识别主要分为基于全局特征的方法和基于局部特征的方法。基于全局特征的方法可以提取全局语义信息，但是容易忽略细粒度特征。基于局部特征的方法通过将行人身体部位划分为多个部分，从而学习各个局部区域的显著性特征。基于全局特征与局部特征的融合的方法考虑了局部和全局语义信息，但没有考虑到特征之间的关联性。因此，本文提出一种多分支细粒度特征融合的行人重识别方法，通过融合全局和局部特征，并学习局部特征之间的关联性，以提升行人重识别性能。
发明内容
有鉴于此，本发明的目的在于提供一种多分支细粒度特征融合的行人重识别方法。
为达到上述目的，本发明提供如下技术方案：
一种多分支细粒度特征融合的行人重识别方法，包括以下步骤：
S1：获取行人数据集，分为训练集、测试集、查询集，并进行数据预处理，包括数据归一化、随机擦除、水平翻转；
S2：利用残差网络(ResNet)建立特征提取网络，提取行人高阶特征；
S3：构建行人重识别网络的全局分支、局部分支、局部关联分支；
S4：训练行人重识别网络；
S5：采用行人重识别网络的全局分支进行全局特征提取，获得全局特征；
S6：采用行人重识别网络的局部分支进行局部特征提取，获得局部特征；
S7：采用行人重识别网络的局部关联分支进行局部关联特征提取，获得局部关联特征；
S8：将所述全局特征、局部特征、局部关联特征在通道维度拼接，作为行人的外观特征表示，将待查询行人与查询库中的行人特征向量计算欧式距离，按照相似度进行排序，得到与待查询行人最相似的行人。
优选地，S2所述利用残差网络建立特征提取网络，提取行人高阶特征，具体步骤包括：
采用残差网络的conv1、conv2_x、conv3_x、conv4_x建立特征提取网络，conv1只包含7x7卷积和最大池化，其余3组卷积均为残差结构，最后生成行人的高阶特征。
优选地，S5所述采用行人重识别网络的全局分支进行全局特征提取，获得全局特征，具体步骤包括：
所述全局分支包括残差网络的conv5_x残差模块和降维操作，高阶特征经过conv5_x后进行全局平均池化得到一维特征向量，并利用1×1卷积、批归一化、ReLU激活函数，对特征做降维处理。
优选地，S6采用行人重识别网络的局部分支进行局部特征提取，获得局部特征，具体步骤包括：
所述局部分支包括残差网络的conv5_x和特征切分模块，高阶特征经过conv5_x后对特征进行水平分割得到k个局部特征图，k个局部特征图经过全局平均池化后在通道维度进行拼接，并利用1×1卷积、批归一化、ReLU激活函数，对特征做降维处理。
优选地，S7采用行人重识别网络的局部关联进行局部关联特征提取，获得局部关联特征，具体步骤包括：
所述局部关联分支包括残差网络的conv5_x和特征关联模块，高阶特征经过conv5_x后对特征进行水平分割得到k个局部特征图，对k个局部特征图执行全局平均池化得到一维特征向量fi(i＝1,2,3...k)，依次选取k-1个特征执行平均池化得到ri(i＝1,2,3...k)，然后对ri、fi降维得到ri′、fi′，最后对fi、ri′、fi′计算局部关系得到局部关联特征qi(i＝1,2,3...k)。局部特征关联过程如下：
Figure BDA0003552203810000021
qi＝fi+Bp(C(ri′,fi′))
其中，Bp是一个局部特征提取网络，C表示特征向量的拼接。
优选地，所述训练行人重识别网络，训练的联合损失函数为：
Ltotal＝Lce+2LTri
其中，Lce为交叉熵损失，LTri为三元组损失。
Figure BDA0003552203810000031
Figure BDA0003552203810000032
其中，N表示一个批次的行人图像数量，yi和
Figure BDA0003552203810000033
分别表示当前图像的真实标签和预测的标签。xa、xp、xn分别表示锚点样本、正样本、负样本，xa和xp是具有相同ID的样本，xn和xa是具有不同ID的样本；F(·)表示重识别网络提取的特征，α为距离阈值，
Figure BDA0003552203810000034
为正负样本特征的欧式距离。
本发明的有益效果：本发明针对行人提取的特征鲁棒性不足，重识别准确率较低的问题，设计了一个多分支的行人重识别模型，全局分支学***划分身体部分学习局部显著特征、局部关联分支学习各个局部特征之间的关联性，充分利用局部空间信息，挖掘局部显著性特征。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明方法的行人重识别步骤示意图；
图2为本发明方法的行人重识别网络结构图；
图3为本发明方法的局部特征关联模块结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，本实例提供一种基于多分支细粒度特征融合的行人重识别方法，包括以下步骤：
S1：获取行人数据集，分为训练集、测试集、查询集，并进行数据预处理，包括数据归一化、随机擦除、水平翻转；
S2：利用残差网络建立特征提取网络，提取行人高阶特征；本实施例中的行人重识别网络是一个多分支网络，包括一个全局分支，两个局部分支，如图2所示。使用ResNet50作为重识别网络主干，采用ResNet50的conv1、conv2_x、conv3_x和conv4_x建立特征提取网络，conv1只包含7x7卷积和最大池化，其余3组卷积均为残差结构，最后生成行人的高阶特征。
S3：采用行人重识别网络的全局分支进行全局特征提取，获得全局特征；所述全局分支包括残差网络的conv5_x残差模块和降维操作，高阶特征经过conv5_x后进行全局平均池化得到一维特征向量，并利用1×1卷积、批归一化、ReLU激活函数，对特征做降维处理。
S4：采用行人重识别网络的局部分支进行局部特征提取，获得局部特征，局部关联模块如图3所示，所述局部分支包括残差网络的conv5_x和特征切分模块，高阶特征经过conv5_x后对特征进行水平分割得到6个局部特征图，6个局部特征图经过全局平均池化后在通道维度进行拼接，并利用1×1卷积、批归一化、ReLU激活函数，对特征做降维处理。
S5：采用行人重识别网络的局部关联分支进行局部关联特征提取，获得局部关联特征；所述全局分支包括残差网络的conv5_x和特征关联模块，高阶特征经过conv5_x后对特征进行水平分割得到6个局部特征图，对6个局部特征图执行全局平均池化得到一维特征向量fi(i＝1,2,3,4,5,6)，依次选取6个特征执行平均池化得到ri(i＝1,2,3,4,5,6)，然后对ri、fi降维得到ri′、fi′，最后对fi、ri′、fi′计算局部关系得到局部关联特征qi(i＝1,2,3,4,5,6)。局部特征关联过程如下：
Figure BDA0003552203810000051
qi＝fi+Bp(C(ri′,fi′))
其中，Bp是一个局部特征提取网络，C表示特征向量的拼接。
S6：将全局特征、局部特征、局部关联特征在通道维度拼接，作为行人的外观特征表示，将待查询行人与查询库中的行人特征向量计算欧式距离，按照相似度进行排序，得到与待查询行人最相似的行人。
S7：本实例结合两种损失函数训练行人重识别网络，联合损失函数为：
Ltotal＝Lce+2LTri
其中，Lce为交叉熵损失，LTri为三元组损失。
Figure BDA0003552203810000052
Figure BDA0003552203810000053
其中，N表示一个批次的行人图像数量，yi和
Figure BDA0003552203810000054
分别表示当前图像的真实标签和预测的标签。xa、xp、xn分别表示锚点样本、正样本、负样本，xa和xp是具有相同ID的样本，xn和xa是具有不同ID的样本；F(·)表示重识别网络提取的特征，α为距离阈值，
Figure BDA0003552203810000055
为正负样本特征的欧式距离。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一个计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种多分支细粒度特征融合的行人重识别方法，其特征在于：包括以下步骤：
S1：获取行人数据集，分为训练集、测试集、查询集，并进行数据预处理，包括数据归一化、随机擦除、水平翻转；
S2：利用残差网络ResNet建立特征提取网络，提取行人高阶特征；
S3：构建行人重识别网络的全局分支、局部分支、局部关联分支；
S4：训练行人重识别网络；
S5：采用行人重识别网络的全局分支进行全局特征提取，获得全局特征；
S6：采用行人重识别网络的局部分支进行局部特征提取，获得局部特征；
S7：采用行人重识别网络的局部关联分支进行局部关联特征提取，获得局部关联特征；
S8：将所述全局特征、局部特征、局部关联特征在通道维度拼接，作为行人的外观特征表示，将待查询行人与查询库中的行人特征向量计算欧式距离，按照相似度进行排序，得到与待查询行人最相似的行人。
2.根据权利要求1所述的多分支细粒度特征融合的行人重识别方法，其特征在于：步骤S2所述利用残差网络建立特征提取网络，提取行人高阶特征，具体包括：
采用残差网络的conv1、conv2_x、conv3_x、conv4_x建立特征提取网络，conv1只包含7x7卷积和最大池化，conv2_x、conv3_x、conv4_x均为残差结构，最后生成行人的高阶特征。
3.根据权利要求1所述的多分支细粒度特征融合的行人重识别方法，其特征在于：步骤S5所述采用行人重识别网络的全局分支进行全局特征提取，获得全局特征，具体包括：
所述全局分支包括残差网络的conv5_x残差模块和降维操作，高阶特征经过conv5_x后进行全局平均池化得到一维特征向量，并利用1×1卷积、批归一化、ReLU激活函数，对特征做降维处理。
4.根据权利要求1所述的多分支细粒度特征融合的行人重识别方法，其特征在于：步骤S6所述采用行人重识别网络的局部分支进行局部特征提取，获得局部特征，具体包括：
所述局部分支包括残差网络的conv5_x和特征切分模块，高阶特征经过conv5_x后对特征进行水平分割得到k个局部特征图，k个局部特征图经过全局平均池化后在通道维度进行拼接，并利用1×1卷积、批归一化、ReLU激活函数，对特征做降维处理。
5.根据权利要求1所述的多分支细粒度特征融合的行人重识别方法，其特征在于：步骤S7所述采用行人重识别网络的局部关联进行局部关联特征提取，获得局部关联特征，具体包括：
所述局部关联分支包括残差网络的conv5_x和特征关联模块，高阶特征经过conv5_x后对特征进行水平分割得到k个局部特征图，对k个局部特征图执行全局平均池化得到一维特征向量fi(i＝1,2,3...k)，依次选取k-1个特征执行平均池化得到ri(i＝1,2,3...k)，然后对ri、fi降维得到ri′、fi′，最后对fi、ri′、fi′计算局部关系得到局部关联特征qi(i＝1,2,3...k)，局部特征关联过程如下：
Figure FDA0003552203800000021
qi＝fi+Bp(C(ri′,fi′))
其中，Bp是一个局部特征提取网络，C表示特征向量的拼接。
6.根据权利要求1所述的多分支细粒度特征融合的行人重识别方法，其特征在于：步骤S4所述训练行人重识别网络，训练的联合损失函数为：
Ltotal＝Lce+2LTri
其中，Lce为交叉熵损失，LTri为三元组损失；
Figure FDA0003552203800000022
Figure FDA0003552203800000023
其中，N表示一个批次的行人图像数量，yi和
Figure FDA0003552203800000024
分别表示当前图像的真实标签和预测的标签；xa、xp、xn分别表示锚点样本、正样本、负样本，xa和xp是具有相同ID的样本，xn和xa是具有不同ID的样本；F(·)表示重识别网络提取的特征，α为距离阈值，
Figure FDA0003552203800000025
为正负样本特征的欧式距离。
CN202210266865.7A 2022-03-17 2022-03-17 一种多分支细粒度特征融合的行人重识别方法 Pending CN114581956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210266865.7A CN114581956A (zh) 2022-03-17 2022-03-17 一种多分支细粒度特征融合的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210266865.7A CN114581956A (zh) 2022-03-17 2022-03-17 一种多分支细粒度特征融合的行人重识别方法

Publications (1)

Publication Number Publication Date
CN114581956A true CN114581956A (zh) 2022-06-03

Family

ID=81774586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210266865.7A Pending CN114581956A (zh) 2022-03-17 2022-03-17 一种多分支细粒度特征融合的行人重识别方法

Country Status (1)

Country Link
CN (1) CN114581956A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186318A (zh) * 2023-04-24 2023-05-30 国网智能电网研究院有限公司 一种基于关联规则学习的图像检索方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186318A (zh) * 2023-04-24 2023-05-30 国网智能电网研究院有限公司 一种基于关联规则学习的图像检索方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN112818951B (zh) 一种票证识别的方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN112163498B (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN110633632A (zh) 一种基于循环指导的弱监督联合目标检测和语义分割方法
Yang et al. Tracking based multi-orientation scene text detection: A unified framework with dynamic programming
CN110765906A (zh) 一种基于关键点的行人检测算法
Lee et al. Place recognition using straight lines for vision-based SLAM
CN113344932B (zh) 一种半监督的单目标视频分割方法
CN114547249B (zh) 一种基于自然语言和视觉特征的车辆检索方法
CN111738048B (zh) 一种行人再识别的方法
CN113792606B (zh) 基于多目标追踪的低成本自监督行人重识别模型构建方法
CN113177464B (zh) 基于深度学习的端到端的多模态步态识别方法
CN111582154A (zh) 基于多任务骨架姿态划分部件的行人重识别方法
CN115497122A (zh) 遮挡行人重识别方法、装置、设备和计算机可存储介质
CN115482375A (zh) 一种基于时空通联数据驱动的跨镜目标跟踪方法
CN115187910A (zh) 视频分类模型训练方法、装置、电子设备及存储介质
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN114581956A (zh) 一种多分支细粒度特征融合的行人重识别方法
CN114821770A (zh) 文本到图像的跨模态行人再识别方法、***、介质和设备
CN114519863A (zh) 人体重识别方法、人体重识别装置、计算机设备及介质
CN115830643A (zh) 一种姿势引导对齐的轻量行人重识别方法
Zhang et al. Pedestrian detection in binocular stereo sequence based on appearance consistency
Zhang et al. Transformer-based global–local feature learning model for occluded person re-identification
CN114723977A (zh) 一种用于视觉slam***的稳定特征点识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination