CN110516569B - 一种基于身份和非身份属***互学习的行人属性识别方法 - Google Patents
一种基于身份和非身份属***互学习的行人属性识别方法 Download PDFInfo
- Publication number
- CN110516569B CN110516569B CN201910753998.5A CN201910753998A CN110516569B CN 110516569 B CN110516569 B CN 110516569B CN 201910753998 A CN201910753998 A CN 201910753998A CN 110516569 B CN110516569 B CN 110516569B
- Authority
- CN
- China
- Prior art keywords
- identity
- attribute
- identity attribute
- pedestrian
- pedestrians
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 43
- 230000008859 change Effects 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 22
- 230000003993 interaction Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于身份和非身份属***互学习的行人属性识别方法。首先,采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达;其次,将行人属性分为身份属性和非身份属性,对二者之间的潜在关系进行建模,设计出行人身份属性和非身份属***互学习的目标函数,利用身份属性的识别优势促进非身份属性识别率的提高,并且利用非身份属性识别率的提高反过来进一步改进身份属性的识别效果。行人属性分为身份属性和非身份属性的潜在关系为:相同身份的行人之间,必然具有相同的非身份属性;非身份属性差异大的行人之间,其身份属性差异一般较大。最后,采用mini‑batch随机梯度下降算法对目标函数进行优化,实现行人属性的识别。
Description
技术领域
本发明涉及一种基于身份和非身份属***互学习的行人属性识别方法。
背景技术
行人属性是指行人的一系列可描述的高级语义特征,包括行人的身份、性别、年龄、发型、衣着、配饰和携带物等。其中,身份、性别和年龄属于全局属性,而发型、配饰、衣着和携带物等是局部属性。行人属性识别是能够利用一系列高级语义行人属性,从海量大量视频中里初步筛选出符合给定属性的行人目标的一种有效的视频图像侦查手段,具有重要的科研和实战意义。同人脸识别技术相比,行人属性识别包括对全局的身份、年龄、性别属性以及局部的发型、衣着、配饰和携带物等属性的识别,用行人的多个属性组合来代替单一的人脸属性,更加全面地刻画行人,适用于更广泛的图像视频侦查场景,因此更加符合公安机关打击犯罪的现实需求,具有更广泛的应用研究价值。
对于行人属性识别的研究,目前多数基于深度学习的识别方法的做法是分别给每个属性识别任务设置一个Softmax目标函数,然后对所有属性识别任务同时进行优化。但是,这种做法除了共享特征之外,各个属性识别任务之间缺乏进一步的交互,特别是身份属性与非身份属性无法进行有效地交互。其次,实际中视频监控***常常是会有多个视角不同的摄像头同时布控的,视角的变化会同时给身份属性和非身份属性的识别造成困难,因此行人属性识别的准确率是具有一定的提升空间的。
发明内容
本发明要解决的技术问题,在于提供一种基于身份和非身份属***互学习的行人属性识别方法,达到提升行人属性识别准确率的目的。
本发明提出的方法:一种基于身份和非身份属***互学习的行人属性识别方法,包括:首先,所述方法采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达;其次,将行人属性分为身份属性和非身份属性,对二者之间的潜在关系进行建模,设计出行人身份属性和非身份属***互学习的目标函数,通过目标函数进行优化,实现了行人的属性的识别。
进一步地,所述一种具有视角变化鲁棒性的特征学***平均池化、垂直平均池化、对角平均池化和反对角平均池化;然后,对各个方向平均池化后的特征映射再各自进行空间归一化操作,得到四种方向的行人特征;最后,把四种方向的行人特征串联起来,作为最终的行人图像的特征表达,具有对视角变化的鲁棒性。
进一步地,所述行人身份属性和非身份属***互学习的目标函数,具体设计如下:
L=G+αA+βB (1)
其中,G是M个属性的Softmax总和;A为根据“相同身份的行人之间,必然具有相同的非身份属性”设计的交互函数项;B为“非身份属性差异大的行人之间,其身份属性差异一般较大”设计的交互函数项;α,β≥0为用户设置的常数,用于控制A和B的权重,M表示待识别行人属性个数,id表示其中的身份属性,nid表示其中的非身份属性。
进一步地,所述“相同身份的行人之间,必然具有相同的非身份属性”设计的交互函数项A如下:
其中,N是样本总数,i,j是样本下标序号;是指示函数,当其括号中的条件成立时,输出1;反之,则输出0;d为欧式距离计算公式;分别是i,j样本的身份属性标签;是由G中各个非身份属性的 Softmax函数预测的i,j样本的非身份属性结果。
进一步地,所述“非身份属性差异大的行人之间,其身份属性差异一般较大”设计的交互函数项B如下:
本发明具有如下优点:该方法具有对视角变化鲁棒性的特征学习能力以及身份属性和非身份属***互学习的能力,从而利用身份属性的识别优势促进对非身份属性识别率的提高,并且利用非身份属性识别率的提高反过来进一步改进身份属性的识别效果,进而实现提升行人属性识别的准确率的目的。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明中的基于身份和非身份属***互学习的行人属性识别方法示意图。
具体实施方式
本发明基于身份和非身份属***互学习的行人属性识别方法,包括:首先,所述方法采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达;其次,将行人属性分为身份属性和非身份属性,对二者之间的潜在关系进行建模,设计出行人身份属性和非身份属***互学习的目标函数,采用mini-batch随机梯度下降算法对目标函数进行优化,实现了行人的属性的识别。
所述方法在行人图像的特征学***平均池化、垂直平均池化、对角平均池化和反对角平均池化;然后,对各个方向平均池化后的特征映射再各自进行空间归一化操作,得到四种方向的行人特征;最后,把四种方向的行人特征串联起来,作为最终的行人图像的特征表达。
所述方法中的行人身份属性和非身份属***互学习的目标函数,具体如下:
L=G+αA+βB (1)
其中,G是M个属性的Softmax总和;A为根据“相同身份的行人之间,必然具有相同的非身份属性”设计的交互函数项;B为“非身份属性差异大的行人之间,其身份属性差异一般较大”设计的交互函数项;α,β≥0为用户设置的常数,用于控制A和B的权重,M表示待识别行人属性个数,id表示其中的身份属性,nid表示其中的非身份属性。
所述“相同身份的行人之间,必然具有相同的非身份属性”设计的交互函数项A如下:
其中,N是样本总数,i,j是样本下标序号;是指示函数,当其括号中的条件成立时,输出1;反之,则输出0;d为欧式距离计算公式;分别是i,j样本的身份属性标签;是由G中各个非身份属性的 Softmax函数预测的i,j样本的非身份属性结果。
所述“非身份属性差异大的行人之间,其身份属性差异一般较大”设计的交互函数项B如下:
本发明一种具体实施方式:
如图1所示,为了简化本发明的网络方法构图,图1中所采用的基本特征学习模块(Basic Feature Learning Module,B-FLM)是采用卷积 (Convolutional,Conv)神经网络,包括Conv1、Conv2、Conv3以及Conv4,实际中可以采用已经存在的任何一款深度网络结构,例如DenseNet,ResNet, GoogLeNet等。在图1中B-FLM包括四个最大池化(Max Pooling,MP)层,包括MP1、MP2、MP3以及MP4,其中池化层采用池化窗口皆为3×3,滑动步长统一采用2像素。进一步,假定输入图像的分辨率为128×64,基于图1所示的网络结构,本发明所提出的一种基于身份和非身份属***互学习的行人属性识别方法的具体步骤如下:
步骤一,具有视角变化鲁棒性的特征学***平均池化(Horizonal Average Pooling, HAP)、垂直平均池化(Vertical AveragePooling,VAP)、对角平均池化 (Diagonal Average Pooling,DAP)和反对角平均池化(Anti-diagonal Average Pooling,AAP);然后,对各个方向平均池化后的特征映射再各自送入空间归一化(Spatial Normalization,SN)层,包括SN1、SN2、SN3以及SN4,得到四种方向的行人特征;最后,用一个连接(Concatenation,CAT)层,把得到的四种方向的行人特征串联起来,作为最终的行人图像特征。
步骤二、行人的身份属性和非身份属***互学习,假定一共有M个行人属性待识别,id表示其中的身份属性,nid表示其中的非身份属性 (nonidentification)则身份属性和非身份属性相交互的目标函数设计L如下:
L=G+αA+βB (1)
其中,G是M个属性的Softmax总和;A为根据“相同身份的行人之间,必然具有相同的非身份属性”设计的交互函数项;B为“非身份属性差异大的行人之间,其身份属性差异一般较大”设计的交互函数项;α,β≥0为用户设置的常数,用于控制A和B的权重。A的定义如下:
其中,N样本总数,i,j是样本下标序号;是指示函数,当其括号中的条件成立时,输出1;反之,则输出0;d为欧式距离计算公式;分别是i,j样本的身份属性标签;是由G中各个非身份属性的Softmax 函数预测的i,j样本的非身份属性结果。
B的定义如下:
最终,采用mini-batch随机梯度下降算法对公式(1)的进行优化,在优化的过程中充分借助A和B两个交互函数项,实现了行人的身份属性和非身份属***互学习,所得到的算法模型可以实现行人属性识别,即:公式 (1)的G包括M个属性的Softmax函数,可以用于行人属性的预测。值得一提的是,非身份属性的识别通常是闭集的识别任务,例如性别是二分类、衣着类别可预先定义好、年龄段估计也可实现划定年龄区段,因此非身份属性的识别可以直接使用对应属性的Softmax函数进行预测。但是,身份属性识别通常是开集识别任务,即实际测试数据集中的行人和训练集中行人完全不是同一批行人,不具有相同的身份,此时无法直接使用身份属性的Softmax 函数进行身份属性识别。为了解决这个问题,通常采用特征距离排序来实现行人身份属性识别,即:通过步骤一具有视角变化鲁棒性的特征学习可以得到行人图像的特征,再计算未知身份的行人图像特征与所有已知身份的行人图像特征的欧式距离并进行排序,将距离最近的已知身份的行人图像的身份作为未知身份的行人图像的身份,实现身份属性识别。
虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的权利要求所保护的范围内。
Claims (1)
1.一种基于身份和非身份属***互学习的行人属性识别方法,其特征在于:首先,所述方法采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达;其次,将行人属性分为身份属性和非身份属性,对二者之间的潜在关系进行建模,设计出行人身份属性和非身份属***互学习的目标函数,通过目标函数进行优化,实现了行人的属性的识别;
所述的行人身份属性和非身份属***互学习的目标函数,具体设计如下:
L=G+αA+βB (1)
其中,G是M个属性的Softmax总和;A为根据“相同身份的行人之间,必然具有相同的非身份属性”设计的交互函数项;B为“非身份属性差异大的行人之间,其身份属性差异一般较大”设计的交互函数项;α,β≥0为用户设置的常数,用于控制A和B的权重,M表示待识别行人属性个数,id表示其中的身份属性,nid表示其中的非身份属性;
所述一种具有视角变化鲁棒性的特征学***平均池化、垂直平均池化、对角平均池化和反对角平均池化;然后,对各个方向平均池化后的特征映射再各自进行空间归一化操作,得到四种方向的行人特征;最后,把四种方向的行人特征串联起来,作为最终的行人图像的特征表达,具有对视角变化的鲁棒性;
所述“相同身份的行人之间,必然具有相同的非身份属性”设计的交互函数项A如下:
其中,N是样本总数,i,j是样本下标序号;l是指示函数,当其括号中的条件成立时,输出1;反之,则输出0;d为欧式距离计算公式;分别是i,j样本的身份属性标签;是由G中各个非身份属性的Softmax函数预测的i,j样本的非身份属性结果;
所述“非身份属性差异大的行人之间,其身份属性差异一般较大”设计的交互函数项B如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910753998.5A CN110516569B (zh) | 2019-08-15 | 2019-08-15 | 一种基于身份和非身份属***互学习的行人属性识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910753998.5A CN110516569B (zh) | 2019-08-15 | 2019-08-15 | 一种基于身份和非身份属***互学习的行人属性识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110516569A CN110516569A (zh) | 2019-11-29 |
CN110516569B true CN110516569B (zh) | 2022-03-08 |
Family
ID=68625223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910753998.5A Active CN110516569B (zh) | 2019-08-15 | 2019-08-15 | 一种基于身份和非身份属***互学习的行人属性识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110516569B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553213B (zh) * | 2020-04-17 | 2022-09-20 | 大连理工大学 | 移动边缘云中实时分布式的身份感知行人属性识别方法 |
CN111582383B (zh) * | 2020-05-09 | 2023-05-12 | 浙江商汤科技开发有限公司 | 属性识别方法及装置、电子设备和存储介质 |
CN111898462B (zh) * | 2020-07-08 | 2023-04-07 | 浙江大华技术股份有限公司 | 对象属性的处理方法、装置、存储介质以及电子装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330396B (zh) * | 2017-06-28 | 2020-05-19 | 华中科技大学 | 一种基于多属性和多策略融合学习的行人再识别方法 |
CN107766850B (zh) * | 2017-11-30 | 2020-12-29 | 电子科技大学 | 基于结合人脸属性信息的人脸识别方法 |
CN108764065B (zh) * | 2018-05-04 | 2020-12-08 | 华中科技大学 | 一种行人重识别特征融合辅助学习的方法 |
CN109063535B (zh) * | 2018-05-30 | 2021-09-28 | 华侨大学 | 一种基于联合深度学习的行人再辨识和行人性别分类方法 |
CN108960184B (zh) * | 2018-07-20 | 2021-08-24 | 天津师范大学 | 一种基于异构部件深度神经网络的行人再识别方法 |
CN109190472B (zh) * | 2018-07-28 | 2021-09-14 | 天津大学 | 基于图像与属性联合引导的行人属性识别方法 |
CN109993072B (zh) * | 2019-03-14 | 2021-05-25 | 中山大学 | 基于超分辨图像生成的低分辨率行人重识别***和方法 |
CN110046553A (zh) * | 2019-03-21 | 2019-07-23 | 华中科技大学 | 一种融合属性特征的行人重识别模型、方法及*** |
CN110070010B (zh) * | 2019-04-10 | 2022-06-14 | 武汉大学 | 一种基于行人重识别的人脸属性关联方法 |
-
2019
- 2019-08-15 CN CN201910753998.5A patent/CN110516569B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110516569A (zh) | 2019-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111797893B (zh) | 一种神经网络的训练方法、图像分类***及相关设备 | |
US12061966B2 (en) | Relevance score assignment for artificial neural networks | |
CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
Workman et al. | A unified model for near and remote sensing | |
CN110516569B (zh) | 一种基于身份和非身份属***互学习的行人属性识别方法 | |
CN109062962B (zh) | 一种融合天气信息的门控循环神经网络兴趣点推荐方法 | |
WO2022016556A1 (zh) | 一种神经网络蒸馏方法以及装置 | |
CN108141645A (zh) | 具有成对深度排序的视频重点检测 | |
CN113807399A (zh) | 一种神经网络训练方法、检测方法以及装置 | |
JP2024042703A (ja) | 画像処理システム、画像処理方法及びプログラム | |
CN113297936B (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
WO2021175278A1 (zh) | 一种模型更新方法以及相关装置 | |
CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
CN111178284A (zh) | 基于地图数据的时空联合模型的行人重识别方法及*** | |
CN107622071B (zh) | 通过间接相关反馈在无查源下的衣服图像检索***及方法 | |
CN114360067A (zh) | 一种基于深度学习的动态手势识别方法 | |
JP2020123329A (ja) | 人工ニューラルネットワークの関連性スコア割当て | |
Li | A deep learning-based text detection and recognition approach for natural scenes | |
Xu et al. | Improved SSD-assisted algorithm for surface defect detection of electromagnetic luminescence | |
CN113066537B (zh) | 基于图神经网络的化合物分类方法 | |
CN114943873A (zh) | 一种工地人员异常行为分类方法及装置 | |
KR102444172B1 (ko) | 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템 | |
Sun et al. | Visual cognition inspired vehicle re-identification via correlative sparse ranking with multi-view deep features | |
CN114170625A (zh) | 一种上下文感知、噪声鲁棒的行人搜索方法 | |
CN112183299A (zh) | 行人属性预测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |