CN109063535B - 一种基于联合深度学习的行人再辨识和行人性别分类方法 - Google Patents

一种基于联合深度学习的行人再辨识和行人性别分类方法 Download PDF

Info

Publication number
CN109063535B
CN109063535B CN201810541294.7A CN201810541294A CN109063535B CN 109063535 B CN109063535 B CN 109063535B CN 201810541294 A CN201810541294 A CN 201810541294A CN 109063535 B CN109063535 B CN 109063535B
Authority
CN
China
Prior art keywords
pedestrian
identification
gender classification
parameter
same structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810541294.7A
Other languages
English (en)
Other versions
CN109063535A (zh
Inventor
朱建清
曾焕强
陈婧
蔡灿辉
杜永兆
傅玉青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201810541294.7A priority Critical patent/CN109063535B/zh
Publication of CN109063535A publication Critical patent/CN109063535A/zh
Application granted granted Critical
Publication of CN109063535B publication Critical patent/CN109063535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于联合深度学习的行人再辨识和行人性别分类方法，可同时预测行人身份和行人性别。首先，构建两个结构相同的深度网络，分别用于行人再辨识和行人性别分类；其次，利用参数相关正则项约束两个结构相同的深度网络中各层的参数集，使得二者参数的优化过程中不至于发生过大的偏离，以避免过拟合，从而同时提升行人再辨识与行人性别分类的准确率。

Description

一种基于联合深度学习的行人再辨识和行人性别分类方法
技术领域
本发明涉及智能视频监控、机器视觉和机器学习，特别涉及一种基于联合深度学习的行人再辨识和行人性别分类方法。
背景技术
近年来涌现出大量基于深度网络的行人再辨识或行人性别分类算法。但是，这些算法往往对行人再辨识或行人性别分类作为两个相互独立的任务，并没有对二者进行联合学习，自然给行人再辨识和行人性别分类的准确率的提升留下余地。
一些已经成功应用于人脸识别的深度网络，如ResNet，GoogLeNet，DenseNet，未必能够直接应用于行人再辨识或行人性别分类任务，因为行人方面的数据库规模远远低于人脸方面的数据库规模。深度网络在小规模的行人数据库上容易出现过拟合现象，从而限制了行人再辨识或行人性别分类算法的准确率。
发明内容
本发明的目的在于提供一种基于联合深度学习的行人再辨识和行人性别分类方法，可用于同时预测行人身份和行人性别，并可避免深度网络的过拟合，进而有利于同时提升行人再辨识与行人性别分类的准确率。
为实现上述目的，本发明采用的技术方案是：
一种基于联合深度学习的行人再辨识和行人性别分类方法，具体包括以下步骤：
步骤1、构建两个结构相同的深度网络，分别用于行人再辨识和行人性别分类；
步骤2、利用参数相关正则项约束所述两个结构相同的深度网络中各层的参数集。
进一步地，所述步骤1中用于行人再辨识和行人性别分类的所述两个结构相同的深度网络对应的参数集分别为H1＝{H11,H12,…,H1n}和H2＝{H21,H22,…,H2n}，其中n为深度网络中卷积层个数，则二者的参数相关正则项R(H1,H2)定义如下：
Figure BDA0001678881330000021
其中，
Figure BDA0001678881330000022
表示点乘运算，H1i表示参数集H1中第i个卷积层的参数，H2i表示参数集H2中第i个卷积层的参数，
Figure BDA0001678881330000023
表示矩阵的Frobenius范数(弗罗贝尼乌斯范数)；
基于梯度下降算法对H1和H2进行优化，即后向传播中参数的更新规则如下：
Figure BDA0001678881330000024
其中，L1和L2分别表示用于行人再辨识和行人性别分类的Softmax损失函数；λ≥0，用于控制参数相关正则项R(H1,H2)的权重；t+1和t表示梯度下降算法中相邻的两次迭代；
Figure BDA0001678881330000025
表示求偏导运算。
从公式(2)能够明显看出，引入公式(1)所定义的参数相关正则项后，分别用于行人再辨识和行人性别分类的所述两个结构相同的深度网络的参数集是相互作用的，旨在增加所述两个结构相同的深度网络(Deep Network)对应的参数集之间的相关性，以限制对应的参数集在优化过程中的偏离程度，从而避免深度网络的过拟合。
考虑到具有相同身份信息的行人之间必然具有相同的性别信息，而具有不同性别信息的行人之间不可能具有相同的身份信息。这说明，行人再辨识和行人性别分类两个任务之间是具有相关性的。采用上述方案后，本发明同时学习两个结构相同的深度网络分别用于行人再辨识和行人性别分类。在网络学习的过程中，利用参数相关正则项约束两个深度网络中的参数集，进而避免深度网络的过拟合，从而提升了行人再辨识与行人性别分类的准确率。
附图说明
图1为本发明中基于联合深度学习的行人再辨识和行人性别分类方法示意图；
图2为本发明中CBLR单元的结构示意图；
图3为本发明的深度网络的结构示意图。
具体实施方式
本发明揭示了一种基于联合深度学习的行人再辨识和行人性别分类方法，通过构建两个结构相同的深度网络分别用于行人再辨识和行人性别分类，在网络学习的过程中，利用参数相关正则项约束两个结构相同的深度网络中各层的参数集，进而避免深度网络的过拟合，从而提高了行人再辨识与行人性别分类的准确率。
作为一个较佳的实施例，如图1所示，一种基于联合深度学习的行人再辨识和行人性别分类方法，具体步骤如下：
步骤1、构建两个结构相同的深度网络，分别用于行人再辨识和行人性别分类；
如图2所示，为了便于描述，本发明将卷积层(Conv)、批归一化层(BatchNorm)和Leaky ReLU激活函数整合为CBLR单元，本实施例中所有CBLR单元中统一采用3×3大小的滤波器，且Leaky ReLU激活函数的负半轴斜率设置为0.15，并采用1像素补零操作。基于图2中的CBLR单元，本实施例采用VGGNet结构构建深度网络(即图1中的深度网络)。如图3所示，所构建的深度网络包括四个最大池化层(MP1、MP2、MP3和MP4)，且MP1、MP2、MP3和MP4前分别安放了4个CBLR单元(CBLR1-4)、3个CBLR单元(CBLR5-7)、3个CBLR单元(CBLR8-10)和3个CBLR单元(CBLR11-13)。
步骤2、利用参数相关正则项约束两个结构相同的深度网络中各层的参数集；
假设步骤1中用于行人再辨识和行人性别分类的所述两个结构相同的深度网络(Deep Network)对应的参数集分别为H1＝{H11,H12,…,H1n}和H2＝{H21,H22,…,H2n}，其中n为深度网络中卷积层个数，则二者的参数相关正则项定义如下：
Figure BDA0001678881330000041
其中，
Figure BDA0001678881330000045
表示点乘运算，H1i表示参数集H1中第i个卷积层的参数，H2i表示参数集H2中第i个卷积层的参数，
Figure BDA0001678881330000042
表示矩阵的Frobenius范数(弗罗贝尼乌斯范数)；目前，在深度网络训练的过程中，常用梯度下降算法优化，基于梯度下降算法对H1和H2进行优化，即后向传播中参数的更新规则，如下：
Figure BDA0001678881330000043
其中，L1和L2分别表示用于行人再辨识和行人性别分类的Softmax损失函数；λ≥0，用于控制参数相关正则项R(H1,H2)的权重；t+1和t表示梯度下降法中相邻的两次迭代；
Figure BDA0001678881330000044
表示求偏导运算；从公式(2)能够明显看出，引入公式(1)所定义的参数相关正则项后，分别用于行人再辨识和行人性别分类的所述两个结构相同的深度网络的参数集是相互作用的，旨在增加所述两个结构相同的深度网络(Deep Network)对应的参数集之间的相关性，以限制对应的参数集在优化过程中的偏离程度，从而避免深度网络的过拟合。
考虑到具有相同身份信息的行人之间必然具有相同的性别信息，而具有不同性别信息的行人之间不可能具有相同的身份信息。这说明，行人再辨识和行人性别分类两个任务之间是具有相关性的。采用上述方案后，本发明同时学习两个结构相同的深度网络分别用于行人再辨识和行人性别分类。在网络学习的过程中，利用参数相关正则项约束两个深度网络中的参数集，进而避免深度网络的过拟合，从而同时提升了行人再辨识与行人性别分类的准确率。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (1)

1.一种基于联合深度学习的行人再辨识和行人性别分类方法，其特征在于，具体包括以下步骤：
步骤1、构建两个结构相同的深度网络，分别用于行人再辨识和行人性别分类；
步骤2、利用参数相关正则项约束所述两个结构相同的深度网络中各层的参数集；
所述步骤1中用于行人再辨识和行人性别分类的所述两个结构相同的深度网络对应的参数集分别为H1＝{H11,H12,…,H1n}和H2＝{H21,H22,…,H2n}，其中n为深度网络中卷积层个数，则二者的参数相关正则项R(H1,H2)定义如下：
Figure FDA0003004215900000011
其中，
Figure FDA0003004215900000012
表示点乘运算，H1i表示参数集H1中第i个卷积层的参数，H2i表示参数集H2中第i个卷积层的参数，
Figure FDA0003004215900000013
表示矩阵的Frobenius范数；
基于梯度下降算法对H1和H2进行优化，即后向传播中参数的更新规则如下：
Figure FDA0003004215900000014
其中，L1和L2分别表示用于行人再辨识和行人性别分类的Softmax损失函数；λ≥0，用于控制参数相关正则项R(H1,H2)的权重；t+1和t表示梯度下降算法中相邻的两次迭代；
Figure FDA0003004215900000015
表示求偏导运算。
CN201810541294.7A 2018-05-30 2018-05-30 一种基于联合深度学习的行人再辨识和行人性别分类方法 Active CN109063535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810541294.7A CN109063535B (zh) 2018-05-30 2018-05-30 一种基于联合深度学习的行人再辨识和行人性别分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810541294.7A CN109063535B (zh) 2018-05-30 2018-05-30 一种基于联合深度学习的行人再辨识和行人性别分类方法

Publications (2)

Publication Number Publication Date
CN109063535A CN109063535A (zh) 2018-12-21
CN109063535B true CN109063535B (zh) 2021-09-28

Family

ID=64819809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810541294.7A Active CN109063535B (zh) 2018-05-30 2018-05-30 一种基于联合深度学习的行人再辨识和行人性别分类方法

Country Status (1)

Country Link
CN (1) CN109063535B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435452B (zh) * 2019-01-11 2023-11-03 百度在线网络技术（北京）有限公司 模型训练方法、装置、设备和介质
CN110516569B (zh) * 2019-08-15 2022-03-08 华侨大学 一种基于身份和非身份属***互学习的行人属性识别方法
CN111695415B (zh) * 2020-04-28 2024-04-12 平安科技（深圳）有限公司 图像识别方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101290658A (zh) * 2007-04-18 2008-10-22 中国科学院自动化研究所 一种基于步态的性别识别方法
KR20160017152A (ko) * 2014-07-31 2016-02-16 경성대학교 산학협력단 이진 하르 캐스케이드에 기반한 성별 분류 방법
CN105718873A (zh) * 2016-01-18 2016-06-29 北京联合大学 基于双目视觉的人流分析方法
CN106960181A (zh) * 2017-02-28 2017-07-18 中科唯实科技（北京）有限公司 一种基于rgbd数据的行人属性识别方法
CN106960176A (zh) * 2017-02-22 2017-07-18 华侨大学 一种基于超限学习机和颜色特征融合的行人性别识别方法
CN107480631A (zh) * 2017-08-11 2017-12-15 中山大学 一种基于视角关联与深度网络学习的行人再识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160171546A1 (en) * 2013-12-14 2016-06-16 Fly Fleet LLC Situation Aware Travel Information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101290658A (zh) * 2007-04-18 2008-10-22 中国科学院自动化研究所 一种基于步态的性别识别方法
KR20160017152A (ko) * 2014-07-31 2016-02-16 경성대학교 산학협력단 이진 하르 캐스케이드에 기반한 성별 분류 방법
CN105718873A (zh) * 2016-01-18 2016-06-29 北京联合大学 基于双目视觉的人流分析方法
CN106960176A (zh) * 2017-02-22 2017-07-18 华侨大学 一种基于超限学习机和颜色特征融合的行人性别识别方法
CN106960181A (zh) * 2017-02-28 2017-07-18 中科唯实科技（北京）有限公司 一种基于rgbd数据的行人属性识别方法
CN107480631A (zh) * 2017-08-11 2017-12-15 中山大学 一种基于视角关联与深度网络学习的行人再识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Multi-view joint learning network for pedestrian gender classification》;Lei Cai;《2017 International Symposium on Intelligent Signal Processing and Communication System》;20171109;23-27页 *

Also Published As

Publication number Publication date
CN109063535A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN108010514B (zh) 一种基于深度神经网络的语音分类方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN110288030B (zh) 基于轻量化网络模型的图像识别方法、装置及设备
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及***
CN109063535B (zh) 一种基于联合深度学习的行人再辨识和行人性别分类方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
WO2017157183A1 (zh) 一种自动多阀值特征过滤方法及装置
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN110175628A (zh) 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法
US9129222B2 (en) Method and apparatus for a local competitive learning rule that leads to sparse connectivity
CN108985236B (zh) 一种基于深度化可分离卷积模型的人脸识别方法
CN108875933B (zh) 一种无监督稀疏参数学习的超限学习机分类方法及***
CN108985457B (zh) 一种受优化算法启发的深度神经网络结构设计方法
EP3620982B1 (en) Sample processing method and device
Yang et al. Channel pruning based on convolutional neural network sensitivity
CN107451594B (zh) 一种基于多元回归的多视角步态分类方法
US11475236B2 (en) Minimum-example/maximum-batch entropy-based clustering with neural networks
WO2022012668A1 (zh) 一种训练集处理方法和装置
CN103065158A (zh) 基于相对梯度的isa模型的行为识别方法
CN117201122B (zh) 基于视图级图对比学习的无监督属性网络异常检测方法及***
CN109726662A (zh) 基于卷积和循环组合神经网络的多类别人体姿态识别方法
CN109886342A (zh) 基于机器学习的模型训练方法和装置
US20230041338A1 (en) Graph data processing method, device, and computer program product
CN115169465A (zh) 变压器数据异常检测方法、装置、设备、介质和产品
CN110543816B (zh) 一种基于谱聚类和增强学习的自适应人脸图像聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant