CN108596026A - 基于双流生成对抗网络的跨视角步态识别装置及训练方法 - Google Patents
基于双流生成对抗网络的跨视角步态识别装置及训练方法 Download PDFInfo
- Publication number
- CN108596026A CN108596026A CN201810217938.7A CN201810217938A CN108596026A CN 108596026 A CN108596026 A CN 108596026A CN 201810217938 A CN201810217938 A CN 201810217938A CN 108596026 A CN108596026 A CN 108596026A
- Authority
- CN
- China
- Prior art keywords
- confrontation network
- gait
- global
- local
- energy diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005021 gait Effects 0.000 title claims abstract description 244
- 230000000007 visual effect Effects 0.000 title claims abstract description 79
- 239000012530 fluid Substances 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000010586 diagram Methods 0.000 claims abstract description 140
- 238000003475 lamination Methods 0.000 claims description 21
- 238000011478 gradient descent method Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims 1
- 230000004438 eyesight Effects 0.000 abstract description 3
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉和模式识别领域,具体涉及一种基于双流生成对抗网络的跨视角步态识别装置及训练方法。旨在解决跨视角步态识别准确率不高的问题。具体包括:通过一个全局流生成对抗网络模型学习一个标准角度的全局流步态能量图像;利用三个局部流生成对抗网络模型学习标准角度的局部流步态能量图像;该方法中的全局流模型能够学到全局步态特征,在全局流模型的基础上,加入局部流网络,可以学到局部步态特征;通过在双流生成对抗网络的生成器上加入像素级约束可以恢复步态细节;通过将全局步态特征和局部步态特征进行融合,可以提升步态识别准确率。该方法对于步态图像具有极强的鲁棒性,可以较好的解决跨视角步态识别问题。
Description
技术领域
本发明属于计算机视觉和模式识别领域,具体涉及一种基于双流生成对抗网络的跨视角步态识别装置及训练方法。
背景技术
步态识别问题是计算机视觉、生物特征识别等领域最重要的问题之一。视角的变化是对步态识别准确率影响最大的因素,然而,传统的步态识别方法无法获得满意的结果。随着深度学习的发展,近来也有越来越多的研究者将深度学习应用到步态识别中。本方法提出的双流生成对抗网络的方法能够得到较好的步态识别准确率。
发明内容
为了解决现有技术中的上述问题,即为了解决跨视角步态识别准确率不高的问题,本发明的一方面,提供了一种基于双流生成对抗网络的跨视角步态识别装置,包括:一个全局流生成对抗网络、多个局部流生成对抗网络、一个身份判别器;
所述全局流生成对抗网络,用于将所输入的任意视角的步态能量图生成标准视角的全局步态能量图,输送至所述身份判别器;
所述局部流生成对抗网络,用于将所输入的任意视角的局部步态能量图生成标准视角的局部步态能量图,输送至所述身份判别器;
所述身份判别器,用于提取所述全局步态能量图的全局步态特征和所述局部步态能量图的局部步态特征,并进行融合得到融合特征,按照预设权值对该融合特征和预设注册集样本的相似性进行比较,得到身份识别结果。
进一步地,所述身份判别器包括全局身份判别器、局部身份判别器;
所述全局身份判别器接收全局步态能量图,提取所述全局步态特征;
所述局部身份判别器接收局部步态能量图,提取所述局部步态特征。
进一步地,所述身份判别器将所述全局步态特征和所述局部步态特征进行融合得到所述融合特征,并在身份判别器的全连接层进行分类,输出身份识别结果。
进一步地,所述跨视角步态识别装置还包括全局流预处理装置、局部流预处理装置;
所述全局流生成对抗网络的输入端口连接全局流预处理装置的输出端口,所述全局流预处理装置用于将步态能量图归一化为统一大小的步态能量图;
所述局部流生成对抗网络的输入端口连接局部流预处理装置,所述局部流预处理装置用于将步态能量图归一化为统一大小的步态能量图,并将归一化后的步态能量图均等的划分为多个部分。
进一步地,所述全局流生成对抗网络包括全局流生成对抗网络生成器和全局流生成对抗网络判别器;所述局部流生成对抗网络包括局部流生成对抗网络生成器和局部流生成对抗网络判别器;
所述全局流生成对抗网络生成器由多个卷积层和多个对应的反卷积层组成;
所述局部流生成对抗网络生成器由多个卷积层和多个对应的反卷积层组成。
进一步地,所述全局流生成对抗网络生成器的卷积层和反卷积层中,每层均包括多种不同尺度的滤波器,用以捕捉不同尺度的步态特征。
进一步地,所述身份判别器由多个卷积层组成。
本发明的另一方面,还提供了一种基于双流生成对抗网络的跨视角步态识别训练方法,基于上述的基于双流生成对抗网络的跨视角步态识别装置,
步骤S1:基于反向传播法和随机梯度下降法训练所述全局流生成对抗网络;
步骤S2:基于反向传播法和随机梯度下降法训练所述局部流生成对抗网络;
步骤S3:基于训练后的所述全局流生成对抗网络生成器生成的全局步态能量图和训练后的所述局部流生成对抗网络生成器生成的局部步态能量图,训练身份判别器。
进一步地,所述步骤S1具体为:
步骤S11:将数据集中的步态能量图输入至全局流生成对抗网络生成器生成标准视角的全局步态能量图,且所述全局流生成对抗网络生成器的输出层将生成的标准视角的全局步态能量图与真实标准视角步态能量图进行比较,得到两者之间像素级别的误差;
步骤S12:将所述标准视角的步态能量图输入至全局流生成对抗网络判别器,对生成的标准视角的全局步态能量图进行真/伪判断;
步骤S13:基于反向传播法和随机梯度下降法训练全局流生成对抗网络;
步骤S14:重复步骤S11-S13,直到全局流生成对抗网络生成器和全局流生成对抗网络判别器之间达到纳什均衡。
进一步地,在训练全局流生成对抗网络之前还包括预训练过程,具体为:将归一化后任意视角的步态能量图送入全局流生成对抗网络生成器,经过多次迭代,生成标准视角的全局步态能量图。
进一步地,所述步骤S2具体为:
步骤S21:将数据集中的步态能量图输入至局部流生成对抗网络生成器生成标准视角的局部步态能量图,且所述局部流生成对抗网络生成器的输出层将生成的标准视角的局部步态能量图与真实标准视角局部步态能量图进行比较,得到两者之间像素级别的误差;
步骤S22:将所述标准视角的局部步态能量图输入至局部流生成对抗网络判别器,对生成的标准视角的局部步态能量图进行真/伪判断;
步骤S23:基于反向传播法和随机梯度下降法训练局部流生成对抗网络;
步骤S24:重复步骤S21-S23,直到局部流生成对抗网络生成器和局部流生成对抗网络判别器之间达到纳什均衡。
进一步地,在训练局部流生成对抗网络之前还包括预训练过程,具体为:将归一化后任意视角的局部步态能量图送入局部流的生成器网络生成器,经过多次迭代,生成标准视角的局部步态能量图。
进一步地,所述步骤S3具体为:
步骤S31:将训练后的全局流生成对抗网络生成器生成的全局步态能量图、训练后的局部流生成对抗网络生成器生成的局部步态能量图,输入至身份判别器,进行身份识别;
步骤S32:将身份识别结果与真实身份标记进行比较,得到预测误差;
步骤S33:基于反向传播法和随机梯度下降法减小预测误差,优化身份判别器;
步骤S34:重复步骤S31-S33,直到达到设定的迭代次数。
本发明有益效果:
(1)本发明的全局流生成对抗网络和局部流生成对抗网络能够很好的利用任意角度的步态能量图像学到标准角度的步态能量图像分布,其中在全局流生成器网络中引入多种不同尺度的滤波器,通过这种方式,其生成器可以在每个卷积层上都能捕捉到不同尺度的步态特征,有利于提高识别准确率;
(2)本发明基于全局流生成对抗网络学习得到标准视角的全局步态能量图,基于局部流生成对抗网络学习得到标准视角的局部步态能量图,提取标准视角的全局步态能量图的全局步态特征和标准视角的局部步态能量图的局部步态特征,通过全局步态特征和局部步态特征的融合特征进行步态识别,提高步态识别准确率;
(3)本发明的全局流生成对抗网络和局部流生成对抗网络,在生成的标准视角的步态能量图中加入了像素级别的约束,能够在像素级别上恢复步态细节,提高最终的识别精度。
附图说明
图1是本发明一种实施例的全局流生成对抗网络生成器结构示意图;
图2是本发明一种实施例的三个局部流生成对抗网络生成器结构示意图;
图3是本发明一种实施例的双流生成对抗网络总结构示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
本发明的目的是针对现有技术在跨视角步态识别中遇到的问题,通过全局流和局部流的生成对抗网络模型,利用全局流生成对抗网络学***均得到的任意角度的步态能量图像训练全局流生成对抗网络模型;将步态能量图像均匀分成多个部分,分别训练对应的多个局部生成对抗网络模型;然后将生成的90°视角的全局步态能量图像和局部步态能量图像分别作为两个身份分类器的输入;最后在顶层提取全局和局部步态特征进行融合,通过比较注册集和探测集样本之间的相似性进行身份判别。
为实现上述目的,本发明实施例提供了一种基于双流生成对抗网络的跨视角步态识别装置,包括一个全局流生成对抗网络、多个局部流生成对抗网络、一个身份判别器。
全局流生成对抗网络包括全局流生成对抗网络生成器和全局流生成对抗网络判别器。全局流生成对抗网络基于全局流生成对抗网络生成器,将输入的任意视角的步态能量图生成标准视角(即90°视角)的全局步态能量图,输送至身份判别器。
全局流生成对抗网络生成器由多个卷积层和多个对应的反卷积层组成。全局流生成对抗网络生成器的卷积层和反卷积层中,每层均包括多个不同尺度的滤波器,用以在每个卷积层和反卷积层中捕捉不同尺度的步态特征,本实施例的全局流生成对抗网络的生成器的具体结构如图1所示,全局流生成对抗网络生成器共包含5个卷积层和5个反卷积层。第一个卷积层含有48个滤波器(大小为5×5),步长为2,第二个卷积层有三种滤波器(大小分别为3×3,5×5,7×7),每种滤波器的个数均为32个,步长为2;第3、4、5个卷积层同第2个卷积层。第6、7、8、9层均为反卷积层,均有三种滤波器(大小分别为3×3,5×5,7×7),每种滤波器的个数均为32个,步长为2;第十层也为反卷积层,含有32个滤波器(大小为4×4),步长为2。在全局流生成对抗网络生成器的最后一层输出生成的90°视角的全局步态能量图。
局部流生成对抗网络包括局部流生成对抗网络生成器和局部流生成对抗网络判别器。局部流生成对抗网络基于局部流生成对抗网络生成器,将输入的任意视角的局部步态能量图生成标准视角的局部步态能量图,输送至身份判别器。
本发明基于双流生成对抗网络的跨视角步态识别装置中包括多个局部流生成对抗网络。将一张任意视角的步态能量图划分为多个部分后,通过多个局部流生成对抗网络生成标准视角的局部步态能量图,输送至身份判别器。本发明实施例中包括三个局部流生成对抗网络,即将一张任意视角的步态能量图通过局部流预处理装置均匀地划分为上、中、下三个部分后,再通过对应的局部流生成对抗网络生成器生成标准视角的局部步态能量图,输送至身份判别器。
每个局部流生成对抗网络生成器是由多个卷积层和多个对应的反卷积层组成。本发明实施例中局部流生成对抗网络,每个子网络均含有5个卷积层与5个反卷积层,具体结构如图2所示,第一个卷积层含有48个滤波器(大小为5×5),步长为2。第二个卷积层含有64个滤波器(大小为3×3),步长为2。第三个卷积层含有64个滤波器(大小为3×3),第四、五个卷积层同第二个卷积层。第6层为反卷积层,含有64个滤波器(大小为3×3),步长为2。第七、第九层的反卷积层同第六层。第八层为反卷积层,含有64个滤波器(大小为3×3),第十层为反卷积层,含有64个滤波器(大小为4×4),步长为2。图2的水平方向上所示各层的步长为2,图2的垂直方向上所示各层的步长为1。在局部流生成对抗网络生成器的最后一层输出生成的90°视角的局部步态能量图。
身份判别器包括全局身份判别器、局部身份判别器。全局身份判别器是由多个卷积层组成,局部身份判别器也是由多个卷积层组成。单独的全局身份判别器的输出层为一个全连接层,可对提取的全局步态特征进行分类,单独的局部身份判别器的输出层也为一个全连接层,可对提取的局部步态特征进行分类。而本发明中使用的全局身份判别器、局部身份判别器主要是为了提取全局步态特征和局部步态特征,所以在提取全局步态特征和局部步态特征后,直接进行融合的步骤,即将全局和局部步态特征表达通过相加的方式进行融合,合成一个既包含全局信息又包含局部信息的步态特征表达(融合特征),最终将融合特征在身份判别器的全连接层进行分类,得到跨视角的步态识别的身份识别结果。身份判别器的全连接层含有124个1×1的滤波器。
本发明实施例的跨视角步态识别装置还包括全局流预处理装置、局部流预处理装置。
全局流生成对抗网络的输入端口连接全局流预处理装置的输出端口,全局流预处理装置用于将步态能量图归一化为统一大小的步态能量图,(如:126×126像素)。
局部流生成对抗网络的输入端口连接局部流预处理装置,局部流预处理装置用于将步态能量图归一化为统一大小的步态能量图(如126×126像素),并将归一化后的步态能量图均等的划分为多个部分,如均匀地切成上、中、下三部分(每部分为126×42像素)。
上述基于双流生成对抗网络的跨视角步态识别装置能够更加精确地进行身份识别,主要表现在:全局流生成对抗网络和局部流生成对抗网络能够很好的利用任意角度的步态能量图像学到标准角度的步态能量图像分布,其中在全局流生成器网络中引入多种不同尺度的滤波器,通过这种方式,其生成器可以在每个卷积层和反卷积层上都能捕捉到不同尺度的步态特征,有利于提高识别准确率,且本发明基于全局流生成对抗网络学习得到标准视角的全局步态能量图,基于局部流生成对抗网络学习得到标准视角的局部步态能量图,提取标准视角的全局步态能量图的全局步态特征和标准视角的局部步态能量图的局部步态特征,通过全局步态特征和局部步态特征的融合特征进行步态识别,提高步态识别的准确率。
本实施例提供的基于双流生成对抗网络的跨视角步态识别训练方法,采用深度学习技术来分别训练全局流和局部流生成对抗网络模型,且在训练过程中引入了像素级别的约束,这样能够在像素级别上恢复步态细节,有利于生成对抗网络学到更精准的标准角度步态能量图像;利用生成的接近真实分布的标准视角的步态能量图像进行分类器训练,在分类器的顶层将全局和局部步态特征进行融合,可以提高步态身份识别的准确率。本实施例的一种基于双流生成对抗网络的跨视角步态识别训练方法,是基于上述的步态识别装置,该训练具体包括:
步骤S1:基于反向传播法和随机梯度下降法训练全局流生成对抗网络,具体为:
步骤Sa11:将数据集中的步态能量图输入至全局流生成对抗网络生成器生成标准视角的全局步态能量图,且全局流生成对抗网络生成器的输出层将生成的标准视角的全局步态能量图与真实标准视角步态能量图进行比较,得到两者之间像素级别的误差;
步骤Sa12:将标准视角的步态能量图输入至全局流生成对抗网络判别器,对生成的标准视角的全局步态能量图进行真/伪判断;具体地,若生成标准视角的步态能量图与真实的标准视角的步态能量相同则判别结果为真,否则为假。
步骤Sa13:基于反向传播法和随机梯度下降法训练全局流生成对抗网络;
步骤Sa14:重复步骤S11-S13,直到全局流生成对抗网络生成器和全局流生成对抗网络判别器之间达到纳什均衡。
步骤S2:基于反向传播法和随机梯度下降法训练局部流生成对抗网络,具体为:
步骤Sa21:将数据集中的步态能量图输入至局部流生成对抗网络生成器生成标准视角的局部步态能量图,且局部流生成对抗网络生成器的输出层将生成的标准视角的局部步态能量图与真实标准视角局部步态能量图进行比较,得到两者之间像素级别的误差;
步骤Sa22:将标准视角的局部步态能量图输入至局部流生成对抗网络判别器,对生成的标准视角的全局步态能量图进行真/伪判断;具体地,若生成标准视角的局部步态能量图与真实的标准视角的局部步态能量相同则判别结果为真,否则为假。
步骤Sa23:基于反向传播法和随机梯度下降法训练局部流生成对抗网络;
步骤Sa24:重复步骤S21-S23,直到局部流生成对抗网络生成器和局部流生成对抗网络判别器之间达到纳什均衡。
步骤S3:基于训练后的全局流生成对抗网络生成器生成的全局步态能量图和训练后的局部流生成对抗网络生成器生成的局部步态能量图,训练身份判别器,具体为:
步骤Sa31:将训练后的全局流生成对抗网络生成器生成的全局步态能量图、训练后的局部流生成对抗网络生成器生成的局部步态能量图,输入至身份判别器,进行身份识别;
步骤Sa32:将身份识别结果与真实身份标记进行比较,得到预测误差;
步骤Sa33:基于反向传播法和随机梯度下降法减小预测误差,优化身份判别器;
步骤Sa34:重复步骤S31-S33,直到达到设定的迭代次数。
在训练全局流生成对抗网络之前还包括预训练过程,具体为:将归一化后任意视角的步态能量图送入全局流生成对抗网络生成器,经过多次迭代,生成标准视角的全局步态能量图。
在训练局部流生成对抗网络之前还包括预训练过程,具体为:将归一化后任意视角的局部步态能量图送入局部流的生成器网络生成器,经过多次迭代,生成标准视角的局部步态能量图。
以某大型步态数据库为例,共包含13640张步态能量图像及对应的身份标注,基于上述的步态识别装置,如图3所示,该装置包括:全局流预处理装置、局部流预处理装置、全局流生成器(全局流生成对抗网络生成器)、局部流生成器(局部流生成对抗网络生成器)、全局流判别器(全局流生成对抗网络判别器)、局部流判别器(局部流生成对抗网络生成器)、身份判别器,下面具体描述本发明基于双流生成对抗网络的跨视角步态识别训练方法的技术细节。
基于双流生成对抗网络的跨视角步态识别训练方法,具体包括如下步骤:
步骤A0:将数据集中的13640张步态能量图像经全局流预处理装置进行预处理,归一化至统一的大小:126×126像素,然后将任意视角的步态能量图送入全局流生成器网络进行预训练,大约需要1000次迭代,生成标准视角(即90°视角)的步态能量图,将生成的步态能量图与真实的90°视角的步态能量图的每个像素点计算差值,然后进行求和取平均,得到像素级别的误差,该误差为126×126个像素点的误差总和。
步骤A1:将预训练生成的90°视角的步态能量图输入全局流判别器中,对生成的标准视角的全局步态能量图进行真/伪判断。
步骤A2:采用反向传播算法和随机梯度下降法来减少误差以训练全局流生成对抗网络,经过全局流判别器和全局流生成器的反复对抗迭代训练,大约需要反复10次,每次进行500次左右的迭代,最终全局流生成对抗网络生成器和全局流生成对抗网络判别器之间形成纳什均衡,生成更接近真实分布的90°视角的步态能量图;
步骤A3:将数据集中的步态能量图像经局部流预处理装置进行预处理,归一化至统一的大小(如126×126像素)后,均匀的切成上、中、下三部分,大小均为:126×42像素;
步骤A4:将上、中、下三部分步态能量图像分别送入3个局部生成器网络进行预训练,生成90°视角的步态能量图,将生成的步态能量图与真实的90°视角的步态能量图进行比较,即将生成的步态能量图与真实的90°视角的步态能量图的每个像素点计算差值,然后进行求和取平均,得到像素级别的误差。
步骤A5:将预训练生成的上、中、下三部分90°视角的步态能量图输入局部流判别器中,局部流判别器网络中的每层设置同全局流判别器网络;
步骤A6:采用反向传播算法和随机梯度下降法来减少误差以训练局部流生成对抗网络,经过局部流判别器和局部流生成器的反复对抗迭代训练,最终局部流生成器和局部流判别器之间达到纳什平衡,生成更接近真实分布的90°视角的步态能量图;
步骤A7:在全局流和局部流的生成对抗网络模型的生成器网络的最后一层分别输出生成的标准视角的全局步态能量图和标准视角的局部步态能量图;
步骤A8:将A7中得到的全局流和局部流步态能量图分别送入对应的全局身份判别器和局部身份判别器进行训练,大约需要迭代40000次。
步骤A9:全局身份判别器和局部身份判别器输出步态特征表达;
步骤A10:将全局和局部步态特征表达进行融合,并在身份判别器的全连接层进行分类;
步骤A11:将输出的分类结果与对应的真实的身份标记进行比较得到预测误差;
步骤A12:采用反向传播算法和随机梯度下降法来减小误差以训练该身份判别器网络,经过迭代训练直到达到设定的迭代次数;
步骤A13:此时,得到最终的识别模型,可从身份判别器网络的输出端得到跨视角步态识别结果。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的装置及方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的方法或者装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些方法或者装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (13)
1.一种基于双流生成对抗网络的跨视角步态识别装置,其特征在于,包括:一个全局流生成对抗网络、多个局部流生成对抗网络、一个身份判别器;
所述全局流生成对抗网络,用于将所输入的任意视角的步态能量图生成标准视角的全局步态能量图,输送至所述身份判别器;
所述局部流生成对抗网络,用于将所输入的任意视角的局部步态能量图生成标准视角的局部步态能量图,输送至所述身份判别器;
所述身份判别器,用于提取所述全局步态能量图的全局步态特征和所述局部步态能量图的局部步态特征,并进行融合得到融合特征,按照预设权值对该融合特征和预设注册集样本的相似性进行比较,得到身份识别结果。
2.根据权利要求1所述的基于双流生成对抗网络的跨视角步态识别装置,其特征在于,所述身份判别器包括全局身份判别器、局部身份判别器;
所述全局身份判别器接收全局步态能量图,提取所述全局步态特征;
所述局部身份判别器接收局部步态能量图,提取所述局部步态特征。
3.根据权利要求2所述的基于双流生成对抗网络的跨视角步态识别装置,其特征在于,所述身份判别器将所述全局步态特征和所述局部步态特征进行融合得到所述融合特征,并在身份判别器的全连接层进行分类,输出身份识别结果。
4.根据权利要求1所述的基于双流生成对抗网络的跨视角步态识别装置,其特征在于,所述跨视角步态识别装置还包括全局流预处理装置、局部流预处理装置;
所述全局流生成对抗网络的输入端口连接全局流预处理装置的输出端口,所述全局流预处理装置用于将步态能量图归一化为统一大小的步态能量图;
所述局部流生成对抗网络的输入端口连接局部流预处理装置,所述局部流预处理装置用于将步态能量图归一化为统一大小的步态能量图,并将归一化后的步态能量图均等的划分为多个部分。
5.根据权利要求1所述的基于双流生成对抗网络的跨视角步态识别装置,其特征在于,所述全局流生成对抗网络包括全局流生成对抗网络生成器和全局流生成对抗网络判别器;所述局部流生成对抗网络包括局部流生成对抗网络生成器和局部流生成对抗网络判别器;
所述全局流生成对抗网络生成器由多个卷积层和多个对应的反卷积层组成;
所述局部流生成对抗网络生成器由多个卷积层和多个对应的反卷积层组成。
6.根据权利要求5所述的基于双流生成对抗网络的跨视角步态识别装置,其特征在于,所述全局流生成对抗网络生成器的卷积层和反卷积层中,每层均包括多种不同尺度的滤波器,用以捕捉不同尺度的步态特征。
7.根据权利要求3所述的基于双流生成对抗网络的跨视角步态识别装置,其特征在于,所述身份判别器由多个卷积层组成。
8.一种基于双流生成对抗网络的跨视角步态识别训练方法,基于权利要求1-7任一项所述的基于双流生成对抗网络的跨视角步态识别装置,其特征在于,
步骤S1:基于反向传播法和随机梯度下降法训练所述全局流生成对抗网络;
步骤S2:基于反向传播法和随机梯度下降法训练所述局部流生成对抗网络;
步骤S3:基于训练后的全局流生成对抗网络生成器生成的全局步态能量图和训练后的局部流生成对抗网络生成器生成的局部步态能量图,训练身份判别器。
9.根据权利要求8所述的基于双流生成对抗网络的跨视角步态识别训练方法,其特征在于,所述步骤S1具体为:
步骤S11:将数据集中的步态能量图输入至全局流生成对抗网络生成器生成标准视角的全局步态能量图,且所述全局流生成对抗网络生成器的输出层将生成的标准视角的全局步态能量图与真实标准视角步态能量图进行比较,得到两者之间像素级别的误差;
步骤S12:将所述标准视角的步态能量图输入至全局流生成对抗网络判别器,对生成的标准视角的全局步态能量图进行真/伪判断;
步骤S13:基于反向传播法和随机梯度下降法训练全局流生成对抗网络;
步骤S14:重复步骤S11-S13,直到全局流生成对抗网络生成器和全局流生成对抗网络判别器之间达到纳什均衡。
10.根据权利要求9所述的基于双流生成对抗网络的跨视角步态识别训练方法,其特征在于,在训练全局流生成对抗网络之前还包括预训练过程,具体为:将归一化后任意视角的步态能量图送入全局流生成对抗网络生成器,经过多次迭代,生成标准视角的全局步态能量图。
11.根据权利要求8所述的基于双流生成对抗网络的跨视角步态识别训练方法,其特征在于,所述步骤S2具体为:
步骤S21:将数据集中的步态能量图输入至局部流生成对抗网络生成器生成标准视角的局部步态能量图,且所述局部流生成对抗网络生成器的输出层将生成的标准视角的局部步态能量图与真实标准视角步态能量图进行比较,得到两者之间像素级别的误差;
步骤S22:将所述标准视角的步态能量图输入至局部流生成对抗网络判别器,对生成的标准视角的局部步态能量图进行真/伪判断;
步骤S23:基于反向传播法和随机梯度下降法训练局部流生成对抗网络;
步骤S24:重复步骤S21-S23,直到局部流生成对抗网络生成器和局部流生成对抗网络判别器之间达到纳什均衡。
12.根据权利要求11所述的基于双流生成对抗网络的跨视角步态识别训练方法,其特征在于,在训练局部流生成对抗网络之前还包括预训练过程,具体为:将归一化后任意视角的局部步态能量图送入局部流的生成器网络生成器,经过多次迭代,生成标准视角的局部步态能量图。
13.根据权利要求8所述的基于双流生成对抗网络的跨视角步态识别训练方法,其特征在于,所述步骤S3具体为:
步骤S31:将训练后的全局流生成对抗网络生成器生成的全局步态能量图、训练后的局部流生成对抗网络生成器生成的局部步态能量图,输入至身份判别器,进行身份识别;
步骤S32:将身份识别结果与真实身份标记进行比较,得到预测误差;
步骤S33:基于反向传播法和随机梯度下降法减小预测误差,优化身份判别器;
步骤S34:重复步骤S31-S33,直到达到设定的迭代次数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810217938.7A CN108596026B (zh) | 2018-03-16 | 2018-03-16 | 基于双流生成对抗网络的跨视角步态识别装置及训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810217938.7A CN108596026B (zh) | 2018-03-16 | 2018-03-16 | 基于双流生成对抗网络的跨视角步态识别装置及训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108596026A true CN108596026A (zh) | 2018-09-28 |
CN108596026B CN108596026B (zh) | 2020-06-30 |
Family
ID=63626565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810217938.7A Active CN108596026B (zh) | 2018-03-16 | 2018-03-16 | 基于双流生成对抗网络的跨视角步态识别装置及训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108596026B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509156A (zh) * | 2018-10-31 | 2019-03-22 | 聚时科技(上海)有限公司 | 一种基于生成对抗模型的图像去雾处理方法 |
CN109815786A (zh) * | 2018-12-06 | 2019-05-28 | 杭州电子科技大学 | 一种基于区域熵特征的步态识别方法 |
CN110569725A (zh) * | 2019-08-05 | 2019-12-13 | 华中科技大学 | 一种基于自注意力机制的深度学习的步态识别***与方法 |
CN110599435A (zh) * | 2019-09-04 | 2019-12-20 | 精英数智科技股份有限公司 | 一种图像合成的方法、装置、设备和存储介质 |
CN110659586A (zh) * | 2019-08-31 | 2020-01-07 | 电子科技大学 | 一种基于身份保持循环式生成式对抗网络的跨视角步态识别方法 |
CN111126218A (zh) * | 2019-12-12 | 2020-05-08 | 北京工业大学 | 一种基于零样本学习的人体行为识别方法 |
CN111401303A (zh) * | 2020-04-08 | 2020-07-10 | 山东大学 | 一种身份与视角特征分离的跨视角步态识别方法 |
CN111428066A (zh) * | 2020-04-24 | 2020-07-17 | 南京图格医疗科技有限公司 | 一种基于卷积神经网络的病变图像的分类和分割方法 |
CN111627018A (zh) * | 2020-06-01 | 2020-09-04 | 南通大学 | 一种基于双流神经网络模型的钢板表面缺陷分类方法 |
CN112580445A (zh) * | 2020-12-03 | 2021-03-30 | 电子科技大学 | 基于生成对抗网络的人体步态图像视角转化方法 |
CN113538615A (zh) * | 2021-06-29 | 2021-10-22 | 中国海洋大学 | 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法 |
WO2022027987A1 (zh) * | 2020-08-04 | 2022-02-10 | 杰创智能科技股份有限公司 | 一种图像识别模型的训练方法及图像识别方法 |
CN114120076A (zh) * | 2022-01-24 | 2022-03-01 | 武汉大学 | 基于步态运动估计的跨视角视频步态识别方法 |
CN114998995A (zh) * | 2022-06-13 | 2022-09-02 | 西安电子科技大学 | 基于度量学习和时空双流网络的跨视角步态识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663443A (zh) * | 2012-03-27 | 2012-09-12 | 中国科学院自动化研究所 | 基于图像扰动和相关滤波的生物特征识别方法 |
CN103544705A (zh) * | 2013-10-25 | 2014-01-29 | 华南理工大学 | 一种基于深度卷积神经网络的图像质量测试方法 |
CN104299012A (zh) * | 2014-10-28 | 2015-01-21 | 中国科学院自动化研究所 | 一种基于深度学习的步态识别方法 |
CN107085716A (zh) * | 2017-05-24 | 2017-08-22 | 复旦大学 | 基于多任务生成对抗网络的跨视角步态识别方法 |
-
2018
- 2018-03-16 CN CN201810217938.7A patent/CN108596026B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663443A (zh) * | 2012-03-27 | 2012-09-12 | 中国科学院自动化研究所 | 基于图像扰动和相关滤波的生物特征识别方法 |
CN103544705A (zh) * | 2013-10-25 | 2014-01-29 | 华南理工大学 | 一种基于深度卷积神经网络的图像质量测试方法 |
CN104299012A (zh) * | 2014-10-28 | 2015-01-21 | 中国科学院自动化研究所 | 一种基于深度学习的步态识别方法 |
CN107085716A (zh) * | 2017-05-24 | 2017-08-22 | 复旦大学 | 基于多任务生成对抗网络的跨视角步态识别方法 |
Non-Patent Citations (2)
Title |
---|
SHIQI YU 等: "GaitGAN:Invariant Gait Feature Extraction Using Generative Adversarial Networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
WEIWEI XING 等: "View-invariant gait recognition method by three-dimensional convolutional neural network", 《JOURNAL OF ELECTRONIC IMAGING》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509156A (zh) * | 2018-10-31 | 2019-03-22 | 聚时科技(上海)有限公司 | 一种基于生成对抗模型的图像去雾处理方法 |
CN109815786B (zh) * | 2018-12-06 | 2021-04-13 | 杭州电子科技大学 | 一种基于区域熵特征的步态识别方法 |
CN109815786A (zh) * | 2018-12-06 | 2019-05-28 | 杭州电子科技大学 | 一种基于区域熵特征的步态识别方法 |
CN110569725A (zh) * | 2019-08-05 | 2019-12-13 | 华中科技大学 | 一种基于自注意力机制的深度学习的步态识别***与方法 |
CN110569725B (zh) * | 2019-08-05 | 2022-05-20 | 华中科技大学 | 一种基于自注意力机制的深度学习的步态识别***与方法 |
CN110659586A (zh) * | 2019-08-31 | 2020-01-07 | 电子科技大学 | 一种基于身份保持循环式生成式对抗网络的跨视角步态识别方法 |
CN110659586B (zh) * | 2019-08-31 | 2022-03-15 | 电子科技大学 | 一种基于身份保持循环式生成式对抗网络的步态识别方法 |
CN110599435A (zh) * | 2019-09-04 | 2019-12-20 | 精英数智科技股份有限公司 | 一种图像合成的方法、装置、设备和存储介质 |
CN111126218A (zh) * | 2019-12-12 | 2020-05-08 | 北京工业大学 | 一种基于零样本学习的人体行为识别方法 |
CN111126218B (zh) * | 2019-12-12 | 2023-09-26 | 北京工业大学 | 一种基于零样本学习的人体行为识别方法 |
CN111401303A (zh) * | 2020-04-08 | 2020-07-10 | 山东大学 | 一种身份与视角特征分离的跨视角步态识别方法 |
CN111401303B (zh) * | 2020-04-08 | 2022-06-14 | 山东大学 | 一种身份与视角特征分离的跨视角步态识别方法 |
CN111428066A (zh) * | 2020-04-24 | 2020-07-17 | 南京图格医疗科技有限公司 | 一种基于卷积神经网络的病变图像的分类和分割方法 |
CN111627018A (zh) * | 2020-06-01 | 2020-09-04 | 南通大学 | 一种基于双流神经网络模型的钢板表面缺陷分类方法 |
WO2022027987A1 (zh) * | 2020-08-04 | 2022-02-10 | 杰创智能科技股份有限公司 | 一种图像识别模型的训练方法及图像识别方法 |
CN112580445A (zh) * | 2020-12-03 | 2021-03-30 | 电子科技大学 | 基于生成对抗网络的人体步态图像视角转化方法 |
CN113538615A (zh) * | 2021-06-29 | 2021-10-22 | 中国海洋大学 | 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法 |
CN113538615B (zh) * | 2021-06-29 | 2024-01-09 | 中国海洋大学 | 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法 |
CN114120076A (zh) * | 2022-01-24 | 2022-03-01 | 武汉大学 | 基于步态运动估计的跨视角视频步态识别方法 |
CN114120076B (zh) * | 2022-01-24 | 2022-04-29 | 武汉大学 | 基于步态运动估计的跨视角视频步态识别方法 |
CN114998995A (zh) * | 2022-06-13 | 2022-09-02 | 西安电子科技大学 | 基于度量学习和时空双流网络的跨视角步态识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108596026B (zh) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108596026A (zh) | 基于双流生成对抗网络的跨视角步态识别装置及训练方法 | |
CN108875708A (zh) | 基于视频的行为分析方法、装置、设备、***及存储介质 | |
CN106529477B (zh) | 基于显著轨迹和时空演化信息的视频人体行为识别方法 | |
CN105426827B (zh) | 活体验证方法、装置和*** | |
CN105138954B (zh) | 一种图像自动筛选查询识别*** | |
CN110458282A (zh) | 一种融合多角度多模态的图像描述生成方法及*** | |
CN106997452B (zh) | 活体验证方法及装置 | |
CN107358223A (zh) | 一种基于yolo的人脸检测与人脸对齐方法 | |
EP2982422A1 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
CN108629326A (zh) | 目标体的动作行为识别方法及装置 | |
CN108875586B (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
CN104834887B (zh) | 运动行人表示方法、识别方法及其装置 | |
CN110287825A (zh) | 一种基于关键骨骼点轨迹分析的摔倒动作检测方法 | |
CN109800770A (zh) | 一种实时目标检测的方法、***及装置 | |
CN107066955B (zh) | 一种从局部人脸区域还原整张人脸的方法 | |
CN107403142A (zh) | 一种微表情的检测方法 | |
CN108197575A (zh) | 一种基于目标检测和骨点检测的异常行为识别方法及装置 | |
Al-Modwahi et al. | Facial expression recognition intelligent security system for real time surveillance | |
CN110008861A (zh) | 一种基于全局和局部特征学习的行人再识别方法 | |
Huang et al. | Deepfake mnist+: a deepfake facial animation dataset | |
CN110210550A (zh) | 基于集成学习策略的图像细粒度识别方法 | |
CN109271941A (zh) | 一种基于防屏摄攻击的活体检测方法 | |
CN107609464A (zh) | 一种实时高精度人脸快速检测方法 | |
CN108280398A (zh) | 一种基于多视角融合的步态识别方法及*** | |
Rahmani et al. | Automatic Real-Time Medical Mask Detection Using Deep Learning to Fight COVID-19. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |