CN108681689B - 基于生成对抗网络的帧率增强步态识别方法及装置 - Google Patents

基于生成对抗网络的帧率增强步态识别方法及装置 Download PDF

Info

Publication number
CN108681689B
CN108681689B CN201810282478.6A CN201810282478A CN108681689B CN 108681689 B CN108681689 B CN 108681689B CN 201810282478 A CN201810282478 A CN 201810282478A CN 108681689 B CN108681689 B CN 108681689B
Authority
CN
China
Prior art keywords
gait
network
image
recognition
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810282478.6A
Other languages
English (en)
Other versions
CN108681689A (zh
Inventor
王亮
黄岩
宋纯锋
孙天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201810282478.6A priority Critical patent/CN108681689B/zh
Publication of CN108681689A publication Critical patent/CN108681689A/zh
Application granted granted Critical
Publication of CN108681689B publication Critical patent/CN108681689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉领域，具体涉及一种基于生成对抗网络的帧率增强步态识别方法及装置，旨在降低识别图像的噪声，提高步态识别的准确率。该方法具体包括：首先通过一个生成对抗网络生成数据集中连续两帧之间的帧，然后将生成帧与原始帧合并计算步态能量图，然后通过步态能量图识别网络对个体进行识别。该方法中的生成对抗网络能够显著提高原始图像序列的帧率，同时生成的图像对噪声具有较好的鲁棒性，能够起到对步态能量图进行降噪的作用，同时在步态能量图识别网络中加入了新型边界比率损失函数，能够极好地平衡不同损失函数之间的量级，大大提升模型训练的稳定性。本方法能够明显提升跨视角及不跨视角的步态识别率。

Description

基于生成对抗网络的帧率增强步态识别方法及装置
技术领域
本发明属于计算机视觉领域，具体涉及一种基于生成对抗网络的帧率增强步态识别方法及装置。
背景技术
步态识别是生物识别领域最重要的问题之一，步态信息具有表征性强，难以伪装，不需要受试个体的配合等优良特性。目前主流的步态识别方法是先将原始图像进行分割，然后将人体轮廓存储为灰度图用于后续处理，受制于图像采集设备本身的性能，我们能够获得的帧率是十分有限的。此外，在这个过程中，分割算法并不能百分之百准确分割原始图像，有时甚至会得到较严重的噪声，在这种情况下部署一种对噪声鲁棒的帧率增强算法就显得尤为重要。本方法中提出的基于生成对抗网络的帧率增强步态识别方法及装置可以较好地解决这个问题。
发明内容
为了解决现有技术中的上述问题，即为了降低识别图像的噪声，提高步态识别的准确率，本发明的第一方面，提供了一种基于生成对抗网络的帧率增强步态识别方法，包括：
利用原始图像序列与基于帧率增强网络生成的所述原始图像序列对应的下一帧的图像序列，生成帧率增强步态能量图；
将所述帧率增强步态能量图输入至步态能量图识别网络得到识别编码，并计算识别编码与真实身份标签编码的欧氏距离；
选择欧氏距离最小的真实身份标签编码所对应的身份标签，并以该身份标签作为身份识别结果；
其中，
所述帧率增强网络基于生成对抗网络构建，用于生成所输入的原始图像序列对应的下一帧的图像序列；
所述步态能量图识别网络基于神经网络构建，用于通过帧率增强步态能量图获取识别编码。
进一步地，所述帧率增强网络，其训练方法为：
步骤S11：对训练数据集中的轮廓图进行预处理得到步态序列；
步骤S12：将去掉所述步态序列最后一帧后的步态序列作为第一序列，将去掉所述步态序列第一帧后的步态序列作为第二序列；
步骤S13：将第一序列输入至帧率增强网络的生成器，将第二序列输入至帧率增强网络的判别器；
步骤S14：基于反向传播算法、Adam优化器、生成器损失函数、判别器损失函数，训练帧率增强网络；
步骤S15：重复步骤S11-S14，直到达到设定的迭代次数。
进一步地，所述生成器损失函数为：
Figure RE-GDA0001742209170000021
其中p，q分别为生成器生成图像平面上的点和真实的下一帧图像平面上的点，i、j分别为图像中点的横纵坐标。
进一步地，所述判别器损失函数为：
Figure RE-GDA0001742209170000022
公式中
Figure RE-GDA0001742209170000023
为生成器生成图像编码的期望；
Figure RE-GDA0001742209170000024
为真实下一帧图像编码的期望；
Figure RE-GDA0001742209170000031
为梯度惩罚；其中， D(x)为判别器的输出；x为判别器的输入；λ1为超参数；P为随机分布； Pg为生成的分布；Pr为真实的分布。
进一步地，在TensorFlow学习框架的GPU上训练所述帧率增强网络。
进一步地，步骤S11中“对训练数据集中的轮廓图进行预处理得到步态序列”，其方法为：
获取训练数据集图像中行人轮廓的最小矩形框，并将其像素归一化为相同尺寸；
去掉归一化后图像中白色部分长或宽小于像素阈值T1的图像；
选取剩余图像中连续序列大于长度阈值T2的序列，作为步态序列。
进一步地，所述步态能量图识别网络，其训练方法为：
步骤S21：将帧率增强步态能量图输入至步态能量图识别网络进行步态识别；
步骤S22：基于反向传播算法，应用Nadam优化器来减小识别误差；
步骤S23：重复步骤S21-S22，直到达到设定的迭代次数。
进一步地，在训练步态能量图识别网络过程中同时优化所述步态能量图识别网络的SoftMax损失函数，用于监督步态能量图识别网络的训练；
在训练步态能量图识别网络过程中同时优化所述步态能量图识别网络的边界比率损失函数，用于增强步态能量图识别网络的分类能力；
其中，所述边界比率损失函数为：
Figure RE-GDA0001742209170000041
其中
ReLU6为神经网络激活函数；
λ为权重系数；
α为预设常数；
Figure RE-GDA0001742209170000042
表示身份相同的序列集合中的间距最大的两个编码之间的距离，
Figure RE-GDA0001742209170000043
表示身份不同的两个序列集合中间距最小的两个编码之间的距离，特别地，B、C两个集合既可以和集合A相同，又可以和集合A不同，但是B、C必属于身份不同的集合。
本发明的第二方面，还提供了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行上述的基于生成对抗网络的帧率增强步态识别方法。
本发明的第三方面，还提供了一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
所述程序适于由处理器加载并执行以实现：
上述的基于生成对抗网络的帧率增强步态识别方法。
本发明的基于生成对抗网络的帧率增强步态识别方法及装置具有如下有益效果：
(1)通过一个人工神经网络来增强步态轮廓序列的帧率，降低原有数据的噪声，提升步态能量图对身份信息的表征能力。
(2)在步态能量图识别网络中加入了新型边界比率损失函数，能够极好地平衡不同损失函数之间的量级，大大提升模型训练的稳定性，能够明显提升跨视角及不跨视角的步态识别准确率。
附图说明
图1是本发明一种实施例的帧率增强步态能量图生成方法示意图；
图2是本发明一种实施例的基于生成对抗网络的帧率增强步态识别方法框图；
图3是本发明一种实施例的帧率增强网络结构示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的是针对现有技术在步态识别中遇到的难题，通过人工神经网络来增强步态轮廓序列的帧率，降低原有数据的噪声，提升步态能量图对身份信息的表征能力。
为实现上述目的，首先通过生成对抗网络生成单帧图像对应的下一帧，然后将生成对抗网络应用到数据集上，形成帧率增强数据集，然后计算各个序列对应的步态能量图，将帧率增强步态能量图通过一个训练好的步态能量图识别网络得到识别编码，计算该编码与真实身份标签的编码的欧氏距离，基于欧氏距离聚类法得到分类结果。图1是本发明一种实施例的帧率增强步态能量图生成方法示意图，可以看出原始数据集图像序列直接计算得到的原始步态能量图具有较严重的噪声，而基于本发明得到的帧率增强步态能量图，对噪声具有较好的鲁棒性。
本发明的基于生成对抗网络的帧率增强步态识别方法，是基于训练好的识别模型，具体内容包括：利用原始图像序列与基于帧率增强网络生成的原始图像序列对应的下一帧的图像序列，生成帧率增强步态能量图；将帧率增强步态能量图输入至步态能量图识别网络得到识别编码，并计算识别编码与真实身份标签编码的欧氏距离；选择欧氏距离最小的真实身份标签编码所对应的身份标签，并以该身份标签作为身份识别结果。其中，帧率增强网络基于生成对抗网络构建，用于生成所输入的原始图像序列对应的下一帧的图像序列；步态能量图识别网络基于神经网络构建，用于通过帧率增强步态能量图获取识别编码。
具体地，本发明实施例的帧率增强网络用于将输入的原始图像序列生成原始图像序列对应的下一帧的图像序列，产生具有良好的视觉效果且对噪声鲁棒的轮廓图像。帧率增强网络是基于TensorFlow框架的GPU上进行迭代训练后的神经网络网路模型，其具体的训练过程为：
步骤A0，对训练数据集中的轮廓数据进行预处理得到步态序列，
步骤A1，将去掉步态序列最后一帧后的步态序列作为第一序列，将去掉所述步态序列第一帧后的步态序列作为第二序列；
步骤A2，将步骤A1中得到的第一序列输入生成对抗网络的生成器，第二序列输入生成对抗网络的判别器
步骤A3，采用反向传播算法、Adam优化器、生成器损失函数、判别器损失函数，训练帧率增强网络；
步骤A4：重复步骤A0-A3，直到达到设定的迭代次数。
进一步地，上述步骤A0中预处理主要是为了尽可能去掉训练数据集的轮廓图中无关的背景部分，使行人的轮廓处于图像的中心位置，并将图像补成相同尺寸，再者是为了去掉明显不合理的训练数据，最后在剩余的训练数据中按特定阈值取步态序列。需要说明的是本实施所用数据集中的轮廓图像皆为灰度图，若使用的数据集为彩色图像，需要先将彩色图像转化为灰度图。预处理的具体过程如下：
获取数据集图像中行人轮廓的最小矩形框，并将其像素归一化为相同尺寸(如：128×88像素)；
去掉归一化后图像中白色部分长或宽小于像素阈值T1(如：灰度图中白色部分长或宽小于10像素)的图像；
选取剩余图像中连续序列大于长度阈值T2的序列(如：留下所有长度大于65帧的序列)，作为步态序列。
进一步地，上述步骤A3中生成器的损失函数为生成器生成图像与真实的下一帧图像的欧氏距离，生成器的损失函数如公式(1)所示：
Figure RE-GDA0001742209170000071
公式(1)中p，q分别为生成器生成图像平面上的点和真实的下一帧图像平面上的点，i、j分别为图像中点的横纵坐标。
进一步地，上述步骤A3中判别器损失函数是通过帧率增强网络的生成器生成图像的编码、真实下一帧图像的编码、梯度惩罚计算得到的，判别器损失函数中加入梯度惩罚项可以很好地提高其判别性能，判别器损失函数如公式(2)所示：
Figure RE-GDA0001742209170000072
公式中，
Figure RE-GDA0001742209170000073
为生成器生成图像编码的期望；
Figure RE-GDA0001742209170000081
为真实下一帧图像编码的期望；
Figure RE-GDA0001742209170000082
为梯度惩罚；其中，D(x)为判别器的输出；x为判别器的输入；λ1为超参数；P 为随机分布；Pg为生成的分布；Pr为真实的分布。
具体地，本实施例的步态能量图识别网络是基于神经网络构建，用于通过帧率增强步态能量图获取识别编码。本实施例中步态能量图识别网络是一个基于神经网络构建的分类器，在分类器倒数第二层输出步态能量图的编码，所以在训练好分类器后，去掉分类器的最后一层，即去掉了网络对训练数据集的识别能力，但保留了网络提取特征的能力，最后将测试集中标签已知的步态能量图注册到步态能量图识别网络中，即输入标签已知的步态能量图并保留其编码，从而得到一个具有编码功能的步态能量图识别网络。
步态能量图识别网络，其训练方法为：
步骤B0：将帧率增强步态能量图输入至步态能量图识别网络进行步态识别；
步骤B1：基于反向传播算法，应用Nadam优化器减小识别误差，同时优化步态能量图识别网络的SoftMax损失函数和边界比率损失函数；
步骤B2：重复步骤B0-B1，直到达到设定的迭代次数，得到最终的步态能量图识别模型。
进一步地，上述步骤B1中优化步态能量图识别网络的 SoftMax损失函数可以更好地监督步态能量图识别网络的训练，优化边界比率损失函数可以特异性地增强网络的分类能力。
其中，边界比率损失函数如表达式(3)所示：
Figure RE-GDA0001742209170000091
其中Leml为优化的目标；ReLU6是一种神经网络中常用的激活函数，可以将函数的数值映射到0到6的闭区间内，即当数值大于6时全为6，小于0时全为0，处于0到6之间时保持原来的数值；λ为权重系数；
Figure RE-GDA0001742209170000092
表示身份相同的序列集合中间距最大的两个编码之间的距离，
Figure RE-GDA0001742209170000093
表示身份不同的两个序列集合中间距最小的两个编码之间的距离，特别地，B、C两个集合既可以和A相同，又可以和A不同，但是B、C必属于身份不同的集合；α为一个预设常数，用于防止出现除零错误，一般被设置为10-8，在设置α时，既要满足其防止出现除零错误的功能，同时也要尽量减小对分式本身的影响。
本发明基于生成对抗网络的帧率增强步态识别方法采用深度学习技术来训练一个生成对抗网络来增强步态数据集的帧率，从而提升数据集中的轮廓序列对应的步态能量图对噪声的鲁棒性和对身份信息的表征能力，提升步态识别算法的识别率，尤其是跨视角识别率。
下面以某大型步态识别数据库为例，具体描述本发明的基于生成对抗网络的帧率增强步态识别方法。该步态识别数据库共包含10000 个长度为100的步态轮廓序列及每个序列对应的身份，每张原始步态轮廓图为320×240像素的灰度图，图2为本发明帧率增强步态识别方法的流程图，具体包括如下步骤：
步骤Sa0，对数据集中的100万张轮廓图进行预处理，尽可能去掉无关的背景部分，使行人轮廓处于图像中心位置，并将图像补成相同尺寸(128×88像素)处理后的序列样例如图1所示；
步骤Sa1，对得到的10000个步态轮廓序列进行处理，去掉明显不合理的数据(灰度图中白色部分长或宽小于10像素)，然后按特定阈值取步态序列，留下所有长度大于65帧的序列并去掉多余的帧，共 6000个长度为65的序列；
步骤Sa2，将步骤Sa1中留下的每一个序列分为两组，即去掉最后一帧的和去掉第一帧的，从而得到上述的第一个序列及其对应的第二序列，分别为两个长度为64帧的序列；
步骤Sa3，将步骤Sa2中得到的第一组序列集合输入生成对抗网络的生成器部分，第二组序列输入生成对抗网络的判别器部分，生成对抗网络即为本发明的帧率增强网络，其结构图如图3所示，生成器共包含三个卷积层，两个全连接层和三个反卷积层，三个卷积层均含有 128个滤波器，大小均为3×3，步长均为2，两个全连接层长度分别为 2048和2816，三个反卷积层分别含有8/4/1个滤波器，大小均为3×3，步长均为2，除最后一层采用RELU6激活函数外，其余各层均采用 LeakyReLU激活函数，最后一层的输出为生成的下一帧图像，判别器共包含三个卷积层和一个线性层，三个卷积层分别含有64/128/256个滤波器，大小均为5×5，步长均为2，三个卷积层均采用LeakyReLU激活函数，线性层无激活函数，最终输出为对图像的编码，可用于计算判别器的损失函数；
步骤Sa4，采用反向传播算法，应用Adam优化器，以生成器生成的图像与真实的下一帧图像的欧氏距离作为生成器的损失函数，以判别器对生成图像的编码与真实下一帧图像的编码结合梯度惩罚作为判别器的损失函数，基于TensorFlow框架在GPU上经过约200,000次迭代(35epochs)训练，使生成对抗网络能够产生具有良好的视觉效果且对噪声鲁棒的轮廓图像；
步骤Sa5，应用步骤Sa4中的生成对抗网络对数据集中剩余的6000个序列进行补帧，使每一个序列长度达到原来的两倍，并计算补帧后的轮廓序列的步态能量图，步骤Sa4生成图像样例及对应的步骤Sa5 计算得到的步态能量图效果如图1所示；
步骤Sa6，将步骤Sa5中得到的步态能量图输入步态能量图识别网络，采用反向传播算法，应用Nadam优化器来减小预测误差以训练该步态能量图识别网络，经过多次迭代得到最终的步态能量图识别模型，训练过程中同时优化一个SoftMax损失函数和一个边界比率损失函数，其中边界比率损失函数的如表达式(4)所示：
Figure RE-GDA0001742209170000111
其中Leml为优化的目标，ReLU6为激活函数，λ为权重系数，
Figure RE-GDA0001742209170000112
表示身份相同的序列集合中间距最大的两个编码之间的距离，
Figure RE-GDA0001742209170000113
表示身份不同的两个序列集合间距最小的两个编码之间的距离，特别地，B、C两个集合既可以和A相同，又可以和A不同，但是B、C必属于身份不同的集合，α为10-8。为了避免过拟合，以边界比率损失函数的数值为标志量，存储5个模型，数值分别为Lambda/10，Lambda/20，Lambda/100，Lambda/200，Lambda/1000 时的模型，通过测试选取性能最高的模型；
步骤Sa7，去掉步骤Sa6中步态能量识别网络的最后一层，将测试集中标签已知的步态能量图注册到模型中，即输入标签已知的步态能量图并保留其编码；
步骤Sa8，将测试集中标签未知的步态能量图输入步骤Sa6 中得到的步态能量图识别模型得到识别编码，将得到的识别编码与步骤 Sa7中得到的已知标签的编码进行比较，找到与识别编码欧氏距离最小的步态能量图的类别作为识别结果；
步骤Sa9，此时，可通过步骤Sa8中的操作得到对步态序列身份信息的精准预测。
本发明的一种实施例的存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现：上述的基于生成对抗网络的帧率增强步态识别方法。
本发明的一种实施例的处理装置，包括处理器、存储设备，处理器，适于执行各条程序；存储设备，适于存储多条程序；上述程序适于由处理器加载并执行以实现：基于生成对抗网络的帧率增强步态识别方法。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤及装置，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种基于生成对抗网络的帧率增强步态识别方法，其特征在于，包括：
利用原始图像序列与基于帧率增强网络生成的所述原始图像序列对应的下一帧的图像序列，生成帧率增强步态能量图；
将所述帧率增强步态能量图输入至步态能量图识别网络得到识别编码，并计算识别编码与真实身份标签编码的欧氏距离；
选择欧氏距离最小的真实身份标签编码所对应的身份标签，并以该身份标签作为身份识别结果；
其中，
所述帧率增强网络基于生成对抗网络构建，用于生成所输入的原始图像序列对应的下一帧的图像序列；
所述步态能量图识别网络基于神经网络构建，用于通过帧率增强步态能量图获取识别编码；
所述帧率增强网络的训练方法为：
步骤S11：对训练数据集中的轮廓图进行预处理得到步态序列；
步骤S12：将去掉所述步态序列最后一帧后的步态序列作为第一序列，将去掉所述步态序列第一帧后的步态序列作为第二序列；
步骤S13：将第一序列输入至帧率增强网络的生成器，将第二序列输入至帧率增强网络的判别器；
步骤S14：基于反向传播算法、Adam优化器、生成器损失函数、判别器损失函数，训练帧率增强网络；
步骤S15：重复步骤S11-S14，直到达到设定的迭代次数；
所述步态能量图识别网络，其训练方法为：
步骤S21：将帧率增强步态能量图输入至步态能量图识别网络进行步态识别；
步骤S22：基于反向传播算法，应用Nadam优化器来减小识别误差；
步骤S23：重复步骤S21-S22，直到达到设定的迭代次数；
在训练步态能量图识别网络过程中同时优化所述步态能量图识别网络的SoftMax损失函数，用于监督步态能量图识别网络的训练；
在训练步态能量图识别网络过程中同时优化所述步态能量图识别网络的边界比率损失函数，用于增强步态能量图识别网络的分类能力；
其中，所述边界比率损失函数为：
Figure FDA0003026513910000021
其中
ReLU6为神经网络激活函数；
λ为权重系数；
α为预设常数；
Figure FDA0003026513910000022
表示身份相同的序列集合中的间距最大的两个编码之间的距离，
Figure FDA0003026513910000023
表示身份不同的两个序列集合中间距最小的两个编码之间的距离。
2.根据权利要求1所述的基于生成对抗网络的帧率增强步态识别方法，其特征在于，所述生成器损失函数为：
Figure FDA0003026513910000024
其中p，q分别为生成器生成图像平面上的点和真实的下一帧图像平面上的点，i、j分别为图像中点的横纵坐标。
3.根据权利要求1所述的基于生成对抗网络的帧率增强步态识别方法，其特征在于，所述判别器损失函数为：
Figure FDA0003026513910000031
公式中，
Figure FDA0003026513910000032
为生成器生成图像编码的期望；
Figure FDA0003026513910000033
为真实下一帧图像编码的期望；
Figure FDA0003026513910000034
为梯度惩罚；其中，D(x)为判别器的输出；x为判别器的输入；λ1为超参数；Pg为生成的分布；Pr为真实的分布。
4.根据权利要求1-3任一项所述的基于生成对抗网络的帧率增强步态识别方法，其特征在于，在TensorFlow学习框架的GPU上训练所述帧率增强网络。
5.根据权利要求1所述的基于生成对抗网络的帧率增强步态识别方法，其特征在于，步骤S11中“对训练数据集中的轮廓图进行预处理得到步态序列”，其方法为：
获取训练数据集图像中行人轮廓的最小矩形框，并将其像素归一化为相同尺寸；
去掉归一化后图像中白色部分长或宽小于像素阈值T1的图像；
选取剩余图像中连续序列大于长度阈值T2的序列，作为步态序列。
6.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于生成对抗网络的帧率增强步态识别方法。
7.一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-5任一项所述的基于生成对抗网络的帧率增强步态识别方法。
CN201810282478.6A 2018-04-02 2018-04-02 基于生成对抗网络的帧率增强步态识别方法及装置 Active CN108681689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810282478.6A CN108681689B (zh) 2018-04-02 2018-04-02 基于生成对抗网络的帧率增强步态识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810282478.6A CN108681689B (zh) 2018-04-02 2018-04-02 基于生成对抗网络的帧率增强步态识别方法及装置

Publications (2)

Publication Number Publication Date
CN108681689A CN108681689A (zh) 2018-10-19
CN108681689B true CN108681689B (zh) 2021-06-04

Family

ID=63799331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810282478.6A Active CN108681689B (zh) 2018-04-02 2018-04-02 基于生成对抗网络的帧率增强步态识别方法及装置

Country Status (1)

Country Link
CN (1) CN108681689B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522828B (zh) * 2018-11-01 2021-09-28 上海科技大学 一种异常事件检测方法及***、存储介质及终端
CN109754071B (zh) * 2018-12-29 2020-05-05 中科寒武纪科技股份有限公司 激活运算方法、装置、电子设备和可读存储介质
CN110705438B (zh) * 2019-09-27 2023-07-25 腾讯科技（深圳）有限公司 步态识别方法、装置、设备及存储介质
CN111382675B (zh) * 2020-02-24 2024-02-27 江苏大学 一种用于行人识别数据集增强训练的生成对抗网络***
CN112580445B (zh) * 2020-12-03 2022-10-11 电子科技大学 基于生成对抗网络的人体步态图像视角转化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203533A (zh) * 2016-07-26 2016-12-07 厦门大学 基于混合训练的深度学习人脸验证方法
KR20170000451A (ko) * 2015-06-23 2017-01-03 인하대학교 산학협력단 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법
CN107679465A (zh) * 2017-09-20 2018-02-09 上海交通大学 一种基于生成网络的行人重识别数据生成和扩充方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170000451A (ko) * 2015-06-23 2017-01-03 인하대학교 산학협력단 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법
CN106203533A (zh) * 2016-07-26 2016-12-07 厦门大学 基于混合训练的深度学习人脸验证方法
CN107679465A (zh) * 2017-09-20 2018-02-09 上海交通大学 一种基于生成网络的行人重识别数据生成和扩充方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Clothing-invariant Gait Recognition Using Convolutional Neural Network;TzeWei Yeoh等;《2016 International Symposium on Intelligent Signal Processing and Communication Systems》;20170119;第4节、第5节 *
In Defense of the Triplet Loss for Person Re-Identification;Alexander Hermans等;《arXiv》;20171122;摘要，第2节 *
View-invariant gait recognition from low frame-rate videos;Al Mansur等;《Proceedings of the 21st International Conference on Pattern Recognition（ICPR2012）》;20130214;第1节、第4节 *

Also Published As

Publication number Publication date
CN108681689A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108681689B (zh) 基于生成对抗网络的帧率增强步态识别方法及装置
Liu et al. Attribute-aware face aging with wavelet-based generative adversarial networks
CN106023220B (zh) 一种基于深度学习的车辆外观部件图像分割方法
CN105184260B (zh) 一种图像特征提取方法及行人检测方法及装置
CN109993164A (zh) 一种基于rcrnn神经网络的自然场景文字识别方法
CN104636118A (zh) 基于光平衡的qr二维码自适应二值化处理方法和装置
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN112396619B (zh) 一种基于语义分割的内部复杂组成的小型颗粒分割方法
CN112329656B (zh) 一种视频流中人体动作关键帧的特征提取方法
CN110046617A (zh) 一种基于深度学习的数字电表读数自适应识别方法
CN106991355A (zh) 基于拓扑保持的解析型字典学习模型的人脸识别方法
CN109903242A (zh) 一种图像生成方法及装置
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN112561881A (zh) 基于评价模型的红外图像自适应数据增强方法
CN115439654B (zh) 动态约束下的弱监督农田地块精细化分割方法及***
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN117036715A (zh) 一种基于卷积神经网络的形变区边界自动提取方法
CN115797216A (zh) 一种基于自编码网络的碑文文字修复模型及修复方法
CN111144462A (zh) 一种雷达信号的未知个体识别方法及装置
CN108986083B (zh) 基于阈值优化的sar图像变化检测方法
CN108038467B (zh) 一种镜像图与粗细层次结合的稀疏人脸识别方法
CN110288026A (zh) 一种基于度量关系图学习的图像分割方法及装置
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
CN111209886A (zh) 一种基于深度神经网络的快速行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant