CN111539320B - 基于互相学习网络策略的多视角步态识别方法及*** - Google Patents
基于互相学习网络策略的多视角步态识别方法及*** Download PDFInfo
- Publication number
- CN111539320B CN111539320B CN202010321849.4A CN202010321849A CN111539320B CN 111539320 B CN111539320 B CN 111539320B CN 202010321849 A CN202010321849 A CN 202010321849A CN 111539320 B CN111539320 B CN 111539320B
- Authority
- CN
- China
- Prior art keywords
- gait
- image
- extracting
- learning network
- mutual learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 249
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000006870 function Effects 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims 2
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于步态识别领域，提供了一种基于互相学***金字塔池结合局部特征与全局特征，得到一个步态周期步态轮廓图的融合特征；利用softmax函数对一个步态周期步态轮廓图的融合特征进行分类预测，得到步态识别结果。
Description
技术领域
本发明属于步态识别领域，尤其涉及一种基于互相学习网络策略的多视角步态识别方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
步态即人行走时表现出的姿态的变化。这种变化通常是有规律的，特别表现为上肢与下肢的摆动，肩关节、髋关节和膝关节的活动。每个人的步态特征是其独有的属性，因此可以通过步态来获取身份、性别、年龄等多种信息。目前，基于步态的身份识别是有关步态分析的主要研究内容。现代社会中，公共场所的安全问题日益严峻，围绕安全问题的所提出的身份识别的相关研究日益增多。利用生物特征来进行身份识别是当前研究的热点，生物特征因其有不易丢失，不易遗忘和个人专属等特征在该领域占据重要的位置。目前常用的生物特征有人脸、虹膜、指纹等，这些方法目前已经在许多安保场所的应用程序中产生了非常良好的作用，但是他们仍然有一些不可避免的缺点。比如说这些生物特征都需要近距离的观察才能获取，而实际上监控设备往往和人距离较远，不能进行良好的身份识别。目前在身份识别***中应用良好的人脸识别，也因为视角和遮挡问题，不能在距离较远的情况下获取完整清晰的图像而造成其在远距离身份识别中不能产生很好的作用。步态识别则刚好可以解决以上问题，很显然，步态信息可以远距离获取，它不需要人脸特征那么多细节，对图像的分辨率要求低。并且步态信息难以伪装，其表现在整个人体，因此也难以隐藏。除此之外，步态还具有非侵犯性、非接触性等优点。步态识别的以上优点使其非常适用于大空间的公共场所安保***。步态识别是针对步行时人体表现出的结构化分量和动态分量来进行分析。结构化分量包括身高、体长、肩臀比等；动态分量即走路时身体各部分的运动状态和轨迹。同时，步态分析方法常常基于它自身的周期性特征，对一个完整步态周期内的步态变化进行特征提取、特征表示和整体性描述。发明人发现，步行时的路面状况、步行时穿不同的鞋、不同的衣着带来的不同遮挡效果、负重情况下造成的步态变形，尤其是摄像头与行走方向的不同角度等都影响步态识别的精度。
发明内容
为了解决上述问题，本发明的第一个方面提供一种基于互相学***金字塔模型结合利用每个人的局部信息和全局信息进行识别，有效地提高了部分特征的识别能力。
为了实现上述目的，本发明采用如下技术方案：
一种基于互相学习网络策略的多视角步态识别方法，包括：
接收多个视角的行人步态视频；
从视频中提取一个步态周期的步态图像，从步态图像中提取出步态轮廓图；
将一个步态周期的步态轮廓图按照步态序列形成步态帧集合，通过互相学习网络提取步态帧集合的局部特征与全局特征；
利用水平金字塔池结合局部特征与全局特征，得到一个步态周期步态轮廓图的融合特征；
利用softmax函数对一个步态周期步态轮廓图的融合特征进行分类预测，得到步态识别结果。
为了解决上述问题，本发明的第二个方面提供一种基于互相学***金字塔模型结合利用每个人的局部信息和全局信息进行识别，有效地提高了部分特征的识别能力。
为了实现上述目的，本发明采用如下技术方案：
一种基于互相学习网络策略的多视角步态识别***，包括：
步态视频接收模块，其用于接收多个视角的行人步态视频；
步态图像及轮廓提取模块，其用于从视频中提取一个步态周期的步态图像，从步态图像中提取出步态轮廓图；
特征提取模块，其用于将一个步态周期的步态轮廓图按照步态序列形成步态帧集合，通过互相学习网络提取步态帧集合的局部特征与全局特征；
特征融合模块，其用于利用水平金字塔池结合局部特征与全局特征，得到一个步态周期步态轮廓图的融合特征；
预测分类模块，其用于利用softmax函数对一个步态周期步态轮廓图的融合特征进行分类预测，得到步态识别结果。
为了解决上述问题，本发明的第三个方面提供一种计算机可读存储介质，其通过互相学***金字塔模型结合利用每个人的局部信息和全局信息进行识别，有效地提高了部分特征的识别能力。
为了实现上述目的，本发明采用如下技术方案：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于互相学习网络策略的多视角步态识别方法中的步骤。
为了解决上述问题，本发明的第四个方面提供一种计算机设备，其通过互相学***金字塔模型结合利用每个人的局部信息和全局信息进行识别，有效地提高了部分特征的识别能力。
为了实现上述目的，本发明采用如下技术方案：
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于互相学习网络策略的多视角步态识别方法中的步骤。
本发明的有益效果是：
(1)本发明利用互相学***金字塔池将局部特征与全局特征进行结合，步态帧集合作为输入能够解决观察视角变化的问题，而互相学***金字塔模型结合利用每个人的局部信息和全局信息进行识别，有效地提高了部分特征的识别能力。
(2)本发明提出的步态识别方法能有效为公共场所的安保问题提供帮助，同时能够克服监控设备与被观测者距离较远导致分辨率较低的问题。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例中基于互相学习网络的步态识别方法流程图；
图2是本发明实施例中预处理方法示意图；
图3是本发明实施例中互相学习网络框架示意图；
图4是本发明实施例中水平金字塔模型按照4个尺度分割的示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例的基于互相学习网络策略的多视角步态识别方法，包括：
S101：接收多个视角的行人步态视频。
在具体实施中，可围绕行人一周均匀设置至少两个摄像头，比如：2个或3个等。这样能够从多个视角获取行人步态相关图像，避免由于视角而影响行人步态识别的精度。
S102：从视频中提取一个步态周期的步态图像，从步态图像中提取出步态轮廓图。
在实际操作中，静止的背景是不容易获取的，因此需要背景建模。背景建模常用的方法有均值法背景建模，中值法背景建模，卡尔曼滤波器模型，高斯分布模型等，本实施例采用操作简单易于实现的均值法。
其具体过程为：
S1021：对一些连续帧取像素平均值，获取背景模型。
S1022：将当前获取的步态图像帧与背景模型做差分，得到目标运动区域的灰度图，对灰度图进行阈值化提取运动区域。
S103：将一个步态周期的步态轮廓图按照步态序列形成步态帧集合，通过互相学习网络提取步态帧集合的局部特征与全局特征。
在具体实施中，将一个步态周期的步态轮廓图按照步态序列形成步态帧集合之后，还包括：采用局部线性嵌入(LLE)对数据集进行非线性降维。
具体地，对于视角i，它的相近视角间序列关系基于LLE及其相互关系的能量函数表示为：
F(i,mi)＝c(xi-1,xi,mi)+c(xi,xi+1,mi)
其中
n,表示视角数，xi第i视角下的步态图像，xi,j表示xi中的第j帧，mi表示相对xi移动的帧数，yi,j表示降维后xi,j对应的系数。
对角度相近的步态序列进行时间同步操作，增加各个视角下的步态图像在特征上的相似性。这种同步操作即针对所有视角的能量函数：
其中，yi,j是将xi和xi-1在一个数据集降维后xij对应的系数，而yi,j是将xi,xi+1一起进行降维后的系数。
本实施例通过对步态帧集合降维，提高了互相学习网络提取特征的计算速度，同时能够保留有效的特征，保障了步态识别的精度。
在具体实施中，互相学习网络的训练过程为：
从视频中提取一个步态周期的步态图像，对步态序列进行时间同步，给这些步态序列确定标签，进而形成训练集和测试集。
确定训练集和测试集中的步态图像中行人的中心，通过移动平均滤波器进行图像预处理，同时将图像裁剪为64×64的大小；其中预处理过程为：
1)确定步态轮廓图中行人的最高点和最低点，从而确定行人的中心；
2)以中心做延伸，根据身高确定一个长宽相等的图像；
3)利用移动平均滤波器对图像做处理，同时将图像裁剪成为一个大小为64×64的图像，因此原本距离摄像头较远的行人会被放大，距离摄像头近的行人会被缩小。
将预处理之后的步态轮廓图像的训练集输入到两个卷积中进行训练，这两个网络在过程中互相学习，如图3所示，训练时采用集合池对同一受测目标的步态信息进行整合，将一个人的步态信息整理为步态集合，具体为：
a)通过集合池获得将每组步态的信息整合为集合，这个集合池包括一个卷积层,和一个最大池层。其中卷积层步长设置为1，卷积核设置为5×5，最大池层设置为卷积核设置为2×2,步长设置为2。集合池的操作之后得到的集级特征的大小为32×32×32像素。
b)通过一个卷积层和一个最大池化层进一步提取特征。该卷积层卷积核设置为3×3，步长为1，最大池化层卷积核设置为2×2,步长为2。得到的特征大小为64×16×16像素。
c)通过两个卷积层进一步提取特征。两个卷积层卷积核设置为3×3，步长为1。最终得到的特征大小为128×16×16像素。
S104：利用水平金字塔池结合局部特征与全局特征，得到一个步态周期步态轮廓图的融合特征。
参照图4，经过水平金字塔池(HPP)池将图像特征分别水平切片为2、4、8个水平块，与全局信息相结合，从4个尺度上鉴别信息。
将不同金字塔尺度的部分特征串联起来，使用全局平均池和全局最大池，形成每个图像的最终特征表示。生成的特征向量表示如下：
Gi,j＝avgpool(Fi,j)+maxpool(Fi,j)
其中，Fi，j表示水平金字塔分割的水平块；i,j代表各个分割块所在的分割尺度和分割块在该尺度中的次序。例如，F3，4表示第3尺度规模中的第4个分割块。然后，将每个空间Fi，j通过全局平均池和最大池生成列特征向量Gi，j。
通过一个卷积层和一个全连接层进行分类学习，从全局到局部，从粗到细的捕捉步态特征。
S105：利用softmax函数对一个步态周期步态轮廓图的融合特征进行分类预测，得到步态识别结果。
利用softmax函数进行分类预测，用yi表示受测样本的标签，其中yi∈(1,2，...，M)。计算由神经网络θ1给出的样本xi分类为m的预测值如下：
其中z1 m为神经网络θ1经softmax函数后的输出值。
在本实施例中，互相学习网络中的每个卷积网络通过交叉熵损失来优化网络，以神经网络θ1为例：
对于一个卷积网络，与其对等的另一个网络以其后验概率提供训练经验。利用Kullback Leibler(KL)散度来实现两个网络的互学。从p1到p2的KL距离表示如下：
利用KL散度得到体现两个网络互相影响的模拟损失函数，通过网络本身的交叉熵损失函数和利用散度得到的模拟损失函数共同优化网络，以以神经网络θ1为例，其表达式如下：
同理也可得到神经网络θ2的损失函数如下：
Lθ2＝LC2+DKL(p1||p2)
在实施例中，对每个测试集进行相同的处理。利用欧氏距离对训练集和测试集进行匹配，计算识别精度。
实施例二
本实施例的一种基于互相学习网络策略的多视角步态识别***，包括：
(1)步态视频接收模块，其用于接收多个视角的行人步态视频。
在具体实施中，可围绕行人一周均匀设置至少两个摄像头，比如：2个或3个等。这样能够从多个视角获取行人步态相关图像，避免由于视角而影响行人步态识别的精度。
(2)步态图像及轮廓提取模块，其用于从视频中提取一个步态周期的步态图像，从步态图像中提取出步态轮廓图。
在实际操作中，静止的背景是不容易获取的，因此需要背景建模。背景建模常用的方法有均值法背景建模，中值法背景建模，卡尔曼滤波器模型，高斯分布模型等，本实施例采用操作简单易于实现的均值法。
其具体过程为：
对一些连续帧取像素平均值，获取背景模型。
将当前获取的步态图像帧与背景模型做差分，得到目标运动区域的灰度图，对灰度图进行阈值化提取运动区域。
(3)特征提取模块，其用于将一个步态周期的步态轮廓图按照步态序列形成步态帧集合，通过互相学习网络提取步态帧集合的局部特征与全局特征。
在具体实施中，将一个步态周期的步态轮廓图按照步态序列形成步态帧集合之后，还包括：采用局部线性嵌入(LLE)对数据集进行非线性降维。
具体地，对于视角i，它的相近视角间序列关系基于LLE及其相互关系的能量函数表示为：
F(i,mi)＝c(xi-1,xi,mi)+c(xi,xi+1,mi)
其中
n,表示视角数，xi第i视角下的步态图像，xi,j表示xi中的第j帧，mi表示相对xi移动的帧数，yi,j表示降维后xi,j对应的系数。
对角度相近的步态序列进行时间同步操作，增加各个视角下的步态图像在特征上的相似性。这种同步操作即针对所有视角的能量函数：
其中，yi,j是将xi和xi-1在一个数据集降维后xij对应的系数，而yi,j是将xi,xi+1一起进行降维后的系数。
本实施例通过对步态帧集合降维，提高了互相学习网络提取特征的计算速度，同时能够保留有效的特征，保障了步态识别的精度。
在具体实施中，互相学习网络的训练过程为：
从视频中提取一个步态周期的步态图像，对步态序列进行时间同步，给这些步态序列确定标签，进而形成训练集和测试集。
确定训练集和测试集中的步态图像中行人的中心，通过移动平均滤波器进行图像预处理，同时将图像裁剪为64×64的大小；其中预处理过程为：
1)确定步态轮廓图中行人的最高点和最低点，从而确定行人的中心；
2)以中心做延伸，根据身高确定一个长宽相等的图像；
3)利用移动平均滤波器对图像做处理，同时将图像裁剪成为一个大小为64×64的图像，因此原本距离摄像头较远的行人会被放大，距离摄像头近的行人会被缩小。
将预处理之后的步态轮廓图像的训练集输入到两个卷积中进行训练，这两个网络在过程中互相学习，如图3所示，训练时采用集合池对同一受测目标的步态信息进行整合，将一个人的步态信息整理为步态集合，具体为：
a)通过集合池获得将每组步态的信息整合为集合，这个集合池包括一个卷积层,和一个最大池层。其中卷积层步长设置为1，卷积核设置为5×5，最大池层设置为卷积核设置为2×2,步长设置为2。集合池的操作之后得到的集级特征的大小为32×32×32像素。
b)通过一个卷积层和一个最大池化层进一步提取特征。该卷积层卷积核设置为3×3，步长为1，最大池化层卷积核设置为2×2,步长为2。得到的特征大小为64×16×16像素。
c)通过两个卷积层进一步提取特征。两个卷积层卷积核设置为3×3，步长为1。最终得到的特征大小为128×16×16像素。
(4)特征融合模块，其用于利用水平金字塔池结合局部特征与全局特征，得到一个步态周期步态轮廓图的融合特征。
参照图4，经过水平金字塔池(HPP)池将图像特征分别水平切片为2、4、8个水平块，与全局信息相结合，从4个尺度上鉴别信息。
将不同金字塔尺度的部分特征串联起来，使用全局平均池和全局最大池，形成每个图像的最终特征表示。生成的特征向量表示如下：
Gi,j＝avgpool(Fi,j)+maxpool(Fi,j)
其中，Fi，j表示水平金字塔分割的水平块；i,j代表各个分割块所在的分割尺度和分割块在该尺度中的次序。例如，F3，4表示第3尺度规模中的第4个分割块。然后，将每个空间Fi，j通过全局平均池和最大池生成列特征向量Gi，j。
通过一个卷积层和一个全连接层进行分类学习，从全局到局部，从粗到细的捕捉步态特征。
(5)预测分类模块，其用于利用softmax函数对一个步态周期步态轮廓图的融合特征进行分类预测，得到步态识别结果。
利用softmax函数进行分类预测，用yi表示受测样本的标签，其中yi∈(1,2，...，M)。计算由神经网络θ1给出的样本xi分类为m的预测值如下：
其中z1 m为神经网络θ1经softmax函数后的输出值。
在本实施例中，互相学习网络中的每个卷积网络通过交叉熵损失来优化网络，以神经网络θ1为例：
对于一个卷积网络，与其对等的另一个网络以其后验概率提供训练经验。利用Kullback Leibler(KL)散度来实现两个网络的互学。从p1到p2的KL距离表示如下：
利用KL散度得到体现两个网络互相影响的模拟损失函数，通过网络本身的交叉熵损失函数和利用散度得到的模拟损失函数共同优化网络，以以神经网络θ1为例，其表达式如下：
同理也可得到神经网络θ2的损失函数如下：
Lθ2＝LC2+DKL(p1||p2)
在实施例中，对每个测试集进行相同的处理。利用欧氏距离对训练集和测试集进行匹配，计算识别精度。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于互相学习网络策略的多视角步态识别方法中的步骤。
本实施例通过互相学***金字塔模型结合利用每个人的局部信息和全局信息进行识别，有效地提高了部分特征的识别能力。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于互相学习网络策略的多视角步态识别方法中的步骤。
本实施例通过互相学***金字塔模型结合利用每个人的局部信息和全局信息进行识别，有效地提高了部分特征的识别能力。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于互相学习网络策略的多视角步态识别方法，其特征在于，包括：
接收多个视角的行人步态视频；
从视频中提取一个步态周期的步态图像，从步态图像中提取出步态轮廓图；
将一个步态周期的步态轮廓图按照步态序列形成步态帧集合，通过互相学***均滤波器进行图像预处理，同时裁剪图像；将预处理之后的步态轮廓图像的训练集输入到两个卷积中进行训练，这两个卷积网络在训练过程中互相学习；训练时采用集合池对同一受测目标的步态信息进行整合，将一个人的步态信息整理为步态集合，具体为：通过集合池获得将每组步态的信息整合为集合；通过一个卷积层和一个最大池化层进一步提取特征；再通过两个卷积层进一步提取特征；
利用水平金字塔池结合局部特征与全局特征，得到一个步态周期步态轮廓图的融合特征；
利用softmax函数对一个步态周期步态轮廓图的融合特征进行分类预测，得到步态识别结果。
2.如权利要求1所述的基于互相学习网络策略的多视角步态识别方法，其特征在于，从步态图像中提取出步态轮廓图的过程为：
通过均值法建立背景模型，采用背景差分法进行步态轮廓图的提取。
3.如权利要求1所述的基于互相学习网络策略的多视角步态识别方法，其特征在于，将一个步态周期的步态轮廓图按照步态序列形成步态帧集合之后，还包括：
采用局部线性嵌入对步态帧集合进行非线性降维。
4.如权利要求1所述的基于互相学习网络策略的多视角步态识别方法，其特征在于，互相学习网络中的每个卷积网络通过交叉熵损失来优化网络。
5.一种基于互相学习网络策略的多视角步态识别***，其特征在于，包括：
步态视频接收模块，其用于接收多个视角的行人步态视频；
步态图像及轮廓提取模块，其用于从视频中提取一个步态周期的步态图像，从步态图像中提取出步态轮廓图；
特征提取模块，其用于将一个步态周期的步态轮廓图按照步态序列形成步态帧集合，通过互相学***均滤波器进行图像预处理，同时裁剪图像；将预处理之后的步态轮廓图像的训练集输入到两个卷积中进行训练，这两个卷积网络在训练过程中互相学***金字塔池结合局部特征与全局特征，得到一个步态周期步态轮廓图的融合特征；
预测分类模块，其用于利用softmax函数对一个步态周期步态轮廓图的融合特征进行分类预测，得到步态识别结果。
6.如权利要求5所述的基于互相学习网络策略的多视角步态识别***，其特征在于，在所述步态图像及轮廓提取模块中，从步态图像中提取出步态轮廓图的过程为：
通过均值法建立背景模型，采用背景差分法进行步态轮廓图的提取。
7.如权利要求5所述的基于互相学习网络策略的多视角步态识别***，其特征在于，在所述特征提取模块中，将一个步态周期的步态轮廓图按照步态序列形成步态帧集合之后，还包括：
采用局部线性嵌入对步态帧集合进行非线性降维。
8.如权利要求5所述的基于互相学习网络策略的多视角步态识别***，其特征在于，在所述特征提取模块中，互相学习网络中的每个卷积网络通过交叉熵损失来优化网络。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的基于互相学习网络策略的多视角步态识别方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述的基于互相学习网络策略的多视角步态识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010321849.4A CN111539320B (zh) | 2020-04-22 | 2020-04-22 | 基于互相学习网络策略的多视角步态识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010321849.4A CN111539320B (zh) | 2020-04-22 | 2020-04-22 | 基于互相学习网络策略的多视角步态识别方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111539320A CN111539320A (zh) | 2020-08-14 |
| CN111539320B true CN111539320B (zh) | 2023-04-18 |
Family
ID=71977017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010321849.4A Active CN111539320B (zh) | 2020-04-22 | 2020-04-22 | 基于互相学习网络策略的多视角步态识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111539320B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115666387A (zh) * | 2021-03-19 | 2023-01-31 | 京东方科技集团股份有限公司 | 基于多导联的心电信号识别方法和心电信号识别装置 |
| CN113011396B (zh) * | 2021-04-27 | 2024-02-09 | 公安部第三研究所 | 基于深度学习级联特征融合的步态识别方法 |
| CN113705353B (zh) * | 2021-07-30 | 2024-04-02 | 西安交通大学 | 一种基于周期帧全局特征的下肢运动模式识别方法及*** |
| CN113887358B (zh) * | 2021-09-23 | 2024-05-31 | 南京信息工程大学 | 按部分学习解耦表征的步态识别方法 |
| CN114882593A (zh) * | 2022-05-18 | 2022-08-09 | 厦门市美亚柏科信息股份有限公司 | 一种鲁棒的时空混合步态特征学习方法和*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354548A (zh) * | 2015-10-30 | 2016-02-24 | 武汉大学 | 一种基于ImageNet检索的监控视频行人重识别方法 |
| CN109446991A (zh) * | 2018-10-30 | 2019-03-08 | 北京交通大学 | 基于全局和局部特征融合的步态识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10489693B2 (en) * | 2017-08-03 | 2019-11-26 | Motorola Solutions, Inc. | Method and apparatus for distributed edge learning |
-
2020
- 2020-04-22 CN CN202010321849.4A patent/CN111539320B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354548A (zh) * | 2015-10-30 | 2016-02-24 | 武汉大学 | 一种基于ImageNet检索的监控视频行人重识别方法 |
| CN109446991A (zh) * | 2018-10-30 | 2019-03-08 | 北京交通大学 | 基于全局和局部特征融合的步态识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| Ernin Niswatul Ukhwah等."Asphalt Pavement Pothole Detection using Deep learning method based on YOLO Neural Network".《IEEE》.2019,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111539320A (zh) | 2020-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539320B (zh) | 基于互相学习网络策略的多视角步态识别方法及*** | |
| US10282589B2 (en) | Method and system for detection and classification of cells using convolutional neural networks | |
| CN110084156B (zh) | 一种步态特征提取方法及基于步态特征的行人身份识别方法 | |
| CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| US20200327308A1 (en) | Methods and systems for face recognition | |
| Szegedy et al. | Deep neural networks for object detection | |
| CN108520226B (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
| CN106934359B (zh) | 基于高阶张量子空间学习的多视角步态识别方法及*** | |
| CN113361495B (zh) | 人脸图像相似度的计算方法、装置、设备及存储介质 | |
| CN111178208A (zh) | 基于深度学习的行人检测方法、装置及介质 | |
| CN110689526B (zh) | 基于视网膜眼底图像的视网膜血管分割方法及*** | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| CN113269103B (zh) | 基于空间图卷积网络的异常行为检测方法、***、存储介质和设备 | |
| Niu et al. | Automatic localization of optic disc based on deep learning in fundus images | |
| CN112101195A (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
| Ngxande et al. | Detecting inter-sectional accuracy differences in driver drowsiness detection algorithms | |
| CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及*** | |
| CN109815887B (zh) | 一种基于多智能体协作的复杂光照下人脸图像的分类方法 | |
| Pathak et al. | Entropy based CNN for segmentation of noisy color eye images using color, texture and brightness contour features | |
| Ariana et al. | Color image segmentation using kohonen self-organizing map (som) | |
| CN109815786A (zh) | 一种基于区域熵特征的步态识别方法 | |
| García et al. | Pollen grains contour analysis on verification approach | |
| CN114743278A (zh) | 一种基于生成对抗网络和卷积神经网络的指静脉识别方法 | |
| Bhavani et al. | Robust 3D face recognition in unconstrained environment using distance based ternary search siamese network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |