CN110032976B - 一种基于掩膜处理新型步态能量图的获取及身份识别方法 - Google Patents
一种基于掩膜处理新型步态能量图的获取及身份识别方法 Download PDFInfo
- Publication number
- CN110032976B CN110032976B CN201910304272.3A CN201910304272A CN110032976B CN 110032976 B CN110032976 B CN 110032976B CN 201910304272 A CN201910304272 A CN 201910304272A CN 110032976 B CN110032976 B CN 110032976B
- Authority
- CN
- China
- Prior art keywords
- gait
- gait energy
- image
- novel
- walking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于掩膜处理新型步态能量图的获取及身份识别方法,1、输入行人前景图像,计算步态能量图;2、对同一角度下所有步态能量图求加权平均得到合成平均模板;3、计算合成平均模板的步态熵图像,通过设定阈值得到通用掩膜;4、应用部分通用掩膜与步态能量图做“与”运算,得到新型步态能量图;5、提取新型步态能量图的定向梯度直方图;6、采用K‑最近邻分类器进行预测识别行人身份。本发明去除了步态能量图中不同着装状态对步态识别的影响,尽可能的保留了对身份识别有利的动态区域特征和静态区域特征,有效提高了现实场景中在未知协变量条件下的行人身份正确识别率。
Description
技术领域
本发明涉及计算机视觉和模式识别领域,尤其涉及一种基于掩膜处理去除大衣、背包等协变量因素影响的新型步态能量图,及基于新型步态能量图实现身份识别的方法。
背景技术
在智能视频监控中,远距离识别行人身份具备很高的科研和商业价值。步态,作为一种行为生物识别,与其他生物识别技术相比,步态主要捕捉行人活动的动态方面。步态拥有远距离、非受控性、非接触性、易采集和极难模仿等诸多优势,这使得步态非常适用于无法与被识别对象进行配合或接触的情况,并且将在远距离识别中发挥不可替代的作用。基于步态的分析和识别主要通过两种方法实现:传感器和视觉摄像头。传统的基于传感器的方法需要辅助设备来收集步态信息,并且其应用领域有限。基于视觉摄像头的方法通过普通摄像头采集行人步态信息,具有很强的实用性。步态特征提取使用一组数据来描述行人步行姿态在时间和空间上的动态变化。现有的步态识别技术主要分为两大类,即基于模型的特征提取方法和基于轮廓的特征提取方法。基于模型的特征提取方法将数学模型拟合到人体并使用模型的参数表示步态特征,尽管具有很强的可区分性,但特征提取方法更复杂,耗时且计算更昂贵。而基于轮廓的特征提取方法直接从轮廓提取运动信息。
而基于轮廓的特征提取方法直接从轮廓提取运动信息,该方法计算复杂度更低,对噪声的鲁棒性更强。最流行的基于轮廓的方法是提取步态能量图,它通过对整个步态周期中提取的轮廓进行平均得到单个灰度图像来表示整个周期中的步态。对于大多数基于轮廓的步态识别方法,静态形状信息可能比运动学起着更重要的作用。现有研究表明结合静态和动态特征是有用的,融合可以产生更好的正确识别率。然而,步态对各种协变量条件非常敏感,包括衣服,携带物,表面状况,视角和速度等。因为它们可以影响步态本身或提取的步态特征。为了克服这些问题,重要的是找到反映不同主体的独特特征的最相关的步态特征。此外,它们必须对协变量条件变化引起的外观变化不变。
发明专利红外步态双信道特征融合识别方法,申请号/专利号:CN201110149549公开了一种红外步态双信道特征融合识别方法,通过对红外图像预处理,采用混合高斯模型的背景减除法实现人体的检测,然后进行形态学处理,确定步态周期得到步态能量图,提取其红外热释电特征,红外图像对行人的携带物如提包、雨伞、背包等外形改变不太敏感,但是红外图像在白天的适应性不强。发明专利基于自适应特征块选择的步态识别方法,申请号/专利号:CN201110060863,通过对步态能量图中的人体区域进行分块,根据无衣着和携带物状态干扰的训练数据得出每块区域的统计信息,在测试时通过分块计算统计信息而自动选取符合训练数据统计信息规律的特征块,有效克服了因行人衣着、携带物状态变化对步态识别造成的不利影响,同时保留了人的头、肩等部位特征,提高了步态识别的有效性。但是这种方法不能避开衣着和携带物对人体二值影像遮挡区域的干扰,衣着和携带物可能遮挡比如腿部区域、手臂摆动区域及其他静态特征区域的信息,这在一定程度上会影响步态识别的准确率。
发明内容
本发明针对现实场景下的步态识别,行人轮廓特征提取容易被穿着大衣、携带背包等未知协变量因素影响的问题,提出一种通过生成通用掩膜处理,去除步态能量图中大衣、背包等干扰因素的影响,得到一种新型的步态能量图,并在其基础上进行步态特征提取和行人身份识别的方法。以获得行人步态识别的协变量条件不变特征。由于在现实的实验设定下,协变量条件是未知的,步态能量图不仅包含反映不同主体独特行走特征的动态特征,而且还包含许多关于身体形状的静态特征,它容易受到协变量条件变化的影响(例如衣服和携带物)。本申请的目标是消除衣服和携带物引起的步态能量图外观变化,同时尽可能保留有用的动静态特征。
为了达到上述目的,本发明采用如下技术方案:
一种基于掩膜处理新型步态能量图的获取及身份识别方法,步骤如下:
S1.给定多个行人在m个相同拍摄角度下的不同着装状态下行走时的行人前景图像;
根据着装状态,将每个行人对应的所有行人前景图像进行分类,这样每个行人有n种着装状态下的行走图像序列,设行人i的第一种着装状态下包括a1个前景图像序列,每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列,每个前景图像子序列分属于多个步态周期,行人i的第二种着装状态下包括a2个前景图像序列,每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列,每个前景图像子序列分属于多个步态周期,……行人i的第三种着装状态下包括a3个前景图像序列,每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列,每个前景图像子序列分属于多个步态周期;
对每个行人对应的n种着装状态下的行走图像序列中每个前景图像子序列中分别提取一个步态周期并生成一个初始步态能量图;
S2.计算同一拍摄角度下所有行人的各行走图像序列得到的初始步态能量图的加权平均,生成m个拍摄角度分别对应的合成平均模板;
S3.分别计算m个拍摄角度下合成平均模板的香农熵,得到合成平均模板的步态熵图像;
S4.通过对合成平均模板的步态熵图像设定阈值进行二值化得到通用掩膜;
S5.在S4中得到的通用掩膜中选取一部分作为选择通用掩膜区域;将选择通用掩膜区域与S1得到的初始步态能量图进行“与”运算,生成新型步态能量图,其中第一种着装状态下的行走序列对应的新型步态能量图的数量为ma1个,第二种着装状态下的行走序列对应的新型步态能量图的数量为ma2个……,第n种着装状态下的行走序列对应的新型步态能量图的数量为man个;
S6.将S5中生成的新型步态能量图分为训练集和测试集,提取训练集与测试集的新型步态能量图的定向梯度直方图,计算测试集新型步态能量图与训练集新型步态能量图在每个像素点的欧氏距离,根据最近邻法则将这些欧式距离的最小值对应的训练集对象确定为步态识别结果。
所述S1中提取步态周期并生成初始步态能量图的方法在于:
S1.1对各行人前景图像进行尺寸归一化和重心对齐,得到人体二值轮廓图像;
S1.2对于人体二值轮廓图像,通过计算腿部区域的宽高比,分割得到步态周期,以此计算得到初始步态能量图。
S1.1中人体二值轮廓图像获取方法是:
通过中值滤波和形态学腐蚀操作来滤除噪声区域,构建包含完整人体轮廓的最小矩形框,并将其归一化为指定像素大小240*240,保持人体轮廓重心在归一化后的图像的中线上,得到人体二值轮廓图像。
S1.2中分割得到步态周期的方法是:
通过计算其腿部图像区域的宽高比,当两脚之间的距离最大时,人体站立的高度最低,宽高比达到最大值,当两脚重合时,宽高比为最小值,两个相邻宽高比的最大值认为是半个步态周期,三个相邻宽高比认为是一个步态周期;
计算得到步态能量图的具体方法在于:
选取一个周期对应的尺寸归一化和重心对齐后的各行人前景图像,得到一个步态周期的人体二值轮廓图像,以此计算得到各行人前景图像的一个步态周期对应的初始步态能量图,具体方法如公式(1)所述:
其中GEI和G(x,y)表示初始步态能量图,I(x,y,t)表示一个步态周期对应的人体二值轮廓图像,x和y是一张人体二值轮廓图像对应的二维空间中的像素点的坐标,t表示一个步态周期里人体二值轮廓图像序列号,T是一个步态周期中的帧数。
所述S2中生成m个角度分别对应的合成平均模板方法是:
S2.1.应用加权平均的方法在各种协变量条件下更均匀的表达共同的步态特征,其中第一种着装状态下的行走序列权值为:k1=1,第二种着装状态下的行走序列、第三种着装状态下的行走序列……和第n种着装状态下的行走序列权值为:k2=k3=…=kn=2;
S2.2.各拍摄角度对应的合成平均模板ST计算如公式(2):
其中GEI1、GEI2、……和GEIn分别表示第一种着装状态下的行走序列、第二种着装状态下的行走序列、……和第n种着装状态下的行走序列的初始步态能量图,N1、N2……和Nn分别表示在同一拍摄角度下对应的初始步态能量图的数量,其中Nn=i*an。
所述S3中得到合成平均模板的步态熵图像的方法是:
S3.1.在各拍摄角度对应的合成平均模板中的每个像素位置处计算香农熵,得到各拍摄角度对应的步态熵图像,计算方法如公式(3):
其中GEnI和H(x,y)为步态熵图像,x,y是像素坐标,pk(x,y)是像素取第k个值的概率;
z=p1(x,y),其中z表示初始步态能量图,根据公式(3)得到公式(4):
GEnI=-z*log2 z-(1-z)*log2(1-z) (4)
S3.3.用合成平均模板ST替换公式(4)中的z,得到合成平均模板的步态熵图像T-GEnI,如公式(5)所示:
T-GEnI=-ST*log2 ST-(1-ST)*log2(1-ST) (5)。
所述S4中得到通用掩膜的方法在于:
如公式(6)所示:
其中H(x,y)是合成平均模板的步态熵图像,θ是阈值;
所述S5中所述的在通用掩膜中选取一部分作为选择通用掩膜区域的方法在于:
选择通用掩膜区域为通用掩膜中线以右区域的顶部至0.72H处,其中H为通用掩膜高度。
所述S6中训练集和测试集的划分方法为:
选择2ma1/3个第一种着装状态下的行走序列对应的新型步态能量图作为训练集,其余ma1/3个第一种着装状态下的行走序列、ma2个第二种着装状态下的行走序列、ma3个第三种着装状态下的行走序列……man个第n种着装状态下的行走序列对应的新型步态能量图作为测试集。
所述S7中:
计算测试集与训练集中每一新型步态能量图的各像素点间的欧式距离,给定训练集:Xtrain=(x(1),x(2),x(3),...,x(i)),其中x(1),x(2),x(3),...,x(i)表示训练集各行走序列对应的新型步态能量图,测试集:Xtest=(x'(1),x'(2),x'(3),...,x'(j)),其中x'(1),x'(2),x'(3),...,x'(j)表示测试集各行走序列对应的新型步态能量图,则欧式距离如公式(7)所示:
按升序对计算得到的所有欧式距离进行排序,并选择训练集中欧式距离最接近测试集中待分类行人新型步态能量图的前K张新型步态能量图,确定前K张新型步态能量图中各行人类别出现的次数,并将最高出现频率的类别预测为测试集中待分类行人的类别。
本发明的有益技术效果是:
本发明去除了步态能量图中不同着装状态对步态识别的影响,尽可能的保留了对身份识别有利的动态区域特征和静态区域特征,有效提高了现实场景中在未知协变量条件下的行人身份正确识别率。本发明处理方法简单,有效提高了身份识别效率。
附图说明
图1是初始步态能量图的示意图。其中(a)正常行走;(b)携带背包;(c)穿大衣。
图2是五个拍摄角度下的合成平均模板示意图。其中(a)54°;(b)72°;(c)90°;(d)108°;(e)126°。
图3是五个拍摄角度下的合成平均模板步态熵示意图。其中(a)54°;(b)72°;(c)90°;(d)108°;(e)126°。
图4是五个拍摄角度下的通用掩膜示意图。其中(a)54°;(b)72°;(c)90°;(d)108°;(e)126°。
图5是应用整个掩膜处理后的示意图。其中(a)正常行走;(b)携带背包;(c)穿大衣。
图6虚线部分是选择部分掩膜区域应用于初始步态能量图。
图7是应用部分选择掩膜区域处理后的新型步态能量图的示意图。其中(a)正常行走;(b)携带背包;(c)穿大衣。
图8是示意图。90°视角下正常行走基于掩膜处理的新型步态能量图的定向梯度直方图特征描述符。
图9是身份识别方法一个实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1至图9,本实施例提供一种基于掩膜处理新型步态能量图的获取及身份识别方法的具体实施过程,步骤如下:
S1.输入行人前景图像,每个行人对应10个行走序列,包括6个正常着装状态下的行走序列、2个背包状态下的行走序列和2个穿大衣状态下的行走序列,且每个行走序列对应5个拍摄角度;
对行人前景图像进行尺寸归一化和重心对齐,每个行走序列的5个拍摄角度分别提取一个步态周期并生成初始步态能量图;
S1.1通过中值滤波和形态学腐蚀等操作来滤除噪声区域,构建行人轮廓的最小矩形框,并将其归一化为指定像素大小240*240,保持人体轮廓区域重心在图片的中线上;
S1.2通过计算腿部区域的宽高比,分割得到步态周期,初始步态能量图,如图1所示,为两个不同行人在不同着装条件下的步态能量图。其中(a)为正常着装状态下的行走的步态能量图;(b)为背包状态下的行走的步态能量图;(c)穿大衣状态下的行走的步态能量图。
具体方法如公式(1)所述:
其中GEI和G(x,y)表示初始步态能量图,I(x,y,t)表示人体二值轮廓图像,x和y是二维空间中的坐标,t表示图像序列,T是完整步态周期中的帧数。
S2.计算所有行人分别在5个拍摄角度下,所有行走序列得到的初始步态能量图的加权平均,生成5个拍摄角度分别对应的合成平均模板;
S2.1.应用加权平均的方法在各种协变量条件下更均匀的表达共同的步态特征,其中正常着装状态下的行走序列权值为:knm=1,背包状态下的行走序列和穿大衣状态下的行走序列权值为:kbg=kcl=2。
S2.2.合成平均模板计算如公式(2):
其中GEInm,GEIbg和GEIcl分别表示正常着装状态下、携带背包状态下和穿大衣状态下的初始步态能量图,Nnm,Nbg和Ncl分别表示在同一拍摄角度下的正常着装状态下、携带背包状态下和穿大衣状态下的样本数。如图2所示,为5个视角下的合成平均模板。(a)为54°对应的合成平均模板,(b)为72°对应的合成平均模板,(c)为90°对应的合成平均模板,(d)为108°对应的合成平均模板,(e)为126°对应的合成平均模板。到的合成平均模板已经对由协变量条件引起的外观变化不敏感,但动态特征和静态特征仍存在。静态区域主要包含关于行人的身体形状和姿势的信息,而动态区域表示行人的行走姿势。
S3.分别计算5个拍摄角度下合成平均模板的香农熵,得到合成平均模板的步态熵图像;
S3.1.在合成平均模板中的每个像素位置处计算香农熵,得到步态熵图像,计算方法如公式(3):
其中GEnI和H(x,y)为步态熵图像,x,y是像素坐标,pk(x,y)是像素取第k个值的概率。
z=p1(x,y),其中z表示初始步态能量图,根据公式(3)得到公式(4):
GEnI=-z*log2 z-(1-z)*log2(1-z) (4)
S3.3.用合成平均模板ST替换公式(4)中的z,得到合成平均模板的步态熵图像,如公式(5)所示:
T-GEnI=-ST*log2 ST-(1-ST)*log2(1-ST) (5)
得到的合成平均模板的步态熵图像如图3所示。其中(a)为54°对应的合成平均模板的步态熵图像;(b)为72°对应的合成平均模板的步态熵图像;(c)为90°对应的合成平均模板的步态熵图像;(d)为108°对应的合成平均模板的步态熵图像;(e)为126°对应的合成平均模板的步态熵图像。可以观察到合成平均模板的步态熵图像中的动态区域是具有高亮度值的特征,静态区域拥有低亮度值特征。
S4.通过对合成平均模板的步态熵图像设定阈值进行二值化得到通用掩膜,如公式(6)所示:
其中H(x,y)是合成平均模板的步态熵图像,θ是阈值;
通用掩膜如图4所示。其中(a)为54°对应的通用掩膜;(b)为72°对应的通用掩膜;(c)为90°对应的通用掩膜;(d)为108°对应的通用掩膜;(e)为126°对应的通用掩膜。可以观察到掩模图像的静态区域的像素值都变为了0,而动态区域的像素值都变为了1。
图5将整个掩膜应用于初始步态能量图得到的图像。(a)为正常着装行走状态下,(b)为背包行走状态下,(c)为穿大衣行走状态下。初始步态能量图在应用通用掩膜之后,不同协变量条件下的静态区域变得几乎相同。然而,由于通用掩模是通过平均124个对象的所有序列来计算得到的,因此在应用通用掩模之后会移除一小部分动态区域,这将对动态特征的提取和识别产生影响。在这种情况下,本申请只将部分通用掩模应用于步态能量图,从而生成保留完整动态区域的新型步态能量图,并且可以尽可能地减弱诸如衣服和携带物等协变条件的影响。图6展示了本申请应用于步态能量图的通用掩模的区域(虚线部分)。部分掩膜处理后生成的新型步态能量图如图7所示。注意到动态区域没有受到干扰,同时由于衣服和携带物引起的形状变化有效地减轻了。
S5.选择通用掩膜,高为顶部至0.72H处,宽为中线以右,得到选择通用掩膜区域;
将选择通用掩膜区域与S1得到的初始步态能量图进行“与”运算,去除协变量因素的影响,同时保留全部动态区域特征和大量静态区域特征,生成新型步态能量图;如图7所示,上面为三种着装状态下对应的初始步态能量图,下面为三种着装状态下对应的新型步态能量图
S6.选择4个正常着装状态下的行走序列对应的新型步态能量图作为训练集,其余2个正常着装状态下行走序列、2个背包状态下的行走序列和2个穿大衣状态下的行走序列对应的新型步态能量图作为测试集;提取训练集与测试集的新型步态能量图的定向梯度直方图,计算测试集新型步态能量图与训练集新型步态能量图在每个像素点的欧氏距离,根据最近邻法则将这些欧式距离的最小值对应的训练集对象确定为步态识别结果。图8展示了在90°视角下正常步行新型步态能量图的定向梯度直方图描述符。
计算测试集与训练集中每一新型步态能量图的各像素点间的欧式距离,给定训练集:Xtrain=(x(1),x(2),x(3),...,x(i)),测试集:Xtest=(x'(1),x'(2),x'(3),...,x'(j)),则欧式距离如公式(7)所示:
按升序对计算得到的所有欧式距离进行排序,并选择训练集中欧式距离最接近测试集中待分类行人新型步态能量图的前K张新型步态能量图,确定前K张新型步态能量图中各行人类别出现的次数,并将最高出现频率的类别预测为测试集中待分类行人的类别。
Claims (9)
1.一种基于掩膜处理新型步态能量图的获取及身份识别方法,其特征在于:
S1.给定多个行人在m个相同拍摄角度下的不同着装状态下行走时的行人前景图像;
根据着装状态,将每个行人对应的所有行人前景图像进行分类,这样每个行人有n种着装状态下的行走图像序列,设行人i的第一种着装状态下包括a1个前景图像序列,每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列,每个前景图像子序列分属于多个步态周期,行人i的第二种着装状态下包括a2个前景图像序列,每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列,每个前景图像子序列分属于多个步态周期,……行人i的第三种着装状态下包括a3个前景图像序列,每个前景图像序列按照拍摄角度不同划分为m个前景图像子序列,每个前景图像子序列分属于多个步态周期;
对每个行人对应的n种着装状态下的行走图像序列中每个前景图像子序列中分别提取一个步态周期并生成一个初始步态能量图;
S2.计算同一拍摄角度下所有行人的各行走图像序列得到的初始步态能量图的加权平均,生成m个拍摄角度分别对应的合成平均模板;
S3.分别计算m个拍摄角度下合成平均模板的香农熵,得到合成平均模板的步态熵图像;
所述S3中得到合成平均模板的步态熵图像的方法是:
S3.1.在各拍摄角度对应的合成平均模板中的每个像素位置处计算香农熵,得到各拍摄角度对应的步态熵图像,计算方法如公式(3):
其中GEnI和H(x,y)为步态熵图像,x,y是像素坐标,pk(x,y)是像素取第k个值的概率;
其中I(x,y,t)表示一个步态周期对应的人体二值轮廓图像,x和y是一张人体二值轮廓图像对应的二维空间中的像素点的坐标,t表示一个步态周期里人体二值轮廓图像序列号,z=p1(x,y),其中z表示初始步态能量图,根据公式(3)得到公式(4):
GEnI=-z*log2 z-(1-z)*log2(1-z) (4)
S3.3.用合成平均模板ST替换公式(4)中的z,得到合成平均模板的步态熵图像T-GEnI,如公式(5)所示:
T-GEnI=-ST*log2 ST-(1-ST)*log2(1-ST) (5);
S4.通过对合成平均模板的步态熵图像设定阈值进行二值化得到通用掩膜;
S5.在S4中得到的通用掩膜中选取一部分作为选择通用掩膜区域;将选择通用掩膜区域与S1得到的初始步态能量图进行“与”运算,生成新型步态能量图,其中第一种着装状态下的行走序列对应的新型步态能量图的数量为ma1个,第二种着装状态下的行走序列对应的新型步态能量图的数量为ma2个……,第n种着装状态下的行走序列对应的新型步态能量图的数量为man个;
S6.将S5中生成的新型步态能量图分为训练集和测试集,提取训练集与测试集的新型步态能量图的定向梯度直方图,计算测试集新型步态能量图与训练集新型步态能量图在每个像素点的欧氏距离,根据最近邻法则将这些欧式距离的最小值对应的训练集对象确定为步态识别结果。
2.根据权利要求1所述的一种基于掩膜处理新型步态能量图的获取及身份识别方法,其特征在于:
所述S1中提取步态周期并生成初始步态能量图的方法在于:
S1.1对各行人前景图像进行尺寸归一化和重心对齐,得到人体二值轮廓图像;
S1.2对于人体二值轮廓图像,通过计算腿部区域的宽高比,分割得到步态周期,以此计算得到初始步态能量图。
3.根据权利要求2所述的一种基于掩膜处理新型步态能量图的获取及身份识别方法,其特征在于:
S1.1中人体二值轮廓图像获取方法是:
通过中值滤波和形态学腐蚀操作来滤除噪声区域,构建包含完整人体轮廓的最小矩形框,并将其归一化为指定像素大小240*240,保持人体轮廓重心在归一化后的图像的中线上,得到人体二值轮廓图像。
4.根据权利要求2所述的一种基于掩膜处理新型步态能量图的获取及身份识别方法,其特征在于:
S1.2中分割得到步态周期的方法是:
通过计算其腿部图像区域的宽高比,当两脚之间的距离最大时,人体站立的高度最低,宽高比达到最大值,当两脚重合时,宽高比为最小值,两个相邻宽高比的最大值认为是半个步态周期,三个相邻宽高比认为是一个步态周期;
计算得到步态能量图的具体方法在于:
选取一个周期对应的尺寸归一化和重心对齐后的各行人前景图像,得到一个步态周期的人体二值轮廓图像,以此计算得到各行人前景图像的一个步态周期对应的初始步态能量图,具体方法如公式(1)所述:
其中GEI和G(x,y)表示初始步态能量图,T是一个步态周期中的帧数。
5.根据权利要求4所述的一种基于掩膜处理新型步态能量图的获取及身份识别方法,其特征在于:
所述S2中生成m个角度分别对应的合成平均模板方法是:
S2.1.应用加权平均的方法在各种协变量条件下更均匀的表达共同的步态特征,其中第一种着装状态下的行走序列权值为:k1=1,第二种着装状态下的行走序列、第三种着装状态下的行走序列……和第n种着装状态下的行走序列权值为:k2=k3=...=kn=2;
S2.2.各拍摄角度对应的合成平均模板ST计算如公式(2):
其中GEI1、GEI2、……和GEIn分别表示第一种着装状态下的行走序列、第二种着装状态下的行走序列、……和第n种着装状态下的行走序列的初始步态能量图,N1、N2……和Nn分别表示在同一拍摄角度下对应的初始步态能量图的数量,其中Nn=i*an。
7.根据权利要求1所述的一种基于掩膜处理新型步态能量图的获取及身份识别方法,其特征在于:
S5中所述的在通用掩膜中选取一部分作为选择通用掩膜区域的方法在于:
选择通用掩膜区域为通用掩膜中线以右区域的顶部至0.72H处,其中H为通用掩膜高度。
8.根据权利要求1所述的一种基于掩膜处理新型步态能量图的获取及身份识别方法,其特征在于
S6中训练集和测试集的划分方法为:
选择2ma1/3个第一种着装状态下的行走序列对应的新型步态能量图作为训练集,其余ma1/3个第一种着装状态下的行走序列、ma2个第二种着装状态下的行走序列、ma3个第三种着装状态下的行走序列……man个第n种着装状态下的行走序列对应的新型步态能量图作为测试集。
9.根据权利要求1所述的一种基于掩膜处理新型步态能量图的获取及身份识别方法,其特征在于:
所述S6中:
计算测试集与训练集中每一新型步态能量图的各像素点间的欧式距离,给定训练集:Xtrain=(x(1),x(2),x(3),...,x(i)),其中x(1),x(2),x(3),...,x(i)表示训练集各行走序列对应的新型步态能量图,测试集:Xtest=(x'(1),x'(2),x'(3),...,x'(j)),其中x'(1),x'(2),x'(3),...,x'(j)表示测试集各行走序列对应的新型步态能量图,则欧式距离如公式(7)所示:
按升序对计算得到的所有欧式距离进行排序,并选择训练集中欧式距离最接近测试集中待分类行人新型步态能量图的前K张新型步态能量图,确定前K张新型步态能量图中各行人类别出现的次数,并将最高出现频率的类别预测为测试集中待分类行人的类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910304272.3A CN110032976B (zh) | 2019-04-16 | 2019-04-16 | 一种基于掩膜处理新型步态能量图的获取及身份识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910304272.3A CN110032976B (zh) | 2019-04-16 | 2019-04-16 | 一种基于掩膜处理新型步态能量图的获取及身份识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110032976A CN110032976A (zh) | 2019-07-19 |
CN110032976B true CN110032976B (zh) | 2021-02-05 |
Family
ID=67238593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910304272.3A Active CN110032976B (zh) | 2019-04-16 | 2019-04-16 | 一种基于掩膜处理新型步态能量图的获取及身份识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110032976B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111340090B (zh) * | 2020-02-21 | 2023-08-01 | 每日互动股份有限公司 | 图像特征比对方法及装置、设备、计算机可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201113143D0 (en) * | 2011-07-29 | 2011-09-14 | Univ Ulster | Gait recognition methods and systems |
CN103942577B (zh) * | 2014-04-29 | 2018-08-28 | 上海复控华龙微***技术有限公司 | 视频监控中基于自建立样本库及混合特征的身份识别方法 |
CN104537356B (zh) * | 2015-01-12 | 2017-12-29 | 北京大学 | 利用瑞士轮排序进行步态识别的行人再标识方法和装置 |
CN106529499A (zh) * | 2016-11-24 | 2017-03-22 | 武汉理工大学 | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 |
CN109002785A (zh) * | 2018-07-05 | 2018-12-14 | 西安交通大学 | 基于运动时序能量图的步态识别方法 |
-
2019
- 2019-04-16 CN CN201910304272.3A patent/CN110032976B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110032976A (zh) | 2019-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zeng et al. | Silhouette-based gait recognition via deterministic learning | |
Xu et al. | Online dynamic gesture recognition for human robot interaction | |
CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
Wang et al. | Automatic gait recognition based on statistical shape analysis | |
CN105022982B (zh) | 手部运动识别方法和装置 | |
JP5010905B2 (ja) | 顔認証装置 | |
Kusakunniran et al. | Gait recognition across various walking speeds using higher order shape configuration based on a differential composition model | |
JP5675229B2 (ja) | 画像処理装置及び画像処理方法 | |
Medioni et al. | Identifying noncooperative subjects at a distance using face images and inferred three-dimensional face models | |
CN109902565B (zh) | 多特征融合的人体行为识别方法 | |
Havasi et al. | Detection of gait characteristics for scene registration in video surveillance system | |
CN109325408A (zh) | 一种手势判断方法及存储介质 | |
Khan et al. | Multiple human detection in depth images | |
Liu et al. | Survey of gait recognition | |
CN104794449A (zh) | 基于人体hog特征的步态能量图获取及身份识别方法 | |
Sun et al. | Human recognition for following robots with a Kinect sensor | |
CN100495427C (zh) | 复杂背景下的人耳检测及多信息融合的人耳识别方法 | |
Jia et al. | View-invariant gait authentication based on silhouette contours analysis and view estimation | |
CN114639117A (zh) | 一种跨境特定行人追踪的方法和装置 | |
CN110032976B (zh) | 一种基于掩膜处理新型步态能量图的获取及身份识别方法 | |
Ananthakumar | Efficient face and gesture recognition for time sensitive application | |
CN116386118B (zh) | 一种基于人像识别的粤剧匹配化妆***及其方法 | |
Chandrashekhar et al. | Action energy images for reliable human action recognition | |
Elmezain et al. | Vision-based human activity recognition using ldcrfs | |
CN112613430B (zh) | 一种基于深度迁移学习的步态识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |