CN103942577B - 视频监控中基于自建立样本库及混合特征的身份识别方法 - Google Patents
视频监控中基于自建立样本库及混合特征的身份识别方法 Download PDFInfo
- Publication number
- CN103942577B CN103942577B CN201410177441.9A CN201410177441A CN103942577B CN 103942577 B CN103942577 B CN 103942577B CN 201410177441 A CN201410177441 A CN 201410177441A CN 103942577 B CN103942577 B CN 103942577B
- Authority
- CN
- China
- Prior art keywords
- gait
- face
- sample
- sample database
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种视频监控中基于自建立样本库及混合特征的身份识别方法,其首先对采集到的视频进行预处理,进行前景检测获取运动目标信息,然后以该信息为基础进行人脸检测,接着对检测到的人脸进行识别,如果无法识别当前检测到的人脸则询问用户对检测到的人脸进行标识,并将标识好的人脸添加到人脸样本库;如果在前景信息中未能检测到人脸,则进行行人检测,然后对检测到的行人进行跟踪,并对跟踪得到的行人图像序列进行步态周期检测,接着对检测到的一个周期的步态信息提取特征并进行识别,如果未能识别则同样采用用户标识的方式对步态进行分类并添加到步态样本库用。本发明为缺乏训练样本多样性或小样本情况的身份识别提供了解决方案。
Description
技术领域
本发明涉及数字图像处理、模式识别以及机器学习技术领域,特别涉及一种基于自建立样本库及混合特征的身份识别方法。
背景技术
生物特征识别是指利用人本身所固有的生理特征或行为特征,由计算机对其进行处理进而鉴别个人身份的一种技术。生物特征分为生理特征和行为特征。生理特征主要包括人脸、指纹、手型、掌纹、耳型、DNA、虹膜、视网膜、骨架等。行为特征包括签名的动作、击键的节奏、说话的声音、行走的姿态等。其中,生理特征的人脸识别和行为特征的步态识别因具有非侵犯性而成为视频监控***中用于身份识别的主要方法。
人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术,其可以定义为:输入待查询场景中的静止图像或者视频,使用利用人脸数据库“学习”得到的识别器识别或验证场景中的一个人或者多个人。人脸识别的优势在于其自然性和不被待识别个体察觉的特点。所谓自然性,是指该识别方式同人类进行人体识别时所利用的生物特征相同。不易察觉是指待识别个体在身份识别的过程中是不容易引起其注意的,这使得该识别方法不令人反感,并且由于不易被发觉而不容易被伪装欺骗。步态是指人们行走时的方式,一个人在行走时,双脚动作和身体其他部位的姿势是独一无二的。而且这种姿势具有相对稳定性,在一定的时间范围和相似的步行环境下不容易改变,人们可以据此判断出行走人的身份。采用步态特征进行身份识别具有独特的优点:首先,利用步态进行识别时,采集步态信息的摄像机与待识别个体的距离较远,因此该方法不具有侵犯性,也不需要身体接触,即步态具有不易察觉性。其次,步态是难以隐藏的,由于步态特征受年龄、骨骼结构等多种因素影响,伪装他人步态很容易露出马脚,即步态具有不易伪装性。第三,利用视频图像进行步态识别时,对图像的分辨率要求较低,即步态识别对硬件要求不高。第四,步态识别可以在远距离范围内进行识别,做到提前预警。基于这些优势,对步态识别研究的关注度越来越高。
综上所述,人脸及步态在应用于身份识别时优势较为明显。表1在应用场合、优缺点、识别距离、是否需要被测者配合、对图像质量要求以及识别率方面进行了比较。由表1可以看出,人脸识别和步态识别具有相似的应用场合和适用条件,它们都不需要被测试者的配合,可以在不被察觉的情况下对目标进行身份识别。在识别距离上,步态识别属于远距离识别;人脸识别可用于中等距离。因此在应用场景上人脸和步态具有融合的可能。人脸识别易受光照、表情、姿态、年龄变化等因素的影响,而步态识别易受刺激物、生理改变、心理因素、衣服光照条件、遮挡物等的影响,此两种生物特征的影响因素不同,当其中一种生物特征受到影响因素干扰的时候另一种生物特征仍可有效地发挥作用。因此,步态特征和人脸特征相结合进行身份识别已成为目前行人识别的一个新的研究方向。
表1步态识别与人脸识别比较表
现有的身份识别技术无论是利用人脸特征还是步态特征,为保证识别准确率大多利用预先建立的不同拍摄角度、不同光照条件的样本构成的样本库,再通过特征提取,利用机器学习技术进行识别。
针对人脸特征和步态特征相结合的身份识别的研究,申请号为200910073004.1的发明专利(远距离视频下的正面人体自动身份识别方法)用Adaboost方法检测行人,若检测到便自动开启人脸模块和步态模块,分别对步态和人脸采用核主成分分析(KPCA)进行特征提取,最后采用人脸特征辅助步态特征在决策级的融合方法进行识别。该方法的优势在于,即使步态训练样本是单样本,而人脸图像是多个的,这样便从另外一个角度扩充了训练样本的数目,有助于身份识别。该发明专利针对步态识别过程中样本数量只有一个的情况,结合多个人脸样本,提高身份识别的准确率。
现有的身份识别技术的识别率主要受三个因素影响:用于训练的样本库、特征描述算法以及识别过程中的特征匹配算法。其中用于训练的样本库对识别率的影响主要包括样本库中所包含的样本的多样性与否,样本与包含待识别目标的输入图像序列间环境因素(如角度以及光照等)的差异,以及人的面貌以及行走时的步态随着时间的推移而发生的变化等等。此外,如前所述利用步态特征进行身份识别的识别准确率明显低于人脸特征识别,其原因在于,步态识别属于动态特征识别范畴,特征描述时需要至少一个连续的步态周期图像序列,在提取步态轮廓过程中需要弥合步态样本背景及待识别步态图像序列中背景差异对步态特征描述的不同影响。
由此可见,如何提高样本的多样性或在小样本的情况下完成身份识别以及消除样本与待识别输入数据之间由于不同因素造成的差异是当前身份识别技术待解决的问题之一。
发明内容
针对现有身份识别技术所存在的问题,本发明的目的在于提供一种基于自建立样本库及混合特征的身份识别方法,以此来有效提高身份识别的准确率。
为了达到上述目的,本发明采用如下的技术方案:
视频监控中基于自建立样本库及混合特征的身份识别方法,该方法先通过预先训练好的人脸及行人分类器对输入的图像序列进行检测,利用人机交互的方式对检测到的正面人脸样本和侧面步态样本进行分类标识作为识别阶段用于“训练”的样本,再利用这些样本提取人脸或步态特征训练识别器,将检测出的其它样本进行分类标识,如果有未能分类标识的人脸或步态则再询问用户进行标识。
在优选方案中,进行步态识别时,针对的连续图像序列帧中至少包括一个步态周期的数据。
进一步的,在检测识别过程中,采用人脸识别为主步态识别为辅的方式进行身份识别,当前图像帧中未检测到完整的正面人脸图像,则进行行人检测及跟踪并提取步态特征进行身份识别。
再进一步的,所述身份识别方法的具体包括如下步骤:
(1)对采集到的图像序列进行预处理,预处理后获取运动区域信息;
(2)在获取到的运动区域(即前景信息)中进行人脸检测,若检测到人脸信息,转入步骤(3);若未检测到人脸信息,则转入步骤(4);
(3)如果检测到人脸信息,归一化后利用LBP算子提取特征,和已有的人脸样本特征进行比较识别,并输出识别结果;如果无法识别当前检测到的人脸信息(即和已有的人脸样本不匹配或者人脸样本库为空),则询问用户进行标识,并将标识好的人脸样本添加到样本库中;
(4)如果未检测到人脸则在运动区域(即前景信息)中进行行人检测;
(5)跟踪检测到的行人,得到其行走的图像序列,并进行步态周期检测;
(6)对跟踪得到的一个步态周期的步态序列提取步态特征,并与已有的步态样本特征进行比较识别,并输出识别结果;如果无法识别当前提取到的步态特征(即和已有的步态样本不匹配或者步态样本库为空),则询问用户进行标识,并将标识好的步态信息添加到样本库中。
再进一步的,所述步骤(1)中的预处理操作包括:对比度增强、边缘增强、灰度拉伸、运动目标提取。
再进一步的,所述步骤(1)中基于ViBe的背景减除法提取当前场景中的运动目标信息,并在获取运动目标信息时对两次获得的前景掩膜进行逻辑“与”操作;同时还利用grabcut技术结合运动目标提取时获得的运动目标的最小包围矩形得到完整的运动目标信息。
再进一步的,所述步骤(2)中进行人脸检测时,利用提取到的样本库中样本的Haar-like特征通过Adaboost算法训练得到的分类器进行检测,训练过程使用“自举”方法。
再进一步的,所述步骤(3)中进行人脸识别时,利用改进的圆形区域的LBP算子,将检测到的人脸分成若干块,然后生成每一块的LBP直方图,最后将所有块的LBP直方图连接起来作为特征直方图,并以此描述为依据进行分类识别。
再进一步的,所述步骤(4)中进行行人检测时,将样本库中的样本(即步态图像)归一化为64×128大小的图片,由此提取得到样本库中样本对应的方向梯度直方图,并以此作为检测特征利用Adaboost算法训练得到的分类器进行检测。
再进一步的,所述步骤(5)中利用meanshift算法对检测到的行人进行跟踪,对跟踪得到的步态图像序列利用每一幅步态轮廓图计算其摆动距离,并利用奇数极大值点确定步态周期。
再进一步的,所述步骤(6)中进行步态特征识别时,利用步态的轮廓边界计算轮廓质心,并将轮廓图转换到以质心为圆点、水平向右为实轴、竖起向上为虚轴的复数坐标系,转换后利用PSA技术对轮廓进行运动或结构上的统计表达来描述其特性并得到PMS进行身份识别。
根据以上技术方案形成的本发明,其具有如下优点:
利用监控视频中检测到的人脸或步态建立识别阶段训练时需要的样本库,降低由于采集的样本和监控视频间由于环境因素的差别造成的识别率低的可能性。
利用交互方式对样本库进行标识,避免由于样本的非多样性造成的错误识别或无法识别的问题。
利用侧面步态特征和正面人脸特征进行身份识别,避免了由于距离远或无正面人脸信息时无法识别的情况,同时由于步态识别准确率低于正面人脸识别准确率,因此当有可靠的人脸特征时,则不考虑步态信息,保证一定的识别准确率。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1是本发明方法的流程示意图;
图2是通过ViBe的背景提取技术获得的两个前景掩码以及逻辑“与”结果效果图;
图3是结合运动目标提取的结果得到的最小包围矩形并利用该信息结合Grabcut技术分割完整的运动目标示意图;
图4(a)是Haar-like线性特征示意图;
图4(b)是Haar-like边缘特征示意图;
图4(c)是Haar-like点特征示意图;
图4(d)是Haar-like对角线特征示意图;
图5是原始LBP算子计算的示意图;
图6是步态轮廓转换复数坐标系的示意图;
图7是一个步态周期进行均值滤波后得到的摆动距离绘制的曲线图;
图8是两个不同目标四段不同步态序列通过计算获得的PMS(Procrustes MeanShape,均值形状)值示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。
针对视频监控,本发明采用基于自建立样本库及混合特征的身份识别方法,该方法通过预先训练好的人脸及行人分类器对输入的图像序列进行检测,利用人机交互的方式对检测到的正面人脸样本和侧面步态样本进行分类标识作为识别阶段用于“训练”的样本,再利用这些样本提取人脸或步态特征训练识别器,将检测出的其它样本进行分类标识,如果有未能分类标识的人脸或步态则再询问用户进行标识,并将标识好的人脸样本或者步态样本添加到对应的样本库中,用于训练相应的人脸识别器或者步态识别器。
由于步态识别属于动态识别,需要连续图像序列帧中至少一个步态周期的数据才能提取完整可靠的步态特征来完成识别,
由于人脸识别的正确识别率也要明显高于步态识别,因此本发明中采用人脸识别为主步态识别为辅的方式进行身份识别,即:如果当前图像帧中未检测到完整的正面人脸图像,则进行行人检测及跟踪并提取步态特征进行身份识别。
参见图1,其所示为基于上述原理进行身份识别的具体流程图。由图可知,整个识别过程分为以下六个方面:
1.运动目标提取
首先对采集到的图像序列进行预处理,预处理后获取运动区域信息。其中,预处理包括:(1)对比度增强;(2)边缘增强;(3)灰度拉伸;(4)运动目标提取。
在获取运动目标时,本发明利用基于ViBe的背景减除法提取当前场景中的运动目标,由于ViBe技术是基于随机理论的,也就是说每次获取的背景模型结果都略有不同,因此在本发明中获取运动目标信息时对两次获得的前景掩膜进行逻辑“与”操作,降低前景检测过程中可能产生的误检测,参见图2,其所示为通过ViBe的背景提取技术获得的两个前景掩码以及逻辑“与”结果,从图中可以看出逻辑“与”的结果在误检率方面视觉上要明显优于逻辑“与”操作前的两个前景掩码。
为了提高运动目标的完整性,本发明中还结合运动目标提取的结果得到的最小包围矩形,利用Grabcut技术分割完整的运动目标,效果图如图3所示。
2.人脸检测;
在获取到的运动区域(即前景信息)中进行人脸检测,若检测到人脸信息,转入步骤(3);若未检测到人脸信息,则转入步骤(4)。
在本发明中,人脸检测是利用提取到的样本库中样本的Haar-like特征通过Adaboost算法训练得到的分类器进行检测的,所采用的Haar-like特征如图4所示(图4a至图4b)。本发明所使用人脸检测与行人检测分类器在训练过程中的“非人脸”样本使用了“自举(bootstrap)”方法:首先建立一个仅使用“人脸”样本和少量“非人脸”样本训练的初始分类器对一组图像进行检测,把所有非人脸被错误的检测为人脸的图像加入“非人脸”样本库;然后使用得到的“人脸”和“非人脸”样本训练构造新的分类器重新进行检测。以上过程不断循环,直到收集了足够的“非人脸”样本。
Adaboost分类器是由多层弱分类器级联而成,从第一层分类器分类出来的正确结果触发第二层分类器,从第二层分类出来的正确结果触发第三层分类器,以此类推。其中任何一个结点输出的被否定的结果都会导致对这个子窗口的检测立即停止。通过设置每层的阈值,使得绝大多数人脸都能通过且非人脸不能通过,这样靠近级联分类器后端的层拒绝了大部分的非人脸。Adaboost算法针对不同的训练集训练同一个基本分类器(弱分类器),然后把这些在不同训练集上得到的分类器集合起来,构成一个更强的最终的分类器(强分类器)。只要每个弱分类器分类能力比随机猜测要好,当个数趋向于无穷个数时,强分类器的错误率将趋向于零。
Adaboost算法中不同的训练集是通过调整每个样本对应的权重实现的。初始时,每个样本对应的权重是相同的,在此样本分布下训练出一个基本分类器h1(x)。对于h1(x)错分的样本,则增加其对应样本的权重;而对于正确分类的样本,则降低其权重。这样可以使得错分的样本突出出来,并得到一个新的样本分布。同时根据错分的情况赋予h1(x)一个权重,表示该基本分类器的重要程度,错分得越少权重越大。在新的样本分布下,再次对基本分类器进行训练,得到基本分类器h2(x)及其权重。依次类推,经过T次这样的循环,就得到了T个基本分类器及它们对应的权重。最后把这T个基本分类器按对应的权重累加起来,就得到了最终所期望的强分类器,具体描述如下。
假定X表示样本空间,Y表示样本类别标识集合,假设是二值分类问题,这里限定Y={-1,+1}。令S={(xi,yi)|i=1,2,L,m}为样本训练集,其中xi∈X,yi∈Y。初始化m个样本的权值,假设样本分布Dt为均匀分布:Dt(i)=1/m,Dt(i)表示在每轮迭代中赋给样本(xi,yi)的权值。根据样本分布Dt,通过对训练集S进行抽样产生训练集St。在训练集St上训练分类器ht,用分类器ht对原训练集S中的所有样本分类。得到本轮迭代的分类器ht:X→Y,并且有误差令αt=ln[(1-εt)/εt]/2,按如下公式更新每个样本的权值:
其中,Zt是一个正规因子,用来确保∑iDt+1(i)=1。完成T次迭代后,最终预测输出为:
3.人脸识别
在检测到人脸信息后,则进行归一化后利用改进的圆形区域的LBP算子提取特征,和已有的人脸样本特征进行比较识别,并输出识别结果,如果和已有的人脸样本不匹配或者人脸样本库为空,则询问用户对检测到的人脸进行标识,并将标识好的人脸样本添加到样本库中。
本发明中利用LBP(Local Binary Pattern)技术对正面人脸进行识别,该技术最早用于描述局部纹理特征,如图5所示,原始的LBP算子定义为在3×3的窗口内,以窗口中心像素为阈值,将相邻的8个像素的灰度值与其进行比较,若其像素值大于中心像素值,则该像素点的位置被标记为1,否则为0。这样,3×3邻域内的8个点可产生一个8bit的无符号数,即得到该窗口的LBP值,这个值即用来反映该区域的纹理信息。
改进后的LBP算子LBPP,R定义为在,半径为R的圆形区域内含有P个采样点,其表达式为:
其中,gc表示区域内中心位置(xc,yc)处的灰度值,gp表示均匀分布在中心为(xc,yc)半径为R圆周上的P个点的灰度值。在进行人脸描述时,先将人脸分成若干块,然后生成每一块的LBP直方图,最后将所有块的LBP直方图连接起来作为特征直方图,并以此描述为依据进行分类识别。
4.行人检测
如果未检测到人脸则在前景信息中进行行人检测。本发明中行人检测同样采用AdaBoost算法训练分类器,检测特征则采用方向梯度直方图(Histograms of OrientedGradients,HOG)。HOG描述子是将输入的步态图像归一化为64×128大小的图片进行划分,把4×4大小的像素区域划为一个单元,在每个小单元内进行梯度统计。
梯度方向在[0°,360°]内,将直方图分为9级,计算每个单元对应的用梯度幅值加权的梯度方向直方图,将其表示为一个9维的特征向量。将前面的单元合并成大区域,即2×2个单元组成一个新的区域,每个区域为8×8个像素。为了包含尽量多的信息,在原始图像的域划分时使相邻的两个区域有部分重叠。重叠部分大小为原区域的50%,那么一幅64×128像素的图片可划分7×15个8×8像素的区域。将所有单元的特征向量联结起来,即构成图像对应的特征向量。
因此,一张64×128的图片总体的向量变成一组3780维的向量。用整个图像的直方图能力对特征向量进行归一化处理,归一化算子为:
5.行人跟踪及步态周期检测
跟踪检测到的行人,以得到其行走的图像序列,并进行步态周期检测。
本发明中利用meanshift算法进行行人跟踪,meanshift是一种核密度估计算法,它将每个点移动到密度函数的局部极大值点处,即密度梯度为0的点(模式点),多维核密度估计可以表示为:
尺度函数K(x)应该满足:
其中,||*||表示欧式距离,Rd表示d维空间,参数h是样本数量n的函数,应当满足从而保证估计的渐进无偏性。为了确保估计的均方一致性,h需要满足条件为了确保全局一致性,h需要满足条件当核函数采用以下Epanechiov核时积分均方误差最小。
其中,cd为d维单位球体体积。另一个经常被用到的核函数是高斯核:定义核函数的轮廓函数k满足k:[0,∞)→R,即K(x)=k(||x||2),因此,核密度估计函数可以重写为以下形式:
定义g(x)=-k'(x),其中,假设k(x)的一阶导数在区间x∈[0,∞)上除少数有限点处均存在。定义核函数G(x)=Cg(||x||2),其中C为归一化常数。利用核函数的可微性,密度梯度估计恒等于核密度估计的梯度,由下式:
从该公式不难看出,在x点的密度估计用核函数G表示为:
则密度梯度估计变为:
那么该公式表明,在点x处,基于核函数G(x)的Meanshift向量与基于核函数K(x)的密度梯度估计仅差一个常量的比例系数。而梯度是指密度变化最大的方向。所以meanshift向量也总是指向密度增大的最大方向。
由于一个步态周期被定义为从一条腿向前跨出最远的位置到下次同一条腿向前跨出最远的位置所需要的时间,因此本发明中步态周期检测是通过计算步态序列的摆动距离提取步态周期的。对一个步态序列中的每一幅步态轮廓图计算其摆动距离:
其中(xc,yc)是侧面轮廓的质心,yb是人体最底端的纵坐标,yt是人体最顶端的纵坐标,xl是人体最左侧的横坐标,xr是人体最右侧的横坐标,I(x,y)是当前点的亮度值。参见图7,其所示是进行均值滤波后的摆动距离,从图中可以看出摆动距离具有明显的周期性,每个极大值出现的时刻都是两条腿分开最大的时刻,本发明中使用极大值计算周期,即奇数极大值点出现的位置。
6.步态识别
对跟踪得到的一个步态周期的步态序列提取步态特征,并与已有的步态样本特征进行比较识别,并输出识别结果,如果和已有的步态样本不匹配或者步态样本库为空,则询问用户对得到的步态特征进行标识,并将标识好的步态信息添加到样本库中。其具体的识别过程如下:
对于每帧步态图像而言,一旦行人的运动侧影被提取以后,通过基于连通性的边界跟踪算法可以获得人体侧影的轮廓边界,设(xi,yi)为边界上任意一点,则人体轮廓的质心(xc,yc)可由下式求得:
其中,K表示边界上的采样点数。K越大,则轮廓表达越精确,相应的计算量也会增大。为了更简洁的表示边界上的采样点,本发明中将直角坐标系映射到复数坐标系,即以质心(xc,yc)作为二维形状空间的原点,以水平向右为实轴、竖直向上为虚轴建立新的复数坐标系。在此坐标系下,将轮廓形状沿逆时针方向解卷绕而展开成为一个像素点集,边界上的点都可以表示成形如“xi+j×yi”的形式,整个边界在二维复数空间中也可以表示成一个标序的复数向量,即:
u=[u1 u2 L zi L uk]T,zi=(xi-xc)+j×(yi-yc)
其中,j为虚数单位。转换坐标系后的人体轮廓图如图6所示。
给定一个具有m幅图像的步态序列,可以得到m个类似的复数向量。为了得到步态序列的紧致表达,本发明采用PSA(Procrustes Shape Analysis,统计形状分析)技术对人体轮廓的不断变化进行运动或结构上的统计表达来描述其特性。PSA方法按如下的方法来计算该序列的均值正式形状PMS(Procrustes Mean Shape,均值形状)。首先计算Su矩阵:
其中,上标“*”表示复数共轭转置。对Su矩阵进行奇异值分解,得到的最大特征值所对应的特征向量即是PMS,参见图8,其即为两个不同个体四个步态序列的PMS示意图。获得PMS后对其进行傅里叶频谱分析,将PMS的幅度谱作为最终的特征,并利用欧式距离表征两个不同特征的相似性,进行识别。
本发明通过以上六步解决视频监控中的身份识别。利用基于随机理论的ViBe技术获得前景信息,并对两次的前景提取结果进行逻辑“与”操作,获得运动个体最小包围矩形后结合grabcut技术得到完整的前景信息;利用Haar-like特征结合Adaboost算法训练得到的人脸分类器对前景信息进行人脸检测;利用改进的LBP算子对检测到的人脸进行描述及识别,如果用于训练识别器的样本库为空或无法识别当前人脸,则采用人机交互的方式对检测到的人脸进行标识,并将标识好的人脸信息添加到样本库中;如果在前景信息中未检测到人脸,利用HOG描述子及Adaboost算法训练获得的行人分类器进行行人检测;利用Meanshift技术对检测到的行人进行跟踪,并进行步态周期检测;利用PMS对检测到的步态信息进行描述及识别,如果步态样本库为空或当前步态信息无法识别,则采用人机交互的方式对检测到的步态进行标识。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.视频监控中基于自建立样本库及混合特征的身份识别方法,其特征在于,所述方法利用监控视频中检测到的人脸或步态建立识别阶段训练时需要的样本库,其先通过预先训练好的人脸及行人分类器对输入的图像序列进行检测,利用人机交互的方式对检测到的正面人脸样本和侧面步态样本进行分类标识作为识别阶段用于“训练”的样本,再利用这些样本提取人脸或步态特征训练识别器,将检测出的其它样本进行分类标识,如果有可靠的人脸特征时,则不考虑步态信息;如果有未能分类标识的人脸或步态则再询问用户进行标识,并将标识好的人脸样本或者步态样本添加到对应的样本库中,用于训练相应的人脸识别器或者步态识别器。
2.根据权利要求1所述的视频监控中基于自建立样本库及混合特征的身份识别方法,其特征在于,在检测识别过程中,采用人脸识别为主步态识别为辅的方式进行身份识别,当前图像帧中未检测到完整的正面人脸图像,则进行行人检测及跟踪并提取步态特征进行身份识别;进行步态识别时,针对的连续图像序列帧中至少包括一个步态周期的数据。
3.根据权利要求2所述的视频监控中基于自建立样本库及混合特征的身份识别方法,其特征在于,所述身份识别方法的具体包括如下步骤:
(1)对采集到的图像序列进行预处理,预处理后获取运动区域信息;
(2)在获取到的运动区域中进行人脸检测,若检测到人脸信息,转入步骤(3);若未检测到人脸信息,则转入步骤(4);
(3)如果检测到人脸信息,归一化后利用LBP算子提取特征,和已有的人脸样本特征进行比较识别,并输出识别结果;如果无法识别当前检测到的人脸信息,则询问用户进行标识,并将标识好的人脸样本添加到样本库中;
(4)如果未检测到人脸则在运动区域中进行行人检测;
(5)跟踪检测到的行人,得到其行走的图像序列,并进行步态周期检测;
(6)对跟踪得到的一个步态周期的步态序列提取步态特征,并与已有的步态样本特征进行比较识别,并输出识别结果;如果无法识别当前提取到的步态特征,则询问用户进行标识,并将标识好的步态信息添加到样本库中。
4.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法,其特征在于,所述步骤(1)中的预处理操作包括:对比度增强、边缘增强、灰度拉伸、运动目标提取。
5.根据权利要求3或4所述的视频监控中基于自建立样本库及混合特征的身份识别方法,所述步骤(1)中基于ViBe的背景减除法提取当前场景中的运动目标信息,并在获取运动目标信息时对两次获得的前景掩膜进行逻辑“与”操作;同时还利用grabcut技术结合运动目标提取时获得的运动目标的最小包围矩形得到完整的运动目标信息。
6.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法,所述步骤(2)中进行人脸检测时,利用提取到的样本库中样本的Haar-like特征通过Adaboost算法训练得到的分类器进行检测,训练过程使用“自举”方法。
7.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法,所述步骤(3)中进行人脸识别时,利用改进的圆形区域的LBP算子,将检测到的人脸分成若干块,然后生成每一块的LBP直方图,最后将所有块的LBP直方图连接起来作为特征直方图,并以此描述为依据进行分类识别。
8.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法,所述步骤(4)中进行行人检测时,将样本库中的样本归一化为64×128大小的图片,由此提取得到样本库中样本对应的方向梯度直方图,并以此作为检测特征利用Adaboost算法训练得到的分类器进行检测。
9.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法,所述步骤(5)中利用meanshift算法对检测到的行人进行跟踪,对跟踪得到的步态图像序列利用每一幅步态轮廓图计算其摆动距离,并利用奇数极大值点确定步态周期。
10.根据权利要求3所述的视频监控中基于自建立样本库及混合特征的身份识别方法,所述步骤(6)中进行步态特征识别时,利用步态的轮廓边界计算轮廓质心,并将轮廓图转换到以质心为圆点、水平向右为实轴、竖起向上为虚轴的复数坐标系,转换后利用PSA技术对轮廓进行运动或结构上的统计表达来描述其特性并得到PMS进行身份识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410177441.9A CN103942577B (zh) | 2014-04-29 | 2014-04-29 | 视频监控中基于自建立样本库及混合特征的身份识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410177441.9A CN103942577B (zh) | 2014-04-29 | 2014-04-29 | 视频监控中基于自建立样本库及混合特征的身份识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103942577A CN103942577A (zh) | 2014-07-23 |
CN103942577B true CN103942577B (zh) | 2018-08-28 |
Family
ID=51190240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410177441.9A Active CN103942577B (zh) | 2014-04-29 | 2014-04-29 | 视频监控中基于自建立样本库及混合特征的身份识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103942577B (zh) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331705B (zh) * | 2014-10-28 | 2017-05-10 | 中国人民公安大学 | 融合时空信息的步态周期自动检测方法 |
US9858679B2 (en) | 2014-11-04 | 2018-01-02 | Hewlett-Packard Development Company, L.P. | Dynamic face identification |
CN104463117B (zh) * | 2014-12-02 | 2018-07-03 | 苏州科达科技股份有限公司 | 一种基于视频方式的人脸识别样本采集方法及*** |
CN104680154B (zh) * | 2015-03-13 | 2016-04-06 | 合肥工业大学 | 一种基于人脸特征和掌纹特征融合的身份识别方法 |
CN106295470A (zh) * | 2015-05-21 | 2017-01-04 | 北京文安智能技术股份有限公司 | 一种银行自助服务区预警监测方法、装置及*** |
CN104994347A (zh) * | 2015-07-01 | 2015-10-21 | 安徽创世科技有限公司 | 一种智能安防视频监控***及其检测处理方法 |
CN106611152A (zh) * | 2015-10-23 | 2017-05-03 | 腾讯科技(深圳)有限公司 | 用户身份确定方法及装置 |
CN105787440A (zh) * | 2015-11-10 | 2016-07-20 | 深圳市商汤科技有限公司 | 一种基于人脸特征和步态特征的安保管理方法及*** |
CN105654055A (zh) * | 2015-12-29 | 2016-06-08 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种利用视频数据进行人脸识别训练的方法 |
CN106203379A (zh) * | 2016-07-20 | 2016-12-07 | 安徽建筑大学 | 一种用于安防的人体识别*** |
KR102530045B1 (ko) * | 2016-12-23 | 2023-05-09 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
CN107092865A (zh) * | 2017-03-29 | 2017-08-25 | 西北工业大学 | 一种新型基于Kinect的步态识别*** |
CN109034173A (zh) * | 2017-06-08 | 2018-12-18 | 北京君正集成电路股份有限公司 | 目标对象选取方法和装置 |
CN108304757A (zh) * | 2017-06-16 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 身份识别方法及装置 |
US10591586B2 (en) | 2017-07-07 | 2020-03-17 | Infineon Technologies Ag | System and method for identifying a target using radar sensors |
CN108875488B (zh) * | 2017-09-29 | 2021-08-06 | 北京旷视科技有限公司 | 对象跟踪方法、对象跟踪装置以及计算机可读存储介质 |
CN108108693B (zh) * | 2017-12-20 | 2019-02-19 | 深圳市安博臣实业有限公司 | 基于3d高清vr全景的智能识别监控装置及识别方法 |
CN110472622B (zh) * | 2018-04-12 | 2022-04-22 | 腾讯科技(深圳)有限公司 | 视频处理方法及相关装置,图像处理方法及相关装置 |
CN109145742B (zh) * | 2018-07-19 | 2021-05-11 | 银河水滴科技(宁波)有限公司 | 一种行人识别方法及*** |
CN109634981A (zh) * | 2018-12-11 | 2019-04-16 | 银河水滴科技(北京)有限公司 | 一种数据库扩充方法及装置 |
CN109815858B (zh) * | 2019-01-10 | 2021-01-01 | 中国科学院软件研究所 | 一种日常环境中的目标用户步态识别***及方法 |
CN110147712A (zh) * | 2019-03-27 | 2019-08-20 | 苏州书客贝塔软件科技有限公司 | 一种行人分析智能云平台 |
CN110032976B (zh) * | 2019-04-16 | 2021-02-05 | 中国人民解放军国防科技大学 | 一种基于掩膜处理新型步态能量图的获取及身份识别方法 |
CN111860063B (zh) * | 2019-04-30 | 2023-08-11 | 杭州海康威视数字技术股份有限公司 | 步态数据构建***、方法及装置 |
CN110175553B (zh) * | 2019-05-23 | 2021-07-30 | 银河水滴科技(宁波)有限公司 | 基于步态识别与人脸识别建立特征库的方法及装置 |
CN110267007A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、服务器以及存储介质 |
CN110516768A (zh) * | 2019-08-29 | 2019-11-29 | 中新智擎科技有限公司 | 一种垃圾分类管理的方法、装置及人工智能机器人 |
CN110738256A (zh) * | 2019-10-15 | 2020-01-31 | 四川长虹电器股份有限公司 | 基于统计学习模型的图像隐含信息挖掘方法及装置 |
CN111310731B (zh) * | 2019-11-15 | 2024-04-09 | 腾讯科技(深圳)有限公司 | 基于人工智能的视频推荐方法、装置、设备及存储介质 |
CN111104857A (zh) * | 2019-11-19 | 2020-05-05 | 中国人民解放军国防科技大学 | 一种基于步态能量图的身份识别方法及*** |
CN113052197B (zh) * | 2019-12-28 | 2024-03-12 | 中移(成都)信息通信科技有限公司 | 身份识别的方法、装置、设备和介质 |
CN111222436A (zh) * | 2019-12-30 | 2020-06-02 | 广州市昭云互联网科技有限公司 | 一种图像混合识别方法及*** |
CN112036262A (zh) * | 2020-08-11 | 2020-12-04 | 海尔优家智能科技(北京)有限公司 | 一种人脸识别处理方法及装置 |
CN111862416A (zh) * | 2020-08-12 | 2020-10-30 | 上海茂声智能科技有限公司 | 行人通行的控制***和方法 |
CN112966638A (zh) * | 2021-03-22 | 2021-06-15 | 国网浙江省电力有限公司电力科学研究院 | 基于多种特征的变电站作业人员鉴别及定位方法 |
CN113591607B (zh) * | 2021-07-12 | 2023-07-04 | 辽宁科技大学 | 一种车站智能疫情防控***及方法 |
CN113723188B (zh) * | 2021-07-28 | 2024-06-21 | 国网浙江省电力有限公司电力科学研究院 | 一种结合人脸与步态特征的着装一致人员身份核验方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101661554A (zh) * | 2009-09-29 | 2010-03-03 | 哈尔滨工程大学 | 远距离视频下的正面人体自动身份识别方法 |
CN101853400A (zh) * | 2010-05-20 | 2010-10-06 | 武汉大学 | 基于主动学习和半监督学习的多类图像分类方法 |
CN101872413A (zh) * | 2009-04-21 | 2010-10-27 | 宋光宇 | 一种指纹、面部融合式身份认证*** |
-
2014
- 2014-04-29 CN CN201410177441.9A patent/CN103942577B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872413A (zh) * | 2009-04-21 | 2010-10-27 | 宋光宇 | 一种指纹、面部融合式身份认证*** |
CN101661554A (zh) * | 2009-09-29 | 2010-03-03 | 哈尔滨工程大学 | 远距离视频下的正面人体自动身份识别方法 |
CN101853400A (zh) * | 2010-05-20 | 2010-10-06 | 武汉大学 | 基于主动学习和半监督学习的多类图像分类方法 |
Non-Patent Citations (1)
Title |
---|
Fusion of Gait and Face for Human Identification;Amit Kale等;《IEEE》;20040321;第V901-V904页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103942577A (zh) | 2014-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
CN105518709B (zh) | 用于识别人脸的方法、***和计算机程序产品 | |
Zeng et al. | Silhouette-based gait recognition via deterministic learning | |
CN106023220B (zh) | 一种基于深度学习的车辆外观部件图像分割方法 | |
Wu et al. | Action recognition using context and appearance distribution features | |
CN104166841B (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
CN104008370B (zh) | 一种视频人脸识别方法 | |
CN107944431B (zh) | 一种基于运动变化的智能识别方法 | |
CN105825183B (zh) | 基于部分遮挡图像的人脸表情识别方法 | |
CN109101938B (zh) | 一种基于卷积神经网络的多标签年龄估计方法 | |
Yu et al. | Concurrent object recognition and segmentation by graph partitioning | |
CN106815566A (zh) | 一种基于多任务卷积神经网络的人脸检索方法 | |
CN108932479A (zh) | 一种人体异常行为检测方法 | |
CN105303150B (zh) | 实现图像处理的方法和*** | |
CN105320950A (zh) | 一种视频人脸活体检测方法 | |
CN104794449B (zh) | 基于人体hog特征的步态能量图获取及身份识别方法 | |
CN105138995B (zh) | 基于骨架信息的时不变及视不变的人体行为识别方法 | |
Stella et al. | Concurrent object recognition and segmentation by graph partitioning | |
CN109784206A (zh) | 一种基于超限学习机的步态识别方法 | |
Do et al. | Real-time and robust multiple-view gender classification using gait features in video surveillance | |
CN106599785A (zh) | 人体3d特征身份信息库的建立方法及设备 | |
CN106529377A (zh) | 一种基于图像的年龄估计方法、装置及*** | |
CN106874825A (zh) | 人脸检测的训练方法、检测方法和装置 | |
CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |