CN103810473B - 一种基于隐马尔科夫模型的人体对象的目标识别方法 - Google Patents
一种基于隐马尔科夫模型的人体对象的目标识别方法 Download PDFInfo
- Publication number
- CN103810473B CN103810473B CN201410031764.7A CN201410031764A CN103810473B CN 103810473 B CN103810473 B CN 103810473B CN 201410031764 A CN201410031764 A CN 201410031764A CN 103810473 B CN103810473 B CN 103810473B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- human body
- current
- body object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000629321 Perina Species 0.000 description 1
- AFWBWPCXSWUCLB-WDSKDSINSA-N Pro-Ser Chemical compound OC[C@@H](C([O-])=O)NC(=O)[C@@H]1CCC[NH2+]1 AFWBWPCXSWUCLB-WDSKDSINSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 108010031719 prolyl-serine Proteins 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于隐马尔科夫模型的人体对象的目标识别方法,其将人体对象前景图像和目标人体对象前景图像分成若干部分,然后根据提取到的人体对象前景图像和目标人体对象前景图像相对应的颜色特征的颜色均值特征序列和颜色标准差特征序列以及由每个目标人体对象的特征序列得到的训练后的隐马尔科夫模型,来计算人体对象前景图像相对于每个目标人体对象的训练后隐马尔可夫模型的后验概率,从而实现对人体对象图像的识别;人体对象前景图像的特征和目标人体对象前景图像的特征的维数较低,且得到的隐马尔科夫模型利用了同一个目标人体对象的多幅图像的特征,对人体角度的变化以及光线的变化有一定的鲁棒性,且识别效果好,计算量小、复杂度低。
Description
技术领域
本发明涉及一种人体对象的目标识别方法,尤其是涉及一种基于隐马尔科夫模型的人体对象的目标识别方法。
背景技术
随着智能视频监控***的不断发展,安全领域越来越受到重视,更多的摄像机被部署在户外。在多摄像机环境中,查询感兴趣的目标,确定其是否在同一个摄像机不同时间内出现或者不同摄像机中出现,即摄像机中人体对象的关联,这类问题称为人体对象的目标识别(Person Reidentification)。解决人体对象的目标识别这一问题可以使用生物信息,比如人脸识别,姿态识别和语音识别等,但是这些生物信息只能应用在某些限定的环境中,在视频监控***中,上述的生物信息无法使用。因此,大多数学者选择采用人体的表观信息来解决人体对象的目标识别这一问题,但由于缺少时间和空间上的约束,人体的表观信息会随着光照条件、摄像头的视角、传感器的分辨率以及人体对象自身的非刚性等的变化而发生大的变化,使得人体对象的目标识别成为一个非常具有挑战性的问题。目前,基于人体的表观信息来解决人体对象的目标识别这一问题的方法大体可以分为两类:基于图像的人体对象的目标识别方法和基于图像序列的人体对象的目标识别方法。
对于基于图像的人体对象的目标识别方法,ZHENG等人提出的概率相对距离比较的人体对象的目标识别方法(ZHENG W S,GONG S G,XIANG T.Person re-identificationby probabilistic relative distance comparison,IEEE Conference.概率相对距离比较的人体对象的目标识别,IEEE国际会议)、GRAY等人提出的结合局部特征集合和视角不变的行人识别方法(GRAY D,TAO H.Viewpoint invariant pedestrian recognition with an ensembleof localized features,LNCS.结合局部特征集合和视角不变的行人识别,IEEE国际会议)、PROSSER等人提出的支持向量排列的人体对象的目标识别方法(PROSSER B,ZHENGW S,Gong S G,XIANG T.Person re-identification by support vector ranking,BMVA Press.支持向量排列的人体对象的目标识别,伦敦计算机视觉会议)和FARENZENA等人提出的基于对称性的局部特征融合的人体对象的目标识别方法(FARENZENA M,BAZZANI L,PERINA A,MURINO V,CRISTANI M.Person re-identification bysymmetry-driven accumulation of local features,IEEE Conference.基于对称性的局部特征融合的人体对象的目标识别,IEEE国际会议)在提取RGB、YCbCr、HSV颜色空间中的直方图、Gabor纹理特征和Schimd高维的纹理特征后,分别采用不同的方法选择具有辨别力的特征从而进行人体对象的目标识别,但是上述提出的基于图像的人体对象的目标识别方法,虽然能对图像进行很好的人体对象的目标识别,但是由于这些方法在寻找具有辨别力和鲁棒性的特征表示时,没有融合多幅图像的优势,而是直接通过高维的特征来区分图像间的细微差别,故采用的学习模型比较复杂。
基于图像序列的人体对象的目标识别方法对角度变化、遮挡和光线变化等处理有一定的鲁棒性,Zhao等人提出的无监督显著性的人体对象的目标识别方法(ZHAO R,OUYANG W,Wang X G.Unsupervised salience learning for person re-identification,IEEEConference.无监督显著性的人体对象的目标识别,IEEE国际会议)提出了无监督显著性识别方法,首先提取区块的密集颜色直方图特征和密集SIFT(Scale-invariant featuretransform)特征,通过邻近约束建立图像对的密集区块的匹配,然后使用One-Class SVM(一类支持向量机)和KNN(K最邻近结点算法)学习显著性的特征,最后与FARENZENA等人提出的基于对称性的局部特征融合的人体对象的目标识别方法(FARENZENA M,BAZZANI L,PERINA A,MURINO V,CRISTANI M.Personre-identification by symmetry-driven accumulation of local features,IEEE Conference.基于对称性的局部特征融合的人体对象的目标识别,IEEE国际会议)相结合,该方法对于多幅图像仅仅在是得分上简单的相加,对视频中人体角度的变化及光线的变化的鲁棒性较差,对图像的人体对象的目标识别的效果不是非常好,而且算法的计算量大、复杂度较高;Junling等人提出的结合隐式形状模型视角不变的人体对象的目标识别方法(JUNGLING K,ARENS M.View-invariant person re-identification with an Implicit ShapeModel,IEEE Conference.结合隐式形状模型视角不变的人体对象的目标识别,IEEE国际会议)考虑到视角引起表观的变化,对视角进行建模从而实现对人体对象的目标识别,对视频中人体角度的变化及光线的变化有一定的鲁棒性并获得不错的目标识别效果,但是该方法需要采集每个人体对象不同角度的样本,算法的计算量大、复杂度较高。
发明内容
本发明所要解决的技术问题是提供一种基于隐马尔科夫模型的人体对象的目标识别方法,其对视频中人体角度的变化及光线的变化有一定的鲁棒性,且识别效果好、计算量小、复杂度低。
本发明解决上述技术问题所采用的技术方案为:一种基于隐马尔科夫模型的人体对象的目标识别方法,其特征在于包括以下步骤:
①假定有一摄像头,从该摄像头拍摄到的图像中随机选取一幅图像作为待识别图像,然后采用背景减除算法将待识别图像中的人体对象分割出来,得到一幅待识别人体对象前景图像;
②将待识别人体对象前景图像分成N个部分,得到N个第一图像区块,然后采用多阈值分割算法提取待识别人体对象前景图像中的每个第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,将待识别人体对象前景图像中所有的第一图像区块的颜色特征的颜色均值描述子组合成第一颜色均值特征序列,记为QSRC,将待识别人体对象前景图像中所有的第一图像区块的颜色特征的颜色标准差描述子组合成第一颜色标准差特征序列,记为QSSV,其中,N≥2,第一图像区块的宽度与待识别人体对象前景图像的宽度一致;
③假定有一组摄像头,将该组摄像头拍摄到的所有具有人体对象的图像组成一个目标图像库,然后采用背景减除算法将目标图像库内每一幅具有人体对象的图像中的人体对象分割出来,得到多幅目标图像库内的目标人体对象前景图像,其中,目标图像库内的图像包含了多个目标人体对象,且每个目标人体对象有多幅目标人体对象前景图像;
④将目标图像库内每幅目标人体对象前景图像分成N个部分,得到每幅目标人体对象前景图像的N个第二图像区块,然后采用多阈值分割算法提取每幅目标人体对象前景图像中的每个第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,接着将每幅目标人体对象前景图像中所有的第二图像区块的颜色特征的颜色均值描述子组合成相对应的目标人体对象前景图像的第二颜色均值特征序列,将每幅目标人体对象前景图像中所有的第二图像区块的颜色特征的颜色标准差描述子组合成相对应的目标人体对象前景图像的第二颜色标准差特征序列,再将每个目标人体对象的多幅目标人体对象前景图像的第二颜色均值特征序列组合成相对应的目标人体对象的第三颜色均值特征序列,将每个目标人体对象的多幅目标人体对象前景图像的第二颜色标准差特征序列组合成相对应的目标人体对象的第三颜色标准差特征序列,其中,第二图像区块的宽度与目标人体对象前景图像的宽度一致;
⑤用每个目标人体对象的第三颜色均值特征序列分别对隐马尔科夫模型进行训练,得到每个目标人体对象对应的第一训练后隐马尔科夫模型,并用每个目标人体对象的第三颜色标准差特征序列再次分别对隐马尔科夫模型进行训练,得到每个目标人体对象对应的第二训练后隐马尔科夫模型,将第j个目标人体对象对应的第一训练后隐马尔科夫模型及第二训练后隐马尔科夫模型对应记为和然后采用Baum-Welch算法训练每个目标人体对象对应的第一训练后隐马尔科夫模型的模型参数,使每个目标人体对象的第三颜色均值特征序列的概率最大,将使得第j个目标人体对象的第三颜色均值特征序列的概率最大的的模型参数记为再采用Baum-Welch算法训练每个目标人体对象对应的第二训练后隐马尔科夫模型的模型参数,使每个目标人体对象的第三颜色标准差特征序列的概率最大,将使得第j个目标人体对象的第三颜色标准差特征序列的概率最大的的模型参数记为其中,1≤j≤M,M表示目标图像库内包含的目标人体对象的数量;
⑥根据第一颜色均值特征序列、第一颜色标准差特征序列、所有第一训练后隐马尔科夫模型的模型参数和所有第二训练后隐马尔科夫模型的模型参数,采用前向算法计算待识别人体对象前景图像相对于每个目标人体对象的第一训练后隐马尔科夫模型和第二训练后隐马尔科夫模型的后验概率,将待识别人体对象前景图像相对于第j个目标人体对象的第一训练后隐马尔科夫模型和第二训练后隐马尔科夫模型的后验概率记为pj, 然后将待识别人体对象前景图像相对于每个目标人体对象的第一训练后隐马尔科夫模型和第二训练后隐马尔科夫模型的后验概率按大小排列,将值最大的后验概率对应的目标人体对象视为待识别人体对象前景图像的正确匹配,即值最大的后验概率对应的目标图像库内的图像为待识别图像的匹配图像,其中,表示根据第j个目标人体对象的第一训练后隐马尔科夫模型,利用前向算法计算得到的概率,表示根据第j个目标人体对象的第二训练后隐马尔科夫模型,利用前向算法计算得到的概率,log表示对数函数。
所述的步骤②和所述的步骤④中取N=5。
所述的步骤②的具体过程为:
②-1、将待识别人体对象前景图像分成N个部分,得到N个第一图像区块,其中,N≥2,第一图像区块的宽度与待识别人体对象前景图像的宽度一致;
②-2、将待识别人体对象前景图像中的当前待处理的第一图像区块定义为当前第一图像区块;
②-3、采用多阈值分割算法,提取当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,具体过程为:
②-3a、提取当前第一图像区块的R、G、B三个颜色通道的颜色直方图,将当前第一图像区块的第p个颜色通道的颜色直方图记为{Ip(k)|0≤k≤255},其中,p=1,2,3,p=1时表示R颜色通道,p=2时表示G颜色通道,p=3时表示B颜色通道,Ip(k)表示当前第一图像区块的第p个颜色通道中像素值为k的像素点的集合;
②-3b、根据当前第一图像区块的R、G、B三个颜色通道的颜色直方图,获取当前第一图像区块的R、G、B三个颜色通道的子区域{Ip(k)|a≤k≤b}的颜色特征的颜色均值和颜色标准差,将当前第一图像区块的第p个颜色通道的颜色特征的颜色均值和颜色标准差对应记为μp和σp,μp=mean({Ip(k)|a≤k≤b}),σp=deviation({Ip(k)|a≤k≤b}),其中,mean()表示求平均函数,deviation()表示求标准差函数,a的初始值为0,b的初始值为255;
②-3c、计算当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子中的第2i个和第2i+1个元素,将当前第一图像区块的第p个颜色通道的颜色特征的颜色均值描述子中的第2i个和第2i+1个元素对应记为QSRC,p(2i)和QSRC,p(2i+1),QSRC,p(2i)=mean({Ip(k′)|a≤k′≤T1}),QSRC,p(2i+1)=mean({Ip(k″)|T2≤k″≤b}),其中,i的初始值为0,Ip(k′)表示当前第一图像区块的第p个颜色通道中像素值为k′的像素点的集合,Ip(k″)表示当前第一图像区块的第p个颜色通道中像素值为k″的像素点的集合,T1=μp-β1×σp,T2=μp+β2×σp,β1和β2均为大于0小于1的常数;
计算当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子中的第2i个和第2i+1个元素,将当前第一图像区块的第p个颜色通道的颜色特征的颜色标准差描述子中的第2i个和第2i+1个元素对应记为QSSV,p(2i)和QSSV,p(2i+1),
QSSV,p(2i)=deviation({Ip(k′)|a≤k′≤T1}),
QSSV,p(2i+1)=deviation({Ip(k″)|T2≤k″≤b});
②-3d、令a=T1+1,令b=T2-1,令i=i+1,然后返回步骤②-3b继续执行,直到i=T时执行步骤②-4,其中,i=i+1中的“=”为赋值符号,T为一个大于1的整数;
②-4、将当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子组合成当前第一图像区块的颜色特征的颜色均值描述子,将当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子组合成当前第一图像区块的颜色特征的颜色标准差描述子;
②-5、将待识别人体对象前景图像中下一个待处理的第一图像区块作为当前第一图像区块,然后返回步骤②-3继续执行,直到处理完待识别人体对象前景图像内所有的第一图像区块;
②-6、将待识别人体对象前景图像中所有的第一图像区块的颜色特征的颜色均值描述子组合成第一颜色均值特征序列,记为QSRC,将待识别人体对象前景图像中的所有第一图像的区块颜色特征的颜色标准差描述子组合成第一颜色标准差特征序列,记为QSSV。
所述的步骤④的具体过程为:
④-1、将目标图像库内当前待处理的目标人体对象前景图像定义为当前图像;
④-2、将当前图像分成N个部分,得到N个第二图像区块,其中,第二图像区块的宽度与当前图像的宽度一致;
④-3、将当前图像中当前待处理的第二图像区块定义为当前第二图像区块;
④-4、采用多阈值分割算法,提取当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,具体过程为:
④-4a、提取当前第二图像区块的R、G、B三个颜色通道的颜色直方图,将当前第二图像区块的第p′个颜色通道的颜色直方图记为{I′p′(k1)|0≤k1≤255},其中,p′=1,2,3,p′=1时表示R颜色通道,p′=2时表示G颜色通道,p′=3时表示B颜色通道,I′p′(k1)表示当前第二图像区块的第p′个颜色通道中像素值为k1的像素点的集合;
④-4b、根据当前第二图像区块的R、G、B三个颜色通道的颜色直方图,获取当前第二图像区块的R、G、B三个颜色通道的子区域{I′p′(k1)|a1≤k1≤b1}的颜色特征的颜色均值和颜色标准差,将当前第二图像区块的第p′个颜色通道的颜色特征的颜色均值和颜色标准差对应记为μ′p′和σ′p′,μ′p′=mean({I′p′(k1)|a1≤k1≤b1}),σ′p′=deviation({I′p′(k1)|a1≤k1≤b1}),其中,mean()表示求平均函数,deviation()表示求标准差函数,a1的初始值为0,b1的初始值为255;
④-4c、计算当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子中的第2i1个和第2i1+1个元素,将当前第二图像区块的第p′个颜色通道的颜色特征的颜色均值描述子中的第2i1个和第2i1+1个元素对应记为PSRC,p′(2i1)和PSRC,p′(2i1+1),PSRC,p′(2i1)=mean({I′p′(k2)|a1≤k2≤T3}),PSRC,p′(2i1+1)=mean({I′p′(k3)|T4≤k3≤b1}),其中,i1的初始值为0,I′p′(k2)表示当前第二图像区块的第p′个颜色通道中像素值为k2的像素点的集合,I′p′(k3)表示当前第二图像区块的第p′个颜色通道中像素值为k3的像素点的集合,T3=μ′p′-β3×σ′p′,T4=μ′p′+β4×σ′p′,β3和β4均为大于0小于1的常数;
计算当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子中的第2i1个和第2i1+1个元素,将当前第二图像区块的第p′个颜色通道的颜色特征的颜色标准差描述子中的第2i个和第2i+1个元素对应记为PSSV,p′(2i1)和PSSV,p′(2i1+1),
PSSV,p′(2i1)=deviation({I′p′(k2)|a1≤k2≤T3}),
PSSV,p′(2i1+1)=deviation({I′p′(k3)|T4≤k3≤b1});
④-4d、令a1=T3+1,令b1=T4-1,令i1=i1+1,然后返回步骤④-4b继续执行,直到i1=T时执行步骤④-5,其中,i1=i1+1中的“=”为赋值符号,T为一个大于1的整数;
④-5、将当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子组合成当前第二图像区块的颜色特征的颜色均值描述子,将当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子组合成当前第二图像区块的颜色特征的颜色标准差描述子;
④-6、将当前图像中下一个待处理的第二图像区块作为当前第二图像区块,然后返回步骤④-4继续执行,直到处理完当前图像中所有的第二图像区块;
④-7、将目标图像库内下一个待处理的目标人体对象前景图像作为当前图像,然后返回步骤④-2继续执行,直到处理完目标图像库内所有的目标人体对象前景图像;
④-8、将每个目标人体对象的多幅目标人体对象前景图像的第二颜色均值特征序列组合成对应的目标人体对象的第三颜色均值特征序列,将每个目标人体对象的多幅目标人体对象前景图像的第二颜色标准差特征序列组合成对应的目标人体对象的第三颜色标准差特征序列。
所述的步骤②-3d和所述的步骤④-4d中取T=4。
所述的步骤②-3c和所述的步骤④-4c中,取β1=β2=β3=β4=0.8。
所述的步骤⑤中的隐马尔科夫模型采用具有从左到右的拓扑结构的连续型隐马尔科夫模型,该连续型隐马尔科夫模型的初始状态概率为该连续型隐马尔科夫模型的隐含状态的数目为N,N=5。
与现有技术相比,本发明的优点在于:在提取人体对象前景图像和目标人体对象前景图像的颜色均值特征序列和颜色标准差特征序列时,首先均将人体对象前景图像和目标人体对象前景图像分成若干个部分,然后采用多阈值分割算法提取人体对象前景图像和目标人体对象前景图像的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,用颜色均值描述子组合成的颜色均值特征序列和颜色标准差描述子组合成的颜色标准差特征序列来训练隐马尔科夫模型,得到参数化的隐马尔科夫模型,再根据人体对象前景图像的特征序列和训练后得到的参数化的隐马尔科夫模型计算待识别人体对象前景图像相对于每个目标人体对象的后验概率,由此实现对人体对象前景图像的目标识别;多阈值分割算法提取到的人体对象前景图像的特征序列和目标人体对象前景图像的特征序列的维数较低,且得到的参数化的隐马尔科夫模型结合了多幅目标人体对象图像的特征,充分利用了同一个目标人体对象多幅图像的优势,对视频中人体角度的变化以及光线的变化有一定的鲁棒性,且识别效果好、计算量小、复杂度低。
附图说明
图1为本发明的流程图;
图2a为本发明中选用的测试图像一;
图2b为图2a的阈值图像一;
图2c为图2a的阈值图像二;
图2d为图2a的阈值图像三;
图2e为随机采样3DEPS数据库中的图像的阈值个数的累积分布图;
图3a为本发明选取的一副图像的像素灰度示意图;
图3b为本发明选取的另一副图像的像素灰度示意图;
图4a-1为本发明选取的人体对象一;
图4a-2为图4a-1的阈值图像;
图4a-3为图4a-2的R颜色通道的颜色直方图;
图4a-4为图4a-2的G颜色通道的颜色直方图;
图4a-5为图4a-2的B颜色通道的颜色直方图;
图4b-1为本发明选取的人体对象二;
图4b-2为图4b-1的阈值图像;
图4b-3为图4b-2的R颜色通道的颜色直方图;
图4b-4为图4b-2的G颜色通道的颜色直方图;
图4b-5为图4b-2的B颜色通道的颜色直方图;
图5a为本发明中一副人体对象前景图像;
图5b为图5a分割后的示意图;
图5c为图5b中每个区块对应的颜色均值描述子;
图6a为本发明选用的测试图像二;
图6b为图6a获取三个通道上的颜色均值描述子的示意图;
图7a为本发明选用的测试图像三;
图7b为图7a获取三个通道上的颜色均值描述子的示意图;
图8a为本发明选用的测试图像四;
图8b为图8a获取三个通道上的颜色均值描述子的示意图。
具体实施方式
本实施例提出了一种基于隐马尔科夫模型的人体对象的目标识别方法,如图1所示,包括以下步骤:
①假定有一摄像头,从该摄像头拍摄到的图像中随机选取一幅图像作为待识别图像,然后采用背景减除算法将待识别图像中的人体对象分割出来,得到一幅待识别人体对象前景图像。
②提取图像的特征是受分割式图像压缩的启发,一般,分割式的图像压缩的过程是将图像分割成一组均匀区域的集合,提取区域的信息,如边界轮廓信息或区域内的信息,这些信息代表了图像的主要信息,简化了图像的表示。本实施例中采用的是多阈值分割算法,该算法从直方图的两端极值开始用均值和标准差分割图像,递归地计算上一步划分的子区域,直到输入图像和阈值图像之间的差异小于一个阈值,其最大的优点是计算量小,复杂度低。在本实施例中,首先将待识别人体对象前景图像分成N个部分,得到N个第一图像区块,然后采用多阈值分割算法提取待识别人体对象前景图像中的每个第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,将待识别人体对象前景图像中所有的第一图像区块的颜色特征的颜色均值描述子组合成第一颜色均值特征序列,记为QSRC,将待识别人体对象前景图像中所有的第一图像区块的颜色特征的颜色标准差描述子组合成第一颜色标准差特征序列,记为QSSV,其中,N≥2,第一图像区块的宽度与待识别人体对象前景图像的宽度一致,考虑到图像的像素大小和分割后的N个部分中包含的图像信息,在本实施例中取N=5,本步骤的具体过程为:
②-1、将待识别人体对象前景图像分成N个部分,得到N个第一图像区块,其中,N≥2,第一图像区块的宽度与待识别人体对象前景图像的宽度一致。
②-2、将待识别人体对象前景图像中的当前待处理的第一图像区块定义为当前第一图像区块。
②-3、采用多阈值分割算法,提取当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,具体过程为:
②-3a、提取当前第一图像区块的R、G、B三个颜色通道的颜色直方图,将当前第一图像区块的第p个颜色通道的颜色直方图记为{Ip(k)|0≤k≤255},其中,p=1,2,3,p=1时表示R颜色通道,p=2时表示G颜色通道,p=3时表示B颜色通道,Ip(k)表示当前第一图像区块的第p个颜色通道中像素值为k的像素点的集合。
②-3b、根据当前第一图像区块的R、G、B三个颜色通道的颜色直方图,获取当前第一图像区块的R、G、B三个颜色通道的子区域{Ip(k)|a≤k≤b}的颜色特征的颜色均值和颜色标准差,将当前第一图像区块的第p个颜色通道的颜色特征的颜色均值和颜色标准差对应记为μp和σp,μp=mean({Ip(k)|a≤k≤b}),σp=deviation({Ip(k)|a≤k≤b}),其中,mean()表示求平均函数,deviation()表示求标准差函数,a的初始值为0,b的初始值为255。
②-3c、计算当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子中的第2i个和第2i+1个元素,将当前第一图像区块的第p个颜色通道的颜色特征的颜色均值描述子中的第2i个和第2i+1个元素对应记为QSRC,p(2i)和QSRC,p(2i+1),QSRC,p(2i)=mean({Ip(k′)|a≤k′≤T1}),QSRC,p(2i+1)=mean({Ip(k″)|T2≤k″≤b}),其中,i的初始值为0,Ip(k′)表示当前第一图像区块的第p个颜色通道中像素值为k′的像素点的集合,Ip(k″)表示当前第一图像区块的第p个颜色通道中像素值为k″的像素点的集合,a的初始值为0,b的初始值为255,T1=μp-β1×σp,T2=μp+β2×σp,β1和β2均为大于0小于1的常数,在本实施例中,取β1=β2=0.8。
计算当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子中的第2i个和第2i+1个元素,将当前第一图像区块的第p个颜色通道的颜色特征的颜色标准差描述子中的第2i个和第2i+1个元素对应记为QSSV,p(2i)和QSSV,p(2i+1),
QSSV,p(2i)=deviation({Ip(k′)|a≤k′≤T1}),
QSSV,p(2i+1)=deviation({Ip(k″)|T2≤k″≤b})。
②-3d、令a=T1+1,令b=T2-1,令i=i+1,然后返回步骤②-3b继续执行,直到i=T时执行步骤②-4,其中,i=i+1中的“=”为赋值符号,T为一个大于1的整数,在本实施例中取T=4。
②-4、将当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子组合成当前第一图像区块的颜色特征的颜色均值描述子,将当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子组合成当前第一图像区块的颜色特征的颜色标准差描述子。
②-5、将待识别人体对象前景图像中下一个待处理的第一图像区块作为当前第一图像区块,然后返回步骤②-3继续执行,直到处理完待识别人体对象前景图像内的所有第一图像区块。
②-6、将待识别人体对象前景图像中的所有第一图像区块的颜色特征的颜色均值描述子组合成第一颜色均值特征序列,记为QSRC,将待识别人体对象前景图像中的所有第一图像区块的颜色特征的颜色标准差描述子组合成第一颜色标准差特征序列,记为QSSV。
本实施例中,T直接影响到了R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子的维数。按照本实施例,得到的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子的维数均为2T+1。如图2b、图2c和图2d给出了一个原始图像(如图2a)在T=2、T=3和T=4这三种情况下得到的阈值图像,阈值图像是在图像的R颜色、G颜色、B颜色通道上分别使用多阈值算法得到的,每个分割区域中像素的灰度值用其区域的均值代替。当阈值个数增加时,发现图2c和图2d的图像之间变化很小而且接近于原始图像。图2e是随机采样3DEPS数据库中的5000张图片,画出当PSNR(Peak Signal to Noise Ration)增量小于0.1dB时阈值个数的分布,从图2e中可以清楚地看到,大约90%的图像使用8个阈值时阈值图像已经能够接近原始图像,这个统计结果给确定最佳阈值个数提供了一个依据。故本实施例采用的算法中,取阈值个数为8即T=4。在此,RMSE表示原始图像与阈值图像之间的均方根误差。
本实施例中,颜色均值描述序列(包括本实施例中的第一颜色均值特征序列和第二颜色均值特征序列)代表了图像颜色的主要分布,由颜色均值描述序列可以较准确地恢复原始图像的信息,颜色标准差描述序列反应了区块内像素与颜色均值描述序列的差异,如果图像中的某个区域的颜色灰度值变化规律相同,则颜色标准差描述序列则趋向稳定。其中,本实施例中,第一颜色均值特征序列对应第一颜色标准差特征序列,第二颜色均值特征序列对应第二颜色标准差特征序列。由于视频中光照经常变化,但是颜色标准差描述序列可能不变,因此颜色标准差描述序列是颜色标准差描述序列的约束,两个描述序列精确描述一个分割区域的特性。如图3a和图3b所示,两个图像的大小为300×300,图3a中图像的上半部分像素的灰度值为180,下半部分为170,图3b中上半部分像素的灰度值为100,下半部分为250,两幅图的均值都为175,但图3a方差为5,整个区域的变化平缓,图4b标准差为75,与图3a形成明显对比,均值特征相同,但标准差衡量了整个区域内像素波动的信息。如图4a-1至图4a-5以及图4b-1至图4b-5给出了人体对象的特征值的对比,图4a-2至图4a-5以及图4b-2至图4b-5中,T表示阈值,SRC是颜色均值描述序列,SSV是颜色标准差描述序列,可以看出在颜色均值附近的邻域内,竖向实线分布密集,在靠近直方图的两侧,区块间隔较大。从图中还可以看出,不同的人,其所对应的特征值有很大的不同,意味着颜色均值描述序列和颜色标准差描述序列有一定的辨别力。
整体的颜色均值描述序列和颜色标准差描述序列的主要缺点是缺少局部的约束,如两个行人表观的颜色分布很类似,但是他们表观的变化规律却大不相同,通过增加对身体结构上的约束可以体现这种不同。结构信息是指一个人身体上的物理结构,比如上身在头部下面,躯干下部是双腿。不少学者将人体空间的结构信息考虑在内,他们的实验结果证明在颜色信息上增加这种结构的属性可以提高识别率。故本实施例中,步骤②和步骤④中均先讲图像分割成几个部分,精确的分割人体并非一个简单的任务,因此将人体对象直接划分为几个条状的区域,提取每个区域上的特征以达到更好地识别效果。图5a中给出了一个例子,使用5个条状的区块(如图5b),图5c是图5b中每个区块的颜色均值描述序列,每个区块的颜色均值描述序列都不同,相邻连续的区块表示了整个人体对象结构上的布局,同时颜色标准差描述序列也呈现同样的规律。这就在颜色信息加上了结构信息,从而产生了一个全局的描述。
③假定有一组摄像头,将该组摄像头拍摄到的所有具有人体对象的图像组成一个目标图像库,然后采用背景减除算法将目标图像库内每一幅具有人体对象的图像中的人体对象分割出来,得到多幅目标图像库内的目标人体对象前景图像,其中,目标图像库内的图像包含了多个目标人体对象,且每个目标人体对象有多幅目标人体对象前景图像。
④将目标图像库内每幅目标人体对象前景图像分成N个部分,得到每幅目标人体对象前景图像的N个第二图像区块,然后采用多阈值分割算法提取每幅目标人体对象前景图像中的每个第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,接着将每幅目标人体对象前景图像中所有的第二图像区块的颜色特征的颜色均值描述子组合成相对应的目标人体对象前景图像的第二颜色均值特征序列,将每幅目标人体对象前景图像中所有的第二图像区块的颜色特征的颜色标准差描述子组合成相对应的目标人体对象前景图像的第二颜色标准差特征序列,再将每个目标人体对象的多幅目标人体对象前景图像的第二颜色均值特征序列组合成对应的目标人体对象的第三颜色均值特征序列,将每个目标人体对象的多幅目标人体对象前景图像的第二颜色标准差特征序列组合成对应的目标人体对象的第三颜色标准差特征序列,其中,第二图像区块的宽度与目标人体对象前景图像的宽度一致。步骤④的具体过程为:
④-1、将目标图像库内当前待处理的目标人体对象前景图像定义为当前图像。
④-2、将当前图像分成N个部分,得到N个第二图像区块,其中,第二图像区块的宽度与当前图像的宽度一致。
④-3、将当前图像中当前待处理的第二图像区块定义为当前第二图像区块。
④-4、采用多阈值分割算法,提取当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,具体过程为:
④-4a、提取当前第二图像区块的R、G、B三个颜色通道的颜色直方图,将当前第二图像区块的第p′个颜色通道的颜色直方图记为{I′p′(k1)|0≤k1≤255},其中,p′=1,2,3,p′=1时表示R颜色通道,p′=2时表示G颜色通道,p′=3时表示B颜色通道,I′p′(k1)表示当前第二图像区块的第p′个颜色通道中像素值为k1的像素点的集合。
④-4b、根据当前第二图像区块的R、G、B三个颜色通道的颜色直方图,获取当前第二图像区块的R、G、B三个颜色通道的子区域{I′p′(k2)|a1≤k2≤T3}的颜色特征的颜色均值和颜色标准差,将当前第二图像区块的第p′个颜色通道的颜色特征的颜色均值和颜色标准差对应记为μ′p′和σ′p′,μ′p′=mean({I′p′(k1)|a1≤k1≤b1}),σ′p′=deviation({I′p′(k1)|a1≤k1≤b1}),其中,mean()表示求平均函数,deviation()表示求标准差函数,a1的初始值为0,b1的初始值为255。
④-4c、计算当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子中的第2i1个和第2i1+1个元素,将当前第二图像区块的第p′个颜色通道的颜色特征的颜色均值描述子中的第2i1个和第2i1+1个元素对应记为PSRC,p′(2i1)和PSRC,p′(2i1+1),PSRC,p′(2i1)=mean({I′p′(k2)|a1≤k2≤T3}),PSRC,p′(2i1+1)=mean({I′p′(k3)|T4≤k3≤b1}),其中,i1的初始值为0,I′p′(k2)表示当前第二图像区块的第p′个颜色通道中像素值为k2的像素点的集合,I′p(k3)表示当前第二图像区块的第p′个颜色通道中像素值为k3的像素点的集合,a1的初始值为0,b1的初始值为255,T3=μ′p′-β3×σ′p′,T4=μ′p′+β4×σ′p′,β3和β4均为大于0小于1的常数,在本实施例中,取β3=β4=0.8。
计算当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子中的第2i1个和第2i1+1个元素,将当前第二图像区块的第p′个颜色通道的颜色特征的颜色标准差描述子中的第2i个和第2i+1个元素对应记为PSSV,p′(2i1)和PSSV,p′(2i1+1),
PSSV,p′(2i1)=deviation({I′p′(k2)|a1≤k2≤T3}),
PSSV,p′(2i1+1)=deviation({I′p′(k3)|T4≤k3≤b1})。
④-4d、令a1=T3+1,令b1=T4-1,令i1=i1+1,然后返回步骤④-4b继续执行,直到i1=T时执行步骤④-5,其中,i1=i1+1中的“=”为赋值符号,T为一个大于1的整数。
④-5、将当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子组合成当前第二图像区块的颜色特征的颜色均值描述子,将当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子组合成当前第二图像区块的颜色特征的颜色标准差描述子。
④-6、将当前图像中下一个待处理的第二图像区块作为当前第二图像区块,然后返回步骤④-4继续执行,直到处理完当前图像中所有的第二图像区块。
④-7、将目标图像库内下一个待处理的目标人体对象前景图像作为当前图像,然后返回步骤④-2继续执行,直到处理完目标图像库内所有的目标人体对象前景图像。
④-8、将每个目标人体对象的多幅目标人体对象前景图像的第二颜色均值特征序列组合成对应的目标人体对象的第三颜色均值特征序列,将每个目标人体对象的多幅目标人体对象前景图像的第二颜色标准差特征序列组合成对应的目标人体对象的第三颜色标准差特征序列。
⑤图6a、图7a和图8a给出了3个人体图像的例子,展示了颜色均值描述序列的分布规律,每个例子都包含一个颜色均值描述序列的9个分量的分布图(如图6b、图7b和图8b所示),图6b、图7b和图8b中的颜色均值描述序列是在图像的B颜色通道(其它颜色通道也适合)上提取得到的。图6a和图7a包含了相同的人体对象的不同图像序列,图8a中为不同的人。用高斯分布来拟合每个分布,从图6b、图7b和图8b中可以看出,图6a和图7a对应的颜色均值描述序列的分布都很相似,然而图6a和图7a与图8a相比,他们之间的分布却很不相同;同样,颜色标准差描述序列也有相同的规律。
从图6中的结果还发现HMM(隐马尔科夫模型)适合对颜色均值描述序列和颜色标准差描述序列建模。HMM有两个很重要的特征:首先,HMM适合多幅图像线索的融合,并且提供离线训练;第二,HMM能够学习不同类型数据的分布。从最顶部的区域开始排列颜色均值描述子和颜色标准差描述子,获得两个特征序列。这些顺序的数据可以看作是空间上连续的序列,和时间上连续的序列类似。将颜色均值描述子和颜色标准差描述子替换成HMM的输出观察值,则HMM的隐状态对应着分割的区块,隐状态之间的转换对应着连续区块之间的变化。假定连续区块间转换符合马尔科夫过程的性质,每块区块关联HMM的一个隐状态,则条形块沿着人体垂直方向的变化可以看作双重的随机过程,条状区块提取的一系列的颜色均值描述子和颜色标准差描述子依赖隐状态随机过程,这个随机过程解释了区块之间的转换。
所以,本实施例中,用每个目标人体对象的第三颜色均值特征序列分别对隐马尔科夫模型进行训练,得到每个目标人体对象对应的第一训练后隐马尔科夫模型,并用每个目标人体对象的第三颜色标准差特征序列再次分别对隐马尔科夫模型进行训练,得到每个目标人体对象对应的第二训练后隐马尔科夫模型。在具体操作过程中,用每个目标人体对象的第三颜色均值特征序列对隐马尔科夫模型进行训练以及用每个目标人体对象的第三颜色标准差特征序列对隐马尔科夫模型进行训练的先后顺序对本实施例提出的方法没有影响。将第j个目标人体对象对应的第一训练后隐马尔科夫模型及第二训练后隐马尔科夫模型分别记为和然后采用Baum-Welch算法训练每个目标人体对象对应的第一训练后隐马尔科夫模型的模型参数,使每个目标人体对象的第三颜色均值特征序列的概率最大,将使得第j个目标人体对象的第三颜色均值特征序列的概率最大的的模型参数记为再采用Baum-Welch算法训练每个目标人体对象对应的第二训练后隐马尔科夫模型的模型参数,使每个目标人体对象的第三颜色标准差特征序列的概率最大,将使得第j个目标人体对象的第三颜色标准差特征序列的概率最大的的模型参数记为其中,1≤j≤M,M表示目标图像库内包含的目标人体对象的数量。本步骤中,隐马尔科夫模型采用具有从左到右的拓扑结构的连续型隐马尔科夫模型,该连续型隐马尔科夫模型的初始状态概率为该连续型隐马尔科夫模型的隐含状态的数目为N,取N=5。
⑥根据第一颜色均值特征序列、第一颜色标准差特征序列、所有第一训练后隐马尔科夫模型的模型参数和所有第二训练后隐马尔科夫模型的模型参数,采用前向算法计算待识别人体对象前景图像相对于每个目标人体对象的第一训练后隐马尔科夫模型和第二训练后隐马尔科夫模型的后验概率,将待识别人体对象前景图像相对于第j个目标人体对象的第一训练后隐马尔科夫模型和第二训练后隐马尔科夫模型的后验概率记为pj, 然后将待识别人体对象前景图像相对于每个目标人体对象的第一训练后隐马尔科夫模型和第二训练后隐马尔科夫模型的后验概率按大小排列,将值最大的后验概率对应的目标人体对象视为待识别人体对象前景图像的正确匹配,即值最大的后验概率对应的目标图像库内的图像为待识别图像的匹配图像。其中,表示根据第j个目标人体对象的第一训练后隐马尔科夫模型,利用前向算法计算得到的概率,表示根据第j个目标人体对象的第二训练后隐马尔科夫模型,利用前向算法计算得到的概率,log表示对数函数。一副待识别图像识别完成后,若需要再识别另一幅图像,只要将另一幅图像作为待识别图像,按照步骤①、步骤②重新找出第一颜色均值特征序列和第一颜色标准差特征序列,再与所有第一训练后隐马尔科夫模型的模型参数和所有第二训练后隐马尔科夫模型的模型参数相结合,求出后验概率就能识别待识别图像。
Claims (7)
1.一种基于隐马尔科夫模型的人体对象的目标识别方法,其特征在于包括以下步骤:
①有一摄像头,从该摄像头拍摄到的图像中随机选取一幅图像作为待识别图像,然后采用背景减除算法将待识别图像中的人体对象分割出来,得到一幅待识别人体对象前景图像;
②将待识别人体对象前景图像分成N个部分,得到N个第一图像区块,然后采用多阈值分割算法提取待识别人体对象前景图像中的每个第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,将待识别人体对象前景图像中所有的第一图像区块的颜色特征的颜色均值描述子组合成第一颜色均值特征序列,记为QSRC,将待识别人体对象前景图像中所有的第一图像区块的颜色特征的颜色标准差描述子组合成第一颜色标准差特征序列,记为QSSV,其中,N≥2,第一图像区块的宽度与待识别人体对象前景图像的宽度一致;
③有一组摄像头,将该组摄像头拍摄到的所有具有人体对象的图像组成一个目标图像库,然后采用背景减除算法将目标图像库内每一幅具有人体对象的图像中的人体对象分割出来,得到多幅目标图像库内的目标人体对象前景图像,其中,目标图像库内的图像包含了多个目标人体对象,且每个目标人体对象有多幅目标人体对象前景图像;
④将目标图像库内每幅目标人体对象前景图像分成N个部分,得到每幅目标人体对象前景图像的N个第二图像区块,然后采用多阈值分割算法提取每幅目标人体对象前景图像中的每个第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,接着将每幅目标人体对象前景图像中所有的第二图像区块的颜色特征的颜色均值描述子组合成相对应的目标人体对象前景图像的第二颜色均值特征序列,将每幅目标人体对象前景图像中所有的第二图像区块的颜色特征的颜色标准差描述子组合成相对应的目标人体对象前景图像的第二颜色标准差特征序列,再将每个目标人体对象的多幅目标人体对象前景图像的第二颜色均值特征序列组合成相对应的目标人体对象的第三颜色均值特征序列,将每个目标人体对象的多幅目标人体对象前景图像的第二颜色标准差特征序列组合成相对应的目标人体对象的第三颜色标准差特征序列,其中,第二图像区块的宽度与目标人体对象前景图像的宽度一致;
⑤用每个目标人体对象的第三颜色均值特征序列分别对隐马尔科夫模型进行训练,得到每个目标人体对象对应的第一训练后隐马尔科夫模型,并用每个目标人体对象的第三颜色标准差特征序列再次分别对隐马尔科夫模型进行训练,得到每个目标人体对象对应的第二训练后隐马尔科夫模型,将第j个目标人体对象对应的第一训练后隐马尔科夫模型及第二训练后隐马尔科夫模型对应记为和然后采用Baum-Welch 算法训练每个目标人体对象对应的第一训练后隐马尔科夫模型的模型参数,使每个目标人体对象的第三颜色均值特征序列的概率最大,将使得第j个目标人体对象的第三颜色均值特征序列的概率最大的的模型参数记为再采用Baum-Welch算法训练每个目标人体对象对应的第二训练后隐马尔科夫模型的模型参数,使每个目标人体对象的第三颜色标准差特征序列的概率最大,将使得第j个目标人体对象的第三颜色标准差特征序列的概率最大的的模型参数记为其中,1≤j≤M,M表示目标图像库内包含的目标人体对象的数量;
⑥根据第一颜色均值特征序列、第一颜色标准差特征序列、所有第一训练后隐马尔科夫模型的模型参数和所有第二训练后隐马尔科夫模型的模型参数,采用前向算法计算待识别人体对象前景图像相对于每个目标人体对象的第一训练后隐马尔科夫模型和第二训练后隐马尔科夫模型的后验概率,将待识别人体对象前景图像相对于第j个目标人体对象的第一训练后隐马尔科夫模型和第二训练后隐马尔科夫模型的后验概率记为pj, 然后将待识别人体对象前景图像相对于每个目标人体对象的第一训练后隐马尔科夫模型和第二训练后隐马尔科夫模型的后验概率按大小排列,将值最大的后验概率对应的目标人体对象视为待识别人体对象前景图像的正确匹配,即值最大的后验概率对应的目标图像库内的图像为待识别图像的匹配图像,其中,表示根据第j个目标人体对象的第一训练后隐马尔科夫模型,利用前向算法计算得到的概率,表示根据第j个目标人体对象的第二训练后隐马尔科夫模型,利用前向算法计算得到的概率,log表示对数函数。
2.根据权利要求1所述的一种基于隐马尔科夫模型的人体对象的目标识别方法,其特征在于所述的步骤②和所述的步骤④中取N=5。
3.根据权利要求2所述的一种基于隐马尔科夫模型的人体对象的目标识别方法,其特征在于所述的步骤②的具体过程为:
②-1、将待识别人体对象前景图像分成N个部分,得到N个第一图像区块,其中,N≥2,第一图像区块的宽度与待识别人体对象前景图像的宽度一致;
②-2、将待识别人体对象前景图像中的当前待处理的第一图像区块定义为当前第一图像区块;
②-3、采用多阈值分割算法,提取当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,具体过程为:
②-3a、提取当前第一图像区块的R、G、B三个颜色通道的颜色直方图,将当前第一图像区块的第p个颜色通道的颜色直方图记为{Ip(k)|0≤k≤255},其中,p=1,2,3, p=1时表示R颜色通道,p=2时表示G颜色通道,p=3时表示B颜色通道,Ip(k)表示当前第一图像区块的第p个颜色通道中像素值为k的像素点的集合;
②-3b、根据当前第一图像区块的R、G、B三个颜色通道的颜色直方图,获取当前第一图像区块的R、G、B三个颜色通道的子区域{Ip(k)|a≤k≤b}的颜色特征的颜色均值和颜色标准差,将当前第一图像区块的第p个颜色通道的颜色特征的颜色均值和颜色标准差对应记为μp和σp,μp=mean({Ip(k)|a≤k≤b}),σp=deviation({Ip(k)|a≤k≤b}),其中,mean()表示求平均函数,deviation()表示求标准差函数,a的初始值为0,b的初始值为255;
②-3c、计算当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子中的第2i个和第2i+1个元素,将当前第一图像区块的第p个颜色通道的颜色特征的颜色均值描述子中的第2i个和第2i+1个元素对应记为QSRC,p(2i)和QSRC,p(2i+1),QSRC,p(2i)=mean({Ip(k')|a≤k'≤T1}),QSRC,p(2i+1)=mean({Ip(k”)|T2≤k”≤b}),其中,i的初始值为0,Ip(k')表示当前第一图像区块的第p个颜色通道中像素值为k'的像素点的集合,Ip(k”)表示当前第一图像区块的第p个颜色通道中像素值为k”的像素点的集合,T1和T2均为中间临时变量,T1=μp-β1×σp,T2=μp+β2×σp,β1和β2均为大于0小于1的常数;
计算当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子中的第2i个和第2i+1个元素,将当前第一图像区块的第p个颜色通道的颜色特征的颜色标准差描述子中的第2i个和第2i+1个元素对应记为QSSV,p(2i)和QSSV,p(2i+1),
QSSV,p(2i)=deviation({Ip(k')|a≤k'≤T1}),
QSSV,p(2i+1)=deviation({Ip(k”)|T2≤k”≤b});
②-3d、令a=T1+1,令b=T2-1,令i=i+1,然后返回步骤②-3b继续执行,直到i=T时执行步骤②-4,其中,i=i+1中的“=”为赋值符号,T为一个大于1的整数;
②-4、将当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子组合成当前第一图像区块的颜色特征的颜色均值描述子,将当前第一图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子组合成当前第一图像区块的颜色特征的颜色标准差描述子;
②-5、将待识别人体对象前景图像中下一个待处理的第一图像区块作为当前第一图像区块,然后返回步骤②-3继续执行,直到处理完待识别人体对象前景图像内所有的第 一图像区块;
②-6、将待识别人体对象前景图像中所有的第一图像区块的颜色特征的颜色均值描述子组合成第一颜色均值特征序列,记为QSRC,将待识别人体对象前景图像中的所有第一图像的区块颜色特征的颜色标准差描述子组合成第一颜色标准差特征序列,记为QSSV。
4.根据权利要求3所述的一种基于隐马尔科夫模型的人体对象的目标识别方法,其特征在于所述的步骤④的具体过程为:
④-1、将目标图像库内当前待处理的目标人体对象前景图像定义为当前图像;
④-2、将当前图像分成N个部分,得到N个第二图像区块,其中,第二图像区块的宽度与当前图像的宽度一致;
④-3、将当前图像中当前待处理的第二图像区块定义为当前第二图像区块;
④-4、采用多阈值分割算法,提取当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子和颜色标准差描述子,具体过程为:
④-4a、提取当前第二图像区块的R、G、B三个颜色通道的颜色直方图,将当前第二图像区块的第p'个颜色通道的颜色直方图记为{I'p'(k1)|0≤k1≤255},其中,p'=1,2,3,p'=1时表示R颜色通道,p'=2时表示G颜色通道,p'=3时表示B颜色通道,I'p'(k1)表示当前第二图像区块的第p'个颜色通道中像素值为k1的像素点的集合;
④-4b、根据当前第二图像区块的R、G、B三个颜色通道的颜色直方图,获取当前第二图像区块的R、G、B三个颜色通道的子区域{I'p'(k1)|a1≤k1≤b1}的颜色特征的颜色均值和颜色标准差,将当前第二图像区块的第p'个颜色通道的颜色特征的颜色均值和颜色标准差对应记为μ'p'和σ'p',μ'p'=mean({I'p'(k1)|a1≤k1≤b1}),σ'p'=deviation({I'p'(k1)|a1≤k1≤b1}),其中,mean()表示求平均函数,deviation()表示求标准差函数,a1的初始值为0,b1的初始值为255;
④-4c、计算当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子中的第2i1个和第2i1+1个元素,将当前第二图像区块的第p'个颜色通道的颜色特征的颜色均值描述子中的第2i1个和第2i1+1个元素对应记为PSRC,p'(2i1)和PSRC,p'(2i1+1),PSRC,p'(2i1)=mean({I'p'(k2)|a1≤k2≤T3}),PSRC,p'(2i1+1)=mean({I'p'(k3)|T4≤k3≤b1}),其中,i1的初始值为0,I'p'(k2)表示当前第二图像区块的第p'个颜色通道中像素值为k2的像素点的集合,I'p'(k3)表示当前第二图像区块的第p'个颜色通道中像素值为k3的像 素点的集合,T3和T4均为中间临时变量,T3=μ'p'-β3×σ'p',T4=μ'p'+β4×σ'p',β3和β4均为大于0小于1的常数;
计算当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子中的第2i1个和第2i1+1个元素,将当前第二图像区块的第p'个颜色通道的颜色特征的颜色标准差描述子中的第2i个和第2i+1个元素对应记为PSSV,p'(2i1)和PSSV,p'(2i1+1),
PSSV,p'(2i1)=deviation({I'p'(k2)|a1≤k2≤T3}),
PSSV,p'(2i1+1)=deviation({I'p'(k3)|T4≤k3≤b1});
④-4d、令a1=T3+1,令b1=T4-1,令i1=i1+1,然后返回步骤④-4b继续执行,直到i1=T时执行步骤④-5,其中,i1=i1+1中的“=”为赋值符号,T为一个大于1的整数;
④-5、将当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色均值描述子组合成当前第二图像区块的颜色特征的颜色均值描述子,将当前第二图像区块的R、G、B三个颜色通道的颜色特征的颜色标准差描述子组合成当前第二图像区块的颜色特征的颜色标准差描述子;
④-6、将当前图像中下一个待处理的第二图像区块作为当前第二图像区块,然后返回步骤④-4继续执行,直到处理完当前图像中所有的第二图像区块;
④-7、将目标图像库内下一个待处理的目标人体对象前景图像作为当前图像,然后返回步骤④-2继续执行,直到处理完目标图像库内所有的目标人体对象前景图像;
④-8、将每个目标人体对象的多幅目标人体对象前景图像的第二颜色均值特征序列组合成对应的目标人体对象的第三颜色均值特征序列,将每个目标人体对象的多幅目标人体对象前景图像的第二颜色标准差特征序列组合成对应的目标人体对象的第三颜色标准差特征序列。
5.根据权利要求4所述的一种基于隐马尔科夫模型的人体对象的目标识别方法,其特征在于所述的步骤②-3d和所述的步骤④-4d中取T=4。
6.根据权利要求5所述的一种基于隐马尔科夫模型的人体对象的目标识别方法,其特征在于所述的步骤②-3c和所述的步骤④-4c中,取β1=β2=β3=β4=0.8。
7.根据权利要求1至6中任一项所述的一种基于隐马尔科夫模型的人体对象的目标识别方法,其特征在于所述的步骤⑤中的隐马尔科夫模型采用具有从左到右的拓扑结构的连续型隐马尔科夫模型,该连续型隐马尔科夫模型的初始状态概率为该连续型隐马尔科夫模型的隐含状态的数目为N,N=5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410031764.7A CN103810473B (zh) | 2014-01-23 | 2014-01-23 | 一种基于隐马尔科夫模型的人体对象的目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410031764.7A CN103810473B (zh) | 2014-01-23 | 2014-01-23 | 一种基于隐马尔科夫模型的人体对象的目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103810473A CN103810473A (zh) | 2014-05-21 |
CN103810473B true CN103810473B (zh) | 2016-09-07 |
Family
ID=50707215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410031764.7A Active CN103810473B (zh) | 2014-01-23 | 2014-01-23 | 一种基于隐马尔科夫模型的人体对象的目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103810473B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107305248A (zh) * | 2016-04-18 | 2017-10-31 | 中国科学院声学研究所 | 一种基于隐马尔科夫模型的超宽频带目标识别方法及装置 |
CN106650639A (zh) * | 2016-12-05 | 2017-05-10 | 华南理工大学 | 一种适用于安防的监控***行人再识别方法 |
CN106780376A (zh) * | 2016-12-07 | 2017-05-31 | 中国农业科学院农业信息研究所 | 基于显著性检测和联合分割算法的背景图像分割方法 |
CN108694347B (zh) * | 2017-04-06 | 2022-07-12 | 北京旷视科技有限公司 | 图像处理方法和装置 |
CN107977975A (zh) * | 2017-11-30 | 2018-05-01 | 上海电力学院 | 一种动态背景视频图像的前景目标提取方法 |
CN110956058B (zh) * | 2018-09-26 | 2023-10-24 | 北京嘀嘀无限科技发展有限公司 | 图像识别方法、装置及电子设备 |
CN109544568A (zh) * | 2018-11-30 | 2019-03-29 | 长沙理工大学 | 目标图像分割方法、装置及设备 |
CN109557109B (zh) * | 2018-12-29 | 2021-07-30 | 中国肉类食品综合研究中心 | 冷冻肉品包装状态的检测方法及装置 |
US11595434B2 (en) * | 2019-05-30 | 2023-02-28 | Morgan State University | Method and system for intrusion detection |
CN110215193B (zh) * | 2019-07-08 | 2021-11-26 | 济南显微智能科技有限公司 | 一种快速识别甲状旁腺自发荧光面成像光谱仪 |
TWI772700B (zh) * | 2019-10-29 | 2022-08-01 | 財團法人資訊工業策進會 | 影像辨識系統及其更新方法 |
CN113158942A (zh) * | 2021-04-29 | 2021-07-23 | 泽恩科技有限公司 | 一种运动人体行为检测的分割算法及装置 |
CN117808627A (zh) * | 2023-12-29 | 2024-04-02 | 光谷技术有限公司 | 能耗监管方法以及相关装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101329736A (zh) * | 2008-06-20 | 2008-12-24 | 西安电子科技大学 | 基于特征选择和隐马尔科夫模型的图像分割方法 |
CN101739568A (zh) * | 2009-11-04 | 2010-06-16 | 北京交通大学 | 基于分层观测向量分解的隐马尔科夫模型的行为识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7394947B2 (en) * | 2003-04-08 | 2008-07-01 | The Penn State Research Foundation | System and method for automatic linguistic indexing of images by a statistical modeling approach |
KR101640077B1 (ko) * | 2009-06-05 | 2016-07-15 | 삼성전자주식회사 | 인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법 |
-
2014
- 2014-01-23 CN CN201410031764.7A patent/CN103810473B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101329736A (zh) * | 2008-06-20 | 2008-12-24 | 西安电子科技大学 | 基于特征选择和隐马尔科夫模型的图像分割方法 |
CN101739568A (zh) * | 2009-11-04 | 2010-06-16 | 北京交通大学 | 基于分层观测向量分解的隐马尔科夫模型的行为识别方法 |
Non-Patent Citations (1)
Title |
---|
"基于傅里叶-隐马尔科夫模型的人体行为识别";黄静 等,;《计算机仿真》;20110731;第28卷(第7期);第245-248页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103810473A (zh) | 2014-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103810473B (zh) | 一种基于隐马尔科夫模型的人体对象的目标识别方法 | |
Wang et al. | Detect globally, refine locally: A novel approach to saliency detection | |
CN107133601B (zh) | 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法 | |
CN106709449B (zh) | 一种基于深度学习和强化学习的行人重识别方法及*** | |
CN106096561B (zh) | 基于图像块深度学习特征的红外行人检测方法 | |
CN104598883B (zh) | 一种多摄像机监控网络中目标再识别的方法 | |
CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
CN101470809B (zh) | 一种基于扩展混合高斯模型的运动目标检测方法 | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
JP2004192637A (ja) | 顔検出 | |
CN108509925B (zh) | 一种基于视觉词袋模型的行人重识别方法 | |
Haines et al. | Recognising planes in a single image | |
CN105005798B (zh) | 一种基于局部相似结构统计匹配的目标识别方法 | |
CN102663411A (zh) | 一种目标人体识别方法 | |
CN103735269A (zh) | 一种基于视频多目标跟踪的高度测量方法 | |
CN107194950B (zh) | 一种基于慢特征分析的多人跟踪方法 | |
CN104732534B (zh) | 一种图像中显著目标的抠取方法及*** | |
CN111639580A (zh) | 一种结合特征分离模型和视角转换模型的步态识别方法 | |
Lin et al. | Moving object detection through image bit-planes representation without thresholding | |
Liu et al. | Gait recognition using deep learning | |
CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
CN110852292A (zh) | 一种基于跨模态多任务深度度量学习的草图人脸识别方法 | |
Yao et al. | Micro-expression recognition by feature points tracking | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN113095332A (zh) | 一种基于特征学习的显著性区域检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20191227 Address after: 315040 room 505, floor 5, building e, No. 655, bachelor Road, Yinzhou District, Ningbo City, Zhejiang Province Patentee after: Ningbo Skyview Image Technology Co., Ltd. Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818 Patentee before: Ningbo University |