CN106407899A - 基于局部纹理特征的人群密度谱估计方法 - Google Patents

基于局部纹理特征的人群密度谱估计方法 Download PDF

Info

Publication number
CN106407899A
CN106407899A CN201610768488.1A CN201610768488A CN106407899A CN 106407899 A CN106407899 A CN 106407899A CN 201610768488 A CN201610768488 A CN 201610768488A CN 106407899 A CN106407899 A CN 106407899A
Authority
CN
China
Prior art keywords
lbp
pixel
score
image
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610768488.1A
Other languages
English (en)
Other versions
CN106407899B (zh
Inventor
李宏亮
习自
孙文龙
王久圣
廖伟军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201610768488.1A priority Critical patent/CN106407899B/zh
Publication of CN106407899A publication Critical patent/CN106407899A/zh
Application granted granted Critical
Publication of CN106407899B publication Critical patent/CN106407899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于局部纹理特征的人群密度谱估计方法，采用SIFT关键点检测器可以有效检测出图像中行人所在的区域，使用SVM分类器对每个关键点区域进行分类，有效得到各个关键点区域的人群密度。另外，本发明还提供一种纹理特征的提取方式，通过提取局部纹理模式的灰度共生矩阵特征来表达图像块的行人密度，简单有效。

Description

基于局部纹理特征的人群密度谱估计方法
技术领域
本发明涉及视频图像处理技术，特别涉及对大型公共场所人流密度实时检测的技术。
背景技术
以往的人群密度估计方法大多数都是提取图像的全局特征并对整幅图像的人群密度做估计。然而，这种方法具有两个严重的缺点：1.行人可能只出现在图像的某一部分区域，例如：在包含道路的图片中，行人可能只出现在人行道上；2.在实际应用中，人们更加关心的是特定区域的人群密度，例如：在电影院，入口处的人群密度比坐在等候区域的人群密度更重要。所以，为了更好地适应于各种应用场景，就必须对图像的人群密度谱进行估计。
人群密度谱估计需要综合考虑图像的所有局部和空间信息，通过不同的颜色或者亮度将密度结果展示出来。密度谱就像是一幅热量图，颜色深或亮度大的区域代表高密度区域，颜色浅或亮度低的区域则对应着低密度区域，这样的展示结果让监测人员对监控画面中的人群分布情况一目了然。基于密度谱，我们还可以做更多更深入的智能研究。
传统的密度谱估计方法首先提取大量的图像局部块特征，例如SIFT；再通过k-means等聚类方法对所有图像局部特征进行聚类，由此得到图像的“词袋模型”(Bag ofWords)或者“码书”(codebooks)；然后提取每个像素点的“词袋模型”特征表达；最后学习得到该特征与像素点人群密度之间的回归模型，由此估计出整幅图像的人群密度谱。这一类方法过于依赖场景，导致训练出的模型往往泛化能力不够，并且需要提取很复杂的特征集，如Bow-Sift等。
目前较好的方法是提取图像的若干块，利用所有图像块的特征与该图像块内行人分布的向量集训练得到一个随机森林。在检测阶段，首先提取图像块的特征，然后利用训练好的随机森林预测该块的行人分布标签，再利用视频前后帧之间的密度先验概率得到每一个图像块的密度，最后每一个像素点的密度由所有包含该点的图像块的密度加权得到。该方法由于提取的特征块数量较多、特征维度较高，且采用随机森林这样的树状结构存储特征，所以在内存和时间上都消耗非常大，导致很难达到实时性要求。
真实监控场景下的人群密度谱估计问题，面向的场景是校园、车站、商场等公共场所，在这些场景中，行人可能会出现在视频图像中的任何位置。现实生活中监控场景复杂多变，密度谱估计算法必须要满足实时性要求，并且需要对场景具有无依赖性，同时还能够直观反映出当前监控场景下的行人分布及拥挤情况。
发明内容
本发明所要解决的技术问题是，提供一种不依赖场景且能满足实时性要求的人群密度谱估计方法。
本发明为解决上述技术问题所采用的技术方案是，基于局部纹理特征的人群密度谱估计方法，包括以下步骤：
1)训练步骤：
1-1)采集视频样本图片，根据单位面积内包含的行人数量对样本设置人群密度分类标签；设置各人群密度分类标签对应的得分；
1-2)提取样本图片的纹理特征，将样本图片的纹理特征与对应的人群密度分类标签输入SVM分类器进行分类器训练。
2)测试步骤：
2-1)利用SIFT关键点检测器提取出候选关键点，再在候选关键点中通过间隔采样选取出关键点；以每个关键点为中心，提取出固定大小的邻域图像块，提取邻域图像块的纹理特征；
2-2)将邻域图像块的纹理特征输入SVM分类器进行分类，得到该图像块的一个人群密度分类标签，并得到该人群密度分类标签对应得分；
2-3)计算邻域图像块内的所有像素点的密度得分，密度得分为邻域图像块的SVM预测得分与距离加权因子的乘积；
像素点的距离加权因子w(i，j)为
其中，p(i，j)代表(i，j)位置的像素点，dist(p(i，j)，C)代表该像素点与关键点的欧式距离；
2-4)遍历检测图像中每个像素点所在的所有邻域图像块，将对应的像素点密度得分进行累加得到每个像素点的最终密度得分；
2-5)将每个像素点的最终密度得分归一化到0到255之间，再将最终密度得分对应成灰度值，得到一幅灰度密度谱图；或将最终密度得分对应成RGB三个通道值，得到一幅彩色密度谱图。
本发明采用SIFT关键点检测器可以有效检测出图像中行人所在的区域，使用SVM分类器对每个关键点区域进行分类，有效得到各个关键点区域的人群密度。另外，本发明还提供一种纹理特征的提取方式，通过提取局部纹理模式的灰度共生矩阵特征来表达图像块的行人密度，简单有效。
本发明的有益效果是，具有非常高的实用性和可行性，并且能够满足实时性要求。
附图说明
图1：本发明的人群密度谱估计流程示意图
具体实施方式
本发明需要用到的现有技术包括SIFT关键点检测器、SVM分类器，所采用的特征为局部二值模式LBP、局部三值模式LTP、灰度共生矩阵特征。
根据单位面积内包含的行人数量多少，我们将人群密度分为五种类型：非常低、低、中等，高，非常高。这种分类依据来自于Polus提出的人群可自由活动水平概念，Polus将人群密度分为四种水平：自由人流、受限制人流、密集人流、拥堵人流。
本发明主要工作分为两个阶段：训练阶段和测试阶段，如图1所示。
其中训练阶段可以分为以下三个步骤：
步骤一、对真实监控场景下拍摄好的大量视频样本进行采样，对于五种类型的人群密度，分别提取等量的训练图片。事先利用摄像头在校园教学楼以及图书馆门前广场拍摄得到大量的视频，通过裁剪，挑选出非常低、低、中等、高、非常高密度的图片各600张，每张图片大小都是63×63，将这3000张图片分别标上对应的标签，由此构成训练图片集。
步骤二、提取特征：对训练集中的每一张图片，可以分为以下五步来提取其纹理特征。
1.计算原图像对应的梯度图像；
2.对于原图像中每个像素点，提取其3×3邻域，计算得到对应的局部三值模式LTP三值码(-1,0,1)，并分解成正局部二值模式LBP二值码(0,1)以及负LBP二值码(-1,0)。对于正LBP码，通过顺时针的方式计算得到其对应的LBP值；对于负LBP码，通过逆时针的方式计算得到其对应的LBP值，在这个计算过程中，负LBP码中的-1被当作+1处理。经过计算，原图像每一个像素点都得到了正负LBP值，由此便得到了对应的正负两幅LBP图。
3.计算梯度图像的每个像素点对应的LBP值，由此得到梯度LBP图；
4.计算正LBP图、负LBP图和梯度LBP图的灰度共生矩阵；
5.对正LBP图、负LBP图和梯度LBP图的灰度共生矩阵分别计算其能量、对比度、一致性和熵，将各灰度共生矩阵对应的能量、对比度、一致性和熵进行串联得到特征向量(能量，对比度，一致性，熵)；最后将正LBP图、负LBP图和梯度LBP图的灰度共生矩阵的特征向量进行串联构成了图像特征(正LBP特征向量，负LBP特征向量，梯度LBP特征向量)。其中，计算能量、对比度、一致性、熵的方法均为现有，不在此赘述。
步骤三、训练支持向量机SVM分类器：将步骤二中得到的3000个特征向量以及对应的标签用来训练SVM分类器。
测试阶段分为以下五个步骤：
步骤一、提取关键点：首先，使用尺度不变特征变换SIFT关键点检测器检测到若干候选关键点；由于边界关键点所在区域往往没有包含任何行人，因此去掉以后对实际效果并没有多大影响，故去除一些边界上的关键点；最后对于关键点较多的情况，我们选择间隔采样的方式，只保留部分关键点。对于关键点是否属于较多的情况的判断可通过与阈值比较的方式进行。
步骤二、提取关键点邻域的纹理特征：首先，对于每个关键点，提取其大小为63×63的邻域图像块，采用与训练阶段相同的方式，计算得到该邻域图像块的纹理特征。
步骤三、使用SVM模型进行分类：对于每个关键点邻域图像块，利用训练阶段训练好的SVM分类模型，对这些邻域图像块进行分类，对应5个密度类别：非常低、低、中等、高、非常高分别对应打分：1,2,3,4,5。
步骤四、计算每个像素点的密度得分：
对于每个关键点邻域图像块内的所有像素点计算密度得分，密度得分等于邻域图像块的SVM预测得分与距离加权因子的乘积，距离加权w(i，j)：
其中，w(i，j)代表该像素点的加权因子，p(i，j)代表(i，j)位置的像素点，dist(p(i，j)，C)代表该像素点与关键点的欧式距离。
遍历每个像素点所在的所有邻域图像块，将对应的像素点密度得分进行累加得到每个像素点的最终密度得分；
步骤五、将每个像素点的最终密度得分归一化到0到255之间，将得分对应成灰度值，得到一幅灰度密度谱图；或将最终密度得分对应成RGB三个通道值，得到一幅彩色密度谱图。
通过以上步骤便可以完成对一幅输入图像或视频帧的行人密度谱计算。之后，可以对得到的人群密度谱进行应用。例如，设定密度阈值，当某区域的人群密度超过该阈值时，则可以给***发出警告信息，以提示监控人员该区域可能存在人群过于拥挤情况；同时分析密度谱的变化情况，当某区域人群密度快速增大，则表示该区域可能存在人群突然聚集现象；通过人群密度谱积分图，还可以得到任意区域的人数近似估计。

Claims (2)

1.基于局部纹理特征的人群密度谱估计方法，其特征在于，包括以下步骤：
1)训练步骤：
1-1)采集视频样本图片，根据单位面积内包含的行人数量对样本设置人群密度分类标签；设置各人群密度分类标签对应的得分；
1-2)提取样本图片的纹理特征，将样本图片的纹理特征与对应的人群密度分类标签输入SVM分类器进行分类器训练。
2)测试步骤：
2-1)利用SIFT关键点检测器提取出候选关键点，再在候选关键点中通过间隔采样选取出关键点；以每个关键点为中心，提取出固定大小的邻域图像块，提取邻域图像块的纹理特征；
2-2)将邻域图像块的纹理特征输入SVM分类器进行分类，得到该图像块的一个人群密度分类标签，并得到该人群密度分类标签对应得分；
2-3)计算邻域图像块内的所有像素点的密度得分，密度得分为邻域图像块的SVM预测得分与距离加权因子的乘积；
像素点的距离加权因子w(i，j)为
其中，p(i，j)代表(i，j)位置的像素点，dist(p(i，j)，C)代表该像素点与关键点的欧式距离；
2-4)遍历检测图像中每个像素点所在的所有邻域图像块，将对应的像素点密度得分进行累加得到每个像素点的最终密度得分；
2-5)将每个像素点的最终密度得分归一化到0到255之间，再将最终密度得分对应成灰度值，得到一幅灰度密度谱图；或将最终密度得分对应成RGB三个通道值，得到一幅彩色密度谱图。
2.如权利要求1所述基于局部纹理特征的人群密度谱估计方法，纹理特征的提取方法为：
(1)计算图像的梯度图像；
(2)对于图像中每个像素点，提取各像素点3×3邻域，计算得到对应的局部三值模式LTP三值码，并分解成正局部二值模式LBP二值码以及负LBP二值码，最终得到图像对应的正、负两幅LBP图；
(3)计算梯度图像的每个像素点对应的LBP值，由此得到梯度LBP图；
(4)计算正LBP图、负LBP图和梯度LBP图的灰度共生矩阵；再对正LBP图、负LBP图和梯度LBP图的灰度共生矩阵分别计算其能量、对比度、一致性和熵；将各灰度共生矩阵对应的能量、对比度、一致性和熵进行串联得到特征向量；最后将正LBP图、负LBP图和梯度LBP图的灰度共生矩阵的特征向量进行串联构成了图像的纹理特征。
CN201610768488.1A 2016-08-30 2016-08-30 基于局部纹理特征的人群密度谱估计方法 Active CN106407899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610768488.1A CN106407899B (zh) 2016-08-30 2016-08-30 基于局部纹理特征的人群密度谱估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610768488.1A CN106407899B (zh) 2016-08-30 2016-08-30 基于局部纹理特征的人群密度谱估计方法

Publications (2)

Publication Number Publication Date
CN106407899A true CN106407899A (zh) 2017-02-15
CN106407899B CN106407899B (zh) 2019-07-19

Family

ID=58002136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610768488.1A Active CN106407899B (zh) 2016-08-30 2016-08-30 基于局部纹理特征的人群密度谱估计方法

Country Status (1)

Country Link
CN (1) CN106407899B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190456A (zh) * 2018-07-19 2019-01-11 中国人民解放军战略支援部队信息工程大学 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
CN111242096A (zh) * 2020-02-26 2020-06-05 贵州安防工程技术研究中心有限公司 基于人数梯度的人群聚集判别方法与***
CN111274340A (zh) * 2020-01-15 2020-06-12 中国联合网络通信集团有限公司 人流密度的监控处理方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739569A (zh) * 2009-12-17 2010-06-16 北京中星微电子有限公司 一种人群密度估计方法、装置及监控***
CN101872424A (zh) * 2010-07-01 2010-10-27 重庆大学 基于Gabor变换最优通道模糊融合的人脸表情识别方法
US20130155229A1 (en) * 2011-11-14 2013-06-20 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
CN103366371A (zh) * 2013-06-25 2013-10-23 西安电子科技大学 基于k分布和纹理特征的sar图像分割方法
CN103824074A (zh) * 2014-01-26 2014-05-28 中山大学 一种基于背景减除和纹理特征的人群密度估计方法及***
CN105184298A (zh) * 2015-08-27 2015-12-23 重庆大学 一种快速局部约束低秩编码的图像分类方法
CN105574880A (zh) * 2015-12-28 2016-05-11 辽宁师范大学 基于指数矩像素分类的彩色图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739569A (zh) * 2009-12-17 2010-06-16 北京中星微电子有限公司 一种人群密度估计方法、装置及监控***
CN101872424A (zh) * 2010-07-01 2010-10-27 重庆大学 基于Gabor变换最优通道模糊融合的人脸表情识别方法
US20130155229A1 (en) * 2011-11-14 2013-06-20 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
CN103366371A (zh) * 2013-06-25 2013-10-23 西安电子科技大学 基于k分布和纹理特征的sar图像分割方法
CN103824074A (zh) * 2014-01-26 2014-05-28 中山大学 一种基于背景减除和纹理特征的人群密度估计方法及***
CN105184298A (zh) * 2015-08-27 2015-12-23 重庆大学 一种快速局部约束低秩编码的图像分类方法
CN105574880A (zh) * 2015-12-28 2016-05-11 辽宁师范大学 基于指数矩像素分类的彩色图像分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190456A (zh) * 2018-07-19 2019-01-11 中国人民解放军战略支援部队信息工程大学 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
CN111274340A (zh) * 2020-01-15 2020-06-12 中国联合网络通信集团有限公司 人流密度的监控处理方法、设备及存储介质
CN111274340B (zh) * 2020-01-15 2023-06-30 中国联合网络通信集团有限公司 人流密度的监控处理方法、设备及存储介质
CN111242096A (zh) * 2020-02-26 2020-06-05 贵州安防工程技术研究中心有限公司 基于人数梯度的人群聚集判别方法与***

Also Published As

Publication number Publication date
CN106407899B (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
Matas et al. Unconstrained licence plate and text localization and recognition
CN108446700B (zh) 一种基于对抗攻击的车牌攻击生成方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN104866616B (zh) 监控视频目标搜索方法
CN110084249A (zh) 基于金字塔特征注意的图像显著性检测方法
CN105069481B (zh) 基于空间金字塔稀疏编码的自然场景多标记分类方法
CN106610969A (zh) 基于多模态信息的视频内容审查***及方法
CN103268470B (zh) 基于任意场景的视频对象实时统计方法
CN106570874B (zh) 一种结合图像局部约束与对象全局约束的图像标记方法
CN104134068B (zh) 基于稀疏编码的监控车辆特征表示及分类方法
CN103049763A (zh) 一种基于上下文约束的目标识别方法
Arandjelovic Crowd detection from still images
CN110598560A (zh) 基于神经网络增强的夜间监控识别方法和***
CN104978567A (zh) 基于场景分类的车辆检测方法
CN110347870A (zh) 基于视觉显著性检测与层次聚类法的视频摘要化生成方法
CN111260645B (zh) 基于分块分类深度学习的篡改图像检测方法及***
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和***
CN107315998A (zh) 基于车道线的车辆种类划分方法和***
CN106407899B (zh) 基于局部纹理特征的人群密度谱估计方法
CN108898098A (zh) 基于监控平台的早期视频烟雾检测方法
Tao et al. Smoke vehicle detection based on spatiotemporal bag-of-features and professional convolutional neural network
TWI696958B (zh) 影像適應性特徵提取法及其應用
CN104008374A (zh) 一种矿井图像中基于条件随机场的矿工检测方法
Sridevi et al. Vehicle identification based on the model
Xue et al. Urban waterlogging monitoring and early warning based on video images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant