CN107886067B - 一种基于hiksvm分类器的多特征融合的行人检测方法 - Google Patents
一种基于hiksvm分类器的多特征融合的行人检测方法 Download PDFInfo
- Publication number
- CN107886067B CN107886067B CN201711085825.8A CN201711085825A CN107886067B CN 107886067 B CN107886067 B CN 107886067B CN 201711085825 A CN201711085825 A CN 201711085825A CN 107886067 B CN107886067 B CN 107886067B
- Authority
- CN
- China
- Prior art keywords
- features
- extracting
- feature
- histogram
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 238000013139 quantization Methods 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 36
- 238000012706 support-vector machine Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009977 dual effect Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000005286 illumination Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000011480 coordinate descent method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于HIKSVM分类器的多特征融合的行人检测方法,具体包括以下步骤:确定行人图像序列中的行为区域;在行为区域内提取多项特征,形成融合特征;利用训练好的基于上述融合特征的HIKSVM分类器进行行人检测。本发明改进了特征提取方法,提取出HOG特征之后,通过类比,把梯度场改为光流场,提取HOF特征,保留了物体的形状信息和运动信息,同时避免了使用光流场描述整幅运动物体的计算复杂性,鲁棒性强;通过对LBP算法的改进,使用LQC算法提取纹理特征,不损失纹理信息的基础上,减少了计算复杂度;使用直方图交叉核,通过交叉坐标下降的方法,对SVM分类器进行分类训练,计算复杂度低,检测精度高。
Description
技术领域
本发明涉及计算机视觉和模式识别技术领域,尤其涉及一种基于HIKSVM分类器的多特征融合的行人检测方法。
背景技术
行人检测是一项具有挑战性的任务,因为它们的外观可变性强,姿态种类繁多。如果想要在混乱的背景或困难的照明条件下,都能够正确的检测出人体,一个强大的特征集对于正确区分行人是至关重要的。
针对行人检测的问题,目前提出了很多用于特征提取的描述符。其中定向梯度直方图(HOG)描述符提供了相对于其他特征集(包括小波)的优异性能。但是梯度方向直方图表示的是图像的边缘信息,保留的是目标的形状信息,针对的是单幅图像,但是行人检测一般都是运动的目标,往往需要多幅图像来表示,检测效果不好。
在特征提取的局部算子中,局部二值模式(LBP)方法,通过使用中心像素灰度作为阈值,把其周围邻域像素进行二值化,再把邻域像素的二值化编码组合起来作为局部邻域的编码,最后通过统计编码的出现频次来反映图像的纹理信息,对于鲁棒性强的局部信息可以有效的提取,在纹理识别方面取得很好的效果。但是普遍的纹理特征提取描述符LBP不方便直接提高量化等级,会导致特征长度增大太多,增加计算复杂度。
支持向量机(SVM)理论是由统计学习理论发展得来,其基本思想为:通过非线性变换将输入空间变换到一个高维空间,然后在高维空间中求取最优分类面,非线性变换实质上是由内积函数来实现的。使用常规SVM分类器,数据量很大时,训练时间会很长,不利于实时性。
发明内容
鉴于上述的分析,本发明旨在提供一种基于HIKSVM分类器的多特征融合的行人检测方法,用以解决现有行人检测方法检测精度不高、检测实时性差的问题。
本发明的目的主要是通过以下技术方案实现的:
一种基于HIKSVM分类器的多特征融合的行人检测方法,包括以下步骤:
确定行人图像序列中的行为区域;
在上述行为区域内提取多项特征1,并进行融合,形成融合特征1;
利用训练好的基于上述融合特征1的HIKSVM分类器进行行人检测。
本发明有益效果如下:
通过融合HOG和HOF特征,使检测效果更加突出;运用局部量化编码的算法描述图像的纹理信息,在大幅降低特征维度的同时,并不损失任何纹理信息,对旋转、光照和视角有较强的鲁棒性;通过ICD方法的使用,对HIKSVM(直方图交叉核SVM分类器)的训练时间缩短,分类精度提高。
在上述方案的基础上,本发明还做了如下改进:
进一步,对所述HIKSVM分类器的训练,包括以下步骤:
将训练集的尺度变换到统一大小,检测出行为区域;
在上述行为区域内提取多项特征2,并进行融合,得到融合特征2;
使用直方图交叉核支持向量机,对训练集中的正负样本进行训练过程中,采用了交叉坐标下降的方法。
采用上述进一步方案的有益效果是:
通过直方图交叉核支持向量机对正负样本进行训练,以便对待检测的图像进行分类检测,提高检测的精度。
进一步,所述交叉坐标下降的方法包括,利用解向量ω和表矩阵T之间的双射关系,通过初始化解向量ω来实现表矩阵T的初始化;通过对对偶形式的解αi的不断更新来更新解向量ω,实现表矩阵T的更新。
采用上述进一步方案的有益效果是:
克服了传统坐标下降方法的实用性差的缺陷,解决了HIKSVM训练过程中最优化的问题,加快了训练速度,降低分类复杂度。
进一步,所述提取多项特征1和提取多项特征2均包括:提取形状特征、提取运动特征、提取纹理特征。
采用上述进一步方案的有益效果是:
提取图像的多种特征,充分利用图像本身的信息,提高检测的精度。
进一步,所述提取纹理特征,包括:
将检测窗口划分为小区域,对于每个区域中的一个像素,采用局部量化编码的方法进行量化;
根据上述量化的结果,构建每个区域的直方图;
对上述得到的直方图进行归一化处理;
将上述归一化处理后得到的每个区域的直方图进行连接,得到图像的纹理特征。
进一步,所述采用局部量化编码的方法,包括:采用十进制进行编码;通过全局量化方法得到中心像素的灰度值;使用一系列基于平均局部灰度差异的阈值来进行量化。
采用上述进一步方案的有益效果是:
在大幅降低特征维度的同时,并不损失任何纹理信息,对旋转、光照和视角有较强的鲁棒性。
进一步,所述提取形状特征,包括:
将输入图像进行灰度化处理;
采用Gamma校正法对上述图像进行颜色空间的标准化;
计算上述标准化后的图像中每个像素的梯度;
将输入图像分割为小的单元格;
构建上述每个单元格的梯度方向直方图;
把上述单元格组合成大的块,块内归一化梯度直方图向量,即为HOG特征描述子;
将上述输入图像序列内的所有块的HOG特征描述子串联起来得到所述图像的形状特征。
进一步,所述提取运动特征,包括:计算图像的光流场,求解光流场,得到运动特征向量。
采用上述进一步方案的有益效果是:
光流场能够较好的描述运动物体,利用和HOG特征向量相似的描述方法,用特征向量来描述运动区域,减少了计算量,增强了鲁棒性。
进一步,所述形成融合特征1和融合特征2,均包括:
提取LQC纹理谱;
将上述提取的纹理谱进行HOG运算,得到局部量化编码下的梯度方向直方图;
将上述得到的局部量化编码下的梯度方向直方图与HOF按顺序级联方式进行融合,得到融合特征1和融合特征2。
进一步,使用主成分分析方法对所述融合特征1和融合特征2进行降维。
采用上述进一步方案的有益效果是:
降低特征向量维度,减少计算量,提高检测的实时性。
本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1示出了一种基于HIKSVM分类器的多特征融合的行人检测方法流程图。
图2示出了通过HOG提取形状特征示意图。
图3示出了单元格构建梯度方向直方图示意图。
图4示出了LQC的编码处理示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
本发明的一个具体实施例,公开了一种基于HIKSVM分类器的多特征融合的行人检测方法,如图1所示,具体包括以下步骤:
步骤S1,确定行人图像序列中的行为区域;
将待检测的行人图像序列的尺度变换到统一大小,检测出行为区域。
可选的,可以对待检测的行人图像序列进行预处理,以获得更加清晰的图像,提高图像检测精度。
步骤S2,提取上述行为区域内的特征,包括:提取形状特征、提取运动特征、提取纹理特征。具体包括以下步骤:
步骤S201、通过HOG提取形状特征。
HOG(梯度方向直方图)表征的是图像的边缘信息,可以很好地描述局部目标的外观和形状,通过统计其在各个区块内的直方图达到了降低维度的效果,同时又保留了一定的形状信息。如图2所示,具体包括以下步骤:
步骤S20101:将图像进行灰度化处理;
由于颜色信息作用不大,通常转化为灰度图。
步骤S20102:采用Gamma校正法对输入图像进行颜色空间的标准化(归一化);目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;
所述像素点(x,y)的Gamma压缩公式为:
I(x,y)=I(x,y)gamma
可以取Gamma=1/2。.
步骤S20103:计算图像每个像素的梯度(包括大小和方向);
计算图像横坐标和纵坐标方向的梯度,并据此计算每个像素位置的梯度方向值;不仅能够捕获轮廓,还能进一步弱化光照的干扰。
梯度算子:水平边缘算子:[-1,0,1];垂直边缘算子:[-1,0,1]T图像中像素点(x,y)的梯度为:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
式中Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为:
步骤S20104:将图像分割为小的Cell单元格;
由于Cell单元格是HOG特征最小的结构单位,而且其块(Block)和检测窗口的滑动步长就是一个Cell的宽度或高度,所以,先把整个图像分割为一个个的Cell单元格。
步骤S20105:为每个单元格构建梯度方向直方图;
统计上述每个Cell的梯度直方图(不同梯度的个数),即可形成每个Cell的描述子;
这一步的目的是:***部图像梯度信息并进行量化(或称为编码),得到局部图像区域的特征描述向量。同时能够保持对图像中人体对象的姿势和外观的弱敏感性。
将图像分成若干个“单元格Cell”,本实施例中,每个cell为8*8个像素(可以是矩形的(rectangular),也可以是星形的(radial))。采用9个区间的直方图来统计这8*8个像素的梯度信息。也就是将Cell的梯度方向360度分成9个方向块,如图3所示,这个像素的梯度方向是20-40度,直方图第2个区间的计数就加一,这样,对Cell内每个像素用梯度方向在直方图中进行加权投影,即映射到固定的角度范围,就可以得到这个Cell的梯度方向直方图了,因为有9个区间,就可以得到该Cell对应的9维特征向量。
像素梯度方向计算得出之后,接下来就要计算像素梯度大小。梯度大小是作为投影的权值的。一个像素的梯度方向是20-40度,它的梯度大小是2,那么直方图第2个bin的计数就不是加1了,而是加2。
单元格Cell中的每一个像素点都为某个基于方向的直方图通道投票。投票是采取加权投票的方式,即每一票都是带权值的,这个权值是根据该像素点的梯度幅度计算出来的。可以采用幅值本身或者它的函数来表示这个权值,实际测试表明:使用幅值本身来表示权值能获得最佳的效果。
步骤S20106,把单元格组合成大的块(block),块内归一化梯度直方图向量;
将每几个cells组成一个block(本实施例中每个块由3*3个单元格组成),一个block内所有cell的特征描述子串联起来便得到该block的HOG特征描述子。
由于局部光照的变化以及前景-背景对比度的变化,使得梯度强度的变化范围非常大。这就需要对梯度强度做归一化。归一化能够进一步地对光照、阴影和边缘进行压缩。首先将多个邻近的cell组合成一个block块,再求其梯度方向直方图向量;然后进行归一化(本实施例中采用L2-Norm with Hysteresis threshold(滞后阈值)方式),即将直方图向量中区间值的最大值限制为0.2以下,然后再重新归一化一次;
引入v表示一个还没有被归一化的向量,它包含了给定区间(block)的所有直方图信息。||V||k表示v的k阶范数,这里的k取1、2。用e表示一个很小的常数。本实施例使用的归一化因子可以表示如下:L2-norm:L2-Hys:它可以通过先进行L2-norm,对结果进行截短(clipping)(即值被限制为v-0.2v之间),然后再重新归一化得到。
需要注意的是:block之间是“共享”的,也就是说,一个cell会被多个block“共享”。另外,每个“cell”在被归一化时都是“block”独立的,也就是说每个cell在其所属的block中都会被归一化一次,得到一个向量。这就意味着:每一个单元格的特征会以不同的结果多次出现在最后的特征向量中。
步骤S20107,将图像序列内的所有block的HOG特征描述子串联起来就可以得到该图像的HOG特征。
步骤S202,通过HOF提取运动特征。
所述提取运动特征的具体步骤包括:计算图像的光流场,求解光流场,得到运动特征向量。
光流场方向直方图(HOF)特征是一种局部特征,将HOG特征的梯度场改为光流场,就可以得到全局的HOF特征。运动物体会在图像平面上形成一系列连续变化的图像,一系列连续变化的信息不断“流过”图像平面,好像一种光的“流”,称之为光流,光流表达图像的变化,通过两帧图像间的对比可以得到光流场,所以可以从光流场上提取目标的运动特征。由于光流信息包含了光点运动的概念,所以光流场方向直方图能够更好的表征运动图像。
光流场能够较好的描述运动物体,但是如果用光流场描述整幅的运动物体,则计算量太大而且鲁棒性差,所以利用和HOG特征向量相似的描述方法,用特征向量来描述运动区域。将计算梯度场的过程换成计算光流场的方法,就可以得到光流场方向直方图。
具体地,通过对图像的光流场进行计算,得到光流约束方程。
设f(x,y,t)是视频序列在t时刻帧(x,y)未知的照度,假定在很短的时间内点(x,y)的照度保持不变,则下一时刻(t+△t)的光流照度应当满足下式:
f(x+uΔt,y+vΔt,t+Δt)≈f(x,y,t)
式中,x,y为像素点的横纵坐标,t为时刻,u和v为当前点(x,y)的光流运动的x方向和y方向分量,
如果亮度随x,y,t均匀变化,将上式的左边按照泰勒级数展开可得:
式中,e是△x,△y,△t二阶和二阶以上的项,两边除以△t,并取Δt→0,则e→0,可得光流约束方程:
式中,f是视频序列在t时刻帧(x,y)未知的照度,u和v为点(x,y)的光流运动的x方向和y方向分量。
仅用上述光流约束方程是无法求出u和v两个未知数,利用Lucas-Kanade方法求解,Lucas-Kanade是一种预测校正型的位移估计器,此方法求解不仅精度较高,而且运算速度也比较快。
具体地,在一个小的空间邻域Ω上,光流估计误差定义为:式中,W(x)为窗口权重函数,靠近中心的点权值较大,靠近外侧的点权值较小,fx,fy,ft分别是照度f(x,y,t)对对应元素的偏导数。通过公式ATW2AV=ATW2B进行求解则最终解为V=(u,v)T=[ATW2A]-1ATW2B。其中,
V=(u,v)T
W=diag[W(x1,y1),…,W(xi,yj),…]
B=-[ft(x1,y1),…,ft(xi,yj),…]
式中,(xi,yj)∈Ω,V为求解的速度向量(u,v)T,A为偏导数矩阵,W是权重函数,B为像素点对t的偏导数矩阵。
步骤S203,通过LQC提取纹理特征。
采用局部量化编码(LQC)的方法提取纹理特征,该方法使用一系列基于平均局部灰度差异的阈值来进行量化。局部量化编码(LQC)方法对旋转、光照和视角有较强的鲁棒性,运用局部量化编码的方法描述图像的纹理信息,在大幅降低特征维度的同时,并不损失任何纹理信息。
具体包括以下步骤:
步骤S20301、将检测窗口划分为16×16的小区域(cell),对于每个cell中的一个像素,将其环形邻域内的像素点与中心点进行顺时针或逆时针的比较,比中心像素大赋值为1,反之为0,每个点都会获得一个对应的二进制数,通常转换成十进制数。
步骤S20302、计算每个cell的直方图,即每个数字出现的频率。
步骤S20303、对上述直方图进行归一化处理。
步骤S20304、将得到的每个cell的统计直方图进行连接,得到整幅图的纹理特征。
传统的LBP算法将局部邻域的每一个像素与中心像素进行比较从而变为二值化形式。为了提高量化水平,需要使用一组量化阈值(σ1,σ2,σ3,σ4,...),确定这些阈值之后,局部邻域的像素被分类为不同的量化水平。属于第i个量化水平(qi)的相邻像素的数量计算公式如下:
式中,gc是中心像素的灰度值,gp(p=1,...,p)是一个圆形邻域内相邻像素的灰度值,σi是第i个量化阈值。通过双线性插值法估计不落在像素中心的邻域。计算qi等于将量化为第i个级别的相邻像素的数量进行计数。
在每一个局部量化水平计算出qi之后,定义局部量化编码(LQC)如下:
式中qi是量化级别i处的相邻像素的数量,Q表示相邻量化级别的总数。
上述LQC与中心像素的全局量化级相结合,可得:
其中,qc表示中心像素的量化级,qi是量化级别i处的相邻像素的数量,Q表示相邻量化级别的总数。
通过均匀分割灰度级直方图对中心像素进行量化。本实施例使用的LQC编码方案采用十进制编码而不是通常使用的二进制编码,因此中心量化级别qc可以设置为0到9。与相邻像素不同,中心像素的灰度值通过全局量化方法代替局部量化方法得到,这是因为qc应该描述整个图像中局部灰度值的水平。
如图4所示,显示了在(R=1,P=8)处的LQC的编码处理。每个立方列表示像素,立方列的高度表示相应像素的灰度值,相邻像素的灰度值被量化为4个级别。然后对位于每个级别的相邻像素的数量qi(i=1,...,4)进行计数。位于第1,第2,第3,第4级水平的分别有1,2,2,3个像素。最后,组合不同级别的像素数以形成LQC代码122(省略了第一级的最后一个数字3以减小特征大小),因为相邻像素的总数固定。
LQC可以通过使用比传统的LBP更多的量化级别来精确地表征局部结构。不同的局部结构可以具有相同的LBP码,但是他们的LQC码是完全不同的。而且,LQC仅计算不同级别的像素数,因此对旋转严格不变,非常适合旋转不变纹理分类场景。
本实施例中,半径为1的相邻数P设为8,即(R=1,P=8),因此每个qi的值可以是九个值(0-8),当邻域的半径设置放大,每个qi的值仍然被量化为九个值(0-8),使得十进制可用于较大的半径。例如,当半径为2时,qi的值范围为0到16,然后将qi直接量化为9个等级(0-8)。
在计算每个像素的局部量化编码之后,建立直方图代表纹理图像。应该注意的是,虽然LQC直方图的大小为10L,量化级别为L,但是直方图会有多个分区总是零,那是因为只有有限的相邻像素被编码。例如,如果量化级别4的q4为8(R=1,P=8),那么LQC代码只能到'800',因为总共有8个相邻像素。其余代码'801'到'899'是无关紧要的,可以从最后的直方图中简单地去掉这些无意义的全零分区。
在常规LBP中,局部中心像素的灰度值直接用作局部阈值。很明显,固定的人工阈值对于不连续和不均匀的照明变换不是鲁棒的,而局部差异对照明变换相对更不敏感。因此,在本实施例中LQC方法采用平均局部差异来设置一系列量化阈值来代替固定的人工阈值。
基本阈值Δ被计算为纹理图像上的局部相邻点的平均差,公式如下:
其中,gc是中心像素的灰度值,gp(p=1,...,p)是一个圆形邻域内相邻像素的灰度值,Nc是纹理图像上的中心像素的总数。Δ反映了局部灰度级的平均差异,对于单纯照明变换来说,这比人工固定阈值更为鲁棒。本实施例所述LQC方法中,通过基准阈值Δ,将量化阈值(σ1,σ2,σ3,σ4,...)的系列简单地设置为(0,Δ,2Δ,3Δ...)。
步骤S3,对上述提取的特征进行融合,得到融合特征向量。
提取出图像的形状特征、运动特征、纹理特征之后,对得到的特征进行融合处理,得到融合特征向量。
具体地:对提取出的LQC纹理谱进行HOG运算,得到局部量化编码下的梯度方向直方图,把基于LQC的HOG直方图与HOF特征按顺序串联方式进行融合,得到联合直方图,得到新的特征融合向量,然后使用主成分分析方法进行降维处理。
步骤S4,利用训练好的HIKSVM分类器对上述融合特征向量进行检测。
通过使用一种确定性和高扩展性的双空间求解器ICD(交叉坐标下降)的方法,对HIKSVM分类器进行训练,训练时间缩短,分类精度提高,而且对SVM中的C参数不敏感,即使使用默认参数也能达到高精度。
具体包括以下步骤:
步骤S401:输入训练集,尺度变换到统一大小,检测出行为区域;
步骤S402:按照上述方法提取HOG、HOF和LQC特征,并进行融合,得到联合直方图,作为分类的新的特征描述子;
步骤S403:使用直方图交叉核支持向量机,通过交叉坐标下降的方法对训练集中的正负样本进行训练。
直方图交叉核支持向量机(HIKSVM)分类器是一种非线性核SVM分类器,在性能上逼近非线性SVM,时间复杂度上近似于线性SVM,完成了更好的性能平衡。它的提出是为了加速直方图特征的比较过程,原理是以某种形式获得直方图特征每个分量的线性组合。转换到特征空间,等同于一个对偶问题,针对对偶问题,使用的解决方案一般是坐标下降的方法,在本实施例中,使用一种确定性和高扩展性的双空间求解器ICD方法,减少训练时间,提高精度。
ICD应用在HIKSVM分类器的快速训练中,在把数据集量化成整数之后,需要解决的是特征空间的线性SVM问题。通过充分利用数据结构来实现输入空间的计算问题,而不是创建和存储数据集,这样的话就不用重新对输入数据进行编码。同时ICD可以解决HIKSVM最优化的问题,在初始直方图而不是高维特征空间执行计算,这样可以保持快速训练的速度。所述采用ICD对直方图交叉核支持向量机进行训练,加快训练速度,降低分类复杂度;具体包括以下步骤:
特征空间的线性SVM生成的解向量为ω=[ω1,…,ωd]∈Rdv,对于表矩阵T∈Rdv,两者具有双射关系其中,T表示特征空间表矩阵;j∈{1,...,d},j表示特征维度,对于任意的j={1,......,d},Tj,0=0;k表示元素取值范围,d为直方图维数,是元素取值上限。
步骤S40302、把特征空间的线性SVM解决的问题转化为对偶问题;
所述特征空间的线性SVM解决的问题为:
式中,ξ(ω:B(xi),yi)=max(1-yiωTB(xi),0)2是L2-loss函数,ω=∑iαiyiB(xi),参数C控制在训练集上最大间隔和经验错误之间的权衡。
转化得到的对偶问题为:
步骤S40303、利用ICD解决上述得到的对偶问题,实现对分类器的快速训练。
因为解向量ω和表矩阵T之间的双射关系,ICD通过初始化解向量ω来达到初始化表矩阵T的目的。通过对对偶形式的解αi的不断更新来更新解向量ω,从而实现矩阵T的更新,直到实现最优结果。
一般解决对偶问题用的是坐标下降的方法,对于i=1,2,...,n,循序更新αi的值,当更新αi时,一个新的αi′被选择以至于可以最大程度的减少g(α),同时保留范围为[0,U]。判别式函数ω按照(αi′-αi)yiB(xi)增加,也就是说,使用第i个数据点B(xi)更新,因为没有明确的构建高维向量ω和B(xi),限制了传统坐标下降方法的实用性。
本实施例使用表矩阵T来计算高维向量ω和B(xi)。因为ω和T之间的一个双射关系,把T中的所有元素初始化为0,相当于把ω初始化为0。同时可以有效地计算ωTB(xi),简化了传统方法的计算。通过对对偶形式的解αi的不断更新来更新解向量ω,从而实现矩阵T的更新,直到实现最优结果。
使用ICD对HIKSVM训练之后,可以使用HIKSVM分类器根据上述提取的融合特征对待检测图像进行分类,复杂度和线性SVM是一样的。
综上所述,本发明实施例提供了一种基于HIKSVM分类器的多特征融合的行人检测方法,改进了特征提取方法,提取出HOG特征之后,通过类比,把梯度场改为光流场,提取HOF特征,保留了物体的形状信息和运动信息,同时避免了使用光流场描述整幅运动物体的计算复杂性,鲁棒性强;通过对LBP算法的改进,使用LQC算法提取纹理特征,不损失纹理信息的基础上,减少了计算复杂度;使用直方图交叉核,通过交叉坐标下降的方法,对SVM分类器进行分类训练,计算复杂度低,检测精度高。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于HIKSVM分类器的多特征融合的行人检测方法,其特征在于,包括以下步骤:
确定行人图像序列中的行为区域;
在上述行为区域内提取多项特征1,并进行融合,形成融合特征1;
利用训练好的基于上述融合特征1的HIKSVM分类器进行行人检测;
所述HIKSVM分类器的训练,包括以下步骤:
将训练集的尺度变换到统一大小,检测出行为区域;
在检测出的所述行为区域内提取多项特征2,并进行融合,得到融合特征2;
使用直方图交叉核支持向量机,对训练集中的正负样本进行训练过程中,采用了交叉坐标下降的方法;
所述交叉坐标下降的方法包括,利用解向量ω和表矩阵T之间的双射关系,通过初始化解向量ω来实现表矩阵T的初始化;通过对对偶形式的解αi的不断更新来更新解向量ω,实现表矩阵T的更新;
所述提取多项特征1和提取多项特征2均包括:提取形状特征、提取运动特征、提取纹理特征;
其中,通过梯度方向直方图提取形状特征,通过光流场方向直方图提取运动特征,采用局部量化编码的方法提取纹理特征;
所述形成融合特征1和融合特征2,均包括:
提取LQC纹理谱;
将上述提取的纹理谱进行HOG运算,得到局部量化编码下的梯度方向直方图;
将上述得到的局部量化编码下的梯度方向直方图与HOF按顺序级联方式进行融合,得到融合特征1或融合特征2。
2.根据权利要求1所述的方法,其特征在于,所述提取纹理特征,包括:
将检测窗口划分为小区域,对于每个区域中的一个像素,采用局部量化编码的方法进行量化;
根据上述量化的结果,构建每个区域的直方图;
对上述得到的直方图进行归一化处理;
将上述归一化处理后得到的每个区域的直方图进行连接,得到图像的纹理特征。
3.根据权利要求2所述的方法,其特征在于,所述采用局部量化编码的方法,包括:采用十进制进行编码;通过全局量化方法得到中心像素的灰度值;使用一系列基于平均局部灰度差异的阈值来进行量化。
4.根据权利要求3所述的方法,其特征在于,所述提取形状特征,包括:
将输入图像进行灰度化处理;
采用Gamma校正法对上述图像进行颜色空间的标准化;
计算上述标准化后的图像中每个像素的梯度;
将输入图像分割为小的单元格;
构建上述每个单元格的梯度方向直方图;
把上述单元格组合成大的块,块内归一化梯度直方图向量,即为HOG特征描述子;
将上述输入图像序列内的所有块的HOG特征描述子串联起来得到所述图像的形状特征。
5.根据权利要求4所述的方法,其特征在于,所述提取运动特征,具体包括:计算图像的光流场,求解光流场,得到运动特征向量。
6.根据权利要求5所述的方法,其特征在于,使用主成分分析方法对所述融合特征1和融合特征2进行降维。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711085825.8A CN107886067B (zh) | 2017-11-07 | 2017-11-07 | 一种基于hiksvm分类器的多特征融合的行人检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711085825.8A CN107886067B (zh) | 2017-11-07 | 2017-11-07 | 一种基于hiksvm分类器的多特征融合的行人检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107886067A CN107886067A (zh) | 2018-04-06 |
CN107886067B true CN107886067B (zh) | 2020-04-28 |
Family
ID=61779116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711085825.8A Active CN107886067B (zh) | 2017-11-07 | 2017-11-07 | 一种基于hiksvm分类器的多特征融合的行人检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107886067B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107316031B (zh) * | 2017-07-04 | 2020-07-10 | 北京大学深圳研究生院 | 用于行人重识别的图像特征提取方法 |
CN108549868A (zh) * | 2018-04-12 | 2018-09-18 | 中国矿业大学 | 一种行人检测方法 |
CN108830179A (zh) * | 2018-05-25 | 2018-11-16 | 太原科技大学 | 融合彩色图像边缘和深度方向直方图的行人检测算法 |
CN110458004B (zh) * | 2019-07-02 | 2022-12-27 | 浙江吉利控股集团有限公司 | 一种目标对象识别方法、装置、设备以及存储介质 |
CN110428450B (zh) * | 2019-08-01 | 2021-11-16 | 中国矿业大学 | 应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法 |
CN110866534B (zh) * | 2019-08-13 | 2023-09-12 | 广州三木智能科技有限公司 | 一种梯度幅度分布梯度朝向直方图的远红外行人训练方法 |
CN111950597B (zh) * | 2020-07-15 | 2022-10-18 | 重庆邮电大学 | 机器人基于原图光照不变图词袋模型改进的闭环检测方法 |
CN114049253B (zh) * | 2021-10-14 | 2024-07-05 | 长沙韶光半导体有限公司 | 基于光流信息的图像处理方法及相关设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104750734A (zh) * | 2013-12-30 | 2015-07-01 | 华为技术有限公司 | 基于线性支持向量机的分类方法及装置 |
CN105389567A (zh) * | 2015-11-16 | 2016-03-09 | 上海交通大学 | 基于稠密光流直方图的群体异常检测方法 |
CN105447503A (zh) * | 2015-11-05 | 2016-03-30 | 长春工业大学 | 基于稀疏表示lbp和hog融合的行人检测方法 |
CN106056631A (zh) * | 2016-06-06 | 2016-10-26 | 中国矿业大学 | 基于运动区域的行人检测方法 |
CN106446792A (zh) * | 2016-08-31 | 2017-02-22 | 大连楼兰科技股份有限公司 | 一种道路交通辅助驾驶环境下的行人检测特征提取方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160180158A1 (en) * | 2014-12-18 | 2016-06-23 | Magna Electronics Inc. | Vehicle vision system with pedestrian detection |
-
2017
- 2017-11-07 CN CN201711085825.8A patent/CN107886067B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104750734A (zh) * | 2013-12-30 | 2015-07-01 | 华为技术有限公司 | 基于线性支持向量机的分类方法及装置 |
CN105447503A (zh) * | 2015-11-05 | 2016-03-30 | 长春工业大学 | 基于稀疏表示lbp和hog融合的行人检测方法 |
CN105389567A (zh) * | 2015-11-16 | 2016-03-09 | 上海交通大学 | 基于稠密光流直方图的群体异常检测方法 |
CN106056631A (zh) * | 2016-06-06 | 2016-10-26 | 中国矿业大学 | 基于运动区域的行人检测方法 |
CN106446792A (zh) * | 2016-08-31 | 2017-02-22 | 大连楼兰科技股份有限公司 | 一种道路交通辅助驾驶环境下的行人检测特征提取方法 |
Non-Patent Citations (1)
Title |
---|
基于特征融合和交叉核SVM的快速行人检测方法;基于特征融合和交叉核SVM的快速行人检测方法;《光电工程》;20140228;第41卷(第2期);第1-1.3节 * |
Also Published As
Publication number | Publication date |
---|---|
CN107886067A (zh) | 2018-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107886067B (zh) | 一种基于hiksvm分类器的多特征融合的行人检测方法 | |
CN108470354B (zh) | 视频目标跟踪方法、装置和实现装置 | |
CN110111338B (zh) | 一种基于超像素时空显著性分割的视觉跟踪方法 | |
Lin et al. | Complex background subtraction by pursuing dynamic spatio-temporal models | |
CN103810723B (zh) | 基于帧间约束超像素编码的目标跟踪方法 | |
Hong et al. | Tracking using multilevel quantizations | |
CN106778712B (zh) | 一种多目标检测与跟踪方法 | |
CN101470809B (zh) | 一种基于扩展混合高斯模型的运动目标检测方法 | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
Wu et al. | Real-time background subtraction-based video surveillance of people by integrating local texture patterns | |
JP2006209755A (ja) | シーンから取得されたフレームシーケンス中の移動オブジェクトを追跡する方法 | |
CN111260738A (zh) | 基于相关滤波和自适应特征融合的多尺度目标跟踪方法 | |
CN109993052B (zh) | 一种复杂场景下尺度自适应的目标跟踪方法和*** | |
CN110008844B (zh) | 一种融合slic算法的kcf长期手势跟踪方法 | |
CN104820997A (zh) | 一种基于分块稀疏表达与hsv特征融合的目标跟踪方法 | |
CN107862702A (zh) | 一种结合边界连通性与局部对比性的显著性检测方法 | |
Campos et al. | Discrimination of abandoned and stolen object based on active contours | |
CN106407978B (zh) | 一种结合似物度的无约束视频中显著物体检测方法 | |
Lin et al. | Moving object detection through image bit-planes representation without thresholding | |
Kim et al. | AIBM: Accurate and instant background modeling for moving object detection | |
Devi et al. | A survey on different background subtraction method for moving object detection | |
Dou et al. | Modeling the background and detecting moving objects based on Sift flow | |
Dewan et al. | Detection of object in motion using improvised background subtraction algorithm | |
Schulz et al. | Object-class segmentation using deep convolutional neural networks | |
CN108573217B (zh) | 一种结合局部结构化信息的压缩跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180406 Assignee: XUZHOU HIRSCHMANN ELECTRONICS Co.,Ltd. Assignor: CHINA University OF MINING AND TECHNOLOGY Contract record no.: X2023980043304 Denomination of invention: A pedestrian detection method based on HIKSVM classifier and multi feature fusion Granted publication date: 20200428 License type: Exclusive License Record date: 20231012 |
|
EE01 | Entry into force of recordation of patent licensing contract |