CN108537771B - 基于hsv的mc-siltp运动目标检测方法 - Google Patents
基于hsv的mc-siltp运动目标检测方法 Download PDFInfo
- Publication number
- CN108537771B CN108537771B CN201810086250.XA CN201810086250A CN108537771B CN 108537771 B CN108537771 B CN 108537771B CN 201810086250 A CN201810086250 A CN 201810086250A CN 108537771 B CN108537771 B CN 108537771B
- Authority
- CN
- China
- Prior art keywords
- siltp
- rgb
- frame
- code word
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于HSV的MC‑SILTP运动目标检测方法,主要解决现有技术在纹理少或无纹理区域检测准确度低的问题。其实现步骤是:1)在MC‑SILTP纹理特征的基础上将HSV颜色空间的H和S通道颜色信息与MC‑SILTP纹理信息相融合,得到HS‑MC‑SILTP特征,使得在时间域上拥有与HSV颜色特征一致的时间序列分布;2)使用HS‑MC‑SILTP特征建立码本背景模型;3)改进码本模型的更新策略,使其更加准确地拟合背景,从而检测出运动目标。本发明提高了对纹理“平坦”区域的区分能力,漏检率低,检测结果更加完整,可用于智能监控、智能交通、人机交互、视觉导航、虚拟现实、医学诊断和可视化手术。
Description
技术领域
本发明属于计算机视觉领域,特别涉及一种运动目标检测方法,可广泛应用于智能监控、智能交通、人机交互、视觉导航、虚拟现实、医学诊断与可视化手术对视频图像的检测。
背景技术
随着近年来众多学者对视频目标检测领域的研究,出现了大量相关研究成果,尤其是基于背景建模的目标检测领域,出现了大量优秀的算法。根据使用的背景模型不同,可以分为基于统计特性的混合高斯MOG和支持向量机SVM模型、基于聚类的硬聚类K-means和码本Codebook模型、基于神经网络的卷积神经网络CNN和自组织神经网络SONN模型,基于样本的前景检测Vibe模型等。但是,在实际应用场景中目标检测往往面临着复杂又多元的挑战,如动态背景、光照变化、相机抖动、阴影等等。简单的背景建模方法通常在复杂场景下得不到完整准确的检测结果。因此,研究人员提出了一系列的改进方法。
一般来说,他们对背景建模的改进主要在两个方向上。一个方向是提出更加复杂的背景模型,使得建立的背景模型可以更加完美地拟合真实背景,从而得到更好的检测结果。另一个方向是使用更加有效的工具来提取图像特征,使得图像特征可以更加鲁棒的描述背景图像。使用复杂的背景模型通常情况下可以提高模型鲁棒性,适应更多的复杂情景,但不可避免的会增加算法复杂度,使得模型的建立与更新更加困难,以至于无法满足实时性需要。
纹理是一种反映图像中同质现象的视觉特征,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。因此可以更加精确地描述复杂纹理场景,并且对于光照变化以及局部阴影场景都有一定的抑制能力,因而其成为运动目标检测领域最常用的特征之一。最简单的纹理描述算子是由Heikkila等人在2004年提出的局部二值模式LBP。通过提取LBP特征,建立直方图对背景进行建模使得模型具有一定程度的抗光照变化能力,但LBP是一种硬化分,对噪声十分敏感,当周围像素点的值存在微小波动时,可能造成LBP特征值的变化,并且无法处理无纹理或少纹理区域。Tan和Triggs提出了局部三值模式LTP,其在LBP特征的基础上引入了一个容忍区间,由于在区间范围内的微小变化都不会引起特征值变化,因而能够有效解决局部噪声问题,但对于全局光照变化等剧烈变化情况仍无能为力。Liao等人在2010年CVPR国际会议上提出了一种灰度尺度不变局部三值模式SILTP特征,该特征通过自适应阈值策略大大提高了算子对于局部以及全局灰度变化的鲁棒性。
上述无论是LBP,LTP或者SILTP算子都仅利用图像的灰度值来计算特征值,对颜色纹理平坦区域的区分度低,从而导致目标检测漏检率较高,针对这个问题,F.Ma等人在2013年提出一种改进的SILTP纹理算子,即多通道SILTP纹理算子MC-SILTP。该算子是在SILTP算子的基础上,改变单纯利用灰度空间计算的方式,采用RGB颜色空间中对SILTP特征进行多通道计算,即对R,G,B三个颜色通道分别进行两两交叉计算SILTP算子,从而得到三组不同的SILTP二进制特征值,最后将三种特征值拼接为一个完整的MC-SILTP特征值。但是对于RGB颜色空间中的纹理较少以及无纹理区域,将会得到相同的MC-SILTP纹理特征值,使得视觉上明显不同的区域却拥有相同的纹理特征值,从而导致误检。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于HSV的MC-SILTP运动目标检测方法,以提高检测结果的完整性,并有效降低检测的误检率和漏检率。
实现本发明的关键技术是:在多通道灰度尺度不变局部三值模式纹理算子MC-SILTP特征的基础上增加HSV纹理特征,即色调、饱和度和亮度这三种纹理特征,并将HSV颜色空间中的色调H和饱和度S通道颜色信息与MC-SILTP纹理信息相融合得到HS-MC-SILTP特征,使其在保持原有纹理特征的同时在时间域上拥有与HSV颜色特征一致的时间序列分布,以提高纹理“平坦”区域的区分能力;同时使用HS-MC-SILTP特征建立码本背景模型,通过改进码本模型的更新策略,使得背景模型可以更加准确地拟合背景。在准确地检测出前景目标的同时,提高检测结果的完整性。其实现步骤包括如下:
(1)设每个像素点(x,y)的背景模型对应一个码本模型CB(x,y),每个码本模型中最多包含L=20个码字cw(x,y),每个码字包含像素的特征值f(x,y)及特征值对应的权值ω(x,y);
(2)将每个像素点(x,y)的码本模型初始化为空,即码字个数为0,码字为空;
(3)将前T帧Ia作为训练帧,训练每个像素点(x,y)的码本模型CBa(x,y),其中a为训练帧号,1≤a≤T,T=50为训练帧总数;
(3a)计算码本模型中每个码字的特征值:
(3a2)将Ia帧转化到HSV颜色空间,得到图像Xa,选取Xa的色调分量Xa,h和饱和度分量Xa,s,将Xa,h和Xa,s中的值均量化到0-127范围,并对量化后的色调分量X'a,h和量化后的饱和度分量X'a,s求和后在n×n邻域内进行加权平均,得到颜色信息Va,HS(x,y),其中,n取值为3;
(3b)将与前一帧码本模型CBa-1(x,y)中的码字cwa-1,l(x,y)的特征值fa-1,l(x,y)进行匹配,若有一个码字与特征值匹配成功,则更新码字的权值,否则用和权值ω0=1/T新建一个码字,其中,1≤l≤Ka-1(x,y)Ka-1(x,y)为前一帧码字的个数;
(3c)判断码本模型是否训练结束,若帧数a未达到训练帧总数T,则a增加1,并重复执行步骤3a)-3b),否则,执行步骤(4);
(4)从视频的T+1帧开始检测前景:
(4a)找出前一帧It-1的每个像素点(x,y)的码本模型中所有属于背景的码字cwt-1,i(x,y),其中i=1,…,B(x,y),表示背景的码字个数,Tb=0.7表示背景分割阈值,阈值越大,属于背景的码字就越多,ωt-1,i(x,y)为第t-1帧第i个码字的特征值对应的权值,cwt-1,i(x,y)为第t-1帧中第i个码字,t=T+1,T+2,…;
(4b)对It帧中每个像素点(x,y)计算当前特征值与它的所有背景码字cwt-1,i(x,y)的特征值ft-1,i(x,y)之间的最小距离dmin(x,y),其中,ft-1,i(x,y)为第t-1帧第i个码字对应的特征值;
(4c)在像素点(x,y)处,将最小距离dmin(x,y)与前景分割阈值Tfg=5进行比较:
若dmin(x,y)>Tfg,则像素(x,y)为前景即运动目标,表示为fgt(x,y)=1;
若dmin(x,y)≤Tfg,则为背景,表示为fgt(x,y)=0,并执行(5);
(5)对码本模型进行更新:
若dt,RGB,l(x,y)=0,则更新权值ω(x,y),
若dt,RGB,l(x,y)>0,则新建一个码字,
其中,dt,RGB,i(x,y)表示当前像素的纹理特征与第i个背景码字cwt-1,i(x,y)的纹理特征之间的距离,l=argmin{dt,RGB,i(x,y)}表示距离当前特征值最近的背景码字cwt-1,l(x,y)的下标,其中i=1,…,B(x,y);
(6)重复执行步骤4)-5),直到视频结束。
本发明具有如下优点:
本发明在MC-SILTP纹理特征基础上融合了HSV颜色空间中的H和S颜色分量,得到HS-MC-SILTP特征。该特征同时具有纹理信息与HSV颜色信息,从而大大提高了纹理特征在纹理平坦区域的区分能力
本发明由于使用HS-MC-SILTP特征建立码本背景模型,并通过对码本模型改进,使其能更加准确地拟合背景,从而有效降低漏检率,提高检测结果的完整性与准确性。
附图说明
图1是本发明的实现流程图;
图2是用现有MC-SILTP纹理算子在少纹理区域的检测结果图;
图3是在WaterSurface测试视频集中对像素点(71,90)的MC-SILTP特征、HS颜色信息和HS-MC-SILTP特征在时域中得到的曲线图;
图4是本发明与现有的几种方法在不同的视频集中对运动目标检测的结果图。
具体实施方式
以下结合附图对本发明的技术方案和效果进行进一步说明:
参照图1,本发明的实现步骤如下:
步骤1定义码本模型。
现有的码本模型每一个码字由一个六元组和一个颜色矢量表示,本发明使用一个二元组表示码字,其定义如下:
为每个像素点(x,y)建立一个码本模型CB(x,y),每个码本模型中包含若干码字cw(x,y),每个码字由一个二元组表示,每个码本可容纳码字的最大数量为L,即:
CB(x,y)={cw1(x,y),cw2(x,y)…cwm(x,y)cwL(x,y)}
cwm(x,y)={fm(x,y),ωm(x,y)},1≤m≤L
其中,L=20。fm(x,y)表示cwm(x,y)的特征值,ωm(x,y)表示特征值fm(x,y)的权值。
步骤2初始化码本模型。
将每个像素点(x,y)的码本模型初始化为空,即:
其中,K0(x,y)表示初始时刻码本中码字的数量,K0(x,y)≤L。
步骤3训练码本模型。
(3.1)将一个完整视频序列A的前T帧作为训练帧Ia,T帧之后的视频帧作为待检测帧It,其中,1≤a≤T,T=50表示训练帧的总数,t=T+1,T+2,…;
(3.2)计算像素点的纹理特征和颜色信息:
现有的纹理特征有:局部二值模式LBP、局部三值模式LTP、灰度尺度不变局部三值模式SILTP、多通道灰度尺度不变局部三值模式MC-SILTP,本实例提取的纹理特征是在MC-SILTP的基础上加入HSV空间中的色调H和饱和度S颜色信息,以提高了对纹理“平坦”区域的区分能力,其计算步骤如下;
(3.2.1)计算纹理特征:
其中,代表比特连接运算符,N=4表示取像素点(x,y)的4-邻域像素点,Ia,R(x,y),Ia,G(x,y),Ia,B(x,y)分别表示视频帧Ia的像素点(x,y)在R,G,B三个通道的像素值,Ia,R,k(x,y),Ia,G,k(x,y),Ia,B,k(x,y)分别表示像素点(x,y)的第k个邻域在R,G,B三个通道的像素值,其中k=0,…,N-1,sτ(u,v)是一种分段函数,若v>(1+τ)u则编码为01,若v<(1+τ)u编码为10,否则编码为00,τ=0.05表示尺度系数;
对上述三个特征进行拼接,得到为一个完整MC-SILTP特征值,即纹理特征
(3.2.2)计算颜色信息:
将视频帧Ia转化到HSV颜色空间,得到图像Xa,选取图像Xa的色调H分量Xa,h和饱和度S分量Xa,s,将Xa,h和Xa,s均量化到0~127,得到量化后的色调分量X'a,h和饱和度分量X'a,s:
将量化后的两个图像X'a,h和X'a,s求和后在n×n邻域内进行加权平均,得到平滑后H和S通道的颜色信息Va,HS(x,y):
其中,bitshift(·)函数代表比特位移函数,24表示向左移动24比特位;
(3.3.1)计算R、B、G纹理特征值之间的距离da,RGB,m(x,y)和H、S颜色特征值之间的距离da,HS,m(x,y):
其中τ=0.05表示尺度系数,fa-1,m(x,y)表示第a-1帧第i个码字对应的特征值,函数D24(·,·)表示统计两特征值后24比特位数值不同的位数,函数D8(·,·)统计两特征值前8比特位数值差的绝对值;
若da,RGB,m(x,y)和da,HS,m(x,y)同时满足da,RGB,m(x,y)<TRGB和da,HS,m(x,y)<THS的条件,则与第m个码字cwa-1,m(x,y)的特征值fa-1,m(x,y)匹配成功,更新码字cwa-1,m(x,y)的权值为:ωa,m(x,y)=ωa-1,m(x,y)+ω0,其中:TRGB=1表示R、B、G纹理特征相似度阈值,THS=10表示颜色匹配阈值,ω0=1/T表示初始权值,ωa-1,m(x,y)表示前一帧码字的权值,ωa,m(x,y)表示更新后的权值;
否则,未匹配成功,执行(3.3.3);
(3.3.3)将前一帧码字个数Ka-1(x,y)与码本模型中码字总数L=20进行比较:
如果Ka-1(x,y)<L,则在码本模型中增加一个新的码字cwa,Ka(x,y)(x,y):
其中Ka(x,y)=Ka-1(x,y)+1表示当前的码字个数;
如果Ka-1(x,y)≥L,则在码本模型中新建一个码字为cwa,k(x,y)代替权值最小的码字:
其中,表示a-1帧中码字权值最小的下标,ωa-1,l(x,y)表示a-1帧中第l个码字对应的特征值,l=argmin{da-1,RGB,i(x,y)}表示距离当前特征值最近的背景码字cwa-1,l(x,y)的下标,其中i=1,…,B(x,y);
(3.4)判断码本模型是否训练结束,若帧数a未达到训练帧总数T,则a增加1,并重复执行步骤3.1)-3.3),否则,执行步骤4
步骤4前景检测。
前景指的是视频帧中的运动目标,前景检测即对待检测帧It中的运动目标进行检测,判断像素点是运动目标,还是背景,其检测步骤如下:
(4.1)找出前一帧It-1的每个像素点(x,y)的码本模型中所有属于背景的码字cwt-1,i(x,y),
其中i=1,…,B(x,y),表示属于背景码字的个数,其中ωt-1,i(x,y)为第t-1帧第i个码字的特征值对应的权值,cwt-1,i(x,y)为第t-1帧中第i个码字,Tb=0.7表示背景分割阈值,阈值越大,属于背景的码字就越多;
其中Tc=3代表纹理特征和颜色特征两种距离之间的比重,t=T+1,T+2,…i=1,…,B(x,y),dt,RGB,m(x,y)表示R、B、G纹理特征值之间的距离,dt,HS,m(x,y)表示H、S颜色特征值之间的距离,ft-1,i(x,y)为第t-1帧第i个码字对应的特征值;
4.3)前景分割,即在像素点(x,y)处,将上述最小距离dmin(x,y)与前景分割阈值Tfg=5进行比较:
若dmin(x,y)>Tfg,则像素(x,y)为前景即运动目标,表示为fgt(x,y)=1;
若dmin(x,y)≤Tfg,则为背景,表示为fgt(x,y)=0,执行步骤(5)。
步骤5模型更新。
模型更新是对上述训练出的码本模型进行更新,本发明提出的模型更新方法是对F.Ma提出的模型更新方法的改进,即仅根据当前像素(x,y)的特征值到背景码字的特征值之间的最小距离进行模型更新,以有效地防止运动目标快速融入背景,具体步骤如下:
其中:表示当前像素的纹理特征与第i个背景码字cwt-1,i(x,y)的纹理特征之间的距离,ft-1,i(x,y)表示第t-1帧第i个码字对应的特征值,函数D24(·,·)表示统计两特征值后24比特位数值不同的位数,l=argmin{dt,RGB,i(x,y)}表示距离当前特征值最近的背景码字cwt-1,l(x,y)的下标,其中i=1,…,B(x,y),B(x,y)表示属于背景码字的总数;
(5.2)根据最小距离dt,RGB,l(x,y)的大小判断是更新权值还是新建一个码字;
若dt,RGB,l(x,y)=0时,则更新权值ω(x,y),即对匹配的码字权值ωt-1,l(x,y)和对未匹配的码字权值ωt-1,u(x,y)均进行更新,得到更新后的匹配码字权值ωt,l(x,y)和未匹配的码字权值ωt,u(x,y)为:
ωt,l(x,y)=(1-α)ωt-1,l+α,
ωt,u(x,y)=(1-α)ωt-1,u(x,y),
其中u=1,…,Kt-1(x,y)且u≠l,α=0.02表示模型学习率,α越大模型更新越快,Kt-1(x,y)表示未更新前的码字个数;
若dt,RGB,l(x,y)>0时,则新建一个码字,执行(5.3);
(5.3)将dt,RGB,l(x,y)与模型更新阈值Tm=6进行比较:
其中Kt(x,y)=Kt-1(x,y)+1表示当前的码字个数,Kt-1(x,y)表示前一帧码字个数,ω0=1/T表示初始权值;
如果dt,RGB,l(x,y)<Tm,且Kt-1(x,y)≥L,则新增一个码字代替权值最小的码字cwt,e(x,y):
步骤6重复步骤4-步骤5,直到视频结束。
本发明的效果可通过以下实验进一步说明:
1.实验条件
实验环境:用Intel Core I5 2.8GHz CPU,8GB内存,Matlab R2016b仿真平台
使用的测试方法:混合高斯算法MoG、LBP直方图算法LBP-P、基于SILTP特征的PKDE算法PKDEsiltp、多通道SILTP算法MC-SILTP,
使用的测试视频集:Airport、Hall、Curtain、WaterSurface
1.实验内容与结果
实验1:在WaterSurface测试集的第1554帧上使用MC-SILTP算子进行图像检测,结果如图2,其中:图2(a)为原始图像,图2(b)为使用MC-SILTP算子的检测结果。
从图2(b)可以看出,MC-SILTP纹理算子可以将运动目标比较完整地检测出来,但在少纹理区域中存在许多漏检,例如,图2(b)中箭头所指区域即为一个漏检块。
实验2:采用WaterSurface测试视频集,对1412-1554帧的像素(71,90)统计MC-SILTP特征,Vhs特征和HS-MC-SILTP特征,结果如图3所示,其中:
图3(a)显示了像素点(71,90)的MC-SILTP特征在时域中的变化曲线,可以发现在该点的前50帧,由于没有运动目标并且背景相对稳定,因此特征值基本稳定不变,之后目标从左至右经过该点造成了特征值的大幅度波动,但从100帧之后目标停止不再继续运动,此时由于该点处的运动目标接近黑色导致纹理减少,因此MC-SILTP特征值又稳定到了与前50帧相同的状态。虽然从视觉上看该点处目标与背景差距较大,但纹理相似度高,因此该点会被判断为背景,从而造成漏检。
图3(b)显示了像素点(71,90)的颜色信息Vhs在时域中的变化曲线,可以看出在100帧之前由于该点没有目标遮挡,仅有波动的水面这一背景,因此Vhs特征值基本保持稳定,但当目标开始遮挡该点之后,由于目标与背景颜色差异比较大,因此Vhs分量发生了显著变化。
图3(c)显示了像素点(71,90)的HS-MC-SILTP特征在时域中的变化曲线,其在时域上的分布与Vhs时域分布几乎完全一致,其在100帧目标遮挡该点之后,特征值也同Vhs一样发生了明显变化,因此相比于MC-SILTP特征,本发明可以准确地判断该点是运动目标还是背景。
实验3:用不同方法仿真对运动目标检测的效果。
为了验证算法的有效性,从I2R数据集中分别选取Airport、Lobby、Curtain、WaterSurface视频集的第2961帧、1649帧、23206帧、1554帧来进行仿真实验。这4组视频包含了行人阴影,全局光照变化以及动态纹理背景等复杂条件。同时也选用经典的混合高斯算法MoG、像素级LBP直方图算法LBP-P、基于SILTP特征的PKDE算法PKDEsiltp、多通道SILTP算法MC-SILTP和本发明这4种方法对运动目标进行仿真检测,结果如图4,其中:
第一行表示视频集的原图像,第二行是手动分割出的前景图像,第三行表示用MoG方法检测效果图,第四行表示用LBP-P方法检测效果图,第五行表示用PKDEsiltp方法检测效果图,第六行表示MC-SILTP方法检测效果图,第七行表示用本发明的方法检测结果图。由图4检测结果可以看出,本发明能有效降低少纹理区域的漏检率;同时,能较好的抑制运动阴影、光照变化以及动态纹理等复杂背景对检测结果的影响,检测出运动目标的完整性优于其他4种算法。
实验4:测试本发明的检测精度,
用本发明与上述4种算法分别在4组视频集Airport、Lobby、Curtain、WaterSurface上计算F-measure值,结果如表1所示:
表1 5种方法分别在4组视频集上的F-measure值
F-measure值越大表示检测的准确率越高,从表1可以看出,本发明在4种测试集上的检测效果均优于其他4种现有算法,并且在Airport以及WaterSurface测试集上检测的准确率均有较大幅度提升,充分证明了提出算法的有效性。
综上所述,本发明能够有效检测复杂场景中的运动目标。
Claims (8)
1.基于HSV的MC-SILTP运动目标检测方法,包括:
(1)设每个像素点(x,y)的背景模型对应一个码本模型CB(x,y),每个码本模型中最多包含L=20个码字cw(x,y),每个码字包含像素的特征值f(x,y)及特征值对应的权值ω(x,y);
(2)将每个像素点(x,y)的码本模型初始化为空,即码字个数为0,码字为空;
(3)将前T帧Ia作为训练帧,训练每个像素点(x,y)的码本模型CBa(x,y),其中a为训练帧号,1≤a≤T,T=50为训练帧总数;
(3a)计算码本模型中每个码字的特征值:
(3a2)将Ia帧转化到HSV颜色空间,得到图像Xa,选取Xa的色调分量Xa,h和饱和度分量Xa,s,将Xa,h和Xa,s中的值均量化到0-127范围,并对量化后的色调分量X'a,h和量化后的饱和度分量X'a,s求和后在n×n邻域内进行加权平均,得到颜色信息Va,HS(x,y),其中,n取值为3;
(3b)将与前一帧码本模型CBa-1(x,y)中的码字cwa-1,l(x,y)的特征值fa-1,l(x,y)进行匹配,若有一个码字与特征值匹配成功,则更新码字的权值,否则用和权值ω0=1/T新建一个码字,其中,1≤l≤Ka-1(x,y),Ka-1(x,y)为前一帧码字的个数;
(3c)判断码本模型是否训练结束,若帧数a未达到训练帧总数T,则a增加1,并重复执行步骤3a)-3b),否则,执行步骤(4);
(4)从视频的T+1帧开始检测前景:
(4a)找出前一帧It-1的每个像素点(x,y)的码本模型中所有属于背景的码字cwt-1,i(x,y),其中i=1,…,B(x,y),表示背景的码字个数,Tb=0.7表示背景分割阈值,阈值越大,属于背景的码字就越多,ωt-1,i(x,y)为第t-1帧第i个码字的特征值对应的权值,cwt-1,i(x,y)为第t帧中第i个码字,t=T+1,T+2,…;
(4b)对It帧中每个像素点(x,y),计算当前特征值与它的所有背景码字cwt-1,i(x,y)的特征值ft-1,i(x,y)之间的最小距离dmin(x,y),其中,ft-1,i(x,y)为第t-1帧第i个码字对应的特征值;
(4c)在像素点(x,y)处,将最小距离dmin(x,y)与前景分割阈值Tfg=5进行比较:
若dmin(x,y)>Tfg,则像素(x,y)为前景即运动目标,表示为fgt(x,y)=1;
若dmin(x,y)≤Tfg,则为背景,表示为fgt(x,y)=0,并执行(5);
(5)对码本模型进行更新:
若dt,RGB,l(x,y)=0,则更新权值ω(x,y),
若dt,RGB,l(x,y)>0,则新建一个码字,
其中,dt,RGB,i(x,y)表示当前像素的纹理特征与第i个背景码字cwt-1,i(x,y)的纹理特征之间的距离,l=argmin{dt,RGB,i(x,y)}表示距离当前特征值最近的背景码字cwt-1,l(x,y)的下标,其中i=1,…,B(x,y);
(6)重复执行步骤4)-5),直到视频结束。
2.根据权利要求1所述的方法,其中所述步骤(3a1)按如下步骤进行:
首先,计算各通道的SILTP特征,即:
其中,代表比特连接运算符,N=4表示取像素点(x,y)的4-邻域像素;sτ(u,v)是一种分段函数,若v>(1+τ)u则编码为01,若v<(1+τ)u编码为10,否则编码为00,τ=0.05表示尺度系数,Ia,R(x,y),Ia,G(x,y),Ia,B(x,y)分别表示视频帧Ia的像素(x,y)在R,G,B三个通道的像素值,Ia,R,k(x,y),Ia,G,k(x,y),Ia,B,k(x,y)分别表示像素(x,y)的第k个邻域在R,G,B三个通道上的像素值,k=0,…,N-1;
(3b1)计算R、B、G纹理特征值之间的距离dt,RGB,m(x,y)和H、S颜色特征值之间的距离da,HS,m(x,y):
其中τ=0.05表示尺度系数,fa-1,m(x,y)表示第a-1帧第m个码字对应的特征值,函数D24(·,·)表示统计两特征值后24比特位数值不同的位数,函数D8(·,·)统计两特征值前8比特位数值差的绝对值;
若da,RGB,m(x,y)和da,HS,m(x,y)同时满足da,RGB,m(x,y)<TRGB和da,HS,m(x,y)<THS的条件,则与第m个码字cwa-1,m(x,y)的特征值fa-1,m(x,y)匹配成功,更新码字cwa-1,m(x,y)的权值为:ωa,m(x,y)=ωa-1,m(x,y)+ω0,其中:TRGB=1表示R、B、G纹理特征相似度阈值,THS=10表示颜色匹配阈值,ω0=1/T表示初始权值,ωa-1,m(x,y)表示前一帧码字的权值,ωa,m(x,y)表示更新后的权值;
否则,未匹配成功,执行(3b3);
(3b3)将前一帧码字个数Ka-1(x,y)与码本模型中码字的总数L=20进行比较:
如果Ka-1(x,y)≥L,则在码本模型中新建一个码字为cwa,k(x,y)代替权值最小的码字:
7.根据权利要求1所述的方法,其中步骤(5)中在dt,RGB,l(x,y)=0时,更新权值ω(x,y)包括对当前匹配的码字权值ωt,l(x,y)更新和对未匹配的权值ωt,u(x,y)更新,其更新公式如下:
ωt,l(x,y)=(1-α)ωt-1,l+α,
ωt,u(x,y)=(1-α)ωt-1,u(x,y),
其中u=1,…,Kt-1(x,y)且u≠l,α=0.02表示模型学习率,α越大模型更新越快,Kt-1(x,y)表示未更新前的码字个数。
8.根据权利要求1所述的方法,其中步骤(5)中在dt,RGB,l(x,y)>0时,新建一个码字,是根据dt,RGB,l(x,y)与模型更新阈值Tm=6的比较结果进行:
其中Kt(x,y)=Kt-1(x,y)+1表示当前的码字个数,Kt-1(x,y)表示前一帧码字个数,ω0=1/T表示初始权值;
如果dt,RGB,l(x,y)<Tm且Kt-1(x,y)≥L,则新增一个码字代替权值最小的码字cwt,e(x,y):
如果dt,RGB,l(x,y)>Tm且Kt-1(x,y)≥L,则新增一个码字cwt,a(x,y)代替权值最小的码字:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810086250.XA CN108537771B (zh) | 2018-01-30 | 2018-01-30 | 基于hsv的mc-siltp运动目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810086250.XA CN108537771B (zh) | 2018-01-30 | 2018-01-30 | 基于hsv的mc-siltp运动目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108537771A CN108537771A (zh) | 2018-09-14 |
CN108537771B true CN108537771B (zh) | 2020-10-09 |
Family
ID=63486133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810086250.XA Active CN108537771B (zh) | 2018-01-30 | 2018-01-30 | 基于hsv的mc-siltp运动目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108537771B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740563B (zh) * | 2019-01-14 | 2021-02-12 | 湖南众智君赢科技有限公司 | 一种面向视频监控的运动目标检测方法 |
CN110503664B (zh) * | 2019-08-07 | 2023-03-24 | 江苏大学 | 一种基于改进的局部自适应灵敏度背景建模方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104134222A (zh) * | 2014-07-09 | 2014-11-05 | 郑州大学 | 基于多特征融合的车流监控图像检测和跟踪***及方法 |
CN106250870A (zh) * | 2016-08-16 | 2016-12-21 | 电子科技大学 | 一种联合局部和全局相似性度量学习的行人再识别方法 |
-
2018
- 2018-01-30 CN CN201810086250.XA patent/CN108537771B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104134222A (zh) * | 2014-07-09 | 2014-11-05 | 郑州大学 | 基于多特征融合的车流监控图像检测和跟踪***及方法 |
CN106250870A (zh) * | 2016-08-16 | 2016-12-21 | 电子科技大学 | 一种联合局部和全局相似性度量学习的行人再识别方法 |
Non-Patent Citations (2)
Title |
---|
A HSV-SILTP Based Shadow Suppression Approach for Moving Vehicle Extraction;Yang Zhang等;《2013 Seventh International Conference on Image and Graphics》;20131231;第846-851页 * |
智能视频监控中的背景建模算法研究;马凡;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140615(第6期);第37-47页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108537771A (zh) | 2018-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
CN107169417B (zh) | 基于多核增强和显著性融合的rgbd图像协同显著性检测方法 | |
CN110991389B (zh) | 判断目标行人在非重叠相机视角中出现的匹配方法 | |
CN112036260B (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及*** | |
CN113963041A (zh) | 一种图像纹理识别方法及*** | |
CN106600613B (zh) | 基于嵌入式gpu的改进lbp红外目标检测方法 | |
CN108388901B (zh) | 基于空间-语义通道的协同显著目标检测方法 | |
CN113822951A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN108537771B (zh) | 基于hsv的mc-siltp运动目标检测方法 | |
CN111325661A (zh) | 一种名为msgan的图像的季节风格转换模型及方法 | |
CN112364881B (zh) | 一种进阶采样一致性图像匹配方法 | |
CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
CN107871315B (zh) | 一种视频图像运动检测方法和装置 | |
CN104732534A (zh) | 一种图像中显著目标的抠取方法及*** | |
CN107358635B (zh) | 一种基于模糊相似性的彩色形态学图像处理方法 | |
CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及*** | |
CN111242216A (zh) | 基于条件生成对抗卷积神经网络的图像生成方法 | |
CN113436220B (zh) | 一种基于深度图分割的图像背景估计方法 | |
CN115294424A (zh) | 一种基于生成对抗网络的样本数据增强方法 | |
CN113034454A (zh) | 一种基于人类视觉感官的水下图像质量评价方法 | |
He et al. | Local compact binary patterns for background subtraction in complex scenes | |
CN103971385A (zh) | 视频中运动物体的检测方法 | |
CN117037049B (zh) | 基于YOLOv5深度学习的图像内容检测方法及*** | |
CN112529095B (zh) | 一种基于卷积区域重配准的单阶段目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |