CN108537771B - 基于hsv的mc-siltp运动目标检测方法 - Google Patents

基于hsv的mc-siltp运动目标检测方法 Download PDF

Info

Publication number
CN108537771B
CN108537771B CN201810086250.XA CN201810086250A CN108537771B CN 108537771 B CN108537771 B CN 108537771B CN 201810086250 A CN201810086250 A CN 201810086250A CN 108537771 B CN108537771 B CN 108537771B
Authority
CN
China
Prior art keywords
siltp
rgb
frame
code word
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810086250.XA
Other languages
English (en)
Other versions
CN108537771A (zh
Inventor
姬红兵
徐艺萍
张文博
殷鹏飞
高欣宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Kunshan Innovation Institute of Xidian University
Original Assignee
Xidian University
Kunshan Innovation Institute of Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University, Kunshan Innovation Institute of Xidian University filed Critical Xidian University
Priority to CN201810086250.XA priority Critical patent/CN108537771B/zh
Publication of CN108537771A publication Critical patent/CN108537771A/zh
Application granted granted Critical
Publication of CN108537771B publication Critical patent/CN108537771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于HSV的MC‑SILTP运动目标检测方法,主要解决现有技术在纹理少或无纹理区域检测准确度低的问题。其实现步骤是:1)在MC‑SILTP纹理特征的基础上将HSV颜色空间的H和S通道颜色信息与MC‑SILTP纹理信息相融合,得到HS‑MC‑SILTP特征,使得在时间域上拥有与HSV颜色特征一致的时间序列分布;2)使用HS‑MC‑SILTP特征建立码本背景模型;3)改进码本模型的更新策略,使其更加准确地拟合背景,从而检测出运动目标。本发明提高了对纹理“平坦”区域的区分能力,漏检率低,检测结果更加完整,可用于智能监控、智能交通、人机交互、视觉导航、虚拟现实、医学诊断和可视化手术。

Description

基于HSV的MC-SILTP运动目标检测方法
技术领域
本发明属于计算机视觉领域,特别涉及一种运动目标检测方法,可广泛应用于智能监控、智能交通、人机交互、视觉导航、虚拟现实、医学诊断与可视化手术对视频图像的检测。
背景技术
随着近年来众多学者对视频目标检测领域的研究,出现了大量相关研究成果,尤其是基于背景建模的目标检测领域,出现了大量优秀的算法。根据使用的背景模型不同,可以分为基于统计特性的混合高斯MOG和支持向量机SVM模型、基于聚类的硬聚类K-means和码本Codebook模型、基于神经网络的卷积神经网络CNN和自组织神经网络SONN模型,基于样本的前景检测Vibe模型等。但是,在实际应用场景中目标检测往往面临着复杂又多元的挑战,如动态背景、光照变化、相机抖动、阴影等等。简单的背景建模方法通常在复杂场景下得不到完整准确的检测结果。因此,研究人员提出了一系列的改进方法。
一般来说,他们对背景建模的改进主要在两个方向上。一个方向是提出更加复杂的背景模型,使得建立的背景模型可以更加完美地拟合真实背景,从而得到更好的检测结果。另一个方向是使用更加有效的工具来提取图像特征,使得图像特征可以更加鲁棒的描述背景图像。使用复杂的背景模型通常情况下可以提高模型鲁棒性,适应更多的复杂情景,但不可避免的会增加算法复杂度,使得模型的建立与更新更加困难,以至于无法满足实时性需要。
纹理是一种反映图像中同质现象的视觉特征,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。因此可以更加精确地描述复杂纹理场景,并且对于光照变化以及局部阴影场景都有一定的抑制能力,因而其成为运动目标检测领域最常用的特征之一。最简单的纹理描述算子是由Heikkila等人在2004年提出的局部二值模式LBP。通过提取LBP特征,建立直方图对背景进行建模使得模型具有一定程度的抗光照变化能力,但LBP是一种硬化分,对噪声十分敏感,当周围像素点的值存在微小波动时,可能造成LBP特征值的变化,并且无法处理无纹理或少纹理区域。Tan和Triggs提出了局部三值模式LTP,其在LBP特征的基础上引入了一个容忍区间,由于在区间范围内的微小变化都不会引起特征值变化,因而能够有效解决局部噪声问题,但对于全局光照变化等剧烈变化情况仍无能为力。Liao等人在2010年CVPR国际会议上提出了一种灰度尺度不变局部三值模式SILTP特征,该特征通过自适应阈值策略大大提高了算子对于局部以及全局灰度变化的鲁棒性。
上述无论是LBP,LTP或者SILTP算子都仅利用图像的灰度值来计算特征值,对颜色纹理平坦区域的区分度低,从而导致目标检测漏检率较高,针对这个问题,F.Ma等人在2013年提出一种改进的SILTP纹理算子,即多通道SILTP纹理算子MC-SILTP。该算子是在SILTP算子的基础上,改变单纯利用灰度空间计算的方式,采用RGB颜色空间中对SILTP特征进行多通道计算,即对R,G,B三个颜色通道分别进行两两交叉计算SILTP算子,从而得到三组不同的SILTP二进制特征值,最后将三种特征值拼接为一个完整的MC-SILTP特征值。但是对于RGB颜色空间中的纹理较少以及无纹理区域,将会得到相同的MC-SILTP纹理特征值,使得视觉上明显不同的区域却拥有相同的纹理特征值,从而导致误检。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于HSV的MC-SILTP运动目标检测方法,以提高检测结果的完整性,并有效降低检测的误检率和漏检率。
实现本发明的关键技术是:在多通道灰度尺度不变局部三值模式纹理算子MC-SILTP特征的基础上增加HSV纹理特征,即色调、饱和度和亮度这三种纹理特征,并将HSV颜色空间中的色调H和饱和度S通道颜色信息与MC-SILTP纹理信息相融合得到HS-MC-SILTP特征,使其在保持原有纹理特征的同时在时间域上拥有与HSV颜色特征一致的时间序列分布,以提高纹理“平坦”区域的区分能力;同时使用HS-MC-SILTP特征建立码本背景模型,通过改进码本模型的更新策略,使得背景模型可以更加准确地拟合背景。在准确地检测出前景目标的同时,提高检测结果的完整性。其实现步骤包括如下:
(1)设每个像素点(x,y)的背景模型对应一个码本模型CB(x,y),每个码本模型中最多包含L=20个码字cw(x,y),每个码字包含像素的特征值f(x,y)及特征值对应的权值ω(x,y);
(2)将每个像素点(x,y)的码本模型初始化为空,即码字个数为0,码字为空;
(3)将前T帧Ia作为训练帧,训练每个像素点(x,y)的码本模型CBa(x,y),其中a为训练帧号,1≤a≤T,T=50为训练帧总数;
(3a)计算码本模型中每个码字的特征值:
(3a1)对Ia帧中每个像素点(x,y),计算其在4-邻域上R,G,B三个颜色通道中两两交叉的SILTP特征,得到三组不同的二进制值,并将其拼接为一个完整的MC-SILTP特征值
Figure BDA0001562480400000031
(3a2)将Ia帧转化到HSV颜色空间,得到图像Xa,选取Xa的色调分量Xa,h和饱和度分量Xa,s,将Xa,h和Xa,s中的值均量化到0-127范围,并对量化后的色调分量X'a,h和量化后的饱和度分量X'a,s求和后在n×n邻域内进行加权平均,得到颜色信息Va,HS(x,y),其中,n取值为3;
(3a3)将颜色信息Va,HS(x,y)与特征值
Figure BDA0001562480400000032
相融合,得到基于HSV颜色空间的MC-SILTP特征值
Figure BDA0001562480400000033
(3b)将
Figure BDA0001562480400000034
与前一帧码本模型CBa-1(x,y)中的码字cwa-1,l(x,y)的特征值fa-1,l(x,y)进行匹配,若有一个码字与特征值
Figure BDA0001562480400000035
匹配成功,则更新码字的权值,否则用
Figure BDA0001562480400000036
和权值ω0=1/T新建一个码字,其中,1≤l≤Ka-1(x,y)Ka-1(x,y)为前一帧码字的个数;
(3c)判断码本模型是否训练结束,若帧数a未达到训练帧总数T,则a增加1,并重复执行步骤3a)-3b),否则,执行步骤(4);
(4)从视频的T+1帧开始检测前景:
(4a)找出前一帧It-1的每个像素点(x,y)的码本模型中所有属于背景的码字cwt-1,i(x,y),其中i=1,…,B(x,y),
Figure BDA0001562480400000037
表示背景的码字个数,Tb=0.7表示背景分割阈值,阈值越大,属于背景的码字就越多,ωt-1,i(x,y)为第t-1帧第i个码字的特征值对应的权值,cwt-1,i(x,y)为第t-1帧中第i个码字,t=T+1,T+2,…;
(4b)对It帧中每个像素点(x,y)计算当前特征值
Figure BDA0001562480400000038
与它的所有背景码字cwt-1,i(x,y)的特征值ft-1,i(x,y)之间的最小距离dmin(x,y),其中,ft-1,i(x,y)为第t-1帧第i个码字对应的特征值;
(4c)在像素点(x,y)处,将最小距离dmin(x,y)与前景分割阈值Tfg=5进行比较:
若dmin(x,y)>Tfg,则像素(x,y)为前景即运动目标,表示为fgt(x,y)=1;
若dmin(x,y)≤Tfg,则为背景,表示为fgt(x,y)=0,并执行(5);
(5)对码本模型进行更新:
计算当前像素的纹理特征
Figure BDA0001562480400000041
与所有背景码字cwt-1,i(x,y)纹理特征之间的最小距离:dt,RGB,l(x,y)=min{dt,RGB,i(x,y)},并判断其值的大小:
若dt,RGB,l(x,y)=0,则更新权值ω(x,y),
若dt,RGB,l(x,y)>0,则新建一个码字,
其中,dt,RGB,i(x,y)表示当前像素的纹理特征
Figure BDA0001562480400000042
与第i个背景码字cwt-1,i(x,y)的纹理特征之间的距离,l=argmin{dt,RGB,i(x,y)}表示距离当前特征值最近的背景码字cwt-1,l(x,y)的下标,其中i=1,…,B(x,y);
(6)重复执行步骤4)-5),直到视频结束。
本发明具有如下优点:
本发明在MC-SILTP纹理特征基础上融合了HSV颜色空间中的H和S颜色分量,得到HS-MC-SILTP特征。该特征同时具有纹理信息与HSV颜色信息,从而大大提高了纹理特征在纹理平坦区域的区分能力
本发明由于使用HS-MC-SILTP特征建立码本背景模型,并通过对码本模型改进,使其能更加准确地拟合背景,从而有效降低漏检率,提高检测结果的完整性与准确性。
附图说明
图1是本发明的实现流程图;
图2是用现有MC-SILTP纹理算子在少纹理区域的检测结果图;
图3是在WaterSurface测试视频集中对像素点(71,90)的MC-SILTP特征、HS颜色信息和HS-MC-SILTP特征在时域中得到的曲线图;
图4是本发明与现有的几种方法在不同的视频集中对运动目标检测的结果图。
具体实施方式
以下结合附图对本发明的技术方案和效果进行进一步说明:
参照图1,本发明的实现步骤如下:
步骤1定义码本模型。
现有的码本模型每一个码字由一个六元组和一个颜色矢量表示,本发明使用一个二元组表示码字,其定义如下:
为每个像素点(x,y)建立一个码本模型CB(x,y),每个码本模型中包含若干码字cw(x,y),每个码字由一个二元组表示,每个码本可容纳码字的最大数量为L,即:
CB(x,y)={cw1(x,y),cw2(x,y)…cwm(x,y)cwL(x,y)}
cwm(x,y)={fm(x,y),ωm(x,y)},1≤m≤L
其中,L=20。fm(x,y)表示cwm(x,y)的特征值,ωm(x,y)表示特征值fm(x,y)的权值。
步骤2初始化码本模型。
将每个像素点(x,y)的码本模型初始化为空,即:
Figure BDA0001562480400000051
其中,K0(x,y)表示初始时刻码本中码字的数量,K0(x,y)≤L。
步骤3训练码本模型。
(3.1)将一个完整视频序列A的前T帧作为训练帧Ia,T帧之后的视频帧作为待检测帧It,其中,1≤a≤T,T=50表示训练帧的总数,t=T+1,T+2,…;
(3.2)计算像素点的纹理特征和颜色信息:
现有的纹理特征有:局部二值模式LBP、局部三值模式LTP、灰度尺度不变局部三值模式SILTP、多通道灰度尺度不变局部三值模式MC-SILTP,本实例提取的纹理特征是在MC-SILTP的基础上加入HSV空间中的色调H和饱和度S颜色信息,以提高了对纹理“平坦”区域的区分能力,其计算步骤如下;
(3.2.1)计算纹理特征:
读入训练帧Ia,对Ia中每个像素点(x,y)在其4-邻域上计算R,G,B三个颜色通道两两交叉的SILTP特征,得到三组不同的SILTP二进制特征值
Figure BDA0001562480400000052
Figure BDA0001562480400000053
Figure BDA0001562480400000054
Figure BDA0001562480400000055
表示R和B通道的SILTP特征,
Figure BDA0001562480400000056
表示G和R通道的SILTP特征,
Figure BDA0001562480400000057
表示B和G通道的SILTP特征,
其中,
Figure BDA0001562480400000058
代表比特连接运算符,N=4表示取像素点(x,y)的4-邻域像素点,Ia,R(x,y),Ia,G(x,y),Ia,B(x,y)分别表示视频帧Ia的像素点(x,y)在R,G,B三个通道的像素值,Ia,R,k(x,y),Ia,G,k(x,y),Ia,B,k(x,y)分别表示像素点(x,y)的第k个邻域在R,G,B三个通道的像素值,其中k=0,…,N-1,sτ(u,v)是一种分段函数,若v>(1+τ)u则编码为01,若v<(1+τ)u编码为10,否则编码为00,τ=0.05表示尺度系数;
对上述三个特征进行拼接,得到为一个完整MC-SILTP特征值,即纹理特征
Figure BDA0001562480400000061
Figure BDA0001562480400000062
(3.2.2)计算颜色信息:
将视频帧Ia转化到HSV颜色空间,得到图像Xa,选取图像Xa的色调H分量Xa,h和饱和度S分量Xa,s,将Xa,h和Xa,s均量化到0~127,得到量化后的色调分量X'a,h和饱和度分量X'a,s
Figure BDA0001562480400000063
Figure BDA0001562480400000064
将量化后的两个图像X'a,h和X'a,s求和后在n×n邻域内进行加权平均,得到平滑后H和S通道的颜色信息Va,HS(x,y):
Figure BDA0001562480400000065
其中,Wn(x,y)表示(x,y)的n×n邻域像素点集合,
Figure BDA0001562480400000066
表示向下取整,n=3;
(3.2.3)将HSV空间的H与S通道的颜色信息Vt,HS(x,y)与
Figure BDA0001562480400000067
纹理特征相融合,得到基于HSV颜色空间的HS-MC-SILTP特征
Figure BDA0001562480400000068
Figure BDA0001562480400000069
其中,bitshift(·)函数代表比特位移函数,24表示向左移动24比特位;
(3.3)将当前帧Ia像素点(x,y)的特征值
Figure BDA00015624804000000610
与前一帧码本模型CBa-1(x,y)中的码字cwa-1,m(x,y)进行匹配:
(3.3.1)计算R、B、G纹理特征值之间的距离da,RGB,m(x,y)和H、S颜色特征值之间的距离da,HS,m(x,y):
Figure BDA0001562480400000071
Figure BDA0001562480400000072
其中τ=0.05表示尺度系数,fa-1,m(x,y)表示第a-1帧第i个码字对应的特征值,函数D24(·,·)表示统计两特征值后24比特位数值不同的位数,函数D8(·,·)统计两特征值前8比特位数值差的绝对值;
(3.3.2)将当前特征值
Figure BDA0001562480400000073
与第m个码字cwa-1,m(x,y)的特征值fa-1,m(x,y)进行比较:
若da,RGB,m(x,y)和da,HS,m(x,y)同时满足da,RGB,m(x,y)<TRGB和da,HS,m(x,y)<THS的条件,则
Figure BDA0001562480400000074
与第m个码字cwa-1,m(x,y)的特征值fa-1,m(x,y)匹配成功,更新码字cwa-1,m(x,y)的权值为:ωa,m(x,y)=ωa-1,m(x,y)+ω0,其中:TRGB=1表示R、B、G纹理特征相似度阈值,THS=10表示颜色匹配阈值,ω0=1/T表示初始权值,ωa-1,m(x,y)表示前一帧码字的权值,ωa,m(x,y)表示更新后的权值;
否则,未匹配成功,执行(3.3.3);
(3.3.3)将前一帧码字个数Ka-1(x,y)与码本模型中码字总数L=20进行比较:
如果Ka-1(x,y)<L,则在码本模型中增加一个新的码字cwa,Ka(x,y)(x,y):
Figure BDA0001562480400000075
其中Ka(x,y)=Ka-1(x,y)+1表示当前的码字个数;
如果Ka-1(x,y)≥L,则在码本模型中新建一个码字为cwa,k(x,y)代替权值最小的码字:
Figure BDA0001562480400000076
其中,
Figure BDA0001562480400000077
表示a-1帧中码字权值最小的下标,ωa-1,l(x,y)表示a-1帧中第l个码字对应的特征值,l=argmin{da-1,RGB,i(x,y)}表示距离当前特征值最近的背景码字cwa-1,l(x,y)的下标,其中i=1,…,B(x,y);
(3.4)判断码本模型是否训练结束,若帧数a未达到训练帧总数T,则a增加1,并重复执行步骤3.1)-3.3),否则,执行步骤4
步骤4前景检测。
前景指的是视频帧中的运动目标,前景检测即对待检测帧It中的运动目标进行检测,判断像素点是运动目标,还是背景,其检测步骤如下:
(4.1)找出前一帧It-1的每个像素点(x,y)的码本模型中所有属于背景的码字cwt-1,i(x,y),
其中i=1,…,B(x,y),
Figure BDA0001562480400000081
表示属于背景码字的个数,其中ωt-1,i(x,y)为第t-1帧第i个码字的特征值对应的权值,cwt-1,i(x,y)为第t-1帧中第i个码字,Tb=0.7表示背景分割阈值,阈值越大,属于背景的码字就越多;
(4.2)对待检测帧It中每个像素点(x,y),计算当前特征值
Figure BDA0001562480400000082
与它的所有背景码字cwt-1,i(x,y)的特征值ft-1,i(x,y)的最小距离:
Figure BDA0001562480400000083
其中Tc=3代表纹理特征和颜色特征两种距离之间的比重,t=T+1,T+2,…i=1,…,B(x,y),dt,RGB,m(x,y)表示R、B、G纹理特征值之间的距离,dt,HS,m(x,y)表示H、S颜色特征值之间的距离,ft-1,i(x,y)为第t-1帧第i个码字对应的特征值;
4.3)前景分割,即在像素点(x,y)处,将上述最小距离dmin(x,y)与前景分割阈值Tfg=5进行比较:
若dmin(x,y)>Tfg,则像素(x,y)为前景即运动目标,表示为fgt(x,y)=1;
若dmin(x,y)≤Tfg,则为背景,表示为fgt(x,y)=0,执行步骤(5)。
步骤5模型更新。
模型更新是对上述训练出的码本模型进行更新,本发明提出的模型更新方法是对F.Ma提出的模型更新方法的改进,即仅根据当前像素(x,y)的特征值到背景码字的特征值之间的最小距离进行模型更新,以有效地防止运动目标快速融入背景,具体步骤如下:
(5.1)计算当前像素的纹理特征
Figure BDA0001562480400000084
与所有背景码字cwt-1,i(x,y)纹理特征之间的最小距离:dt,RGB,l(x,y)=min{dt,RGB,i(x,y)},
其中:
Figure BDA0001562480400000085
表示当前像素的纹理特征
Figure BDA0001562480400000086
与第i个背景码字cwt-1,i(x,y)的纹理特征之间的距离,ft-1,i(x,y)表示第t-1帧第i个码字对应的特征值,函数D24(·,·)表示统计两特征值后24比特位数值不同的位数,l=argmin{dt,RGB,i(x,y)}表示距离当前特征值最近的背景码字cwt-1,l(x,y)的下标,其中i=1,…,B(x,y),B(x,y)表示属于背景码字的总数;
(5.2)根据最小距离dt,RGB,l(x,y)的大小判断是更新权值还是新建一个码字;
若dt,RGB,l(x,y)=0时,则更新权值ω(x,y),即对匹配的码字权值ωt-1,l(x,y)和对未匹配的码字权值ωt-1,u(x,y)均进行更新,得到更新后的匹配码字权值ωt,l(x,y)和未匹配的码字权值ωt,u(x,y)为:
ωt,l(x,y)=(1-α)ωt-1,l+α,
ωt,u(x,y)=(1-α)ωt-1,u(x,y),
其中u=1,…,Kt-1(x,y)且u≠l,α=0.02表示模型学习率,α越大模型更新越快,Kt-1(x,y)表示未更新前的码字个数;
若dt,RGB,l(x,y)>0时,则新建一个码字,执行(5.3);
(5.3)将dt,RGB,l(x,y)与模型更新阈值Tm=6进行比较:
如果dt,RGB,l(x,y)<Tm,且Kt-1(x,y)<L,则新增一个码字
Figure BDA0001562480400000095
为:
Figure BDA0001562480400000091
其中Kt(x,y)=Kt-1(x,y)+1表示当前的码字个数,Kt-1(x,y)表示前一帧码字个数,ω0=1/T表示初始权值;
如果dt,RGB,l(x,y)>Tm,且Kt-1(x,y)<L,则新增一个码字
Figure BDA0001562480400000096
Figure BDA0001562480400000092
如果dt,RGB,l(x,y)<Tm,且Kt-1(x,y)≥L,则新增一个码字代替权值最小的码字cwt,e(x,y):
Figure BDA0001562480400000093
其中
Figure BDA0001562480400000094
表示前t-1帧中码字权值最小的下标;
如果dt,RGB,l(x,y)>Tm,且Kt-1(x,y)≥L,则新增一个码字cwt,e(x,y)代替权值最小的码字:
Figure BDA0001562480400000101
步骤6重复步骤4-步骤5,直到视频结束。
本发明的效果可通过以下实验进一步说明:
1.实验条件
实验环境:用Intel Core I5 2.8GHz CPU,8GB内存,Matlab R2016b仿真平台
使用的测试方法:混合高斯算法MoG、LBP直方图算法LBP-P、基于SILTP特征的PKDE算法PKDEsiltp、多通道SILTP算法MC-SILTP,
使用的测试视频集:Airport、Hall、Curtain、WaterSurface
1.实验内容与结果
实验1:在WaterSurface测试集的第1554帧上使用MC-SILTP算子进行图像检测,结果如图2,其中:图2(a)为原始图像,图2(b)为使用MC-SILTP算子的检测结果。
从图2(b)可以看出,MC-SILTP纹理算子可以将运动目标比较完整地检测出来,但在少纹理区域中存在许多漏检,例如,图2(b)中箭头所指区域即为一个漏检块。
实验2:采用WaterSurface测试视频集,对1412-1554帧的像素(71,90)统计MC-SILTP特征,Vhs特征和HS-MC-SILTP特征,结果如图3所示,其中:
图3(a)显示了像素点(71,90)的MC-SILTP特征在时域中的变化曲线,可以发现在该点的前50帧,由于没有运动目标并且背景相对稳定,因此特征值基本稳定不变,之后目标从左至右经过该点造成了特征值的大幅度波动,但从100帧之后目标停止不再继续运动,此时由于该点处的运动目标接近黑色导致纹理减少,因此MC-SILTP特征值又稳定到了与前50帧相同的状态。虽然从视觉上看该点处目标与背景差距较大,但纹理相似度高,因此该点会被判断为背景,从而造成漏检。
图3(b)显示了像素点(71,90)的颜色信息Vhs在时域中的变化曲线,可以看出在100帧之前由于该点没有目标遮挡,仅有波动的水面这一背景,因此Vhs特征值基本保持稳定,但当目标开始遮挡该点之后,由于目标与背景颜色差异比较大,因此Vhs分量发生了显著变化。
图3(c)显示了像素点(71,90)的HS-MC-SILTP特征在时域中的变化曲线,其在时域上的分布与Vhs时域分布几乎完全一致,其在100帧目标遮挡该点之后,特征值也同Vhs一样发生了明显变化,因此相比于MC-SILTP特征,本发明可以准确地判断该点是运动目标还是背景。
实验3:用不同方法仿真对运动目标检测的效果。
为了验证算法的有效性,从I2R数据集中分别选取Airport、Lobby、Curtain、WaterSurface视频集的第2961帧、1649帧、23206帧、1554帧来进行仿真实验。这4组视频包含了行人阴影,全局光照变化以及动态纹理背景等复杂条件。同时也选用经典的混合高斯算法MoG、像素级LBP直方图算法LBP-P、基于SILTP特征的PKDE算法PKDEsiltp、多通道SILTP算法MC-SILTP和本发明这4种方法对运动目标进行仿真检测,结果如图4,其中:
第一行表示视频集的原图像,第二行是手动分割出的前景图像,第三行表示用MoG方法检测效果图,第四行表示用LBP-P方法检测效果图,第五行表示用PKDEsiltp方法检测效果图,第六行表示MC-SILTP方法检测效果图,第七行表示用本发明的方法检测结果图。由图4检测结果可以看出,本发明能有效降低少纹理区域的漏检率;同时,能较好的抑制运动阴影、光照变化以及动态纹理等复杂背景对检测结果的影响,检测出运动目标的完整性优于其他4种算法。
实验4:测试本发明的检测精度,
用本发明与上述4种算法分别在4组视频集Airport、Lobby、Curtain、WaterSurface上计算F-measure值,结果如表1所示:
表1 5种方法分别在4组视频集上的F-measure值
Figure BDA0001562480400000111
F-measure值越大表示检测的准确率越高,从表1可以看出,本发明在4种测试集上的检测效果均优于其他4种现有算法,并且在Airport以及WaterSurface测试集上检测的准确率均有较大幅度提升,充分证明了提出算法的有效性。
综上所述,本发明能够有效检测复杂场景中的运动目标。

Claims (8)

1.基于HSV的MC-SILTP运动目标检测方法,包括:
(1)设每个像素点(x,y)的背景模型对应一个码本模型CB(x,y),每个码本模型中最多包含L=20个码字cw(x,y),每个码字包含像素的特征值f(x,y)及特征值对应的权值ω(x,y);
(2)将每个像素点(x,y)的码本模型初始化为空,即码字个数为0,码字为空;
(3)将前T帧Ia作为训练帧,训练每个像素点(x,y)的码本模型CBa(x,y),其中a为训练帧号,1≤a≤T,T=50为训练帧总数;
(3a)计算码本模型中每个码字的特征值:
(3a1)对Ia帧中每个像素点(x,y),计算其在4-邻域上R,G,B三个颜色通道中两两交叉的SILTP特征,得到三组不同的二进制值,并将其拼接为一个完整的MC-SILTP特征值
Figure FDA0002592419720000011
(3a2)将Ia帧转化到HSV颜色空间,得到图像Xa,选取Xa的色调分量Xa,h和饱和度分量Xa,s,将Xa,h和Xa,s中的值均量化到0-127范围,并对量化后的色调分量X'a,h和量化后的饱和度分量X'a,s求和后在n×n邻域内进行加权平均,得到颜色信息Va,HS(x,y),其中,n取值为3;
(3a3)将颜色信息Va,HS(x,y)与特征值
Figure FDA0002592419720000012
相融合,得到基于HSV颜色空间的MC-SILTP特征值
Figure FDA0002592419720000013
(3b)将
Figure FDA0002592419720000014
与前一帧码本模型CBa-1(x,y)中的码字cwa-1,l(x,y)的特征值fa-1,l(x,y)进行匹配,若有一个码字与特征值
Figure FDA0002592419720000015
匹配成功,则更新码字的权值,否则用
Figure FDA0002592419720000016
和权值ω0=1/T新建一个码字,其中,1≤l≤Ka-1(x,y),Ka-1(x,y)为前一帧码字的个数;
(3c)判断码本模型是否训练结束,若帧数a未达到训练帧总数T,则a增加1,并重复执行步骤3a)-3b),否则,执行步骤(4);
(4)从视频的T+1帧开始检测前景:
(4a)找出前一帧It-1的每个像素点(x,y)的码本模型中所有属于背景的码字cwt-1,i(x,y),其中i=1,…,B(x,y),
Figure FDA0002592419720000021
表示背景的码字个数,Tb=0.7表示背景分割阈值,阈值越大,属于背景的码字就越多,ωt-1,i(x,y)为第t-1帧第i个码字的特征值对应的权值,cwt-1,i(x,y)为第t帧中第i个码字,t=T+1,T+2,…;
(4b)对It帧中每个像素点(x,y),计算当前特征值
Figure FDA0002592419720000022
与它的所有背景码字cwt-1,i(x,y)的特征值ft-1,i(x,y)之间的最小距离dmin(x,y),其中,ft-1,i(x,y)为第t-1帧第i个码字对应的特征值;
(4c)在像素点(x,y)处,将最小距离dmin(x,y)与前景分割阈值Tfg=5进行比较:
若dmin(x,y)>Tfg,则像素(x,y)为前景即运动目标,表示为fgt(x,y)=1;
若dmin(x,y)≤Tfg,则为背景,表示为fgt(x,y)=0,并执行(5);
(5)对码本模型进行更新:
计算当前像素的纹理特征
Figure FDA0002592419720000023
与所有背景码字cwt-1,i(x,y)纹理特征之间的最小距离:dt,RGB,l(x,y)=min{dt,RGB,i(x,y)},并判断其值的大小:
若dt,RGB,l(x,y)=0,则更新权值ω(x,y),
若dt,RGB,l(x,y)>0,则新建一个码字,
其中,dt,RGB,i(x,y)表示当前像素的纹理特征
Figure FDA0002592419720000024
与第i个背景码字cwt-1,i(x,y)的纹理特征之间的距离,l=argmin{dt,RGB,i(x,y)}表示距离当前特征值最近的背景码字cwt-1,l(x,y)的下标,其中i=1,…,B(x,y);
(6)重复执行步骤4)-5),直到视频结束。
2.根据权利要求1所述的方法,其中所述步骤(3a1)按如下步骤进行:
首先,计算各通道的SILTP特征,即:
R和B通道的SILTP特征:
Figure FDA0002592419720000025
G和R通道SILTP特征:
Figure FDA0002592419720000026
B和G通道SILTP特征:
Figure FDA0002592419720000031
其中,
Figure FDA0002592419720000032
代表比特连接运算符,N=4表示取像素点(x,y)的4-邻域像素;sτ(u,v)是一种分段函数,若v>(1+τ)u则编码为01,若v<(1+τ)u编码为10,否则编码为00,τ=0.05表示尺度系数,Ia,R(x,y),Ia,G(x,y),Ia,B(x,y)分别表示视频帧Ia的像素(x,y)在R,G,B三个通道的像素值,Ia,R,k(x,y),Ia,G,k(x,y),Ia,B,k(x,y)分别表示像素(x,y)的第k个邻域在R,G,B三个通道上的像素值,k=0,…,N-1;
然后,将上述
Figure FDA0002592419720000033
Figure FDA0002592419720000034
三个SILTP特征拼接得到成一个完整的特征值
Figure FDA0002592419720000035
Figure FDA0002592419720000036
3.根据权利要求1所述的方法,其中所述步骤(3a2)中,按如下步骤进行:
首先,将色调分量Xa,h和饱和度分量Xa,s均量化到0-127范围,得到量化后的色调分量X'a,h和饱和度分量X'a,s
Figure FDA0002592419720000037
Figure FDA0002592419720000038
然后,将上述X'a,h和X'a,s求和后在n×n邻域内进行加权平均得到颜色信息Va,HS(x,y):
Figure FDA0002592419720000039
其中,
Figure FDA00025924197200000310
表示向下取整,n=3,Wn(x,y)表示(x,y)的n×n邻域像素点集合。
4.根据权利要求1所述的方法,其中步骤(3a3)中基于HSV颜色空间的MC-SILTP特征值
Figure FDA00025924197200000311
按照如下公式计算:
Figure FDA00025924197200000312
其中,bitshift(·)函数代表比特位移函数,24表示向左移动24比特位,Va,HS(x,y)表示颜色信息,
Figure FDA00025924197200000313
表示纹理特征值。
5.根据权利要求1所述的方法,其中步骤(3b)中将当前帧Ia像素点(x,y)的特征值
Figure FDA0002592419720000041
与CBa-1(x,y)中的码字cwa-1,m(x,y)进行匹配,按如下步骤进行:
(3b1)计算R、B、G纹理特征值之间的距离dt,RGB,m(x,y)和H、S颜色特征值之间的距离da,HS,m(x,y):
Figure FDA0002592419720000042
Figure FDA0002592419720000043
其中τ=0.05表示尺度系数,fa-1,m(x,y)表示第a-1帧第m个码字对应的特征值,函数D24(·,·)表示统计两特征值后24比特位数值不同的位数,函数D8(·,·)统计两特征值前8比特位数值差的绝对值;
(3b2)将当前特征值
Figure FDA0002592419720000044
与第m个码字cwa-1,m(x,y)的特征值fa-1,m(x,y)进行比较:
若da,RGB,m(x,y)和da,HS,m(x,y)同时满足da,RGB,m(x,y)<TRGB和da,HS,m(x,y)<THS的条件,则
Figure FDA0002592419720000045
与第m个码字cwa-1,m(x,y)的特征值fa-1,m(x,y)匹配成功,更新码字cwa-1,m(x,y)的权值为:ωa,m(x,y)=ωa-1,m(x,y)+ω0,其中:TRGB=1表示R、B、G纹理特征相似度阈值,THS=10表示颜色匹配阈值,ω0=1/T表示初始权值,ωa-1,m(x,y)表示前一帧码字的权值,ωa,m(x,y)表示更新后的权值;
否则,未匹配成功,执行(3b3);
(3b3)将前一帧码字个数Ka-1(x,y)与码本模型中码字的总数L=20进行比较:
如果Ka-1(x,y)<L,则在码本模型中增加一个新的码字
Figure FDA0002592419720000046
为:
Figure FDA0002592419720000047
其中Ka(x,y)=Ka-1(x,y)+1表示当前的码字个数;
如果Ka-1(x,y)≥L,则在码本模型中新建一个码字为cwa,k(x,y)代替权值最小的码字:
Figure FDA0002592419720000048
其中,
Figure FDA0002592419720000049
表示前a-1帧中码字权值最小的下标,ωa-1,l(x,y)表示前一帧中第l个码字对应的特征值。
6.根据权利要求1所述的方法,其中步骤(4b)计算当前特征值
Figure FDA00025924197200000410
与所有背景码字cwt-1,i(x,y)的特征值ft-1,i(x,y)的最小距离dmin(x,y),按照如下公式进行:
Figure FDA0002592419720000051
其中Tc=5代表纹理特征和颜色特征两种不同距离之间的比重,dt,RGB,m(x,y)表示R、B、G纹理特征值之间的距离,dt,HS,m(x,y)表示H、S颜色特征值之间的距离。
7.根据权利要求1所述的方法,其中步骤(5)中在dt,RGB,l(x,y)=0时,更新权值ω(x,y)包括对当前匹配的码字权值ωt,l(x,y)更新和对未匹配的权值ωt,u(x,y)更新,其更新公式如下:
ωt,l(x,y)=(1-α)ωt-1,l+α,
ωt,u(x,y)=(1-α)ωt-1,u(x,y),
其中u=1,…,Kt-1(x,y)且u≠l,α=0.02表示模型学习率,α越大模型更新越快,Kt-1(x,y)表示未更新前的码字个数。
8.根据权利要求1所述的方法,其中步骤(5)中在dt,RGB,l(x,y)>0时,新建一个码字,是根据dt,RGB,l(x,y)与模型更新阈值Tm=6的比较结果进行:
如果dt,RGB,l(x,y)<Tm且Kt-1(x,y)<L,则新增一个码字
Figure FDA0002592419720000052
为:
Figure FDA0002592419720000053
其中Kt(x,y)=Kt-1(x,y)+1表示当前的码字个数,Kt-1(x,y)表示前一帧码字个数,ω0=1/T表示初始权值;
如果dt,RGB,l(x,y)>Tm且Kt-1(x,y)<L,则新增一个码字
Figure FDA0002592419720000054
Figure FDA0002592419720000055
如果dt,RGB,l(x,y)<Tm且Kt-1(x,y)≥L,则新增一个码字代替权值最小的码字cwt,e(x,y):
Figure FDA0002592419720000056
其中
Figure FDA0002592419720000057
表示前t-1帧中码字权值最小的下标;
如果dt,RGB,l(x,y)>Tm且Kt-1(x,y)≥L,则新增一个码字cwt,a(x,y)代替权值最小的码字:
Figure FDA0002592419720000061
CN201810086250.XA 2018-01-30 2018-01-30 基于hsv的mc-siltp运动目标检测方法 Active CN108537771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810086250.XA CN108537771B (zh) 2018-01-30 2018-01-30 基于hsv的mc-siltp运动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810086250.XA CN108537771B (zh) 2018-01-30 2018-01-30 基于hsv的mc-siltp运动目标检测方法

Publications (2)

Publication Number Publication Date
CN108537771A CN108537771A (zh) 2018-09-14
CN108537771B true CN108537771B (zh) 2020-10-09

Family

ID=63486133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810086250.XA Active CN108537771B (zh) 2018-01-30 2018-01-30 基于hsv的mc-siltp运动目标检测方法

Country Status (1)

Country Link
CN (1) CN108537771B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740563B (zh) * 2019-01-14 2021-02-12 湖南众智君赢科技有限公司 一种面向视频监控的运动目标检测方法
CN110503664B (zh) * 2019-08-07 2023-03-24 江苏大学 一种基于改进的局部自适应灵敏度背景建模方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134222A (zh) * 2014-07-09 2014-11-05 郑州大学 基于多特征融合的车流监控图像检测和跟踪***及方法
CN106250870A (zh) * 2016-08-16 2016-12-21 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134222A (zh) * 2014-07-09 2014-11-05 郑州大学 基于多特征融合的车流监控图像检测和跟踪***及方法
CN106250870A (zh) * 2016-08-16 2016-12-21 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A HSV-SILTP Based Shadow Suppression Approach for Moving Vehicle Extraction;Yang Zhang等;《2013 Seventh International Conference on Image and Graphics》;20131231;第846-851页 *
智能视频监控中的背景建模算法研究;马凡;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140615(第6期);第37-47页 *

Also Published As

Publication number Publication date
CN108537771A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN109753913B (zh) 计算高效的多模式视频语义分割方法
CN107169417B (zh) 基于多核增强和显著性融合的rgbd图像协同显著性检测方法
CN110991389B (zh) 判断目标行人在非重叠相机视角中出现的匹配方法
CN112036260B (zh) 一种自然环境下多尺度子块聚合的表情识别方法及***
CN113963041A (zh) 一种图像纹理识别方法及***
CN106600613B (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN113822951A (zh) 图像处理方法、装置、电子设备及存储介质
CN108537771B (zh) 基于hsv的mc-siltp运动目标检测方法
CN111325661A (zh) 一种名为msgan的图像的季节风格转换模型及方法
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN107871315B (zh) 一种视频图像运动检测方法和装置
CN104732534A (zh) 一种图像中显著目标的抠取方法及***
CN107358635B (zh) 一种基于模糊相似性的彩色形态学图像处理方法
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及***
CN111242216A (zh) 基于条件生成对抗卷积神经网络的图像生成方法
CN113436220B (zh) 一种基于深度图分割的图像背景估计方法
CN115294424A (zh) 一种基于生成对抗网络的样本数据增强方法
CN113034454A (zh) 一种基于人类视觉感官的水下图像质量评价方法
He et al. Local compact binary patterns for background subtraction in complex scenes
CN103971385A (zh) 视频中运动物体的检测方法
CN117037049B (zh) 基于YOLOv5深度学习的图像内容检测方法及***
CN112529095B (zh) 一种基于卷积区域重配准的单阶段目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant