CN105825234A - 一种融合超像素和背景模型的前景检测方法 - Google Patents

一种融合超像素和背景模型的前景检测方法 Download PDF

Info

Publication number
CN105825234A
CN105825234A CN201610149024.2A CN201610149024A CN105825234A CN 105825234 A CN105825234 A CN 105825234A CN 201610149024 A CN201610149024 A CN 201610149024A CN 105825234 A CN105825234 A CN 105825234A
Authority
CN
China
Prior art keywords
pixel
super
cluster centre
code word
overbar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610149024.2A
Other languages
English (en)
Inventor
凡时财
曾祥峰
邹见效
何健
张刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201610149024.2A priority Critical patent/CN105825234A/zh
Publication of CN105825234A publication Critical patent/CN105825234A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合超像素和Codebook背景模型的前景检测方法,通过超像素分割将视频图像中的像素点结合为超像素块,以超像素块为单位对其聚类中心建立Codebook背景模型,无需对视频中每个像素点单独建立Codebook背景模型,有效节约背景模型所需内存,在前景检测阶段,只对聚类中心进行检测,大大缩短检测时间,符合实时监控平台的要求。

Description

一种融合超像素和背景模型的前景检测方法
技术领域
本发明属于模式识别技术领域,更为具体地讲,涉及一种融合超像素和背景模型的前景检测方法。
背景技术
智能视频监控中的前景检测一般是通过检测输入的视频流,将前景从背景中提取出来。当前,序列图像的前景检测方法目前主要有三种,分别是背景减除法、帧差法和光流法。
光流法由于计算复杂很少使用;帧差法可以处理缓慢的背景改变,但由于检测出的物体容易出现断裂和空洞,难以得到完整的运动目标,因此人们越来越倾向于使用背景减除方法;背景减除方法通过判断当前视频序列图像与背景模型的差别进行前景检测,主要难点在于如何利用一段时间内的背景像素的统计特征进行准确的背景建模,而背景模型的好坏将直接影响前景检测的效果。
经典的Codebook背景模型作为一种量化的背景模型,根据像素点连续采样值的颜色距离和亮度范围为每一个像素点生成一个Codebook,进而建立起一帧图像的Codebook模型。随着嵌入式平台的应用越来越广泛,将Codebook背景模型移植到嵌入式平台,可以使图像处理摆脱PC机,从而更加便捷,而且Codebook背景模型具有很好的聚类分割性能,不涉及到浮点运算的特点使其更加适合嵌入式平台。然而经典的Codebook背景模型在内存小,效率相对更低的嵌入式平台上无法达到实时。
目前很多研究工作是围绕算法效率和内存方面的改进。比如将训练完成的Codebook背景模型按照检测时的命中率排序,以增加较少次数匹配成功的概率。具体可以参见文献[1]:潘宗序,禹晶,肖创柏,孙卫东.基于字典学习与结构自相似性的码本映射超分辨率算法[J].计算机辅助设计与图形学学报,2015,06:1032-1038。尽管此方法使算法效率有一定提高,但是排序本身就是一项比较耗时的工作,且通过这种方式效率提高有限,并不能大幅度提高算法效率。若将像素点分块,改变经典码本算法处理每个像素点的方式,可大幅度提高算法效率,具体可以参见文献[2]:MunirShah,JeremiahD.Deng,BrendonJ.Woodford,ASelf-adaptiveCodeBook(SACB)modelforreal-timebackgroundsubtraction,ImageandVisionComputing,Volume38,June2015,Pages52–64。此方法将物理上相邻的像素点作为一个块处理,效率将得到较大提升。然而相邻的像素点的颜色、纹理等特征可能并不相似,需全部存储,对所需内存没有改善。
超像素块是由具有相似颜色、纹理等特征的相邻像素构成的图像块,能够捕获图像的冗余信息,从而大大降低图像后续处理,如减小目标识别、图像分割等任务的复杂度,因此在计算机视觉应用中越来越受到人们的重视。
发明内容
本发明的目的在于克服现有技术的不足,提供一种融合超像素和背景模型的前景检测方法,使超像素和背景模型得到有效融合,从而减少背景检测过程所需内存,增加检测效率,且能够嵌入式平台上实时运行。
为实现上述发明目的,本发明一种融合超像素和背景模型的前景检测方法,其特征在于,包括以下步骤:
(1)、提取输入视频流的第一帧图像作为待分割图像;
(2)、基于CIELAB颜色空间下,利用SLIC算法对待分割图像进行超像素分割,得到多个具有相似特征的超像素块;
(3)、利用步骤(2)得到的超像素块训练codebook模型;
(4)、以训练完成的codebook模型为基准,检测出前景。
其中,所述步骤(2)中,利用SLIC算法对待分割图像进行超像素分割的具体方法为:
(2.1)、预设超像素块的聚类中心
根据实际需求,将待分割图像划分为K个大小均匀的超像素块,则每个超像素块的边长为其中,N为待分割图像中像素点的总个数;
分别对每个超像素块抽样,找到排列规则的K个聚类中心,将每个聚类中心分别移动到3×3邻域中梯度的最小位置,得到每个超像素块预设的聚类中心;
G ( x ‾ , y ‾ ) = | | I ( x ‾ + 1 , y ‾ ) - I ( x ‾ - 1 , y ‾ ) | | 2 + | | I ( x ‾ , y ‾ + 1 ) - I ( x ‾ , y ‾ - 1 ) | | 2 - - - ( 1 )
其中,I()表示像素点的亮度值,表示聚类中心的坐标;
(2.2)、利用公式(2)计算待分割图像中每个像素点与其距离最近的聚类中心间的距离Ds
D s = d l a b + m S d x y - - - ( 2 )
其中,(l,a,b)代表每个像素点的颜色,(x,y)代表每个像素点的坐标;变量m用于控制超像素分割结果的紧凑性;S为超像素块的边长;
其中,
d l a b = ( l k - l i ) 2 + ( a k - a i ) 2 + ( b k - b i ) 2
d x y = ( x k - x i ) 2 + ( y k - y i ) 2
其中,k和i为两个像素点的序号;
(2.3)、求得准确的聚类中心
根据Ds的值,将所有的像素点都与周围最近的聚类中心相关联,求得每个聚类中心和所有与其关联的像素点的平均坐标,并将此坐标对应的像素点作为新聚类中心,再不断循环此过程,直到两次求得的新聚类中心的坐标不变,得到最终的聚类中心,最后将与该聚类中心相关联的像素点组成超像素块。
进一步的,所述步骤(3)中,利用超像素块训练codebook模型的方法为:
(3.1)、初始化Codebook模型
以每个超像素块最终的聚类中心的坐标为基准,将每个聚类中心对应的Codebook置为空,每个Codebook中的码字个数L置为零,即L=0;
(3.2)、根据匹配码字cm更新vm和auxm
对于输入视频流第t(t<=M)帧图像中任意一个像素点的颜色信息xt为xt=(Rt,Gt,Bt),亮度值码字cm的RGB为向量νm,RGB表示颜色空间;
根据以下两个判断条件找到匹配的码字cm
颜色判据公式为:
colordist(xt,vm)≤ε1(3)
亮度判据公式为:
b r i g h t n e s s ( I , < I ~ m , I ^ m > ) = t r u e - - - ( 4 )
其中,ε1为预先设置的阈值;表示码字中最小和最大亮度值;
如果Codebook为空,或者未找到匹配的码字,则令L=L+1并创建一个新的码字cl
vl=(Rl,Gl,Bl)
(5)
auxl=<I,I,1,t-1,t,t>
(6)
其中,Rl,Gl,Bl表示新建码字的像素值;
如果找到匹配的码字cm,则将cm的RGB向量vm和auxm分别更新为:
v m = &lsqb; f m R m &OverBar; + R t f m + 1 , f m G m &OverBar; + G t f m + 1 , f m B m &OverBar; + B t f m + 1 &rsqb; - - - ( 7 )
aux m = < m i n ( I , I ~ m , ) , m a x ( I , I ^ m ) , f m + 1 , m a x ( &lambda; m , , t - q m ) , p m , t > - - - ( 8 )
其中,fm为匹配成功的码字的出现次数,表示匹配成功的码字中保存的像素值,λm表示匹配成功的码字出现的最大间隔,pm,qm分别表示匹配成功的码字第一次和最后一次出现的时间;
(3.4)、消除消极码字
预设阈值ελ,将出现最大间隔λm大于阈值ελ的消极码字进行消除,得到最终的背景模型。
更进一步的,所述步骤(4)中,检测前景的方法为:
(4.1)、输入视频流中从第M+1帧开始的任意一帧图像,将该帧图像分割成K个超像素块,并输入到Codebook模型;
(4.2、)对每一个聚类中心点做背景减除,得到前景
设聚类中心像素点的颜色信息为xn=(Rn,Gn,Bn),背景减除具体过程如下:
(4.2.1)、定义布尔变量matched=0,预设颜色判据检测阈值ε2,计算亮度值
(4.2.2)、根据以下两个判据,从Codebook中找到与该像素匹配的码字cm
colordist(xn,vm)≤ε2(9)
b r i g h t n e s s ( I , < I ~ m , I ^ m > ) = t r u e - - - ( 10 )
当满足公式(9)、(10)两个判据时,将matched=1,像素判定为背景;当不满足公式(9)、(10)两个判据时,则将matched=0,像素判定为前景;
(4.2.3)、获取前景图像
将步骤(4.2.2)中布尔变量matched=0对应的聚类中心的像素值置1,同时将该聚类中心关联的像素点的像素值置1,得到完整的前景图像。
本发明的发明目的是这样实现的:
本发明一种融合超像素和Codebook背景模型的前景检测方法,通过超像素分割将视频图像中的像素点结合为超像素块,以超像素块为单位对其聚类中心建立Codebook背景模型,无需对视频中每个像素点单独建立Codebook背景模型,有效节约背景模型所需内存,在前景检测阶段,只对聚类中心进行检测,大大缩短检测时间,符合实时监控平台的要求。
附图说明
图1是一种融合超像素和背景模型的前景检测方法流程图;
图2是超像素分割效果图;
图3是本发明方法检测和经典方法效果对比图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
图1是本发明一种融合超像素和背景模型的前景检测方法流程图。
在本实施例中,如图1所示,本发明一种融合超像素和背景模型的前景检测方法,包括以下步骤:
S1、提取输入视频流的第一帧图像作为待分割图像。
S2、基于CIELAB颜色空间下,利用SLIC算法对待分割图像进行超像素分割,得到多个具有相似特征的超像素块;
当视频分辨率较低时,建议分割区域数目更大,每块包含像素点更少;当视频分辨率更高时,可使每块区域包含的像素点数目更多。因为分辨率更高时,像素点相对更密集,分割后即使每块包含较多像素点,每块的面积也较小。分割效果如图2所示,其中,图2(a)为输入的原始图像,即视频流中第一帧图像,图2(b)表示将图像分割为200个超像素块的效果图,可以很明显的发现,因为超像素块数量较小,眼睛和头发的部分的超像素块中包含的颜色并不完全一致,分割并不理想;图2(c)表示将图像分割为1000个超像素块的效果图,分割后的超像素块内的颜色信息基本一致。
下面对分割的具体过程进行详细说明,具体如下:
S2.1、预设超像素块的聚类中心
根据实际需求,将待分割图像划分为K个大小均匀的超像素块,则每个超像素块的边长为其中,N为待分割图像中像素点的总个数;
对不同的N,K的取值也有所变化,我们所测视频N为76800(320*240),K取10000,这样S的值较小(约为2.77),超像素块也就较小,检测效果更佳。
分别对每个超像素块抽样,找到排列规则的K个聚类中心,将每个聚类中心分别移动到3×3邻域中梯度的最小位置,得到每个超像素块预设的聚类中心;
G ( x &OverBar; , y &OverBar; ) = | | I ( x &OverBar; + 1 , y &OverBar; ) - I ( x &OverBar; - 1 , y &OverBar; ) | | 2 + | | I ( x &OverBar; , y &OverBar; + 1 ) - I ( x &OverBar; , y &OverBar; - 1 ) | | 2 - - - ( 1 )
其中,I()表示像素点的亮度值,表示聚类中心的坐标;
S2.2、利用SLIC算法计算待分割图像中每个像素点与其距离最近的聚类中心间的距离Ds
D s = d l a b + m S d x y - - - ( 2 )
其中,(l,a,b)代表每个像素点的颜色,(x,y)代表每个像素点的坐标;变量m用于控制超像素分割结果的紧凑性,在本实施例中,m取值为20;S为超像素块的边长;
其中,
d l a b = ( l k - l i ) 2 + ( a k - a i ) 2 + ( b k - b i ) 2
d x y = ( x k - x i ) 2 + ( y k - y i ) 2
其中,k和i为两个像素点的序号;当m=20固定时,当期望超像素块的输出个数K越大,则S的值越小,从而在计算Ds时,边缘信息所占的权重越大;因此当期望超像素块的输出个数不同时,超像素分割结果在特征信息上的表现也有所不同。
S2.3、求得准确的聚类中心
根据Ds的值,将所有的像素点都与周围最近的聚类中心相关联,求得每个聚类中心和所有与其关联的像素点的平均坐标,并将此坐标对应的像素点作为新聚类中心,再不断循环此过程,直到两次求得的新聚类中心的坐标不变,得到最终的聚类中心,最后将与该聚类中心相关联的像素点组成超像素块。
在本实施例中,采用SLIC算法进行超像素分割,通过该方法,可以得到高质量的、结构紧密、大小一致的超像素块;其次,以超像素为单位的图像处理方法不仅可以有效提高图像后续处理的效率,而且还可以减少图像后续处理中的冗余信息。
实施例中发现,由于图像边缘相对较简单,在图像边缘的超像素块中包含较多的像素点,在10-15个之间,但是由于图像中间颜色信息较复杂,在图像中间的超像素块包含的像素点较少,大概在6个左右。
S3、利用步骤S2得到的超像素块训练codebook模型;
S3.1、初始化Codebook模型
以每个超像素块最终的聚类中心的坐标为基准,将每个聚类中心对应的Codebook置为空,每个Codebook中的码字个数L置为零,即L=0;
S3.2、根据匹配码字cm更新vm和auxm
对于输入视频流第t(t<=M)帧图像中任意一个像素点的颜色信息xt为xt=(Rt,Gt,Bt),亮度值码字cm的RGB为向量νm,RGB表示颜色空间;
本实施例中,M取50;
根据以下两个判断条件找到匹配的码字cm
颜色判据公式为:
colordist(xt,vm)≤ε1(3)
亮度判据公式为:
b r i g h t n e s s ( I , < I ~ m , I ^ m > ) = t r u e - - - ( 4 )
其中,ε1为预先设置的阈值;表示码字中最小和最大亮度值;
本实施例中,ε1取0.1;
如果Codebook为空,或者未找到匹配的码字,则令L=L+1并创建一个新的码字cl
vl=(Rl,Gl,Bl)
(5)
auxl=<I,I,1,t-1,t,t>
(6)
其中,Rl,Gl,Bl表示新建码字的像素值;
如果找到匹配的码字cm,则将cm的RGB向量vm和auxm分别更新为:
v m = &lsqb; f m R m &OverBar; + R t f m + 1 , f m G m &OverBar; + G t f m + 1 , f m B m &OverBar; + B t f m + 1 &rsqb; - - - ( 7 )
aux m = < m i n ( I , I ~ m , ) , m a x ( I , I ^ m ) , f m + 1 , m a x ( &lambda; m , , t - q m ) , p m , t > - - - ( 8 )
其中,fm为匹配成功的码字的出现次数,表示匹配成功的码字中保存的像素值,λm表示匹配成功的码字出现的最大间隔,pm,qm分别表示匹配成功的码字第一次和最后一次出现的时间;
S3.4、消除消极码字
预设阈值ελ,将出现最大间隔λm大于阈值ελ的消极码字进行消除,得到最终的背景模型。
本实施例中,ελ取20;
S4、以训练完成的codebook模型为基准,检测出前景
S4.1、输入视频流中从第M+1帧开始的任意一帧图像,将该帧图像分割成K个超像素块,并输入到Codebook模型;
S4.2、对每一个聚类中心点做背景减除,得到前景
设聚类中心像素点的颜色信息为xn=(Rn,Gn,Bn),背景减除具体过程如下:
S4.2.1、定义布尔变量matched=0,预设颜色判据检测阈值ε2,计算亮度值
S4.2.2、根据以下两个判据,从Codebook中找到与该像素匹配的码字cm
colordist(xn,vm)≤ε2(9)
b r i g h t n e s s ( I , < I ~ m , I ^ m > ) = t r u e - - - ( 10 )
当满足公式(9)、(10)两个判据时,将matched=1,像素判定为背景;当不满足公式(9)、(10)两个判据时,则将matched=0,像素判定为前景;
S4.2.3、获取前景图像
将步骤S4.2.2中布尔变量matched=0对应的聚类中心的像素值置1,同时将该聚类中心关联的像素点的像素值置1,得到完整的前景图像。
检测效果如图3所示,其中,图3(a)为视频流的第51帧,图3(b)为经典码本算法的检测的前景图像,在运行时,每秒钟只能处理约4.5-5.5帧图像,存储的Codebook背景模型信息所占内存约为7456Kb(不含程序运行所占内存)。而图3(c)为本发明所述方法的检测结果,运行时,每秒钟可处理约18帧图像,存储的Codebook背景模型信息所占内存约为956Kb(不含程序运行所占内存)。用经典码本算法和本发明算法都能较好的检测到前景图像。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种融合超像素和背景模型的前景检测方法,其特征在于,包括以下步骤:
(1)、提取输入视频流的第一帧图像作为待分割图像;
(2)、基于CIELAB颜色空间下,利用SLIC算法对待分割图像进行超像素分割,得到多个具有相似特征的超像素块;
(3)、利用步骤(2)得到的超像素块训练codebook模型;
(4)、以训练完成的codebook模型为基准,检测出前景。
2.根据权利要求1所述的一种融合超像素和背景模型的前景检测方法,其特征在于,所述步骤(1)中,利用SLIC算法对待分割图像进行超像素分割的具体方法为:
(2.1)、预设超像素块的聚类中心
根据实际需求,将待分割图像划分为K个大小均匀的超像素块,则每个超像素块的边长为其中,N为待分割图像中像素点的总个数;
分别对每个超像素块抽样,找到排列规则的K个聚类中心,将每个聚类中心分别移动到3×3邻域中梯度的最小位置,得到每个超像素块预设的聚类中心;
G ( x &OverBar; , y &OverBar; ) = | | I ( x &OverBar; + 1 , y &OverBar; ) - I ( x &OverBar; - 1 , y &OverBar; ) | | 2 + | | I ( x &OverBar; , y &OverBar; + 1 ) - I ( x &OverBar; , y &OverBar; - 1 ) | | 2 - - - ( 1 )
其中,I()表示像素点的亮度值,表示聚类中心的坐标;
(2.2)、利用公式(2)计算待分割图像中每个像素点与其距离最近的聚类中心间的距离Ds
D s = d l a b + m S d x y - - - ( 2 )
其中,(l,a,b)代表每个像素点的颜色,(x,y)代表每个像素点的坐标;变量m用于控制超像素分割结果的紧凑性;S为超像素块的边长;
其中,
d l a b = ( l k - l i ) 2 + ( a k - a i ) 2 + ( b k - b i ) 2
d x y = ( x k - x i ) 2 + ( y k - y i ) 2
其中,k和i为两个像素点的序号;
(2.3)、求得准确的聚类中心
根据Ds的值,将所有的像素点都与周围最近的聚类中心相关联,求得每个聚类中心和所有与其关联的像素点的平均平均坐标,并将此坐标对应的像素点作为新聚类中心,再不断循环此过程,直到两次求得的新聚类中心的坐标不变,得到最终的聚类中心,最后将与该聚类中心相关联的像素点组成超像素块。
3.根据权利要求1所述的一种融合超像素和背景模型的前景检测方法,其特征在于,所述步骤(3)中,利用超像素块训练codebook模型的方法为:
(3.1)、初始化Codebook模型
以每个超像素块最终的聚类中心的坐标为基准,将每个聚类中心对应的Codebook置为空,每个Codebook中的码字个数L置为零,即L=0;
(3.2)、根据匹配码字cm更新vm和auxm
对于输入视频流第t(t<=M)帧图像中任意一个像素点的颜色信息xt为xt=(Rt,Gt,Bt),亮度值码字cm的RGB为向量νm,RGB表示颜色空间;
根据以下两个判断条件找到匹配的码字cm
颜色判据公式为:
colordist(xt,vm)≤ε1(3)
亮度判据公式为:
b r i g h t n e s s ( I , < I ~ m , I ^ m > ) = t r u e - - - ( 4 )
其中,ε1为预先设置的阈值;表示码字中最小和最大亮度值;
如果Codebook为空,或者未找到匹配的码字,则令L=L+1并创建一个新的码字cl
vl=(Rl,Gl,Bl)(5)
auxl=<I,I,1,t-1,t,t>(6)
其中,Rl,Gl,Bl表示新建码字的像素值;
如果找到匹配的码字cm,则将cm的RGB向量vm和auxm分别更新为:
v m = &lsqb; f m R m &OverBar; + R t f m + 1 , f m G m &OverBar; + G t f m + 1 , f m B m &OverBar; + B t f m + 1 &rsqb; - - - ( 7 )
aux m = < min ( I , I ~ m , ) , m a x ( I , I ^ m ) , f m + 1 , m a x ( &lambda; m , , t - q m ) , p m , t > - - - ( 8 )
其中,fm为匹配成功的码字的出现次数,表示匹配成功的码字中保存的像素值,λm表示匹配成功的码字出现的最大间隔,pm,qm分别表示匹配成功的码字第一次和最后一次出现的时间;
(3.4)、消除消极码字
预设阈值ελ,将出现最大间隔λm大于阈值ελ的消极码字进行消除,得到最终的背景模型。
4.根据权利要求1所述的一种融合超像素和背景模型的前景检测方法,其特征在于,所述步骤(4)中,检测前景的方法为:
(4.1)、输入视频流中从第M+1帧开始的任意一帧图像,将该帧图像分割成K个超像素块,并输入到Codebook模型;
(4.2、)对每一个聚类中心点做背景减除,得到前景
设聚类中心像素点的颜色信息为xn=(Rn,Gn,Bn),背景减除具体过程如下:
(4.2.1)、定义布尔变量matched=0,预设颜色判据检测阈值ε2,计算亮度值
(4.2.2)、根据以下两个判据,从Codebook中找到与该像素匹配的码字cm
colordist(xn,vm)≤ε2(9)
b r i g h t n e s s ( I , < I ~ m , I ^ m > ) = t r u e - - - ( 10 )
当满足公式(9)、(10)两个判据时,将matched=1,像素判定为背景;当不满足公式(9)、(10)两个判据时,则可将matched=0,像素判定为前景;
(4.2.3)、获取前景图像
将步骤(4.2.2)中布尔变量matched=0对应的聚类中心的像素值置1,同时将该聚类中心关联的像素点的像素值置1,得到完整的前景图像。
CN201610149024.2A 2016-03-16 2016-03-16 一种融合超像素和背景模型的前景检测方法 Pending CN105825234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610149024.2A CN105825234A (zh) 2016-03-16 2016-03-16 一种融合超像素和背景模型的前景检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610149024.2A CN105825234A (zh) 2016-03-16 2016-03-16 一种融合超像素和背景模型的前景检测方法

Publications (1)

Publication Number Publication Date
CN105825234A true CN105825234A (zh) 2016-08-03

Family

ID=56987782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610149024.2A Pending CN105825234A (zh) 2016-03-16 2016-03-16 一种融合超像素和背景模型的前景检测方法

Country Status (1)

Country Link
CN (1) CN105825234A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016691A (zh) * 2017-04-14 2017-08-04 南京信息工程大学 基于超像素特征的运动目标检测方法
CN107016675A (zh) * 2017-03-07 2017-08-04 南京信息工程大学 一种基于非局部时空特征学习的无监督视频分割方法
CN108772841A (zh) * 2018-05-30 2018-11-09 深圳市创艺工业技术有限公司 一种智能巡逻机器人
CN108830235A (zh) * 2018-06-21 2018-11-16 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN111160099A (zh) * 2019-11-28 2020-05-15 福建省星云大数据应用服务有限公司 一种视频图像目标的智能化分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法
CN103578119A (zh) * 2013-10-31 2014-02-12 苏州大学 基于超像素的Codebook动态场景中目标检测方法
CN103700088A (zh) * 2013-12-01 2014-04-02 北京航空航天大学 一种基于可变形图结构表示的图像集无监督共分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法
CN103578119A (zh) * 2013-10-31 2014-02-12 苏州大学 基于超像素的Codebook动态场景中目标检测方法
CN103700088A (zh) * 2013-12-01 2014-04-02 北京航空航天大学 一种基于可变形图结构表示的图像集无监督共分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KYUNGNAM K.ET AL: "《Real-time foreground–background segmentation using codebook model》", 《REAL-TIME IMAGING》 *
RADHAKRISHNA A.ET AL: "《SLIC Superpixels Compared to State-of-the-art Superpixel Methods》", 《JOURNAL OF LATEX CLASS FILES》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016675A (zh) * 2017-03-07 2017-08-04 南京信息工程大学 一种基于非局部时空特征学习的无监督视频分割方法
CN107016691A (zh) * 2017-04-14 2017-08-04 南京信息工程大学 基于超像素特征的运动目标检测方法
CN107016691B (zh) * 2017-04-14 2019-09-27 南京信息工程大学 基于超像素特征的运动目标检测方法
CN108772841A (zh) * 2018-05-30 2018-11-09 深圳市创艺工业技术有限公司 一种智能巡逻机器人
CN108830235A (zh) * 2018-06-21 2018-11-16 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN108830235B (zh) * 2018-06-21 2020-11-24 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN111160099A (zh) * 2019-11-28 2020-05-15 福建省星云大数据应用服务有限公司 一种视频图像目标的智能化分割方法
CN111160099B (zh) * 2019-11-28 2023-03-24 福建省星云大数据应用服务有限公司 一种视频图像目标的智能化分割方法

Similar Documents

Publication Publication Date Title
CN106815566B (zh) 一种基于多任务卷积神经网络的人脸检索方法
CN104732506B (zh) 一种基于人脸语义分析的人物照片颜色风格转换方法
CN105825234A (zh) 一种融合超像素和背景模型的前景检测方法
CN108682017B (zh) 基于Node2Vec算法的超像素图像边缘检测方法
CN106023257B (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN108280397B (zh) 基于深度卷积神经网络的人体图像头发检测方法
Varga et al. Fully automatic image colorization based on Convolutional Neural Network
CN111989689A (zh) 用于识别图像内目标的方法和用于执行该方法的移动装置
CN110110755B (zh) 基于ptgan区域差距与多重分支的行人重识别检测方法及装置
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN112950477B (zh) 一种基于双路径处理的高分辨率显著性目标检测方法
CN110675462A (zh) 一种基于卷积神经网络的灰度图像彩色化方法
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN107146219B (zh) 一种基于流形正则化支持向量机的图像显著性检测方法
CN109448019B (zh) 一种变分光流模型平滑参数的自适应方法
CN110853064A (zh) 一种基于最小模糊散度的图像协同分割方法
CN109920018A (zh) 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN112766102A (zh) 一种基于空谱特征融合的无监督高光谱视频目标跟踪方法
CN116681636A (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
Zhang et al. Color-to-gray conversion based on boundary points
CN107358635B (zh) 一种基于模糊相似性的彩色形态学图像处理方法
Wu et al. Low-complexity pruning for accelerating corner detection
Zhao et al. Color channel fusion network for low-light image enhancement
CN116721398A (zh) 一种基于跨阶段路由注意力模块和残差信息融合模块的Yolov5目标检测方法
Hsu et al. Region-based image fusion with artificial neural network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160803