CN101950362B - 一种视频信号的关注度分析*** - Google Patents
一种视频信号的关注度分析*** Download PDFInfo
- Publication number
- CN101950362B CN101950362B CN 201010281140 CN201010281140A CN101950362B CN 101950362 B CN101950362 B CN 101950362B CN 201010281140 CN201010281140 CN 201010281140 CN 201010281140 A CN201010281140 A CN 201010281140A CN 101950362 B CN101950362 B CN 101950362B
- Authority
- CN
- China
- Prior art keywords
- attention rate
- subgraph
- attention
- motion
- sigma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉技术领域,尤其涉及视频信号的关注度分析***。本发明包括基于多参考帧的关注度特征提取模块,和基于空域连续性的关注度图计算模块。其中,基于多参考帧的关注度特征提取模块进一步包括:亮度特征提取子模块、颜色特征提取子模块、方向特征提取子模块、基于多参考帧的运动特征提取子模块、闪烁特征提取子模块;基于空域连续性的关注度图计算模块进一步包括:空域关注度子图计算子模块、运动关注度子图计算子模块、基于空域连续性的运动关注度子图增强子模块、闪烁关注度子图计算子模块、关注度子图合并子模块。本发明力求在不明显增加计算复杂度的情况下,大幅提升关注区域提取的准确率。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及视频信号的关注度分析***。
背景技术
视觉关注度模型通过模拟人眼对场景图像的感知机理,找到图像/视频中人眼感兴趣的区域,目前其已广泛的应用于人眼关注点搜索、图像分割、图像压缩、图像自适应剪切、视频对象跟踪、视频检索、视频编码、3D场景透视等领域。
1980年美国普林斯顿大学心理学教授Anne Treisman在文献1中通过对人眼视觉***进行模拟实验得出颜色、方向和亮度是人类视觉***最关注的特征,并在此基础上提出了特征融合的理论,它是人类视觉模型的一个重要的理论基础。1998年,Itti等人在文献2中对视觉注意中的选择和转移工作机制进行了开创性的研究,提出了可计算的视觉注意模型框架,采用特征融合的方式计算关注度图,并将关注度值大的区域作为关注区域。2003年,Itti在文献3中,结合图像关注度模型,并通过考虑前后2帧视频信号的运动特征和闪烁特征,提出视频信号的关注度模型。但是Itti模型仅用了前后2帧进行运动参数的提取,能够捕获的物体速度范围有限,当运动物体速度较慢时容易造成漏判。另外,其基于帧差法的运动特征检测,容易将活动物体的内部标识成低关注度区域,从而造成误判。
2005年,Wen-Huang Cheng在文献4中,针对Itti模型对缓慢运动处理不佳的缺点,将视频序列分段,利用中值滤波得到时间分段的关注度图,但这种方法对于运动剧烈的序列效果不好。另外,2009年Chang Liu等在文献5中,利用像素的统计模型将空域关注度和时域关注度融合,从而解决当运动物体速度较慢时容易造成漏判的问题,但是其前提条件是统计窗口必须和前景对象的大小匹配,因此在实际应用中并不具备普适性。
本发明专利申请通过利用多帧参考,对传统方法的运动特征提取进行了扩展,使得运动特征在时域上包含更多的尺度,能更精确的描述前景对象的运动信息,减少漏判的可能性。同时,该***在关注度计算模块中,用空域关注度图对运动关注度进行了增强,解决了传统方法将活动物体的内部标识成低关注度区域的问题。实验结果表明,在关注区域提取的准确率上,该***较传统方法有大幅提高。
文献1:Treisman,A.M.Gelade G.“A feature-integration theory of attention.”CognitivePsychology,vol.12,no.1,pp.97-136,1980.
文献2:L.Itti,C.Koch,E.Niebur.“A model of saliency-based visual attention for rapidscene analysis.″IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.20,no.11,pp.1254-1259,Nov.1998.
文献3:L.Itti,N.Dhavale,F.Pighin,“Realistic avatar eye and head animation using aneurobiological model of visual attention.”In Proceedings of SPIE 48th Annual InternationalSymposium on Optical Science and Technology,vol.5200,pp.64-78August,2003.
文献4:W.H.Cheng,W.T.Chu,J.L.Wu.“A visual attention based region-of-interestdetermination framework for video sequences.”IEICE Transaction on Information and Systems,vol.88,no.7,pp.1578-1586,2005.
文献5:Chang Liu,PongC.Yuen,Guoping Qiu,“Object motion detection using informationtheoretic spatio-temporal saliency,”Pattern Recognition,vol.42,issue 11,pp.2897-2906,2009.
发明内容
针对上述存在的技术问题,本发明的目的是提供一种视频信号的关注度分析***,找到视频中人眼感兴趣的区域,从而为后续的视频处理奠定基础。
为达到上述目的,本发明采用如下的技术方案:
一种视频信号的关注度分析***,包括:
-基于多参考帧的关注度特征提取模块,该模块进一步包括:
亮度特征提取子模块,用于提取当前视频帧不同尺度的亮度特征集合;
颜色特征提取子模块,用于提取当前视频帧不同尺度的颜色特征集合;
方向特征提取子模块,用于提取当前视频帧不同方向上的不同尺度的方向特征集合;
基于多参考帧的运动特征提取子模块,用于提取当前视频帧不同方向上的不同尺度的运动特征集合;
闪烁特征提取子模块,用于提取当前视频帧和前一帧图像间的不同尺度的闪烁特征;
-基于空域连续性的关注度图计算模块,该模块进一步包括:
空域关注度子图计算子模块,用于利用亮度、颜色和方向通道的特征集合计算各自通道的关注度子图,并生成空域关注度子图;
运动关注度子图计算子模块,用于利用当前帧的运动特征集合计算初步的运动关注度子图;
基于空域连续性的运动关注度子图增强子模块,用于利用已生成的空域关注度子图对运动关注度子图进行修正,得到最终的运动关注度子图;
闪烁关注度子图计算子模块,用于利用闪烁特征生成闪烁关注度子图;
关注度子图合并子模块,用于将空域、运动和闪烁关注度子图合并,生成最终的关注度图。
所述亮度特征提取子模块,通过下述公式获得:
设Lev是图像高斯金字塔的分解层数,其取值是由用户自己设定的正整数,另设r(σ),g(σ),b(σ)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量,由下式求得亮度特征I(σ),形成Lev层特征子图:
I(σ)=(r(σ)+g(σ)+b(σ))/3
其中,σ为正整数,且σ∈[1,Lev]。
所述颜色特征提取子模块,通过下述公式获得:
设r(σ),g(σ),b(σ)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量,图像高斯金字塔中第σ层的红、绿、蓝,黄四个基色R(σ),G(σ),B(σ),Y(σ)通过下述公式获得:
与红绿色对应的RG(σ)、与蓝黄色对应的BY(σ)通过下述公式获得:
RG(σ)=(R(σ)-G(σ))
BY(σ)=(B(σ)-Y(σ))。
所述方向特征提取子模块中方向特征O(σ,θ)是对亮度特征I(σ)上用方向θ的Gabor函数滤波得到的Gabor金字塔,其中,θ是Gabor函数的方向参数,由用户自行选择。
所述闪烁特征提取子模块中,闪烁特征值Fi(σ)由当前帧的亮度特征Ii(σ)和前一帧的亮度特征Ii-1(σ)对应位置像素点的强度值相减得到:
Fi(σ)=|Ii(σ)-Ii-1(σ)|
其中,设当前帧为第i帧,前一帧为第i-1帧。
所述基于多参考帧的运动特征提取子模块中,每个时空域尺度上运动特征Rn(σ,θ,p)由下式求出:
Ri(σ,θ,p)=|Ii(σ,θ)*Sp(σ,θ)-Ip(σ,θ)*Si(σ,θ)|
其中,Ii(σ,θ)是当前帧的亮度特征I在尺度σ上用方向θ的Gabor函数滤波的特征图,Si(σ,θ)是Ii(σ,θ)在方向θ上的偏移,i为当前帧的帧号,p为参考帧的帧号;
设有n帧参考帧,则p=i-2n-1,当参考帧并非当前帧的前一帧时,即P不等于i-1时,σ不再从1~Lev进行遍历,而仅用σ=1的图像求Rn(σ,θ,p)。
基于空域连续性的运动关注度子图增强子模块,通过以下子步骤实现:
①得到当前帧的空域关注度图SMspatial
SMspatial=w1*SMI+w2*SMC+w3*SMO
其中,w1、w2和w3是加权系数,SMI为亮度关注度子图,SMC为颜色关注度子图,SMO为方向关注度子图;
②根据一定的阈值T1,将运动关注度高的点标明出来,设某一高运动关注度值的点为ni,其中i为当前点在关注度图中的序号,则高运动关注度值的点集为{ni};根据一定的阈值T2,将空域关注度高的点标明出来,设某一高空域关注度值的点为mi,则此高空域关注度值的点集为{mi};
③设运动的前景物体的点集为{qi},则{qi}={ni}∩{mi},并设置
其中,f(t)是一个二值函数,t为关注度子图中的每个点。
④针对运动的前景物体的每一个点qi,设其邻域为L,其取值由用户自己设置。在其邻域进行搜索,将属于同一前景物体的点设为关注点:
其中p为qi邻域L中的每一个点,threshold是用户自己设置的阈值。
⑤得到关注度点的集合{ui},则{ui}={t|f(t)=1};
⑥然后得到运动关注点集{TSi},{TSi}={ui}∪{ni};
⑦将{TSi}-{ni}中的点的关注度值设置为{ni}中关注度的平均值,由此得到增强后的运动关注度图SMTM。
所述关注度子图合并子模块,通过下述公式获得:
SM=λ1*SMspatial+λ2*SMTM+λ3*SMF
其中,λ1、λ2和λ3是加权系数,SM当前帧的关注度图,SMF为闪烁关注度子图。
本发明具有以下优点和积极效果:
1)对传统方法的运动特征提取进行了扩展,使得运动特征在时域上包含更多的尺度,能更精确的描述前景对象的运动信息,减少漏判的可能性。同时,该***在关注度计算模块中,用空域关注度图对运动关注度进行了增强,解决了传统方法将活动物体的内部标识成低关注度区域的问题。实验结果表明,和Itti的模型相比,其度量关注区域提取准确率的指标ROC分数(Receive Operating Characteristic Score,即ROC曲线下面积,满分为1)从0.785提升到0.954。
2)复杂度没有明显增加,本发明没有增加任何高复杂度的计算模块,复杂度与传统方法相当。
附图说明
图1是本发明视频信号的关注度分析***的结构图。
图2是本发明的面向视频信号的关注度计算框图。
图3是本发明的关注度对比实验示意图。
其中,1-基于多参考帧的关注度特征提取模块,2-基于空域连续性的关注度图计算模块,11-亮度特征提取子模块,12-颜色特征提取子模块,13-方向特征提取子模块,14-基于多参考帧的运动特征提取子模块,15-闪烁特征提取子模块,21-空域关注度子图计算子模块,22-运动关注度子图计算子模块,23-基于空域连续性的运动关注度子图增强子模块,24-闪烁关注度子图计算子模块,25-关注度子图合并子模块,3-原始序列,4-关注度图序列。
具体实施方式
下面以具体实施例结合附图对本发明作进一步说明:
本发明提供的视频信号的关注度分析***,具体采用如下技术方案,参见图1,包括以下组成部分:
①基于多参考帧的关注度特征提取模块1,该模块主要用于提取视频信号的多个视觉通道的特征参数,该模块进一步包括亮度特征提取子模块11、颜色特征提取子模块12、方向特征提取子模块13、基于多参考帧的运动特征提取子模块14、以及闪烁特征提取子模块15;
其中,亮度特征提取子模块11,用于提取当前视频帧不同尺度的亮度特征集合;
颜色特征提取子模块12,用于提取当前视频帧不同尺度的颜色特征集合;
方向特征提取子模块13,用于提取当前视频帧不同方向上的不同尺度的方向特征集合;
基于多参考帧的运动特征提取子模块14,用于提取当前视频帧不同方向上的不同尺度的运动特征集合;
闪烁特征提取子模块15,用于提取当前视频帧和前一帧图像间的不同尺度的闪烁特征;
②基于空域连续性的关注度图计算模块2,该模块用于各个视觉通道的关注度子图,并合并成最终的关注度图,该模块进一步包括空域关注度子图计算子模块21、运动关注度子图计算子模块22、基于空域连续性的运动关注度子图增强子模块23、闪烁关注度子图计算子模块24、以及关注度子图合并子模块25;
其中,空域关注度子图计算子模块21,用于利用亮度、颜色和方向通道的特征集合计算各自通道的关注度子图,并生成空域关注度子图;
运动关注度子图计算子模块22,用于利用当前帧的运动特征集合计算初步的运动关注度子图;
基于空域连续性的运动关注度子图增强子模块23,用于利用已生成的空域关注度子图对运动关注度子图进行修正,得到最终的运动关注度子图;
闪烁关注度子图计算子模块24,用于利用闪烁特征生成闪烁关注度子图;
关注度子图合并子模块25,用于将空域、运动和闪烁关注度子图合并,生成最终的关注度图;
本***输入端输入原始序列3,输入端输出关注度图序列4。
下面进一步详细描述本发明所示***的子模块的实施过程。通过对结合附图的实施例的详细描述,本发明的优点和特征,及其实现方法对本领域技术人员来讲更加清楚。
1、基于多参考帧的关注度特征提取模块
首先,提取当前帧及相邻的多帧先前帧图像,把当前帧图像和前一帧图像表示为2层的高斯金字塔。两层分别是用5x5的高斯滤波器对输入图像进行滤波和采样形成的,大小为输入图像的1/4和1/16。
亮度特征提取,设r(σ),g(σ),b(σ)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量。可由下式求得亮度特征I(σ),形成2层特征子图。
I(σ)=(r(σ)+g(σ)+b(σ))/3
其中,σ取1或2。
色度特征提取:设r(σ),g(σ),b(σ)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量,图像高斯金字塔中第σ层的红、绿、蓝,黄四个基色R(σ),G(σ),B(σ),Y(σ)通过下述公式获得:
则与红绿色对应的RG(σ)、与蓝黄色对应的BY(σ)通过下述公式获得:
RG(σ)=(R(σ)-G(σ))
BY(σ)=(B(σ)-Y(σ))
方向特征提取,方向特征O(σ,θ)是对亮度特征I(σ)上用方向θ的Gabor函数滤波得到的Gabor金字塔。其中,θ∈{0°,45°,90°,135°},Gabor变换属于加窗傅立叶变换,Gabor函数可以在频域不同尺度、不同方向上提取相关的特征,乃本领域公知的技术。
闪烁特征值由当前帧(设为第i帧)的亮度特征和前一帧(设为第i-1帧)的亮度特征对应位置像素点的强度值相减得到:
Fi(σ)=|Ii(σ)-Ii-1(σ)|
运动特征提取,运动特征计算由多个参考帧求出,使得运动特征在时域上包含更多的尺度,能更精确的描述前景对象的运动信息,减少漏判的可能性。每个时空域尺度上运动特征Rn(σ,θ,p)由下式求出:
Ri(σ,θ,p)=|Ii(σ,θ)*Sp(σ,θ)-Ip(σ,θ)*Si(σ,θ)|
其中,Ii(σ,θ)是当前帧的亮度特征I在尺度σ上用方向θ的Gabor函数滤波的特征图,Si(σ,θ)是Ii(σ,θ)在方向θ上的偏移。i为当前帧的帧号,p为参考帧的序号,设有n帧参考帧,则
p=i-2n-1
当参考帧并非当前帧的前一帧时,即p不等于i-1时,σ不再从1~2进行遍历,而仅用σ=1的图像求Rn(σ,θ,p)。例如,不妨假设设有3个参考帧,则P等于i-1,i-2和i-4,相较于传统方法增加了Rn(1,θ,i-2)和Rn(1,θ,i-4)两个尺度。设传统算法所捕获的最小运动速度为Vmin,则本方法增加了最小捕获速度为Vmin/2和最小捕获速度为Vmin/4两个运动捕获的档次,增加了运动特征提取的范围和准确性。
将所有的特征子图计算完毕后,将所有的特征子图缩放到同一尺寸,本实例的尺寸为40×30。最终,假设有3个参考帧,则经过特征提取后得到了2个亮度特征子图,4个颜色特征子图,8个方向特征子图,16个运动特征子图和2个方向特征子图。
2、基于空域连续性的关注度图计算模块
1)根据特征子图求解各个通道的关注度图
在得到各个通道的特征集合后,本发明利用文献6(J.Harel,C.Koch,and P.Perona,“graph-based visual saliency,”in Advances in Neural Information Processing Systems 19,Cambridge,MA:MIT Press,2007)中的关注度子图生成方法生成各个通道的关注度子图。
对于某个通道的特征子图AL,首先根据其特征子图,求得其对应的马尔可夫链的概率转移矩阵。
MM(i->j)=w*|AL(i)-AL(j)|
其中,w是定义的加权系数,i,j之间的距离越远,则w越小,反之亦然,可定义为
w(i,j)=K*exp(-((xi-xj)2+(yi-yj)2)/λ2)
其中,xi和yi为点i的坐标,K和λ为常数。
设特征子图的尺寸是M×N,则MM的尺寸是MN×MN。
在得到马尔可夫链的概率转移矩阵后,求解当马尔可夫链的达到平衡分布时其每个结点的状态。此状态即为特征子图AL所生成的关注度子图中该点的关注度值。而求解此状态等价于求解MM矩阵的特征值为1的特征向量。
对于亮度、颜色、方向、运动和闪烁五个通道而言,每个通道均有多个特征子图所生成的关注度子图。将每个通道的特征子图标准化后平均,即得到此通道的特征子图。
其标准化方法如下:
首先,将各图中各点的值标准化到一个固定的区间[0,M]中。
其次,找到图中全局最大值M,然后计算其他局部极大值的平均值m。
最后,图中所有的点的值乘(M-m)2。
由此,即得到亮度关注度子图SMI,颜色关注度子图SMC,方向关注度子图SMO,运动特征子图SMM和闪烁特征子图SMF。
2)利用空域关注度图来修正运动关注度图
其步骤如下:
步骤1:得到当前帧的空域关注度图SMspatial
SMspatial=w1*SMI+w2*SMC+w3*SMO
其中,w1、w2和w3是加权系数。
步骤2:根据一定的阈值T1,将运动关注度高的点标明出来,设某一高运动关注度值的点为ni,其中i为当前点在关注度图中的序号,则高运动关注度值的点集为{ni};根据一定的阈值T2,将空域关注度高的点标明出来,设某一高空域关注度值的点为mi,则此高空域关注度值的点集为{mi};
步骤3:设运动的前景物体的点集为{qi},则{qi}={ni}∩{mi},并设置
其中,f(t)是一个二值函数,t为关注度子图中的每个点。
步骤4:针对运动的前景物体的每一个点qi,设其邻域为L,其取值由用户自己设置。
在其邻域进行搜索,将属于同一前景物体的点设为关注点:
其中p为qi邻域L中的每一个点,threshold是用户自己设置的阈值。
步骤5:得到关注度点的集合{ui},则{ui}={t|f(t)=1};
步骤6:然后得到运动关注点集{TSi},{TSi}={ui}∪{ni}
步骤7:将{TSi}-{ni}中的点的关注度值设置为{ni}中关注度的平均值,由此得到增强后的运动关注度图SMTM。
3)将得到空域关注度、运动关注度及闪烁关注度进行加权合并,得到关注度图。
SM=λ1*SMspatial+λ2*SMTM+λ3*SMF
其中,λ1、λ2和λ3是加权系数。
图2是本发明的计算框图。通过此图可以看出,当视频码流进入本***时,首先在不同的特征空间上进行特征提取,然后由亮度、颜色、方向3个特征通道得到空域关注度子图,并以之优化运动关注度子图,最终将增强后的运动关注度子图、空域关注度子图和闪烁关注度子图合并,得到最终的关注度图。
本发明对传统方法的运动特征提取进行了扩展,使得运动特征在时域上包含更多的尺度,能更精确的描述前景对象的运动信息,减少漏判的可能性。同时,该***在关注度计算模块中,用空域关注度图对运动关注度进行了增强,解决了传统方法将活动物体的内部标识成低关注度区域的问题。实验结果表明,和Itti的模型相比,其度量关注区域提取准确率的指标ROC分数(Receive Operating Characteristic Score,即ROC曲线下面积,满分为1)从0.785提升到0.954。如图3所示显示了本发明的实验结果。
本发明以CAVIAR(http://homepages.inf.ed.ac.uk/rbf/CAVIAR)中的ThreePastShoplcor序列的第41~50帧为例,测试了Itti算法和本发明的性能,可见本发明的ROC分数远远高于Itti的算法,并接近满分。
以上实施例仅供说明本发明之用,而非对本发明的限制,有关技术领域的技术人员,在不脱离本发明的精神和范围的情况下,还可以作出各种变换或变型,因此所有等同的技术方案,都落入本发明的保护范围。
Claims (6)
1.一种视频信号的关注度分析***,其特征在于,包括:
–基于多参考帧的关注度特征提取模块,该模块进一步包括:
亮度特征提取子模块,用于提取当前帧不同尺度的亮度特征集合;
颜色特征提取子模块,用于提取当前帧不同尺度的颜色特征集合;
方向特征提取子模块,用于提取当前帧不同方向上的不同尺度的方向特征集合;
基于多参考帧的运动特征提取子模块,用于提取当前帧不同方向上的不同尺度的运动特征集合;所述基于多参考帧的运动特征提取子模块中,每个时空域尺度上运动特征Ri(σ,θ,v)由下式求出:
Ri(σ,θ,v)=|Ii(σ,θ)*Sv(σ,θ)-Iv(σ,θ)*Si(σ,θ)|
其中,Ii(σ,θ)是当前帧的亮度特征I在尺度σ上用方向θ的Gabor函数滤波的特征图,Si(σ,θ)是Ii(σ,θ)在方向θ上的偏移,i为当前帧的帧号,v为参考帧的帧号;
设有k帧参考帧,则v=i-2k-1,当参考帧并非当前帧的前一帧时,即v不等于i-1时,σ不再从1~Lev进行遍历,而仅用σ=1的图像求Ri(σ,θ,v),Lev是图像高斯金字塔的分解层数;
闪烁特征提取子模块,用于提取当前帧和前一帧间的不同尺度的闪烁特征;
–基于空域连续性的关注度图计算模块,该模块进一步包括:
空域关注度子图计算子模块,用于利用亮度特征集合、颜色特征集合和方向特征集合计算相应的亮度关注度子图、颜色关注度子图和方向关注度子图,并生成空域关注度子图SMspatial;
SMspatial=w1*SMI+w2*SMC+w3*SMO
其中,w1、w2和w3是加权系数,SMI为亮度关注度子图,SMC为颜色关注度子图,SMO为方向关注度子图;
运动关注度子图计算子模块,用于利用当前帧的运动特征集合计算初始的运动关注度子图;
基于空域连续性的运动关注度子图增强子模块,用于利用已生成的空域关注度子图对运动关注度子图进行修正,得到最终的运动关注度子图;具体实现流程包括以下子步骤:
①根据一定的阈值T1,将运动关注度高的点标明出来,设高运动关注度值的点集为{n};根据一定的阈值T2,将空域关注度高的点标明出来,设高空域关注度值的点集为{m};
②设运动的前景物体的点集为{q},即{q}={n}⌒{m},并设置
其中,f(t)是一个二值函数,t为初始的运动关注度子图中的每个点;
③针对运动的前景物体的每一个点q,设其邻域为L,L取值由用户自己设置;在其邻域进行搜索,将属于同一前景物体的点设为关注点:
其中p为q邻域L中的每一个点,threshold是用户自己设置的阈值;
④得到关注度点的集合{u},即{u}={t|f(t)=1};
⑤然后得到运动关注点集{TS},{TS}={u}∪{n};
⑥将{TS}-{n}中的点的运动关注度值设置为{n}中运动关注度的平均值,由此得到增强后所得最终的运动关注度图SMTM;
闪烁关注度子图计算子模块,用于利用闪烁特征生成闪烁关注度子图;
关注度子图合并子模块,用于将空域关注度子图、最终的运动关注度子图和闪烁关注度子图合并,生成最终的关注度图。
2.根据权利要求1所述的视频信号的关注度分析***,其特征在于,所述亮度特征提取子模块,通过执行下述公式获得当前帧不同尺度的亮度特征集合:
设Lev是当前帧或前一帧分解成图像高斯金字塔的分解层数,其取值是由用户自己设定的正整数,另设r(σ),g(σ),b(σ)分别为当前帧的图像高斯金字塔中第σ层的红、绿、蓝三个分量,由下式求得亮度特征I(σ),形成Lev层特征子图:
I(σ)=(r(σ)+g(σ)+b(σ))/3
其中,σ为正整数,且σ∈[1,Lev]。
3.根据权利要求2所述的视频信号的关注度分析***,其特征在于,所述颜色特征提取子模块,通过执行下述公式获得当前帧不同尺度的颜色特征集合:
设r(σ),g(σ),b(σ)分别为图像高斯金字塔中第σ层的红、绿、蓝三个分量,图像高斯金字塔中第σ层的红、绿、蓝,黄四个基色R(σ),G(σ),B(σ),Y(σ)通过下述公式获得:
与红绿色对应的颜色特征RG(σ)、与蓝黄色对应的颜色特征BY(σ)通过下述公式获得:
RG(σ)=(R(σ)-G(σ))
BY(σ)=(B(σ)-Y(σ))。
4.根据权利要求3所述的视频信号的关注度分析***,其特征在于,所述方向特征提取子模块中方向特征O(σ,θ)是对亮度特征I(σ)上用方向θ的Gabor函数滤波得到的Gabor金字塔,其中,θ是Gabor函数的方向参数,由用户自行选择。
5.根据权利要求2或3或4所述的视频信号的关注度分析***,其特征在于,所述闪烁特征提取子模块中,闪烁特征值Fi(σ)由当前帧的亮度特征Ii(σ)和前一帧的亮度特征Ii-1(σ)对应位置像素点的强度值相减得到:
Fi(σ)=|Ii(σ)-Ii-1(σ)|
其中,设当前帧为第i帧,前一帧为第i-1帧。
6.根据权利要求1所述的视频信号的关注度分析***,其特征在于,所述关注度子图合并子模块,通过执行下述公式获得最终的关注度图:
SM=λ1*SMspatial+λ2*SMTM+λ3*SMF
其中,λ1、λ2和λ3是加权系数,SM为当前帧的关注度图,SMF为闪烁关注度子图,SMspatial为空域关注度子图,SMTM为最终的运动关注度子图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010281140 CN101950362B (zh) | 2010-09-14 | 2010-09-14 | 一种视频信号的关注度分析*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010281140 CN101950362B (zh) | 2010-09-14 | 2010-09-14 | 一种视频信号的关注度分析*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101950362A CN101950362A (zh) | 2011-01-19 |
CN101950362B true CN101950362B (zh) | 2013-01-09 |
Family
ID=43453857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010281140 Expired - Fee Related CN101950362B (zh) | 2010-09-14 | 2010-09-14 | 一种视频信号的关注度分析*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101950362B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663405B (zh) * | 2012-05-14 | 2013-07-24 | 武汉大学 | 基于显著度和混合高斯模型的监控视频前景提取方法 |
CN109948700B (zh) * | 2019-03-19 | 2020-07-24 | 北京字节跳动网络技术有限公司 | 用于生成特征图的方法和装置 |
CN110288549B (zh) * | 2019-06-28 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 视频修复方法、装置及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271525A (zh) * | 2008-04-10 | 2008-09-24 | 复旦大学 | 一种快速的图像序列特征显著图获取方法 |
CN101651772A (zh) * | 2009-09-11 | 2010-02-17 | 宁波大学 | 一种基于视觉注意的视频感兴趣区域的提取方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6670963B2 (en) * | 2001-01-17 | 2003-12-30 | Tektronix, Inc. | Visual attention model |
JP4750758B2 (ja) * | 2007-06-20 | 2011-08-17 | 日本電信電話株式会社 | 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体 |
-
2010
- 2010-09-14 CN CN 201010281140 patent/CN101950362B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271525A (zh) * | 2008-04-10 | 2008-09-24 | 复旦大学 | 一种快速的图像序列特征显著图获取方法 |
CN101651772A (zh) * | 2009-09-11 | 2010-02-17 | 宁波大学 | 一种基于视觉注意的视频感兴趣区域的提取方法 |
Non-Patent Citations (3)
Title |
---|
JP特開2009-3615A 2009.01.08 |
Xuekan Qiu et al.Spatial-temporal attention analysis for home video.《IEEE International Conference on Multimedia and Expo,2008》.2008,第1517-1520页. * |
蒋鹏 等.基于时空模型的快速视频显著区域检测.《南京航空航天大学学报》.2009,第41卷(第1期),第75-79页. * |
Also Published As
Publication number | Publication date |
---|---|
CN101950362A (zh) | 2011-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Goh et al. | Micro-expression recognition: an updated review of current trends, challenges and solutions | |
CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
Li et al. | Traffic light recognition for complex scene with fusion detections | |
CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
Biswas et al. | Classification of objects in video records using neural network framework | |
CN103020992B (zh) | 一种基于运动颜色关联的视频图像显著性检测方法 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN110298297A (zh) | 火焰识别方法和装置 | |
KR100572768B1 (ko) | 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법 | |
CN113378641B (zh) | 基于深度神经网络和注意力机制的手势识别方法 | |
CN103093198A (zh) | 一种人群密度监测方法及装置 | |
Cho et al. | Semantic segmentation with low light images by modified CycleGAN-based image enhancement | |
CN104376334A (zh) | 一种多尺度特征融合的行人比对方法 | |
CN106023249A (zh) | 一种基于局部二值相似性模式的运动目标检测方法 | |
Liang et al. | Methods of moving target detection and behavior recognition in intelligent vision monitoring. | |
CN116311353A (zh) | 基于特征融合的密集行人多目标跟踪方法、计算机设备和存储介质 | |
CN103577804A (zh) | 基于sift流和隐条件随机场的人群异常行为识别方法 | |
Cao et al. | A new region proposal network for far-infrared pedestrian detection | |
CN101950362B (zh) | 一种视频信号的关注度分析*** | |
CN103218829B (zh) | 一种适应于动态背景的前景提取方法 | |
CN113936034A (zh) | 一种结合帧间光流的表观运动联合弱小运动目标检测方法 | |
Wang et al. | Human detection based on a sequence of thermal images using deep learning | |
Khan et al. | Foreground detection using motion histogram threshold algorithm in high-resolution large datasets | |
Ulhaq et al. | Action-02mcf: A robust space-time correlation filter for action recognition in clutter and adverse lighting conditions | |
Ghosh et al. | Pedestrian counting using deep models trained on synthetically generated images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130109 Termination date: 20160914 |