CN104079934B - 一种实时视频通信中的感兴趣区域提取方法 - Google Patents
一种实时视频通信中的感兴趣区域提取方法 Download PDFInfo
- Publication number
- CN104079934B CN104079934B CN201410333331.7A CN201410333331A CN104079934B CN 104079934 B CN104079934 B CN 104079934B CN 201410333331 A CN201410333331 A CN 201410333331A CN 104079934 B CN104079934 B CN 104079934B
- Authority
- CN
- China
- Prior art keywords
- macro block
- interest
- area
- information
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种实时视频通信中的感兴趣区域提取方法,本发明首先对视频图像中的运动区域和亮度区域进行提取,同时将视频图像划分为结构化纹理,平滑纹理,随机纹理三个区域。根据人眼对运动的区域,亮度较高的区域以及结构化纹理区域较为感兴趣的特点,对运动信息,亮度信息和纹理信息设置不同的权重,最终综合得出人眼对各个区域的感兴趣程度。本发明基于人眼的视觉特性,根据人眼对视频图像中不同区域感兴趣程度的不同,对视频中感兴趣区域进行分级提取,从而使提取的感兴趣区域更为细致准确,有利于对不同的区域采用不同的编码方式,提高视频的压缩率。
Description
技术领域
本发明属于数字视频技术领域,涉及一种实时视频通信中的感兴趣区域提取方法,具体而言,基于本发明方法可以提取视频中的人眼感兴趣区域,以达到为视频不同区域选择不同压缩率的编码,缓解视频压缩率和视频质量之间矛盾的目的。
背景技术
随着科学技术的高速发展,视频作为视觉信息的主要载体已经深入到人们生活的方方面面。再加上近年来通信领域的高速发展,人们在进行通信时不再停留于语言信号的传输,而是希望能够通过视频通信来获取更多的信息。然而在实时视频通信中,网络的带宽是有限的,因此平衡视频质量和视频压缩率十分重要。由于人们在观看视频的过程中往往只对视频中较小部分的关注度较高,而对大多数视频区域的关注度较小,因此可以有选择性的提取那些人眼关注度较高的区域,即感兴趣区域。在对视频进行编码的过程中,对感兴趣区域进行更精细化的编码,而对人眼不太感兴趣的区域进行相对粗略的编码,这样可以很好的缓解在视频编解码过程中视频质量与视频压缩率的矛盾。因此,怎样更准确的提取视频中的感兴趣区域成为亟待解决的问题。
目前感兴趣区域提取方法主要分为三类:
(1)基于运动目标的感兴趣区域提取方法,即将人眼较为关注运动区域作为感兴趣区域进行提取;
(2)基于图像分割的感兴趣区域提取方法,即将图像分割为若干具有独特性质的区域,并从中提取出感兴趣的区域;
(3)基于视觉特征的感兴趣区域提取方法,即将观察者能从中获取更多信息的区域作为感兴趣区域。
以上方法均存在各自的局限性,例如感兴趣区域提取不准确,易受光照变化影响,计算复杂度高等问题。
发明内容
为了解决上述的技术问题,本发明的目的在于提供一种实时视频通信中感兴趣区域的提取方法。该方法可以更准确的从视频中提取人眼感兴趣区域,达到平衡视频质量和视频压缩率的目的。
本发明所采用的技术方案是:一种实时视频通信中的感兴趣区域提取方法,用于从视频中提取人眼感兴趣区域,其特征在于,包括以下步骤:
步骤1:从第一帧视频图像开始,依次获取一帧视频图像;
步骤2:将该帧图像转换成灰度图像,并分成若干宏块;
步骤3:从第一个宏块开始,依次获取一个宏块;
步骤4:检测该宏块是否属于运动区域,得到该宏块的运动状态信息并记录结果;
步骤5:检测该宏块是否属于亮度区域,得到该宏块的亮度状态信息并记录结果;
步骤6:检测该宏块的纹理类型,得到该宏块的纹理类型信息并记录结果;
步骤7:根据该宏块的运动状态信息、亮度状态信息和纹理类型信息,计算人眼对该宏块的感兴趣程度,从而进行感兴趣区域划分;
步骤8:判断,步骤7所述的宏块是否是最后一个宏块;
若否,则获取下一个宏块,并回转执行所述的步骤4;
若是,则顺序执行下述步骤9;
步骤9:判断,步骤8所述的视频图像是否是最后一帧;
若否,则获取下一帧,并回转执行所述的步骤2;
若是,则感兴趣区域划分完毕。
作为优选,步骤2中所述的将该帧图像转换成灰度图像并分成若干宏块,其为16×16大小的宏块。
作为优选,步骤4中所述的检测该宏块是否属于运动区域,其具体实现是利用HEXAGON搜索模式及迭代最小二乘法得出该宏块的运动向量,利用算式
检测该宏块是否属于运动区域并记录结果,其中x,y标识该宏块的坐标,MF(x,y)表示运动状态信息,MVx(x,y)表示该宏块x方向上的运动向量,MVy(x,y)表示该宏块y方向上的运动向量。
作为优选,步骤5中所述的检测该宏块是否属于亮度区域,其具体实现是基于图像熵得出判断该宏块是否属于亮度区域的阈值,利用算式
检测该宏块是否属于亮度区域并记录结果,其中x,y标识该宏块的坐标,E(x,y)表示亮度状态信息,LMBA(x,y)表示该宏块的平均亮度,T’(x,y)表示判断阈值。
作为优选,步骤6中所述的检测该宏块的纹理类型,其具体实现是利用模版卷积的方法判断该宏块的纹理类型,利用算式
判断该宏块的纹理类型并记录结果,其中x,y标识该宏块的坐标,TC(x,y)表示纹理信息,Ce表示边缘复杂因素,若被判断为边缘像素点的像素数大于设定的阈值,Ce=1,反之,Ce=0;Cd表示方向复杂因素,初始值设为0,若被判断为属于某个方向的像素点数大于设定的阈值,则Cd=Cd+1。
作为优选,步骤7中所述的计算人眼对该宏块的感兴趣程度,其具体实现是利用算式
计算人眼对该宏块的感兴趣程度,其中x,y标识该宏块的坐标,Vs(x,y)表示综合考虑前景运动物体、亮度信息及纹理信息后,人眼对该宏块的关注程度,TC(x,y)表示纹理信息,t1、t2为设定的阈值,VP(x,y)表示人眼对该宏块区域所关注的程度,VP(x,y)由下式得出:
VP(x,Y)=max{Tc(x,y)+ξE(x,y),Tc(x,y)+ξMF(x,y)}
其中x,y标识该宏块的坐标,TC(x,y)表示该宏块的纹理类型信息,E(x,y)表示该宏块的亮度状态信息,MF(x,y)表示该宏块的运动状态信息,ξ代表该宏块的亮度信息在人眼关注度中所占的权重。
由人眼的视觉特性可知,人眼对图像中不同区域感兴趣程度由大到小依次为:运动区域、亮度区域、纹理区域。本发明首先对视频图像中的运动区域和亮度区域进行提取,同时将视频图像划分为结构化纹理,平滑纹理,随机纹理三个区域。根据人眼对运动的区域,亮度较高的区域以及结构化纹理区域较为感兴趣的特点,对运动信息,亮度信息和纹理信息设置不同的权重,最终综合得出人眼对各个区域的感兴趣程度。本发明基于人眼的视觉特性,根据人眼对视频图像中不同区域感兴趣程度的不同,对视频中感兴趣区域进行分级提取,从而使提取的感兴趣区域更为细致准确,有利于对不同的区域采用不同的编码方式,提高视频的压缩率。
本发明具有以下优点和积极效果:
1)本发明将三种感兴趣区域提取方法有效结合在一起,弥补了使用单一方法进行感兴趣区域提取时的不足,例如易受光照影响,计算复杂度高等;
2)本发明根据人眼感兴趣程度的不同将视频图像区域分为五个等级,比其他的感兴趣区域提取方法分级更为精细,有利于更灵活的为不同区域选择不同的编码方式,提高视频的压缩率。
附图说明
图1:本发明实施例的方法流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明所采用的技术方案是:一种实时视频通信中的感兴趣区域提取方法,包括以下步骤:
步骤1:从第一帧视频图像开始,依次获取一帧视频图像。
步骤2:将该帧图像转换成灰度图像,并分成16×16大小的宏块。
步骤3:从第一个宏块开始,依次获取一个宏块。
步骤4:检测该宏块是否属于运动区域,得到该宏块的运动状态信息并记录结果;其中检测该宏块是否属于运动区域,具体实现是利用HEXAGON搜索模式及迭代最小二乘法得出该宏块的运动向量,利用算式
检测该宏块是否属于运动区域并记录结果,其中x,y标识该宏块的坐标,MF(x,y)表示运动状态信息,MVx(x,y)表示该宏块x方向上的运动向量,MVy(x,y)表示该宏块y方向上的运动向量,即当该宏块处于运动状态时,MF(x,y)赋值为3,此处3表示设置的人眼对运动区域的感兴趣程度,当该宏块不处于运动状态时,MF(x,y)赋值为0;
步骤5:检测该宏块是否属于亮度区域,得到该宏块的亮度状态信息并记录结果;其中检测该宏块是否属于亮度区域,具体实现是基于图像熵得出判断该宏块是否属于亮度区域的阈值,利用算式
检测该宏块是否属于亮度区域并记录结果,其中x,y标识该宏块的坐标,E(x,y)表示亮度状态信息,LMBA(x,y)表示该宏块的平均亮度,T’(x,y)表示判断阈值,即当该宏块属于亮度区域时,E(x,y)赋值为1,当该宏块不属于亮度区域时,E(x,y)赋值为0;步骤S52保存亮度信息E(x,y)。
步骤6:检测该宏块的纹理类型,得到该宏块的纹理类型信息并记录结果;其中检测该宏块的纹理类型,具体实现是利用模版卷积的方法判断该宏块的纹理类型,将每一个像素点通过不同方向的滤波器,若某一个像素点通过各个方向的滤波器的值都小于设定的阈值,该像素点就被判定为平滑像素点,否则,该像素点就为边缘像素点,该边缘像素点所处纹理的方向与通过滤波器值最大的滤波器的方向一致。利用算式
判断该宏块的纹理类型并记录结果,其中x,y标识该宏块的坐标,TC(x,y)表示纹理信息,Ce表示边缘复杂因素,若被判断为边缘像素点的像素数大于设定的阈值,Ce=1,反之,Ce=0。Cd表示方向复杂因素,初始值设为0,若被判断为属于某个方向的像素点数大于设定的阈值,Cd=Cd+1。保存纹理信息TC(x,y),其取值范围为0、1、2,分别对应随机纹理、平滑纹理、结构化纹理,表示人眼对纹理信息的感兴趣程度。
步骤7:根据该宏块的运动状态信息、亮度状态信息和纹理类型信息,计算人眼对该宏块的感兴趣程度,从而进行感兴趣区域划分;其中计算人眼对该宏块的感兴趣程度,具体实现是利用算式
计算人眼对该宏块的感兴趣程度,其中x,y标识该宏块的坐标,Vs(x,y)表示综合考虑前景运动物体、亮度信息及纹理信息后,人眼对该宏块的关注程度,Vs(x,y)的值越大,表明人眼对其关注度越高,TC(x,y)表示纹理信息,t1、t2为设定的阈值,VP(x,y)表示人眼对该宏块区域所关注的程度,VP(x,y)由下式得出:
VP(x,y)=max{Tc(x,y)+ξE(x,y),Tc(x,y)+ξMF(x,y)}
其中x,y标识该宏块的坐标,TC(x,y)表示该宏块的纹理类型信息,E(x,y)表示该宏块的亮度状态信息,MF(x,y)表示该宏块的运动状态信息,ξ代表该宏块的亮度信息在人眼关注度中所占的权重。
步骤8:判断,步骤7中处理的宏块是否是最后一个宏块;
若否,则获取下一个宏块,并回转执行步骤4;
若是,则顺序执行下述步骤9;
步骤9:判断,步骤8中处理的视频图像是否是最后一帧;
若否,则获取下一帧,并回转执行步骤2;
若是,则感兴趣区域划分完毕。
本发明将视频感兴趣区域进行分级提取,有效避免了采取单一方式进行感兴趣区域提取的不足,使提取的感兴趣区域更为准确,分级更为精细,有利于更灵活的为视频不同区域选择不同的编码方式,提高视频的压缩率。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种实时视频通信中的感兴趣区域提取方法,用于从视频中提取人眼感兴趣区域,其特征在于,包括以下步骤:
步骤1:从第一帧视频图像开始,依次获取一帧视频图像;
步骤2:将该帧图像转换成灰度图像,并分成若干宏块;
步骤3:从第一个宏块开始,依次获取一个宏块;
步骤4:检测该宏块是否属于运动区域,得到该宏块的运动状态信息并记录结果;
步骤5:检测该宏块是否属于亮度区域,得到该宏块的亮度状态信息并记录结果;
步骤6:检测该宏块的纹理类型,得到该宏块的纹理类型信息并记录结果;
所述的检测该宏块的纹理类型,其具体实现是利用模版卷积的方法判断该宏块的纹理类型,利用算式
判断该宏块的纹理类型并记录结果,其中x,y标识该宏块的坐标,TC(x,y)表示纹理信息,Ce表示边缘复杂因素,若被判断为边缘像素点的像素数大于设定的阈值,Ce=1,反之,Ce=0;Cd表示方向复杂因素,初始值设为0,若被判断为属于某个方向的像素点数大于设定的阈值,则Cd=Cd+1;
步骤7:根据该宏块的运动状态信息、亮度状态信息和纹理类型信息,计算人眼对该宏块的感兴趣程度,从而进行感兴趣区域划分;
步骤8:判断,步骤7所述的宏块是否是最后一个宏块;
若否,则获取下一个宏块,并回转执行所述的步骤4;
若是,则顺序执行下述步骤9;
步骤9:判断,步骤8所述的视频图像是否是最后一帧;
若否,则获取下一帧,并回转执行所述的步骤2;
若是,则感兴趣区域划分完毕。
2.根据权利要求1所述的实时视频通信中的感兴趣区域提取方法,其特征在于:步骤2中所述的将该帧图像转换成灰度图像并分成若干宏块,其为16×16大小的宏块。
3.根据权利要求1所述的实时视频通信中的感兴趣区域提取方法,其特征在于:步骤4中所述的检测该宏块是否属于运动区域,其具体实现是利用HEXAGON搜索模式及迭代最小二乘法得出该宏块的运动向量,利用算式
检测该宏块是否属于运动区域并记录结果,其中x,y标识该宏块的坐标,MF(x,y)表示运动状态信息,MVx(x,y)表示该宏块x方向上的运动向量,MVy(x,y)表示该宏块y方向上的运动向量。
4.根据权利要求1所述的实时视频通信中的感兴趣区域提取方法,其特征在于:步骤5中所述的检测该宏块是否属于亮度区域,其具体实现是基于图像熵得出判断该宏块是否属于亮度区域的阈值,利用算式
检测该宏块是否属于亮度区域并记录结果,其中x,y标识该宏块的坐标,E(x,y)表示亮度状态信息,LMBA(x,y)表示该宏块的平均亮度,T’(x,y)表示判断阈值。
5.根据权利要求1所述的实时视频通信中的感兴趣区域提取方法,其特征在于:步骤7中所述的计算人眼对该宏块的感兴趣程度,其具体实现是利用算式
计算人眼对该宏块的感兴趣程度,其中x,y标识该宏块的坐标,Vs(x,y)表示综合考虑前景运动物体、亮度信息及纹理信息后,人眼对该宏块的关注程度,TC(x,y)表示纹理信息,t1、t2为设定的阈值,VP(x,y)表示人眼对该宏块区域所关注的程度,VP(x,y)由下式得出:
VP(x,y)=max{TC(x,y)+ξE(x,y),TC(x,y)+ξMF(x,y)}
其中x,y标识该宏块的坐标,TC(x,y)表示该宏块的纹理类型信息,E(x,y)表示该宏块的亮度状态信息,MF(x,y)表示该宏块的运动状态信息,ξ代表该宏块的亮度信息在人眼关注度中所占的权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410333331.7A CN104079934B (zh) | 2014-07-14 | 2014-07-14 | 一种实时视频通信中的感兴趣区域提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410333331.7A CN104079934B (zh) | 2014-07-14 | 2014-07-14 | 一种实时视频通信中的感兴趣区域提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104079934A CN104079934A (zh) | 2014-10-01 |
CN104079934B true CN104079934B (zh) | 2017-02-15 |
Family
ID=51600944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410333331.7A Active CN104079934B (zh) | 2014-07-14 | 2014-07-14 | 一种实时视频通信中的感兴趣区域提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104079934B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107087163B (zh) * | 2017-06-26 | 2018-10-12 | 杭州当虹科技股份有限公司 | 一种提升hdr视频主观质量的编码方法 |
CN110072103A (zh) * | 2019-03-15 | 2019-07-30 | 西安电子科技大学 | 基于roi的视频快速压缩方法、高清视频***、4k视频*** |
CN111479112B (zh) * | 2020-06-23 | 2020-11-03 | 腾讯科技(深圳)有限公司 | 一种视频编码方法、装置、设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678680A (zh) * | 2013-12-25 | 2014-03-26 | 吉林大学 | 基于感兴趣区域多元空间关系模型的图像分类方法 |
CN103870827A (zh) * | 2014-02-21 | 2014-06-18 | 杭州奥视图像技术有限公司 | 一种结合颜色与纹理的车牌检测方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3966461B2 (ja) * | 2002-08-09 | 2007-08-29 | 株式会社リコー | 電子カメラ装置 |
US8600184B2 (en) * | 2007-01-16 | 2013-12-03 | Thomson Licensing | System and method for reducing artifacts in images |
CN101533512B (zh) * | 2009-04-24 | 2012-05-09 | 西安电子科技大学 | 基于人类视觉注意***的图像感兴趣区域自动提取方法 |
CN101697593B (zh) * | 2009-09-08 | 2012-10-10 | 武汉大学 | 一种基于时域预测的关注度提取方法 |
CN101882316A (zh) * | 2010-06-07 | 2010-11-10 | 深圳市融创天下科技发展有限公司 | 一种图像区域划分/编码方法、装置及*** |
CN102129698A (zh) * | 2011-03-08 | 2011-07-20 | 华中科技大学 | 一种基于感兴趣区域的图像编码方法 |
CN103297754B (zh) * | 2013-05-02 | 2016-06-01 | 上海交通大学 | 一种监控视频自适应感兴趣区域编码*** |
CN103618900B (zh) * | 2013-11-21 | 2016-08-17 | 北京工业大学 | 基于编码信息的视频感兴趣区域提取方法 |
-
2014
- 2014-07-14 CN CN201410333331.7A patent/CN104079934B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678680A (zh) * | 2013-12-25 | 2014-03-26 | 吉林大学 | 基于感兴趣区域多元空间关系模型的图像分类方法 |
CN103870827A (zh) * | 2014-02-21 | 2014-06-18 | 杭州奥视图像技术有限公司 | 一种结合颜色与纹理的车牌检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104079934A (zh) | 2014-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | PQA-Net: Deep no reference point cloud quality assessment via multi-view projection | |
CN110675328B (zh) | 基于条件生成对抗网络的低照度图像增强方法及装置 | |
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
Jin et al. | Statistical study on perceived JPEG image quality via MCL-JCI dataset construction and analysis | |
CN110020606A (zh) | 一种基于多尺度卷积神经网络的人群密度估计方法 | |
CN108399362A (zh) | 一种快速行人检测方法及装置 | |
CN110728223A (zh) | 一种基于深度学习的安全帽佩戴识别方法 | |
CN109858466A (zh) | 一种基于卷积神经网络的人脸关键点检测方法及装置 | |
CN110310343A (zh) | 图像处理方法及装置 | |
CN109034119A (zh) | 一种基于优化的全卷积神经网络的人脸检测方法 | |
CN108416266A (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
CN110458038A (zh) | 基于双链深度双流网络的小数据跨域动作识别方法 | |
CN103295191A (zh) | 多尺度视觉自适应图像增强方法及评价方法 | |
CN107680077A (zh) | 一种基于多阶梯度特征的无参考图像质量评价方法 | |
CN106658169A (zh) | 一种基于深度学习多层次分割新闻视频的通用方法 | |
CN106993188B (zh) | 一种基于多人脸视频显著性的hevc压缩编码方法 | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
CN107657619A (zh) | 一种低照度林火图像分割方法 | |
CN106650617A (zh) | 一种基于概率潜在语义分析的行人异常识别方法 | |
CN101562675A (zh) | 基于Contourlet变换的无参考型图像质量评测方法 | |
CN114037938B (zh) | 一种基于NFL-Net的低照度目标检测方法 | |
CN111986180A (zh) | 基于多相关帧注意力机制的人脸伪造视频检测方法 | |
CN109902613A (zh) | 一种基于迁移学习和图像增强的人体特征提取方法 | |
CN104079934B (zh) | 一种实时视频通信中的感兴趣区域提取方法 | |
Mancas et al. | A rarity-based visual attention map-application to texture description |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180518 Address after: 610041 Sichuan Chengdu high tech Zone Tianren Road No. 387 3 Building 1 unit 28 level 2803 Patentee after: Chengdu Suirui cloud Technology Co. Ltd. Address before: 430072 Wuhan University, Luojia mountain, Wuchang District, Wuhan, Hubei Patentee before: Wuhan University |