CN101489147B - 基于感兴趣区域的幅型比变换方法 - Google Patents
基于感兴趣区域的幅型比变换方法 Download PDFInfo
- Publication number
- CN101489147B CN101489147B CN2009100209463A CN200910020946A CN101489147B CN 101489147 B CN101489147 B CN 101489147B CN 2009100209463 A CN2009100209463 A CN 2009100209463A CN 200910020946 A CN200910020946 A CN 200910020946A CN 101489147 B CN101489147 B CN 101489147B
- Authority
- CN
- China
- Prior art keywords
- mrow
- mover
- msub
- image
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 title claims description 34
- 230000009466 transformation Effects 0.000 claims abstract description 66
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 230000001131 transforming effect Effects 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 17
- 230000003068 static effect Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000008439 repair process Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 14
- 238000012545 processing Methods 0.000 abstract description 7
- 238000011426 transformation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Studio Circuits (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于感兴趣区域的幅型比变换方法,主要解决现有方法变换后运动目标失真的缺陷。其步骤为:利用光流场信息和模糊聚类技术进行运动区域检测,同时采用均值偏移算法实现图像空域分割,并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算,得到精确的运动目标;利用图像修复技术修补被运动目标遮掩的背景区域,获得完整的背景;利用图像插值算法,对修复后的背景和运动目标分别采用不同的变换比例进行变换;将变换后的背景和目标物相叠加合成相应幅型比的视频图像。本发明既保证了变换后运动目标的无失真性,又很好地保持了画面的和谐和视频的连续,提高了变换后的视觉效果,适用于视频图像处理的格式转换。
Description
技术领域
本发明属于视频图像处理领域,涉及一种在不同幅型比的视频图像之间进行格式转换的方法,可以应用于高清电视的格式转换,窄屏幕电视画面与宽屏幕电视画面之间的转换等。
背景技术
随着新的多媒体技术和视频显示设备的产生,在播放视频图像时,为了满足不同比例显示设备的播放要求,需要对视频图像的空间尺寸进行缩放。幅型比就是指电视画面宽度和高度的比值。幅型比变换技术就是试图对视频图像的空间尺寸进行缩放处理以适应不同显示设备的格式,从而获得较好的播放效果。由于在相当长的时间内会存在不同幅型比混合处理的问题,因此,该技术已成为视频图像处理领域中的一个研究热点,并已广泛应用于电视、电影及视频多媒体等需要对视频信号进行格式转换的多个领域。虽然幅型比变换技术已经取得了迅速的发展,但在目前的技术水平下仍需要在方法的设计中做出某些改进,改进后的方法将会提高变换后的图像与人类视觉感知的一致性,使转换后图像的视觉效果更好。
目前幅型比变换的方法主要有两大类:一类是无图像失真而损失图像的部分内容或浪费屏幕部分资源的方式,另一类是保证了图像内容的完整但引起图像失真的方式。
第一类方法主要有贴黑边,裁减和移位,贴黑边和裁减组合。贴黑边的处理方式是在图像的左右或上下两侧填加黑边,保证原有幅型比的图像在不同幅型比的显示设备上能够完整地显示出来,不损失原图像的内容,并且没有变形失真。但这种方式对于显示器的显示区域会造成一部分空耗,且观看效果不佳。裁减和移位的方式是将图像的左右或上下裁去两条,并根据画面的内容对图像进行上下或左右移位处理,尽量使原图像的主景或重要内容保持在变换后的画面中。这种方式没有引起图像的失真,但损失图像的内容,并且需耗费大量的人工。贴黑边和裁减组合的方式是结合贴黑边和裁剪两种处理方式,是为了平衡保留图像内容和提高新画面利用率这两种互相矛盾的需求,不会造成图像失真,但仍然损失图像内容和浪费屏幕资源。
第二类方法可分为线性变形的变换法和非线性变形的变换法。线性变形变换就是利用插值算法直接变换图像的宽高比,以达到所需幅型比的要求。线性变形变换由于实现起来较简单,所以目前被大部分的高清电视所采用。但是,由于图像的宽与高的变换比例不一致,此变换方法使得变换后的整体图像有明显的失真,影响视觉效果。非线性变形的变换方式是基于人的视觉感知特性进行变换的,且综合考虑幅型比变换前后的比例要求和变换后观看效果之间的平衡。
Zhang Guanglie等人提出了利用序列的运动重心来划分不同区域并进行非均匀比率扩展的非线性变形变换方法“Zhang Guanglie,Zheng Nanning,Chen Qian,et al.Motion adaptive video format conversion from 4:3to 16:9images[C]//Proceeding of International Conference on Intelligent Information Technology,Beijing,China,Sep.2002:181-184.”,该方法对于简单运动的视频序列效果较好,但是不适用具有多个运动目标的视频序列,且易造成变换后的视频序列在视觉上的抖动现象,视觉效果明显下降。Shih-Chang Hsia等人提出了基于中心区域的非线性变形的变换方法“Hsia S C,Liu B D,Yang J F,et al.A parallel video converter for displaying 4:3images on 16:9HDTV receivers[J].IEEE Transactions on Circuits and Systems for VideoTechnology,1996,6(6):695-699.”,该方法对于目标物集中在中心区域的序列,有较好的视觉效果,但是对于目标物并不全集中在中心区域的序列,该方法会使处于边缘区域的目标物产生更大的失真,影响画面的和谐。从保持原视频的完整性、屏幕资源的利用率以及画面的和谐度等几个因素来综合考虑,现有幅型比变换的方法均有一定的缺陷。
发明内容
本发明的目的在于:解决第一类方法中保持图像内容完整和提高新画面利用率之间的矛盾,提供一种基于感兴趣区域的幅型比变换方法及装置,利用人的视觉特性,避免线性变形引起的视频帧的整体失真,保持画面的和谐和视频的连续,改善变换后的视觉效果。
实现本发明目的的技术方案是:综合视频序列的时空信息,提取每一帧的运动目标,修补提取目标物后的背景,并对修复后的背景和运动目标分别进行幅型比变换及合成,完成相应幅型比的转换。具体实现步骤如下:
(1)利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割,将空间分隔后的图像与运动区域检测后的运动区域进行投影计算,得到精确的运动目标,本步骤的具体实现如下:
1a)采用光流计算的方法和模糊聚类方法得到视频序列前一帧与当前帧之间的相对运动区域,以及后一帧与当前帧之间的相对运动区域,并将这两个相对运动区域进行“与”操作,得到当前帧的运动区域;
1b)计算当前帧各个像素的均值偏移矢量:
1c)利用均值偏移矢量确定当前帧的主要颜色类及各类的中心色彩,并结合图像中每个像素的空间位置信息完成图像的空域分割;
1d)将空域分隔后的图像与运动区域检测后的运动区域进行投影计算:
式中,B(x,y)为运动区域检测后的二值掩模图像,B(x,y)=1表示像素点(x,y)属于运动区域,B(x,y)=0表示像素点(x,y)属于静止区域,Ai(i=0,1,...,N-1)为空域分割后的N个区域,Ni为Ai内像素的个数,T为给定的阈值,是第i个区域的投影运算结果,表示该区域属于运动区域,表示该区域属于静止区域;
1e)由投影计算结果计算当前帧的运动掩膜图像:
式中,是第i个区域的投影运算结果,表示该区域属于运动区域,表示该区域属于静止区域,Bo(x,y)为整幅图像的投影结果,Bo(x,y)=1表示像素点(x,y)属于运动区域,Bo(x,y)=0表示像素点(x,y)属于静止区域;
1f)将运动目标掩模图像映射到原图像,得到当前帧的精确的运动目标;
(2)利用图像修复技术修补被运动目标遮掩的背景区域,获得完整的背景;
(3)利用图像插值算法,分别对目标和修复后的背景进行幅型比变换,所述的幅型比变换步骤是:
首先,使用双线性插值算法对背景采用宽高变换比非一致的方式进行线性变形变换,使变换后背景的幅型比满足所需的幅型比要求;
然后,使用双线性插值算法对运动目标采用宽高变换比例一致的尺度变换,保持运动目标不失真;
(4)将幅型比变换后的背景和目标进行叠加,合成相应幅型比的图像。
本发明的装置包括:
(1)运动目标提取装置:用于利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割,将空间分隔后的图像与运动区域检测后的运动区域进行投影计算,得到精确的运动目标,所述运动目标提取装置包括以下六个子装置:
1a)运动区域检测子装置:用于采用光流计算的方法和模糊聚类方法得到视频序列前一帧与当前帧之间的相对运动区域,以及后一帧与当前帧之间的相对运动区域,并将这两个相对运动区域进行“与”操作,得到当前帧的运动区域;
1b)均值偏移矢量计算子装置:用于计算当前帧各个像素的均值偏移矢量:
1c)图像空域分割子装置:用于利用均值偏移矢量确定当前帧的主要颜色类及各类的中心色彩,并结合图像中每个像素的空间位置信息完成图像的空域分割;
1d)投影计算子装置:用于将空域分隔后的图像与运动区域检测后的运动区域进行投影计算:
式中,B(x,y)为运动区域检测后的二值掩模图像,B(x,y)=1表示像素点(x,y)属于运动区域,B(x,y)=0表示像素点(x,y)属于静止区域,Ai(i=0,1,...,N-1)为空域分割后的N个区域,Ni为Ai内像素的个数,T为给定的阈值,是第i个区域的投影运算结果,表示该区域属于运动区域,表示该区域属于静止区域;
1e)运动掩膜子装置:用于由投影计算结果计算当前帧的运动掩膜图像:
式中,是第i个区域的投影运算结果,表示该区域属于运动区域,表示该区域属于静止区域,Bo(x,y)为整幅图像的投影结果,Bo(x,y)=1表示像素点(x,y)属于运动区域,Bo(x,y)=0表示像素点(x,y)属于静止区域;
(1f)映射子装置:用于将运动目标掩模图像映射到原图像,得到当前帧的精确的运动目标;
(2)背景修复装置:用于利用图像修复技术修补被运动目标遮掩的背景区域,获得完整的背景;
(3)图像幅型比变换装置:用于利用图像插值算法,分别对目标和修复后的背景进行幅型比变换,首先,使用双线性插值算法对背景采用宽高变换比非一致的方式进行线性变形变换,使变换后背景的幅型比满足所需的幅型比要求;然后,使用双线性插值算法对运动目标采用宽高变换比例一致的尺度变换,保持运动目标不失真;
(4)图像合成装置:用于将幅型比变换后的背景和目标进行叠加,合成相应幅型比的图像。
本发明具有如下优点
1)由于本发明在保留了图像全部内容的情况下实现了图像幅型比的变换,而没有对图像使用裁剪和贴黑边的技术,因此既保证了变换后视频图像内容的完整性,又不会造成显示器显示区域的部分空耗,解决了第一类方法中的保留图像内容和提高新画面利用率之间的矛盾。
2)由于本发明根据人的视觉对视频帧中运动目标和背景的不同感知度,对目标和背景选择了不同的幅型比变换方式,因此避免了线性变形的变换方法引起的视频帧的整体失真,使变换后的结果与人类视觉感知有较好的一致性。
3)由于本发明没有对运动区域进行假设,而是通过检测得到视频帧中全部的运动目标,然后对运动目标和背景采用不同的幅型比变换方式,因此适用于不同类型的视频序列,无论是运动目标单一的序列,还是运动情况复杂的和运动区域大的序列,变换后均能保持画面的和谐和视频的连续,提高变换后的视觉效果,弥补了基于中心区域和基于运动重心非均匀比率扩展的非线性变形方法的适用范围窄的缺陷,同时避免了变换后的视频序列在视觉上的抖动现象。
附图说明
图1为本发明中基于感兴趣区域的幅型比变换方法的流程图;
图2为本发明运动区域检测流程图;
图3为本发明中基于感兴趣区域的幅型比变换装置示意图;
图4为本发明中“Tennis”序列幅型变换结果对比示意图;
图5为本发明中“Silent”序列幅型变换结果对比示意图;
图6为本发明中“Football”序列幅型变换结果对比示意图。
具体实施方式
本发明的核心思想是基于人的视觉对运动目标最为敏感的感知特性,利用运动目标提取算法和背景修复技术获得运动目标和完整的背景,对修复后的背景和运动目标分别采用不同的变换比例进行变换,在保证运动目标无失真的同时实现相应幅型比的变换。
参照图1,本发明方法的具体步骤如下:
步骤一,综合时空信息进行运动目标提取。
1.运动区域检测
参照图2,运动区域检测的步骤是:
首先,采用光流计算的方法计算视频序列前一帧与当前帧之间,以及当前帧与后一帧之间的运动矢量场,并利用模糊聚类算法对运动矢量场进行聚类分析;再根据设定的阈值,把中心运动矢量大于阈值的类归为运动类,运动类所包含的所有像素即为两帧之间相对运动区域;之后,将前一帧与当前帧之间的相对运动区域,和当前帧与后一帧之间的相对运动区域进行“与”操作,得到当前帧的运动区域。
2.利用基于均值偏移的图像分割算法对当前帧图像进行图像空域分割。其具体步骤是:
首先,计算当前帧各个像素的均值偏移矢量:
然后,利用均值偏移矢量确定当前帧的主要颜色类及各类的中心色彩,并结合图像中每个像素的空间位置信息完成图像的空域分割,即对于每一个像素,只有当它的颜色与某一颜色类的中心色彩的距离小于设定的阈值且其邻域内至少有一个像素已属于这一类时,这个像素才被归为该颜色类,同一颜色类的所有像素组成一个分割区域,并且将分割后尺寸过小的区域融合到与它相邻且颜色最为相近的区域中去,完成图像的空域分割。
3.通过投影计算及映射得到当前帧中精确的运动目标,其步骤是:
首先,将空域分隔后的图像与运动区域检测后的运动区域进行投影计算:
式中,B(x,y)为运动区域检测后的二值掩模图像,B(x,y)=1表示像素点(x,y)属于运动区域,B(x,y)=0表示像素点(x,y)属于静止区域,Ai(i=0,1,...,N-1)为空域分割后的N个区域,Ni为Ai内像素的个数,T为给定的阈值,是第i个区域的投影运算结果,表示该区域属于运动区域,表示该区域属于静止区域;
然后,由投影计算结果计算当前帧的运动掩膜图像:
式中,是第i个区域的投影运算结果,表示该区域属于运动区域,表示该区域属于静止区域,Bo(x,y)为整幅图像的投影结果,Bo(x,y)=1表示像素点(x,y)属于运动区域,Bo(x,y)=0表示像素点(x,y)属于静止区域;
最后,将运动目标掩模图像映射到原图像,得到当前帧的精确的运动目标。
步骤二,图像修复。
为了避免在图像合成时变换后的背景与运动目标之间存在空洞,在变换背景之前,本发明引入基于样本块的图像修复技术来修补被运动目标遮掩的背景区域。对于要修补的一帧图像I=Φ∪Ω,Ω代表要填充的区域,即被运动目标所遮掩的区域,δΩ为它的边界。Φ代表已知的显露背景区域,称为源区域。步骤如下:
P(p)=C(p)D(p)
式中,
Step5:重复Step2~Step4,直到被运动目标遮掩的背景区域被修补完为止。
步骤三,幅型比变换。
首先,使用双线性插值算法对背景采用宽高变换比非一致的方式进行线性变形变换,使变换后背景的幅型比满足所需的幅型比要求;然后,使用双线性插值算法对运动目标采用宽高变换比例一致的尺度变换,保持运动目标不失真。
步骤四,图像合成。
首先,根据运动目标在原图像中的位置,确定其在幅型比变换后的背景图像中的位置。其中,当运动目标与原视频帧的边缘相接时,在插值变换后其位置仍与变换后背景图像的相应边缘相接;当运动目标与原视频帧的边缘无相接时,则按照所需幅型比的变换比例,计算其在新幅型比背景中的位置。然后,根据确定的位置信息,用变换后的运动目标替代相应位置的背景区域,即可得到符合相应幅型比的视频帧。
参照图3,本发明的装置包括:运动目标提取装置,背景修复装置,图像幅型比变换装置和图像合成装置。其中,运动目标提取装置包括:运动区域检测子装置,均值偏移矢量计算子装置、图像空域分割子装置、投影计算子装置、运动掩膜子装置和映射子装置。各个装置的功能如下:
运动目标提取装置:利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割,并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算,得到精确的运动目标,并将运动目标输出到幅型比变换装置中,将去除运动目标的背景输出到背景修复装置中。
运动区域检测子装置,利用相邻帧之间的光流场信息,检测视频序列前一帧与当前帧之间的相对运动区域,以及后一帧与当前帧之间的相对运动区域,并将这两个相对运动区域进行“与”操作,得到当前帧的运动区域及其对应的二值掩模图像B(x,y),B(x,y)=1表示像素点(x,y)属于运动区域,B(x,y)=0表示像素点(x,y)属于静止区域,将B(x,y)输出到投影计算子装置中。
然后,利用均值偏移矢量计算子装置,计算当前帧各个像素的均值偏移矢量:
之后,利用图像空域分割子装置,根据均值偏移矢量确定当前帧的主要颜色类及各类的中心色彩,并结合图像中每个像素的空间位置信息完成图像的空域分割,将空域分割后的图像输出到投影计算子装置中。
运动掩膜子装置,根据投影计算子装置得到的投影计算结果,计算当前帧的运动掩膜图像Bo(x,y),并将运动掩膜图像Bo(x,y)输出到映射子装置中。
映射子装置,将运动目标掩模图像映射到原图像,得到当前帧的精确的运动目标,并将当前帧的背景输出到背景修复装置中,将运动目标输出到图像幅型比变换装置中。
背景修复装置:利用基于样本块的图像修复技术来修补被运动目标遮掩的背景区域。以提取的运动目标的边界作为要填充区域的初始边界,计算所有边界点的优先级;选择具有最高优先级的块作为最先填充的块,并在已知的背景中找到与其最匹配的块;用最匹配块中相应的像素填充具有最高优先级的块;重复此过程,直到修补完被遮掩的全部区域,获得完整的背景;然后,将修复后的背景图像输出到图像幅型比变换装置中。
图像幅型比变换装置:采用双线性插值算法对接收到的目标和修复后的背景图像分别进行幅型比变换。其中,对背景采用宽高变换比非一致的方式进行线性变形变换,使变换后背景的幅型比满足所需的幅型比要求;对运动目标采用宽高变换比例一致的尺度变换,保持运动目标不失真;然后,将变换后的背景和目标输出到图像合成装置中。
图像合成装置:根据运动目标在原图像中的位置,确定其在幅型比变换后的背景图像中的位置,并根据确定的位置信息,用变换后的运动目标替代相应位置的背景区域,合成符合相应幅型比的视频帧,并输出相应幅型比的视频帧。
本发明的优点可通过以下对比实验进一步说明。
1.试验条件:本实验选用的是4:2:0的YUV视频序列Tennis,Silent和Football作为实验数据。其中“Tennis”序列的运动重心靠近图像的中部且局部运动幅度较大,“Silent”序列中的人物几乎居于图像的中部且整体运动幅度较小,“Football”序列的运动情况较复杂且有多个运动剧烈的目标物。实验测试是对选用的视频序列进行从4:3到16:9的幅型比的变换。并采用了主观和客观两种测度,将本方法与两种已有方法进行对比实验:线性变形的变换方法和基于中心区域的非线性变形的变换方法。对于基于中心区域的非线性变形的方法,本文在实验中选取居于图像中部50%的区域作为中心区域,且只对非中心区域进行线性变形变换。
2.试验内容
A.主观评测,如图4、图5、图6所示。
图4为“Tennis”序列中的第1帧和第28帧的实验对比结果。其中,图4(a)为原始视频的第1帧;图4(b)为原始视频的第28帧;图4(c)为利用线性变形变换法对第1帧原始视频图4(a)进行变换的结果;图4(d)为利用基于中心非线性变形变换法对图4(a)进行变换的结果;图4(e)为利用本文的变换方法对图4(a)进行变换的结果;图4(f)为利用线性变形变换法对第28帧原始视频图4(b)进行变换的结果;图4(g)为利用基于中心非线性变形变换法对图4(b)进行变换的结果;图4(h)为利用本文的变换方法对图4(b)进行变换的结果。
图5为“Silent”序列中的第46帧和第63帧的实验对比结果。其中,图5(a)为原始视频的第46帧;图5(b)为原始视频的第63帧;图5(c)为利用线性变形变换法对第46帧原始视频图5(a)进行变换的结果;图5(d)为利用基于中心非线性变形变换法对图5(a)进行变换的结果;图5(e)为利用本文的变换方法对图5(a)进行变换的结果;图5(f)为利用线性变形变换法对第63帧原始视频图5(b)进行变换的结果;图5(g)为利用基于中心非线性变形变换法对图5(b)进行变换的结果;图5(h)为利用本文的变换方法对图5(b)进行变换的结果。
图6为“Football”序列中的第1帧和第51帧的实验对比结果。其中,图6(a)为原始视频的第1帧;图6(b)为原始视频的第51帧;图6(c)为利用线性变形变换法对第1帧原始视频图6(a)进行变换的结果;图6(d)为利用基于中心非线性变形变换法对图6(a)进行变换的结果;图6(e)为利用本文的变换方法对图6(a)进行变换的结果,图6(f)为利用线性变形变换法对第51帧原始视频图6(b)进行变换的结果;图6(g)为利用基于中心非线性变形变换法对图6(b)进行变换的结果;图6(h)为利用本文的变换方法对图6(b)进行变换的结果。
通过图4、图5和图6对比可看出,本发明的方法避免了线性变形方法引起的目标物横向拉伸的失真效果。同时,本发明的方法在变换后不会造成靠近图像边缘的目标物的任何失真,比基于中心的非线性变形的方法更能很好的保持目标物的整体协调性和画面的总体和谐性。并且,在观察变换后的一段视频发现,本发明的方法很好地保持视频序列的整体性和连续性,不会产生视频序列在视觉上的抖动现象,大大改善了变换后视觉效果。
B.客观评测,如表1所示。
选用视觉信息保真度对变换后图像进行客观质量评价,视觉信息保真度的值在0到1的范围内,值越大,表示图像保真度越高。表1为对三组序列的30帧图像分别进行不同幅型比变换方法后的视觉信息保真度平均值的对比结果。
表1三种方法的视觉信息保真度性能比较
由表1可以看出,不管是对运动目标单一的序列Tennis和Silent,还是对于具有复杂运动而且运动区域较大的序列,如“Football”序列,由本方法得到的视觉信息保真度值远远高于其他两种方法。
因此,在保持原视频的完整性、屏幕资源的利用率以及画面的和谐度几个方面,本发明提出的幅型比变换方法均优于传统方法,提高了变换后的视觉效果。
Claims (3)
1.一种基于感兴趣区域的幅型比变换方法,包括如下步骤:
(1)利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割,将空间分隔后的图像与运动区域检测后的运动区域进行投影计算,得到精确的运动目标,本步骤的具体实现如下:
1a)采用光流计算的方法和模糊聚类方法得到视频序列前一帧与当前帧之间的相对运动区域,以及后一帧与当前帧之间的相对运动区域,并将这两个相对运动区域进行“与”操作,得到当前帧的运动区域;
1b)计算当前帧各个像素的均值偏移矢量:
1c)利用均值偏移矢量确定当前帧的主要颜色类及各类的中心色彩,并结合图像中每个像素的空间位置信息完成图像的空域分割;
1d)将空域分隔后的图像与运动区域检测后的运动区域进行投影计算:
式中,B(x,y)为运动区域检测后的二值掩模图像,B(x,y)=1表示像素点(x,y)属于运动区域,B(x,y)=0表示像素点(x,y)属于静止区域,Ai(i=0,1,...,N-1)为空域分割后的N个区域,Ni为Ai内像素的个数,T为给定的阈值,是第i个区域的投影运算结果,表示该区域属于运动区域,表示该区域属于静止区域;
1e)由投影计算结果计算当前帧的运动掩膜图像:
式中,是第i个区域的投影运算结果,表示该区域属于运动区域,表示该区域属于静止区域,Bo(x,y)为整幅图像的投影结果,Bo(x,y)=1表示像素点(x,y)属于运动区域,Bo(x,y)=0表示像素点(x,y)属于静止区域;
1f)将运动目标掩模图像映射到原图像,得到当前帧的精确的运动目标;
(2)利用图像修复技术修补被运动目标遮掩的背景区域,获得完整的背景;
(3)利用图像插值算法,分别对目标和修复后的背景进行幅型比变换,所述的幅型比变换步骤是:
首先,使用双线性插值算法对背景采用宽高变换比非一致的方式进行线性变形变换,使变换后背景的幅型比满足所需的幅型比要求;
然后,使用双线性插值算法对运动目标采用宽高变换比例一致的尺度变换,保持运动目标不失真;
(4)将幅型比变换后的背景和目标进行叠加,合成相应幅型比的图像。
2.如权利要求1所述的方法,其中步骤(4)所述的“将幅型比变换后的背景和目标进行叠加”是根据运动目标在原图像中的位置,确定其在变换后的背景图像中的位置,并结合变换后的背景和目标物,合成变换后的视频帧。
3.一种基于感兴趣区域的幅型比变换装置,包括:
(1)运动目标提取装置:用于利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割,将空间分隔后的图像与运动区域检测后的运动区域进行投影计算,得到精确的运动目标,所述运动目标提取装置包括以下六个子装置:
1a)运动区域检测子装置:用于采用光流计算的方法和模糊聚类方法得到视频序列前一帧与当前帧之间的相对运动区域,以及后一帧与当前帧之间的相对运动区域,并将这两个相对运动区域进行“与”操作,得到当前帧的运动区域;
1b)均值偏移矢量计算子装置:用于计算当前帧各个像素的均值偏移矢量:
1c)图像空域分割子装置:用于利用均值偏移矢量确定当前帧的主要颜色类及各类的中心色彩,并结合图像中每个像素的空间位置信息完成图像的空域分割;
1d)投影计算子装置:用于将空域分隔后的图像与运动区域检测后的运动区域进行投影计算:
式中,B(x,y)为运动区域检测后的二值掩模图像,B(x,y)=1表示像素点(x,y)属于运动区域,B(x,y)=0表示像素点(x,y)属于静止区域,Ai(i=0,1,...,N-1)为空域分割后的N个区域,Ni为Ai内像素的个数,T为给定的阈值,是第i个区域的投影运算结果,表示该区域属于运动区域,表示该区域属于静止区域;
1e)运动掩膜子装置:用于由投影计算结果计算当前帧的运动掩膜图像:
式中,是第i个区域的投影运算结果,表示该区域属于运动区域,表示该区域属于静止区域,Bo(x,y)为整幅图像的投影结果,Bo(x,y)=1表示像素点(x,y)属于运动区域,Bo(x,y)=0表示像素点(x,y)属于静止区域;
(1f)映射子装置:用于将运动目标掩模图像映射到原图像,得到当前帧的精确的运动目标;
(2)背景修复装置:用于利用图像修复技术修补被运动目标遮掩的背景区域,获得完整的背景;
(3)图像幅型比变换装置:用于利用图像插值算法,分别对目标和修复后的背景进行幅型比变换,首先,使用双线性插值算法对背景采用宽高变换比非一致的方式进行线性变形变换,使变换后背景的幅型比满足所需的幅型比要求;然后,使用双线性插值算法对运动目标采用宽高变换比例一致的尺度变换,保持运动目标不失真;
(4)图像合成装置:用于将幅型比变换后的背景和目标进行叠加,合成相应幅型比的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100209463A CN101489147B (zh) | 2009-01-16 | 2009-01-16 | 基于感兴趣区域的幅型比变换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100209463A CN101489147B (zh) | 2009-01-16 | 2009-01-16 | 基于感兴趣区域的幅型比变换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101489147A CN101489147A (zh) | 2009-07-22 |
CN101489147B true CN101489147B (zh) | 2010-12-01 |
Family
ID=40891787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009100209463A Expired - Fee Related CN101489147B (zh) | 2009-01-16 | 2009-01-16 | 基于感兴趣区域的幅型比变换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101489147B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107333175B (zh) * | 2015-04-15 | 2019-06-25 | 广东欧珀移动通信有限公司 | 一种视频处理的方法及移动终端 |
CN107209854A (zh) | 2015-09-15 | 2017-09-26 | 深圳市大疆创新科技有限公司 | 用于支持顺畅的目标跟随的***和方法 |
JP6682559B2 (ja) * | 2016-01-15 | 2020-04-15 | 株式会社モルフォ | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 |
CN107707818B (zh) * | 2017-09-27 | 2020-09-29 | 努比亚技术有限公司 | 图像处理方法、装置及计算机可读存储介质 |
CN107590848A (zh) * | 2017-09-29 | 2018-01-16 | 北京金山安全软件有限公司 | 一种图片生成方法、装置、电子设备及存储介质 |
CN110490896B (zh) * | 2018-01-25 | 2022-11-29 | 腾讯科技(深圳)有限公司 | 一种视频帧图像处理方法和装置 |
CN108305267B (zh) * | 2018-02-14 | 2020-08-11 | 北京市商汤科技开发有限公司 | 物体分割方法、装置、设备、存储介质及程序 |
CN110310299B (zh) * | 2019-07-03 | 2021-11-19 | 北京字节跳动网络技术有限公司 | 用于训练光流网络、以及处理图像的方法和装置 |
CN113808005A (zh) * | 2021-08-04 | 2021-12-17 | 西安深信科创信息技术有限公司 | 一种基于视频驱动的人脸姿态迁移方法及装置 |
-
2009
- 2009-01-16 CN CN2009100209463A patent/CN101489147B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101489147A (zh) | 2009-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101489147B (zh) | 基于感兴趣区域的幅型比变换方法 | |
TWI399703B (zh) | 往返縮放之影像放大方法 | |
WO2022141819A1 (zh) | 视频插帧方法、装置、计算机设备及存储介质 | |
CN102360498B (zh) | 图像超分辨率重建方法 | |
US9418402B2 (en) | System for improving foggy luminance image using fog reduction estimation model | |
US20090185622A1 (en) | Method of searching for motion vector, method of generating frame interpolation image and display system | |
US20100002948A1 (en) | Image enhancement | |
US8243194B2 (en) | Method and apparatus for frame interpolation | |
CN103400342A (zh) | 基于混合色阶映射及压缩系数的高动态范围图像重构方法 | |
US8325196B2 (en) | Up-scaling | |
CN102572502B (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
Varekamp et al. | Improved depth propagation for 2D to 3D video conversion using key-frames | |
CN111062895B (zh) | 一种基于多视场分割的显微图像复原方法 | |
CN101707711B (zh) | 一种基于压缩域的视频序列Copy-Move篡改检测方法 | |
Zhou et al. | Deep local and global spatiotemporal feature aggregation for blind video quality assessment | |
CN116934592A (zh) | 一种基于深度学习的图像拼接方法、***、设备及介质 | |
CN104580978B (zh) | 一种视频检测及处理方法、装置 | |
Kuo et al. | VLSI implementation for an adaptive haze removal method | |
JP2007515891A (ja) | 画像フォーマット変換 | |
CN111932594B (zh) | 一种基于光流的十亿像素视频对齐方法及装置、介质 | |
CN114549373A (zh) | Hdr图像生成方法、装置、电子设备及可读存储介质 | |
Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
Yang et al. | Native resolution detection for 4k-uhd videos | |
CN116485657A (zh) | 基于图像边缘检测的图像超分装置、图像超分方法及*** | |
CN110263676A (zh) | 一种用于生成高质量人群密度图的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101201 Termination date: 20150116 |
|
EXPY | Termination of patent right or utility model |