CN103596014B - 多视点分布式视频编码中视点间边信息的生成方法 - Google Patents
多视点分布式视频编码中视点间边信息的生成方法 Download PDFInfo
- Publication number
- CN103596014B CN103596014B CN201310613353.4A CN201310613353A CN103596014B CN 103596014 B CN103596014 B CN 103596014B CN 201310613353 A CN201310613353 A CN 201310613353A CN 103596014 B CN103596014 B CN 103596014B
- Authority
- CN
- China
- Prior art keywords
- viewpoint
- difference vector
- viewpoints
- represent
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于分布式视频编码技术领域。解决现有技术的不足,提高非直线型多视点排布的视点间边信息的重构质量,为此,本发明采用的技术方案是,多视点分布式视频编码中视点间边信息的生成方法,包括如下步骤:首先,采用单应性模型获得视差矢量MV,单应性模型如下式所示: 第二,解码当前视点。由第一步获得的视差矢量MVn‑1,和已经解码的前两个视点,第n‑2个视点和第n‑1个视点,现在需要解码当前视点本发明主要应用于视频编码。
Description
技术领域
本发明属于分布式视频编码技术领域,尤其涉及一种非直线型分布的多视点分布式视频编码中视点间边信息的生成方法,具体讲,涉及多视点分布式视频编码中视点间边信息的生成方法。
背景技术
分布式视频编码是一种新兴的视频编码技术,它能够使运动估计与运动补偿预测从编码端转移到解码端,有效地降低了编码端复杂度,适用于低复杂度、低功耗的视频***,如无线监控***、无线视频***等。分布式多视点视频编码和传统的单视点视频编码相比可以提供更多的视频场景信息。
在多视点分布式视频编码中,边信息包括时间边信息和视点间边信息,时间边信息多采用运动补偿内插法和运动补偿外推法,视点间边信息通常采用视差矢量内插法和单应性模型。但是,无论是视差矢量内插法和单应性模型采用的都是内插法,它的原理类似于运动补偿内插法,运动补偿内插法的前提是物体的运动在一条直线上。同理,通常的视点间的边信息获取方法的前提条件都是要求多个视点位于同一条直线上,实际上多视点的分布不一定都位于一条直线上,那么当多视点是非直线分布的时候,急需一种低误码率高效的边信息生成方法。
现有的分布式多视点视频编码的多视点间的视点间边信息的生成方法多为视差矢量内插法和单应性模型内插法,这两种方法都是针对多个视点分布在同一条直线上,目前的多个视点分布在不同直线的,都是采用内插法获得视点间边信息进行近似,视点间的内插法的适用前提是多视点分布在同一条直线上,或者至少相邻的三个视点分布在一条直线上,这使得使用视差矢量内插法和单应性模型内插法存在必然的误差。
发明内容
本发明旨在解决现有技术的不足,提高非直线型多视点排布的视点间边信息的重构质量,为此,本发明采用的技术方案是,多视点分布式视频编码中视点间边信息的生成方法,包括如下步骤:
首先,采用单应性模型获得视差矢量MV,单应性模型如下式所示:
式中,(xf,yf)是前一视点在t时刻所在的帧中的像素值位置;(xb,yb)是前一视点的像素位置(xf,yf)经过单应性模型对应到后一视点的像素位置;xf,xb为横坐标,yf,yb为纵坐标,xf,yf中的f表示前一个视点,xb,yb中的b表示后一个视点,a,b,c,d,e,f,g,h,l为变换参数,变换参数通过全局运动估计技术来估计;
现有已解码的视点,记作关键视点,第n-2个视点,第n-1个视点,则根据单应性模型可以获得第n-2个视点到第n-1个视点的视差矢量MVn-1:
MVn-1=(mvx,mvy)
其中 mvx=xn-2-xn-1
mvy=yn-2-yn-1
式中,(xn-2,yn-2)是第n-2个视点中t时刻在的帧的像素值位置;(xn-1,yn-1)是经过单应性模型第n-2个视点中t时刻在的帧的像素值位置(xn-2,yn-2)对应到第n-1个视点中t时刻在的帧的像素值位置;mvx是视差矢量MVn-1的横向分量,mvy是视差矢量MVn-1的纵向分量;
第二,解码当前视点。由第一步获得的视差矢量MVn-1,和已经解码的前两个视点,第n-2个视点和第n-1个视点,现在需要解码当前视点,即第n个视点的视点间边信息,由第一步中,MVn-1是有第n-2个视点到第n-1个视点的视差矢量,根据多个视点的几何关系,求得第n-1个视点到第n个视点的视差矢量为MVn;定义I[n,t,x,y]表示第n个视点在t时刻所在帧中(x,y)位置处的像素值。则第n个视点的像素值可以描述为
I[n,t,x,y]=I[n-1,t,x+mvx,y+mvy]
其中MVn=(mvx,mvy)为视差矢量,mvx表示视差矢量MVn的横向分量,mvy表示视差矢量MVn的纵向分量,x表示横坐标,y表示纵坐标,n-1表示第n-1个视点。
本发明的技术特点及效果:
第一,通过上述描述的视差矢量外推法,不仅可以广泛运用在非直线型分布的多视点分布式视频编解码***中,还可以运用在直线型分布的多视点分布式编解码***中,有广泛的适用性。
第二,上述描述的视差矢量外推法是基于单应性模型获得的,是基于像素的,通过块匹配方法获得的视差矢量,是基于块的。基于像素的视差矢量获得方法相对于基于块的视差矢量获得方法具有更高的准确性。
第三,在非直线型分布的多视点分布式视频编码***中,上述描述的视差矢量外推法,可以减少视差矢量内插法带来视深误差,使得非直线型排布的多视点分布式视频编解码的视点边信息生成质量大大提高。在多视点分布式视频编码***各种,一帧图像的边信息包括视点间边信息和时间边信息,视差矢量外推法提高了视点间边信息的质量,从而提高了整个帧的重构质量。
附图说明
图1本发明的视差补偿外推法原理图。
图2轴对称型多视点分布图。
图3扩展的轴对称型多视点分布图。
图4扩展的轴对称型多视点分布的局部放大图。
具体实施方式
非直线型分布的多视点分布式视频编码中视点间边信息的生成方法—视差矢量外推法。视差矢量外推法包括两部分:视差矢量的获得和当前视点的解码。首先,对于视差矢量的获得,一般的获取视差矢量的方法是基于块的运动匹配,即根据MAD原则获得当前时点的前一个已解码视点和后一个已解码视点的视差矢量,这样获得的视差矢量会有一定的视点深度误差。本发明提出了一种新的视差矢量的获得方法,视差矢量MV的获得是通过单应性模型获得,单应性模型如下式所示:
式中,(xf,yf)是前一视点在t时刻所在的帧中的像素值位置;(xb,yb)是前一视点的像素位置(xf,yf)经过单应性模型对应到后一视点的像素位置;xf,xb为横坐标,yf,yb为纵坐标,xf,yf中的f表示前一个视点,xb,yb中的b表示后一个视点;a,b...h为变换参数。只要这个场景为近似平坦的,这个公式就有效。参数可以通过全局运动估计技术来估计。
现有已解码的视点(记作关键视点)第n-2个视点,第n-1个视点,则根据单应性模型可以获得第n-2个视点到第n-1个视点的视差矢量MVn-1:
MVn-1=(mvx,mvy)
其中 mvx=xn-2-xn-1
mvy=yn-2-yn-1
式中,(xn-2,yn-2)是第n-2个视点中t时刻在的帧的像素值位置;(xn-1,yn-1)是经过单应性模型第n-2个视点中t时刻在的帧的像素值位置(xn-2,yn-2)对应到第n-1个视点中t时刻在的帧的像素值位置,a,b...h为变换参数;mvx是视差矢量MVn-1的横向分量,mvy是视差矢量MVn-1的纵向分量。
第二,解码当前视点。由第一步获得的视差矢量MVn-1,和已经解码的前两个视点,第n-2个视点和第n-1个视点。现在需要解码当前视点(即第n个视点)的视点间边信息,由第一步中,MVn-1是有第n-2个视点到第n-1个视点的视差矢量,根据多个视点的几何关系,可以求得第n-1个视点到第n个视点的视差矢量为MVn;定义I[n,t,x,y]表示第n个视点在t时刻所在帧中(x,y)位置处的像素值。则第n个视点的像素值可以描述为
I[n,t,x,y]=I[n-1,t,x+mvx,y+mvy]
其中MVn=(mvx,mvy)为视差矢量,mvx表示视差矢量MVn的横向分量,mvy表示视差矢量MVn的纵向分量,x表示横坐标,y表示纵坐标,n-1表示第n-1个视点。
根据上说公式获得的像素值,可以重构出第n个视点的视点间边信息。
下面结合附图对本发明作更详细的说明。
如图1所示的多视点分布式视频编码中视点间边信息的生成方法—视差矢量外推法。视差矢量外推法包括两部分:视差矢量的获得和当前视点的解码。首先,对于视差矢量的获得,一般的获取视差矢量的方法是基于块的运动匹配,即根据MAD原则获得当前时点的前一个已解码视点和后一个已解码视点的视差矢量,这样获得的视差矢量会有一定的视点深度误差。本发明提出了一种新的视差矢量的获得方法,视差矢量MV的获得是通过单应性模型获得,单应性模型如下式所示:
式中,(xf,yf)是前一视点在t时刻所在的帧中的像素值位置;(xb,yb)是前一视点的像素位置(xf,yf)经过单应性模型对应到后一视点的像素位置;xf,xb为横坐标,yf,yb为纵坐标,xf,yf中的f表示前一个视点,xb,yb中的b表示后一个视点;a,b...h为变换参数。只要这个场景为近似平坦的,这个公式就有效。参数可以通过全局运动估计技术来估计(参考文献:Xiao F,Liu J,Guo J,et al.Novel Side Information Generation Algorithm ofMultiview Distributed Video Coding for Multimedia Sensor Networks[J].International Journal of Distributed Sensor Networks,2012.)。
现有已解码的视点(记作关键视点)第n-2个视点,,第n-1个视点,则根据单应性模型可以获得第n-2个视点到第n-1个视点的视差矢量MVn-1:
MVn-1=(mvx,mvy)
其中 mvx=xn-2-xn-1
mvy=yn-2-yn-1
式中,(xn-2,yn-2)是第n-2个视点中t时刻在的帧的像素值位置;(xn-1,yn-1)是经过单应性模型,第n-2个视点中t时刻在的帧的像素值位置(xn-2,yn-2)对应到第n-1个视点中t时刻在的帧的像素值位置,a,b...h为变换参数;mvx是视差矢量MVn-1的横向分量,mvy是视差矢量MVn-1的纵向分量。
第二,解码当前视点。由第一步获得的视差矢量MVn-1,和已经解码的前两个视点,第n-2个视点和第n-1个视点。现在需要解码当前视点(即第n个视点)的视点间边信息,由第一步中,MVn-1是有第n-2个视点到第n-1个视点的视差矢量,根据多个视点的几何关系,可以求得第n-1个视点到第n个视点的视差矢量为MVn;定义I[n,t,x,y]表示第n个视点在t时刻所在帧中(x,y)位置处的像素值。则第n个视点的像素值可以描述为
I[n,t,x,y]=I[n-1,t,x+mvx,y+mvy]
其中MVn=(mvx,mvy)为视差矢量,mvx表示视差矢量MVn的横向分量,mvy表示视差矢量MVn的纵向分量,x表示横坐标,y表示纵坐标,n-1表示第n-1个视点。
根据上说公式获得的像素值,可以重构出第n个视点的视点间边信息。
如图2所示的轴对称分布的多视点分布式视频编解码中,1号、2号、3号视点构成轴对称分布(关于2号视点所在的直线对称)。记1号视点与3号视点的中心位置为o,1号视点与3号视点的距离为a,2号视点距离o点的距离为b。由已解码的关键视点1号视点和2号视点,根据公式本发明所述的视差矢量外推法可以求得视差补偿矢量为MV2,根据几何关系可以求得2号视点与3号视点的视差矢量:
把1、2、3号视点放在一个直角坐标系下,以2号视点为原点,则有如下的关系式成立:
MV3=(mvx',mvy')
mvx'=mvx
mvy'=-mvy
其中,MV2=(mvx,mvy)表示从1号视点指向2号视点的视差矢量,mvx表示视差矢量MV2的横向分量,mvy表示视差矢量MV2的纵向分量,MV3=(mvx',mvy')表示2号视点指向3号视点的视差矢量,mvx'表示视差矢量MV3的横向分量,mvy'表示视差矢量MV3的纵向分量,x表示横坐标,y表示纵坐标,mvx',mvy'中的上标用来区别mvx,mvy
则3号视点在t时刻的像素位置为(x,y)处的像素值I[3,t,x,y]为
I[3,t,x,y]=I[2,t,x+mvx',y+mvy']
如图3所示的扩展的轴对称分布的多视点分布式视频编解码中,6个视点等距分布在一个近圆弧上,距离为c。图3所示的多视点不关于任何视点轴对称,但它可以看作是局部轴对称的。设1号、2号视点作为关键视点且已解码,如图4所示的扩展的轴对称分布的局部放大图,将1、2、3号视点放在一个直角坐标系上,且2号视点在原点处。根据单应性模型可以求出1号视点与2号视点间的视差矢量MV2。平移1号视点与2号经视点外推法得到的视差矢量至第三象限。根据图4所示的几何关系,我们得到2号视点到3号视点的视差矢量MV3:
MV3=(mv'x,mvy'y)
其中
MV2=(mvx,mvy)表示从1号视点指向2号视点的视差矢量,mvx表示视差矢量MV2的横向分量,mvy表示视差矢量MV2的纵向分量,x表示横坐标,y表示纵坐标,MV3=(mvx',mvy')表示2号视点指向3号视点的视差矢量,mvx'表示视差矢量MV3的横向分量,mvy'表示视差矢量MV3的纵向分量,mvx',mvy'中的上标用来区别mvx,mvy;β是图4标注的角度,cosβ是β的余弦值
根据公式I[3,t,x,y]=I[2,t,x+mvx',y+mvy']可以得到3号视点的视点间边信息。
同理,我可以根据上述公式由2号视点3号视点外推出4号视点的视点间边信息等等。
当1-6号视点分布在右半圆弧上时,视差矢量的获得同上述公式。
由上述实施方案知,视差补偿外推法的多视点不仅可以等距分布同一条直线上,还可以分布在轴对称型和等距分布在圆弧上。
Claims (1)
1.一种多视点分布式视频编码中视点间边信息的生成方法,其特征是,包括如下步骤:
首先,采用单应性模型获得视差矢量MV,单应性模型如下式所示:
式中,(xf,yf)是前一视点在t时刻所在的帧中的像素值位置;(xb,yb)是前一视点的像素位置(xf,yf)经过单应性模型对应到后一视点的像素位置;xf,xb为横坐标,yf,yb为纵坐标,xf,yf中的f表示前一个视点,xb,yb中的b表示后一个视点,a,b,c,d,e,f,g,h,l为变换参数,该变换参数通过全局运动估计技术来估计;
现有已解码的视点,记作关键视点,根据单应性模型获得第n-2个视点到第n-1个视点的视差矢量MVn-1:
MVn-1=(mvx,mvy)
其中mvx=xn-2-xn-1
mvy=yn-2-yn-1
式中,(xn-2,yn-2)是第n-2个视点中t时刻在的帧的像素值位置;(xn-1,yn-1)是经过单应性模型第n-2个视点中t时刻在的帧的像素值位置(xn-2,yn-2)对应到第n-1个视点中t时刻在的帧的像素值位置;mvx是视差矢量MVn-1的横向分量,mvy是视差矢量MVn-1的纵向分量;
第二,解码当前视点由第一步获得的视差矢量MVn-1,和已经解码的前两个视点,第n-2个视点和第n-1个视点,现在需要解码当前视点,即第n个视点的视点间边信息,由第一步中,MVn-1是有第n-2个视点到第n-1个视点的视差矢量,根据多个视点的几何关系,求得第n-1个视点到第n个视点的视差矢量为MVn;定义I[n,t,x,y]表示第n个视点在t时刻所在帧中(x,y)位置处的像素值,则第n个视点的像素值描述为
I[n,t,x,y]=I[n-1,t,x+mvx,y+mvy]
其中MVn=(mvx,mvy)为视差矢量,mvx表示视差矢量MVn的横向分量,mvy表示视差矢量MVn的纵向分量,x表示横坐标,y表示纵坐标,n-1表示第n-1个视点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310613353.4A CN103596014B (zh) | 2013-11-26 | 2013-11-26 | 多视点分布式视频编码中视点间边信息的生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310613353.4A CN103596014B (zh) | 2013-11-26 | 2013-11-26 | 多视点分布式视频编码中视点间边信息的生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103596014A CN103596014A (zh) | 2014-02-19 |
CN103596014B true CN103596014B (zh) | 2016-12-07 |
Family
ID=50085970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310613353.4A Expired - Fee Related CN103596014B (zh) | 2013-11-26 | 2013-11-26 | 多视点分布式视频编码中视点间边信息的生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103596014B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104079945A (zh) * | 2014-07-09 | 2014-10-01 | 天津大学 | 多视点分布式视频编码***帧排列选择方法 |
CN104093030B (zh) * | 2014-07-09 | 2017-12-12 | 天津大学 | 分布式视频编码边信息生成方法 |
CN110392258B (zh) * | 2019-07-09 | 2021-03-16 | 武汉大学 | 一种联合时空边信息的分布式多视点视频压缩采样重建方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4976756B2 (ja) * | 2006-06-23 | 2012-07-18 | キヤノン株式会社 | 情報処理方法および装置 |
CN101479765B (zh) * | 2006-06-23 | 2012-05-23 | 图象公司 | 对2d电影进行转换用于立体3d显示的方法和*** |
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
CN102510512B (zh) * | 2011-11-17 | 2014-03-05 | 杭州电子科技大学 | 基于双目视觉节点的动态三维多媒体传感网络自定位方法 |
CN103269438A (zh) * | 2013-05-27 | 2013-08-28 | 中山大学 | 基于3d视频和自由视点电视的深度图像绘制的方法 |
CN103337094B (zh) * | 2013-06-14 | 2016-05-18 | 西安工业大学 | 一种应用双目摄像机实现运动三维重建的方法 |
-
2013
- 2013-11-26 CN CN201310613353.4A patent/CN103596014B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103596014A (zh) | 2014-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101668205B (zh) | 基于残差宏块自适应下采样立体视频压缩编码方法 | |
CN103596014B (zh) | 多视点分布式视频编码中视点间边信息的生成方法 | |
CN102685532B (zh) | 自由视点四维空间视频编码***的编码方法 | |
JP2010010950A5 (zh) | ||
GB201114184D0 (en) | Method and device for encoding a sequence of images and method and device for decoding a sequence of images | |
MY180273A (en) | Adaptive support for interpolating values of sub-pixels for video coding | |
CN103475884B (zh) | 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法 | |
WO2015023689A3 (en) | Intra-block copying enhancements for hevc in-range-extension (rext) | |
WO2010044569A3 (ko) | 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 | |
CN102685438B (zh) | 一种基于时域演变的视频帧率上转换方法 | |
CN103533374A (zh) | 一种视频编码、解码的方法及装置 | |
CN104539961B (zh) | 基于分层结构渐进式字典学习的可分级视频编码*** | |
CN103024381B (zh) | 一种基于恰可察觉失真的宏块模式快速选择方法 | |
CN102438167B (zh) | 一种基于深度图像绘制的立体视频编码方法 | |
CN104602028A (zh) | 一种立体视频b帧整帧丢失错误隐藏方法 | |
CN101198061A (zh) | 基于视点图像映射的立体视频流编码方法 | |
CN102611893B (zh) | 基于直方图匹配和sad判决的dmvc边信息融合方法 | |
CN103763567B (zh) | 一种应用于监控视频隐私保护的压缩域失真漂移补偿方法 | |
CN102547293A (zh) | 人脸区域时域依赖性与全局率失真优化相结合的会话视频编码方法 | |
CN103152566B (zh) | 一种视频帧率提升方法 | |
CN103533330A (zh) | 一种基于数据重用的多视点多描述视频编码方法 | |
CN102790895A (zh) | 一种基于最小二乘的多视点视频编码视点合成预测方法 | |
CN102800053B (zh) | 基于冗余字典对联合优化的图像去模糊方法 | |
CN101783956A (zh) | 基于时空邻居信息的后向预测方法 | |
CN102111622B (zh) | 一种视频图像的时域错误隐藏方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161207 Termination date: 20201126 |
|
CF01 | Termination of patent right due to non-payment of annual fee |