CN103248907A - 一种三维图像还原方法 - Google Patents
一种三维图像还原方法 Download PDFInfo
- Publication number
- CN103248907A CN103248907A CN2013101421747A CN201310142174A CN103248907A CN 103248907 A CN103248907 A CN 103248907A CN 2013101421747 A CN2013101421747 A CN 2013101421747A CN 201310142174 A CN201310142174 A CN 201310142174A CN 103248907 A CN103248907 A CN 103248907A
- Authority
- CN
- China
- Prior art keywords
- degree
- formula
- interpolation
- directions
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种三维图像还原方法。
背景技术
目前,多种3D立体格式都采用了帧相容的模式来编码。图1所示就是若干种帧相容的立体编码格式,其中x表示左视,ο表示右视。这些模式都首先将左视和右视以一种模式进行下采样使其像素数目降至原来的一般,然后将左视和右视合并为一幅图像,然后将其编码入码流。如side by side方式就是将左视和右视都沿水平方向进行一次降采样,然后合并为一副图像进行编码;而top bottom模式则将左视和右视都沿垂直方向进行一次降采样,然后合并为一副图像进行编码。
在解码端,由于恢复出来的信号左视和右视都被降采样了一倍,所以首先需要从降采样的右视和左视图像上采样一倍,然后才能显示图像。
当需要插值得到某个位置的像素值时,可以根据该像素周边位置已知的像素分别赋予不同的权值系数(即滤波器系数)进行加权而得到该位置像素的值。
最临近插值法:最简单的计算P(0.5,0)的方法就是直接拷贝P(0,0)的值,即P(0.5,0)=P(0,0)。而高级一些的方法则是沿水平方向在P(0.5,0)两侧对称的取若干连续的整数像素,然后使用一个对称的插值滤波器获得,即:其中T为滤波器抽头数目的二分之一,{fi|i∈[-T+1,T]}为插值滤波器且即归一对称滤波器。
与本发明相关的现有技术还可以从以下文献中获得。
1、Andrea Giachetti and Nicola Asuni,"Real-Time Artifact-Free ImageUpscaling",IEEE Transactions on Image Processing,Oct.2011;
2、Wing-Shan Tam,Chi-Wah Kok and Wan-Chi Siu,"Modified edge-directedinterpolation for images",SPIE journal of Electronic imaging,Jan-Mar,2010;
3、X.Lin and M.T.Orchard,"New edge-directed interpolation",IEEETransactions on Image Processing,Oct.2001。
然而,现有技术中还不存在还原三维图像的有效的解决方案。
发明内容
本方明要解决的技术问题是提供一种可提高图像客观质量的三维图像还原方法。
为了实现上述目的,提供了一种三维图像还原方法,该方法包括:
根据公式(1)至公式(3)计算0度、45度和135度三个方向的梯度,其中加权系数是从10组系数中根据PSNR穷尽选择出来的;
采用在梯度最小的方向上进行插值的原则,计算所述0度、所述45度和所述135度三个方向上的插值;
其中,公式(1):
公式(2):
公式(3):
其中,在进行所述插值时采用边界导向的插值算法。
其中,在计算所述0度、所述45度和所述135度三个方向上的插值的步骤中,整数滤波器由迭代最小二乘法得出。
与现有技术相比,本发明具有以下有益效果:
本发明由于采用在梯度最小的方向上进行插值的原则,所以提高了图像的客观质量,尤其是提高了主观质量(尤其是指图像锐度)。
附图说明
图1为帧相容的立体编码格式的示意图;
图2为本发明在插值过程中所用子像素矩阵的示意图;
图3为本发明三维图像还原装置的示例性结构图;
图4为本发明的插值算法流程图;
图5为本发明应用于高清机顶盒的结构示意图。
具体实施方式
下面结合附图以及具体实施例对本发明进行详细的说明。
本文中以SideBySide为例对本发明进行详细地说明。其它3D视频格式仅为取样的差别,具体插值算法无差异。
本发明采用边界导向的插值算法,其基本思想是,沿梯度最小的方向进行插值。本方法中选取3个方向的梯度进行计算,可以选取更多的梯度来进行计算,但是,根据实际测算,选取更多的梯度对插值结果的改变,影响比较小。
以P(i,j)表示坐标为(i,j)的像素的值。
首先,根据下式计算图像的水平梯度G0、45度梯度G45和135度梯度G135。
梯度计算中采用的加权系数是从10组系数中根据PSNR穷尽选择出来的;式中的>>4表示向右移4位,即相当于除以8; MSE是原图像与处理图像之间均方误差,PSNR是“Peak Signal to Noise Ratio”的缩写,为一种评价图像的客观标准,其可以通过软件实现。
其次,在计算出三个梯度后,我们采用沿梯度最小的方向进行插值的原则,再计算0度、45度和135度3个方向插值的结果。
在实际应用中,以子像素P(0.5,0)为例进行说明,图2为子像素矩阵示意图,如图2所示,点表示已知的像素位置,叉表示将要***值计算出的像素位置,以P(i,j)表示坐标为(i,j)的像素的值。
计算0度、45度和135度3个方向插值的结果为:
P45(0.5,0)=(-3×P(-1,3)+35×P(0,1)+35×P(1,-1)-3×P(2,-3)+32)>>6
P135(0.5,0)=(-3×P(-1,-3)+35×P(0,-1)+35×P(1,1)-3×P(2,3)+32)>>6
式中所用整数滤波器由迭代最小二乘法得出;>>6表示右移6位,即表示除以32。然后结果由下式给出:
从而,P(0.5,0)子像素的值可以由上式得出。
其中,整系数滤波器是指滤波网络中的乘法支路的增益均为整数的滤波器,其只进行少量的移位和加法操作,所以运算速度快。
本发明实施例的验证
首先将原始图像按照偶数列和奇数列劈分为两幅图像,即奇数图像和偶数图像,然后对奇数图像应用本发明实施例提供的方法,得出偶数图像的一个估计,然后将其与原始的偶数图像求PSNR,由PSNR来估计插值算法的优劣。在本文中,共选取28个标准测试序列,每个测试序列选取80帧,作为本算法评估和测试的基准,对于每幅图像,用一个当然的插值算法得到其PSNR,然后所有图像PSNR的算术平均作为评价算法优劣的标准。
表1
Filter | PSNR |
直接拷贝 | 28.7033 |
{1,1}/2 | 33.5046 |
{-7,39,39,-7}/64 | 34.32875 |
{-6,38,38,-6}/64 | 34.35497 |
{-5,37,37,-5}/64 | 34.32396 |
{1,-9,40,40,-9,1}/64 | 34.32418 |
{1,-8,39,39,-8,1}/64 | 34.40515 |
{2,-9,39,39,-9,2}/64 | 34.42896 |
{2,-8,38,38,-8,2}/64 | 34.44386 |
{-1,2,-9,40,40,-9,2,-1}/64 | 34.34020 |
{-1,2,-8,39,39,-8,2,-1}/64 | 34.41444 |
{-1,2,-7,38,38,-7,2,-1}/64 | 34.42832 |
{-1,3,-9,39,39,-9,3,-1}/64 | 34.44112 |
{-1,3,-8,38,38,-8,3,-1}/64 | 34.44899 |
{-1,3,-7,37,37,-7,3,-1}/64 | 34.39805 |
表1为根据现有算法滤波器计算的PSNR。然而,根据本发明提供的方法计算得到的PSNR可达到34.48188。根据该验证结果,可知本发明实施例提供的方法提高了图像的客观质量,尤其是主观质量(如:图像锐度)。
图3为本发明三维图像还原装置的示例性结构图,图4为本发明的插值算法流程图。如图3-4所示,该装置包括信号处理模块、解码模块、图像插值算法模块和显示模块。其中,信号处理模块、解码模块、图像插值算法模块和显示模块依次相连,并且图像插值算法模块执行本发明所提供的方法。
图5为本发明应用于高清机顶盒的结构示意图。如图所示,信号接收模块通过高清机顶盒3D频道接收到信号后,采用SideBySide方式对视频信号进行编码,然后将处理结果发送至解码模块,解码模块处理之后,将处理结果发送至图像插值算法模块,该图像插值算法模块采用本发明提供的方法对信号进行处理,之后再将处理结果传输至视频显示模块,即左、右眼通道。
本发明的实例不限于高清机顶盒的3D应用,还可以应用于任何水平或者垂直方向的插值应用。
本发明并不限于上述实施方式,在不背离本发明实质内容的情况下,本领域技术人员可以想到的任何变形、改进或替换均落入本发明的范围。
Claims (5)
1.一种三维图像还原方法,其特征在于,该方法包括:
根据公式(1)至公式(3)计算0度、45度和135度三个方向的梯度,其中加权系数是从10组系数中根据PSNR穷尽选择出来的;
采用在梯度最小的方向上进行插值的原则,计算所述0度、所述45度和所述135度三个方向上的插值;
其中,公式(1):
公式(2):
公式(3):
2.根据权利要求1所述的方法,其特征在于,在进行所述插值时采用边界导向的插值算法。
3.根据权利要求1所述的方法,其特征在于,在计算所述0度、所述45度和所述135度三个方向上的插值的步骤中,整数滤波器由迭代最小二乘法得出。
4.一种三维图像还原装置,其包括信号处理模块、解码模块和显示模块,其特征在于,其还包括图像插值算法模块,所述图像插值算法模块执行权利要求1所述的方法。
5.根据权利要求4所述的装置,其特征在于,所述信号处理装置采用SideBySide方式对信号进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310142174.7A CN103248907B (zh) | 2013-04-22 | 2013-04-22 | 一种三维图像还原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310142174.7A CN103248907B (zh) | 2013-04-22 | 2013-04-22 | 一种三维图像还原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103248907A true CN103248907A (zh) | 2013-08-14 |
CN103248907B CN103248907B (zh) | 2015-07-22 |
Family
ID=48928095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310142174.7A Active CN103248907B (zh) | 2013-04-22 | 2013-04-22 | 一种三维图像还原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103248907B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109883350A (zh) * | 2019-01-25 | 2019-06-14 | 北京航天计量测试技术研究所 | 一种异形曲面结构内部形貌的高精度测量***和测量方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101511031A (zh) * | 2008-12-15 | 2009-08-19 | 四川虹微技术有限公司 | 一种用于Bayer Data插值的方法 |
CN102446349A (zh) * | 2010-09-29 | 2012-05-09 | 奥林巴斯株式会社 | 图像处理装置和图像处理方法 |
CN102630019A (zh) * | 2012-03-27 | 2012-08-08 | 上海算芯微电子有限公司 | 去马赛克的方法和装置 |
-
2013
- 2013-04-22 CN CN201310142174.7A patent/CN103248907B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101511031A (zh) * | 2008-12-15 | 2009-08-19 | 四川虹微技术有限公司 | 一种用于Bayer Data插值的方法 |
CN102446349A (zh) * | 2010-09-29 | 2012-05-09 | 奥林巴斯株式会社 | 图像处理装置和图像处理方法 |
CN102630019A (zh) * | 2012-03-27 | 2012-08-08 | 上海算芯微电子有限公司 | 去马赛克的方法和装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109883350A (zh) * | 2019-01-25 | 2019-06-14 | 北京航天计量测试技术研究所 | 一种异形曲面结构内部形貌的高精度测量***和测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103248907B (zh) | 2015-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5342068B2 (ja) | 多重フレームへのアプローチ方法および画像アップスケール処理システム | |
CN107895345A (zh) | 一种提高人脸图像分辨率的方法和装置 | |
US20110069237A1 (en) | Image Interpolation for motion/disparity compensation | |
CN102663747B (zh) | 一种基于视觉感知的立体图像客观质量评价方法 | |
CN102572499B (zh) | 基于小波变换多分辨率预测的无参考图像质量评价方法 | |
CN103413298B (zh) | 一种基于视觉特性的立体图像质量客观评价方法 | |
CN103533214A (zh) | 一种基于卡尔曼滤波和双边滤波的视频实时去噪方法 | |
EP2979449B1 (en) | Enhancing motion pictures with accurate motion information | |
CN102750668B (zh) | 结合局部方向特征的数字图像三倍插值放大方法 | |
CN104574363B (zh) | 一种考虑梯度方向差异的全参考图像质量评价方法 | |
EP2536159A1 (en) | Image processing device, image processing method, and program | |
CN104780383B (zh) | 一种3d‑hevc多分辨率视频编码方法 | |
CN109345444B (zh) | 深度感知增强的超分辨率立体图像构建方法 | |
CN103248907B (zh) | 一种三维图像还原方法 | |
JP6402088B2 (ja) | 映像品質推定装置、映像品質推定方法、及びプログラム | |
CN101917624A (zh) | 一种高分辨率视频图像重建方法 | |
CN102496162B (zh) | 基于非张量积小波滤波器的部分参考图像质量评价方法 | |
KR102027886B1 (ko) | 대형 디스플레이의 영상 크기 조절 장치 및 방법 | |
CN115409695A (zh) | 基于深度特征融合网络的压缩视频超分辨率 | |
CN109996065B (zh) | 一种对于非对称失真三维视频的质量评价方法 | |
Hung et al. | Real-time interpolation using bilateral filter for image zoom or video up-scaling/transcoding | |
JP6162924B2 (ja) | 画像処理方法及び装置 | |
CN106447614B (zh) | 一种基于一致性区域的超分辨率方法 | |
Tajima et al. | Chromatic interpolation based on anisotropy-scale-mixture statistics | |
Panda et al. | A novel image upscaling method using high order error sharpening |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |