CN107809630B - 基于改进虚拟视点合成的多视点视频超分辨率重建算法 - Google Patents

基于改进虚拟视点合成的多视点视频超分辨率重建算法 Download PDF

Info

Publication number
CN107809630B
CN107809630B CN201711002368.1A CN201711002368A CN107809630B CN 107809630 B CN107809630 B CN 107809630B CN 201711002368 A CN201711002368 A CN 201711002368A CN 107809630 B CN107809630 B CN 107809630B
Authority
CN
China
Prior art keywords
view
pixel
super
virtual
virtual view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711002368.1A
Other languages
English (en)
Other versions
CN107809630A (zh
Inventor
周圆
张业达
杨鸿宇
冯丽洋
杨晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201711002368.1A priority Critical patent/CN107809630B/zh
Publication of CN107809630A publication Critical patent/CN107809630A/zh
Application granted granted Critical
Publication of CN107809630B publication Critical patent/CN107809630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于改进虚拟视点合成的多视点视频超分辨率重建算法,步骤(1)、基于DIBR的虚拟视点合成,在参考视点的深度图的辅助下,建立虚拟视点图像和参考视点图像之间的映射关系;步骤(2)、基于双向DIBR的投影一致性检查,步骤(3)、高频信息提取与超分辨率重建,得到最终的超分辨率重建结果。与现有技术相比,本发明可以有效的去除小裂痕,消除背景与前景之间的像素渗透现象;对空洞部分,通过提取插值图像的对应像素点进行填充,取得了较好的视点合成效果,在此基础上通过高频提取与插值视图相融合取得了良好的超分辨率重建结果。

Description

基于改进虚拟视点合成的多视点视频超分辨率重建算法
技术领域
本发明涉及图像视频处理领域,特别是涉及一种应用于混合分辨率多视点视频的超 分辨率重建算法。
背景技术
近年来,以3D立体视频(Stereo Video)和自由视点视频(Free viewpoint Video,FTV)为代表的多视点视频(Multi-view Video)成为数字多媒体技术研究的热门方向。 在多视点视频***中,需要同时传输多个视点的视频序列,存储和带宽负担很大。混合 分辨率(Mixed Resolution,MR)多视点视频架构是解决这一问题的有效方法。采用混 合分辨率视频架构,至少一个视点采用低分辨率视频进行传输,其余视点以高分辨率方 式进行传输,能够有效地降低传输数据量,达到了节省带宽的目的,并且可以显著的减 少处理时间。低分辨率视频清晰度较低,会影响观看者视觉体验,导致视觉上的不舒适 感。为了保证观看者的视觉体验,需要在接受端对低分辨率视点进行超分辨率重建。
深度图像绘制(Depth Image Based Rendering,DIBR)技术,是一种计算简单且效果优秀的虚拟视点合成技术。通过DIBR技术可得到该低分辨率视点的高分辨虚拟视点, 进而虚拟视点的高频信息,并与低分辨率插值视图进行相加,完成超分辨率重建。但是, 由于DIBR技术映射得到的视图像素渗透、投影重叠和空洞等一些问题,合成虚拟视图 的部分高频信息并不准确,而且可能与原图存在亮度差异,故需要对重建结果进一步改 进。
在附加深度图的混合分辨率多视点视频格式(MR-MVD)中,提供了每个视点的 原深度图,参考视点的原图和合成虚拟视点的低分辨率彩图。对于附加深度图的混合分 辨率多视点视频格式(Mixed Resolution Multi-view Video plus Depths,MR-MVD),可 利用高分辨率视点的深度信息和相机参数,通过虚拟视点合成技术得到相邻的低分辨率 视点的高分辨初始估计,这为多视点视频的超分辨率重建提供了新的思路。
发明内容
针对传统DIBR技术合成虚拟视图存在的像素渗透、投影重叠和空洞等问题,导致合成虚拟视图部分高频信息失真,本发明提出一种基于改进虚拟视点合成的多视点视频超分辨率重建算法,采用虚拟视点向参考视点逆向投影与参考视点向虚拟视点前向投影相结合的方式,来解决DIBR合成虚拟视点过程中出现的像素渗透和投影重叠问题,再 对虚拟视点低分辨率彩图进行插值,用得到的插值图像完成对合成虚拟视图空洞的填 补,由此完成了超分辨率重建的过程
通过双向DIBR技术改善合成虚拟视图质量,提升多视点视频的超分辨率重建效果。
本发明的基于改进虚拟视点合成的多视点视频超分辨率重建算法,该方法包括以下 步骤:
步骤1、基于DIBR的虚拟视点合成,在参考视点的深度图的辅助下,建立虚拟视 点图像和参考视点图像之间的映射关系;该步骤的具体处理如下:
已知视点个数N的高分辨率图像VN及其对应的深度图DN,利用VN内某一像素点 (u,v)的深度值d以及拍摄该视点摄像机的摄像机内部参数矩阵AN、旋转矩阵以及转移 矩阵TN,映射为世界坐标系的(x,y,z)点,表达式如下:
其中,参数矩阵表示摄像机成像的内部参数矩阵,fx和fy分别是水平和竖直方向以像素为单位的焦距,(cx,cy)是基准点(通常在图像的中心)。摄像 机内部参数矩阵不依赖于场景,只要焦距固定,可以被重复使用。为 摄像机的旋转矩阵,为摄像机平移矩阵,矩阵[RN TN]为摄像机外部参数矩阵, 将客观世界中某一点Pw映射到一个相对于摄像机固定的坐标系,它描述了目标景物围 绕摄像机的刚性运动或者摄像机相对于一个固定场景的运动。
像素点(u,v)的深度值d通过以下公式计算得出:
其中,Zmin和Zmax表示深度图中最小和最大景深;
将世界坐标点(x,y,z)重新映射到视点N+1的摄像机像素平面上某点(u',v'),表达 式如下:
其中,d′表示像素点(u',v')的深度值,(u',v')即为视点N中像素点(u,v)经过DIBR 映射后得到的像素点位置。
步骤2、基于双向DIBR的投影一致性检查,该步骤的具体处理如下:
找到虚拟视点的原深度图Dr中某像素点,将虚拟视点的原深度图Dr中某像素点p(u,v)投影到参考视点深度图的映射位置p'(u',v');找到距离p'(u',v')最近的四个像素坐标为整数的点;将得到的四个参考视图中点p'(u',v')的四个邻近点p'1、p'2、p'3、p'4映射到虚拟视图,得到四个映射虚拟视图像素点;
找到与p(u,v)欧式距离最近的映射虚拟视图像素点记为与p(u,v)的欧式距离小于投影一致性检查阈值K=1,则该像素点在参考视 点中的像素坐标原投影点即为p(u,v)的最终映射位置,否则认为p(u,v)在 参考视图中没有正确的对应像素点,p(u,v)对应的像素点用插值虚拟视点彩图进行填 充;
步骤3、高频信息提取与超分辨率重建,该步骤的具体处理如下:
通过均值为μ,方差为σ的高斯核函数G对经过双向DIBR的合成虚拟视图提取高 频分量,并与低分辨率视图的双三次插值结果进行融合,得到最终的超分辨率重建 结果:
其中,均值μ=0,方差σ=1.6。
与现有技术相比,本发明提出的基于改进虚拟视点合成的多视点视频超分辨率重建 算法相比传统DIBR虚拟视图合成方法,可以有效的去除小裂痕,消除背景与前景之间的像素渗透现象;对空洞部分,通过提取插值图像的对应像素点进行填充,取得了较好 的视点合成效果,在此基础上通过高频提取与插值视图相融合取得了良好的超分辨率重 建结果。
附图说明
图1为本发明的基于改进虚拟视点合成的多视点视频超分辨率重建算法流程图;
图2为基于双向DIBR的超分辨率重建示意图;
图3为投影一致性检查DIBR流程;
图4为Ballet超分辨率重建结果:(3a)传统DIBR结果,(3b)基于投影正确性检查的双向DIBR结果,(3c)原图,(3d)基于双向DIBR的超分辨率重建结果;
图5为Doorflower超分辨率重建结果:(4a)双三次插值,(4b)NE,(4c)ScSR,(4d)本专利结果。
具体实施方式
下面将结合附图对本发明的实施方式作进一步的详细描述。
如图1所示,为本发明的基于改进虚拟视点合成的多视点视频超分辨率重建算法流 程,具体分为以下三个步骤。
步骤1、基于DIBR的虚拟视点合成,该步骤的具体处理如下:
DIBR技术的核心思想是利用参考视点和虚拟视点的摄像机参数,在参考视点的深度图的辅助下,建立虚拟视点图像和参考视点图像之间的映射关系。基于DIBR的虚拟 视点合成过程如下:
已知视点个数N的高分辨率图像VN及其对应的深度图DN,利用VN内某一像素点 (u,v)的深度值d以及拍摄该视点摄像机的摄像机内部参数矩阵AN、旋转矩阵RN以及转 移矩阵TN,映射为世界坐标系的(x,y,z)点,表达式如下:
其中参数矩阵表示摄像机成像的内部参数矩阵,fx和fy分别是水平和竖直方向以像素为单位的焦距,(cx,cy)是基准点(通常在图像的中心)。摄像机 内部参数矩阵不依赖于场景,只要焦距固定,可以被重复使用。为 摄像机的旋转矩阵,为摄像机平移矩阵。矩阵[RN TN]为摄像机外部参数矩阵, 将客观世界中某一点Pw映射到一个相对于摄像机固定的坐标系,它描述了目标景物围 绕摄像机的刚性运动或者摄像机相对于一个固定场景的运动。
像素点(u,v)的深度值d通过以下公式计算得出:
其中,Zmin和Zmax表示深度图中最小和最大景深;
将世界坐标点(x,y,z)重新映射到视点N+1的摄像机像素平面上某点(u',v'),表达 式如下:
其中,d′表示像素点(u',v')的深度值,(u',v')即为视点N中像素点(u,v)经过DIBR 映射后得到的像素点位置。
步骤2、基于双向DIBR的投影一致性检查,该步骤的具体处理如下:
在双向DIBR映射过程中,引入了投影正确性检查的步骤,通过虚拟视点向参考视点逆向投影来检查参考视点向虚拟视点前向投影的过程是否准确,有效地解决了投影像素点重叠和像素渗透等问题,结合图2、图3对该步骤进行说明:
参考视点的彩图为Cr,虚拟视点的原深度图为Dr,低分辨率彩图为按照该实例流程,通过参考视点的彩图Cr与虚拟视点的原深度图Dr,完成基于投影正确性检查 的DIBR虚拟视点合成。
利用式(1)和式(3)得到将虚拟视点的原深度图Dr中某像素点p(u,v)投影到参 考视点深度图的p'(u',v')位置:
按照式(5)找到距离p'(u',v')最近的四个像素坐标为整数的点,其中表示向下 取整,表示向上取整。
将得到的四个参考视图中点p'(u',v')的四个邻近点p'1、p'2、p'3、p'4映射到虚拟视图, 得到四个映射虚拟视图像素点:
找到与p(u,v)欧式距离最近的映射虚拟视图像素点记为与p(u,v)的欧式距离小于投影一致性检查阈值K=1,则该像素点在参考视 点中的像素坐标原投影点即为p(u,v)的最终映射位置,否则认为p(u,v)在 参考视图中没有正确的对应像素点,p(u,v)对应的像素点需要用插值虚拟视点彩图进行 填充。通过公式(7),计算出距离点p(u,v)欧式距离最近的映射点pi"(u",v"),将该点 下标标记为imin
步骤3、高频信息提取与超分辨率重建,该步骤的具体处理如下:
通过均值为μ,方差为σ的高斯核函数G对经过双向DIBR的合成虚拟视图提取高 频分量,并与低分辨率视图的双三次插值结果进行融合,得到最终的超分辨率重建 结果。
其中,均值μ=0,方差σ=1.6。
在本发明算法的效果评价实验中,所用的多视点视频序列包括各个视点的RGB视频序列、深度序列及摄像机参数;所用高斯核函数的大小为5×5,均值μ=0,方差σ=1.6。投影一致性检查阈值K=1。为了评价重建效果,除了采用主观的视觉评价外,还采用 峰值信噪比(PSNR)和图像结构相似度(SSIM)评价不同算法的超分辨率重建性能。 PSNR是一种基于统计特性的客观图像质量评价方法,较大的峰值信噪比表示重构图像 与原始图像之间的相似性较高。SSIM是一种通过感知图像结构信息来进行图像质量评 价的方法,SSIM值越大说明图像间的结构越相似。
表1与表2分别表示不同算法的PSNR和SSIM,双三次插值算法作为基准。与基 于稀疏表示的超分辨率重建算法ScSR以及基于邻域嵌入的超分辨率重建算法NE做了 比较。相较ScSR算法,本发明算法在PSNR指标上平均提升2.06dB,SSIM指标上平 均提升0.0173。相较NE算法,本发明算法在PSNR指标上平均提升0.84dB,SSIM指 标上平均提升0.0060。
如图4所示,相比传统DIBR虚拟视图合成方法,本发明的基于双向DIBR的虚拟 视图合成算法可以有效的去除小裂痕,消除背景与前景之间的像素渗透现象。通过高频 提取与插值视图融合得到的超分辨率重建结果有效的恢复了视频帧的高频细节,图像纹 理清晰细腻额,并且有效的抑制了振铃效应和块效应。
如图5所示,相比其他超分辨率重建结果的主观视觉,本发明的基于双向DIBR的虚拟视图合成算法,双三次插值恢复的结果表现最差,图像的纹理细节没能得到有效恢复,ScSR以及NE结果恢复了部分高频信息,但存在部分区域过于平滑的问题。本专 利提出的算法可以有效恢复缺失的高频信息,且图像纹理清晰,细节真实,取得了最佳 的超分辨率重建效果。因此从评价指标上看,本发明算法明显优于其余几种算法,主观 评价与客观评价结果完全一致。表中,Dataset表示数据集,Bicubic表示双三次插值结 果,NE表示邻域嵌入结果,ScSR表示稀疏表示重建结果,Proposed表示本专利结果。
表1、不同超分辨率重建结果PSNR值(dB)比较
表2、不同超分辨率重建结果SSIM值比较
实验结果表明,本专利提出的算法能够更好地抑制了锯齿效应和振铃效应,重建出 的高分辨率视图更接近于真实图像,具有更好的主观和客观质量。

Claims (1)

1.一种基于改进虚拟视点合成的多视点视频超分辨率重建算法,其特征在于,该算法包括以下步骤:
步骤(1)、基于DIBR的虚拟视点合成,在参考视点的深度图的辅助下,建立虚拟视点图像和参考视点图像之间的映射关系;该步骤的具体处理如下:
已知视点个数N的高分辨率图像VN及其对应的深度图DN,利用VN内某一像素点(u,v)的深度值d以及拍摄该视点摄像机的摄像机内部参数矩阵AN、旋转矩阵RN以及转移矩阵TN,映射为世界坐标系的(x,y,z)点,表达式如下:
其中,参数矩阵表示摄像机成像的内部参数矩阵,fx和fy分别表示水平和竖直方向以像素为单位的焦距,(cx,cy)表示基准点;为摄像机的旋转矩阵,为摄像机平移矩阵;矩阵[RN TN]为摄像机外部参数矩阵;
像素点(u,v)的深度值d通过以下公式计算得出:
其中,Zmin和Zmax表示深度图中最小和最大景深;
将世界坐标点(x,y,z)重新映射到视点N+1的摄像机像素平面上某点(u',v'),表达式如下:
其中,d′表示像素点(u',v')的深度值,(u',v')即为视点N中像素点(u,v)经过DIBR映射后得到的像素点位置;
步骤(2)、基于双向DIBR的投影一致性检查,该步骤的具体处理如下:
找到虚拟视点的原深度图Dr中某像素点,将虚拟视点的原深度图Dr中某像素点p(u,v)投影到参考视点深度图的映射位置p'(u',v');找到距离p'(u',v')最近的四个像素坐标为整数的点;将得到的参考视图中点p'(u',v')的四个邻近点p′1、p′2、p′3、p′4映射到虚拟视图,得到四个映射虚拟视图像素点;
找到与p(u,v)欧式距离最近的映射虚拟视图像素点记为与p(u,v)的欧式距离小于投影一致性检查阈值K=1,则该像素点在参考视点中的像素坐标原投影点即为p(u,v)的最终映射位置,否则认为p(u,v)在参考视图中没有正确的对应像素点,p(u,v)对应的像素点用插值虚拟视点彩图进行填充;
步骤(3)、高频信息提取与超分辨率重建,该步骤的具体处理如下:
通过均值为μ,方差为σ的高斯核函数G对经过双向DIBR的合成虚拟视图提取高频分量,并与低分辨率视图的双三次插值结果进行融合,得到最终的超分辨率重建结果:
其中,均值μ=0,方差σ=1.6。
CN201711002368.1A 2017-10-24 2017-10-24 基于改进虚拟视点合成的多视点视频超分辨率重建算法 Active CN107809630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711002368.1A CN107809630B (zh) 2017-10-24 2017-10-24 基于改进虚拟视点合成的多视点视频超分辨率重建算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711002368.1A CN107809630B (zh) 2017-10-24 2017-10-24 基于改进虚拟视点合成的多视点视频超分辨率重建算法

Publications (2)

Publication Number Publication Date
CN107809630A CN107809630A (zh) 2018-03-16
CN107809630B true CN107809630B (zh) 2019-08-13

Family

ID=61584908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711002368.1A Active CN107809630B (zh) 2017-10-24 2017-10-24 基于改进虚拟视点合成的多视点视频超分辨率重建算法

Country Status (1)

Country Link
CN (1) CN107809630B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194888B (zh) * 2018-11-12 2020-11-27 北京大学深圳研究生院 一种针对低质量深度图的dibr自由视点合成方法
CN109712067B (zh) * 2018-12-03 2021-05-28 北京航空航天大学 一种基于深度图像的虚拟视点绘制方法
CN111667438B (zh) * 2019-03-07 2023-05-26 阿里巴巴集团控股有限公司 视频重建方法、***、设备及计算机可读存储介质
EP4072147A4 (en) * 2019-12-30 2022-12-14 Huawei Technologies Co., Ltd. VIDEO STREAM PROCESSING METHOD, APPARATUS AND DEVICE AND MEDIA
CN111882486B (zh) * 2020-06-21 2023-03-10 南开大学 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024421A (zh) * 2013-01-18 2013-04-03 山东大学 自由视点电视中的虚拟视点合成方法
CN106408513A (zh) * 2016-08-25 2017-02-15 天津大学 深度图超分辨率重建方法
CN106791773A (zh) * 2016-12-30 2017-05-31 浙江工业大学 一种基于深度图像的新视点合成方法
CN106791772A (zh) * 2016-12-28 2017-05-31 曲阜师范大学 基于绘制的最大可容忍深度失真计算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024421A (zh) * 2013-01-18 2013-04-03 山东大学 自由视点电视中的虚拟视点合成方法
CN106408513A (zh) * 2016-08-25 2017-02-15 天津大学 深度图超分辨率重建方法
CN106791772A (zh) * 2016-12-28 2017-05-31 曲阜师范大学 基于绘制的最大可容忍深度失真计算方法
CN106791773A (zh) * 2016-12-30 2017-05-31 浙江工业大学 一种基于深度图像的新视点合成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joint nonlocal sparse representation for depth map super-resolution;Yeda Zhang eta.;《2017 IEEE International Conference on Image Processing》;20170920;772-976页
图像超分辨率重建的研究进展;曾凯等;《计算机工程与应用》;20170815;第16卷(第53期);29-35页

Also Published As

Publication number Publication date
CN107809630A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
CN107809630B (zh) 基于改进虚拟视点合成的多视点视频超分辨率重建算法
CN101771893B (zh) 一种基于视频序列背景建模的虚拟视点绘制方法
Solh et al. Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
US9094660B2 (en) Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
Daribo et al. A novel inpainting-based layered depth video for 3DTV
CN112543317B (zh) 高分辨率单目2d视频到双目3d视频的转制方法
JP7036599B2 (ja) 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法
US9525858B2 (en) Depth or disparity map upscaling
CN100576934C (zh) 基于深度和遮挡信息的虚拟视点合成方法
JP2019502295A (ja) アーチファクトを意識したビュー合成のための補助データ
CN107454468A (zh) 对沉浸式视频进行格式化的方法、装置和流
CN101720047A (zh) 基于颜色分割的多目摄像立体匹配获取深度图像的方法
Li et al. A novel upsampling scheme for depth map compression in 3DTV system
Li et al. A real-time high-quality complete system for depth image-based rendering on FPGA
CN107018401B (zh) 基于逆映射的虚拟视点空洞填补方法
CN104506871B (zh) 一种基于hevc的3d视频快速编码方法
JP2022533754A (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
Ruijters et al. IGLANCE: transmission to medical high definition autostereoscopic displays
CN112637582B (zh) 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法
EP4218232A1 (en) Techniques for processing multiplane images
Bondarev et al. Performance-efficient architecture for free-viewpoint 3DTV receiver
Colleu et al. A polygon soup representation for multiview coding
Gao et al. Virtual view synthesis based on DIBR and image inpainting
Çığla et al. An efficient hole filling for depth image based rendering
Wang et al. A novel approach for depth image based rendering, based on non-linear transformation of depth values

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant