CN116723305B - 一种基于生成式对抗网络的虚拟视点质量增强方法 - Google Patents
一种基于生成式对抗网络的虚拟视点质量增强方法 Download PDFInfo
- Publication number
- CN116723305B CN116723305B CN202310445621.XA CN202310445621A CN116723305B CN 116723305 B CN116723305 B CN 116723305B CN 202310445621 A CN202310445621 A CN 202310445621A CN 116723305 B CN116723305 B CN 116723305B
- Authority
- CN
- China
- Prior art keywords
- network
- quality
- virtual viewpoint
- virtual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 23
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical compound C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于生成式对抗网络的虚拟视点质量增强方法，属于三维视频的虚拟视点合成技术领域。解决了三维视频编解码、视点合成造成的虚拟视点失真的技术问题。其技术方案为：首先分析网络和视频特征与虚拟视点质量的关联性；然后，设计虚拟视点质量增强流程框架；最后，针对流程框架中的质量增强模型部分，构建基于生成式对抗网络的虚拟视点质量增强模型。本发明的有益效果为：通过设计面向虚拟视点的质量增强网络模型，提高合成后虚拟视点的质量，获得较好的主观视觉质量。
Description
技术领域
本发明涉及三维视频的虚拟视点合成技术领域，尤其涉及一种面向三维视频解码端虚拟视点的基于生成式对抗网络的虚拟视点质量增强方法。
背景技术
近年来，随着多媒体信息技术的蓬勃发展和视频领域的进一步拓展，视频电视也在不断更新。一方面，视频电视由标清向高清，乃至全高清电视发展，可以支持的像素个数越来越多。另一方面，视频电视由二维平面向三维立体，乃至自由视点电视发展，可以支持的视点个数越来越多。从标清到高清、从平面到立体，视频技术历经数次革新，已阔步迈向超高清时代。面对视频技术的新发展，三维高效视频编码(Three Dimensional HighEfficiency Video Coding,3D-HEVC)标准应运而生。
在3D-HEVC视频编码标准中，编码时，按照先纹理图后深度图的顺序联合进行，解码时，利用基于深度图像的绘制(Depth Image-Based Rendering,DIBR)技术实现虚拟视点的合成。在衡量编码失真的问题上，传统的率失真优化方法通过计算当前编码帧中当前编码块与参考帧中参考块之间的绝对误差和或差值平方和来计算编码失真。但由于深度图并不会直接提供给人眼观看，其仅用于合成虚拟视点，所以深度图的编码质量与虚拟视点的失真程度具有紧密联系。为确保合成后的虚拟视点不出现明显失真，在衡量深度图的编码失真时，需要将虚拟视点的失真考虑进去。
针对虚拟视点失真计算而言，目前的3D-HEVC视频编码标准采用合成视点失真变化模型(Synthesized View Distortion Change,SVDC)作为虚拟视点失真的计算模型。SVDC模型的提出可以在一定程度上缓解因遮挡和脱离遮挡现象所引发的深度图自身失真无法准确映射到虚拟视点失真的问题。但在真实应用场景中，失真总是会不可避免的被引入。由于DIBR技术是利用深度图信息来实现原视点中像素点到虚拟视点中像素点的映射，这一过程既与原始纹理图有关，也与原始深度图有关。因此，纹理图的编码失真、深度图的编码失真以及虚拟视点合成过程产生的失真都可能会造成合成后虚拟视点的失真。根据优化的出发点不同，三维视频虚拟视点质量的增强通常可以通过四种方式来实现：纹理图质量增强、深度图质量增强、视点合成技术优化以及视频后处理。
上述方法有效地增强了压缩编码后图像或视频的质量。但是这类方法主要用于图像或H.265/HEVC视频压缩编码后的伪影消除，并不能直接用于增强3D-HEVC中虚拟视点的质量。
在虚拟视点质量增强方面，Zhu等人将虚拟视点的质量增强视作图像重建任务，同时考虑几何失真与压缩失真，提出一种基于CNN的虚拟视点质量增强方法。Pan等人提出一种基于双流注意网络的虚拟视点质量增强方法，其利用学习上下文的全局信息和提取纹理的局部信息，相比于Zhu等人提出的方法，更全面的去除了合成后虚拟视点的失真。但目前对该类方法的研究较少，如何针对合成后虚拟视点的特性进一步挖掘其深度特征，是提升三维视频主观视觉质量体验的关键问题。
发明内容
本发明的目的在于提供一种基于生成式对抗网络的虚拟视点质量增强方法，解决了三维视频编解码、视点合成造成的虚拟视点失真的问题，能有效地提高合成后虚拟视点的质量，PSNR平均提升了1.127dB，并取得良好的主观视觉效果。本发明的发明思想为：本发明提供了一种基于生成式对抗网络的虚拟视点质量增强方法，首先分析网络和视频特征与虚拟视点质量的关联性，然后，设计虚拟视点质量增强流程框架，最后，针对流程框架中的质量增强模型部分，构建基于生成式对抗网络的虚拟视点质量增强模型。
为了实现上述发明目的，本发明采用技术方案具体为：一种基于生成式对抗网络的虚拟视点质量增强方法，具体包括如下步骤：
1.1、分析网络和视频特征与虚拟视点质量的关联性；
1.2、设计虚拟视点质量增强流程框架；
1.3、构建基于生成式对抗网络的虚拟视点质量增强模型；
作为本发明提供的一种基于生成式对抗网络的虚拟视点质量增强方法进一步优化方案，所述步骤1.1具体包括以下步骤：
2.1、分析造成虚拟视点失真的原因，主要有压缩编码、背景区域去遮挡、非视点重合区域以及深度信息不准确；
2.2、建立虚拟视点失真评估准则C，其公式为C＝f(pvideo(dtexture,ddepth,dsynthesis),pnetwork(v,b,d))，其中，pvideo(·)表示视频特征参数，dtexture(·)表示纹理图编码失真，ddepth(·)表示深度图编码失真，dsynthesis(·)表示虚拟视点合成过程失真；pnetwork(·)表示网络特征参数，v表示网络数据传输速率，b表示网络信道带宽，d表示网络数据总时延。
作为本发明提供的一种基于生成式对抗网络的虚拟视点质量增强方法进一步优化方案，所述步骤1.1具体包括以下步骤：所述步骤1.2具体包括以下步骤：
3.1、通过对原始纹理图和深度图进行编解码和视点合成，获得待增强的低质量虚拟视点；
3.2、基于虚拟视点失真评估准则C，对步骤3.1获得的低质量虚拟视点以及高质量虚拟视点数据集进行预处理；
3.3、构建生成网络、判别网络，定义损失函数，完成虚拟视点质量增强模型的搭建；
3.4、利用训练好的虚拟视点质量增强模型将低质量虚拟视点重建为高质量虚拟视点。
作为本发明提供的一种基于生成式对抗网络的虚拟视点质量增强方法进一步优化方案，所述步骤1.3具体包括以下步骤：
4.1、将1个生成网络模块、1个判别网络模块以及1个损失反馈模块组合成虚拟视点质量增强模型；
4.2、将1个64通道3×3卷积核的卷积层和16个残差单元组合成生成网络模块；
4.3、将包含3×3大小卷积核、BN层以及Leaky ReLU激活函数的6组卷积层组合成判别网络模块；
4.4、将衡量像素级损失的均方误差LMSE、衡量图像画面品质客观差异的LPSNR、衡量图像风格(颜色、纹理、对比度等)的感知损失LP以及衡量判断结果和真实图像交叉熵的对抗损失LA组成生成网络的损失函数LG，其公式为LG＝λMSELMSE+λPSNRLPSNR+λPLP+λALA，其中，λMSE、λPSNR、λP和λA是生成网络模型训练过程中的参数，其中，W、H、C分别为图像的宽度、高度和通道数，/>其中，MSE是均方误差损失其中，φm,n表示VGG19网络中第m个池化层前、第n个卷积层的特征分布，φm,n(Io)是原始高质量虚拟视点图像的特征分布，φm,n(Iy)是生成网络生成的“以假乱真”的高质量虚拟视点图像的特征分布，Wm,n和Hm,n是该特征的尺寸；
4.5、通过计算原始高质量虚拟视点为真以及“以假乱真”的低质量虚拟视点为假的概率，获得判别网络的损失函数，其公式为LD＝-log(D(Io))-log(1-D(G(Ix)))，其中，Ix为压缩视频合成后的低质量虚拟视点图像，Io为原始高质量虚拟视点图像，G(·)表示生成网络模块生成的图像，D(·)表示判别网络模块判断生成图像为真实图像的概率。
与现有技术相比，本发明的有益效果为：
(1)本发明针对三维视频编码、解码、视点合成带来的虚拟视点合成失真的问题，考虑到生成式对抗网络在图像修复方面有较好的性能，以造成虚拟视点失真的原因为依据，以实现虚拟视点质量增强为目的，设计了面向虚拟视点的质量增强网络模型。
(2)本发明分析了合成后虚拟视点的质量特征，并深入剖析了虚拟视点出现合成失真的主要原因，为数据集的预处理奠定了基础；
(3)本发明设计了虚拟视点质量增强网络模型流程框架，该框架主要包含数据预处理和虚拟视点质量增强两个部分，从整体上制定了虚拟视点质量增强方法的技术路线和实施步骤；
(4)本发明提出基于生成式对抗网络的虚拟视点质量增强网络模型，通过生成网络和判别网络的交替训练，实现了对于虚拟视点的质量增强。从本发明方法的实验结果来看，在客观性能评价上，本发明提出方法与原始HTM-16.0方法相比，虚拟视点的PSNR平均提升了1.127dB，而在SSIM增益上，相较于原始HTM-16.0方法，本发明提出方法的SSIM平均提升了0.0267。此外，在主观性能上，本发明提出方法在主观质量上与原始视频基本无明显差异，可取得良好的主观视觉效果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提供的一种基于生成式对抗网络的虚拟视点质量增强方法的整体流程图。
图2为本发明中背景区域去遮挡和非视点重合区域引起的虚拟视点失真示意图。
图3为本发明中深度信息不准确引起的虚拟视点失真示意图。
图4为本发明中虚拟视点质量增强流程框架。
图5为本发明中基于生成式对抗网络的虚拟视点质量增强模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
参见图1，本实施例提供其技术方案为：一种基于生成式对抗网络的虚拟视点质量增强方法，包括以下步骤：
步骤1、分析网络和视频特征与虚拟视点质量的关联性；
步骤2、设计虚拟视点质量增强流程框架；
步骤3、构建基于生成式对抗网络的虚拟视点质量增强模型。
具体地，参照图2和图3，步骤1中，分析网络和视频特征与虚拟视点质量的关联性，具体包括以下步骤：
1)分析造成虚拟视点失真的原因，主要有压缩编码、背景区域去遮挡、非视点重合区域以及深度信息不准确；
2)建立虚拟视点失真评估准则C，其公式为C＝f(pvideo(dtexture,ddepth,dsynthesis),pnetwork(v,b,d))，其中，pvideo(·)表示视频特征参数，dtexture(·)表示纹理图编码失真，ddepth(·)表示深度图编码失真，dsynthesis(·)表示虚拟视点合成过程失真；pnetwork(·)表示网络特征参数，v表示网络数据传输速率，b表示网络信道带宽，d表示网络数据总时延。
具体地，参照图4，步骤2中，设计虚拟视点质量增强流程框架，包括下述步骤：
1)通过对原始纹理图和深度图进行编解码和视点合成，获得待增强的低质量虚拟视点；
2)基于虚拟视点失真评估准则C，对步骤3.1获得的低质量虚拟视点以及高质量虚拟视点数据集进行预处理；
3)构建生成网络、判别网络，定义损失函数，完成虚拟视点质量增强模型的搭建；
4)利用训练好的虚拟视点质量增强模型将低质量虚拟视点重建为高质量虚拟视点。
具体地，参照图5，步骤3中，构建基于生成式对抗网络的虚拟视点质量增强模型，包括以下步骤：
1)将1个生成网络模块、1个判别网络模块以及1个损失反馈模块组合成虚拟视点质量增强模型；
2)将1个64通道3×3卷积核的卷积层和16个残差单元组合成生成网络模块；
3)将包含3×3大小卷积核、BN层以及Leaky ReLU激活函数的6组卷积层组合成判别网络模块；
4)将衡量像素级损失的均方误差LMSE、衡量图像画面品质客观差异的LPSNR、衡量图像风格(颜色、纹理、对比度等)的感知损失LP以及衡量判断结果和真实图像交叉熵的对抗损失LA组成生成网络的损失函数LG，其公式为LG＝λMSELMSE+λPSNRLPSNR+λPLP+λALA，其中，λMSE、λPSNR、λP和λA是生成网络模型训练过程中的参数，其中，W、H、C分别为图像的宽度、高度和通道数，/>其中，MSE是均方误差损失其中，φm,n表示VGG19网络中第m个池化层前、第n个卷积层的特征分布，φm,n(Io)是原始高质量虚拟视点图像的特征分布，φm,n(Iy)是生成网络生成的“以假乱真”的高质量虚拟视点图像的特征分布，Wm,n和Hm,n是该特征的尺寸；
5)通过计算原始高质量虚拟视点为真以及“以假乱真”的低质量虚拟视点为假的概率，获得判别网络的损失函数，其公式为LD＝-log(D(Io))-log(1-D(G(Ix)))，其中，Ix为压缩视频合成后的低质量虚拟视点图像，Io为原始高质量虚拟视点图像，G(·)表示生成网络模块生成的图像，D(·)表示判别网络模块判断生成图像为真实图像的概率。
为了检验本实施例提出方法的性能，采用Pytorch学习框架来搭建虚拟视点质量增强模型，所有训练均在服务器上进行，训练环境配置如表1所示。在训练模型时，采用Adam方法，初始学习率设为0.0001，随着训练次数的改变，微调学习率，并得出生成对抗网络损失函数的最优参数。测试序列为Balloons，Kendo，Newspaper，Poznan_Hall2，Poznan_Street和Undo_Dancer。
表1训练环境设置
表2展示了本实施例提出方法与目前主流的两种虚拟视点质量增强方法在客观质量评价指标上的对比结果。所有实验结果均在本实施例训练环境下得出，将提出方法获得的图像与原始图像计算得到的SSIM与经由HTM-16.0测试平台编码获得的图像与原始图像计算得到的SSIM之间的差值以及提出方法获得的图像与原始图像计算得到的PSNR与经由HTM-16.0测试平台编码获得的图像与原始图像计算得到的PSNR
之间的差值作为评价指标。其中，SSIM的具体计算公式为其中，X和Y是待衡量的两张图像，μX和μY分别是X和Y的平均值，/>和/>分别是X和Y的方差，σXY是X和Y的协方差，c1＝(k1L)2和c2＝(k2L)2是用来保持稳定的常数，其中，k1＝0.01，k2＝0.03，L表示像素值的动态取值范围，当图像比特数为8时，L的值为255。PSNR的具体计算公式为其中，M和N表示图像的尺寸，xi,j和yi,j分别表示原始图像和提出方法处理后的图像在第i行、第j列对应像素点的灰度值，n表示图像比特数。表2提出方法和对比方法的比较结果
如表2所示，本实施例提出的虚拟视点质量增强模型相较于HTM-16.0编解码、视点合成后虚拟视点的PSNR平均提升了1.127dB，这个结果优于TSAN[4]的0.804dB以及Zhu等人[6]提出方法的0.315dB。而在SSIM的增益上，本实施例提出的虚拟视点质量增强模型比经过HTM-16.0编解码、视点合成后的虚拟视点的SSIM平均提升了0.0267，这个结果同样优于TSAN[4]的0.0117以及Zhu等人[6]提出方法的0.0046。由此可以得出，本实施例提出的方法在增强虚拟视点质量上的性能更优。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于生成式对抗网络的虚拟视点质量增强方法，其特征在于，包括以下步骤：
步骤1.1、分析网络和视频特征与虚拟视点质量的关联性；
步骤1.2、设计虚拟视点质量增强流程框架；
步骤1.3、构建基于生成式对抗网络的虚拟视点质量增强模型；
所述步骤1.1具体包括以下步骤：
2.1、分析造成虚拟视点失真的原因有压缩编码、背景区域去遮挡、非视点重合区域以及深度信息不准确；
2.2、建立虚拟视点失真评估准则C，其公式为C＝f(pvideo(dtexture,ddepth,dsynthesis),pnetwork(v,b,d))，其中，pvideo(·)表示视频特征参数，dtexture(·)表示纹理图编码失真，ddepth(·)表示深度图编码失真，dsynthesis(·)表示虚拟视点合成过程失真；pnetwork(·)表示网络特征参数，v表示网络数据传输速率，b表示网络信道带宽，d表示网络数据总时延；
所述步骤1.2具体包括以下步骤：
3.1、通过对原始纹理图和深度图进行编解码和视点合成，获得待增强的低质量虚拟视点；
3.2、基于虚拟视点失真评估准则C，对所述步骤3.1获得的低质量虚拟视点以及高质量虚拟视点数据集进行预处理；
3.3、构建生成网络、判别网络，定义损失函数，完成虚拟视点质量增强模型的搭建；
3.4、利用训练好的虚拟视点质量增强模型将低质量虚拟视点重建为高质量虚拟视点；
所述步骤1.3具体包括以下步骤：
4.1、将1个生成网络模块、1个判别网络模块以及1个损失反馈模块组合成虚拟视点质量增强模型；
4.2、将1个64通道3×3卷积核的卷积层和16个残差单元组合成生成网络模块；
4.3、将包含3×3大小卷积核、BN层以及Leaky ReLU激活函数的6组卷积层组合成判别网络模块；
4.4、将衡量像素级损失的均方误差LMSE、衡量图像画面品质客观差异的LPSNR、衡量图像风格的感知损失LP以及衡量判断结果和真实图像交叉熵的对抗损失LA组成生成网络的损失函数LG，其公式为LG＝λMSELMSE+λPSNRLPSNR+λPLP+λALA，其中，λMSE、λPSNR、λP和λA是生成网络模型训练过程中的参数，其中，W、H、C分别为图像的宽度、高度和通道数，其中，MSE是均方误差损失LMSE，其中，φm,n表示VGG19网络中第m个池化层前、第n个卷积层的特征分布，φm,n(Io)是原始高质量虚拟视点图像的特征分布，φm,n(Iy)是生成网络生成的“以假乱真”的高质量虚拟视点图像的特征分布，Wm,n和Hm,n是该特征的尺寸；
4.5、通过计算原始高质量虚拟视点为真以及“以假乱真”的低质量虚拟视点为假的概率，获得判别网络的损失函数，其公式为LD＝-log(D(Io))-log(1-D(G(Ix)))，其中，Ix为压缩视频合成后的低质量虚拟视点图像，Io为原始高质量虚拟视点图像，G(·)表示生成网络模块生成的图像，D(·)表示判别网络模块判断生成图像为真实图像的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310445621.XA CN116723305B (zh) | 2023-04-24 | 2023-04-24 | 一种基于生成式对抗网络的虚拟视点质量增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310445621.XA CN116723305B (zh) | 2023-04-24 | 2023-04-24 | 一种基于生成式对抗网络的虚拟视点质量增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116723305A CN116723305A (zh) | 2023-09-08 |
| CN116723305B true CN116723305B (zh) | 2024-05-03 |
Family
ID=87864931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310445621.XA Active CN116723305B (zh) | 2023-04-24 | 2023-04-24 | 一种基于生成式对抗网络的虚拟视点质量增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116723305B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102892021A (zh) * | 2012-10-15 | 2013-01-23 | 浙江大学 | 一种合成虚拟视点图像的新方法 |
| CN104853175A (zh) * | 2015-04-24 | 2015-08-19 | 张艳 | 一种新的合成虚拟视点客观质量评价方法 |
| CN108495110A (zh) * | 2018-01-19 | 2018-09-04 | 天津大学 | 一种基于生成式对抗网络的虚拟视点图像生成方法 |
| CN112489198A (zh) * | 2020-11-30 | 2021-03-12 | 江苏科技大学 | 一种基于对抗学习的三维重建***及其方法 |
| WO2021093584A1 (zh) * | 2019-11-13 | 2021-05-20 | 南京大学 | 基于深度卷积神经网络的自由视点视频生成及交互方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102325259A (zh) * | 2011-09-09 | 2012-01-18 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 多视点视频中虚拟视点合成方法及装置 |
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2023
- 2023-04-24 CN CN202310445621.XA patent/CN116723305B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102892021A (zh) * | 2012-10-15 | 2013-01-23 | 浙江大学 | 一种合成虚拟视点图像的新方法 |
| CN104853175A (zh) * | 2015-04-24 | 2015-08-19 | 张艳 | 一种新的合成虚拟视点客观质量评价方法 |
| CN108495110A (zh) * | 2018-01-19 | 2018-09-04 | 天津大学 | 一种基于生成式对抗网络的虚拟视点图像生成方法 |
| WO2021093584A1 (zh) * | 2019-11-13 | 2021-05-20 | 南京大学 | 基于深度卷积神经网络的自由视点视频生成及交互方法 |
| CN112489198A (zh) * | 2020-11-30 | 2021-03-12 | 江苏科技大学 | 一种基于对抗学习的三维重建***及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116723305A (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Quality assessment of DIBR-synthesized images by measuring local geometric distortions and global sharpness | |
| Stefanoski et al. | Automatic view synthesis by image-domain-warping | |
| CN104079925B (zh) | 基于视觉感知特性的超高清视频图像质量客观评价方法 | |
| US10349058B2 (en) | Method for predicting depth map coding distortion of two-dimensional free viewpoint video | |
| CN102970529B (zh) | 一种基于对象的多视点视频分形编码压缩与解压缩方法 | |
| WO2021248966A1 (zh) | 点云质量评估方法、编码器、解码器及存储介质 | |
| CN103067705B (zh) | 一种多视点深度视频预处理方法 | |
| Shao et al. | No-reference view synthesis quality prediction for 3-D videos based on color–depth interactions | |
| CN104159095A (zh) | 一种多视点纹理视频和深度图编码的码率控制方法 | |
| EP2391135B1 (en) | Method and device for processing depth image sequence | |
| CN102737380B (zh) | 一种基于梯度结构张量的立体图像质量客观评价方法 | |
| CN111385585B (zh) | 一种基于机器学习的3d-hevc深度图编码单元划分方法 | |
| Sandić-Stanković et al. | Free viewpoint video quality assessment based on morphological multiscale metrics | |
| CN116723305B (zh) | 一种基于生成式对抗网络的虚拟视点质量增强方法 | |
| CN105007494B (zh) | 一种3d视频深度图像的帧内楔形分割模式选择方法 | |
| CN103702120B (zh) | 一种合成视点主观失真估计方法 | |
| CN106791772B (zh) | 基于绘制的最大可容忍深度失真计算方法 | |
| Zhang et al. | Multi-layer and Multi-scale feature aggregation for DIBR-Synthesized image quality assessment | |
| Wang et al. | Visual quality optimization for view-dependent point cloud compression | |
| CN111526354B (zh) | 一种基于多尺度空间视差信息的立体视频舒适度预测方法 | |
| Park et al. | Virtual control of optical axis of the 3DTV camera for reducing visual fatigue in stereoscopic 3DTV | |
| Xiao et al. | No-reference quality assessment of stereoscopic video based on deep frequency perception | |
| CN106303513B (zh) | 一种降参考三维视频质量评价方法 | |
| CN103813149B (zh) | 一种编解码***的图像与视频重构方法 | |
| CN106888377B (zh) | 一种无参考三维视频质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |