CN111757087A - Vr视频的处理方法、装置和电子设备 - Google Patents
Vr视频的处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111757087A CN111757087A CN202010625574.3A CN202010625574A CN111757087A CN 111757087 A CN111757087 A CN 111757087A CN 202010625574 A CN202010625574 A CN 202010625574A CN 111757087 A CN111757087 A CN 111757087A
- Authority
- CN
- China
- Prior art keywords
- video
- processing
- resolution
- super
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 138
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000003780 insertion Methods 0.000 claims description 11
- 230000037431 insertion Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000015556 catabolic process Effects 0.000 claims description 9
- 238000006731 degradation reaction Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005563 spheronization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种VR视频的处理方法、装置和电子设备，涉及图像处理技术领域，该方法包括获取待处理的VR视频；通过预先训练好的视频超分模型和视频插帧模型，对该VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频。本发明实施例通过预先训练视频超分模型和视频插帧模型，并通过视频超分模型对VR视频进行超分辨率处理，以提升其视频分辨率，以及通过视频插帧模型对VR视频进行插帧视频处理，以提高其视频帧率，从而获得清晰度及视频画质均更优的VR视频，提升用户的观看体验。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种VR视频的处理方法、装置和电子设备。
背景技术
随着VR(Virtual Reality，虚拟现实)技术的发展，用户对VR设备提供的视频画质的清晰度的要求也越来越高，与此同时，VR相关硬件产品可支持的视频分辨率及帧率也越来越高。对于VR产业生态来讲，一个影响VR发展的重要因素是相关VR视频的数目及视频质量。VR拍摄设备一般较为昂贵，且对拍摄环境要求较高，受拍摄设备及拍摄条件等的限制，当前拍摄的可匹配高分辨率、高帧率VR硬件的视频数目较少，而如果直接用目前较好的VR显示设备，播放之前成像性能较差的拍摄设备所拍摄的VR视频，则存在主观画质差的缺点，严重影响用户的主观感受。
目前，尚没有方法可以在不增加VR拍摄设备成本的前提下，提升VR视频的画质。
发明内容
有鉴于此，本发明的目的在于提供一种VR视频的处理方法、装置和电子设备，可以在不增加VR拍摄设备成本的前提下，提升VR视频的画质。
第一方面，本发明实施例提供了一种VR视频的处理方法，包括：获取待处理的VR视频；通过预先训练好的视频超分模型和视频插帧模型，对该VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频。
在本发明较佳的实施例中，上述通过预先训练好的视频超分模型和视频插帧模型，对该VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频的步骤，包括：通过预先训练好的视频超分模型，对该VR视频进行超分辨率处理，得到分辨率优化后的VR视频；通过预先训练好的视频插帧模型，对分辨率优化后的该VR视频进行插帧视频处理，得到处理后的VR视频；或者，通过预先训练好的视频插帧模型，对该VR视频进行插帧视频处理，得到帧率优化后的VR视频；通过预先训练好的视频超分模型，对帧率优化后的该VR视频进行超分辨率处理，得到处理后的VR视频。
在本发明较佳的实施例中，上述视频超分模型通过下述方式训练得到：获取预设的VR视频原始数据；对该VR视频原始数据进行视频质量降级处理，得到清晰度降低后的VR视频数据；以清晰度降低后的该VR视频数据和该VR视频原始数据为训练集，训练预设的神经网络，得到视频超分模型。
在本发明较佳的实施例中，上述对该VR视频原始数据进行视频质量降级处理，得到清晰度降低后的VR视频数据的步骤，包括：对该VR视频原始数据进行视频编码处理和/或视频扭曲形变处理，得到清晰度降低后的VR视频数据。
在本发明较佳的实施例中，上述获取预设的VR视频原始数据的步骤，包括：获取预设VR摄像设备在不同视觉角度下拍摄得到的多个初始视频；对该多个初始视频进行投影矫正处理，得到矫正后的视频；对矫正后的该视频进行图像拼接处理，得到连续画面的待处理的VR视频。
在本发明较佳的实施例中，上述对矫正后的该视频进行图像拼接处理，得到连续画面的待处理的VR视频的步骤，包括：对矫正后的该视频的每一视频帧，提取该视频帧的特征向量；根据该特征向量对该视频帧进行特征匹配和图像变换，得到图像配置后的视频帧；对图像配置后的该视频帧进行图像融合处理，得到连续画面的待处理的VR视频。
在本发明较佳的实施例中，上述对该多个初始视频进行投影矫正处理，得到矫正后的视频的步骤，包括：通过柱面投影或球面投影，将该多个初始视频投影到统一的坐标系；对投影后的该初始视频中图像的旋转角度进行矫正，得到矫正后的视频。
第二方面，本发明实施例还提供了一种VR视频的处理装置，包括：待处理VR视频获取模块，用于获取待处理的VR视频；超分与插帧处理模块，用于通过预先训练好的视频超分模型和视频插帧模型，对该VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频。
在本发明较佳的实施例中，上述超分与插帧处理模块还用于：通过预先训练好的视频超分模型，对该VR视频进行超分辨率处理，得到分辨率优化后的VR视频；通过预先训练好的视频插帧模型，对分辨率优化后的该VR视频进行插帧视频处理，得到处理后的VR视频；或者，通过预先训练好的视频插帧模型，对该VR视频进行插帧视频处理，得到帧率优化后的VR视频；通过预先训练好的视频超分模型，对帧率优化后的该VR视频进行超分辨率处理，得到处理后的VR视频。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被该处理器执行的计算机可执行指令，该处理器执行该计算机可执行指令以实现上述VR视频的处理方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述VR视频的处理方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种VR视频的处理方法、装置和电子设备，首先获取待处理的VR视频；进而通过预先训练好的视频超分模型和视频插帧模型，对该VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频。该方式中，通过预先训练视频超分模型和视频插帧模型，并通过视频超分模型对VR视频进行超分辨率处理，以提升其视频分辨率，以及通过视频插帧模型对VR视频进行插帧视频处理，以提高其视频帧率，从而获得清晰度及视频画质均更优的VR视频，提升用户的观看体验。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种VR视频的处理方法的流程示意图；
图2为本发明实施例提供的一种视频超分模型的训练流程示意图；
图3为本发明实施例提供的一种VR视频的处理装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
图标：31-待处理VR视频获取模块；32-超分与插帧处理模块；41-处理器；42-存储器；43-总线；44-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到当前拍摄的可匹配高分辨率、高帧率VR硬件的视频数目较少，而又没有方法可以在不增加VR拍摄设备成本的前提下，提升VR视频的画质的问题，本发明实施例提供的一种VR视频的处理方法、装置和电子设备，该技术可以应用于对旧有VR视频的画质增强处理，或者用于VR摄像机对生成视频的实时处理，或者其他需要对VR视频处理的场景中。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种VR视频的处理方法进行详细介绍。
参见图1，所示为本发明实施例提供的一种VR视频的处理方法的流程示意图，由图1可见，该方法包括以下步骤：
步骤S102：获取待处理的VR视频。
这里，上述VR视频也即虚拟现实视频，其通常是通过彼此分开的多个摄像机进行拍摄，从而可以捕获左眼和右眼之间的差异，然后再将拍摄的视频拼合在一起，从而创建出更接近于现实世界的影像。其中，用户在观看VR视频时，通常可以360度沉浸在视频内容中，达到身临其境的效果，与普通2D视频相比，VR视频使用户可以多角度的观看。
在本实施例中，该待处理的VR视频可以是已有的旧VR视频，例如之前用较低配置的VR摄像设备拍摄的VR视频，从而可以对其进行再加工处理，以提升其画质，丰富高品质的VR视频资源；并且，该待处理的VR视频也可以是实时拍摄的VR视频，从而对拍摄的视频画质进行实时处理，输出画质增强的VR视频。
在其中一种可能的实施方式中，可以通过下述步骤11-13获取待处理的VR视频：
(11)获取预设VR摄像设备在不同视觉角度下拍摄得到的多个初始视频。
这里，VR摄像设备可以是VR摄像机、VR全景摄像头等，通常，在拍摄VR视频时，需要将多台VR摄像设备设置在不同的视觉角度下进行拍摄，从而获得多个角度的初始视频。
(12)对该多个初始视频进行投影矫正处理，得到矫正后的视频。
其中，可以先通过柱面投影或球面投影，将该多个初始视频投影到统一的坐标系；然后，对投影后的该初始视频中图像的旋转角度进行矫正，得到矫正后的视频。这里，由于不同VR摄像设备拍摄的图像并不在同一个平面上，通过投影矫正可以保持实际场景中的几何空间结构的一致性。
(13)对矫正后的该视频进行图像拼接处理，得到连续画面的待处理的VR视频。
在实际操作中，需要对投影矫正后的多个VR视频的每一帧进行图像拼接处理，具体地，对矫正后的该视频的每一视频帧，首先提取该视频帧的特征向量；然后，根据该特征向量对该视频帧进行特征匹配和图像变换，得到图像配置后的视频帧；进而对图像配置后的该视频帧进行图像融合处理，得到连续画面的待处理的VR视频。
步骤S104：通过预先训练好的视频超分模型和视频插帧模型，对该VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频。
在实际实现时，上述视频超分模型和视频插帧模型可以是通过对神经网络进行训练得到，其中，该视频超分模型用于对视频进行超分辨率处理，以提升视频的分辨率；并且，视频插帧模型用于对视频进行插帧视频处理，以提高视频的帧率。这样，通过超分辨率处理和插帧视频处理得到的VR视频具有更好的分辨率和更高的帧率，从而增强视频画质及清晰度。
在其中一种可能的实施方式中，可以通过下述步骤21-22实现对该VR视频进行超分辨率处理和插帧视频处理：
(21)通过预先训练好的视频超分模型，对该VR视频进行超分辨率处理，得到分辨率优化后的VR视频。
这里，超分辨率处理(SR，Super Resolution)是一个超分辨率重建的过程，它通过对低分辨率的图像进行处理，生成高分辨率的图像。其中，对视频图像的超分辨率处理就是提高视频图像的空间分辨率，例如，将一幅图片的分辨率由352x288扩大到704x576，从而方便用户在大尺寸的显示设备上观看。
其中，在对上述VR视频进行超分辨率处理时，将待处理的VR视频输入预先训练好的视频超分模型，输出分辨率优化后的VR视频。
(22)通过预先训练好的视频插帧模型，对分辨率优化后的该VR视频进行插帧视频处理，得到处理后的VR视频。
其中，插帧视频处理的目的是在视频中合成新的中间帧，以提高视频的帧率。这里，将分辨率优化后的VR视频输入到预先训练好的视频插帧模型，输出帧率提高后的VR视频。
在另一种可能的实施方式中，还可以先通过预先训练好的视频插帧模型，对该VR视频进行插帧视频处理，得到帧率优化后的VR视频；然后再通过预先训练好的视频超分模型，对帧率优化后的该VR视频进行超分辨率处理，得到处理后的VR视频。该方式同样可以实现上述步骤S104，得到分辨率和帧率都提高的VR视频。
根据上述VR视频的处理方法，在实际操作中，可以基于深度学习的超分辨率处理技术和插帧视频处理技术，对VR视频的图像细节进行恢复，比如，在一些应用场景下，如果VR视频发送源因受客观限制，而无法提供高分辨率的视频时(如：摄像头采集能力不足，网络带宽不足或源端处理能力不足等)，如果云端或者接收端的处理能力满足要求，则可以借助上述超分辨率处理和插帧视频处理技术对视频质量进行恢复，从而呈现给用户更高质量的VR视频。
本发明实施例提供的一种VR视频的处理方法，首先获取待处理的VR视频；进而通过预先训练好的视频超分模型和视频插帧模型，对该VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频。该方式中，通过视频超分模型对VR视频进行超分辨率处理，可以提升视频的分辨率，通过视频插帧模型对VR视频进行插帧视频处理，可以提高视频帧率，从而提升VR视频的清晰度，增强视频画质，提升用户的观看体验。
在图1所示VR视频的处理方法的基础上，本发明实施例针对该方法中视频超分模型的训练过程进行了详细描述，如图2所示，其为本发明实施例提供的一种视频超分模型的训练流程示意图，其中，该视频超分模型的训练包括以下步骤：
步骤S202：获取预设的VR视频原始数据。
这里，本实施例中获取VR视频原始数据的方式，可以参考前述实施例步骤S102中获取待处理的VR视频的相应描述，同样可以按照上述步骤11-13的方式得到VR视频原始数据，在此不再赘述。
步骤S204：对该VR视频原始数据进行视频质量降级处理，得到清晰度降低后的VR视频数据。
在至少一种可能的实施方式中，可以对该VR视频原始数据进行视频编码处理和/或视频扭曲形变处理，从而得到清晰度降低后的VR视频数据。
其中，视频编码就是指通过压缩技术将原始视频格式的文件，转换成另一种视频格式文件，通过视频编码处理，使得视频得以压缩，可以去除空间、时间维度的冗余。
另外，视频扭曲形变处理是指对视频图像进行几何扭曲变形，从而得到各种各样画面变形之后的视频图像，其中，扭曲形变的方式可以包括：位移、放大、旋转、波形变换和球面化等等。
这样，通过视频编码和/或扭曲形变，都可以实现对VR视频原始数据的质量降级，得到清晰度降低后的VR视频数据。
步骤S206：以清晰度降低后的该VR视频数据和该VR视频原始数据为训练集，训练预设的神经网络，得到视频超分模型。
在本实施例中，通过上述步骤S202和S204得到的清晰度降低后的VR视频数据，与其对应的VR视频原始数据构成成对匹配的视频组，用作训练神经网络的训练集，其中，以清晰度降低后的VR视频数据作为神经网络的输入，以VR视频原始数据作为该网络的输出，训练该神经网络的网络参数，从而得到训练好的视频超分模型。
另外，考虑到VR视频的高畸变特性，以及现实场景中很难获取到成对的VR高清视频和低清视频，以用作网络模型的训练数据集，本实施例通过获取相对高清的VR视频，并对其进行视频质量降级处理，从而得到与该VR视频对应的低清晰度和低分辨率的VR视频，并以上述VR视频构成视频对以对神经网络模型进行训练，有效缓解了在对视频超分模型进行训练时，训练数据缺乏的问题。
通过上述步骤S202至S206，即可训练得到视频超分模型，从而可以用于对VR视频进行超分辨率处理；在实际操作中，还可以通过广泛适用且高效准确的图像超分辨率(WideActivation for Efficient and Accurate Image Super-Resolution，WDSR)和增强型超分辨率生成对抗网络(Enhanced Super-Resolution Generative Adversarial Networks，ESRGAN)等常规AI超分网络对VR视频进行超分辨率处理，同样可以提高VR视频的分辨率。
同理，也可以通过获取视频插帧的训练数据集，对预设的神经网络进行训练，得到视频插帧模型。然后，根据训练得到视频超分模型对待处理的VR视频进行超分辨率处理，以提升其视频分辨率，并通过视频插帧模型对VR视频进行插帧视频处理，以提高其视频帧率，从而获得清晰度与画质都得到提高的VR视频。
对应于图1中所示的VR视频的处理方法，本发明实施例还提供了一种VR视频的处理装置，参见图3，所示为一种VR视频的处理装置的结构示意图，由图3可见，该装置包括彼此连接的待处理VR视频获取模块31和超分与插帧处理模块32，其中，上述两个模块的功能如下：
待处理VR视频获取模块31，用于获取待处理的VR视频；
超分与插帧处理模块32，用于通过预先训练好的视频超分模型和视频插帧模型，对该VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频。
本实施例提供的VR视频的处理装置，首先获取待处理的VR视频；进而通过预先训练好的视频超分模型和视频插帧模型，对该VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频。该装置中，通过预先训练视频超分模型和视频插帧模型，并通过视频超分模型对VR视频进行超分辨率处理，以提升其视频分辨率，以及通过视频插帧模型对VR视频进行插帧视频处理，以提高其视频帧率，从而获得清晰度及视频画质均更优的VR视频，提升用户的观看体验。
在其中一种可能的实施方式中，上述超分与插帧处理模块32还用于：通过预先训练好的视频超分模型，对该VR视频进行超分辨率处理，得到分辨率优化后的VR视频；通过预先训练好的视频插帧模型，对分辨率优化后的该VR视频进行插帧视频处理，得到处理后的VR视频；或者，通过预先训练好的视频插帧模型，对该VR视频进行插帧视频处理，得到帧率优化后的VR视频；通过预先训练好的视频超分模型，对帧率优化后的该VR视频进行超分辨率处理，得到处理后的VR视频。
在另一种可能的实施方式中，上述视频超分模型通过下述方式训练得到：获取预设的VR视频原始数据；对该VR视频原始数据进行视频质量降级处理，得到清晰度降低后的VR视频数据；以清晰度降低后的该VR视频数据和该VR视频原始数据为训练集，训练预设的神经网络，得到视频超分模型。
在另一种可能的实施方式中，上述对该VR视频原始数据进行视频质量降级处理，得到清晰度降低后的VR视频数据的步骤，包括：对该VR视频原始数据进行视频编码处理和/或视频扭曲形变处理，得到清晰度降低后的VR视频数据。
在另一种可能的实施方式中，上述获取预设的VR视频原始数据的步骤，包括：获取预设VR摄像设备在不同视觉角度下拍摄得到的多个初始视频；对该多个初始视频进行投影矫正处理，得到矫正后的视频；对矫正后的该视频进行图像拼接处理，得到连续画面的待处理的VR视频。
在另一种可能的实施方式中，上述对矫正后的该视频进行图像拼接处理，得到连续画面的待处理的VR视频的步骤，包括：对矫正后的该视频的每一视频帧，提取该视频帧的特征向量；根据该特征向量对该视频帧进行特征匹配和图像变换，得到图像配置后的视频帧；对图像配置后的该视频帧进行图像融合处理，得到连续画面的待处理的VR视频。
在另一种可能的实施方式中，上述对该多个初始视频进行投影矫正处理，得到矫正后的视频的步骤，包括：通过柱面投影或球面投影，将该多个初始视频投影到统一的坐标系；对投影后的该初始视频中图像的旋转角度进行矫正，得到矫正后的视频。
本发明实施例提供的VR视频的处理装置，其实现原理及产生的技术效果和前述VR视频的处理方法实施例相同，为简要描述，VR视频的处理装置的实施例部分未提及之处，可参考前述VR视频的处理方法实施例中相应内容。
本发明实施例还提供了一种电子设备，如图4所示，为该电子设备的结构示意图，其中，该电子设备包括处理器41和存储器42，该存储器42存储有能够被该处理器41执行的机器可执行指令，该处理器41执行该机器可执行指令以实现上述VR视频的处理方法。
在图4示出的实施方式中，该电子设备还包括总线43和通信接口44，其中，处理器41、通信接口44和存储器42通过总线连接。
其中，存储器42可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口44(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器41可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器41中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器41可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器41读取存储器42中的信息，结合其硬件完成前述实施例的VR视频的处理方法的步骤。
本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述VR视频的处理方法，具体实现可参见前述方法实施例，在此不再赘述。
本发明实施例所提供的VR视频的处理方法、VR视频的处理装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的VR视频的处理方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种VR视频的处理方法，其特征在于，包括：
获取待处理的VR视频；
通过预先训练好的视频超分模型和视频插帧模型，对所述VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频。
2.根据权利要求1所述的VR视频的处理方法，其特征在于，所述通过预先训练好的视频超分模型和视频插帧模型，对所述VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频的步骤，包括：
通过预先训练好的视频超分模型，对所述VR视频进行超分辨率处理，得到分辨率优化后的VR视频；通过预先训练好的视频插帧模型，对分辨率优化后的所述VR视频进行插帧视频处理，得到处理后的VR视频；
或者，
通过预先训练好的视频插帧模型，对所述VR视频进行插帧视频处理，得到帧率优化后的VR视频；通过预先训练好的视频超分模型，对帧率优化后的所述VR视频进行超分辨率处理，得到处理后的VR视频。
3.根据权利要求1所述的VR视频的处理方法，其特征在于，所述视频超分模型通过下述方式训练得到：
获取预设的VR视频原始数据；
对所述VR视频原始数据进行视频质量降级处理，得到清晰度降低后的VR视频数据；
以清晰度降低后的所述VR视频数据和所述VR视频原始数据为训练集，训练预设的神经网络，得到视频超分模型。
4.根据权利要求3所述的VR视频的处理方法，其特征在于，所述对所述VR视频原始数据进行视频质量降级处理，得到清晰度降低后的VR视频数据的步骤，包括：
对所述VR视频原始数据进行视频编码处理和/或视频扭曲形变处理，得到清晰度降低后的VR视频数据。
5.根据权利要求1所述的VR视频的处理方法，其特征在于，所述获取待处理的VR视频的步骤，包括：
获取预设VR摄像设备在不同视觉角度下拍摄得到的多个初始视频；
对所述多个初始视频进行投影矫正处理，得到矫正后的视频；
对矫正后的所述视频进行图像拼接处理，得到连续画面的待处理的VR视频。
6.根据权利要求5所述的VR视频的处理方法，其特征在于，所述对矫正后的所述视频进行图像拼接处理，得到连续画面的待处理的VR视频的步骤，包括：
对矫正后的所述视频的每一视频帧，提取所述视频帧的特征向量；
根据所述特征向量对所述视频帧进行特征匹配和图像变换，得到图像配置后的视频帧；
对图像配置后的所述视频帧进行图像融合处理，得到连续画面的待处理的VR视频。
7.根据权利要求5所述的VR视频的处理方法，其特征在于，所述对所述多个初始视频进行投影矫正处理，得到矫正后的视频的步骤，包括：
通过柱面投影或球面投影，将所述多个初始视频投影到统一的坐标系；
对投影后的所述初始视频中图像的旋转角度进行矫正，得到矫正后的视频。
8.一种VR视频的处理装置，其特征在于，包括：
待处理VR视频获取模块，用于获取待处理的VR视频；
超分与插帧处理模块，用于通过预先训练好的视频超分模型和视频插帧模型，对所述VR视频进行超分辨率处理和插帧视频处理，得到处理后的VR视频。
9.根据权利要求8所述的VR视频的处理装置，其特征在于，所述超分与插帧处理模块还用于：
通过预先训练好的视频超分模型，对所述VR视频进行超分辨率处理，得到分辨率优化后的VR视频；通过预先训练好的视频插帧模型，对分辨率优化后的所述VR视频进行插帧视频处理，得到处理后的VR视频；
或者，
通过预先训练好的视频插帧模型，对所述VR视频进行插帧视频处理，得到帧率优化后的VR视频；通过预先训练好的视频超分模型，对帧率优化后的所述VR视频进行超分辨率处理，得到处理后的VR视频。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的VR视频的处理方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的VR视频的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010625574.3A CN111757087A (zh) | 2020-06-30 | 2020-06-30 | Vr视频的处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010625574.3A CN111757087A (zh) | 2020-06-30 | 2020-06-30 | Vr视频的处理方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111757087A true CN111757087A (zh) | 2020-10-09 |
Family
ID=72680385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010625574.3A Pending CN111757087A (zh) | 2020-06-30 | 2020-06-30 | Vr视频的处理方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111757087A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114025202A (zh) * | 2021-11-03 | 2022-02-08 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置及存储介质 |
| CN114285958A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 图像处理电路、图像处理方法和电子设备 |
| WO2022111631A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 视频传输方法、服务器、终端和视频传输*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079151A (zh) * | 2006-10-13 | 2007-11-28 | 浙江师范大学 | 一种基于序列静态图像的360°环视全景生成方法 |
| US20100027664A1 (en) * | 2008-08-04 | 2010-02-04 | Kabushiki Kaisha Toshiba | Image Processing Apparatus and Image Processing Method |
| US20140067869A1 (en) * | 2012-08-30 | 2014-03-06 | Atheer, Inc. | Method and apparatus for content association and history tracking in virtual and augmented reality |
| CN108322685A (zh) * | 2018-01-12 | 2018-07-24 | 广州华多网络科技有限公司 | 视频插帧方法、存储介质以及终端 |
| CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
| CN111080528A (zh) * | 2019-12-20 | 2020-04-28 | 北京金山云网络技术有限公司 | 图像超分辨率和模型训练方法、装置、电子设备及介质 |
-
2020
- 2020-06-30 CN CN202010625574.3A patent/CN111757087A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079151A (zh) * | 2006-10-13 | 2007-11-28 | 浙江师范大学 | 一种基于序列静态图像的360°环视全景生成方法 |
| US20100027664A1 (en) * | 2008-08-04 | 2010-02-04 | Kabushiki Kaisha Toshiba | Image Processing Apparatus and Image Processing Method |
| US20140067869A1 (en) * | 2012-08-30 | 2014-03-06 | Atheer, Inc. | Method and apparatus for content association and history tracking in virtual and augmented reality |
| CN108322685A (zh) * | 2018-01-12 | 2018-07-24 | 广州华多网络科技有限公司 | 视频插帧方法、存储介质以及终端 |
| CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
| CN111080528A (zh) * | 2019-12-20 | 2020-04-28 | 北京金山云网络技术有限公司 | 图像超分辨率和模型训练方法、装置、电子设备及介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022111631A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 视频传输方法、服务器、终端和视频传输*** |
| CN114025202A (zh) * | 2021-11-03 | 2022-02-08 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置及存储介质 |
| CN114025202B (zh) * | 2021-11-03 | 2024-05-07 | 抖音视界有限公司 | 视频处理方法、装置及存储介质 |
| CN114285958A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 图像处理电路、图像处理方法和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111580765B (zh) | 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备 | |
| CN111757087A (zh) | Vr视频的处理方法、装置和电子设备 | |
| US10499056B2 (en) | System and method for video processing based on quantization parameter | |
| US8983175B2 (en) | Video processing method and device for depth extraction | |
| CN112365407B (zh) | 视角可配置的摄像机全景拼接方法 | |
| CN111062881A (zh) | 图像处理方法及装置、存储介质、电子设备 | |
| WO2021057689A1 (zh) | 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置 | |
| CN109688413B (zh) | 以支持辅助帧的视频编码格式编码视频流的方法和编码器 | |
| WO2023246926A1 (zh) | 模型训练方法、视频编码方法及解码方法 | |
| CN110392265B (zh) | 帧间运动估计方法、装置、电子设备及可读存储介质 | |
| CN111787300B (zh) | Vr视频的处理方法、装置及电子设备 | |
| US20130141531A1 (en) | Computer program product, computer readable medium, compression method and apparatus of depth map in 3d video | |
| WO2021011804A1 (en) | Video frame pulldown based on frame analysis | |
| US10783670B2 (en) | Method for compression of 360 degree content and electronic device thereof | |
| CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及*** | |
| EP2656310B1 (en) | Method for producing a panoramic image and implementation apparatus | |
| CN113409209B (zh) | 图像去模糊方法、装置、电子设备与存储介质 | |
| CN112565819B (zh) | 一种视频数据处理的方法及装置、电子设备、存储介质 | |
| CN111711818B (zh) | 视频图像编码传输方法及其装置 | |
| JP2018207356A (ja) | 画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法 | |
| CN115914834A (zh) | 视频处理方法及装置 | |
| CN111556304A (zh) | 一种全景影像处理方法、装置及*** | |
| Zheng et al. | Rethinking Video Error Concealment: A Benchmark Dataset | |
| WO2018120857A1 (zh) | 一种基于流媒体技术的视频数据的处理方法及装置 | |
| Ok et al. | 360-degree panoramic video generation using virtual and actual multiple cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201009 |
|
| RJ01 | Rejection of invention patent application after publication |