CN105898344A - 一种全景视频的播放方法和装置 - Google Patents

Abstract

本发明涉及一种全景视频的播放方法和装置，通过从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧，将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频并播放所述第二全景视频。根据本发明提供的一种全景视频的播放方法和装置，使接收到的视频中的每个像素均能够转换为播放时的有效像素，在接收同样像素的视频的情况下能够获得更加清晰的播放效果。

Description

一种全景视频的播放方法和装置

技术领域

本发明涉及全景视频技术领域，尤其涉及一种全景视频的播放方法和装置。

背景技术

目前，全景视频指的是超过一般视野的广角视频内容，即通常我们所说的环形/柱形360度视频提供了水平方向360度的视野。全景视频具有立体感和真实感，能够很好地提供视觉体验。

全景视频录制有多种方法，通常分为单镜头和多镜头两种方式。采用多个镜头/摄像机可以获得高视频质量，但生成的视频文件通常会是普通视频文件大小的三到四倍，甚至更多。这对存储和网络传输都带来巨大挑战，尤其在网络传输过程中过高的带宽需求往往无法达到。若要想降低视频文件的大小，节省带宽，通常需要降低视频质量，这样就使得采集到的视频不清楚。

现有方案中，通过建立球模型，把全景视频帧图像贴合到一张平面图上，参见图1所示。该方案形成的视频文件过大，传输时需要较大的带宽，且编码效率不高，分辨率较低。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是，如何提供一种全景视频的播放方法和装置，能够在接收同样像素视频的情况下，提高播放视频的清晰度。

解决方案

为解决以上技术问题，本发明在第一方面提供一种全景视频的播放方法，包括：

从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；

将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；

将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；

播放所述第二全景视频。

在一种可能的实现方式中，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，包括：

分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系；

根据所述位置对应关系，将所述六个分块分别设置在所述立方体模型的六个面上。

在一种可能的实现方式中，分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系，包括：

根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；

分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。

在一种可能的实现方式中，将所述多个图像帧中的每一个图像帧划分为六个分块，包括：

根据所述立方体模型的形状划分所述六个分块。

在一种可能的实现方式中，在将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频之前，还包括：

根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。

为解决以上技术问题，本发明在第二方面提供一种全景视频的播放装置，包括：

划分模块，用于从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；

处理模块，用于将所述每一个图像帧的所述六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；

组合模块，用于将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；

播放模块，用于播放所述第二全景视频。

在一种可能的实现方式中，所述处理模块，还用于建立所述六个分块与立方体模型的六个面之间的位置对应关系，并根据所述位置对应关系，将所述六个分块分别设置在立方体模型的六个面上。

在一种可能的实现方式中，所述处理模块，还用于：根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；以及分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。

在一种可能的实现方式中，所述处理模块还用于：根据所述立方体模型的形状划分所述六个分块。

在一种可能的实现方式中，所述组合模块，还用于：根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。

有益效果

根据本发明实施例提供的全景视频的播放方法和装置，通过从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧，将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频并播放所述第二全景视频，使接收到的视频中的每个像素均能够转换为播放时的有效像素，在接收同样像素的视频的情况下，能够获得更加清晰的播放效果。

根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。

图1示出现有技术中图像帧的示意图；

图2示出本发明实施例提供的一种全景视频的播放方法的流程图；

图3示出本发明另一实施例提供的一种全景视频的播放方法的流程图；

图4示出本实施例中从视频中解码出的图像帧的示意图；

图5示出本实施例中将图像帧划分为六个分块的示意图；

图6示出本实施例将每一个图像帧的六个分块分别设置在立方体模型的六个面上的示意图；

图7示出本发明实施例提供的一种全景视频的播放装置的示意图。

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件未作详细描述，以便于凸显本发明的主旨。

实施例1

图2示出本发明实施例提供的一种全景视频的播放方法的流程图，如该图所示，该方法包括：

步骤S1、从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块。

步骤S2、将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧。

步骤S3、将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频。

步骤S4、播放所述第二全景视频。

现有全景视频技术，一般采用球形建模对视频进行处理，终端接收视频后基于球模型进行播放。在球模型中存在极大的像素损失，以球模型的北极点为例进行说明，由于传输过程中的图像帧为矩形图像帧，终端接收该矩形图像帧后将其转换为球形图像帧，在该过程中，矩形图像帧最上方一行的多个像素点被转换为位于球模型北极点上的一个像素点，由此导致了像素值的极大浪费。

具体地，结合图1所示，位于矩形图像帧任一列的像素点(设像素值为N)，在球模型中对应的像素点与球心构成向量，该向量与Z轴夹角为α，那么该列的N个像素点在转换为球模型时，实际有效的像素值n＝Nsinα。由此导致像素损失。

根据本发明实施例提供的全景视频的播放方法，通过从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧，将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频并播放所述第二全景视频，有效避免了以上球模型播放的像素损失，换言之，接收到的视频中的每个像素均能够转换为播放时的有效像素。由此，通过本发明实施例，在接收同样像素的视频的情况下，能够获得更加清晰的播放效果。

实施例2

图3示出本发明实施例提供的全景视频的播放方法的流程图，在图3中与图2采用相同附图标记的步骤，均与图2适用于相同的文字说明，在此不再赘述。如该图所示，该方法还包括：

在步骤S1之前，服务器可以先将球模型转化为正方形全景模型，例如可以模拟使立方体模型外切于球模型，以将球模型图像帧映射于立方体模型的六个面上，由此得到正方形全景模型。再例如，也可以模拟使立方体模型内接于球模型，以将球模型图像帧映射于立方体模型的六个面上，由此得到基于正方形全景模型的视频，并将该视频发送给终端。

图4示出本实施例中步骤S1从视频中解码出的图像帧的示意图，如该图所示，图像帧的展开图其左端与右端可以互相拼接，并可以基于图像内容的位置关系区分前后左右上下。

在一种可能的实现方式中，可以步骤S1中可以根据立方体模型的形状划分该六个分块。

图5示出本实施例中步骤S1将该图像帧划分为六个分块的示意图，如该图所示，以正立方体模型为例，步骤S1可以具体包括根据原图像帧中图像内容的位置关系，将图像帧划分为前分块、后分块、左分块、右分块、上分块和下分块。其中，每个分块均为边长相等的正方形。

在一种可能的实现方式中，步骤S2中关于立方体模型的前表面的确定可以是任意的，并且当确定了前表面之后，其他五个表面也随之而确定。

在另一种可能的实现方式中，步骤S2可以包括：

步骤S21、根据用户所在位置，确定所述立方体模型的六个面之中的前表面。

由于模拟的用户的视角位于该立方体模型的中心位置，可以以用户头部的初始位置来确定该立方体模型的前表面，即位于用户头部的初始位置正前方的表面为前表面。

步骤S22、根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面。

当确定了前表面之后，其他五个表面也随之而确定。

步骤S23、分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。

本步骤可以包括建立正立方体模型的前表面与图像帧的前分块的位置对应关系；建立正立方体模型的后表面与图像帧的后分块的位置对应关系；建立正立方体模型的左表面与图像帧的左分块的位置对应关系；建立正立方体模型的右表面与图像帧的右分块的位置对应关系；建立正立方体模型的上表面与图像帧的上分块的位置对应关系；建立正立方体模型的下表面与图像帧的下分块的位置对应关系。

步骤S24、根据所述位置对应关系，将所述六个分块分别设置在所述立方体模型的六个面上。

图6示出本实施例步骤S2将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上的示意图，可以将图像帧的前分块设置在正立方体模型的前表面，所述前表面为位于用户头部正前方的表面；将图像帧的后分块设置在正立方体模型的后表面，所述后表面为位于用户头部正后方的表面；将图像帧的左分块设置在正立方体模型的左表面，所述左表面为位于用户头部正左方的表面；将图像帧的右分块设置在正立方体模型的右表面，所述右表面为位于用户头部正右方的表面；将图像帧的上分块设置在正立方体模型的上表面，所述上表面为位于用户头部正上方的表面；将图像帧的下分块设置在正立方体模型的下表面，所述下表面为位于用户头部正下方的表面。

由此，可以根据图像内容，将主要的图像内容设置在模型的前表面，以使播放时主要的图像内容可以处于用户的主视野内。

对每一个图像帧的六个分块均进行本步骤的处理，即将全部图像帧处理为正立方体图像帧。

在一种可能的实现方式中，在步骤S3之前，还可以包括：

步骤S5、根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。

实施例3

图7示出本发明实施例提供的一种全景视频的播放装置的示意图，如图7所示，该装置1包括：划分模块11、处理模块12、组合模块13和播放模块14。

划分模块11，用于从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块。处理模块12，用于将所述每一个图像帧的所述六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧。组合模块13，用于将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频。播放模块14，用于播放所述第二全景视频。

在一种可能的实现方式中，处理模块12，还用于建立所述六个分块与立方体模型的六个面之间的位置对应关系，并根据所述位置对应关系，将所述六个分块分别设置在立方体模型的六个面上。

在一种可能的实现方式中，处理模块12，还用于根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；以及分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。

在一种可能的实现方式中，处理模块12还用于：根据所述立方体模型的形状划分所述六个分块。

在一种可能的实现方式中，组合模块13，还用于根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。换言之，以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种全景视频的播放方法，其特征在于，包括：

从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；

将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；

将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；

播放所述第二全景视频。

2.根据权利要求1所述的播放方法，其特征在于，将所述每一个图像帧的六个分块分别设置在立方体模型的六个面上，包括：

分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系；

根据所述位置对应关系，将所述六个分块分别设置在所述立方体模型的六个面上。

3.根据权利要求2所述的播放方法，其特征在于，分别建立所述六个分块与所述立方体模型的六个面之间的位置对应关系，包括：

根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；

分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。

4.根据权利要求1至3中任一项所述的播放方法，其特征在于，将所述多个图像帧中的每一个图像帧划分为六个分块，包括：

根据所述立方体模型的形状划分所述六个分块。

5.根据权利要求1至4中任一项所述的播放方法，其特征在于，在将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频之前，还包括：

根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。

6.一种全景视频的播放装置，其特征在于，包括：

划分模块，用于从接收到的第一全景视频中解码出多个图像帧，将所述多个图像帧中的每一个图像帧划分为六个分块；

处理模块，用于将所述每一个图像帧的所述六个分块分别设置在立方体模型的六个面上，形成以立方体为模型的图像帧；

组合模块，用于将所述以立方体为模型的图像帧按预定顺序组合成第二全景视频；

播放模块，用于播放所述第二全景视频。

7.根据权利要求6所述的播放装置，其特征在于，所述处理模块，还用于建立所述六个分块与立方体模型的六个面之间的位置对应关系，并根据所述位置对应关系，将所述六个分块分别设置在立方体模型的六个面上。

8.根据权利要求7所述的播放装置，其特征在于，所述处理模块，还用于：根据用户所在位置，确定所述立方体模型的六个面之中的前表面；根据所述前表面，确定所述立方体模型的六个面之中的后表面、上表面、下表面、左表面以及右表面；以及分别建立所述六个分块与所述前表面、后表面、上表面、下表面、左表面以及右表面之间的位置对应关系。

9.根据权利要求6至8中任一项所述的播放装置，其特征在于，所述处理模块还用于：根据所述立方体模型的形状划分所述六个分块。

10.根据权利要求6至9中任一项所述的播放装置，其特征在于，所述组合模块，还用于：根据从接收到的第一全景视频中解码出多个图像帧的时间顺序，确定所述预定顺序。