CN106341673A

CN106341673A - 一种新型2d/3d全景vr视频的存储方法

Info

Publication number: CN106341673A
Application number: CN201610706950.5A
Authority: CN
Inventors: 李文松
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-08-15
Filing date: 2016-08-15
Publication date: 2017-01-18

Abstract

本发明提出一种VR视频的存储方法，包括如下步骤：1)投影；球体内投影方法：假设球体内接一个正八面体，以正八面体的视点为中心，将球体纹理等距离压缩投影到其内接的正八面体上；将两个180度全景半球上纹理采用球体内投影方法投生成两幅宽和高比例均为1∶1的正方形图像，分别记为第一幅图像、第二幅图像；2)分割；以第二幅图像的对角线为分割线，进行分割，将其等分成4块等腰直角三角形；3)拼接；将步骤2)中的4块等腰直角三角形进行旋转、平移后与第一幅图像的四条边进行拼接，形成一幅新的图像。

Description

一种新型2D/3D全景VR视频的存储方法

技术领域

本发明涉及虚拟现实领域，尤其涉及一种VR视频的存储方法。

背景技术

全景图像指的是使用VR相机，获取图像序列，再利用对图像的拼接，使得图像融合，生成全景图像。

球形360度全景摄影是对空间影像的无缝覆盖和全部捕获，囊括了以相机镜头为中心的三维空间中的所有景物，无论从定义还是从虚拟现实的结果来看，它都是无缝或者没有边界的，但在二维平台上，人们看到的一般是一幅2∶1(即16∶8≈16∶9)比例的矩形图像。

在本发明申请文件中所涉及的宽和高比为2∶1，即为视频处理领域所周知的宽和高比为16∶8。

目前在视频处理和显示领域，主流的视频图片宽和高比例以及屏幕的宽和高比例为16∶9，符合720P、1080P、4K等标准的视频，在拍摄、录制、制作、压缩、传输、存储、显示的各个环节上效率最高，因为大部分视频相关的软硬件都是按标准优化的。VR视频格式如果接近16∶9的标准，将获得很好的兼容性，性能效率最佳。为此，压缩视频的宽和高比例需要尽可能的满足16∶9。

目前三维全景处理软件常用的几种投影方式有：圆柱体投影、六面体投影。

圆柱体投影，如图1所示为球面投影的示意图，在2D格式存储时，经过投影处理后的全景图像是一幅宽和高比为2∶1(即16∶8)比例的图像，且其边界具有连续性。这种投影方法简单，图像处理简单，但是在相同的视频容量下，图像的顶部及底部被拉伸严重，越接近两级，变形就越严重，而两级的上下两个端点，被拉伸成一条像素线。如果拉伸不均匀，将使得最终画质较差，因为最终视频效果画质是由原始素材画质和拉伸后视频画质共同决定的，以两者较低有效；其次，还会造成部分压缩较大的区域画质较差，部分拉伸太多画质超过原始素材画质，也将造成浪费。

在3D格式存储时，其由两个宽和高比为2∶1(即16∶8)的图像左右拼接成一个宽和高比为4∶1的图像，图像并不满足主流的宽高比为16∶9的格式，为此需要对视频图像进行水平或垂直方向的压缩，当视频图像左右拼接成一个宽和高比为4∶1的图像时，通过水平压缩的方式，压缩成宽和高比为2∶1的图像；或者视频图像通过上下拼接成1∶1的图像，然后再进行垂直压缩成2∶1的图像，通过这种方式水平或者垂直方向受到不同程度的压缩。由于视频图像受到压缩，造成拉伸的均匀性较差。

六面体投影，经投影处理后的全景图像是一幅宽和高比例3∶2的图像，且其相邻面之间的边界存在不连续的问题。边界连续性，是指全景图像相邻面拼接时，面与面之间的边界在实际球面上连续。全景图像生成时，需要先获取图像序列，再对获取的图像序列进行拼接，使得图像融合，生成全景图像。当获取的相邻视频图像序列边界不连续时，容易导致拼接处混淆。

综上，在VR视频的前期制作上，需要满足：

(1)尽可能的使得图像压缩成宽和高比例接近16∶9的图像；

(2)投影时，各个方向拉伸要均匀，以解决拉伸的不均匀性，造成最终画质差以及浪费现象；

(3)在相同的容量大小，减少浪费，尽可能的存储更多的图像；

(4)当相邻图像拼接、融合时，解决拼接处混淆问题。

发明内容

为解决以上技术问题，本发明提出了一种VR视频的存储方法，在保持原有图像分辨率的情况下，减少图像四周的浪费现象。

一种新型2D全景VR视频的存储方法，其特征在于，包括如下步骤：

1)投影；球体内投影方法：假设球体内接一个正八面体，以正八面体的视点为中心，将球体纹理等距离压缩投影到其内接的正八面体上；将两个180度全景半球上纹理采用球体内投影方法，生成两幅宽和高比例均为1∶1的正方形图像，分别记为第一幅图像、第二幅图像；

2)分割；以第二幅图像的对角线为分割线，进行分割，将其等分成4块等腰直角三角形；

3)拼接；将步骤2)中的4块等腰直角三角形进行旋转、平移后与第一幅图像的四条边进行拼接，形成一个新的图像。

通过采用上述的球体内投影方法，融合现有的八面体投影方法，拉伸均匀性好，经投影处理后的全景图像是一幅宽和高比例2∶1的图像，较为接近现有的16∶9的视频图像格式；且其相邻面之间的边界连续，可有效解决边界混淆问题。

进一步，两个全景半球具有重叠的边界图像。当全景半球具有重叠的边界区域图像时，可进一步有效解决防止边界混淆问题。

进一步，步骤2)中，假设第一幅图像的四条边分别记号为SB1、SB2、SB3、SB4；将第二幅图像等分成4块等腰直角三角形(21、22、23、24)；拼接时，保持第一幅图像不变，将等腰直角三角形21逆时针旋转90度后，使其斜边与第一幅图像的边SB1重合；将等腰直角三角形22逆时针旋转90度后，使其斜边与第一幅图像的边SB2重合；将等腰直角三角形23顺时针旋转90度后，使其斜边与第一幅图像的边SB3重合；将等腰直角三角形24顺时针旋转90度后，使其斜边与第一幅图像的边SB4重合。

本发明还提供了一种新型3D全景VR视频的存储方法，全景半球的个数为4个，将相邻的两个全景半球分为一组，每一组经权利要求1-3任意一项所述的方法处理后，形成一个新的图像H1和图像H2，再对图像H1和图像H2进行拼接，形成一个宽和高比例16∶8的图像。

进一步，相邻两个全景半球具有重叠的边界图像。当相邻两个全景半球具有重叠的边界区域图像时，可进一步有效解决防止边界混淆问题。

本发明还提供了另一种2D全景VR视频的存储方法，包括如下步骤：

1)投影；球体内投影方法：假设球体内接一个正八面体，以正八面体的视点为中心，将球体纹理等距离压缩投影到其内接的正八面体上；两个相邻的全景半球采用球体内投影方生成两幅宽和高比例均为1∶1的正方形图像，分别记为第一幅图像、第二幅图像；

3)拼接；4块等腰直角三角形以其自身的斜边为轴进行镜像后拼接至第一幅正方形图像的四条边，形成一幅新的图像。

本方法与上述的2D全景VR视频的存储方法的不同点在于，拼接的方法不同，其余均相同。

进一步，相邻的全景半球具有重叠的图像区域。当相邻的全景半球具有重叠的图像区域时，可进一步有效解决防止边界混淆问题。即在全景半球合成之前，在拍摄时，相邻的镜头具有重叠的视野范围。

进一步，假设第一幅图像的四条边分别记号为SB1、SB2、SB3、SB4；以第二幅图像的对角线为分割线，进行分割，将其等分成4块等腰直角三角形(21、22、23、24)；将4块等腰直角三角形以其自身的斜边为轴进行镜像，形成新的4块等腰直角三角形(N21、N22、N23、N24)，然后分别进行平移，使得等腰直角三角形N21的斜边与第一幅图像的边SB1重合，使得等腰直角三角形N22的斜边与第一幅图像的边SB2重合，使得等腰直角三角形N23的斜边与第一幅图像的边SB3重合，使得等腰直角三角形N24的斜边与第一幅图像的边SB4重合，最后形成一个宽和高比例为1∶1新的正方形。

本发明还提供了一种新型3D全景VR视频的存储方法全景半球的个数为4个，将相邻的两个全景半球分为一组，每一组经上述的方法处理后，形成一幅新的图像H1和图像H2，再对图像H1和图像H2进行拼接，形成一个宽和高比例16∶8的图像。

进一步，相邻的全景半球具有重叠的边界图像。当相邻的全景半球具有重叠的边界区域图像时，可进一步有效解决防止边界混淆问题。

本发明的优点在于，摒弃了采用球面矩形投影或等距圆柱投影中对图像顶部、底部、四周边缘部分进行拉伸，而产生的图像像素变大。通过采用以上技术方案，在存储时，先对图像进行压缩，在保持原有图像质量的情况下，图像的大小明显变小，因而，相同的存储空间，可以存储更多的图像。如图2b所示，将本发明的视频存储方法与现有技术中采用的圆柱体投影及六面体投影在视频的宽和高比是否接近16∶8、拉伸均匀性、边界连续性上进行了对比，由表可见，本发明在2D及3D全景VR视频存储时，在拉伸均匀性、连续性方面效果明显好于其余两种方式。

附图说明

图1是圆柱体投影的示意图；

图2a是本发明的图像压缩示投影的意图；

图2b是本发明与现有技术的效果对照表。

图3是2D拍摄的视野范围；

图4是对2D视野范围内拍摄的景象进行图像压缩示意图；

图5a是实施例1中对图4中的图像进行分割重新排序；

图5b是实施例2中对图4中的图像进行分割重新排序；

图6a是实施例1排序拼接后形成的新的图像；

图6b是实施例2排序拼接后形成的新的图像；

图7是3D拍摄的视野范围；

图视野范围内拍摄的景象进行图像压缩的示意图；

图9是对图8中的图像进行分割重新排序；

图10是对图9中的图像重新排序形成的图像；

图11是最终形成的3D图像。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合图示与具体实施例，进一步阐述本发明。

如图2所示为本发明的图像压缩示意图。本发明采用球体内投影方法，假设球体内接一个正八面体，将球体纹理等距离压缩到内接正八面体A上。这种图像压缩方法，可以避免天顶处的无限拉伸，将图像四周图像进行了压缩，避免了浪费现象。

实施例1：

如图3、4、5a、6a所示，为2D全景VR视频的存储方法。如图3所示，为两个具有重叠边界区域图像的全景半球B和C，采用采用图2a的球体内投影压缩方法，生成第一幅图像B1和第二幅图像C1。

如图4、5a所示，第一幅图像B1为一个正方形的图像，假设其四条边分别为(SB1、SB2、SB3、SB4)；第二幅图像C1为一个正方形的图像，以其对角线为分割线，进行分割，将其等分成4块等腰直角三角形(21、22、23、24)。

对切割后的图像C分割后的四个等腰直角三角形进行重新排序，排序时，保持图像B1不变，将等腰直角三角形21逆时针旋转90度后，使其斜边与图像B1的边SB1重合；将等腰直角三角形22逆时针旋转90度后，使其斜边与图像B1的边SB2重合；将等腰直角三角形23顺时针旋转90度后，使其斜边与图像B1的边SB3重合；将等腰直角三角形24顺时针旋转90度后，使其斜边与图像B1的边SB4重合；如图6a所示，为图像C1进行分割重新排列后，图像B1与C1组合形成一个宽和高比例为1∶1新的正方形图像。

实施例2

如图3、4、5b、6b所示，实施例2与实施例1的不同点在于，采用不同的排序方法将切割后的第二幅图像C1所形成的四个等腰直角三角形进行重新排序拼接至第一幅图像B1的四条边上，具体地是：

以第二幅图像C1的对角线为分割线，进行分割，将其等分成4块等腰直角三角形(21、22、23、24)；将4块等腰直角三角形以其自身的斜边为轴进行镜像，形成新的4块等腰直角三角形(N21、N22、N23、N24)，然后分别进行平移，使得等腰直角三角形N21的斜边与图像B1的边SB1重合，使得等腰直角三角形N22的斜边与图像B1的边SB2重合，使得等腰直角三角形N23的斜边与图像B1的边SB3重合，使得等腰直角三角形N24的斜边与图像B1的边SB4重合。如图6b所示，最后形成一个宽和高比例为1∶1新的正方形图像。

实施例3

如图7-11所示，为涉及三维空间视频图像的存储方法。3D全景VR视频的存储方法，其包括4个180度的全景半球，分别记为D、E、F、G，假设D、E为上半球体，假设F、G为下半球体，相邻全景半球之间具有重叠边界区域图像。采用图2a的投影压缩方法，分别生成一幅宽和高比例为1∶1的图像D1、E1、F1、G1。

如图8、9所示，假设图像D1的四条边分别为(SD1、SD2、SD3、SD4)；以图像E1的角线为分割线，进行分割，将其等分成4块等腰直角三角形(21a、22a、23a、24a)；

按照实施例1中的方法，对图像E1的分割后的四个等腰直角三角形(21a、22a、23a、24a)进行重新分割拼接至图像D1四周，排序时，保持图像D1不变，将等腰直角三角形21a逆时针旋转90度后，使其斜边与图像D1的边SD1重合；将等腰直角三角形22a逆时针旋转90度后，使其斜边与图像D1的边SD2重合；将等腰直角三角形23a顺时针旋转90度后，使其斜边与图像D1的边SD3重合；将等腰直角三角形24a顺时针旋转90度后，使其斜边与图像D1的边SD4重合；如图10所示，为图像E1进行分割重新排列后，图像D1与E1组合形成一个宽和高比例为1∶1新的正方形H1。

同理，针对下半球体，图像F1为一个正方形的图像，以其对角线为分割线，将其等分成4块等腰直角三角形(11b、12b、13b、14b)；图像G1为一个正方形的图像，以其对角线为分割线，进行分割，将其等分成4块等腰直角三角形(21b、22b、23b、24b)；

按照实施例1中的方法，假设其四条边分别为(SF1、SF2、SF3、SF4)；对图像G1分割后的四个等腰直角三角形(21b、22b、23b、24b)进行重新分割拼接至图像F1四周，排序时，保持图像F1不变，将等腰直角三角形21b逆时针旋转90度后，使其斜边与图像D1的边SF1重合；将等腰直角三角形22b逆时针旋转90度后，使其斜边与图像D1的边SF2重合；将等腰直角三角形23b顺时针旋转90度后，使其斜边与图像D1的边SF3重合；将等腰直角三角形24b顺时针旋转90度后，使其斜边与图像D1的边SF4重合；如图10所示，为图像G1进行分割重新排列后，图像F1与G1组合形成一个宽和高比例为1∶1新的正方形H2。

将图像H1、H2进行拼接，如图11所示，拼接形成一个宽和高比例16∶8的图像，非常接近现有视频宽和高比16∶9。

实施例4

实施例4与实施例3的不同点在于，按照实施例2中的方法，对图像E1的分割后的四个等腰直角三角形(21a、22a、23a、24a)进行重新分割拼接至图像D1四周，排序时，保持图像D1不变，四个等腰直角三角形(21a、22a、23a、24a)以各自的斜边为轴，进行镜像后，然后平移至图像D1的四周，与其四条边拼接。对图像G1的分割后的四个等腰直角三角形(21b、22b、23b、24b)进行重新分割拼接至图像F1四周，排序时，保持图像F1不变，四个等腰直角三角形(21b、22b、23b、24b)以各自的斜边为轴，进行镜像后，然后平移至图像F1的四周，与其四条边拼接。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims

1.一种新型2D全景VR视频的存储方法，其特征在于，包括如下步骤：

1)投影；球体内投影方法：假设球体内接一个正八面体，以正八面体的视点为中心，将球体纹理等距离压缩投影到其内接的正八面体上；将两个180度全景半球上纹理采用球体内投影方法投生成两幅宽和高比例均为1∶1的正方形图像，分别记为第一幅图像、第二幅图像；

3)拼接；将步骤2)中的4块等腰直角三角形进行旋转、平移后与第一幅图像的四条边进行拼接，形成一幅新的图像。

2.根据权利要求1所述的2D全景VR视频的存储方法，其特征在于，两个全景半球具有重叠的边界图像。

3.根据权利要求2所述的2D全景VR视频的存储方法，其特征在于，步骤2)中，假设第一幅图像的四条边分别记号为SB1、SB2、SB3、SB4；将第二幅图像等分成4块等腰直角三角形(21、22、23、24)；拼接时，保持第一幅图像不变，将等腰直角三角形21逆时针旋转90度后，使其斜边与第一幅图像的边SB1重合；将等腰直角三角形22逆时针旋转90度后，使其斜边与第一幅图像的边SB2重合；将等腰直角三角形23顺时针旋转90度后，使其斜边与第一幅图像的边SB3重合；将等腰直角三角形24顺时针旋转90度后，使其斜边与第一幅图像的边SB4重合。

4.一种新型3D全景VR视频的存储方法，其特征在于，全景半球的个数为4个，将相邻的两个全景半球分为一组，每一组经权利要求1-3任意一项所述的方法处理后，形成一幅新的图像H1和图像H2，再对图像H1和图像H2进行拼接，形成一个宽和高比例16∶8的图像。

5.根据权利要求4所述的3D全景VR视频的存储方法，其特征在于，相邻两个全景半球具有重叠的边界图像。

6.一种新型2D全景VR视频的存储方法，其特征在于，包括如下步骤：1)投影；球体内投影方法：假设球体内接一个正八面体，以正八面体的视点为中心，将球体纹理等距离压缩投影到其内接的正八面体上；将两个180度全景半球上纹理采用球体内投影方法生成两幅宽和高比例均为1∶1的正方形图像，分别记为第一幅图像、第二幅图像；

3)拼接；4块等腰直角三角形以其自身的斜边为轴进行镜像后拼接至第一正方形图像的四条边，形成一个新的图像。

7.根据权利要求6所述的2D全景VR视频的存储方法，其特征在于，相邻的镜头具有重叠的视野范围。

8.根据权利要求6所述的2D全景VR视频的存储方法，其特征在于，假设第一幅图像的四条边分别记号为SB1、SB2、SB3、SB4；以第二幅图像的对角线为分割线，进行分割，将其等分成4块等腰直角三角形(21、22、23、24)；将4块等腰直角三角形以其自身的斜边为轴进行镜像，形成新的4块等腰直角三角形(N21、N22、N23、N24)，然后分别进行平移，使得等腰直角三角形N21的斜边与第一幅图像的边SB1重合，使得等腰直角三角形N22的斜边与第一幅图像的边SB2重合，使得等腰直角三角形N23的斜边与第一幅图像的边SB3重合，使得等腰直角三角形N24的斜边与第一幅图像的边SB4重合，最后形成一个宽和高比例为1∶1新的正方形。

9.一种新型3D全景VR视频的存储方法，其特征在于，镜头的数量为4个，将相邻的两个镜头分为一组，每一组经权利要求6-8任一项所述的方法处理后，形成一个新的图像H1和图像H2，再对图像H1和图像H2进行拼接，形成一个宽和高比例16∶8的图像。

10.根据权利要求9所述的3D全景VR视频的存储方法，其特征在于，4个镜头的视野范围为大于360度。