CN106454313A - 一种3d视频图像渲染及视差调节方法和*** - Google Patents

Abstract

本发明公开一种3D视频图像渲染及视差调节方法和***，本发明方法通过创建一个网格Mesh，分时复用网格Mesh来对左右屏幕图像进行渲染，并且在GPU中创建一个视差参数设置模块，直接在GPU层面做左右纹理的位置，重合边缘部分的裁剪，从而提升整个***在操作过程中的流畅性和性能的提升。

Description

一种3D视频图像渲染及视差调节方法和***

技术领域

本发明涉及3D视频图像处理技术领域，尤其涉及一种3D视频图像渲染及视差调节方法和***。

背景技术

VR或者裸眼3D等虚拟现实设备的工作原理主要通过人的双眼存在视差，来还原立体效果，因此在视频和图片的拍摄的时候，需要通过双摄像头来模拟人眼观看物体的过程，采集出左右图，但是由于拍摄的时候，摄像头的夹角，间距，焦距等参数不同的情况下，同时也由于人眼的生理特性，瞳距不一样，因此在还原立体效果的时候，每个人的观看效果不同，比如重影很大，左右图无法重合，立体效果不强的问题，对此，一些VR设备增加了瞳距调节的功能，但是是针对整个观看场景进行调节，粒度比较大，容易产品虚拟场景里面不同的物体的不协调，由于视频和图片是3D应用的主要载体，所以提供更加细小粒度的针对图片和视频的时差调节变得有必要；

当前在渲染立体图和视频应用时，没有时差用以调节左右图片的重合度，普遍做法也只是用两个图形对象来承载左图和右图，在调节视差的时候，都是通过调节图像对象间的距离来重新渲染，由于使用的是CPU计算和渲染，因此容易出现低性能，卡顿的调节问题。

发明内容

本发明实施例的目的在于提出一种3D视频图像渲染及视差调节方法，旨在解决现有技术VR设备只能在物理层面调节时差以及VR设备视频和图片在渲染的时候不能独立调节时差的问题。

本发明实施例是这样实现的，一种3D视频图像渲染及视差调节方法，所述方法包括以下步骤：

创建3D对象网格Mesh；

获取3D视频图像，根据3D视频图像的位置模式，确定渲染左右屏幕时网格Mesh对应的UV坐标；

根据所述左、右屏幕网格Mesh对应的UV坐标，分别对左右屏幕进行渲染,获得左右屏幕3D视频图像；

在图形处理器GPU中创建3D视频图像视差参数设置模块；

获取3D视差参数的设置值；

在图形处理器GPU中，根据UV坐标数据、Mesh数据和视差值，作3D视频图像的偏移；

裁剪掉左右3D视频图像两个纹理不重合的部分，合成新的3D视频图像。

本发明实施例的另一目的在于提出一种3D视频图像渲染及视差调节***，所述***包括：

网格Mesh创建模块，用于创建3D对象网格Mesh；

图像获取模块，用于获取3D视频图像；

UV坐标设置模块，用于根据3D视频图像的位置模式，确定渲染左右屏幕时网格Mesh对应的UV坐标；

左右屏幕渲染模块，用于根据所述左、右屏幕网格Mesh对应的UV坐标，分别对左右屏幕进行渲染,获得左右屏幕3D视频图像；

视差参数设置模块，用于获取3D视差参数的设置值；

图像偏移模块，用于在图形处理器GPU中，根据UV坐标数据、Mesh数据和视差值，作3D视频图像的偏移；

裁剪模块，用于裁剪掉左右3D视频图像两个纹理不重合的部分，合成新的3D视频图像；

所述左右屏幕渲染模块包括模拟摄像头创建模块和网格Mesh复用模块，

模拟摄像头创建模块，用于创建用于模拟左右眼的双目摄像头，确定左右屏幕的视点区域；

网格Mesh复用模块，用于双目摄像头分时复用网格Mesh，对左摄像头渲染时网格Mesh设置UV坐标为左，对右摄像头渲染时网格Mesh设置UV坐标为右，得到左右屏幕的3D视频图像。

本发明的有益效果

本发明方法通过创建一个网格Mesh，分时复用网格Mesh来对左右屏幕图像进行渲染，并且在GPU中创建一个视差参数设置模块，直接在GPU(图形处理器，GraphicsProcessing Unit)层面去做左右纹理的位置，重合边缘部分的裁剪，从而达到整个***在操作过程中的流畅性和性能的提升。

附图说明

图1是本发明优选实施例一种3D视频图像渲染及视差调节方法流程图；

图2是当3D视频图像的位置模式为左右模式时，左右屏幕网格Mesh对应的UV坐标图；

图3是当3D视频图像的位置模式为上下模式时，左右屏幕网格Mesh对应的UV坐标图；

图4是步骤S103的详细方法流程图；

图5为视差调节和裁剪示意图；

图6是本发明优选实施例一种3D视频图像渲染及视差调节***结构图；

图7是图6中左右屏幕渲染模块详细结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。

本发明实施例方法通过创建一个网格Mesh，分时复用网格Mesh来对左右屏幕图像进行渲染，并且在GPU中创建一个视差参数设置模块，直接在GPU层面去做左右纹理的位置，重合边缘部分的裁剪，从而达到整个***在操作过程中的流畅性和性能的提升。

实施例一

图1是本发明优选实施例一种3D视频图像渲染及视差调节方法流程图；所述方法包括以下步骤：

S101，创建3D对象网格Mesh；

在本发明实施例中，设定为网格Mesh的形状为方形；

S102，获取3D视频图像，根据3D视频图像的位置模式，确定渲染左右屏幕时网格Mesh对应的UV坐标；

所述3D视频图像的位置模式包括左右模式、上下模式；

图2是当3D视频图像的位置模式为左右模式时，左屏幕网格Mesh对应的UV坐标图；

当3D视频图像的位置模式为左右模式时，左屏幕网格Mesh对应的UV坐标为：(0,0),(0.5,1),(0.5,0),(0,1)；右屏幕网格Mesh对应的UV坐标为：(0.5，0)，(1，1)，(1，0)，(0.5，1)；

图3是当3D视频图像的位置模式为上下模式时，左屏幕网格Mesh对应的UV坐标图；

当3D视频图像的位置模式为上下模式时，左屏幕网格Mesh对应的UV坐标为(0,0),(1,0.5),(1,0),(0,0.5)，右屏幕网格Mesh对应的UV坐标为(0，0.5)，(1，1)，(1，0.5)，(0，1)；

所述3D视频图像的位置模式还包括右左模式、下上模式，当3D视频图像的位置模式为右左模式或下上模式时，其左右屏幕网格Mesh对应的UV坐标分别类推左右模式和上下模式，在此不再赘述。

S103，根据所述左、右屏幕网格Mesh对应的UV坐标，分别对左右屏幕进行渲染,获得左右屏幕3D视频图像；此时左右屏幕3D图像存在视差；

具体渲染方法如下：图4是步骤S103的详细方法流程图；

S1031，创建用于模拟左右眼的双目摄像头，确定左右屏幕的视点区域；

双目眼摄像头的视点坐标为[(原点坐标)，宽，高]；

左摄像头的视点坐标为[(0,0),0.5,1]，右摄像头的视点区域为[((0.5,0),0.5,1]；

S1032，双目摄像头分时复用网格Mesh，对左摄像头渲染时网格Mesh设置UV坐标为左(即左屏幕网格Mesh对应的UV坐标)；对右摄像头渲染时网格Mesh设置UV坐标为右(即右屏幕网格Mesh对应的UV坐标)，得到左右屏幕的3D视频图像；

可在特定时间段T内，对网格Mesh进行填充；例如第1、3、7……T-1微秒时，网格Mesh用左屏幕网格Mesh对应的UV坐标进行填充，第2、4、8……T微秒时，网格Mesh用右屏幕网格Mesh对应的UV坐标进行填充，步骤S101-S103均在CPU层处理。

S104，在图形处理器GPU中创建3D视频图像视差参数设置模块；

可在GPU着色器中创建；此步骤也可移至步骤S101之前；

S105，获取3D视差参数的设置值(即视差值)，

S106，在图形处理器GPU中，根据UV坐标数据、Mesh数据和视差值，作3D视频图像的偏移；

所述Mesh数据为：在特定时间段中，左屏幕网格Mesh对应的UV坐标和右屏幕网格Mesh对应的UV坐标；

所述3D视频图像的偏移方法为本领域的公知常识，在此不再赘述。

图5为视差调节和裁剪示意图；阴影部分为左右屏幕图重合部分，

当视差值增加时，左屏幕3D视频图像向左侧移动，右屏幕3D视频图像向右侧移动；

当视差值减少时，左屏幕3D视频图像向右侧移动，右屏幕3D视频图像向左侧移动；

S107，裁剪掉左右3D视频图像两个纹理不重合的部分，合成新的3D视频图像；

实施例二

图6是本发明优选实施例一种3D视频图像渲染及视差调节***结构图；所述***包括：

网格Mesh创建模块，用于创建3D对象网格Mesh；

图像获取模块，用于获取3D视频图像；

UV坐标设置模块，用于根据3D视频图像的位置模式，确定渲染左右屏幕时网格Mesh对应的UV坐标；

当3D视频图像的位置模式为左右模式时，左屏幕网格Mesh对应的UV坐标为：(0,0),(0.5,1),(0.5,0),(0,1)；右屏幕网格Mesh对应的UV坐标为：(0.5，0)，(1，1)，(1，0)，(0.5，1)；

当3D视频图像的位置模式为上下模式时，左屏幕网格Mesh对应的UV坐标为(0,0),(1,0.5),(1,0),(0,0.5)，右屏幕网格Mesh对应的UV坐标为(0，0.5)，(1，1)，(1，0.5)，(0，1)；

左右屏幕渲染模块，用于根据所述左、右屏幕网格Mesh对应的UV坐标，分别对左右屏幕进行渲染,获得左右屏幕3D视频图像；此时左右屏幕3D图像存在视差；

视差参数设置模块，用于获取3D视差参数的设置值；

所述视差参数设置模块也可移至网格Mesh创建模块之前与网格Mesh创建模块相连；

图像偏移模块，用于在图形处理器GPU中，根据UV坐标数据、Mesh数据和视差值，作3D视频图像的偏移；

所述Mesh数据为：在特定时间段中，左屏幕网格Mesh对应的UV坐标和右屏幕网格Mesh对应的UV坐标；

所述3D视频图像的偏移方法为本领域的公知常识，在此不再赘述。

当视差值增加时，左屏幕3D视频图像向左侧移动，右屏幕3D视频图像向右侧移动；

当视差值减少时，左屏幕3D视频图像向右侧移动，右屏幕3D视频图像向左侧移动；

裁剪模块，用于裁剪掉左右3D视频图像两个纹理不重合的部分，合成新的3D视频图像；

进一步地，图7是图6中左右屏幕渲染模块详细结构图，所述左右屏幕渲染模块包括模拟摄像头创建模块和网格Mesh复用模块，

模拟摄像头创建模块，用于创建用于模拟左右眼的双目摄像头，确定左右屏幕的视点区域；

双目眼摄像头的视点坐标为[(原点坐标)，宽，高]；

左摄像头的视点坐标为[(0,0),0.5,1]，右摄像头的视点区域为[(0.5,0),0.5,1]；

网格Mesh复用模块，用于双目摄像头分时复用网格Mesh，对左摄像头渲染时网格Mesh设置UV坐标为左(即左屏幕网格Mesh对应的UV坐标)；对右摄像头渲染时网格Mesh设置UV坐标为右(即右屏幕网格Mesh对应的UV坐标)，得到左右屏幕的3D视频图像；

可在特定时间段T内，对网格Mesh进行填充；例如第1、3、7……T-1微秒时，网格Mesh用左屏幕网格Mesh对应的UV坐标进行填充，第2、4、8……T微秒时，网格Mesh用右屏幕网格Mesh对应的UV坐标进行填充，

步骤S101-S103均在CPU层处理。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种3D视频图像渲染及视差调节方法，其特征在于，所述方法包括以下步骤：

创建3D对象网格Mesh；

获取3D视频图像，根据3D视频图像的位置模式，确定渲染左右屏幕时网格Mesh对应的UV坐标；

根据所述左、右屏幕网格Mesh对应的UV坐标，分别对左右屏幕进行渲染,获得左右屏幕3D视频图像；

在图形处理器GPU中创建3D视频图像视差参数设置模块；

获取3D视差参数的设置值；

在图形处理器GPU中，根据UV坐标数据、Mesh数据和视差值，作3D视频图像的偏移；

裁剪掉左右3D视频图像两个纹理不重合的部分，合成新的3D视频图像。

2.如权利要求1所述的3D视频图像渲染及视差调节方法，其特征在于，所述网格Mesh的形状为方形；所述3D视频图像的位置模式包括左右模式、上下模式。

3.如权利要求2所述的3D视频图像渲染及视差调节方法，其特征在于，当3D视频图像的位置模式为左右模式时，左屏幕网格Mesh对应的UV坐标图；

当3D视频图像的位置模式为左右模式时，左屏幕网格Mesh对应的UV坐标为：(0,0),(0.5,1),(0.5,0),(0,1)；右屏幕网格Mesh对应的UV坐标为：(0.5，0)，(1，1)，(1，0)，(0.5，1)；

当3D视频图像的位置模式为上下模式时，左屏幕网格Mesh对应的UV坐标为(0,0),(1,0.5),(1,0),(0,0.5)，右屏幕网格Mesh对应的UV坐标为(0，0.5)，(1，1)，(1，0.5)，(0，1)。

4.如权利要求2所述的3D视频图像渲染及视差调节方法，其特征在于，所述根据所述左、右屏幕网格Mesh对应的UV坐标，分别对左右屏幕进行渲染,获得左右屏幕3D视频图像包括以下步骤：

创建用于模拟左右眼的双目摄像头，确定左右屏幕的视点区域；

双目摄像头分时复用网格Mesh，对左摄像头渲染时网格Mesh设置UV坐标为左，对右摄像头渲染时网格Mesh设置UV坐标为右，得到左右屏幕的3D视频图像。

5.如权利要求4所述的3D视频图像渲染及视差调节方法，其特征在于，双目眼摄像头的视点坐标为[(原点坐标)，宽，高]；

左摄像头的视点坐标为[(0,0),0.5,1]，右摄像头的视点区域为[(0.5,0),0.5,1]。

6.如权利要求1所述的3D视频图像渲染及视差调节方法，其特征在于，

所述Mesh数据为：在特定时间段中，左屏幕网格Mesh对应的UV坐标和右屏幕网格Mesh对应的UV坐标；

当视差值增加时，左屏幕3D视频图像向左侧移动，右屏幕3D视频图像向右侧移动；

当视差值减少时，左屏幕3D视频图像向右侧移动，右屏幕3D视频图像向左侧移动。

7.一种3D视频图像渲染及视差调节***，其特征在于，所述***包括：

网格Mesh创建模块，用于创建3D对象网格Mesh；

图像获取模块，用于获取3D视频图像；

UV坐标设置模块，用于根据3D视频图像的位置模式，确定渲染左右屏幕时网格Mesh对应的UV坐标；

左右屏幕渲染模块，用于根据所述左、右屏幕网格Mesh对应的UV坐标，分别对左右屏幕进行渲染,获得左右屏幕3D视频图像；

视差参数设置模块，用于获取3D视差参数的设置值；

图像偏移模块，用于在图形处理器GPU中，根据UV坐标数据、Mesh数据和视差值，作3D视频图像的偏移；

裁剪模块，用于裁剪掉左右3D视频图像两个纹理不重合的部分，合成新的3D视频图像。

8.如权利要求7所述的3D视频图像渲染及视差调节***，其特征在于，所述左右屏幕渲染模块包括模拟摄像头创建模块和网格Mesh复用模块，

模拟摄像头创建模块，用于创建用于模拟左右眼的双目摄像头，确定左右屏幕的视点区域；

网格Mesh复用模块，用于双目摄像头分时复用网格Mesh，对左摄像头渲染时网格Mesh设置UV坐标为左，对右摄像头渲染时网格Mesh设置UV坐标为右，得到左右屏幕的3D视频图像。

9.如权利要求7所述的3D视频图像渲染及视差调节***，其特征在于，

所述视差参数设置模块，移至网格Mesh创建模块之前与网格Mesh创建模块相连。

10.如权利要求7所述的3D视频图像渲染及视差调节***，其特征在于，

当3D视频图像的位置模式为左右模式时，左屏幕网格Mesh对应的UV坐标为：(0,0),(0.5,1),(0.5,0),(0,1)；右屏幕网格Mesh对应的UV坐标为：(0.5，0)，(1，1)，(1，0)，(0.5，1)；

当3D视频图像的位置模式为上下模式时，左屏幕网格Mesh对应的UV坐标为(0,0),(1,0.5),(1,0),(0,0.5)，右屏幕网格Mesh对应的UV坐标为(0，0.5)，(1，1)，(1，0.5)，(0，1)；

双目眼摄像头的视点坐标为[(原点坐标)，宽，高]；

左摄像头的视点坐标为[(0,0),0.5,1]，右摄像头的视点区域为[(0.5,0),0.5,1]；

所述Mesh数据为：在特定时间段中，左屏幕网格Mesh对应的UV坐标和右屏幕网格Mesh对应的UV坐标；

当视差值增加时，左屏幕3D视频图像向左侧移动，右屏幕3D视频图像向右侧移动；

当视差值减少时，左屏幕3D视频图像向右侧移动，右屏幕3D视频图像向左侧移动。