CN109510975A - 一种视频图像的提取方法、设备及*** - Google Patents

Abstract

本申请公开了一种视频图像的提取方法、设备及***，涉及图像处理领域。本申请的主要技术方案为：创建左右虚拟摄像机，通过所述左右虚拟摄像机获取视口数据；根据所述左右虚拟摄像机获取到的视口数据创建左右图；将所述左右图合并渲染得到纹理图像数据；将所述纹理图像数据发送至VR设备。本申请采用在视频提取设备中创建两个虚拟摄像头的技术方案，能够更加快速的采集视频提取设备上的视频图像，使得传输给VR设备后显示的图像更加准确，而且不需要额外设置另一台视频提取设备来分别渲染VR设备的左右眼，降低成本，且能够实现VR设备左右眼同步更新，能够更好的模拟和呈现立体图。

Description

一种视频图像的提取方法、设备及***

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频图像的提取方法、设备及***。

背景技术

众所周知，现实世界是真正的三维立体世界，而现有的显示设备绝大多数都只能显示二维信息，并不能给人以沉浸感。为了使显示的场景和物体具有景深效果，人们在许多方面进行了尝试，3D显示技术的研究经历了十几年的发展，取得了十分***的成果。

目前的3D显示技术主要有以下几类：

(1)采用光学原理的立体技术：该技术主要利用棱镜的、偏振片的、透视的或光栅的光学镜片来实现，一副图像都是通过光学镜片的滤光或偏振原理形成两幅不同的图像分别呈现在人的左右眼中，以形成立体图像。该技术受光学镜片及环境的影响，并不能非常清晰的向用户展示最真实的画面。

(2)虚拟现实立体投影技术：两台计算机的视频信号输出端分别与两台投影仪的视频信号输入端相连接。在两台投影仪的前端分别装设有遮光盒，在两个遮光盒的前端分别装设有偏光镜，两个偏光镜的偏振轴方向相互垂直。这种方式的两台投影仪相当于人的双眼，输出的视频内容通过偏光镜可以造成左右眼视觉上的差异，从而在大脑中产生立体影像。该技术需要两台主机分别渲染到各自关联的设备上，成本高，而且不能同步更新。

发明内容

本申请提供一种视频图像的提取方法，包括：创建左右虚拟摄像机，通过所述左右虚拟摄像机获取视口数据；根据所述左右虚拟摄像机获取到的视口数据创建左右图；将所述左右图合并渲染得到纹理图像数据；将所述纹理图像数据发送至VR设备。

如上的，其中，创建左右虚拟摄像机后，还包括初始化所述左右摄像机的摄像头间距为双眼瞳距的平均值；响应于VR设备的最新摄像头间距，将所述左右摄像机的摄像头间距设置为所述最新摄像头间距。

如上的，其中，创建左右虚拟摄像机前还包括创建采集视口，并初始化采集视口的视口数据；其中，初始化采集视口的视口数据具体包括创建设备、上下文、交换链、渲染目标以及视口，使用所述上下文将所述渲染目标设置为向屏幕输出，并初始化视口数据。

如上的，其中，通过左右虚拟摄像机获取视口数据，具体包括如下子步骤：为所述左右虚拟摄像机分别加载实时图像采集插件并初始化采集插件；在所述采集插件中调用渲染硬件接口，通过切换上下文使用交换链实时从渲染目标中获取当前页面渲染数据，使用当前页面渲染数据更新视口数据。

如上的，其中，初始化采集插件，具体包括如下子步骤：获取场景视口，通过场景视口获取当前窗口的宽高以及所需接口；创建应用层渲染器，并获取视口资源数据；通过应用层渲染器获取顶层窗口的资源；将获取的顶层窗口的资源强制转换为渲染硬件接口能够识别的类型。

如上的，其中，使用当前页面渲染数据更新视口数据，具体为按照当前页面的高度和宽度，逐行逐列地获取每个像素点在页面中的RGB值，CPU单线程地将RGB值输入GPU，使用RGB值更新视口数据。

本申请还提供一种视频提取设备，包括如下部件：创建模块，用于创建左右虚拟摄像机，通过左右虚拟机获取视口数据；第一渲染模块，用于根据所述左右虚拟摄像机获取到的视口数据创建左右图，将所述左右图合并渲染得到纹理图像数据；第一通信模块，用于将纹理图像数据发送至VR设备。

如上的，其中，所述创建模块，还用于在创建左右虚拟摄像机后，初始化所述左右摄像机的摄像头间距为双眼瞳距的平均值；所述视频提取设备还包括设置模块，用于响应于VR设备的最新摄像头间距，将所述左右摄像机的摄像头间距设置为所述最新摄像头间距。

本申请还提供一种视频图像的提取***，包括：上述视频提取设备；服务器，包括第二通信模块，用于将所述视频提取设备的纹理图像数据转发至VR设备；VR设备，包括第三通信模块和第二渲染模块；所述第三通信模块用于接收来自所述服务器的纹理图像数据，所述第二渲染模块用于将接收到的纹理图像数据分为左右眼场景图像，并分别渲染至设备左右摄像机中。

如上的，其中，所述第二渲染模块，具体包括：渲染子模块：用于根据接收到的纹理图像数据获取左眼场景图像以及右眼场景图像，将左眼场景图像和右眼场景图像渲染到一张纹理图像上，获得目标纹理图像；反畸变子模块：用于通过设备屏幕的参数以及镜片的参数，确定人眼可见的屏幕区域，基于人眼可见的屏幕区域构造反畸变网格，并确定反畸变网格的网格顶点，通过反畸变网格的网格顶点和目标终端的屏幕的绘制视口，确定反畸变后的网格顶点；所述渲染子模块还用于通过反畸变后的网格顶点和目标图像确定反畸变处理后的图像，将反畸变处理后的图像分为左右反畸变图像，并分别渲染至VR设备的左右屏幕上。

本申请实现的有益效果如下：本申请采用在视频提取设备中创建两个虚拟摄像头的技术方案，能够更加快速的采集视频提取设备上的视频图像，使得传输给VR设备后显示的图像更加准确，而且不需要额外设置另一台视频提取设备来分别渲染VR设备的左右眼，降低成本，且能够实现VR设备左右眼同步更新，能够更好的模拟和呈现立体图。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的视频图像的提取方法流程图；

图2为本申请实施例一视频提取设备中应用程序开启后进行初始化的具体操作流程图；

图3为本申请实施例一视频提取设备中应用程序初始化采集插件的具体操作流程图；

图4为本申请实施例一视频提取***中VR设备将左右眼场景图像分别渲染至设备左右摄像机的具体操作流程图；

图5为本申请实施例二提供的视频图像的提取***的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的视频图像的提取方法适用于由视频提取设备(可以为PC机或移动设备等)、服务器和VR设备组成的***中，其中在视频提取设备中运行提取视频图像的应用程序，服务器用于在视频提取设备和VR设备间传输视频图像，VR设备用于将从视频提取设备接收到的视频图像渲染到设备左右眼，完成图像的显示。

实施例一

参见图1，本申请实施例一提供一种视频图像的提取方法，具体包括：

步骤110：视频提取设备的应用程序开启，在应用程序中创建采集视口，初始化采集视口的视口数据；

其中，如图2所示，应用程序开启后进行初始化具体包括如下子步骤：

步骤210：创建设备(device)、上下文(context)和交换链(swapchain)；

其中，设备device用于在加载过程中加载视频资源；上下文context用于在渲染过程中设置传入显卡的数据；交换链swapchain用于描述输出窗口、渲染帧率以及渲染目标，交换链提供前台缓存和后台缓存，前台缓存用于渲染，后台缓存用于绘制最新图像数据。

步骤220：创建渲染目标；

渲染目标(render target)为所有绘制行为的最终目的地，即屏幕，应用程序在编辑器下运行时从渲染目标中获取页面渲染数据。

步骤230：使用上下文(context)将渲染目标设置为向屏幕输出。

步骤240：创建视口(viewport)，初始化视口数据；

其中，视口数据包括视口的高度、宽度以及每个像素点位置的RGB信息(RGB色彩模式是工业界的一种颜色标准，通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色)；应用程序启动后将视口数据初始化为设定的高度与宽度，以及将每个像素点的RGB信息设置为初始颜色，如白色。

在本实施例中，视频提取设备的应用程序启动后还包括判断视频提取设备是否连接服务器，连接服务器成功为应用程序连接VR设备进行数据传输做准备，应用程序通过服务器将采集到的图像数据发送给VR设备。

返回参见图1，步骤120：应用程序创建左右虚拟摄像机，左右虚拟摄像机获取视口数据；

由于VR设备呈现立体效果的原理是模拟人的每只眼睛看到的视图都截然不同，大脑将二者结合起来，形成一个3D立体图像，这即是立体视觉。由于左眼看到的景象与右眼看到的景象不同，形成了双眼差异，因此本申请在应用程序制作时同时创建两个虚拟摄像机模拟用户的左右眼，分别获取具有一定差异的平面图像；

其中，应用程序创建两个虚拟摄像机，初始化左右虚拟摄像机之间的间距，初始间距是依据人的双眼瞳距进行设置的，双眼的瞳距IPD范围为52mm到78mm，优选地将左右虚拟摄像机的摄像头间距ICD初始化为瞳距的平均值60mm。

在本实施例中，应用程序通过左右虚拟摄像机获取视口数据，具体包括如下子步骤：

步骤121：应用程序为左右虚拟摄像机分别加载实时图像采集插件并初始化采集插件；

本实施例中，在应用程序运行的窗口编辑器下创建一个新的空白插件模板，然后生成一个工程文件，将图像采集插件加载至该工程文件中。

参见图3，应用程序初始化采集插件，具体包括：

步骤310：获取场景视口(SceneViewport)，通过场景视口获取当前窗口的宽高以及所需接口；

窗口类型包括编辑器模式和运行时模式，在运行时模式下获取场景视口数据，处理运行时模式下的渲染硬件接口；

步骤320：调用接口函数(FSlateRenderer)创建应用层渲染器，并获取视口资源数据；

步骤330：通过应用层渲染器获取顶层窗口的资源；

具体的，应用层渲染器通过场景视口获取视口组件，将视口组件的节点转换为窗口类，即获得顶层窗口的资源。

步骤340：将获取的顶层窗口的资源强制转换为渲染硬件接口能够识别的类型；

在本实施例中，需要将窗口资源转换为渲染硬件接口RHI可以识别的类型以后才可以调用渲染硬件接口获取渲染数据。

进一步地，在初始化采集插件成功后，还包括获取当前视口、分辨率以及渲染命令列表接口。

步骤122：在采集插件中调用渲染硬件接口，通过切换上下文使用交换链实时从渲染目标中获取当前页面渲染数据，使用当前页面渲染数据更新视口数据；

其中，当前页面渲染数据包括当前页面的高度、宽度以及每个像素点位置的RGB信息，按照当前页面的高度和宽度，逐行逐列地获取每个像素点在页面中的RGB值，CPU单线程地将该RGB值输入GPU，使用该值更新视口数据；

由于在进行用户界面渲染(UI渲染)时都是由应用程序的主线程进行的，但受到主线程处理能力和CPU性能的约束，在主线程的任务处理较为繁重或者CPU性能较低时，进行UI渲染可能会出现页面卡顿的情形。因此，本申请针对渲染任务1或者渲染任务2中包含的UI渲染，应用程序的主线程在CPU中执行渲染操作时，采用异步处理的方式，将用于渲染的后备缓存数据的获取操作转移到子线程，即渲染线程中执行，主线程通过调用渲染硬件接口RHI从渲染线程获取后备缓存数据，继续在所述主线程执行渲染操作，从而来减轻所述主线程的负荷，同时降低了主线程在任务繁重时无法及时处理渲染任务造成的用户界面卡顿；

返回参见图1，步骤130：应用程序根据左右虚拟摄像机获取到的视口数据创建左右图，将左右图合并渲染得到纹理图像数据，将纹理图像数据通过服务器发送至VR设备；

具体的，根据左右两个虚拟摄像机获取到的视口数据创建两张图，然后将这两张图合并为一张纹理图，将纹理图像数据通过服务器发送至VR设备；

其中，左右虚拟摄像机将将左右图合并渲染得到纹理图像数据具体为，先创建纹理并获得纹理的表面，然后向纹理的表面渲染场景，最后再渲染纹理本身。

步骤140：VR设备将接收到的纹理图像数据分为左右眼场景图像，并分别渲染至设备左右摄像机中；

在本实施例中，在VR设备中也创建左右两个摄像机，将纹理图像数据分为左眼场景图像和有眼场景图像，然后将左眼场景图像渲染至左眼摄像机，将右眼场景图像渲染至右眼摄像机，参见图4，本操作具体包括如下子步骤：

步骤410：根据接收到的纹理图像数据获取左眼场景图像以及右眼场景图像。

具体地，VR设备在接收到视频提取设备发送的纹理图像数据后，对纹理图像数据按照与视频提取设备合并纹理图像的反方式进行拆分，得到左眼场景图像和右眼场景图像。

步骤420：将左眼场景图像和右眼场景图像渲染到一张纹理图像上，获得目标纹理图像；

在本实施例中，为了避免两次传递纹理图像所导致的耗时，本实施例将左眼场景图像和右眼场景图像渲染到一张纹理图像，进而只进行一次纹理图像的传递。具体的，将左眼场景图像和右眼场景图像渲染到纹理图像上互不重叠的两个区域。

步骤430：通过设备屏幕的参数以及镜片的参数，确定人眼可见的屏幕区域；

其中，VR设备的屏幕的参数可以包括屏幕的宽度和高度、绘制视口的大小等，VR设备的镜片参数包括镜片的视场角、折射率等；具体地，屏幕的宽度和高度可通过屏幕的DPI(每英寸的像素数)确定，进一步地，可通过***接口从目标终端获取屏幕的DPI。

步骤440：基于人眼可见的屏幕区域构造反畸变网格，并确定反畸变网格的网格顶点；

为了让用户在视觉上拥有真实的沉浸感，VR设备需要尽可能的覆盖人眼的视觉范围，因此在VR设备内装有一个球面弧度镜片，但球面弧度镜片经图像投射到人眼中时图像是扭曲的，导致人眼无法准确获取虚拟空间的定位，因此针对VR设备的球面弧度镜片，在进行左右眼图像渲染时，需要先进行反畸变操作，使得呈现给用户视觉上平面的图像。

其中，反畸变网格为用于进行反畸变的网格，反畸变网格的网格顶点即为反畸变网格中每个网格顶点的位置坐标。

步骤450：通过反畸变网格的网格顶点和目标终端的屏幕的绘制视口，确定反畸变后的网格顶点；

具体的，计算反畸变网格的网格顶点与目标终端的屏幕的绘制视口中心的距离，基于计算出的距离确定反畸变后的网格顶点。

步骤460：通过反畸变后的网格顶点和目标图像确定反畸变处理后的图像，将反畸变处理后的图像分为左右反畸变图像，并分别渲染至VR设备的左右屏幕上；

在本实施例中，将左右反畸变图像分别渲染至VR设备的左右屏幕上，具体包括如下流程：

本地空间：即建模空间，在本地组织三角形的组织方式；

世界空间：通过平移(D3DXMaterxTranslation函数)、旋转(D3DXMaterxRoationX/Y/Z/Axis函数)、缩放(D3DXMaterxScalling函数)将本地空间的物体转换成世界空间的物体，实现场景的组织；

视图空间：将摄像机移至世界空间的原点，旋转摄像机使其正方向与世界空间的Z方向一致，当移动或旋转摄像机时，世界空间的几何图随着摄像机的变化做相同的变化，得到相机视图矩阵(D3DXMatrixLookAtLH函数)；

背面拣选：通过背面拣选方式剔除无用的背面多边形(g_Device->SetRendState(D3DRS_CULLMODE，Value))；

光照裁剪：在世界空间中提供光照，并将超过平截平台的几何图部分裁剪；

投影：通过投影变换矩阵(D3DXMaterxPerspectiveFovLH)将3D场景转换成2D图像，然后转到投影窗口上；

视口变换：将投影窗口变换为屏幕上一个矩阵区域的可靠变换(g_pDevice->SetView Port(D3DVIEWPORT)；

光栅化处理：计算需要显示的每个三角形中每个点的像素值，将经视口变换后的图像显示到VR设备左右屏幕上。

本申请VR设备在显示视频图像后，还包括用户通过调节VR设备设备上的调节旋钮调整VR设备中两个虚拟摄像头的间距，然后VR设备通过服务器将调节后的摄像头间距发送至视频提取设备，视频提取设备同时调节内部两个虚拟摄像机的摄像头间距，以此该最新摄像头间距采集视频图像并发送至VR设备进行显示，用户实时调节摄像头间距以便更真实地反映画面内容，增加用户体验。

实施例二

如图5所示，本申请实施例二提供一种视频图像的提取***，其中，视频图像的提取***5包括：视频提取设备510、服务器520和VR设备530；

其中，视频提取设备510包括如下部件：

创建模块511，用于创建左右虚拟摄像机，通过左右虚拟机获取视口数据；

第一渲染模块512，用于将左右虚拟摄像机获取到的视口数据合并渲染到纹理，得到纹理图像数据；

第一通信模块513，用于将纹理图像数据发送至VR设备。

具体的，创建模块511还用于在创建左右虚拟摄像机后，初始化所述左右摄像机的摄像头间距为双眼瞳距的平均值；

进一步地，视频图像设备510还包括设置模块514，用于响应于VR设备的最新摄像头间距，将左右摄像机的摄像头间距设置为最新摄像头间距。

服务器520，包括第二通信模块521，用于将视频提取设备的纹理图像数据转发至VR设备530。

VR设备530，包括第三通信模块531和第二渲染模块532；所述第三通信模块531用于接收来自所述服务器的纹理图像数据，所述第二渲染模块532用于将接收到的纹理图像数据分为左右眼场景图像，并分别渲染至设备左右摄像机中；

具体的，第二渲染模块532，具体包括：

渲染子模块5321：用于根据接收到的纹理图像数据获取左眼场景图像以及右眼场景图像，将左眼场景图像和右眼场景图像渲染到一张纹理图像上，获得目标纹理图像；

反畸变子模块5322：用于通过设备屏幕的参数以及镜片的参数，确定人眼可见的屏幕区域，基于人眼可见的屏幕区域构造反畸变网格，并确定反畸变网格的网格顶点，通过反畸变网格的网格顶点和目标终端的屏幕的绘制视口，确定反畸变后的网格顶点；

进一步地，所述渲染子模块5321还用于通过反畸变后的网格顶点和目标图像确定反畸变处理后的图像，将反畸变处理后的图像分为左右反畸变图像，并分别渲染至VR设备530的左右屏幕上。

本申请实现的有益效果如下：

(1)本申请在视频提取设备中创建两个虚拟摄像头，能够更加快速的采集视频提取设备上的视频图像，使得传输给VR设备后显示的图像更加准确；

(2)不需要额外设置另一台视频提取设备来分别渲染VR设备的左右眼，降低成本，且能够实现VR设备左右眼同步更新；

(2)视频提取设备和VR设备中分别创建的两个虚拟摄像机的摄像头间距可以实时调节，能够实现更好的人机交互，能够更好的模拟和呈现立体图。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种视频图像的提取方法，其特征在于，包括：

创建左右虚拟摄像机，通过所述左右虚拟摄像机获取视口数据；

根据所述左右虚拟摄像机获取到的视口数据创建左右图；

将所述左右图合并渲染得到纹理图像数据；

将所述纹理图像数据发送至VR设备。

2.如权利要求1所述的视频图像的提取方法，其特征在于，创建左右虚拟摄像机后，还包括初始化所述左右摄像机的摄像头间距为双眼瞳距的平均值；响应于VR设备的最新摄像头间距，将所述左右摄像机的摄像头间距设置为所述最新摄像头间距。

3.如权利要求1所述的视频图像的提取方法，其特征在于，创建左右虚拟摄像机前还包括创建采集视口，并初始化采集视口的视口数据；其中，初始化采集视口的视口数据具体包括创建设备、上下文、交换链、渲染目标以及视口，使用所述上下文将所述渲染目标设置为向屏幕输出，并初始化视口数据。

4.如权利要求3所述的视频图像的提取方法，其特征在于，通过左右虚拟摄像机获取视口数据，具体包括如下子步骤：

为所述左右虚拟摄像机分别加载实时图像采集插件并初始化采集插件；

在所述采集插件中调用渲染硬件接口，通过切换上下文使用交换链实时从渲染目标中获取当前页面渲染数据，使用当前页面渲染数据更新视口数据。

5.如权利要求4所述的视频图像的提取方法，其特征在于，初始化采集插件，具体包括如下子步骤：

获取场景视口，通过场景视口获取当前窗口的宽高以及所需接口；

创建应用层渲染器，并获取视口资源数据；

通过应用层渲染器获取顶层窗口的资源；

将获取的顶层窗口的资源强制转换为渲染硬件接口能够识别的类型。

6.如权利要求4所述的视频图像的提取方法，其特征在于，使用当前页面渲染数据更新视口数据，具体为按照当前页面的高度和宽度，逐行逐列地获取每个像素点在页面中的RGB值，CPU单线程地将RGB值输入GPU，使用RGB值更新视口数据。

7.一种视频提取设备，其特征在于，包括如下部件：

创建模块，用于创建左右虚拟摄像机，通过左右虚拟摄像机获取视口数据；

第一渲染模块，用于根据所述左右虚拟摄像机获取到的视口数据创建左右图，将所述左右图合并渲染得到纹理图像数据；

第一通信模块，用于将纹理图像数据发送至VR设备。

8.如权利要求7所述的视频提取设备，其特征在于，所述创建模块，还用于在创建左右虚拟摄像机后，初始化所述左右摄像机的摄像头间距为双眼瞳距的平均值；

所述视频提取设备还包括设置模块，用于响应于VR设备的最新摄像头间距，将所述左右摄像机的摄像头间距设置为所述最新摄像头间距。

9.一种视频图像的提取***，其特征在于，包括：

如权利要求7-8之一所述的视频提取设备；

服务器，包括第二通信模块，用于将所述视频提取设备的纹理图像数据转发至VR设备；

VR设备，包括第三通信模块和第二渲染模块；所述第三通信模块用于接收来自所述服务器的纹理图像数据，所述第二渲染模块用于将接收到的纹理图像数据分为左右眼场景图像，并分别渲染至设备左右摄像机中。

10.如权利要求9所述的视频图像的提取***，其特征在于，所述第二渲染模块，具体包括：

渲染子模块：用于根据接收到的纹理图像数据获取左眼场景图像以及右眼场景图像，将左眼场景图像和右眼场景图像渲染到一张纹理图像上，获得目标纹理图像；

反畸变子模块：用于通过设备屏幕的参数以及镜片的参数，确定人眼可见的屏幕区域，基于人眼可见的屏幕区域构造反畸变网格，并确定反畸变网格的网格顶点，通过反畸变网格的网格顶点和目标终端的屏幕的绘制视口，确定反畸变后的网格顶点；

所述渲染子模块还用于通过反畸变后的网格顶点和目标图像确定反畸变处理后的图像，将反畸变处理后的图像分为左右反畸变图像，并分别渲染至VR设备的左右屏幕上。