CN109561298A - 图像处理***和方法 - Google Patents

Abstract

本发明提供了一种图像处理***和方法，图像处理***包括一头戴式显示装置以及一图像处理装置，上述图像处理装置包括一处理器，处理器将对应上述头戴式显示装置的一头盔信息传送给一使用者模式驱动程序；上述使用者模式驱动程序根据上述头盔信息以及来自一核心模式驱动程序的一第一截图，产生一第二截图，并将上述第二截图提供给上述处理器。此外，上述处理器直接根据上述第二截图产生一显示信息，且上述头戴式显示装置接收上述显示信息，并根据上述显示信息显示一显示画面。应用程序可不需通过DirectX图形界面框架直接与使用者模式驱动程序进行沟通，因而节省指令和信号传输的时间，因指令或信号的传输所造成的画面延迟的时间将会减少。

Description

图像处理***和方法

技术领域

本发明说明书主要为有关于一图像处理技术，尤其有关于通过虚拟现实(virtualreality，VR)头戴式显示装置直接显示Direct3D及OpenGL的内容的图像处理技术，涉及一种图像处理***和方法。

背景技术

随着科技的进步，图像的显示技术也日亦演进。虚拟现实(Virtual Reality，简称VR)是一种利用电脑科技模拟出虚拟的三度空间的显示技术。使用者可通过专用的穿戴装置(例如：头盔、眼镜)，通过视觉让使用者有身临其境的感觉。

然而，目前的虚拟现实头盔所显示的显示内容，都是利用开发商自行开发的开发平台来进行开发。因此，目前的虚拟现实头盔并无法支持直接显示Direct3D及OpenGL的内容的画面。然而，由于目前大部分的3D软件及3D游戏都是基于Direct3D及OpenGL这两种引擎来进行开发。因此，若虚拟现实头盔无法支持直接显示Direct3D及OpenGL的内容的画面，虚拟现实头盔所显示的显示内容将会受到限制。

发明内容

有鉴于上述现有技术的问题，本发明提供了通过虚拟现实(VR)头戴式显示装置直接显示Direct3D及OpenGL的内容的图像处理***和方法。

根据本发明的一实施例提供了一种图像处理***，所述图像处理***包括一头戴式显示装置以及一图像处理装置，所述图像处理装置包括一处理器，处理器将对应所述头戴式显示装置的一头盔信息传送给一使用者模式驱动程序，所述使用者模式驱动程序根据所述头盔信息以及来自一核心模式驱动程序的一第一截图，产生一第二截图，并将所述第二截图提供给所述处理器；所述处理器直接根据所述第二截图产生一显示信息，且所述头戴式显示装置接收所述显示信息，并根据所述显示信息显示一显示画面。

根据本发明一些实施例，所述头盔信息包括所述头戴式显示装置的一解析度信息。

根据本发明一些实施例，所述第一截图为从Direct 3D及OpenGL技术产生的画面所选取。

根据本发明一些实施例，所述使用者模式驱动程序根据所述解析度信息以及所述第一截图，将所述第一截图转换为适用所述解析度信息的所述第二截图。

根据本发明一些实施例，所述处理器直接根据所述第二截图以及使用者两眼瞳孔的距离，产生所述头戴式显示装置所显示的左右眼画面。

根据本发明的一实施例提供了一种图像处理方法，所述图像处理方法的步骤包括：将对应一头戴式显示装置的一头盔信息传送给一使用者模式驱动程序；根据所述头盔信息以及来自一核心模式驱动程序的一第一截图，产生一第二截图；直接根据所述第二截图产生一显示信息；以及根据所述显示信息显示一显示画面。

通过本发明的上述实施例提供的图像处理***和方法，应用程序可不需通过DirectX图形界面框架直接与使用者模式驱动程序进行沟通，因而节省指令和信号传输的时间，进一步的，因指令或信号的传输所造成的画面延迟的时间将会减少。

关于本发明其他附加的特征与优点，本领域技术人员在不脱离本发明的精神和范围内，当可根据本案实施方法中所公开的***和方法，做些许的变动与润饰而得到。

附图说明

图1为显示根据本发明的一实施例所述的图像处理***100的方块图。

图2为根据本发明的一实施例所示的显示驱动操作的示意图。

图3为根据本发明一实施例所述的图像处理方法的流程图300。

附图标记说明：

100 图像处理***；

110 图像处理装置；

111 处理器；

112 显示装置；

120 头戴式显示装置；

210 Direct3D执行程序库；

220 OpenGL执行程序库；

230 DirectX图形界面框架；

240 使用者模式驱动程序；

250 DirectX核心；

260 核心模式驱动程序；

300 流程图；

A1、A2 应用软件；

F1、F2 截图

具体实施方式

本章节所叙述的是实施本发明的最佳方式，目的在于说明本发明的精神而非用以限定本发明的保护范围，本发明的保护范围当以权利要求所界定的保护范围为准。

图1为显示根据本发明的一实施例所述的图像处理***100的方块图。如图1所示，图像处理***100可包含一图像处理装置110，以及一头戴式显示装置(head-mounteddisplay，简称HMD)120。根据本发明的一实施例，图像处理装置110可包含一处理器111以及一显示装置112。注意地是，在图1中的方块图，仅为了方便说明本发明的实施例，但本发明并不以此为限。图像处理装置110也可以包括其他元件。

据本发明的一实施例，图像处理装置110可以是笔记本电脑、一智能手机或一平版电脑，但本发明不以此为限。据本发明的一实施例，显示装置112可以是一般显示装置，例如：笔记本电脑屏幕、智能手机屏幕或台式电脑的屏幕，但本发明不以此为限。据本发明的一实施例，头戴式显示装置120可以是一虚拟现实(virtual reality，VR)头盔。当使用者要观看虚拟现实的画面时，可将头戴式显示装置120耦接至图像处理装置110，以从头戴式显示装置120观看虚拟现实的画面。

图2为根据本发明的一实施例所示的显示驱动操作的示意图。在本发明的实施利中，处理器111可用以执行图2所示的显示驱动的相关操作和运算。如图2所示，显示驱动操作可分成应用程序(applications)层、使用者模式(User Mode)层，以及核心模式(KernelMode)层。注意地是，在图2中的示意图，仅为了方便说明本发明的实施例，但本发明并不以此为限。

根据本发明的一实施例，在应用程序层中包含了所要执行的应用程序，例如：应用程序A1和应用程序A2。

根据本发明的一实施例，在使用者模式层可包含一Direct3D(D3D)执行程序库(Runtime Library)210、一OpenGL执行程序库220、一DirectX图形界面框架(DirectXGraphics Infrastructure(DXGI)Framework)230，以及一使用者模式驱动程序(User ModeDriver)240。

根据本发明的一实施例，核心模式层可包含一DirectX核心(DXG Kernel)250以及一核心模式驱动程序(Kernel Mode Driver)260。

根据本发明的一实施例，当要将显示装置112所显示的由D3D和OpenGL技术所产生的图像转换到头戴式显示装置120时，处理器111会执行一应用程序A1，以将对应头戴式显示装置120的头盔信息传送给使用者模式驱动程序240。如图2所示，显示装置112所显示的由D3D和OpenGL技术所产生的图像，可为处理器111执行一应用程序A2所产生的图像。

根据本发明的一实施例，头盔信息可包含头戴式显示装置120的解析度。根据本发明的一实施例，使用者模式驱动程序240可包含一使用者模式显示驱动程序(User-modedisplay driver)、一OpenGL可安装客户驱动程序(installable client driver)，以及针对本发明的操作所开发的一应用程序编辑界面(application programming interface，API)。

根据本发明的一实施例，当使用者模式驱动程序240接收到头戴式显示装置120的头盔信息后，使用者模式驱动程序240会直接从核心模式驱动程序260取得显示装置112所显示的D3D和OpenGL内容的图像的截图(framebuffer)F1。也就是说，在此实施例中，使用者模式驱动程序240可不用通过DirectX核心250，而直接从核心模式驱动程序260来取得显示装置112所显示的图像的截图F1。在传统的显示驱动操作中，使用者模式驱动程序240需要通过DirectX核心250才可与核心模式驱动程序260进行沟通。举例来说，使用者模式驱动程序240需要通过DirectX核心250下指令给核心模式驱动程序260，才可驱动显示装置112显示D3D和OpenGL内容的图像。因此，在此实施例中，也可视为将DirectX核心250部分的功能移转到核心模式驱动程序260。因此，当要通过头戴式显示装置120显示D3D和OpenGL内容的虚拟现实图像的过程中，使用者模式驱动程序240可不用通过DirectX核心250，而直接与核心模式驱动程序260进行沟通，以节省指令和信号传输的时间。因此，因指令或信号的传输所造成的画面延迟的时间将会减少。

根据本发明的一实施例，从核心模式驱动程序260取得显示装置112所显示的D3D和OpenGL内容的图像的截图F1后，使用者模式驱动程序240会根据头盔信息和截图F1，产生一截图F2。由于显示装置112的解析度和头戴式显示装置120的解析度不同，因此，在此实施例中，核心模式驱动程序260会根据所取得的头盔信息，将显示装置112所显示的图像的截图F1转换成适合头戴式显示装置120的解析度显示的截图F2。根据本发明的一实施例，显示装置112的解析度可为1920×1080(即屏幕宽高比为16：9)或是800×600(即屏幕宽高比为4：3)，头戴式显示装置120的解析度则可为2880×1440，但本发明不以此为限。

根据本发明的一实施例，当使用者模式驱动程序240产生截图F2后，使用者模式驱动程序240会直接传送截图F2给应用程序A1。也就是说，应用程序A1可直接从使用者模式驱动程序240取得适合头戴式显示装置120的解析度显示的截图F2，而不需要再通过DirectX图形界面框架230来取得适合头戴式显示装置120的解析度显示的截图F2。因此，在此实施例中，应用程序A1可不需通过DirectX图形界面框架230直接与使用者模式驱动程序240进行沟通，因而节省指令和信号传输的时间。因此，因指令或信号的传输所造成的画面延迟的时间将会减少。

根据本发明的一实施例，应用程序A1取得截图F2后，应用程序A1会根据截图F2以及头戴式显示装置120的使用者两眼瞳孔的距离，产生头戴式显示装置120所显示的左右眼画面，并将产生的左右眼画面传送给头戴式显示装置120。头戴式显示装置120取得左右眼画面的信息后，即可根据所接收到的信息显示一虚拟现实的画面。因此，通过本发明的实施例，头戴式显示装置120即可显示D3D和OpenGL内容的虚拟现实的画面。

图3为根据本发明一实施例所述的图像处理方法的流程图300。此图像处理方法适用图像处理装置110。在步骤S310，将对应一头戴式显示装置的头盔信息传送给使用者模式驱动程序。在步骤S320，根据头盔信息以及来自一核心模式驱动程序的一第一截图，产生一第二截图。在步骤S330，直接根据上述第二截图产生一显示信息。在步骤S340，根据上述显示信息显示一显示画面。根据本发明一实施例，头盔信息可以是头戴式显示装置的解析度信息。

根据本发明一实施例，步骤S320还包括，根据头戴式显示装置的解析度信息以及第一截图，将第一截图转换为适用头戴式显示装置的解析度信息的第二截图。

根据本发明一实施例，步骤S330还包括，根据第二截图以及使用者两眼瞳孔的距离，产生头戴式显示装置所显示的左右眼画面。

经过本发明的图像处理方法，应用软件可直接从使用者模式驱动程序取得适合虚拟现实头盔的解析度的图像，以从虚拟现实头盔显示具有D3D和OpenGL内容的虚拟现实画面。此外，通过本发明的图像处理方法，虚拟现实头盔将可支持显示Direct3D及OpenGL的内容，因而增加虚拟现实头盔可显示内容的相容性。此外，通过本发明的图像处理方法，将可减少传统显示D3D和OpenGL内容的图像时，因指令或信号的传输所造成的画面延迟。

本发明的说明书所公开的方法和演算法的步骤，可直接通过执行一处理器直接应用在硬件、软件模块或两者的结合上。一软件模块(包括执行指令和相关数据)和其它数据可储存在数据存储器中，像是随机存取存储器(RAM)、快闪存储器(flash memory)、只读存储器(ROM)、可擦可编程只读存储器(EPROM)、电子可擦可编程只读存储器(EEPROM)、暂存器、硬盘、便携式硬盘、光盘只读存储器(CD-ROM)、DVD或在此领域熟知的技术中任何其它电脑可读取的储存媒体格式。一储存媒体可耦接至一机器装置，举例来说，像是电脑/处理器(为了对其进行说明方便，在本说明书以处理器来表示)，上述处理器可通过来读取信息(像是程序码)，以及写入信息至储存媒体。一储存媒体可整合一处理器。一特殊应用集成电路(ASIC)包括处理器和储存媒体。一用户设备则包括一特殊应用集成电路。换句话说，处理器和储存媒体以不直接连接用户设备的方式，包含于用户设备中。此外，在一些实施例中，任何适合电脑程序的产品包括可读取的储存媒体，其中可读取的储存媒体包括和一或多个所公开实施例相关的程序码。在一些实施例中，电脑程序的产品可包括封装材料。

本说明书中所提到的“一实施例”或“实施例”，表示与实施例有关的所述特定的特征、结构、或特性是包含根据本发明的至少一实施例中，但并不表示它们存在于每一个实施例中。因此，在本说明书中不同地方出现的“在一实施例中”或“在实施例中”词组并不必然表示本发明的相同实施例。

以上段落使用多种层面描述。显然的，本文的教示可以多种方式实现，而在范例中公开的任何特定架构或功能仅为一代表性的状况。根据本文的教示，任何本领域技术人员应理解在本文公开的各层面可独立实作或两种以上的层面可以合并实作。

虽然本发明已以较佳实施例公开如上，然其并非用以限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，当可作些许的变动与润饰，因此本发明的保护范围当以权利要求所界定的保护范围为准。

Claims (10)

1.一种图像处理***，其特征在于，包括：

一头戴式显示装置；以及

一图像处理装置，包括：

一处理器，将对应所述头戴式显示装置的一头盔信息传送给一使用者模式驱动程序；

其中所述使用者模式驱动程序根据所述头盔信息以及来自一核心模式驱动程序的一第一截图，产生一第二截图，并将所述第二截图提供给所述处理器；

其中所述处理器直接根据所述第二截图产生一显示信息，且所述头戴式显示装置接收所述显示信息，并根据所述显示信息显示一显示画面。

2.如权利要求1所述的图像处理***，其中所述头盔信息包括所述头戴式显示装置的一解析度信息。

3.如权利要求2所述的图像处理***，其中所述第一截图为从Direct3D及OpenGL技术产生的画面所选取。

4.如权利要求2所述的图像处理***，其中所述使用者模式驱动程序根据所述解析度信息以及所述第一截图，将所述第一截图转换为适用所述解析度信息的所述第二截图。

5.如权利要求1所述的图像处理***，其中所述处理器直接根据所述第二截图以及使用者两眼瞳孔的距离，产生所述头戴式显示装置所显示的左右眼画面。

6.一种图像处理方法，其特征在于，包括：

将对应一头戴式显示装置的一头盔信息传送给一使用者模式驱动程序；

根据所述头盔信息以及来自一核心模式驱动程序的一第一截图，产生一第二截图；

直接根据所述第二截图产生一显示信息；以及

根据所述显示信息显示一显示画面。

7.如权利要求6所述的图像处理方法，其中所述头盔信息包括所述头戴式显示装置的一解析度信息。

8.如权利要求7所述的图像处理方法，其中所述第一截图为从Direct3D及OpenGL技术产生的画面所选取。

9.如权利要求7所述的图像处理方法，还包括：

根据所述解析度信息以及所述第一截图，将所述第一截图转换为适用所述解析度信息的所述第二截图。

10.如权利要求6所述的图像处理方法，还包括：

根据所述第二截图以及使用者两眼瞳孔的距离，产生所述头戴式显示装置所显示的左右眼画面。