CN104767992A - 头戴式显示***及影像低频宽传输方法 - Google Patents

Abstract

一种头戴式显示***与影像低频宽传输方法，头戴式显示***包括主机及供使用者配戴于头部并与其双眼对应的头戴式显示装置，当主机的影像处理单元接收原始影像时，头戴式显示装置的眼球视线侦测单元侦测使用者眼球视线，并将侦测结果提供给影像处理单元；根据侦测结果，定义原始影像中的眼球聚焦区域及其余区域，并针对其余区域进行影像处理，使得其余区域的分辨率及色彩深度两者至少其中之一低于眼球聚焦区域，而产生处理后影像，并将处理后影像输出至头戴式显示装置的显示单元显示。

Description

头戴式显示***及影像低频宽传输方法

【技术领域】

本发明涉及一种头戴式显示器的影像处理方法，特别是指一种能降低头戴式显示***影像传输频宽的方法。

【背景技术】

传统头戴式显示器(HMD)为播放3D动态影像，并防止影像出现网格效应(screen door effect)，会选择使用具有较高分辨率，例如FHD(1920x1080)、400ppi以上的显示器，由于输出至显示器的影像画面的每个像素都具有符合显示器需求的相同分辨率及色彩深度，使得传统头戴式显示器必需使用运算速度够快且昂贵的影像处理器来处理大量影像数据，并需提供较大传输频宽以应对影像处理器与显示器之间大量的影像数据传输需求。

【发明内容】

因此，本发明目的在于提供一种降低头戴式显示***影像传输频宽的方法及实现该方法的头戴式显示***。

于是，本发明降低头戴式显示***之影像传输频宽的方法，该头戴式显示***包括主机及供使用者配戴于头部并与其双眼对应的头戴式显示装置；该方法包括：该主机的影像处理单元接收原始影像；该头戴式显示装置的眼球视线侦测单元侦测该使用者的眼球视线，并将侦测结果提供给该影像处理单元；该影像处理单元根据该侦测结果，定义该原始影像中的眼球聚焦区域；该影像处理单元针对该原始影像中该眼球聚焦区域以外的其余区域进行影像处理，使该其余区域的第一分辨率及第一色彩深度两者至少其中之一低于该眼球聚焦区域，以产生处理后影像；及该影像处理单元将该处理后影像传送给该头戴式显示装置的显示单元，显示该处理后影像。

此外，本发明实现上述方法的头戴式显示***，包括主机及头戴式显示装置，其中该主机包含影像处理单元，接收原始影像；该头戴式显示装置供使用者配戴于头部且与其双眼对应，并包含：显示单元；眼球视线侦测单元，其侦测该使用者的眼球视线，并将侦测结果提供给该影像处理单元，使该影像处理单元根据该侦测结果，定义该原始影像中的眼球聚焦区域，并针对该原始影像中该眼球聚焦区域以外的其余区域进行影像处理，使该其余区域的第一分辨率及第一色彩深度至少其中之一低于该眼球聚焦区域，以产生处理后影像，并将该处理后影像传送至该显示单元，显示该处理后影像。

在实施例中，该主机还包括与该影像处理单元电耦接的第一传输界面，且该头戴式显示装置还包括与该第一传输界面以有线或无线方式通讯的第二传输界面，且该眼球视线侦测单元经由该第二传输界面及该第一传输界面，将该侦测结果传送给影像处理单元；而该显示单元包含显示器及与该第二传输界面电耦合的显示驱动器，而且该影像处理单元将该处理后影像压缩后，经由该第一传输界面及该第二传输界面，将压缩后的该处理后影像传送至该显示驱动器，使将压缩后的该处理后影像解压缩并显示于该显示器。

在实施例中，该原始影像是一动态影像的其中一张影像画面资料。

在实施例中，该处理后影像的该眼球聚焦区域具有一第二分辨率及一第二色彩深度，且该其余区域的该第一分辨率低于该第二分辨率，或者该其余区域的该第一色彩深度低于该第二色彩深度，或者该其余区域的该第一分辨率低于该第二分辨率且该其余区域的该第一色彩深度低于该第二色彩深度。

在实施例中，上述该第二分辨率及该第二色彩深度是该影像处理器可以支持的最大解析度及最大色彩深度。

在实施例中，该影像处理单元还将该处理后影像的眼球聚焦区域及其余区域的范围信息传送给显示驱动器，使显示驱动器根据范围信息，对解压缩后的处理后影像中的其余区域进行画质优化处理后，再输出至显示器显示。

在实施例中，主机整合在头戴式显示装置中。

本发明藉由设置在头戴式显示装置的眼球视线侦测单元，侦测使用者的眼球视线投向头戴式显示装置的显示器的位置，并提供侦测结果给影像处理单元，使根据该侦测结果定义输入的原始影像的眼球聚焦区域及其余区域，并针对其余区域调降其分辨率及色彩深色两者至少其中之一，再将处理后影像传输至头戴式显示装置的显示单元播放，藉此，当输入影像处理单元的影像是动态影像时，除了可以使影像处理单元及显示驱动器要处理的动态影像的数据量大幅降低，而减少处理动态影像的时间，并且能减少动态影像数据传输频宽，使得处理动态影像数据的成本降低，确实达到本发明的功效与目的。

【附图说明】

图1是本发明头戴式显示***影像低频宽传输方法的实施例一的主要流程图；

图2是本发明头戴式显示***的实施例一的主要电路框图；

图3是本发明头戴式显示***的实施例二的主要电路框图；

图4是一示意图，说明本实施例的影像处理单元根据聚焦点，定义原始影像中的眼球聚焦区域及其余区域；

图5是一示意图，说明本实施例的影像处理单元根据移动后的聚焦点，重新定义原始影像中的眼球聚焦区域及其余区域。

【符号说明】

1，1’ 头戴式显示***

2    主机

3    头戴式显示装置

21   影像处理单元

22   第一传输界面

31   显示单元

32   眼球视线侦测单元

33   第二传输界面

34   显示驱动器

35   显示器

41   原始影像

42   眼球聚焦区域

43   其余区域

P    聚焦点

S1～S5 步骤

【实施方式】

图1所示为头戴式显示***影像低频宽传输方法的实施例一的流程图，且如图2所示，是本发明实现上述方法的头戴式显示***的实施例一，该头戴式显示***1主要包含各自独立的主机2及供使用者配戴于头部并与其双眼对应的头戴式显示装置3。

在实施例一中，主机2主要具有接受连续动态影像输入的影像处理单元21，及与影像处理单元21电耦接的第一传输界面22。头戴式显示装置3主要包括显示单元31、眼球视线侦测单元32及与显示单元31及眼球视线侦测单元32电耦合的第二传输界面33。其中第一传输界面22与第二传输界面33之间可以通过有线或无线方式通讯传输信号，显示单元31还包含显示驱动器33及显示器34，其中显示器34为分辨率为1920x1080或者更高的高画质显示器。

此外，如图3所示，实施例二中，主机2也可以和头戴式显示装置3整合在一起(即主机2整合在头戴式显示装置3中)而构成独立的头戴式显示***1’。

为实现上述方法，如图1的步骤S1，在影像处理单元21接收到如图4所示的一张原始影像41的同时，如步骤S2所示，头戴式显示装置3的眼球视线侦测单元32侦测使用者的眼球视线落在显示器的位置，并将侦测结果经由第二传输界面33及第一传输界面22提供给影像处理单元21。

接着，如步骤S3，影像处理单元21根据该侦测结果，定义原始影像41中的眼球聚焦区域42，如图4所示，影像处理单元21根据侦测结果，得知使用者的眼球视线在显示器35上的聚焦位置，对应于原始影像41左下方处聚焦点P，影像处理单元21即以该聚焦点P为中心向外扩展预定距离，从而定义该眼球聚焦区域42，当然本实施例的眼球聚焦区域42的范围并不以图示为限，可以视实际应用需求适当外扩或内缩，且眼球聚焦区域42虽以矩形为例，但并不以此为限，也可以是圆形或椭圆形或其它适合的形状等，视应用需求而定。

并且，如步骤S4，影像处理单元21可以针对原始影像41中眼球聚焦区域42以外的其余区域43进行影像处理，使其余区域43的第一分辨率及第一色彩深度两者至少其中之一低于眼球聚焦区域42，例如为了产生高画质影像，原始影像41的分辨率(又称第二分辨率)为FHD(1920x1080)，色彩深度(又称第二色彩深度)为24位元(16.7M色)(R(红)8位元、G(绿)8位元、蓝(B)8位元)，则除了眼球聚焦区域42维持第二分辨率及第二色彩深度外，其余区域43则调降其分辨率至第一分辨率，例如1280x1024或者更低，而色彩深度维持不变(即第一色彩深度等同于第二色彩深度)。

或者，将原始影像41其余区域43的色彩深度调降至第一色彩深度，例如将色彩深度由24位元调降至18位元(R(红)6位元、G(绿)6位元、蓝(B)6位元)或者更低，而分辨率(即第一分辨率等同于第二分辨率)维持不变。

又或者，将原始影像41其余区域43的分辨率(即第二分辨率)调降至第一分辨率，例如1280x1024或者更低，以及色彩深度(即第二色彩深度)由24位元调降至第一色彩深度，例如18位元(R(红)6位元、G(绿)6位元、蓝(B)6位元)或者更低。

因此，影像处理单元21藉由上述三种方式之一处理原始影像41，并产生处理后影像(图未示出)。藉此，不但可大量降低处理后影像数据量，而且可以减少影像处理单元21对处理后影像的处理时间，如减少影像压缩时间。

再者，当输入影像处理单元21的原始影像并非高画质影像，如分辨率(第二分辨率)为1280x1024，则影像处理单元21还会针对眼球聚焦区域42提高其分辨率至高画质，如1920x1080或者更高。而其余区域43则如同上述调降其第一分辨率及第一色彩深度两者至少其中之一。藉此，除了降低传输及处理的影像数据量，亦使输出至显示器31的处理后影像的眼球聚焦区域42避免出现网格效应(screen door effect)。

当然，若显示器31的分辨率更高，如2K(2560x1440)或4K(3840x2160)，以及色彩深度更高，例如30位元(红色10位元、绿色10位元、蓝色10位元)，则影像处理单元21还会针对眼球聚焦区域42提高其分辨率(第二分辨率，如原始为1920x1080)至2K或4K，以及(或者)提高其色彩深度(第二色彩深度，例如原始为24位元)至30位元，而其余区域43则如同上述调降其第一分辨率及第一色彩深度两者至少其中之一。藉此，除了降低传输及处理的影像数据量，亦可进一步提高眼球聚焦区域42的影像画质。

然后，如图1的步骤S5，影像处理单元21将处理后影像压缩后，经由第一传输界面22及第二传输界面33传送至头戴式显示装置3中显示单元31，并由显示单元31中的显示驱动器34将处理后影像解压缩，且将处理后影像适当调整成符合显示器35的影像输出格式后，再输出至显示器35显示。藉此，不但降低主机2与头戴式显示装置3(即第一传输界面22与第二传输界面33)之间的影像传输频宽，而且减少显示驱动器34解压缩处理后影像的时间，使影像能更顺畅且及时地输出至头戴式显示装置3的显示器35。

再者，由于使用者眼睛聚焦在显示器35显示的处理后影像的眼球聚焦区域42(可参见图4)，因此即使处理后影像除了眼球聚焦区域42以外的其余区域43(可参见图4)的分辨率或色彩深度被适当调降，使用者眼睛并不易察觉到也不会注意到其余区域43和眼球聚焦区域42有明显不同。而且，由于眼球聚焦区域42仍保有高画质的分辨率及色彩深度，因此能避免影像出现网格效应(screen door effect)。

此外，影像处理单元21还可将处理后影像的眼球聚焦区域42及其余区域43的范围信息连同压缩后的处理后影像传送给显示驱动器34，藉此，显示驱动器34可根据该范围信息得知其余区域43在处理后影像中的分布范围，并进一步针对该其余区域43进行画质优化处理后，再将处理后影像输出至显示器35显示。

而且，如图5所示，当眼球视线侦测单元32再次侦测到使用者眼球视线改变时，例如眼球视线的聚焦点P移动到显示器的靠近中央位置时，则如上所述，影像处理单元21将立即根据眼球视线侦测单元32提供的侦测结果，重新定义当下接收到的原始影像的眼球聚焦区域42及其余区域43，并对其余区域43的分辨率以及(或者)色彩深度进行适当调降之后，再传送给显示单元31，使显示单元31显示的影像中，使用者眼睛主要注视的眼球聚焦区域42的分辨率及色彩深度保持最佳，其余区域43的分辨率以及(或者)色彩深度则有限度地降低。

综上所述，上述实施例藉由设置在头戴式显示装置3的眼球视线侦测单元32，侦测使用者的眼球视线投向显示器35的位置，并提供侦测结果给影像处理单元21，使根据该侦测结果定义输入的原始影像41的眼球聚焦区域42及其余区域43，并针对其余区域43调降其分辨率及色彩深色两者其中之一，再将处理后影像传输至头戴式显示装置3的显示单元31播放，藉此，使动态影像的数据量大幅降低，而减少影像处理单元21及显示驱动器34处理动态影像的时间并减少资料传输频宽，使得处理影像数据的成本降低，达到本发明的功效与目的。

以上所述，仅为本发明较佳实施例，不能以此限定本发明实施范围，即大凡依本发明申请专利范围及专利说明书内容所作简单的等效变化与修改，仍属本发明专利涵盖范围内。

Claims (14)

1.一种头戴式显示***及影像低频宽传输方法，头戴式显示***包括主机及供使用者配戴于头部并与其双眼对应的头戴式显示装置；该方法包括：

主机的影像处理单元接收原始影像；

头戴式显示装置的眼球视线侦测单元侦测使用者的眼球视线，并将侦测结果提供给影像处理单元；

影像处理单元根据该侦测结果，定义原始影像中的眼球聚焦区域；

影像处理单元针对原始影像中眼球聚焦区域以外的其余区域进行影像处理，使其余区域的第一分辨率及第一色彩深度两者至少其中之一低于眼球聚焦区域，以产生处理后影像；

影像处理单元将处理后影像传送给头戴式显示装置的显示单元，显示处理后影像。

2.如权利要求1所述头戴式显示***及影像低频宽传输方法，其中显示单元包含显示器及显示驱动器，影像处理单元将处理后影像压缩后，传送至显示驱动器，将压缩后的处理后影像解压缩并显示于显示器。

3.如权利要求1所述头戴式显示***及影像低频宽传输方法，其中原始影像是一动态影像的其中一张影像画面资料。

4.如权利要求1所述头戴式显示***及影像低频宽传输方法，其中处理后影像中，眼球聚焦区域具有第二分辨率及第二色彩深度，且其余区域的第一分辨率低于第二分辨率，或者其余区域的第一色彩深度低于第二色彩深度，或者其余区域的第一分辨率低于第二分辨率且其余区域的第一色彩深度低于第二色彩深度。

5.如权利要求4所述头戴式显示***及影像低频宽传输方法，其中第二分辨率及第二色彩深度是影像处理器可以支持的最大解析度及最大色彩深度。

6.如权利要求2所述头戴式显示***及影像低频宽传输方法，其中影像处理单元还将处理后影像的眼球聚焦区域及其余区域的范围信息传送给显示驱动器，使显示驱动器根据范围信息，对解压缩后的处理后影像中的其余区域进行画质优化处理后，再输出至显示器显示。

7.如权利要求1至6中任一项所述头戴式显示***及影像低频宽传输方法，其中主机整合在头戴式显示装置中。

8.一种头戴式显示***，包括：

主机，包含影像处理单元，其接收原始影像；

头戴式显示装置，供使用者配戴于头部且与其双眼对应，并包含：

显示单元及眼球视线侦测单元，侦测该使用者的眼球视线，并将侦测结果提供给影像处理单元，使影像处理单元根据侦测结果，定义原始影像中的眼球聚焦区域，并针对原始影像中眼球聚焦区域以外的其余区域进行影像处理，使其余区域的第一分辨率及第一色彩深度至少其中之一低于该眼球聚焦区域，以产生处理后影像，并将处理后影像传送至显示单元，显示处理后影像。

9.如权利要求8所述的头戴式显示***，其中主机还包括与该影像处理单元电耦接的第一传输界面，且该头戴式显示装置还包括与该第一传输界面以有线或无线方式通讯的第二传输界面，且眼球视线侦测单元是经由第二传输界面及第一传输界面，将侦测结果传送给影像处理单元；而显示单元包含显示器及与该第二传输界面电耦接的显示驱动器，而且影像处理单元将处理后影像压缩后，经由第一传输界面及第二传输界面传送压缩后的处理后影像至显示驱动器，将压缩后的处理后影像解压缩并显示于显示器。

10.如权利要求8所述的头戴式显示***，其中原始影像是动态影像的其中一张影像画面资料。

11.如权利要求8所述的头戴式显示***，其中该处理后影像中，该眼球聚焦区域具有第二分辨率及第二色彩深度，而该其余区域的第一分辨率低于第二分辨率，或者其余区域的第一色彩深度低于第二色彩深度，或者其余区域的第一分辨率低于第二分辨率且其余区域的第一色彩深度低于第二色彩深度。

12.如权利要求11所述的头戴式显示***，其中第二分辨率及第二色彩深度是影像处理器可以支持的最大解析度及最大色彩深度。

13.如权利要求9所述的头戴式显示***，其中影像处理单元还将处理后影像的眼球聚焦区域及其余区域的范围信息传送给显示驱动器，使显示驱动器根据范围信息，对解压缩后的处理后影像中的其余区域进行画质优化处理后，再输出至显示器显示。

14.如权利要求8至13中任一项所述的头戴式显示***，其中主机整合在头戴式显示装置中。