CN115202475A - 显示方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开一种显示方法、装置、电子设备及计算机可读存储介质，该方法可以应用于设置有变焦透镜组的虚拟现实/增强现实设备。该方法可以包括：获取用户的人眼注视区域；然后获取该人眼注视区域的深度信息；之后可以根据人眼注视区域的深度信息确定焦距值，以及将变焦透镜组的焦距调整为该焦距值；最后可以基于该焦距值对多媒体信息进行缩放，以及显示缩放后的多媒体信息。本发明实施例，通过动态调整变焦透镜组的焦距可以解决视觉辐辏调节冲突问题。

Description

显示方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及显示技术领域，尤其涉及一种显示方法、装置、电子设备及计算机可读存储介质。

背景技术

虚拟现实(virtual reality，VR)技术是近年来新兴的多媒体技术，其利用计算机硬件、软件和传感器等，建立虚拟现实环境，使用户能够通过VR设备体验虚拟世界并与虚拟世界进行交互。

VR的显示原理是基于双目视差，通过显示屏在观察者的左右眼前分别显示同一画面不同角度的二维(two dimensions，2D)图像，通过左右眼的视差融合，产生具有一定立体效果的场景。在使用VR设备的过程中，观察者眼睛的注视区域不同，眼睛会进行辐辏调节，看近处物体时，眼睛会相对聚拢，看远处物体时，眼睛会相对分散。但是VR设备通过透镜成像的像距是固定的，显示屏发出的光线也没有深度信息，从而会导致观察者眼睛的焦距为一个固定值。而在现实世界中，人眼的辐辏调节和焦距调节是协同的，因此，如果观察者的眼睛焦距值固定，仅进行辐辏调节，会产生视觉辐辏调节冲突。

发明内容

本发明实施例公开了一种显示方法、装置、电子设备及计算机可读存储介质，用于解决视觉辐辏调节冲突问题。

第一方面公开一种显示方法，该显示方法可以应用于VR/AR(augmented reality，增强现实)设备，也可以应用于VR/AR设备中的模块(例如，芯片)，还可以应用于能实现全部或部分VR/AR设备功能的逻辑模块或软件，该VR/AR设备设置有变焦透镜组，下面以应用于VR设备为例进行描述。该方法可以包括：获取用户的人眼注视区域；获取该人眼注视区域的深度信息；根据该深度信息确定焦距值；将该变焦透镜组的焦距调整为该焦距值；基于该焦距值对多媒体信息进行缩放；显示缩放后的多媒体信息。

本发明实施例中，VR设备可以先获取用户的人眼注视区域，然后再获取人眼注视区域的深度信息，之后，VR设备可以根据该深度信息确定合适的焦距值，以及可以调整变焦透镜组的焦距为该焦距值，以便VR设备的虚拟成像与用户人眼注视区域的深度信息相匹配，从而可以保证用户眼睛的辐辏调节和焦距调节是一致的，避免视觉辐辏调节冲突问题。再之后，由于调整焦距值前后，用户看到的内容会发生变化，这种变化可能会导致人眼不适，因此，VR设备可以基于该焦距值对多媒体信息进行缩放，并且显示缩放后的多媒体信息，以便维持用户看到的内容可以不变，从而可以避免由于用户看到的内容快速变化而导致的人眼不适问题。

作为一种可能的实施方式，该获取用户的人眼注视区域包括：基于眼球追踪技术获取该用户的眼动数据；基于该眼动数据确定该用户的人眼注视区域。

本发明实施例中，VR设备可以先通过眼球追踪技术获取用户的眼动数据，之后，VR设备可以基于该眼动数据准确的确定该用户的人眼注视区域。

作为一种可能的实施方式，该获取该人眼注视区域的深度信息包括：通过即时定位与地图构建SLAM技术或者深度传感器，获取人眼注视区域的深度信息。

本发明实施例中，VR设备通过即时定位与地图构建SLAM技术或者深度传感器，可以准确的获取人眼注视区域的深度信息。

作为一种可能的实施方式，该基于该焦距值对多媒体信息进行缩放包括：基于该焦距值和物距p确定像距q，该VR/AR设备还设置有显示模块，该物距为该显示模块与该变焦透镜组之间的距离，该像距为虚拟成像位置与该变焦透镜组之间的距离；根据公式m＝p/q，计算得到缩放值m；根据该缩放值m对该多媒体信息进行缩放。

本发明实施例中，VR设备可以基于该焦距值和物距确定像距，然后基于该像距和物距确定缩放值，之后，可以根据该缩放值对该多媒体信息进行缩放，以便可以便维持用户看到的内容可以不变，提高用户体验。

作为一种可能的实施方式，该根据该缩放值对该多媒体信息进行缩放包括：在该多媒体信息为二维信息的情况下，根据该缩放值对该多媒体信息进行图层缩放或者渲染缩放；在该多媒体信息为三维信息的情况下，根据该缩放值对该多媒体信息进行视野渲染缩放。

本发明实施例中，VR设备可以针对二维信息和三维(three dimensions，3D)信息分别进行不同的缩放调整，针对二维信息，VR设备可以根据该缩放值对该多媒体信息进行图层缩放或者渲染缩放；针对三维信息，VR设备可以根据该缩放值对该多媒体信息进行视野渲染缩放。

作为一种可能的实施方式，该方法还包括：获取非注视区域的深度信息；基于该人眼注视区域和该非注视区域的深度信息，对该非注视区域的多媒体信息进行虚化处理。

本发明实施例中，VR设备还可以获取非注视区域的深度信息，之后，可以基于该人眼注视区域和该非注视区域的深度信息，对该非注视区域的多媒体信息进行虚化处理，以便可以使用户看到的画面符合真实世界的视觉效果，使画面更加真实，从而可以提高用户体验。

作为一种可能的实施方式，该基于该人眼注视区域和该非注视区域的深度信息，对该非注视区域的多媒体信息进行虚化处理，包括：基于该人眼注视区域和该非注视区域的深度信息确定深度差值；根据该深度差值确定虚化值；基于该虚化值对该非注视区域的多媒体信息进行虚化处理。

本发明实施例中，VR设备可以基于该人眼注视区域和该非注视区域的深度信息确定深度差值，之后，可以根据该深度差值确定虚化值，以便VR设备可以基于该虚化值对该非注视区域的多媒体信息进行更加准确的虚化处理。

第二方面公开一种显示装置，该显示装置可以为VR/AR设备，也可以为VR/AR设备中的模块(例如，芯片)，该VR/AR设备设置有变焦透镜组。该装置可以包括：

第一获取单元，用于获取用户的人眼注视区域；

第二获取单元，用于获取该人眼注视区域的深度信息；

确定单元，用于根据该深度信息确定焦距值；

调整单元，用于将该变焦透镜组的焦距调整为该焦距值；

缩放单元，用于基于该焦距值对多媒体信息进行缩放；

显示单元，用于显示缩放后的多媒体信息。

作为一种可能的实施方式，该第一获取单元具体用于：

基于眼球追踪技术获取该用户的眼动数据；

基于该眼动数据确定该用户的人眼注视区域。

作为一种可能的实施方式，该第二获取单元具体用于：

通过即时定位与地图构建SLAM技术或者深度传感器，获取人眼注视区域的深度信息。

作为一种可能的实施方式，该缩放单元基于该焦距值对多媒体信息进行缩放包括：

基于该焦距值和物距p确定像距q，该VR/AR设备还设置有显示模块，该物距为该显示模块与该变焦透镜组之间的距离，该像距为虚拟成像位置与该变焦透镜组之间的距离；

根据公式m＝p/q，计算得到缩放值m；

根据该缩放值m对该多媒体信息进行缩放。

作为一种可能的实施方式，该缩放单元根据该缩放值对该多媒体信息进行缩放包括：

在该多媒体信息为二维信息的情况下，根据该缩放值对该多媒体信息进行图层缩放或者渲染缩放；

在该多媒体信息为三维信息的情况下，根据该缩放值对该多媒体信息进行视野渲染缩放。

作为一种可能的实施方式，该显示装置还可以包括：

第三获取单元，用于获取非注视区域的深度信息；

处理单元，用于基于该人眼注视区域和该非注视区域的深度信息，对该非注视区域的多媒体信息进行虚化处理。

作为一种可能的实施方式，该处理单元基于该人眼注视区域和该非注视区域的深度信息，对该非注视区域的多媒体信息进行虚化处理，包括：

基于该人眼注视区域和该非注视区域的深度信息确定深度差值；

根据该深度差值确定虚化值；

基于该虚化值对该非注视区域的多媒体信息进行虚化处理。

第三方面公开一种电子设备，该电子设备可以为VR/AR设备，也可以为VR/AR设备中的模块(例如，芯片)，该电子设备可以包括：显示模块、处理器和存储器。其中，上述显示模块用于显示内容，上述存储器用于存储计算机程序，上述处理器用于调用上述计算机程序。当该处理器执行该存储器存储的计算机程序时，使得该处理器执行第一方面或第一方面的任一实施方式公开的显示方法。

第四方面公开一种电子设备，该电子设备可以为VR/AR设备，也可以为VR/AR设备中的模块(例如，芯片)，该电子设备可以包括：眼球追踪模块、深度信息模块、调节模块、显示模块和处理器。其中，上述眼球追踪模块，用于获取用户的人眼注视区域；上述深度信息模块，用于获取该人眼注视区域的深度信息；上述处理器，用于根据该深度信息确定焦距值；上述调节模块，用于将该变焦透镜组的焦距调整为该焦距值；上述处理器，还用于基于该焦距值对多媒体信息进行缩放；上述显示模块，用于显示缩放后的多媒体信息。

第五方面公开一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序或计算机指令，当该计算机程序或计算机指令运行时，实现如上述各方面公开的显示方法。

第六方面公开一种芯片，包括处理器，用于执行存储器中存储的程序，当程序被执行时，使得芯片执行上面的方法。

作为一种可能的实施方式，存储器位于芯片之外。

第七方面公开一种计算机程序产品，该计算机程序产品包括计算机程序代码，当该计算机程序代码被运行时，使得上述显示方法被执行。

可以理解地，上述第二方面提供的显示装置、第三方面提供的电子设备、第四方面提供的电子设备、第五方面提供的计算机可读存储介质、第六方面提供的芯片和第七方面提供的计算机程序产品均用于执行本申请第一方面以及第一方面中任一可能的实现方式所提供的显示方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1是本发明实施例公开的一种显示方法的流程示意图；

图2是本发明实施例公开的一种视野渲染缩放的示意图；

图3A-3C是本发明实施例公开的一种多媒体信息缩放的示意图；

图4A-4D是本发明实施例公开的另一种多媒体信息缩放的示意图；

图5是本发明实施例公开的一种显示装置的结构示意图；

图6是本发明实施例公开的一种电子设备的结构示意图；

图7是本申请实施例公开的另一种电子设备的结构示意图。

具体实施方式

本发明实施例公开了一种显示方法、装置、电子设备及计算机可读存储介质，用于解决视觉辐辏调节冲突问题。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或者特性可以包含在本实施例申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是相同的实施例，也不是与其它实施例互斥的独立的或是备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及所述附图中术语“第一”、“第二”、“第三”等是区别于不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元，或者可选地，还包括没有列出的步骤或单元，或者可选地还包括这些过程、方法、产品或设备固有的其它步骤或单元。

附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在本说明书中使用的术语“部件”、“模块”、“***”、“单元”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件或执行中的软件。例如，单元可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或分布在两个或多个计算机之间。此外，这些单元可从在上面存储有各种数据结构的各种计算机可读介质执行。单元可例如根据具有一个或多个数据分组(例如来自与本地***、分布式***和/或网络间的另一单元交互的第二单元数据。例如，通过信号与其它***交互的互联网)的信号通过本地和/或远程进程来通信。

为了更好地理解本发明实施例，下面先对本发明实施例的部分用语和相关技术进行描述。

增强现实技术是一种将虚拟信息与真实世界融合的技术，其涉及多媒体、三维建模、实时跟踪及注册、智能交互、传感器等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，从而实现对真实世界的“增强”。

在现实世界中，人为了看清目标，首先要调节两个眼球，将两眼的视线移动至目标的方向(即辐辏聚焦调节)。当看近处的目标时，眼球会相对聚拢，看远处物体时，眼球会相对分散。之后，为了可以看清目标，还需要将眼球调节至正确的焦距(即焦距调节)。可见，用户在现实世界观察一个目标的过程中，眼睛的焦距调节和辐辏调节是相互协同的。

目前的AR和VR显示技术，主要是采用了立体显示原理。立体显示原理是基于双目视差，通过左右眼的视觉融合，产生具有一定立体效果的场景。基于立体显示原理，VR设备和AR设备主要包括显示屏和透镜，通过透镜进行虚拟成像，以便在观察者或者用户的左眼和右眼之前分别显示有视差的2D图像，通过左右眼的视差融合，形成3D视感。但由于显示屏和透镜的位置是固定的，并且透镜的焦距是固定的，因此用户左眼和右眼所观察的2D图像的像距也是固定，同时显示屏发出的光线也没有深度信息，因此，用户眼睛的焦距会定在一个固定值上(即用户眼睛的屈光度不会发生变化)。因此，无论用户在VR世界(即虚拟世界)中看向何方，用户眼睛的屈光度都不会改变，即不会进行屈光度的调节。与之不同的是，当用户看向VR世界中不同距离的目标时，用户眼睛会发生辐辏调节。因此，用户的眼睛存在视觉辐辏调节冲突(vergence accommodation conflict，VAC)的问题，即用户眼睛的屈光度调节和辐辏调节不匹配。在用户长时间使用VR/AR设备的情况下，视觉辐辏调节冲突容易导致用户产生眼睛疲劳、恶心、头晕等问题。

目前，为了解决视觉辐辏调节冲突问题，可以在VR/AR设备上采用可变焦透镜组，通过动态地调节可变焦透镜组的焦距改变VR虚拟成像的像距，可以使眼睛的焦点调节与双目辐辏调节相匹配，提高用户体验。但与此同时，在对可变焦透镜组的焦距进行动态调整时，会导致用户左右眼观察到的视野无法自然匹配，观察到的显示画面会发生变换。具体地，可变焦透镜组的屈光度改变(即焦距改变)会导致用户视野发生改变，以及VR虚拟成像的像距发生改变。在VR世界中，针对近处的画面(即近景)，可变焦透镜组的焦距改变之后会导致近景视野变小而视野中的物体放大；而针对远处的画面(即远景)，可变焦透镜组的焦距改变之后会导致远景视野变广而视野中的物体变小。与此同时，可变焦透镜焦距快速的改变会导致用户看到的画面快速切换(即视野变化以及视野中的目标的大小变化)，会导致用户眼睛不适，影响用户体验。

本发明实施例提供的显示方法可以由VR/AR设备执行，下面将VR/AR设备统称为电子设备进行说明。电子设备可以包括图像处理设备和头戴显示设备(如VR眼镜或VR头盔)，头戴显示设备可以包括变焦透镜组、传感器模块和显示模块。其中，传感器模块用于采集数据，采集的数据可以包括但不限于图像数据、角度数据、方位数据等。应理解，传感器模块可以包括但不限于图像传感器、摄像头、加速度计、距离传感器、陀螺仪、光线传感器、温度传感器、心率传感器、计步器、麦克风等。上述图像处理设备可以是智能手机、平板电脑、笔记本电脑等。图像处理设备与头戴显示设备可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例在此不做限制。

请参阅图1，图1是本发明实施例公开的一种显示方法的流程示意图。如图1所示，该显示方法可以包括以下步骤。

101.获取用户的人眼注视区域。

为了动态地调节变焦透镜组的焦距，使用户眼睛的焦点调节(即焦距调节)与双目辐辏调节(即辐辏调节)相匹配，用户在使用电子设备的过程中，电子设备可以实时获取用户的人眼注视区域。人眼注视区域为用户的眼睛视线在显示模块上对应的区域。

电子设备可以基于眼球追踪技术获取用户的眼动数据，基于该眼动数据确定用户的人眼注视区域。具体地，电子设备可以通过眼球追踪技术跟踪记录用户眼睛的运动状态，得到用户的眼动数据，该眼动数据可以包括用户眼睛注视点的位置坐标、停留时间、瞳孔直径、虹膜角度变化等。其中，电子设备可以将显示模块上用户眼睛停留时间超过一定阈值的位置识别为一个注视点，例如，可以将注视时间超过20ms的位置识别为一个注视点。

电子设备可以基于用户眼睛注视点的位置坐标确定用户的人眼注视区域。电子设备确定用户的人眼注视区域可以有不同的方式，一种方式为：电子设备可以直接将用户眼睛注视点的位置坐标对应的位置确定为人眼注视区域。另一种方式为：电子设备可以基于用户眼睛注视点的位置坐标确定一个区域范围，例如，可以将用户眼睛注视点的位置坐标作为圆心，以一个固定的半径(如2毫米)取得一个圆，将该圆的区域确定为用户的人眼注视区域。又一种方式为：电子设备可以将显示模块预先划分为多个区域，之后，电子设备可以将用户眼睛注视点的位置所在的区域确定为用户的人眼注视区域。

应理解，电子设备可以设置有眼球追踪装置(如眼动仪)，可以通过眼球追踪装置获取用户眼睛的运动状态。

102.获取该人眼注视区域的深度信息。

电子设备获取用户的人眼注视区域之后，可以进一步获取该人眼注视区域的深度信息。人眼注视区域的深度信息可以理解为人眼注视区域的多媒体信息的距离信息。人眼注视区域的多媒体信息的距离信息也即是人眼注视区域的多媒体信息对应的像距，该像距为该人眼注视区域的多媒体信息应该满足的VR成像像距。在VR世界中，不同距离的目标可以拥有不同的深度(即距离)。例如，VR世界中呈现的远处的山，其深度相对较大(即距离人眼的距离相对较远)，而对于近处的物体，其深度相对较小(即距离人眼的距离相对较近)。多媒体信息可以为图像、视频等，本发明实施例在此不作限定。

电子设备可以通过即时定位与地图构建(simultaneous localization andmapping，SLAM)技术或者深度传感器，获取人眼注视区域的深度信息。电子设备也可以根据深度信息表确定人眼注视区域的深度信息。具体地，显示模块上显示的多媒体信息可以对应有深度信息表。以一张图像为例，其可以包括有多个像素点，其中每一个像素点可以对应有一个深度，或者相邻多个像素点(如2*2的像素块)可以对应有一个深度。因此，电子设备可以根据当前显示的多媒体信息对应的深度信息表得到该人眼注视区域的深度。例如，人眼注视区域可以包括X个像素点，假设一个像素点对应有一个深度，电子设备可以将该X个像素点的平均深度确定为人眼注视区域的深度信息。

103.根据该深度信息确定焦距值。

电子设备获取该人眼注视区域的深度信息之后，为了调节变焦透镜组的焦距，使用户眼睛的焦点调节与双目辐辏调节相匹配，电子设备可以根据用户所注视的区域的深度信息，确定焦距值。

具体地，VR通过变焦透镜组成像的像距与人眼注视区域的深度信息应该匹配(即VR成像像距与人眼注视区域的多媒体信息对应的像距应该相同)，因此，电子设备可以根据人眼注视区域的深度信息确定VR成像应该满足的像距。之后，电子设备可以根据透镜成像公式(即高斯成像公式)确定满足该像距时变焦透镜组应该达到的焦距。电子设备可以将人眼注视区域的深度确定为VR成像应该满足的像距，然后根据该像距确定变焦透镜组应该满足的焦距值。

104.将变焦透镜组的焦距调整为该焦距值。

电子设备确定变焦透镜组应该满足的焦距值之后，电子设备可以将变焦透镜组的焦距调整为该焦距值。应理解，调整变焦透镜组的焦距可以等同于调节变焦透镜组的屈光度。

需要说明的是，变焦透镜组可以包括主透镜和可变焦透镜，电子设备调整变焦透镜组的焦距也即是调整可变焦透镜的焦距。可变焦透镜可以包括任何合适的透镜，例如玻璃透镜、聚合物透镜、液体透镜、液晶透镜、电致形变透镜或它们的某种组合。可变焦透镜可以调节从显示模块发射的光的方向，使得从显示模块发射的光出现在离用户特定的焦距/像平面处。在一些实施例中，可变焦透镜可以包括液晶透镜，液晶透镜可以较快地调节光焦度，从而可以跟上眼睛调节速度，进而可以解决视觉辐辏调节冲突，提升用户体验。需要说明的是，变焦透镜组中的主透镜和可变焦透镜可以平行且共光轴。

105.基于该焦距值对多媒体信息进行缩放。

电子设备调整变焦透镜组的焦距之后，为了保持用户看到的画面内容不变，电子设备可以基于该焦距值对多媒体信息进行缩放。

具体地，电子设备可以基于该焦距值和物距确定缩放值，根据该缩放值对多媒体信息进行缩放。物距为显示模块与变焦透镜组之间的距离。其中，缩放值m的计算公式可以如下公式(1)所示。

m＝p/q(1)

其中，p为物距(即显示模块与变焦透镜组之间的距离)，q为像距(即虚拟成像位置与变焦透镜组之间的距离)。

电子设备可以基于变焦透镜组的焦距和物距确定VR成像的像距，即上述公式(1)中的q。应理解，显示模块与变焦透镜组之间的距离可以是不变的(即上述p是不变的)，因此，当变焦透镜组的焦距改变时，仅有VR成像的像距会发生改变。

需要说明的是，电子设备基于该焦距值和物距确定的缩放值是针对于原始多媒体信息的缩放值(如一张图像长度和宽度的缩放值)，原始多媒体信息可以理解为未进行缩放的多媒体信息。

显示模块显示的多媒体信息可以为二维信息或三维信息。不同的多媒体信息可以采用不同的缩放方式，在该多媒体信息为二维信息的情况下，电子设备可以根据缩放值对该多媒体信息进行图层缩放或者渲染缩放。在该多媒体信息为三维信息的情况下，电子设备可以根据缩放值对该多媒体信息进行视野渲染缩放。

图层缩放是指直接改变要输出至显示模块上的图层大小，从而可以相应的改变多媒体信息的大小。图层缩放可以直接由电子设备的处理器底层直接进行处理，不需要通过用户的程序进行设定，处理速度较快。但是，在将图层放大时，如果多媒体信息超出显示区域阈值(也即是多媒体信息的大小超过显示模块能够显示的最大尺寸)，电子设备仍然会对超出显示范围的区域进行渲染。

渲染缩放是将整个显示模块的显示区域当成一块画布，当多媒体信息进行缩放时(如一张图像进行放大或缩小)，如果多媒体信息的大小超出显示区域阈值，仅会针对用户的人眼注视区域渲染对应的多媒体信息，对超出显示范围的区域不会进行渲染。如果多媒体信息的大小未超出显示区域阈值，则会显示完整的多媒体信息。渲染缩放需要由电子设备应用层的程序进行处理。

视野渲染缩放是指依据不同的视野进行画面渲染(即3维多媒体信息的渲染)。3维的多媒体信息可以具有完整环境的建模，因此，采用视野渲染缩放的方式可以在原始环境建模的基础上进行视野渲染缩放。请参见图2，图2是本发明实施例公开的一种视野渲染缩放的示意图。如图2所示，由于3维的多媒体信息具有完整的环境建模，因此，视野渲染缩放可以包括三个X、Y、Z三个维度的缩放，可以使进行视野渲染缩放之后的3维的多媒体信息也具有完整的环境建模。

需要说明的是，电子设备也可以基于深度信息对多媒体信息进行缩放。因此，可以理解的是，电子设备调整变焦透镜组的焦距和电子设备对多媒体信息进行缩放这两个步骤可以同时进行，也即是电子设备得到深度信息之后，在执行上述步骤103和步骤104的同时，可以基于深度信息对多媒体信息进行缩放。

106.显示缩放后的多媒体信息。

电子设备基于焦距值对多媒体信息进行缩放之后，可以通过显示模块显示缩放后的多媒体信息。显示模块可以为电子显示器，电子显示器可以包括单个电子显示器或多个电子显示器(例如，可以包括两个电子显示器，分别位于用户的左眼和右眼之前)。电子显示器可以包括液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic lightemitting diode，OLED)显示屏、有源矩阵有机发光二极管显示屏(active matrix organiclight emitting diode，AMOLED)、透明有机发光二极管显示屏、投影仪或它们的组合。

请参阅图3A-图3C，图3A-图3C是本发明实施例公开的一种多媒体信息缩放的示意图。如图3A所示，显示屏能够显示画面的最大宽度为x，最大高度为y。原始多媒体信息可以为一张图像或者一帧视频帧，其在显示屏上显示的原始画面的宽度和高度分别为x1和y1，x1<x，y1<y。在对变焦透镜组的焦距调节之前，变焦透镜组的焦距可以为f1，此时用户看到的画面可以为原始画面，即用户可视范围的高度和宽度分别为x1和y1。之后，假设变焦透镜组的焦距调整为了f2，此时用户的可视范围缩小为x2*y2。x2<x1，y2<y1。如果不对显示屏显示的画面进行调整，用户看到的画面会发生变化，如图3B所示，用户仅能看到原始画面的部分画面，且在VR世界中看到的物品会相应的放大或缩小。因此，电子设备可以根据用户可视范围的变化相应的对多媒体信息进行缩放(即基于变焦透镜组的焦距值确定缩放值，根据缩放值对多媒体信息进行缩放)，如图3C所示，可以将原始画面的长度和宽度等比例缩放为x2和y2，此时用户可视范围也为x2*y2，从而可以保证在变焦透镜组焦距调节前后，用户看到的画面内容不变(即图3A和图3C中用户可视范围区域的画面内容相同)，提高用户体验。应理解，图3C所示的缩放可以为图层缩放，即将原始图层由x1*y1缩放为x2*y2，也可以为渲染缩放。

请再参阅图4A-图4D，图4A-图4D是本发明实施例公开的另一种多媒体信息缩放的示意图。如图4A所示，原始画面的宽度和高度可以为x和y4，其宽度等于显示屏能够显示画面的最大宽度，其高度y4小于显示屏能够显示画面的最大高度y。在对变焦透镜组的焦距调节之前，变焦透镜组的焦距可以为f3，此时用户可视范围的高度和宽度分别为x3和y3，用户看到的画面可以为原始画面的一部分。x3<x，y3<y4。之后，假设变焦透镜组的焦距调整为了f4，此时用户的可视范围变大为x5*y5，x5>x3，y5>y3。如果不对显示屏显示的画面进行调整，用户看到的画面会发生变化，如图4B所示，用户可以看到更大的画面，且在VR世界中看到的物品会相应的放大或缩小。因此，电子设备可以基于变焦透镜组的焦距确定缩放值，根据缩放值可以确定需要将原始画面放大为x6*y。如图4C所示，电子设备可以通过图层缩放的方式将原始多媒体信息放大为x6*y，即将原始图层由x*y4放大为x6*y，此时用户可以看到的画面内容与焦距改变之前看到的内容相同(即图4A和图4C中用户可视范围区域的画面内容相同)。从图4C可见，电子设备进行图层缩放时，图层大小(x*y4)大于显示屏能够显示的最大画面(x*y)，电子设备会对超出显示范围的区域进行渲染，但显示屏上不能显示。电子设备也可以通过渲染缩放的方式对多媒体信息进行缩放，如图4D所示，相较于图层缩放，渲染缩放时电子设备对超出显示范围的区域不会进行渲染，仅会渲染x*y的画面。

应理解，上述图3A-图4D所示的多媒体信息缩放只是示例性说明，并不对其构成限定。

可选地，电子设备还可以获取非注视区域的深度信息，基于人眼注视区域和非注视区域的深度信息，对非注视区域的多媒体信息进行虚化处理。电子设备对非注视区域的多媒体信息进行虚化处理，可以更加真实的模拟用户在现实世界的观察体验，从而可以提高用户的观看舒适度。

具体地，电子设备可以基于人眼注视区域和非注视区域的深度信息确定深度差值(也即是确定人眼注视区域和非注视区域的深度差值)，之后，电子设备可以根据该深度差值确定虚化值，以及可以基于该虚化值对非注视区域的多媒体信息进行虚化处理。其中，一个深度差值可以对应一个虚化值，深度差值越大，对应的虚化值可以越大，深度差值越小，对应的虚化值可以越小。电子设备对非注视区域进行虚化处理的一种方式为：电子设备将非注视区域划分为多个非注视区域块，计算每个非注视区域块与人眼注视区域之间的深度差值，得到每个非注视区域块对应的深度差值，之后，电子设备可以根据每个非注视区域块对应的深度差值确定每个非注视区域块对应的虚化值，再之后，电子设备可以根据每个非注视区域块对应的虚化值分别进行虚化处理。

应理解，电子设备确定虚化值时，还可以考虑人眼注视区域的深度信息，也即是电子设备可以根据人眼注视区域的深度信息和深度差值，确定非注视区域的虚化值，可以更加准确的确定虚化值。

本发明实施例中，电子设备可以设置有变焦透镜组，可以通过调整变焦透镜组的焦距改善视觉辐辏调节冲突，同时，在此基础上，电子设备还可以多媒体信息进行缩放，以维持变焦透镜组的焦距调节前后用户看到的画面不变，从而可以减轻用户的用眼疲劳，提高用户使用体验。此外，电子设备还可以对人眼非注视区域进行虚化处理，以便可以更加真实的模拟用户在现实世界的观察体验。

应理解，图1中以VR/AR设备(即上述电子设备)作为执行主体为例来示意该显示方法，但本申请并不限制该显示方法的执行主体。例如，图1中的VR/AR设备也可以是支持该VR/AR设备实现该方法的芯片、芯片***、或处理器，还可以是能实现全部或部分VR/AR设备功能的逻辑模块或软件。

请参阅图5，图5是本发明实施例公开的一种显示装置的结构示意图。其中，该显示装置可以为VR/AR设备，也可以为VR/AR设备中的模块(例如，芯片)，该VR/AR设备设置有变焦透镜组。如图5所示，该装置可以包括：

第一获取单元501，用于获取用户的人眼注视区域；

第二获取单元502，用于获取该人眼注视区域的深度信息；

确定单元503，用于根据该深度信息确定焦距值；

调整单元504，用于将该变焦透镜组的焦距调整为该焦距值；

缩放单元505，用于基于该焦距值对多媒体信息进行缩放；

显示单元506，用于显示缩放后的多媒体信息。

在一个实施例中，该第一获取单元501具体用于：

基于眼球追踪技术获取该用户的眼动数据；

基于该眼动数据确定该用户的人眼注视区域。

在一个实施例中，该第二获取单元502具体用于：

通过SLAM技术或者深度传感器，获取人眼注视区域的深度信息。

在一个实施例中，该缩放单元505基于该焦距值对多媒体信息进行缩放包括：

基于该焦距值和物距p确定像距q，该VR/AR设备还设置有显示模块，该物距为该显示模块与该变焦透镜组之间的距离，该像距为虚拟成像位置与该变焦透镜组之间的距离；

根据公式m＝p/q，计算得到缩放值m；

根据该缩放值m对该多媒体信息进行缩放。

在一个实施例中，该缩放单元505根据该缩放值对该多媒体信息进行缩放包括：

在该多媒体信息为二维信息的情况下，根据该缩放值对该多媒体信息进行图层缩放或者渲染缩放；

在该多媒体信息为三维信息的情况下，根据该缩放值对该多媒体信息进行视野渲染缩放。

在一个实施例中，该显示装置还可以包括：

第三获取单元507，用于获取非注视区域的深度信息；

处理单元508，用于基于该人眼注视区域和该非注视区域的深度信息，对该非注视区域的多媒体信息进行虚化处理。

在一个实施例中，该处理单元508基于该人眼注视区域和该非注视区域的深度信息，对该非注视区域的多媒体信息进行虚化处理，包括：

基于该人眼注视区域和该非注视区域的深度信息确定深度差值；

根据该深度差值确定虚化值；

基于该虚化值对该非注视区域的多媒体信息进行虚化处理。

有关上述第一获取单元501、第二获取单元502、确定单元503、调整单元504、缩放单元505、显示单元506、第三获取单元507以及处理单元508更详细的描述可以直接参考上述图1所示的方法实施例中的相关描述直接得到，这里不加赘述。

请参阅图6，图6是本发明实施例公开的一种电子设备的结构示意图。其中，该电子设备可以为VR/AR设备，也可以为VR/AR设备中的模块(例如，芯片)，该VR/AR设备设置有变焦透镜组。如图6所示，该电子设备可以包括有眼球追踪模块、深度信息模块、调节模块、显示模块以及处理器。同时，眼球追踪模块、深度信息模块、调节模块和显示模块可以分别与处理器相连。

其中，上述眼球追踪模块可以用于获取用户人眼的眼动数据，以及可以通过眼动数据获取用户的人眼注视区域(即执行上述步骤101)。上述处理器可以通过深度信息模块获取该人眼注视区域的深度信息(即执行上述步骤102)。之后，处理器还可以基于该深度信息确定焦距值(即执行上述步骤103)。再之后，处理器可以通过调节模块调整变焦透镜组的焦距为该焦距值(即执行上述步骤104)。然后，处理器可以基于深度信息或者焦距值对多媒体信息进行缩放，并通过显示模块显示缩放后的多媒体信息(即执行上述步骤105和106)。

在一些实施例中，眼球追踪模块获取用户人眼的眼动数据之后，可以将该眼动数据发送给处理器，之后，处理器可以通过眼动数据获取用户的人眼注视区域。

可选地，上述眼球追踪模块可以为眼动仪，上述深度信息模块可以为SLAM模块或者深度传感器，上述显示模块可以为电子显示器。在一个实施例中，电子设备可以包括头戴显示设备(如VR眼镜或VR头盔)，眼球追踪模块、深度信息模块、调节模块和显示模块可以设置于该头戴显示设备内。

在一些实施例中，上述电子设备还可以包括相机模块(如摄像头)，相机模块可以实时捕捉周围环境的图片或视频。上述电子设备还可以包括位置传感器，例如一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计或者它们的组合。在一个实施例中，位置传感器可以包括用于测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、横滚)的多个陀螺仪。可选地，上述电子设备还可以包括至少一个存储器。

有关上述眼球追踪模块、深度信息模块、调节模块、显示模块以及处理器更详细的描述可以直接参考上述图1所示的方法实施例中电子设备的相关描述直接得到，这里不加赘述。

请参阅图7，图7是本申请实施例公开的另一种电子设备的结构示意图，该电子设备可以为VR/AR设备，也可以为VR/AR设备中的模块(例如，芯片)。如图7所示，该电子设备700可以包括：至少一个处理器701，例如中央处理器(central processing unit，CPU)，至少一个存储器705，至少一个通信总线702。可选地，该电子设备700还可以包括至少一个网络接口704，用户接口703，显示模块706。其中，通信总线702用于实现这些组件之间的连接通信。可选地，用户接口703可以包括手持设备、键盘(keyboard)，网络接口704可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)。存储器705可以是高速随机存取存储器(random access memory，RAM)存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。可选地，存储器705还可以是至少一个位于远离前述处理器701的存储装置。如图7所示，作为一种计算机存储介质的存储器705可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。

在图7所示的电子设备700中，网络接口704可提供网络通讯功能；用户接口703主要用于为用户提供输入的接口。

在一个实施例中，处理器701可以用于调用存储器705中存储的设备控制应用程序，可以实现：

获取用户的人眼注视区域；获取该人眼注视区域的深度信息；根据该深度信息确定焦距值；将该变焦透镜组的焦距调整为该焦距值；基于该焦距值对多媒体信息进行缩放；显示缩放后的多媒体信息。

应当理解，本申请实施例中所描述的电子设备700可以用于执行上述图1方法实施例中电子设备执行的方法，可以直接参考相关描述，在此不再详细赘述。

本发明实施例还公开一种计算机可读存储介质，其上存储有指令，该指令被执行时执行上述方法实施例中的方法。

本发明实施例还公开一种包括指令的计算机程序产品，该指令被执行时执行上述方法实施例中的方法。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (10)

1.一种显示方法，其特征在于，所述方法应用于虚拟现实/增强现实设备，所述设备设置有变焦透镜组，所述方法包括：

获取用户的人眼注视区域；

获取所述人眼注视区域的深度信息；

根据所述深度信息确定焦距值；

将所述变焦透镜组的焦距调整为所述焦距值；

基于所述焦距值对多媒体信息进行缩放；

显示缩放后的多媒体信息。

2.根据权利要求1所述的方法，其特征在于，所述获取用户的人眼注视区域包括：

基于眼球追踪技术获取所述用户的眼动数据；

基于所述眼动数据确定所述用户的人眼注视区域。

3.根据权利要求1所述的方法，其特征在于，所述获取所述人眼注视区域的深度信息包括：

通过即时定位与地图构建SLAM技术或者深度传感器，获取人眼注视区域的深度信息。

4.根据权利要求1所述的方法，其特征在于，所述基于所述焦距值对多媒体信息进行缩放包括：

基于所述焦距值和物距p确定像距q，所述VR/AR设备还设置有显示模块，所述物距为所述显示模块与所述变焦透镜组之间的距离，所述像距为虚拟成像位置与所述变焦透镜组之间的距离；

根据公式m＝p/q，计算得到缩放值m；

根据所述缩放值m对所述多媒体信息进行缩放。

5.根据权利要求4所述的方法，其特征在于，所述根据所述缩放值对所述多媒体信息进行缩放包括：

在所述多媒体信息为二维信息的情况下，根据所述缩放值对所述多媒体信息进行图层缩放或者渲染缩放；

在所述多媒体信息为三维信息的情况下，根据所述缩放值对所述多媒体信息进行视野渲染缩放。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

获取非注视区域的深度信息；

基于所述人眼注视区域和所述非注视区域的深度信息，对所述非注视区域的多媒体信息进行虚化处理。

7.根据权利要求6所述的方法，其特征在于，所述基于所述人眼注视区域和所述非注视区域的深度信息，对所述非注视区域的多媒体信息进行虚化处理，包括：

基于所述人眼注视区域和所述非注视区域的深度信息确定深度差值；

根据所述深度差值确定虚化值；

基于所述虚化值对所述非注视区域的多媒体信息进行虚化处理。

8.一种显示装置，其特征在于，所述装置为虚拟现实VR/增强现实AR设备或者VR/AR设备中的模块，所述VR/AR设备设置有变焦透镜组，所述装置包括：

第一获取单元，用于获取用户的人眼注视区域；

第二获取单元，用于获取所述人眼注视区域的深度信息；

确定单元，用于根据所述深度信息确定焦距值；

调整单元，用于将所述变焦透镜组的焦距调整为所述焦距值；

缩放单元，用于基于所述焦距值对多媒体信息进行缩放；

显示单元，用于显示缩放后的多媒体信息。

9.一种电子设备，其特征在于，包括：眼球追踪模块、深度信息模块、调节模块、显示模块和处理器；其中：

所述眼球追踪模块，用于获取用户的人眼注视区域；

所述深度信息模块，用于获取所述人眼注视区域的深度信息；

所述处理器，用于根据所述深度信息确定焦距值；

所述调节模块，用于将所述变焦透镜组的焦距调整为所述焦距值；

所述处理器，还用于基于所述焦距值对多媒体信息进行缩放；

所述显示模块，用于显示缩放后的多媒体信息。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或计算机指令，当所述计算机程序或计算机指令被运行时，实现如权利要求1-7任一项所述的方法。

Images