CN106444042A - 一种增强现实与虚拟现实两用显示设备和可穿戴设备 - Google Patents

Abstract

本发明实施例涉及一种增强现实与虚拟现实两用显示设备和可穿戴设备，包括：包括预定的光路；所述光路上顺序设置有虚拟图像显示源、透镜组和分束镜；所述透镜组和所述分束镜在同一光轴上；所述虚拟图像显示源根据现实场景信息生成虚拟图像，所述虚拟图像的光线经过所述透镜组后入射所述分束镜；所述分束镜将所述现实场景光线和所述虚拟图像的光线汇聚成增强现实图像在预定方向出射。本发明通过设定特定的光路，利用同一图像显示设备实现同时满足高沉浸感的虚拟现实和注重交互的增强现实的显示功能，有效降低了设备成本，可以利用现有的设备直接实现，并且可以重复使用，具有超大视场角。

Description

一种增强现实与虚拟现实两用显示设备和可穿戴设备

技术领域

本发明实施例涉及虚拟现实与增强现实技术领域，具体涉及一种增强现实与虚拟现实两用显示设备和可穿戴设备。

背景技术

本部分向读者介绍可能与本发明的各个方面相关的背景技术，相信能够向读者提供有用的背景信息，从而有助于读者更好地理解本发明的各个方面。因此，可以理解，本部分的说明是用于上述目的，而并非构成对现有技术的承认。

增强现实技术(Augmented Reality，简称AR技术)是一种利用计算机生成虚拟物体，并通过计算机图形学技术计算真实世界与虚拟世界对应关系，从而将生成的虚拟物体正确的叠加到真实世界中，把原本在真实世界一定时间和空间难以直接展示的物体进行展示的一项技术。虚拟现实(Virtual Reality，简称VR)技术是一种利用计算机生成模拟环境，从视觉、听觉、触觉方面创建和体验虚拟世界的沉浸式计算机仿真***。

增强现实技术的关键特点是虚实结合、实时交互和三维注册。虚拟现实的关键特点是沉浸感和交互性。二者的相同点都是利用计算机图形学和可视化技术生成现实世界中并不存在的虚拟物体，并与之交互。虚拟现实的重点在于营造完全隔离真实世界的高沉浸感虚拟环境，增强现实的重点在于通过计算机图形学和传感技术将虚拟物体准确的叠加到现实世界中并实现虚实交互。由于二者技术侧重点不同，现有的增强现实与虚拟现实技术往往通过不同的显示设备来实现。

现有的增强现实设备Google Glass、HoloLens、Meta2、Atheer One通过利用不同方案的光学***，结合计算机技术，最终实现虚拟场景与真实场景的准确叠加与显示。现有的分离式虚拟现实显示设备如Oculus、HTC Vive、Play Station VR，通过利用高性能计算机对虚拟现实场景进行渲染并利用独立的屏幕实现高沉浸感显示。结合智能手机使用的虚拟现实设备如Cardboard、暴风魔镜、Gear VR都是通过利用智能手机对虚拟场景进行渲染生成高沉浸感的虚拟环境。以上所述设备，无论是虚拟现实设备还是增强现实设备都只能进行单纯的虚拟现实显示或者增强现实显示，目前并没有一款设备能够将二者结合，同时实现虚拟现实与增强现实显示效果。

发明内容

要解决的技术问题是如何同时实现增强现实和虚拟现实功能。

针对现有技术中的缺陷，本发明实施例提供一种便携式增强现实和虚拟现实可穿戴显示设备，可以同时实现增强现实和虚拟现实显示。

第一方面，本发明实施例提供了一种同时实现增强现实与虚拟现实功能的便携式显示设备，包括预定的光路；

所述光路上顺序设置有虚拟图像显示源、透镜组和分束镜；

所述透镜组和所述分束镜在同一光轴上；

所述虚拟图像显示源根据现实场景信息生成虚拟图像，所述虚拟图像的光线经过所述透镜组后入射所述分束镜；

所述分束镜将所述现实场景光线和所述虚拟图像的光线汇聚成增强现实图像在预定方向出射。

可选地，所述虚拟图像显示源包括场景信息采集单元、处理器和显示单元；

所述场景信息采集单元采集现实场景信息；

所述处理器根据所述采集到的现实场景信息进行计算处理并确定虚拟图像的位置；

所述处理器根据所述虚拟图像的位置生成虚拟图像数据并输出至显示单元；

所述显示单元根据所述虚拟图像数据显示虚拟图像。

可选地，所述虚拟图像显示源还包括设置在所述光路上的光线反射装置；

所述显示单元出射的光线经所述光线反射装置反射后入射所述透镜组。

可选地，所述光线反射装置的反射面与所述光轴的夹角为1°-90°。

可选地，所述显示单元的光出射方向与所述光轴的夹角为0°-90°。

可选地，所述分束镜与所述光轴的夹角为0°-90°。

可选地，所述分束镜与所述透镜组夹角为0°-180°。

可选地，虚拟图像显示源的出光面与所述透镜组之间的距离小于所述透镜组的焦距。

可选地，所述虚拟图像显示源为智能手机；

所述智能手机的处理器根据所述智能手机的摄像机采集到的现实场景信息和所述智能手机的惯性感测装置感测到的方位变化数据调整所述虚拟图像数据，将调整后的虚拟图像数据输出。

另一方面，本发明还提供一种可穿戴设备，包括上述的增强现实与虚拟现实两用显示设备。

由上述技术方案可知，本发明实施例提供的增强现实与虚拟现实两用显示设备和可穿戴设备，通过设定特定的光路，利用同一图像显示设备同时实现满足高沉浸感的虚拟现实和注重交互的增强现实的显示功能，有效降低了设备成本，可以利用现有的设备直接实现，并且可以重复使用。本发明提供的增强现实与虚拟现实显示设备具有超大视场角，能够同时满足增强现实与虚拟现实显示要求，可以实现双目三维立体显示。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例中一种增强现实与虚拟现实显示设备结构示意图

图2为本发明一个实施例中虚拟图像显示源结构示意图；

图3为本发明另一个实施例中一种增强现实与虚拟现实两用显示设备结构示意图；

图4为本发明图3实施例中一种增强现实与虚拟现实两用显示设备光路图；

图5为本发明图1实施例中一种增强现实与虚拟现实两用显示设备光路图；

图6为本发明图3实施例中一种增强现实与虚拟现实两用显示设备虚拟现实功能使用示意图；

图7为本发明图3实施例中另一种增强现实与虚拟现实两用显示设备虚拟现实功能使用示意图；

图8为本发明图1实施例中一种增强现实与虚拟现实两用显示设备虚拟现实使用功能示意图；

图9为本发明图1实施例中另一种增强现实与虚拟现实两用显示设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种增强现实与虚拟现实两用显示设备，该显示设备包括预定的光路；光路上顺序设置有虚拟图像显示源1、透镜组2和分束镜3；透镜组2和分束镜3在同一光轴9上；虚拟图像显示源1根据现实场景信息生成虚拟图像。所述虚拟图像的光线经过透镜组2后入射分束镜3；分束镜3将现实场景光线和虚拟图像的光线汇聚在预定方向射出形成增强现实融合场景。

下面对被本发明实施例提供的增强现实与虚拟现实两用显示设备展开详细的说明。

如图2所示，虚拟图像显示源1包括场景信息采集单元、处理器和显示单元；场景信息采集单元采集现实场景信息；处理器通过计算现实场景信息确定虚拟图像的位置；处理器根据所述虚拟图像的位置生成虚拟图像数据并输出至显示单元；显示单元根据虚拟图像数据显示虚拟图像。在本发明中虚拟图像显示源可以是智能手机，也可以是PAD等，当然可以理解，本发明不仅限于此，能产生显示图像的其它电子设备均可以实现本发明。图像采集单元可以是智能手机或PAD的摄像机13，智能手机或PAD的摄像机13采集现实场景信息并传输至智能手机或PAD的处理器处理并根据现实场景信息确定虚拟图像的位置。处理器根据所述虚拟图像的位置生成虚拟图像数据输出至智能手机或PAD的显示屏。在本发明中，虚拟图像数据包括虚拟图像和虚拟图像的位置信息。虚拟图像可以是实时生成的也可以是预先存储好后加载的。当然可以理解，本发明的虚拟图像显示源1不限于智能手机或PAD，其它单独的摄像机13、处理器和显示器以组成的电子设备依然可以实现虚拟图像显示源1。在本发明中，如果使用智能手机或PAD的显示屏时，需要利用分屏软件将智能显示屏进行分屏使用。分屏之后，智能手机的屏幕11的一侧显示左眼图像，智能手机的屏幕11的另一侧显示右眼图像。也可以利用独立的屏幕11配合分屏软件，分屏进行图像显示，使用一块独立屏幕11时，屏幕11一侧显示左眼图像，另一侧显示右眼图像。也可以使用两块独立的屏幕11进行显示，使用两块独立屏幕11进行显示时，其中一块显示屏显示左眼图像，另一块显示屏显示右眼图像。

如图3、图4、图6、图7所示，虚拟图像显示源1还包括设置在光路上的光线反射装置12；显示单元11出射的光线经光线反射装置12反射后入射透镜组2。在本发明中光线反射装置12可以是平面反射镜，也可以是三棱镜，当然可以理解本发明不仅限于此，其它能将虚拟图像显示源1出射的光线反射至透镜组2的光学***也可以实现。平面反射镜可以是金属膜反射镜，可以是介质膜反射镜，可以是具有1％-100％反射率的分束镜。

在本发明中，如图4、图5所示，显示单元11可以与光轴9垂直，也可以与光轴9成一定角度。显示单元11的光出射方向与光轴9的夹角为0°-90°。例如显示单元11与光轴9垂直时，显示单元11的光出射方向与光轴9的夹角为0°；显示单元11与光轴9平行时，显示单元11的光出射方向与光轴9的夹角为90°。光线反射装置的反射面有预定夹角使显示单元11的出射光反射至透镜组。显示单元11的光出射方向光线与反射装置反射面的夹角以及光线反射装置的反射面与光轴9的夹角可以根据实际需要作相应的调整，例如可以在1°-90°之间调整。在本发明中，双目反射镜12要与光轴9成一定角度，可以根据实际的需要选择相应的角度，反射镜12与光轴9角度在1°-90°之间。为了更好地适应人眼以观察到3D的立体虚拟图像，可选地，本发明中需要使用两组光学特性一致的自由曲面光学透镜作为透镜组。应当可以理解，该透镜组可以是一块非球面透镜，可以是一块球面透镜，可以是一块菲涅尔透镜，可以是胶合透镜，也可以是几块透镜的组合。

如图4、图5所示，为了更好地实现分束镜3将现实场景的光线和虚拟图像的光线汇聚成增强现实图像在预定方向出射，分束镜3要与光轴9成一定角度，分束镜3与光轴9的角度可以根据实际需要作相应的调整，分束镜3与光轴9的角度可以选择在0°-90°之间。分束镜与透镜组夹角为0-180°。在本发明实施例中，分束镜3是双目分束镜，该分束镜的反射率可以是0％-100％，透射率可以是100％-0％。

为了进一步实现大视场，使进入人眼的虚拟图像放大，虚拟图像显示源的出光面与透镜组之间的距离小于透镜组的焦距。具体地，智能手机的显示屏需要位于透镜组的一倍焦距以内。

下面以智能手机作为虚拟图像显示源1为例对本发明提供的增强现实与虚拟现实两用显示设备的工作原理展开详细的说明。

如图5、图8和图9所示，智能手机的屏幕11出光方向与光轴9平行，生成的虚拟图像经过透镜组2后入射分束镜3。如果智能手机的摄像机13固定在智能手机的背部，为了进一步使智能手机探测到真实环境外部信息。可以利用三棱镜08对智能手机的摄像机13入射光路进行调整。智能手机的摄像机13与三棱镜组合获取的外部环境信息传输到智能手机的处理电路中进行处理，计算出虚拟物体应该在真实世界中放置的位置。当然还可以考虑使用反射镜来改变对智能手机的摄像机13入射光路。具体地可以根据实际情况改变三棱镜或反射镜的反射角度。智能手机的处理器根据现实场景信息确定虚拟图像的位置之后，分别生成具有立体视差的图像，显示在智能手机的屏幕11上。智能手机的屏幕11上的立体视差图像，分别经过透镜组后，经过分束镜3将现实场景光线和虚拟图像的光线汇聚成增强现实图像后反射进入人眼。根据光路可逆性原理，人眼通过该显示设备能够同时看到真实的物体6和虚拟的物体7，最终得到虚实叠加的增强现实立体效果图像。经过计算位置的虚拟物体实现与真实世界的正确叠加，人眼最终观察到虚拟物体与真实世界正确融合的增强现实显示效果。在本实施方案中，如果智能手机的摄像机13是可旋转的，对智能手机的摄像机13入射光路可以通过调整摄像机13的旋转角度实现，因此可以省去改变入射智能手机的摄像机13的光路的三棱镜或反射镜。

如图5所示，本发明提供的增强现实与虚拟现实显示设备使用增强现实功能时，智能手机屏幕左右屏幕11显示具有立体视差的图像，经过透镜组2汇聚，分别经过分束镜3的一侧反射，最终汇聚进入人眼，人眼观察到放大的立体虚像7。真实环境中物体6发出的光线，透过分束镜汇聚到人眼。人眼从位置4处观察，人眼通过该显示设备能够同时看到真实的物体6和虚拟的物体7，最终得到虚实叠加的增强现实立体效果图像。该观察方式下，显示设备实现双目立体式大视场角增强现实显示功能。使用虚拟现实功能时，人眼从位置5处观察，智能手机的左右屏幕11显示具有立体视差的图像，经过透镜组2后，透过分束镜3进入人眼，在人眼前方呈现放大的虚像。由于智能手机的左右屏幕11输出的是具有立体视差的图像，人眼最终看到具有立体视差效果的虚拟现实图像10。该种观察方式下，显示设备实现了双目立体式大视场角虚拟现实显示功能。在此需要说明的是分束镜或多或少会影响虚拟图像的透过性，本发明提供的增强现实和虚拟现实两用显示设备在用虚拟现实功能时，可以根据实际需要将该分束镜拆除，可以进一步提高虚拟现实图像的清晰度。如图8，图9所示，可以将该分束镜设置成可拆卸或可折叠。在使用增强现实功能时装配分束镜，在虚拟现实功能时拆卸或折叠分束镜，在不同模式下切换以达到更好的视觉感受。

如图3、图4、图6、图7所示，在本发明的另一个实施方案中，与上述的实施方案基本相同，其主要区别在于，智能手机的屏幕11出光方向与光轴9垂直，生成的虚拟图像经过透镜组2后入射分束镜3。如果智能手机的摄像机13固定在智能手机的背部，则无需使用对智能手机的摄像机13入射光路进行调整。由于智能手机的屏幕11出射的光线与光轴9垂直，需要将智能手机的屏幕11出射的光线调整射向透镜组，需要在智能手机的屏幕11与透镜组之间的光路方向上设置光线反射装置12，例如反射镜。智能手机的摄像机13获取的外部环境信息传输到智能手机的处理器中进行处理，计算出虚拟物体应该在真实世界中放置的位置。智能手机的处理器根据现实场景信息确定虚拟图像的位置之后，分别生成具有立体视差的图像，显示在智能手机的屏幕11上。智能手机的屏幕11上的立体视差图像，分别经过反射镜改变光路后使其入射透镜组，透镜组出射的光线入射分束镜3，分束镜3将现实场景光线和虚拟图像的光线汇聚成增强现实图像后反射进入人眼。

在本发明中，现有的智能手机或PAD配置有IMU(惯性测量单元)和摄像机。一方面智能手机的处理器根据智能手机IMU测量得到的角速度和线性加速度变化实时感知智能手机或PAD的方位信息，并调整对应显示的虚拟图像。另外一方面本发明可以利用手机或PAD的摄像机获取外部场景信息，例如实时拍摄具有一定特征点的特征图像，手机或PAD处理器根据特征点相对摄像机变化信息获取手机或PAD的位置信息，并对虚拟物体的显示方向和大小进行调整。另外，由于现有手机或者PAD配置有单目或双目摄像机，支持手机或PAD单目SLAM(即时定位与地图构建)或双目SLAM三维重建，根据三维重建信息进行虚拟物体的正确叠加。

具体地，可以利用智能手机集成的摄像机13获取现实场景信息，利用智能手机集成的IMU感知智能手机的方位信息，利用智能手机的处理器对摄像机13采集的现实场景信息和方位变化数据进行处理，调整虚拟物体图像数据，并通过智能手机的屏幕11对处理完成的虚拟图像进行显示。可选的，也可以利用独立的单目或双目摄像机13获取外界信息，可以利用独立的IMU对用户头部位置进行跟踪，可以利用独立的深度相机、红外相机获取外界信息，可以利用独立的硬件处理电路或高性能计算机对出具进行处理、可以集成独立的屏幕11进行渲染内容显示，实现虚拟现实与增强现实功能。

为了进一步体现本发明提供的增强现实与虚拟现实显示设备的优越性，本发明还提供一种可穿戴设备，该可穿戴设备包括上述的增强现实与虚拟现实显示设备。具体地，上述的增强现实与虚拟现实显示设备可以通过头部固定装置固定于用户头部进行增强现实或者是虚拟现实显示，该设备的头部固定装置可以是松紧带、塑料头盔或者任意能够将该便携式显示设备固定于用户头部的材料进行固定。实际使用中也可以给显示设备外壳设置手持装置或者固定装置，将头戴式显示器作为手持式显示设备进行使用。

综上所述，本发明实施例提供的增强现实与虚拟现实两用显示设备和可穿戴设备，通过设定特定的光路，利用同一图像显示设备同时实现满足高沉浸感的虚拟现实和注重交互的增强现实的显示功能，有效降低了设备成本，可以利用现有的设备直接实现，并且可以重复使用。本发明提供的增强现实与虚拟现实两用显示设备具有超大视场角，能够同时满足增强现实与虚拟现实显示要求，可以实现双目三维立体显示。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种增强现实与虚拟现实两用显示设备，其特征在于，包括预定的光路；

所述光路上顺序设置有虚拟图像显示源、透镜组和分束镜；

所述透镜组和所述分束镜在同一光轴上；

所述虚拟图像显示源根据现实场景信息生成虚拟图像，所述虚拟图像的光线经过所述透镜组后入射所述分束镜；

所述分束镜将所述现实场景光线和所述虚拟图像的光线汇聚成增强现实图像在预定方向出射。

2.根据权利要求1所述的增强现实与虚拟现实显示设备，其特征在于，所述虚拟图像显示源包括场景信息采集单元、处理器和显示单元；

所述场景信息采集单元采集现实场景信息；

所述处理器根据所述采集到的现实场景信息进行计算处理并确定虚拟图像的位置；

所述处理器根据所述虚拟图像的位置生成虚拟图像数据并输出至显示单元；

所述显示单元根据所述虚拟图像数据显示虚拟图像。

3.根据权利要求2所述的增强现实与虚拟现实显示设备，其特征在于，所述虚拟图像显示源还包括设置在所述光路上的光线反射装置；

所述显示单元出射的光线经所述光线反射装置反射后入射所述透镜组。

4.根据权利要求3所述的增强现实与虚拟现实显示设备，其特征在于，所述光线反射装置的反射面与所述光轴的夹角为1°-90°。

5.根据权利要求2所述的增强现实与虚拟现实显示设备，其特征在于，所述显示单元的光出射方向与所述光轴的夹角为0°-90°。

6.根据权利要求1所述的增强现实与虚拟现实显示设备，其特征在于，所述分束镜与所述光轴的夹角为0°-90°。

7.根据权利要求1所述的增强现实与虚拟现实显示设备，其特征在于，所述分束镜与所述透镜组夹角为0°-180°。

8.根据权利要求1所述的增强现实与虚拟现实显示设备，其特征在于，虚拟图像显示源的出光面与所述透镜组之间的距离小于所述透镜组的焦距。

9.根据权利要求2所述的增强现实与虚拟现实显示设备，其特征在于，所述有虚拟图像显示源为智能手机；

所述智能手机的处理器根据所述智能手机的摄像机采集到的现实场景信息和所述智能手机的惯性感测装置感测到的方位变化数据调整所述虚拟图像数据，并将调整后的虚拟图像数据输出。

10.一种可穿戴设备，其特征在于，包括权利要求1-9任意一项所述的增强现实与虚拟现实显示设备。