CN108428375A - 一种基于增强现实的教学辅助方法及设备 - Google Patents

Abstract

本发明实施方式公开了一种基于增强现实的教学辅助方法，包括：发出包含虚拟图像的第一光线；获取包含教学场景的实景图像的第二光线；将所述包含虚拟图像的第一光线与包含教学场景的实景图像的第二光线进行合成。区别于现有技术，本实施方式提供的一种基于增强现实的教学辅助方法将教学场景的实景图像与虚拟图像结合，虚拟图像能够为使用者提供信息提示，辅助使用者进行教学辅助，用户体验好，使用方便。

Description

一种基于增强现实的教学辅助方法及设备

技术领域

本发明实施方式涉及增强现实技术领域，特别是涉及一种基于增强现实的教学辅助方法及设备。

背景技术

目前，各个教育机构在教授课程的时候，广泛使用电视机，投影仪等播放多媒体的素材，比如视频，音频等。多媒体素材的使用，有效地使教学的过程生动起来，便于学生记忆，提高教育效果。

在实现本发明的过程中，发明人发现相关技术中至少存在如下问题：

1)数字信息呈现不够直观。由于数字信息的呈现主要依赖二维的显示屏幕或投影，在很多教育场景需要展示三维模型的情况下，从二维平面式只能从一个或几个角度观察，不够直观。

2)多媒体信息显示的区域一般比较小，无法给学生身临其境的感觉。而且，如果整个教室只有少量屏幕，由于屏幕一般放置于教室前端，对于坐在后排的学生，可能会发生看不清楚屏幕的情况。

3)一般只有老师能控制该多媒体信息的播放，学生只能被动跟随，不太灵活。

发明内容

本发明实施方式主要解决的技术问题是提供一种基于增强现实的教学辅助方法及设备，具有临场感，内容显示直观且显示区域大，操作灵活。

为解决上述技术问题，本发明实施方式提供一种基于增强现实的教学辅助方法，包括：发出包含虚拟图像的第一光线；获取包含教学场景的实景图像的第二光线；将所述包含虚拟图像的第一光线与包含教学场景的实景图像的第二光线进行合成。

区别于现有技术，本实施方式提供的一种基于增强现实的教学辅助方法将教学场景的实景图像与虚拟图像结合，虚拟图像能够为使用者提供信息提示，辅助使用者进行教学辅助，用户体验好，使用方便。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1a是本发明实施例一提供的一种基于增强现实的教学辅助设备的结构示意图；

图1b是图1a所示的透视型导光元件设置在头戴框架上时的示意图；

图1c是图1a所示的显示模块的侧视角度与显示亮度之间的第一关系图；

图1d是图1a所示的显示模块的侧视角度与显示亮度之间的第二关系图；

图1e是图1a所示的显示模块的侧视角度与显示亮度之间的第三关系图；

图2a是佩戴图1a所示的基于增强现实的教学辅助设备时显示模块与用户脸部的位置关系示意图；

图2b是旋转图1a所示的显示模块的示意图；

图3是图1a所示的基于增强现实的教学辅助设备的成像原理示意图；

图4是图1a所示的基于增强现实的教学辅助设备设置屈光度矫正镜片时的示意图；

图5是图1a所示的基于增强现实的教学辅助设备对角线视场区域与头部框架的最远端到用户头部最前端的距离关系的示意图；

图6是图1a所示的基于增强现实的教学辅助设备连接外接设备工作时的示意图；

图7是本发明实施例二提供的一种基于增强现实的教学辅助设备的结构示意图；

图8是图7所示的基于增强现实的教学辅助设备连接外接设备工作时的示意图；

图9是图7所示的基于增强现实的教学辅助设备连接外接设备工作时的又一示意图；

图10是图7所示的基于增强现实的教学辅助设备工作时的示意图；

图11是本发明第三实施例提供的一种基于增强现实的教学辅助方法中的第一显示模式的示意图；

图12是本发明第三实施例提供的一种基于增强现实的教学辅助方法中的第二显示模式的示意图；

图13是本发明第三实施例提供的一种基于增强现实的教学辅助方法的第一应用实例图；

图14是本发明第三实施例提供的一种基于增强现实的教学辅助方法中的第二应用实例的示意图；

图15是本发明第三实施例提供的一种基于增强现实的教学辅助方法进行远程显示时的示意图；

图16是本发明第三实施例提供的一种基于增强现实的教学辅助方法进行学习辅助时的示意图；

图17是本发明第三实施例提供的一种基于增强现实的教学辅助方法进行实验辅助时的示意图；

图18是本发明第三实施例提供的一种基于增强现实的教学辅助方法进行眼球追踪显示时的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

参阅图1a，本发明实施例提供的一种基于增强现实的教学辅助设备，所述基于增强现实的教学辅助设备的总重量小于350克，其包括：头戴框架11、两个显示模块12、两个透视型导光元件13。其中，透视型导光元件13是一种部分透射、部分反射的光学合成装置。

所述显示模块12及透视形导光元件13皆设置在头戴框架11上，支架11将显示模块12及透视形导光元件13进行固定。显示模块12设置在透视形导光元件13的上侧，显示模块12发出的光线能够经过透视形导光元件13后发生反射。可选地，所述显示模块13还可位于所述透视型导光元件13的侧方。

所述基于增强现实的教学辅助设备还包括：主板17，主板17设置在头戴框架11上，且位于二显示模块12之间。所述主板17上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块12上。

本发明实施例中，头戴框架11用于佩戴在用户的头部，每一透视型导光元件13具有一凹面，凹面朝向用户的双眼设置。经由一透视型导光元件13的凹面反射的第一光线进入用户的左眼，以及经由另一透视型导光元件13的凹面反射的另一第一光线进入用户的右眼，以在用户的头脑中形成3D虚拟场景的视觉。其中，第一光线是由显示模块12发射的，且第一光线包含左眼及右眼的虚拟图像信息。

参阅图1b，两个透视型导光元件13设置在头戴框架11上，分别独立地嵌入到头戴框架11上。可选地，可在制作透视型导光元件的原材料上设置两个对应于用户左右眼的区域，所述区域的形状大小与上述的独立设置时的每一透视型导光元件13的形状大小相同；最终的效果为一块大的透视型导光元件上设置有两个对应于用户左右眼的区域。可以理解为在一块大的透视型导光元件的原材料上加工出两个与独立设置时的透视型导光元件13的形状大小相同的区域，即两个透视型导光元件13一体成型。所述设置有对应于用户左右眼区域的透视型导光元件嵌入到头戴框架11上。

需要说明的是，显示模块12可拆卸安装于头戴框架11上，比如，显示模块为手机、平板电脑等智能显示终端；或者，显示模块固定安装于头戴框架上，比如，显示模块与头戴框架集成设计。

头戴框架11上可以安装两个显示模块12，用户的左眼和右眼分别对应地设置一个显示模块12，例如，一个显示模块12用于发射包含左眼虚拟图像信息的第一光线，另一个显示模块12用于发射包含右眼虚拟图像信息的另一第一光线。两个显示模块12可以分别一一对应地位于两个透视型导光元件13的上方，当基于增强现实的教学辅助设备佩戴在用户的头部时，两个显示模块12分别一一对应地位于用户的左眼和右眼的上方；显示模块12也可以位于透视型导光元件的侧方，即两个透视型导光元件位于两个显示模块之间，当基于增强现实的教学辅助设备佩戴在用户的头部时，两个显示模块分别一一对应地位于用户的左眼和右眼的侧方。

头戴框架11上也可以安装单个显示模块12，该单个显示模块12上有两个显示区域，一个显示区域用于发射包含左眼虚拟图像信息的第一光线，另一个显示区域用于发射包含右眼虚拟图像信息的另一第一光线。

参阅图1c，图中的横向轴标识侧视角度，纵向轴表示显示亮度。显示模块12为LCD时，显示模块12的亮度是随着观察者的角度来变化的。对于普通LCD，在显示亮度为50％时的侧观察角度θ一般都比较大。

LCD应用于对于增强现实显示***时，则比较适用于小的侧观察角度，这样的显示模块12的亮度就会集中在靠近中心的角度区域。因为增强现实显示***主要使用靠近中心的角度区域，这样的话投影到用户眼中的第一光线及第二光线的亮度会比较高。参阅图1d，应用于增强现实显示***中的LCD发出的第一光线及第二光线的亮度在显示亮度为50％时的侧观察角度θ一般都比较小。并且，应用于增强现实显示***中的LCD发出的第一光线及第二光线的亮度的分布关于0度侧视角左右对称，且侧视角度小于60度。即是，用户视角垂直于显示模块12时，显示模块12发出的第一光线及第二光线的亮度的显示亮度为最大，用户视角向两侧偏移时，显示亮度逐渐减小，在侧视角小于60度时，显示亮度为0。

可选地，参阅图1e，应用于增强现实显示***的LCD的发出的第一光线及第二光线的亮度分布可不关于0度侧视角对称，且显示亮度最亮时的侧视角度不为0度。

显示模块包括但不限于LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)、LCOS(Liquid Crystal On Silicon，硅基液晶)等类型的显示器。

参阅图2a，两个显示模块12分别一一对应地位于两个透视型导光元件13的上方，用户佩戴上所述基于增强现实的教学辅助设备时，显示模块12与用户头部的正平面形成一夹角a，所述夹角a的角度为0度至180度，优选为钝角。同时，显示模块12在水平面上的投影与正平面垂直。

参阅图2b，在某些实例中，透视形导光元件13的位置可以绕与水平面垂直的某一转轴旋转一定角度b，所述角度b的角度为0度至180度，优选为0度至90度。同时，对应左眼和右眼的透视型导光元件13可以通过头戴框架11上的机械结构调整间距，以适应不同用户的瞳距，保证使用时的舒适度和成像质量。所述两个透视型导光元件13的边缘之间的最远距离小于150毫米，即对应于左眼设置的透视型导光元件13的左边缘到对应于右眼设置的透视型导光元件13的右边缘的距离小于150毫米。相应的，显示模块12之间通过机械结构连接，所述显示模块12之间的距离也可以进行调整，或者通过调整显示内容在显示模块12上的位置达到同样的效果。

头戴框架11可以是用于挂在用户耳部和鼻梁部的眼镜式的框架结构，其上设置有鼻托111和镜腿112，通过鼻托111与镜腿112固定在用户的头部，所述镜腿112为可折叠结构，其中鼻托111对应固定在用户的鼻梁上，镜腿112对应固定在用户的耳朵上。进一步的，眼镜腿112之间还可以通过松紧带相连，佩戴时松紧带收紧眼镜腿，帮助框架在头部的固定。

可选地，鼻托111和镜腿112为可伸缩机构，可分别调整鼻托111的高度和镜腿112的伸缩长度。同样，鼻托111和镜腿112还可以为可拆卸结构，拆卸后可对鼻托111或者镜腿112进行更换。

可选地，头戴框架11可包括鼻托和伸缩皮筋，通过鼻托与伸缩皮筋固定在用户头部；或者仅包括伸缩皮筋，通过所述伸缩皮筋固定在用户头部。可选地，头戴框架11也可以是用于佩戴在用户头顶和鼻梁部的头盔式框架结构。本发明实施例中，由于头戴框架11的主要作用是用来佩戴在用户的头部以及为显示模块12、透视型导光元件13等光、电元器件提供支撑，头戴框架包括但不限于上述方式，在具备上述主要作用的前提下，本领域技术人员能够根据实际应用的需要对头戴框架作出若干变形。

参阅图3，显示模块12发射包含左眼虚拟图像信息的第一光线121，经由一透视型导光元件13的凹面131反射的第一光线121进入用户的左眼14；同理，显示模块发射包含右眼虚拟图像信息的另一第一光线，经由另一透视型导光元件的凹面反射的另一第一光线进入用户的右眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，另外，不同于谷歌眼镜中通过在用户的右眼前直接设置一块小型显示屏的方式，导致视觉区域较小，本发明实施例中，通过两个透视型导光元件反射更多的显示模块发射的第一光线分别进入用户的双眼，视觉区域较大。

在本发明实施例中，当基于增强现实的教学辅助设备实现增强现实的功能，每一透视型导光元件13还具有一与凹面相背设置的凸面；经由透视型导光元件13的凸面和凹面透射的包含外界图像信息的第二光线进入用户的双眼，以形成混合3D虚拟场景和真实场景的视觉。再次参阅图1a，一透视型导光元件13还具有与凹面131相背设置的凸面132，经由透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第二光线151进入用户的左眼14，同理，另一透视型导光元件还具有与其凹面相背设置的凸面，经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第二光线进入用户的右眼，用户能够看到外界的真实场景，从而形成混合3D虚拟场景和真实场景的视觉感受。

参阅图4，可选地，在人眼与透视型导光元件13之间设置一屈光度矫正镜片16，所述屈光度矫正镜片16垂直于水平面设置。可选地，所述屈光度矫正镜片所在平面也可与水平面成30度到90度的夹角。可选地，可任意设置不同度数的屈光度矫正镜片。显示模块12发射包含左眼虚拟图像信息的第一光线121，经由透视型导光元件13的凹面131反射的第一光线121以及经由透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第二光线151进入用户的左眼14之前，先经过屈光矫正镜片16。所述屈光矫正镜片16为凹透镜，使经过其上的第一光线121以及第二光线151发散，使第一光线121以及第二光线151在左眼14上的焦点后移。同样，所述屈光矫正镜片16还可为凸透镜，使经过其上的第一光线121以及第二光线151汇聚，使第一光线121以及第二光线151在左眼14上的焦点前移。

同理，显示模块发射包含右眼虚拟图像信息的另一第一光线，经由另一透视型导光元件的凹面反射的另一第一光线以及经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第二光线进入用户的右眼之前，也先经过一屈光度矫正镜片。

参阅图5，基于增强现实的教学辅助设备佩戴在用户头部上后，以用户的眼球为顶点，用户的眼球到通过所述透视型导光元件13看到的虚拟图像的虚拟显示区域的两侧边缘构成对角线视场区域。头部框架的最远端到与头部最前端接触位置的距离为c，可根据需要调节所述c的距离长度。所述对角线视场区域的角度大小与所述头部框架11的最远端到与头部最前端接触位置的距离成反比。优选地，在保证对角线视场区域大于55度的前提下，头部框架的最远端到与头部最前端接触位置的距离小于80mm。

参阅图6，二显示模块12通过电缆连接到主板17上。

主板17上还设置有视频接口、电源接口、通信芯片以及存储器。

所述视频接口用于连接计算机、手机、或其他设备接收视频信号。其中所述视频接口可以为：hdmi、display port、thunderbolt或usb type-c，micro usb,MHL(Mobile High-Definition Link)等接口。

所述处理器，用于处理数据，其中主要用于解码视频信号传输并显示在显示模块12上。

所述电源接口，用于外接电源或电池供电。所述电源接口包括USB接口或者其他接口。

所述通信芯片，用于通过通信协议与外界进行数据交互，具体为通过WiFi、WCDMA、TD-LTE等通信协议连接互联网，再通过互联网获取数据或者与其它基于增强现实的教学辅助设备连接；或者直接通过通信协议与其它基于增强现实的教学辅助设备相连。

所述存储器，用于存储数据，主要用于存储显示模块12中显示的显示数据。

当基于增强现实的教学辅助设备仅包括如上所述的头戴框架11、二显示模块12、两个透视型导光元件13及主板17时，所有的3D虚拟场景渲染、对应双眼的图像生成均在与基于增强现实的教学辅助设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。具体地，基于增强现实的教学辅助设备通过视频接口接收外接设备的视频信号，解码后在显示模块12上显示。同时，与用户的交互通过计算机、手机、平板电脑等外接设备上的应用软件进行，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的教学辅助设备进行交互。基于增强现实的教学辅助设备可以将虚拟物体投射在用户视野内的某一固定位置。用户需要通过与基于增强现实的教学辅助设备相连的设备上的软件进行调整投射屏幕的尺寸、位置等操作。

本发明实施例提供的一种基于增强现实的教学辅助设备，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息以及右眼虚拟图像信息的第一光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。

实施例二

参阅图7，在实施例一中提供的一种基于增强现实的教学辅助设备的基础上，设置多个传感器进行对周边环境进行感知。

本实施例提供的一种基于增强现实的教学辅助设备，所述基于增强现实的教学辅助设备的总重量小于350克，其包括：头戴框架21、二显示模块22、两个透视型导光元件23及主板24。

所述显示模块22、透视形导光元件23及主板24皆设置在头戴框架21上，头戴框架21将显示模块22、透视形导光元件23及主板24进行固定。显示模块22设置在透视形导光元件23的上侧，显示模块22发出的光线能够经过透视形导光元件23后发生反射。主板24，主板24位于二显示模块22之间，所述主板24上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块22上。

头戴框架21、二显示模块22、两个透视型导光元件23、主板24与实施例一中所述的头戴框架11、二显示模块12、两个透视型导光元件13、主板17的具体功能、结构及位置关系相同，在此不进行赘述。

同样，在人眼与透视型导光元件23之间设置一屈光度矫正镜片，所述屈光度矫正镜片垂直于水平面设置。可选地，可任意设置不同度数的屈光度矫正镜片。

头部框架21上还设置有单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219。

单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219皆电连接在主板24上。

具体地，所述单目摄像头211为彩色单目摄像头，放置于头部框架21的前部。用户佩戴所述基于增强现实的教学辅助设备时，单目摄像头211朝向相对于用户脸部的另一侧，可以使用该摄像头进行拍照。进一步的，还可以对使用该摄像头，运用计算机视觉技术检测环境中的位置已知的标记，帮助所述基于增强现实的教学辅助设备进行定位。

所述单目摄像头211还可以为高分辨率的摄像头，用于拍照或者拍摄视频；拍摄所获得的视频还可以通过软件叠加用户所见的虚拟物体，复现用户通过基于增强现实的教学辅助设备看到的内容。

所述双目/多目摄像头212可以是单色或彩色的摄像头，其设置在头戴框架21前部或侧面，且位于单目摄像头211的一侧、两侧或者四周。进一步的，所述双目/多目摄像头212可以带有红外滤光片。使用双目摄像头，可以在获得环境图像的基础上，进一步得到图像上的景深信息。使用多目摄像头，则可以进一步扩展相机的视角，获得更多的环境图像与景深信息。双/多目摄像头212捕获的环境图像和距离信息可被用于:(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算基于增强现实的教学辅助设备的姿态。(2)捕获用户手势、掌纹等用于人机交互。

可选地，上述的单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。

所述眼球追踪摄像头213，设置在透视型导光元件23的一侧，用户佩戴所述基于增强现实的教学辅助设备时，眼球追踪摄像头213朝向相对于用户脸部的一侧。所述眼球追踪摄像头213用于跟踪人眼焦点，对人眼所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理。比如，在人眼所注视的物件旁边自动显示此物件的具体信息等。另外对人眼注视的区域可以显示高清晰度的虚拟物件图像，而对其他区域则只显示低清晰度图像即可，这样可以有效减少图像渲染的计算量，而不会影响用户体验。

陀螺仪214、加速度计215、磁场计216设置在二显示模块22之间。可以通过融合陀螺仪214、加速度计215和磁场计216的数据，得到用户头部与***初始位置间相对姿态。这些传感器的原始数据可以进一步和双目/多目摄像头212的数据进行融合，得到基于增强现实的教学辅助设备在固定环境中的位置和姿态。

所述景深传感器217设置在头戴框架21的前部，可以直接获得环境中的景深信息。与双/多目摄像头212相比，景深传感器可以获得更准确、分辨率更高的景深数据。类似的，使用这些数据可以：(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算基于增强现实的教学辅助设备的姿态。(2)捕获用户手势、掌纹等用与人机交互。(3)检测用户周围物体的三维信息。

所述环境光传感器218设置在头戴框架21上，可以实时监控环境光线的强弱。基于增强现实的教学辅助设备根据环境光的变化实时的调整显示模块22的亮度，以保证显示效果在不同环境光下的一致性。

所述距离传感器219设置在基于增强现实的教学辅助设备与用户面部接触的位置，用于检测基于增强现实的教学辅助设备是否佩戴在用户头部。若用户摘下了基于增强现实的教学辅助设备，则可以通过关闭显示模块22、处理器等方式节电。

可选地，所述基于增强现实的教学辅助设备还包括：红外/近红外光LED，所述红外/近红外光LED电连接在主板24上，所述红外/近红外光LED用于为双目/多目摄像头212提供光源。具体为，所述红外/近红外LED发出红外线，在红外线到达通过双目/多目摄像头212获取的物体时，所述物体将红外线反射回去，双目/多目摄像头212上的感光元件接收反射回来的红外线并转换成电信号，接着在进行成像处理。

所述基于增强现实的教学辅助设备在进行人机交互时，可进行的操作包括如下：

(1)基于增强现实的教学辅助设备可以将显示屏幕投射在用户视野内的某一固定位置。用户可通过基于增强现实的教学辅助设备上的传感器进行调整投射屏幕的尺寸、位置等操作。

(2)可以通过各类传感器进行手势、掌纹识别，用于人机交互。

(3)可以通过眼球追踪判断用户的意图，对人眼所观察虚拟物件或虚拟屏幕中的特定部位进行相应处理。

(4)还可以在支架上增加实体或触摸按钮、摇杆等，用于人机交互。

(5)可以配有遥控器，遥控器上有按钮、摇杆、触控板等，通过有线或无线的方式与基于增强现实的教学辅助设备相连，作为人机交互界面。

(6)可以通过在主板上增加音频解码和功率放大芯片，集成耳塞插孔、耳塞、或喇叭等发生设备与麦克风，允许用户使用语音与基于增强现实的教学辅助设备进行交互。

参阅图8，主板上设置有视频接口和处理器。

当基于增强现实的教学辅助设备包括如上所述的头戴框架21、二显示模块22、两个透视型导光元件23、主板24以及如上所述的多个传感器时，所有的3D虚拟场景渲染、对应双眼的图像生成以及多个传感器获取的数据的处理均可在与基于增强现实的教学辅助设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。

具体地，基于增强现实的教学辅助设备通过视频接口接收外接设备的视频信号，解码后在显示模块23上显示。外接设备接收基于增强现实的教学辅助设备上的多个传感器获取的数据，进行处理后根据数据对双眼显示的图像进行调整，在显示模块23上显示的图像上进行体现。基于增强现实的教学辅助设备上的处理器仅用于支持视频信号的传输与显示以及传感器数据的传递。

参阅图9，主板上设置有运算能力较强的处理器，将部分或全部计算机视觉算法在基于增强现实的教学辅助设备内完成。

具体地，基于增强现实的教学辅助设备通过视频接口接收外接设备的视频信号，解码后在显示模块23上显示。外接设备接收基于增强现实的教学辅助设备上的部分传感器获取的数据，进行处理后根据传感器数据对双眼显示的图像进行调整，在显示模块23上显示的图像上进行体现。其余传感器获取的数据则在基于增强现实的教学辅助设备上处理。例如，单目摄像头211、双目/多目摄像头212、陀螺仪214、加速度计215、磁场计216及景深传感器217获取的数据在基于增强现实的教学辅助设备中处理。眼球追踪摄像头213、环境光传感器218及距离传感器219获取的数据在外接设备中处理。基于增强现实的教学辅助设备上的处理器用于支持视频信号的传输与显示、部分传感器数据的处理以及其余传感器数据的传递。

参阅图10，主板上设置有高性能的处理器以及图像处理器，在基于增强现实的教学辅助设备内完成所有的运算。在这种模式下，增强现实显示无需连接外接设备，可作为一个独立的***运行。

具体地，基于增强现实的教学辅助设备将传感器获取的数据进行处理后,对双眼显示的图像进行调整,渲染后在显示模块23上显示。基于增强现实的教学辅助设备上的处理器用于视频信号的解码处理与显示以及传感器数据的处理。

在实施例一及实施例二中所述的基于增强现实的教学辅助设备实现增强现实的实际应用中，为了增加透视型导光元件的凹面对显示模块发射的第一光线的反射率，例如，透视型导光元件的凹面镀有反射膜，较佳的，镀有反射膜的透视型导光元件的凹面的反射率是20％-80％。又如，若第一光线是线偏振光，为了增加透视型导光元件的凹面的反射率，透视型导光元件的凹面镀有偏振反射膜，偏振反射膜的偏振方向与第一光线的偏振方向之间的角度大于70°且小于等于90°，比如：偏振反射膜的偏振方向与第一光线的偏振方向垂直，实现近乎为100％的反射率，另外，由于包含外界图像信息的第二光线是非偏振光，若透视型导光元件的凹面镀有偏振反射膜，当第二光线经由该偏振反射膜时，有近乎50％的第二光线进入用户的双眼，用户仍然能够看到外界的真实场景。为了更好地让包含外界图像信息的第二光线进入用户的双眼，透视型导光元件的凸面镀有增透膜。

在实施例一及实施例二中所述的基于增强现实的教学辅助设备的实际应用中，为了实现透视型导光元件的凹面对显示模块发射的第一光线的反射率的可控调节，透视型导光元件的凹面设有压敏反射膜，通过改变加载在压敏反射膜上的电压大小，能够调节压敏反射膜的反射率位于0至100％之间，当压敏反射膜的反射率为100％时，基于增强现实的教学辅助设备可以实现虚拟现实的功能。

为了实现透视型导光元件的与凹面相背设置的另一表面对包含外界图像信息的第二光线的透光率的可控调节，透视型导光元件的与凹面相背设置的另一表面上设有压敏黑片，通过改变加载在压敏黑片上的电压大小，能够调节压敏黑片透光率的高低。

本发明实施例提供的一种基于增强现实的教学辅助设备，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息及包含右眼虚拟图像信息的第一光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。同时在基于增强现实的教学辅助设备上设置多个传感器，传感器感知周边的环境后，可将感知的结果在显示模块中显示的图像中进行体现，使得临场感受更好，用户体验更佳。

实施例三

本实施例提供一种基于增强现实的教学辅助方法，包括：

发出包含虚拟图像的第一光线；

获取包含教学场景的实景图像的第二光线；

将所述包含虚拟图像的第一光线与包含教学场景的实景图像的第二光线进行合成。

所述获取的教学场景的实景图像包括，获取在教学场景中实时的任何真实物体或景象上的反射出来的第二光线。示例的，所述获取的实景图像包括：教室内的学生、课桌椅、学习用具等物体经过光线反射后呈现出来的图像或者其他场景、物体进过光线反射后呈现出来的图像。

所述获取虚拟图像包括：获取显示模块12经过处理器处理后显示出来的图像。示例的，所述虚拟图像包括：在3D模型或其他图像。所述3D模型包括：虚拟的键盘、虚拟的鼠标、虚拟的纸笔或虚拟的实验道具等。

两个显示模块12发出包含上述虚拟图像的显示数据的第一光线再结合获取的经过透视型导光元件13的包含教学场景图像信息的第一光线，两种光线经过基于增强现实的教学辅助设备上的透视型导光元件13的合成后在用户眼睛内融合，经过使用者的人脑处理，可以将虚拟图像的显示数据的内容以三维的形式呈现在使用者的眼前。可以理解为所述基于增强现实的教学辅助设备将虚拟图像的显示数据投射在用户视野内的教室实景图像中。

将获取到的所述教学场景的景实景图像与所述虚拟图像合成后进行显示时包括第一显示模式与第二显示模式；所述第一显示模式为虚拟图像与实景图像会产生发生相对位移的显示模式；所述第二显示模式为虚拟图像与实景图像相对固定的显示模式。具体地，参阅图11，虚拟3D模型等显示内容在基于增强现实的教学辅助设备的坐标系FH中的位置和姿态是固定的。当使用者头部发生转动时，基于增强现实的教学辅助设备在真实空间中的位置和姿态发生变化，即FH与FI的相对位置和姿态发生变化，投射的显示数据在真实空间坐标系FI中的位置和姿态也会随之改变。这种显示模式称为“第一显示模式”。处理器将所述包含虚拟图像的第一光线与包含教学场景的实景图像的第二光线进行合成后以第一显示模式进行显示。

在实施例二所述的基于增强现实的教学辅助设备的应用时，可以通过单目摄像头211运用计算机视觉技术检测环境中的位置已知的标记，帮助所述基于增强现实的教学辅助设备进行定位，通过景深传感器217获得环境中的景深信息。或者，基于增强现实的教学辅助设备还可以通过使用双目/多目摄像头212，在获得环境图像的基础上，进一步得到获取的图像上的景深信息。接着，基于增强现实的教学辅助设备通过将单目摄像头211、景深传感器217或者双目/多目摄像头212获得的数据进行处理，处理器利用计算机视觉技术对周围环境进行3D建模，实时识别真实环境中不同物体并确定它们在空间中的位置和姿态。这样，基于增强现实的教学辅助设备能分析得出使用者附近有哪些空间能够较好地投射虚拟3D模型以及其他显示内容。另外，基于增强现实的教学辅助设备还可以通过陀螺仪214、加速度计215、磁场计216获取的数据结合单目摄像头211、景深传感器217或者双目/多目摄像头212获得的图像和景深数据，计算基于增强现实的教学辅助设备在真实空间中的位置和姿态，即坐标系F_H与F_I的相对位置和角度关系T。由于基于增强现实的教学辅助设备中投射的虚拟图像的显示数据，如虚拟显示屏、虚拟产品等，在坐标系F_H中的位置和姿态已知，通过T可以获得投射数字内容在真实空间(F_I)中的位置和角度。相对的，若希望投射内容出现在真实空间(F_I)的某个位置和角度，则可通过关系T，计算出投射内容在基于增强现实的教学辅助设备坐标系F_H中的位置和姿态，将虚拟屏幕等投射内容放置于此。

这样，参阅图12，基于增强现实的教学辅助设备可以实现“第二显示模式”。当使用者头部转动时，可以通过调整投射内容在基于增强现实的教学辅助设备内显示的位置和姿态，将投射内容“固定”在真实空间内，让使用者感觉到觉得虚拟物体是真实的。

基于增强现实的教学辅助设备使用陀螺仪、加速度计和磁场计，获得用户头部与所处环境间的相对角度，可以实现“第三显示模式”在这种显示模式下，虚拟物体的与环境间的相对角度固定，但相对位置可以发生移动。

例如，当使用者头部转动时，投射的虚拟图像在真实空间中的相对角度不发生改变，在使用者移动时，投射的虚拟键盘和屏幕在真实空间中的相对位置发生改变，跟随着使用者进行移动。

综上所述，第一显示模式、第二显示模式以及第三显示模式与真实环境以及使用者头部之间的关系如下表所示：

	与环境相对位置	与环境相对角度	与头部相对位置	与头部相对角度
					第一显示模式	不固定	不固定	固定	固定
第二显示模式	固定	固定	不固定	不固定
					第三显示模式	不固定	固定	固定	不固定

需要注意的是，“第一显示模式”、“第二显示模式”或“第三显示模式”可以针对不同的虚拟图像混合使用，可以由***软件决定也可以由使用者自主设置。

所述“第一显示模式”、“第二显示模式”或“第三模式”通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。

具体地，通过单目摄像头211、景深传感器217或者双目/多目摄像头212扫描并识别在实景图像中设置的二维码，所述二维码包含开启第一显示模式、开启第二显示模式的信息或开启第三显示模式的信息。在识别出二维码中的信息后，以所述二维码的信息对应的显示模式进行显示。如，扫描出二维码中的信息为开启第一显示模式的信息，则以第一显示模式进行显示；又如扫描出的二维码中的信息为开启第二显示模式或者第三显示模式的信息，则以第二显示模式或者第三模式进行显示。

同理，可通过单目摄像头211、景深传感器217或者双目/多目摄像头212扫描并识别在实景图像中设置的人工标记，所述人工标记包含开启第一显示模式或者开启第二显示模式的信息。如，识别出人工标记中的信息为开启第一显示模式的信息，则以第一显示模式进行显示；又如识别出的人工标记中的信息为开启第二显示模式第三模式的信息，则以第二显示模式或者第三模式进行显示。

二维码或其他实景图像中设置的二维平面上的人工标记还可以用于辅助以第二显示模式显示时的基于增强现实的教学辅助设备进行定位：根据单目摄像头211、景深传感器217或者双目/多目摄像头212拍摄到的二维码或者人工标记的形状与大小，与该二维码或者人工标记在二维平面上的实际大小与形状进行比对，推算出标记与摄像头之间的相对位置和角度。由于标记在环境中的位置固定，则可以由此计算出基于增强现实的教学辅助设备与环境的相对位置和角度关系T，从而实现第二显示模式。

进一步的，可对虚拟图像进行操控。基于增强现实的教学辅助设备可通过单目摄像头211、景深传感器217或者双目/多目摄像头212跟踪用户的手势的运动，分析使用者的意图，实现对虚拟显示的内容进行操作。

示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212跟踪使用者的手指的位置，在识别到手指的点击动作之后，执行手指点击动作对应的操作指令。

示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212识别到使用者的手势的抓取动作，则执行抓取动作对应的指令，对虚拟3D模型等进行拖曳操作。

示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212识别到放大或缩小的手势动作，则执行放大或缩小的手势动作对应的指令，对虚拟3D模型等进行缩放。

具体地，参阅图13，在传统教学方式的基础上，老师佩戴实施例一或二所述的基于增强现实的教学辅助设备，基于增强现实的教学辅助设备的显示模块12发出包含虚拟3D模型的第一光线。两个显示模块12发出包含虚拟3D模型的光线再结合获取的经过透视型导光元件13的包含讲台的图像信息的光线，两种光线经过基于增强现实的教学辅助设备上的透视型导光元件13的合成后在老师眼睛内融合，经过老师的人脑处理，可以将虚拟图像以三维的形式呈现在老师的眼前。可以理解为所述基于增强现实的教学辅助设备将虚拟3D模型投射在老师视野内的讲台上。

接着，将虚拟图像在多名学生佩戴不同的基于增强现实的教学辅助设备中进行同步显示。每一个学生佩戴的基于增强现实的教学辅助设备投射的虚拟3D模型通过通信芯片连接其它增强现实教学辅助设备并将虚拟3D模型、大小、姿态以及位置，同步传送至每一个或指定学生佩戴的基于增强现实的教学辅助设备内的显示模块12中显示。被同步的学生也可以对虚拟物体的大小、姿态以及位置进行控制与调整，并同步传送至其他学生佩戴的基于增强现实的教学辅助设备中。

同步显示对于第一显示模式和第二显示模式均适用。在第一显示模式中，同步虚拟物体在使用者是视野范围内的位置。若在第二显示模式中进行同步显示，则同步虚拟图像在真实空间中的位置。且使用者们同处一个教室内，虚拟图像对所有人来说都出现在空间中同一位置，协同工作的体验会非常接近面对一个真实产品时的情况，效果逼真。

可选地，可将某一基于增强现实的教学辅助设备赋予管理权限，由该设备指定任一台基于增强现实的教学辅助设备具有控制权限，对投射的虚拟3D模型进行控制，比如，老师佩戴的设备具有管理权限，由老师控制设备指定某一学生佩戴的设备进行控制。指定某一学生对虚拟3D模型的操作也将在其他设备中同步显示。

参阅图14，可选地，每一个学生或老师佩戴的基于增强现实的教学辅助设备内的显示模块12中显示的虚拟3D模型不进行同步显示，所有使用者可以在自己面前投射自己的虚拟3D模型，然后可以自由的控制其旋转和其他的显示方式。都其中一名使用者需要把自己的3D模型展示给教室里面所有用户的时候，可以将其投射到教室中的某个位置。

在上述的，教学辅助方法中，老师和学生都可以看到身边的人，可以以比较自然的方式来进行交流。有必要的情况下，学生和老师都可以在教室中走动，也不会有摔倒或者撞到东西的危险。

可选地，所述一种基于增强现实的教学辅助方法还包括：获取远程的教学场景的实景图像和/或远程的基于增强现实的教学辅助设备中显示的虚拟图像，与本地的实景图像和/或本地的基于增强现实的教学辅助设备中显示的虚拟图像合成后进行显示。参阅图15，教室一和教室二分别在不同的地点。A、B在教室一内，C在教室二进行远程教学。A、B可以通过在教室一内设置的摄像头以及基于增强现实的教学辅助设备上的景深传感器217，对自己所处的环境进行实时的三维建模，并将三维影像通过通信芯片连接网络实时的传送至C的基于增强现实的教学辅助设备中，经处理器处理后投射在C眼前，投射在C眼前的三维影像为A、B所在教室的图像和/或A、B佩戴的基于增强现实的教学辅助设备上显示的虚拟图像与C所在教室的图像和/或C佩戴的基于增强现实的教学辅助设备上显示的虚拟图像经处理器合成后的景象。同样，C可以将自己的三维影像通过网络传送至教室内的A、B佩戴的基于增强现实的教学辅助设备中，经处理器处理后投射在A、B的眼前。若C的基于增强现实的教学辅助设备使用第二显示模式，对周围环境进行了建模，则可以将A，B的虚拟图像固定在讲台前的空椅子上。同样的，A和B也可以将C的三维虚拟影像固定在A和B所在教室内的空椅子上。这样，对所有上课者来说，都会觉得所有上课者是在同一个教室内开会，极大地提升临场感。

同样，远程教育的参与者可以来自多个地点，也可以以类似的方法来进行远程教学。

参阅图16，使用者佩戴基于增强现实的教学辅助设备，教学辅助设备在使用者面前投射虚拟图像，辅助使用者进行自主学习。教学辅助设备在使用者面前投射虚拟3D模型，也可以投射虚拟显示屏。虚拟显示屏可以用来浏览网页，显示其他资料,可以提高学生的学习效率。因为使用者可以同时看到外部的环境，所以基于增强现实的教学辅助设备连接鼠标和键盘后，鼠标和键盘还是可以正常使用，让使用者以最熟悉的方式输入信息，比如做笔记，备课等等。使用者也可以选择用传统的纸笔来记录信息。

参阅图17，使用者佩戴基于增强现实的教学辅助设备，教学辅助设备在使用者面前投射虚拟图像，辅助使用者进行自主做实验。做实验是提高动手能力的必经途经。但是，有些实验，比如化学实验，是有一定危险性的，需要特定的场所和规章制度才能安全进行。很多实验也需要耗费大量的耗材，价格昂贵。使用基于增强现实的教学辅助设备，使用者可以进行虚拟的实验。基于增强现实的教学辅助设备在使用者面前投射虚拟3D的实验器具，并用单目摄像头211、景深传感器217或者双目/多目摄像头212捕捉用户的手势对实验器具进行操作，让用户能够在普通的环境里面进行逼真的实验。对实验环境的要求低，也不用耗费真实的实验耗材。

同时，在虚拟3D实验器具的旁边，基于增强现实的教学辅助设备还可显示实验的资料，步奏等信息，也可以显示实验指南，帮助使用者加深记忆，提高学习效率。同时，使用者也可以随之暂停实验，用与基于增强现实的教学辅助设备连接的鼠标键盘上网查询资料，用纸笔做笔记等。

可选地，参阅图18，还可通过眼球追踪摄像头213跟踪使用者的眼睛的焦点，对使用者眼睛焦点所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理，比如，在使用者眼睛所集中观察的局部区域，自动显示注释，和所观察物体的具体信息等。这些附加显示同样可以有选择地与其他使用者进行同步。

区别于现有技术，本实施方式提供的一种基于增强现实的教学辅助方法将教学场景的实景图像与虚拟图像结合，虚拟图像能够为使用者提供信息提示，辅助使用者进行教学，用户体验好，使用方便。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (18)

1.一种基于增强现实的教学辅助方法，其特征在于，包括：

发出包含虚拟图像的第一光线；

获取包含教学场景的实景图像的第二光线；

将所述包含虚拟图像的第一光线与包含教学场景的实景图像的第二光线进行合成。

2.根据权利要求1所述的方法，其特征在于，所述获取的实景图像包括：教室、教室内的学生、课桌椅、学习用具；所述虚拟图像包括：3D模型、虚拟的键盘、虚拟的鼠标、虚拟的学习用具或虚拟的实验道具。

3.根据权利要求1或2所述的方法，其特征在于，将获取到的所述教学场景的实景图像与所述虚拟图像合成后包括第一显示模式、第二显示模式或第三显示模式；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式；所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。

4.根据权利要求3所述的方法，其特征在于，所述第一显示模式、第二显示模式或第三显示模式通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取到的所述教学场景实景图像与所述虚拟图像合成后显示在多个基于增强现实的教学辅助设备上，每一基于增强现实的教学辅助设备通信连接，将虚拟图像在不同的基于增强现实的教学辅助设备中进行同步显示。

6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：跟踪手势的运动，对虚拟图像进行操作。

7.根据权利要求1或2所述的方法，其特征在于，获取远程的实景图像和/或虚拟图像，与获取的本地的实景图像和/或虚拟图像合成后进行显示。

8.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：对用户眼睛所注视的虚拟图像的特定部位进行追踪和特定处理。

9.一种基于增强现实的教学辅助设备，包括：

显示模块，用于显示虚拟图像并发出包含虚拟图像的第一光线；

透视型导光元件，用于获取包含教学场景的实景图像的第二光线；透视型导光元件还用于将所述包含虚拟图像的第一光线与包含教学场景的实景图像的第二光线进行合成。

10.根据权利要求9所述的设备，其特征在于，透视型导光元件获取的实景图像包括：教室、教室内的学生、课桌椅、学习用具；显示模块显示的所述虚拟图像包括：3D模型、虚拟的键盘、虚拟的鼠标、虚拟的学习用具或虚拟的实验道具。

11.根据权利要求9或10所述的设备，其特征在于，所述设备还包括处理器、陀螺仪、加速度计、磁场计、单目摄像头、景深传感器或者双目/多目摄像头，所述处理器用于将所述包含虚拟图像的第一光线与包含教学场景的实景图像的第二光线进行合成后以第一显示模式进行显示；或者处理器结合陀螺仪、加速度计、磁场计、单目摄像头、景深传感器或者双目/多目摄像头的数据后以第二显示模式进行显示；或者处理器结合陀螺仪、加速度计或磁场计的数据后，以第三显示模式进行显示；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式；所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。

12.根据权利要求11所述的设备，其特征在于，所述第一显示模式与第二显示模式通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。

13.根据权利要求11所述的设备，其特征在于，所述单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。

14.根据权利要求9或10所述的设备，其特征在于，所述设备还包括：通信芯片，用于与其它基于增强现实的教学辅助设备进行通信连接；处理器将所述虚拟图像通过通信芯片发送至其它基于增强现实的教学辅助设备上，将虚拟图像在其它基于增强现实的教学辅助设备中进行同步显示。

15.根据权利要求9或10所述的设备，其特征在于，所述单目摄像头、景深传感器或者双目/多目摄像头还用于跟踪手势的运动，并识别手势动作。

16.根据权利要求9或10所述的设备，其特征在于，通信芯片还用于获取远程的教学场景的实景图像和/或虚拟图像，处理器将获取远程的教学场景的实景图像和/或虚拟图像与获取的本地的实景图像和/或虚拟图像合成后进行显示。

17.根据权利要求9或10所述的设备，其特征在于，所述设备还包括眼球追踪摄像头，用于对用户眼睛所注视的虚拟图像的特定部位进行追踪和特定处理。

18.根据权利要求9或10所述的设备，其特征在于，所述基于增强现实的教学辅助设备与外接设备相连时，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的教学辅助设备进行交互。