CN108696740A - 一种基于增强现实的直播方法及设备 - Google Patents

Abstract

本发明实施方式公开了本实施例提供一种基于增强现实的直播方法，包括：发出包含虚拟图像的第一光线；获取包含外部场景的实景图像的第二光线；将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成。区别于现有技术，本实施方式提供的一种基于增强现实的直播方法将外部的实景图像与虚拟图像结合，虚拟图像能够为佩戴者提供显示范围大的提示信息，具有较大的视野范围，为佩戴者提供有效的信息辅助。

Description

一种基于增强现实的直播方法及设备

技术领域

本发明实施方式涉及增强现实技术领域，特别是涉及一种基于增强现实的直播方法及设备。

背景技术

在斗鱼、映客等网络直播平台上，主播们通过在室内的电脑、麦克风、摄像头，或者在户外使用手机，通过互联网进行网络直播。直播内容涵盖泛娱乐、教育、游戏、旅游、美食等。在现有的直播方式下，主播与观众的交互主要通过二维的显示屏幕，声音，和文字聊天进行。

对于主播，不仅需要集中注意力做好直播的内容，还需要实时阅读观众的发言，进行互动，这对于很多直播内容来说都极具挑战性。比如，游戏直播时，主播必须专注于游戏，如果要同时阅读观众发言，需要将视线集中到另一个显示器上，会严重影响在游戏中的表现；又比如，在进行旅游节目的直播时，主播需要在户外活动，将有趣的景点、美丽的环境展现给观众，同时与观众互动。这样，主播相当多的注意力需要集中在用于直播的移动设备上，在户外活动就变得非常不便，甚至会影响安全。同时，由于无法见到观众，与观众的交互仅通过文字或语音，交流不够直接。

对于观众，现有的直播方式仅能通过二维的屏幕看到主播和直播内容，临场感、代入感都较差，难以形成与主播面对面交流的体验。

发明内容

本发明实施方式主要解决的技术问题是提供一种基于增强现实的直播方法及设备，具有临场感、代入感强，内容显示直观。

为解决上述技术问题，本发明实施方式提供一种基于增强现实的直播方法，包括：发出包含虚拟图像的第一光线；获取包含外部场景的实景图像的第二光线；将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成。

区别于现有技术，本实施方式提供的一种基于增强现实的直播方法将外部的实景图像与虚拟图像结合，虚拟图像能够为佩戴者提供显示范围大的提示信息，具有较大的视野范围，为佩戴者提供有效的信息辅助。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1a是本发明实施例一提供的一种基于增强现实的直播设备的结构示意图；

图1b是图1a所示的透视型导光元件设置在头戴框架上时的示意图；

图1c是图1a所示的显示模块的侧视角度与显示亮度之间的第一关系图；

图1d是图1a所示的显示模块的侧视角度与显示亮度之间的第二关系图；

图1e是图1a所示的显示模块的侧视角度与显示亮度之间的第三关系图；

图2a是佩戴图1a所示的基于增强现实的直播设备时显示模块与用户脸部的位置关系示意图；

图2b是旋转图1a所示的显示模块的示意图；

图3是图1a所示的基于增强现实的直播设备的成像原理示意图；

图4是图1a所示的基于增强现实的直播设备设置屈光度矫正镜片时的示意图；

图5是图1a所示的基于增强现实的直播设备对角线视场区域与头部框架的最远端到用户头部最前端的距离关系的示意图；

图6是图1a所示的基于增强现实的直播设备连接外接设备工作时的示意图；

图7是本发明实施例二提供的一种基于增强现实的直播设备的结构示意图；

图8是图7所示的基于增强现实的直播设备连接外接设备工作时的示意图；

图9是图7所示的基于增强现实的直播设备连接外接设备工作时的又一示意图；

图10是图7所示的基于增强现实的直播设备工作时的示意图；

图11是本发明第三实施例提供的一种基于增强现实的信息处理方法中的第一显示模式的示意图；

图12是本发明第三实施例提供的一种基于增强现实的信息处理方法中的第二显示模式的示意图；

图13是本发明第三实施例提供的一种基于增强现实的信息处理方法的应用实例图；

图14是本发明第三实施例提供的一种基于增强现实的信息处理方法中的又一应用实例的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

参阅图1a，本发明实施例提供的一种基于增强现实的直播设备，所述基于增强现实的直播设备的总重量小于350克，其包括：头戴框架11、两个显示模块12、两个透视型导光元件13。其中，透视型导光元件13 是一种部分透射、部分反射的光学合成装置。

所述显示模块12及透视形导光元件13皆设置在头戴框架11上，支架11将显示模块12及透视形导光元件13进行固定。显示模块12设置在透视形导光元件13的上侧，显示模块12发出的光线能够经过透视形导光元件13后发生反射。可选地，所述显示模块13还可位于所述透视型导光元件13的侧方。

所述基于增强现实的直播设备还包括：主板17，主板17设置在头戴框架11上，且位于二显示模块12之间。所述主板17上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块12上。

本发明实施例中，头戴框架11用于佩戴在用户的头部，每一透视型导光元件13具有一凹面，凹面朝向用户的双眼设置。经由一透视型导光元件13的凹面反射的第一光线进入用户的左眼，以及经由另一透视型导光元件13的凹面反射的另一第一光线进入用户的右眼，以在用户的头脑中形成3D虚拟场景的视觉。其中，第一光线是由显示模块12 发射的，且第一光线包含左眼及右眼的虚拟图像信息。

参阅图1b，两个透视型导光元件13设置在头戴框架11上，分别独立地嵌入到头戴框架11上。可选地，可在制作透视型导光元件的原材料上设置两个对应于用户左右眼的区域，所述区域的形状大小与上述的独立设置时的每一透视型导光元件13的形状大小相同；最终的效果为一块大的透视型导光元件上设置有两个对应于用户左右眼的区域。可以理解为在一块大的透视型导光元件的原材料上加工出两个与独立设置时的透视型导光元件13的形状大小相同的区域，即两个透视型导光元件13一体成型。所述设置有对应于用户左右眼区域的透视型导光元件嵌入到头戴框架11上。

需要说明的是，显示模块12可拆卸安装于头戴框架11上，比如，显示模块为手机、平板电脑等智能显示终端；或者，显示模块固定安装于头戴框架上，比如，显示模块与头戴框架集成设计。

头戴框架11上可以安装两个显示模块12，用户的左眼和右眼分别对应地设置一个显示模块12，例如，一个显示模块12用于发射包含左眼虚拟图像信息的第一光线，另一个显示模块12用于发射包含右眼虚拟图像信息的另一第一光线。两个显示模块12可以分别一一对应地位于两个透视型导光元件13的上方，当基于增强现实的直播设备佩戴在用户的头部时，两个显示模块12分别一一对应地位于用户的左眼和右眼的上方；显示模块12也可以位于透视型导光元件的侧方，即两个透视型导光元件位于两个显示模块之间，当基于增强现实的直播设备佩戴在用户的头部时，两个显示模块分别一一对应地位于用户的左眼和右眼的侧方。

头戴框架11上也可以安装单个显示模块12，该单个显示模块12上有两个显示区域，一个显示区域用于发射包含左眼虚拟图像信息的第一光线，另一个显示区域用于发射包含右眼虚拟图像信息的另一第一光线。

显示模块包括但不限于LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)、LCOS (Liquid Crystal OnSilicon，硅基液晶)等类型的显示器。

参阅图1c，图中的横向轴标识侧视角度，纵向轴表示显示亮度。显示模块12为LCD时，显示模块12的亮度是随着观察者的角度来变化的。对于普通LCD，在显示亮度为50％时的侧观察角度θ一般都比较大。

LCD应用于对于增强现实显示***时，则比较适用于小的侧观察角度，这样的显示模块12的亮度就会集中在靠近中心的角度区域。因为增强现实显示***主要使用靠近中心的角度区域，这样的话投影到用户眼中的第一光线及第二光线的亮度会比较高。参阅图1d，应用于增强现实显示***中的LCD发出的第一光线及第二光线的亮度在显示亮度为50％时的侧观察角度θ一般都比较小。并且，应用于增强现实显示***中的 LCD发出的第一光线及第二光线的亮度的分布关于0度侧视角左右对称，且侧视角度小于60度。即是，用户视角垂直于显示模块12时，显示模块12发出的第一光线及第二光线的亮度的显示亮度为最大，用户视角向两侧偏移时，显示亮度逐渐减小，在侧视角小于60度时，显示亮度为0。

可选地，参阅图1e，应用于增强现实显示***的LCD的发出的第一光线及第二光线的亮度分布可不关于0度侧视角对称，且显示亮度最亮时的侧视角度不为0度。

参阅图2a，两个显示模块12分别一一对应地位于两个透视型导光元件13的上方，用户佩戴上所述基于增强现实的直播设备时，显示模块12与用户头部的正平面形成一夹角a，所述夹角a的角度为0度至 180度，优选为钝角。同时，显示模块12在水平面上的投影与正平面垂直。

参阅图2b，在某些实例中，透视形导光元件13的位置可以绕与水平面垂直的某一转轴旋转一定角度b，所述角度b的角度为0度至180 度，优选为0度至90度。同时，对应左眼和右眼的透视型导光元件13 可以通过头戴框架11上的机械结构调整间距，以适应不同用户的瞳距，保证使用时的舒适度和成像质量。所述两个透视型导光元件13的边缘之间的最远距离小于150毫米，即对应于左眼设置的透视型导光元件13 的左边缘到对应于右眼设置的透视型导光元件13的右边缘的距离小于 150毫米。相应的，显示模块12之间通过机械结构连接，所述显示模块 12之间的距离也可以进行调整，或者通过调整显示内容在显示模块12 上的位置达到同样的效果。

头戴框架11可以是用于挂在用户耳部和鼻梁部的眼镜式的框架结构，其上设置有鼻托111和镜腿112，通过鼻托111与镜腿112固定在用户的头部，所述镜腿112为可折叠结构，其中鼻托111对应固定在用户的鼻梁上，镜腿112对应固定在用户的耳朵上。进一步的，眼镜腿112 之间还可以通过松紧带相连，佩戴时松紧带收紧眼镜腿，帮助框架在头部的固定。

可选地，鼻托111和镜腿112为可伸缩机构，可分别调整鼻托111 的高度和镜腿112的伸缩长度。同样，鼻托111和镜腿112还可以为可拆卸结构，拆卸后可对鼻托111或者镜腿112进行更换。

可选地，头戴框架11可包括鼻托和伸缩皮筋，通过鼻托与伸缩皮筋固定在用户头部；或者仅包括伸缩皮筋，通过所述伸缩皮筋固定在用户头部。可选地，头戴框架11也可以是用于佩戴在用户头顶和鼻梁部的头盔式框架结构。本发明实施例中，由于头戴框架11的主要作用是用来佩戴在用户的头部以及为显示模块12、透视型导光元件13等光、电元器件提供支撑，头戴框架包括但不限于上述方式，在具备上述主要作用的前提下，本领域技术人员能够根据实际应用的需要对头戴框架作出若干变形。

参阅图3，显示模块12发射包含左眼虚拟图像信息的第一光线121，经由一透视型导光元件13的凹面131反射的第一光线121进入用户的左眼14；同理，显示模块发射包含右眼虚拟图像信息的另一第一光线，经由另一透视型导光元件的凹面反射的另一第一光线进入用户的右眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，另外，不同于谷歌眼镜中通过在用户的右眼前直接设置一块小型显示屏的方式，导致视觉区域较小，本发明实施例中，通过两个透视型导光元件反射更多的显示模块发射的第一光线分别进入用户的双眼，视觉区域较大。

在本发明实施例中，当基于增强现实的直播设备实现增强现实的功能，每一透视型导光元件13还具有一与凹面相背设置的凸面；经由透视型导光元件13的凸面和凹面透射的包含外界图像信息的第二光线进入用户的双眼，以形成混合3D虚拟场景和真实场景的视觉。再次参阅图1a，一透视型导光元件13还具有与凹面131相背设置的凸面132，经由透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第二光线151进入用户的左眼14，同理，另一透视型导光元件还具有与其凹面相背设置的凸面，经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第二光线进入用户的右眼，用户能够看到外界的真实场景，从而形成混合3D虚拟场景和真实场景的视觉感受。

参阅图4，可选地，在人眼与透视型导光元件13之间设置一屈光度矫正镜片16，所述屈光度矫正镜片16垂直于水平面设置。可选地，所述屈光度矫正镜片所在平面也可与水平面成30度到90度的夹角。可选地，可任意设置不同度数的屈光度矫正镜片。显示模块12发射包含左眼虚拟图像信息的第一光线121，经由透视型导光元件13的凹面131反射的第一光线121以及经由透视型导光元件13的凸面132和凹面131 透射的包含外界图像信息的第二光线151进入用户的左眼14之前，先经过屈光矫正镜片16。所述屈光矫正镜片16为凹透镜，使经过其上的第一光线121以及第二光线151发散，使第一光线121以及第二光线151 在左眼14上的焦点后移。同样，所述屈光矫正镜片16还可为凸透镜，使经过其上的第一光线121以及第二光线151汇聚，使第一光线121以及第二光线151在左眼14上的焦点前移。

同理，显示模块发射包含右眼虚拟图像信息的另一第一光线，经由另一透视型导光元件的凹面反射的另一第一光线以及经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第二光线进入用户的右眼之前，也先经过一屈光度矫正镜片。

参阅图5，基于增强现实的直播设备佩戴在用户头部上后，以用户的眼球为顶点，用户的眼球到通过所述透视型导光元件13看到的虚拟图像的虚拟显示区域的两侧边缘构成对角线视场区域。头部框架的最远端到与头部最前端接触位置的距离为c，可根据需要调节所述c的距离长度。所述对角线视场区域的角度大小与所述头部框架11的最远端到与头部最前端接触位置的距离成反比。优选地，在保证对角线视场区域大于55度的前提下，头部框架的最远端到与头部最前端接触位置的距离小于80mm。

参阅图6，二显示模块12通过电缆连接到主板17上。

主板17上还设置有视频接口、电源接口、通信芯片以及存储器。

所述视频接口用于连接计算机、手机、或其他设备接收视频信号。其中所述视频接口可以为：hmdi、display port、thunderbolt或usb type-c，micro usb,MHL(Mobile High-Definition Link)等接口。

所述处理器，用于处理数据，其中主要用于解码视频信号传输并显示在显示模块12上。

所述电源接口，用于外接电源或电池供电。所述电源接口包括USB 接口或者其他接口。

所述通信芯片，用于通过通信协议与外界进行数据交互，具体为通过Wi Fi、WDMA、TD-LTE等通信协议连接互联网，再通过互联网获取数据或者与其它增强现实的直播设备连接；或者直接通过通信协议与其它增强现实的直播设备相连。

所述存储器，用于存储数据，主要用于存储显示模块12中显示的显示数据。

当基于增强现实的直播设备仅包括如上所述的头戴框架11、二显示模块12、两个透视型导光元件13及主板17时，所有的3D虚拟场景渲染、对应双眼的图像生成均在与基于增强现实的直播设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。

具体地，基于增强现实的直播设备通过视频接口接收外接设备的视频信号，解码后在显示模块12上显示。同时，与用户的交互通过计算机、手机、平板电脑等外接设备上的应用软件进行，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的直播设备进行交互。

这种基本结构的应用实例包括但不限于大屏幕便携显示器。基于增强现实的直播设备可以将显示屏幕投射在用户视野内的某一固定位置。用户需要通过与基于增强现实的直播设备相连的设备上的软件进行调整投射屏幕的尺寸、位置等操作。

本发明实施例提供的一种基于增强现实的直播设备，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息以及右眼虚拟图像信息的第一光线分别反射进入用户的双眼，从而在用户的大脑中形成3D 虚拟场景的视觉感受，视觉区域较大。

实施例二

参阅图7，在实施例一中提供的一种基于增强现实的直播设备的基础上，设置多个传感器进行对周边环境进行感知。

本实施例提供的一种基于增强现实的直播设备，所述基于增强现实的直播设备的总重量小于350克，其包括：头戴框架21、二显示模块 22、两个透视型导光元件23及主板24。

所述显示模块22、透视形导光元件23及主板24皆设置在头戴框架 21上，头戴框架21将显示模块22、透视形导光元件23及主板24进行固定。显示模块22设置在透视形导光元件23的上侧，显示模块22发出的光线能够经过透视形导光元件23后发生反射。主板24，主板24位于二显示模块22之间，所述主板24上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块22上。

头戴框架21、二显示模块22、两个透视型导光元件23、主板24与实施例一中所述的头戴框架11、二显示模块12、两个透视型导光元件 13、主板17的具体功能、结构及位置关系相同，在此不进行赘述。

同样，在人眼与透视型导光元件23之间设置一屈光度矫正镜片，所述屈光度矫正镜片垂直于水平面设置。可选地，可任意设置不同度数的屈光度矫正镜片。

头部框架21上还设置有单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219。

单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器 218和/或距离传感器219皆电连接在主板24上。

具体地，所述单目摄像头211为彩色单目摄像头，放置于头部框架 21的前部。用户佩戴所述基于增强现实的直播设备时，单目摄像头211 朝向相对于用户脸部的另一侧，可以使用该摄像头进行拍照。进一步的，还可以对使用该摄像头，运用计算机视觉技术检测环境中的位置已知的标记，帮助所述基于增强现实的直播设备进行定位。

所述单目摄像头211还可以为高分辨率的摄像头，用于拍照或者拍摄视频；拍摄所获得的视频还可以通过软件叠加用户所见的虚拟物体，复现用户通过基于增强现实的直播设备看到的内容。

所述双目/多目摄像头212可以是单色或彩色的摄像头，其设置在头戴框架21前部或侧面，且位于单目摄像头211的一侧、两侧或者四周。进一步的，所述双目/多目摄像头212可以带有红外滤光片。使用双目摄像头，可以在获得环境图像的基础上，进一步得到图像上的景深信息。使用多目摄像头，则可以进一步扩展相机的视角，获得更多的环境图像与景深信息。双/多目摄像头212捕获的环境图像和距离信息可被用于:(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算基于增强现实的直播设备的姿态。(2)捕获用户手势、掌纹等用于人机交互。

可选地，上述的单目摄像头或双目/多目摄像头中的每一目均可是 RGB摄像头、单色摄像头或红外摄像头中的一种。

所述眼球追踪摄像头213，设置在透视型导光元件23的一侧，用户佩戴所述基于增强现实的直播设备时，眼球追踪摄像头213朝向相对于用户脸部的一侧。所述眼球追踪摄像头213用于跟踪人眼焦点，对人眼所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理。比如，在人眼所注视的物件旁边自动显示此物件的具体信息等。另外对人眼注视的区域可以显示高清晰度的虚拟物件图像，而对其他区域则只显示低清晰度图像即可，这样可以有效减少图像渲染的计算量，而不会影响用户体验。

陀螺仪214、加速度计215、磁场计216设置在二显示模块22之间。可以通过融合陀螺仪214、加速度计215和磁场计216的数据，得到用户头部与***初始位置间相对姿态。这些传感器的原始数据可以进一步和双目/多目摄像头212的数据进行融合，得到基于增强现实的直播设备在固定环境中的位置和姿态。

所述景深传感器217设置在头戴框架21的前部，可以直接获得环境中的景深信息。与双/多目摄像头212相比，景深传感器可以获得更准确、分辨率更高的景深数据。类似的，使用这些数据可以：(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算基于增强现实的直播设备的姿态。(2)捕获用户手势、掌纹等用与人机交互。(3) 检测用户周围物体的三维信息。

所述环境光传感器218设置在头戴框架21上，可以实时监控环境光线的强弱。基于增强现实的直播设备根据环境光的变化实时的调整显示模块22的亮度，以保证显示效果在不同环境光下的一致性。

所述距离传感器219设置在基于增强现实的直播设备与用户面部接触的位置，用于检测基于增强现实的直播设备是否佩戴在用户头部。若用户摘下了基于增强现实的直播设备，则可以通过关闭显示模块22、处理器等方式节电。

可选地，所述基于增强现实的直播设备还包括：红外/近红外光LED，所述红外/近红外光LED电连接在主板24上，所述红外/近红外光LED 用于为双目/多目摄像头212提供光源。具体为，所述红外/近红外LED 发出红外线，在红外线到达通过双目/多目摄像头212获取的物体时，所述物体将红外线反射回去，双目/多目摄像头212上的感光元件接收反射回来的红外线并转换成电信号，接着在进行成像处理。

所述基于增强现实的直播设备在进行人机交互时，可进行的操作包括如下：

(1)基于增强现实的直播设备可以将显示屏幕投射在用户视野内的某一固定位置。用户可通过基于增强现实的直播设备上的传感器进行调整投射屏幕的尺寸、位置等操作。

(2)可以通过各类传感器进行手势、掌纹识别，用于人机交互。

(3)可以通过眼球追踪判断用户的意图，对人眼所观察虚拟物件或虚拟屏幕中的特定部位进行相应处理。

(4)还可以在支架上增加实体或触摸按钮、摇杆等，用于人机交互。

(5)可以配有遥控器，遥控器上有按钮、摇杆、触控板等，通过有线或无线的方式与基于增强现实的直播设备相连，作为人机交互界面。

(6)可以通过在主板上增加音频解码和功率放大芯片，集成耳塞插孔、耳塞、或喇叭等发生设备与麦克风，允许用户使用语音与基于增强现实的直播设备进行交互。

参阅图8，主板上设置有视频接口和处理器。

当基于增强现实的直播设备包括如上所述的头戴框架21、二显示模块22、两个透视型导光元件23、主板24以及如上所述的多个传感器时，所有的3D虚拟场景渲染、对应双眼的图像生成以及多个传感器获取的数据的处理均可在与基于增强现实的直播设备相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。

具体地，基于增强现实的直播设备通过视频接口接收外接设备的视频信号，解码后在显示模块23上显示。外接设备接收基于增强现实的直播设备上的多个传感器获取的数据，进行处理后根据数据对双眼显示的图像进行调整，在显示模块23上显示的图像上进行体现。基于增强现实的直播设备上的处理器仅用于支持视频信号的传输与显示以及传感器数据的传递。

参阅图9，主板上设置有运算能力较强的处理器，将部分或全部计算机视觉算法在基于增强现实的直播设备内完成。

具体地，基于增强现实的直播设备通过视频接口接收外接设备的视频信号，解码后在显示模块23上显示。外接设备接收基于增强现实的直播设备上的部分传感器获取的数据，进行处理后根据传感器数据对双眼显示的图像进行调整，在显示模块23上显示的图像上进行体现。其余传感器获取的数据则在基于增强现实的直播设备上处理。例如，单目摄像头211、双目/多目摄像头212、陀螺仪214、加速度计215、磁场计216及景深传感器217获取的数据在基于增强现实的直播设备中处理。眼球追踪摄像头213、环境光传感器218及距离传感器219获取的数据在外接设备中处理。基于增强现实的直播设备上的处理器用于支持视频信号的传输与显示、部分传感器数据的处理以及其余传感器数据的传递。

参阅图10，主板上设置有高性能的处理器以及图像处理器，在基于增强现实的直播设备内完成所有的运算。在这种模式下，增强现实显示无需连接外接设备，可作为一个独立的***运行。

具体地，基于增强现实的直播设备将传感器获取的数据进行处理后, 对双眼显示的图像进行调整,渲染后在显示模块23上显示。基于增强现实的直播设备上的处理器用于视频信号的解码处理与显示以及传感器数据的处理。

在实施例一及实施例二中所述的基于增强现实的直播设备实现增强现实的实际应用中，为了增加透视型导光元件的凹面对显示模块发射的第一光线的反射率，例如，透视型导光元件的凹面镀有反射膜，较佳的，镀有反射膜的透视型导光元件的凹面的反射率是20％-80％。又如，若第一光线是线偏振光，为了增加透视型导光元件的凹面的反射率，透视型导光元件的凹面镀有偏振反射膜，偏振反射膜的偏振方向与第一光线的偏振方向之间的角度大于70°且小于等于90°，比如：偏振反射膜的偏振方向与第一光线的偏振方向垂直，实现近乎为100％的反射率，另外，由于包含外界图像信息的第二光线是非偏振光，若透视型导光元件的凹面镀有偏振反射膜，当第二光线经由该偏振反射膜时，有近乎50％的第二光线进入用户的双眼，用户仍然能够看到外界的真实场景。为了更好地让包含外界图像信息的第二光线进入用户的双眼，透视型导光元件的凸面镀有增透膜。

在实施例一及实施例二中所述的基于增强现实的直播设备的实际应用中，为了实现透视型导光元件的凹面对显示模块发射的第一光线的反射率的可控调节，透视型导光元件的凹面设有压敏反射膜，通过改变加载在压敏反射膜上的电压大小，能够调节压敏反射膜的反射率位于0 至100％之间，当压敏反射膜的反射率为100％时，基于增强现实的直播设备可以实现虚拟现实的功能。

为了实现透视型导光元件的与凹面相背设置的另一表面对包含外界图像信息的第二光线的透光率的可控调节，透视型导光元件的与凹面相背设置的另一表面上设有压敏黑片，通过改变加载在压敏黑片上的电压大小，能够调节压敏黑片透光率的高低。

本发明实施例提供的一种基于增强现实的直播设备，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息及包含右眼虚拟图像信息的第一光线分别反射进入用户的双眼，从而在用户的大脑中形成 3D虚拟场景的视觉感受，视觉区域较大。同时在基于增强现实的直播设备上设置多个传感器，传感器感知周边的环境后，可将感知的结果在显示模块中显示的图像中进行体现，使得临场感受更好，用户体验更佳。

实施例三

本实施例提供一种基于增强现实的直播方法，包括：

发出包含虚拟图像的第一光线；

获取包含外部场景的实景图像的第二光线；

将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成。

所述获取的外部场景的实景图像包括：佩戴基于增强现实的直播设备的使用者所处环境的实景图像。示例的，使用者处于房间内，则所述获取的实景图像包括：房间内的人物、家具、各种道具等物体经过光线反射后呈现出来的图像；若使用者处于户外，则所述获取的的实景图像包括：户外的花草树木、建筑物等物体经过光线反射后呈现出来的图像。

所述获取虚拟图像包括：获取显示模块12经过处理器处理后显示出来的虚拟图像。所述虚拟图像包括：虚拟显示屏、虚拟对话框、虚拟三维形象等。所述虚拟显示屏用于显示基于增强现实的直播设备接收的外接设备传输过来的数据、通过互联网获取的网络数据或者本地存储器里面存储的数据。虚拟三维形象可以是类似动画人物的虚构形象，也可以是通过一个或多个摄像机拍摄后合成的真实三维形象。

两个显示模块12发出包含虚拟图像的显示数据的第二光线再结合获取的经过透视型导光元件13的包含外部场景图像信息的第二光线，两种光线经过基于增强现实的直播设备上的透视型导光元件13的合成后在用户眼睛内融合，经过使用者的人脑处理，可以将虚拟图像的显示数据的内容以三维的形式呈现在使用者的眼前。可以理解为所述基于增强现实的直播设备将虚拟图像的显示数据投射在用户视野内的教室实景图像中。

将获取到的所述外部场景的景实景图像与所述虚拟图像合成后进行显示时包括第一显示模式、第二显示模式或第三模式；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的的显示模式。所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。

具体地，使用者可以通过基于增强现实的直播设备上的按钮或移动设备上的控制软件，调整基于增强现实的直播设备投射的虚拟对话框以及其他数字内容在视野内的位置、大小、形状和角度。使用者还可以使用可以有选择的开启或关闭某项或几项投射内容，比如显示屏或是键盘。需要指出的是，之前实施例一中的基于增强现实的直播设备不具备环境感知和头显空间定位的能力，投射内容在用户的视野内，处于固定的位置。参阅图11，虚拟对话框等数字内容在基于增强现实的直播设备的坐标系F_H中的位置和姿态是固定的。用户需要自行调整投射内容在视野内，也就是坐标系F_H中的位置和姿态。当使用者头部发生转动时，头显在真实空间中的的位置和姿态发生变化，即F_H与F_I的相对位置和姿态发生变化，投射的数字内容在真实空间坐标系F_I中的位置和姿态也会随之改变。所述显示方法为“第一显示模式”。主播在餐馆直播吃面，面前有一碗面条，基于增强现实的直播设备投射一块虚拟对话框显示观众的发言和评论，放置在主播左侧。当使用者的头部移动或转动以后，投射的虚拟对话框在主播眼前的位置不发生改变，而它们在真实空间中的位置会跟着转动或移动，发生变化。处理器将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成后以第一显示模式进行显示。

在实施例二所述的基于增强现实的直播设备的应用时，可以通过单目摄像头211运用计算机视觉技术检测环境中的位置已知的标记，帮助所述基于增强现实的直播设备进行定位，通过景深传感器217获得环境中的景深信息。或者，基于增强现实的直播设备还可以通过使用双目/ 多目摄像头212，在获得环境图像的基础上，进一步得到获取的图像上的景深信息。接着，基于增强现实的直播设备通过将单目摄像头211、景深传感器217或者双目/多目摄像头212获得的数据进行处理，处理器利用计算机视觉技术对周围环境进行3D建模，实时识别真实环境中不同物体并确定它们在空间中的位置和姿态。这样，基于增强现实的直播设备能分析得出使用者附近有哪些空间能够较好地投射虚拟屏幕、虚拟键盘以及其他显示内容。另外，基于增强现实的直播设备还可以通过陀螺仪214、加速度计215、磁场计216获取的数据结合单目摄像头211、景深传感器217或者双目/多目摄像头212获得的图像和景深数据，计算基于增强现实的直播设备在真实空间中的位置和姿态，即坐标系F_H与 F_I的相对位置和角度关系T。由于基于增强现实的直播设备中投射的虚拟图像的显示数据，如虚拟显示屏、虚拟键盘等，在坐标系F_H中的位置和姿态已知，通过T可以获得投射数字内容在真实空间(F_I)中的位置和角度。相对的，若希望投射内容出现在真实空间(F_I)的某个位置和角度，则可通过关系T，计算出投射内容在增强现实的直播设备坐标系F_H中的位置和姿态，将虚拟屏幕等投射内容放置于此。

这样，基于增强现实的直播设备可以实现“第二显示模式”。当使用者头部转动时，可以通过调整投射内容在基于增强现实的直播设备内显示的位置和姿态，将投射内容“固定”在真实空间内，让使用者感觉到觉得虚拟物体是真实的。参阅图12，主播在餐馆直播吃面，面前有一碗面条，基于增强现实的直播设备投射一块虚拟对话框显示观众的发言和评论，放置在主播左侧。当主播的头部移动或转动以后，虚拟对话框在真实空间中的位置不发生改变，仿佛固定在空间中。

需要注意的是，“第一显示模式”和“第二显示模式”可以针对不同的虚拟图像混合使用，可以由***软件决定也可以由使用者自主设置。

基于增强现实的直播设备使用陀螺仪、加速度计和磁场计，获得用户头部与所处环境间的相对角度，可以实现“第三显示模式”在这种显示模式下，虚拟物体的与环境间的相对角度固定，但相对位置可以发生移动。

例如，主播在餐馆直播吃面，面前有一碗面条，基于增强现实的直播设备投射一块虚拟对话框显示观众的发言和评论，放置在主播左侧。当主播的头部移动或转动以后，虚拟对话框在真实空间中的相对角度不发生改变，在主播移动时，投射的虚拟键盘和屏幕在真实空间中的相对位置发生改变，跟随着主播进行移动。

综上所述，第一显示模式、第二显示模式以及第三显示模式与真实环境以及使用者头部之间的关系如下表所示：

	与环境相对位置	与环境相对角度	与头部相对位置	与头部相对角度
					第一显示模式	不固定	不固定	固定	固定
第二显示模式	固定	固定	不固定	不固定
					第三显示模式	不固定	固定	固定	不固定

需要注意的是，“第一显示模式”、“第二显示模式”或“第三显示模式”可以针对不同的虚拟图像混合使用，可以由***软件决定也可以由使用者自主设置。

所述“第一显示模式”、“第二显示模式”或“第三模式”通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。

具体地，通过单目摄像头211、景深传感器217或者双目/多目摄像头212扫描并识别在实景图像中设置的二维码，所述二维码包含开启第一显示模式、开启第二显示模式的信息或开启第三显示模式的信息。在识别出二维码中的信息后，以所述二维码的信息对应的显示模式进行显示。如，扫描出二维码中的信息为开启第一显示模式的信息，则以第一显示模式进行显示；又如扫描出的二维码中的信息为开启第二显示模式或者第三显示模式的信息，则以第二显示模式或者第三模式进行显示。

同理，可通过单目摄像头211、景深传感器217或者双目/多目摄像头212扫描并识别在实景图像中设置的人工标记，所述人工标记包含开启第一显示模式或者开启第二显示模式的信息。如，识别出人工标记中的信息为开启第一显示模式的信息，则以第一显示模式进行显示；又如识别出的人工标记中的信息为开启第二显示模式第三模式的信息，则以第二显示模式或者第三模式进行显示。

二维码或其他实景图像中设置的二维平面上的人工标记还可以用于辅助以第二显示模式显示时的基于增强现实的直播设备进行定位：根据单目摄像头211、景深传感器217或者双目/多目摄像头212拍摄到的二维码或者人工标记的形状与大小，与该二维码或者人工标记在二维平面上的实际大小与形状进行比对，推算出标记与摄像头之间的相对位置和角度。由于标记在环境中的位置固定，则可以由此计算出基于增强现实的直播设备与环境的相对位置和角度关系T，从而实现第二显示模式。

进一步的，可对虚拟图像进行操控。基于增强现实的直播设备可通过单目摄像头211、景深传感器217或者双目/多目摄像头212跟踪用户的手势的运动，分析使用者的意图，实现对虚拟显示的内容进行操作。

示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212跟踪使用者的手指的位置，在识别到手指的点击动作之后，执行手指点击动作对应的操作指令。

示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212识别到使用者的手势的抓取动作，对虚拟屏幕整体，或者虚拟屏幕中的物体进行拖曳操作。

示例的，通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212识别到放大或缩小的手势动作，则执行放大或缩小的手势动作对应的指令，对虚拟屏幕或者虚拟屏幕中的物体进行缩放。

具体地，参阅图13，使用者佩戴实施例一或二所述的基于增强现实的直播设备，将基于增强现实的直播设备连接至笔记本电脑，笔记本电脑通过电缆传输视频信号至基于增强现实的直播设备。所述电缆也可用于数据、音频信号的传输以及为头显供电。电缆可以是单条(比如USB Type-C)也可是多条(视频、音频和数据使用不同电缆)。基于增强现实的直播设备获取通过笔记本电脑传送的虚拟图像的视频信号，然后在基于增强现实的直播设备的显示模块12上进行显示。两个显示模块12发出包含上述虚拟图像的光线再结合获取的经过透视型导光元件13的包含外部场景的实景图像信息的光线，两种光线经过基于增强现实的信息处理设备上的透视型导光元件13的合成后在主播眼睛内融合，经过主播的人脑处理，可以将虚拟图像的内容以三维的形式呈现在主播的眼前。可以理解为所述基于增强现实的信息处理设备将虚拟显示屏以及虚拟显示屏上显示的内容投射在主播视野内的外部场景的实景图像中。

当主播在进行直播时，基于增强现实的直播设备可以将观众的评论和发言放置在虚拟对话框中投射在眼前。虚拟对话框可以使用第一显示模式，始终出现在主播眼前的固定位置，方便主播时刻阅读观众的评论和发言。虚拟对话框也可以使用第二显示模式，将虚拟对话框固定在空间中的某一位置；或者在此基础上，当虚拟对话框将移出主播视野时，自动将虚拟对话框移动至视野边缘，使虚拟对话框始终在主播视野内，但又能够固定在视野内、真实空间的某处。

基于增强现实的直播设备还可以投射一个或数个虚拟现实屏，显示主播直播时需要的信息，比如旅游直播时，景点的介绍信息，美食直播时，店家的简介、菜式的具体信息等，又或者是直播计划，需要播出那些内容，一定程度上相当于提词机的作用，在不影响主播看到周围环境，继续直播的前提下，提高直播的质量，减少主播的工作负担。

若观众所在地设有摄像头或者景深传感器，观众可以通过摄像头获取自己的影像，通过网络传输至主播的基于增强现实的直播设备中，让主播看到自己的真实的形象或卡通形象，投射在主播的基于增强现实的直播设备的显示模块12内，主播则可以选则将观众的虚拟图像放置在空间中的某个区域，面对面的与观众互动。观众的发言还可以直接以气泡的形式出现在自己形象的头顶。

同样的，参阅图14，观众可以将基于增强现实的直播设备连接至电脑、手机、平板电脑等外接设备。若主播所在地设有摄像头或景深摄像头，观众在佩戴基于增强现实的直播设备后，可以将主播的形象投射在自己的身边，面对面的与主播交流。

若主播开启了全景摄像头，观众还可以通过调节基于增强现实的直播设备的环境光，将其转换为VR模式，将主播拍摄的三维全景图像投射在自己的佩戴的基于增强现实的直播设备内，仿佛与主播处于同一空间内，临场感极强。

可选地，参阅图14，基于增强现实的直播设备还可以在观众的视野内投放广告。若使用第二显示模式，还可以将广告叠加在合适的位置，比如可以观众面前的桌上投放美食广告，在观众的电脑附近投放电子产品的广告等。若观众感兴趣，还可以通过利用单目摄像头211、景深传感器217或者双目/多目摄像头212识别到观众的抓取手势动作，将广告产品直接投入虚拟的购物车，直接购买。

可选地，通过基于增强现实的直播设备设置的单目摄像头211、景深传感器217或者双目/多目摄像头212，主播所见即单目摄像头211、景深传感器217或者双目/多目摄像头212所拍摄的，直接通过通信芯片传送给观众，观众带入感更强。基于增强现实的直播设备内的软件还能够智能地过滤一些重复的、不雅的或无关的发言，将有用的发言和评论提供给主播，一方面减少干扰，一方面能更高效的进行直播。

可选地，还可通过眼球追踪摄像头213跟踪使用者的眼睛的焦点，对使用者眼睛焦点所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理，比如，在使用者眼睛所集中观察的局部区域，自动显示注释，和所观察物体的具体信息等。

区别于现有技术，本实施方式提供的一种基于增强现实的直播方法将外部的实景图像与虚拟图像结合，虚拟图像能够为佩戴者提供显示范围大的提示信息，具有较大的视野范围，为佩戴者提供有效的信息辅助。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (16)

1.一种基于增强现实的信息处理方法，其特征在于，包括：

发出包含虚拟图像的第一光线；所述虚拟图像包括：虚拟的显示屏、虚拟三维形象或虚拟对话框；

获取包含外部场景的实景图像的第二光线；

将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成。

2.根据权利要求1所述的方法，其特征在于，所述虚拟显示屏用于显示直播时需要的辅助信息；所述虚拟三维形象包括类似动画人物的虚构形象或者通过一个或多个摄像机拍摄后合成的真实三维形象；所需虚拟对话框用于显示直播时与网友的互动信息；所述获取的实景图像为使用者所处环境的实景图像。

3.根据权利要求1或2所述的方法，其特征在于，将获取到的所述直播现场的实景图像与所述虚拟图像合成后包括第一显示模式、第二显示模式或第三模式；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式。所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。

4.根据权利要求3所述的方法，其特征在于，所述第一显示模式、第二显示模式或第三显示模式通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：跟踪手势的运动，对虚拟图像进行操作。

6.根据权利要求1或2所述的方法，其特征在于，获取远程的实景图像和/或虚拟图像，与获取的本地的实景图像和/或虚拟图像合成后进行显示。

7.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：对用户眼睛所注视的虚拟图像的特定部位进行追踪和特定处理。

8.一种基于增强现实的直播设备，包括：

显示模块，用于显示虚拟图像并发出包含虚拟图像的第一光线；所述虚拟图像包括：虚拟的显示屏、虚拟三维形象或虚拟对话框；

透视型导光元件，用于获取包含外部场景的实景图像的第二光线；

透视型导光元件还用于将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成。

9.根据权利要求8所述的设备，其特征在于，显示模块显示的所述虚拟显示屏用于显示直播时需要的辅助信息；所述虚拟三维形象可以是类似动画人物的虚构形象，也可以是通过一个或多个摄像机拍摄后合成的真实三维形象；所需虚拟对话框用于显示直播时与网友的互动信息；透视型导光元件获取的实景图像为使用者所处环境的实景图像。

10.根据权利要求8或9所述的设备，其特征在于，所述设备还包括处理器、陀螺仪、加速度计、磁场计、单目摄像头、景深传感器或者双目/多目摄像头，所述处理器用于将所述包含虚拟图像的第一光线与包含外部场景的实景图像的第二光线进行合成后以第一显示模式进行显示；或者处理器结合陀螺仪、加速度计、磁场计、单目摄像头、景深传感器或者双目/多目摄像头的数据后以第二显示模式进行显示；或者处理器结合陀螺仪、加速度计或磁场计的数据后，以第三显示模式进行显示；所述第一显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆不固定的显示模式；所述第二显示模式为虚拟图像与实景图像之间的相对角度以及相对位置皆固定的显示模式；所述第三模式为虚拟图像与实景图像间的相对角度固定，相对位置不固定的显示模式。

11.根据权利要求10所述的设备，其特征在于，所述第一显示模式与第二显示模式通过实景图像中设置的二维码或者其他人工设定的辅助标记实现。

12.根据权利要求10所述的设备，其特征在于，所述单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。

13.根据权利要求8或9所述的设备，其特征在于，所述单目摄像头、景深传感器或者双目/多目摄像头还用于跟踪手势的运动，并识别手势动作。

14.根据权利要求8或9所述的设备，其特征在于，通信芯片还用于获取远程的外部场景的实景图像和/或虚拟图像，处理器将获取远程的外部场景的实景图像和/或虚拟图像与获取的本地的实景图像和/或虚拟图像合成后进行显示。

15.根据权利要求8或9所述的设备，其特征在于，所述设备还包括眼球追踪摄像头，用于对用户眼睛所注视的虚拟图像的特定部位进行追踪和特定处理。

16.根据权利要求8或9所述的设备，其特征在于，所述基于增强现实的直播设备与外接设备相连时，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的直播设备进行交互。