CN111294586B - 图像显示方法、装置、头戴显示设备及计算机可读介质 - Google Patents

Abstract

本申请公开了一种图像显示方法、装置、头戴显示设备及计算机可读介质，涉及显示技术领域，所述头戴显示设备包括显示屏、摄像头和框架，所述显示屏安装在所述框架的前表面，所述框架的侧表面和后表面的至少一个表面上设置所述摄像头。所述方法包括：获取所述摄像头采集的图像；根据所述图像确定显示内容；将所述显示内容在所述显示屏上显示。通过头戴显示设备的显示屏观察到侧方或者后方等周围环境，提高用户对周围环境的感知以及人身安全。

Description

图像显示方法、装置、头戴显示设备及计算机可读介质

技术领域

本申请涉及显示技术领域，更具体地，涉及一种图像显示方法、装置、头戴显示设备及计算机可读介质。

背景技术

近年来，随着科技的进步，增强现实(Augmented Reality，AR)技术已逐渐成为国内外研究的热点，用户可以通过佩戴AR眼镜等头戴显示设备在现实世界环境中观察到虚拟对象等内容与真实世界叠加之后的增强现实或混合现实的效果。

但是，用户在佩戴头戴显示设备的时候，较难观察周围环境，不利于用户的人身安全。

发明内容

本申请提出了一种图像显示方法、装置、头戴显示设备及计算机可读介质，以改善上述缺陷。

第一方面，本申请实施例提供了一种图像显示方法，应用于头戴显示设备，所述头戴显示设备包括显示屏、摄像头和框架，所述显示屏安装在所述框架的前表面，所述框架的侧表面和后表面的至少一个表面上设置所述摄像头。所述方法包括：获取所述摄像头采集的图像；根据所述图像确定显示内容；将所述显示内容在所述显示屏上显示。

第二方面，本申请实施例还提供了一种图像显示装置，应用于头戴显示设备，所述头戴显示设备包括显示屏、摄像头和框架，所述显示屏安装在所述框架的前表面，所述框架的侧表面和后表面的至少一个表面上设置所述摄像头。所述装置包括：获取单元，用于获取所述摄像头采集的图像；确定单元，用于根据所述图像确定显示内容；显示单元，用于将所述显示内容在所述显示屏上显示。

第三方面，本申请实施例还提供了一种头戴显示设备，包括：处理器；显示屏；摄像头；框架，所述显示屏安装在所述框架的前表面，所述框架的侧表面和后表面的至少一个表面上设置所述摄像头；所述处理器用于执行上述方法。

第四方面，本申请实施例还提供了一种计算机可读介质，所述可读存储介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行上述方法。

本申请提供的图像显示方法、装置、头戴显示设备及计算机可读介质，应用于头戴显示设备，所述头戴显示设备包括显示屏、摄像头和框架，所述显示屏安装在所述框架的前表面，所述框架的侧表面和后表面的至少一个表面上设置所述摄像头。本申请实施例能够通过框架的侧表面和后表面的至少一个表面上设置的摄像头采集到图像，并将图像对应的显示内容在显示屏上显示，使得用户在使用头戴显示设备的时候，能够通过头戴显示设备的显示屏观察到侧方或者后方等周围环境，提高用户对周围环境的感知以及人身安全。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种头戴显示设备的示意图；

图2示出了本申请一实施例提供到的头戴显示设备的示意图；

图3示出了本申请另一实施例提供到的头戴显示设备的示意图；

图4示出了本申请一实施例提供到的图像显示方法的方法流程图；

图5示出了本申请一实施例提供的用户佩戴头戴显示设备时所观察到的画面的示意图；

图6示出了本申请另一实施例提供到的图像显示方法的方法流程图；

图7示出了本申请实施例提供的运动目标的运动方向的示意图；

图8示出了本申请另一实施例提供的用户佩戴头戴显示设备时所观察到的画面的示意图；

图9示出了本申请又一实施例提供到的图像显示方法的方法流程图；

图10示出了本申请一实施例提供到的图像显示装置的模块框图；

图11示出了本申请另一实施例提供到的图像显示装置的模块框图；

图12示出了本申请实施例提供的电子设备的模块框图；

图13示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着技术的不断发展，增强现实(AR，Augmented Reality)技术的一些难点得以陆续解决。增强现实是通过计算机***提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或***提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知，用户可以通过佩戴AR眼镜等头戴显示设备在现实世界环境中观察到虚拟对象等内容与真实世界叠加之后的增强现实或混合现实的效果。

例如，一些AR眼镜可以通过AR眼镜的摄像头和传感器采集现实环境中的信息，经过处理器和特定算法运行后，渲染出相应的图像，显示在镜片上，让使用者感觉虚拟的图像与现实世界相重合。

还有一些AR眼镜为分体式结构，即眼镜的处理器模块不是在眼镜上，而是位于一个单独的计算单元上，该计算单元通过导线与AR眼镜相连接。AR眼镜的摄像头和传感器采集到的数据经过预处理后发送到计算单元，计算单元根据采集到的信息渲染出相应的虚拟图像，虚拟图像传输到AR眼镜进行显示。

如图1所示，图1示出了一种头戴显示设备，具体地，该头戴显示设备为AR眼镜。如图1所示，该头戴显示设备包括显示屏110、框架120和成像装置130。

该框架120包括前表面121、侧表面122和后表面123，显示屏110安装在所述框架的前表面，成像装置130能够将虚拟对象的图像显示在显示屏110上。例如，该成像装置130可以是衍射光波导，能够将图像投影到显示屏上。

作为一种实施方式，该显示屏110可以是该AR眼镜的镜片，并且该显示屏110还可以透光，即该显示屏110可以是半透半反的镜片，用户在佩戴该头戴显示设备的时候，当该显示屏110上显示图像的时候，用户能够看到该显示屏110上所显示的图像同时还可以透过该显示屏110看到周围环境中现实世界中的物体。则通过该半透半反的镜片，用户能够将镜片上所显示的图像与周围环境相叠加，从而实现增强现实的视觉效果。

其中，用户在佩戴该头戴显示设备的时候，显示屏110位于用户的眼前，即前表面121在用户眼睛的前方，后表面123位于用户眼睛的后方，侧表面122位于用户眼睛的侧方。

另外，在前表面121设置有前置摄像头，通过该前置摄像头感知前方的环境信息，以便实现即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)，进而实现增强现实或混合现实的视觉效果。

在另一些AR技术中，可以使用前置摄像头实现真实场景与虚拟对象的结合。具体地，可以在头戴显示设备的前表面的前置摄像头的视野方向与用户在佩戴该头戴显示设备时用户的视野方向一致，且该前置摄像头用于采集真实场景的图像，并且将所采集的真实场景的图像经过处理之后显示在用户眼前的显示屏上，具体地，可以是在真实场景的图像上叠加虚拟对象的图像，被用户看到，以使用户观察到增强现实的视觉效果。

然后，不论采用上述的那种方式观察到增强现实或者混合现实的效果，由于用户的生理特征限制，人的眼睛在人脸的正前方，只能观察到人脸前方眼睛可视角范围内的环境信息。虽然人的眼睛视场角范围较大，但是仍然存在极大的限制。例如，当用户在纷繁的街道上行走时，如果后面会有危险情况，很难察觉到。尤其是当转弯时，不小心的用户会由于没有注意到后面飞速行驶的自行车或者汽车而发生交通事故。

另外，用户在佩戴VR设备的时候，由于处于一种沉浸模式，眼前所见的是虚拟场景，同样也无法观察周围的环境。

因此，为了克服上述缺陷，本申请实施例提供了一种图像显示方法、装置、头戴显示设备及计算机可读介质，能够通过设置在头戴显示设备的侧表面和后表面的至少一个表面的摄像头实现对周围环境的感知，增加用户在佩戴该头戴显示设备的感知范围。

下面先介绍本申请实施例中的头戴显示设备。本申请实施例提供的头戴显示设备与上述图1所示的头戴显示设备的区别至少包括：所述框架120的侧表面122和后表面123的至少一个表面上设置摄像头。于本申请实施例中，将设置在侧表面的摄像头命名为侧方摄像头，将设置在后表面的摄像头命名为后方摄像头，也就是说，本申请实施例的头戴显示设备至少设置有侧方摄像头和后方摄像头的至少一个。

于本申请实施例中，以头戴显示设备同时包括侧方摄像头和后方摄像头为例，说明本申请实施例的图像显示方法，如图2所示，头戴显示设备包括显示屏110、框架120、成像装置130和摄像头140，其中，显示屏110、框架120、成像装置130的具体实施方式可以参考前述图1中的头戴显示设备的描述。摄像头140的数量为至少两个，则该至少两个摄像头包括设置在侧表面122的侧方摄像头141和设置在后表面123的后方摄像头142。

其中，侧方摄像头141的数量可以是至少一个，该侧方摄像头141用于拍摄头戴显示设备侧方的环境信息，即当用户佩戴头戴显示设备的时候，该侧方摄像头141的视野朝向用户的侧方。该侧方摄像头141的光轴L1即深度方向与用户的视野方向非平行，从而侧方摄像头141能够拍摄到用户的正前方视野范围内之外的环境信息。如图2所示，在一些实施例中，侧方摄像头141的光轴L1与用户的视野方向垂直。

于本申请实施例中，侧方摄像头141的数量可以是至少两个，且框架的侧表面包括左侧表面和右侧表面，其中，左侧表面为图2中的侧表面122，在用户佩戴该头戴显示设备的时候，该左侧表面位于用户前方视野方向的左侧。右侧表面为与左侧表面相对的侧面，在图2中未示出，在用户佩戴该头戴显示设备的时候，该右侧表面位于用户前方视野方向的右侧。在一些实施例中，在左侧表面和右侧表面分别设置有侧方摄像头141，设置在左侧表面的侧方摄像头141的视野方向朝向用户前方视野的左侧，设置在右侧表面的侧方摄像头141的视野方向朝向用户前方视野的右侧。

同理，后方摄像头142的数量可以是至少一个，该后方摄像头142用于拍摄头戴显示设备后方的环境信息，即当用户佩戴头戴显示设备的时候，该后方摄像头142的视野朝向用户的后方。该后方摄像头142的光轴L2即深度方向与用户的视野方向非垂直，从而后方摄像头142能够拍摄到用户的正前方视野范围内之外的环境信息。如图2所示，在一些实施例中，后方摄像头142的光轴L2与用户的视野方向相反。

于本申请实施例中，该头戴显示设备可以是AR眼镜，该头戴显示设备的框架120包括镜架124和镜腿125，镜腿125的前端与所述镜架124连接，所述镜架124的前表面为上述框架的前表面121，镜腿125的侧表面为所述框架124的侧表面122，所述镜腿125的后端的端面为所述框架124的后表面123。于本申请实施例中，镜腿125的数量为两个，每个镜腿125均设置至少一个上述侧方摄像头141，在镜腿125的后端的端面设置后方摄像头142。作为一种实施方式，在每个镜腿125的后端的端面都设置至少一个后方摄像头142。

作为另一种实施方式，该头戴显示设备可以是如图3所示，图3所示的头戴显示设备的框架包括镜框231和头带232，头带232与镜框231连接，头戴显示设备的显示屏设置在镜框231上，用户在佩戴该头戴显示设备时，头带232与用户头部接触，用于将整个头戴显示设备固定在用户头部。

该头带232包括三个部分，分别为左侧部分、右侧部分和后侧部分，左侧部分的外表面为左侧表面221，其中，外表面可以是用户穿戴该头戴显示设备时，未与用户接触的头带232的表面。同理，右侧部分的外表面为右侧表面222，后侧部分的外表面为后侧表面223。于本申请实施例中，在头带的左侧表面221、右侧表面222和后侧表面223均设置有摄像头。如图3所示，后侧表面223设置有后方摄像头142，右侧表面222设置有侧方摄像头141。另外，在左侧表面221也可以设置侧方摄像头141(图中未示出)。

具体地，请参阅图4，该图4示出了本申请实施例提供的一种图像显示方法，该方法应用于上述图2和3所示的头戴显示设备，需要说明的是，该方法的执行主体可以是处理器，该处理器可以是安装在该头戴显示设备内，也可以是，与头戴显示设备是分体的，即未安装在头戴显示设备，而该处理器与头戴显示设备连接，能够发送数据或者指令至头戴显示设备，控制头戴显示设备执行预设操作以及与头戴显示设备数据交互。具体地，该方法包括：S401至S403。

S401：获取所述摄像头采集的图像。

为了方便描述，将框架的侧表面和后表面的至少一个表面上设置的摄像头命名为环境摄像头。

作为一种实施方式，可以是在头戴显示设备开启的时候，即头戴显示设备的电源开启时，启动环境摄像头采集周围环境的图像。

作为另一种实施方式，还可以是在头戴显示设备开启并且被用户穿戴的时候，启动环境摄像头采集周围环境的图像。在一些实施例中，头戴显示设备上设置有检测装置。该检测装置检测到头戴显示设备被穿戴。例如，该检测装置可以是压力传感器，该压力传感器设置在头戴显示设备的第一指定表面，其中，用户穿戴头戴显示设备时，该第一指定表面与用户接触。则通过压力传感器检测到的压力值能够判断该第一指定界面是否被用户接触，如果被用户接触，则判定头戴显示设备被穿戴。另外，该检测装置还可以是测距传感器，该测距传感器设置在头戴显示设备的第二指定表面，用户在穿戴该头戴显示设备的时候，第二指定表面朝向用户，从而测距传感器能够检测到距离变化，进而能够判定头戴显示设备被穿戴。

作为又一种实施方式，还可以根据头戴显示设备的位置启动环境摄像头采集周围环境的图像。在一些实施例中，该头戴显示设备内设置有定位装置，则获取所述摄像头采集的图像的实施方式可以是，获取定位装置采集的位置信息，判断该位置信息是否位于指定位置范围内，如果是，则启动环境摄像头采集周围环境的图像，且获取所述摄像头采集的图像。其中，该指定位置范围可以是用户设定的位置范围，该指定位置范围也可以是用户有较大的环境观察需求的位置区域或者环境比较复杂的位置区域。例如，指定位置范围可以是街道、广场等人群较多或者交通环境比较复杂的地方。

S402：根据所述图像确定显示内容。

作为一种实施方式，可以将所采集的图像经过指定处理，并将经过指定处理之后的图像作为显示内容。其中，该指定处理可以是图像的剪裁、图像美化等操作。

作为另一种实施方式，还可以是根据预设策略有图像内确定指定内容，将该指定内容作为显示内容。例如，从图像内提取出前景图像，将前景图像作为显示内容。具体的确定显示内容的实施方式，可以参考后续实施例。

S403：将所述显示内容在所述显示屏上显示。

作为一种实施方式，可以通过上述的成像装置将显示内容显示在显示屏。其中，该成像装置可以是由准直透镜、光栅等构成的衍射光波导。

在一些实施例中，环境摄像头包括三个摄像头组，分别为左侧摄像头组、右侧摄像头组和后侧摄像头组，则左侧摄像头组可以包括至少一个上述提及的安装在左侧表面的侧方摄像头，右侧摄像头组可以包括至少一个上述提及的安装在右侧表面的侧方摄像头，后侧摄像头组可以包括至少一个上述提及的后方摄像头。

环境摄像头采集的图像包括左侧摄像头组采集的左侧方图像、右侧摄像头组采集的右侧方图像以及后侧摄像头组采集的后方图像，对每个图像分别根据上述S402的方法得到每个图像对应的画面，从而得到左侧方画面、右侧方画面和后方画面。然后，将左侧方画面、右侧方画面和后方画面在显示屏上显示，以便用户能够通过该左侧方画面、右侧方画面和后方画面观察到左侧、右侧和后方的环境信息。

如图5所示，图5中的显示屏上所显示的内容包括虚拟对象502、右侧方画面503、后方画面504和左侧方画面505。图5所示的画面为用户在穿戴该头戴显示设备的时候，通过该显示屏所观察到的内容，场景内容501为用户通过该显示屏所看到的真实世界的内容，且通过该显示屏能够看到虚拟对象502与场景内容501的叠加，从而实现增强现实或者混合现实的效果。

如图5所示，右侧方画面503、后方画面504和左侧方画面505分别在显示屏上的独立的区域内显示。因此，用户在穿戴该头戴显示设备的时候，不仅可以看到虚拟对象502位于真实世界内的视觉效果，还能够通过右侧方画面503、后方画面504和左侧方画面505观察到周围环境。

具体地，请参阅图6，该图6示出了本申请实施例提供的一种图像显示方法，该方法应用于上述图2和3所示的头戴显示设备，需要说明的是，该方法的执行主体可以是上述处理器。具体地，该方法包括：S610至S660。

S601：获取所述摄像头采集的图像。

S602：根据所述图像确定显示内容。

S603：将所述显示内容在所述显示屏上显示。

其中，S601至S603的实施方式可以参考前述实施例，在此不再赘述。另外，该显示内容的确定还可以是提取图像内的人物脸部特征，根据该人物脸部特征获取待显示身份信息，该显示内容包括待显示身份信息。其中，根据该人物脸部特征获取待显示身份信息的实施方式可以是，获取佩戴头戴显示设备的目标用户的交友信息，该交友信息内包括目标用户的好友的身份信息和头像等信息。将该人物脸部特征与目标用户的好友的头像比对，查找出与目标用户的好友的头像匹配的人物脸部特征，将匹配的人物脸部特征对应的好友的身份信息作为待显示身份信息。

S604：根据所述摄像头采集的图像确定所述摄像头的视野范围内是否存在危险目标。

识别所述摄像头采集的图像，根据识别结果确定图像内是否存在危险目标。具体地，可以识别图像内的目标物体，根据目标物体确定图像内是否存在危险目标。作为一种实施方式，该目标物体可以是前景目标，根据图像内的前景目标确定摄像头的视野范围内是否存在危险目标，其中，图像内包括前景目标和背景目标，前景目标的景深信息为前景景深，背景目标的景深信息为背景景深，其中，在焦点区域之前清晰成像的范围为前景景深，在焦点区域之后清晰成像的范围为背景景深。以人脸图像为例，人脸区域所在位置处于前景景深中，即人脸为前景目标，图像内的场景位于背景景深中。

作为一种实施方式，可以根据摄像头的拍摄参数确定前景目标。具体地，可获取摄像头的容许弥散圆直径、光圈值、焦距、对焦距离等参数，从而根据公式：前景景深＝(光圈值*容许弥散圆直径*对焦距离的平方)/(焦距的平方+光圈值*容许弥散圆直径*对焦距离)计算出前景景深，从而根据前景景深分离出前景目标；并根据公式背景景深＝(光圈值*容许弥散圆直径*对焦距离的平方)/(焦距的平方-光圈值*容许弥散圆直径*对焦距离)计算出背景景深，进而根据背景景深分离出背景目标。

在提取出前景目标之后，判读前景目标是否为危险目标。作为一种实施方式，可以获取该前景目标的目标类型，判断该目标类型是否为危险类型，如果是危险类型，则判定所述摄像头的视野范围内存在危险目标，如果不是危险类型，则判定所述摄像头的视野范围内存在不危险目标，则返回执行S601，继续获得摄像头采集的图像。其中，该危险类型可以是用户根据实际需求而设定的。例如，某些用户怕狗，则可以把危险类型设定为犬科动物。例如，有些用户怕猫，则可以把危险类型设定为猫科动物。

作为另一种实施方式，目标物体为运动目标，可以根据图像内的运动目标确定摄像头的视野范围内是否存在危险目标。则根据所述摄像头采集的图像确定所述摄像头的视野范围内是否存在危险目标的实施方式可以是，根据所述摄像头采集的多个图像确定所述摄像头的视野范围内的运动目标；获取所述运动目标的目标类型，若所述目标类型为指定物体类型，则判定所述摄像头的视野范围内存在危险目标。

作为一种实施方式，可以获取摄像头采集的多帧图像，即可以通过摄像头当前所采集的图像之前的多帧图像确定出摄像头当前所采集的图像的运动目标。在一些实施例中，可以通过目标跟踪算法确定图像内的运动目标。例如，目标跟踪算法多分为两个过程，第一步是在每帧的图像中独立检测出视觉目标，该视觉目标可以是上述的前景目标，例如视觉目标可以是行人、车辆等，其中，目标检测算法有可形变部件模型、卷积神经网络区域(Regions with Convolutional Neural Network、RCNN)、快速卷积神经网络区域(FasterRegions with Convolutional Neural Network、Faster RCNN)等。第二步是关联连续帧图像中检测到的视觉目标，根据目标特征间的相似度计算可以得到一个相似度矩阵或损失矩阵，基于该矩阵生成目标匹配结果，进而确定运动目标。

判断摄像头采集的图像内的运动目标是否为指定物体类型。其中，指定物体类型可以是上述的危险类型除，还可以是根据当前的场景类型确定的目标。作为一种实施方式，可以预先设定一个场景类型与指定物体类型的对应关系。其中，该场景类型可以包括步行街类型、马路街道、动物园、博物馆等能够表征该图像的拍摄地点的类型的信息。每个类型对应的指定物体类型可以是根据该类型的场景内所发生的危险事故而确定的，例如，在马路街道的场景下，常发生交通事故，则可以设置该马路街道的场景对应的指定物体类型为车辆等交通工具。

作为一种实施方式，可以根据该摄像头采集当前图像的时候，头戴显示装置的位置信息来确定该图像的场景类型。具体地，在检测到摄像头采集的图像内存在运动目标的时候，获取头戴显示装置的位置信息，根据该位置信息确定当前的场景类型，从而根据该场景类型确定指定物体类型，具体地，在上述的场景类型与指定物体类型的对应关系内，查找到当前图像的场景类型对应的指定物体类型。其中，根据该位置信息确定当前的场景类型的实施方式可以是，根据该位置信息确定当前位置所处的环境的类型，将该环境的类型作为当前的场景类型。例如，用户当前的位置为马路街道，则该位置所处的环境类型为马路街道，则当前的场景类型为马路街道。根据前述对应关系确定该场景类型对应的指定物体类型为交通工具类。

另外，考虑到摄像头的视野范围内的运动目标有可能只是正常运动，而不会对用户的人身造成安全危险。因此，可以在确定所述运动目标的类型为指定物体类型的情况下，获取该运动目标的运动信息，如果该运动信息满足指定条件，则判定所述摄像头的视野范围内存在危险目标。

其中，该运动信息可以包括运动速度、运动方向。作为一种实施方式，在摄像头采集的多帧图像内，运动目标在摄像头对应的相机坐标系内运动，该相机坐标系的Z轴与摄像头的光轴方向匹配，具体地，摄像头的光轴方向为该相机坐标系的Z轴方向，X轴和Y轴构成的XOY平面与Z轴垂直。则可以确定运动目标在相机坐标系内的坐标。例如，根据摄像头采集的图像的像素坐标系与相机坐标系的映射关系，能够确定图像内每个运动目标在相机坐标系内的坐标，该坐标包括运动目标的景深信息，例如，该运动目标的坐标在相机坐标系的Z轴上的投影就是该运动目标的景深信息。通过该运动目标在相机坐标系内的坐标的变化能够确定运动目标的景深变化，根据该景深变化能够确定运动目标的运动方向和运动速度等运动信息。

作为另一种实施方式，还可以根据该运动目标在真实世界内的位置变化而确定该运动目标的运动方向和运动速度等运动信息。具体地，可以获取头戴显示装置与当前场景内的标定物的刚体关系，以及摄像头的内外参数，其中，该刚体关系可以是头戴显示装置与当前场景内的标定物之间的物理距离和角度等。通过该刚体关系和摄像头的内外参数，确定摄像头采集的图像的像素坐标与头戴显示装置所在的真实场景下的世界坐标系之间的映射关系，例如，可以通过张正友标定法来确定。

从而摄像头采集的每个图像内的运动目标在真实世界内的位置坐标能够确定，则根据该位置坐标的变化能够确定运动目标的运动方向和运动速度等运动信息。

作为一种实施方式，若所述运动目标的类型为指定物体类型，则获取所述运动目标的运动速度；如果所述运动速度大于指定速度，则判定所述摄像头的视野范围内存在危险目标。其中，指定速度可以是根据该运动目标的类型而确定的。作为一种实施方式，提取该运动目标的特征信息，根据该特征信息确定该运动目标的类型，其中，该特征信息可以包括该运动目标的轮廓信息，根据该轮廓信息能够确定运动目标的类型。其中，该类型可以包括车辆、孩童或者动物等。而每个类型的运动目标都对应一个危险速度，例如，车辆的危险速度是10km/h。则可以把该运动目标的类型对应的危险速度作为该指定速度。

例如，以场景类型为马路街道为例。获取摄像头采集的图像，确定该图像内的所有运动对象，根据该场景类型为马路街道，确定该场景类型对应的指定物体类型是交通工具且指定速度为10km/h，则将该所有运动目标中属于指定物体类型的运动对象作为该摄像头的视野范围内的运动目标，获取该运动目标的运动速度，如果该运动速度大于10km/h，则判定所述摄像头的视野范围内存在危险目标。因此，可以将马路街道场景内的运动速度大于指定速度的运动目标作为危险目标。不仅能够较准确的确定危险目标，而且能够避免将在场景内静止的交通工具或者速度过慢的交通工具也认定为危险目标，而造成误判。

作为另一种实施方式，若所述运动目标的类型为指定物体类型，则获取所述运动目标的运动方向；根据运动目标的运动方向，判定所述摄像头的视野范围内是否存在危险目标。

其中，运动方向的确定可以根据上述的运动目标在相机坐标系内的景深变化或者在世界坐标系内的位置变化而确定。在一些实施例中，该运动方向包括相对靠近和相对远离。其中，相对靠近和相对远离是相对头戴显示装置即用户的位置而言，即相对用户靠前和远离。相对靠近可以是指运动目标的景深逐渐变小或者在世界坐标系内与用户之间的距离逐渐变小，同理，相对远离可以是指运动目标的景深逐渐变大或者在世界坐标系内与用户之间的距离逐渐变大。于本申请实施例中，如果所述运动方向为相对靠近，则判定所述摄像头的视野范围内存在危险目标。

在一些实施例中，根据运动目标的运动方向，判定所述摄像头的视野范围内是否存在危险目标的实施方式为，如果所述运动方向与所述摄像头的光轴方向匹配，则判定所述摄像头的视野范围内存在危险目标。

其中，运动方向与光轴方向匹配可以是指，获取运动方向与光轴方向的之间的夹角，如果该夹角大于指定角度，则判定运动方向与光轴方向匹配。其中，该指定角度可以表示运动目标沿着运动方向运动，会在运动目标与用户之间的区域内，与光轴相交。其中，光轴方向可以是相机坐标系的Z轴方向，沿Z轴方向距离用户越远，景深越大。该运动方向与光轴方向的之间的夹角可以是运动方向至光轴方向之间的夹角，如图7所示，W为运动方向与光轴方向的之间的夹角，可以是运动方向沿顺时针转动至光轴方向所转动的角度，该坐标系内的O为用户的位置。则该指定角度可以是180°，如果该运动方向与光轴方向的之间的夹角大于180°，则运动目标沿着该运动方向运动，到达用户的位置的可能性比较大。

S605：获取警示信息。

作为一种实施方式，该警示信息可以是文本信息和具有提示作用的显示效果内容，其中，该具有提示作用的显示效果内容可以是具有特定颜色显示效果的提示框、具有特定运动效果的提示框或者显示屏的显示方案。例如，该具有提示作用的显示效果内容可以是在颜色变化的提示框，例如，颜色在红黑之间不断变换的提示框，通过颜色的变化实现警示效果。该具有特定运动效果的提示框可以是该提示框在显示屏上移动。

再例如，该显示屏的显示方案可以是显示屏的亮灭交替的变化，例如，按照一定频率控制显示屏交替亮灭。

其中，文本信息可以是根据危险目标所对应的摄像头而确定。作为一种实施方式，当摄像头有多个的时候，根据每个摄像头采集的图像确定每个摄像头的视野范围内是否存在危险目标，将存在危险目标的摄像头作为警示摄像头，根据该警示摄像头确定文本信息。具体地，每个摄像头对应一个关键字，该关键字用于表示该摄像头的视野方向以及安装位置等信息。例如，左侧摄像头的关键字可以是左或者左侧等。则可以根据警示摄像头确定的关键字确定文本信息，该文本信息内包括根据与警示摄像头的关键字对应的内容。

例如，于本申请实施例中，摄像头包括上述的左侧摄像头组、右侧摄像头组和后侧摄像头组，左侧摄像头组的关键字为左，右侧摄像头组的关键字为右，后侧摄像头组的关键字为后。

例如，如果左侧摄像头组的视野内存在危险目标，则文本信息可以包括“左”这个关键字，该文本信息可以是“注意左侧”。

S606：输出所述警示信息。

作为一种实施方式，该警示信息可以是能够在显示屏上显示的内容，则输出警示信息的方式可以是，根据所述警示信息确定显示内容，将所述显示内容在所述显示屏上显示。作为另一种实施方式，该警示信息要可以是语音提示，则输出警示信息的方式可以是，通过头戴显示设备的音频输出设备播放该警示信息。

作为一种实施方式，该警示信息包括提示框和文本信息，如图8所示，该文本信息为“注意后方！！！！！”，该文本信息位于提示框内，该提示框可以在显示屏内移动，例如，从显示屏的右侧向左侧移动，且该警示信息位于显示屏所显示的内容的最顶部的图层，避免该警示信息被显示屏上所显示的内容遮挡。

作为另一种实施方式，还可以是将警示信息通过虚拟对象输出。则输出所述警示信息的实施方式可以是，确定当前在所述显示屏上显示的虚拟对象；根据所述警示信息修改所述虚拟对象，将所述修改后的虚拟对象在所述显示屏上显示。

其中，虚拟对象可以是在显示屏上显示的图像，用户通过该显示屏所观察到虚拟对象与当前场景叠加之后的增强现实的显示效果。

在确定警示信息之后，根据该警示信息修改该虚拟对象的显示数据，从而使用用户能够在虚拟空间内看到该虚拟对象执行特定动作或者显示效果的更改。作为一种实施方式，该虚拟对象是拟人类的虚拟物体，该警示信息包括文本信息和语音信息，可以控制该虚拟对象根据该文本信息内与摄像头相关的关键字执行指定动作，并且在虚拟对象的显示位置附近显示该文本信息。

例如，该文本信息为“注意后方”，则该文本信息内与摄像头相关的关键字为后，该指定动作可以是虚拟对象的手部朝向用户的后方指。

另外，该警示信息还可以包括语音信息，则在虚拟对象的显示位置附近显示该文本信息的同时发出语音信息提醒，该语音信息可以是文本信息对应的音频。

具体地，请参阅图9，该图9示出了本申请实施例提供的一种图像显示方法，该方法应用于上述图2和3所示的头戴显示设备，需要说明的是，该方法的执行主体可以是上述处理器。具体地，该方法包括：S901至S905。

S901：获取所述摄像头采集的图像。

S902：确定所述图像对应的场景类型。

其中，确定场景类型的方式可以参考前述实施例。

S903：判断所述场景类型是否为指定场景类型。

S904：根据所述图像确定显示内容。

其中，该指定场景类型可以是上述的马路街道场景、步行街场景和广场场景的至少一个。

则如果当前的场景是指定场景类型，则表明用户在当前场景内需要注意后方和侧方的环境，否则可能会发生危及安全的事故，则需要执行根据所述图像确定显示内容的操作，以便能够在显示屏上观察找周围环境。

另外，根据所述图像确定显示内容的方式可以是根据场景类型确定显示内容。具体地，可以是根据场景类型对图像剪裁，提取该图像内的用户感兴趣内容，将用户感兴趣区域内容作为显示内容。其中，感兴趣内容可以是预先根据场景类型确定的内容类型。例如，场景类型是马路街道场景，则该场景类型对应的内容类型是交通工具，则将图像内的交通工具的图像作为显示内容。

S905：将所述显示内容在所述显示屏上显示。

作为又一种实施方式，还可以根据场景类型以及摄像头采集的图像确定所述摄像头的视野范围内是否存在危险目标。具体地，判断该场景类型是否为指定场景类型，如果是该指定场景类型，则执行根据所述摄像头采集的图像确定所述摄像头的视野范围内是否存在危险目标的操作。

于本申请实施例中，根据所述摄像头采集的图像确定所述摄像头的视野范围内是否存在危险目标是在S905之后执行的，即在判定了场景类型为指定场景类型之后执行的。

作为一种实施方式，该场景类型可以包括多个分类级别，例如，该多个分类级别包括一级分类、二级分类、、、、N级分类，且按照级别的包含关系，该一级分类、二级分类、…、N级分类的关系是，一级分类>二级分类>…N级分类，也就是说，一级分类的分类级别高于二级分类，即二级分类属于一级分类。例如，马路街道场景是二级分类，则马路街道场景的一级分类是室外。

于本申请实施例中，确定所述图像对应的场景类型对应的所有分类级别，判断场景类型的第一指定分类级别是否为第一指定场景类型，如果是，则根据所述图像确定显示内容，判断该场景类型的第二指定分类级别是否为第二指定场景类型，如果是，根据所述摄像头采集的图像确定所述摄像头的视野范围内是否存在危险目标。其中，第一指定分类级别高于第二指定分类级别，作为一种实施方式，该第二指定分类级别可以是场景类型对应的所有分类级别中的最低分类级别，则该第一指定分类级别可以是该第二指定分类级别的上一级分类，也可以是该一级分类。作为另一种实施方式，该第一指定分类级别为一级分类，该第二指定分类级别为二级分类。其中，第一指定场景类型和第二指定场景类型可以根据实际需求而设定，且该第一指定场景类型由与第一指定分类级别相同级别的多个分类中确定的，例如，该第一指定分类级别是一级分类，第一指定场景类型是预设限定的不同的场景类型对应的一级类别中确定的至少一个类别。

由此，根据该图像对应的场景类型的较高级别的分类确定当前场景的环境信息需要被观察的时候，即场景类型的第一指定分类级别是第一指定场景类型，在显示屏上显示根据摄像头采集的图像所确定的显示内容，以便用户观察周围的环境信息。然而，虽然该场景内用户周围的环境信息用户需要观察，但是并非一定需要输出警示信息，具体地，如果场景类型的第一指定分类级别是第一指定场景类型的前提下，场景类型的第二指定分类级别是第二指定场景类型，则表明该场景不仅需要用户多观察周围环境而且还有可能发生险情，需要警示。

例如，第一指定场景类型为是室外，第二指定场景类型是马路街道，则如果场景的一级分类是室外，则在显示屏上显示根据摄像头采集的图像所确定的显示内容，如果该场景的一级分类是室内，则不需要执行确定显示内容以及在显示屏上显示该显示内容的步骤。如果场景的一级分类是室外，同时，场景的二级分类是马路街道，则还执行根据所述摄像头采集的图像确定所述摄像头的视野范围内是否存在危险目标。

因此，如果场景类型是室外类型下的马路街道，则在显示屏上显示该显示内容，并且检测摄像头视野范围内的危险目标。如果场景类型是室外类型下的步行街，则在显示屏上显示该显示内容而不必对危险目标检测，减少头戴显示设备的功耗。

请参阅图10，其示出了本申请实施例提供的一种图像显示装置1000的结构框图。该装置可以包括：获取单元1001、确定单元1002和显示单元1003。

获取单元1001，用于获取所述摄像头采集的图像。

确定单元1002，用于根据所述图像确定显示内容。

显示单元1003，用于将所述显示内容在所述显示屏上显示。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

请参阅图11，其示出了本申请实施例提供的一种图像显示装置1100的结构框图。该装置可以包括：获取单元1101、确定单元1102、显示单元1103和警示单元1104。

获取单元1101，用于获取所述摄像头采集的图像。

确定单元1102，用于根据所述图像确定显示内容。

进一步地，确定单元1102用于确定所述图像对应的场景类型；判断所述场景类型是否为指定场景类型；如果为指定场景类型，根据所述图像确定显示内容。

显示单元1103，用于将所述显示内容在所述显示屏上显示

警示单元1104，用于根据所述摄像头采集的图像确定所述摄像头的视野范围内是否存在危险目标；如果存在，获取警示信息；输出所述警示信息。

进一步地，警示单元1104还用于根据所述摄像头采集的多个图像确定所述摄像头的视野范围内的运动目标；若所述运动目标的类型为指定物体类型，则判定所述摄像头的视野范围内存在危险目标。

进一步地，警示单元1104还用于若所述运动目标的类型为指定物体类型，则获取所述运动目标的运动方向；根据运动目标的运动方向，判定所述摄像头的视野范围内是否存在危险目标。

进一步地，警示单元1104还用于确定当前在所述显示屏上显示的虚拟对象；根据所述警示信息修改所述虚拟对象，将所述修改后的虚拟对象在所述显示屏上显示。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图12，其示出了本申请实施例提供的一种电子设备的结构框图。本申请中的电子设备1200可以包括一个或多个如下部件：处理器1210、存储器1220、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器1220中并被配置为由一个或多个处理器1210执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器1210可以包括一个或者多个处理核。处理器1210利用各种接口和线路连接整个电子设备1200内的各个部分，通过运行或执行存储在存储器1220内的指令、程序、代码集或指令集，以及调用存储在存储器1220内的数据，执行电子设备1200的各种功能和处理数据。可选地，处理器1210可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1210可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1210中，单独通过一块通信芯片进行实现。

存储器1220可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器1220可用于存储指令、程序、代码、代码集或指令集。存储器1220可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备1200在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

需要说明的是，作为一种实施方式，该电子设备1200可以是上述图2和图3的头戴显示设备，则该头戴显示设备内包括处理器1210，该处理器1210用于执行上述方法。作为另一种实施方式，该电子设备1200不为上述图2和图3的头戴显示设备，并且与该头戴显示设备连接，通过获取头戴显示设备的数据，例如，所采集的图像等，还可以控制该头戴显示设备执行特定操作，例如，控制头戴显示设备将显示图像或者图像对应的显示内容。

请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1300具有执行上述方法中的任何方法步骤的程序代码1310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1310可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种图像显示方法，其特征在于，应用于头戴显示设备，所述头戴显示设备包括显示屏、摄像头和框架，所述显示屏安装在所述框架的前表面，所述框架的侧表面和后表面的至少一个表面上设置所述摄像头，所述方法包括：

获取所述摄像头采集的图像；

获取佩戴所述头戴显示设备的目标用户的交友信息，该交友信息内包括目标用户的好友的头像；

提取所述图像内的每个人物脸部特征，并查找出与目标用户的好友的头像匹配的人物脸部特征；

将匹配的人物脸部特征对应的好友的身份信息作为待显示身份信息；

根据所述图像确定显示内容，所述显示内容包括所述待显示身份信息；

将所述显示内容在所述显示屏上显示；

根据所述摄像头采集的一个或多个图像确定所述摄像头的视野范围内的目标物体；

获取所述目标物体的目标类型；

确定所述图像对应的场景类型；

基于预先设定的场景类型与危险类型的对应关系，确定所述摄像头采集的图像的场景类型对应的危险类型作为指定物体类型，其中，所述对应关系包括多个场景类型和每个场景类型对应的危险类型，每个场景类型对应的危险类型是根据该场景类型的场景内所发生的危险事故而确定的；

若所述目标类型为指定物体类型，则判定所述摄像头的视野范围内存在危险目标，生成警示信息；

输出所述警示信息。

2.根据权利要求1所述的方法，其特征在于，所述目标物体为运动目标，所述若所述目标类型为指定物体类型，则判定所述摄像头的视野范围内存在危险目标，包括：

若所述目标类型为指定物体类型，则获取所述运动目标的运动方向；

根据运动目标的运动方向，判定所述摄像头的视野范围内是否存在危险目标。

3.根据权利要求1所述的方法，其特征在于，所述输出所述警示信息，包括：

根据所述警示信息确定显示内容；

将所述显示内容在所述显示屏上显示。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述图像确定显示内容，包括：

确定所述图像对应的场景类型；

判断所述场景类型是否为指定场景类型；

如果为指定场景类型，根据所述图像确定显示内容。

5.一种图像显示装置，其特征在于，应用于头戴显示设备，所述头戴显示设备包括显示屏、摄像头和框架，所述显示屏安装在所述框架的前表面，所述框架的侧表面和后表面的至少一个表面上设置所述摄像头，所述装置包括：

获取单元，用于获取所述摄像头采集的图像；

确定单元，用于获取佩戴所述头戴显示设备的目标用户的交友信息，该交友信息内包括目标用户的好友的头像，提取所述图像内的每个人物脸部特征，并查找出与目标用户的好友的头像匹配的人物脸部特征，将匹配的人物脸部特征对应的好友的身份信息作为待显示身份信息，根据所述图像确定显示内容，所述显示内容包括所述待显示身份信息；

显示单元，用于将所述显示内容在所述显示屏上显示，根据所述摄像头采集的一个或多个图像确定所述摄像头的视野范围内的目标物体；获取所述目标物体的目标类型；确定所述图像对应的场景类型；基于预先设定的场景类型与危险类型的对应关系，确定所述摄像头采集的图像的场景类型对应的危险类型作为指定物体类型，其中，所述对应关系包括多个场景类型和每个场景类型对应的危险类型，每个场景类型对应的危险类型是根据该场景类型的场景内所发生的危险事故而确定的；若所述目标类型为指定物体类型，则判定所述摄像头的视野范围内存在危险目标，生成警示信息；输出所述警示信息。

6.一种头戴显示设备，其特征在于，包括：

处理器，显示屏，摄像头；

框架，所述显示屏安装在所述框架的前表面，所述框架的侧表面和后表面的至少一个表面上设置所述摄像头；

所述处理器用于执行权利要求1-4任一项所述方法。

7.根据权利要求6所述的设备，其特征在于，所述摄像头为多个，所述框架包括镜架和镜腿，所述镜腿的前端与所述镜架连接，所述镜架的前表面为所述框架的前表面，所述镜腿的侧表面为所述框架的侧表面，所述镜腿的后端的端面为所述框架的后表面；

所述镜腿的侧表面和所述后端的端面均设置至少一个所述摄像头。

8.一种计算机可读介质，其特征在于，所述可读介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行权利要求1-4任一项所述方法。

Images