CN108279419A - 火场环境显示方法、装置、头戴设备及可读存储介质 - Google Patents

Abstract

本公开实施例公开了火场环境显示方法、装置、头戴设备及可读存储介质。所述方法在头戴设备上运行，包括：获取穿戴头戴设备的用户所在火场环境的环境信息；根据环境信息识别所述火场环境中实体的类别；根据实体的类别对显示在头戴设备的透过性显示单元上的述实体进行预设处理；预设处理包括对显示在透过性显示单元上的实体的图像进行增强显示、修改显示和屏蔽显示中的至少一种。通过本公开能够自动识别火场环境中用户关注的实体类别，并以较为显眼的方式显示所关注实体及相关实体，并减弱干扰实体的显示，使得用户如消防员能够快速而准确地观察到火场环境中重要实体，有助于用户如消防员执行救援任务，并能进一步保证了用户的人身安全。

Description

火场环境显示方法、装置、头戴设备及可读存储介质

技术领域

本公开涉及智能识别技术领域，具体涉及一种火场环境显示方法、装置、头戴设备及计算机可读存储介质。

背景技术

随着增强现实技术的快速发展和企业的研发推进，增强现实技术在医学、军事、消防、娱乐、以及日常生活等各个领域凸显出明显的优势与价值，基于增强现实技术的救灾***也不断涌现。

发明内容

本公开实施例提供一种火场环境显示方法、装置、头戴设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种火场环境显示方法，所述方法在头戴设备上运行，包括：

获取穿戴所述头戴设备的用户所在火场环境的环境信息；

根据所述环境信息识别所述火场环境中实体的类别；

根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理；所述预设处理包括对显示在所述透过性显示单元上的所述实体的图像进行增强显示、修改显示和屏蔽显示中的至少一种。

可选地，所述头戴设备上设置有激光雷达模块和热成像模块；其中，获取穿戴所述头戴设备的用户当前所处环境的环境信息，包括：

通过所述激光雷达模块检测所述用户所在火场环境中的距离信息，并建立所述用户所在火场环境的三维场景模型；

通过所述热成像模块检测所述用户所在火场环境中的热力分布信息，并将所述热力分布信息叠加到所述三维场景模型中，获得所述用户所在火场环境的包括热力分布信息的三维图像。

可选地，所述头戴设备上还设置有生命特征检测模块和/或图像传感器；其中，获取穿戴所述头戴设备的用户当前所处环境的环境信息，还包括：

通过所述生命特征检测模块检测所述用户所在火场环境中的生命体特征；和/或，

通过所述图像传感器检测所述用户所在火场环境中的图像信息。

可选地，根据所述环境信息识别所述火场环境中实体的类别，包括：

根据所述距离信息识别实体的形状轮廓，并根据所述实体的形状轮廓识别所述实体的类别；或者，

根据所述激光雷达模块检测到的所述距离信息识别实体的形状轮廓，并结合所述热力分布信息、所述图像信息和/或所述生命体特征识别所述实体的类别。

可选地，根据所述环境信息识别所述火场环境中实体的类别，包括：

将所述距离信息、热力分布信息、图像信息和生命体特征中的一个或多个作为输入，根据预先训练好的实体识别模型识别所述实体的类别。

可选地，根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理，包括：

若所述实体属于第一预设类别，在所述实体透过所述头戴设备的透过性显示单元进行显示时，加强所述实体的显示强度；和/或，

若所述实体属于第二预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，屏蔽所述实体反射的自然光线；和/或，

若所述实体属于第三预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，修改所述实体的显示内容。

可选地，根据所述环境信息识别所述火场环境中实体的类别，还包括：

确定穿戴所述头戴设备的用户的注意力信息；

根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体；

识别所述第一实体的类别。

可选地，根据所述用户的注意力以及所述环境信息确定所述用户当前所注意的第一实体之后，还包括：

确定与所述第一实体相关的第二实体；

识别所述第二实体的类别。

可选地，确定穿戴所述头戴设备的用户的注意力信息，包括：

根据所述用户的眼球图像特征以及所述用户的生理特征确定所述用户的注意力信息。

可选地，根据所述环境信息识别所述火场环境中实体的类别之后，还包括：

通过分析所述用户的注意力信息以及关注的第一实体的类别，确定所述用户当前执行的任务。

可选地，所述实体的类别根据所述实体与所述用户在所述火场环境中执行任务的关系划分。

第二方面，本公开实施例提供了一种火场环境显示装置，所述装置在头戴设备上运行，包括：

第一获取模块，被配置为获取穿戴所述头戴设备的用户当前所处环境的三维图像以及所述三维图像中实体的参数；

识别模块，被配置为根据所述参数识别所述三维图像中实体的类别；

处理模块，被配置为根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理；所述预设处理包括对显示在所述透过性显示单元上的所述实体的图像进行增强显示、修改显示和屏蔽显示中的一种或多种。

可选地，所述头戴设备上设置有激光雷达模块和热成像模块；其中，所述第一获取模块，包括：

建立子模块，被配置为通过所述激光雷达模块检测所述用户所在火场环境中的距离信息，并建立所述用户所在火场环境的三维场景模型；

第一获取子模块，被配置为通过所述热成像模块检测所述用户所在火场环境中的热力分布信息，并将所述热力分布信息叠加到所述三维场景模型中，获得所述用户所在火场环境的包括热力分布信息的三维图像。

可选地，所述头戴设备上还设置有生命特征检测模块和/或图像传感器；其中，所述第一获取模块，还包括：

第一检测子模块，被配置为通过所述生命特征检测模块检测所述用户所在火场环境中的生命体特征；和/或，

第二检测子模块，被配置为通过所述图像传感器检测所述用户所在火场环境中的图像信息。

可选地，所述第一识别模块，包括：

第一识别子模块，被配置为根据所述距离信息识别实体的形状轮廓，并根据所述实体的形状轮廓识别所述实体的类别；或者，

第二识别子模块，被配置为根据所述激光雷达模块检测到的所述距离信息识别实体的形状轮廓，并结合所述热力分布信息、所述图像信息和/或所述生命体特征识别所述实体的类别。

可选地，所述第一识别模块，包括：

第三识别子模块，被配置为将所述距离信息、热力分布信息、图像信息和生命体特征中的一个或多个作为输入，根据预先训练好的实体识别模型识别所述实体的类别。

可选地，所述处理模块，包括：

第一显示子模块，被配置为若所述实体属于第一预设类别，在所述实体透过所述头戴设备的透过性显示单元进行显示时，加强所述实体的显示强度；和/或，

第二显示子模块，被配置为若所述实体属于第二预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，屏蔽所述实体反射的自然光线；和/或，

第三显示子模块，被配置为若所述实体属于第三预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，修改所述实体的显示内容。

可选地，所述识别模块，还包括：

第一确定子模块，被配置为确定穿戴所述头戴设备的用户的注意力信息；

第二确定子模块，被配置为根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体；

第四识别子模块，被配置为识别所述第一实体的类别。

可选地，所述第二确定子模块之后，还包括：

第三确定子模块，被配置为确定与所述第一实体相关的第二实体；

第五识别子模块，被配置为识别所述第二实体的类别。

可选地，所述第一确定子模块，包括：

第三确定子模块，被配置为根据所述用户的眼球图像特征以及所述用户的生理特征确定所述用户的注意力信息。

可选地，所述识别模块之后，还包括：

确定模块，被配置为通过分析所述用户的注意力信息以及关注的第一实体的类别，确定所述用户当前执行的任务。

可选地，所述实体的类别根据所述实体与所述用户在所述火场环境中执行任务的关系划分。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，火场环境显示装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持火场环境显示装置执行上述第一方面中火场环境显示方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述火场环境显示装置还可以包括通信接口，用于火场环境显示装置与其他设备或通信网络通信。

第三方面，本公开实施例提供了一种头戴设备，包括透过性显示单元、存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现第一方面所述的方法步骤。

第四方面，本公开实施例提供了一种计算机可读存储介质，用于存储火场环境显示装置所用的计算机指令，其包含用于执行上述第一方面中火场环境显示方法所涉及的计算机指令。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例通过自动获取火场环境中的环境信息，并根据环境信息识别环境中的实体类别，进而将实体类别以显示增强、屏蔽显示或修改显示的方式显示在头戴设备的透过性显示单元上。通过本公开实施例能够自动识别火场环境中用户关注的实体类别，并以较为显眼的方式显示所关注实体及相关实体，并减弱干扰实体的显示，使得用户如消防员能够快速而准确地观察到火场环境中重要实体，有助于用户如消防员执行救援任务，并能进一步保证了用户的人身安全。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的火场环境显示方法的流程图；

图2示出根据图1所示实施方式的步骤S101的流程图；

图3示出根据本公开一实施方式的火场环境显示装置的结构框图；

图4是适于用来实现根据本公开一实施方式的火场环境显示方法的头戴设备的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

目前已有的增强技术主要有以下几种表现方式：一种是利用生理信号和其他信息得出用户的当前认知负荷水平，根据用户实时的认知负荷水平对任务相关的要素及增强信息进行自适应调整，虽然可以使用户的认知负荷和增强信息处于一个动态平衡的水平，但是不能对干扰用户视线的物体进行去除，不能直观地显示用户关注的物体；另一种是针对器械作业过程中，通过摄像机实时追踪用户头部姿态变化，并根据作业对象三维模型，对作业器械不同视角位姿进行立体显示，虽然可以帮助用户从不同角度观察实时作业场景，但不能对用户关注的具体物体进行自动识别以及各个物体的分类处理。

因此，本公开提出了一种基于头戴设备的自适应增强显示方案，自动获取火场环境中的环境信息，并根据环境信息识别环境中的实体类别，进而将实体类别以增强现实的方式显示在头戴设备的透过性显示单元上，供火场环境中的用户及时了解和直观地查看火场环境中的实体信息，有助于用户如消防员等执行救援任务，并能进一步保证用户的人身安全。

图1示出根据本公开一实施方式的火场环境显示方法的流程图。如图1所示，所述火场环境显示方法包括以下步骤S101-S103：

在步骤S101中，获取穿戴所述头戴设备的用户所在火场环境的环境信息；

在步骤S102中，根据所述环境信息识别所述火场环境中实体的类别；

在步骤S103中，根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理；所述预设处理包括对显示在所述透过性显示单元上的所述实体的图像进行增强显示、修改显示和屏蔽显示中的至少一种。

本实施例中，火场环境显示方法可以运行在头戴设备上，头戴设备可以是能够穿戴在人体头部的智能设备，内部可以设置处理器、存储器和显示装置等部件。显示装置可以是透过性显示单元，在将头戴设备穿戴在人体头部后，透过性显示单元可以正好位于眼睛可见的部位，使得在透过性单元上显示数据时，无需手动移动头戴设备的位置等，就能观看到透过性显示单元上的数据；同时由于透过性显示单元能够使得环境物体自然反射光正常通过，因此用户可以通过透过性显示单元查看周围环境和事物，不会影响穿戴者的视线。透过性显示单元还可以允许外部光纤穿过，以便将显示的图像与背景光源同时送入配着者眼内，实现对背景图像的修改和增强。

本实施例中，用户如消防员穿戴头戴设备进入火场现场后，头戴设备实时采集用户所在火场环境中的环境信息，所采集到的环境信息可以用于重构火场现场环境模型，识别火场环境中的火源点、实体等等，确定火场环境的危险因子等等。

本实施例中，在采集到火场环境中的环境信息后，可以根据环境信息构建的火场现场三维模型确定室内实体的形状轮廓、温度等信息，之后可以基于实体形状轮廓以及温度这一辅助条件识别实体的类别，实体的类别可以包括生命体如人、动物等、物品等。实体的类别可以基于用户如消防员在执行援救任务时对援救任务的影响进行划分，例如，生命体和物品的不同会影响援救任务的援救方式以及优先级等，因此可以划分为不同类，危险物品和非危险物品对援救任务的援救方式、优先级等也有不同的影响，因此也可以划分为不同类别等。

本实施例中，在识别出实体的类别后，可以将实体的类别对头戴设备上的透过性显示单元上的实体显示进行预设处理，如增强现实的显示预处理。预设处理可以包括对实体图像的增强显示、修改显示和屏蔽显示中的至少一种。也即，透过性显示单元在显示火场环境中的实体时通过预设的自适应增强现实的图形计算方式进行处理，控制透过性显示单元将预设处理后的结果投射到用户眼中，形成虚像和实像的结合并达到预计的显示效果，即使得用户通过透过性显示单元观察到的火场环境中的预定实体是经过预设处理之后虚像和实像的结合。例如，用户通过透过性显示单元观察到的火场环境内部的实体表面具有与温度相适配的颜色(真实实体表面是没有这种颜色的)等。

在一实施例中，增强显示可以是通过叠加的方式，将用户通过透过性显示单元观察到的火场环境中的某个或某些实体的显示强度加强，使得用户能够对该物体拥有更高的感知。屏蔽显示可以是通过遮蔽的方式，将用户通过透过性显示单元观察到的火场环境中的某个或某些实体的自然光线减弱，使得用户能够对该物体拥有较低的感知，甚至无法肉眼看到被屏蔽的实体。修改显示可以是通过修改的方式，将用户通过透过性显示单元观察到的火场环境中的某个或某些实体的显示内容进行修改之后，使得用户观察到的这个或这些实体的成像内容与真实实体的成像内容不同，而不单单是被屏蔽或减弱显示或者增强显示。也就是说，修改显示可以是除屏蔽显示和增强显示之外的显示，例如在实体成像上叠加显示、改变实体成像上某处显示内容、删除实体成像上一部分内容，实体***增加一部分显示内容等等。

在本实施例的一个可选实现方式中，如图2所示，所述头戴设备上设置有激光雷达模块和热成像模块；所述步骤S101，即获取穿戴所述头戴设备的用户当前所处环境的环境信息的步骤，进一步包括以下步骤S201-S202：

在步骤S201中，通过所述激光雷达模块检测所述用户所在火场环境中的距离信息，并建立所述用户所在火场环境的三维场景模型；

在步骤S202中，通过所述热成像模块检测所述用户所在火场环境中的热力分布信息，并将所述热力分布信息叠加到所述三维场景模型中，获得所述用户所在火场环境的包括热力分布信息的三维图像。

该可选的实现方式中，激光雷达模块和热成像模块可以集成在头戴设备上，激光雷达模块实时激光扫描火场现场，获得火场环境中各个实体的距离信息。通过激光雷达发射的信号，遇到障碍物后信号返回到激光雷达模块中，可以根据返回信号的时间长短与信号强弱，及其对应的方位角和仰角等信息，确定火场现场内各个物体的距离、方位、高度、甚至形状等参数。热成像模块探测火场现场内各个物体表面的热辐射，生成有颜色的图片来表示场景内各个物体的热力分布信息。在获得激光雷达模块检测到的雷达信息以及热成像模块检测到的热力分布信息后，根据雷达信息建立火场环境的三维场景模型，之后再将热成像模块检测到的热力分布信息叠加到三维场景模型中，构建具有热力分布信息的三维图像，带有热力分布信息的三维图像中，各个实体表面以代表不同温度的不同颜色来显示，用户如消防员通过透过性显示单元查看火场环境时，透过透过性显示单元看到的各个实体表面叠加有代表不同温度的不同颜色，从而能够使得用户更清晰直观地查看火场现场内的各个实体。例如当智能头盔在房间内扫描到一个燃烧的方桌，三维模型中将建立方桌的模型，包括桌面和桌腿，根据热成像模块将桌子燃烧部位的温度显示在桌子模型的各个表面。具体的，可以是将激光雷达建立的三维场景模型中的坐标与热成像模块生成的热力分布图中的坐标进行对齐，使得热力分布图能够准确的匹配到三维场景模型的不同区域。

在本实施例的一个可选实现方式中，所述头戴设备上还设置有生命特征检测模块和/或图像传感器；所述步骤S101，即获取穿戴所述头戴设备的用户当前所处环境的环境信息的步骤，进一步还包括以下步骤：

通过所述生命特征检测模块检测所述用户所在火场环境中的生命体特征；和/或，

通过所述图像传感器检测所述用户所在火场环境中的图像信息。

该可选的实现方式中，为了检测火场环境中被困人员，可以通过在头戴设备上设置生命特征检测模块，在火场现场检测待救援人员。生命特征检测模块可以是红外热检测模块，也可以是其他检测人体生理特征的检测模块，如用于检测人体心跳、脉搏等的检测设备。如果第一用户所在火场环境中有被困人员的话，生命特征检测模块可以检测出环境中的生命特征。进而可以根据检测出的生命特征判断待救援人员的位置信息等。此外，还可以在头戴设备上设置图像传感器，以便进一步获取火场环境内的图像信息，与激光雷达模块检测到的距离信息结合形成火场环境中的三维图像。

在本实施例的一个可选实现方式中，所述步骤S102，即根据所述环境信息识别所述火场环境中实体的类别的步骤，进一步还包括以下步骤：

根据所述距离信息识别实体的形状轮廓，并根据所述实体的形状轮廓识别所述实体的类别；或者，

根据所述激光雷达模块检测到的所述距离信息识别实体的形状轮廓，并结合所述热力分布信息、所述图像信息和/或所述生命体特征识别所述实体的类别。

该可选的实现方式中，可以基于激光雷达模块检测到的火场环境中各个实体的距离信息，通过重构实体模型进而获得实体形状轮廓，基于实体的形状轮廓识别实体的类别。还可以在形状轮廓的基础上结合热力分布信息中实体表面的温度、图像传感器获取的实体图像和/或生命特征等识别实体的类别。

可选地，鉴于消防场景的复杂性，单一传感器可能无法得到足够的信息完成分类任务。例如光照条件和烟雾干扰可能使得图像传感器无法工作，但是激光雷达仍然能够获得足够的距离信息。因此，本公开实施例通过设置多种传感器如激光雷达模块、热成像模块、生命特征检测模块和/或图像传感器等，并将这些多个传感器的数据综合起来进行分析识别，以提高实体类别识别的准确性。例如，可以预先训练好分类模型，将上述传感器数据输入至该分类模型，获得火场环境中不同实体的准确分类。例如分类模型可以通过激光雷达模块获得的点云图进行轮廓拟合并完成一堵墙的识别。生命探测模块可以检测生命体征信号并与激光雷达模块检测到的距离信息融合获得该生命体的位置等。

在本实施例的一个可选实现方式中，所述步骤S102，即根据所述环境信息识别所述火场环境中实体的类别的步骤，进一步还包括以下步骤：

将所述距离信息、热力分布信息、图像信息和生命体特征中的一个或多个作为输入，根据预先训练好的实体识别模型识别所述实体的类别。

该可选的实现方式中，通过将多种传感器获取的各种信息，如激光雷达模块检测到的距离信息、热成像模块检测到的热力分布信息、图像传感器检测到的图像信息以及生命特征检测模块检测到的生命体特征中的一个或多个，输入至预先训练好的实体识别模型中，由实体识别模型输出火场环境中的实体以及类别。通过该实施方式，可以由机器学习算法得到的实体识别模型对环境信息进行分类识别，得到火场环境中的实体以及实体类别等。

在本实施例的一个可选实现方式中，所述步骤S102，即根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理的步骤，进一步还包括以下步骤：

若所述实体属于第一预设类别，在所述实体透过所述头戴设备的透过性显示单元进行显示时，加强所述实体的显示强度；和/或，

若所述实体属于第二预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，屏蔽所述实体反射的自然光线；和/或，

若所述实体属于第三预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，修改所述实体的显示内容。

该可选的实现方式中，确定了实体的类别后，可以在用户通过透过性显示单元查看实体时，根据实体类别的不同对实体进行不同的预设处理，使得用户观察到的实体成像与真实实体成像有所不同。

预设处理方式可以包括以下至少之一：

在识别出火场环境中的第一预设类别的实体时，通过加强该类实体所反射的自然光，使得用户通过透过性显示单元查看该类实体时，视野中该类实体的图像更加明显清晰。例如，可以通过增强待救援人员或者物体的显示亮度，使得用户如消防员更加容易看见。

在识别出火场环境中的第二预设类别的实体时，通过屏蔽该类实体所反射的自然光，使得用户通过透过性显示单元查看该类实体时，无法感知或者仅有很弱的感知力。例如，为了便于用户如消防员观察潜在生命体，可以对火焰、浓烟、障碍物等实体图像进行图像去除或弱化。

在识别出火场环境中的第三预设类别的实体时，通过修改该类实体在透过性显示单元上的图像内容，例如在实体表面叠加一虚拟图像、标记或颜色等，使得用户如消防员能够进一步了解该类实体的其他潜在信息，如危险程度、类别等。

在本实施例的一个可选实现方式中，所述步骤S102，即根据所述环境信息识别所述火场环境中实体的类别的步骤之后，进一步还包括以下步骤：

确定穿戴所述头戴设备的用户的注意力信息；

根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体；

识别所述第一实体的类别。

上述可选实现方式中，根据用户的注意力信息识别用户正在关注的第一实体的类别。注意力信息与用户正在关注的实体相关，用户的注意力集中在火场环境中的某个位置时，该位置上的实体可能是用户正在执行任务的目标，因此通过这种方式可以识别出火场环境中的实体是否为用户正在执行任务的目标类实体。

在本实施例的一个可选实现方式中，根据所述用户的注意力以及所述环境信息确定所述用户当前所注意的第一实体之后，还包括：

确定与所述第一实体相关的第二实体；

识别所述第二实体的类别。

该可选的实现方式中，通过用户注意力信息识别用户关注的实体时，还可以识别与用户关注实体相关的第二实体，例如，为了方便消防员观察，还可以通过识别出消防员关注实体周围的非关注实体，并对这些实体进行屏蔽显示的预处理，消除消防员视野中的干扰因素，如烟雾、火焰、被堵塞的通道等。

在本实施例的一个可选实现方式中，确定穿戴所述头戴设备的用户的注意力信息，包括：

根据所述用户的眼球图像特征以及所述用户的生理特征确定所述用户的注意力信息。

该可选的实现方式中，注意力信息可以通过用户眼球图像特征、用户的生理特征等信息确定，如通过确定用户视线、眼球角度、生理特征等；生理特征例如包括用户的心跳速度、脉搏速度、脑电信息、声音特征等，即用于表征用户当前心理期待和任务焦点的特征。例如，消防员在火场环境中关注一待救援实体或者待扑灭的火源点时，不仅眼球角度、视线等定格在实体上，心跳速度和脉搏速度等可能也会加快，这可以区别于用户在盯着某实体发呆或漫无目的的查看某一实体的情况。

在本实施例的一个可选实现方式中，所述步骤S102，即根据所述环境信息识别所述火场环境中实体的类别的步骤之后，还包括：

通过分析所述用户的注意力信息以及关注的第一实体的类别，确定所述用户当前执行的任务。

该可选实现方式中，通过对用户的注意力信息进行分析学习(其中的分析学习可以使用图像处理、模糊识别、大数据分析、机器学习等方法)，识别出用户所关注实体时用户的特定意图。也就是通过关注行为识别该行为后用户潜在的目的。在识别出用户所关注的实体信息后，结合火场环境的三维图像，得到用户关注实体在场景内的具***置以及温度信息等，然后根据三维图像内的所有实体信息与用户关注实体之间的关系进行分类识别；例如，用户关注实体可能是被困人员，但是与被困人员相关的场景、热力信息可能直接影响到该被困人员的救援，因可以对相关实体进行联合分类处理，形成局部场景识别，并将识别结果通过透过性显示单元显示出来。例如，被困人员周边的潜在危险品也通过显示增强来提醒消防人员对危险品的处理；被困人员周边的烟雾和温度也通过显示增强来提醒消防人员尽快将被困人员撤离等。还可以通过对用户关注实体进行多次学习分析积累，预判该用户所执行的具体任务，根据用户执行任务信息与场景内实体的具体关系，对场景内的实体信息进行分类。例如：在火灾场景中，通过对用户关注实体的自动识别分析，并经过多次对注意力的累计分析，得到用户所重点关注的是被困人员，因此判断该用户在火灾中执行救援任务，还可以根据执行的任务，自动结合被困人员生物特征对场景中的所有实体进行分类以及增强显示，例如对被困人员增强显示；在另外一个场景中，信还可以识别出当前用户的任务是搜索着火点并扑灭着火点，则可对高温度区域进行显示增强进而辅助消防人员快速找到着火点。

在本实施例的一个可选实现方式中所述实体的类别根据所述实体与所述用户在所述火场环境中执行任务的关系划分。

该可选实现方式中，实体的类别可以通过用户如消防员在火场环境中所执行任务的关系进行划分，如与救援任务相关的实体、与救援任务不相关的实体等，与救援任务不相关的实体还可以划分为与救援任务间接相关的实体和完全不相关的实体。例如某一类实体均为消防干扰因素，例如烟雾、火焰、被堵塞的通道等；某一类实体均为消防救援目标，例如人员、动物等；某一类实体均为潜在危险因素等，例如易燃物、危险化学品等。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图3示出根据本公开一实施方式的火场环境显示装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示，所述火场环境显示装置包括第一获取模块301、识别模块302和处理模块303：

第一获取模块301，被配置为获取穿戴所述头戴设备的用户当前所处环境的三维图像以及所述三维图像中实体的参数；

识别模块302，被配置为根据所述参数识别所述三维图像中实体的类别；

处理模块303，被配置为根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理；所述预设处理包括对显示在所述透过性显示单元上的所述实体的图像进行增强显示、修改显示和屏蔽显示中的一种或多种。

在本实施例的一个可选实现方式中，所述头戴设备上设置有激光雷达模块和热成像模块；其中，所述第一获取模块，包括：

建立子模块，被配置为通过所述激光雷达模块检测所述用户所在火场环境中的距离信息，并建立所述用户所在火场环境的三维场景模型；

第一获取子模块，被配置为通过所述热成像模块检测所述用户所在火场环境中的热力分布信息，并将所述热力分布信息叠加到所述三维场景模型中，获得所述用户所在火场环境的包括热力分布信息的三维图像。

在本实施例的一个可选实现方式中，所述头戴设备上还设置有生命特征检测模块和/或图像传感器；其中，所述第一获取模块，还包括：

第一检测子模块，被配置为通过所述生命特征检测模块检测所述用户所在火场环境中的生命体特征；和/或，

第二检测子模块，被配置为通过所述图像传感器检测所述用户所在火场环境中的图像信息。

在本实施例的一个可选实现方式中，所述第一识别模块，包括：

第一识别子模块，被配置为根据所述距离信息识别实体的形状轮廓，并根据所述实体的形状轮廓识别所述实体的类别；或者，

第二识别子模块，被配置为根据所述激光雷达模块检测到的所述距离信息识别实体的形状轮廓，并结合所述热力分布信息、所述图像信息和/或所述生命体特征识别所述实体的类别。

在本实施例的一个可选实现方式中，所述第一识别模块，包括：

第三识别子模块，被配置为将所述距离信息、热力分布信息、图像信息和生命体特征中的一个或多个作为输入，根据预先训练好的实体识别模型识别所述实体的类别。

在本实施例的一个可选实现方式中，所述处理模块，包括：

第一显示子模块，被配置为若所述实体属于第一预设类别，在所述实体透过所述头戴设备的透过性显示单元进行显示时，加强所述实体的显示强度；和/或，

第二显示子模块，被配置为若所述实体属于第二预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，屏蔽所述实体反射的自然光线；和/或，

第三显示子模块，被配置为若所述实体属于第三预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，修改所述实体的显示内容。

在本实施例的一个可选实现方式中，所述识别模块，还包括：

第一确定子模块，被配置为确定穿戴所述头戴设备的用户的注意力信息；

第二确定子模块，被配置为根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体；

第四识别子模块，被配置为识别所述第一实体的类别。

在本实施例的一个可选实现方式中，所述第二确定子模块之后，还包括：

第三确定子模块，被配置为确定与所述第一实体相关的第二实体；

第五识别子模块，被配置为识别所述第二实体的类别。

在本实施例的一个可选实现方式中，所述第一确定子模块，包括：

第三确定子模块，被配置为根据所述用户的眼球图像特征以及所述用户的生理特征确定所述用户的注意力信息。

在本实施例的一个可选实现方式中，所述识别模块之后，还包括：

确定模块，被配置为通过分析所述用户的注意力信息以及关注的第一实体的类别，确定所述用户当前执行的任务。

在本实施例的一个可选实现方式中，所述实体的类别根据所述实体与所述用户在所述火场环境中执行任务的关系划分。

上述火场环境显示装置与图1所示实施例及相关部分描述的火场环境显示方法对应一致，具体细节可参见图1所示实施例及相关部分描述的火场环境显示方法的描述，在此不再赘述。

图4是适于用来实现根据本公开实施方式的火场环境显示方法的头戴设备的结构示意图。

如图4所示，头戴设备400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行上述图1所示的实施方式中的各种处理。在RAM403中，还存储有头戴设备400操作所需的各种程序和数据。CPU401、ROM402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)、透过性显示单元等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本公开的实施方式，上文参考图1描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行图1的火场环境显示方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。

附图中的流程图和框图，图示了按照本公开各种实施方式的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (24)

1.一种火场环境显示方法，其特征在于，所述方法在头戴设备上运行，包括：

获取穿戴所述头戴设备的用户所在火场环境的环境信息；

根据所述环境信息识别所述火场环境中实体的类别；

根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理；所述预设处理包括对显示在所述透过性显示单元上的所述实体的图像进行增强显示、修改显示和屏蔽显示中的至少一种。

2.根据权利要求1所述的显示方法，其特征在于，所述头戴设备上设置有激光雷达模块和热成像模块；其中，获取穿戴所述头戴设备的用户所在火场环境的环境信息，包括：

通过所述激光雷达模块检测所述用户所在火场环境中的距离信息，并建立所述用户所在火场环境的三维场景模型；

通过所述热成像模块检测所述用户所在火场环境中的热力分布信息，并将所述热力分布信息叠加到所述三维场景模型中，获得所述用户所在火场环境的包括热力分布信息的三维图像。

3.根据权利要求2所述的显示方法，其特征在于，所述头戴设备上还设置有生命特征检测模块和/或图像传感器；其中，获取穿戴所述头戴设备的用户当前所处环境的环境信息，还包括：

通过所述生命特征检测模块检测所述用户所在火场环境中的生命体特征；和/或，

通过所述图像传感器检测所述用户所在火场环境中的图像信息。

4.根据权利要求2或3所述的显示方法，其特征在于，根据所述环境信息识别所述火场环境中实体的类别，包括：

根据所述距离信息识别实体的形状轮廓，并根据所述实体的形状轮廓识别所述实体的类别；或者，

根据述距离信息识别实体的形状轮廓，并结合所述热力分布信息、所述图像信息和/或所述生命体特征识别所述实体的类别。

5.根据权利要求3-4中任一项所述的显示方法，其特征在于，根据所述环境信息识别所述火场环境中实体的类别，包括：

将所述距离信息、热力分布信息、图像信息和生命体特征中的一个或多个作为输入，根据预先训练好的实体识别模型识别所述实体的类别。

6.根据权利要求1所述的显示方法，其特征在于，根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理，包括：

若所述实体属于第一预设类别，在所述实体透过所述头戴设备的透过性显示单元进行显示时，加强所述实体的显示强度；和/或，

若所述实体属于第二预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，屏蔽所述实体反射的自然光线；和/或，

若所述实体属于第三预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，修改所述实体的显示内容。

7.根据权利要求1所述的显示方法，其特征在于，根据所述环境信息识别所述火场环境中实体的类别，还包括：

确定穿戴所述头戴设备的用户的注意力信息；

根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体；

识别所述第一实体的类别。

8.根据权利要求7所述的显示方法，其特征在于，根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体之后，还包括：

确定与所述第一实体相关的第二实体；

识别所述第二实体的类别。

9.根据权利要求7所述的显示方法，其特征在于，确定穿戴所述头戴设备的用户的注意力信息，包括：

根据所述用户的眼球图像特征以及所述用户的生理特征确定所述用户的注意力信息。

10.根据权利要求7所述的显示方法，其特征在于，根据所述环境信息识别所述火场环境中实体的类别之后，还包括：

通过分析所述用户的注意力信息以及关注的第一实体的类别，确定所述用户当前执行的任务。

11.根据权利要求1所述的显示方法，其特征在于，所述实体的类别根据所述实体与所述用户在所述火场环境中执行任务的关系划分。

12.一种火场环境显示装置，其特征在于，所述装置在头戴设备上运行，包括：

第一获取模块，被配置为获取穿戴所述头戴设备的用户当前所处环境的三维图像以及所述三维图像中实体的参数；

识别模块，被配置为根据所述参数识别所述三维图像中实体的类别；

处理模块，被配置为根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理；所述预设处理包括对显示在所述透过性显示单元上的所述实体的图像进行增强显示、修改显示和屏蔽显示中的一种或多种。

13.根据权利要求12所述的显示装置，其特征在于，所述头戴设备上设置有激光雷达模块和热成像模块；其中，所述第一获取模块，包括：

建立子模块，被配置为通过所述激光雷达模块检测所述用户所在火场环境中的距离信息，并建立所述用户所在火场环境的三维场景模型；

第一获取子模块，被配置为通过所述热成像模块检测所述用户所在火场环境中的热力分布信息，并将所述热力分布信息叠加到所述三维场景模型中，获得所述用户所在火场环境的包括热力分布信息的三维图像。

14.根据权利要求13所述的显示装置，其特征在于，所述头戴设备上还设置有生命特征检测模块和/或图像传感器；其中，所述第一获取模块，还包括：

第一检测子模块，被配置为通过所述生命特征检测模块检测所述用户所在火场环境中的生命体特征；和/或，

第二检测子模块，被配置为通过所述图像传感器检测所述用户所在火场环境中的图像信息。

15.根据权利要求13或14所述的显示装置，其特征在于，所述第一识别模块，包括：

第一识别子模块，被配置为根据所述距离信息识别实体的形状轮廓，并根据所述实体的形状轮廓识别所述实体的类别；或者，

第二识别子模块，被配置为根据所述距离信息识别实体的形状轮廓，并结合所述热力分布信息、所述图像信息和/或所述生命体特征识别所述实体的类别。

16.根据权利要求14或15所述的显示装置，其特征在于，所述第一识别模块，包括：

第三识别子模块，被配置为将所述距离信息、热力分布信息、图像信息和生命体特征中的一个或多个作为输入，根据预先训练好的实体识别模型识别所述实体的类别。

17.根据权利要求12所述的显示装置，其特征在于，所述处理模块，包括：

第一显示子模块，被配置为若所述实体属于第一预设类别，在所述实体透过所述头戴设备的透过性显示单元进行显示时，加强所述实体的显示强度；和/或，

第二显示子模块，被配置为若所述实体属于第二预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，屏蔽所述实体反射的自然光线；和/或，

第三显示子模块，被配置为若所述实体属于第三预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，修改所述实体的显示内容。

18.根据权利要求12所述的显示装置，其特征在于，所述识别模块，还包括：

第一确定子模块，被配置为确定穿戴所述头戴设备的用户的注意力信息；

第二确定子模块，被配置为根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体；

第四识别子模块，被配置为识别所述第一实体的类别。

19.根据权利要求18所述的显示装置，其特征在于，所述第二确定子模块之后，还包括：

第三确定子模块，被配置为确定与所述第一实体相关的第二实体；

第五识别子模块，被配置为识别所述第二实体的类别。

20.根据权利要求18所述的显示装置，其特征在于，所述第一确定子模块，包括：

第三确定子模块，被配置为根据所述用户的眼球图像特征以及所述用户的生理特征确定所述用户的注意力信息。

21.根据权利要求18所述的显示装置，其特征在于，所述识别模块之后，还包括：

确定模块，被配置为通过分析所述用户的注意力信息以及关注的第一实体的类别，确定所述用户当前执行的任务。

22.根据权利要求12所述的显示装置，其特征在于，所述实体的类别根据所述实体与所述用户在所述火场环境中执行任务的关系划分。

23.一种头戴设备，其特征在于，包括透过性显示单元、存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-11任一项所述的方法步骤。

24.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-11任一项所述的方法步骤。