CN115641426A - 环境信息的显示方法、装置和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种环境信息的显示方法、装置以及计算机可读存储介质，可应用于云技术等场景。具体的，获取目标位置对应的环境信息图像和环境布局参数；将环境信息图像输入目标识别模型，使得目标识别模型对环境信息图像进行特征分类处理，得到环境信息图像对应的环境实体类别信息；根据环境布局参数和环境实体类别信息构建目标位置对应的环境数字孪生体；获取目标终端对应的终端数字孪生体，并将环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；基于目标数字孪生体，对目标位置的环境信息进行多维度显示。以此，突破固定视觉维度内容的局限性，给用户提供丰富的视觉效果，且可适用于真实操控业务和模拟操控业务，提高用户体验。

Description

环境信息的显示方法、装置和计算机可读存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种环境信息的显示方法、装置以及计算机可读存储介质。

背景技术

信息技术已广泛应用于各领域，如工业、交通、军事、医疗、居家等，对相关领域的业务发展具有极大意义。例如，增强现实(Augmented Reality)技术属于一种真实世界信息和虚拟世界信息集成的信息技术，在实际业务应用中，通过该信息技术将现实环境信息与数字信息进行叠加，如通过该技术将车辆导航路线信息与实时路况环境信息结合，以显示实时的道路导航业务数据，提高用户体验。

然而，相关技术在通过增强现实技术对现实环境信息和数字信息进行处理时，主要是根据周围实时环境状况和控制信息生成固定视觉维度内容信息，以在固定显示界面上进行显示，如驾驶员在进行驾驶车辆过程中，通过将实时位置导航信息与实时采集的环境信息进行结合，以在中控平台界面进行显示；这种方式虽可一定程度上实现环境信息与数字信息结合显示，但对操控用户而言，固定视觉维度的内容在视觉体验上较为局限，且仅适用于真实操控业务中，无法满足用户模拟操控业务的需求，影响用户体验。

发明内容

本申请实施例提供一种环境信息的显示方法、装置以及计算机可读存储介质，可突破固定视觉维度内容的局限性，提供丰富的视觉效果，且可适用于真实操控业务和模拟操控业务中，提高用户体验。

本申请实施例提供一种环境信息的显示方法，包括：

获取目标位置对应的环境信息图像和环境布局参数；

将所述环境信息图像输入目标识别模型，使得所述目标识别模型对所述环境信息图像进行特征分类处理，得到所述环境信息图像对应的环境实体类别信息；

根据所述环境布局参数和所述环境实体类别信息构建所述目标位置对应的环境数字孪生体；

获取目标终端对应的终端数字孪生体，并将所述环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；

基于所述目标数字孪生体，对所述目标位置的环境信息进行多维度显示。

相应的，本申请实施例提供一种环境信息的显示装置，包括：

获取单元，用于获取目标位置对应的环境信息图像和环境布局参数；

识别单元，用于将所述环境信息图像输入目标识别模型，使得所述目标识别模型对所述环境信息图像进行特征分类处理，得到所述环境信息图像对应的环境实体类别信息；

构建单元，用于根据所述环境布局参数和所述环境实体类别信息构建所述目标位置对应的环境数字孪生体；

融合单元，用于获取目标终端对应的终端数字孪生体，并将所述环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；

显示单元，用于基于所述目标数字孪生体，对所述目标位置的环境信息进行多维度显示。

在一些实施方式中，所述构建单元，还用于：

根据所述环境结构参数和所述环境实体类别信息构建所述目标位置对应的三维环境语义地图；

对所述三维环境语义地图进行渲染处理，得到渲染后的环境数字孪生体。

在一些实施方式中，所述环境信息的显示装置还可包括预构建单元，用于：

获取目标终端的结构参数；

根据所述结构参数对所述目标终端进行数字建模，得到所述目标终端对应的终端数字孪生模型；

对所述终端数字孪生模型进行渲染处理，得到所述目标终端对应的终端数字孪生体。

在一些实施方式中，所述环境信息的显示装置还可包括查询单元，用于：

查询本地长连接列表，所述本地长连接列表包含与本地建立长连接的显示设备标识；

则所述显示单元，还用于：将所述目标数字孪生体发送至所述显示设备标识对应的目标显示设备进行所述目标位置的环境信息的多维度显示。

在一些实施方式中，所述显示单元，还用于：

采集所述显示设备标识对应的目标对象的体态特征，并根据所述体态特征确定所述目标对象的脸部方向参数；

估算在对所述目标数字孪生体进行数字空间画面显示时的空间布局参数；

根据所述空间布局参数和脸部方向参数，预估所述目标对象在所述数字空间画面中的视觉范围参数，并从所述目标数字孪生体中选取视觉范围参数对应的目标子数字孪生体；

将所述目标子数字孪生体发送至所述显示设备标识对应的目标显示设备，使得所述目标显示设备对所述目标子数字孪生体进行多维度展示。

在一些实施方式中，所述环境信息的显示装置还包括选取单元，用于：

获取所述显示设备标识对应的目标显示设备的显示模式；

若识别到所述显示模式为外环境显示模式，则从所述目标子数字孪生体中选取进行数字空间画面显示时的外环境数字孪生体；

则所述显示单元，还用于：将所述外环境数字孪生体发送至所述目标显示设备，使得所述目标显示设备对所述外环境数字孪生体进行多维度展示。

在一些实施方式中，所述环境信息的显示装置还包括停止单元，用于：

若检测到所述目标显示设备与所述本地之间为切断连接状态，则记录所述切断连接状态时对应的第二环境信息图像和第二环境布局参数；

构建所述第二环境信息图像和第二环境布局参数对应的第二环境数字孪生体，并根据所述第二环境数字孪生体对所述目标数字孪生体进行更新，得到更新后的第二目标数字孪生体；

停止向所述目标显示设备发送所述第二目标数字孪生体。

在一些实施方式中，所述环境信息的显示装置还包括更新单元，用于：

获取所述目标终端的控制指令，并根据所述控制指令确定终端数字孪生体的空间调整参数；

确定所述目标数字孪生体中所述终端数字孪生体与所述环境数字孪生体之间的空间状态；

根据所述空间调整参数对所述空间状态进行更新，得到更新后的目标数字孪生体；

根据所述更新后的目标数字孪生体对第二目标位置的环境信息进行显示。

此外，本申请实施例还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序实现本申请实施例提供的任一种环境信息的显示方法中的步骤。

此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种环境信息的显示方法中的步骤。

此外，本申请实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指被执行时实现本申请实施例所提供的任一种环境信息的显示方法中的步骤。

本申请实施例可以获取目标位置对应的环境信息图像和环境布局参数；将环境信息图像输入目标识别模型，使得目标识别模型对环境信息图像进行特征分类处理，得到环境信息图像对应的环境实体类别信息；根据环境布局参数和环境实体类别信息构建目标位置对应的环境数字孪生体；获取目标终端对应的终端数字孪生体，并将环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；基于目标数字孪生体，对目标位置的环境信息进行多维度显示。由此可得，本方案可识别目标位置的环境信息图像中的环境实体类别，并根据环境实体类别和环境布局参数来构建该位置三维环境架构的环境数字孪生体，进而，将该环境数字孪生体和终端数字孪生体进行融合，得到该目标终端在当前目标位置的目标数字孪生体，并根据该目标数字孪生体对环境信息进行多维度视觉显示；以此，可突破固定视觉维度内容的局限性，给用户提供丰富的视觉效果，且可根据实际环境信息或模拟环境信息来构建环境数字孪生体，以适用于真实操控业务和模拟操控业务中，提高用户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的环境信息的显示***的场景示意图；

图2是本申请实施例提供的环境信息的显示方法的步骤流程示意图；

图3是本申请实施例提供的环境信息的显示方法的另一步骤流程示意图；

图4是本申请实施例提供的环境信息的显示***的架构示意图；

图5是本申请实施例提供的终端载体的组件架构示意图；

图6是本申请实施例提供的目标识别模型的结构示意图；

图7是本申请实施例提供的环境信息的显示装置的结构示意图；

图8是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种环境信息的显示方法、装置以及计算机可读存储介质。具体地，本申请实施例将从环境信息的显示装置的角度进行描述，该环境信息的显示装置具体可以集成在计算机设备中，该计算机设备可以是服务器，也可以是用户终端等设备。其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。其中，用户终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能家电、车载终端、智能语音交互设备、飞行器、军用设备、军用交通工具等，但并不局限于此。

需要说明的是，在本申请的具体实施方式中，涉及到用户信息、用户行为、业务习惯、特征等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本申请实施例提供的环境信息的显示方法可应用于各种应用场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶、军事技术、航空技术等环境信息的显示的应用场景，这些应用场景不限于通过云服务、大数据等方式实现，具体通过如下实施例进行说明:

例如，参见图1，为本申请实施例提供的环境信息的显示***的场景示意图。该场景包括终端或服务器。

终端或服务器可以获取目标位置对应的环境信息图像和环境布局参数；将环境信息图像输入目标识别模型，使得目标识别模型对环境信息图像进行特征分类处理，得到环境信息图像对应的环境实体类别信息；根据环境布局参数和环境实体类别信息构建目标位置对应的环境数字孪生体；获取目标终端对应的终端数字孪生体，并将环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；基于目标数字孪生体，对目标位置的环境信息进行多维度显示。

其中，环境信息的显示可以过程包括：确定目标位置的环境信息图像和环境布局参数、识别环境信息图像中的环境实体类别信息、构建目标位置的环境数字孪生体、融合终端与环境之间的目标数字孪生体、根据目标数值孪生体进行多维显示等方式。

以下分别进行详细说明。需说明的是，以下实施例的顺序不作为对实施例优选顺序的限定。

在本申请实施例中，将从环境信息的显示装置的角度进行描述，以该环境信息的显示装置具体可以集成在计算机设备如终端或服务器中。参见图2，图2为本申请实施例提供的一种环境信息的显示方法的步骤流程示意图，本申请实施例以环境信息的显示装置具体集成在服务器上为例，服务器上的处理器执行环境信息的显示方法对应的程序指令时，具体流程如下：

101、获取目标位置对应的环境信息图像和环境布局参数。

其中，该目标位置可以是目标终端当前所在的真实地理位置，如某街道位置、某大厦室内、某山林的一个位置点；此外，还可以目标终端所要模拟的虚拟地理位置，如通过计算机技术模拟目标终端处于森林A位置，以对该森林A场景进行相关模拟数据运算。需要说明的是，该目标终端可以是一个具有计算机运算能力的终端设备，该可以是搭载有计算机运算功能子设备的终端载体，如搭载有终端的军用战斗车辆(如坦克)，又如搭载有终端的航空飞机、车载终端、搭载有终端的模拟运输工具(模拟飞机、模拟车辆等)等。

其中，该环境信息图像可以是目标位置周围的环境信息的图像，具体可包含环境中的一个或多个实体信息，该实体信息具体可以为目标位置地点环绕360度所能观察到的环境信息。例如，以森林场景的环境信息图像为例，其不限于包括树木、小草、灌木丛、林荫道、鸟类动物等。又如，以海洋场景的环境信息图像为例，其不限于包括海平面、岛屿、远景天空、太阳、船只等。以上仅为示例，该环境信息图像还可以是个其他场景中某一具***置的环境图像。

其中，该环境布局参数可以是目标位置对应的每一环境实体的布局参数，其反应了目标位置周围环境空间中的一个环境实体或多个环境实体之间的分布情况；该环境布局参数可以是每一环境实体的高度、宽度、尺寸、位置坐标(或经纬度)、颜色分布、颜色比例、数量等等。例如，以森林场景中的某一地点位置为例，该地点位置不限于包括树木、小草、灌木丛、林荫道、鸟类动物等，则该环境布局参数可以是树木、小草、灌木丛、林荫道、鸟类动物等当前的高度、宽度、尺寸、位置坐标(或经纬度)、颜色分布、颜色比例。需要说明的是，当业务环境为模拟业务环境时，该环境布局参数可以是模拟业务环境中虚拟实体的参数；例如，以航空飞机模拟驾驶的模拟业务场景为例，航空飞机的模拟驾驶设备处于地表的工作室，通过设定模拟训练子模式选定的天空业务环境，则该虚拟实体可以是天空业务环境中的云海、太阳、天空等虚拟实体，该环境布局参数可以是云朵的色度、大小、可见度、太阳方向、光线强度、天空色度等等。以上仅为示例，还可适用于其他真实或模拟的业务环境，此处不作一一举例。

在本申请实施例中，为了对目标位置的环境信息进行多维度视觉显示，以及实现基于目标位置的环境场景进行真实操控业务或模拟操控业务，需要预先获取目标位置对应的环境信息图像和环境布局参数，以便后续基于该获取的环境信息图像和环境布局参数构建对应的环境数字孪生体，以便根据环境数字孪生体进行环境信息的多维度视觉显示。

在一些实施方中，获取目标位置对应的环境信息图像和环境布局参数时，可以是获取真实位置地址或模拟位置地址的环境信息图像和环境布局参数。

例如，以获取模拟位置地址的环境信息图像和环境布局参数为例，可以从模拟位置环境数据库中查找模拟位置地址对应的环境信息图像和环境布局参数，其中，该模拟位置环境数据库可以是包含预先建立的地点场景的环境信息图像和环境布局参数，如森林、海洋、城市、天空等场景中各个位置的模拟的环境信息图像和环境布局参数，该环境中的环境实体可以自由设定；需要说明的是，该模拟位置地址还可以是历史时间的真实地理位置，则模拟的环境信息图像和环境布局参数可以是该位置在历史时间的环境信息图像和环境布局参数，如历史时间的世界大战的太平洋战区(地点位置)中的环境信息图像和环境实体布局参数。

又如，获取真实位置地址的环境信息图像和环境布局参数，可以通过目标终端采集当前所在位置周围的环境信息图像和环境布局参数。以搭载有终端的军用战斗车辆为例，可在车身周围安装低照度摄像头和红外热像仪、非制冷红外传感器、激光雷达、毫米波雷达、北斗定位与授时组件、惯性导航组件等，以实时拍摄、探测该战车所处位置的四周环境影像，以分别或结合各传感组件的环境信息来获取环境信息图像和环境布局参数。

通过以上方式，可获取目标位置对应的环境信息图像和环境布局参数，以便后续构建该目标位置对应的多维环境视图场景，以边后续基于该场景进行真实的操控业务或模拟的操控业务，以提高用户体验和用途。

102、将环境信息图像输入目标识别模型，使得目标识别模型对环境信息图像进行特征分类处理，得到环境信息图像对应的环境实体类别信息。

需要说明的是，本申请实施例所要获取的目标位置对应的多维度环境视图，可以由构建的目标位置的环境数字孪生体提供，该环境数字孪生体可视为三维环境语义地图。因而，为了构建该三维环境语义地图，本申请实施例在得到环境信息图像后，还需要对该环境信息图像中环境信息转换为语义标签或类别标签，以便后根据标签信息和环境布局参数来构建该三维环境语义地图，以得到目标位置的环境数字孪生体。

其中，该环境实体类别信息可以是环境信息图像中所包含的环境实体对应的类别信息，即环境实体的语义标签或类别标签具体可以是每一环境实体对应的类别信息。例如，以森林场景的目标位置为例，其对应的环境信息图像包括树木、小草、灌木丛、林荫道、鸟类动物等环境实体，则环境实体类别信息分别为树木、小草、灌木丛、林荫道、鸟类动物等对应的类别信息，如树木环境实体对应“树木”类别标签信息，具体可细化到树木的名称，又如，林荫道环境实体对应“道路”类别标签信息，具体可细化为“石头道路”、“泥土道路”等；以上仅为示例。

在本申请实施例中，为了识别环境信息图中环境实体的类别，可通过神经网络模型对环境信息图像进行识别，以提高图像中环境实体信息的识别效率和准确性。其中，目标识别模型为训练后的卷积网络模型，例如，该目标识别模型为目标检测模型(RetinaNet)，为了实现通过目标识别模型对环境信息图像进行识别，需要对预设识别模型进行训练，具体可根据样本环境信息图像和样本环境实体类别信息进行联合训练，以得到训练后的目标识别模型，以用于对环境信息图像中的环境实体进行识别。

在一些实施方式中，该目标识别模型的训练过程为：获取样本环境信息图像和对应的样本环境实体类别信息，将该样本环境信息图像输入预设识别模型，得到该预设识别模型输出的预测环境实体类别信息；确定预测环境实体类别信息与样本环境实体类别信息之间的类别损失，根据该类别损失按照反向梯度学习算法对预设识别模型进行模型参数调整，并对重复执行“根据该类别损失按照反向梯度学习算法对预设识别模型进行模型参数调整”步骤，以进行迭代训练，直至类别损失差异收敛，得到训练后的目标识别模型。

例如，以RetinaNet网络模型为例，该RetinaNet网络模型在结构上包括卷积神经网络层(Convolutional Neural Network，CNN)、特征金字塔网络层(Feature PyramidNetworks，FPN)、预测(或分类)模块层等。针对该RetinaNet网络模型进行训练，训练过程为：将样本环境信息图像输入RetinaNet网络模型，通过卷积神经网络层对样本环境图像信息进行卷积处理，得到多个不同大小的样本卷积特征，通过特征金字塔网络层基于多个不同的样本卷积特征构建对应金字塔特征，并通过预测模块层对金字塔特征中的每一子特征进行预测处理，得到预测环境实体类别信息；进而，确定样本环境实体类别信息与预测环境实体类别信息之间的交叉熵损失值(如Focal Loss)，并基于交叉熵损失值按照回归算法(Regression)调整RetinaNet网络模型的网络参数，并进行迭代训练，直至模型损失值收敛，得到训练后的目标识别模型。

在本申请实施例中，在得到训练后的目标识别模型后，可通过目标识别模型对环境信息图像进行识别。具体的，通过目标识别模型中卷积神经网络层对环境信息图像进行卷积处理，该卷积神经网络层包含多个子卷积层，各子卷积层之间的卷积核大小不同，如各子卷积层在卷积神经网络层中的结构可以是按照卷积核从大到小的方式进行排布，每一子卷积层分别对环境信息图像和/或图像特征进行卷积处理，得到多个不同大小的卷积特征，通过特征金字塔网络层基于多个不同大小的卷积特征构建对应的金字塔特征，最后，由预测模块层基于金字塔特征进行分类预测，得到对应的环境实体类别信息，即语义标签或类别标签。

通过以上方式，可对该环境信息图像中环境信息转换为语义标签或类别标签，从而根据该标签信息和环境布局参数来构建该三维环境语义地图，以得到目标位置的环境数字孪生体。

103、根据环境布局参数和环境实体类别信息构建目标位置对应的环境数字孪生体。

需要说明的是，数字孪生(Digital twin)可理解为在虚拟数据空间对物理事物进行数字映射或数字仿真，其可将现实或虚拟环境中的实体(如建筑物、植物、道路、车辆、人体、天空中的实体等其他事物)进行数字化映射，以进行数字化表示。例如，将物理世界中的一座建筑物进行数字仿真，以用数据信息化方式在数字虚拟空间仿真该建筑物。

其中，该环境数字孪生体可以是目标位置的环境信息的数字孪生体，即通过将目标位置的环境情况进行数字映射、数字仿真，以实现将目标位置的环境信息构建成对应的数字孪生空间，以便后续根据该环境数字孪生进行环境信息显示。可以理解的是，环境数字孪生体与相关位置的环境信息相关联，当目标位置更改/移动时，环境数字孪生体也会发生变化、更新。

为了获取当前的目标位置对应的环境数字孪生体，本申请实施例在对环境信息图像进行环境实体识别后，可根据环境布局参数和识别到的环境实体类别信息构建对应的环境数字孪生体。

在一些实施方式中，步骤103“根据环境布局参数和环境实体类别信息构建目标位置对应的环境数字孪生体”，可以包括：根据环境结构参数和环境实体类别信息构建目标位置对应的三维环境语义地图；对三维环境语义地图进行渲染处理，得到渲染后的环境数字孪生体。

其中，该三维环境语义地图可以是目标位置相关的环境信息对应的三维地图，该地图中包含目标位置对应的环境实体的类别信息/标签信息。具体的，该三维环境语义地图属于三维地图，其包含与目标位置对应的多个环境实体的三维视图结构，其中，该三位视图结中包含多个环境实体，每一环境实体具有对应的环境实体类别信息/标签，该环境实体类别信息在三维环境语义地图中可作为标示作用。

具体的，根据环境布局参数来确定目标位置的周围环境中各环境实体之间布局情况，如确定每一环境实体的分布位置，并根据每一环境实体的分布位置来构建对应的三维环境实体分布图，进而，根据每一环境实体类别信息在三位环境实体分布图中对应的环境实体进行标示，使得每一环境实体具有对应的语义标识，得到三维环境语义地图；进一步的，为了使得后续呈现给用户的环境视觉图像与目标位置的环境信息等同，需要对三维环境语义地图进行渲染处理，从而，得到渲染后的目标位置的环境数字孪生体。

其中，在对三维度环境语义地图进行渲染时，由于渲染过程涉及较多的计算量，可通过云服务器对该三维环境语义地图进行渲染处理，如根据环境布局参数中每一环境实体的参数(如几何、视点、纹理和颜色等)进行渲染。具体的，根据环境布局参数确定每一环境实体的六自由度(6Degree-of-Freedom,6-DoF)参数，该六自由度可以理解为环境实体空间的六个自由度，例如，以三维空间中的x、y、z三个坐标轴为例，环境实体分别沿着x、y、z三个坐标轴移动的自由度以及沿着x、y、z三个坐标轴转动的自由度，为每一环境实体的六自由度；根据六自由度参数对三维环境语义地图进行环境信息三维渲染，得到环境数字孪生体。需要说明的是，当在目标终端侧构建目标位置的环境数字孪生体时，在渲染阶段可将三维环境语义地图和相关的参数(如环境布局参数中的颜色分布参数)发送至云渲染(GPU)服务端，以请求云渲染服务端在对该三维环境语义地图渲染得到环境数字孪生体后，将环境数字孪生体返回目标终端；又如，当在服务器侧建目标位置的环境数字孪生体时，在渲染阶段可直接通过本服务器进行渲染，此外，还可将三维环境语义地图和相关的参数(如环境布局参数中的颜色分布参数)发送至云边缘渲染(GPU)服务端，以请求云边缘渲染服务端在对该三维环境语义地图渲染得到环境数字孪生体后，将环境数字孪生体返回本服务器。

在本申请实施例中，在构建目标位置对应的环境数字孪生体后，可将该目标位置对应的环境数字孪生体存储至相应的存储空间。如终端和/或服务器的存储空间中，以便后续请求该目标位置的环境数字孪生体作为二次用途，如模拟操控应用场景或真实操控应用场景的用途，可减少该目标位置的环境数字孪生体的计算量。

通过以上方式，可在得到目标位置的环境实体类别信息和环境布局参数后，根据该环境实体类别信息和环境布局参数构建环境数字孪生体，从而，实现对当前目标位置的环境信息的数字空间的构建，以便后续根据环境数字孪生实现多维环境信息视觉的展示。

104、获取目标终端对应的终端数字孪生体，并将环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体。

其中，该目标终端为具有计算机运算能力的终端设备，该终端可具有对应的外连接设备，如显示设备、音响设备、载体等，例如，该目标终端可以是军用战斗车辆(如坦克)上的终端设备，还可以是航空飞机上所搭载的终端设备。在本申请实施例中，可把终端设备相关联的设备视为一个整体，即视为一个目标终端。

其中，该终端数字孪生体可以是目标终端的结构和/或功能程序对应的数值孪生体，即通过对该目标终端的结构和/或功能进行数字映射、数字仿真，以实现将目标终端构建成对应的数字孪生物体，以便后续根据该终端数字孪生体进行对目标终端进行控制。例如，以搭载有终端设备的军用战斗车辆为例，在构建该军用战斗车辆对应的终端数字孪生体后，可通过相关乘员控制该终端数字孪生体，使得该终端数字孪生体对该军用战车进行控制。需要说明的是，不同的终端/终端载体之间，都具有一个独立的终端数字孪生体，即每一终端/终端载体对应一个终端数字孪生体，该终端数字孪生体可以视为一个云服务中数字孪生空间的数字孪生体，终端用户可控制该终端的数字孪生体，以使得终端的数字孪生体控制对应的终端。

其中，该目标数字孪生体可以是环境数字孪生体与终端数字孪生体之间的合体，即环境数字孪生体与终端数字孪生体之间进行结合；具体的，该，该目标数字孪生体可以是终端数字孪生体与环境数字孪生体之间在数字空间上进行融合，使得终端数字孪生体处于环境数字孪生体的数字空间中，其可在反映现实物理空间中的目标终端处于目标位置的环境信息场景中，还可表示在模拟应用场合中目标终端处于的模拟位置的环境信息场景。

在一些实施方式中，为了构建目标终端对应的终端数字孪生体，以便后使用，可根据该目标终端的结构参数(如几何、纹理、视点、颜色等)来构建。具体的，步骤104中的“获取目标终端对应的终端数字孪生体”之前，还包括：获取目标终端的结构参数；根据结构参数对目标终端进行数字建模，得到目标终端对应的终端数字孪生模型；对终端数字孪生模型进行渲染处理，得到目标终端对应的终端数字孪生体。

其中，该结构参数可以是目标终端的外形几何、颜色、尺寸大小、大小比例、可动组件等参数。例如，以搭载有终端的航空飞机为例，可包括航空飞机的外形集合参数、颜色分布、尺寸比例、可动的螺旋组件等，此外，还可包括控制逻辑程序等。

具体的，为了构建目标终端对应的终端数字孪生体，可采集目标终端相关的结构参数和/或终端控制逻辑，并根据该结构参数和终端控制逻辑构建目标终端对应的数字模型，具体可以是根据结构参数确定目标终端的终端六自由度信息，根据该终端六自由度信息建立目标终端在数字空间中的数字模型，即终端数字孪生模型；进而，可通过云边缘渲染方式对目标终端对应的终端数字孪生模型进行渲染处理，得到目标终端对应的终端数字孪生体，以此，完成对目标终端的终端数字孪生体进行构建，并在构建完成后可将该终端数字孪生体存储在相应的存储空间中，如本地终端或服务器的存储空间中，以便后续使用，提高在获取该目标终端的终端数字孪生体时的效率，并减少计算量，节省计算资源。

进一步的，可获取该目标终端对应的终端数字孪生体，并将该终端数字孪生体与目标位置对应的环境数字孪生体进行融合，实现将终端数字孪生体融入目标位置的环境数字孪生体的数字空间中，得到目标数字孪生体；以此，实现在数字空间中将终端数字孪生体与环境数字孪生体之间进行融合，以便后续在根据目标数字孪生体进行多维环境信息展示时，通过数字空间构造呈现给相关用户的真实场景的体验，提高视觉效果，增强用户亲临其间的感觉，提高体验感。

通过以上方式，可获取在进行真实或模拟业务操控场景时相关终端的终端数字孪生体，并将该终端数字孪生体融入环境数字孪生体的数字空间中，以便后续实现在数字孪生空间中执行真实操控业务或模拟操控业务，满足用户需求和体验。

105、基于目标数字孪生体，对目标位置的环境信息进行多维度显示。

本申请实施例在对目标数字孪生体进行多维度显示时，可通过相关的显示设备进行显示，例如，通过关联的多面显示屏对该目标数字孪生体进行多维度显示，又如，通过混合现实(Mixed Reality，MR)眼镜基于目标数字孪生体进行多维环境信息显示，以使得相关人员实现多维度视觉内容的视觉体验。

在一些实施方式中，在对目标数字孪生体进行多维度显示时，主要是通过相关显示设备来进行显示，因而，可确定与计算机设备建立连接的显示设备，并将该目标数字孪生体发送至目标显示设备进行显示。具体的，步骤105之前可包括：查询本地长连接列表，本地长连接列表包含与本地建立长连接的显示设备标识。步骤105，可以包括：(105.a)将目标数字孪生体发送至显示设备标识对应的目标显示设备进行目标位置的环境信息的多维度显示。需要说明的是，该本地长连接列表为显示设备在与本地(如服务器或终端)进行长连接后，本地在长连接列表中添加该显示设备的标识、连接的起始时间等，在根据本地长连接列表中的设备标识确定与本地建立长连接的目标显示设备后，将目标数字孪生体发送至目标显示设备进行多维度环境信息显示。

在一些实施方式中，主要是通过计算机设备之外的其他外设显示设备进行展示，该外设显示设备与计算机设备连接，该外设显示设备不限于混合现实(Mixed Reality，MR)眼镜等。需要说明的是，在对目标数字孪生体进行展示时，为了使得目标对象处于亲临现实环境，了解业务环境的情况，可根据目标对象的体态、所处位置等情况来确定携带外设显示设备的目标对象所查看的环境信息内容，以将该目标对象所要查看的环境信息内容在外设显示设备上进行显示。例如，步骤(105.a)“将目标数字孪生体发送至显示设备标识对应的目标显示设备进行目标位置的环境信息的多维度显示”，可以包括：

(105.a.1)采集显示设备标识对应的目标对象的体态特征，并根据体态特征确定目标对象的脸部方向参数；

(105.a.2)估算在对目标数字孪生体进行数字空间画面显示时的空间布局参数；

(105.a.3)根据空间布局参数和脸部方向参数，预估目标对象在数字空间画面中的视觉范围参数，并从目标数字孪生体中选取视觉范围参数对应的目标子数字孪生体；

(105.a.4)将目标子数字孪生体发送至显示设备标识对应的目标显示设备，使得目标显示设备对目标子数字孪生体进行多维度展示。

需要说明的是，在对目标数字孪生体进行展示时，由于目标子数字孪生体属于对目标位置的环境信息以及目标终端在虚拟数字空间上进行数字映射/仿真得到的虚拟数字孪生数据，其属于一个三维数字空间；当通过显示设备对目标数字孪生体进行展示时，特别是通过智能眼镜对目标数字孪生体进行展示时，可将结合目标对象的视觉方向情况来确定所要展示的环境信息。

其中，该体态特征可以是目标对象的体态信息，其可包括目标对象捕获环境视野的视线高度、方向等信息；该体态信息可通过相关的红外传感器、摄像头等捕捉设备来获取。

其中，空间布局参数可以是目标数字孪生体在以三维空间画面进行呈现时的环境数据布局参数，具体的，由于目标数字孪生体在展示时是以三维空间场景画面体现，因此，该空间布局参数可以是各环境实体三维场景中的布局参数，具体可以是该环境实体在目标数字孪生体对应的三维空间画面中所展示的位置、大小等。例如，以森林环境场景为例，森林环境中的每一树木、道路、小草、灌木丛等环境实体在数字空间对应的三维空间场景中的布局参数，为对应的空间布局参数。

具体的，为了使得目标对象处于亲临现实环境，了解业务环境的情况，可根据目标对象的体态特征信息来确定其脸部方向参数，以便于后续最大化确定目标对象的可视环境范围；进而，通过估算来确定目标数字孪生体在三维空间画面进行展示时的空间布局参数；从而，基于空间布局参数和脸部方向参数来预估目标对象对三维画面中的视觉范围参数，以选取视觉范围参数对应的目标子数字孪生体；最后，将目标子数字孪生体发送至显示设备标识对应的目标显示设备，使得目标显示设备根据目标子数字孪生体向目标对象显示可视的环境信息画面；可以理解的是，当目标对象的视觉方向改变，该显示设备接收到的目标子数字孪生体是不一样的，则显示的环境信息画面也不同。

在一些实施方式中，由于目标数字孪生体由终端数字孪生体和目标位置的环境数字孪生体融合而成，而该目标子数字孪生体为某一视觉方向的数字空间信息，即目标子数字孪生体可包含目标终端内的环境信息或目标位置的外环境信息，因此，在对目标子数字孪生体进行显示，可确定目标对象所携带的目标显示设备的显示模式，以针对性显示对应的环境信息。步骤(105.a.4)“将目标子数字孪生体发送至显示设备标识对应的目标显示设备”之前，可以包括：获取显示设备标识对应的目标显示设备的显示模式；若识别到显示模式为外环境显示模式，则从目标子数字孪生体中选取进行数字空间画面显示时的外环境数字孪生体。则步骤(105.a.4)可以包括：将外环境数字孪生体发送至目标显示设备，使得目标显示设备对外环境数字孪生体进行多维度展示。

例如，以搭载终端的战斗车辆为例，目标对象为该战斗车辆乘员站的乘员，目标对象携带这目标显示设备(如MR眼镜)，在对目标子数字孪生体机械能显示时，目标对象可根据视觉信息需求，切换目标显示设备的显示模式，如需要察看战斗车辆外部的目标位置的外环境信息，可将目标显示设备的显示模式切换至外环境显示模式，该目标显示设备将显示模式通知计算机设备，从而，计算机设备从目标子数字孪生体中选取进行数字空间画面显示时的外环境数字孪生体，并将外环境数字孪生体发送至目标显示设备，以对外环境数字孪生体进行多维度展示；反之，则选取内环境显示模式对应的内环境数字孪生体，并发送至目标显示设备进行显示。以此，满足用户对环境信息的视觉需求，提高用户体验。

在一些实施方式中，将目标数字孪生体发送至目标显示设备进行显示后，需要实时根据目标对象对环境信息的察看情况来对目标数字孪生体进行变更，且确定是否需要发送更新后的目标数字孪生体至目标显示设备进行显示。具体的，步骤(105.a.4)“将目标数字孪生体发送至显示设备标识对应的目标显示设备进行目标位置的环境信息的多维度显示”之后，可以包括：若检测到目标显示设备与本地之间处于切断连接状态，则记录切断连接状态时对应的第二环境信息图像和第二环境布局参数；构建第二环境信息图像和第二环境布局参数对应的第二环境数字孪生体，并根据第二环境数字孪生体对目标数字孪生体进行更新，得到更新后的第二目标数字孪生体；停止向目标显示设备发送第二目标数字孪生体。

具体的，当检测到目标显示设备与本地之间的通信连接状态处于切断连接状态，则获取处于切断连接状态时目标显示设备的第二位置信息，并采集第二位置信息对应的第二环境信息图像和第二环境布局参数，通过目标识别模型识别出第二环境信息图像中的第二环境实体类别信息，根据第二环境实体类别信息和第二环境布局参数构件第二位置信息对应的三维环境语义地图，并进行渲染处理后得到第二环境数字孪生体；由于当前在数字孪生空间中的终端数字孪生体不变，则直接根据第二环境数字孪生体对目标数字孪生体进行更新即可，得到更新后的第二目标数字孪生体；进而，由于目标显示设备与本地之间的通信连接状态，表示相关的目标对象此时不需要对环境信息进行显示，因而，停止向目标显示设备发送第二目标数字孪生体。需要说明的是，随着目标终端在环境中的移动，可实时更新数字空间中的环境数字孪生体，避免后续用户在请求通过数字空间技术对环境信息进行多维显示时，避免由于瞬时数据计算量过大，导致显示过程中出现反应延迟、卡顿的现象。

在一些实施方式中，将目标数字孪生体发送至目标显示设备进行显示后，需要根据目标终端实时的位置变动以及周围环境信息改变，对目标显示设备所要显示的环境信息画面进行更新。然而，为了实现环境信息画面进行更新，需要对目标数字孪生体的更新，并将更新后的数字孪生体实时发送至目标显示设备进行显示。则步骤105“基于目标数字孪生体，对目标位置的环境信息进行显示”之后，可以包括：获取目标终端的控制指令，并根据控制指令确定终端数字孪生体的空间调整参数；确定目标数字孪生体中终端数字孪生体与环境数字孪生体之间的空间状态；根据空间调整参数对空间状态进行更新，得到更新后的目标数字孪生体；根据更新后的目标数字孪生体对第二目标位置的环境信息进行显示。

其中，该控制指令可以是目标终端的站内相关目标对象的控制指令，如以车辆为例，该控制指令可以是目标终端的前行控制指令，掉头控制指令，左转、右转控制指令等。需要说明的是，随着控制指令的执行，目标终端在环境中的位置会改变，环境视觉也会改变。

其中，该空间调整参数可以是终端数字孪生体需要在数字空间中进行调整的参数。具体的，如在数字空间构造中，相对于终端数字孪生体与环境数字孪生体之间的原来数字空间布局，在接收到控制指令后，可确定对应的空间调整参数，并根据该空间调整参数对目标数字孪生体对应的数字空间进行调整。

具体的，通过控制指令来确定目标终端相对于目标位置所移动/偏移的空间移动量，如前行移动50米、左转移动10米、后退5米等，并根据空间移动量来确定终端数字孪生体的空间调整参数；进而，确定数字空间中终端数字孪生体与环境数字孪生体之间的空间状态，根据该空间调整参数对该空间状态进行更新，得到更新后的目标数字孪生体。以此，实现根据目标终端实时的位置变动以及周围环境信息改变对目标显示设备所要显示的环境信息画面进行更新。

通过以上方式，可在得到环境和目标终端对应的目标数字孪生体后，基于该目标数字孪生体实现环境信息的多维度显示，打破传统的固定视觉维度的视觉画面，提高目标对象的视觉体验。

在本申请实施例中，通过获取真实目标位置或选定一个需要进行模拟操控的模拟地理位置，并获取该位置对应的环境信息图像和环境布局参数，以便构建该位置对应的数字孪生空间；进而，识别环境信息图像中环境实体类别信息，以根据环境信息图像和环境布局参数构建三维环境语义地图，并进行渲染得到数字空间中的环境数字孪生体，以实现将相关位置的环境信息在数字空间的构建；接着，将终端数字孪生体与环境数字孪生体在数字空间中进行融合，实现将终端数字孪生体融入环境数字孪生体，实现在数字空间对目标终端处于相关位置情形的构造，实现通过数字空间对环境实体和目标终端、以及两者之间的关联布局等情况进行数字孪生，使得后续在进行环境信息显示时更加贴近真实场景。最后，根据目标数字孪生体进行多维度环境信息显示。

由上可知，本申请实施例可以获取目标位置对应的环境信息图像和环境布局参数；将环境信息图像输入目标识别模型，使得目标识别模型对环境信息图像进行特征分类处理，得到环境信息图像对应的环境实体类别信息；根据环境布局参数和环境实体类别信息构建目标位置对应的环境数字孪生体；获取目标终端对应的终端数字孪生体，并将环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；基于目标数字孪生体，对目标位置的环境信息进行多维度显示。由此可得，本方案可识别目标位置的环境信息图像中的环境实体类别，并根据环境实体类别和环境布局参数来构建该位置三维环境架构的环境数字孪生体，进而，将该环境数字孪生体和终端数字孪生体进行融合，得到该目标终端在当前目标位置的目标数字孪生体，并根据该目标数字孪生体对环境信息进行多维度视觉显示；以此，可突破固定视觉维度内容的局限性，给用户提供丰富的视觉效果，且可根据实际环境信息或模拟环境信息来构建环境数字孪生体，以适用于真实操控业务和模拟操控业务中，提高用户体验。

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

本申请实施例以环境信息的显示为例，对本申请实施例提供的环境信息的显示方法作进一步叙述。

图3是本申请实施例提供的环境信息的显示方法的另一步骤流程示意图，图4是本申请实施例提供的环境信息的显示***的架构示意图，图5是本申请实施例提供的终端载体的组件架构示意图，图6是本申请实施例提供的目标识别模型的结构示意图。

在本申请实施例中，将从环境信息的显示装置的角度进行描述，该环境信息的显示装置具体可以集成在计算机设备如终端和服务器中。其中，该终端可以是某一工具上所搭载的终端，如扫地机器人、航空器、交通车辆、军事设备等工具上所搭载的终端设备，该终端可与外设的显示设备进行数据交互。其中，该服务器为环境信息的显示过程的数字处理服务端。具体的，该终端和服务器上的处理器执行环境信息的显示方法对应的程序时，该环境信息的显示方法的具体步骤流程如下：

201、终端采集目标位置对应的环境信息图像和环境布局参数。

202、终端将环境信息图像和环境布局参数发送至服务器。

203、服务器将环境信息图像输入目标识别模型，使得目标识别模型对环境信息图像进行特征分类处理，得到环境信息图像对应的环境实体类别信息。

204、服务器根据环境布局参数和环境实体类别信息构建目标位置对应的环境数字孪生体。

205、服务器获取目标终端对应的终端数字孪生体，并将环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体。

206、服务器将目标数字孪生体发送给目标终端。

207、目标终端接收目标数字孪生体，并通过目标显示设备进行环境信息的多维度显示

为了便于理解，本申请实施例的以上步骤流程的实施描述与前面实施例的描述相似，具体请参考前面实施例的描述，此处不在进行赘述。

为了便于对本申请实施例的理解，将以具体的应用场景实例对本申请实施例进行描述。本申请实施例可用于通过终端实现在相关位置的真实操控业务或模拟操控业务的应用场景中，该应用场景可业务逻辑、场景数据的处理过程可由服务器运算，即云服务运算；例如，该终端不限于包括扫地机器人、航空器、交通车辆、军事设备等工具上所搭载的终端设备。为了便于理解，以下将以军事的功能场景作为应用场景，以军用战车(如坦克)作为搭载有终端的工具为例。具体的，通过执行以上步骤201-207，可实现以下军用战斗车辆的云控制应用场景：

本应用场景为了实现全天时全天候环境感知，在战斗车辆的前向和后向加装红外热像仪，融合车载激光雷达与毫米波雷达形成环境感知点云信息，提高在夜间以及车辆闭光条件下目标探测的可靠性。战斗车辆云服务器，接受多模态传感器输入，完成边缘计算，拼接形成全景成像，并推送到头盔显示***；另一方面，边缘计算***内置人工智能处理加速引擎，实现对图像中可行驶区域和目标进行智能识别和检测，对于危险目标和感兴趣目标还可以进行提前预警，并将识别和预警结果推送到头盔显示和声音预警***。此外，可基于增强现实技术，对图像中感兴趣区域和目标进行增强和提示。基于环境多模态智能传感云端边缘智能处理，实现全景式战场环境感知，实时重构区域动态地图，将融合处理后的全景图像推送给乘员、指挥员、车载步兵的MR头显上，为乘员提供适应战场环境的高级辅助驾驶服务，提高乘员的战场感知和对车辆的控制能力。其中，该军用战斗车辆的云控制应用场景可包括：

(1)云服务控制战斗车辆：基于云服务的战斗车辆控制模式，是乘员通过先进的MR人机交互接口，进入战斗车辆“云平台”，也即数字孪生空间中，获得“云服务”，控制战斗车辆云平台的数字孪生体，由数字孪生体再控制物理空间真实的车辆，也即实体-数字孪生体(云服务)-实体的控制模式。这种控制模式将乘员站、车辆底盘、战斗任务载荷三者完全地从结构与功能上解耦，完全地适应“云作战”的需求，对战斗车辆设计与作战应用将产生革命性的变革。

(1.1)云服务控制战斗车辆主要是基于云端数字孪生体的战斗车辆控制模式。由实体(乘员)通过人机交互接口(MR设备)经由车电网络进入战斗车辆本地计算云平台，对部署在计算云平台上的战斗车辆数字孪生体进行控制，再由数字孪生体来控制真实的物理战斗车辆，其工作原理如图4所示。

(1.2)应用多模态环境感知、边缘计算、云服务平台、网络与通信、人机交互接口(包括MR头显、数字式操控杆等)以及应用软件等技术，按照环境智能传感-人机交互-云端计算处理-车辆控制的新模式，实现云服务控制战斗车辆。

(2)构建环境信息及战斗车辆的数字空间。

(2.1)构建环境信息的数字空间：

(2.1.1)通过战斗车辆的激光雷达、低照度传感器、红外传感器、毫米波雷达等多模态环境感知传感器进行信息采集，以便进行信息融合处理，形成全景环视图像；以便后续应用，以及对环境周围的非合作目标、路障等信息处理，提供告警服务信息，以便将服务信息供战车乘员、车载步兵、指挥员等使用。其中，该多模态环境感知信息主要依赖乘员站的***架构组件，该乘员站的***架构不限于包括激光雷达、低照度传感器、红外传感器、毫米波雷达、北斗定位与授时、底盘电子控制单元、MR头显(MR眼镜)等等，具体参见图5。

(2.1.2)多模态环境感知信息的融合过程：主要是应用人工智能的深度学习算法，对传感器信息进行计算处理，提取环境特征，形成区域性语义地图信息；具体的，利用深度学习网络结构，基于多模态环境智能感知信息，实时检测识别前向车辆、行人等障碍物。实现智能前向防碰撞预警，将环境识别的结果推送到MR混合现实头显上，从而满足全天候、全天时车辆辅助驾驶，以及车辆在全黑、烟雾、雨雪条件下行军的要求，实现间接视景驾驶和车辆在闭光条件下的驾驶。深度学习的神经网络(即目标识别模型)的结构如图6所示。

(2.1.3)对融合后的三维区域性语义地图信息进行渲染处理。具体的，可采用云边缘渲染技术：边缘渲染技术通过利用云端服务器强大的算力资源，以支持超高面数复杂场景的MR应用。MR头显端实时采集头手部六自由度(6Degree-of-Freedom,6-DoF)信息，通过5G Wi-Fi/5G同步传递到云端渲染服务器，渲染服务器根据接收到的6-DoF信息，进行3D场景的渲染，渲染完成后的2D视频流再通过网络实时地推送到头显端显示播放。

(2.2)构建战斗车辆的数字空间：

(2.2.1)车辆多模态环境智能感知单元由激光雷达组、毫米波雷达组、非制冷红外传感器组、低照度传感器组、北斗定位与授时、惯性导航组合等设备组成，完成对车辆状态、空间位置以及作战环境的感知和智能识别。此外，战斗车辆还包括车电网络、底盘电子控制单元、车辆人机交互单元

其中，底盘电子控制单元是一个车辆底盘线控单元，根据战斗车辆云服务器提供的导航信息、车辆状态信息及自身内部状态以及车辆驾驶指令，完成对车辆底盘中方向、油门、制动、换档、分动器等执行部件控制，并将驾驶指令转换为各执行机构的动作，协调、控制、监督各执行机构完成驾驶动作，同时向云计算服务器报告车辆的有关状态。

其中，车辆人机交互单元由乘员MR头显设备、多功能数字操纵杆、车载步兵MR头显、指挥员终端等组成。乘员MR头显设备主要完成车辆状态与环境等虚实场景的显示；多功能数字操纵杆生成车辆的操纵与控制指令，通过网络完成对战斗车辆数字孪生体的控制；车载步兵MR头显设备实时显示战场的环境信息与指挥指令；指挥员终端相当于第三方直播设备，显示虚实叠加的场景信息。

其中，车电网络由千兆时间明晰网络(Time Aware Network,TAN)交换机、宽带自组网电台等设备组成，完成乘员站内外部的数据路由与交换。时间明晰网络具有强实时传输、数据报文时间标签、任意柔性拓扑结构、智能动态路由交换、安全防护等功能，可以确定性、高可靠地传输乘员站内部大流量、强实时性的数据。基于车电网络和MR多人协同操作技术，实现车内乘员之间与车外乘员间对孪生数字体的协同操作与控制，共享战场感知信息；车载步兵通过自组网络可以实时获取车辆运行的状态信息与车辆智能感知所形成的战场态势信息，也可以对云端数字孪生体进行操纵。

(2.2.2)战斗车辆云服务器是战斗车辆的计算与控制大脑，储存着战斗车辆的数字孪生体，完成多模态环境传感器的智能化融合处理，形成语义化的环境信息供乘员、指挥员等使用；接收乘员多功能数字操纵杆生成的操纵指令，生成车辆协同控制指令，驱动战斗车辆数字孪生体，由战斗车辆数字孪生体完成对战斗车辆(实体)的控制；完成数字孪生体的边缘渲染，将车辆状态信息、环境信息、虚实场景、指挥指令等以视频流的方式推送到乘员MR头显设备、车载步兵MR头显设备和指挥员终端上；完成车辆乘员站的管理和车辆状态的监控。

因此，基于三维建模技术，开发战斗车辆的全尺度几何结构与电气、车辆控制模型、业务逻辑三个要素相统一的、高保真的数字孪生体模型。通过MR头显、多功能数字操纵杆对部署到车辆本地“云”端服务器的数字孪生体进行实时的操控，MR头显可以对数字式操控杆实现六自由度的精确跟踪，共同完成底盘控制，实现战斗车辆间接视景驾驶与闭光驾驶。

通过实施以上应用场景实例，可达到以下效果：智能乘员站的人机交互接口可从战斗车辆上分离出来，部署在作战基地内，将战斗车辆的数字孪生体部署到战场的“装备云”上，在作战基地通过“装备云”控制战斗车辆的数字孪生体，进而远程控制战场上的战斗车辆，实现基于“装备云”的无人战斗车辆控制模式；同时使得战斗车辆乘员应用与部署更为灵活，能够为战场提供更为专业化的“云作战服务”，推动作战样式的创新。此外，战斗车辆数字孪生体，可以部署于我军的“装备云”空间上，成为军事领域的核心数字资产，用于模拟训练、装备教学与培训、装备维修保障、作战效能评估等业务领域。

需要说明的是，以应用场景示例不仅可应用于真实操控业务场景中，还可应用于模拟操控业务场景中。例如，以模拟军事业务场景示例为例，该模拟军事业务场景可适用于模拟军事训练、装备教学与培训、装备维修保障、作战效能评估等业务场景，对军事应用领域具有极其重要的意义。需要说明的是，在进行模拟操控业务场景时，选取需要模拟的地理位置或环境场景，以构建模拟场景的环境数字孪生体，并选取相应的终端载体工具对应的终端数字孪生体，以构建模拟操控业务对应的目标数字孪生体。

通过以上应用场景示例，可基于军事战斗车辆物理与数字孪生体形态方向，创建军事业务功能在目标军事环境中的数字孪生逻辑，从而，实现云作战模式，具体为“军事战车上的乘员站--数字孪生逻辑--军事战车平台的云作战”。以此，实现应用全栈式MR技术开发功能，将军事战车引入全新作战应用模式，具有极大的意义。

由以上可知，本申请实施例可识别目标位置的环境信息图像中的环境实体类别，并根据环境实体类别和环境布局参数来构建该位置三维环境架构的环境数字孪生体，进而，将该环境数字孪生体和终端数字孪生体进行融合，得到该目标终端在当前目标位置的目标数字孪生体，并根据该目标数字孪生体对环境信息进行多维度视觉显示；以此，可突破固定视觉维度内容的局限性，给用户提供丰富的视觉效果，且可根据实际环境信息或模拟环境信息来构建环境数字孪生体，以适用于真实操控业务和模拟操控业务中，提高用户体验。

为了更好地实施以上方法，本申请实施例还提供一种环境信息的显示装置。例如，如图7所示，该环境信息的显示装置可以包括获取单元401、识别单元402、构建单元403、融合单元404和显示单元405。

获取单元401，用于获取目标位置对应的环境信息图像和环境布局参数；

识别单元402，用于将环境信息图像输入目标识别模型，使得目标识别模型对环境信息图像进行特征分类处理，得到环境信息图像对应的环境实体类别信息；

构建单元403，用于根据环境布局参数和环境实体类别信息构建目标位置对应的环境数字孪生体；

融合单元404，用于获取目标终端对应的终端数字孪生体，并将环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；

显示单元405，用于基于目标数字孪生体，对目标位置的环境信息进行多维度显示。

在一些实施方式中，构建单元403，还用于：根据环境结构参数和环境实体类别信息构建目标位置对应的三维环境语义地图；对三维环境语义地图进行渲染处理，得到渲染后的环境数字孪生体。

在一些实施方式中，环境信息的显示装置还可包括预构建单元，用于：获取目标终端的结构参数；根据结构参数对目标终端进行数字建模，得到目标终端对应的终端数字孪生模型；对终端数字孪生模型进行渲染处理，得到目标终端对应的终端数字孪生体。

在一些实施方式中，环境信息的显示装置还可包括查询单元，用于：查询本地长连接列表，本地长连接列表包含与本地建立长连接的显示设备标识；

则显示单元405，还用于：将目标数字孪生体发送至显示设备标识对应的目标显示设备进行目标位置的环境信息的多维度显示。

在一些实施方式中，显示单元405，还用于：采集显示设备标识对应的目标对象的体态特征，并根据体态特征确定目标对象的脸部方向参数；估算在对目标数字孪生体进行数字空间画面显示时的空间布局参数；根据空间布局参数和脸部方向参数，预估目标对象在数字空间画面中的视觉范围参数，并从目标数字孪生体中选取视觉范围参数对应的目标子数字孪生体；将目标子数字孪生体发送至显示设备标识对应的目标显示设备，使得目标显示设备对目标子数字孪生体进行多维度展示。

在一些实施方式中，环境信息的显示装置还包括选取单元，用于：获取显示设备标识对应的目标显示设备的显示模式；若识别到显示模式为外环境显示模式，则从目标子数字孪生体中选取进行数字空间画面显示时的外环境数字孪生体；

则显示单元405，还用于：将外环境数字孪生体发送至目标显示设备，使得目标显示设备对外环境数字孪生体进行多维度展示。

在一些实施方式中，环境信息的显示装置还包括停止单元，用于：若检测到目标显示设备与本地之间为切断连接状态，则记录切断连接状态时对应的第二环境信息图像和第二环境布局参数；构建第二环境信息图像和第二环境布局参数对应的第二环境数字孪生体，并根据第二环境数字孪生体对目标数字孪生体进行更新，得到更新后的第二目标数字孪生体；停止向目标显示设备发送第二目标数字孪生体。

在一些实施方式中，环境信息的显示装置还包括更新单元，用于：获取目标终端的控制指令，并根据控制指令确定终端数字孪生体的空间调整参数；确定目标数字孪生体中终端数字孪生体与环境数字孪生体之间的空间状态；根据空间调整参数对空间状态进行更新，得到更新后的目标数字孪生体；根据更新后的目标数字孪生体对第二目标位置的环境信息进行显示。

由以上可知，本申请实施例可识别目标位置的环境信息图像中的环境实体类别，并根据环境实体类别和环境布局参数来构建该位置三维环境架构的环境数字孪生体，进而，将该环境数字孪生体和终端数字孪生体进行融合，得到该目标终端在当前目标位置的目标数字孪生体，并根据该目标数字孪生体对环境信息进行多维度视觉显示；以此，可突破固定视觉维度内容的局限性，给用户提供丰富的视觉效果，且可根据实际环境信息或模拟环境信息来构建环境数字孪生体，以适用于真实操控业务和模拟操控业务中，提高用户体验。

本申请实施例还提供一种计算机设备，如图8所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图8中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器501是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行计算机设备的各种功能和处理数据。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。

存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及环境信息的显示。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。

计算机设备还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理***与处理器501逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本申请实施例中，计算机设备中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：

获取目标位置对应的环境信息图像和环境布局参数；将环境信息图像输入目标识别模型，使得目标识别模型对环境信息图像进行特征分类处理，得到环境信息图像对应的环境实体类别信息；根据环境布局参数和环境实体类别信息构建目标位置对应的环境数字孪生体；获取目标终端对应的终端数字孪生体，并将环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；基于目标数字孪生体，对目标位置的环境信息进行多维度显示。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由此可得，本方案可识别目标位置的环境信息图像中的环境实体类别，并根据环境实体类别和环境布局参数来构建该位置三维环境架构的环境数字孪生体，进而，将该环境数字孪生体和终端数字孪生体进行融合，得到该目标终端在当前目标位置的目标数字孪生体，并根据该目标数字孪生体对环境信息进行多维度视觉显示；以此，可突破固定视觉维度内容的局限性，给用户提供丰富的视觉效果，且可根据实际环境信息或模拟环境信息来构建环境数字孪生体，以适用于真实操控业务和模拟操控业务中，提高用户体验。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种环境信息的显示方法中的步骤。例如，该指令可以执行如下步骤：

获取目标位置对应的环境信息图像和环境布局参数；将环境信息图像输入目标识别模型，使得目标识别模型对环境信息图像进行特征分类处理，得到环境信息图像对应的环境实体类别信息；根据环境布局参数和环境实体类别信息构建目标位置对应的环境数字孪生体；获取目标终端对应的终端数字孪生体，并将环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；基于目标数字孪生体，对目标位置的环境信息进行多维度显示。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种环境信息的显示方法中的步骤，因此，可以实现本申请实施例所提供的任一种环境信息的显示方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种环境信息的显示方法、装置以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种环境信息的显示方法，其特征在于，包括：

获取目标位置对应的环境信息图像和环境布局参数；

将所述环境信息图像输入目标识别模型，使得所述目标识别模型对所述环境信息图像进行特征分类处理，得到所述环境信息图像对应的环境实体类别信息；

根据所述环境布局参数和所述环境实体类别信息构建所述目标位置对应的环境数字孪生体；

获取目标终端对应的终端数字孪生体，并将所述环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；

基于所述目标数字孪生体，对所述目标位置的环境信息进行多维度显示。

2.根据权利要求1所述的方法，其特征在于，所述根据所述环境布局参数和所述环境实体类别信息构建所述目标位置对应的环境数字孪生体，包括：

根据所述环境结构参数和所述环境实体类别信息构建所述目标位置对应的三维环境语义地图；

对所述三维环境语义地图进行渲染处理，得到渲染后的环境数字孪生体。

3.根据权利要求1所述的方法，其特征在于，所述获取目标终端对应的终端数字孪生体之前，还包括：

获取目标终端的结构参数；

根据所述结构参数对所述目标终端进行数字建模，得到所述目标终端对应的终端数字孪生模型；

对所述终端数字孪生模型进行渲染处理，得到所述目标终端对应的终端数字孪生体。

4.根据权利要求1所述的方法，其特征在于，所述基于所述目标数字孪生体，对所述目标位置的环境信息进行多维度显示之前，还包括：

查询本地长连接列表，所述本地长连接列表包含与本地建立长连接的显示设备标识；

则所述基于所述目标数字孪生体，对所述目标位置的环境信息进行显示，包括：

将所述目标数字孪生体发送至所述显示设备标识对应的目标显示设备进行所述目标位置的环境信息的多维度显示。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标数字孪生体发送至所述显示设备标识对应的目标显示设备进行所述目标位置的环境信息的多维度显示，包括：

采集所述显示设备标识对应的目标对象的体态特征，并根据所述体态特征确定所述目标对象的脸部方向参数；

估算在对所述目标数字孪生体进行数字空间画面显示时的空间布局参数；

根据所述空间布局参数和脸部方向参数，预估所述目标对象在所述数字空间画面中的视觉范围参数，并从所述目标数字孪生体中选取视觉范围参数对应的目标子数字孪生体；

将所述目标子数字孪生体发送至所述显示设备标识对应的目标显示设备，使得所述目标显示设备对所述目标子数字孪生体进行多维度展示。

6.根据权利要求5所述的方法，其特征在于，所述将所述目标子数字孪生体发送至所述显示设备标识对应的目标显示设备之前，还包括：

获取所述显示设备标识对应的目标显示设备的显示模式；

若识别到所述显示模式为外环境显示模式，则从所述目标子数字孪生体中选取进行数字空间画面显示时的外环境数字孪生体；

则所述将所述目标子数字孪生体发送至所述显示设备标识对应的目标显示设备，使得所述目标显示设备对所述目标子数字孪生体进行多维度展示，包括：

将所述外环境数字孪生体发送至所述目标显示设备，使得所述目标显示设备对所述外环境数字孪生体进行多维度展示。

7.根据权利要求4所述的方法，其特征在于，所述将所述目标数字孪生体发送至所述显示设备标识对应的目标显示设备进行所述目标位置的环境信息的多维度显示之后，还包括：

若检测到所述目标显示设备与所述本地之间处于切断连接状态，则记录所述切断连接状态时对应的第二环境信息图像和第二环境布局参数；

构建所述第二环境信息图像和第二环境布局参数对应的第二环境数字孪生体，并根据所述第二环境数字孪生体对所述目标数字孪生体进行更新，得到更新后的第二目标数字孪生体；

停止向所述目标显示设备发送所述第二目标数字孪生体。

8.根据权利要求1所述的方法，其特征在于，所述基于所述目标数字孪生体，对所述目标位置的环境信息进行显示之后，还包括：

获取所述目标终端的控制指令，并根据所述控制指令确定终端数字孪生体的空间调整参数；

确定所述目标数字孪生体中所述终端数字孪生体与所述环境数字孪生体之间的空间状态；

根据所述空间调整参数对所述空间状态进行更新，得到更新后的目标数字孪生体；

根据所述更新后的目标数字孪生体对第二目标位置的环境信息进行显示。

9.一种环境信息的显示装置，其特征在于，包括：

获取单元，用于获取目标位置对应的环境信息图像和环境布局参数；

识别单元，用于将所述环境信息图像输入目标识别模型，使得所述目标识别模型对所述环境信息图像进行特征分类处理，得到所述环境信息图像对应的环境实体类别信息；

构建单元，用于根据所述环境布局参数和所述环境实体类别信息构建所述目标位置对应的环境数字孪生体；

融合单元，用于获取目标终端对应的终端数字孪生体，并将所述环境数字孪生体和终端数字孪生体进行融合，得到目标数字孪生体；

显示单元，用于基于所述目标数字孪生体，对所述目标位置的环境信息进行多维度显示。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的环境信息的显示方法中的步骤。

Images