CN116450092A - 多显示终端仿真数据同步与交互方法及*** - Google Patents

Abstract

本申请涉及信息技术技术领域，尤其涉及一种多显示终端仿真数据同步与交互方法及***。本申请提供的多显示终端仿真数据同步与交互方法，包括注册显示终端，载入协同插件；接入数据总线；互操作模式设定；数据同步与协同管理。本申请提供的多显示终端仿真数据同步与交互方法解决了多终端数据分发、协同控制、数据接入、数据同步、历史活动存储等功能需求；针对飞行仿真场景为web端、平板电脑端、虚拟现实等多类型显示终端，实现了飞行仿真数据的互操作性、低延时、高互操作性、多维度数据实时交互叠加等需求。本申请提供的***，由于可用于实现上述的多显示终端仿真数据同步与交互方法，因此，也具有上述的技术效果。

Description

多显示终端仿真数据同步与交互方法及***

技术领域

本申请涉及信息技术技术领域，尤其涉及一种多显示终端仿真数据同步与交互方法及***。

背景技术

仿真数据同步与人机交互是被广泛关注的问题，传统交互设备的信息展示维度存在一定局限性，虚拟现实与增强现实技术能够扩展交互空间和信息维度，但在信息的全局交互和决策中则略显不足。同时随着多专业联合仿真技术的发展，涉及飞行仿真等多专业联合仿真***的数据分析与仿真评估涉及多学科专业经验，因此需要具备多种的观察视角，多人参与仿真评估论证。

现有的单一显示终端缺少web端数据面板与VR第一视角的联动和交互，造成针对飞行仿真等多学科仿真过程中的论证与分析难以开展多人协同，造成论证效率低、多学科问题发现困难等问题。国内外多终端的仿真数据同步与交互技术主要采用点对点的网络传输方案，当仿真***复杂度增加后，原有技术方案需要针对性的适配和开发，无法满足快速分析和交互需求。

此外，现有技术主要关注多终端的显示切换与控制，而非仿真数据和人机交互的协同。当前主流技术方案主要关注多终端云渲染与像素推流，该方式多个显示终端之间只能显示相同的图像与信息，无法多维度展现仿真数据。而传统的多终端协同交互和控制方案，仅具备按钮、键盘输入等简单交互功能，无法完成三位视角缩放平移、漫游、标注、场景编辑等交互功能。

发明内容

本申请提供一种多显示终端仿真数据同步与交互方法及***，可有效地解决上述或者其他潜在技术问题。

本申请的第一个方面是提供一种多显示终端仿真数据同步与交互方法，包括S1：注册显示终端，载入协同插件；S2：接入数据总线；S3：互操作模式设定；S4：数据同步与协同管理。

本申请实施例提供的多显示终端仿真数据同步与交互方法，包括S1：注册显示终端，载入协同插件；S2：接入数据总线；S3：互操作模式设定；S4：数据同步与协同管理。本申请实施例提供的多显示终端仿真数据同步与交互方法解决了多终端数据分发、协同控制、数据接入、数据同步、历史活动存储等功能需求；同时还可以针对飞行仿真场景数据协同与地景交互的传输协议与标准以及相应的协同和控制插件，为web端、平板电脑端、虚拟现实等多类型显示终端，实现了飞行仿真数据的互操作性，满足了低延时、高互操作性、多维度数据实时交互叠加等功能需求；最后，可以针对飞行三维场景，提供三维大地景场景的视角同步、多终端互动、场景互操作、协同标注等功能。

在根据第一方面的可选的实施例中，所述S1，具体包括：

S11：根据显示终端的类型、数据内容、显示分辨率，构建协同插件模板；

S12：适配于cesium三维地理可视化框架，提取或设定cesium三维地图的目标信息；

S13：虚拟现实和增强现实显示端采用基于C++的运行时，分别完成数据解析、坐标转换、数据同步以及视角同步的功能，且将功能模块打包为蓝图插件，以使不同场景的加载和使用；

S14：根据显示终端的配置和显示形式，在待接入的显示终端中载入相应的插件，并完成显示设备初始化。

在根据第一方面的可选的实施例中，在所述S11中，构建针对基于浏览器的web端与基于Unreal三维游戏引擎的虚拟现实和增强现实显示终端的协同插件模板，完成基于js和C++运行时的协同插件的构建；以实现web端协同插件基于js运行时，功能模块打包为node modules组件，支持各类web端开发框架。

在根据第一方面的可选的实施例中，在S12中，在视角同步过程中，在主控端完成视角移动和缩放后，延迟预设时间段后，再根据移动后的视角位置和角度，采用平滑算法将显示终端的视角移动至目标位置和角度。

在根据第一方面的可选的实施例中，所述S2，具体包括：

S21：显示终端和控制终端基于其适配的网络协议，在数据总线管理工具中，选择相对应的网络协议，完成接口的链接和数据格式的定义；

S22：将显示终端目标信息自动或手动注册至总线管理平台中，完成显示终端的接入管理；

S23：根据需求将所述显示终端与所述数据总线进行筛选和串联，实现显示终端的数据同步接口的打通。

在根据第一方面的可选的实施例中，在所述S2中，所述数据总线负责集中管理各个显示终端、数据以及网络连接；协同数据总线采用基于nodejs的后端引擎，通过网路接口和显示面板的低代码开发面板，接入显示终端的网络接口，配置终端管理和监控面板。

在根据第一方面的可选的实施例中，所述S3，具体包括：

S31：设定显示终端的主控端和显示终端的协同端，其中，主控端负责视角和交互的主要控制，可负责视角、人机交互、控制以及标注的操作；协同端负责接收主控端发送的操作数据，并完成操作数据的协同；其中，数据总线可同时存在多个主控端；

S32：设定同步内容和频率，同步内容方面，针对各个显示终端对飞行仿真数据的显示和交互需求，设定接收数据的类型、频率和关键字；

S33：人机交互控制模式，人机交互方面，可采用移动端针对三维地景，进行触屏标注、滑动屏幕、二指缩放、按键等交互方式；Web端和桌面端，主要针对键鼠输入和点击操作；增强现实与混合现实端则主要针对手柄的移动、缩放、点击、选取操作；将各显示终端的交互数据转换为数据同步标准的数据格式，发送至数据总线，从而控制其他显示终端的显示视角，实现多终端人机交互的协同。

在根据第一方面的可选的实施例中，所述S4，具体包括：

S41：数据同步标准，数据同步标准采用json数据格式，便于适配和显示终端快速选取数据；

S42：数据同步总线，采用基于nodejs的异步运行时，使其满足高并发情况下的性能需求，减小网络阻塞的影响；同时基于nodejs的低代码开发平台，能够模块化、组件化的构建总线平台，接入和管理显示设备；

S43：在仿真和演示过程中的操作数据存储于mongdb数据库中，具备回溯数据、撤销操作、返回上一观察视角、论证分析存底的功能。

在根据第一方面的可选的实施例中，在所述S41中：

同步和传输的数据包括飞行仿真数据、可视化视角和人机交互数据、空间标注数据；

其中，所述飞行仿真数据、可视化视角和人机交互数据、空间标注数据均采用type标签来进行区分，飞行仿真数据type关键字为FlightSim，可视化视角type关键字为View，人机交互关键字为HMI，空间标注数据为Geo；

飞行仿真数据结构包括数据类型、数据id、发送端、时间戳、状态、飞行仿真数据；

可视化视角包括数据类型、数据id、发送端、时间戳、状态、摄像机坐标、视角角度；

人机交互数据包括数据类型、数据id、发送端、时间戳、状态、操作指令、操作内容、操作对象；

空间标注数据包括数据类型、数据id、发送端、时间戳、状态、标注矢量、标注图层、标注样式。

本申请的第二个方面还提供一种***，所述***可用于实现上述的多显示终端仿真数据同步与交互方法，所述***包括移动交互设备、显示屏幕、虚拟现实设备以及增强显示设备；所述移动交互设备用于进行主动控制，所述显示屏幕用于展示整体的特征信息，所述虚拟现实设备与所述增强现实设备用于探索三维场景细节。

本申请还提供的***，由于所述***可用于实现上述的多显示终端仿真数据同步与交互方法，因此，也具有解决了多终端数据分发、协同控制、数据接入、数据同步、历史活动存储等功能需求；同时还可以针对飞行仿真场景数据协同与地景交互的传输协议与标准以及相应的协同和控制插件，为web端、平板电脑端、虚拟现实等多类型显示终端，实现了飞行仿真数据的互操作性，满足了低延时、高互操作性、多维度数据实时交互叠加等功能需求；最后，可以针对飞行三维场景，提供三维大地景场景的视角同步、多终端互动、场景互操作、协同标注等功能。

本申请的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

通过参照附图的以下详细描述，本申请实施例的上述和其他目的、特征和优点将变得更容易理解。在附图中，将以示例以及非限制性的方式对本申请的多个实施例进行说明，其中：

图1为本申请实施例提供的多显示终端仿真数据同步与交互方法在流程图；

图2为本申请实施例提供的多显示终端仿真数据同步与交互方法的控制原理图；

图3为本申请实施例提供的多显示终端仿真数据同步与交互方法在使用过程中的场景文件结构的示意图；

图4为本申请实施例提供的多显示终端仿真数据同步与交互方法在使用过程中根据tif数字高程地形文件合成三维地形示意图；

图5为本申请实施例提供的多显示终端仿真数据同步与交互方法在使用过程中ipad端标绘图形的示意图；

图6为本申请实施例提供的多显示终端仿真数据同步与交互方法在使用过程中大屏幕端的标绘同步显示的示意图；

图7为本申请实施例提供的多显示终端仿真数据同步与交互方法在使用过程中时间轴控制回放速度和进度的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

应当理解的是，下面的实施例并不限制本申请所保护的方法中各步骤的执行顺序。本申请的方法的各个步骤在不相互矛盾的情况下能够以任意可能的顺序并且能够以循环的方式来执行。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

仿真数据同步与人机交互是被广泛关注的问题，传统交互设备的信息展示维度存在一定局限性，虚拟现实与增强现实技术能够扩展交互空间和信息维度，但在信息的全局交互和决策中则略显不足。同时随着多专业联合仿真技术的发展，涉及飞行仿真等多专业联合仿真***的数据分析与仿真评估涉及多学科专业经验，因此需要具备多种的观察视角，多人参与仿真评估论证。

现有的单一显示终端缺少web端数据面板与VR第一视角的联动和交互，造成针对飞行仿真等多学科仿真过程中的论证与分析难以开展多人协同，造成论证效率低、多学科问题发现困难等问题。国内外多终端的仿真数据同步与交互技术主要采用点对点的网络传输方案，当仿真***复杂度增加后，原有技术方案需要针对性的适配和开发，无法满足快速分析和交互需求。

此外，现有技术主要关注多终端的显示切换与控制，而非仿真数据和人机交互的协同。当前主流技术方案主要关注多终端云渲染与像素推流，该方式多个显示终端之间只能显示相同的图像与信息，无法多维度展现仿真数据。而传统的多终端协同交互和控制方案，仅具备按钮、键盘输入等简单交互功能，无法完成三位视角缩放平移、漫游、标注、场景编辑等交互功能。

有鉴于此，本申请实施例提供的多显示终端仿真数据同步与交互方法，包括S1：注册显示终端，载入协同插件；S2：接入数据总线；S3：互操作模式设定；S4：数据同步与协同管理。本申请实施例提供的多显示终端仿真数据同步与交互方法解决了多终端数据分发、协同控制、数据接入、数据同步、历史活动存储等功能需求；同时还可以针对飞行仿真场景数据协同与地景交互的传输协议与标准以及相应的协同和控制插件，为web端、平板电脑端、虚拟现实等多类型显示终端，实现了飞行仿真数据的互操作性，满足了低延时、高互操作性、多维度数据实时交互叠加等功能需求；最后，可以针对飞行三维场景，提供三维大地景场景的视角同步、多终端互动、场景互操作、协同标注等功能。

请参照图1和图2，本申请实施例提供的多显示终端仿真数据同步与交互方法，包括S1：注册显示终端，载入协同插件；S2：接入数据总线；S3：互操作模式设定；S4：数据同步与协同管理。

本申请实施例提供的多显示终端仿真数据同步与交互方法，包括S1：注册显示终端，载入协同插件；S2：接入数据总线；S3：互操作模式设定；S4：数据同步与协同管理。本申请实施例提供的多显示终端仿真数据同步与交互方法解决了多终端数据分发、协同控制、数据接入、数据同步、历史活动存储等功能需求；同时还可以针对飞行仿真场景数据协同与地景交互的传输协议与标准以及相应的协同和控制插件，为web端、平板电脑端、虚拟现实等多类型显示终端，实现了飞行仿真数据的互操作性，满足了低延时、高互操作性、多维度数据实时交互叠加等功能需求；最后，可以针对飞行三维场景，提供三维大地景场景的视角同步、多终端互动、场景互操作、协同标注等功能。

在可选地示例性实施例中，所述S1，具体包括：

S11：根据显示终端的类型、数据内容、显示分辨率，构建协同插件模板；

S12：适配于cesium三维地理可视化框架，提取或设定cesium三维地图的目标信息；

S13：虚拟现实和增强现实显示端采用基于C++的运行时，分别完成数据解析、坐标转换、数据同步以及视角同步的功能，且将功能模块打包为蓝图插件，以使不同场景的加载和使用；

S14：根据显示终端的配置和显示形式，在待接入的显示终端中载入相应的插件，并完成显示设备初始化。

具体地，在本实施例中，在所述S11中，构建针对基于浏览器的web端与基于Unreal三维游戏引擎的虚拟现实和增强现实显示终端的协同插件模板，完成基于js和C++运行时的协同插件的构建；以实现web端协同插件基于js运行时，功能模块打包为node modules组件，支持各类web端开发框架。

在可选地示例性实施例中，在S12中，在视角同步过程中，在主控端完成视角移动和缩放后，延迟预设时间段后，再根据移动后的视角位置和角度，采用平滑算法将显示终端的视角移动至目标位置和角度。

具体地，在本实施例中，在S12中，考虑显示端人机交互、网络负载、人体生理承受、减少抖动减少三维场景眩晕感等问题，在视角同步过程中不采用高频度实时同步的方式，而是在主控端完成视角移动和缩放后，延迟预设时间段，例如延迟50ms后，再根据移动后的视角位置和角度，采用平滑算法将显示终端的视角移动至目标位置和角度。

在可选地示例性实施例中，在S13中，具体地，虚拟现实和增强现实显示端则采用基于C++的运行时，分别完成数据解析、坐标转换、数据同步、视角同步等功能，功能模块打包为蓝图插件，方便不同场景的加载和使用。其中坐标转换主要将wgs-84标准的全球世界坐标，转化为当前场景下的局部坐标，视角角度则由以地心为基准的欧拉角转换为局部坐标下的四方位角。

在可选地示例性实施例中，所述S2，具体包括：

S21：显示终端和控制终端基于其适配的网络协议，在数据总线管理工具中，选择相对应的网络协议，完成接口的链接和数据格式的定义；

S22：将显示终端目标信息自动或手动注册至总线管理平台中，完成显示终端的接入管理；

S23：根据需求将所述显示终端与所述数据总线进行筛选和串联，实现显示终端的数据同步接口的打通。

在可选地示例性实施例中，在所述S2中，所述数据总线负责集中管理各个显示终端、数据以及网络连接；协同数据总线采用基于nodejs的后端引擎，通过网路接口和显示面板的低代码开发面板，接入显示终端的网络接口，配置终端管理和监控面板。

具体地，在本实施例中，数据总线主要负责集中管理各个显示终端、数据、网络连接等。协同数据总线采用基于nodejs的后端引擎，通过网路接口和显示面板的低代码开发面板，快速的接入显示终端的网络接口，配置终端管理和监控面板。显示终端接入数据总线主要包含如下步骤：

首先，显示和控制终端基于其适配的网络协议，如嵌入式设备基于MQTT协议、Web端设备基于Websocket通讯协议、桌面端和虚拟现实设备则基于UDP网络协议来接入数据总线，在数据总线管理工具中，选择相对应的网络协议，完成接口的链接和数据格式的定义。然后，将显示终端的分辨率、网络环境、终端名称、角色等信息自动或手动注册至总线管理平台中。完成显示终端的接入管理。最后，根据需求、将显示终端与总线数据进行筛选和串联，实现显示终端的数据同步接口的打通。

在可选地示例性实施例中，所述S3，具体包括：

S31：设定显示终端的主控端和显示终端的协同端，其中，主控端负责视角和交互的主要控制，可负责视角、人机交互、控制以及标注的操作；协同端负责接收主控端发送的操作数据，并完成操作数据的协同；其中，数据总线可同时存在多个主控端；

S32：设定同步内容和频率，同步内容方面，针对各个显示终端对飞行仿真数据的显示和交互需求，设定接收数据的类型、频率和关键字；

S33：人机交互控制模式，人机交互方面，可采用移动端针对三维地景，进行触屏标注、滑动屏幕、二指缩放、按键等交互方式；Web端和桌面端，主要针对键鼠输入和点击操作；增强现实与混合现实端则主要针对手柄的移动、缩放、点击、选取操作；将各显示终端的交互数据转换为数据同步标准的数据格式，发送至数据总线，从而控制其他显示终端的显示视角，实现多终端人机交互的协同。

示例性地，在本实施例中，可将上述的方法应用于航空飞行领域，飞行仿真多显示终端数据互操作主要包含仿真数据、时间粒度、三维空间显示视角、人机交互等方面的互操作标准定义与传输协议。满足了低延时、高互操作性、多维度数据实时交互叠加等功能需求。

在具体实施过程中，首先，设定主控端、协同端，显示终端主要分为两类：主控端、协同端，其中主控端负责视角和交互的主要控制，其主要负责视角、人机交互、控制、标注等操作。而协同端则接收主控端发送的操作数据、完成数据的协同。总线允许同时存在多个主控。其次，设定同步内容和频率，同步内容方面，针对各终端对飞行仿真数据的显示和交互需求，设定接收数据的类型、频率和关键字。如：飞行导航二维地图，仅显示飞机的坐标和航向角，不显示飞机的六自由度等模型具体信息，数据同步频率则设定为10HZ，减少显示端负载。最后，人机交互控制模式，人机交互方面，移动端主要针对三维地景，进行触屏标注、滑动屏幕、二指缩放、按键等交互方式；Web端和桌面端，主要针对键鼠输入和点击操作；增强现实与混合现实端则主要针对手柄的移动、缩放、点击、选取操作。将各终端交互数据转换为数据同步标准的数据格式，发送至数据总线，从而控制其他终端的显示视角，实现多终端人机交互的协同。

在可选地示例性实施例中，所述S4，具体包括：

S41：数据同步标准，数据同步标准采用json数据格式，便于适配和显示终端快速选取数据；

S42：数据同步总线，采用基于nodejs的异步运行时，使其满足高并发情况下的性能需求，减小网络阻塞的影响；同时基于nodejs的低代码开发平台，能够模块化、组件化的构建总线平台，接入和管理显示设备；

S43：在仿真和演示过程中的操作数据存储于mongdb数据库中，具备回溯数据、撤销操作、返回上一观察视角、论证分析存底的功能。

在可选地示例性实施例中，在所述S41中：

同步和传输的数据包括飞行仿真数据、可视化视角和人机交互数据、空间标注数据；

其中，所述飞行仿真数据、可视化视角和人机交互数据、空间标注数据均采用type标签来进行区分，飞行仿真数据type关键字为FlightSim，可视化视角type关键字为View，人机交互关键字为HMI，空间标注数据为Geo；

飞行仿真数据结构包括数据类型、数据id、发送端、时间戳、状态、飞行仿真数据；

可视化视角包括数据类型、数据id、发送端、时间戳、状态、摄像机坐标、视角角度；

人机交互数据包括数据类型、数据id、发送端、时间戳、状态、操作指令、操作内容、操作对象；

空间标注数据包括数据类型、数据id、发送端、时间戳、状态、标注矢量、标注图层、标注样式。

可以理解的是，飞行仿真数据结构、可视化视角、人机交互数据以及空间标注数据包括的内容并不限于上述所列的数据，还可以根据用户的具体需求，包括其他适宜的数据。

本申请实施例提供的多显示终端仿真数据同步与交互方法，在航空数字地球web端和VR端，开展了数据接口协同测试，实现了视角、标注、仿真数据、按键操作等的数据同步功能，实现了利用ipad来控制多个大屏的操作。

本申请还提供了一种***，所述***可用于实现上述的多显示终端仿真数据同步与交互方法，所述***包括移动交互设备、显示屏幕、虚拟现实设备以及增强显示设备；所述移动交互设备用于进行主动控制，所述显示屏幕用于展示整体的特征信息，所述虚拟现实设备与所述增强现实设备用于探索三维场景细节。

为了进一步说明本申请实施例提供的多显示终端仿真数据同步与交互方法的原理，具体举例如下：

对于使用本技术的用户来说，首先在开展飞行仿真之前，需首先开展场景设定，即对飞行仿真的地形环境、气象环境、显示要素、三维模型等进行设定。完成全局显示场景的初始化设定后，场景的文件和数据被保存至总线中。

例如：用户希望开展一个消防飞机森林灭火任务的飞行仿真，在本方法中需首先对任务所处的三维场景进行设定。如设定任务区域的地形，设定任务区域的范围，设定火情大小，设定飞机模型及飞行仿真数据源，设定时间、气象状况等。在本示例中，选定某省西部某森林作为任务区域，采用13米分辨率的地形数据，失火范围15平方公里，气象状况为晴天，飞机型号为某型号消防飞机，数据源的接口为仿真服务器的udp接口地址。

在设定上述场景定义后，本场景的参数XML描述文件及源数据被打包存储在总线管理的场景文件在线服务地址中。场景文件结构如图3所示：

随后将显示终端接入总线，接入总线的显示终端首先订阅场景文件，来初始化其显示的三维场景，然后设定显示终端的互操作权限。

例如：在本次任务中，用户需要分别从一个大屏幕显示端、一个VR端和一个ipad端来观察飞行仿真过程。其中大屏幕显示终端为主控端，在启动大屏幕端的三维引擎并加载数据同步插件后，接入指定的数据同步总线中。各个显示终端在接入数据同步总线后的第一步为初始化三维场景，根据任务的场景描述文件及地形、三维模型文件，来渲染全局的图形效果，如图4所示，根据tif数字高程地形文件合成三维地形。

在总线控制面板，将大屏幕显示终端设定为主控端，将VR和Ipad端设定为从控端。

在完成场景设定和显示终端配置后，开展飞行仿真数据同步与多终端的交互控制。

例如：主控端在地图中旋转三维视角，本视角模拟相机的三维坐标和欧拉姿态数据会实时发送至仿真总线中，从控端的三维视角也跟随主控端的视角进行刷新，保证两端的显示角度一致。

同时也可以开展标绘并标注箭头或圈定范围区域。在不同终端标绘的范围几何图形及样式会同步至不同终端中显示，如图5所示为本申请实施例提供的多显示终端仿真数据同步与交互方法在使用过程中ipad端标绘图形的示意图，如图6所示为本申请实施例提供的多显示终端仿真数据同步与交互方法在使用过程中大屏幕端的标绘同步显示的示意图。

在仿真过程中，总线中的所有交互数据记录相机视角、标绘等会被记录至数据库中，供结果回放和态势分析。如图7中的时间轴来控制回放速度和进度。

本申请还提供的***，由于所述***可用于实现上述的多显示终端仿真数据同步与交互方法，因此，也具有解决了多终端数据分发、协同控制、数据接入、数据同步、历史活动存储等功能需求；同时还可以针对飞行仿真场景数据协同与地景交互的传输协议与标准以及相应的协同和控制插件，为web端、平板电脑端、虚拟现实等多类型显示终端，实现了飞行仿真数据的互操作性，满足了低延时、高互操作性、多维度数据实时交互叠加等功能需求；最后，可以针对飞行三维场景，提供三维大地景场景的视角同步、多终端互动、场景互操作、协同标注等功能。

最后应说明的是：以上实施方式仅用以说明本申请的技术方案，而非对其进行限制；尽管参照前述实施方式对本申请已经进行了详细的说明，但本领域的普通技术人员应当理解：其依然可以对前述实施方式所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请实施方式技术方案的范围。

另外需要说明的是是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本申请对各种可能的组合方式不再另行说明。

Claims (10)

1.一种多显示终端仿真数据同步与交互方法，其特征在于，包括：

S1：注册显示终端，载入协同插件；

S2：接入数据总线；

S3：互操作模式设定；

S4：数据同步与协同管理。

2.根据权利要求1所述的多显示终端仿真数据同步与交互方法，其特征在于，所述S1，具体包括：

S11：根据显示终端的类型、数据内容、显示分辨率，构建协同插件模板；

S12：适配于cesium三维地理可视化框架，提取或设定cesium三维地图的目标信息；

S13：虚拟现实和增强现实显示端采用基于C++的运行时，分别完成数据解析、坐标转换、数据同步以及视角同步的功能，且将功能模块打包为蓝图插件，以使不同场景的加载和使用；

S14：根据显示终端的配置和显示形式，在待接入的显示终端中载入相应的插件，并完成显示设备初始化。

3.根据权利要求2所述的多显示终端仿真数据同步与交互方法，其特征在于，在所述S11中，构建针对基于浏览器的web端与基于Unreal三维游戏引擎的虚拟现实和增强现实显示终端的协同插件模板，完成基于js和C++运行时的协同插件的构建；以实现web端协同插件基于js运行时，功能模块打包为node modules组件，支持各类web端开发框架。

4.根据权利要求2所述的多显示终端仿真数据同步与交互方法，其特征在于，在S12中，在视角同步过程中，在主控端完成视角移动和缩放后，延迟预设时间段后，再根据移动后的视角位置和角度，采用平滑算法将显示终端的视角移动至目标位置和角度。

5.根据权利要求1所述的多显示终端仿真数据同步与交互方法，其特征在于，所述S2，具体包括：

S21：显示终端和控制终端基于其适配的网络协议，在数据总线管理工具中，选择相对应的网络协议，完成接口的链接和数据格式的定义；

S22：将显示终端目标信息自动或手动注册至总线管理平台中，完成显示终端的接入管理；

S23：根据需求将所述显示终端与所述数据总线进行筛选和串联，实现显示终端的数据同步接口的打通。

6.根据权利要求1所述的多显示终端仿真数据同步与交互方法，其特征在于，在所述S2中，

所述数据总线负责集中管理各个显示终端、数据以及网络连接；协同数据总线采用基于nodejs的后端引擎，通过网路接口和显示面板的低代码开发面板，接入显示终端的网络接口，配置终端管理和监控面板。

7.根据权利要求1所述的多显示终端仿真数据同步与交互方法，其特征在于，所述S3，具体包括：

S31：设定显示终端的主控端和显示终端的协同端，其中，主控端负责视角和交互的主要控制，可负责视角、人机交互、控制以及标注的操作；协同端负责接收主控端发送的操作数据，并完成操作数据的协同；其中，数据总线可同时存在多个主控端；

S32：设定同步内容和频率，同步内容方面，针对各个显示终端对飞行仿真数据的显示和交互需求，设定接收数据的类型、频率和关键字；

S33：人机交互控制模式，人机交互方面，可采用移动端针对三维地景，进行触屏标注、滑动屏幕、二指缩放、按键等交互方式；Web端和桌面端，主要针对键鼠输入和点击操作；增强现实与混合现实端则主要针对手柄的移动、缩放、点击、选取操作；将各显示终端的交互数据转换为数据同步标准的数据格式，发送至数据总线，从而控制其他显示终端的显示视角，实现多终端人机交互的协同。

8.根据权利要求1所述的多显示终端仿真数据同步与交互方法，其特征在于，所述S4，具体包括：

S41：数据同步标准，数据同步标准采用json数据格式，便于适配和显示终端快速选取数据；

S42：数据同步总线，采用基于nodejs的异步运行时，使其满足高并发情况下的性能需求，减小网络阻塞的影响；同时基于nodejs的低代码开发平台，能够模块化、组件化的构建总线平台，接入和管理显示设备；

S43：在仿真和演示过程中的操作数据存储于mongdb数据库中，具备回溯数据、撤销操作、返回上一观察视角、论证分析存底的功能。

9.根据权利要求1所述的多显示终端仿真数据同步与交互方法，其特征在于，在所述S41中：

同步和传输的数据包括飞行仿真数据、可视化视角和人机交互数据、空间标注数据；

其中，所述飞行仿真数据、可视化视角和人机交互数据、空间标注数据均采用type标签来进行区分，飞行仿真数据type关键字为FlightSim，可视化视角type关键字为View，人机交互关键字为HMI，空间标注数据为Geo；

飞行仿真数据结构包括数据类型、数据id、发送端、时间戳、状态、飞行仿真数据；

可视化视角包括数据类型、数据id、发送端、时间戳、状态、摄像机坐标、视角角度；

人机交互数据包括数据类型、数据id、发送端、时间戳、状态、操作指令、操作内容、操作对象；

空间标注数据包括数据类型、数据id、发送端、时间戳、状态、标注矢量、标注图层、标注样式。

10.一种***，其特征在于，所述***可用于实现权利要求1至9中任一项所述的多显示终端仿真数据同步与交互方法，所述***包括移动交互设备、显示屏幕、虚拟现实设备以及增强显示设备；所述移动交互设备用于进行主动控制，所述显示屏幕用于展示整体的特征信息，所述虚拟现实设备与所述增强现实设备用于探索三维场景细节。