CN111105506A - 一种基于混合现实的实时监控方法及装置 - Google Patents

Abstract

本申请实施例公开了一种基于混合现实的实时监控方法、装置、电子设备及存储介质。本申请实施例提供的技术方案，通过获取位置信息，基于位置信息确定对应的待监控设备，并通过提取待监控设备的设备信息及实时状态数据，将设备信息及实时状态数据标注在对应的视频数据和图形界面中，之后对视频数据和图形界面进行编码并输出至终端设备进行显示。采用上述技术手段，解决了目前轨道交通行业在进行设备监控时，只能看到设备的状态信息却看不到设备实际情况的技术问题。以及在现场巡检时只能看到设备实体，却看不到设备详细状态信息的技术问题，并通过将设备状态数据标注在对应设备的视频数据中，进一步提高设备监控、巡检的便利性和安全性。

Description

一种基于混合现实的实时监控方法及装置

技术领域

本申请实施例涉及设备监控技术领域，尤其涉及一种基于混合现实的实时监控方法及装置。

背景技术

目前，在城市轨道交通***运行过程中，为了较好地对各个设备进行运行维护，会对设备的运行状态进行实时监控。通过后台服务端采集设备的实时状态数据进行处理，并由前端人机界面采用组态结合软件界面的方式进行展示。在设备实时状态数据展示时，利用组态开发工具按设备的物理或者逻辑布局图纸绘制人机界面，用不同的图符表示各种设备，在图符上利用颜色和文字等方式显示重要的设备状态数据。当用户需要查看详细信息时，可以通过选择图符打开相应的设备控制面板程序进行查看。以此来实现运维管理人员对设备状态数据的实时查看。

但是，运维管理人员在使用上述设备状态数据展示方式进行设备监控和巡检时，需要多次操作前端人机界面才能够获取相应的设备状态数据，其设备状态数据的查询流程较为繁琐。另外，在人机界面上不能查看设备当前的视频画面，设备故障出现问题又不能直观地呈现故障部件的实景情况，这些都严重影响了维修管理人员巡检的效率。

发明内容

本申请实施例提供一种基于混合现实的实时监控方法、装置、电子设备及存储介质，能够便于进行设备状态数据的查看，提高设备监控、巡检的便利性和安全性。

在第一方面，本申请实施例提供了一种基于混合现实的实时监控方法，包括：

获取位置信息，基于所述位置信息确定对应的待监控设备，所述位置信息包括当前用户的位置信息或者当前用户输入的位置信息；

提取所述待监控设备的设备信息及实时状态数据，将所述设备信息及所述实时状态数据标注在对应待监控设备的视频数据和图形界面中，所述图形界面包括对应待监控设备的三维模型及设备状态显示画面；

对所述视频数据和所述图形界面进行编码并输出至终端设备进行显示。

进一步的，所述基于所述位置信息确定对应的待监控设备包括：

根据所述位置信息确定设定距离范围内对应的监控摄像头；

提取所述监控摄像头的实时视频数据，从所述视频数据中确定对应的所述待监控设备。

进一步的，所述终端设备包括后台监控终端、移动终端设备或VR眼镜。

进一步的，所述根据所述位置信息确定设定距离范围内对应的监控摄像头，包括：

根据所述位置信息反馈相应的三维监控场景，并将设定距离范围内的若干个摄像头信息反馈至当前用户的VR眼镜；

通过VR眼镜获取当前用户的第一聚焦方向，根据所述第一聚焦方向所对应的摄像头从若干个摄像头中确定对应的监控摄像头。

进一步的，所述提取所述监控摄像头的实时视频数据，从所述视频数据中确定对应的所述待监控设备，包括：

提取所述监控摄像头的实时视频数据，将所述实时视频数据嵌入三维监控场景并发送至当前用户的VR眼镜进行显示；

通过VR眼镜获取当前用户的第二聚焦方向，根据所述第二聚焦方向所对应的位置确定所述待监控设备。

进一步的，所述基于所述位置信息确定对应的待监控设备包括：

根据所述位置信息确定设定距离范围内对应的监控摄像头；

将所述监控摄像头所对应的设备信息发送至所述终端设备；

根据所述终端设备返回的选择信息确定所述待监控设备。

进一步的，所述将所述设备信息及所述实时状态数据标注在对应待监控设备的视频数据和图形界面中，所述图形界面包括对应待监控设备的三维模型及设备状态显示画面，包括：

确定对应待监控设备在所述视频数据和所述图形界面中的位置；

将对应待监控设备的所述设备信息及所述实时状态数据标注在对应的所述视频数据的视频画面和所述图形界面的三维模型中。

在第二方面，本申请实施例提供了一种基于混合现实的实时监控装置，包括：

获取模块，用于获取当前用户的位置信息或者用户输入的位置信息，基于所述位置信息确定对应的待监控设备；

标注模块，用于提取所述待监控设备的设备信息及实时状态数据，将所述设备信息及所述实时状态数据标注在对应待监控设备的视频数据和图形界面中，所述图形界面包括对应待监控设备的三维模型及设备状态显示画面；

输出模块，用于对所述视频数据和所述图形界面进行编码并输出至终端设备进行显示。

在第三方面，本申请实施例提供了一种电子设备，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于混合现实的实时监控方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于混合现实的实时监控方法。

本申请实施例通过获取位置信息，基于位置信息确定对应的待监控设备，并通过提取待监控设备的设备信息及实时状态数据，将设备信息及实时状态数据标注在对应的视频数据和图形界面中，之后对视频数据和图形界面进行编码并输出至终端设备进行显示。采用上述技术手段，可以便于在设备集中监控或者巡检时，根据位置信息选择相应的设备进行状态数据的查看，以此来提高设备集中监控或巡检的便利性。

此外，本申请实施例通过将设备状态数据标注在对应设备的视频数据和图形界面中，便于直接通过视频数据和图形界面查看设备状态数据，以避免巡检设备时，实地查看设备状态数据存在的危险情况，进一步提高设备巡检的安全性。

附图说明

图1是本申请实施例一提供的一种基于混合现实的实时监控方法的流程图；

图2是本申请实施例一中确定待监控设备的第一流程图；

图3是本申请实施例一中确定待监控设备的第二流程图；

图4是本申请实施例一中使用VR眼镜进行设备巡检示意图；

图5是本申请实施例一中VR眼镜选择监控摄像头的流程图；

图6是本申请实施例一中VR眼镜的监控摄像头选择界面示意图；

图7是本申请实施例一中VR眼镜选择待监控设备的流程图；

图8是本申请实施例一中VR眼镜的待监控设备选择界面示意图；

图9是本申请实施例一中的视频数据标注流程图；

图10是本申请实施例二提供的一种基于混合现实的实时监控装置的结构示意图；

图11是本申请实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的基于混合现实的实时监控方法，旨在通过利用混合现实技术辅助进行设备的监控和巡检。通过当前用户的位置信息或者用户输入的位置信息进行对应待监控设备的确定，并提取该待监控设备的设备信息及实时状态数据，将这些设备信息和实时状态数据标注在对应待监控设备的视频画面和三维模型上。用户在可视化终端设备上即可全方位了解待监控设备的实际运行情况。参照现有的设备监控***，大多都是通过视频进行监控，或者单独通过人机界面结合文字进行设备监控。这种监控方式不便于进行设备状态数据的查询。并且，通常监控***设置在后端，设备状态数据的查询只能在后端通过监控中心进行。而在进行设备巡检时，巡检人员却只能看到现场设备的表面运行状况，其具体状态数据无法得到同步性展示，非常不利于现场设备的巡视检查及维修。因此，提供本申请实施例的基于混合现实的实时监控方法，以解决现有设备监控***设备状态数据查询流程繁杂的技术问题。

实施例一：

图1给出了本申请实施例一提供的一种基于混合现实的实时监控方法的流程图，本实施例中提供的基于混合现实的实时监控方法可以由基于混合现实的实时监控设备执行，该基于混合现实的实时监控设备可以通过软件和/或硬件的方式实现，该基于混合现实的实时监控设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于混合现实的实时监控设备可以是电脑，设备监控***的服务器端等。

下述以基于混合现实的实时监控设备为执行基于混合现实的实时监控方法的主体为例，进行描述。参照图1，该基于混合现实的实时监控方法具体包括：

S110、获取位置信息，基于所述位置信息确定对应的待监控设备，所述位置信息包括当前用户的位置信息或者当前用户输入的位置信息。

示例性的，用户在进行设备监控或巡检时，通过终端设备上传用户当前的位置信息，该位置信息用于确定用户想要查询的设备或者用户当前位置所对应的设备。终端设备可以是设备监控***的后台监控终端、用户的移动终端或者VR眼镜等可视化终端设备，在实际应用中，根据实际监控或巡检需要选择不同类型的终端设备进行设备实时状态数据的查询。例如，当对设备进行后台远程监控时，可采用该后台监控终端或用户移动终端进行设备的实时状态数据查询；当对设备进行现场巡检时，则可以采用用户的移动终端或者VR眼镜进行设备实时状态数据的查询。用于设备状态数据查询的终端设备的类型有很多，本申请实施例不做固定限制，这里不多赘述。

需要说明的是，当对设备进行后台监控时，可通过终端设备输入位置信息，该位置信息上传至基于混合现实的实时监控设备，由该实时监控设备进行位置信息的获取；当对现场设备进行巡检时，可以通过终端设备定位当前位置信息，以这一位置信息作为用户的位置信息，将位置信息上传至该基于混合现实的实时监控设备。需要说明的是，在使用终端设备定位当前位置信息时，由于是在室内进行当前位置定位，使用传统的GPS定位方式的定位精度相对较低，因此本申请实施例使用基于WiFi或蓝牙的室内定位方式进行当前位置信息的获取。在进行室内定位时，通过在室内各个位置布置信号发射器，并以终端设备的WiFi或蓝牙作为信号接收器。通过确定终端设备与各个信号发射器的距离来确定自身当前所处的位置，进而实现室内精准定位。现有的室内定位还有很多实施方式，本申请实施例不做固定限制，在此不多赘述。此外，当前用户的位置信息还可以通过布置在监控现场的摄像头进行确定。摄像头通过获取包含用户的视频数据，结合目标检测识别算法进行视频分析，进而确定用户的位置信息，将该位置信息发送至该基于混合现实的实时监控设备。用户身份与终端设备预先绑定，当摄像头识别到对应用户时，即可确定与之存在绑定关系的终端设备，以便于后续终端设备与该基于混合现实的实时监控设备进行交互。

进一步的，对应获取到的位置信息，即可根据位置信息确定当前用户需要进行状态数据查询的待监控设备。参照图2，确定待监控设备的流程包括：

S111、根据所述位置信息确定设定距离范围内对应的监控摄像头；

S112、提取所述监控摄像头的实时视频数据，从所述视频数据中确定对应的所述待监控设备。

具体的，本申请实施例预先存储监控现场各个摄像头的相关位置数据，摄像头对应一个或多个现场设备进行实时监控。当基于混合现实的实时监控设备获取到位置信息后，根据该位置信息与预先存储的监控现场各个摄像头的位置数据进行比对，确定与该位置信息所对应位置在设定距离范围内的监控摄像头，监控摄像头用于进一步确定用户需要进行状态数据查询的待监控设备。需要说明的是，若设定距离范围内存在若干个对应的摄像头，则需要终端设备进一步确定哪个摄像头作为监控摄像头，若设定距离范围内只存在一个摄像头，则以该摄像头作为监控摄像头。

进一步的，根据已确定的监控摄像头，由于监控摄像头可能对应一个或多个现场设备进行实时监控，因此需要从监控摄像头中进一步确定对应的待监控设备。可以理解的是，若摄像头与现场设备为一一对应的关系，则在确定监控摄像头后，即可进一步确定用户想要进行状态数据查询的待监控设备。而如若监控摄像头对应多个现场设备进行实时监控，则需要由用户进一步选择确定多个对应的现场设备中哪个作为待监控设备。

具体的，本申请实时例通过提取该监控摄像头的视频数据，将该视频数据发送至终端设备处，由终端设备显示监控摄像头的实时视频数据。用户根据该实时视频数据中显示的各个现场设备，从中选择一个作为待监控设备。其中，当视频数据显示在用户移动终端或者后台监控终端时，可以通过用户的触控操作选择视频数据中的相应设备，通过响应用户的选择即可确定对应的待监控设备。当视频数据显示在VR眼镜上时，可通过用户的眼睛聚焦方向来确定用户所选择的设备。需要说明的是，本申请实施例中各个摄像头的监控视角固定，对应获取到的视频数据中各个现场设备的位置也相对固定。当用户在终端设备进行触控操作或者眼睛聚焦时，根据这些操作对应视频数据上的相应位置，确定位置上对应的现场设备，进而确定待监控设备。

此外，参照图3，提供另一种待监控设备的确定方式，其中，确定待监控设备的流程包括：

S113、根据所述位置信息确定设定距离范围内对应的监控摄像头；

S114、将所述监控摄像头所对应的设备信息发送至所述终端设备；

S115、根据所述终端设备返回的选择信息确定所述待监控设备。

相对于上述步骤S111～S112，本申请实施例提供了另一种待监控设备的确定方式。如图3所示，根据已确定的监控摄像头，通过摄像头与设备的关联关系来确定待监控设备。根据摄像头监控画面所对应监控的一个或多个现场设备，对这些摄像头与对应的现场设备设置相应的关联关系并存储。后续在确定监控摄像头后，根据预先存储的关联关系，提取监控摄像头监控画面下各个设备的设备信息，将这些设备信息发送至终端设备供用户进行选择。设备信息以选项窗口的方式显示在终端设备的人机交互界面上。并根据用户的触控操作或眼睛聚焦等方式确定用户选择哪个选项，将用户的这一选择信息反馈至基于混合现实的实时监控设备，根据该选择信息即可选定用户想要进行状态数据查询的待监控设备。

此外，在用户进行巡检时，还可以根据当前用户的位置信息，结合计算机视觉技术，利用视频分析的方式直接确定待监控设备。可以理解的是，视频分析可以检测用户当前靠近哪个设备进行巡检，则通过确定与当前用户位置信息相应的摄像头，从摄像头中提取视频数据进行视频分析，即可检测分析得到用户准备进行状态数据查询的待监控设备。

举例而言，提供本申请实施例利用VR眼镜确定监控摄像头和待监控设备的实施方式。参照图4，提供轨道交通对相关设备(闸机)进行巡检的场景示意图，当进行设备巡检时，用户佩戴VR眼镜，通过VR眼镜提供位置信息，并从VR眼镜的显示界面上查看设备信息和实时状态数据。其中，参照图5，VR眼镜选择监控摄像头的流程包括：

S1111、根据所述位置信息反馈相应的三维监控场景，并将设定距离范围内的若干个摄像头信息反馈至当前用户的VR眼镜；

S1112、通过VR眼镜获取当前用户的第一聚焦方向，根据所述第一聚焦方向所对应的摄像头从若干个摄像头中确定对应的监控摄像头。

示例性的，参照图6，根据该位置信息一方面会将对应位置处的三维监控场景反馈至VR眼镜进行显示。VR眼镜也可自行根据自身的定位信息，显示当前位置所对应的三维监控场景。三维监控场景预先对应各个设备的监控场景构建，根据实际需要存储于该基于混合现实的实时监控设备或者用户的终端设备(如VR眼镜或手机等)上。另一方面，通过VR眼镜确定若干个摄像头，将这些摄像头以选项窗口的方式显示在VR眼镜的显示界面上，并通过用户眼睛的聚焦方向，来确定用户选择了哪个摄像头作为待监控摄像头。当用户使用VR眼镜进行监控摄像头选择时，根据用户的眼睛及虹膜信息实时追踪用户眼睛的聚焦点，通过眼球跟踪功能确定用户眼球当前聚焦点在VR眼镜上的坐标位置，并进一步确定该坐标位置对应的选项窗口，进而确定哪个摄像头作为监控摄像头。此外，根据位置信息确定的若干个摄像头，也可以采用预览窗口的形式显示在VR眼镜的显示界面上。以预览窗口显示时，只显示摄像头的相关标识信息(如编号“video1”)，而不显示摄像头的图像画面。由于确定的摄像头可能数量较多，考虑到VR眼镜显示界面的限制，可能无法满足全部以摄像头图像的选项窗口形式进行显示。并且，预览窗口在进行显示时，可尽量分散的显示在VR眼镜的显示界面上，以便于在用户眼睛聚焦选择时，更精准地确定用户选择的摄像头。

另外，由于根据位置信息确定的设定范围内的若干个摄像头的位置一般都相互邻近，则为了优化用户的使用体验，还可以将包含这些摄像头的视频画面或者三维模型反馈至用户佩戴的VR眼镜。同样的，当视频画面或者三维模型展示在VR眼镜上时，通过眼球跟踪功能确定用户眼球当前聚焦点在VR眼镜上的坐标位置，并进一步确定该坐标位置对应的摄像头即可确定用户选择了哪个摄像头作为监控摄像头。

进一步的，当VR眼镜确定监控摄像头后，若监控摄像头对应监控一个设备，则直接确定该设备为待监控设备；若监控摄像头对应多个设备，该基于混合现实的实时监控设备进一步与VR眼镜进行交互，进一步确定待监控设备。参照图7，VR眼镜选择待监控设备的流程包括：

S1121、提取所述监控摄像头的实时视频数据，将所述实时视频数据嵌入所述三维监控场景并发送至当前用户的VR眼镜进行显示；

S1122、通过VR眼镜获取当前用户的第二聚焦方向，根据所述第二聚焦方向所对应的位置确定所述待监控设备。此处用第二聚集方向来描述当前用户的眼睛聚焦方向，以区别与前述选择监控摄像头时的第一聚焦方向。

具体的，对应已经确定的监控摄像头，通过提取该监控摄像头的实时视频数据，将该视频数据发送至用户的VR眼镜。参照图8，提供VR眼镜待监控设备选择界面示意图。图中，由于监控摄像头视角固定，则视频数据中各个设备的位置在视频画面上相对固定。通过预先确定各个设备在视频数据中的位置，以便于根据用户眼镜的聚焦位置确定用户选择的设备。当用户使用VR眼镜进行监控设备选择时，VR眼镜上显示对应监控摄像头的视频数据，并根据用户的眼睛及虹膜信息实时追踪用户眼镜的聚焦点。通过眼球跟踪功能确定用户眼球当前聚焦点在VR眼镜上的坐标位置，并进一步确定该坐标位置对应的视频画面中的设备，以该设备作为待监控设备。并且，当VR眼镜需要切换摄像头进行查看时。还可以通过眼睛聚焦在对应“返回”选项的屏幕位置上，根据用户的眼镜的聚焦方位，VR眼镜退出当前的显示界面，返回如图6所示的摄像头选择显示界面。用户通过如图6所示的摄像头选择界面，进一步进行眼睛聚焦重新选择一摄像头作为待监控摄像头。

另外，在进行待监控设备选择时，也可以将待监控摄像头对应监控的各个设备的设备信息发送至VR眼镜，在VR眼镜上以选项窗口的形式展示供用户进行选择，最终根据用户眼睛的聚焦点位置确定待监控设备。

本申请实施例还可以通过位置信息直接选择最接近的摄像头和设备作为监控摄像头和待监控设备等实施方式，对监控摄像头、待监控设备的确定方式有很多，本申请实施例不做固定限制，在此不做赘述。需要说明的是，在将实时视频数据发送至VR眼镜进行显示时，会将视频数据嵌入在三维监控场景中，即视频数据叠加在当前三维监控场景中。具体可以是对应监控摄像头的位置，以此来优化用户的观感。本申请实施例中，通过在终端设备显示的三维监控场景上进行监控摄像头及待监控设备的选择确定，可进一步优化用户的使用体验。

S120、提取所述待监控设备的设备信息及实时状态数据，将所述设备信息及所述实时状态数据标注在对应待监控设备的视频数据和图形界面中，所述图形界面包括对应待监控设备的三维模型及设备状态显示画面。

根据上述步骤S110确定的待监控设备，通过后台服务器提取对应设备的实时状态数据和设备信息，并将提取到的实时状态数据和设备信息反馈至终端设备以进行展示。其中，实时状态数据对应不同设备可以是电压、电流、温度、湿度等实时运行参数信息。设备信息则为设备的名称、编号等基础标识信息。对应这些设备信息和实时状态数据，通过标注在对应待监控设备的图形界面上，以便于用户直观的查看待监控设备的设备信息和实时状态数据。其中，视频数据即为对应待监控设备的视频画面；而图形界面则包括了对应待监控设备的三维模型及设备状态显示画面。本申请实施例在进行设备信息和实时状态数据标注时，会对应待监控设备的视频画面和三维模型一并进行标注，并且还提供待监控设备的设备状态显示画面。根据实际需要，进行标注的实时状态数据，可以是待监控设备一部分比较重要的状态数据。而对应待监控设备所有的状态数据详细的设备信息，可以通过设备状态显示画面进行显示。

参照图9，视频数据标注流程包括：

S1201、确定对应待监控设备在所述视频数据和所述图形界面中的位置；

S1202、将对应待监控设备的所述设备信息及所述实时状态数据标注在对应的所述视频数据的视频画面和所述图形界面的三维模型中。

需要说明的是，在进行设备信息和状态数据的标注时，进行标注的视频画面和三维模型实际上可能包含了待监控设备以及附近的相关背景画面，这部分背景可能也包括了待监控设备附近的其他设备。则为了准确的进行设备信息和状态数据展示，并较好地以其他设备作为背景参照物，在进行标注时，通过确定三维模型和视频画面中待监控设备的具***置，将设备信息和状态数据标注在三维模型和视频画面的对应位置中。其中，视频画面可以是待监控设备对应的监控摄像头所监控拍摄的画面。而三维模型也可以是对应监控摄像头视角下的三维模型，或者是基于待监控设备主视角进行构建的三维模型。在进行设备信息和实时状态数据的标注时，通过提取对应三维模型和视频数据的显示画面，对显示画面进行编辑，在显示画面的对应位置(即待监控设备的位置)***相应的设备信息和实时状态数据，以此即可完成对应三维模型和视频画面的设备信息和实时状态数据标注。需要说明的是，在进行标注时，可以对应待监控设备的不同实时状态数据，使用不同的颜色进行标注，以便于用户直观地分辨待监控设备不同的实时状态情况。例如正常状态的数据用白色标注，临界状态的数据用黄色标注，告警状态的数据用红色标注等。

S130、对所述视频数据和所述图形界面进行编码并输出至终端设备进行显示。

最终，根据上述步骤S120完成设备信息和实时状态数据标注的三维模型和视频画面，以及对应待监控设备的设备状态显示画面，将三维模型和设备状态显示画面所对应的图形界面以及视频画面所对应的视频数据发送至终端设备进行显示，以此完成设备实时状态数据的查询。

举例而言，在城市轨道交通设备监控***运营场景中，通过终端设备即可根据位置信息进行城市轨道交通设备监控***中各个设备的设备信息及实时状态数据查询，优化运维管理人员对城市轨道交通各类设备的监控或巡检。其中，在通过后台监控终端对设备进行远程监控时，可以在后台监控终端的人机交互界面上键入需要监控的设备的位置信息，该位置信息上传至基于混合现实的实时监控设备，该实时监控设备通过待监控设备的确定，设备信息和实时状态数据的标注，最终输出对应的三维模型、设备状态显示画面及视频画面至后台监控终端，以供用户查看对应设备的设备信息和实时状态数据。另一方面，在通过移动终端或VR眼镜等设备进行巡检时。用户携带终端设备走到待监控设备附近，此时通过终端设备定位、用户主动输入位置信息或摄像头视频分析等方式确定位置信息，并根据位置信息确定该待监控设备，进而通过设备信息和实时状态数据的标注，最终输出对应的三维模型、设备状态显示画面及视频数据至用户的移动终端或VR眼镜，以此来实现设备信息和实时状态数据查询的实时性和同步性，进一步优化设备巡检的数据查询流程。并且，在进行一些高压、高温等存在一定危险的设备巡检时，由于此类设备存在一定的危险，不宜靠近进行设备的实地检查。可通过终端设备上传对应设备的位置信息，基于该位置信息最终得到对应设备标注有设备信息和实时状态数据的视频数据和图形界面，则通过视频数据和图形界面即可完成对此类高危设备的巡视检查，以此来保证设备巡检的安全性。

上述，通过获取位置信息，基于位置信息确定对应的待监控设备，并通过提取待监控设备的设备信息及实时状态数据，将设备信息及实时状态数据标注在对应的视频数据和图形界面中，之后对视频数据和图形界面进行编码并输出至终端设备进行显示。采用上述技术手段，可以便于在设备集中监控或者巡检时，根据位置信息选择相应的设备进行状态数据的查看，以此来提高设备集中监控或巡检的便利性。此外，本申请实施例通过将设备状态数据标注在对应设备的视频数据和图形界面中，便于直接通过视频数据和图形界面查看设备状态数据，以避免巡检设备时，实地查看设备状态数据存在的危险情况，进一步提高设备巡检的安全性。

实施例二：

在上述实施例的基础上，图10为本申请实施例二提供的一种基于混合现实的实时监控装置的结构示意图。参考图10，本实施例提供的基于混合现实的实时监控装置具体包括：获取模块21、标注模块22和输出模块23。

其中，获取模块21用于获取当前用户的位置信息或者用户输入的位置信息，基于所述位置信息确定对应的待监控设备；

标注模块22用于提取所述待监控设备的设备信息及实时状态数据，将所述设备信息及所述实时状态数据标注在对应待监控设备的视频数据和图形界面中，所述图形界面包括对应待监控设备的三维模型及设备状态显示画面；

输出模块23用于对所述视频数据和所述图形界面进行编码并输出至终端设备进行显示。

上述，通过获取位置信息，基于位置信息确定对应的待监控设备，并通过提取待监控设备的设备信息及实时状态数据，将设备信息及实时状态数据标注在对应的视频数据和图形界面中，之后对视频数据和图形界面进行编码并输出至终端设备进行显示。采用上述技术手段，可以便于在设备集中监控或者巡检时，根据位置信息选择相应的设备进行状态数据的查看，以此来提高设备集中监控或巡检的便利性。此外，本申请实施例通过将设备状态数据标注在对应设备的视频数据和图形界面中，便于直接通过视频数据和图形界面查看设备状态数据，以避免巡检设备时，实地查看设备状态数据存在的危险情况，进一步提高设备巡检的安全性。

具体的，获取模块21包括：

第一确定单元，用于根据所述位置信息确定设定距离范围内对应的监控摄像头；

提取单元，用于提取所述监控摄像头的实时视频数据，从所述视频数据中确定对应的所述待监控设备。

具体的，获取模块21还包括：

第二确定单元，用于根据所述位置信息确定设定距离范围内对应的监控摄像头；

发送单元，用于将所述监控摄像头所对应的设备信息发送至所述终端设备；

返回单元，用于根据所述终端设备返回的选择信息确定所述待监控设备。

具体的，标注模块22包括：

第三确定单元，用于确定对应待监控设备在所述视频数据和所述图形界面中的位置；

标注单元，用于将对应待监控设备的所述设备信息及所述实时状态数据标注在对应的所述视频数据的视频画面和所述图形界面的三维模型中。

本申请实施例二提供的基于混合现实的实时监控装置可以用于执行上述实施例一提供的基于混合现实的实时监控方法，具备相应的功能和有益效果。

实施例三：

本申请实施例三提供了一种电子设备，参照图11，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于混合现实的实时监控方法对应的程序指令/模块(例如，基于混合现实的实时监控装置中的获取模块、标注模块和输出模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块33用于进行数据传输。

处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于混合现实的实时监控方法。

输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。

上述提供的电子设备可用于执行上述实施例一提供的基于混合现实的实时监控方法，具备相应的功能和有益效果。

实施例四：

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于混合现实的实时监控方法，该基于混合现实的实时监控方法包括：获取位置信息，基于所述位置信息确定对应的待监控设备，所述位置信息包括当前用户的位置信息或者当前用户输入的位置信息；提取所述待监控设备的设备信息及实时状态数据，将所述设备信息及所述实时状态数据标注在对应待监控设备的视频数据和图形界面中，所述图形界面包括对应待监控设备的三维模型及设备状态显示画面；对所述视频数据和所述图形界面进行编码并输出至终端设备进行显示。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机***存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于混合现实的实时监控方法，还可以执行本申请任意实施例所提供的基于混合现实的实时监控方法中的相关操作。

上述实施例中提供的基于混合现实的实时监控装置、存储介质及电子设备可执行本申请任意实施例所提供的基于混合现实的实时监控方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于混合现实的实时监控方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种基于混合现实的实时监控方法，其特征在于，包括：

获取位置信息，基于所述位置信息确定对应的待监控设备，所述位置信息包括当前用户的位置信息或者当前用户输入的位置信息；

提取所述待监控设备的设备信息及实时状态数据，将所述设备信息及所述实时状态数据标注在对应待监控设备的视频数据和图形界面中，所述图形界面包括对应待监控设备的三维模型及设备状态显示画面；

对所述视频数据和所述图形界面进行编码并输出至终端设备进行显示。

2.根据权利要求1所述的基于混合现实的实时监控方法，其特征在于，所述基于所述位置信息确定对应的待监控设备包括：

根据所述位置信息确定设定距离范围内对应的监控摄像头；

提取所述监控摄像头的实时视频数据，从所述视频数据中确定对应的所述待监控设备。

3.根据权利要求2所述的基于混合现实的实时监控方法，其特征在于，所述终端设备包括后台监控终端、移动终端设备或VR眼镜。

4.根据权利要求3所述的基于混合现实的实时监控方法，其特征在于，所述根据所述位置信息确定设定距离范围内对应的监控摄像头，包括：

根据所述位置信息反馈相应的三维监控场景，并将设定距离范围内的若干个摄像头信息反馈至当前用户的VR眼镜；

通过VR眼镜获取当前用户的第一聚焦方向，根据所述第一聚焦方向所对应的摄像头从若干个摄像头中确定对应的监控摄像头。

5.根据权利要求3所述的基于混合现实的实时监控方法，其特征在于，所述提取所述监控摄像头的实时视频数据，从所述视频数据中确定对应的所述待监控设备，包括：

提取所述监控摄像头的实时视频数据，将所述实时视频数据嵌入三维监控场景并发送至当前用户的VR眼镜进行显示；

通过VR眼镜获取当前用户的第二聚焦方向，根据所述第二聚焦方向所对应的位置确定所述待监控设备。

6.根据权利要求1所述的基于混合现实的实时监控方法，其特征在于，所述基于所述位置信息确定对应的待监控设备包括：

根据所述位置信息确定设定距离范围内对应的监控摄像头；

将所述监控摄像头所对应的设备信息发送至所述终端设备；

根据所述终端设备返回的选择信息确定所述待监控设备。

7.根据权利要求1所述的基于混合现实的实时监控方法，其特征在于，所述将所述设备信息及所述实时状态数据标注在对应待监控设备的视频数据和图形界面中，所述图形界面包括对应待监控设备的三维模型及设备状态显示画面，包括：

确定对应待监控设备在所述视频数据和所述图形界面中的位置；

将对应待监控设备的所述设备信息及所述实时状态数据标注在对应的所述视频数据的视频画面和所述图形界面的三维模型中。

8.一种基于混合现实的实时监控装置，其特征在于，包括：

获取模块，用于获取当前用户的位置信息或者用户输入的位置信息，基于所述位置信息确定对应的待监控设备；

标注模块，用于提取所述待监控设备的设备信息及实时状态数据，将所述设备信息及所述实时状态数据标注在对应待监控设备的视频数据和图形界面中，所述图形界面包括对应待监控设备的三维模型及设备状态显示画面；

输出模块，用于对所述视频数据和所述图形界面进行编码并输出至终端设备进行显示。

9.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的基于混合现实的实时监控方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的基于混合现实的实时监控方法。

Images