CN111464787A - 远程协助方法、终端设备和可读存储介质 - Google Patents

Abstract

本申请提供一种远程协助方法，应用于智能安全帽，所述智能安全帽配置增强现实AR设备，所述方法包括：建立与远程终端之间的通信连接；获取第一视频流，并将所述第一视频流发送至所述远程终端；接收所述远程终端发送的第二多媒体数据，其中，所述第二多媒体数据为与所述第一视频流相对应的多媒体数据，所述第二多媒体数据不同于所述第一视频流；通过所述AR设备显示所述第二多媒体数据。本申请还提供了一种终端设备、计算机可读存储介质。通过此种方式，使得现场作业工作人员可以实时获得针对现场作业情况而提出的实时协助。

Description

远程协助方法、终端设备和可读存储介质

技术领域

本申请涉及数字视频智能分析技术领域，尤其涉及一种远程协助方法、终端设备和可读存储介质。

背景技术

目前，由于电力、矿工、地下工程或建筑工地的恶劣环境，为了保护工作人员的安全，工作人员需要佩戴安全帽。同时，当工作人员在进行检修、维护或是其他工作时，会遇到复杂的问题无法自行解决，此时，需要寻求外部专家的帮助。

现有的做法是，通过在安全帽上配置多媒体设备，例如、麦克风、AR设备或是其他装置，同时，预先将特定工作场景中可能会遇到的问题提前存储至安全帽的存储设备中，使得工作人员可以通过安全帽上的相应的设备寻找对应的问题资料进行查看。

但是，目前的做法，由于存储的内容都是预先存储的资料，会存在无法与工作人员现场遇到的问题完全对应，这就使得工作人员可能无法获得相应的帮助。而且，交互方式不够人性化。

发明内容

本申请的主要目的在于提出一种远程协助方法、终端设备和可读存储介质，旨在解决现场作业工作人员无法获得针对现场作业情况而提出的实时协助的问题。

为实现上述目的，本申请提供一种远程协助方法，应用于智能安全帽，所述智能安全帽配置增强现实AR设备，所述方法包括：建立与远程终端之间的通信连接；获取第一视频流，并将所述第一视频流发送至所述远程终端；接收所述远程终端发送的第二多媒体数据，其中，所述第二多媒体数据为与所述第一视频流相对应的多媒体数据，所述第二多媒体数据不同于所述第一视频流；通过所述AR设备显示所述第二多媒体数据。

可选地，所述智能安全帽配置有图像获取装置，所述获取第一视频流的步骤包括：通过所述图像获取装置获取所述智能安全帽所处的环境的第一视频流。

可选地，所述智能安全帽包括帽体和所述AR设备，所述帽体和所述AR设备通过硬件接口进行连接，所述帽体配置为与所述远程终端进行数据通信，并将接收到的所述远程终端发送的多媒体数据通过硬件接口发送至所述AR设备进行显示。

可选地，所述多媒体数据为在所述第一视频流上叠加有通过远程终端接收到的交互信息的数据。

可选地，所述第二多媒体数据包括如下至少一种：根据所述第一视频流生成的图片信息、根据所述第一视频流生成的带有标注信息的多媒体数据，和根据所述第一视频流生成的文本数据。

可选地，所述方法还包括：响应控制指令，控制所述智能安全帽进行多媒体信息记录，以形成问题记录。

本申请还提供一种远程协助方法，应用于远程终端，所述远程终端与智能安全帽通信，所述方法包括：接收并通过显示界面显示所述智能安全帽发送的第一视频流；生成与所述第一视频流相对应的第二多媒体数据，其中，所述第二多媒体数据不同于所述第一视频流；发送所述第二多媒体数据至所述智能安全帽进行显示。

可选地，所述生成与所述第一视频流相对应的第二多媒体数据的步骤，包括：响应交互操作，在所述显示界面上生成交互信息；获取所述显示界面的当前显示信息，所述当前显示信息包括所述交互信息和所述第一视频流的当前视频画面；根据所述显示信息生成第二多媒体数据。

可选地，所述响应交互操作之前，所述方法还包括：响应暂停指令，控制暂停所述显示界面的视频画面。

可选地，所述交互操作包括如下至少一种操作：点击操作、滑动操作和输入文字；所述交互信息包括如下至少一种信息：点击轨迹、滑动轨迹和文字信息。

本申请还提供一种终端设备，所述终端设备包括：触控屏；处理器；存储器，与所述处理器连接，所述存储器包含控制指令，当所述处理器读取所述控制指令时，控制所述终端设备实现上述远程协助方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质有一个或多个程序，所述一个或多个程序被一个或多个处理器执行，以实现上述远程协助方法。

本申请提供的远程协助方法，通过现场作业的工作人员佩戴智能安全帽设备采集包括现场工作画面的第一视频流，并将第一视频流发送至远程终端，远程终端播放该第一视频流以获得工作人员的现场工作画面，操作远程终端的专家人员根据第一视频流所显示的现场工作画面进行指导操作，例如，批注操作等，远程终端获取其显示界面当前正显示的图像画面和带有指导操作信息生成第二多媒体数据发送至智能安全帽，并通过智能安全帽的AR设备进行显示第二多媒体数据。由于第二多媒体数据是远程终端根据现场作业画面和专家人员添加的指导操作而生成的，所以，佩戴智能安全帽的工作人员可以通过AR设备看到远程专家针对现场工作画面所做出的指导。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

图1为本申请一实施例提供的应用于智能安全帽的远程协助方法的流程示意图；

图2为本申请一实施例提供的控制获取第一视频流的流程示意图；

图3为本申请另一实施例提供的应用于智能安全帽的远程协助方法的流程示意图；

图4为本申请一实施例提供的应用于远程终端的远程协助方法的流程示意图；

图5为本申请一实施例提供的控制远程终端进行交互操作的流程示意图；

图6为本申请一实施例提供的终端设备的结构示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

图1是本申请提供的一远程协助方法的实施例的流程图。该实施例的方法一旦被用户触发，则该实施例中的流程通过智能安全帽自动运行，其中，各个步骤在运行的时候可以是按照如流程图中的顺序先后进行，也可以是根据实际情况多个步骤同时进行，在此并不做限定。本实施例提供的录屏控制方法包括如下步骤：

步骤S110，建立与远程终端之间的通信连接；

步骤S120，获取第一视频流，并将所述第一视频流发送至所述远程终端；

步骤S130，接收所述远程终端发送的第二多媒体数据，其中，所述第二多媒体数据为与所述第一视频流相对应的多媒体数据，所述第二多媒体数据不同于所述第一视频流；

步骤S140，通过所述AR设备显示所述第二多媒体数据。

通过上述实施方式，使得远程终端的专家人员可以根据第一视频流所显示的现场工作画面进行指导操作，例如，批注操作等，远程终端获取其显示界面当前正显示的图像画面和带有指导操作信息生成第二多媒体数据发送至智能安全帽，并通过智能安全帽的AR设备进行显示第二多媒体数据。由于第二多媒体数据是远程终端根据现场作业画面和专家人员添加的指导操作而生成的，所以，佩戴智能安全帽的工作人员可以通过AR设备看到远程专家针对现场工作画面所做出的指导。

在步骤S110中，建立与远程终端之间的通信连接。

具体地，智能安全帽包括帽体和AR设备。帽体配置为与所述远程终端进行数据通信，并将接收到的所述远程终端发送的多媒体数据通过硬件接口发送至所述AR设备进行显示。在本实施方式中，帽体中包括通信模块和处理器，通信模块用于与远程终端进行通信，处理器用于处理AR设备和远程终端发送的数据。AR设备与帽体相连接，在本实施方式中，AR设备可拆卸地与帽体相连接，在其他实施方式中，AR设备内嵌于所述帽体中。

其中，步骤S110中，通过交互终端控制向远程终端发送通信连接请求。在本实施方式中，交互终端为智能安全帽。在其他实施方式中，交互终端为与智能安全帽进行通信连接的移动终端，例如，手机、pad、笔记本电脑等，用户通过交互终端控制智能安全帽向远程终端发送通信连接请求。在本实施方式中，交互终端包括交互界面，交互界面中包括可以进行通信连接的人员条目，交互终端通过接收针对特定人员条目的触发操作，以控制向远程终端发送对应的通信连接请求。

当智能安全帽与远程终端建立通讯后，可以相互之间发送视频、文件、图片、语音等交互信息。在本实施方式中，智能安全帽可以与多个远程终端进行通信连接，以相互之间发送视频、文件、图片、语音等交互信息。

在步骤120中，获取第一视频流，并将所述第一视频流发送至所述远程终端。

具体地，第一视频流为智能安全帽获取的工作人员现场作业环境视频数据。所述智能安全帽配置有图像获取装置，在本实施方式中，图像获取装置为设置于智能安全帽前部帽檐中心位置处的摄像头，通过此种实施方式，可以获得具有第一视角效果的视频流。在其他实施方式中，图像获取装置也可以为设置于AR设备上的摄像头。在其他实施方式中，智能安全帽的图像获取装置包括第一子图像获取装置和第二子图像获取装置，其中，第一子图像获取装置为设置于智能安全帽前部帽檐中心位置处的摄像头，第二子图像获取装置为设置于AR设备上的摄像头，如图2所示，在本实施方式中，获取第一视频流的步骤包括：

步骤S1201，判断是否启动AR设备；

步骤S1202，确定AR设备已经启动，则控制通过第二图像获取装置获取第一视频流；

步骤S1203，确定AR设备未启动，则控制通过第一图像获取装置获取第一视频流。

通过上述实施方式，使得操作远程终端的工作人员，例如，专家成员，可以通过远程终端的显示界面以第一视角观看工作人员的现场工作情况。

在步骤S130中，接收所述远程终端发送的第二多媒体数据。

具体地，远程终端包括触控屏幕和输入设备，其中，输入设备可以是键鼠设备、语音设备以及触控交互设备。触控屏幕提供图形用户界面以显示第一视频流所对应的视频画面，同时，根据接收到的触控操作在图形用户界面上显示相应的交互信息。在本实施方式中，远程终端可以接收交互操作，以在图形用户界面的相应位置处显示对应的交互信息，举例而言，在图形用户界面播放第一视频流所对应的视频画面时，图形用户界面接收滑动触控操作，并在视频画面上显示对应的滑动轨迹。通过此种方式，远程终端的图形用户界面上可以显示出对第一视频流所对应的视频画面所作的交互信息，例如，批注、文字等信息。

其中，所述第二多媒体数据为与所述第一视频流相对应的多媒体数据。多媒体数据可以是视频流数据、图片数据、文件数据和语音数据。例如，远程终端可以将生成的视频流、图片、文件和语音数据等发送至智能安全帽，以指导佩戴智能安全帽的工作人员进行工作。在本实施方式中，第二多媒体数据为在所述第一视频流上叠加有通过远程终端接收到的交互信息的数据，所述第二多媒体数据不同于所述第一视频流，举例而言，所述第二多媒体数据包括如下至少一种：根据所述第一视频流生成的图片信息、根据所述第一视频流生成的带有标注信息的多媒体数据，和根据所述第一视频流生成的文本数据。也就是说，智能安全帽上的AR设备所显示的内容是基于远程终端根据智能安全帽获取的视频流进行处理后所形成的内容，通过此种方式，可以使AR设备的实时画面叠加远程终端的交互操作，显示远程终端的同屏画面，或者显示文本、标注等相关交互信息。

具体实现时，智能安全帽获取图像数据并发送给远程终端，远程终端接收该图像数据后，根据接收到交互操作与接收到图像数据进行图像处理，以得到第N+1帧基础帧并通过远程终端设备进行显示，然后，将该第N+1帧基础帧发送至智能安全帽，智能安全帽以第N+1帧基础帧为基础渲染出供智能安全帽上的AR设备进行显示的第N+1帧图像帧。

在步骤S140中，通过所述AR设备显示所述第二多媒体数据。

通过上述实施方式，使得远程终端的专家人员可以根据第一视频流所显示的现场工作画面进行指导操作，例如，批注操作等，远程终端获取其显示界面当前正显示的图像画面和带有指导操作信息生成第二多媒体数据发送至智能安全帽，并通过智能安全帽的AR设备进行显示第二多媒体数据。由于第二多媒体数据是远程终端根据现场作业画面和专家人员添加的指导操作而生成的，所以，佩戴智能安全帽的工作人员可以通过AR设备看到远程专家针对现场工作画面所做出的指导。

进一步地，如图3所示，本申请提供的方法还包括:

步骤S150，响应控制指令，控制所述智能安全帽进行多媒体信息记录，以形成问题记录。

具体地，智能安全帽提供了多种进行远程管理的控制指令，使得智能安全帽可以根据控制指令执行相对应的功能。在本实施方式中，控制指令为确定远程协助结束时控制触发的作业管理指令，举例而言，当检测到智能安全帽与远程终端断开通讯时，控制触发作业管理指令，智能安全帽根据作业管理指令，控制保存标注信息、文本信息、拍照信息、截屏信息等交互数据，并对任务状态进行实时跟踪，便于信息的管理与追溯。在其他实施方式中，控制指令为确定检测到满足信息记录条件的信息记录指令，举例而言，当检测到满足预设手势条件的手势操作时，控制进行拍照并形成问题记录；当检测到满足于语音条件的语音信息时，控制进行录像并形成问题记录。

进一步地，本申请提供的方法还包括:接收远程终端发送的如下至少一种共享信息：文本、图片和视频。智能安全帽接收到共享信息后，根据共享指令对共享信息执行相应的操作，举例而言，当智能安全帽接收到远程终端发送的文本信息后，当检测到显示指令时，则控制将文本信息显示于AR设备的显示区域；当智能安全帽接收到远程终端发送的视频信息后，当检测到播放指令时，则控制将视频信息显示于AR设备的显示区域。

通过上述实施方式，使得智能安全帽的使用者可以通过第一视角向远程终端展示画面，并接收远程终端的显示的对视频画面的交互操作信息进行显示，以实现远程标注，同时，进行文件共享并展示，使得AR设备实时画面叠加远程终端的操作选择，显示远程终端的同屏画面，或者显示文本、标注等相关交互信息。

图4是本申请提供的一远程协助方法的实施例的流程图。该实施例的方法一旦被用户触发，则该实施例中的流程通过远程终端自动运行，其中，各个步骤在运行的时候可以是按照如流程图中的顺序先后进行，也可以是根据实际情况多个步骤同时进行，在此并不做限定。本实施例提供的录屏控制方法包括如下步骤：

步骤S410，接收并通过显示界面显示所述智能安全帽发送的第一视频流；

步骤S420，生成与所述第一视频流相对应的第二多媒体数据，其中，所述第二多媒体数据不同于所述第一视频流；

步骤S430，发送所述第二多媒体数据至所述智能安全帽进行显示。

通过上述实施方式，使得操作远程终端的专家工作人员可以以第一视角观察佩戴智能安全帽的工作人员的当前的工作环境，并且提供专家工作人员可以针对第一视频流所生成的视频画面进行交互操作，例如，截图、标注等，并将带有交互信息的视频、图像画面发送回智能安全帽端，以通过AR设备进行显示，以此实现对位于工作现场的工作人员进行远程交互协助。

在步骤S410中，接收并通过显示界面显示所述智能安全帽发送的第一视频流。

具体地，远程终端接收智能安全帽发送的通信连接请求，并向智能安全帽发送连接请求确认指令，当智能安全帽接收到连接请求确认指令后，建立通信连接。

远程终端包括触控屏幕和输入设备，其中，输入设备可以是键鼠设备、语音设备以及触控交互设备。在本实施方式中，显示界面为触控屏幕提供的图形用户界面，图形用户界面显示第一视频流所对应的视频画面。

在步骤S420中，生成与所述第一视频流相对应的第二多媒体数据。

具体地，所述第二多媒体数据为与所述第一视频流相对应的多媒体数据。多媒体数据可以是视频流数据、图片数据、文件数据和语音数据。例如，远程终端可以将生成的视频流、图片、文件和语音数据等发送至智能安全帽，以指导佩戴智能安全帽的工作人员进行工作。在本实施方式中，第二多媒体数据为在所述第一视频流上叠加有通过远程终端接收到的交互信息的数据，所述第二多媒体数据不同于所述第一视频流，举例而言，所述第二多媒体数据包括如下至少一种：根据所述第一视频流生成的图片信息、根据所述第一视频流生成的带有标注信息的多媒体数据，和根据所述第一视频流生成的文本数据。也就是说，智能安全帽上的AR设备所显示的内容是基于远程终端根据智能安全帽获取的视频流进行处理后所形成的内容，通过此种方式，可以使AR设备的实时画面叠加远程终端的交互操作，显示远程终端的同屏画面，或者显示文本、标注等相关交互信息。

在一可选实施方式中，如图5所示，步骤S420包括如下步骤：

步骤S4201，响应交互操作，在所述显示界面上生成交互信息；

步骤S4202，获取所述显示界面的当前显示信息，所述当前显示信息包括所述交互信息和所述第一视频流的当前视频画面；

步骤S4203，根据所述显示信息生成第二多媒体数据。

具体地，在步骤S4201中，交互操作为通过图形用户界面接收的触控操作。在本实施方式中，交互操作可以为点击操作。在其他实施方式中，交互操作为滑动操作，或是输入文字，具体不做限定。图形用户界面根据接收的交互操作在图形用户界面上生成对应的交互信息，在本实施方式中，当交互操作为点击操作时，所述交互信息为点击轨迹，例如，在点击的位置处显示原点提示。在其他实施方式中，当交互操作为滑动操作时，所述交互信息为滑动轨迹。同样地，当交互操作为输入文字时，所述交互信息为文字信息。

在步骤S4202中，所述显示界面的当前显示信息即为远程终端的屏幕上所显示的当前画面，其中，当前画面中包括根据第一视频流生成的当前视频画面以及根据接收到的交互操作所生成的交互信息。举例而言，远程终端在显示第一视频流所对应的视频画面时，专家工作人员通过图形用户界面对视频画面的一区域输入了滑动操作，此时，当前画面上的当前显示信息则为视频画面以及对应的滑动轨迹。通过此种方式，使得远程终端的专家工作人员可以针对佩戴智能安全帽的工作人员的工作环境进行实时的操作指导。

在步骤S4203中，获取远程终端的显示界面中显示的内容进行生成第二多媒体数据以发送至智能安全帽，智能安全帽根据接收到的第二多媒体数据进行渲染以生成对应的画面进行显示于AR设备。通过此种方式，使得佩戴智能安全帽的工作人员通过AR设备看到远程专家针对该工作人员当前的工作环境中所作出的操作指导。具体实现时，智能安全帽获取图像数据并发送给远程终端，远程终端接收该图像数据后，根据接收到交互操作与接收到图像数据进行图像处理，以得到第N+1帧基础帧并通过远程终端设备进行显示，然后，将该第N+1帧基础帧发送至智能安全帽，智能安全帽以第N+1帧基础帧为基础渲染出供智能安全帽上的AR设备进行显示的第N+1帧图像帧。

在一可选的实施方式中，在步骤S4201之前，所述方法还包括：

步骤S4200，响应暂停指令，控制暂停所述显示界面的视频画面。具体地，当远程终端播放第一视频流所对应的视频图像时，当接收到暂停指令时，则暂停继续播放视频图像。当暂停播放视频图像时，远程终端可以继续检测是否接收到交互操作，当检测到交互操作时，则根据前述记载的步骤S4201—步骤S4203继续执行。

进一步地，智能安全帽确定远程终端响应暂停指令时，则控制显示远程终端当前显示的显示界面。

通过上述实施方式，使得操作远程终端的专家工作人员可以以第一视角观察佩戴智能安全帽的工作人员的当前的工作环境，并且提供专家工作人员可以针对第一视频流所生成的视频画面进行交互操作，例如，截图、标注等，并将带有交互信息的视频、图像画面发送回智能安全帽端，以通过AR设备进行显示，以此实现对位于工作现场的工作人员进行远程交互协助。

图6为本发明实施例提供的一种移动终端一种实施例的结构示意图。本实施例中，终端设备包括处理器以及存储器。在本发明的实施例中，处理器、存储器可通过总线或其它方式连接，其中，图6中以通过总线连接为例。其中，存储器中存储有可执行程序。

在一可选的实施方式中，终端设备为智能安全帽，所述智能安全帽配置增强现实AR设备，处理器执行所述可执行程序以实现如下步骤：

建立与远程终端之间的通信连接；

获取第一视频流，并将所述第一视频流发送至所述远程终端；

接收所述远程终端发送的第二多媒体数据，其中，所述第二多媒体数据为与所述第一视频流相对应的多媒体数据，所述第二多媒体数据不同于所述第一视频流；

通过所述AR设备显示所述第二多媒体数据。

可选地，所述智能安全帽配置有图像获取装置，所述获取第一视频流的步骤包括：通过所述图像获取装置获取所述智能安全帽所处的环境的第一视频流。

可选地，所述智能安全帽包括帽体和所述AR设备，所述帽体和所述AR设备通过硬件接口进行连接，所述帽体配置为与所述远程终端进行数据通信，并将接收到的所述远程终端发送的多媒体数据通过硬件接口发送至所述AR设备进行显示。

可选地，所述多媒体数据为在所述第一视频流上叠加有通过远程终端接收到的交互信息的数据。

可选地，所述第二多媒体数据包括如下至少一种：根据所述第一视频流生成的图片信息、根据所述第一视频流生成的带有标注信息的多媒体数据，和根据所述第一视频流生成的文本数据。

可选地，所述方法还包括：

响应控制指令，控制所述智能安全帽进行多媒体信息记录，以形成问题记录。

在一可选的实施方式中，终端设备为远程终端，其中，远程终端可以为智能手机、平板电脑、电脑、智能手表、穿戴式设备等，处理器执行所述可执行程序以实现如下步骤：

接收并通过显示界面显示所述智能安全帽发送的第一视频流；

生成与所述第一视频流相对应的第二多媒体数据，其中，所述第二多媒体数据不同于所述第一视频流；

发送所述第二多媒体数据至所述智能安全帽进行显示。

可选地，所述生成与所述第一视频流相对应的第二多媒体数据的步骤，包括：

响应交互操作，在所述显示界面上生成交互信息；

获取所述显示界面的当前显示信息，所述当前显示信息包括所述交互信息和所述第一视频流的当前视频画面；

根据所述显示信息生成第二多媒体数据。

可选地，所述响应交互操作之前，所述方法还包括：

响应暂停指令，控制暂停所述显示界面的视频画面。

可选地，所述交互操作包括如下至少一种操作：点击操作、滑动操作和输入文字；所述交互信息包括如下至少一种信息：点击轨迹、滑动轨迹和文字信息。

通过上述实施方式，通过现场作业的工作人员佩戴智能安全帽设备采集包括现场工作画面的第一视频流，并将第一视频流发送至远程终端，远程终端播放该第一视频流以获得工作人员的现场工作画面，操作远程终端的专家人员根据第一视频流所显示的现场工作画面进行指导操作，例如，批注操作等，远程终端获取其显示界面当前正显示的图像画面和带有指导操作信息生成第二多媒体数据发送至智能安全帽，并通过智能安全帽的AR设备进行显示第二多媒体数据。由于第二多媒体数据是远程终端根据现场作业画面和专家人员添加的指导操作而生成的，所以，佩戴智能安全帽的工作人员可以通过AR设备看到远程专家针对现场工作画面所做出的指导。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质有一个或多个程序。

在一可选的实施方式中，一个或多个程序被一个或多个处理器执行，以实现如下步骤：建立与远程终端之间的通信连接；获取第一视频流，并将所述第一视频流发送至所述远程终端；接收所述远程终端发送的第二多媒体数据，其中，所述第二多媒体数据为与所述第一视频流相对应的多媒体数据，所述第二多媒体数据不同于所述第一视频流；通过所述AR设备显示所述第二多媒体数据。

可选地，所述智能安全帽配置有图像获取装置，所述获取第一视频流的步骤包括：通过所述图像获取装置获取所述智能安全帽所处的环境的第一视频流。

可选地，所述智能安全帽包括帽体和所述AR设备，所述帽体和所述AR设备通过硬件接口进行连接，所述帽体配置为与所述远程终端进行数据通信，并将接收到的所述远程终端发送的多媒体数据通过硬件接口发送至所述AR设备进行显示。

可选地，所述多媒体数据为在所述第一视频流上叠加有通过远程终端接收到的交互信息的数据。

可选地，所述第二多媒体数据包括如下至少一种：根据所述第一视频流生成的图片信息、根据所述第一视频流生成的带有标注信息的多媒体数据，和根据所述第一视频流生成的文本数据。

可选地，所述方法还包括：响应控制指令，控制所述智能安全帽进行多媒体信息记录，以形成问题记录。

在一可选的实施方式中，一个或多个程序被一个或多个处理器执行，以实现如下步骤：接收并通过显示界面显示所述智能安全帽发送的第一视频流；生成与所述第一视频流相对应的第二多媒体数据，其中，所述第二多媒体数据不同于所述第一视频流；发送所述第二多媒体数据至所述智能安全帽进行显示。

可选地，所述生成与所述第一视频流相对应的第二多媒体数据的步骤，包括：响应交互操作，在所述显示界面上生成交互信息；获取所述显示界面的当前显示信息，所述当前显示信息包括所述交互信息和所述第一视频流的当前视频画面；根据所述显示信息生成第二多媒体数据。

可选地，所述响应交互操作之前，所述方法还包括：响应暂停指令，控制暂停所述显示界面的视频画面。

可选地，所述交互操作包括如下至少一种操作：点击操作、滑动操作和输入文字；所述交互信息包括如下至少一种信息：点击轨迹、滑动轨迹和文字信息。

通过上述实施方式，通过现场作业的工作人员佩戴智能安全帽设备采集包括现场工作画面的第一视频流，并将第一视频流发送至远程终端，远程终端播放该第一视频流以获得工作人员的现场工作画面，操作远程终端的专家人员根据第一视频流所显示的现场工作画面进行指导操作，例如，批注操作等，远程终端获取其显示界面当前正显示的图像画面和带有指导操作信息生成第二多媒体数据发送至智能安全帽，并通过智能安全帽的AR设备进行显示第二多媒体数据。由于第二多媒体数据是远程终端根据现场作业画面和专家人员添加的指导操作而生成的，所以，佩戴智能安全帽的工作人员可以通过AR设备看到远程专家针对现场工作画面所做出的指导。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本申请的保护之内。

Claims (12)

1.一种远程协助方法，其特征在于，应用于智能安全帽，所述智能安全帽配置增强现实AR设备，所述方法包括：

建立与远程终端之间的通信连接；

获取第一视频流，并将所述第一视频流发送至所述远程终端；

接收所述远程终端发送的第二多媒体数据，其中，所述第二多媒体数据为与所述第一视频流相对应的多媒体数据，所述第二多媒体数据不同于所述第一视频流；

通过所述AR设备显示所述第二多媒体数据。

2.如权利要求1所述的方法，其特征在于，所述智能安全帽配置有图像获取装置，所述获取第一视频流的步骤包括：通过所述图像获取装置获取所述智能安全帽所处的环境的第一视频流。

3.如权利要求2所述的方法，其特征在于，所述智能安全帽包括帽体和所述AR设备，所述帽体和所述AR设备通过硬件接口进行连接，所述帽体配置为与所述远程终端进行数据通信，并将接收到的所述远程终端发送的多媒体数据通过硬件接口发送至所述AR设备进行显示。

4.如权利要求1所述的方法，其特征在于，所述多媒体数据为在所述第一视频流上叠加有通过远程终端接收到的交互信息的数据。

5.如权利要求1所述的方法，其特征在于，所述第二多媒体数据包括如下至少一种：根据所述第一视频流生成的图片信息、根据所述第一视频流生成的带有标注信息的多媒体数据，和根据所述第一视频流生成的文本数据。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

响应控制指令，控制所述智能安全帽进行多媒体信息记录，以形成问题记录。

7.一种远程协助方法，其特征在于，应用于远程终端，所述远程终端与智能安全帽通信，所述方法包括：

接收并通过显示界面显示所述智能安全帽发送的第一视频流；

生成与所述第一视频流相对应的第二多媒体数据，其中，所述第二多媒体数据不同于所述第一视频流；

发送所述第二多媒体数据至所述智能安全帽进行显示。

8.如权利要求6所述的方法，其特征在于，所述生成与所述第一视频流相对应的第二多媒体数据的步骤，包括：

响应交互操作，在所述显示界面上生成交互信息；

获取所述显示界面的当前显示信息，所述当前显示信息包括所述交互信息和所述第一视频流的当前视频画面；

根据所述显示信息生成第二多媒体数据。

9.如权利要求8所述的方法，其特征在于，所述响应交互操作之前，所述方法还包括：

响应暂停指令，控制暂停所述显示界面的视频画面。

10.如权利要求8所述的方法，其特征在于，所述交互操作包括如下至少一种操作：点击操作、滑动操作和输入文字；所述交互信息包括如下至少一种信息：点击轨迹、滑动轨迹和文字信息。

11.一种终端设备，所述终端设备包括：

处理器；

存储器，与所述处理器连接，所述存储器包含控制指令，当所述处理器读取所述控制指令时，控制所述终端设备实现权利要求1-10任一项远程协助方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质有一个或多个程序，所述一个或多个程序被一个或多个处理器执行，以实现权利要求1-10任一项远程协助方法。

Images