CN112492281A - 远程辅助检修方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种远程辅助检修方法、装置、设备及存储介质，涉及即时通信技术领域。该方法包括：显示第一客户端设备采集的第一帧图像；根据输入的针对第一帧图像中第一标记位置的标记操作，在第一帧图像中绘制第一标记信息，第一标记信息为工业现场的故障点对应的标记信息；采集绘制第一标记信息时的第一状态数据以及绘制第一标记信息之后的第二状态数据；根据第一标记位置、第一状态数据和第二状态数据，计算第二标记位置；在第一帧图像之后的至少一帧图像中第二标记位置处绘制第一标记信息；向第二客户端设备发送包括绘制第一标记信息的第一帧图像和第一帧图像之后的至少一帧图像的第一视频流。本申请可提高远程辅修的沟通效率，提高检修进度。

Description

远程辅助检修方法、装置、设备及存储介质

技术领域

本发明涉及即时通信技术领域，具体而言，涉及一种远程辅助检修方法、装置、设备及存储介质。

背景技术

随着工业技术的发展，越来越多的工业设备应用在生产运输环境中。伴随工业设备的使用时长，以及使用环境等多方因素，工业设备在应用在可能会发生故障。为保证工业生产力，避免设备故障带来损害，需及时对工业现场的故障点进行检修。

虽然有些工业现场，会采用检修机器人或者其它自动的方式进行检修。而检修机器人或者自动检修的成本通常较高，因此，人工检修依然还是目前设备检修的主流方式。人工检修，需要检测人员进入工业现场进行备检修。如果检测人员的检修能力不能胜任，便需要向其他检修能力更高的人员进行求助。目前，更多采用的是电话反复询问的方式获知对应的故障解决方式。

但是，电话反复询问，不仅难以准确描述故障点的情况，沟通速度较慢，影响检修进度。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种远程辅助检修方法、装置、设备及存储介质，以提高远程辅助检修的沟通效率，提高提高检修进度。

为实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种远程辅助检修方法，包括：

显示第一客户端设备采集的第一帧图像；

根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，其中，所述第一标记信息为第一用户标记的工业现场的故障点对应的标记信息；

采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据；

根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置；

在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标记信息；

向第二客户端设备发送第一视频流，所述第一视频流包括：绘制所述第一标记信息的所述第一帧图像，和绘制所述第一标记信息的所述第一帧图像之后的至少一帧图像。

可选的，所述根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置，包括：

根据所述第一状态数据、所述第二状态数据，计算标记偏移量；

根据所述第一标记位置和所述标记偏移量，计算所述第二标记位置。

可选的，所述采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据，包括：

采集绘制所述第一标记信息时所述第一客户端设备的第一姿态数据，所述第一状态数据包括：所述第一姿态数据；

采集绘制所述第一标记信息之后所述第一客户端设备的加速度数据和第二姿态数据，所述第二状态数据包括：所述加速度数据和所述第二姿态数据。

可选的，所述根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，包括：

根据所述标记操作，将所述第一标记信息作为增强现实信息叠加显示在所述第一帧图像中的所述第一标记位置处。

可选的，所述在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标注信息，包括：

将所述第一标记信息作为增强现实信息叠加显示在所述第一帧图像之后的至少一帧图像中所述第二标记位置处。

可选的，所述在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标注信息，包括：

判断所述第二标记位置是否超出所述第一帧图像之后的至少一帧图像的显示范围；

若所述第二标记位置未超出所述显示范围，则在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标记信息。

可选的，所述方法还包括：

若所述第二标记位置超出所述第一帧图像之后的第二帧图像的显示范围，则向所述第二客户端设备发送第二视频流，所述第二视频流包括：未绘制所述第一标记信息的所述第二帧图像。

可选的，所述方法还包括：

根据输入的针对所述第一标记信息的第一标记删除操作，删除所述第一帧图像之后的第三帧图像中绘制的所述第一标记信息；

向所述第二客户端设备发送第三视频流，所述第三视频流包括：删除所述第一标记信息之后的所述第三帧图像。

可选的，所述方法还包括:

接收所述第二客户端设备发送的绘制有第二标记信息的第四帧图像，所述第二标记信息为第二用户通过所述第二客户端设备显示的所述第四帧图像标记的所述故障点对应的解决方案的标记信息；

采集所述第四帧图像显示时所述第一客户端设备的第三状态数据以及所述第四帧图像显示之后所述第一客户端设备的第四状态数据；

根据第三标记位置、所述第三状态数据和所述第四状态数据，计算第四标记位置，其中，所述第三标记位置为所述第二标记信息在所述第四帧图像中的显示位置；

在所述第四帧图像之后的至少一帧图像中所述第四标记位置处绘制所述第二标记信息；

显示第四视频流，所述第四视频流包括：绘制所述第二标记信息的所述第四帧图像，和绘制所述第二标记信息的所述第四帧图像之后的至少一帧图像。

可选的，所述方法还包括：

接收所述第二客户端设备发送的标记删除指示信息，所述标记删除指示信息为所述第二客户端设备根据输入的针对所述第二标记信息的第二标记删除操作所发送的信息；

根据所述标记删除指示信息，删除所述第四帧图像之后的第五帧图像中绘制的所述第二标记信息；

显示第五视频流，所述第五视频流包括：删除所述第二标记信息之后的所述第五帧图像。

第二方面，本申请实施例还提供一种远程辅助检修装置，包括：

显示模块，用于显示第一客户端设备采集的第一帧图像；

绘制模块，用于根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，其中，所述第一标记信息为第一用户标记的工业现场的故障点对应的标记信息；

采集模块，用于采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据；

计算模块，用于根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置；

所述绘制模块，还用于在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标记信息；

发送模块，用于向第二客户端设备发送第一视频流，所述第一视频流包括：绘制所述第一标记信息的所述第一帧图像，和绘制所述第一标记信息的所述第一帧图像之后的至少一帧图像。

第三方面，本申请实施例还提供一种客户端设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所提供的任一远程辅助检修方法。

第四方面，本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面所提供的任一远程辅助检修方法。

本申请的有益效果是：

本申请所提供的远程辅助检修方法、装置、设备及存储介质中，可。该方法中，由于。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种远程辅助检修***的网络示意图；

图2为本申请实施例提供的一种远程辅助检修方法的流程示意图；

图3为本申请实施例提供的一种远程辅助检修方法中计算第二标记位置的流程示意图；

图4为本申请实施例提供的一种远程辅助检修方法中在第二标记位置处绘制第一标记信息的方法流程图；

图5为本申请实施例提供的一种远程辅助检修方法中删除第一标记信息的流程示意图；

图6为本申请实施例提供的一种远程辅助检修方法中绘制第二标记信息的流程示意图；

图7为本申请实施例提供的一种远程辅助检修方法中删除第二标记信息的方法流程图；

图8为本申请实施例提供的一种远程辅助检修装置的示意图；

图9为本申请实施例提供的一种客户端设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本申请实施例所提供的远程辅助检修方法、装置、设备及存储介质可应用于远程辅助检修***。如下先对该远程辅助检修***的网络架构进行示例说明。图1为本申请实施例提供的一种远程辅助检修***的网络示意图。如图1所示，该远程辅助检修***可包括：服务器11、第一客户端设备12和第二客户端设备13。第一客户端设备12和第二客户端设备13可分别为安装并运行有远程辅助检修软件的客户端应用程序的电子设备，该电子设备例如可以为便携移动终端如手机或者平板电脑等。服务器11上可安装并运行有该远程辅助检修软件的服务端应用程序，即该客户端设备应用程序所对应的服务端应用程序，因此，该服务器11可以为该客户端应用程序对应的应用服务器。其中，该客户端应用程序还可成用户端应用程序。

该客户端应用程序可以为具有即时通信功能的客户端应用程序，第一客户端设备12，可通过服务器11与第二客户端设备13建立无线通信连接，即第一客户端设备12和第二客户端设备13在运行该客户端设备应用程序时的即时通信消息可通过该服务器11进行传输。

客户端应用程序上可分别具有预设的通讯目录，该通讯目录可以为用户列表，安装并运行有该客户端应用程序的一个客户端设备，可通过从通讯目录中选择目标用户，并通过服务器11与该目标用户的客户端设备建立即时通信连接。

例如，第一用户可通过从第一客户端设备12上的通讯目录中选择目标用户如第二用户，建立第一客户端设备12和第二客户端设备13的即时通信连接，以实现第一用户和第二用户的即时通信。

第一客户端设备12可通过该建立的即时通信连接，与第二客户端设备13传输即时通信消息，该即时通信消息可以为文件、图片、文字、音频文件，又或者视频通话数据等至少一种消息。

本申请下述各实施例提供的远程辅助检修方法，主要针对通过传输视频通话数据，实现用户间的视频通话的应用场景进行说明。如下通过多个实例对本申请所提供的远程辅助检修方法进行示例说明。

图2为本申请实施例提供的一种远程辅助检修方法的流程示意图，该远程辅助检修方法可由第一客户端设备通过软件和/或硬件的方式实现。该第一客户端设备可以为处于工业现场的求助方用户的客户端设备。图2所示，该方法可包括：

S201、显示第一客户端设备采集的第一帧图像。

该第一帧图像可以为第一客户端设备与第二客户端设备建立基于视频通话的即时通信连接的情况下，第一客户端设备的摄像头所采集的视频流中的帧图像。在该实施例中，该视频通话可以是由第一用户，也就是求助方用户发起，也可以是由第二用户也就是被求助方用户发起，本申请实施例对视频通话的发起方式不进行限制。

该第一客户端设备采集的视频流中至少应包括工业现场的帧图像，其中，该第一帧图像例如可以为第一客户端设备采集的工业现场的帧图像，例如工业现场存在故障的现场帧图像。

S202、根据输入的针对该第一帧图像中第一标记位置的标记操作，在该第一帧图像中绘制第一标记信息。

其中，该第一标记信息为第一用户标记的工业现场的故障点对应的标记信息。

第一客户端设备显示该第一帧图像之后，第一用户可通过查看第一帧图像，确定该第一帧图像中第一标记位置为工业现场的故障点对应的显示位置，因此可针对第一标记位置输入标记操作，以在第一标记位置进行标记。第一客户端设备在接收到第一标记位置的标记操作之后，可在该第一帧图像中该第一标记位置绘制该第一标记信息。

该第一标记信息为第一用户标记的工业现场的故障点对应的标记信息，可用于指示该工业现场的故障点。该第一标记信息例如可包括：文字、图形或者图标如箭头图标等形式的指示信息，若包括图形，该第一标记信息的形状例如可以包括：线条、方框或者圆圈等至少一种形状。该第一标记信息的颜色例如可以为第一用户选择的颜色，或者预设的标记颜色。

在第一帧图像中绘制该第一标记信息之后，还需记录该第一标记信息的颜色和/或形状信息、位置信息即该第一标记位置。

示例的，如上所示的根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，可包括：

根据该标记操作，将该第一标记信息作为增强现实(Augmented Reality，AR)信息叠加显示在该第一帧图像中的该第一标记位置处。

在可能的实现方式中，可采用AR技术，将该第一标记信息作为AR信息叠加显示在第一帧图像中的该第一标记位置处。采用AR技术，在第一帧图像中显示第一标记信息，可使得第一标记信息的显示更加灵动，提高了第一标记信息的辨识度，从而提高针对第一标识信息所指示的故障点的沟通效率。

S203、采集绘制该第一标记信息时该第一客户端设备的第一状态数据以及绘制该第一标记信息之后该第一客户端设备的第二状态数据。

该方法中，还记录该第一标记信息的绘制时间，根据该绘制时间，从第一客户端设备上的状态传感器中获取该状态传感器在该绘制时间采集的状态数据，即为该第一状态数据。

绘制该第一标记信息之后，可采集实时检测该状态传感器采集的状态数据，也可以预设的检测频率，从该状态传感器中获取该状态传感器在绘制该第一标记信息之后采集的状态数据，即该第二状态数据。

其中，第一状态数据可用于表征第一客户端设备在绘制该第一标记信息时的设备状态，第一状态数据可用于表征第一客户端设备在绘制该第一标记信息之后的设备状态。

可选的，如上所示的采集绘制第一标记信息时第一客户端设备的第一状态数据以及绘制第一标记信息之后第一客户端设备的第二状态数据，可以包括：

采集绘制该第一标记信息时该第一客户端设备的第一姿态数据，所述第一状态数据包括：该第一姿态数据；

采集绘制该第一标记信息之后该第一客户端设备的加速度数据和第二姿态数据，该第二状态数据包括：该加速度数据和该第二姿态数据。

示例的，第一客户端设备上预先安装有状态传感器如：加速计、陀螺仪，加速计和陀螺仪合起来可称为六轴传感器，可采集绘制该第一标记信息时第一客户端设备上陀螺仪采集的第一姿态数据，采集绘制该第一标记信息之后第一客户端设备上的加速计采集的加速度数据，以及陀螺仪采集的第二姿态数据。其中，第一姿态数据可包括：第一偏航角、第一横滚角和第一俯仰角，第二姿态数据可包括：第二偏航角、第二横滚角和第二俯仰角。加速度数据可以包括：加速计采集的该第一客户端设备在预设的三维坐标系中三个坐标轴上的加速度数据。

其中，如下分别对加速计采集的加速度数据和陀螺仪采集的姿态数据的获取方式进行示例说明。

对于加速计采集的加速度数据，可采用推送(Push)的方式获取，即加速计采集到加速度数据之后，便主动将其推送至第一客户端设备的处理器。

在获取加速计采集的加速度数据之前，可预先对加速计进行获取数据的配置，例如，可先初始化运动管理对象为该加速计，判断该加速计是否可用，若加速计可用，设置加速计的更新频率，该更新频率以秒为单位，对该加速计配置之后，便可开始实时获取加速度以设置的更新频率推送的加速度数据。

对于陀螺仪采集的加速度数据，可采用拉取(Pull)的方式获取，即由第一客户端设备的处理器，从陀螺仪中拉取其采集的姿态数。

相应的，在获取陀螺仪采集的姿态数据之前，可预先对陀螺仪进行获取数据的配置，例如，可先初始化运动管理对象为该陀螺仪，判断该陀螺仪是否可用，若陀螺仪可用，设置陀螺仪的更新频率，该更新频率以秒为单位，对该陀螺仪配置之后，便可以设置的更新频率，开始实时从陀螺仪中拉取其采集的姿态数据。

S204、根据该第一标记位置、该第一状态数据和该第二状态数据，计算第二标记位置。

示例的，可根据该第一状态数据和第二状态数据确定该第一客户端设备的状态在绘制该第一标记信息前后是否发生变化，若变化，还可基于第一状态数据和第二状态数据，确定第二客户端设备在绘制该第一标记信息前后的状态变化，基于该状态变化确定该第一客户端设备所显示的帧图像中显示位置的变化，继而根据该第一标记位置和该显示位置的变化，确定变化之后的标记位置，即该第一标记位置。

在可能实现方式中，如上所示的在第一帧图像之后的至少一帧图像中第二标记位置处绘制第一标注信息，可以包括：

将该第一标记信息作为增强现实信息叠加显示在该第一帧图像之后的至少一帧图像中该第二标记位置处。

对于该第一帧图像之后的至少一帧图像，也可采用AR技术，将第一标记信息，叠加显示在第一帧图像之后的至少一帧图像，不仅可保证第一帧图像之后的帧图像中的第一标记信息的稳定显示，也可保证第一标记信息的辨识度，提高针对第一标识信息所指示的故障点的沟通效率。

S205、在该第一帧图像之后的至少一帧图像中该第二标记位置处绘制该第一标记信息。

对于在第一帧图像之后的每帧图像，在绘制该第一标记信息之前，可先采用上述S204计算该第一标记信息在该每帧图像中的目标显示位置，即该每帧图像对应的第二标记位置。在计算该第二标记位置之后，便可基于在第一帧图像之后的每帧图像中该第二标记位置处绘制该第一标记信息。

该方法中，在第一帧图像之后的每帧图像对应的第二标记位置为采用绘制该第一标记信息前的第一状态数据、绘制该第一标记信息后的第二状态数据，以及第一帧图像中第一标记信息的位置即第一标记位置，计算得到的位置，因此，该第二标记位置是基于第一客户端设备在绘制该第一标记信息前后的状态数据所确定的，那么即便第一客户端设备发生移动，状态发生变化，也可保证在第一帧图像之后的每帧图像中该第一标记信息均显示在对应的位置上，使得第一标记信息始终保持在工业现场的故障点对应的显示位置处，始终用于指示工业现场的故障点，避免第一标记信息的丢失。

S206、向第二客户端设备发送第一视频流，第一视频流包括：绘制该第一标记信息的第一帧图像，和绘制第一标记信息的该第一帧图像之后的至少一帧图像。

第二客户端设备可以为第二用户即被求助用户的客户端设备。该第一客户端设备可通过服务器向第二客户端设备发送该第一视频流。

还需要说明的是，即时通信中的视频通话应用场景，第一客户端设备在采集到的预设帧数的帧图像之后，便可将包括该预设帧数的帧图像传输至第二客户端设备，以实现第一客户端设备和第二客户端设备的视频通话。因此，该第一客户端设备传输的第一视频流中，至少可包括：绘制该第一标记信息的第一帧图像，以及绘制该第一标记信息的该第一帧图像之后的至少一帧图像，对于第一帧图像之后的帧图像的具体帧数，可基于该远程辅助检修软件的预设通信协议所决定。

当然，在该第一帧图像之后的至少一帧图像中绘制该第一标记信息的情况下，该第一客户端设备除了显示绘制该第一标记信息的第一帧图像，还显示绘制该第一标记信息的该第一帧图像之后的至少一帧图像，以实现绘制有第一标记信息的第一视频流的显示。

相应的，第二客户端设备在接收到该第一视频流之后，可基于第一视频流中的帧图像的顺序，依次对该第一视频流进行播放显示。

本申请实施例提供的远程辅助检修方法，可显示第一客户端设备采集的第一帧图像，根据输入的针对该第一帧图像中第一标记位置的标记操作，在该第一帧图像中绘制第一标记信息，其中，该第一标记信息为第一用户标记的工业现场的故障点对应的标记信息，并采集绘制第一标记信息时第一客户端设备的第一状态数据以及绘制第一标记信息之后第一客户端设备的第二状态数据，并根据第一标记位置、第一状态数据和第二状态数据，计算第二标记位置，继而在第一帧图像之后的至少一帧图像中第二标记位置处绘制第一标记信息，并向第二客户端设备发送第一视频流，第一视频流包括：绘制第一标记信息的第一帧图像，和绘制第一标记信息的第一帧图像之后的至少一帧图像。该实施例提供的远程辅助检修方法，在第一帧图像中绘制该第一标记信息时，可采集该第一客户端设备的第一状态数据、第一标记信息以及第一标记信息，并且，在第一帧图像中绘制该第一标记信息之后，还采集该第一客户端设备到的第二状态数据，如此，可基于标记前后的状态数据，以及第一标记位置，计算第二标记位置，第一帧图像之后的帧图像中第二标记位置处绘制该第一标记信息，可使得即便第一客户端设备发生移动，状态发生变化，也可保证在第一帧图像之后的每帧图像中绘制的该第一标记信息均显示在故障点对应的显示位置处，保证了视频流中第一标记信息的显示位置的准确性，从而使得第二客户端设备显示的第一视频流中第一标记信息的显示位置的准确性，使得第二用户可基于该第一标记信息的显示位置准确获知该工业现场的故障点的情况，减少了第一用户和第二用户基于故障点的沟通描述流程，提高了针对工业现场的故障点的沟通效率，提高提高检修进度。

该实施例提供的远程辅助检修方法，可使得处于工业现场的用户如果无法解决故障，便可通过与检修能力更高阶的其他用户通过视频通话进行求助，并在该视频通话的过程中，通过帧图像中绘制的第一标记信息准确指示工业现场的故障点，避免了电话沟通难以描述故障的缺陷。

可选的，本申请实施例还可提供一种计算第二标记位置的可实现方式。图3为本申请实施例提供的一种远程辅助检修方法中计算第二标记位置的流程示意图。如图3所示，如上所示的S204中根据该第一标记位置、该第一状态数据和该第二状态数据，计算第二标记位置可包括：

S301、根据该第一状态数据、该第二状态数据，计算标记偏移量。

示例的，可基于第一状态数据和第二状态数据，确定第二客户端设备在绘制该第一标记信息前后的状态变化，基于该状态变化确定第一标记信息对应的目标位置偏移量，即为该标记偏移量。该标记偏移量可用于表征该第一标记信息从第一帧图像至第一帧图像之后的每帧图像中的显示位置的偏移，即从第一标记位置开始的标记偏移量。

对于第一帧图像之后的至少一帧图像中，每帧图像具有对应的第二状态数据，在可能的实现中，可根据该第一状态数据，以及该每帧图像对应的第二状态数据，计算该每帧图像对应的标记偏移量。

S302、根据该第一标记位置和该标记偏移量，计算该第二标记位置。

示例的，可根据该第一标记位置，以及每帧图像对应的标记偏移量，计算第一帧图像之后的每帧图像对应的第二标记位置。第二标记位置即为该第一帧图像之后的每帧图像中，该第一标记信息的目标显示位置。

该实施例的方法中，可通过第一状态数据和第二状态数据，先计算标记偏移量，继而基于该第一标记位置以及该标记偏移量，第二标记位置，可保证第一帧图像之后每帧图像中第一标记信息的显示位置可更准确，避免了第一客户端设备的移动，引起第一标记信息的标记不准确的技术缺陷。

在上述任一所示的远程辅助检修方法的基础上，本申请实施例还可提供一种远程辅助检修方法的示例实现方式，如下通过在第二标记位置处绘制该第一标记信息的可能实现进行示例的解释说明。图4为本申请实施例提供的一种远程辅助检修方法中在第二标记位置处绘制第一标记信息的方法流程图。如图4所示，如上S205中在该第一帧图像之后的至少一帧图像中该第二标记位置处绘制该第一标记信息，可包括：

S401、判断该第二标记位置是否超出该第一帧图像之后的至少一帧图像的显示范围。

S402、若该第二标记位置未超出该显示范围，则在该第一帧图像之后的至少一帧图像中该第二标记位置处绘制该第一标记信息。

若该第二标记位置未超出该显示范围，可确定该第一标记信息应显示的位置，第二标记位置依然处于该第一客户端设备的界面显示范围内，则可确定该工业现场的故障点依然显示帧图像中的该第二标记位置处，即因此，可在该第二标记位置处绘制该第一标记信息，以指示该工业现场的故障点。

可选的，该方法还可包括：

S403、若该第二标记位置超出该第一帧图像之后的第二帧图像的显示范围，则向该第二客户端设备发送第二视频流，该第二视频流包括：未绘制该第一标记信息的该第二帧图像。

反之，若该第二标记位置超出第二帧图像的显示范围，则可确定该第一标记信息应显示的位置，第二标记位置已经超出该第一客户端设备的界面显示范围内，无需进行第一标记信息的绘制，与此同时，还执行上述S204的动作，重新计算第二标记位置，若重新计算后的第二标记位置处于对应帧图像的显示范围内，则重新在该对应帧图像中的该重新计算后的第二标记位置进行第一标记信息的绘制。

若该第二标记位置超出该第二帧图像的显示范围，无需在该第二帧图像中进行第一标记信息的绘制，可对包括未绘制该第一标记信息的第二帧图像的第二视频流进行显示。

需要说明的是，该第二视频流中至少包括：未绘制该第一标记信息的第二帧图像，除此之外，还可包括：该第二帧图像之前的帧图像，和/或，该第二帧图像之后的帧图像等其他帧图像。与上述第一视频流类似，第二视频流中所包括的帧图像的帧数，可基于该远程辅助检修软件的预设通信协议所决定。

该实施例提供的方法，可在第二标记位置未超出第一帧图像之后的至少一帧图像的显示范围的情况下，则在第一帧图像之后的至少一帧图像中第二标记位置处绘制第一标记信息，而在若第二标记位置超出第二帧图像的显示范围的情况下，则向第二客户端设备发送包括未绘制第一标记信息的第二帧图像的第二视频流，如此，可使得第一客户端设备和第二客户端设备进行视频通话的过程中，视频流画面中显示的第一标记信息，可随着第一客户端设备的移动而移动，一旦移出显示范围，便不再显示，若在此移入显示范围，便重新显示，实现了视频通话过程中第一标记信息的灵活动态显示。

可选的，本申请实施例还可提供一种删除第一标记信息的可实现方式。图5为本申请实施例提供的一种远程辅助检修方法中删除第一标记信息的流程示意图。如图5所示，该方法还可包括：

S501、根据输入的针对该第一标记信息的第一标记删除操作，删除该第一帧图像之后的第三帧图像中绘制的该第一标记信息。

该标记删除操作可以为第一用户通过显示绘制有第一标记信息的第三帧图像中预设的删除控件的触控操作，输入的删除操作，也可通过语音输入的标记删除操作，也可以为通过外接输入设备输入的标记删除操作，还可以通过预设的软键盘或者外接键盘的预设快捷键输入的标记删除操作。当然，第一标记删除操作还可以为其它的实现形式，本申请实施例不对此进行限制。

接收到该第一标记删除操作后，便可将第三帧图像，也就是接收第一标记删除操作时当前帧图像中绘制的第一标记信息进行删除，还可将预先记录的该第一标记信息的记录信息进行删除。该第一标记信息的记录信息例如可以包括该第一标记信息的初始显示位置即第一标记位置、第一标记信息的显示形式、第一标记信息的形状、第一标记信息的颜色等至少一种信息。

S502、向该第二客户端设备发送第三视频流，该第三视频流包括：删除该第一标记信息之后的该第三帧图像。

需要说明的是，该第三视频流中至少包括：删除该第一标记信息之后的第三帧图像，除此之外，还可包括：该第三帧图像之前的帧图像，和/或，该第三帧图像之后的帧图像等其他帧图像。与上述第一视频流类似，第三视频流中所包括的帧图像的帧数，可基于该远程辅助检修软件的预设通信协议所决定。

可选的，该第一客户端设备在删除第三帧图像中绘制的第一标记信息的情况下，还将包括删除该第一标记信息之后的第三帧图像的第三视频流进行显示。

第二客户端设备在接收到第三视频流的情况下，可对包括删除该第一标记信息之后的第三帧图像的第三视频流进行显示。

该实施例提供的远程辅助检修方法，可基于接收到的第一标记信息的第一标记删除操作，删除第三帧图像中的第一标记信息，并将包括删除第一标记信息之后的第三帧图像的第三视频流传输至第二客户端设备，以使得第二客户端设备所显示的视频流中的画面中的第一标记信息进行删除，实现了第一标记信息在视频通话中的实施同步删除，以保证视频通话过程中第二用户及时获知第一标记信息的更新，实现了沟通的即时性。

可选的，本申请实施例还可提供一种绘制第一标记信息的可实现方式。图6为本申请实施例提供的一种远程辅助检修方法中绘制第二标记信息的流程示意图。如图6所示，该方法还可包括：

S601、接收第二客户端设备发送的绘制有第二标记信息的第四帧图像。

第二标记信息为第二用户通过第二客户端设备显示的第四帧图像标记的故障点对应的解决方案的标记信息。

该第四帧图像为第一客户端设备采集的工业现场的视频流中绘制该第二标记消息时对应的帧图像。第二用户可在第二客户端设备显示第四帧图像的情况，针对该第四帧图像中的第三标记位置输入标记操作，第二客户端设备可根据该标记操作，在第四帧图像中该第三标记位置处绘制该第二标记信息。该第二标记信息例如可包括：该故障点对应的解决方案中的至少一个解决步骤的指示信息。

第二客户端设备在绘制该第二标记信息的情况下，还可对绘制该第二标记信息的第四帧图像进行显示。与此同时，还通过服务器将绘制该第二标记信息的第四帧图像传输至第一客户端设备，以使得第二客户端设备可对第二用户标记的第二标记信息进行显示。

第二客户端设备在向第一客户端设备发送绘制有第二标记信息的第四帧图像的情况下，还可向第一客户端设备发送该第二标记信息的记录信息，例如可包括：该第二标记信息在第四帧图像中的显示位置即第三标记位置、第二标记信息的显示形式、第二标记信息的形状、第二标记信息的颜色等至少一种信息。

S602、采集该第四帧图像显示时该第一客户端设备的第三状态数据以及该第四帧图像显示之后该第一客户端设备的第四状态数据。

在接收到绘制有第二标记信息的第四帧图像的情况下，便可获知该第四帧图像的帧标识，或者时间信息，基于此，可采集显示该第四帧图像时采集该第四帧图像时的第三状态数据，以及显示第四帧图像之后的第四状态数据。

在可能的实现方式中，采集第三状态数据和第四状态数据可以与上述采集第一状态数据和第二状态数据的实现过程类似，具体参见上述，在此不再赘述。

S603、根据第三标记位置、第三状态数据和第四状态数据，计算第四标记位置，其中，该第三标记位置为该第二标记信息在该第四帧图像中的显示位置。

该S603的具体实现过程可与上述S204的具体过程类似，具体描述参见上述，在此不再赘述。

S604、在该第四帧图像之后的至少一帧图像中该第四标记位置处绘制该第二标记信息。

该S604的具体实现过程可与上述S205的具体过程类似，具体描述参见上述，在此不再赘述。

S605、显示第四视频流，第四视频流包括：绘制第二标记信息的第四帧图像，和绘制第二标记信息的第四帧图像之后的至少一帧图像。

该第一客户端设备可基于第四视频流中的帧图像的顺序依次进行显示。与此同时，第一客户端设备还可将该第四视频流传输至第二客户端设备，使得第二客户端设备对包括绘制第二标记信息的帧图像的视频流进行显示。

该实施例提供的方法，可根据第一客户端设备的第三状态数据和第四状态数据，对第四帧图像之后的至少一帧图像中的第二标记信息的绘制位置进行更新，可保证客户端设备界面上显示的第四视频流中第二标记信息的显示位置可随着第一客户端设备的移动而变化，实现了第二标记信息的灵活准确变动，并且可使得第一用户准确获知第二标记信息所指示的解决方案，可减少第一用户和第二用户针对故障点的解决方案的沟通次数，提高解决方案的沟通效率，同时也避免重新增派检修人员增加的人力成本，尽可能快的解决故障，减少了工业现场的客户等待检修的时长。

需要说明的是，远程辅助检修方法的实际应用过程中，第一标记信息，和第二标记信息分别可多次进行标记，以实现多次标记沟通，为避免多次标记造成的干扰，该方法还可分别针对第一标记信息和第二标记信息进行删除等功能。

如下通过一个示例，对第二标记信息的删除进行示例说明，图7为本申请实施例提供的一种远程辅助检修方法中删除第二标记信息的方法流程图。可选的，在上述图6所示的方法的基础上，该方法还可包括：

S701、接收第二客户端设备发送的标记删除指示信息，标记删除指示信息为第二客户端设备根据输入的针对第二标记信息的第二标记删除操作所发送的信息。

该第二删除标记操作可以为第二用户通过显示绘制有第二标记信息的帧图像中预设的删除控件的触控操作，输入的删除操作，也可为第二用户通过语音或者其他形式输入的删除操作。

接收到第二删除标记操作的情况下，第二客户端设备可先将显示的第四帧图像或者之后的其他帧图像如第五帧图像中的第二标记信息进行删除。

S702、根据该标记删除指示信息，删除该第四帧图像之后的第五帧图像中绘制的该第二标记信息。

第一客户端设备在接收到标记删除指示信息的情况下，可对第五帧图像中的绘制的第二标记信息进行删除，还可将之前记录的该第二标记信息的记录信息进行删除。

S703、显示第五视频流，该第五视频流包括：删除该第二标记信息之后的该第五帧图像。

该第一客户端设备可基于第五视频流中的帧图像的顺序依次进行显示。与此同时，第一客户端设备还可将该第五视频流传输至第二客户端设备，使得第二客户端设备对包括删除第二标记信息的帧图像的视频流进行显示。

该实施例提供的方法，提供了第一客户端设备和第二客户端设备进行视频通话过程中的第二客户端设备所标记的第二标记信息的删除功能，便于第一客户端设备和第二客户端设备针对该第二标记信息所指示的解决方案进行多次标记沟通，以保证工业现场的故障点处故障的解决。

需要说明的是，即便第一用户不输入第一标记删除操作，或者，第二用户不输入第二标记删除操作，当接收到任一用户通过对应客户端设备输入的结束操作的情况下，该第一客户端设备和第二客户端设备之间的视频通话结束，其之前标记的所有标记信息以及记录的标记信息的记录信息一并删除，便于再一次基于标记信息的视频通话的实现。

下述对用以执行的本申请所提供的远程辅助检修方法的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。

图8为本申请实施例提供的一种远程辅助检修装置的示意图，如图8所示，该远程辅助检修装置800可包括：

显示模块801，用于显示第一客户端设备采集的第一帧图像；

绘制模块802，用于根据输入的针对第一帧图像中第一标记位置的标记操作，在第一帧图像中绘制第一标记信息，其中，第一标记信息为第一用户标记的工业现场的故障点对应的标记信息；

采集模块803，用于采集绘制第一标记信息时第一客户端设备的第一状态数据以及绘制第一标记信息之后第一客户端设备的第二状态数据；

计算模块804，用于根据第一标记位置、第一状态数据和第二状态数据，计算第二标记位置；

绘制模块802，还用于在第一帧图像之后的至少一帧图像中第二标记位置处绘制所述第一标记信息；

发送模块805，用于向第二客户端设备发送第一视频流，第一视频流包括：绘制第一标记信息的第一帧图像，和绘制第一标记信息的第一帧图像之后的至少一帧图像。

可选的，计算模块804，具体用于：根据第一状态数据、第二状态数据，计算标记偏移量；根据第一标记位置和标记偏移量，计算第二标记位置。

可选的，采集模块803，具体用于：采集绘制第一标记信息时所第一客户端设备的第一姿态数据，第一状态数据包括：第一姿态数据；采集绘制第一标记信息之后第一客户端设备的加速度数据和第二姿态数据，第二状态数据包括：加速度数据和所述第二姿态数据。

可选的，绘制模块802，具体用于根据标记操作，将第一标记信息作为增强现实信息叠加显示在第一帧图像中的第一标记位置处。

可选的，绘制模块802，具体用于将第一标记信息作为增强现实信息叠加显示在第一帧图像之后的至少一帧图像中第二标记位置处。

可选的，绘制模块802，具体用于判断第二标记位置是否超出第一帧图像之后的至少一帧图像的显示范围；若第二标记位置未超出显示范围，则在第一帧图像之后的至少一帧图像中第二标记位置处绘制第一标记信息。

可选的，发送模块805，还用于若第二标记位置超出第一帧图像之后的第二帧图像的显示范围，则向第二客户端设备发送第二视频流，第二视频流包括：未绘制第一标记信息的第二帧图像。

可选的，该远程辅助检修装置800还可包括：

第一删除模块，用于根据输入的针对第一标记信息的第一标记删除操作，删除第一帧图像之后的第三帧图像中绘制的第一标记信息；

发送模块805，还用于向第二客户端设备发送第三视频流，第三视频流包括：删除第一标记信息之后的第三帧图像。

可选的，该远程辅助检修装置800还可包括：

接收模块，用于接收第二客户端设备发送的绘制有第二标记信息的第四帧图像，第二标记信息为第二用户通过第二客户端设备显示的第四帧图像标记的故障点对应的解决方案的标记信息；

采集模块803，具体用于采集第四帧图像显示时第一客户端设备的第三状态数据以及第四帧图像显示之后第一客户端设备的第四状态数据；

计算模块804，还用于根据第三标记位置、第三状态数据和第四状态数据，计算第四标记位置，其中，第三标记位置为第二标记信息在第四帧图像中的显示位置；

绘制模块802，还用于在第四帧图像之后的至少一帧图像中第四标记位置处绘制第二标记信息；

显示模块801，还用于显示第四视频流，第四视频流包括：绘制第二标记信息的第四帧图像，和绘制第二标记信息的第四帧图像之后的至少一帧图像。

可选的，接收模块，还用于接收第二客户端设备发送的标记删除指示信息，标记删除指示信息为第二客户端设备根据输入的针对第二标记信息的第二标记删除操作所发送的信息；

该远程辅助检修装置800还可包括：

第二删除模块，用于根据标记删除指示信息，删除第四帧图像之后的第五帧图像中绘制的第二标记信息；

显示模块801，还用于显示第五视频流，第五视频流包括：删除第二标记信息之后的第五帧图像。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。

图9为本申请实施例提供的一种客户端设备的示意图。该客户端设备900包括：存储器901、处理器902。存储器901和处理器902通过总线连接。

存储器901用于存储程序，处理器902调用存储器901存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种远程辅助检修方法，其特征在于，包括：

显示第一客户端设备采集的第一帧图像；

根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，其中，所述第一标记信息为第一用户标记的工业现场的故障点对应的标记信息；

采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据；

根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置；

在所述第一帧图像之后的至少一帧图像中所述第二标记位置绘制所述第一标记信息；

向第二客户端设备发送第一视频流，所述第一视频流包括：绘制所述第一标记信息的所述第一帧图像，和绘制所述第一标记信息的所述第一帧图像之后的至少一帧图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置，包括：

根据所述第一状态数据、所述第二状态数据，计算标记偏移量；

根据所述第一标记位置和所述标记偏移量，计算所述第二标记位置。

3.根据权利要求1所述的方法，其特征在于，所述采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据，包括：

采集绘制所述第一标记信息时所述第一客户端设备的第一姿态数据，所述第一状态数据包括：所述第一姿态数据；

采集绘制所述第一标记信息之后所述第一客户端设备的加速度数据和第二姿态数据，所述第二状态数据包括：所述加速度数据和所述第二姿态数据。

4.根据权利要求1所述的方法，其特征在于，所述根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，包括：

根据所述标记操作，将所述第一标记信息作为增强现实信息叠加显示在所述第一帧图像中的所述第一标记位置处。

5.根据权利要求1所述的方法，其特征在于，所述在所述第一帧图像之后的至少一帧图像中所述第二标记位置绘制所述第一标记信息，包括：

将所述第一标记信息作为增强现实信息叠加显示在所述第一帧图像之后的至少一帧图像中所述第二标记位置处。

6.根据权利要求1所述的方法，其特征在于，所述在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标记信息，包括：

判断所述第二标记位置是否超出所述第一帧图像之后的至少一帧图像的显示范围；

若所述第二标记位置未超出所述显示范围，则在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标记信息。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

若所述第二标记位置超出所述第一帧图像之后的第二帧图像的显示范围，则向所述第二客户端设备发送第二视频流，所述第二视频流包括：未绘制所述第一标记信息的所述第二帧图像。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据输入的针对所述第一标记信息的第一标记删除操作，删除所述第一帧图像之后的第三帧图像中绘制的所述第一标记信息；

向所述第二客户端设备发送第三视频流，所述第三视频流包括：删除所述第一标记信息之后的所述第三帧图像。

9.根据权利要求1-8中任一所述的方法，其特征在于，所述方法还包括:

接收所述第二客户端设备发送的绘制有第二标记信息的第四帧图像，所述第二标记信息为第二用户通过所述第二客户端设备显示的所述第四帧图像标记的所述故障点对应的解决方案的标记信息；

采集所述第四帧图像显示时所述第一客户端设备的第三状态数据以及所述第四帧图像显示之后所述第一客户端设备的第四状态数据；

根据第三标记位置、所述第三状态数据和所述第四状态数据，计算第四标记位置，其中，所述第三标记位置为所述第二标记信息在所述第四帧图像中的显示位置；

在所述第四帧图像之后的至少一帧图像中所述第四标记位置绘制所述第二标记信息；

显示第四视频流，所述第四视频流包括：绘制所述第二标记信息的所述第四帧图像，和绘制所述第二标记信息的所述第四帧图像之后的至少一帧图像。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

接收所述第二客户端设备发送的标记删除指示信息，所述标记删除指示信息为所述第二客户端设备根据输入的针对所述第二标记信息的第二标记删除操作所发送的信息；

根据所述标记删除指示信息，删除所述第四帧图像之后的第五帧图像中绘制的所述第二标记信息；

显示第五视频流，所述第五视频流包括：删除所述第二标记信息之后的所述第五帧图像。

11.一种远程辅助检修装置，其特征在于，包括：

显示模块，用于显示第一客户端设备采集的第一帧图像；

绘制模块，用于根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，其中，所述第一标记信息为第一用户标记的工业现场的故障点对应的标记信息；

采集模块，用于采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据；

计算模块，用于根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置；

所述绘制模块，还用于在所述第一帧图像之后的至少一帧图像中所述第二标记位置绘制所述第一标记信息；

发送模块，用于向第二客户端设备发送第一视频流，所述第一视频流包括：绘制所述第一标记信息的所述第一帧图像，和绘制所述第一标记信息的所述第一帧图像之后的至少一帧图像。

12.一种客户端设备，其特征在于，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-10任一项所述的远程辅助检修方法。

13.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-10任一项所述的远程辅助检修方法。

Images