CN114222190A - 远程控制处理、响应方法及其装置、设备、介质、产品 - Google Patents

Abstract

本申请公开一种直播间远程控制处理、响应方法及其装置、设备、介质、产品，所述方法包括：向处于直播间的目标用户端推送控制申请指令；接收由目标用户端响应控制申请指令推送的录屏视频流输出至直播间控制区域中播放，录屏视频流由媒体服务器负责转发推送；实时监听作用于直播间控制区域的操作事件，根据操作事件生成对应的操作消息；向目标用户端推送操作消息，以便目标用户端解析操作消息而其直播间界面中的操作位置信息所对应的位置中执行该操作消息中的操作指令，控制当前进行的直播间在线服务，操作消息由通讯服务器负责转发推送。本申请为直播平台的用户提供了远程协助服务，且视频流与指令由相应的服务器分流转发推送以实现数据同步化。

Description

远程控制处理、响应方法及其装置、设备、介质、产品

技术领域

本申请涉及网络直播领域，尤其涉及一种直播间远程控制处理、响应方法，此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。

背景技术

随着网络直播的发展，网络直播越来越普及和受到用户的喜爱，直播平台向平台用户提供直播间服务，平台中的主播用户在网络直播平台中创建一个直播间，让平台的观众用户进入直播间中参与其所开启的直播业务，使观众用户在直播间中观看主播的才艺表演、游戏直播解说等内容，极大的方便了用户之间的沟通，促进了社会的进步。

但网络直播平台中用户在日常使用直播平台的应用程序时往往会遇到不少问题，例如由于平台所提供的引导不足导致新用户无法上手使用相应的直播功能，或由于平台中的主播用户在直播业务繁忙时无法维护直播间中的观众用户的互动行为，或者直播应用程序偶尔出现一些用户自己无法修复的错误导致用户所处的设备无法正常运行应用程序，平台的用户面对这些问题时较为无助，只能通过向平台反馈其所遇见的问题以督促平台提供相应的帮助，等待时间较长，往往导致用户放弃使用直播平台的应用程序，导致平台的用户流失。

针对上述的问题，本申请人出于该问题的考虑做出相应的探索。

发明内容

本申请的目的在于满足现有技术的需求或克服现有技术的至少部分不足而提供一种直播间远程控制处理方法及其相应的装置、电子设备、非易失性存储介质以及计算机程序产品。

为实现本申请的目的，采用如下技术方案：

适应本申请的首页目的而提出的一种直播间远程控制处理方法，包括如下步骤：

向处于直播间的目标用户端推送控制申请指令；

接收由所述目标用户端响应所述控制申请指令后录制该目标用户端的直播间界面形成的录屏视频流，将该录屏视频流输出至直播间控制区域中播放，所述录屏视频流由媒体服务器转发推送至当前控制端；

实时监听作用于所述直播间控制区域的操作事件，根据所述操作事件生成对应的操作消息，所述操作消息包括作可解析为作用于所述目标用户端的直播间界面的操作指令及其按需携带的操作位置信息；

向所述目标用户端推送所述操作消息，以便由该目标用户端解析该操作消息后，在其直播间界面执行该操作消息中的操作指令，按需作用于其中操作位置信息所指的相应位置，实现控制当前进行的直播间在线服务，所述操作消息由通讯服务器转发推送至所述客户端。

进一步的实施例中，本方法包括如下前置步骤：

接收处于直播间的用户端推送的求助通知，在当前图形用户界面中的显示通知窗口，以在该通知窗口中展示所述求助通知中包含的用户特征信息及直播间特征信息；

响应作用于所述通知窗口的求助接受指令，生成指向处于所述直播间的用户端的控制申请指令。

进一步的实施例中，所述接收由所述目标用户端响应所述控制申请指令后录制该目标用户端的直播间界面形成的录屏视频流，将该录屏视频流输出至直播间控制区域中播放的步骤中，包括如下步骤：

接收由媒体服务器转发推送的目标用户端录制的录屏视频流；

将所述录屏视频流输出至当前图形用户界面的直播间控制区域中播放；

在当前图形用户界面中显示操作指令集控件，该操作指令集控件中包含无法通过所述直播间控制区域生成的暂停控制指令、继续控制指令及结束控制指令。

进一步的实施例中，所述实时监听作用于该直播间控制区域的操作事件，根据所述操作事件生成对应的操作消息，所述操作消息包括作可解析为作用于所述目标用户端的直播间界面的操作指令及其按需携带的操作位置信息的步骤中，包括如下步骤：

实时监听当前用户通过所述直播间控制区域中触发的操作事件；

响应所述操作事件，获取当前用户在所述直播间控制区域中当前执行的操作指令及该操作指令在该直播间控制区域中相对应的所述操作位置信息；

封装所述操作指令及其对应的操作位置信息生成所述操作消息。

进一步的实施例中，当前用户通过所述直播间控制区域中触发的操作事件包括如下任意之一：点击操作事件、长按操作事件、拖动操作事件、滑动操作事件、触控操作事件。

进一步的实施例中，所述直播间在线服务为如下任意之一：直播间观众管理服务、直播间游玩服务、直播间报错服务。

适应本申请的首要目的而提出的一种直播间远程控制处理装置，其包括：

申请指令推送模块，用于向处于直播间的目标用户端推送控制申请指令；

录屏视频流播放模块，用于接收由所述目标用户端响应所述控制申请指令后录制该目标用户端的直播间界面形成的录屏视频流，将该录屏视频流输出至直播间控制区域中播放，所述录屏视频流由媒体服务器转发推送至当前控制端；

操作消息生成模块，用于实时监听作用于所述直播间控制区域的操作事件，根据所述操作事件生成对应的操作消息，所述操作消息包括作可解析为作用于所述目标用户端的直播间界面的操作指令及其按需携带的操作位置信息；

操作消息推送模块，用于向所述目标用户端推送所述操作消息，以便由该目标用户端解析该操作消息后，在其直播间界面执行该操作消息中的操作指令，按需作用于其中操作位置信息所指的相应位置，实现控制当前进行的直播间在线服务，所述操作消息由通讯服务器转发推送至所述客户端。

进一步的实施例中，所述录屏视频流播放模块包括：

录屏视频流接收子模块，用于接收由媒体服务器转发推送的目标用户端录制的录屏视频流；

录屏视频流播放子模块，用于将所述录屏视频流输出至当前图形用户界面的直播间控制区域中播放；

操作指令集控件显示子模块，用于在当前图形用户界面中显示操作指令集控件，该操作指令集控件中包含无法通过所述直播间控制区域生成的暂停控制指令、继续控制指令及结束控制指令。

进一步的实施例中，所述操作消息生成模块包括：

操作事件监听子模块，用于实时监听当前用户通过所述直播间控制区域中触发的操作事件；

操作事件响应子模块，用于响应所述操作事件，获取当前用户在所述直播间控制区域中当前执行的操作指令及该操作指令在该直播间控制区域中相对应的所述操作位置信息；

操作消息生成子模块，用于封装所述操作指令及其对应的操作位置信息生成所述操作消息。

适应本申请的另一目的而提出的一种直播间远程控制响应方法，包括如下步骤：

响应由控制端推送的控制申请指令，在当前直播间界面中显示控制申请控件；

响应作用于所述控制申请控件的接受控制指令，将通过录制当前直播间界面的图形用户界面所生成的录屏视频流推送至所述控制端中，所述录屏视频流由媒体服务器转发推送至所述控制端；

响应所述控制端推送的操作消息，根据该操作消息中包含的操作指令及其对应的操作位置信息，在当前直播间界面中该操作位置信息所对应的位置中执行所述操作指令，控制当前直播间中进行的直播间在线服务，所述操控消息由通讯服务器转发推送至当前客户端。

适应本申请的另一目的而提出的一种直播间远程控制处理装置，其包括：

申请指令响应模块，用于响应由控制端推送的控制申请指令，在当前直播间界面中显示控制申请控件；

接受控制指令模块，用于响应作用于所述控制申请控件的接受控制指令，将通过录制当前直播间界面的图形用户界面所生成的录屏视频流推送至所述控制端中，所述录屏视频流由媒体服务器转发推送至所述控制端；

操作消息响应模块，用于响应所述控制端推送的操作消息，根据该操作消息中包含的操作指令及其对应的操作位置信息，在当前直播间界面中该操作位置信息所对应的位置中执行所述操作指令，控制当前直播间中进行的直播间在线服务，所述操控消息由通讯服务器转发推送至当前客户端。

适应本申请的目的而提出的一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行所述直播间远程控制处理方法或直播间远程控制处理方法的步骤。

适应本申请的目的而提出的一种非易失性存储介质，其存储有依据所述直播间远程控制处理方法或直播间远程控制处理方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行其相应的方法所包括的步骤。

为解决上述技术问题本申请实施例还提供一种计算机程序产品，包括计算机程序及计算机指令，该计算机程序及计算机指令被处理器执行时，使得所述处理器执行上述所述直播数据分层预测方法或直播间远程控制处理方法或直播间远程控制处理方法的步骤。

相对于现有技术，本申请的优势如下：

本申请可向直播平台中的用户提供远程协助服务，以为用户在日常使用平台的直播应用程序或在应用中进行直播业务时提供其所需的协助，类似于向用户提供实时的人工助手，例如，帮助正在进行直播的主播用户提供维护观众秩序的服务，提升主播用户的直播体验，或帮助直播间出现错误的用户提供错误修复服务，或者在向不熟悉直播间开启的直播游玩活动的用户提供引导等,进而通过远程控制协助的方式提升直播平台用户使用直播应用程序的体验。

其次，本申请中的录屏视频流及操作消息通过不同的服务器分流进行转发推送，以便控制端通过录屏视频流执行远程控制时，保证其播放的视频流与其远程控制的用户端中的操作之间的同步，且提升不同数据双向输时的数据传输效率。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为实施本申请的技术方案相关的一种典型的网络部署架构示意图；

图2为本申请的直播间远程控制处理方法的典型实施例的流程示意图；

图3为本申请中用户端可视化控制申请指令的图形用户界面的示意图；

图4为本申请中用户端的直播间界面的图形用户界面的示意图；

图5为本申请中控制端播放录屏视频流的图形用户界面的示意图；

图6为本申请中处于控制端的用户通过直播间区域进行远程控制时的图形用户界面的示意图；

图7为本申请中用户端接收到操作消息后执行相应的操作的图形用户界面的示意图；

图8为本申请中控制端推送操作消息后其直播间区域中同步播放最新的录屏视频流的图形用户界面的示意图；

图9为本申请中控制端接收处于直播间中的用户端推送的求助通知的实施方式所形成的流程示意图；

图10为本申请中控制端可视化求助通知的图形用户界面的示意图；

图11为本申请中控制端接收录屏视频流进行播放的实施方式所形成的流程示意图；

图12为本申请中控制端生成操作消息的实施方式所形成的流程示意图；

图13为本申请的直播间远程控制处理装置的典型实施例的原理框图；

图14为本申请的直播间远程控制响应方法的典型实施例的流程示意图；

图15为本申请的直播间远程控制响应装置的典型实施例的原理框图；

图16为本申请一个实施例的计算机设备的基本结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信***)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位***)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。

需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。

请参阅图1，本申请相关技术方案实施时所需的硬件基础可按图中所示的架构进行部署。本申请所称服务器80部署在云端，作为一个业务服务器，其可以负责进一步连接起相关数据服务器以及其他提供相关支持的服务器等，以此构成逻辑上相关联的服务机群，来为相关的终端设备例如图中所示的智能手机81和个人计算机82或者第三方服务器(未图示)提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网，与云端的服务器80建立数据通信链路，以便运行所述服务器所提供的服务相关的终端应用程序。

对于服务器而言，所述的应用程序通常会被构建为服务进程，开放相应的程序接口，供各种终端设备上运行的应用程序进行远程调用，本申请中适于运行于服务器的相关技术方案，便可以此种方式实现于服务器中。

所述的应用程序，是指运行于服务器或终端设备上的应用程序，这一应用程序采用编程的方式实现了本申请的相关技术方案，其程序代码可被以计算机可执行指令的形式保存于计算机能识别的非易失性存储介质中，并被中央处理器调入内存中运行，通过该应用程序在计算机的运行而构造出本申请的相关装置。

对于服务器而言，所述的应用程序通常会被构建为服务进程，开放相应的程序接口，供各种终端设备上运行的应用程序进行远程调用，本申请中适于运行于服务器的相关技术方案，便可以此种方式实现于服务器中。

本申请中适于在终端设备实现的技术方案也可以被编程内置于提供网络直播的应用程序中，作为其一部分扩展功能。所述的网络直播，是指一种基于前述的网络部署架构所实现的一种直播间网络服务。

本申请所称的直播间，是指依靠互联网技术实现的一种视频聊天室，通常具备音视频播控功能，包括主播用户和观众用户，观众用户可以包括已经在平台中注册的注册用户，也可以是未注册的游客用户；可以是关注了主播用户的注册用户，也可以是未关注主播用户的注册或未注册用户。主播用户与观众用户之间可通过语音、视频、文字等公知的线上交互方式来实现互动，一般是主播用户以音视频流的形式为观众用户表演节目，并且在互动过程中还可产生经济交易行为。当然，直播间的应用形态并不局限于在线娱乐，也可推广到其他相关场景中，例如教育培训场景、视频会议场景、产品推介销售场景以及其他任何需要类似互动的场景中。

本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。

本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。

请参阅图2，本申请的一种直播间远程控制处理方法，在其典型实施例中，其包括如下由控制端所执行的步骤：

步骤S11，向处于直播间的目标用户端推送控制申请指令：

当前控制端向处于直播间的所述目标用户端推送所述控制申请指令，以控制该目标用户端在该直播间进行的直播间在线服务。

所述的控制端通过向处于直播间的目标用户端推送所述申请指令，以获取该目标用户端录制其直播间界面的录屏视频流，通过该录屏视频流同步控制该目标用户端在其直播间中进行的直播间在线服务，具体的实施方式，请参考后续步骤中的叙述，恕不赘述。

所述的控制申请指令一般由基于TPC网络通讯协议构建的通讯服务器负责转发推送，当前控制端将所述控制申请指令推送至所述通讯服务器中，以便该通讯服务器响应该控制申请指令，确定接收该控制申请指令的目标用户端，进而将所述控制申请指令转发推送至所述目标用户端中。

所述目标用户端接收到所述控制申请指令后，将在其直播间界面的图形用户界面中显示控制申请控件，以便目标用户端通过该控制申请控件触发接受所述控制申请指令的接受控制事件或触发拒绝所述控制申请指令的拒绝控制事件，当其触发所述接受控制事件时，目标用户端将录制其直播间界面的图形用户界面以生成录屏视频流推送至当前控制端中，相关的具体实施方式请参考后续步骤，本步骤恕不赘述。

所述的控制申请指令一般是由当前控制端主动进行推送，当前控制端选定任意直播间中的目标用户端，该目标用户端一般为主播用户端，之后向该目标用户端推送所述控制申请指令，以向该目标用户端申请远程控制，另外，所述控制申请指令由可为当前控制端响应任意直播间的任意用户端所推送的求助请求后，向该用户端推送所述控制申请指令，以帮助该用户端在其所处的直播间中进行的直播间在线服务。

步骤S12，接收由所述目标用户端响应所述控制申请指令后录制该目标用户端的直播间界面形成的录屏视频流，将该录屏视频流输出至直播间控制区域中播放，所述录屏视频流由媒体服务器转发推送至当前控制端：

当前控制端向所述目标用户端推送所述控制申请指令后，将等待该目标用户端接受该控制申请指令，当该目标用户端接受该控制申请指令后，将向当前控制端推送其录制自身直播间界面所形成的所述录屏视频流，以便当前控制端接收该录屏视频流输出至直播间控制区域中进行播放，进而通过该直播间控件区域中播放的所述录屏视频流进行对所述目标用户端所处的直播间中进行的直播间在线服务。

请参考图3及图4，所述目标用户端接收到当前控制端推送的控制申请指令后，将在其直播间界面中显示图3所示的控制申请控件301，处于该目标用户端的用户可通过触控所示控制申请控件中的接受控制控件302生成接受控制指令，以便目标用户端响应该指令录制如图4所示的直播间界面的图形用户界面生成的录屏视频流，并将该录屏视频流推送至所述媒体服务器中，以驱动该媒体服务器将该录屏视频流转发推送至当前控制端中。

请参考图5，当前控制端接收到由所述媒体服务器转发推送的所述录屏视频流后，将该录屏视频流输出至如图5所示的直播间控件区域501中进行播放，以便处于当前控制端的用户通过该直播间控件区域501操作控制所示目标用户端，另外，当前控制端在输出播放所述录屏视频流后，还将在图形用户界面中显示图5所示的操作指令集控件502，该操作指令集控件502中包含无法通过所述直播间控制区域501生成的暂停控制指令、继续控制指令及结束控制指令。

所述的媒体服务器负责转发推送所示录屏视频流，所述目标用户端首先将其所录制生成的所述录屏视频流及其相应的转发指令共同推送至所述媒体服务器中，该媒体服务器接收到所述录屏视频流后，根据所述转发指令确定接收该录屏视频流的控制端，以将该录屏视频流推送至该控制端中进行输出播放。

当前控制端与所述目标用户端建立用于持续传输所述录屏视频流的数据通信链路，该数据通信链路由所述媒体服务器负责维护，以便当前控制端通过该数据通信链路持续接收由所述目标控制端录制生成的所述录屏视频流进行生成播放，保证当前控制端的所述直播间控制区域中播放的录屏视频流与所述目标用户端中直播间界面同步。

步骤S13，实时监听作用于所述直播间控制区域的操作事件，根据所述操作事件生成对应的操作消息，所述操作消息包括作可解析为作用于所述目标用户端的直播间界面的操作指令及其按需携带的操作位置信息：

当前控制端将所述录屏视频流输出至所述直播间控制区域中进行播放后，将实时监听该直播间控制区域中由处于当前控制端的用户所触发的所述操作事件，以根据其所监听到的操作事件输出对应的操作消息。

当前控制端实时监听处于当前控制端的当前用户在所述直播间控制区域中进行的操作事件，例如，当前用户在所述直播间控制区域中点击或长按或者触控当前播放的所述录屏视频流中显示的直播间界面中具有的任一控件所对应触发的点击操作事件或长按操作事件或者触控操作事件，或当前用户在所述直播间控制区域中播放的所述录屏视频流中显示的直播间界面进行拖动以拖动该直播间界面中任一控件所触发的拖动操作事件，再或者当前用户在所述直播间控制区域中播放的所述录屏视频流中显示的直播间界面进行滑动以切换该直播间界面或激活显示相应的控件所触发的滑动操作事件等。

当前控制端监听到当前用户在实时直播间控制区域中触发相应的操作事件后，将响应该操作事件，确定该操作事件所对应的操作指令，以及获取记录该操作指令在所述录屏视频流中显示的直播间界面中所操作的位置的操作位置信息，进而将所述操作指令及其对应的所述操作位置信息封装为所述操作消息，以便所述目标用户端通过解析该操作消息后，根据该操作消息中包含的所述操作指令及操作位置信息在其直播间界面中执行相应的操作，控制其所处的直播间中进行的直播间在线服务。

请参考图6，图6为处于当前控制端的当前用户在所述直播间控制区域中进行操作事件时的示意图，当前用户在图6所示的直播间控制区域601中点击观众发言602触发点击操作事件，该点击操作事件所对应的操作指点为点击操作指令，且该点击操作指令所对应的点击操作的操作位置信息为图6中所示直播间控制区域601中的操作位置603，该操作位置603即为当前用户在直播间控制区域601中点击操作的位置。

步骤S14，向所述目标用户端推送所述操作消息，以便由该目标用户端解析该操作消息后，在其直播间界面执行该操作消息中的操作指令，按需作用于其中操作位置信息所指的相应位置，实现控制当前进行的直播间在线服务，所述操作消息由通讯服务器转发推送至所述客户端：

当前控制端生成所述操作消息后，将向所述目标用户端推送该操作消息，以控制该目标用户端当前所处的直播间中进行的直播间在线服务，具体的，该目标用户端接收到所述操作消息后，将解析获取该操作消息中包含的操作指令及其对应的操作位置信息，以在当前直播间界面中的该操作位置信息所对应的位置中执行所述操作指令。

所述的操作消息由所述通讯服务器负责转发推送，当前控制端将所述操作消息推送至所述通讯服务器中，该通讯服务器接收到该操作消息后，将验证当前控制端，以确定与当前控制端建立数据通讯链路的目标用户端，进而将所述操作消息推送至所述目标用户端中。

所述的直播间在线服务一般包含直播间观众管理服务、直播间游玩服务、直播间报错服务，其中，所述的直播间观众管理服务一般面向于直播间中的主播用户端，当前控制端将负责该主播用户端所处的直播间中的观众用户的管理在线服务，所述的直播间游玩服务一般是指直播间中所开启的连麦在线服务或直播抽奖在线服务等具有游玩互动性质的在线服务，当前控制端可控制处于进行所述直播间游玩服务的观众用户端或主播用户端，以为其提供相应的代玩服务等，所述的直播间报错服务一般是指直播间中发生错误或出现故障的在线服务，当处于任意用户端所处的直播间发生错误或出现故障时，其可向当前控制端推送求助请求，以请求当前控制端为其修复该直播间中所发生错误或出现故障。

请参考图6、图7及图8，图7为处于直播间在线服务为所述直播间观众管理服务的直播间的主播用户端响应当前控制端推送的所述操作消息的直播间界面的示意图，当前控制端在图6所示的直播间控制区域601中点击观众发言602的操作位置603处触发点击操作事件所生成的操作消息推送至所述目标用户端时，该目标用户端根据该操作消息中包含的所述操作位置信息将对位至图7中的操作位置701处，且执行所述操作指令中表征的点击操作，进而在图7中显示指向“用户UVW”的发言的观众管理控件702，在观众管理控件702中可对“用户UVW”执行举报发言事件、禁止发言事件以及踢出直播间事件；相应的，当所述目标用户端根据所述操作消息中包含的操作指令及其对应的操作位置信息执行控制所述直播间在线服务的事件后，当前控制端的图形用户界面的所述直播间控制区域中播放的录屏视频流将从图6转换为图8中所示直播间控制区域801中播放的录屏视频流。

通过本典型实施例中可知，执行本方法的控制端通过向直播间中的某一用户端推送控制申请指令以申请控制该用户端在所述直播间中进行的直播间在线服务，当该用户端接受所述控制申请指令后，将向控制端推送其录制自身的直播间界面的录屏视频流，使控制端通过播放该录屏视频流，便于控制用户获知该用户端当前的直播间界面，且其通过在显示该录屏视频流的直播间控制区域中操作所述用户端所处的直播间中进行的直播间在线服务，以为处于该用户端的用户提供相应的助手服务，提升直播间中用户的使用体验，例如，帮助正在进行直播的主播用户提供管理观众的服务，提升主播用户的直播体验，或帮助直播间出现错误的用户提供错误修复服务等。

以上的典型实施例及其变化实施例充分揭示了本申请的直播间远程控制处理方法的实施方案，但是，仍可通过对一些技术手段的变换和扩增而演绎出该方法的多种变化实施例，如下概要说明其他实施例：

一种实施例中，请参考图9及图10，本方法包括如下前置步骤：

步骤S09，接收处于直播间的用户端推送的求助通知，在当前图形用户界面中的显示通知窗口，以在该通知窗口中展示所述求助通知中包含的用户特征信息及直播间特征信息：

当前控制端接收由处于直播间的用户端推送的所述求助通知，在当前图形用户界面中显示所述通知窗口，将该求助通知中包含的所述用户特征信息及直播间特征信息输出至该通知窗口中显示。

请参考图10，图10为当前控制端接收到所述求助通知后的图形用户界面的示意图，当前控制端接收到所述求助通知后，将在当前图形用户界面中显示如图10中所示的通知窗口1001，并将该求助通知中包含的所述用户特征信息及直播间特征信息输出至该通知窗口1001中显示。

步骤S10，响应作用于所述通知窗口的求助接受指令，生成指向处于所述直播间的用户端的控制申请指令：

请参考图10，当前控制端的用户触控图10中所示的通知窗口1001中的接受控件1002后将触发输出所示求职接受指令，以便当前控制端响应所述求助接受指令，生成指向通知窗口1001中显示的所述用户特征信息所对应的用户端的所述控制申请指令。

本实施例中，控制端可接受需要助手服务的用户端推送的求助通知，以接受该用户端的求助请求，为该用户端提供助手服务，进而提升处于直播间中的用户的使用体验。

一种实施例中，请参考图5及图11，所述接收由所述目标用户端响应所述控制申请指令后录制该目标用户端的直播间界面形成的录屏视频流，将该录屏视频流输出至直播间控制区域中播放的步骤中，包括如下步骤：

步骤S121，接收由媒体服务器转发推送的目标用户端录制的录屏视频流：

当前控制端向目标用户端推送所述控制申请指令且该目标用户端接受该控制申请指令后，当前控制端接受到由所述媒体服务器转发的该目标用户端推录制自身的直播间界面的所述录屏视频流。

步骤S122，将所述录屏视频流输出至当前图形用户界面的直播间控制区域中播放：

请参考图5，当前控制端接受到所述录屏视频流后，将该录屏视频流输出至图5所示的直播间控制区域501中播放，以便处于当前控制端的用户通过该直播间控制区域501控制所示目标用户端在直播间中进行的直播间在线服务。

步骤S123，在当前图形用户界面中显示操作指令集控件，该操作指令集控件中包含无法通过所述直播间控制区域生成的暂停控制指令、继续控制指令及结束控制指令：

请参考图5，当前控制端将所述录屏视频流输出至图5所示的直播间控制区域501中播放，同时将在当前图形用户界面中显示如图5所示的操作指令集控件502，该操作指令集控件用于生成无法通过所述直播间控制区域501生成的暂停控制指令、继续控制指令及结束控制指令。

本实施例中，控制端接受媒体服务器转发的录屏视频流进行播放显示，以便用户通过该录屏视频流知晓目标用户端的直播间界面，进而进行相应的操作事件控制直播间中进行的直播间在线服务，且在界面中显示操作指令集控件，以便用户操作无法通过直播间操控区域实现的操作。

一种实施例中，请参考图6及图12，所述实时监听作用于该直播间控制区域的操作事件，根据所述操作事件生成对应的操作消息，所述操作消息包括作可解析为作用于所述目标用户端的直播间界面的操作指令及其按需携带的操作位置信息的步骤中，包括如下步骤：

步骤S131，实时监听当前用户通过所述直播间控制区域中触发的操作事件：

当前控制端将所述录屏视频流输出至所述直播间控制区域中进行播放后，将实时监听该直播间控制区域中由处于当前控制端的用户所触发的所述操作事件，以根据其所监听到的操作事件输出对应的操作消息。

步骤S132，响应所述操作事件，获取当前用户在所述直播间控制区域中当前执行的操作指令及该操作指令在该直播间控制区域中相对应的所述操作位置信息：

当前控制端监听到当前用户在实时直播间控制区域中触发相应的操作事件后，将响应该操作事件，确定该操作事件所对应的操作指令，以及获取记录该操作指令在所述录屏视频流中显示的直播间界面中所操作的位置的操作位置信息，进而将所述操作指令及其对应的所述操作位置信息封装为所述操作消息，以便所述目标用户端通过解析该操作消息后，根据该操作消息中包含的所述操作指令及操作位置信息在其直播间界面中执行相应的操作，控制其所处的直播间中进行的直播间在线服务。

请参考图6，图6为处于当前控制端的当前用户在所述直播间控制区域中进行操作事件时的示意图，当前用户在图6所示的直播间控制区域601中点击观众发言602触发点击操作事件，该点击操作事件所对应的操作指点为点击操作指令，且该点击操作指令所对应的点击操作的操作位置信息为图6中所示直播间控制区域601中的操作位置603，该操作位置603即为当前用户在直播间控制区域601中点击操作的位置。

步骤S133，封装所述操作指令及其对应的操作位置信息生成所述操作消息：

当前控制端将所述操作指令及其对应的操作位置信息封装为所述操作消息，以便后续向所述目标用户端推送该操作消息，使该目标用户端接收到所述操作消息后，将解析获取该操作消息中包含的操作指令及其对应的操作位置信息，以在当前直播间界面中的该操作位置信息所对应的位置中执行所述操作指令。

本实施例中，控制端实时监听用户在直播间操控区域中的操作事件，以生成相应的操作消息进行推送，进而将用户在控制端中进行的操作行为同步至目标用户端中，实现远程控制用户端中直播间进行的直播间在线服务。

进一步，可以通过将上述各实施例所揭示的方法中的各个步骤进行功能化，构造出本申请的一种直播间远程控制处理装置，按照这一思路，请参阅图13，其中的一个典型实施例中，该装置包括：申请指令推送模块11，用于向处于直播间的目标用户端推送控制申请指令；录屏视频流播放模块12，用于接收由所述目标用户端响应所述控制申请指令后录制该目标用户端的直播间界面形成的录屏视频流，将该录屏视频流输出至直播间控制区域中播放，所述录屏视频流由媒体服务器转发推送至当前控制端；操作消息生成模块13，用于实时监听作用于所述直播间控制区域的操作事件，根据所述操作事件生成对应的操作消息，所述操作消息包括作可解析为作用于所述目标用户端的直播间界面的操作指令及其按需携带的操作位置信息；操作消息推送模块14，用于向所述目标用户端推送所述操作消息，以便由该目标用户端解析该操作消息后，在其直播间界面执行该操作消息中的操作指令，按需作用于其中操作位置信息所指的相应位置，实现控制当前进行的直播间在线服务，所述操作消息由通讯服务器转发推送至所述客户端。

一种实施例中，所述录屏视频流播放模块12包括：录屏视频流接收子模块，用于接收由媒体服务器转发推送的目标用户端录制的录屏视频流；录屏视频流播放子模块，用于将所述录屏视频流输出至当前图形用户界面的直播间控制区域中播放；操作指令集控件显示子模块，用于在当前图形用户界面中显示操作指令集控件，该操作指令集控件中包含无法通过所述直播间控制区域生成的暂停控制指令、继续控制指令及结束控制指令。

一种实施例中，所述操作消息生成模块13包括：操作事件监听子模块，用于实时监听当前用户通过所述直播间控制区域中触发的操作事件；操作事件响应子模块，用于响应所述操作事件，获取当前用户在所述直播间控制区域中当前执行的操作指令及该操作指令在该直播间控制区域中相对应的所述操作位置信息；操作消息生成子模块，用于封装所述操作指令及其对应的操作位置信息生成所述操作消息。

请参阅图14，本申请的一种直播间远程控制响应方法，在其典型实施例中，其包括如下由用户端所执行的步骤：

步骤S21，响应由控制端推送的控制申请指令，在当前直播间界面中显示控制申请控件：

当前用户端响应由控制端推送的所述控制申请指令，在当前直播间界面中显示所述控制申请控件，具体的，请参考图3，图3为当前用户端在当前直播间界面中显示所述控制申请控件的图形用户界面的示意图，图3中的所示的控制申请控件301中具有接受控制控件302及拒绝控制控件303，当用户触控所示控制申请控件301中的接受控制控件302后，将执行后续步骤。

所述的控制申请指令一般由基于TCP所构建的通讯服务器所转发推送，所述控制端将该控制申请指令推送至所述通讯服务器中，以驱动该通讯服务器将该控制申请指令转发推送至当前用户端中。

步骤S22，响应作用于所述控制申请控件的接受控制指令，将通过录制当前直播间界面的图形用户界面所生成的录屏视频流推送至所述控制端中，所述录屏视频流由媒体服务器转发推送至所述控制端：

处于当前用户端的用户触控所述控制申请控件中的接受控制控件后，将触发生成所述接受控制指令，以便当前用户端响应该接受控制指令，录制当前直播间界面的图形用户界面生成所述录屏视频流，并将该录屏视频流推送至所述控制端中进行输出播放。

请参考图4及图5，当前用户端响应所述接受控制指令后，将录制如图4所示的图形用户界面，生成包含该图形用户界面的所述录屏视频流推送至所述控制端中，以便该控制端在其如图4所示的图形用户界面中的直播间控制区域501中播放图4所示的图形用户界面。

所述的媒体服务器负责转发推送所示录屏视频流，当前用户端首先将其所录制生成的所述录屏视频流及其相应的转发指令共同推送至所述媒体服务器中，该媒体服务器接收到所述录屏视频流后，根据所述转发指令确定接收该录屏视频流的控制端，以将该录屏视频流推送至该控制端中进行输出播放。

步骤S23，响应所述控制端推送的操作消息，根据该操作消息中包含的操作指令及其对应的操作位置信息，在当前直播间界面中该操作位置信息所对应的位置中执行所述操作指令，控制当前直播间中进行的直播间在线服务，所述操控消息由通讯服务器转发推送至当前客户端：

当前用户端响应由接受其转发推送的所述录屏视频流的控制端推送的所述操作消息，以根据该操作消息中包含的操作指令及其对应的所述操作位置消息，在当前直播间界面中该操作位置消息所对应的位置中执行所述操作指令所表征的操作，进而由所述控制端控制当前直播间中进行的直播间在线服务。

所述的操作消息由所述通讯服务器负责转发推送，所述控制端将所述操作消息推送至所述通讯服务器中，该通讯服务器接收到该操作消息后，将验证当前控制端，以确定与当前控制端建立数据通讯链路的目标用户端，进而将所述操作消息推送至目标用户端中。

请参考图6、图7及图8，当前用户端为处于直播间在线服务为所述直播间观众管理服务的直播间的主播用户端，所述控制端在图6所示的直播间控制区域601中点击观众发言602的操作位置603处触发点击操作事件所生成的操作消息推送至当前用户端时，当前用户端根据该操作消息中包含的所述操作位置信息将对位至图7中的操作位置701处，且执行所述操作指令中表征的点击操作，进而在图7中显示指向“用户UVW”的发言的观众管理控件702，在观众管理控件702中可对“用户UVW”执行举报发言事件、禁止发言事件以及踢出直播间事件；相应的，当当前用户端根据所述操作消息中包含的操作指令及其对应的操作位置信息执行控制所述直播间在线服务的事件后，所述控制端的图形用户界面的所述直播间控制区域中播放的录屏视频流将从图6转换为图8中所示直播间控制区域801中播放的录屏视频流。

通过本典型实施例中可知，处于直播间中的用户端可响应来自控制端推送的控制申请指令，将自身在直播间中进行的直播间在线服务交由控制端进行操作，其通过将录屏自身图形用户界面的录屏视频流推送至控制端中进行播放显示，进而根据由控制端推送的操作消息进行相应的操作，以为直播平台的用户提供远程协助服务，为不熟悉平台的直播间在线服务的用户提供协助或辅助平台的主播用户的直播业务，提升平台中用户的使用体验。

进一步，可以通过将上述各实施例所揭示的方法中的各个步骤进行功能化，构造出本申请的一种直播间远程控制响应装置，按照这一思路，请参阅图15，其中的一个典型实施例中，该装置包括：申请指令响应模块21，用于响应由控制端推送的控制申请指令，在当前直播间界面中显示控制申请控件；接受控制指令模块22，用于响应作用于所述控制申请控件的接受控制指令，将通过录制当前直播间界面的图形用户界面所生成的录屏视频流推送至所述控制端中，所述录屏视频流由媒体服务器转发推送至所述控制端；操作消息响应模块23，用于响应所述控制端推送的操作消息，根据该操作消息中包含的操作指令及其对应的操作位置信息，在当前直播间界面中该操作位置信息所对应的位置中执行所述操作指令，控制当前直播间中进行的直播间在线服务，所述操控消息由通讯服务器转发推送至当前客户端。

为解决上述技术问题，本申请实施例还提供一种计算机设备，用于运行根据所述直播间远程控制处理方法或直播间远程控制处理方法所实现的计算机程序。具体请参阅图16，图16为本实施例计算机设备基本结构框图。

如图16所示，计算机设备的内部结构示意图。该计算机设备包括通过***总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作***、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种直播间远程控制处理方法或直播间远程控制处理方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种直播间远程控制处理方法或直播间远程控制处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行本发明的直播间远程控制处理装置或直播间远程控制处理装置中的各个模块/子模块的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有直播间远程控制处理装置或直播间远程控制处理装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

本申请还提供一种非易失性存储介质，所述的直播间远程控制处理方法或直播间远程控制处理方法被编写成计算机程序，以计算机可读指令的形式存储于该存储介质中，计算机可读指令被一个或多个处理器执行时，意味着该程序在计算机中的运行，由此使得一个或多个处理器执行上述任一实施例直播间远程控制处理方法或直播间远程控制处理方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本申请为直播平台的用户提供了远程协助服务，且视频流与指令由相应的服务器分流转发推送以实现数据同步化。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种直播间远程控制处理方法，其特征在于，包括如下步骤：

向处于直播间的目标用户端推送控制申请指令；

接收由所述目标用户端响应所述控制申请指令后录制该目标用户端的直播间界面形成的录屏视频流，将该录屏视频流输出至直播间控制区域中播放，所述录屏视频流由媒体服务器转发推送至当前控制端；

实时监听作用于所述直播间控制区域的操作事件，根据所述操作事件生成对应的操作消息，所述操作消息包括作可解析为作用于所述目标用户端的直播间界面的操作指令及其按需携带的操作位置信息；

向所述目标用户端推送所述操作消息，以便由该目标用户端解析该操作消息后，在其直播间界面执行该操作消息中的操作指令，按需作用于其中操作位置信息所指的相应位置，实现控制当前进行的直播间在线服务，所述操作消息由通讯服务器转发推送至所述客户端。

2.根据权利要求1所述的方法，其特征在于，包括如下前置步骤：

接收处于直播间的用户端推送的求助通知，在当前图形用户界面中的显示通知窗口，以在该通知窗口中展示所述求助通知中包含的用户特征信息及直播间特征信息；

响应作用于所述通知窗口的求助接受指令，生成指向处于所述直播间的用户端的控制申请指令。

3.根据权利要求1所述的方法，其特征在于，所述接收由所述目标用户端响应所述控制申请指令后录制该目标用户端的直播间界面形成的录屏视频流，将该录屏视频流输出至直播间控制区域中播放的步骤中，包括如下步骤：

接收由媒体服务器转发推送的目标用户端录制的录屏视频流；

将所述录屏视频流输出至当前图形用户界面的直播间控制区域中播放；

在当前图形用户界面中显示操作指令集控件，该操作指令集控件中包含无法通过所述直播间控制区域生成的暂停控制指令、继续控制指令及结束控制指令。

4.根据权利要求1所述的方法，其特征在于，所述实时监听作用于该直播间控制区域的操作事件，根据所述操作事件生成对应的操作消息，所述操作消息包括作可解析为作用于所述目标用户端的直播间界面的操作指令及其按需携带的操作位置信息的步骤中，包括如下步骤：

实时监听当前用户通过所述直播间控制区域中触发的操作事件；

响应所述操作事件，获取当前用户在所述直播间控制区域中当前执行的操作指令及该操作指令在该直播间控制区域中相对应的所述操作位置信息；

封装所述操作指令及其对应的操作位置信息生成所述操作消息。

5.根据权利要求1至4中任一所述的方法，其特征在于，当前用户通过所述直播间控制区域中触发的操作事件包括如下任意之一：点击操作事件、长按操作事件、拖动操作事件、滑动操作事件、触控操作事件。

6.根据权利要求1至4所述的方法，其特征在于，所述直播间在线服务为如下任意之一：直播间观众管理服务、直播间游玩服务、直播间报错服务。

7.一种直播间远程控制响应方法，其特征在于，包括如下步骤：

响应由控制端推送的控制申请指令，在当前直播间界面中显示控制申请控件；

响应作用于所述控制申请控件的接受控制指令，将通过录制当前直播间界面的图形用户界面所生成的录屏视频流推送至所述控制端中，所述录屏视频流由媒体服务器转发推送至所述控制端；

响应所述控制端推送的操作消息，根据该操作消息中包含的操作指令及其对应的操作位置信息，在当前直播间界面中该操作位置信息所对应的位置中执行所述操作指令，控制当前直播间中进行的直播间在线服务，所述操控消息由通讯服务器转发推送至当前客户端。

8.一种电子设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任一项所述的方法的步骤。

9.一种非易失性存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7任意一项所述方法的步骤。

Images