CN114510186A - 一种跨设备控制方法及设备 - Google Patents

Abstract

本申请提供一种跨设备控制方法及设备，应用于第一电子设备与第二电子设备组成的***，该方法包括：第一电子设备与第二电子设备建立无线通信连接；第一电子设备响应于接收到的第一操作，执行第一目标采集操作；第一电子设备响应于接收到的第二操作，向第二电子设备发送第一指令，第一指令用于指示第二电子设备执行第二目标采集操作；第二电子设备响应于接收到的第一指令，执行第二目标采集操作；其中，目标采集操作包含：截屏操作、录屏操作或录音操作。本申请方案中，第一电子设备与第二电子设备建立通信连接后，通过接收不同的操作，分别控制自身和第二电子设备执行截屏操作、录屏操作或录音操作，能够实现快捷的跨设备截屏、录屏或录音控制。

Description

一种跨设备控制方法及设备

技术领域

本申请涉及电子设备技术领域，尤其涉及一种跨设备控制方法及设备。

背景技术

目前快速截屏、录屏等功能在电子设备中应用广泛。用户通过快捷操作就能对电子设备显示的内容进行快速截屏、录屏。但通过快捷操作进行快速截屏、录屏的方法仅针对电子设备自身，其应用场景比较单一，无法覆盖多设备场景，例如电子设备对其它电子设备进行控制的设备联动控制场景等。因此，目前电子设备的截屏、录屏的方法存在无法实现跨设备截屏、录屏控制的问题。

发明内容

本申请提供一种跨设备控制方法及设备，用以进行跨设备截屏、录屏和录音控制，提高用户使用体验。

第一方面，本申请实施例提供一种跨设备控制方法，应用于第一电子设备与第二电子设备组成的***，该方法包括：

所述第一电子设备与所述第二电子设备建立无线通信连接；

所述第一电子设备响应于接收到的第一操作，执行第一目标采集操作；

所述第一电子设备响应于接收到的第二操作，向所述第二电子设备发送第一指令，所述第一指令用于指示所述第二电子设备执行第二目标采集操作；

所述第二电子设备响应于接收到的所述第一指令，执行所述第二目标采集操作；

其中，目标采集操作包含：截屏操作、录屏操作或录音操作。

在该方法中，第一电子设备与第二电子设备建立通信连接后，通过接收不同的操作，分别控制自身和第二电子设备执行截屏操作、录屏操作或录音操作。因此，用户通过进行相应操作，就能通过第一电子设备控制第一电子设备自身或第二电子设备进行截屏、录屏或录音，不仅实现了快捷的跨设备截屏、录屏或录音控制，还能针对不同对象进行相应控制，提高了用户体验度。

在一种可能的设计中，在所述第二电子设备执行所述第二目标采集操作之前，所述方法还包括：

所述第一电子设备确定与所述第二电子设备之间的传输时延，并向所述第二电子设备发送所述传输时延；或者

所述第二电子设备确定所述传输时延。

通过该方法，第二电子设备确定第一电子设备与第二电子设备的传输时延后，能够根据该时延确定相对精确的用户指示进行目标采集操作的时间，进而根据该时间更精确的执行截屏、录屏、录音等目标采集操作。

在一种可能的设计中，所述第一电子设备确定与所述第二电子设备之间的传输时延，包括：

所述第一电子设备按照心跳周期，向所述第二电子设备发送心跳数据包；

所述第二电子设备接收所述心跳数据包，并向所述第一电子设备发送所述心跳数据包对应的心跳应答数据包；

所述第一电子设备接收所述心跳应答数据包，并根据所述心跳数据包的发送时间与所述心跳应答数据包的接收时间，确定所述传输时延。

在该方法中，由于心跳包收发过程的时间信息比较准确，因此第一电子设备根据与第二电子设备之间的心跳包的收发过程能够得到相对准确的传输时延，同时，周期性执行心跳包收发过程，能够及时对确定的传输时延进行更新，保证其准确度。

在一种可能的设计中，所述第二电子设备确定所述传输时延，包括：

所述第一电子设备按照心跳周期，向所述第二电子设备发送携带发送时间戳的心跳数据包；

所述第二电子设备接收所述心跳数据包，并根据所述心跳数据包的接收时间与所述发送时间戳，确定所述传输时延。

在该方法中，第一电子设备在心跳包中携带该心跳包的发送时间，第二电子设备仅需接收该心跳包就能确定传输时延，因此可以不向第一设备返回心跳应答数据包。简化了确定传输时延过程中第一电子设备与第二电子设备的交互流程，提高了确定传输时延的速度。

在一种可能的设计中，所述第二电子设备确定所述传输时延，包括：

所述第二电子设备按照心跳周期，向所述第一电子设备发送心跳数据包；

所述第一电子设备接收所述心跳数据包，并向所述第二电子设备发送所述心跳数据包对应的心跳应答数据包；

所述第二电子设备接收所述心跳应答数据包，并根据所述心跳数据包的发送时间与所述心跳应答数据包的接收时间，确定所述传输时延。

在该方法中，第二电子设备自身能够根据与第一电子设备之间的心跳包的收发过程确定相对准确的传输时延，无需第一电子设备指示该传输时延。同时，周期性执行心跳包收发过程，能够及时对所述传输时延进行更新，保证其准确度。

在一种可能的设计中，所述第二电子设备确定所述传输时延，包括：

所述第二电子设备按照心跳周期，向所述第一电子设备发送携带发送时间戳的心跳数据包；

所述第一电子设备接收所述心跳数据包，并向所述第二电子设备发送所述心跳数据包对应的心跳应答数据包，所述心跳应答数据包中包含所述心跳数据包中的发送时间戳；

所述第二电子设备接收所述心跳应答数据包，并根据所述心跳应答数据包的接收时间与所述发送时间戳，确定所述传输时延。

在该方法中，通过在第一电子设备和第二电子设备之间传输的心跳包中携带相同的时间信息，一方面，能使第二电子设备根据心跳包的收发过程得到相对准确的传输时延，另一方面，相同的时间信息标识了心跳包与心跳应答包的对应关系，保证了能够根据一次成功的心跳发送及应答过程确定传输时延。

在一种可能的设计中，所述第一指令中携带所述第一指令的发送时间戳，所述第二电子设备确定所述传输时延，包括：

所述第二电子设备根据所述第一指令的接收时间与所述发送时间戳，确定所述传输时延。

在该方法中，第一电子设备直接将目标采集操作的指示时间告知第二电子设备，则第二电子设备接收指令后可根据该指示时间快速执行目标采集操作，省去了第二电子设备计算该指示时间的过程，能够提高第二电子设备的响应速度。

在一种可能的设计中，所述方法还包括：

所述第二电子设备将执行所述第二目标采集操作得到的采集数据发送到所述第一电子设备；

所述第一电子设备显示接收到的所述采集数据。

在该方法中，第二电子设备执行截屏、录屏、录音等目标采集操作后，将得到的数据返回给第一电子设备，进而通过第一电子设备反馈给用户，能够实现截屏、录屏、录音数据的及时回传。且用户通过第一电子设备控制第二电子设备进行截屏、录屏或录音操作后，直接通过第一电子设备就能及时查看第二电子设备执行操作得到的数据，用户体验度较高。

在一种可能的设计中，所述***还包括第三电子设备，在所述第二电子设备将所述采集数据发送到所述第一电子设备之前，所述方法还包括：

所述第一电子设备与所述第三电子设备建立无线通信连接；

所述第一电子设备响应于接收到的第二操作，向所述第三电子设备发送第二指令，所述第二指令用于指示所述第三电子设备执行第三目标采集操作；

所述第三电子设备响应于接收到的所述第二指令，执行所述第三目标采集操作；

所述第一电子设备显示第一选项和第二选项；

所述第一电子设备响应于对所述第一选项的操作，向所述第二电子设备发送第三指令，所述第三指令用于指示所述第二电子设备向所述第一电子设备发送所述采集数据；

所述第一电子设备响应于对所述第二选项的操作，向所述第三电子设备发送第四指令，所述第四指令用于指示所述第三电子设备向所述第一电子设备发送所述采集数据。

在该方法中，第一电子设备能够对多个电子设备进行截屏、录屏或录音控制，因此适用于多设备场景下的跨设备截屏、录屏或录音控制，进一步提高了跨设备控制的通用性。且第一电子设备控制多个电子设备进行截屏、录屏或录音操作时，能根据用户需求，将用户选择的电子设备执行目标采集操作得到的数据反馈给用户，进一步提高了用户体验度。

在一种可能的设计中，所述第二电子设备执行所述第二目标采集操作，包括：

若所述第二电子设备显示屏幕上包括所述第一电子设备投屏到所述第二电子设备的投屏窗口，则所述第二电子设备对所述显示屏幕上除所述投屏窗口外的其它显示区域，执行所述第二目标采集操作。

在该方法中，第二电子设备在接受第一电子设备投屏的情况下接收到第一电子设备的指示并进行目标采集操作时，针对现实屏幕上除第一电子设备投屏到所述第二电子设备的投屏窗口之外的区域进行目标采集操作，能够消除投屏的影响，保证返回给第一电子设备的采集数据是第二电子设备自身的数据。

在一种可能的设计中，所述第二电子设备执行所述第二目标采集操作，包括：

所述第二电子设备在预设长度的目标时间段内执行连续的截屏操作；或者

所述第二电子设备从目标时间点开始执行录屏操作或录音操作；

其中，所述目标时间点为所述第一指令的接收时间点减去所述传输时延得到的时间点，所述目标时间段的中心时间点为所述目标时间点。

鉴于第一电子设备向第二电子设备发送指令时存在信息传输时延，导致第二电子设备执行目标采集操作时存在滞后问题。因此，在该方法中，第二电子设备根据确定的与第一电子设备之间的信息传输时延，进行误差时间补偿后再执行目标采集操作，能够进行快速精确的截屏、录屏或录音操作，进而提升用户体验。

在一种可能的设计中，所述第一操作或所述第二操作包括如下至少一项：

作用于所述第一电子设备的触摸显示屏幕的操作；

作用于所述第一电子设备的至少一个按键的操作。

在一种可能的设计中，所述第一电子设备的触摸显示屏幕包括第一触摸操作区域和第二触摸操作区域；

其中，所述第一触摸操作区域用于接收所述第一操作，所述第二触摸操作区域用于接收所述第二操作。

在该方法中，第一电子设备通过对显示屏幕进行分区，在不同分区接收针对不同控制对象的触摸操作，能够根据用户操作区分是自身执行截屏、录屏或录音等目标采集操作还是控制其它电子设备进行该目标采集操作，实现对不同控制对象进行截屏、录屏或录音控制。

在一种可能的设计中，所述第一电子设备的触摸显示屏幕包括第一触摸操作区域和第二触摸操作区域；

其中，所述第一触摸操作区域用于接收控制所述第一电子设备执行所述截屏操作的第一操作，所述第一触摸操作区域还用于接收控制所述第二电子设备执行所述截屏操作的第二操作；

所述第二触摸操作区域用于接收控制所述第一电子设备执行所述录屏操作的第一操作，所述第二触摸操作区域还用于接收控制所述第二电子设备执行所述录屏操作的第二操作。

在该方法中，第一电子设备通过对显示屏幕进行分区，在不同分区接收指示不同目标采集操作的触摸操作，能够根据用户操作区分具体的目标采集操作的类型，增强控制方式的灵活性。

第二方面，本申请实施例提供一种跨设备控制方法，应用于第一电子设备，该方法包括：

与第二电子设备建立无线通信连接；

响应于接收到的第一操作，执行第一目标采集操作；

响应于接收到的第二操作，向所述第二电子设备发送第一指令，所述第一指令用于指示所述第二电子设备执行第二目标采集操作；

其中，目标采集操作包含：截屏操作、录屏操作或录音操作。

在一种可能的设计中，在向所述第二电子设备发送第一指令时，所述方法还包括：

确定与所述第二电子设备之间的传输时延，并向所述第二电子设备发送所述传输时延。

在一种可能的设计中，确定与所述第二电子设备之间的传输时延，包括：

按照心跳周期，向所述第二电子设备发送心跳数据包；

接收所述第二电子设备返回的所述心跳数据包对应的心跳应答数据包；

根据所述心跳数据包的发送时间与所述心跳应答数据包的接收时间，确定所述传输时延。

在一种可能的设计中，所述方法还包括：

所述第一电子设备按照心跳周期，向所述第二电子设备发送携带发送时间戳的心跳数据包。

在一种可能的设计中，所述方法还包括：

接收来自所述第二电子设备的心跳数据包，并向所述第二电子设备发送所述心跳数据包对应的心跳应答数据包。

在一种可能的设计中，所述方法还包括：

接收来自所述第二电子设备的携带发送时间戳的心跳数据包，并向所述第二电子设备发送所述心跳数据包对应的心跳应答数据包，所述心跳应答数据包中包含所述心跳数据包中的发送时间戳。

在一种可能的设计中，所述第一指令中携带所述第一指令的发送时间戳。

在一种可能的设计中，所述方法还包括：

接收来自所述第二电子设备的采集数据，所述采集数据为所述第二电子设备执行所述第二目标采集操作得到的；

显示接收到的所述采集数据。

在一种可能的设计中，在接收来自所述第二电子设备的采集数据之前，所述方法还包括：

与第三电子设备建立无线通信连接；

响应于接收到的第二操作，向所述第三电子设备发送第二指令，所述第二指令用于指示所述第三电子设备执行第三目标采集操作；

显示第一选项和第二选项；

响应于对所述第一选项的操作，向所述第二电子设备发送第三指令，所述第三指令用于指示所述第二电子设备向所述第一电子设备发送所述采集数据；

响应于对所述第二选项的操作，向所述第三电子设备发送第四指令，所述第四指令用于指示所述第三电子设备向所述第一电子设备发送所述采集数据。

在一种可能的设计中，所述第一操作或所述第二操作包括如下至少一项：

作用于所述第一电子设备的触摸显示屏幕的操作；

作用于所述第一电子设备的至少一个按键的操作。

在一种可能的设计中，所述第一电子设备的触摸显示屏幕包括第一触摸操作区域和第二触摸操作区域；

其中，所述第一触摸操作区域用于接收所述第一操作，所述第二触摸操作区域用于接收所述第二操作。

在一种可能的设计中，所述第一电子设备的触摸显示屏幕包括第一触摸操作区域、第二触摸操作区域和第三触摸操作区域；

其中，所述第一触摸操作区域用于接收控制所述第二电子设备执行所述截屏操作的第一操作和/或第二操作，所述第二触摸操作区域用于接收控制所述第二电子设备执行所述录屏操作的第一操作和/或第二操作，所述第三触摸操作区域用于接收控制所述第二电子设备执行所述录音操作的第一操作和/或第二操作。

第三方面，本申请实施例提供一种跨设备控制方法，应用于第二电子设备，该方法包括：

与第一电子设备建立无线通信连接；

接收来自所述第一电子设备的第一指令，所述第一指令用于指示所述第二电子设备执行第二目标采集操作；

响应于所述第一指令，执行所述第二目标采集操作；

其中，目标采集操作包含：截屏操作、录屏操作或录音操作。

在一种可能的设计中，在执行所述第二目标采集操作之前，所述方法还包括：

接收所述第一电子设备发送的所述第一电子设备与所述第二电子设备之间的传输时延；或者

确定所述传输时延。

在一种可能的设计中，在接收所述第一电子设备发送的所述传输时延之前，所述方法还包括：

接收来自所述第一电子设备的心跳数据包，并向所述第一电子设备发送所述心跳数据包对应的心跳应答数据包。

在一种可能的设计中，确定所述传输时延，包括：

接收来自所述第一电子设备的携带发送时间戳心跳数据包，并根据所述心跳数据包的接收时间与所述发送时间戳，确定所述传输时延。

在一种可能的设计中，确定所述传输时延，包括：

按照心跳周期，向所述第一电子设备发送心跳数据包；

接收所述第一电子设备返回的所述心跳数据包对应的心跳应答数据包，并根据所述心跳数据包的发送时间与所述心跳应答数据包的接收时间，确定所述传输时延。

在一种可能的设计中，确定所述传输时延，包括：

按照心跳周期，向所述第一电子设备发送携带发送时间戳的心跳数据包；

接收所述第一电子设备返回的所述心跳数据包对应的心跳应答数据包，所述心跳应答数据包中包含所述心跳数据包中的发送时间戳；

根据所述心跳应答数据包的接收时间与所述发送时间戳，确定所述传输时延。

在一种可能的设计中，所述第一指令中携带所述第一指令的发送时间戳，所述确定传输时延，包括：

根据所述第一指令的接收时间与所述发送时间戳，确定所述传输时延。

在一种可能的设计中，所述方法还包括：

向所述第一电子设备发送采集数据，所述采集数据为所述第二电子设备执行所述第二目标采集操作得到的。

在一种可能的设计中，在向所述第一电子设备发送采集数据之前，所述方法还包括：

接收所述第一电子设备发送的第三指令，所述第三指令用于指示所述第二电子设备向所述第一电子设备发送所述采集数据。

在一种可能的设计中，所述执行所述第二目标采集操作，包括：

若所述第二电子设备显示屏幕上包括所述第一电子设备投屏到所述第二电子设备的投屏窗口，则对所述显示屏幕上除所述投屏窗口外的其它显示区域，执行所述第二目标采集操作。

在一种可能的设计中，所述执行所述第二目标采集操作，包括：

在预设长度的目标时间段内执行连续的截屏操作；或者

从目标时间点开始执行录屏操作或录音操作；

其中，所述目标时间点为所述第一指令的接收时间点减去所述传输时延得到的时间点，所述目标时间段的中心时间点为所述目标时间点。

第四方面，本申请实施例提供一种电子设备，所述电子设备包括触摸显示屏幕，存储器和一个或多个处理器；

其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述指令被所述一个或多个处理器调用执行时，使得所述电子设备能够执行上述第二方面或第二方面的任一可能的设计所描述的方法。

第五方面，本申请实施例提供一种电子设备，所述电子设备包括触摸显示屏幕，存储器和一个或多个处理器；

其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述指令被所述一个或多个处理器调用执行时，使得所述电子设备能够执行上述第三方面或第三方面的任一可能的设计所描述的方法。

第六方面，本申请实施例提供一种芯片，所述芯片与电子设备中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的计算机程序，实现本申请实施例第一方面或第一方面提供的任一可能设计的方法，或者实现本申请实施例第二方面或第二方面提供的任一可能设计的方法，或者实现本申请实施例第三方面或第三方面提供的任一可能设计的方法。

第七方面，本申请实施例提供一种计算机存储介质，该计算机存储介质存储有计算机程序，当所述计算机程序在电子设备上运行时，使得电子设备执行上述第一方面或第一方面的任一种可能的设计的方法，或者实现本申请实施例第二方面或第二方面提供的任一可能设计的方法，或者实现本申请实施例第三方面或第三方面提供的任一可能设计的方法。

第八方面，本申请实施例提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行第一方面或第一方面的任一种可能的设计的方法，或者实现本申请实施例第二方面或第二方面提供的任一可能设计的方法，或者实现本申请实施例第三方面或第三方面提供的任一可能设计的方法。

附图说明

图1为本申请实施例提供的一种跨设备控制***架构的简化示意图；

图2为本申请实施例提供的一种终端设备结构示意图；

图3为本申请实施例提供的一种终端设备的安卓操作***结构示意图；

图4为本申请实施例提供的一种跨设备控制方法的流程示意图；

图5为本申请实施例提供的一种控制设备利用指关节操作实现跨设备控制的流程示意图；

图6为本申请实施例提供的一种远端设备中指令触发方式的示意图；

图7为本申请实施例提供的一种远端设备中指令触发方式的示意图；

图8为本申请实施例提供的一种远端设备中指令触发方式的示意图；

图9为本申请实施例提供的一种远端设备中指令触发方式的示意图；

图10为本申请实施例提供的一种指关节操作的示意图；

图11为本申请实施例提供的一种跨设备控制方法的流程示意图；

图12为本申请实施例提供的一种跨设备控制方法的效果示意图；

图13为本申请实施例提供的一种跨设备控制方法的流程示意图；

图14为本申请实施例提供的一种跨设备控制方法的效果示意图；

图15为本申请实施例提供的一种跨设备控制方法的效果示意图；

图16为本申请实施例提供的一种跨设备控制中误差时间补偿方法的示意图；

图17为本申请实施例提供的一种跨设备控制中信息传输时延确定方法的示意图；

图18为本申请实施例提供的一种跨设备控制中信息传输时延确定方法的示意图；

图19为本申请实施例提供的一种跨设备控制中信息传输时延确定方法的示意图；

图20为本申请实施例提供的一种跨设备控制方法的流程示意图；

图21为本申请实施例提供的一种控制设备输出显示截屏数据的示意图；

图22为本申请实施例提供的一种远端设备的多屏协同界面的示意图；

图23为本申请实施例提供的一种远端设备的截屏界面的示意图；

图24为本申请实施例提供的一种远端设备的截屏界面的示意图；

图25为本申请实施例提供的一种远端设备截屏方法的流程示意图；

图26为本申请实施例提供的一种跨设备控制方法的示意图；

图27为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。

为了便于理解，下面对本申请相关用语进行说明以供参考。

1)、电子设备，为具有无线连接功能的设备。本申请一些实施例中电子设备可以是便携式设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴设备(例如，手表、手环、头盔、耳机等)、车载终端设备、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、智能家居设备(例如，智能电视、智能音箱等)等智能终端设备。

在本申请一些实施例中，电子设备还可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式终端设备。便携式终端设备的示例性实施例包括但不限于搭载

或者其它操作***的便携式终端设备。上述便携式终端设备也可以是其它便携式终端设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(Laptop)等。还应当理解的是，在本申请其它一些实施例中，上述电子设备也可以不是便携式终端设备，而是具有触敏表面(例如触控面板)的台式计算机。

2)、控制设备，为用于对其它电子设备进行控制，以使其它电子设备实现某些功能的电子设备。示例性的，所述控制设备可以为用户经常使用、便于操作的电子设备，例如手机、平板电脑。在本申请实施例中，控制设备为能够播放/显示多媒体文件的电子设备。

本申请实施例中为了方便描述，以控制设备为下发截屏、录屏或录音操作指示的控制设备为例进行说明。

3)、远端设备，为受控制设备的控制，执行相应操作的电子设备。示例性的，所述远端设备可以为用户不经常使用、不便于操作、不能随身携带的电子设备，例如，智能家居设备(如智能电视、智能音箱)等。在本申请实施例中，远端设备可以为能够播放/显示多媒体文件的电子设备。

在本申请一些实施例中，远端设备可以是具备图像显示、视频播放、音频播放中至少一项功能的电子设备，例如可以为智能电视、智能音响等；远端设备也可以是与控制设备类型相同的其它电子设备。

本申请实施例中为了方便描述，以远端设备为进行截屏、录屏或录音操作的被控设备为例进行说明。

4)、多媒体文件，是对至少一种媒体类型的信息进行存储和管理的数据文件，能够为用户提供多种形式的信息展现。其中，信息的媒体类型包括文本、声音、图像、影像等多种形式。在本申请实施例中，多媒体文件可以为图片文件、视频文件、音频文件、三维模型文件等。

在本申请实施例中，多媒体文件可以分为静态多媒体文件和动态多媒体文件，静态多媒体文件是数据内容维持静态不变的文件，例如静态图像等；动态多媒体文件是数据内容随时间动态变化的文件，例如动态图像、视频、音频、三维模型文件等。其中，动态图像或视频可以理解为一组静态图像的集合，集合中的静态图像随时间变化发生切换而实现某种动态效果。

应理解，本申请实施例中“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c可以是单个，也可以是多个。

目前电子设备可通过与其它电子设备建立连接，对其它电子设备进行控制并实现相应功能，以提高跨设备控制的易用性和便捷性。

为了实现跨设备控制，本申请提供了一种跨设备控制方法，在该方法中，可以通过应用软件实现跨设备截屏、录屏或录音控制。在该方法中，控制设备与远端终端设备可以安装用于实现上述跨设备控制功能的应用(Application，APP)；所述控制设备通过该APP发送控制指令，所述远端设备通过APP接收控制指令并执行该控制指令对应的操作，从而实现控制设备对远端设备的控制。这种控制方式的适用性较强，任意两个支持安装所述APP的电子设备都可以分别作为控制设备和远端设备进行设备间控制，但是，该方式的操作较为复杂，且控制设备与远端设备间的信息交互存在较大时延，容易造成无法对远端设备显示的动态内容进行精确截屏的问题。此外，远端设备接受控制设备的控制进行截屏、录屏等操作后，获取到的文件无法实时传回给控制设备，因此控制设备从远端设备获取截屏、录屏文件的速度较慢。

上述控制设备在控制远端设备进行截屏、录屏或录音等操作，并获取远端设备中相关结果数据时，存在操作复杂以及准确性和实时性都比较低的问题，无法满足用户对实时性和快捷性的需求。鉴于此，本申请还提供另一种跨设备控制方法，应用于第一电子设备和第二电子设备组成的***，具体可应用于跨设备截屏、录屏或录音的场景中。

本申请实施例中，第一电子设备和第二电子设备均为能够播放/显示多媒体文件的电子设备。

本申请实施例中，第一电子设备作为控制端设备，可以控制第二电子设备执行一些操作，第二电子设备作为被控端设备，可以根据第一电子设备的控制执行相应操作。可以理解的是，控制端设备和被控端设备的角色可以转换，即当第二电子设备作为控制端设备时，第一电子设备也可以作为被控端设备。

以下为了描述方便，将第一电子设备记为“控制设备”，将第二电子设备记为“远端设备”。

图1为本申请实施例提供的一种跨设备控制的***架构图。如图1所示，该***架构可以包括：控制设备101(例如图1中所示的手机)和远端设备102(例如图1中所示的智能电视)。

其中，所述控制设备101用于控制所述远端设备102进行截屏、录屏或录音操作，并从远端设备102获取相应的截屏、录屏或录音数据。所述远端设备102用于根据所述控制设备101的控制执行截屏、录屏或录音操作，并将相应截屏、录屏或录音数据实时返回给所述控制设备101。

在该***中，所述控制设备101与所述远端设备102之间能够进行通信。可选的，控制设备101与远端设备102可以接入同一个局域网，也可以接入不同的局域网。

在控制设备101与远端设备102接入在同一个局域网的示例中，具体可以为：控制设备101和远端设备102与同一无线接入点建立无线连接。

另外，控制设备101与远端设备102可以接入同一个无线保真(WirelessFidelity，Wi-Fi)热点。再例如，控制设备101和远端设备102也可以通过蓝牙协议接入同一个蓝牙信标下。再例如，控制设备101和远端设备102间也可以通过近场通信(Near FieldCommunication，NFC)标签触发通信连接，通过蓝牙模块传输加密信息进行身份认证。在认证成功后通过点对点(Point to Point，P2P)的方式进行数据传输。

需要说明的是，图1所示的***并不对本申请提供的跨设备控制方法适用的场景进行限定。例如，在某些场景中，手机可以作为控制设备控制其他远端设备；在另一些场景中，手机也可以作为远端设备受其他控制设备的控制。

还需要说明的是，本申请也不限定每个控制设备控制的远端设备的数量，其可以控制一个远端设备，也可以控制多个远端设备，例如控制3个或4个远端设备。

下面参阅图2，对本申请实施例提供的方法适用的电子设备的结构进行介绍。

如图2所示，电子设备200可以包括处理器210，外部存储器接口220，内部存储器221，USB接口230，充电管理模块240，电源管理模块241，电池242，天线1，天线2，移动通信模块250，无线通信模块260，音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，传感器模块280，按键290，马达291，指示器292，摄像头293，显示屏294，以及SIM卡接口295等。其中传感器模块280可以包括陀螺仪传感器、加速度传感器、接近光传感器、指纹传感器、触摸传感器、温度传感器、压力传感器、距离传感器、磁传感器、环境光传感器、气压传感器、骨传导传感器等。

可以理解的是，图2所示的电子设备200仅仅是一个范例，并不构成对电子设备的限定，并且电子设备可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图2中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor,ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor,DSP)，基带处理器，和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，控制器可以是电子设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了***的效率。

本申请实施例提供的跨设备控制方法的执行可以由处理器210来控制或调用其他部件来完成，比如调用内部存储器221中存储的本申请实施例的处理程序，或者通过外部存储器接口220调用第三方设备中存储的本申请实施例的处理程序，来控制无线通信模块260向其他终端设备进行数据通信，以实现跨设备控制，提高电子设备200的智能化、便捷化程度，提升用户的体验。处理器210可以包括不同的器件，比如集成CPU和GPU时，CPU和GPU可以配合执行本申请实施例提供的跨设备控制方法，比如跨设备控制方法中部分算法由CPU执行，另一部分算法由GPU执行，以得到较快的处理效率。

显示屏294用于显示图像，视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备200可以包括1个或N个显示屏294，N为大于1的正整数。显示屏294可用于显示由用户输入的信息或提供给用户的信息以及各种图形用户界面(graphical user interface，GUI)。例如，显示屏294可以显示照片、视频、网页、或者文件等。再例如，显示屏294可以显示如图1所示的终端设备的图形用户界面。其中，如图1所示的终端设备的图形用户界面上包括状态栏、Dock栏、时间和天气小组件(widget)、以及应用的图标，例如电话图标、短信图标、浏览器图标等。状态栏中包括运营商名称(例如***)、移动网络(例如4G)、时间和剩余电量等。此外，可以理解的是，在一些实施例中，状态栏中还可以包括蓝牙图标、Wi-Fi图标、外接设备图标等。还可以理解的是，在另一些实施例中，图1所示的终端设备的图形用户界面中还可以包括Dock栏，Dock栏中可以包括常用的应用图标等。当处理器210检测到用户的手指(或触控笔等)针对某一应用图标的触摸事件后，响应于该触摸事件，打开与该应用图标对应的应用的用户界面，并在显示屏294上显示该应用的用户界面。

在本申请实施例中，显示屏294可以是一个一体的柔性显示屏，也可以采用两个刚性屏以及位于两个刚性屏之间的一个柔性屏组成的拼接显示屏。

摄像头293(前置摄像头或者后置摄像头，或者一个摄像头既可作为前置摄像头，也可作为后置摄像头)用于捕获静态图像或视频。通常，摄像头293可以包括感光元件比如镜头组和图像传感器，其中，镜头组包括多个透镜(凸透镜或凹透镜)，用于采集待拍摄物体反射的光信号，并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的原始图像。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令，从而执行电子设备200的各种功能应用以及数据处理。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，应用程序(比如跨设备控制功能等)的代码等。存储数据区可存储电子设备200使用过程中所创建的数据(比如针对跨设备控制功能设置的预设数据等)等。

内部存储器221还可以存储本申请实施例提供的跨设备控制算法对应的一个或多个计算机程序。该一个或多个计算机程序被存储在上述内部存储器221中并被配置为被一个或多个处理器210执行，该一个或多个计算机程序包括指令，上述指令可以用于执行以下实施例中的各个步骤。

此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

当然，本申请实施例提供的跨设备控制算法的代码还可以存储在外部存储器中。这种情况下，处理器210可以通过外部存储器接口220运行存储在外部存储器中的跨设备控制算法的代码。

传感器模块280可以包括陀螺仪传感器、加速度传感器、接近光传感器、指纹传感器、触摸传感器等。

触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏294，由触摸传感器与显示屏294组成触摸显示屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏294提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器也可以设置于电子设备200的表面，与显示屏294所处的位置不同。

示例性的，电子设备200的显示屏294显示主界面，主界面中包括多个应用(比如相机应用、微信应用等)的图标。用户通过触摸传感器点击主界面中相机应用的图标，触发处理器210启动相机应用，打开摄像头293。显示屏294显示相机应用的界面，例如取景界面。

电子设备200的无线通信功能可以通过天线1，天线2，移动通信模块250，无线通信模块260，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中，移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。在本申请实施例中，移动通信模块250还可以用于与其它终端设备进行信息交互，即向其它终端设备发送控制指令，或者移动通信模块250可用于接收其它终端设备返回的数据。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频装置(不限于扬声器270A，受话器270B等)输出声音信号，或通过显示屏294显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器210，与移动通信模块250或其他功能模块设置在同一个器件中。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。本申请实施例中，无线通信模块260，用于与其它终端设备建立连接，进行数据交互。或者无线通信模块260可以用于接入接入点设备，向其它终端设备发送控制指令，或者接收来自其它终端设备发送的数据。

示例性的，如图1中所示的控制设备101和远端设备102可以通过移动通信模块250或无线通信模块260进行控制指令和数据的接收或发送，从而实现跨设备控制功能，控制设备101和远端设备102还可以通过移动通信模块250或无线通信模块260向对方发送心跳包，以使对方确认与自身的连接状态等信息。

另外，电子设备200可以通过音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，以及应用处理器等实现音频功能。例如音乐播放，录音等。电子设备200可以接收按键290输入，产生与电子设备200的用户设置以及功能控制有关的键信号输入。电子设备200可以利用马达291产生振动提示(比如来电振动提示)。电子设备200中的指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。电子设备200中的SIM卡接口295用于连接SIM卡。SIM卡可以通过***SIM卡接口295，或从SIM卡接口295拔出，实现和电子设备200的接触和分离。

应理解，在实际应用中，电子设备200可以包括比图2所示的更多或更少的部件，本申请实施例不作限定。图示电子设备200仅是一个范例，并且电子设备200可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

电子设备200的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android***为例，示例性说明终端设备的软件结构。参考图3，为本发明实施例的终端设备的软件结构框图。示例性的，图3是一种可以运行在上述控制设备中的软件架构示意图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。如图3所示，该软件架构可以分为五层，分别为应用程序层，应用程序框架层，安卓运行时和***库，硬件抽象层和Linux内核层。

应用程序层是操作***的最上一层，包括操作***的原生应用程序，例如电子邮件客户端、蓝牙、相机、音乐、视频、短信、通话、日历、浏览器、联系人等。本申请实施例涉及的APP，简称应用，为能够实现某项或多项特定功能的软件程序。通常，终端设备中可以安装多个应用。比如，相机应用、邮箱应用、智能家居控制应用等。下文中提到的应用，可以是终端设备出厂时已安装的***应用，也可以是用户在使用终端设备的过程中从网络下载或从其他终端设备获取的第三方应用。

当然，对于开发者来说，开发者可以编写应用程序并安装到该层。

在本申请一些实施例中，应用程序层可以用于实现设置界面的呈现，上述设置界面可以用于用户设置终端设备的跨设备控制功能。例如，用户可以在设置界面中进行跨设备控制功能的开启或关闭设置，还可以在设置界面中进行跨设备控制功能的配置，如跨设备控制功能中关于用户指令的形式及接收设置等。示例性的，设置界面中可以显示可供用户选择的用户指令的形式如触摸操作指令、按键操作指令、语音操作指令等，用户可以在设置界面中选择采用的用户指令形式，并进行具体操作设置等。例如，用户在设置界面中选择触摸操作指令的形式，则用户能够通过在触摸显示屏上进行触摸操作，来触发电子设备执行对应的功能，用户还能在设置界面中设置触摸操作的具体动作格式如指关节敲击触摸显示屏、指关节在触摸显示屏上滑动等。示例性的，上述设置界面可以为终端设备的触摸屏上所显示的状态栏或通知栏中的内容，还可以是终端设备的触摸屏上所显示的设备控制功能的控制界面。

一种可能的实现方式中，应用程序可以使用Java语言开发，通过调用应用程序框架层所提供的应用程序编程接口(Application Programming Interface，API)来完成，开发者可以通过应用程序框架来与操作***的底层(例如硬件抽象层、内核层等)进行交互，开发自己的应用程序。该应用程序框架主要是操作***的一系列的服务和管理***。

应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。

本申请实施例中，应用程序框架层还可以包含跨设备控制服务，具体包括Input(输入)服务、手势服务和多设备管理服务三个子服务模块，这三个子服务模块主要用于配合跨设备控制服务提供设备控制功能。例如Input服务用于对接收的Input事件进行识别，确定对应的操作类型；手势服务用于在Input服务确定的操作类型为手势操作时，对手势操作进行识别，确定对应的控制指令；多设备管理服务用于对当前连接的终端设备进行管理。跨设备控制服务将手势服务确定的控制指令下发至远端设备，从而使远端设备根据该控制指令执行对应的操作，然后跨设备控制服务接收远端设备上报的截屏/录屏/录音的结果数据，并上报至***应用层，完成设备控制的功能。

在本申请一些实施例中，跨设备控制服务还可以包括通知管理器，用于与其它数据层进行信息交互，例如向上层传输通知消息，以便在控制设备的显示界面例如触摸屏中进行呈现。

安卓运行时包括核心库和虚拟机。安卓运行时负责安卓***的调度和管理。安卓***的核心库包含两部分：一部分是Java语言需要调用的功能函数，另一部分是安卓***的核心库。应用程序层和应用程序框架层运行在虚拟机中。以Java举例，虚拟机将应用程序层和应用程序框架层的Java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器，媒体库，三维图形处理库(例如：OpenGL ES)，二维图形引擎(例如：SGL)等。表面管理器用于对显示子***进行管理，并且为多个应用程序提供了二维和三维图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。二维图形引擎是二维绘图的绘图引擎。

硬件抽象层(Hardware Abstraction Layer，HAL)是应用程序框架的支撑，是连接应用程序框架层与Linux内核层的重要纽带，其可通过应用程序框架层为开发者提供服务。

在本申请一些实施例中，硬件抽象层包括Input上报进程和手势算法进程，其中，Input上报进程用于接收内核层上报的Input事件，并上报至应用框架层，手势算法进程用于为应用框架层提供手势算法库，以使应用框架层根据该手势算法库对手势操作对应的控制指令进行识别。

内核(Kernel)层提供操作***的核心***服务，如安全性、内存管理、进程管理、网络协议栈和驱动模型等都基于内核层实现。内核层同时也作为硬件和软件栈之间的抽象层。该层有许多与电子设备相关的驱动程序，主要的驱动有：显示驱动；基于Linux的帧缓冲驱动；作为输入设备的键盘驱动；基于内存技术设备的Flash驱动；照相机驱动；音频驱动；蓝牙驱动；WI-FI驱动等。

在本申请一些实施例中，内核层作为硬件和软件栈之间的抽象层，包括TP驱动服务，用于通过串行外设接口获取硬件部分(例如触摸屏、触摸传感器等)接收的与控制指令相关的操作信息，并将其转换为Input事件后上报至硬件抽象层。

需要说明的是，在图1所示的跨设备控制***中，控制设备和远端设备均可以通过以上硬件架构和软件架构实现。

下面参考图4所示的跨设备控制方法流程图，结合图2及图3所示的电子设备的硬件结构和软件结构，以指关节操作控制远端设备截屏/录屏/录音为例，对本申请实施例提供的跨设备控制方法进行详细说明。

步骤1：控制设备检测到用户对触摸显示屏进行的触摸操作。

控制设备的触摸显示屏(Touch Panel，TP)检测到用户对触摸显示屏进行的触摸操作后，触发中断，并通知内核层获取对应的TP操作信息。

步骤2：所述控制设备获取所述触摸操作对应的TP操作信息，并转换为输入(Input)事件。

控制设备的内核层中TP驱动服务收到触摸显示屏发送的中断，通过串行外设接口获取所述触摸操作对应的TP操作信息，并转换为Input事件后上报至硬件抽象层。

步骤3：所述控制设备对所述Input事件进行内部转发。

内部转发是一种发生在计算机内部器件之间的通信行为，本申请中，内部转发可以是电子设备内部硬件结构间数据的转发或上报，也可以是电子设备内部软件结构间数据的转发或上报。

本申请实施例中，所述控制设备的硬件抽象层对所述Input事件进行内部转发，通过Input上报进程将内核层上报的所述Input事件上报至应用程序框架层。

步骤4：所述控制设备根据所述TP操作信息判断所述触摸操作是否为指关节操作。

控制设备的应用程序框架层中Input服务调用硬件抽象层手势算法库中的指关节算法，对所述TP操作信息进行识别，判断所述触摸操作是否为指关节操作。另外，当所述触摸操作为指关节操作时，通过所述手势算法库还可以识别所述指关节操作的具体类型。

若通过所述手势算法库识别所述触摸操作为指关节操作，则执行步骤5。

其中，手势算法库中包括识别用户对触摸显示屏进行的操作是否为手势操作的算法，以及识别手势操作的具体类型的算法。例如，所述手势算法库中可以包括手指操作识别算法、指关节操作识别算法等，以及手指操作类型识别算法、指关节操作类型识别算法等。

步骤5：当确定所述触摸操作为指关节操作时，所述控制设备确定所述指关节操作对应的控制指令，所述控制指令用于指示截屏/录屏/录音操作。

控制设备的应用框架层中Input服务确定TP操作信息是指关节操作时，手势服务模块确定该指关节操作对应的截屏/录屏/录音的控制指令。其中，手势服务模块可以预先存储不同指关节操作与不同控制指令的对应关系。

步骤6：所述控制设备确定所述控制指令所针对的远端设备。

例如，所述控制设备的应用程序框架层中多设备管理服务确定当前是否存在与其连接的远端设备，若是，执行步骤7，否则，不做任何处理。

步骤7：所述控制设备向所述远端设备发送所述控制指令。

所述控制设备通过移动通信模块或无线通信模块向远端设备发送所述控制指令。例如，控制设备可以通过移动通信模块以2G/3G/4G/5G等无线通信的方式，向远端设备发送所述控制指令；或者通过无线通信模块以Wi-Fi、蓝牙等短距离通信方式，向远端设备发送所述控制指令。

步骤8：所述远端设备根据该控制指令执行对应的截屏/录屏/录音的操作。

远端设备的软件结构中包括截屏/录屏/录音服务，用以根据控制设备的控制指令进行截屏/录屏/录音。

步骤9：所述远端设备将执行所述截屏/录屏/录音操作后，得到的结果数据发送到所述控制设备。

所述远端设备通过移动通信模块或无线通信模块向控制设备发送所述结果数据。例如，远端设备可以通过移动通信模块以2G/3G/4G/5G等无线通信的方式，向控制设备发送所述结果数据；或者通过无线通信模块以Wi-Fi、蓝牙等短距离通信方式，向控制设备发送所述结果数据。

步骤10：控制设备对接收的所述结果数据进行输出显示或存储。

控制设备的应用程序框架层中多设备管理服务接收远端设备发送的截屏/录屏/录音操作的结果数据，并上报至应用程序层，由应用程序层对远端设备截屏/录屏/录音操作的结果数据，进行输出或存储或其它处理。

示例性的，如图5所示，本申请实施例中控制设备利用指关节操作实现跨设备控制的流程包括：

步骤S501，控制设备中TP器件接收用户在触摸显示屏上的触摸操作，并触发中断；

步骤S502，控制设备中内核层TP驱动接收到所述中断，转换为Input事件并上报到应用程序框架层；

步骤S503，控制设备中应用程序框架层调用手势算法库识别所述触摸操作是否为指关节操作；若是，执行步骤S504，否则，执行步骤S505。

步骤S504，控制设备中应用程序框架层将所述触摸操作对应的控制指令发送给远端设备；

步骤S505，保持原有相关控制流程。

上述实施例提供的具体实施流程，仅是对本申请实施例适用方法流程的举例说明，其中各步骤的执行顺序可根据实际需求进行相应调整，还可以增加其它步骤，或减少部分步骤。上述实施例提供的方法流程也可结合其它实施例提供的方法流程执行，以实现本申请实施例提供的跨设备控制方法。

上述实施例中，通过控制设备接收用户对远端设备进行控制的触摸操作指令，并生成对应的控制指令，指示给远端设备，从而控制远端设备进行截屏/录屏/录音。能够实现以控制设备为载体，快速对其它电子设备进行截屏/录屏/录音控制，同时，该方法操作简单，通用性较强，仅需用户触摸操作就能实现跨设备截屏/录屏/录音控制。

在本申请实施例中，跨设备控制的应用场景包括如下至少一种：

1)以控制设备为载体，实时控制与自身连接的远端设备进行截屏，并由该远端设备将对应的截屏数据返回至控制设备。

2)以控制设备为载体，实时控制与自身连接的远端设备进行录屏，并由该远端设备将对应的录屏数据返回至控制设备。

3)以控制设备为载体，实时控制与自身连接的远端设备进行录音，并由该远端设备将对应的录音数据返回至控制设备。

本申请实施例，控制设备可以仅与一个远端设备连接，并控制该远端设备进行截屏/录屏/录音，或者，控制设备可以与多个远端设备连接，并控制其中的至少一个远端设备进行截屏/录屏/录音。

上述场景中均由控制设备实时监测是否接收到针对远端设备的截屏/录屏/录音的控制指令，若控制设备接收到所述控制指令，则向连接的远端设备下发所述控制指令，以使远端设备根据该控制指令进行截屏/录屏/录音。可选的，在控制设备的触摸显示屏处于息屏状态或工作状态时，所述控制设备均可以实时监测是否接收到所述控制指令，且在该两种状态下控制设备监测与接收控制指令的方式可以相同。

本申请实施例中，控制设备和远端设备中均可以设置跨设备控制功能特性开关，该特性开关可由用户或者其它设备控制打开或关闭，或者所述控制设备和远端设备在启动后，即开启跨设备控制功能。

若控制设备中的所述特性开关打开，则控制设备可以响应用户触发的针对远端设备截屏/录屏/录音的控制指令，向连接远端设备下发所述控制指令；否则，控制设备不响应所述控制指令。

若远端设备中的所述特性开关打开，则该远端设备可以根据控制设备发送的所述控制指令，进行截屏/录屏/录音操作；否则，该远端设备不响应所述控制指令。

本申请实施例中，用户可以通过快捷操作触发控制设备控制与其连接的远端设备进行截屏/录屏/录音操作，然而鉴于目前还存在用户可以通过一些快捷操作触发对电子设备自身显示屏的截屏或录屏的方案，因此，为了实现两个方案的兼容，控制设备若接收到用户触发的截屏/录屏/录音的控制指令，需要区分控制对象是自身还是远端设备。本申请实施例中，控制设备可以通过对控制指令的触发方式进行区分，使控制设备能够根据接收的控制指令确定对应的控制对象。示例性的，控制设备可以但不限于通过以下方式进行区分控制对象：

通过触摸操作的类型，和/或，通过在触摸显示屏中针对不同的控制对象设置不同的区域，区分控制对象。

本申请实施例中，截屏/录屏/录音的控制指令的触发形式采用如下至少一种方式：

指令触发方式1、触摸操作触发

指令触发方式2、按键操作触发

指令触发方式3、语音指示触发

在上述指令触发方式1的情况下，控制设备可以预先设置不同类型的触摸操作，并通过将所述不同的触摸操作对应到不同的控制指令或不同的控制对象，来确定用户的触摸操作对应的控制指令或控制对象。又或者，控制设备可以在触摸显示屏中设置不同的区域，通过将所述不同的区域对应到不同的控制指令或不同的控制对象，来确定用户在不同区域进行触摸操作对应的控制指令或控制对象。在跨设备控制过程中，控制设备响应于用户在触摸显示屏上进行的触摸操作，生成对应的控制指令，并控制对应的控制对象执行所述控制指令。所述控制指令为截屏或录屏或录音的控制指令。

示例性的，控制设备预先设置的不同类型的触摸操作可以包括指关节敲击操作、指关节滑动操作、手指点击或长按操作、手指滑动操作等，其中，各种操作还可以进一步划分为不同的触摸操作，例如指关节敲击操作可以进一步包括单指关节单击、单指关节双击、双指关节单击、双指关节双击等操作。

本申请实施例中，不同的触摸操作与控制指令或控制对象的对应关系，以及不同区域与控制指令或控制对象的对应关系，为预设的固定对应关系，或者为用户设置的对应关系。不同类型的触摸操作可以为预设操作，或者为用户设置的设定操作。

本申请实施例中，控制设备包括但不限于采用如下至少一种方式，确定触摸操作对应的控制指令和控制对象：

1)在触摸显示屏中设置多个触摸操作区域，不同区域分别对应不同的控制对象，用户通过在各区域进行触摸操作，分别对各区域对应的控制对象进行控制。

可选地，在该方式中，设置不同类型的控制指令对应的触摸操作不同。

示例性的，在该方式中可以设置第一区域对应控制设备自身，第二区域对应远端设备。

示例性的，在该方式中还可以设置截屏、录屏和录音三者的控制指令对应的触摸操作不同。例如，将单指关节双击、双指关节双击、单指关节沿设定轨迹滑动分别对应到截屏、录屏、录音的控制指令，则在触摸显示屏中第二区域接收到单指关节双击显示屏幕的操作时，能够确定触发对远端设备的截屏控制指令。

2)在触摸显示屏中设置多个触摸操作区域，不同区域分别对应不同类型的控制指令，用户通过在各区域进行触摸操作，分别触发生成对应的控制指令。

示例性的，在该方式中可以设置第一区域用于接收截屏指令，第二区域用于接收录屏指令，第三区域用于接收录音指令。

可选地，在该方式中，设置不同类型的控制对象对应的触摸操作不同。

示例性的，在该方式中可以设置对控制设备自身和对远端设备进行截屏/录屏/录音控制的触摸操作不同。例如，将单指关节单击、单指关节双击分别对应到针对控制设备自身和针对远端设备的截屏控制指令，则在触摸显示屏中第一区域接收到单指关节双击显示屏幕的操作时，能够确定触发对远端设备的截屏控制指令。

3)针对不同类型的控制对象设置不同类型的触摸操作，用户通过在触摸显示屏上进行不同类型的触摸操作，对不同的控制对象进行控制。

可选地，在该方式中，设置不同类型的控制指令对应的触摸操作区域不同。例如，在该方式中可以设置截屏、录屏和录音三者的控制指令对应的触摸操作区域不同。

4)针对不同类型的控制指令设置不同类型的触摸操作，用户通过在触摸显示屏上进行不同类型的触摸操作，触发生成不同的控制指令。

可选地，在该方式中，设置不同类型的控制对象对应的触摸操作不同。例如，在该方式中可以设置对控制设备自身和对远端设备进行截屏/录屏/录音控制的触摸操作不同。

上述各方式中，还可以将控制对象分为控制设备自身及与所述控制设备连接的不同类型的远端设备，并分别对应设置不同类型的触摸操作或触摸显示屏中不同的区域。

下面结合具体实例1-4对本申请实施例提供的跨设备控制方法进行详细说明。

实例1

示例性的，控制设备在触摸显示屏中，针对控制设备自身和连接的远端设备设置不同的区域，若用户在控制设备自身对应的区域中进行触摸操作，则对控制设备自身进行截屏/录屏/录音控制；若用户在远端设备对应的区域中进行触摸操作，则对远端设备进行截屏/录屏/录音控制。

例如，如图6所示，控制设备将触摸显示屏分为区域1与区域2共两个区域，将区域1设置为远端设备对应的区域，将区域2设置为控制设备自身对应的区域。则用户在触摸显示屏上半部分的区域1进行触摸操作时，触发针对所述远端设备的截屏/录屏/录音的控制指令；用户在触摸显示屏下半部分的区域2进行触摸操作时，触发针对控制设备自身的截屏/录屏/录音的控制指令。

在本申请一些实施例中，还可以将控制设备的触摸显示屏分多个显示区域，不同区域分别对应控制设备自身，及与控制设备连接的不同类型的远端设备。

例如，如图7所示，可以根据设备类型对控制设备支持连接的远端设备进行区分，例如可以分为显示设备与音频设备两类，则可以将控制设备的触摸显示屏分为区域1、区域2和区域3共三个区域，并将区域1设置为显示设备对应的区域，将区域2设置为音频设备对应的区域，将区域3设置为控制设备自身对应的区域。则用户在触摸显示屏上方的区域1进行触摸操作时，触发针对所述显示设备的截屏/录屏的控制指令；用户在触摸显示屏中间的区域2进行触摸操作时，触发针对所述音频设备的录音的控制指令。用户在触摸显示屏下方的区域3进行触摸操作时，触发针对控制设备自身的截屏/录屏/录音的控制指令。

作为一种可选的实施方式，还可以在上述图6所示区域划分方法的基础上，将图6中划分的区域1根据上述划分的显示设备与音频设备两种设备类型进行划分，得到如图8所示的区域1和区域3，并将区域1设置为显示设备对应的区域，区域3设置为音频设备对应的区域；区域2设置为控制设备自身对应的区域。则用户在触摸显示屏左上方的区域1进行触摸操作时，触发针对所述显示设备的截屏/录屏/录音的控制指令；用户在触摸显示屏右上方的区域3进行触摸操作时，触发针对所述音频设备的截屏/录屏/录音的控制指令。用户在触摸显示屏下方的区域2进行触摸操作时，触发针对控制设备自身的截屏/录屏/录音的控制指令。

实例2

示例性的，在触摸显示屏中，针对截屏、录屏和录音的控制指令设置不同的区域，若用户在截屏的控制指令对应的区域中进行触摸操作，则触发生成截屏的控制指令；若用户在录屏的控制指令对应的区域中进行触摸操作，则触发生成录屏的控制指令；若用户在录音的控制指令对应的区域中进行触摸操作，则触发生成录音的控制指令。

例如，如图9所示，将控制设备的触摸显示屏分为区域1、区域2和区域3共三个区域时，还可以将区域1设置为截屏对应的区域，区域2设置为录屏对应的区域，区域3设置为录音对应的区域，则在区域1接收的触摸操作对应到截屏的控制指令，在区域2接收的触摸操作对应到录屏的控制指令，在区域3接收的触摸操作对应到录音的控制指令，其中，各区域接收的触摸操作可以相同，也可以不同。

实例3

示例性的，针对控制设备和远端设备设置不同类型的触摸操作，若用户进行的触摸操作的类型与控制设备对应，则对控制设备自身进行截屏/录屏/录音控制；若用户进行的触摸操作的类型与远端设备对应，则对远端设备进行截屏/录屏/录音控制。

例如，可以将多指操作对应到控制设备自身，将指关节操作对应到远端设备。则用户在触摸显示屏上进行设定的指关节触摸操作时，触发生成针对与控制设备连接的其它远端设备的截屏/录屏/录音的控制指令；用户在触摸显示屏上进行多指触摸操作时，触发生成针对控制设备自身的截屏/录屏/录音的控制指令。

在本申请某些实施例中，还可以将不同类型的触摸操作分别对应到控制设备自身，及不同类型的远端设备，控制设备通过在触摸显示屏上接收不同类型的触摸操作，触发生成对应的控制指令，分别对自身和与自身连接的不同类型的远端设备进行控制。

例如，将与控制设备连接的远端设备分为显示设备与音频设备时，可以将多指操作对应到针对控制设备自身的控制指令，将指关节敲击触摸显示屏的操作对应到所述显示设备，将指关节在触摸显示屏上滑动的操作对应到所述音频设备。则用户在触摸显示屏上进行设定的指关节敲击的操作时，触发生成针对所述显示设备的截屏/录屏/录音的控制指令；用户在触摸显示屏上进行设定的指关节滑动的操作时，触发生成针对所述音频设备的截屏/录屏/录音的控制指令；用户在触摸显示屏上进行多指触摸操作时，触发生成针对控制设备自身的截屏/录屏/录音的控制指令。

实例4

示例性的，针对截屏、录屏和录音的控制指令设置不同类型的触摸操作，若用户进行的触摸操作的类型与截屏对应，则触发生成截屏的控制指令；若用户进行的触摸操作的类型与录屏对应，则触发生成录屏的控制指令；若用户进行的触摸操作的类型与录音对应，则触发生成录音的控制指令。

例如，触摸操作可以为指关节操作，即用户通过任意手指的指关节在触摸显示屏进行操作。控制设备可以将单指关节双击触摸显示屏对应到截屏的控制指令，将双指关节双击触摸显示屏对应到录屏的控制指令，将预设的特定指关节在触摸显示屏上按预设轨迹滑动对应到录音的控制指令。则如图10中的示意图(a)所示，用户通过任一手指的指关节双击触摸显示屏两次，就能触发生成截屏的控制指令；如图10中的示意图(b)所示，用户通过任意两个手指的指关节双击触摸显示屏两次，就能触发生成录屏的控制指令；如图10中的示意图(c)所示，用户通过任一手指的指关节在触摸显示屏上按预设轨迹滑动，就能触发生成录音的控制指令。

上述各实施例中，控制设备能够通过多种方式触发截屏/录屏/录音的控制指令，进而实现设备控制功能，且具体实施中，还可以根据实际需求灵活调整实施方式，因此，该方法具有较佳的适用性，能够适应多种应用场景需求。

示例性的，结合上述指令触发方式，以控制设备控制显示设备进行截屏/录屏，及以指关节控制截屏/录屏为例，对本申请实施例提供的跨设备控制方法进行说明。其中，将在触摸显示屏上半部分的区域进行的触摸操作对应到针对所述显示设备的截屏/录屏的控制指令；将在触摸显示屏下半部分的区域进行的触摸操作对应到针对控制设备自身的截屏/录屏的控制指令。将单指关节双击触摸显示屏对应到截屏的控制指令，将双指关节双击触摸显示屏对应到录屏的控制指令。如图11所示，具体流程包括如下步骤：

步骤S1101：控制设备与显示设备建立连接，并检测到用户指关节双击触摸显示屏的触摸操作。

步骤S1102：控制设备确定该触摸操作对应的区域是否为触摸显示屏上半部分。若是，执行步骤S1103，否则，执行步骤S1104。

步骤S1103：控制设备确定跨设备控制功能特性开关是否打开。若是，执行步骤S1105，否则，执行步骤S1104。

步骤S1104：保持原有相关控制流程。

步骤S1105：控制设备确定该触摸操作是否为双指关节双击触摸显示屏。若是，执行步骤S1106，否则，执行步骤S1108。

步骤S1106：控制设备向与其连接的显示设备发送根据所述触摸操作生成的录屏的控制指令，以指示所述显示设备进行录屏。

步骤S1107：控制设备检测到用户进行触发录屏停止的触摸操作时，生成录屏停止的控制指令后发送给显示设备，以指示所述显示设备停止录屏，并接收该显示设备录屏停止后返回的录屏数据。

步骤S1108：控制设备向与其连接的显示设备发送截屏的控制指令，以指示所述显示设备进行截屏，并接收该显示设备截屏后返回的截屏数据。

上述方法的截屏/录屏效果示意图如图12所示。具体的，控制设备控制显示设备进行截屏时，如图12中示意图(a)所示，所述控制设备在显示屏幕上对应显示设备的区域中接收到单指关节双击的操作时，指示所述显示设备进行截屏；如图12中示意图(b)所示，所述显示设备根据所述控制设备的指示进行截屏，并将截屏图片返回给所述控制设备；如图12中示意图(c)所示，所述控制设备对所述显示设备返回的所述截屏图片进行显示，以反馈给用户。控制设备控制显示设备进行录屏时，如图12中示意图(d)所示，所述控制设备在显示屏幕上对应显示设备的区域中接收到双指关节双击的操作时，指示所述显示设备进行录屏；如图12中示意图(e)所示，所述显示设备根据所述控制设备的指示进行录屏，并将录屏得到的视频返回给所述控制设备；如图12中示意图(f)所示，所述控制设备对所述显示设备返回的所述视频进行显示，以反馈给用户。

上述实施例提供的具体实施流程，仅是对本申请实施例适用方法流程的举例说明，其中各步骤的执行顺序可根据实际需求进行相应调整，还可以增加其它步骤，或减少部分步骤。上述实施例提供的方法流程也可结合其它实施例提供的方法流程执行，以实现本申请实施例提供的跨设备控制方法。

上述实施例提供的方法，通过对触发生成控制指令的操作类型进行分类，以及对触摸显示屏进行区域划分，能够将用户的操作指令分别对应到不同的控制对象和控制指令，使控制设备既能实现针对自身的截屏/录屏控制，又能实现针对其它设备的跨设备截屏/录屏控制，应用场景覆盖更广泛。

示例性的，结合上述指令触发方式，以控制设备控制与其连接的音频设备进行录音，及以指关节控制录音为例，对本申请实施例提供的跨设备控制方法进行说明。其中将在触摸显示屏上半部分的区域进行的触摸操作对应到针对所述音频设备的录音的控制指令，将在触摸显示屏下半部分的区域进行的触摸操作对应到针对控制设备自身的录音的控制指令。将单指关节在触摸显示屏上按照预设轨迹滑动对应到录音的控制指令。如图13所示，具体流程包括如下步骤：

步骤S1301：控制设备与音频设备建立连接，并检测到用户利用指关节按照预设轨迹在触摸显示屏上滑动的触摸操作。

步骤S1302：控制设备确定跨设备控制功能特性开关是否打开。若是，执行步骤S1303，否则，执行步骤S1304。

步骤S1303：控制设备根据所述触摸操作生成录音的控制指令，并发送给所述音频设备，以指示所述音频设备进行录音。并执行步骤S1305。

步骤S1304：保持原有相关控制流程。

步骤S1305：控制设备检测到用户进行触发录音停止的触摸操作时，生成录音停止的控制指令后发送给所述音频设备，以指示所述音频设备停止录音，并接收该音频设备录音停止后返回的录音数据。

上述方法的录音效果示意图如图14所示。具体的，控制设备控制音频设备进行录音时，如图14中示意图(a)所示，所述控制设备在显示屏幕上对应音频设备的区域中接收到指关节按预设轨迹滑动的操作时，指示所述音频设备进行录音，如图14中示意图(b)所示，所述音频设备根据所述控制设备的指示进行录音，并将录音数据返回给所述控制设备，所述控制设备接收所述显示设备返回的音频数据后可以显示对应的提示信息，提示用户已获取到音频设备录制的音频数据，并根据用户的操作执行相应处理。例如，如图14中示意图(c)所示，控制设备接收到音频设备发送的音频数据1后，显示已获取到音频设备录制的音频数据的提示信息，同时显示询问用户是否保存所述音频数据1的提示信息，若接收到用户选择保存所述音频数据1的操作，则保存所述音频数据1，同时可以显示所述音频数据1的存储界面，如图15所示，用户可继续对所述音频数据1进行相关操作，例如播放该音频数据等。

上述实施例提供的具体实施流程，仅是对本申请实施例适用方法流程的举例说明，其中各步骤的执行顺序可根据实际需求进行相应调整，还可以增加其它步骤，或减少部分步骤。上述实施例提供的方法流程也可结合其它实施例提供的方法流程执行，以实现本申请实施例提供的跨设备控制方法。

上述实施例提供的方法，通过控制设备接收用户对音频设备进行控制的触摸操作指令，并生成对应的控制指令，指示给远端设备，从而控制远端设备进行录音。能够实现以控制设备为载体，快速对其它音频设备进行录音控制，进而使控制设备能够快速获取其它音频设备的数据。

在上述指令触发方式2的情况下，控制设备预先设置不同类型的按键操作，并通过将所述不同的按键操作对应到不同的控制指令和控制对象，来确定用户的触摸操作对应的控制指令和控制对象。在跨设备控制过程中，控制设备响应于用户对控制设备的实体按键和/或触摸显示屏上的虚拟按键进行的按键操作，生成对应的控制指令，并控制对应的控制对象执行所述控制指令。所述控制指令为截屏或录屏或录音的控制指令。

本申请实施例中，不同按键操作与控制指令和控制对象的对应关系为预设的固定对应关系，或者为根据用户的设置确定的对应关系。不同类型的按键操作可以为预设的固定操作，或者为用户设置的设定操作。

在本申请一些实施例中，用户对控制设备的实体按键进行的操作可以是对快捷键进行的操作，对触摸显示屏上的虚拟按键进行的操作可以是对控制设备默认配置的虚拟按键，或者对预设的与截屏/录屏/录音的控制指令对应的虚拟按键进行的操作。示例性的，可以对控制设备的不同虚拟按键和/或实体按键进行组合后分别对应到不同的控制对象和不同的控制指令，若用户同时按下组合的按键，或者同时按下组合的按键且维持预设时间，则触发对应的控制指令。

例如，可以将同时按下电源键和音量上键对应到截屏的控制指令，将同时按下电源键和音量下键对应到录屏的控制指令，将同时按下音量上键和音量下键对应到录音的控制指令；将同时按下上述按键对应到针对远端设备的控制指令，将同时按下上述按键并维持预设时间对应到针对控制设备自身的控制指令。

又例如，可以在第一终端的触摸显示屏上增加分别对应截屏、录屏、录音的控制指令的虚拟按键，若用户在触摸显示屏上点击或长按该虚拟按键，则触发对应的控制指令，其中，触摸显示屏上增加的虚拟按键可以分别设置由用户控制的开关，若用户打开开关，则在触摸显示屏上显示所述虚拟按键，否则，不在触摸显示屏上显示所述虚拟按键。

上述方式中，还可以将控制对象分为控制设备自身及与所述控制设备连接的不同类型的远端设备，并分别对应设置不同类型的按键操作。

在上述指令触发方式3的情况下，用户可以采用语音控制的方式下发截屏/录屏/录音的控制指令，控制设备通过接收并识别用户发出的语音信息，确定对应的控制指令和控制对象。

示例性的，控制设备接收到与截屏/录屏/录音的控制指令对应的预设的语音信息，或者，接收到与截屏/录屏/录音的控制指令对应的包括预设关键字段的语音信息时，触发对应的控制指令，其中，预设关键字段包括所需控制的远端设备的名称、执行的操作名称等信息。

例如，与控制设备连接的显示设备为智能电视且该智能电视的名称为智慧屏时，预设的语音信息可以为“对智慧屏截屏/录屏/录音”、“截取智慧屏的屏幕”、“录制智慧屏的屏幕”“录制智慧屏的音频”等，则控制设备监测到用户发出上述语音信息时，触发对应的控制指令；预设关键字可以包括“智慧屏”、“截屏/录屏/录音”、“截取、屏幕”等多个字段，则控制设备监测到用户发出的语音中包括上述预设关键字时，触发对应的控制指令。如控制设备若监测到用户发出的语音信息为“截屏”，则截取自身触摸显示屏，若监测到用户发出的语音信息为“截取智慧屏的屏幕”，则控制连接的智慧屏执行截屏操作。

上述语音控制的方式中，用户在控制过程中仅需说出控制需求即可，因此，相对触摸操作和按键操作触发控制的方式，操作更为简便快捷，能够更快速高效的实现跨设备控制功能。

本申请实施例中，控制设备接收到截屏/录屏/录音的控制指令时，通过下列至少一种方式向对应的远端设备下发所述控制指令：

指令下发方式1、控制设备直接向与自身连接的所有远端设备发送所述控制指令。

具体的，控制设备接收到针对远端设备的截屏/录屏/录音的控制指令时，直接向连接的所有远端设备发送控制指令，各远端设备接收到控制指令后，根据所述控制指令执行截屏/录屏/录音操作，并在操作完成后，将获取的数据回传给所述控制设备，控制设备接收数据后对数据进行存储和/或输出显示。其中，控制设备若确定只与一个远端设备连接且接收到该远端设备回传的数据，则直接将接收的数据进行存储和/或输出显示；若确定与多个远端设备连接，则在显示界面上输出对接收到的多个远端设备回传的数据进行选择的提示信息，并根据用户对多个远端设备回传的数据进行选择的操作指令，将用户选择的远端设备回传的数据进行存储和/或输出显示，并删除用户未选择的远端设备回传的数据。

多设备场景中用户可能只想获取某一个连接的远端设备的截屏/录屏/录音数据，本申请上述实施例中，控制设备先获取连接的所有远端设备进行截屏/录屏/录音操作的结果数据，再反馈给用户选择，能够尽可能缩短执行时间，保证跨设备控制的连续性和实时性。

指令下发方式2、控制设备向与自身连接的所有远端设备发送携带推迟回传指示的控制指令。

具体的，控制设备接收到针对远端设备的截屏/录屏/录音的控制指令时，在控制指令中增加推迟回传指示信息后，再向连接的所有远端设备发送该控制指令，其中，推迟回传指示用于指示各远端设备在根据控制指令执行截屏/录屏/录音操作后，暂时不向控制设备回传获取到的数据，并将是否截屏/录屏/录音成功的结果返回给控制设备。各远端设备接收到控制设备发送的控制指令后，根据控制指令执行截屏/录屏/录音操作，并在执行成功后暂时保存获取到的数据，并向控制设备发送截屏/录屏/录音是否成功的反馈信息。控制设备接收到反馈信息后，将执行成功的远端设备在显示界面上进行输出显示，同时输出对所述远端设备进行选择的提示信息，以使用户选择获取截屏/录屏/录音数据的远端设备。控制设备根据用户对各远端设备进行选择的操作指令，向用户选择的远端设备发送回传数据的指示信息，并向用户未选择的远端设备发送删除数据的指示信息。各远端设备若接收到回传数据的指示信息，则向控制设备发送执行截屏/录屏/录音操作后获取的数据；若接收到删除数据的指示信息，则将之前存储的执行截屏/录屏/录音操作后获取的数据删除。控制设备接收用户选择的远端设备回传的数据后，对数据进行存储和/或输出显示。

例如，控制设备同时连接远端设备A、远端设备B和远端设备C三个远端设备时，若接收到对远端设备进行截屏的指令，则控制设备分别向远端设备A、远端设备B和远端设备C发送截屏的控制指令，远端设备A、远端设备B和远端设备C分别根据接收的该控制指令执行截屏操作。其中，若远端设备A和远端设备B成功完成截屏操作，远端设备C未能成功执行截屏操作，则远端设备A和远端设备B分别向控制设备发送截屏成功的反馈信息，远端设备C向控制设备发送截屏失败的反馈信息。控制设备收到上述反馈信息后，确定远端A和远端设备B截屏成功，则显示对远端A和远端设备B进行选择的提示信息。控制设备根据接收到的用户对远端设备A和远端设备B进行选择的操作，若确定远端设备A被选择，则指示远端设备A发送截屏得到的图片，并对接收到的所述图片进行显示。远端设备B可以删除其截屏得到的图片。

作为一种可选的实施方式，本申请实施例中，控制设备还可以采用上述指令下发方式1和指令下发方式2结合的方式，向远端设备下发控制指令。具体的，控制设备接收到针对远端设备的截屏/录屏/录音的控制指令时，若确定当前仅与一个远端设备连接，则认为该控制指令是针对该远端设备的，采用上述指令下发方式1，直接向该远端设备发送控制指令，并接收远端设备执行控制指令后回传的数据；若确定当前与多个远端设备连接，则采用上述指令下发方式2，向各远端设备发送携带推迟回指示的控制指令。其中具体实施方式与上述方法相同。

本申请上述实施例中，通过控制设备控制连接的所有远端设备进行截屏/录屏/录音操作的同时，暂缓远端设备的数据回传，在用户选择所需控制的远端设备后，对应的远端设备再回传数据。因此，控制设备无需对所有远端设备的数据进行接收和处理，能够减少控制设备的数据处理量，提高执行效率。

控制设备采用上述指令下发方式1或指令下发方式2向远端设备下发截屏/录屏/录音的控制指令时，由于控制设备与远端设备之间存在信息传输时延，远端设备接收到控制指令进行截屏/录屏/录音时也会存在滞后的问题，因此会导致远端设备无法进行精准的截屏/录屏/录音，控制设备就无法得到精确的截屏/录屏/录音数据。鉴于此，本申请中，通过远端设备提前存储当前时间之前特定时间内的数据，使远端设备在进行截屏/录屏/录音时，能够获取到用户在控制设备触发控制的时间点前后的数据，从而获取精确的截屏/录屏/录音数据。

具体的，远端设备与控制设备建立连接后，若远端设备显示或播放的多媒体数据是已存储的数据，则远端设备不做额外处理，若远端设备显示或播放的多媒体数据不是已存储的数据，例如在线播放视频等，则远端设备在显示或播放多媒体数据时，针对显示或播放过程中每一个时刻，对该时刻之前预设时间内的多媒体数据进行缓存。

例如，远端设备与控制设备连接后，播放时长为10分钟的视频数据，其中预设时间为50ms。在播放该视频数据过程中，若播放到第2分20秒500毫秒的数据，则对该时刻之前50ms内的数据进行缓存，即播放进度的第2分20秒450毫秒到第2分20秒500毫秒之间的数据；若播放到第2分20秒600毫秒的数据，则对该时刻之前50ms内的数据进行缓存，即播放进度的第2分20秒550毫秒到第2分20秒600毫秒之间的数据。

具体实施时，可以在播放视频时对视频数据进行实时缓存，并在播放过程中，删除当前时刻之前预设时间对应的时间点之前缓存的数据，所述当前时刻可以为视频播放过程中任一时刻。例如，上述视频播放过程中，当前播放进度是2分20秒500毫秒，当前时刻之前预设时间对应的时间点为2分20秒450毫秒，则删除播放进度2分20秒450毫秒之前缓存的数据，仅保留当前时刻之前预设时间内(2分20秒450毫秒至2分20秒500毫秒)的数据。

本申请实施例中，远端设备接收到控制设备的控制指令后，先确定自身与控制设备之间的信息传输时延T，然后在提前缓存的数据中，从当前时刻减去信息传输时延T后对应时间点的数据开始，进行截屏/录屏/录音。其中，所述当前时刻为所述远端设备显示或播放多媒体数据过程中任一时刻。若控制指令为截屏的指令，则远端设备对当前时刻减去信息传输时延T后对应时间点的前后各预设时间间隔内的数据，进行连续截屏，得到截屏数据。若控制指令为录屏/录音的指令，则远端设备从当前时刻减去信息传输时延T后对应时间点开始，进行录屏/录音，至远端设备接收到控制设备发送的录屏/录音停止的控制指令。

所述预设时间为大于所述信息传输时延与所述预设时间间隔之和的设定时间。例如，预设时间间隔可以为10ms。

本申请实施例中，录屏/录音停止的控制指令与上述录屏/录音的控制指令的触发方式相同，控制设备接收到用户触发的录屏/录音停止的控制指令后，发送到远端设备。远端设备接收到控制设备发送的录屏/录音停止的控制指令后停止录屏/录音；或者，远端设备接收到控制设备发送的录屏/录音停止的控制指令后停止录屏/录音，并将接收到停止的控制指令之前误差时间段内的录屏/录音数据删除，该误差时间为上述的信息传输时延。

本申请实施例中，远端设备通过如下任一方式确定信息传输时延T：

时延确定方式1、远端设备根据控制设备指示的指令发送时间确定对应的信息传输时延T；

控制设备在向远端设备发送的控制指令中携带指令发送时间，远端设备接收到该控制指令后，将接收所述控制指令的指令接收时间与所述控制指令中携带的指令发送时间的差值确定为信息传输时延。其中，所述指令发送时间为控制设备向远端设备发送所述控制指令的时间，与所述控制设备接收到用户触发截屏/录屏/录音操作的时间相同，例如可以为控制设备检测到用户在触摸显示屏上进行触发截屏/录屏/录音控制指令的触摸操作的时间。

示例性的，控制设备检测到用户进行的触摸操作的时间为T1，远端设备接收到控制设备发送的对应控制指令的时间为T2，根据控制设备指示的时间T1，远端设备能够确定与控制设备之间的信息传输时延为T＝T2-T1。

例如，如图16所示，假设远端设备从t0时刻开始播放视频数据，控制设备t1时刻接收到用户进行的触摸操作，并向远端设备发送该触摸操作对应的控制指令，该控制指令携带指令发送时间t1。远端设备接收到该控制指令的时间为t2时刻，预设时间间隔为t。则远端设备确定信息传输时延T＝t2-t1。

当远端设备在t2时刻接收到控制设备发送的截屏指令，则远端设备对t2-T对应时间即t1时刻的数据进行截屏，或者对t1时刻前后t时间内的数据进行连续截屏，得到截屏数据。实际实施过程中，考虑t1可能存在较小误差、远端设备显示内容可能更新过快等情况，通过对t1时刻前后t时间内的数据进行连续截屏，能够从截取的多张图片中选择所需要的图片，则进一步保证了能够获取到更准确的截屏数据。

当远端设备在t2时刻接收到控制设备发送的录屏/录音指令，且在t3时刻接收到控制设备发送的录屏/录音停止的控制指令，则远端设备从t2-T对应时间即t1时刻开始，对数据进行录屏/录音，到t3时刻停止，得到录屏/录音数据。其中，远端设备到t3时刻停止录屏/录音后，还可以将t3时刻提前信息传输时延即t3-T得到t4时刻，将录取的t4至t3时间段内的数据删除，从而得到更准确的数据。其中，上述t1<t2<t4<t3。

上述实施例中，通过控制设备指示远端设备进行截屏/录屏/录音的起始时间点，能够使远端设备进行准确的截屏/录屏/录音操作，得到相对准确的操作结果，避免因设备间信息转发时延造成的误差。

时延确定方式2、远端设备利用与控制设备传输的心跳包确定信息传输时延T。

心跳包(心跳数据包)是处于连接状态的设备间定时通知对方自身状态的信息，按照一定的时间间隔发送。本申请实施例中，远端设备与第一终端建立连接后，会定时互发送心跳包，以使对端确认连接状态，因此，远端设备可利用心跳包确定与控制设备之间的信息传输时延。

具体的，作为一种可选的实施方式，远端设备向控制设备发送心跳包后，控制设备向远端设备返回心跳包应答(心跳应答数据包)，远端设备将接收心跳包应答与发送心跳包的时间差的一半确定为信息传输时延。如图17所示，远端设备向控制设备发送附加当前发送时间的心跳包，控制设备接收该心跳包后向远端设备发送心跳包应答，远端设备接收该心跳包应答并确定接收该心跳包应答的时间，远端设备将接收心跳包应答与发送心跳包的时间差的一半确定为信息传输时延。

作为另一种可选的实施方式，控制设备在向远端设备发送的心跳包中携带该心跳包的发送时间，远端设备将接收到该心跳包的接收时间与该心跳包的发送时间的差值，确定为信息传输时延。

作为又一种可选的实施方式，控制设备向远端设备发送心跳包后，远端设备向控制设备发送心跳包应答，控制设备将接收心跳包应答与发送心跳包的时间差的一半确定为信息传输时延，并指示给远端设备。

作为再一种可选的实施方式，远端设备向控制设备发送携带心跳包发送时间的心跳包，控制设备向远端设备返回携带所述发送时间的心跳包，远端设备将接收所述心跳应答时间与所述发送时间的时间差的一半确定为信息传输时延。如图18所示，远端设备向控制设备发送附加发送时间戳的心跳包，控制设备接收该心跳包后，向远端设备发送携带所述发送时间戳的心跳包，远端设备接收该心跳包后，将接收心跳包的时间与所述发送时间戳对应时间的差值的一半确定为信息传输时延。

上述实施例中，控制设备与远端设备之间的心跳包是定时发送的，因此，远端设备或控制设备不仅能根据心跳包确定准确的信息传输时延，还能根据心跳包的定时发送，定时对确定的信息传输时延进行更新，保证其准确性。

示例性的，如图19所示，假设远端设备在T1时刻向控制设备发送心跳包，并在T2时刻接收到控制设备返回的心跳包应答，则能够确定与控制设备之间的信息传输时延为T＝(T2-T1)/2。或者，假设控制设备在T3时刻向远端设备发送携带发送时间T3的心跳包，远端设备在T4时刻接收到该心跳包，则能够确定与控制设备之间的信息传输时延为T＝T4-T3。上述T1<T2，T3<T4。

进一步的，为了提高精度，本申请实施例中，远端设备和控制设备可以多次利用心跳包确定对应的多个信息传输时延，并将多次确定的多个信息传输时延值取平均，作为执行截屏/录屏/录音指令时采用的信息传输时延。

示例性的，结合图20，以控制设备控制远端设备进行截屏/录屏为例，对上述方法进行示例说明。如图所示，具体流程包括如下步骤：

步骤S2001：远端设备与控制设备建立连接，若特性开关打开，则向控制设备发送携带当前时间T1(心跳包发送时间)的心跳包。

步骤S2002：控制设备接收到远端设备发送的心跳包后，向远端设备返回心跳包应答。

步骤S2003：远端设备确定接收控制设备返回的心跳包应答的时间T2。

步骤S2004：远端设备确定与控制设备之间的单路径信息传输耗时T5＝(T2-T1)/2。

步骤S2005：远端设备与控制设备在预设次数内重复执行上述步骤确定T5，并对多次确定的T5取平均值，得到控制设备与远端设备之间的信息传输时延T。

其中，预设次数可以为5次。

步骤S2006：远端设备确定当前是否显示动态多媒体数据。若是，执行步骤S2007，否则，执行步骤S2009。

其中，远端设备通过识别当前显示数据的数据类型，确定当前显示数据是否为动态多媒体数据。

步骤S2007：远端设备确定是否已存储当前显示数据。若是，执行步骤S2009，否则，执行步骤S2008。

步骤S2008：远端设备对当前时间之前预设时间内的多媒体数据进行缓存。

其中，预设时间为远端设备确定的T与预设时间间隔之和，预设时间间隔可以为10ms。

步骤S2009：远端设备接收到控制设备发送的截屏/录屏的控制指令时，根据该控制指令进行截屏/录屏，并将获取的截屏/录屏数据发送给控制设备。

其中，远端设备接收到控制设备发送的截屏的控制指令时，对当前时间减去T后对应的时间点前后各预设时间间隔内的数据进行截屏；远端设备接收到控制设备发送的录屏的控制指令时，从当前时间减去T后对应的时间点开始进行录屏。

上述预设时间间隔为10ms时，远端设备对当前时间减去T后对应的时间点前后各10ms即共20ms内的数据进行截屏。

步骤S2010：控制设备接收远端设备返回的截屏/录屏数据，并反馈给用户。

其中，截屏数据为远端设备截取的一定时间内的连续数据，具体为包括多张图像的图像集，用户可以根据图像集进一步选择所需的合适图像。例如，如图21所示，远端设备进行截屏操作并将截取的图像集返回给控制设备后，控制设备将图像集中的各图像输出显示，反馈给用户，用户可以在图像集包括的多张图像中选择保留的图像，还可以对图像进行调整等处理。控制设备根据用户对多张图像进行选择的操作，保留用户选择的图像，删除用户未选择的图像。

上述实施例提供的具体实施流程，仅是对本申请实施例适用方法流程的举例说明，其中各步骤的执行顺序可根据实际需求进行相应调整，还可以增加其它步骤，或减少部分步骤。上述实施例提供的方法流程也可结合其它实施例提供的方法流程执行，以实现本申请实施例提供的跨设备控制方法。

在某些场景下，远端设备在一定时间段内可能一直处于输出显示静态图像的状态，在这些场景下，控制远端设备进行截屏时仅需截取当前触摸显示屏即可，没有必要必须对之前预设时间内的数据进行缓存。因此，作为一种可选的实施方式，远端设备在输出显示多媒体文件时，可以对显示的多媒体文件的文件类型进行识别，若确定显示的静态多媒体文件，则在接收到截屏或录屏的控制指令时，直接执行对应的截屏或录屏操作；若确定显示的是动态多媒体文件，则在接收到截屏或录屏的控制指令时，根据上述方法进行传输时延的时间补偿后，再执行对应的截屏或录屏操作。具体实施时，可采用如上述实施例所述的方法。

上述实施例中，通过确定控制设备与远端设备之间的信息传输时延，使远端设备根据该信息传输时延，在执行截屏/录屏/录音操作时进行误差时间补偿，从而实现精准的截屏/录屏/录音，解决了对动态图像进行截屏/录屏/录音时存在的滞后性问题。

在本发明某些实施例中，远端设备接收到截屏/录屏/录音指令时可能处于多屏协同状态，即远端设备的触摸显示屏除输出显示自身的数据外，还对投屏到自身的其它电子设备的数据进行显示。因此，在控制远端设备进行截屏/录屏/录音时，可以仅获取当前显示数据中属于自身的数据，或者获取当前显示的所有数据。

作为一种可选的实施方式，远端设备可以仅对显示的自身的数据进行截屏/录屏/录音，具体的，远端设备在多屏协同状态时，对触摸显示屏中其它电子设备投屏显示的数据添加多屏协同标志，在进行截屏/录屏/录音时跳过具有多屏协同标志的数据，仅针对属于自身的数据进行截屏/录屏/录音。

作为另一种可选的实施方式，远端设备可以不区分自身或其它电子设备投屏的数据，直接针对显示屏幕显示的所有数据进行截屏/录屏/录音。

作为又一种可选的实施方式，远端设备接收到控制设备发送的截屏/录屏/录音指令时，若确定投屏到自身的其它电子设备包括所述控制设备，则针对显示数据中除所述控制设备的数据之外的数据进行截屏/录屏/录音；若确定投屏到自身的其它电子设备不包括所述控制设备，则针对属于所述远端设备自身的数据进行截屏/录屏/录音，或者针对显示屏幕显示的所有数据截屏/录屏/录音。

示例性的，如图22所示，远端设备处于多屏协同状态，其中图层界面1用于显示远端设备自身的数据，图层界面2位于图层界面1之上，用于显示投屏到远端设备的其它电子设备的数据。例如，远端设备为智能电视，投屏到远端设备的电子设备为手机时，图层界面1对应的窗口显示智能电视自身界面，图层界面2对应的窗口显示手机的界面。

远端设备接收到控制设备发送的截屏指令时，确定投屏到自身的手机是否是所述控制设备，若是，则截屏时跳过图层界面2，仅截取图层界面1显示的内容，否则，直接截取整个显示屏幕对应内容，或者，跳过图层界面2，仅截取图层界面1显示的内容。

本申请实施例中，远端设备绘制显示界面或显示窗口时，通过在对应其它电子设备的图层界面2上增加多屏协同标志，来标识截屏时是否跳过图层界面2。终端设备在接收到截屏或录屏的控制指令并进行截屏时，若确定图层界面2上有多屏协同标志，则跳过图层界面2进行截屏，截取的屏幕示意图如图23所示；若确定图层界面2上没有多屏协同标志，则针对整个显示屏幕对应的显示界面进行截屏，截取的屏幕示意图如图24所示。一种示例的具体流程如图25所示，包括如下步骤：

步骤S2501：远端设备与控制设备建立连接。

步骤S2502：远端设备确定当前是否是多屏协同场景。若是，执行步骤S2503，否则，执行步骤S2504。

步骤S2503：远端设备绘制显示窗口时，在投屏到自身的窗口添加多屏协同标志。

步骤S2504：远端设备接收到控制设备发送的截屏的控制指令时，判断当前触摸显示屏的窗口中是否存在具有多屏协同标志的窗口。若是，执行步骤S2505，否则，执行步骤S2506。

步骤S2505：远端设备跳过具有多屏协同标志的窗口后，进行截屏，获取触摸显示屏中自身数据对应窗口的截图。并执行步骤S2507。

步骤S2506：远端设备直接进行截屏，获取触摸显示屏对应窗口的截图。

步骤S2507：远端设备截屏完成后，存储截屏数据或向控制设备发送截屏数据。

作为另一种可选的实施方式，远端设备在接收到截屏或录屏的控制指令时，不区分图层界面1、图层界面2所属的终端设备，直接进行截屏。截取的屏幕如图23所示。

上述实施例提供的具体实施流程，仅是对本申请实施例适用方法流程的举例说明，其中各步骤的执行顺序可根据实际需求进行相应调整，还可以增加其它步骤，或减少部分步骤。上述实施例提供的方法流程也可结合其它实施例提供的方法流程执行，以实现本申请实施例提供的跨设备控制方法。

上述实施例中，在远端设备处于多屏协同场景时，通过多屏协同标志位对触摸显示屏中显示的数据所述的设备对象进行区分，能够在截屏或录屏过程中，根据用户需求有针对性的进行截屏或录屏操作，满足多种控制需求。

本申请上述各实施例提供的跨设备控制方法可结合执行，以实现对应的跨设备控制功能。

基于上述实施例，本申请实施例提供了一种跨设备控制方法，应用于第一电子设备和第二电子设备组成的***，如图26所示，该方法包括如下步骤：

步骤S2601：第一电子设备与第二电子设备建立无线通信连接。

步骤S2602：所述第一电子设备响应于接收到的第一操作，执行第一目标采集操作。

步骤S2603：所述第一电子设备响应于接收到的第二操作，向所述第二电子设备发送第一指令，所述第一指令用于指示所述第二电子设备执行第二目标采集操作。

步骤S2604：所述第二电子设备响应于接收到的所述第一指令，执行所述第二目标采集操作。

其中，目标采集操作包含：截屏操作、录屏操作或录音操作。

具体的，该方法中第一电子设备和第二电子设备所执行的具体步骤可参阅前述实施例，在此不做过多赘述。

基于以上实施例，本申请实施例还提供了一种电子设备，所述电子设备可以为第一电子设备或第二电子设备。所述电子设备用于实现本申请实施例提供的应用于第一电子设备或第二电子设备的跨设备控制方法。如图27所示，所述电子设备2700可以包括：显示屏2701，一个或多个处理器2702，存储器2703，以及一个或多个计算机程序(图中未示出)。上述各器件可以通过一个或多个通信总线2704耦合。

其中，显示屏2701用于显示图像、视频等相关用户界面。存储器2703中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令；处理器2702调用存储器2703中存储的所述指令，使得电子2700执行本申请实施例提供的跨设备控制方法。

上述本申请提供的实施例中，从电子设备作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能，终端设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。

以上实施例中所用，根据上下文，术语“当…时”或“当…后”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。另外，在上述实施例中，使用诸如第一、第二之类的关系术语来区份一个实体和另一个实体，而并不限制这些实体之间的任何实际的关系和顺序。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。本申请说明书的上述描述可以使得本领域技术任何可以利用或实现本申请实施例的内容，任何基于所公开内容的修改都应该被认为是本领域显而易见的，本申请实施例所描述的基本原则可以应用到其它变形中而不偏离本申请的发明本质和范围。因此，本申请实施例所公开的内容不仅仅局限于所描述的实施例和设计，还可以扩展到与本申请原则和所公开的新特征一致的最大范围。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请实施例的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请实施例也意图包括这些改动和变型在内。

Claims (23)

1.一种跨设备控制方法，应用于第一电子设备与第二电子设备组成的***，其特征在于，包括：

所述第一电子设备与所述第二电子设备建立无线通信连接；

所述第一电子设备响应于接收到的第一操作，执行第一目标采集操作；

所述第一电子设备响应于接收到的第二操作，向所述第二电子设备发送第一指令，所述第一指令用于指示所述第二电子设备执行第二目标采集操作；

所述第二电子设备响应于接收到的所述第一指令，执行所述第二目标采集操作；

其中，目标采集操作包含：截屏操作、录屏操作或录音操作。

2.根据权利要求1所述的方法，其特征在于，在所述第二电子设备执行所述第二目标采集操作之前，所述方法还包括：

所述第一电子设备确定与所述第二电子设备之间的传输时延，并向所述第二电子设备发送所述传输时延；或者

所述第二电子设备确定所述传输时延。

3.根据权利要求2所述的方法，其特征在于，所述第一电子设备确定与所述第二电子设备之间的传输时延，包括：

所述第一电子设备按照心跳周期，向所述第二电子设备发送心跳数据包；

所述第二电子设备接收所述心跳数据包，并向所述第一电子设备发送所述心跳数据包对应的心跳应答数据包；

所述第一电子设备接收所述心跳应答数据包，并根据所述心跳数据包的发送时间与所述心跳应答数据包的接收时间，确定所述传输时延。

4.根据权利要求2所述的方法，其特征在于，所述第二电子设备确定所述传输时延，包括：

所述第一电子设备按照心跳周期，向所述第二电子设备发送携带发送时间戳的心跳数据包；

所述第二电子设备接收所述心跳数据包，并根据所述心跳数据包的接收时间与所述发送时间戳，确定所述传输时延。

5.根据权利要求2所述的方法，其特征在于，所述第二电子设备确定所述传输时延，包括：

所述第二电子设备按照心跳周期，向所述第一电子设备发送心跳数据包；

所述第一电子设备接收所述心跳数据包，并向所述第二电子设备发送所述心跳数据包对应的心跳应答数据包；

所述第二电子设备接收所述心跳应答数据包，并根据所述心跳数据包的发送时间与所述心跳应答数据包的接收时间，确定所述传输时延。

6.根据权利要求2所述的方法，其特征在于，所述第二电子设备确定所述传输时延，包括：

所述第二电子设备按照心跳周期，向所述第一电子设备发送携带发送时间戳的心跳数据包；

所述第一电子设备接收所述心跳数据包，并向所述第二电子设备发送所述心跳数据包对应的心跳应答数据包，所述心跳应答数据包中包含所述心跳数据包中的发送时间戳；

所述第二电子设备接收所述心跳应答数据包，并根据所述心跳应答数据包的接收时间与所述发送时间戳，确定所述传输时延。

7.根据权利要求2所述的方法，其特征在于，所述第一指令中携带所述第一指令的发送时间戳，所述第二电子设备确定所述传输时延，包括：

所述第二电子设备根据所述第一指令的接收时间与所述发送时间戳，确定所述传输时延。

8.根据权利要求1～7任一所述的方法，其特征在于，所述方法还包括：

所述第二电子设备将执行所述第二目标采集操作得到的采集数据发送到所述第一电子设备；

所述第一电子设备显示接收到的所述采集数据。

9.根据权利要求8所述的方法，其特征在于，所述***还包括第三电子设备，在所述第二电子设备将所述采集数据发送到所述第一电子设备之前，所述方法还包括：

所述第一电子设备与所述第三电子设备建立无线通信连接；

所述第一电子设备响应于接收到的第二操作，向所述第三电子设备发送第二指令，所述第二指令用于指示所述第三电子设备执行第三目标采集操作；

所述第三电子设备响应于接收到的所述第二指令，执行所述第三目标采集操作；

所述第一电子设备显示第一选项和第二选项；

所述第一电子设备响应于对所述第一选项的操作，向所述第二电子设备发送第三指令，所述第三指令用于指示所述第二电子设备向所述第一电子设备发送所述采集数据；

所述第一电子设备响应于对所述第二选项的操作，向所述第三电子设备发送第四指令，所述第四指令用于指示所述第三电子设备向所述第一电子设备发送所述采集数据。

10.根据权利要求1～9任一所述的方法，其特征在于，所述第二电子设备执行所述第二目标采集操作，包括：

若所述第二电子设备显示屏幕上包括所述第一电子设备投屏到所述第二电子设备的投屏窗口，则所述第二电子设备对所述显示屏幕上除所述投屏窗口外的其它显示区域，执行所述第二目标采集操作。

11.根据权利要求2～10任一所述的方法，其特征在于，所述第二电子设备执行所述第二目标采集操作，包括：

所述第二电子设备在预设长度的目标时间段内执行连续的截屏操作；或者

所述第二电子设备从目标时间点开始执行录屏操作或录音操作；

其中，所述目标时间点为所述第一指令的接收时间点减去所述传输时延得到的时间点，所述目标时间段的中心时间点为所述目标时间点。

12.根据权利要求1～11任一所述的方法，其特征在于，所述第一操作或所述第二操作包括如下至少一项：

作用于所述第一电子设备的触摸显示屏幕的操作；

作用于所述第一电子设备的至少一个按键的操作。

13.根据权利要求1～12任一所述的方法，其特征在于，所述第一电子设备的触摸显示屏幕包括第一触摸操作区域和第二触摸操作区域；

其中，所述第一触摸操作区域用于接收所述第一操作，所述第二触摸操作区域用于接收所述第二操作。

14.根据权利要求1～12任一所述的方法，其特征在于，所述第一电子设备的触摸显示屏幕包括第一触摸操作区域和第二触摸操作区域；

其中，所述第一触摸操作区域用于接收控制所述第一电子设备执行所述截屏操作的第一操作，所述第一触摸操作区域还用于接收控制所述第二电子设备执行所述截屏操作的第二操作；

所述第二触摸操作区域用于接收控制所述第一电子设备执行所述录屏操作的第一操作，所述第二触摸操作区域还用于接收控制所述第二电子设备执行所述录屏操作的第二操作。

15.一种跨设备控制方法，应用于第一电子设备，其特征在于，包括：

与第二电子设备建立无线通信连接；

响应于接收到的第一操作，执行第一目标采集操作；

响应于接收到的第二操作，向所述第二电子设备发送第一指令，所述第一指令用于指示所述第二电子设备执行第二目标采集操作；

其中，目标采集操作包含：截屏操作、录屏操作或录音操作。

16.根据权利要求15所述的方法，其特征在于，所述方法还包括：

按照心跳周期，向所述第二电子设备发送携带发送时间戳的心跳数据包。

17.根据权利要求15所述的方法，其特征在于，所述方法还包括：

接收来自所述第二电子设备的心跳数据包，并向所述第二电子设备发送所述心跳数据包对应的心跳应答数据包。

18.根据权利要求15所述的方法，其特征在于，所述方法还包括：

接收来自所述第二电子设备的携带发送时间戳的心跳数据包，并向所述第二电子设备发送所述心跳数据包对应的心跳应答数据包，所述心跳应答数据包中包含所述心跳数据包中的发送时间戳。

19.根据权利要求15～18任一所述的方法，其特征在于，所述方法还包括：

接收来自所述第二电子设备的采集数据，所述采集数据为所述第二电子设备执行所述第二目标采集操作得到的；

显示接收到的所述采集数据。

20.根据权利要求19所述的方法，其特征在于，在接收来自所述第二电子设备的采集数据之前，所述方法还包括：

与第三电子设备建立无线通信连接；

响应于接收到的第二操作，向所述第三电子设备发送第二指令，所述第二指令用于指示所述第三电子设备执行第三目标采集操作；

显示第一选项和第二选项；

响应于对所述第一选项的操作，向所述第二电子设备发送第三指令，所述第三指令用于指示所述第二电子设备向所述第一电子设备发送所述采集数据；

响应于对所述第二选项的操作，向所述第三电子设备发送第四指令，所述第四指令用于指示所述第三电子设备向所述第一电子设备发送所述采集数据。

21.根据权利要求15～20任一所述的方法，其特征在于，所述第一电子设备的触摸显示屏幕包括第一触摸操作区域和第二触摸操作区域；

其中，所述第一触摸操作区域用于接收所述第一操作，所述第二触摸操作区域用于接收所述第二操作。

22.一种电子设备，其特征在于，包括触摸显示屏幕，存储器和一个或多个处理器；

其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令被所述一个或多个处理器执行时，使得所述电子设备执行如权利要求15至21中任一项所述的方法。

23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至14任一项所述的方法，或者执行如权利要求15至21任一项所述的方法。

Images