CN113867851A - 电子设备操作引导信息录制方法、获取方法和终端设备 - Google Patents

Abstract

本申请适用于终端技术领域，提供了电子设备操作引导信息录制方法、获取方法和终端设备。上述电子设备操作引导信息录制方法包括：第一终端设备响应于接收到的电子设备类型标识，模拟与所述电子设备类型标识对应的第一电子设备的操作界面和/或物理硬件；所述第一终端设备接收基于所述操作界面和/或物理硬件的操作信息；所述第一终端设备获取根据所述操作信息所生成的操作元素信息；所述第一终端设备对所述操作元素信息进行录制，生成操作引导信息，所述操作引导信息中包括电子设备类型标识。上述方法使得第一终端设备可以不需要通过第一电子设备即可获取第一电子设备的操作元素信息。

Description

电子设备操作引导信息录制方法、获取方法和终端设备

技术领域

本申请涉及终端技术领域，尤其涉及一种电子设备操作引导信息录制方法、获取方法和终端设备。

背景技术

目前，随着电子设备的类型不断增多，用户对电子设备的操作变得日益复杂，尤其对于不善于操作电子设备的用户，如何能够简单、便捷地操作电子设备成为一个难题。

目前，可以在终端上显示某个电子设备的操作界面，以使得用户可以在该操作界面上进行操作。然后，终端将该用户的操作发送给电子设备进行执行，以生成操作引导信息。但是，上述方法需要终端与电子设备建立通信连接，而如何对与终端设备无法建立通信连接的电子设备录制操作引导信息是亟需解决的问题。

发明内容

本申请提供一种电子设备操作引导信息录制方法、获取方法和终端设备，用于实现终端设备可以不需要通过电子设备即可获取电子设备的操作元素信息。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种电子设备操作引导信息录制方法，该方法包括：第一终端设备响应于接收到的电子设备类型标识，模拟与所述电子设备类型标识对应的第一电子设备的操作界面和/或物理硬件；所述第一终端设备接收基于所述操作界面和/或所述物理硬件的操作信息；所述第一终端设备获取根据所述操作信息所生成的操作元素信息；所述第一终端设备对所述操作元素信息进行录制，生成操作引导信息，所述操作引导信息中包括电子设备类型标识。

本申请实施例中第一终端设备通过模拟电子设备的操作界面和/或物理硬件。然后第一终端设备接收基于该操作界面和/或物理硬件上的操作信息，以及获取根据该操作信息所生成的操作元素信息。之后，第一终端设备对该操作元素信息进行录制生成操作引导信息。本申请实施例中第一终端设备首先通过模拟该第一电子设备的操作界面和/或物理硬件，由于第一终端设备所模拟的操作界面和/或物理硬件所具有的功能和属性与第一电子设备本身的操作界面和/或物理硬件所具有的功能和属性相同，因此，第一终端设备获取的基于该操作界面和/或物理硬件上的操作信息和第一电子设备执行相同的所产生的操作信息相同，因此第一终端设备基于根据该操作信息产生的操作元素信息与第一电子设备执行该操作信息产生的操作元素信息相同，从而使得第一终端设备可以不需要通过第一电子设备即可获取第一电子设备的操作元素信息。此外，本申请实施例中第一电子设备无需将自己的操作界面共享给终端设备，故避免了泄露第一电子设备用户隐私的风险。

结合第一方面，在一些实施例中，所述第一终端设备响应于接收到的电子设备类型标识，模拟与所述电子设备类型标识对应的电子设备的操作界面和/或物理硬件，包括：所述第一终端设备请求与所述第一电子设备建立通信连接；在所述第一终端设备未与所述第一电子设备成功建立通信连接的情况下，所述第一终端设备模拟所述第一电子设备的所述操作界面和/或所述物理硬件。

结合第一方面，在一些实施例中，所述第一终端设备模拟所述电子设备的所述操作界面和/或所述物理硬件，包括：所述第一终端设备调用所述第一电子设备的虚拟设备模型，并通过所述虚拟设备模型模拟所述第一电子设备的所述操作界面和/或所述物理硬件。

示例性的，第一终端设备可以以AR/VR的方式模拟第一电子设备的操作界面和/或物理硬件，再结合人体动作识别技术接收基于该操作界面和/或物理硬件输入的操作信息，并获取基于该操作信息所生成的操作元素信息。

其中，虚拟设备模型可以包含第一电子设备的物理特征，软件特征，操作组件特征，以及用于在虚拟环境展现、操作的3D/2D设备外观/操作界面模拟模型等。

例如，虚拟设备模型可以包含设备ID、设备类型、连接类型、可被记录的操作、硬件信息、软件信息、2D/3D模型数据等。其中，设备ID为该虚拟设备模型的标识；设备类型为该虚拟设备模型对应的第一电子设备的设备类型；连接类型为该虚拟设备模型的通信连接方式，例如WIFI、蓝牙、NFC、局域网、分布式设备网络等；可被记录的操作用于限定对该虚拟设备模型的操作中能够被记录的操作，可用于放置隐私信息泄露；硬件信息表征该虚拟设备模型对应的第一电子设备的物理特征；软件信息表征可在该虚拟设备模型中运行的应用程序的软件特征；2D/3D模型数据为该虚拟设备模型对应的第一电子设备的外观/操作界面模拟模型等。

结合第一方面，在一些实施例中，所述方法包括：在所述第一终端设备与所述第一电子设备成功建立通信连接的情况下，所述第一终端设备从所述第一电子设备处获取所述第一电子设备的操作元素信息。

结合第一方面，在一些实施例中，所述第一终端设备从所述第一电子设备处获取所述第一电子设备的操作元素信息，包括：所述第一终端设备向所述第一电子设备发送操作元素信息获取请求，所述操作元素信息获取请求用于请求所述第一电子设备获取所述第一电子设备响应于接收到的操作信息所产生的操作元素信息，以及向所述第一终端设备发送所述操作元素信息。

结合第一方面，在一些实施例中，所述电子设备类型标识为多个，每个所述电子设备类型标识对应一第一电子设备，每个所述第一电子设备对应多组操作元素信息，每组所述操作元素信息对应一生成时间和一电子设备类型标识；

所述方法还包括：所述第一终端设备向多个所述电子设备类型标识对应的每个第一电子设备发送时间同步请求，所述时间同步请求用于请求所述第一电子设备调整所述第一电子设备的时间与所述第一终端设备的时间一致；

所述第一终端设备对所述操作元素信息进行录制，生成操作引导信息，包括：所述第一终端设备按照各组所述操作元素信息对应的电子设备类型标识，确定与各个第一电子设备对应的操作元素信息；所述第一终端设备按照操作元素信息的生成时间的先后顺序，将与每个第一电子设备对应的操作元素信息进行打包，生成与每个第一电子设备对应的操作引导信息。

结合第一方面，在一些实施例中，所述操作引导信息还包括文本信息，所述文本信息为：所述第一电子设备在获取所述操作信息对应的时间范围内，将获取到的用于与所述操作信息共同进行操作引导的音频信息转换得到的文本信息。

结合第一方面，在一些实施例中，所述操作元素信息包括针对于所述第一电子设备的操作界面的界面操作元素信息，和/或针对于所述第一电子设备的物理硬件的硬件操作元素信息；其中，所述界面操作元素信息包括操作界面布局和与操作界面的状态变化对应的操作元素信息。

示例性的，该操作页面布局可以包括应用名称、页面名称、按钮名称、位置等，操作界面的状态变化可以包括按钮点击、输入框内容变化、焦点变化等，基于上述状态变化可以获取对应的操作元素信息。例如，终端设备可以通过UI界面的view服务获取到上述操作元素信息，具体对于android平台的第一终端设备可通过accessibility service的本地消息监听功能获取到上述界面操作元素信息。

结合第一方面，在一些实施例中，所述方法还包括：在所述第一终端设备获取所述操作信息对应的时间范围内，所述第一终端设备获取用于与所述操作信息共同进行操作引导的音频信息；所述第一终端设备将所述音频信息录制在所述操作引导信息中。

结合第一方面，在一些实施例中，所述第一终端设备将所述音频信息录制在所述操作引导信息中，包括：所述第一终端设备将所述音频信息转换为文本信息，以及将所述文本信息录制在所述操作引导信息中。

其中，为了避免泄露用户声纹信息的风险，第一终端设备可以通过NLP技术将该音频信息转换为文本信息后录制在操作引导信息中，在后续过程中可以通过TTS技术将该文本信息转换为音频信息进行播放。

示例性的，上述文本信息中可以包含电子设备类型标识和时间信息，其中，电子设备类型标识用于表征该文本信息所对应的第一电子设备，时间信息用于表征第一终端设备获取到该文本信息的时间。

一些实施例中，每一操作元素信息对应一生成时间、一电子设备类型标识和一应用程序标识，上述电子设备操作引导信息录制方法还可以包括：第一终端设备获取操作元素信息对应的电子设备类型标识和应用程序标识，将所述操作元素信息与对应的电子设备类型标识和应用程序标识建立链接关系，并展示所述电子设备类型标识和所述应用程序标识。

示例性的，第一终端设备可以将操作元素信息按照电子设备类型标识和应用程序标识划分，将对应于每个电子设备类型标识的操作元素信息按照应用程序标识划分，并建立操作元素信息与电子设备类型标识和应用程序标识的链接关系，以列表或图表等方式展示该电子设备类型标识和所述应用程序标识，使得用户可以直观了解操作引导信息对应的第一电子设备和应用程序。同时，第一终端设备可以在接收到点击电子设备类型标识和/或所述应用程序标识的操作信息后，基于上述链接关系调取对应的操作元素信息通过对应的虚拟设备模型进行回放，以供第一终端设备的用户检查是否操作完整。在接收到输入的检查完成信息后，第一终端设备可以对上述操作元素信息进行打包并发布到云端进行安全检查。其中，云端可以对操作元素信息中涉及到指定APP的操作元素信息进行安全性检查，以及对更改***敏感设置的操作元素信息***安全提示。

第二方面，提供一种获取电子设备操作引导信息的方法，该方法包括：第二终端设备获取用于对第二电子设备进行操作引导的操作引导信息，所述操作引导信息中包括电子设备类型标识和操作元素信息；所述第二终端设备模拟与所述电子设备类型标识对应的第二电子设备的操作界面和/或物理硬件；所述第二终端设备基于所述操作界面和/或所述物理硬件响应所述操作元素信息，生成用于对所述第二电子设备进行操作引导的提示信息。

上述电子设备操作引导信息录制方法，第二终端设备获取到用于对第二电子设备进行操作引导的操作引导信息后，模拟出与电子设备类型标识对应的第二电子设备的操作界面和/或物理硬件，并基于该操作界面和/或物理硬件响应上述操作引导信息，由于第二终端设备所模拟的操作界面和/或物理硬件所具有的功能和属性与第二电子设备本身的操作界面和/或物理硬件所具有的功能和属性相同，，因此，第二终端设备获取的基于该操作界面和/或物理硬件上的操作信息和第二电子设备执行相同的所产生的操作信息相同，因此第二终端设备基于根据该操作信息产生的操作元素信息与第二电子设备执行该操作信息产生的操作元素信息相同，因此第二终端设备通过模拟的操作界面和/或物理硬件响应该操作引导信息的操作引导效果与第二电子设备响应该操作引导信息的操作引导效果相同，从而使得第二终端设备可以不需要通过第二电子设备即可响应该操作引导信息，从而能够对用户操作电子设备进行引导。

结合第二方面，在一些实施例中，所述第二终端设备模拟与所述电子设备类型标识对应的第二电子设备的操作界面和/或物理硬件，包括：在所述第二电子设备为不具有操作引导信息响应单元的电子设备的情况下，所述第二终端设备模拟所述第二电子设备的所述操作界面和/或所述物理硬件；其中，所述操作引导信息响应单元包括显示单元和/或音频播放单元。

一些实施例中，上述电子设备操作引导信息录制方法，还可以包括：第二终端设备基于上述电子设备类型标识，确定与该电子设备类型标识对应的第二电子设备是否具有操作引导信息响应单元。

结合第二方面，在一些实施例中，所述第二终端设备模拟所述第二电子设备的所述操作界面和/或所述物理硬件，包括：所述第二终端设备调用所述第二电子设备的虚拟设备模型，并通过所述虚拟设备模型模拟所述第二电子设备的所述操作界面和/或所述物理硬件。

其中，第二电子设备的虚拟设备模型可以存储在第二终端设备中，也可以存储在云服务器中，本申请实施例对此不予限定。虚拟设备模型可以包含第二电子设备的物理特征，软件特征，操作组件特征，以及用于在虚拟环境展现、操作的3D/2D设备外观/操作界面模拟模型等

结合第二方面，在一些实施例中，所述电子设备类型标识为多个，每个所述电子设备类型标识对应一第二电子设备，每个所述第二电子设备对应一操作引导信息，每一操作引导信息包括多组操作元素信息，每组所述操作元素信息对应一生成时间；

所述基于所述操作界面和/或所述物理硬件响应所述操作引导信息，包括：所述第二终端设备对每个所述第二电子设备对应的操作引导信息依次进行解析，得到每个所述第二电子设备对应的多组操作元素信息；所述第二终端设备按照每组操作元素信息对应的生成时间的先后顺序，依次通过与每组操作元素信息对应的第二电子设备的操作界面和/或物理硬件响应各组操作元素信息。

一些实施例中，所述操作元素信息包括针对于所述第二电子设备的操作界面的界面操作元素信息，和/或针对于所述第二电子设备的物理硬件的硬件操作元素信息；所述界面操作元素信息包括操作界面布局和与操作界面的状态变化对应的操作元素信息。

第二终端设备基于所述操作界面和/或所述物理硬件响应所述操作引导信息，具体可以为：第二终端设备根据操作元素信息中的操作界面布局，确定该操作元素信息在操作界面中的位置，并在该位置将基于操作元素信息绘制的提示信息进行显示。

示例性的，在操作引导信息中的某一操作引导步骤对应的操作元素信息中存在需要操作的显示界面时，第二终端设备可以提取对应操作元素信息中的按键元素信息并确定该按键元素信息在操作界面中的位置，按照该位置将基于操作元素信息绘制的提示信息显示在模拟的操作界面中，例如以高亮框或箭头指引的形式显示在模拟的操作界面中；对于存在文本信息的情况，终端设备可以使用TTS将该文本信息转换为音频信息进行播放。

结合第二方面，在一些实施例中，所述方法包括：在所述第二电子设备为具有操作引导信息响应单元的电子设备的情况下，所述第二终端设备将所述操作引导信息发送给所述第二电子设备。

结合第二方面，在一些实施例中，所述操作引导信息包括针对于所述第二电子设备的用户界面的界面操作元素信息，针对于所述第二电子设备的物理硬件的硬件操作元素信息，以及由用于进行操作引导的音频信息转换得到的文本信息；其中，所述界面操作元素信息用于指示所述第二电子设备的显示单元显示所述界面操作元素信息，所述硬件操作元素信息用于指示所述第二电子设备的音频播放单元播放所述硬件操作元素信息，所述文本信息用于指示所述第二电子设备的音频播放单元将所述文本信息转换为音频信息进行播放。

一些实施例中，上述电子设备操作引导信息录制方法，还可以包括：第二终端设备响应接收到的操作指令，发送该操作指令给对应的第二电子设备，以使得第二电子设备执行该操作指令；其中，该操作指令可以为在第二终端设备基于操作界面和/或物理硬件响应操作引导信息后，第二终端设备接收到的基于该操作引导信息的操作指令。

可以理解的，在第二终端设备基于操作界面和/或物理硬件响应操作引导信息后，用户可以在第二终端设备模拟的操作界面和/或物理硬件上输入用于对第二电子设备进行操作的操作指令，第二终端设备将该操作指令发送给对应的第二电子设备，从而能够通过第二终端设备对第二电子设备进行操作，而不需要用户去第二电子设备上执行操作。

示例性的，第二终端设备可以以AR/VR的方式模拟第二电子设备的操作界面和/或物理硬件，再通过人体动作识别技术获取操作指令，并向对应的第二电子设备发送该操作指令，以使得第二电子设备执行该操作指令。

第三方面，提供一种电子设备操作引导信息录制方法，该方法包括：第一电子设备接收第一终端设备发送的操作元素信息获取请求；所述第一电子设备响应于所述操作元素信息获取请求，接收输入的操作信息，并获取基于所述操作信息生成的操作元素信息；所述第一电子设备发送所述操作元素信息给所述第一终端设备。

上述电子设备操作引导信息录制方法，第一电子设备接收到第一终端设备发送的操作元素信息获取请求后，响应于该操作元素信息获取请求，接收输入的操作信息并获取基于操作信息生成的操作元素信息，将操作元素信息发送给第一终端设备，以使得第一终端设备对操作元素信息进行录制生成与该第一电子设备对应的操作引导信息，由于该操作元素信息与传统技术中的操作界面图像相比，并不涉及可能会泄露电子设备的用户隐私的内容，因此能够降低在对电子设备操作引导过程中泄露用户隐私的风险；而且操作引导元素信息并不涉及操作界面的尺寸，因此相对于传统技术中的操作界面图像而言能够更好的适用不同操作界面尺寸的电子设备；而且操作元素信息相对于操作界面图像所需空间较小，因此第一电子设备在向第一终端设备传输操作元素信息的过程中对网络的要求也较低，能够降低数据传输的时延。

结合第三方面，在一些实施例中，所述第一电子设备接收所述第一终端设备发送的时间同步请求，并基于所述时间同步请求调整所述第一电子设备的时间与所述第一终端设备的时间一致；所述第一电子设备发送所述操作元素信息给所述第一终端设备，包括：所述第一电子设备将所述第一电子设备产生的所述操作元素信息进行聚合后发送给所述第一终端设备。

示例性的，操作元素信息可以包含数据包头、节点ID、节点类型、操作ID、时间戳、操作数据和数据包尾。其中，节点ID表征该操作元素信息对应的第一电子设备；节点类型表征第一电子设备的设备类型；操作ID为对第一电子设备或虚拟设备模型的操作标识，其中可以根据节点类型和操作ID的组合从第一电子设备或虚拟设备模型中提取操作ID相应的操作所对应的数据结构，上述组合能够区分不同操作界面尺寸的第一电子设备对同类操作的定义可能存在的差异；时间戳用于定义操作执行的时间。

第四方面，提供一种响应电子设备操作引导信息的方法，该方法包括：第二电子设备接收第二终端设备发送的操作引导信息，所述操作引导信息包括多组操作元素信息，每组操作元素信息对应一生成时间；所述第二电子设备基于每组操作元素信息的生成时间，依次响应各组操作元素信息。

上述电子设备操作引导信息录制方法，第二电子设备接收到第二终端设备发送的操作引导信息后，基于操作引导信息中的每组操作元素信息的生成时间，依次响应操作引导信息中的各组操作元素信息，由于该操作元素信息与传统技术中的操作界面图像相比，并不涉及可能会泄露电子设备的用户隐私的内容，因此能够降低在对电子设备操作引导过程中泄露用户隐私的风险；而且操作引导元素信息并不涉及操作界面的尺寸，因此相对于传统技术中的操作界面图像而言能够更好的适用不同操作界面尺寸的电子设备。

结合第四方面，在一些实施例中，所述操作引导信息包括针对于所述第二电子设备的用户界面的界面操作元素信息，针对于所述第二电子设备的物理硬件的硬件操作元素信息，以及由用于进行操作引导的音频信息转换得到的文本信息中的一种或多种；所述第二电子设备依次响应各组操作元素信息，包括：所述第二电子设备按照每组操作元素信息的生成时间的先后顺序，通过显示单元显示所述界面操作元素信息，和/或通过音频播放单元播放所述硬件操作元素信息，和/或通过音频播放单元将所述文本信息转换为音频信息进行播放。

一些实施例中，所述操作元素信息包括针对于所述第二电子设备的操作界面的界面操作元素信息，和/或针对于所述第二电子设备的物理硬件的硬件操作元素信息；所述界面操作元素信息包括操作界面布局和与操作界面的状态变化对应的操作元素信息。

上述电子设备响应操作引导信息，具体可以为：第二电子设备根据操作元素信息中的操作界面布局，确定该操作元素信息在电子设备的操作界面中的位置，并在该位置将基于操作元素信息生成的提示信息进行显示。

示例性的，在操作引导信息中的某一操作引导步骤对应的操作元素信息中存在需要操作的显示界面时，第二电子设备可以提取对应操作元素信息中的按键元素信息并确定该按键元素信息在操作界面中的位置，按照该位置将基于操作元素信息绘制的提示信息显示在模拟的操作界面中，例如以高亮框或箭头指引的形式显示在操作界面中；对于存在文本信息的情况，第二电子设备可以使用TTS将该文本信息转换为音频信息进行播放。

第五方面，提供一种电子设备操作引导信息录制装置，该装置包括：第一模拟单元，用于响应于接收到的电子设备类型标识，模拟与所述电子设备类型标识对应的第一电子设备的操作界面和/或物理硬件；第一接收单元，用于接收基于所述操作界面和/或物理硬件的操作信息；第一获取单元，用于获取基于所述操作信息所生成的操作元素信息；录制单元，用于对所述操作元素信息进行录制，生成操作引导信息。

第六方面，提供一种获取电子设备操作引导信息的装置，该装置包括：第二获取单元，用于获取用于对第二电子设备进行操作引导的操作引导信息，所述操作引导信息中包括电子设备类型标识；第二模拟单元，用于模拟与所述电子设备类型标识对应的第二电子设备的操作界面和/或物理硬件；第一响应单元，用于基于所述操作界面和/或所述物理硬件响应所述操作引导信息。

第七方面，提供一种电子设备操作引导信息录制装置，该装置包括：第二接收单元，用于接收第一终端设备发送的操作元素信息获取请求；第二响应单元，用于响应于所述操作元素信息获取请求，接收输入的操作信息，并获取基于所述操作信息生成的操作元素信息；发送单元，用于发送所述操作元素信息给所述第一终端设备。

第八方面，提供一种响应电子设备操作引导信息的装置，该装置包括：第三接收单元，用于接收第二终端设备发送的操作引导信息，所述操作引导信息包括多组操作元素信息，每组操作元素信息对应一生成时间；第三响应单元，用于基于每组操作元素信息的生成时间，依次响应各组操作元素信息。

第九方面，本申请实施例提供一种芯片***，该芯片***可包括处理器，该处理器与存储器耦合，该处理器执行存储器中存储的计算机程序，以实现上述第一方面中所述的方法各个实施例中的步骤，或实现上述第二方面中所述的方法各个实施例中的步骤，或实现上述第三方面中所述的方法各个实施例中的步骤，或实现上述第四方面中所述的方法各个实施例中的步骤。其中，该芯片***可以为单个芯片，或者多个芯片组成的芯片模组。

第十方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法各个实施例中的步骤，或实现上述第二方面中所述的方法各个实施例中的步骤，或实现上述第三方面中所述的方法各个实施例中的步骤，或实现上述第四方面中所述的方法各个实施例中的步骤。

第十一方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得电子设备执行上述第一方面中任一项所述的方法，和/或实现如第二方面任一项所述的方法，和/或实现如第三方面任一项所述的方法，和/或实现如第四方面任一项所述的方法。

第十二方面，本申请实施例提供一种终端设备，该终端设备包括：一个或多个处理器、存储器和显示屏；所述存储器、所述显示屏与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述一个或多个处理器执行所述计算机指令时，使得所述终端设备执行上述第一方面中任一项所述的方法，或实现上述第二方面任一项所述的方法。

第十三方面，本申请实施例提供一种电子设备，包括：一个或多个处理器、存储器和显示屏；所述存储器、所述显示屏与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述一个或多个处理器执行所述计算机指令时，使得所述终端设备执行上述第三方面中任一项所述的方法，或实现上述第四方面任一项所述的方法。

可以理解地，上述提供的第五方面至第八方面所述的电子设备操作引导信息录制装置、第九方面所述的芯片***、第十方面所述的计算机可读存储介质、第十一方面所述的计算机程序产品、第十二方面所述的终端设备以及第十三方面所述的电子设备均用于执行第一方面至第四方面中所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的电子设备操作引导信息录制方法的一种应用场景示意图；

图2为本申请实施例提供的电子设备操作引导信息录制方法的又一种应用场景示意图；

图3为本申请实施例提供的终端设备的硬件架构示意图；

图4为本申请实施例提供的终端设备的软件结构框图；

图5为本申请实施例提供的终端设备的架构示意图；

图6为本申请实施例提供的电子设备操作引导信息录制方法的流程示意图；

图7为本申请实施例提供的第一终端设备的操作界面示意图；

图8为本申请实施例提供的第一终端设备的操作界面的场景示意图；

图9为本申请实施例提供的第一终端设备的操作界面的场景示意图；

图10为本申请实施例提供的电子设备操作引导信息录制方法的流程示意图；

图11为本申请实施例提供的电子设备操作引导信息录制方法的流程示意图；

图12为本申请实施例提供的获取电子设备操作引导信息的方法的流程示意图

图13为本申请实施例提供的第二终端设备的操作界面示意图；

图14为本申请实施例提供的第二终端设备的操作界面的场景示意图；

图15为本申请实施例提供的第二终端设备的操作界面的场景示意图；

图16为本申请实施例提供的电子设备操作引导信息录制装置的结构示意图

图17为本申请实施例提供的获取电子设备操作引导信息的装置的结构示意图；

图18为本申请实施例提供的终端设备的结构示意图。

具体实施方式

下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。

目前，随着电子设备的类型不断增多，用户对电子设备的操作变得日益复杂，尤其对于不善于操作电子设备的用户，如何能够简单便捷地操作电子设备成为一个难题。

对于上述问题，可以在终端设备上显示某个电子设备的操作界面，以使得用户可以在该操作界面上进行操作。然后，终端设备将该用户的操作发送给电子设备进行执行，以生成操作引导信息。

例如，终端设备B(被协助方)可以通过亲情关怀应用程序(Application，APP)请求终端设备A(协助方)协助终端设备B对终端设备B中的某些程序或设置进行操作引导。具体的，终端设备B与终端设备A通过亲情关怀APP建立通信连接之后，终端设备B可通过该APP向终端设备A发送操作协助请求，在终端设备A同意终端设备B的操作协助请求后，终端设备B向终端设备A发送终端设备B的操作界面图像。用户在终端设备A上根据该操作界面图像进行操作，然后终端设备A将用户针对该操作界面图像的操作信息发送给终端设备B。之后终端设备B根据用户在终端设备A实施的操作信息即可执行相应的操作，从而通过终端设备A就能够协助终端设备B实现对终端设备B中的程序或设置的操作。

但是，上述方案的前提是：终端设备A和终端设备B之间建立实时同步的通信连接。但是如果终端设备A和终端设备B无法建立通信连接(例如，终端设备B不在工作状态导致终端设备A和终端设备B无法建立通信连接)，则终端设备A就无法按照上述方案生成终端设备B中的某些程序或设置的操作引导信息。另外，由于，终端设备B的操作界面图像发送给终端设备A，而该操作界面图像上可能会包含终端设备B的用户的隐私信息，因此可能存在用户隐私泄露风险，而且操作界面图像的传输对网络连接质量要求较高。

基于上述问题，在本申请实施例中终端设备通过模拟电子设备的操作界面和/或物理硬件。然后终端设备接收基于该操作界面和/或物理硬件上的操作信息，以及获取根据该操作信息所生成的操作元素信息。之后，终端设备对该操作元素信息进行录制生成操作引导信息。本申请实施例中终端设备首先通过模拟该电子设备的操作界面和/或物理硬件，由于终端设备所模拟的操作界面和/或物理硬件所具有的功能和属性与电子设备本身的操作界面和/或物理硬件所具有的功能和属性相同，因此，终端设备获取的基于该操作界面和/或物理硬件上的操作信息和电子设备执行相同的所产生的操作信息相同，因此终端设备基于根据该操作信息产生的操作元素信息与电子设备执行该操作信息产生的操作元素信息相同，从而使得终端设备可以不需要通过电子设备即可获取电子设备的操作元素信息。此外，本申请实施例中电子设备无需将自己的操作界面共享给终端设备，故避免了泄露电子设备用户隐私的风险。

如图1所示，图1示出了本申请实施例提供的一种电子设备操作引导信息录制方法适用的一种场景，该场景中包括：终端设备A、终端设备B、多个电子设备a。

其中，终端设备A和终端设备B之间具有异步的通信连接，例如终端设备A和终端设备B之间能够进行异步的消息传递。

其中，在终端设备B的用户不善于操作电子设备的情况下，终端设备B可以请求终端设备A录制电子设备a的操作引导信息，以协助终端设备B的用户进行电子设备a操作。

上述终端设备A可以是具备录制操作引导信息的设备。终端设备B可以为响应于操作引导信息以显示对电子设备a进行操作引导的提示信息的设备。

上述终端设备A可以主动决定录制操作引导信息，或者终端设备A可以在与终端设备B成功建立连接的情况下，基于终端设备B的触发而决定录制操作引导信息，本申请实施例对此不做限定。

上述多个电子设备a可以包括个人计算机(personal computer，PC)、TV(television，电视)、音箱、路由、智能冰箱等多种电子设备。

在一种可能的实现方式中，终端设备B可以通过相关应用程序请求终端设备A协助引导终端设备B进行电子设备a的操作。终端设备A接收到终端设备B的请求后，根据该请求录制多种电子设备a的操作引导信息。然后，终端设备A向终端设备B传递多种电子设备a的操作引导信息。

终端设备A可以通过终端设备A获取多个电子设备a中每个电子设备a的操作元素信息，和/或从电子设备a处获取电子设备的操作元素信息，录制每个电子设备a的操作元素信息得到每个电子设备a的操作引导信息，并发送每个电子设备a的操作引导信息。例如，终端设备A可以向服务器或者终端设备B发送每个电子设备a的操作引导信息。

终端设备B可以从服务器或者终端设备A处获取用于对多个电子设备a中的每个电子设备a进行操作引导的操作引导信息，然后响应于每个电子设备a的操作引导信息，通过终端设备B生成用于对与电子设备a进行操作引导的提示信息，和/或通过相应的电子设备a生成用于对电子设备a进行操作引导的提示信息。

示例性的，该终端设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等电子设备，本申请实施例对电子设备的具体类型不作任何限制。

如图2所示，图2示出了本申请实施例提供的一种电子设备操作引导信息录制方法适用的又一种场景。该场景与图1所示的场景的区别在于：图2所示的场景中包括多个电子设备b和多个电子设备a。其中，上述电子设备a或电子设备b可以为PC、TV、音箱、路由、智能冰箱等多种电子设备中的一种。多个电子设备a中存在部分电子设备的类型与多个电子设备的类型相同。例如，多个电子设备a包括PC，多个电子设备b可以包括PC和TV。其中，多个电子设备b可以为与终端设备A通信的电子设备，多个电子设备a可以为与终端设备B通信的电子设备。

在图2所示的场景中，以第二终端设备请求第一终端设备生成电子设备a的操作引导信息为例，如果第一终端设备确定与第一终端设备通信的电子设备b与该电子设备a的类型相同，则第一终端设备可以模拟该电子设备b的操作界面和/或物理硬件，换言之，该第一终端设备可以将模拟的电子设备b的操作界面和/或物理硬件作为电子设备a的操作界面和/或物理硬件。而在图1所示的场景中，第一终端设备模拟的是该电子设备a的操作界面和/或物理硬件。

示例性的，图3是本申请实施例提供的终端设备100的硬件架构示意图，上述终端设备A、终端设备B的结构可以参考终端设备100的描述，此处不再赘述。该终端设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serialbus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中，终端设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是终端设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现终端设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。I2S接口和PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现终端设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现终端设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备100充电，也可以用于终端设备100与***设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备100的结构限定。在本申请另一些实施例中，终端设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

终端设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波、放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，终端设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯***(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。GNSS可以包括全球卫星定位***(global positioning system，GPS)，全球导航卫星***(global navigation satellite system，GLONASS)，北斗卫星导航***(beidounavigation satellite system，BDS)，准天顶卫星***(quasi-zenith satellitesystem，QZSS)和/或星基增强***(satellite based augmentation systems，SBAS)。

终端设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，终端设备100可以包括1个或N个显示屏194，N为大于1的正整数。

终端设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，终端设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样，终端设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，该可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行终端设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

终端设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。终端设备100可以设置至少一个麦克风170C。在另一些实施例中，终端设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。终端设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端设备100根据压力传感器180A检测触摸操作强度。终端设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定终端设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定终端设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测终端设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，终端设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。终端设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当终端设备100是翻盖机时，终端设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测终端设备100在各个方向上(一般为三轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。终端设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端设备100附近有物体。当检测到不充分的反射光时，终端设备100可以确定终端设备100附近没有物体。终端设备100可以利用接近光传感器180G检测用户手持终端设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。终端设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测终端设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，终端设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，终端设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端设备100对电池142加热，以避免低温导致终端设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，终端设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入，产生与终端设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195，或从SIM卡接口195拔出，实现和终端设备100的接触和分离。终端设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时***多张卡。多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，终端设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在终端设备100中，不能和终端设备100分离。

终端设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android***为例，示例性说明终端设备100的软件结构。

图4是本申请实施例的终端设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图4所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图4所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供终端设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合捕获拍照场景，示例性说明终端设备100软件以及硬件的工作流程。

当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。

如图5所示，图5提供了一种终端设备的架构示意图，终端设备A和终端设备B的架构，均可以参考图4所示的架构，终端设备可以包括设备管理模块、连接管理模块、数据处理模块和操作回放模块。其中，设备管理模块可以与图3中的处理器110、内部存储器121、外部存储器接口120和USB接口130对应，连接管理模块可以与图3中的处理器110和无线通信模块160对应，数据处理模块可以与图3中的处理器110对应，操作回放模块可以与图3中的处理器110、显示屏、扬声器170A对应。

具体的，连接管理模块包括本地设备连接管理单元及虚拟设备连接管理单元，其中虚拟设备连接管理单元用于对远程设备及虚拟设备模型的连接管理，远程设备数据通过设备模型方式映射到当前的执行录制记录操作的主设备中。

数据处理模块包含本机操作监听单元、虚拟设备监听单元、操作数据打包单元，用于记录电子设备操作录制过程中的操作事件，并提供操作事件的数据聚合处理、鉴权打包等操作。

操作回放模块包括本地回放单元及接收端回放单元，用于操作录制后的过程查看及执行端的提示解析分发等相关操作。

其中，终端设备B中可以不设置本地回放单元。

设备管理模块包括物理设备模型管理单元、虚拟设备模型管理单元及虚拟设备模拟组件，物理设备模型和虚拟设备模型包含实际产品的物理特征、软件版本特征、可记录操作组件特征及可能包含的提供在虚拟环境展现、操作的3D/2D设备外观/操作界面模拟模型。

以下对本申请实施例提供的电子设备操作引导方法进行说明。

参见图6，图6是本申请实施例提供的一种电子设备操作引导信息录制方法的流程示意图，该方法包括：

步骤S101、第一终端设备响应于接收到的电子设备类型标识，模拟与电子设备类型标识对应的第一电子设备的操作界面和/或物理硬件。

举例说明，第一终端设备可以为如图1或图2所示的终端设备A。例如，第一电子设备可以为图1或图2中的电子设备a。第一电子设备的物理硬件可以指第一电子设备固有的物理硬件，例如音箱的开关按钮、音量+、音量减等按钮，路由的天线以及开关等按钮。

上述电子设备类型标识的数量可以为一个或多个。

应理解，本申请实施例中在步骤S101之前，本申请实施例提供的方法还包括：第一终端设备获取一个或多个电子设备类型标识。

在一种可能的实现方式中，本申请实施例中第一终端设备获取一个或多个电子设备类型标识可以通过以下方式实现：第一终端设备接收来自第二终端设备(例如，图1或图2所示的终端设备B)的一个或多个电子设备类型标识。例如，终端设备B可以通过相关应用程序向终端设备A发送请求消息。该请求消息用于请求终端设备A录制操作引导信息。该操作引导信息用于引导终端设备B的用户如何操作该一个或多个电子设备，该请求中可以携带上述一个或多个电子设备的类型标识。

在另一种可能的实现方式中，本申请实施例中第一终端设备获取一个或多个电子设备类型标识可以通过以下方式实现：第一终端设备接收用户输入的第一操作，该第一操作用于确定该一个或多个电子设备类型标识。

参见图7中的(a)所示，第一终端设备通过显示界面至少显示如图7中的(a)所示的操作引导APP200。第一终端设备检测到用户点击图7中的(a)所示的操作引导APP200后，第一终端设备打开操作引导APP200，显示如图7中的(b)所示的界面或如图7中的(d)所示的界面。如图7中的(b)所示，第一终端设备显示一个或多个电子设备的信息以供用户选择。如图7中的(c)所示，用户可以在第一终端设备的显示界面中点击一个或多个电子设备中部分电子设备或全部电子设备对应的控件。第一终端设备检测到用户点击图7中的(c)所示的“确认”控件，第一终端设备确定“确认”控件被触发，则第一终端设备可以将如图7中的(c)中被选中的“个人计算机”、“音箱A”、“电视”、“路由”、“冰箱”等确定为用户选中的一个或多个电子设备类型标识。之后，第一终端设备模拟用户选择的电子设备的操作界面和/或物理硬件，如图7中的(f)所示，第一终端设备可在第一终端设备的第一操作界面区域201中模拟用户点击选择的一个或多个电子设备的操作界面和/或物理硬件。

如图7中的(d)所示，第一终端设备根据第二终端设备发送的请求中携带的一个或多个电子设备的类型标识。第一终端设备显示与上述一个或多个电子设备的类型标识对应的电子设备的控件。如图7中的(e)所示，用户在确认第二终端设备请求协助操作引导上述电子设备后，点击“确认”控件。第一终端设备响应于用户确认的一个或多个电子设备，模拟上述一个或多个电子设备的操作界面和/或物理硬件，如图7中的(f)所示，第一终端设备可在第一终端设备的第一操作界面区域201中模拟用户确认的一个或多个电子设备的操作界面和/或物理硬件。

举例说明，以第一电子设备为个人计算机为例，如图8中的(a)所示，第一终端设备显示第一终端设备模拟的个人计算机的操作界面201。用户可以在该模拟的个人计算机的操作界面201中对各个控件进行点击操作，例如用户对“控制面板”控件进行点击操作。第一终端设备响应于针对该“控制面板”控件的点击操作后，模拟如图8中的(b)所示的个人计算机的操作界面。用户可以在如图8中的(b)所示的个人计算机的操作界面中对各个控件进行点击操作，例如用户对“程序和功能”控件进行点击操作。第一终端设备响应于对“程序和功能”控件进行的点击操作后模拟如图8中的(c)所示的个人计算机的操作界面，用户可以在如图8中的(c)所示的个人计算机的操作界面中对各个控件进行点击操作。例如用户对“Foxmail”控件进行点击操作。第一终端设备响应于对“Foxmail”控件的点击操作模拟如图8中的(d)所示的个人计算机的操作界面，用户可以在图8中的(d)所示的个人计算机的操作界面中对“卸载”控件进行点击操作。

举例说明，以第一电子设备为路由器为例，如图9所示，第一终端设备显示第一终端设备模拟的该路由器的物理硬件，用户可以在该模拟的路由器的物理硬件上对该路由器的某个或某些物理硬件进行操作，例如用户可以调节第一终端设备模拟的路由器的天线的角度。

步骤S102、第一终端设备接收基于操作界面和/或物理硬件的操作信息。

其中，在第一终端设备模拟电子设备的操作界面和/或物理硬件后，用户可以在该操作界面和/或物理硬件上进行操作。例如，用户在该操作界面进行点击、滑动等操作，对物理硬件进行调节、旋转等操作，对应的操作信息可以包含操作内容、位置信息等。

示例性的，以第一电子设备为音箱为例，则第一电子设备的物理硬件可以为音箱的开关按钮、音量+、音量减等按钮。以第一电子设备为路由器为例，则第一电子设备的物理硬件可以为该路由器的天线、开关按钮、网线接口等物理硬件，用户在第一终端设备中对模拟出的物理硬件的操作可以对上述按钮或天线进行调节，第一终端设备通过检测用户对模拟的操作界面和/或物理硬件进行的操作能够获取到与上述物理硬件对应的操作信息。

步骤S103、第一终端设备获取根据操作信息所生成的操作元素信息。

在一种应用场景中，对于上述在第一终端设备的第一操作界面区域201中模拟出的操作界面，第一终端设备接收基于该操作界面输入的操作信息，并获取根据该操作信息所生成的操作元素信息。示例性的，该操作可以为对操作界面上某个应用程序的触控操作或设置的触控操作，该操作元素信息可以包括针对于该操作界面的界面操作元素信息，和/或针对于电子设备的物理硬件的硬件操作元素信息，该界面操作元素信息可以包括操作界面布局和与操作界面的状态变化对应的操作元素信息。

示例性的，该操作页面布局可以包括应用名称、页面名称、按钮名称、位置等，操作界面的状态变化可以包括按钮点击、输入框内容变化、焦点变化等，基于上述状态变化可以获取对应的操作元素信息。例如，第一终端设备可以通过用户界面(user interface，UI)的view服务获取到上述操作元素信息，具体对于android平台的第一终端设备可通过辅助服务(accessibility service)的本地消息监听功能获取到上述界面操作元素信息。

在一种应用场景中，对于上述在第一终端设备的第一操作界面区域201中模拟出的物理硬件，第一终端设备接收基于该物理硬件输入的操作信息，在监听上述操作产生的***消息中获取与该操作信息对应的操作元素信息。示例性的，该物理硬件可以为音箱的按钮、路由的天线等物理硬件，用户对第一终端设备模拟出的物理硬件的操作可以对上述按钮或天线进行调节，第一终端设备能够监听到上述操作产生的***消息，从该***消息中获取到与上述物理硬件对应的硬件操作元素信息。

示例性的，第一终端设备可以以AR(Augmented Reality，增强现实)/VR(VirtualReality，虚拟现实)的方式模拟第一电子设备的操作界面和/或物理硬件，再结合人体动作识别技术接收基于该操作界面和/或物理硬件输入的操作信息，以及获取根据该操作信息所生成的操作元素信息。

步骤S104、第一终端设备对操作元素信息进行录制，生成操作引导信息，操作引导信息中包括电子设备类型标识。

其中，第一终端设备可以将与电子设备类型标识对应的操作元素信息进行录制，生成与电子设备类型标识对应的操作引导信息，该操作引导信息中包含对应的电子设备类型标识。在电子设备类型标识为多个时，第一终端设备将与每个电子设备类型标识对应的操作元素信息进行录制，生成与每个电子设备类型标识对应的操作引导信息。

上述电子设备操作引导信息录制方法，第一终端设备模拟该第一电子设备的操作界面和/或物理硬件，由于第一终端设备所模拟的操作界面和/或物理硬件所具有的功能和属性与第一电子设备本身的操作界面和/或物理硬件所具有的功能和属性相同，因此，第一终端设备获取的基于该操作界面和/或物理硬件上的操作信息和第一电子设备执行相同的所产生的操作信息相同，因此第一终端设备基于根据该操作信息产生的操作元素信息与第一电子设备执行该操作信息产生的操作元素信息相同，从而使得第一终端设备可以不需要通过第一电子设备即可获取第一电子设备的操作元素信息。此外，本申请实施例中第一电子设备无需将自己的操作界面共享给终端设备，故避免了泄露第一电子设备用户隐私的风险。

示例性的，电子设备类型标识可以为一个或多个，例如电子设备类型标识可以包括与PC对应的电子设备类型标识、与TV对应的电子设备类型标识、与智能冰箱对应的电子设备类型标识、与音箱对应的电子设备类型标识和与路由对应的电子设备类型标识等电子设备类型标识中的一个或多个。

对于多个电子设备类型标识的情况，第一终端设备模拟与电子设备类型标识对应的第一电子设备的操作界面和/或物理硬件，具体可以为：

第一终端设备按照预设顺序依次模拟各个电子设备类型标识对应的第一电子设备的操作界面和/或物理硬件，从而能够分别基于每个第一电子设备对应的操作信息获取相应的操作元素信息，最后再对与每个第一电子设备对应的操作元素信息分别进行录制，生成与每个第一电子设备对应的操作引导信息。

例如，每一操作元素信息可以对应一生成时间和电子设备类型标识，该生成时间可以以第一终端设备的时间为基准，基于此第一终端设备可以按照操作元素信息对应的生成时间和电子设备类型标识，确定与各个第一电子设备对应的操作元素信息；第一终端设备将与每个电子设备对应的操作元素信息进行打包，生成与每个电子设备对应的操作引导信息。

本申请实施例中终端设备通过模拟电子设备的操作界面和/或物理硬件。然后终端设备接收基于该操作界面和/或物理硬件上的操作信息，以及获取根据该操作信息所生成的操作元素信息。之后，终端设备对该操作元素信息进行录制生成操作引导信息。本申请实施例中终端设备首先通过模拟该电子设备的操作界面和/或物理硬件，由于终端设备所模拟的操作界面和/或物理硬件所具有的功能和属性与电子设备本身的操作界面和/或物理硬件所具有的功能和属性相同，因此，终端设备获取的基于该操作界面和/或物理硬件上的操作信息和电子设备执行相同的所产生的操作信息相同，因此终端设备基于根据该操作信息产生的操作元素信息与电子设备执行该操作信息产生的操作元素信息相同，从而使得终端设备可以不需要通过电子设备即可获取电子设备的操作元素信息。此外，本申请实施例中电子设备无需将自己的操作界面共享给终端设备，故避免了泄露电子设备用户隐私的风险

参见图10，图10是本申请实施例提供的一种电子设备操作引导信息录制方法的流程示意图，该方法包括：

步骤S201、第一终端设备请求与电子设备类型标识对应的第一电子设备建立通信连接。

其中，第一终端设备可以通过近场通信方式(例如WIFI(Wireless-Fidelity，无线保真)、蓝牙、NFC(Near Field Communication，近距离无线通信技术)等)、局域网、分布式设备网络等多种方式与第一电子设备建立通信连接。

步骤S202、在第一终端设备未与上述第一电子设备成功建立通信连接的情况下，第一终端设备模拟该第一电子设备的操作界面和/或物理硬件。

其中，步骤S201和步骤S202为步骤S101的一种可能的实现方式。

对于多个第一电子设备的情况，例如以PC、TV和音箱等电子设备为例，对上述第一电子设备的操作顺序依次为：PC、TV和音箱，则第一终端设备模拟上述三个电子设备的操作界面和/或物理硬件的过程为：第一终端设备先模拟PC的操作界面和/或物理硬件，并接收用户在模拟的PC的操作界面和/或物理硬件输入的操作信息。在第一终端设备完成对PC的操作界面和/或物理硬件的模拟后，第一终端设备再模拟TV的操作界面和/或物理硬件，并接收用户在模拟的TV的操作界面和/或物理硬件输入的操作信息，在完成对TV的操作界面和/或物理硬件的模拟后。第一终端设备再模拟音箱的操作界面和/或物理硬件，并接收用户基于模拟的音箱的操作界面和/或物理硬件输入的操作信息。

需要说明的是，第一终端设备也可以先依次模拟PC、TV、音箱的操作界面和/或物理硬件，然后再依次接收用户在模拟的不同电子设备的操作界面和/或物理硬件输入的操作信息，本申请实施例对此不做限定。

作为一种可能的实现方式，本申请实施例中的第一终端设备模拟该第一电子设备的操作界面和/或物理硬件可以通过以下方式实现：第一终端设备可以调用该第一电子设备的虚拟设备模型。然后，第一终端设备通过该虚拟设备模型模拟上述第一电子设备的操作界面和/或物理硬件。

其中，第一电子设备的虚拟设备模型可以存储在第一终端设备中，也可以存储在云服务器中，这样第一终端设备可以从云服务器中获取该第一电子设备的虚拟设备模型，当然，该第一终端设备的虚拟设备模型也可以存储在第一电子设备中，这样第一终端设备也可以从第一电子设备处获取第一电子设备的虚拟设备模型，由于第一终端设备基于第一电子设备的虚拟设备模型模拟第一电子设备的操作界面和/或物理硬件，因此第一电子设备无需共享自己的操作界面给第一终端设备。

举例说明，虚拟设备模型可以包含第一电子设备的物理特征，软件特征，操作组件特征，以及用于在虚拟环境展现、操作的3D/2D设备外观/操作界面模拟模型等。

例如，虚拟设备模型可以包含如表1所示的信息：

表1虚拟设备模型包含的信息

参见表1，虚拟设备模型可以包含设备身份标识(Identity，ID)、设备类型、连接类型、可被记录的操作、硬件信息、软件信息、2D/3D模型数据等。其中，设备ID为该虚拟设备模型的标识。设备类型为该虚拟设备模型对应的第一电子设备的设备类型。连接类型为该虚拟设备模型的通信连接方式，例如WIFI、蓝牙、NFC、局域网、分布式设备网络等；可被记录的操作用于限定对该虚拟设备模型的操作中能够被记录的操作，可用于防止隐私信息泄露；硬件信息表征该虚拟设备模型对应的第一电子设备的物理特征；软件信息表征可在该虚拟设备模型中运行的应用程序的软件特征。2D/3D模型数据为该虚拟设备模型对应的第一电子设备的外观/操作界面模拟模型等。

第一终端设备调用第一电子设备的虚拟设备模型，从而能够在第一终端设备中模拟出该第一电子设备的操作界面和/或物理硬件，即第一电子设备的物理特征，软件特征，操作组件特征，以及3D/2D设备外观/操作界面模拟模型等可以转换到第一终端设备中运行，第一终端设备基于该操作信息产生的操作元素信息与第一电子设备执行该操作信息产生的操作元素信息相同，从而使得第一终端设备可以不需要通过第一电子设备即可获取第一电子设备的操作元素信息。

步骤S203～步骤205，参见步骤S102～步骤104，在此不再赘述。

步骤S203可以通过以下方式实现：第一终端设备接收用户输入的基于该操作界面和/或物理硬件的操作信息。

参见图11，图11是本申请实施例提供的一种电子设备操作引导信息录制方法的流程示意图，该方法可以包括：

步骤S301、参见步骤S201，在此不再赘述。

步骤S302、在第一终端设备与第一电子设备成功建立通信连接的情况下，第一终端设备向第一电子设备发送时间同步请求。

其中，上述电子设备类型标识可以为多个，每个电子设备类型标识对应一第一电子设备，每个第一电子设备对应多组操作元素信息，每组操作元素信息对应一生成时间和一电子设备类型标识。

该时间同步请求用于请求第一电子设备调整第一电子设备的时间与第一终端设备的时间一致。每个第一电子设备响应该时间同步请求，将第一电子设备的时间调整至与第一终端设备的时间一致。

在一种应用场景中，上述电子设备类型标识可以为多个，每个电子设备类型标识对应一个第一电子设备，每个第一电子设备的操作元素信息的生成时间是基于相应的第一电子设备的时间确定的，因此可能存在各个第一电子设备的操作元素信息的基准时间不同，需要第一电子设备将每个操作信息对应的操作元素信息实时发送给第一终端设备，第一终端设备根据接收到该操作元素信息的时间和该操作元素对应的电子设备类型标识对各组操作元素信息进行打包分组，生成与每个第一电子设备对应的操作引导信息，由此可能导致数据传输效率较低。

基于此问题，步骤S302中调整每个第一电子设备的时间一致，以使得各个第一电子设备可以不需要实时向第一终端设备发送操作元素信息，从而能够提高数据传输效率。

步骤S303、第一终端设备向第一电子设备发送操作元素信息获取请求。

其中，该操作元素信息获取请求用于请求第一电子设备获取第一电子设备响应于接收到的操作信息所产生的操作元素信息，以及向第一终端设备发送该操作元素信息。

例如，在第一终端设备与PC、TV、智能冰箱、音箱和路由等第一电子设备成功建立通信连接的情况下，第一终端设备分别发送操作元素信息获取请求给每个第一电子设备。用户可以对第一电子设备进行预设操作，每个第一电子设备响应该操作元素信息获取请求，接收用户输入的操作信息并获取第一电子设备根据该操作信息生成的操作元素信息，第一电子设备再将该操作元素信息发送给第一终端设备。

示例性的，操作元素信息可以通过表2中所示的格式进行记录：

表2操作元素信息记录格式

Header

Node ID

Node Type

Operation ID

Time Stamp

Data

Tail

数据包头

节点ID

节点类型

操作ID

时间戳

操作数据

数据包尾

参见表2，操作元素信息具体格式可以包含数据包头、节点ID、节点类型、操作ID、时间戳、操作数据和数据包尾。其中，节点ID表征该操作元素信息对应的电子设备，可以由第一终端设备在与各个第一电子设备进行通信连接的过程中进行设置，可以与表1中的设备ID对应；节点类型表征电子设备的设备类型，可以与表1中的设备类型同步，例如表1中的设备类型为PC时，由该PC设备产生的操作元素信息中的节点类型与表1中的设备类型相同；操作ID为对电子设备或虚拟设备模型的操作标识，其中可以根据节点类型和操作ID的组合从电子设备或虚拟设备模型中提取操作ID相应的操作所对应的数据结构，上述组合能够区分不同操作界面尺寸的电子设备对同类操作的定义可能存在的差异；时间戳用于定义操作执行的时间，可以用于操作引导信息的录制。

其中，对于界面操作元素中涉及到的用户隐私信息，例如账号、密码、指纹、人脸等鉴权信息，电子设备可以通过预先建立的高危操作黑名单进行匹配识别，对过程中涉及到的隐私信息涉及到的过程转换为预先设定的操作ID，例如对于账号和密码等信息，可以将输入账号和密码的过程转换为预先设定的操作ID，以防止泄露用户的隐私信息。

步骤S304、第一终端设备获取第一电子设备发送的操作元素信息。

步骤S305、参见步骤S104，在此不再赘述。

在一种可能的实施例中，对应于对电子设备的时间进行时间同步处理，第一终端设备对操作元素信息进行录制，生成操作引导信息，具体可以包括：第一终端设备按照各组操作元素信息对应的生成时间和电子设备类型标识，确定与各个第一电子设备对应的操作元素信息；第一终端设备将与每个第一电子设备对应的操作元素信息进行打包，生成与每个第一电子设备对应的操作引导信息。

其中，第一电子设备的时间与第一终端设备的时间调整一致后，第一终端设备可以根据操作元素信息对应的电子设备类型标识，确定与各个第一电子设备对应的操作元素信息，第一终端设备按照操作元素信息的生成时间的先后顺序，将与每个第一电子设备对应的操作元素信息进行打包，生成与每个第一电子设备对应的操作引导信息，从而能够提高数据传输效率。

进一步的，第一电子设备调整第一电子设备的时间与第一终端设备的时间一致后，第一电子设备可以将操作元素信息在第一电子设备中聚合后一起发送给第一终端设备，第一终端设备对每个第一电子设备发送来的操作元素信息进行打包，生成与每个第一电子设备对应的操作引导信息。在一种应用场景中，用户在第一电子设备上对电子设备进行操作过程中，可能会同时通过语音的方式对操作信息进行补充说明，因此第一电子设备发送给第一终端设备的操作引导信息中还可以包括文本信息，该文本信息为：第一电子设备在获取操作信息对应的时间范围内，将获取到的用于与操作信息共同进行操作引导的音频信息转换得到的文本信息。

在一种应用场景中，对于用户在第一终端设备上基于模拟的第一电子设备的操作界面和/或物理硬件进行操作时，可能会同时通过语音的方式对操作信息进行补充说明，对于此，上述方法还可以包括：

在第一终端设备获取操作信息对应的时间范围内，第一终端设备获取用于与操作信息共同进行操作引导的音频信息；

第一终端设备将音频信息录制在操作引导信息中。

其中，为了避免泄露用户声纹信息的风险，第一终端设备可以通过NLP(NaturalLanguage Processing，自然语言处理)技术将该音频信息转换为文本信息后录制在操作引导信息中，第二终端设备可以通过TTS(Text to Speech，文本转换语音)技术将该文本信息转换为音频信息进行播放。

示例性的，上述文本信息中可以包含电子设备类型标识和时间信息，其中，电子设备类型标识用于表征该文本信息所对应的电子设备，时间信息用于表征终端设备获取到该文本信息的时间。

举例说明，第一终端设备在获取到用户的“请调整路由天线到XX角度”的音频信息后，通过NLP技术将该音频信息转换为文本信息，该文本信息包含：电子设备类型标识(为XX型号路由)、时间信息(为获取到音频信息的时间)以及“请调整路由天线到XX角度”。在第二终端设备对XX型路由的操作引导信息进行回放时，第二终端设备可以通过TTS技术将“请调整路由天线到XX角度”转换为音频信息，在上述时间信息所对应的时间播放该音频信息，再结合其他的操作引导信息以实现对路由的操作引导。

在一种应用场景中，在第一终端设备获取到电子设备的操作引导信息后，第一终端设备可以将该操作引导信息进行展示，以便于第一终端设备的用户直观了解操作引导信息对应的电子设备和应用程序。

例如，每一操作元素信息可以对应一生成时间、一电子设备类型标识和一应用程序标识，第一终端设备获取操作元素信息对应的电子设备类型标识和应用程序标识，将操作元素信息与对应的电子设备类型标识和应用程序标识建立链接关系，并在第一终端设备中展示电子设备类型标识和应用程序标识。

其中，第一终端设备可以将操作元素信息按照电子设备类型标识和应用程序标识划分，将对应于某一电子设备类型标识的操作元素信息按照应用程序标识划分，并建立操作元素信息与电子设备类型标识和应用程序标识的链接关系，以列表或图表等方式展示该电子设备类型标识和应用程序标识，使得用户可以直观了解操作引导信息对应的电子设备和应用程序。同时，第一终端设备可以在接收到点击电子设备类型标识和/或应用程序标识的操作信息后，基于上述链接关系调取对应的操作元素信息通过对应的虚拟设备模型进行回放，以供第一终端设备的用户检查录制的操作引导信息是否完整。

其中，在接收到输入的检查完成信息后，第一终端设备可以对上述操作元素信息进行打包并发布到云端进行安全检查。其中，云端可以对操作元素信息中涉及到指定APP的操作元素信息进行安全性检查，以及对更改***敏感设置的操作元素信息***安全提示。

需要说明的是，在第一终端设备对操作元素信息进行录制，生成操作引导信息后，第一终端设备可以将该操作引导信息上传至云端或发送给第二终端设备。

参见图12，图12是本申请实施例提供的一种电子设备操作引导信息录制方法的流程示意图，该方法包括：

步骤S401、第二终端设备获取用于对第二电子设备进行操作引导的操作引导信息，操作引导信息中包括电子设备类型标识和操作元素信息。

上述电子设备类型标识的数量可以为一个或多个。

举例说明，第二终端设备可以为如图1或图2所示的终端设备B。其中，本步骤中的第二电子设备与前述的第一电子设备可以为类型一一对应的电子设备，具体请参见图1或图2中的相关内容，在此不再赘述。

在一种可能的实现方式中，步骤S401可以通过以下方式实现：第二终端设备从云端获取上述操作引导信息。

在另一种可能的实现方式中，步骤S401可以通过以下方式实现：第二终端设备从第一终端设备处获取操作引导信息。

步骤S402、第二终端设备模拟与电子设备类型标识对应的第二电子设备的操作界面和/或物理硬件。

步骤S403、第二终端设备基于操作界面和/或物理硬件响应操作引导信息中的操作元素信息，生成用于对第二电子设备进行操作引导的提示信息。

其中，第二终端设备可以根据操作引导信息中各操作元素信息的执行顺序逐个电子设备逐个操作地提取操作元素信息并进行解析，并将解析后的操作元素信息基于第二终端设备模拟的操作界面和/或物理硬件进行响应。

参见图13中的(a)所示，第二终端设备通过显示界面至少显示如图13中的(a)所示的操作引导APP300。

第二终端设备检测到用户点击图13中的(a)所示的操作引导APP300后，第二终端设备打开操作引导APP300，显示如图13中的(b)所示的界面。

如图13中的(b)所示，第二终端设备响应于操作引导信息中的电子设备类型标识，显示与该电子设备类型标识对应的一个或多个电子设备的控件以供用户点选。图13中的(c)所示，用户可以在第二终端设备的显示界面中点击一个或多个电子设备的控件，然后点击“确认”控件，实现对所点击的一个或多个电子设备的选择。第二终端设备响应于用户点击选择的一个或多个电子设备，模拟用户点击选择的一个或多个电子设备的操作界面和/或物理硬件，如图13中的(d)所示，第二终端设备可在第二终端设备的第二操作界面区域301中模拟用户点击选择的一个或多个电子设备的操作界面和/或物理硬件，以显示电子设备的操作引导信息。

举例说明，以第二电子设备为个人计算机为例，如图14中的(a)所示，第二终端设备显示模拟的个人计算机的操作界面301及显示在操作界面301中的“请点击“控制面板””的提示信息，在经过一定时间(例如5秒)后，第二终端设备显示图14中的(b)所示的个人计算机的操作界面及“请点击“程序和功能””的提示信息，在经过一定时间(例如5秒)后，第二终端设备显示图14中的(c)所示的个人计算机的操作界面及“请点击“Foxmail””的提示信息，在经过一定时间(例如5秒)后，第二终端设备显示图14中的(d)所示的个人计算机的操作界面及“请点击“卸载””的提示信息。用户可以根据上述提示信息卸载个人计算机中的Foxmail程序。

举例说明，以第二电子设备为路由器为例，如图15所示，第二终端设备显示模拟的路由器的物理硬件及“请向XX方向调整天线的角度”提示信息，用户可以根据该提示信息调节路由器的天线的角度。

其中，第二终端设备可以在需要操作的按键边缘绘制高亮边框，并附带相关的操作提示，例如文字或箭头指向，或滑动的动画标识，其中操作指引可以为预先录制的动画。通过显示在屏幕界面的指引标识指引用户操作物理按键。若在电子设备中未检测到与操作元素信息对应的应用程序，则电子设备可以网络下载该应用程序并进行安装。

上述获取电子设备操作引导信息的方法，第二终端设备获取到用于对第二电子设备进行操作引导的操作引导信息后，模拟出与电子设备类型标识对应的第二电子设备的操作界面和/或物理硬件，并基于该操作界面和/或物理硬件响应上述操作引导信息，而第二终端设备模拟具有该第二电子设备的操作界面和/或物理硬件所具有的功能和属性，第二终端设备和第二电子设备两者执行相同的操作信息产生的结果相同，因此第二终端设备通过模拟的操作界面和/或物理硬件响应该操作引导信息的操作引导效果与第二电子设备响应该操作引导信息的操作引导效果相同，从而使得第二终端设备可以不需要通过第二电子设备即可响应该操作引导信息，从而能够对用户操作第二电子设备进行引导。

作为一种可能的实施例，上述步骤S402具体可以包括：

在第二电子设备为不具有操作引导信息响应单元的电子设备的情况下，第二终端设备模拟第二电子设备的操作界面和/或物理硬件；其中，操作引导信息响应单元包括显示单元和/或音频播放单元。

其中，第二终端设备可以基于上述电子设备类型标识，确定与电子设备类型标识对应的第二电子设备是否具有操作引导信息响应单元。为便于描述，将具有操作引导信息响应单元的电子设备称为第三电子设备，将不具有操作引导信息响应单元的电子设备称为第四电子设备。

示例性的，以PC、TV、智能冰箱、音箱和路由等第二电子设备为例，其中PC、TV、智能冰箱和音箱等第三电子设备具有操作引导信息响应单元中的显示单元和/音频播放单元，路由等第四电子设备不具有操作引导信息响应单元，因此对于第四电子设备对应的操作引导信息，第二终端设备模拟第四电子设备的操作界面和/或物理硬件，并基于该操作界面和/或物理硬件响应第四电子设备对应的操作引导信息。

例如，第二终端设备可以调用第二电子设备的虚拟设备模型，并通过该虚拟设备模型模拟该第二电子设备的操作界面和/或物理硬件。其中，第二电子设备的虚拟设备模型可以存储在终端设备中，也可以存储在云服务器中，本申请实施例对此不予限定。虚拟设备模型可以包含电子设备的物理特征，软件特征，操作组件特征，以及用于在虚拟环境展现、操作的3D/2D设备外观/操作界面模拟模型等，关于虚拟设备模型的详细描述可以参考表1及相关内容。

一些实施例中，操作引导信息可以为与多个第二电子设备对应的操作引导信息，因此上述电子设备类型标识可以为多个，每个电子设备类型标识对应一第二电子设备，每个第二电子设备对应一操作引导信息，每一操作引导信息包括多组操作元素信息，每组操作元素信息对应一生成时间。

对应的，步骤S403中的基于操作界面和/或物理硬件响应操作引导信息，具体可以包括：第二终端设备对每个第二电子设备对应的操作引导信息依次进行解析，得到每个第二电子设备对应的多组操作元素信息；第二终端设备按照每组操作元素信息对应的生成时间的先后顺序，依次通过与每组操作元素信息对应的第二电子设备的操作界面和/或物理硬件响应各组操作元素信息。

示例性的，以PC、TV和音箱等电子设备为例，上述电子设备的操作元素信息的生成时间的先后顺序依次为PC对应的操作元素信息、TV对应的操作元素信息和音箱对应的操作元素信息，则第二终端设备先模拟PC的操作界面，通过模拟的PC的操作界面响应与PC对应的操作元素信息以显示对应的提示信息，第二终端设备然后模拟TV的操作界面，通过模拟的TV的操作界面响应与TV对应的操作元素信息以显示对应的提示信息，第二终端设备最后模拟音箱的物理硬件，通过模拟的音箱的物理硬件响应与音箱对应的操作元素信息以显示对应的提示信息。

一些实施例中，第二终端设备基于操作界面和/或物理硬件响应操作引导信息，具体可以为：第二终端设备可以根据操作元素信息中的操作界面布局，确定该操作元素信息在操作界面中的位置，并在该位置将基于操作元素信息绘制的提示信息进行显示。

示例性的，在操作引导信息中的某一操作引导步骤对应的操作元素信息中存在需要操作的显示界面时，第二终端设备可以提取对应操作元素信息中的按键元素信息并确定该按键元素信息在操作界面中的位置，按照该位置将基于操作元素信息绘制的提示信息显示在模拟的操作界面中，例如以高亮框或箭头指引的形式显示在模拟的操作界面中；对于存在文本信息的情况，第二终端设备可以使用TTS将该文本信息转换为音频信息进行播放。

其中，第二终端设备可以通过***服务检测该第二终端设备模拟的第二电子设备操作界面的UI界面的元素，并根据操作元素信息(例如软件包名，操作点相对位置，操作在列表中的顺序等信息)定位到相关应用程序中的位置、虚拟按键操作、屏幕滑动、手机姿态调整、实体按键等，从而能够给予用户直观提示。另外，对于第三电子设备对应的操作引导信息，第二终端设备可以将该操作引导信息发送给对应的第三电子设备，由该第四电子设备响应该操作引导信息，或者第二终端设备也可以模拟该第三电子设备的操作界面和/或物理硬件，并基于该操作界面和/或物理硬件响应与该第三电子设备对应的操作引导信息。基于此，上述方法可以包括：在第二电子设备为具有操作引导信息响应单元的电子设备的情况下，第二终端设备将操作引导信息发送给该第二电子设备。

一些实施例中，上述操作引导信息可以包括针对于第二电子设备的操作界面的界面操作元素信息，针对于第二电子设备的物理硬件的硬件操作元素信息，以及由用于进行操作引导的音频信息转换得到的文本信息。

其中，该界面操作元素信息用于指示第二电子设备的显示单元显示该界面操作元素信息，该硬件操作元素信息用于指示第二电子设备的音频播放单元播放该硬件操作元素信息，该文本信息用于指示第二电子设备的音频播放单元将该文本信息转换为音频信息进行播放。例如，对于用户操作音箱进行音量调节的情景，音箱可以生成“调节XX类型音箱的音量调节按键”的硬件操作引导元素，对于该硬件操作引导元素音箱可以通过音频播放单元播放音频信息“请调节音量调节按键”。

一些实施例中，对于具有操作引导信息响应单元的第二电子设备，若第二终端设备无法与该第二电子设备建立通信连接，则第二终端设备模拟该电子设备的操作界面和/或物理硬件，并基于该操作界面和/或物理硬件响应操作引导信息。

进一步的，上述方法还可以包括：第二终端设备响应接收到的操作指令，发送该操作指令给对应的第二电子设备，以使得第二电子设备执行该操作指令；其中，该操作指令可以为在第二终端设备基于操作界面和/或物理硬件响应操作引导信息后，第二终端设备接收到的基于该操作引导信息的操作指令。

可以理解的，在第二终端设备基于操作界面和/或物理硬件响应操作引导信息后，用户可以在第二终端设备模拟的操作界面和/或物理硬件上输入用于对第二电子设备进行操作的操作指令，第二终端设备将该操作指令发送给对应的第二电子设备，从而能够通过第二终端设备对第二电子设备进行操作，而不需要用户去第二电子设备上执行操作。

需要说明的是，对于GUI(Graphic User interaction，用户图形交互)操作，第二终端设备可以响应操作元素信息，用户可以在模拟的操作界面和/物理硬件上进行操作，第二终端设备将用户的操作信息转换为操作指令并发送到对应的第二电子设备，第二电子设备执行该操作指令；而对于物理硬件操作，例如按键，滑块、旋钮、姿态调整、天线调整等必须操作实体硬件才能完成的操作，此时第二终端设备可以生成提示信息以提醒用户进行手动操作。

示例性的，第二终端设备可以以AR/VR的方式模拟出该第二电子设备的操作界面和/或物理硬件，再结合人体动作识别等技术，获取操作指令并向对应的第二电子设备发送该操作指令，以使得第二电子设备执行该操作指令。

在一种应用场景中，第二终端设备获取到操作引导信息后，可以对该操作引导信息进行签名校验以及检查该操作引导信息的完整性。在对该操作引导信息的签名校验及完整性检查通过后，第二终端设备搜索与电子设备类型标识对应的第二电子设备，并将搜索到的第二电子设备以设备清单或设备图标等方式进行展示，以供用户点选。

若第二终端设备搜索到的第二电子设备的数量及类型与操作引导信息中的电子设备类型标识的数量及类型不同，则第二终端设备可以生成用于提醒用户检查对应的第二电子设备工作状态的提醒信息，或者调用未搜索到的第二电子设备的虚拟设备模型，通过该虚拟设备模型对该第二电子设备的操作引导信息进行回放。另外，第二终端设备可以将该操作引导信息保存在本地或云空间，使得用户可以通过相关解析软件或者智慧助手等查询该操作引导信息以再次执行该操作引导信息。

本申请实施例还提供的一种电子设备操作引导信息录制方法，该方法可以应用于第一电子设备一侧，该方法包括以下步骤：

第一电子设备接收第一终端设备发送的操作元素信息获取请求；

第一电子设备响应于操作元素信息获取请求，接收输入的操作信息，并获取基于操作信息生成的操作元素信息；

第一电子设备发送操作元素信息给第一终端设备。

其中，第一电子设备接收到操作元素信息获取请求后，该第一电子设备可以接收用户在该第一电子设备的操作界面和/或物理硬件上进行操作生成的操作信息。该操作元素信息可以包括针对于该操作界面的界面操作元素信息，和/或针对于该物理硬件的硬件操作元素信息。

上述电子设备操作元素信息录制方法，第一电子设备接收到终端设备发送的操作元素信息获取请求后，响应于该操作元素信息获取请求，接收输入的操作信息并获取基于操作信息生成的操作元素信息，将操作元素信息发送给第一终端设备，以使得第一终端设备对操作元素信息进行录制生成与该电子设备对应的操作引导信息，由于该操作元素信息与传统技术中的操作界面图像相比，并不涉及可能会泄露电子设备的用户隐私的内容，因此能够降低在对电子设备操作引导过程中泄露用户隐私的风险；而且操作引导元素信息并不涉及操作界面的尺寸，因此相对于传统技术中的操作界面图像而言能够更好的适用不同操作界面尺寸的电子设备；而且操作元素信息相对于操作界面图像所需空间较小，因此电子设备在向终端设备传输操作元素信息的过程中对网络的要求也较低，能够降低数据传输的时延。

在一些实施例中，该方法还可以包括：第一电子设备接收第一终端设备发送的时间同步请求，并基于时间同步请求调整第一电子设备的时间与第一终端设备的时间一致；

对应的，第一电子设备发送操作元素信息给第一终端设备，具体可以包括：第一电子设备将第一电子设备产生的操作元素信息进行聚合后发送给第一终端设备。

本申请实施例还提供的一种响应电子设备操作引导信息的方法，该方法可以应用于第二电子设备一侧，该方法包括以下步骤：

第二电子设备接收第二终端设备发送的操作引导信息，操作引导信息包括多组操作元素信息，每组操作元素信息对应一生成时间；

第二电子设备基于每组操作元素信息的生成时间，依次响应各组操作元素信息。

上述响应电子设备操作引导信息的方法，第二电子设备接收到第二终端设备发送的操作引导信息后，基于操作引导信息中的每组操作元素信息的生成时间，依次响应操作引导信息中的各组操作元素信息，由于该操作元素信息与传统技术中的操作界面图像相比，并不涉及可能会泄露电子设备的用户隐私的内容，因此能够降低在对电子设备操作引导过程中泄露用户隐私的风险；而且操作引导元素信息并不涉及操作界面的尺寸，因此相对于传统技术中的操作界面图像而言能够更好的适用不同操作界面尺寸的电子设备。

一些实施例中，操作元素信息包括针对于第二电子设备的操作界面的界面操作元素信息，和/或针对于第二电子设备的物理硬件的硬件操作元素信息；界面操作元素信息包括操作界面布局和与操作界面的状态变化对应的操作元素信息。第二电子设备通过显示单元显示上述界面操作元素信息，通过音频播放单元播放上述硬件操作元素信息，以及通过音频播放单元将上述文本信息转换为音频信息进行播放。

上述第二电子设备响应操作引导信息，具体可以为：第二电子设备根据操作元素信息中的操作界面布局，确定该操作元素信息在操作界面中的位置，并在该位置将基于操作元素信息绘制的提示信息进行显示。

示例性的，在操作引导信息中的某一操作引导步骤对应的操作元素信息中存在需要操作的显示界面时，第二电子设备可以提取对应操作元素信息中的按键元素信息并确定该按键元素信息在操作界面中的位置，按照该位置将基于操作元素信息绘制的提示信息显示在模拟的操作界面中，例如以高亮框或箭头指引的形式显示在操作界面中；对于存在文本信息的情况，第二电子设备可以使用TTS将该文本信息转换为音频信息进行播放。

对应于上文实施例的应用于第一终端设备的电子设备操作引导信息录制方法，图16示出了本申请实施例提供的电子设备操作引导信息录制装置500的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参见图16，本申请实施例中的电子设备操作引导信息录制装置可以包括第一模拟单元501、第一接收单元502、第一获取单元503和录制单元504。

第一模拟单元501，用于响应于接收到的电子设备类型标识，模拟与电子设备类型标识对应的第一电子设备的操作界面和/或物理硬件；

第一接收单元502，用于接收基于操作界面和/或物理硬件的操作信息；

第一获取单元503，用于获取基于操作信息所生成的操作元素信息；

录制单元504，用于对操作元素信息进行录制，生成操作引导信息。

上述电子设备操作引导信息录制装置，第一终端设备响应于接收到的电子设备类型标识，模拟与该电子设备类型标识对应的第一电子设备的操作界面和/或物理硬件，并接收基于该操作界面和/或物理硬件上的操作信息，并获取基于该操作信息所生成的操作元素信息，而由于第一终端设备模拟第一电子设备的操作界面和/或物理硬件，第一终端设备具有该第一电子设备的操作界面和/或物理硬件所具有的功能和属性，第一终端设备和第一电子设备两者执行相同的操作信息产生的结果相同，因此第一终端设备基于该操作信息产生的操作元素信息与第一电子设备执行该操作信息产生的操作元素信息相同，从而使得第一终端设备可以不需要通过第一电子设备即可获取第一电子设备的操作元素信息。

对应于上文实施例的应用于第二终端设备的获取电子设备操作引导信息的方法，图17示出了本申请实施例提供的获取电子设备操作引导信息的装置600的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参见图17，本申请实施例中的获取电子设备操作引导信息的装置可以包括第二获取单元601、第二模拟单元602和第一响应单元603。

其中，第二获取单元601，用于获取用于对第二电子设备进行操作引导的操作引导信息，操作引导信息中包括电子设备类型标识；

第二模拟单元602，用于模拟与电子设备类型标识对应的第二电子设备的操作界面和/或物理硬件；

第一响应单元603，用于基于操作界面和/或物理硬件响应操作引导信息。

上述获取电子设备操作引导信息的装置，第二终端设备获取到用于对第二电子设备进行操作引导的操作引导信息后，模拟出与电子设备类型标识对应的第二电子设备的操作界面和/或物理硬件，并基于该操作界面和/或物理硬件响应上述操作引导信息，而第二终端设备模拟具有该第二电子设备的操作界面和/或物理硬件所具有的功能和属性，第二终端设备和第二电子设备两者执行相同的操作信息产生的结果相同，因此第二终端设备通过模拟的操作界面和/或物理硬件响应该操作引导信息的操作引导效果与第二电子设备响应该操作引导信息的操作引导效果相同，从而使得第二终端设备可以不需要通过第二电子设备即可响应该操作引导信息，从而能够对用户操作电子设备进行引导。

对应于上文实施例的应用于第一电子设备的电子设备操作引导信息录制方法，本申请实施例还提供了电子设备操作引导信息录制装置，为了便于说明，仅示出了与本申请实施例相关的部分。

本申请实施例中的电子设备操作引导信息录制装置可以包括第二接收单元、第二响应单元和发送单元。其中，第二接收单元用于接收第一终端设备发送的操作元素信息获取请求；第二响应单元用于响应于操作元素信息获取请求，接收输入的操作信息，并获取基于操作信息生成的操作元素信息；发送单元用于发送操作元素信息给第一终端设备。

上述电子设备操作引导信息录制装置，第一电子设备接收到第一终端设备发送的操作元素信息获取请求后，响应于该操作元素信息获取请求，接收输入的操作信息并获取基于操作信息生成的操作元素信息，将操作元素信息发送给第一终端设备，以使得第一终端设备对操作元素信息进行录制生成与该第一电子设备对应的操作引导信息，由于该操作元素信息与传统技术中的操作界面图像相比，并不涉及可能会泄露电子设备的用户隐私的内容，因此能够降低在对电子设备操作引导过程中泄露用户隐私的风险；而且操作引导元素信息并不涉及操作界面的尺寸，因此相对于传统技术中的操作界面图像而言能够更好的适用不同操作界面尺寸的电子设备；而且操作元素信息相对于操作界面图像所需空间较小，因此电子设备在向终端设备传输操作元素信息的过程中对网络的要求也较低，能够降低数据传输的时延。

对应于上文实施例的应用于第二电子设备的响应电子设备操作引导信息的方法，本申请实施例还提供了响应电子设备操作引导信息的装置，为了便于说明，仅示出了与本申请实施例相关的部分。

本申请实施例中的响应电子设备操作引导信息的装置可以包括第三接收单元和第三响应单元。其中，第三接收单元用于接收第二终端设备发送的操作引导信息，操作引导信息包括多组操作元素信息，每组操作元素信息对应一生成时间；第三响应单元用于基于每组操作元素信息的生成时间，依次响应各组操作元素信息。

上述电子设备操作引导信息录制装置，第二电子设备接收到第二终端设备发送的操作引导信息后，基于操作引导信息中的每组操作元素信息的生成时间，依次响应操作引导信息中的各组操作元素信息，由于该操作元素信息与传统技术中的操作界面图像相比，并不涉及可能会泄露电子设备的用户隐私的内容，因此能够降低在对电子设备操作引导过程中泄露用户隐私的风险；而且操作引导元素信息并不涉及操作界面的尺寸，因此相对于传统技术中的操作界面图像而言能够更好的适用不同操作界面尺寸的电子设备。

本申请实施例还提供了一种终端设备，参见图18，该终端设备700可以包括：至少一个处理器710、存储器720以及存储在存储器720中并可在至少一个处理器710上运行的计算机程序，处理器710执行计算机程序时实现上述任意各个方法实施例中的步骤，例如图6所示实施例中的步骤S101至步骤S104，或者如图12所示实施例中的步骤S401至步骤S403。或者，处理器710执行计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图16所示模块501至504的功能，或如图17所示模块601至603的功能。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器720中，并由处理器710执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在终端设备700中的执行过程。

本领域技术人员可以理解，图18仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。

处理器710可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器720可以是终端设备的内部存储单元，也可以是终端设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器720用于存储计算机程序以及终端设备所需的其他程序和数据。存储器720还可以用于暂时地存储已经输出或者将要输出的数据。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

本申请实施例还提供了一种芯片***，该芯片***可包括存储器和处理器，该处理器执行该存储器中存储的计算机程序，以实现上述任一个方法中的一个或多个步骤。其中，该芯片***可以为单个芯片，或者多个芯片组成的芯片模组。

本申请实施例还提供了一种芯片***，该芯片***可包括处理器，该处理器与存储器耦合，该处理器执行存储器中存储的计算机程序，以实现上述任一个方法中的一个或多个步骤。其中，该芯片***可以为单个芯片，或者多个芯片组成的芯片模组。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种电子设备操作引导信息录制方法，其特征在于，包括：

第一终端设备响应于接收到的电子设备类型标识，模拟与所述电子设备类型标识对应的第一电子设备的操作界面和/或物理硬件；

所述第一终端设备接收基于所述操作界面和/或所述物理硬件的操作信息；

所述第一终端设备获取根据所述操作信息所生成的操作元素信息；

所述第一终端设备对所述操作元素信息进行录制，生成操作引导信息，所述操作引导信息中包括电子设备类型标识。

2.根据权利要求1所述的方法，其特征在于，所述第一终端设备响应于接收到的电子设备类型标识，模拟与所述电子设备类型标识对应的第一电子设备的操作界面和/或物理硬件，包括：

所述第一终端设备请求与所述第一电子设备建立通信连接；

在所述第一终端设备未与所述第一电子设备成功建立通信连接的情况下，所述第一终端设备模拟所述第一电子设备的所述操作界面和/或所述物理硬件。

3.根据权利要求2所述的方法，其特征在于，所述第一终端设备模拟所述第一电子设备的所述操作界面和/或所述物理硬件，包括：

所述第一终端设备调用所述第一电子设备的虚拟设备模型，并通过所述虚拟设备模型模拟所述第一电子设备的所述操作界面和/或所述物理硬件。

4.根据权利要求2所述的方法，其特征在于，所述方法包括：

在所述第一终端设备与所述第一电子设备成功建立通信连接的情况下，所述第一终端设备从所述第一电子设备处获取所述第一电子设备的操作元素信息。

5.根据权利要求4所述的方法，其特征在于，所述第一终端设备从所述第一电子设备处获取所述第一电子设备的操作元素信息，包括：

所述第一终端设备向所述第一电子设备发送操作元素信息获取请求，所述操作元素信息获取请求用于请求所述第一电子设备获取所述第一电子设备响应于接收到的操作信息所产生的操作元素信息，以及向所述第一终端设备发送所述操作元素信息。

6.根据权利要求4所述的方法，其特征在于，所述电子设备类型标识为多个，每个所述电子设备类型标识对应一第一电子设备，每个所述第一电子设备对应多组操作元素信息，每组所述操作元素信息对应一生成时间和一电子设备类型标识；

所述方法还包括：

所述第一终端设备向多个所述电子设备类型标识对应的每个第一电子设备发送时间同步请求，所述时间同步请求用于请求所述第一电子设备调整所述第一电子设备的时间与所述第一终端设备的时间一致；

所述第一终端设备对所述操作元素信息进行录制，生成操作引导信息，包括：

所述第一终端设备按照各组所述操作元素信息对应的电子设备类型标识，确定与各个第一电子设备中每个第一电子设备对应的操作元素信息；

所述第一终端设备按照操作元素信息的生成时间的先后顺序，将与每个第一电子设备对应的操作元素信息进行打包，生成与每个第一电子设备对应的操作引导信息。

7.根据权利要求6所述的方法，其特征在于，所述操作引导信息还包括文本信息，所述文本信息为：所述第一电子设备在获取所述操作信息对应的时间范围内，将获取到的用于与所述操作信息共同进行操作引导的音频信息转换得到的文本信息。

8.根据权利要求1或4所述的方法，其特征在于，所述操作元素信息包括针对于所述电子设备的操作界面的界面操作元素信息，和/或针对于所述电子设备的物理硬件的硬件操作元素信息；

其中，所述界面操作元素信息包括操作界面布局和与操作界面的状态变化对应的操作元素信息。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一终端设备获取所述操作信息对应的时间范围内，所述第一终端设备获取用于与所述操作信息共同进行操作引导的音频信息；

所述第一终端设备将所述音频信息录制在所述操作引导信息中。

10.根据权利要求8所述的方法，其特征在于，所述第一终端设备将所述音频信息录制在所述操作引导信息中，包括：

所述第一终端设备将所述音频信息转换为文本信息，以及将所述文本信息录制在所述操作引导信息中。

11.一种获取电子设备操作引导信息的方法，其特征在于，包括：

第二终端设备获取用于对第二电子设备进行操作引导的操作引导信息，所述操作引导信息中包括电子设备类型标识和操作元素信息；

所述第二终端设备模拟与所述电子设备类型标识对应的第二电子设备的操作界面和/或物理硬件；

所述第二终端设备基于所述操作界面和/或所述物理硬件响应所述操作元素信息，生成用于对所述第二电子设备进行操作引导的提示信息。

12.根据权利要求11所述的方法，其特征在于，所述第二终端设备模拟与所述电子设备类型标识对应的第二电子设备的所述操作界面和/或所述物理硬件，包括：

在所述第二电子设备为不具有操作引导信息响应单元的电子设备的情况下，所述第二终端设备模拟所述第二电子设备的所述操作界面和/或所述物理硬件；

其中，所述操作引导信息响应单元包括显示单元和/或音频播放单元。

13.根据权利要求12所述的方法，其特征在于，所述第二终端设备模拟所述第二电子设备的所述操作界面和/或所述物理硬件，包括：

所述第二终端设备调用所述第二电子设备的虚拟设备模型，并通过所述虚拟设备模型模拟所述第二电子设备的所述操作界面和/或所述物理硬件。

14.根据权利要求12所述的方法，其特征在于，所述电子设备类型标识为多个，每个所述电子设备类型标识对应一第二电子设备，每个所述第二电子设备对应一操作引导信息，每一操作引导信息包括多组操作元素信息，每组所述操作元素信息对应一生成时间；

所述基于所述操作界面和/或所述物理硬件响应所述操作引导信息，包括：

所述第二终端设备对每个所述第二电子设备对应的操作引导信息依次进行解析，得到每个所述第二电子设备对应的多组操作元素信息；

所述终端设备按照每组操作元素信息对应的生成时间的先后顺序，依次通过与每组操作元素信息对应的第二电子设备的操作界面和/或物理硬件响应各组操作元素信息。

15.根据权利要求12所述的方法，其特征在于，所述方法包括：

在所述第二电子设备为具有操作引导信息响应单元的电子设备的情况下，所述第二终端设备将所述操作引导信息发送给所述第二电子设备。

16.根据权利要求15所述的方法，其特征在于，所述操作引导信息包括针对于所述第二电子设备的用户界面的界面操作元素信息，针对于所述第二电子设备的物理硬件的硬件操作元素信息，以及由用于进行操作引导的音频信息转换得到的文本信息；

其中，所述界面操作元素信息用于指示所述第二电子设备的显示单元显示所述界面操作元素信息，所述硬件操作元素信息用于指示第二所述电子设备的音频播放单元播放所述硬件操作元素信息，所述文本信息用于指示所述第二电子设备的音频播放单元将所述文本信息转换为音频信息进行播放。

17.一种终端设备，其特征在于，包括：一个或多个处理器、存储器和显示屏；

所述存储器、所述显示屏与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；

当所述一个或多个处理器执行所述计算机指令时，使得所述终端设备执行如权利要求1至10中任一项所述的方法，或者如权利要求11至16中任一项所述的方法。

18.一种芯片***，其特征在于，所述芯片***包括处理器，所述处理器与存储器耦合，所述处理器执行所述存储器中存储的计算机程序，以实现如权利要求1至10中任一项所述的方法，和/或如权利要求11至16中任一项所述的方法。

Images