CN113497909B - 一种设备交互的方法和电子设备 - Google Patents

一种设备交互的方法和电子设备 Download PDF

Info

Publication number
CN113497909B
CN113497909B CN202010192324.5A CN202010192324A CN113497909B CN 113497909 B CN113497909 B CN 113497909B CN 202010192324 A CN202010192324 A CN 202010192324A CN 113497909 B CN113497909 B CN 113497909B
Authority
CN
China
Prior art keywords
interface
application
video call
mobile phone
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010192324.5A
Other languages
English (en)
Other versions
CN113497909A (zh
Inventor
方荣杰
杨冰
赖伟龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010192324.5A priority Critical patent/CN113497909B/zh
Priority to PCT/CN2021/081065 priority patent/WO2021185244A1/zh
Priority to US17/912,615 priority patent/US20230216990A1/en
Priority to EP21772561.3A priority patent/EP4109891A4/en
Publication of CN113497909A publication Critical patent/CN113497909A/zh
Application granted granted Critical
Publication of CN113497909B publication Critical patent/CN113497909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种设备交互的方法和设备。当电子设备确定处在视频通话状态时，可以显示对话框或控件，响应于作用在对话框或控件的操作，电子设备可以与同一局域网中的其他设备进行互动，如将视频通话切换至智能电视上进行，或者在智能电视上进行投屏。本发明的技术方案可应用在人工智能和智慧家庭领域。通过该技术方案，用户能够充分使用各智能设备的能力，在视频通话时能够获得更好的用户体验。

Description

一种设备交互的方法和电子设备
技术领域
本申请涉及终端领域，特别涉及一种设备交互的方法和电子设备。
背景技术
随着终端技术的发展，越来越多的应用能够通过手机实现。然而，受自身结构和能力的限制，部分应用在手机上无法获得最佳的用户体验。如观看视频时，手机屏幕较小，无法展现画面的效果，又如在视频通话时，由于屏幕较小，通话过程中需要手持，导致显示效果较差。
随着物联网(Internet of Things,IoT)技术的发展，上述场景能够通过该技术获得更好的用户体验。比如用户在用手机进行视频通话时，用户可以选择将手机上显示的视频内容转移到智能电视上显示，使得用户无需手持设备，并且显示效果较好，能够获得良好的用户体验。然而，上述操作较为繁琐。因此，智能设备的能力得不到充分的应用。
发明内容
本发明的目的在于提供一种设备交互的方法、装置和***，能够提示用户进行设备交互，充分的利用智能设备的能力，提高用户体验。
上述目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。
第一方面，提供了一种设备交互方法，其包括：第一设备显示第一界面；上述第一设备确定第一硬件资源被使用以及使用上述第一硬件资源的第一应用；上述第一设备确定第二硬件资源被使用以及使用上述第二硬件资源的第二应用；当满足预设条件时，上述第一设备在上述第一界面上显示第一控件；上述预设条件包括：上述第一设备确定上述第一应用与上述第二应用是相同的应用，以及，上述第一设备确定第二设备具有视频播放能力，其中，上述第二设备和上述第一设备连接至同一局域网；响应于对上述第一控件的第一操作，上述第一设备向上述第二设备发送第一信息，其中，上述第一信息使得上述第二设备显示第二界面，上述第二界面与上述第一界面关联；其中，上述第一硬件资源是摄像头，上述第二硬件资源是音频资源，或，上述第一硬件资源是音频资源，上述第二硬件资源是摄像头。
第一方面所描述的技术方案，可以使得第一设备能够判断自身的状态，从而能够提示用户与第二设备进行设备交互，充分运用了智能设备的能力，提高了用户体验。
根据第一方面，在一种可能的实现方式中，上述摄像头是前置摄像头。
根据上述实现方式，能够更加准确的判断摄像头的状态。
根据第一方面，在一种可能的实现方式中，上述音频资源包括麦克风。
根据上述实现方式，能够更加准确的判断音频设备的状态。
根据第一方面，在一种可能的实现方式中，上述第一界面为视频通话的界面。
上述视频通话的界面可以是视频通话接通前的界面，也可以是视频通话接通后的界面。根据上述实现方式，第一设备判断的是自身处在视频通话状态。
根据第一方面，在一种可能的实现方式中，上述第二界面与上述第一界面相同。
这里，第二界面与第一界面相同是指，第二界面可以与第一设备上显示的界面相同，也可以是与第一设备上显示的界面中不包括状态栏和导航栏的部分相同
根据上述实现方式，能够使得第二设备上显示与第一设备相同的界面。
根据第一方面，在一种可能的实现方式中，上述第一界面与上述第二界面包括相同的元素和不同的布局。
这里，第一界面与第二界面包括相同的元素是指，第一界面与第二界面都包括显示视频通话双方摄像头采集的数据的显示区。第一界面与第二界面具有不同的布局是指，上述显示区的相对位置不同。
根据上述实现方式，第一设备可以将视频通话切换到第二设备继续进行。
根据第一方面，在一种可能的实现方式中，上述第一界面为上述视频通话接通前的界面，上述第二界面为上述视频通话接通后的界面。
根据上述实现方式，第一设备可以在视频通话未接通时提示进行切换，在切换后接通视频通话。
根据第一方面，在一种可能的实现方式中，响应于上述第一操作，上述视频通话接通。
根据上述实现方式，可以在视频通话切换过程中减少用户的操作。
根据第一方面，在一种可能的实现方式中，上述第一设备通过摄像头管理器发送的第一消息确定上述摄像头被使用；以及，上述第一设备通过音频管理器发送的第二消息确定上述音频资源被使用。
根据上述实现方式，第一设备能够确定各硬件资源被使用。
根据第一方面，在一种可能的实现方式中，上述第一设备在确定上述第一硬件资源被使用时，确定第一前台应用；上述第一设备在确定上述第二硬件资源被使用时，确定第二前台应用；响应于上述第一设备确定上述第二前台应用与上述第一前台应用是相同的应用，将上述第一前台应用确定为第一应用，将上述第二前台应用确定为第二应用。
根据上述实现方式，通过判断硬件资源被使用时的前台应用确定使用硬件资源的应用。
根据第一方面，在一种可能的实现方式中，上述第一设备在确定第一硬件资源和第二硬件资源被使用时，基于接收到的上述第一消息和上述第二消息的时间分别确定第一前台应用和第二前台应用；响应于上述第一设备确定上述第二前台应用与上述第一前台应用是相同的应用，将上述第一前台应用确定为第一应用，将上述第二前台应用确定为第二应用。
根据上述实现方式，第一设备能够在确定第一硬件资源和第二硬件资源都使用的情况下开始确定前台应用，提高了判断效率。
根据第一方面，在一种可能的实现方式中，响应于上述第一设备确定上述第一前台应用与上述第二前台应用是不同的应用，上述第一设备通过第一硬件资源的第一权限访问信息确定使用上述第一硬件资源的第一应用，通过第二硬件资源的第二权限访问信息确定使用上述第二硬件资源的第二应用。
这里，权限访问信息可以包括权限访问记录。
根据上述实现方式，第一设备能够更加准确的确定使用硬件资源的应用。
根据第一方面，在一种可能的实现方式中，响应于上述第一设备确定上述第一前台应用与上述第二前台应用是不同的应用，上述第一设备通过麦克风的权限访问信息确定使用上述音频资源的应用。
根据上述实现方式，第一设备根据视频通话的业务特点判断相应使用硬件资源的应用。
根据第一方面，在一种可能的实现方式中，当上述预设条件还包括上述第一设备确定第三设备具有视频播放能力时，上述第一设备在上述第一界面上显示第二控件，其中，上述第三设备和上述第一设备连接至同一局域网；响应于对上述第二控件的操作，上述第一设备向上述第三设备发送第二信息，其中，上述第二信息使得上述第三设备显示第三界面，上述第三界面与上述第一界面关联。
根据上述实现方式，第一设备能够向用户显示多个可交互的设备。
根据第一方面，在一种可能的实现方式中，上述第一界面为接收到视频通话请求时显示的界面；当满足上述预设条件时，还包括，上述第一设备向上述第二设备发送第三信息，上述第三信息使得上述第二设备显示上述视频通话请求。
根据上述实现方式，第二设备能够向用户提示视频通话请求。
根据第一方面，在一种可能的实现方式中，上述第二设备显示上述第二界面时，当上述第一设备与上述局域网断开连接，上述第一设备显示上述第一界面，上述第二设备不显示上述第二界面。
根据上述实现方式，第一设备能够根据网络状态进行设备的互动。
根据第一方面，在一种可能的实现方式中，当上述第二设备显示上述第二界面时，上述第一设备显示第三控件，响应于对上述第三控件的操作，使得上述第二设备不显示上述第二界面。
根据上述实现方式，第一设备能够将视频通话切换回手机继续进行。
根据第一方面，在一种可能的实现方式中，其中，上述预设条件还包括：上述第一设备确定上述第一应用包括在应用程序列表中，其中，上述应用程序列表中包括一个或多个视频通话应用信息。
根据上述实现方式，第一设备可以对不同的视频通话应用进行不同的处理。
第二方面，提供了一种设备交互***，其包括：第一设备和第二设备，其中，上述第二设备和上述第一设备连接至同一局域网；其中，第一设备显示第一界面；上述第一设备确定第一硬件资源被使用以及使用上述第一硬件资源的第一应用；上述第一设备确定第二硬件资源被使用以及使用上述第二硬件资源的第二应用；当满足预设条件时，上述第一设备在上述第一界面上显示第一控件；上述预设条件包括：上述第一设备确定上述第一应用与上述第二应用是相同的应用，以及，上述第一设备确定第二设备具有视频播放能力；响应于对上述第一控件的第一操作，上述第一设备向上述第二设备发送第一信息；响应于接收所述第一信息，所述第二设备显示第二界面，上述第二界面与上述第一界面关联；其中，上述第一硬件资源是摄像头，上述第二硬件资源是音频资源，或，上述第一硬件资源是音频资源，上述第二硬件资源是摄像头。
第二方面所描述的技术方案，可以使得第一设备能够判断自身的状态，从而能够提示用户与第二设备进行设备交互，充分运用了智能设备的能力，提高了用户体验。
根据第二方面，在一种可能的实现方式中，上述摄像头是前置摄像头。
根据上述实现方式，能够更加准确的判断摄像头的状态。
根据第二方面，在一种可能的实现方式中，上述音频资源包括麦克风。
根据上述实现方式，能够更加准确的判断音频设备的状态。
根据第二方面，在一种可能的实现方式中，上述第一界面为视频通话的界面。
上述视频通话的界面可以是视频通话接通前的界面，也可以是视频通话接通后的界面。根据上述实现方式，第一设备判断的是自身处在视频通话状态。
根据第二方面，在一种可能的实现方式中，上述第二界面与上述第一界面相同。
这里，第二界面与第一界面相同是指，第二界面可以与第一设备上显示的界面相同，也可以是与第一设备上显示的界面中不包括状态栏和导航栏的部分相同
根据上述实现方式，能够使得第二设备上显示与第一设备相同的界面。
根据第二方面，在一种可能的实现方式中，上述第一界面与上述第二界面包括相同的元素和不同的布局。
这里，第一界面与第二界面包括相同的元素是指，第一界面与第二界面都包括显示视频通话双方摄像头采集的数据的显示区。第一界面与第二界面具有不同的布局是指，上述显示区的相对位置不同。
根据上述实现方式，第一设备可以将视频通话切换到第二设备继续进行。
根据第二方面，在一种可能的实现方式中，上述第一界面为上述视频通话接通前的界面，上述第二界面为上述视频通话接通后的界面。
根据上述实现方式，第一设备可以在视频通话未接通时提示进行切换，在切换后接通视频通话。
根据第二方面，在一种可能的实现方式中，响应于上述第一操作，上述视频通话接通。
根据上述实现方式，可以在视频通话切换过程中减少用户的操作。
根据第二方面，在一种可能的实现方式中，上述第一设备通过摄像头管理器发送的第一消息确定上述摄像头被使用；以及，上述第一设备通过音频管理器发送的第二消息确定上述音频资源被使用。
根据上述实现方式，第一设备能够确定各硬件资源被使用。
根据第二方面，在一种可能的实现方式中，上述第一设备在确定上述第一硬件资源被使用时，确定第一前台应用；上述第一设备在确定上述第二硬件资源被使用时，确定第二前台应用；响应于上述第一设备确定上述第二前台应用与上述第一前台应用是相同的应用，将上述第一前台应用确定为第一应用，将上述第二前台应用确定为第二应用。
根据上述实现方式，通过判断硬件资源被使用时的前台应用确定使用硬件资源的应用。
根据第二方面，在一种可能的实现方式中，上述第一设备在确定第一硬件资源和第二硬件资源被使用时，基于接收到的上述第一消息和上述第二消息的时间分别确定第一前台应用和第二前台应用；响应于上述第一设备确定上述第二前台应用与上述第一前台应用是相同的应用，将上述第一前台应用确定为第一应用，将上述第二前台应用确定为第二应用。
根据上述实现方式，第一设备能够在确定第一硬件资源和第二硬件资源都使用的情况下开始确定前台应用，提高了判断效率。
根据第二方面，在一种可能的实现方式中，响应于上述第一设备确定上述第一前台应用与上述第二前台应用是不同的应用，上述第一设备通过第一硬件资源的第一权限访问信息确定使用上述第一硬件资源的第一应用，通过第二硬件资源的第二权限访问信息确定使用上述第二硬件资源的第二应用。
根据上述实现方式，第一设备能够更加准确的确定使用硬件资源的应用。
根据第二方面，在一种可能的实现方式中，响应于上述第一设备确定上述第一前台应用与上述第二前台应用是不同的应用，上述第一设备通过麦克风的权限访问信息确定使用上述音频资源的应用。
根据上述实现方式，第一设备根据视频通话的业务特点判断相应使用硬件资源的应用。
根据第二方面，在一种可能的实现方式中，该***还包括第三设备，其中，上述第三设备和上述第一设备连接至同一局域网；当上述预设条件还包括上述第一设备确定第三设备具有视频播放能力时，上述第一设备在上述第一界面上显示第二控件；响应于对上述第二控件的操作，上述第一设备向上述第三设备发送第二信息，其中，上述第二信息使得上述第三设备显示第三界面，上述第三界面与上述第一界面关联。
根据上述实现方式，第一设备能够向用户显示多个可交互的设备。
根据第二方面，在一种可能的实现方式中，上述第一界面为接收到视频通话请求时显示的界面；当满足上述预设条件时，还包括，上述第一设备向上述第二设备发送第三信息，响应于接收该第三信息，上述第二设备显示上述视频通话请求。
根据上述实现方式，第二设备能够向用户提示视频通话请求。
根据第二方面，在一种可能的实现方式中，上述第二设备显示上述第二界面时，当上述第一设备与上述局域网断开连接，上述第一设备显示上述第一界面，上述第二设备不显示上述第二界面。
根据上述实现方式，第一设备能够根据网络状态进行设备的互动。
根据第二方面，在一种可能的实现方式中，当上述第二设备显示上述第二界面时，上述第一设备显示第三控件，响应于对上述第三控件的操作，使得上述第二设备不显示上述第二界面。
根据上述实现方式，第一设备能够将视频通话切换回手机继续进行。
根据第二方面，在一种可能的实现方式中，其中，上述预设条件还包括：上述第一设备确定上述第一应用包括在应用程序列表中，其中，上述应用程序列表中包括一个或多个视频通话应用信息。
根据上述实现方式，第一设备可以对不同的视频通话应用进行不同的处理。
根据第二方面，在一种可能的实现方式中，第二设备显示视频通话界面之前，还包括，第二设备显示第一视频信息；以及，响应于第一操作，第二设备显示第一视频信息和视频聊天界面。
根据上述实现方式，第二设备能够同时进行视频播放和视频通话。
根据第二方面，在一种可能的实现方式中，响应于第一操作，第二设备显示第二信息，第二信息用于提示用户进行第二操作；第二设备检测第二操作；第二操作作用在第二设备；响应于第二操作，第一设备显示视频通话界面。
根据上述实现方式，第二设备提示用户进行设备交互。
根据第二方面，在一种可能的实现方式中，第一设备与第二设备建立视频通话之前，还包括，第一设备显示第三界面；响应于第一操作，第一设备显示第三界面，第三界面包括第三控件，第一设备检测第三操作，第三操作作用在第三控件上；响应于第三操作，第一设备显示视频通话界面。
根据上述实现方式，第二设备能够进行用户交互。
第三方面，提供了一种电子设备，一个或多个处理器；存储器；以及一个或多个程序，其中，一个或多个程序被存储在存储器中并被配置为一个或多个处理器执行，一个或多个程序包括指令，指令用于执行如第一方面各实现方法。
第四方面，提供了一种一种计算机可读介质，用于存储一个或多个程序，其中一个或多个程序被配置为被一个或多个处理器执行，一个或多个程序包括指令，指令用于执行如第一方面各实现方法。
应当理解的是，说明书中对技术特征、技术方案、优点或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或优点的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或优点。因此，本说明书中对于技术特征、技术方案或优点的描述并不一定是指相同的实施例。进而，还可以任何适当的方式组合以下各个实施例中所描述的技术特征、技术方案和优点。本领域技术人员将会理解，无需特定实施例的一个或多个特定的技术特征、技术方案或优点即可实现实施例。在其他实施例中，还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和优点。
附图说明
图1为本申请实施例提供的设备交互方法应用的***框架图；
图2A为本申请实施例提供的电子设备的框架图；
图2B为本申请实施例提供的电子设备的软件框架图；
图3(a)-3(d)为本申请实施例提供的一种设备交互时的图形用户界面；
图4(a)-4(d)为本申请实施例提供的另一种设备交互时的图形用户界面；
图5(a)-5(b)为本申请实施例提供的一种显示通知信息的图形用户界面；
图6(a)-6(d)为本申请实施例提供的另一种设备交互时的图形用户界面；
图7(a)-7(d)为本申请实施例提供的另一种设备交互时的图形用户界面；
图8(a)-8(d)为本申请实施例提供的另一种设备交互时的图形用户界面；
图9(a)-9(d)为本申请实施例提供的另一种设备交互时的图形用户界面；
图10(a)-10(b)为本申请实施例提供的另一种设备交互时的图形用户界面；
图11(a)-11(b)为本申请实施例提供的另一种设备交互时的图形用户界面；
图12为本申请实施例提供的另一种设备交互时的示意图；
图13(a)-13(c)为本申请实施例提供的另一种设备交互时的图形用户界面；
图14A-14B为本申请实施例提供的一种电子设备确定状态的方法流程示意图；
图15为本申请实施例提供的一种设备交互时的信号流程示意图；
图16为本申请实施例提供的另一种设备交互时的***构成示意图；
图17为本申请实施例提供的另一种设备交互时的***构成示意图；
图18为本申请实施例提供的另一种设备交互时的信号流程示意图；
图19为本申请实施例提供的另一种设备交互时的信号流程示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下介绍了电子设备、用于这样的电子设备的图形用户界面、和用于使用这样的电子设备的实施例。在一些实施例中，电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载
Figure BDA0002416367120000071
Figure BDA0002416367120000072
或者其它操作***的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备，诸如具有触敏表面或触控面板的膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是具有触敏表面或触控面板的台式计算机。
本申请的说明书和权利要求书及附图中的术语“用户界面(user interface，UI)”，是应用程序或操作***与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，XML)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，HTML)，层叠样式表(cascading style sheets，CSS)，java脚本(JavaScript，JS)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如HTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图1示例性示出了本申请实施例提供的设备交互的方法应用的场景。如图1所示，电子设备100与智能电视102、智能音箱103等设备组成一个设备组，该设备组内的各设备之间均可以互相通信。
例如，可将用户的手机、平板电脑、智能音箱、智能手表以及笔记本电脑作为设备组，当用户使用同一个账号登录该手机、平板电脑、智能音箱、智能手表以及笔记本电脑时，该手机、平板电脑、智能音箱以及笔记本电脑在一个局域网(Local Area Network，LAN)内，局域网内的各设备之间均可以互相通信。其中，局域网内的设备可以通过有线或无线的方式连接局域网。
又例如，电子设备100之间也可以通过无线通信方式(例如，蓝牙，Wi-Fi或ZigBee网络等)组成一个局域网。例如，用户可将手机、平板电脑、智能音箱以及笔记本电脑均加入名称为“1234”的Wi-Fi网络。该Wi-Fi网络内的各个电子设备100形成了一个局域网，该局域网内的所有设备组成了设备组。
当然，除了局域网，设备组内的各电子设备100之间还可以通过蜂窝网络互联，或者，各电子设备100之间还可以通过转接设备(例如，USB数据线或Dock设备)互联，从而实现设备组内各个电子设备100之间的通信功能，本申请实施例对此不作任何限制。
本申请实施例提供的设备交互的方法，能够使电子设备在进行特定状态时提示用户与其他设备交互。
例如，用户使用手机进行视频通话，当手机确定当前处在视频通话状态时，提示用户可以将手机界面切换到智能电视上。
或者，用户使用手机进行语音通话，当手机确定当前处在语音通话状态时，提示用户可以将语音信号切换到智能音箱，用户通过智能音箱进行语音通话。
又或者，当用户使用平板电脑观看视频，当平板电脑确定当前正在播放视频状态时，提示用户可以将视频信号切换到智能电视上播放。
电子设备100可以与图1中所示的设备中的一个或多个设备进行互动。
可以理解的是，设备组中的设备不限于图1所示的设备类型，其还可以是网络摄像头、机顶盒、无人机、电子游戏机等设备，或平板电脑、PDA、台式电脑等设备，也可以是智能穿戴设备或车载设备。
图2A示出了电子设备100的结构示意图。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。在一些实施例中，电子设备100也可以包括一个或多个处理器110。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了电子设备100的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)，超宽带(UWB)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。示例性地，无线通信模块160可以包括蓝牙模块、Wi-Fi模块等。
在一些实施例中，电子设备100的一部分天线和移动通信模块150耦合，另一部分天线和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobilecommunications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband codedivision multiple access，WCDMA)，时分码分多址(time-division code divisionmultiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，毫米波(mmWave)，BT，GNSS，WLAN，NFC，FM，UWB，和/或IR技术等。所述GNSS可以包括全球卫星定位***(globalpositioning system，GPS)，全球导航卫星***(global navigation satellite system，GLONASS)，北斗卫星导航***(beidou navigation satellite system，BDS)，准天顶卫星***(quasi-zenith satellite system，QZSS)和/或星基增强***(satellite basedaugmentation systems，SBAS)。
电子设备100通过GPU，显示屏194，以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)-1，MPEG-2，MPEG-3，MPEG-4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐、照片、视频等数据保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备100执行本申请一些实施例中所提供的数据分享的方法，以及各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***；该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片，联系人等)。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
触摸传感器180K，也可称触控面板或触敏表面。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用在其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用在不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用在显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。
图2A示例性所示的电子设备100可以通过显示屏194显示以下各个实施例中所描述的各个图形用户界面。电子设备100可以通过触摸传感器180K在各个图形用户界面中检测触控操作，例如在各个图形用户界面中的点击操作(如在图标上的触摸操作、双击操作)，又例如在各个图形用户界面中的向上或向下的滑动操作，或执行画圆圈手势的操作，等等。在一些实施例中，电子设备100可以通过陀螺仪传感器180B、加速度传感器180E等检测用户手持电子设备100执行的运动手势，例如晃动电子设备。在一些实施例中，电子设备100可以通过摄像头193(如3D摄像头、深度摄像头)检测非触控的手势操作。
电子设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android***为例，示例性说明电子设备100的软件结构。
图2B是本发明实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图2B所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2B所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器、摄像头管理器、音频管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
摄像头管理器用于管理一个或多个摄像头的状态，当摄像头被使用或者释放时，能够通知使用或者释放事件以及相应的摄像头ID。
音频管理器用于管理音频设置和音频相关的硬件，如麦克风和扬声器。音频管理器能够用于控制音频模式、音量等设置，以及监测麦克风或扬声器等硬件资源被使用或释放。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
图2B所示的软件***涉及到使用分享能力的应用呈现(如图库，文件管理)，提供分享能力的定向分享模块，以及应用框架层提供WLAN服务、蓝牙服务，以及内核和底层提供WLAN蓝牙能力和基本通信协议。
下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸操作，该触摸操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。
电子设备100或智能电视102等终端设备上电后，可以进行设备寻址，获取IP地址。设备完成设备寻址，被分配了IP地址之后，可以进入设备发现流程。在其他一些实施例中，设备也可以使用固定的IP地址接入网络。设备发现可以包括以下三种情况：设备可以在有控制请求之后，在当前的网络中查找有无对应的可用设备；设备也可以在接入网络、取得IP地址之后，就开始向网络广播自己已经进入网络，寻找控制请求。为了实现智能设备之间的控制与被控制，各个终端设备可以支持数字生活网络联盟(Digital Living NetworkAlliance，简称DLNA)技术。DLNA前身是数字家庭工作组(Digital Home Work Group，简称DHWG)，旨在解决PC、消费电器、移动设备在内的无线网络和有线网络的互联互通，使得数字媒体和内容服务的无限制的共享和增长成为可能。DLNA将功能模块划分为数字媒体服务器(Digital Media Server，简称DMS)、数字媒体客户端(Digital Media Receiver，简称DMR)、数字媒体控制器(Digital Media Control，简称DMC)、数字媒体播放器(DigitalMedia Player，简称DMP)四个部分，将其整个应用规定成网络互连、网络协议、媒体传输、设备的发现控制和管理、媒体格式五个功能组件。其中，网络互连规定了所接入网络的类型和协议，如有线网络：802.3i/u、无线网络：802.11a/b/g/n；网络协议规定了所使用的网络协议；媒体传输规定了所有DLNA设备都必须支持使用超文本传输协议(Hyper Text TransferProtocol，简称HTTP)进行媒体的传输；设备的发现、控制和媒体的管理，该功能组件是利用通用即插即用(Universal Plug and Play，简称UPnP)协议栈，通过一系列的步骤和协议来达到设备的发现和管理，是DLNA最重要的一个层次；媒体格式规定了进行数字媒体和内容的共享和使用的时候的媒体格式。设备的发现、控制和媒体的管理，是利用UPnP协议栈实现的。UPnP协议栈包括简单服务发现协议(Simple Service Discovery Protocol，SSDP)、普通事件架构协议(Generic Event Notification Architecture，GENA)、简单对象访问协议(Simple Object Access Protocol，SOAP)，用于各种设备之间的互联，具有良好的通用性，不需要专门的设备驱动层，并且可以在任何操作***上实现。
举例说明，电子设备100在接入局域网后，可以向网络广播自己已经进入网络，同时，从网络中获得其他设备的属性信息，如设备类型、设备标识、设备描述信息等。在其他一些实施例中，电子设备100可以从网络中的一个设备(如路由器或网络中的控制设备)中获得网络中可用的设备列表。该设备列表中可以包含各个可用设备的设备类型、设备标识、设备描述信息等。其中，设备类型可以对终端设备的类型进行区分，如电视机、摄像头、PC等。设备标识用于区分不同的设备。设备描述信息指示设备更具体的描述信息，如设备支持的服务、协议等能力信息等。
在其他一些实施例中，电子设备100可以预先设置一个设备发现按钮，当电子设备100检测到用户打开了设备发现按钮，电子设备100可以获得设备组中其他可用设备的属性信息。在一些实施例中，用户可以通过一些固定入口打开设备发现按钮。例如，这些固定入口可以是下拉菜单、上拉菜单、侧拉菜单或悬浮菜单。本申请实施例对此不作任何限定。
上述设备发现按钮可以是虚拟按键，也可以是实体按键。此外，电子设备100也可以通过语音命令或特定的手势来开启设备发现。
电子设备100可以保存之前有过互动的设备的属性信息，并在接入局域网或有控制请求后，对已保存设备的属性信息进行维护。例如，电子设备100在之前的视频通话过程中将视频通话切换到智能电视102上，电子设备100可以保存智能电视102的属性信息。当电子设备100再次接入网络或产生互动请求后，可以监听智能电视102是否可用，以及保存的属性信息是否发生变化。若上述信息发生变化，则更新上述信息。
图3示例性示出了本申请实施例提供的一种多设备交互时的图形用户界面。图3(a)和图3(b)分别示出了用户使用视频通话应用拨打和接听视频通话时的用户界面。如图3(a)所示，用户界面可以包括状态栏21、导航栏22、挂断控件201、语音切换控件202、第一信息203、第二信息204、第三信息205。其中：
挂断控件201用于中断视频通话。手机可以检测到作用在挂断控件201的触控操作(如在挂断控件201上的点击操作)，响应于该操作，手机可以中断视频通话。
语音切换控件202用于将视频通话切换为语音通话。手机可以检测到作用在语音切换控件202的触控操作(如在语音切换控件202上的点击操作)，响应于该操作，手机可以将视频通话切换为语音通话，关闭摄像头。
第一信息203用于显示视频通话对方的标识信息。如图3(a)所示，该信息可以是视频通话被叫用户的账户名。
第二信息204用于提示当前的状态。如图3(a)所示，该信息可以是“正在等待对方接受邀请”，以提示用户当前视频通话请求已经发出，对方尚未接听。
第三信息205用于显示视频通话对方的图标信息。如图3(a)所示，该信息可以是视频通话发起方用户的头像。
上述第一信息203、第二信息204和第三信息205可以是文字信息，也可以是图片、动画等形式或上述各种形式的组合。本实施例对此不做任何限定。
状态栏21可以包括：无线高保真(wireless fidelity，Wi-Fi)的一个或多个信号强度指示符、移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符、时间指示符和电池状态指示符。
导航栏22可以包括：返回按键、主界面(Home Screen)按键、呼出任务历史按键灯***导航键。当***检测到用户点击返回按键时，手机可显示当前页面的上一个页面。当检测到用户点击主界面按钮时，手机可显示主界面。当检测到用户点击呼出任务历史按键时，手机可显示用户最近打开的任务。各导航键的命名还可以为其他，本申请对此不做限制。不限于虚拟按键，导航栏42中的各导航键也可以实现为物理按键，在其他一些实施例中，手机可以不显示导航栏或导航键，通过响应于例如语音、手势等指令来实现上述导航键对应的操作。
如图3(b)所示，图形用户界面可以包括状态栏、导航栏、挂断控件201、语音切换控件202、接听控件206、第一信息203、第二信息204和第三信息205。其中：
接听控件206用于接听视频通话。手机可以检测到作用在接听控件206的触控操作(如在接听控件206上的点击操作)，响应于该操作，手机可以接听视频通话，开始显示对方摄像头采集的数据。
上述第一信息203和第三信息205用于显示视频通话对方的标识和图标，可参照图3(a)，这里不再赘述。
第二信息204用于提示当前的状态。如图3(b)所示，其可以为“邀请你进行视频聊天”，已提示接收到视频通话请求。
状态栏、导航栏、挂断控件、语音切换控件可以参考图3(a)，这里不再赘述。
当视频通话被叫方手机检测到接听控件206上的触控操作之后，视频通话建立。视频通话双方的手机可以显示如图3(c)所示的图形用户界面。如图3(c)所示，图形用户界面可以包括摄像头转换控件207、第一视频显示区208和第二视频显示区209。其中，
第一视频显示区208可用于显示视频通话一方的摄像头采集的数据。
第二视频显示区209可用于显示视频通话另一方的摄像头采集的数据。
第二视频显示区209还可以用于，当检测到用户在第二视频显示区的触摸操作时，第一视频显示区208和第二视频显示区209显示的数据互换。
摄像头切换控件207可用于切换手机采集数据使用的摄像头。手机可以检测到作用在摄像头切换控件207的操作(如在摄像头切换控件207上的点击操作)，响应于该操作，手机可以切换摄像头。举例说明，若点击摄像头切换控件207之前，第二视频显示区209显示的是手机的前摄像头采集的数据，点击之后，第二视频显示区207显示手机的后摄像头采集的数据，该数据可以为视频。
手机可以检测自身是否处在视频通话状态，若确定处在视频通话状态，手机在图3(c)所示的图形用户界面上显示如图3(d)所示的对话框210。该对话框用于引导用户与设备组中的其他设备进行互动。其中，对话框210中可以显示提示信息211，该提示信息可用于提示用户互动的设备。如图3(d)所示，提示信息211可以为文本信息“在客厅电视继续视频通话”，以提示用户可以将当前的视频通话切换到设备客厅电视上，这样能够获得在大屏幕的设备上视频通话的体验。此外，对话框中还可以包括控件212和控件213，其中，控件212可以显示“确定”，若手机检测到在该控件上的触摸操作，手机触发将当前的视频通话切换到客厅电视上继续进行。控件213可以显示“取消”，若手机检测到在该控件上的触摸操作，手机可以不显示对话框210，继续显示如图3(c)所示的视频通话界面。
在其他一些实施例中，手机可以在视频通话建立时显示对话框210，也就是说，图形用户界面由如图3(a)或者3(b)所示的界面更新到如图3(d)所示的界面。
可以理解的是，图3中的各控件、对话框以及信息仅作为示例，其图案、位置、形状和形式均不限于图中所示例的方式，例如，控件可以不显示在用户界面中，电子设备可以响应与用户的语音或手势的指令触发控件对应的功能，图示的信息不限于文本，其还可以时图片、动画等其他形式。本申请实施例对此不做任何限制。
图4示例性示出了设备之间进行互动时各设备界面的一种更新过程。图4(a)示例性示出了手机检测到视频通话建立之后显示的对话框。如图4(a)所示，若手机检测到了在控件212上的操作，手机触发与图4(b)所示的智能电视之间的互动。其中，智能电视可以具有用户名“客厅电视”。图4(b)和图4(c)示例性示出了手机与智能电视互动前后，智能电视显示的界面。如图4(b)所示，手机与智能电视互动之前，智能电视可以处于待机状态，其连接了与手机相同的局域网、或者与手机建立了蓝牙等无线通信连接，也可以连接了网络并登陆了与手机相同的用户账号。智能电视102中可以安装了与手机中相同的视频通话应用，或同一应用的不同版本，或可以共享账户的不同应用，并且智能电视102上可以内置或外接了摄像头、麦克风。在其他一些实施例中，在手机触发与智能电视之间的互动前，智能电视也可以处于显示图片或视频的状态。
当手机检测到了在如图4(a)控件212上的操作，手机可以向智能电视发送第一切换消息，响应于该第一切换消息，智能电视可以显示如图4(c)所示的界面。其中，界面中可以包括第三视频显示区221和第四视频显示区222。其中，第三视频显示区221显示了视频通话对方设备的摄像头采集的数据，其中，对方的设备可以是手机，也可以是电视，或者从手机切换到了电视。第四视频显示区222显示了视频通话本方设备的摄像头采集的数据。其中，本方的设备可以是智能电视。摄像头可以内置在智能电视中，也可以外接于智能电视。
在其他一些实施例中，图4(c)所示的界面上还可以包括提示消息223。该提示消息223可以显示文本信息如“在遥控器上点击【确定】在手机继续聊天”。该提示消息223用于提示用户可以将视频通话切换到手机上继续进行。若智能电视102检测到用户在遥控器上点击了“确定”按键，智能电视102可以向手机发送第二切换消息，响应于该消息，手机上可以显示对方设备的摄像头采集的数据。智能电视102在切换完成之后可以返回到原来的界面。例如，若智能电视102在显示视频通话界面之前处于待机状态，响应于用户在遥控器上点击了“确定”按键之后可以返回待机状态；若智能电视102在显示视频通话界面之前显示点播视频或者本地视频，在切换到显示视频通话界面时，智能电视102可以暂停播放视频，响应于用户在遥控器上点击了“确定”按键之后，智能电视102可以显示当前时刻的直播节目，智能电视102可以从暂停的时刻起继续显示点播视频或本地视频。若智能电视102在显示视频通话界面之前显示直播节目，响应于用户在遥控器上点击了“确定”按键之后，智能电视102可以显示当前时刻的直播节目；也可以记录由播放视频切换到视频通话界面的时刻，智能电视102或与其连接的机顶盒可以录制该时刻之后的直播节目，响应于用户在遥控器上点击了“确定”按键之后，智能电视102可以从该时刻起继续播放录制的直播节目。
手机将视频通话切换到智能电视102之后，将返回到视频通话产生之前的用户界面。例如，手机在接收到视频通话请求之前显示的是主界面。如图4(d)所示，手机将视频通话切换到智能电视102之后返回至主界面。在一些实施例中，该图形用户界面中可以包括第一通知消息214。该第一通知消息214可以显示文本信息如“视频通话正在客厅电视进行”，以提示用户视频通话正在客厅电视上进行。该图形用户界面中还可以包括控件215。若手机检测到作用在该控件上的操作，手机可以向智能电视102发送第三切换消息。响应于该第三切换消息，手机上可以继续视频通话，显示对方摄像头采集的数据，智能电视102可以显示手机将视频通话切换到智能电视102的时刻之前显示的界面。在其他一些实施例中，若手机在接收到视频通话请求之前显示的是其他应用(如图库、阅读等)的界面或者视频通话应用的界面，手机将视频通话切换到智能电视102之后，手机可以显示切换之前相应的界面。对于视频通话发起方，其在发起视频通话请求之前显示的界面可以包括被叫联系人的信息或与被叫联系人的聊天窗口等，手机将视频通话切换到智能电视之后，手机可以显示切换之前响应的界面。
在其他一些实施例中，当手机将视频通话切换到智能电视102之后，用户可以通过如图5所示的操作将视频通话切换回手机中继续进行。如图5(a)所示，当手机检测到状态栏上的向下互动的手势时，响应于该手势，手机可以在图形用户界面上显示窗口216以及第一通知消息214和控件215，如图5(b)所示。窗口216中可以显示蓝牙、WiFi等功能的开关控件。当手机检测到作用在控件215的操作时，手机可以触发将视频通话从智能电视102切换回手机继续进行。
图6示例性示出了设备之间进行互动时各设备界面的另一种更新过程。当手机确定处在视频通话状态时，手机可以在图形用户界面上显示如图6(a)所示的对话框220，对话框220中可以包含提示信息221以及控件222和控件223。其中，提示信息221用于提示用户可以进行投屏操作。如图6(a)所示，提示信息211可以为文本信息“投屏到客厅电视”，以提示用户可以将当前手机显示的视频通话界面投屏到客厅电视上，这样能够获得在大屏幕的设备上视频通话的体验。此外，对话框中220还可以包括控件222和控件223，其中，控件222可以显示“确定”，若手机检测到在该控件上的触摸操作，手机触发提示信息中的投屏操作。控件223可以显示“取消”，若手机检测到在该控件上的触摸操作，手机可以不显示对话框220，不进行投屏操作，继续进行视频通话。
图6(b)和图6(c)示例性示出了手机与智能电视互动前后，智能电视显示的界面。如图6(b)所示，手机与智能电视互动之前，智能电视可以处于待机状态，其连接了与手机相同的局域网、或者与手机建立了蓝牙等无线通信连接，也可以连接了网络并登陆了与手机相同的用户账号。在其他一些实施例中，在手机触发与智能电视之间的互动前，智能电视也可以处于显示图片或视频的状态。
当手机检测到了在如图6(a)控件222上的操作，手机可以向智能电视发送第一投屏消息，响应于该第一投屏消息，智能电视可以显示如图6(c)所示的界面。其中，界面中可以包括第五视频显示区224。其中，第五视频显示区224显示了视频通话对方设备的摄像头采集的数据，其中，对方的设备可以是手机，也可以是电视，或者从手机切换到了电视。
图6(d)示例性示出了手机与智能电视进行互动之后手机上显示的图形用户界面。响应于作用在如图6(a)所示的控件222的操作，手机可以不显示对话框220，继续显示视频通话界面。其中，上述投屏操作使得在智能电视上显示的界面与在手机上显示的界面相同。在其他一些实施例中，智能电视上显示的界面可以与手机显示的图形用户界面中不包括状态栏和导航栏的部分相同。在其他一些实施例中，智能电视上显示的界面可以与视频通话应用窗口相同。
在其他一些实施例中，在视频通话中，电子设备100可以在发起视频通话时和/或接收到视频通话请求时确定进入视频通话状态。电子设备100可以提示用户进行与其他设备的互动。
图7示例性示出了电子设备100接收到视频通话请求时显示的图形用户界面。图7(a)示出了手机接收到视频通话请求时显示的图形用户界面。当手机确定进入视频通话状态时，如图7(b)所示，手机可以在图形用户界面上显示控件230，控件230可以包括提示信息，如“在客厅电视上接听”，用于提示用户可以点击控件230将视频通话切换到客厅电视上继续进行。在其他一些实施例中，响应于检测到作用在控件230的操作，手机可以与客厅电视进行投屏操作，使客厅电视上显示与手机相同的界面。
在其他一些实施例中，如图7(b)所示，当手机确定进入视频通话状态，并且当前有除客厅电视之外的其他设备(如“卧室电视”)时，手机可以在图形用户界面上显示控件231，控件231可以包括提示信息，如“在卧室电视上接听”，用于提示用户可以点击控件231将视频通话切换到卧室电视上继续进行。在其他一些实施例中，响应于检测到作用在控件231的操作，手机可以与卧室电视进行投屏操作，使卧室电视上显示与手机相同的界面。
在一些实施例中，当手机检测到作用在控件230或控件231上的操作时，手机可以模拟***在接听控件进行点击操作，接通该视频通话。
在一些实施例中，如图7(c)所示，当手机确定进入视频通话状态，并且当前有除了客厅电视之外的其他多个设备时，手机可以在图形用户界面上显示控件232，控件232可以包括提示信息，如“在其他设备上接听”，用于提示用户可以点击控件232来选择设备进行互动。响应于作用在控件232的操作，手机可以显示如图7(d)所示的窗口24。在窗口24中，可以包括控件241和控件242，其中，控件241和控件242可以分别包括提示信息，如“卧室电视”、“智能音箱”，以提示用户通过点击相应的控件选择互动的设备。例如，响应于作用在控件241的操作，手机可以将视频通话切换到卧室电视上继续进行或者与卧室电视进行投屏操作。在其他一些实施例中，响应于作用在控件241或控件242的操作，手机确定进行互动的设备。窗口24中还包括控件243和244，其中，控件243可以显示确定，响应于作用在控件243的操作，手机可以与通过控件241和/或242确定的设备进行互动。控件244可以显示取消，响应于作用在控件244的操作，手机可以显示如图7(a)所示的图形用户界面，继续视频通话。
在其他一些实施例中，当手机通过窗口24中的控件触发与其他设备的互动时，手机可以模拟***在接听控件进行点击操作，接通该视频通话。
在其他一些实施例中，当手机确定进入视频通话状态，并且当前有多个设备可以互动时，手机可以在如图7(a)所示的图形用户界面上显示窗口24，如图7(d)所示。
在其他一些实施例中，手机可以在窗口24中选择多个设备并与多个设备进行互动。例如，用户在窗口24中选择了智能电视、智能音箱和网络摄像头，手机可以使用智能电视显示对方设备的摄像头采集的数据，使用智能音箱采集本方的音频数据，使用网络摄像头采集本方的视频数据。
当手机发出视频通话请求时，手机可以确定处于视频通话状态，通过在图形用户界面上显示控件或对话框，并响应于用户的操作，进行与其他设备的互动。具体步骤可参考图7，这里不再赘述。
图8示例性示出了电子设备100在语音通话状态时显示设备交互信息的图形用户界面。当手机处在图8(a)所示的图形用户界面时接收到语音通话请求，显示如图8(b)所示的图形用户界面。在如图8(b)所示的图形用户界面中，包括接听控件、挂断控件、表示对方标识和头像的信息以及表示当前状态的信息，如文本信息“邀请你进行语音通话”，以提示用户接收到语音通话请求。上述控件和信息可参考图3，这里不再赘述。
当接收到语音通话请求后，手机可以确定处于语音通话荒唐。响应于该确定结果，手机可以在图形用户界面上显示如图8(c)所示的控件251。控件251可以包括提示信息，如文本信息“在智能音箱上接听”，以提示用户通过点击控件251触发使用音箱继续当前语音通话。响应于作用在控件251的操作，手机可以向智能音箱103发送切换消息，将所述语音通话切换到智能音箱103上进行。手机可以显示在接收语音通话请求之前的图形用户界面，也就是说，手机显示如图8(a)所示的图形用户界面。在其他一些实施例中，如图8(d)所示，手机可以在图形用户界面上显示通知消息252。通知消息252可以包括文本信息“语音通话正在智能音箱进行”，以提示用户语音通话正在智能音箱103上进行。该图形用户界面中还可以包括控件253。若手机检测到作用在该控件上的操作，手机可以向智能音箱103发送切换消息。响应于该切换消息，手机上可以继续语音通话。
在其他一些实施例中，在其他一些实施例中，响应于作用在控件251的操作，手机可以模拟***在接听控件进行点击操作，接通该视频通话。
在其他一些实施例中，手机可以根据当前的状态来确定显示的控件类型。例如，响应于确定手机当前处于视频通话状态，手机可以在图形用户界面中显示如图3(d)中所示的对话框210，或者如图6(a)中所示的对话框220，或者如图7(b)中所示的控件230和/或控件231，或者如图7(c)所示的控件232，或者如图7(d)中所示的窗口24。响应于确当手机当前处于语音通话状态手机可以在图形用户界面中显示如图8(c)所示的控件251。
图9示例性示出了电子设备100在确定处于视频通话状态时向其他设备发送通知消息时显示的图形用户界面。如图9(a)所示，手机在确定处于视频通话状态时，可以在图形用户界面上显示控件230，具体可参考图7。这里不再赘述。此时，手机可以向设备组中的其他设备广播通知消息，也可以向特定设备发送通知消息，该通知消息用于提示用户可以进行设备的互动。如图9所示，手机在确定处于视频通话状态时，可以向智能电视发送第三通知消息，响应于接收该第三通知消息，智能电视可以在如图9(b)所示的正在播放视频的界面301上显示第四通知消息302。第四通知消息302可以是文本信息，例如“Max邀请你进行视频聊天，在遥控器上点击确定接听”。该第四通知消息302用于提示用户进行操作，将视频通话从手机切换到智能电视中继续进行。在一些实施例中，第四通知消息302中还可以包括视频通话对方的图标等信息。若智能电视检测到作用在遥控器上的确定按键的操作，智能电视可以向手机发送第五通知消息，手机接收到第五通知消息后，将视频通话从手机切换到智能电视中继续进行。在其他一些实施例中，智能电视在检测到作用在遥控器上的确定按键操作之前，可以显示图片或直播节目，也可以显示由手机投屏显示的图片或视频，也可以显示游戏界面。
在其他一些实施例中，上述第三通知消息可以是一段代码，智能电视接收到第三通知消息后，经过解析，渲染，最终呈现为用户可以识别的内容。
在其他一些实施例中，第四通知消息302可以指示用户通过语音或手势命令的方式来触发设备的互动。
响应于智能电视检测到作用在遥控器上的确定按键的操作，智能电视上可以显示对方设备的摄像头采集的信息。如图9(c)所示，智能电视上可以包括第六视频显示区303、第七视频显示区304。其中，在第六视频显示区303可以显示对方设备的摄像头采集的信息，在第七视频显示区304可以显示本方设备的摄像头采集的信息。在其他一些实施例中，智能电视显示的图形用户界面中还可以包括第六通知消息305，上述第六通知消息305可以是文本消息如“对我说“手机”，在手机上继续视频聊天”，以提示用户通过相应的操作进行视频通话的切换。若智能电视检测到了用户通过智能电视的麦克风或者遥控器内置的麦克风输入的语音指令“手机”，智能电视触发将视频通话切换到手机。
在一些实施例中，智能电视在显示视频通话界面时，可以暂停正在播放的视频。在其他一些实施例中，当智能电视在检测到作用在遥控器上的确定按键操作之前显示直播节目时，智能电视在显示视频通话界面时，可以由智能电视或与其连接的机顶盒记录由播放视频切换到视频通话界面的时刻，智能电视102或与其连接的机顶盒可以录制该时刻之后的直播节目。当视频通话在智能电视上结束时，可以从记录的时刻起继续显示录制的直播节目。在其他一些实施例中，当智能电视在检测到作用在遥控器上的确定按键操作之前显示直播节目时，视频通话在智能电视上结束时，可以从当前的时刻起继续显示直播节目。
在其他一些实施例中，智能电视可以在显示视频通话界面的同时继续显示之前的图片或视频。如图9(d)所示，智能电视显示的用户界面可以包括第八视频显示区310、第九视频显示区311和第十视频显示区312。其中，第八视频显示区310可以显示智能电视在显示视频通话界面之前显示的视频，第九视频显示区311可以显示视频通话对方设备的摄像头采集的数据，第十视频显示区312可以显示视频通话本方设备的摄像头采集的数据。
在其他一些实施例中，第八视频显示区310可以占据更大的显示区域，同时第九视频显示区311和第十视频显示区312可以占据更小的显示区域。
在其他一些实施例中，智能电视的用户界面可以只包括第八视频显示区和第九视频显示区。
通过显示该界面，用户在进行设备切换时能够不中断当前正在进行的活动，进一步提高用户的体验。
图10示例性示出了视频通话由智能电视切换至手机时显示的图形用户界面。若智能电视检测到触发设备交互的操作，例如，如图9(c)所示，智能电视检测到用户通过智能电视的麦克风或者遥控器内置的麦克风输入的语音指令“手机”，智能电视可以向手机发送第七通知消息，手机接收到该第七通知消息后，将视频通话切换回手机中。智能电视可以继续显示视频，如图10(a)所示。此外，智能电视显示的用户界面中还可以包括通知消息320，该通知消息320可以为文本信息，如“视频通话正在手机上进行”，以提示用户当前进行视频通话的设备。在其他一些实施例中，通知消息可以包括控件(图中未示出)，响应于作用在该控件上的操作，视频通话可以从手机切换到智能电视继续进行。
当视频通话切换到手机时，手机上可以显示如图10(b)所示的图形用户界面。其中可以包括挂断控件、摄像头转换控件、语音转换控件、第一视频显示区和第二视频显示区。上述内容可参考图3(c)，这里不再赘述。
在一些实施例中，由于视频通话在智能电视上进行时，可以使用智能电视内置或外接的摄像头，而视频通话在手机上进行时，可以使用手机上的摄像头，因此，在设备切换后，智能电视和手机上显示的本方设备的摄像头采集的数据可以不同。
在其他一些实施例中，电子设备100能够根据设备组的设备变化情况进行设备交互。图11示例性示出了手机将视频通话切换到智能电视之后，中断与局域网的连接后，进行设备切换时显示的图形用户界面。如图10(b)所示，在视频通话切换到智能电视之前，智能电视上可以播放视频。当手机断开与局域网的连接后，手机可以向视频通话应用服务器发送第八通知消息，服务器接收到该第八通知消息后，可以将视频通话从智能电视切换至手机继续进行。如图11(a)所示，手机上可以显示视频通话界面。此外，手机上显示的图形用户界面中还可以包括通知消息322，该通知消息可以包括文本如“***检测您的WiFi连接断开，视频通话切换回手机”，以提示用户当前的状态以及进行视频通话的设备。
在视频通话切换至手机之后，智能电视可以暂停显示视频。如图11(b)所示，智能电视显示的用户界面上包括暂停表示323，以提示用户当前的视频处于暂停播放状态。
在其他一些实施例中，手机在确定当前处于语音通话状态时，可以向设备组中的智能音箱发送通知消息，智能音箱接收到该通知消息之后，可以使用语音来提示用户使用智能音箱接听语音通话。如图12所示，当手机确认处在语音通话状态时，可以在图形用户界面上显示如图8(c)所示的控件251，这里不再赘述。当手机确认处在语音通话状态时，还可以向智能音箱发送第九通知消息，智能音箱接收到第九通知消息后，可以使用语音播放音频330，音频内容可以为“Max来电话啦，对我说“接听”开始通话”，以提示接收到语音通话请求，并能够使用智能音箱接听。当智能音箱检测到相关的语音指令时，智能音箱可以使用语音助手建立语音通话连接。
图13示例性示出了视频通话双方进行设备交互后，各设备显示的图形用户界面。如图13所示，用户A和用户B进行视频通话。用户A的智能电视与用户A的手机安装了相同的视频通话应用，或者同一视频通话应用的不同版本(例如手机版和电视版)，或者可以共享账号的不同应用。此外，用户A的智能电视可以内置或外接摄像头和麦克风。当用户A进行视频通话时，用户A的手机确定处在视频通话状态时，可以将视频通话从手机切换到智能电视继续进行。
如图13(a)所示，用户A的智能电视显示的用户界面可以包括视频显示区340、视频显示区341。其中，视频显示区340可以显示用户B的手机的摄像头采集的数据，视频显示区341可以显示用户A的智能电视的摄像头采集的数据。
用户B的智能电视可以没有安装与用户B的手机相同的视频通话应用，或者同一视频通话应用的不同版本，或者可以共享账号的不同应用。此外，用户B的智能电视可以不连接摄像头和麦克风。当用户B进行视频通话时，用户B的手机确定处在视频通话状态时，可以将手机进行投屏操作，使用户B的智能电视上显示与手机上相同的图形用户界面。
如图13(b)所示，用户B的手机显示的用户界面可以包括视频显示区350、视频显示区351、状态栏、导航栏、挂断控件、摄像头转换控件和语音转换控件。其中，视频显示区350可以显示用户B的手机的摄像头采集的数据，视频显示区351可以显示用户A的智能电视的摄像头采集的数据。
如图13(c)所示，用户B的智能电视显示的用户界面360可以与用户B的手机上显示的用户界面具有相同的显示效果，但用户B智能电视显示的用户界面360中包括的各区域和控件不能接收用户的操作。
在其他一些实施例中，智能电视上显示的界面可以与手机显示的图形用户界面中不包括状态栏和导航栏的部分相同。在其他一些实施例中，智能电视上显示的界面可以与视频通话应用窗口相同。
图14A和14B示例性示出了本申请实施例提供的一种确定当前业务状态的方法。所述业务状态包括视频通话、语音通话等。
电子设备100可以监听硬件设备资源的使用情况，根据硬件设备资源的使用和释放情况确定当前的业务状态。例如，电子设备100可以监听设备资源麦克风、扬声器和摄像头是否被同一进程使用。若麦克风、扬声器和摄像头被同一进程使用，电子设备100可以确定当前进入了视频通话状态。在其他一些实施例中，电子设备100通过监听摄像头是否被使用以及麦克风和/或扬声器是否被同一进程使用来确定当前是否进入视频通话状态。举例说明，当双方用户在进行视频通话时，视频通话的发起方在开始拨打的时刻起，发起方电子设备的摄像头以及扬声器可以被该视频通话进程使用，视频通话的接收方接收到视频通话请求时，接收方电子设备的摄像头以及或扬声器被该视频通话进程使用。其中，摄像头可以包括前置摄像头或后置摄像头。从视频通话接通的时刻起，发起方和接收方的麦克风打开，麦克风开始被该视频通话进程使用。在其他一些实施例中，摄像头可以是前置摄像头。
具体来说，电子设备100可以通过如图2B所示的应用程序框架层中的摄像头管理器获取摄像头的使用和释放事件。此外，电子设备100可以通过如图2B所示的应用程序框架层中的音频管理器获取音频资源的使用情况。其中，上述音频资源可以包括麦克风和扬声器。以Android***为例，电子设备100可以通过Android***自带的摄像头管理器来监听摄像头的使用和释放事件，还能够获得使用的摄像头ID，即对应了前置摄像头或后置摄像头。电子设备100可以通过Andriod***自带的音频管理器来监听语音通话事件。通话开始时，可以触发onRecordingConfigChanged，并从音频管理器接收到信号MediaRecorder.AudioSource.VOICE_COMMUNICATION；通话结束时，可以触发onRecordingConfigChanged，接收到空集合。其中，语音通话事件是指接收到信号MediaRecorder.AudioSource.VOICE_COMMUNICATION。上述语音通话事件发生时，可以表示包括麦克风和扬声器的音频资源被使用。
其中，音频管理器用于管理音频资源的使用情况，并根据音频资源的使用情况输出相应的消息。例如，其可以输出指示麦克风被使用的消息，也可以根据不同的情景指示相应的消息。例如：VOICE_COMMUNICATION指示设备正在进行语音通话。此外，输出的消息还可以为VOICE_DOWNLINK、VOICE_UPLINK等，用于指示音频信号的上下行状态。
在其他一些实施例中，电子设备100可以通过应用管理包的活动通知插件获取应用的动态消息。例如，在发起视频通话时，通过活动通知插件能够监听到视频通话应用的VideoActivity消息。
在一些实施例中，当电子设备100从摄像头管理器接收到表示摄像头被使用的消息(如CameraUnavailable消息)后，可以从FrameWork获取使用摄像头的前台应用A，若在摄像头被使用期间(如未接收到CameraAvailble消息)监测到语音通话事件的发生(也就是说，从音频管理器接收到MediaRecorder.AudioSource.VOICE_COMMUNICATION信号)，可以从FrameWork获取此时的前台应用B。若应用A与应用B相同，电子设备100可以确定进入了视频通话状态。在其他一些实施例中，电子设备100在T1时刻接收到表示摄像头被使用的消息，在T2时刻检测到语音通话事件发生。当摄像头被使用时发生了语音通话事件时，电子设备100可以查询前台应用列表。若从T1到T2的时间段内，前台应用没有发生变化，表示摄像头、麦克风和扬声器被该应用使用。电子设备100可以确定进入视频通话状态。
当视频通话用户在视频通话还未接通之前将视频通话应用最小化并打开了其他应用，可能会导致前台应用的变化。若应用A不等于应用B，或者从T1到T2的时间段内，前台应用发生了变化，电子设备100可以查询权限访问信息，如权限访问记录。具体来说，电子设备可以获得摄像头被使用时的前台应用名称APP1，可以通过PermissionChecker.checkPermission()函数，使用应用名以及权限类别，来查询最近访问该权限类别的应用与输入的应用是否匹配。其中，应用名也可以为包名，也可以是应用对应的进程名。权限类别可以是麦克风权限、摄像头权限等类别。举例说明，若通过PermissionChecker.checkPermission()函数查询最近的访问麦克风权限的应用是否是APP1，若PermissionChecker.checkPermission()函数返回PERMISSION-Granted，表示最近申请麦克风权限的是APP1，当前麦克风被APP1使用；若函数返回PERMISSION-DENIED或者PERMISSION_DENIED_APP_OP，表示当前麦克风没有被APP1使用。因此，
因此，若通过PermissionChecker.checkPermission()函数查询的返回值为PERMISSION-Granted，则表示摄像头、麦克风和扬声器都被APP1使用，电子设备100可以确定进入视频通话状态。
在其他一些实施例中，若应用A不等于应用B，或者从T1到T2的时间段内，前台应用发生了变化，电子设备100可以分别查询摄像头和麦克风的权限访问记录，获取最近访问摄像头和麦克风的应用信息，若二者为相同的应用，电子设备100可以确定进入视频通话状态。
在其他一些实施例中，电子设备100可以先检测到语音通话事件的发生，可以继续等待从摄像头管理器接收到表示摄像头被使用的消息。若在语音通话事件进行时接收到表示摄像头被使用的消息，电子设备100可以在语音通话事件发生时和接收到表示摄像头被使用的消息时分别查询前台应用，也可以在接收到表示摄像头被使用的消息后，查询前台应用列表。其中，电子设备100在T3时刻检测到语音通话事件发生，在T4时刻接收到表示摄像头被使用的消息。若从T3到T4的时间段内，前台应用没有发生变化，表示摄像头、麦克风和扬声器被该应用使用。电子设备100可以确定进入视频通话状态。
若查询的前台应用不是同一应用，或从T3到T4的时间段内，前台应用发生了变化，电子设备100可以查询最近申请摄像头使用权限的应用与语音通话事件发生时的前台应用是否匹配。在其他一些实施例中，电子设备100可以查询最近申请麦克风使用权限的应用与接收到表示摄像头被使用的消息时的前台应用是否为同一应用，若是同一应用，电子设备100可以确定进入视频通话状态。当电子设备100从音频管理器接收到onRecordingConfigChanged信号并接收到空集合时，表示语音通话事件结束，电子设备100可以确定视频通话状态结束。
在一些实施例中，上述确定视频通话状态的步骤由电子设备100的视频通话感知模块完成，该模块可以位于应用程序层，作为***应用。在其他一些实施例中，该模块也可以位于应用程序框架层。
其中，电子设备100可以向位于应用程序框架层的权限管理器来查询权限访问记录，也可以通过电子设备100在应用层的权限访问记录来获得权限访问信息。
在一些实施例中，电子设备100可以监听摄像头是否被使用，再检测麦克风或扬声器是否被同一进程使用，来确定是否进入视频通话状态。若摄像头被进程A使用，麦克风或扬声器被进程B使用，则确定未进入视频通话状态。若麦克风或扬声器也被进程A使用，则确定进入视频通话状态。在其他一些实施例中，电子设备100也可以先检测麦克风或扬声器是否被使用，再检测摄像头是否被使用。本申请实施例不对电子设备100检测设备的顺序进行限制。
在其他一些实施例中，电子设备100可以通过监听摄像头是否被使用、监听语音通话状态以及监听视频通话应用进程的运行情况，确定是否进入视频通话状态。举例说明，电子设备100可以通过图2B中所示的摄像头管理器获取摄像头是否被使用，通过图2B中所示的音频管理器获取是否进入语音通话状态。若电子设备100检测到在视频通话应用位于前台运行时，摄像头被使用，并且电子设备100处于语音通话状态，可以确定电子设备100进入视频通话状态。
例如，当***检测到CameraAvailable消息，表明摄像头没有被使用；当***检测到CameraUnavailable消息，表明摄像头被使用；当***检测到MicOpen消息，表明麦克风打开，处于被使用的状态；当***检测到MicClose消息，表明麦克风关闭，没有被使用。
可以理解的是，“视频通话”、“语音通话”仅用于对电子设备不同状态的举例说明，其也可以为“第一状态”或“第二状态”，也可以是不同的标志，本申请实施例对此不做任何限定。
在其他一些实施例中，电子设备100可以监听前置摄像头和麦克风和/或扬声器的使用情况来确定是否进入视频通话状态。
在其他一些实施例中，电子设备100可以监听前置摄像头是否被使用、监听语音通话状态以及和监听视频通话应用进程的运行情况，确定是否进入视频通话状态。
在其他一些实施例中，电子设备100可以监听麦克风和扬声器是否被同一进程使用，确定当前是否进入语音通话状态。当麦克风和扬声器被同一进程使用，而摄像头没有被该进程使用时，电子设备100可以确定当前进入了语音通话状态。
在其他一些实施例中，电子设备100可以监听监听语音通话事件，确定当前是否进入语音通话状态。当电子设备100检测到语音通话事件，而摄像头没有被语音通话进程使用时，电子设备100可以确定当前进入了语音通话状态。
电子设备100还可以进一步通过监测内存和/或流量变化，判断当前的业务状态。具体来说，电子设备100可以获取内存变化数据和/或流量数据，将内存变化数据和/或流量数据输入业务状态模型中，根据业务状态模型的输出结果确定当前的业务状态。
例如：可以通过检测视频通话应用对应的Java堆栈内存来确定电子设备进入视频通话状态：在开始视频通话后，视频通信应用的Java堆栈内存将会增加。此外，电子设备100可以通过将上行和下行流量的采样样本输入业务状态模型中，确定当前处在视频通话状态；也可以通过监测下行流量，将下行流量的采样样本输入业务状态模型中，确定当前处在视频点播状态。
在一些实施例中，该业务状态模型可以为二分类器，如逻辑回归(LR)分类器，或支持向量机(SVM)分类器等其他类型。该业务状态模型可以预存在电子设备100中，也可以来自第二设备。该第二设备可以是服务器或其他电子设备。上述其他电子设备可以是如手机、平板电脑、可穿戴电子设备等便携式电子设备或非便携式电子设备。由第二设备使用训练样本对业务状态模型进行训练，将训练好的业务状态模型发送给电子设备100。
具体来说，第二设备可以通过以下过程进行业务状态模型的训练：
第二设备针对业务类型，收集预定数量的样本数据。例如，可以收集一个或多个电子设备在各种业务状态(如视频通话、直播、点播等)过程中的内存变化数据、数据流量变化数据作为样本数据。在其他一些实施例中，上述样本数据可以通过模拟生成。
第二设备可以将样本数据按照预定的比例划分为不同的数据集，上述不同的数据集分别用于训练模型、验证以及测试。在一些实施例中，第二设备可以采用7:2:1的比例来划分样本数据。
将样本数据用于模型的训练、验证和测试。一般来说，在测试过程中，模型的准确率达到95％以上，表示该模型达到了较优的性能，可以停止模型训练。
在其他一些实施例中，电子设备100可以根据深度包检测(Deep PacketInspection，DPI)或深度流检测(Deep Flow Inspection，DFI)等技术来识别当前的业务状态。其中，DPI技术主要通过解析应用层报文来识别业务类型，DFI技术主要基于IP层或传输层的报文头信息来识别业务类型。
在其他一些实施例中，电子设备100可以通过检测显示的图形用户界面来确定或与其他检测方式联合确定当前的业务状态。具体来说，电子设备100可以通过检测单一图形用户界面上的特征值和/或图形用户界面的变化来确定当前的业务状态。例如，当电子设备100检测到其图形用户界面上显示了包括挂断键以及语音切换按键，并且检测到当前微信正在运行，电子设备100可以确定当前进入了视频通话状态。在其他一些实施例中，电子设备100可以通过监听硬件设备资源的使用情况和监测内存和/或流量变化进一步判断同一业务状态的不同阶段。例如，电子设备100可以通过监听摄像头以及麦克风和/或扬声器是否被同一进程使用确定进入视频通话业务，然而，当电子设备处于发起或接听视频通话而未开始视频通话的阶段时，其数据流量较低；当电子设备开始视频通话时，电子设备的上下行的数据流量较高。因此，通过数据流量状态的变化可以判断电子设备在视频通话过程中的不同阶段。
在其他一些实施例中，电子设备100可以进一步通过应用程序列表来确定业务状态。应用程序列表中可以包括具有相应业务的应用程序或进程。例如，电子设备100可以对于视频通话业务设置视频通话应用程序列表，该应用程序列表中可以包括微信对应的进程名称“com.tencent.mm”。该应用程序列表可以来自第二设备，也可以预存在电子设备100中。电子设备100可以通过监测硬件资源被使用的情况以及当前前台程序的运行情况确定使用硬件资源的应用程序。若该应用程序在上述视频通话应用程序列表中，则可以确定电子设备100当前处在视频通话状态。否则，确定电子设备100当前不处在视频通话状态。在其他一些实施例中，当使用硬件资源的应用程序不在视频通话应用程序列表中时，电子设备100可以通过判断该应用程序的内存和/或数据流量变化情况来确定是否为视频通话状态。
上述确定业务状态的方法可以单独使用，也可以结合使用。举例说明，以视频通话业务为例，电子设备可以通过以下方式之一确定进入视频通话业务：
A：电子设备100可以监听硬件资源的使用情况以及视频通话应用进程的运行情况。上述硬件资源可以包括摄像头、麦克风，也可以是摄像头、麦克风和扬声器。若视频通话应用运行时上述硬件资源被使用，则电子设备100确定进入视频通话状态。
B：电子设备100可以通过检测摄像头的使用情况、检测语音通话时间是否发生以及视频通话应用进程的运行情况。例如，若在视频通话应用在前台运行时，摄像头被使用，并且发声了语音通话事件，可以确定电子设备处在视频通话状态。
C：电子设备100可以检测视频通话应用进程的运行情况，并采集视频通话运行期间的内存数据和/或流量数据，输入业务状态模型。若业务状态模型的输出指示当前的业务为视频通话业务，则电子设备100确定进入视频通话状态。
D：电子设备100也可以监听硬件资源的使用情况、以及视频通话应用进程的运行情况，上述硬件资源可以时摄像头和麦克风，也可以是摄像头、麦克风和扬声器。若上述硬件资源被使用，判断使用上述硬件资源的进程是否在视频通话应用程序列表内。若进程在视频通话应用程序列表内，确定进入视频通话状态；若进程不在应用程序列表内，采集内存数据和/或流量数据，通过业务状态模型进行判断，若业务状态模型的输出指示当前的业务为视频通话业务，确定进入视频通话状态。
E：电子设备100可以监听摄像头的使用情况、语音通话事件是否发生以及视频通话应用进程的运行情况。若检测到摄像头被使用的时候发生了语音通话事件，电子设备100可以判断当前运行的进程是否在视频通话应用程序列表内。若在列表中，则确定进入了视频通话状态；若进程不在应用程序列表内，则通过内存数据和/或流量数据进行判断。
电子设备100在确定业务状态后，可以确定当前是否有可用的设备能够进行互动。例如，当手机确定当前处于视频通话状态后，可以确定当前设备组内是否有视频播放能力的设备，如智能电视。在一些实施例中，手机可以通过在设备发现时获得的设备描述能力确定设备是否具有视频播放能力，在其他一些实施例中，手机可以通过设备的名称判断其具有视频播放能力。例如，设备的名称为“电视”，手机可以确定其具有视频播放能力。如果确定当前设备组内有智能电视，则在图形用户界面上显示如图3(d)所示的对话框210、或如图6(a)所示的对话框220、或如图7(b)所示的控件230。当用户确定当前处于语音通话状态后，可以确定当前设备组内是否有能够进行语音通话的设备，如智能音箱。如果确定当前设备组内有智能音箱，则在图形用户界面上显示如图8(c)所示的控件251。若当前设备组内没有能够进行当前业务的设备，电子设备100可以不显示对话框或控件。
若当前设备组内有多个可用设备，电子设备100可以在图形用户界面上显示该多个可用设备。例如，当手机的设备组中存在客厅电视和卧室电视两个可用设备，手机可以在图形用户界面上显示如图7(b)所示的控件230和控件231，也可以显示如图7(d)所示的对话框24，也可以显示如图7(c)所示的控件230和控件232，通过作用在控件232上的操作显示对话框24。在其他一些实施例中，电子设备100可以优先显示多个可用设备的其中一个设备。例如，手机可以保存互动操作历史或最近互动操作历史，若使用客厅电视进行投屏的次数最多，或者最近一次投屏是在客厅电视上进行的，可以将客厅电视显示在如图7(d)所示的对话框24中的首位。在其他一些实施例中，手机也可以在图形用户界面中仅显示表示客厅电视的控件230，不显示其他设备。在其他一些实施例中，电子设备100可以将设备能力更优的可用设备优先显示。例如，手机的可用设备中，客厅电视的电视屏幕比卧室电视尺寸更大，可以在显示如图7(d)所示的对话框24时，在设备“客厅电视”的旁边显示“推荐”。可以理解的是，上述优先显示还可以包括显示的字体不同、颜色不同等其他方式。
在其他一些实施例中，电子设备100可以在图形用户界面中仅显示高优先级的可用设备。
在其他一些实施例中，电子设备100可以在确定业务状态后开始进行设备发现。例如，手机在确定处于视频通话状态后，开始进行设备发现，并且在发现的设备中确定是否有可用设备。
电子设备100确定业务状态后，并且存在可用设备，电子设备100可以显示通知信息，该通知消息用于提示用户进行设备的互动。在其他一些实施例中，电子设备100可以在检测符合显示通知消息的条件后，在图形用户界面上显示通知消息。例如，电子设备100可以在检测到摄像头和麦克风被微信使用，电子设备显示如图3(d)所示的对话框，或如图7(b)、7(c)或7(d)所示的对话框或控件。电子设备100也可以在检测到微信作为前台应用运行时，摄像头被使用，发生了语音通话事件，电子设备显示如图3(d)所示的对话框，或如图7(b)、7(c)或7(d)所示的对话框或控件。具体来说，电子设备100可以通过如图2B所示的应用程序框架层中的通知管理器在电子设备100上显示该通知消息。在其他一些实施例中，电子设备100可以通过如图2B所示的应用程序框架层中的窗口管理器在电子设备100上显示该对话框。
下面将以手机与智能电视之间的互动为例说明电子设备100与设备组的其他设备之间进行互动时的具体过程。
在一些实施例中，智能电视上没有安装与手机上相同的视频通话应用、或同一视频通话应用的不同版本，或可以共享账号的不同应用。在本实施例中，手机通过与智能电视之间的交互实现互动。如图15所示，手机通过以下步骤与智能电视进行交互：
S101：手机确定其处在视频通话状态，或达到设备交互的条件。具体来说，手机可以通过判断摄像头和麦克风是否被视频通话应用使用、或者摄像头被视频通话应用使用时发生了语音通话事件等来判断是否处在视频通话状态或是否达到设备交互的条件。
S102：手机可以在图形用户界面中显示如图6(a)所示的对话框220，或者如图7(b)所示的控件230、控件231，并通过检测作用于以上元素的操作确定互动的设备，也可以通过如图7(c)所示的控件232和/或如图7(d)所示的对话框24，通过检测作用于以上元素的操作确定用户选择的设备。
S103：响应于触发设备交互的操作，手机可以与智能电视建立投屏连接。在一些实施例中，手机可以与智能电视通过无线视频显示(Wi-Fi Display，WFD)技术中的无线显示标准Miracast协议建立投屏连接。
在一些实施例中，手机与智能电视建立好投屏连接之后，智能电视可以向手机返回投屏连接响应。其中，手机与智能电视在建立投屏连接的过程中，手机和智能电视可以进行性能参数的交换与协商。例如，手机可以获得智能电视的图像尺寸参数，和/或，智能电视能够接收的数据格式参数等。
S104：手机将显示的图形用户界面处理成视频流。在一些实施例中，手机可以按照一定的频率，将显示的图形用户界面处理为多个图像帧，将多个连续的时间节点上的多个图像帧进行视频压缩编码后得到视频流。在一些实施例中，手机也可以对每个图像帧进行压缩，使得图像压缩后的尺寸与智能电视上的图像尺寸相同。
在其他一些实施例中，手机还可以获取图形用户界面在一段时间内的音频数据，这一段时间由上述多个联系的时间节点确定。手机可以对这一段时间内的音频数据进行音频压缩编码，将上述多个图像帧经过视频压缩编码后于该段时间内的音频数据经过音频压缩编码后混成视频流。视频流的格式可以是智能电视能够接收的任一数据格式(如MP4(MPEG-4Part 14)格式)的视频流。该视频流对应的图像和音频可以在智能电视上同步呈现。
S105：手机将视频流发送给智能电视。
S106；智能电视接收到视频流后，将视频流处理成图像和/或音频输出。
在一些实施例中，手机可以将视频流作为投屏数据以视频流媒体协议(Real TimeStreaming Protocol，RTSP)承载输出给智能电视。智能电视对投屏数据进行视频流媒体协议接收处理以及视频音频解码处理，再进行渲染输出。
S107：若手机确定其视频通话结束，或者硬件资源被释放，手机停止向智能电视发送投屏数据。具体来说，手机可以通过判断硬件资源是否释放来判断视频通话是否结束，上述硬件资源可以是摄像头和麦克风，也可以是摄像头、麦克风和扬声器。此外，手机也可以通过判断语音通话结束确定视频通话结束。举例说明，当图2B中的音频管理器检测到onRecordingConfigChanged方法，并接收到空集合时，表示语音通话结束，麦克风和扬声器被释放。此外，***可以监测到CameraAvailble事件，表示摄像头被释放。手机可以确定视频通话结束。在其他一些实施例中，手机检测到硬件资源被释放，可以停止向智能电视发送视频流，智能电视接收不到视频流，不显示视频通话界面。
在其他一些实施例中，智能电视上可以安装了与手机上相同的视频通话应用、或同一视频通话应用的不同版本，或可以共享账号的不同应用。如图16和图17示出了两种手机通过与智能电视和服务器之间的不同交互方式。具体来说，图16中，手机通过服务器与智能电视进行交互的一种方法，图17中，手机与智能电视交互，使得智能电视能够与服务器进行进一步交互。上述服务器可以为视频通话应用服务器。
图18示例性示出了手机通过服务器与智能电视进行交互的具体方法步骤：
S201：手机确定其处在视频通话状态，或达到视频通话状态的条件。该步骤可参考步骤S101，这里不再赘述。
S202：手机可以在图形用户界面中显示如图3(d)所示的对话框210，或者如图7(b)所示的控件230、控件231，并通过检测作用于以上元素的操作确定互动的设备，也可以通过如图7(c)所示的控件232和/或如图7(d)所示的对话框24，通过检测作用于以上元素的操作确定用户选择的设备。
S203：手机可以向服务器发送切换信号，该切换信号用于通知服务器停止与手机之间继续相互传输与当前视频通话信息有关的音视频数据。其中，该切换信号可以包括上行切换信号和下行切换信号信号。该上行切换信号可以用于使服务器停止对手机的摄像头和麦克风的数据采集、编码和上传等操作；该下行切换信号用于使服务器停止向手机发送视频通话对端手机的摄像头和麦克风采集的数据。
S204：服务器切断与手机之间的数据传输通道。具体来说，在手机向服务器发送了切换信号之后，服务器会切断与手机之间建立的用于传输音视频数据的数据传输通道，从而使得手机无法再与视频通话的对方继续进行视频通话。同时，服务器也释放了其与手机之间的相关计算资源和内存资源，避免了网络资源的额外消耗。
S205：服务器向智能电视发送数据通道建立信号，该数据通道建立信号用于通知智能电视服务器将与智能电视建立数据连接。具体来说，该数据通道建立信号中可以包含当前视频通话应用的运行数据。例如，手机与服务器切断数据传输通道之前，手机处在与Max聊天的页面，响应于接收到的运行数据，智能电视在打开视频通话应用后显示的是Max的聊天页面。
在一些实施例中，上述数据通道建立信号中可以包括应用启动指令。该指令用于启动视频通话应用。智能电视接收到该应用启动指令后，打开视频通话应用。
S206：服务器建立与智能电视相连的数据传输通道。具体来说，服务器利用数据传输通道接收智能电视发送的音视频数据，服务器向智能电视发送视频通话相关的音视频数据。
S207：智能电视可以检测是否触发进行视频通话设备的切换，若检测到相应的操作，智能电视向服务器发送切换信号；手机也可以检测是否触发进行视频通话设备的切换，若检测到相应的操作，手机向服务器发送切换信号；上述切换信用用于通知服务器切断与智能电视之间的数据传输通道。
在其他一些实施例中，当手机断开与局域网的连接时，手机可以向服务器发送切换信号，该切换信号使得服务器断开与智能电视之间的数据传输通道，并建立与手机之间的数据传输通道，将视频通话从智能电视切换到手机继续进行。
在其他一些实施例中，当智能电视检测到与手机不连接时，智能电视可以暂停当前播放的视频。在其他一些实施例中，局域网中的控制设备检测到手机断开与局域网的连接时，可以向智能电视发送暂停消息，智能电视接收到该暂停消息之后可以暂停当前播放的视频。
S208：若视频通话从智能电视切换回手机，或者视频通话在智能电视结束，智能电视结束运行该视频通话应用。
图19示例性示出了手机与智能电视交互，使得智能电视能够与服务器进行进一步交互的具体方法步骤：
S301：手机确定其处在视频通话状态，或达到设备互动的条件。该步骤可参考步骤S101，这里不再赘述。
S302：手机可以在图形用户界面中显示如图3(d)所示的对话框210，或者如图7(b)所示的控件230、控件231，并通过检测作用于以上元素的操作确定互动的设备，也可以通过如图7(c)所示的控件232和/或如图7(d)所示的对话框24，通过检测作用于以上元素的操作确定用户选择的设备。
S303：手机可以向智能电视发送视频通话应用开启信号，该信号智能电视接收到该信号后，打开自身安装的视频通话应用。在一些实施例中，该信号可以携带当前视频通话应用的运行数据，该运行数据表示视频通话应用当前的应用数据，例如，视频通话应用当前联系人信息等。智能电视打开自身安装的视频通话应用后，可以根据该运行数据自动跳转至指示的联系人的聊天界面。
S304：智能电视可以向视频通话应用服务器发送切换信号，该切换信号用于通知服务器切断与手机之前的数据传输通道，并建立与智能电视之间的数据传输通道。具体来说，服务器收到了切换信号之后，服务器会切断与手机之间建立的用于传输音视频数据的数据传输通道，从而使得手机无法再与视频通话的对方继续进行视频通话。同时，服务器也释放了其与手机之间的相关计算资源和内存资源，避免了网络资源的额外消耗。
S305：服务器建立与智能电视之间的数据传输通道并开始向智能电视发送视频通话对方设备采集的音视频数据，以及从智能电视接收智能电视采集的音视频数据。
S306：手机可以检测是否触发进行视频通话设备的切换，若检测到相应的操作，执行S307；
S307：手机向智能电视发送切换指示；
S308：智能电视可以检测是否触发进行视频通话设备的切换，或者从手机接收到切换指示，若检测到相应的操作，智能电视向服务器发送切换信号；该切换信号用于通知服务器切断与智能电视之间的数据传输通道，并建立与手机之间的数据传输通道。
S309：若视频通话从智能电视切换回手机，或者视频通话在智能电视结束，智能电视结束运行该视频通话应用。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (21)

1.一种设备交互方法，其特征在于：
第一设备显示第一界面；
所述第一设备确定第一硬件资源被使用以及使用所述第一硬件资源的第一应用；
所述第一设备确定第二硬件资源被使用以及使用所述第二硬件资源的第二应用；
当满足预设条件时，所述第一设备在所述第一界面上显示第一控件；
所述预设条件包括：
所述第一设备确定所述第一应用与所述第二应用是相同的应用，以及，所述第一设备确定第二设备具有视频播放能力，其中，所述第二设备和所述第一设备连接至同一局域网；
响应于对所述第一控件的第一操作，所述第一设备向所述第二设备发送第一信息，其中，所述第一信息使得所述第二设备显示第二界面，所述第二界面与所述第一界面关联；
其中，所述第一硬件资源是摄像头，所述第二硬件资源是音频资源，或，所述第一硬件资源是音频资源，所述第二硬件资源是摄像头；当检测到语音通话事件发生时，确定所述音频资源被使用。
2.如权利要求1所述的方法，其中，所述摄像头是前置摄像头。
3.如权利要求1或2所述的方法，其中，所述音频资源包括麦克风。
4.如权利要求1所述的方法，其中，所述第一界面为视频通话的界面。
5.如权利要求1所述的方法，其中，所述第二界面与所述第一界面相同。
6.如权利要求1所述的方法，其中，所述第一界面与所述第二界面包括相同的元素和不同的布局。
7.如权利要求4所述的方法，其中，所述第一界面为所述视频通话接通前的界面，所述第二界面为所述视频通话接通后的界面。
8.如权利要求7所述的方法，进一步包括，响应于所述第一操作，所述视频通话接通。
9.如权利要求1所述的方法，其中，
所述第一设备通过摄像头管理器发送的第一消息确定所述摄像头被使用；以及，
所述第一设备通过音频管理器发送的第二消息确定所述音频资源被使用。
10.如权利要求1所述的方法，其中，
所述第一设备在确定所述第一硬件资源被使用时，确定第一前台应用；
所述第一设备在确定所述第二硬件资源被使用时，确定第二前台应用；
响应于所述第一设备确定所述第二前台应用与所述第一前台应用是相同的应用，将所述第一前台应用确定为第一应用，将所述第二前台应用确定为第二应用。
11.如权利要求9所述的方法，其中，
所述第一设备在确定第一硬件资源和第二硬件资源被使用时，基于接收到的所述第一消息和所述第二消息的时间分别确定第一前台应用和第二前台应用；
响应于所述第一设备确定所述第二前台应用与所述第一前台应用是相同的应用，将所述第一前台应用确定为第一应用，将所述第二前台应用确定为第二应用。
12.如权利要求10或11所述的方法，还包括：
响应于所述第一设备确定所述第一前台应用与所述第二前台应用是不同的应用，所述第一设备通过第一硬件资源的第一权限访问信息确定使用所述第一硬件资源的第一应用，通过第二硬件资源的第二权限访问信息确定使用所述第二硬件资源的第二应用。
13.如权利要求10或11所述的方法，还包括，
响应于所述第一设备确定所述第一前台应用与所述第二前台应用是不同的应用，所述第一设备通过麦克风的权限访问信息确定使用所述音频资源的应用。
14.如权利要求1所述的方法，其中，
当所述预设条件还包括所述第一设备确定第三设备具有视频播放能力时，所述第一设备在所述第一界面上显示第二控件，其中，所述第三设备和所述第一设备连接至同一局域网；
响应于对所述第二控件的操作，所述第一设备向所述第三设备发送第二信息，其中，所述第二信息使得所述第三设备显示第三界面，所述第三界面与所述第一界面关联。
15.如权利要求1所述的方法，其中，
所述第一界面为接收到视频通话请求时的界面；
当满足所述预设条件时，还包括，所述第一设备向所述第二设备发送第三信息，所述第三信息使得所述第二设备显示所述视频通话请求。
16.如权利要求1所述的方法，还包括，所述第二设备显示所述第二界面时，当所述第一设备与所述局域网断开连接，所述第一设备显示所述第一界面。
17.如权利要求1所述的方法，还包括，当所述第二设备显示所述第二界面时，所述第一设备显示第三控件，响应于对所述第三控件的操作，使得所述第二设备不显示所述第二界面。
18.如权利要求1所述的方法，其中，所述预设条件还包括：
所述第一设备确定所述第一应用包括在应用程序列表中，其中，所述应用程序列表中包括一个或多个应用。
19.一种设备交互***，其特征在于，包括：
第一设备和第二设备；其中，
所述第二设备和所述第一设备连接至同一局域网；
所述第一设备显示第一界面；
所述第一设备确定第一硬件资源被使用以及使用所述第一硬件资源的第一应用；
所述第一设备确定第二硬件资源被使用以及使用所述第二硬件资源的第二应用；
当满足预设条件时，所述第一设备在所述第一界面上显示第一控件；
所述预设条件包括：所述第一设备确定所述第一应用与所述第二应用是相同的应用，以及，所述第一设备确定第二设备具有视频播放能力；
响应于对所述第一控件的第一操作，所述第一设备向所述第二设备发送第一信息；
响应于接收所述第一信息，所述第二设备显示第二界面，所述第二界面与所述第一界面关联；
其中，所述第一硬件资源是摄像头，所述第二硬件资源是音频资源，或，所述第一硬件资源是音频资源，所述第二硬件资源是摄像头；当检测到语音通话事件发生时，确定所述音频资源被使用。
20.一种电子设备，包括，
一个或多个处理器；
存储器；以及
一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括指令，所述指令使得所述电子设备执行如权利要求1-18任一所述的方法。
21.一种计算机可读介质，用于存储一个或多个程序，其中所述一个或多个程序被配置为被所述一个或多个处理器执行，所述一个或多个程序包括指令，所述指令使得电子设备执行如权利要求1-18任一所述的方法。
CN202010192324.5A 2020-03-18 2020-03-18 一种设备交互的方法和电子设备 Active CN113497909B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010192324.5A CN113497909B (zh) 2020-03-18 2020-03-18 一种设备交互的方法和电子设备
PCT/CN2021/081065 WO2021185244A1 (zh) 2020-03-18 2021-03-16 一种设备交互的方法和电子设备
US17/912,615 US20230216990A1 (en) 2020-03-18 2021-03-16 Device Interaction Method and Electronic Device
EP21772561.3A EP4109891A4 (en) 2020-03-18 2021-03-16 METHOD OF INTERACTION WITH THE DEVICE AND ELECTRONIC DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010192324.5A CN113497909B (zh) 2020-03-18 2020-03-18 一种设备交互的方法和电子设备

Publications (2)

Publication Number Publication Date
CN113497909A CN113497909A (zh) 2021-10-12
CN113497909B true CN113497909B (zh) 2022-12-02

Family

ID=77768036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010192324.5A Active CN113497909B (zh) 2020-03-18 2020-03-18 一种设备交互的方法和电子设备

Country Status (4)

Country Link
US (1) US20230216990A1 (zh)
EP (1) EP4109891A4 (zh)
CN (1) CN113497909B (zh)
WO (1) WO2021185244A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269510B (zh) * 2020-10-29 2022-03-25 维沃移动通信（杭州）有限公司 信息处理方法、装置及电子设备
CN116321028A (zh) * 2021-12-21 2023-06-23 荣耀终端有限公司 通话转移方法和终端设备
CN115002821B (zh) * 2021-12-28 2023-04-07 荣耀终端有限公司 通话状态监听方法、装置、设备、存储介质
CN114428598A (zh) * 2022-01-30 2022-05-03 深圳创维－Rgb电子有限公司 投屏方法、装置、电子设备及存储介质
CN114501089B (zh) * 2022-01-30 2023-05-05 深圳创维－Rgb电子有限公司 投屏通话方法、装置、电子设备及存储介质
CN114629869B (zh) * 2022-03-18 2024-04-16 维沃移动通信有限公司 信息生成方法、装置、电子设备及存储介质
CN115103231A (zh) * 2022-06-30 2022-09-23 维沃移动通信有限公司 视频通话方法、装置、第一电子设备及第二电子设备
CN115379283A (zh) * 2022-08-16 2022-11-22 维沃移动通信有限公司 视频通话方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0816271D0 (en) * 2008-09-05 2008-10-15 Skype Ltd Communication system and method
CN102572365A (zh) * 2010-12-22 2012-07-11 深圳市同洲软件有限公司 一种视频通话切换方法、移动终端和***
CN103813211A (zh) * 2013-07-26 2014-05-21 上海帕科软件科技有限公司 基于iptv的视频通信***
CN104954724A (zh) * 2015-05-20 2015-09-30 南京创维信息技术研究院有限公司 一种视频通话切换方法、智能电视终端、移动终端和***
CN105635625A (zh) * 2014-10-31 2016-06-01 腾讯科技（深圳）有限公司 视频通话方法和装置
CN108829461A (zh) * 2018-06-12 2018-11-16 Oppo广东移动通信有限公司 相机启动控制方法、装置及电子设备
CN108881779A (zh) * 2018-07-17 2018-11-23 聚好看科技股份有限公司 智能设备之间的视频通话接听转移方法、***及服务器
CN108924289A (zh) * 2018-06-12 2018-11-30 Oppo广东移动通信有限公司 滑动机构的控制方法、装置、电子设备及存储介质
CN109495769A (zh) * 2017-09-11 2019-03-19 腾讯科技（深圳）有限公司 视频通信方法、终端、智能电视、服务器及存储介质
CN110138937A (zh) * 2019-05-07 2019-08-16 华为技术有限公司 一种通话方法、设备及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101728911B1 (ko) * 2010-01-05 2017-04-20 엘지전자 주식회사 화상 통화 연결 방법, 그를 이용한 화상 통신 장치 및 디스플레이 장치
TWI477108B (zh) * 2013-02-22 2015-03-11 Quanta Comp Inc 視訊會議建立方法
US8978112B2 (en) * 2013-03-14 2015-03-10 Sorenson Communications, Inc. Methods, devices, and systems for remotely controlling a plurality of communication devices
CN104461701B (zh) * 2013-09-15 2019-07-26 联想(北京)有限公司 一种控制方法及电子设备
CN103763505A (zh) * 2013-12-31 2014-04-30 华为技术有限公司 一种在视频通话中适应屏幕方向切换的方法和装置
US10616529B2 (en) * 2015-11-24 2020-04-07 Maxell, Ltd. Information processing system, wireless terminal, and information processing method
CN105898181A (zh) * 2015-11-30 2016-08-24 乐视致新电子科技（天津）有限公司 一种视频通话***、方法及相关设备
CN106101600A (zh) * 2016-07-27 2016-11-09 北京小米移动软件有限公司 视频通话的连接方法及装置
CN110087012B (zh) * 2019-04-17 2020-10-23 华为技术有限公司 一种摄像头的控制方法及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0816271D0 (en) * 2008-09-05 2008-10-15 Skype Ltd Communication system and method
CN102572365A (zh) * 2010-12-22 2012-07-11 深圳市同洲软件有限公司 一种视频通话切换方法、移动终端和***
CN103813211A (zh) * 2013-07-26 2014-05-21 上海帕科软件科技有限公司 基于iptv的视频通信***
CN105635625A (zh) * 2014-10-31 2016-06-01 腾讯科技（深圳）有限公司 视频通话方法和装置
CN104954724A (zh) * 2015-05-20 2015-09-30 南京创维信息技术研究院有限公司 一种视频通话切换方法、智能电视终端、移动终端和***
CN109495769A (zh) * 2017-09-11 2019-03-19 腾讯科技（深圳）有限公司 视频通信方法、终端、智能电视、服务器及存储介质
CN108829461A (zh) * 2018-06-12 2018-11-16 Oppo广东移动通信有限公司 相机启动控制方法、装置及电子设备
CN108924289A (zh) * 2018-06-12 2018-11-30 Oppo广东移动通信有限公司 滑动机构的控制方法、装置、电子设备及存储介质
CN108881779A (zh) * 2018-07-17 2018-11-23 聚好看科技股份有限公司 智能设备之间的视频通话接听转移方法、***及服务器
CN110138937A (zh) * 2019-05-07 2019-08-16 华为技术有限公司 一种通话方法、设备及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
智能家居控制与管理***实践研究;黄周艳;《企业科技与发展》;20120920(第18期);全文 *

Also Published As

Publication number Publication date
WO2021185244A1 (zh) 2021-09-23
EP4109891A1 (en) 2022-12-28
CN113497909A (zh) 2021-10-12
US20230216990A1 (en) 2023-07-06
EP4109891A4 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
CN113497909B (zh) 一种设备交互的方法和电子设备
CN110381197B (zh) 多对一投屏中音频数据的处理方法、装置及***
WO2021017889A1 (zh) 一种应用于电子设备的视频通话的显示方法及相关装置
CN113885759B (zh) 通知消息处理方法、设备、***及计算机可读存储介质
CN111316598B (zh) 一种多屏互动方法及设备
CN112399390B (zh) 一种蓝牙回连的方法及相关装置
WO2020034227A1 (zh) 一种多媒体内容同步方法及电子设备
CN111240547A (zh) 跨设备任务处理的交互方法、电子设备及存储介质
KR102558615B1 (ko) 착신 호출이 있는 경우에 전자 디바이스 상에 비디오를 제시하기 위한 방법 및 전자 디바이스
WO2020253754A1 (zh) 一种多终端的多媒体数据通信方法和***
CN113961157B (zh) 显示交互***、显示方法及设备
WO2020238759A1 (zh) 一种界面显示方法和电子设备
CN114115770B (zh) 显示控制的方法及相关装置
CN113986408A (zh) 应用页面显示方法和电子设备
CN113835649A (zh) 一种投屏方法和终端
CN114125793A (zh) 一种蓝牙数据传输方法及相关装置
CN115237359A (zh) 一种投屏显示参数调节方法
CN115016697A (zh) 投屏方法、计算机设备、可读存储介质和程序产品
WO2021052388A1 (zh) 一种视频通信方法及视频通信装置
CN115223579A (zh) 一种编解码器协商与切换方法
CN115883893A (zh) 大屏业务的跨设备流转操控方法和装置
CN112286596A (zh) 消息显示方法及电子设备
WO2023016347A1 (zh) 声纹认证应答方法、***及电子设备
WO2023197999A1 (zh) 显示方法及电子设备
WO2023093778A1 (zh) 一种截屏方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant