CN113794796B - 一种投屏方法及电子设备 - Google Patents

一种投屏方法及电子设备 Download PDF

Info

Publication number
CN113794796B
CN113794796B CN202010448218.9A CN202010448218A CN113794796B CN 113794796 B CN113794796 B CN 113794796B CN 202010448218 A CN202010448218 A CN 202010448218A CN 113794796 B CN113794796 B CN 113794796B
Authority
CN
China
Prior art keywords
electronic device
application
screen
user
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010448218.9A
Other languages
English (en)
Other versions
CN113794796A (zh
Inventor
祁国强
谷贺瑾
牛思月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310695573.XA priority Critical patent/CN116708645A/zh
Priority to CN202010448218.9A priority patent/CN113794796B/zh
Publication of CN113794796A publication Critical patent/CN113794796A/zh
Application granted granted Critical
Publication of CN113794796B publication Critical patent/CN113794796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)

Abstract

本申请提供一种投屏方法及电子设备,涉及终端领域,可将电子设备中的应用程序相关联的数据方便快捷的投屏至其他建立无线通信连接的电子设备播放。该方法包括:响应于用户的第一操作,获取第一电子设备、第二电子设备的位置;根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置;获取第一应用程序的缩略图和第二应用程序的缩略图;所述第一应用程序和所述第二应用程序为所述电子设备正在运行的应用程序;将上述电子设备的图标、应用程序的缩略图显示于多任务界面;响应于用户的第二操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备。

Description

一种投屏方法及电子设备
技术领域
本申请涉及终端领域,尤其涉及一种投屏方法及电子设备。
背景技术
随着智能家居技术的发展,一个用户或家庭中往往具备多个能够互相通信的电子设备。各类电子设备一般具有各自的设备特点,例如,手机的便携性更好,电视屏幕的显示效果更好,而音箱的音质效果更好。为了充分发挥不同电子设备的设备特点,电子设备可以通过投屏、airplay(无线播放)或蓝牙等功能实现多媒体数据在多个设备之间的交互。
以投屏功能举例,用户可以通过在手机内安装投屏软件,将手机中的照片、视频等多媒体数据发送至其他支持投屏功能的被控设备(例如智能电视)中进行显示。在一种实现方式中,用户选中智能电视为被控设备后,手机会将手机屏幕中的显示数据实时地发送给智能电视进行显示,即手机与智能电视中的显示内容完全相同,这种投屏方式容易导致手机中的私密信息被泄露。在另一种实现方式中,用户选中智能电视为被控设备后,手机可通过列表等形式先提示用户选择需要投屏的应用,用户选中某一具体应用后,手机可将用户选中的应用投屏在智能电视上进行显示,这种投屏方式需要用户每次在投屏前手动设置具体的投屏内容,导致投屏过程的操作较为繁琐。
发明内容
本申请提供一种投屏方法及电子设备,可在多任务界面中将应用程序相关联的数据方便快捷的投屏至电子设备中播放,减少了投屏过程的操作,提高了人机交互的效率,增强了电子设备的智能性和与人交互的友好性。
第一方面,提供了一种投屏的方法,其特征在于,包括:响应于用户的第一操作,获取第一电子设备、第二电子设备的位置;根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备,所述多任务界面包括第一显示区域,所述第一显示区域用于显示第一电子设备图标和第二电子设备图标;获取第一应用程序的缩略图和第二应用程序的缩略图;所述第一应用程序和所述第二应用程序为所述电子设备正在运行的应用程序;其中,所述第一应用程序的缩略图用于标识所述第一应用程序、所述第二应用程序的缩略图用于标识所述第二应用程序,所述多任务界面还包括第二显示区域,所述第二显示区域用于显示第一应用程序的缩略图、第二应用程序的缩略图;显示所述多任务界面;响应于用户的第二操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备。
因此,本申请实施例提供的投屏方法,一方面,在设备间建立无线通信连接关系的前提下,还能进一步确定手机与其他设备的位置关系(如方向、距离等),提高了用户选择接收设备的精准度和效率;另一方面,用户可以在手机的多任务界面中,通过上述的操作方式选择应用程序以及接收投屏的电子设备,从而实现应用投屏至电子设备,提高了投屏操作的效率。
根据第一方面,在一种可能的实现方式中,所述获取第一电子设备、第二电子设备的位置具体为:通过超宽带定位技术或天线阵列技术获取第一电子设备、第二电子设备的位置。
也就是说,在设备间建立无线通信连接关系的前提下,还能进一步通过通过超宽带定位技术或天线阵列技术对附近的电子设备进行筛选,减少了手机或其他设备发现的电子设备个数,避免了用户在较大范围内的大量设备中查找和识别目标设备的麻烦,以及避免投屏时误选设备的情况出现,提高了用户选择接收设备的精准度和效率。
根据第一方面,在一种可能的实现方式中,第一显示区域包括坐标系,根据第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置,具体为:根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面中的坐标系的位置。
其中,坐标系可以包括中心点、横轴、和纵轴,中心点可以表示手机,横轴表示相对于手机的左右方向,纵轴表示相对于手机的前后方向,多任务界面根据第一电子设备、第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面中的坐标系的位置,也即显示了这些电子设备相对手机的位置/方向,不同电子设备图标位置指示其对应的电子设备与手机的相对位置。此外,电子设备图标与中心点的距离指示其对应的电子设备与手机的距离,图标距离中心点越近,表示其对应的电子设备距离手机越近。
也就是说,一方面,通过手机与其他设备的位置关系(如方向、距离等)进行筛选,减少了手机发现的电子设备个数,进一步的,提高了用户选择接收设备的精准度和效率;另一方面,根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面中的坐标系的位置,用户可以在手机的多任务界面中,看到附近设备所处的相对位置及方向,提高了用户选择接收设备的精准度和效率。
根据第一方面,在一种可能的实现方式中,所述第二操作具体为拖动第一应用程序的缩略图至第一电子设备图标。
也就是说,用户可以在手机的多任务界面中,通过上述的操作方式选择应用以及手机指向的电子设备,从而完成应用投屏至电子设备,使得整个人机交互过程更加自然和友好,提高了用户的使用体验。
根据第一方面,在一种可能的实现方式中,将与第一应用关联的多媒体数据投屏至所述第一电子设备之后,还包括:响应于用户的第三操作,停止与所述第一应用关联的多媒体数据投屏至所述第一电子设备,将与所述第二应用关联的多媒体数据投屏至所述第一电子设备。
也就是说,用户只需在多任务界面进行一步操作即可完成投屏应用的切换,而无需多步操作(例如先打开第一应用,然后选择停止投屏,再打开第二应用,启动投屏),从而可以非常便捷的更换投屏内容,保护用户隐私***漏。
根据第一方面,在一种可能的实现方式中,所述方法还包括:响应于用户的第四操作,将与所述第二应用关联的多媒体数据投屏至所述第二电子设备。
也就是说,在手机已将第一应用投屏至第一电子设备后,用户还可以通过第四操作将手机上的第二应用投屏至第二电子设备,实现在多任务界面进行多个应用投屏至多个电子设备的便捷操作。此时,手机中第一应用输出多媒体数据投屏至第二设备中播放,手机中第二应用输出的多媒体数据投屏至第一应用中播放。用户可以在同一时刻享受到不同电子设备各自播放的多媒体数据。
根据第一方面,在一种可能的实现方式中,所述方法还包括:响应于用户的第五操作,
停止与所述第一应用关联的多媒体数据投屏至所述第一电子设备。
也就是说,用户只需在多任务界面进行一步操作即可停止投屏,而无需多步操作(例如先打开第一应用,然后选择停止投屏),从而可以非常便捷的结束,提升用户的体验。
根据第一方面,在一种可能的实现方式中,响应于用户的第二操作之后,所述多任务界面包括停止投屏的控件;第五操作具体为拖动第一应用程序的缩略图至所述停止投屏的控件。
也就是说,用户只需在多任务界面拖动应用程序的缩略图至停止投屏的控件即可停止投屏,而无需多步操作(例如先打开第一应用,然后选择停止投屏),从而可以非常便捷的结束。
根据第一方面,在一种可能的实现方式中,所述方法还包括:响应于用户的第六操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备、所述第二电子设备。
也就是说,在需要将单个应用投屏到多个设备的场景中,用户只需在多任务界面进行一步操作即可实现将一个应用投屏至多个电子设备,多个电子设备可以是手机指向的已建立无线通信连接关系的电子设备,使得在限定需要投屏的设备的前提下,投屏多个设备更为便捷、快速。
根据第一方面,在一种可能的实现方式中,所述第六操作具体为向第一方向滑动第一应用程序的缩略图。
其中,第一方向可以是向上或者其他方向,滑动可以是双指或者三指进行滑动操作。
也就是说,在需要将单个应用程序投屏到多个设备的场景中,用户只需在多任务界面向第一方向滑动应用程序的缩略图即可实现将一个应用投屏至多个电子设备,多个电子设备可以是手机指向的已建立无线通信连接关系的电子设备,使得在限定需要投屏的设备的前提下,投屏多个设备更为便捷、快速。
根据第一方面,在一种可能的实现方式中,所述方法还包括:响应于用户的第七操作,停止与所述第一应用关联的多媒体数据投屏至所述第一电子设备、所述第二电子设备。
也就是说,在需要结束单个应用程序投屏到多个设备的场景中,用户只需在多任务界面进行一步操作即可停止多个设备对一个应用程序的投屏,使得结束应用程序对多个设备的投屏更为便捷、快速。
根据第一方面,在一种可能的实现方式中,所述第七操作具体为向第二方向滑动第一应用程序的缩略图。
其中,第二方向可以是向下或者其他方向,滑动可以是双指或者三指进行滑动操作。
也就是说,在需要结束单个应用程序投屏到多个设备的场景中,用户只需在多任务界面向第二方向滑动第一应用程序的缩略图即可停止一个应用程序对多个设备的投屏,使得结束应用程序对多个设备的投屏更为便捷、快速。
第二方面,本申请提供一种电子设备,包括:触摸屏、通信接口、一个或多个处理器、存储器、以及一个或多个计算机程序;其中,处理器与触摸屏、通信接口、定位装置以及存储器均耦合,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述任一项所述的播放多媒体数据的方法。
第三方面,本申请提供一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面中任一项所述的播放多媒体数据的方法。
第四方面,本申请提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如第一方面中任一项所述的播放多媒体数据的方法。
可以理解地,上述提供的第二方面所述的终端、第三方面所述的计算机存储介质,以及第四方面所述的计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
图1是本申请实施例提供的一种通信***的架构示意图;
图2A是本申请实施例提供的一种电子设备的结构的示意图;
图2B是本申请实施例提供的一种具有天线阵列的电子设备的示意图;
图3是本申请实施例提供的一种电子设备的软件结构的示意图;
图4A是本申请实施例提供的一种投屏方法的应用场景示意图一;
图4B是本申请实施例提供的一种投屏方法的应用场景示意图二;
图4C是本申请实施例提供的一种投屏方法的应用场景示意图三;
图4D是本申请实施例提供的一种投屏方法的应用场景示意图四;
图4E是本申请实施例提供的一种投屏方法的应用场景示意图五;
图4F是本申请实施例提供的一种投屏方法的应用场景示意图六;
图5是本申请实施例提供的一种投屏方法的应用场景示意图七;
图6A是本申请实施例提供的一种投屏方法的应用场景示意图八;
图6B是本申请实施例提供的一种投屏方法的应用场景示意图九;
图7A是本申请实施例提供的一种投屏方法的应用场景示意图十;
图7B是本申请实施例提供的一种投屏方法的应用场景示意图十一;
图8A是本申请实施例提供的一种投屏方法的应用场景示意图十二;
图8B是本申请实施例提供的一种投屏方法的应用场景示意图十三;
图9A是本申请实施例提供的一种投屏方法的应用场景示意图十四;
图9B是本申请实施例提供的一种投屏方法的应用场景示意图十五;
图9C是本申请实施例提供的一种投屏方法的应用场景示意图十六;
图9D是本申请实施例提供的一种投屏方法的应用场景示意图十七;
图10是本申请实施例提供的一种投屏方法的的流程示意图一;
图11是本申请实施例提供的一种投屏方法的的流程示意图二;
图12是本申请实施例提供的一种投屏方法的的流程示意图三;
图13是本申请实施例提供的一种投屏方法的的流程示意图四;
图14是本申请实施例提供的一种投屏方法的的流程示意图五;
图15是本申请实施例提供的一种投屏方法的的流程示意图六;
图16是本申请实施例提供的一种投屏方法的的流程示意图七;
图17是本申请实施例提供的一种投屏方法的的流程示意图八。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下介绍了电子设备、用于这样的电子设备的图形用户界面、和用于使用这样的电子设备的实施例。在一些实施例中,电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载
Figure BDA0002506726350000051
Figure BDA0002506726350000052
或者其它操作***的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备,诸如具有触敏表面或触控面板的膝上型计算机(Laptop)等。还应当理解的是,在其他一些实施例中,上述电子设备也可以不是便携式电子设备,而是具有触敏表面或触控面板的台式计算机。
本申请的说明书和权利要求书及附图中的术语“用户界面(user interface,UI)”,是应用程序或操作***与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language,XML)等特定计算机语言编写的源代码,界面源代码在终端设备上经过解析,渲染,最终呈现为用户可以识别的内容,比如图片、文字、按钮等控件。控件(control)也称为部件(widget),是用户界面的基本元素,典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的,比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性,节点经过解析和渲染之后呈现为用户可视的内容。此外,很多应用程序,比如混合应用(hybrid application)的界面中通常还包含有网页。网页,也称为页面,可以理解为内嵌在应用程序界面中的一个特殊的控件,网页是通过特定计算机语言编写的源代码,例如超文本标记语言(hyper text markup language,HTML),层叠样式表(cascading style sheets,CSS),java脚本(JavaScript,JS)等,网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的,比如HTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
本申请以下实施例提供了一种投屏的方法、图形用户界面、电子设备及***,使得电子设备能够在多任务界面进行快速的投屏,并且能够结合使用方向、距离等信息去搜索附近的设备进行投屏,提高了电子设备的投屏的效率。
本申请以下实施例中,投屏可以是电子设备提供的一种服务或功能,可以支持电子设备传输数据至指定方向上的其他设备。在一些实施例中,投屏可支持该电子设备通过蓝牙、无线保真直连(wireless fidelity direct,Wi-Fi direct)、Wi-Fi软件接入点(software access point,softAP)、毫米波(Millimeter Wave,mmWave)、超宽带(UltraWide Band,UWB)中的一项或多项等技术传输数据至附近设备。附近设备是指电子设备通过蓝牙、Wi-Fi直连(如Wi-Fi p2p)、Wi-Fi softAP等、Wi-Fi LAN、毫米波(mmWave)、超宽带(UWB)中一项或多项技术发现的设备。
可以理解的是,投屏只是本实施例中所使用的一个词语,其代表的含义在本实施例中已经记载,其名称并不能对本实施例构成任何限制。
下面介绍本申请实施例提供的一种定向投屏方法,可应用于图1所示的一个通信***10中。
图1示例性示出了实现本发明的一种用于定向投屏的通信***10。通信***10可以包括电子设备100以及一个或多个附近电子设备,如第一电子设备101、第二电子设备102、第三电子设备103等。
电子设备100可以为手机、平板电脑等便携式电子设备。具体的,电子设备100可以具有蓝牙模块、WLAN模块、毫米波(mmWave)天线模块、超宽带(UWB)天线模块中的一项或多项。电子设备100可以通过蓝牙模块、WLAN模块、毫米波(MilliMeterWave)天线模块、超宽带(UWB)天线模块中的一项或多项发射信号来探测、扫描或定向探测\扫描电子设备100附近的设备,使得电子设备100可以使用蓝牙、WLAN、毫米波(mmWave)、超宽带(UWB)中的一种或多种短距离无线通信协议发现或定向发现附近设备,并与附近设备建立无线通信连接,通过蓝牙、WLAN、毫米波(mmWave)、超宽带(UWB)中的一种或多种短距离无线通信协议分享数据至附近设备。
第一电子设备101、第二电子设备102或第三电子设备103可以是具有蓝牙模块、WLAN模块、毫米波(mmWave)天线模块、超宽带(UWB)天线模块中的一项或多项的手机、平板电脑、个人电脑等电子设备,也可以是具有蓝牙模块、WLAN模块、毫米波(mmWave)天线模块、超宽带(UWB)天线模块中的一项或多项的打印机、投影仪、显示器、音箱等其他设备。
可以理解的,本实施例示出的结构并不构成对通信***10的具体限定。在本申请另一些实施例中,通信***10可以包括比图示更多或更少的设备。例如通信***10还可包括其他具有蓝牙模块、WLAN模块、毫米波(mmWave)天线模块、超宽带(UWB)天线模块中的一项或多项的电子设备。
图2A示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备100也可以包括一个或多个处理器110。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了电子设备100的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
2020年第五代通信技术(5G)将实现大规模商用,新的通信技术对移动设备天线和基站天线带来了新的要求。5G中使用的频段包括毫米波频段(mmWave,30GHz-100GHz)。因此,为了能够支持毫米波通信,支持5G通信的终端具备毫米波天线。与传统的微波频段相比,毫米波信号在传播过程中,信号的传播类似于射线传播,即直射径和反射径为主,无明显的散射和绕射现象,信号会在一些空间离散的径上传播,这里的有效径的数量非常稀少。在毫米波这种缺乏散射的信道上,可以通过空分复用(例如MU-MIMO技术)的方式获得分集增益,从而显著提高信号的质量。
毫米波信号波长短,天线的长度越短。基于传输速率的要求,5G终端可以具有多个毫米波天线模块。图2B示例性示出了具有毫米波天线阵列的电子终端,该电子终端可以为图1中的电子终端100。在图2B中,电子终端100具有8个天线,该8个天线形成了天线阵列,即,将工作在同一频率的两个或两个以上的单个天线进行馈电和空间排列构成天线阵列,使得5G终端具备了波束成形能力,即通过调整每个天线模块的权值,使得多个天线在波形上经过相干和相消,形成了有零点、有最大指向的波瓣方向图,使得相控天线阵列具有在指定方向上发送或接收信号的能力。电子设备上的多个天线可布局为均匀线性阵列、圆形阵列、矩形阵列等。
目前5G毫米波天线阵列一般是基于相控阵的方式。具体实现方式可以分为AoB(Antenna on Board),即天线阵列位于***主板上、AiP(Antenna in Package),即天线阵列位于芯片的封装内、和AiM(Antenna in Module),即天线阵列与RFIC形成一模组三种。
毫米波天线阵列为了实现更广的空间覆盖,一般会以辐射波束互补(如broadsideradiation,即宽边辐射,与end-fire radiation,即端射)的天线种类,如贴片天线(patchantenna)和准八木天线(Quasi-Yagi antenna),进行搭配设计,并给予天线馈点的适当设计,以达到双极化的覆盖,从而大幅改善毫米波信号的范围和覆盖率。
天线2也可以具有工作在同一频率的两个或两个以上的天线,并形成天线阵列。
本发明适用于具有天线阵列的电子终端,尤其是具有毫米波天线阵列的电子终端。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR),超宽带(UWB)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。示例性地,无线通信模块160可以包括蓝牙模块、Wi-Fi模块等。
在一些实施例中,电子设备100的一部分天线和移动通信模块150耦合,另一部分天线和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobilecommunications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband codedivision multiple access,WCDMA),时分码分多址(time-division code divisionmultiple access,TD-SCDMA),长期演进(long term evolution,LTE),毫米波(mmWave),BT,GNSS,WLAN,NFC,FM,UWB,和/或IR技术等。所述GNSS可以包括全球卫星定位***(globalpositioning system,GPS),全球导航卫星***(global navigation satellite system,GLONASS),北斗卫星导航***(beidou navigation satellite system,BDS),准天顶卫星***(quasi-zenith satellite system,QZSS)和/或星基增强***(satellite basedaugmentation systems,SBAS)。
在一些实施例中,无线通信模块160中包括的蓝牙(BT)模块、WLAN模块可以发射信号来探测或扫描电子设备100附近设备,使得电子设备100可以使用蓝牙或WLAN等无线通信技术发现附近设备,并与附近设备建立无线通信连接,并通过上述连接分享数据至附近设备。其中,蓝牙(BT)模块可以提供包括经典蓝牙或蓝牙低功耗(Bluetooth low energy,BLE)中一项或多项蓝牙通信的解决方案。WLAN模块可以提供包括Wi-Fi direct、Wi-Fi LAN或Wi-Fi softAP中一项或多项WLAN通信的解决方案。
在一些实施例中,移动通信模块150中包括的毫米波(mmWave)模块可以在指定方向上发射或接收信号来探测或扫描电子设备100在指定方向上的附近设备,使得电子设备100可以使用毫米波等移动通信技术在指定方向上发现附近设备,并与附近设备建立移动通信连接或如WLAN直连等的无线通信连接,并通过上述连接分享数据至附近设备。
电子设备100通过GPU,显示屏194,以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)-1,MPEG-2,MPEG-3,MPEG-4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐、照片、视频等数据保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备100执行本申请一些实施例中所提供的数据分享的方法,以及各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片,联系人等)。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也可称触控面板或触敏表面。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
图2A示例性所示的电子设备100可以通过显示屏194显示以下各个实施例中所描述的各个图形用户界面。电子设备100可以通过触摸传感器180K在各个图形用户界面中检测触控操作,例如在各个图形用户界面中的点击操作(如在图标上的触摸操作、双击操作),又例如在各个图形用户界面中的向上或向下的滑动操作,或执行画圆圈手势的操作,等等。在一些实施例中,电子设备100可以通过陀螺仪传感器180B、加速度传感器180E等检测用户手持电子设备100执行的运动手势,例如晃动电子设备。在一些实施例中,电子设备100可以通过摄像头193(如3D摄像头、深度摄像头)检测非触控的手势操作。
电子设备100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android***为例,示例性说明电子设备100的软件结构。
图3是本发明实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图3所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3所示,应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
图3所示的软件***涉及到使用投屏能力的应用呈现(如视频库,多任务界面),以及应用框架层提供WLAN服务、蓝牙服务,以及内核和底层提供WLAN蓝牙能力和基本通信协议。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸操作,该触摸操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
下面以手机为上述电子设备100举例,分别描述本申请涉及的应用场景以及手机上实现“多任务管理界面”投屏的一些实施例。
用户使用手机时,可以将手机中的应用程序由前台运行切换为后台运行。并且,用户可以控制手机显示多任务管理界面。多任务管理界面是智能手机、平板电脑等电子设备上用于显示/管理后台运行的应用程序的图形用户界面,该图形用户界面可以显示当前处于运行状态的应用程序的缩略图,也可以称为“多任务界面”,本实施例对该图形用户界面的名称不做限制。
图4A示例性示出了手机上的一种图形用户界面。该图形用户界面可以是为手机的主界面(Home screen),可以包括:状态栏,日历指示符,天气指示符以及具有常用应用程序图标的托盘等。
其中,手机屏幕下方设置有主屏幕键(Home键)11,可用于接收用户的指令。Home键11可以是实体按键,也可以是虚拟按键。
其中,如图4A和图4B,响应于用户的第一操作,手机调出多任务界面30。具体的,第一操作为用户快速按压两次Home键11之后,手机显示多任务界面。本实施例对手机调起多任务界面的触发方式不作限定,可参照现有的方式即可。
图4B示例性示出了在手机上显示的多任务界面30。该多任务界面可以支持用户对当前处于运行状态的应用程序的多种操作,例如投屏、撤销投屏、切换应用程序、查看正在运行的应用程序、关闭正在运行的应用程序等。
如图4B所示,多任务界面30可以包括第一显示区域31和第二显示区域32。其中,第一显示区域可以包括:第一电子设备图标101’、第二电子设备图标102’、第三电子设备图标103’;第二显示区域可以包括第一应用程序的缩略图201、第二应用程序的缩略图202、第三应用程序的缩略图203。其中,所述的电子设备是手机指向的已建立无线通信连接关系的电子设备,所述的应用缩略图是应用程序被切换至后台运行时的界面截图形成的。
如图标第一电子设备图标101’、第二电子设备图标102’、第三电子设备图标103’,手机指向范围内的电子设备对应的图标可以按照预定排序规则进行排序。在一些实施例中,该预定排序规则可以是基于电子设备与手机的距离远近。例如,第一显示区域31中显示了三个电子设备图标,其顺序表示图中该三个图标对应的电子设备与手机的距离为第一电子设备图标101’<第二电子设备图标102’<第三电子设备图标103’。此外,在其他一些实施例中,在第一显示区域31中,不同的电子设备图标可以具有不同的显示效果。例如,第一电子设备图标101’在外观(例如:颜色、大小等)上可以不同于其他图标,以提示该图标对应的附近设备距离电子设备最近或者来自该附近设备的信号强度最高。在其他一些实施例中,上述预定排序规则可以为设备ID首字母顺序等其他规则,本实施例对此不作任何限制。
从而,通过利用手机和其他电子设备间的定位识别手机指向范围内的电子设备,可以快速锁定用户需投屏的目标设备,实现定向投屏,避免了用户在较大范围内的大量设备中查找和识别目标设备的麻烦,以及避免投屏时误选设备的情况出现。
需要说明的是,手机和其他电子设备间的定位识别根据硬件的不同,实现的方式有所不同。在一些实施例中,可以通过手机和其他电子设备中预装的UWB芯片,从而实现手机与其他电子设备间的位置识别。
可以理解的是,电子设备图标还可以表现为其他形式,例如文本信息“打印机”。此外,电子设备图标还可以包括使用设备的用户的账号,例如,包括文本信息“MAC的手机”,其中的“MAC”是用户账号。在其他一些实施例中,电子设备图标还可以显示电子设备的型号或其他自定义信息,如“HUAWEI P30”等。
需要说明的是,手机指向的已建立无线通信连接关系的电子设备可能有多个,而受手机显示界面的限制,多任务界面中可能只显示部分电子设备图标,用户可以通过滑动操作来触发手机显示其他电子设备图标。
需要说明的是,处于后台运行状态的应用程序可能有多个,而受电子设备显示界面的限制,多任务界面中可能只显示部分应用程序的缩略图,用户可以通过滑动操作来触发电子设备显示其他应用程序的缩略图。
在本实施例中,如图4C所示,第一显示区域31中,可以显示若干个电子设备图标及其对应的电子设备与手机的相对位置。其中,第一显示区域31可以显示坐标系110,其可以包括中心点1111以及横轴1112和纵轴1113。其中,中心点1111可以表示手机,横轴1112表示相对于手机的左右方向,纵轴1113表示相对于手机的前后方向。多任务界面中还可以显示第一电子设备图标101’、第二电子设备图标102’、第三电子设备图标103’表示手机发现的附近电子设备,并显示了这些电子设备相对手机的位置/方向,即不同电子设备图标位置指示其对应的电子设备与手机的相对位置。例如,电子设备图标103’位于中心点1111的右上方,其表示实际的电子设备103位于手机的右上方。此外,电子设备图标与中心点1111的距离指示其对应的电子设备与手机的距离,图标距离中心点越近,表示其对应的电子设备距离手机越近。可以理解的是,电子设备图标还可以表现为其他形式,例如编号或者设备用户自定义的其他信息。在其他一些实施例中,距离中心点较近的电子设备的图标可以具有与距离中心点较远的电子设备图标不同的显示效果,如距离中心点较近的图标在外观上(如图标大小、颜色等)可以不同于距离中心点较远的图标。
此外,在一些实施中,第一显示区域中的电子设备图标还可以显示发现的电子设备的设备信息,例如“HUAWEI P30”或“Tom的笔记本”。
如图4D所示,用户进行第二操作,第二操作具体为拖动第一应用程序的缩略图201至第一电子设备图标101’。第二操作用于启动手机的投屏功能,将用户所需投屏的应用投屏至所选的电子设备。
作为对本申请实施例的扩展,如图4E所示,第二操作还可以是用户先点击第一应用程序的缩略图31,再点击第一电子设备图标101’,从而启动手机的投屏功能。也可以是用户先点击第一电子设备图标101’,再点击第一应用程序的缩略图31。其中,点击可以是单击、双击或长按,本申请实施例对此不作限定。
作为对上述实施例的扩展,如图4F所示,第二操作还可以是用户先点击启动定向投屏图标120,然后朝向需要接收投屏的第一电子设备101的方向滑动第一应用程序的缩略图201,从而启动手机的投屏功能。其中,第一显示区域31可以根据检测到不同方向的电子设备给出箭头提示。在一些实施例中,手机分别确定用户滑动开始和结束时的触点位置,并根据该滑动开始和结束时的触点位置确定用户的滑动方向。可以理解的是,确定滑动方向的方式不仅限于通过确定滑动开始和结束时的触点位置,手机也可以通过记录手指滑动轨迹等方式来确定滑动方向,本实施例对此不作任何限制。
如图5所示,响应于用户的第二操作,手机启动投屏功能,将第一应用投屏至第一电子设备101。进一步的,被拖动的第一应用程序的缩略图回弹至拖动前其处在的第二显示区域的位置,并显示文字“正在投屏中”,多任务界面的第三显示区域33进行更新,显示控件301(“停止投屏”)。进一步的,手机还可以显示包含“第一应用已投屏至第一电子设备”这一内容的信息,以方便用户查看当前具体的投屏状态。
如图6A所示,若用户在将第一应用投屏至第一电子设备101后(如图5所示),需要将第一应用切换为第二应用,则可以在多任务界面再次进行第二操作切换投屏的应用。具体的,用户进行第三操作,第三操作可以为拖动第二应用程序的缩略图202至第一电子设备图标102’。
可以理解的是,若用户在将第一应用投屏至第一电子设备101后,需要将第一应用切换至第二设备102进行投屏,则可以在多任务界面拖动第一应用程序的缩略图201至第二电子设备图标102’。
如图6B所示,响应于用户的第三操作,手机可指示第一设备101停止播放第一应用,并将第二应用投屏至第一电子设备101。具体的,可以是手机先向第一设备101发送“停止投屏”的结束信号,然后再向第一设备101传输第二应用输出的多媒体数据。从而,实现将第一应用在第一电子设备的播放切换为第二应用在第一电子设备的播放,也即是说,用户只需在多任务界面进行一步操作即可完成投屏应用的切换,而无需多步操作(例如先打开第一应用,然后选择停止投屏,再打开第二应用,启动投屏),从而可以非常便捷的更换投屏内容,保护用户隐私***漏,提升用户的体验。
如图7A所示,用户进行第四操作,第四操作具体为拖动第一应用程序的缩略图201至第二电子设备图标102’。接着,如图7B所示,响应于用户的第四操作,手机将第一应用投屏至第二电子设备102。从而,在手机已将第二应用投屏至第一电子设备后,用户还可以通过第四操作将手机上的第一应用投屏至第二电子设备,实现在多任务界面进行多个应用投屏至多个电子设备的便捷操作。此时,手机中第一应用输出多媒体数据投屏至第二设备中播放,手机中第二应用输出的多媒体数据投屏至第一应用中播放。用户可以在同一时刻享受到不同电子设备各自播放的多媒体数据,从而提高用户的使用体验。
如图8A所示,用户进行第五操作,第五操作具体为拖动第一应用程序的缩略图201至控件501(“停止投屏”)。其中,第五操作之前,第一应用已投屏至第二电子设备102。
作为对本实施例的扩展,第五操作可以是向下或向上滑动、还可以是先选择应用缩略图再在第二显示区域中执行画圆圈手势的操作,还可以是在晃动电子设备后的固定时间(如1秒)内选择应用缩略图的操作,还可以是语音控制操作,即用户说出“停止投屏”的语音指令即可。本实施例中对第五操作的具体形式不做限制。
如图8B所示,响应于用户的第五操作,手机指示第二电子设备102停止播放第一应用。或者,手机可以停止向第一电子设备发送运行第一应用时产生的显示数据。另外,第一电子设备停止运行第一应用后,手机还可以将第一应用切换回手机中继续显示,这样,第一应用可在手机和第一电子设备之间实现无缝接续。
作为对本实施例的细化,第五操作后,第一应用停止投屏前,手机可以弹出“是否确定停止第一应用的投屏”的对话框,该对话框还包含“是”和“否”两个按钮。若用户选择“是”,手机停止对第一应用的投屏;若用户选择“否”,则手机继续对第一应用进行投屏。
示例性地,在一种场景下(如多人会议场景),用户需要快速、便捷的将一个应用投屏至多个电子设备。如图9A所示,用户进行第六操作,第六操作具体为双指长按第一应用程序的缩略图201并向上持续滑动一段距离L,该距离L需大于一预定长度以使得电子设备能够识别并确定用户滑动的方向。第六操作用于启动手机投屏多个设备的功能,可以将用户所选择的应用投屏至多个电子设备。
需要说明的是,上述的第六操作中的双指也可以是三指;长按还可以是单击或双击;向上滑动也可以自定义为向某一方向滑动,或者,向第一显示区域滑动等等;本实施例对此不作任何限制。
在一些实施例中,手机分别确定用户滑动开始和结束时的触点位置,并根据该滑动开始和结束时的触点位置确定用户的滑动方向。可以理解的是,确定滑动方向的方式不仅限于通过确定滑动开始和结束时的触点位置,手机也可以通过记录手指滑动轨迹等方式来确定滑动方向,本实施例对此不作任何限制。
如图9B所示,响应于用户的第六操作,手机启动投屏多个设备的功能,将第一应用分别投屏至第一电子设备101、第二电子设备102、第三电子设备103。在一些实施例中,手机投屏的多个设备可以是手机指向的已建立无线通信连接关系的所有电子设备,还可以是将第一应用投屏至多任务界面中第一显示区域所显示的所有电子设备图标所对应的电子设备。
从而,在需要将单个应用投屏到多个设备的场景中,用户只需在多任务界面进行一步操作即可实现将一个应用投屏至多个电子设备,多个电子设备可以是手机指向的已建立无线通信连接关系的电子设备,使得在限定需要投屏的设备的前提下,投屏多个设备更为便捷、快速。
如图9C所示,用户进行第七操作,第七操作具体为双指长按第一应用程序的缩略图201并向下持续滑动一段距离L,该距离L需大于一预定长度以使得电子设备能够识别并确定用户滑动的方向。第七操作用于结束对多个设备的投屏,可以同时停止用户所选择的应用对多个设备的投屏。
如图9D所示,响应于用户的第七操作,手机分别指示第一电子设备101、第二电子设备102、第三电子设备103停止播放第一应用。或者,手机可以停止向第一电子设备101、第二电子设备102、第三电子设备103发送运行第一应用时产生的显示数据。
从而,在需要结束单个应用投屏到多个设备的场景中,用户只需在多任务界面进行一步操作即可停止多个设备对一个应用的投屏,使得结束应用对多个设备的投屏更为便捷、快速。
请参阅图10,图10是本申请实施例提供了一种多任务界面投屏方法的流程示意图,应用于如图1所述的电子设备100,下面以手机作为电子设备100的示例;如图所示,本多任务界面投屏方法包括:
S401,响应于用户的第一操作,获取第一电子设备、第二电子设备的位置。
其中,第一操作用于打开手机的多任务界面,例如,用户快速按压两次Home键之后,手机显示多任务界面。又例如,用户触控导航栏中的多任务按钮之后,手机显示多任务界面。本实施例对手机调起多任务界面的触发方式不作限定,可参照现有的方式即可。
可以理解的是,手机和其他电子设备建立的无线通信连接关系可以是在响应第一操作之前就已建立的无线通信连接关系,可通过WIFI、蓝牙、UWB超宽带技术、红外数据传输、无线局域网等中的至少一种建立无线通信连接。在用户进行第一操作后,手机可以通过天线阵列或UWB超宽带等技术来获取电子设备与手机的距离,进而将与手机之间的距离小于距离阈值的电子设备确定为候选电子设备,并将其显示在第一显示区域。手机可以按照预定排序规则对发现的各附近设备进行排序并在第一显示区域中显示排序后的各附近设备对应的设备信息。
其中,手机在发现了第一电子设备、第二电子设备之后,分别确定上述附近电子设备与手机的相对位置,具体过程可参见图17所示及其描述。
S402,根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备,所述多任务界面包括第一显示区域,所述第一显示区域用于显示第一电子设备图标和第二电子设备图标。
进一步的,多任务界面的第一显示区域显示的第一电子设备图标、第二电子设备图标所对应的第一电子设备、第二电子设备是与手机已建立无线通信连接关系的第一电子设备、第二电子设备,并且第一电子设备、第二电子设备与手机具有一定的位置关系,可以是通过在手机指示的方向上发现的已建立无线通信连接关系的电子设备,从而,在设备间建立无线通信连接关系的前提下,还能进一步通过手机与其他设备的位置关系(如方向、距离等)进行筛选,减少了手机发现的电子设备个数,提高了用户选择接收设备的精准度和效率。
进一步的,若手机的指示方向(姿态)发生变化,导致附近电子设备和手机的相对位置发生变化,第一显示区域的电子设备也会相应的进行更新。用户可以通过控制手机的指示方向(姿态),手机可以在全部方向发现的附近设备中对指示的方向上的附近设备对应的设备信息设置不同的显示效果,或仅显示在指示的方向上的附近电子设备对应的设备信息。
需要说明的是,手机指向的已建立无线通信连接关系的电子设备可能有多个,而受手机显示界面的限制,多任务界面中可能只显示部分电子设备,用户可以通过滑动操作来触发手机显示其他电子设备。
S403,获取第一应用程序的缩略图和第二应用程序的缩略图;所述第一应用程序和所述第二应用程序为所述电子设备正在运行的应用程序;其中,所述第一应用程序的缩略图用于标识所述第一应用程序、所述第二应用程序的缩略图用于标识所述第二应用程序,所述多任务界面还包括第二显示区域,所述第二显示区域用于显示第一应用程序的缩略图、第二应用程序的缩略图。
进一步的,多任务界面的第二显示区域显示的应用缩略图是应用程序被切换至后台运行时的界面截图形成的。
需要说明的是,处于后台运行状态的应用程序可能有多个,而受手机多任务界面的限制,多任务界面中可能只显示部分应用程序的缩略图,用户可以通过滑动操作来触发手机显示其他应用程序的缩略图。
S404,显示所述多任务界面。
具体的,所述多任务界面包括第一显示区域、第二显示区域。第一显示区域根据第一电子设备、第二电子设备的位置显示第一电子设备图标、第二电子设备图标;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备。第二显示区域显示第一应用程序的缩略图、第二应用程序的缩略图;其中,所述第一应用程序的缩略图用于标识所述第一应用、所述第二应用程序的缩略图用于标识所述第二应用。
S405,响应于用户的第二操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备。
第二操作具体为将第二显示区域的第一应用程序的缩略图拖动至第一显示区域中的第一电子设备图标,进而手机将第一应用关联的的多媒体数据投屏至第一电子设备。
作为对本实施例的扩展,第二操作可以是向上或向下滑动、还可以是先选择应用缩略图再在第二显示区域中执行画圆圈手势的操作,还可以是在晃动电子设备后的固定时间(如1秒)内选择应用缩略图的操作,还可以是语音控制操作,即用户说出“投屏”的语音指令即可。本实施例中对第一操作的具体形式不做限制。
作为对本实施例的细化,第二操作结束后,投屏功能启动前,手机可以弹出“是否确定将第一应用投屏至第一电子设备”的对话框,该对话框还包含“是”和“否”两个按钮。若用户选择“是”,手机启动投屏功能;若用户选择“否”,则手机不启动投屏功能。
需要说明的是,本实施例中手机与电子设备之间在投屏过程中,所传输的数据可以支持但不限于音频数据、视频数据、图片数据、网页数据、文本数据中的至少一种。例如,手机可以通过投屏功能将运行微信应用程序时输出的显示数据发送给智能电视,由智能电视继续显示微信应用程序输出的显示界面。又例如,如果智能电视中安装有微信程序,则手机可以向智能电视发送打开微信应用程序的指令,使得智能电视响应该指令打开自身安装的微信应用程序,从而将手机上的微信应用程序投屏至智能电视上继续运行。或者,手机在向智能电视发送打开微信应用程序的指令时,还可以在该指令中携带当前微信应用程序的运行数据,例如,该运行数据用于指示当前微信应用程序位于联系人Sam的聊天界面。这样,智能电视打开自身安装的微信应用程序后,可根据该运行数据自动跳转至联系人Sam的聊天界面,使得多媒体数据在多个设备之间投屏时可实现无缝续播。
示例性的,手机将第一应用输出的多媒体数据从手机投屏至第一电子设备播放后,手机可继续运行第一应用输出相应的多媒体数据。或者,手机也可以停止运行第一应用。当然,手机将第一应用投屏至第一电子设备后,用户也可以在第一电子设备中对第一应用进行各项操作,本申请实施例对此不做任何限制。
作为对本实施例的细化,响应于用户的第二操作,手机启动投屏功能,被用户拖动至第一显示区域的第一应用程序的缩略图回弹至第二显示区域中,并显示文字“正在投屏中”,同时,多任务界面的第三显示区域进行更新,显示控件(“停止投屏”)。
这样,用户可以在手机的多任务界面中,通过上述的操作方式选择应用以及手机指向的电子设备,从而完成应用投屏至电子设备,使得整个人机交互过程更加自然和友好,提高了用户的使用体验。
请参阅图11,图11是本申请实施例提供了一种多任务界面投屏方法的流程示意图,应用于如图1所述的电子设备100,下面以手机作为电子设备100的示例;如图所示,本多任务界面投屏方法包括:
S501,响应于用户的第一操作,获取第一电子设备、第二电子设备的位置。
其中,第一操作用于打开手机的多任务界面,例如,用户快速按压两次Home键之后,手机显示多任务界面。又例如,用户触控导航栏中的多任务按钮之后,手机显示多任务界面。本实施例对手机调起多任务界面的触发方式不作限定,可参照现有的方式即可。
可以理解的是,手机和其他电子设备建立的无线通信连接关系可以是在响应第一操作之前就已建立的无线通信连接关系,可通过WIFI、蓝牙、UWB超宽带技术、红外数据传输、无线局域网等中的至少一种建立无线通信连接。在用户进行第一操作后,手机可以通过天线阵列或UWB超宽带等技术来获取电子设备与手机的距离,进而将与手机之间的距离小于距离阈值的电子设备确定为候选电子设备,并将其显示在第一显示区域。手机可以按照预定排序规则对发现的各附近设备进行排序并在第一显示区域中显示排序后的各附近设备对应的设备信息。
其中,手机在发现了第一电子设备、第二电子设备之后,分别确定上述附近电子设备与手机的相对位置,具体过程可参见图17所示及其描述。
S502,根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备,所述多任务界面包括第一显示区域,所述第一显示区域用于显示第一电子设备图标和第二电子设备图标。
进一步的,多任务界面的第一显示区域显示的第一电子设备图标、第二电子设备图标所对应的第一电子设备、第二电子设备是与手机已建立无线通信连接关系的第一电子设备、第二电子设备,并且第一电子设备、第二电子设备与手机具有一定的位置关系,可以是通过在手机指示的方向上发现的已建立无线通信连接关系的电子设备,从而,在设备间建立无线通信连接关系的前提下,还能进一步通过手机与其他设备的位置关系(如方向、距离等)进行筛选,减少了手机发现的电子设备个数,提高了用户选择接收设备的精准度和效率。
进一步的,若手机的指示方向(姿态)发生变化,导致附近电子设备和手机的相对位置发生变化,第一显示区域的电子设备也会相应的进行更新。用户可以通过控制手机的指示方向(姿态),手机可以在全部方向发现的附近设备中对指示的方向上的附近设备对应的设备信息设置不同的显示效果,或仅显示在指示的方向上的附近电子设备对应的设备信息。
需要说明的是,手机指向的已建立无线通信连接关系的电子设备可能有多个,而受手机显示界面的限制,多任务界面中可能只显示部分电子设备,用户可以通过滑动操作来触发手机显示其他电子设备。
S503,获取第一应用程序的缩略图和第二应用程序的缩略图;所述第一应用程序和所述第二应用程序为所述电子设备正在运行的应用程序;其中,所述第一应用程序的缩略图用于标识所述第一应用程序、所述第二应用程序的缩略图用于标识所述第二应用程序,所述多任务界面还包括第二显示区域,所述第二显示区域用于显示第一应用程序的缩略图、第二应用程序的缩略图。
进一步的,多任务界面的第二显示区域显示的应用缩略图是应用程序被切换至后台运行时的界面截图形成的。
需要说明的是,处于后台运行状态的应用程序可能有多个,而受手机显示界面的限制,多任务界面中可能只显示部分应用程序的缩略图,用户可以通过滑动操作来触发手机显示其他应用程序的缩略图。
S504,显示所述多任务界面。
具体的,所述多任务界面包括第一显示区域、第二显示区域。第一显示区域根据第一电子设备、第二电子设备的位置显示第一电子设备图标、第二电子设备图标;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备。第二显示区域显示第一应用程序的缩略图、第二应用程序的缩略图;其中,所述第一应用程序的缩略图用于标识所述第一应用、所述第二应用程序的缩略图用于标识所述第二应用。
S505,响应于用户的第二操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备。
第二操作具体为将第二显示区域的第一应用程序的缩略图拖动至第一显示区域中的第一电子设备图标,进而手机将第一应用关联的的多媒体数据投屏至第一电子设备。
作为对本实施例的扩展,第二操作可以是向上或向下滑动、还可以是先选择应用缩略图再在第二显示区域中执行画圆圈手势的操作,还可以是在晃动电子设备后的固定时间(如1秒)内选择应用缩略图的操作,还可以是语音控制操作,即用户说出“投屏”的语音指令即可。本实施例中对第一操作的具体形式不做限制。
作为对本实施例的细化,第二操作结束后,投屏功能启动前,手机可以弹出“是否确定将第一应用投屏至第一电子设备”的对话框,该对话框还包含“是”和“否”两个按钮。若用户选择“是”,手机启动投屏功能;若用户选择“否”,则手机不启动投屏功能。
需要说明的是,本实施例中手机与电子设备之间在投屏过程中,所传输的数据可以支持但不限于音频数据、视频数据、图片数据、网页数据、文本数据中的至少一种。例如,手机可以通过投屏功能将运行微信应用程序时输出的显示数据发送给智能电视,由智能电视继续显示微信应用程序输出的显示界面。又例如,如果智能电视中安装有微信程序,则手机可以向智能电视发送打开微信应用程序的指令,使得智能电视响应该指令打开自身安装的微信应用程序,从而将手机上的微信应用程序投屏至智能电视上继续运行。或者,手机在向智能电视发送打开微信应用程序的指令时,还可以在该指令中携带当前微信应用程序的运行数据,例如,该运行数据用于指示当前微信应用程序位于联系人Sam的聊天界面。这样,智能电视打开自身安装的微信应用程序后,可根据该运行数据自动跳转至联系人Sam的聊天界面,使得多媒体数据在多个设备之间投屏时可实现无缝续播。
示例性的,手机将第一应用输出的多媒体数据从手机投屏至第一电子设备播放后,手机可继续运行第一应用输出相应的多媒体数据。或者,手机也可以停止运行第一应用。当然,手机将第一应用投屏至第一电子设备后,用户也可以在第一电子设备中对第一应用进行各项操作,本申请实施例对此不做任何限制。
作为对本实施例的细化,响应于用户的第二操作,手机启动投屏功能,被用户拖动至第一显示区域的第一应用程序的缩略图回弹至第二显示区域中,并显示文字“正在投屏中”,同时,多任务界面的第三显示区域进行更新,显示控件(“停止投屏”)。
这样,用户可以在手机的多任务界面中,通过上述的操作方式选择应用以及手机指向的电子设备,从而完成应用投屏至电子设备,使得整个人机交互过程更加自然和友好,提高了用户的使用体验。
S506,响应于用户的第三操作,停止与所述第一应用关联的多媒体数据投屏至所述第一电子设备,将与所述第二应用关联的多媒体数据投屏至所述第一电子设备。
具体的,第三操作为将第二显示区域的第二应用程序的缩略图拖动至第一显示区域中的第一电子设备图标,进而手机将第二应用的多媒体数据投屏至第一电子设备。
作为对本实施例的细化,第三操作结束后,投屏功能启动前,手机可以弹出“是否确定将第二应用投屏至第一电子设备”的对话框,该对话框还包含“是”和“否”两个按钮。若用户选择“是”,手机启动投屏功能;若用户选择“否”,则手机不启动投屏功能。
示例性的,手机将第二应用输出的多媒体数据从手机投屏至第一电子设备播放后,手机可继续运行第二应用输出相应的多媒体数据。或者,手机也可以停止运行第二应用。当然,手机将第二应用投屏至第一电子设备后,用户也可以在第一电子设备中对第一应用进行各项操作,本申请实施例对此不做任何限制。
作为对本实施例的细化,响应于用户的第三操作,手机启动投屏功能,被用户拖动至第一显示区域的第二应用程序的缩略图回弹至第二显示区域中,并显示文字“正在投屏中”,同时,多任务界面的第三显示区域进行更新,显示控件(“停止投屏”)。
从而,用户只需在多任务界面进行一步操作即可完成投屏应用的切换,而无需多步操作(例如先打开第一应用,然后选择停止投屏,再打开第二应用,启动投屏),从而可以非常便捷的更换投屏内容,保护用户隐私***漏,提升用户的体验。
请参阅图12,图12是本申请实施例提供了一种多任务界面投屏方法的流程示意图,应用于如图1所述的电子设备100,下面以手机作为电子设备100的示例;如图所示,本多任务界面投屏方法包括:
S601,响应于用户的第一操作,获取第一电子设备、第二电子设备的位置。
其中,第一操作用于打开手机的多任务界面,例如,用户快速按压两次Home键之后,手机显示多任务界面。又例如,用户触控导航栏中的多任务按钮之后,手机显示多任务界面。本实施例对手机调起多任务界面的触发方式不作限定,可参照现有的方式即可。
可以理解的是,手机和其他电子设备建立的无线通信连接关系可以是在响应第一操作之前就已建立的无线通信连接关系,可通过WIFI、蓝牙、UWB超宽带技术、红外数据传输、无线局域网等中的至少一种建立无线通信连接。在用户进行第一操作后,手机可以通过天线阵列或UWB超宽带等技术来获取电子设备与手机的距离,进而将与手机之间的距离小于距离阈值的电子设备确定为候选电子设备,并将其显示在第一显示区域。手机可以按照预定排序规则对发现的各附近设备进行排序并在第一显示区域中显示排序后的各附近设备对应的设备信息。
其中,手机在发现了第一电子设备、第二电子设备之后,分别确定上述附近电子设备与手机的相对位置,具体过程可参见图17所示及其描述。
S602,根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备,所述多任务界面包括第一显示区域,所述第一显示区域用于显示第一电子设备图标和第二电子设备图标。
进一步的,多任务界面的第一显示区域显示的第一电子设备图标、第二电子设备图标所对应的第一电子设备、第二电子设备是与手机已建立无线通信连接关系的第一电子设备、第二电子设备,并且第一电子设备、第二电子设备与手机具有一定的位置关系,可以是通过在手机指示的方向上发现的已建立无线通信连接关系的电子设备,从而,在设备间建立无线通信连接关系的前提下,还能进一步通过手机与其他设备的位置关系(如方向、距离等)进行筛选,减少了手机发现的电子设备个数,提高了用户选择接收设备的精准度和效率。
进一步的,若手机的指示方向(姿态)发生变化,导致附近电子设备和手机的相对位置发生变化,第一显示区域的电子设备也会相应的进行更新。用户可以通过控制手机的指示方向(姿态),手机可以在全部方向发现的附近设备中对指示的方向上的附近设备对应的设备信息设置不同的显示效果,或仅显示在指示的方向上的附近电子设备对应的设备信息。
需要说明的是,手机指向的已建立无线通信连接关系的电子设备可能有多个,而受手机显示界面的限制,多任务界面中可能只显示部分电子设备,用户可以通过滑动操作来触发手机显示其他电子设备。
S603,获取第一应用程序的缩略图和第二应用程序的缩略图;所述第一应用程序和所述第二应用程序为所述电子设备正在运行的应用程序;其中,所述第一应用程序的缩略图用于标识所述第一应用程序、所述第二应用程序的缩略图用于标识所述第二应用程序,所述多任务界面还包括第二显示区域,所述第二显示区域用于显示第一应用程序的缩略图、第二应用程序的缩略图。
进一步的,多任务界面的第二显示区域显示的应用缩略图是应用程序被切换至后台运行时的界面截图形成的。
需要说明的是,处于后台运行状态的应用程序可能有多个,而受手机显示界面的限制,多任务界面中可能只显示部分应用程序的缩略图,用户可以通过滑动操作来触发手机显示其他应用程序的缩略图。
S604,显示所述多任务界面。
具体的,所述多任务界面包括第一显示区域、第二显示区域。第一显示区域根据第一电子设备、第二电子设备的位置显示第一电子设备图标、第二电子设备图标;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备。第二显示区域显示第一应用程序的缩略图、第二应用程序的缩略图;其中,所述第一应用程序的缩略图用于标识所述第一应用、所述第二应用程序的缩略图用于标识所述第二应用。
S605,响应于用户的第二操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备。
第二操作具体为将第二显示区域的第一应用程序的缩略图拖动至第一显示区域中的第一电子设备图标,进而手机将第一应用关联的的多媒体数据投屏至第一电子设备。
作为对本实施例的扩展,第二操作可以是向上或向下滑动、还可以是先选择应用缩略图再在第二显示区域中执行画圆圈手势的操作,还可以是在晃动电子设备后的固定时间(如1秒)内选择应用缩略图的操作,还可以是语音控制操作,即用户说出“投屏”的语音指令即可。本实施例中对第一操作的具体形式不做限制。
作为对本实施例的细化,第二操作结束后,投屏功能启动前,手机可以弹出“是否确定将第一应用投屏至第一电子设备”的对话框,该对话框还包含“是”和“否”两个按钮。若用户选择“是”,手机启动投屏功能;若用户选择“否”,则手机不启动投屏功能。
需要说明的是,本实施例中手机与电子设备之间在投屏过程中,所传输的数据可以支持但不限于音频数据、视频数据、图片数据、网页数据、文本数据中的至少一种。例如,手机可以通过投屏功能将运行微信应用程序时输出的显示数据发送给智能电视,由智能电视继续显示微信应用程序输出的显示界面。又例如,如果智能电视中安装有微信程序,则手机可以向智能电视发送打开微信应用程序的指令,使得智能电视响应该指令打开自身安装的微信应用程序,从而将手机上的微信应用程序投屏至智能电视上继续运行。或者,手机在向智能电视发送打开微信应用程序的指令时,还可以在该指令中携带当前微信应用程序的运行数据,例如,该运行数据用于指示当前微信应用程序位于联系人Sam的聊天界面。这样,智能电视打开自身安装的微信应用程序后,可根据该运行数据自动跳转至联系人Sam的聊天界面,使得多媒体数据在多个设备之间投屏时可实现无缝续播。
示例性的,手机将第一应用输出的多媒体数据从手机投屏至第一电子设备播放后,手机可继续运行第一应用输出相应的多媒体数据。或者,手机也可以停止运行第一应用。当然,手机将第一应用投屏至第一电子设备后,用户也可以在第一电子设备中对第一应用进行各项操作,本申请实施例对此不做任何限制。
作为对本实施例的细化,响应于用户的第二操作,手机启动投屏功能,被用户拖动至第一显示区域的第一应用程序的缩略图回弹至第二显示区域中,并显示文字“正在投屏中”,同时,多任务界面的第三显示区域进行更新,显示控件(“停止投屏”)。
这样,用户可以在手机的多任务界面中,通过上述的操作方式选择应用以及手机指向的电子设备,从而完成应用投屏至电子设备,使得整个人机交互过程更加自然和友好,提高了用户的使用体验。
S606,响应于用户的第四操作,将与所述第二应用关联的多媒体数据投屏至所述第二电子设备。具体的,第四操作为拖动第二应用程序的缩略图202至第二电子设备图标102’。
从而,在手机已将第一应用投屏至第一电子设备后,用户还可以通过第四操作将手机上的第二应用投屏至第二电子设备,实现在多任务界面进行多个应用投屏至多个电子设备的便捷操作。此时,手机中第一应用输出多媒体数据投屏至第二设备中播放,手机中第二应用输出的多媒体数据投屏至第一应用中播放。用户可以在同一时刻享受到不同电子设备各自播放的多媒体数据,从而提高用户的使用体验。
请参阅图13,图13是本申请实施例提供了一种多任务界面投屏方法的流程示意图,应用于如图1所述的电子设备100,下面以手机作为电子设备100的示例;如图所示,本多任务界面投屏方法包括:
S701,响应于用户的第一操作,获取第一电子设备、第二电子设备的位置。
S702,根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备,所述多任务界面包括第一显示区域,所述第一显示区域用于显示第一电子设备图标和第二电子设备图标。
S703,获取第一应用程序的缩略图和第二应用程序的缩略图;所述第一应用程序和所述第二应用程序为所述电子设备正在运行的应用程序;其中,所述第一应用程序的缩略图用于标识所述第一应用程序、所述第二应用程序的缩略图用于标识所述第二应用程序,所述多任务界面还包括第二显示区域,所述第二显示区域用于显示第一应用程序的缩略图、第二应用程序的缩略图。
S704,显示所述多任务界面。
S705,响应于用户的第二操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备。第二操作具体为将第二显示区域的第一应用程序的缩略图拖动至第一显示区域中的第一电子设备图标,进而手机将第一应用关联的的多媒体数据投屏至第一电子设备。
作为对本实施例的扩展,第二操作可以是向上或向下滑动、还可以是先选择应用缩略图再在第二显示区域中执行画圆圈手势的操作,还可以是在晃动电子设备后的固定时间(如1秒)内选择应用缩略图的操作,还可以是语音控制操作,即用户说出“投屏”的语音指令即可。本实施例中对第一操作的具体形式不做限制。
作为对本实施例的细化,第二操作结束后,投屏功能启动前,手机可以弹出“是否确定将第一应用投屏至第一电子设备”的对话框,该对话框还包含“是”和“否”两个按钮。若用户选择“是”,手机启动投屏功能;若用户选择“否”,则手机不启动投屏功能。
示例性的,手机将第一应用输出的多媒体数据从手机投屏至第一电子设备播放后,手机可继续运行第一应用输出相应的多媒体数据。或者,手机也可以停止运行第一应用。当然,手机将第一应用投屏至第一电子设备后,用户也可以在第一电子设备中对第一应用进行各项操作,本申请实施例对此不做任何限制。
作为对本实施例的细化,响应于用户的第二操作,手机启动投屏功能,被用户拖动至第一显示区域的第一应用程序的缩略图回弹至第二显示区域中,并显示文字“正在投屏中”,同时,多任务界面的第三显示区域进行更新,显示控件(“停止投屏”)。
这样,用户可以在手机的多任务界面中,通过上述的操作方式选择应用以及手机指向的电子设备,从而完成应用投屏至电子设备,使得整个人机交互过程更加自然和友好,提高了用户的使用体验。
S706,响应于用户的第五操作,停止与所述第一应用关联的多媒体数据投屏至所述第一电子设备。具体的,响应于用户的第二操作之后,所述多任务界面包括停止投屏的控件,所述第五操作具体为拖动第一应用程序的缩略图至所述停止投屏的控件。第五操作前,第一应用处于正在投屏的状态。
进一步的,可以是手机停止向第一电子设备发送运行第一应用时产生的显示数据,还可以是手机向电子设备发出结束投屏的信号。另外,第一电子设备停止运行第一应用后,手机还可以将第一应用切换回手机中继续显示,这样,第一应用可在手机和第一电子设备之间实现无缝接续。
作为对本实施例的扩展,第五操作可以是向下或向上滑动、还可以是先选择应用缩略图再在第二显示区域中执行画圆圈手势的操作,还可以是在晃动电子设备后的固定时间(如1秒)内选择应用缩略图的操作,还可以是语音控制操作,即用户说出“停止投屏”的语音指令即可。本实施例中对第五操作的具体形式不做限制。
作为对本实施例的细化,第五操作结束后,停止投屏前,手机可以弹出“是否确定停止第一应用投屏”的对话框,该对话框还包含“是”和“否”两个按钮。若用户选择“是”,手机停止对第一应用的投屏;若用户选择“否”,则手机继续对第一应用进行投屏。
从而,用户只需在多任务界面进行一步操作即可停止投屏,而无需多步操作(例如先打开第一应用,然后选择停止投屏),从而可以非常便捷的结束,提升用户的体验。
请参阅图14,图14是本申请实施例提供了一种多任务界面投屏方法的流程示意图,应用于如图1所述的电子设备100,下面以手机作为电子设备100的示例;如图所示,本多任务界面投屏方法包括:
S801,响应于用户的第一操作,获取第一电子设备、第二电子设备的位置。
S802,根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备,所述多任务界面包括第一显示区域,所述第一显示区域用于显示第一电子设备图标和第二电子设备图标。
S803,获取第一应用程序的缩略图和第二应用程序的缩略图;所述第一应用程序和所述第二应用程序为所述电子设备正在运行的应用程序;其中,所述第一应用程序的缩略图用于标识所述第一应用程序、所述第二应用程序的缩略图用于标识所述第二应用程序,所述多任务界面还包括第二显示区域,所述第二显示区域用于显示第一应用程序的缩略图、第二应用程序的缩略图。
S804,显示所述多任务界面。
S805,响应于用户的第二操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备。第二操作具体为将第二显示区域的第一应用程序的缩略图拖动至第一显示区域中的第一电子设备图标,进而手机将第一应用关联的的多媒体数据投屏至第一电子设备。
作为对本实施例的扩展,第二操作可以是向上或向下滑动、还可以是先选择应用缩略图再在第二显示区域中执行画圆圈手势的操作,还可以是在晃动电子设备后的固定时间(如1秒)内选择应用缩略图的操作,还可以是语音控制操作,即用户说出“投屏”的语音指令即可。本实施例中对第一操作的具体形式不做限制。
作为对本实施例的细化,第二操作结束后,投屏功能启动前,手机可以弹出“是否确定将第一应用投屏至第一电子设备”的对话框,该对话框还包含“是”和“否”两个按钮。若用户选择“是”,手机启动投屏功能;若用户选择“否”,则手机不启动投屏功能。
示例性的,手机将第一应用输出的多媒体数据从手机投屏至第一电子设备播放后,手机可继续运行第一应用输出相应的多媒体数据。或者,手机也可以停止运行第一应用。当然,手机将第一应用投屏至第一电子设备后,用户也可以在第一电子设备中对第一应用进行各项操作,本申请实施例对此不做任何限制。
作为对本实施例的细化,响应于用户的第二操作,手机启动投屏功能,被用户拖动至第一显示区域的第一应用程序的缩略图回弹至第二显示区域中,并显示文字“正在投屏中”,同时,多任务界面的第三显示区域进行更新,显示控件(“停止投屏”)。
这样,用户可以在手机的多任务界面中,通过上述的操作方式选择应用以及手机指向的电子设备,从而完成应用投屏至电子设备,使得整个人机交互过程更加自然和友好,提高了用户的使用体验。
S806,响应于用户的第六操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备、所述第二电子设备。具体的,第六操作可以为向第一方向滑动第一应用程序的缩略图,或者为双指长按第一应用程序的缩略图201并向第一方向持续滑动一段距离L,该距离L需大于一预定长度以使得电子设备能够识别并确定用户滑动的方向。
其中,第一方向可以是向上或者其他方向,滑动可以是双指或者三指进行滑动操作。
第六操作用于启动手机投屏多个设备的功能,可以将用户所选择的应用投屏至多个电子设备。
在一些实施例中,手机分别确定用户滑动开始和结束时的触点位置,并根据该滑动开始和结束时的触点位置确定用户的滑动方向。可以理解的是,确定滑动方向的方式不仅限于通过确定滑动开始和结束时的触点位置,手机也可以通过记录手指滑动轨迹等方式来确定滑动方向,本实施例对此不作任何限制。
也就是说,在需要将单个应用程序投屏到多个设备的场景中,用户只需在多任务界面向第一方向滑动应用程序的缩略图即可实现将一个应用投屏至多个电子设备,多个电子设备可以是手机指向的已建立无线通信连接关系的电子设备,使得在限定需要投屏的设备的前提下,投屏多个设备更为便捷、快速。
请参阅图15,图15是本申请实施例提供了一种多任务界面投屏方法的流程示意图,应用于如图1所述的电子设备100,下面以手机作为电子设备100的示例;如图所示,本多任务界面投屏方法包括:
S901,响应于用户的第一操作,获取第一电子设备、第二电子设备的位置。
S902,根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备,所述多任务界面包括第一显示区域,所述第一显示区域用于显示第一电子设备图标和第二电子设备图标。
S903,获取第一应用程序的缩略图和第二应用程序的缩略图;所述第一应用程序和所述第二应用程序为所述电子设备正在运行的应用程序;其中,所述第一应用程序的缩略图用于标识所述第一应用程序、所述第二应用程序的缩略图用于标识所述第二应用程序,所述多任务界面还包括第二显示区域,所述第二显示区域用于显示第一应用程序的缩略图、第二应用程序的缩略图。
S904,显示所述多任务界面。
S905,响应于用户的第二操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备。第二操作具体为将第二显示区域的第一应用程序的缩略图拖动至第一显示区域中的第一电子设备图标,进而手机将第一应用关联的的多媒体数据投屏至第一电子设备。
作为对本实施例的扩展,第二操作可以是向上或向下滑动、还可以是先选择应用缩略图再在第二显示区域中执行画圆圈手势的操作,还可以是在晃动电子设备后的固定时间(如1秒)内选择应用缩略图的操作,还可以是语音控制操作,即用户说出“投屏”的语音指令即可。本实施例中对第一操作的具体形式不做限制。
作为对本实施例的细化,第二操作结束后,投屏功能启动前,手机可以弹出“是否确定将第一应用投屏至第一电子设备”的对话框,该对话框还包含“是”和“否”两个按钮。若用户选择“是”,手机启动投屏功能;若用户选择“否”,则手机不启动投屏功能。
示例性的,手机将第一应用输出的多媒体数据从手机投屏至第一电子设备播放后,手机可继续运行第一应用输出相应的多媒体数据。或者,手机也可以停止运行第一应用。当然,手机将第一应用投屏至第一电子设备后,用户也可以在第一电子设备中对第一应用进行各项操作,本申请实施例对此不做任何限制。
作为对本实施例的细化,响应于用户的第二操作,手机启动投屏功能,被用户拖动至第一显示区域的第一应用程序的缩略图回弹至第二显示区域中,并显示文字“正在投屏中”,同时,多任务界面的第三显示区域进行更新,显示控件(“停止投屏”)。
这样,用户可以在手机的多任务界面中,通过上述的操作方式选择应用以及手机指向的电子设备,从而完成应用投屏至电子设备,使得整个人机交互过程更加自然和友好,提高了用户的使用体验。
S906,响应于用户的第七操作,停止与所述第一应用关联的多媒体数据投屏至所述第一电子设备、所述第二电子设备。
具体的,第七操作可以为向第二方向滑动第一应用程序的缩略图,或者为双指长按第一应用程序的缩略图201并向第二方向持续滑动一段距离L,该距离L需大于一预定长度以使得电子设备能够识别并确定用户滑动的方向。
其中,第二方向可以是向下或者其他方向,滑动可以是双指或者三指进行滑动操作。
第七操作用于结束对多个设备的投屏,可以同时停止用户所选择的应用对多个设备的投屏。
在一些实施例中,手机分别确定用户滑动开始和结束时的触点位置,并根据该滑动开始和结束时的触点位置确定用户的滑动方向。可以理解的是,确定滑动方向的方式不仅限于通过确定滑动开始和结束时的触点位置,手机也可以通过记录手指滑动轨迹等方式来确定滑动方向,本实施例对此不作任何限制。
从而,在需要结束单个应用投屏到多个设备的场景中,用户只需在多任务界面进行一步操作即可停止多个设备对一个应用的投屏,使得结束应用对多个设备的投屏更为便捷、快速。
在一些实施例中,当手机启动投屏功能后,与接收投屏的电子设备建立通信连接,并在通信连接建立后开始传输被选择投屏的应用程序的数据。所传输的数据可以支持但不限于音频数据、视频数据、图片数据、网页数据、文本数据中的至少一种。
图16示例性示出了电子设备开启多任务界面后,发现全部附近设备并确定附近设备与电子设备100的相对位置,并与选定的接收设备建立连接并发送数据的过程。如图16所示,当电子设备100监听到多任务界面开启后,触发电子设备100发现附近设备。其中,用户可以在如图4A所示的图形用户界面中进行第一操作,开启多任务界面。
电子设备100可以通过以下几种方式来发现附近设备:
方式1.采用Wi-Fi直连无线通信技术发现附近设备
在一些实施例中,电子设备100可以向外广播探测请求(probe request)。附近设备在监听到该探测请求之后,可以回应探测响应(probe response),以通报自身的存在。在另一些实施例中,附近设备可以周期性的向外发送信标(Beacon)帧。电子设备100可以通过监听附近设备发送的Beacon帧来发现附近设备。
也即是说,电子设备100可以主动发现附近设备,也可以被动发现附近设备。
方式2.采用蓝牙无线通信技术发现附近设备
在一些实施例中,电子设备100附近的蓝牙设备(如具有蓝牙模块的手机、平板电脑、打印机等)可以进行蓝牙广播。电子设备100可以进行蓝牙扫描,扫描附近的蓝牙设备广播的广播帧,从而发现附近的蓝牙设备。
方式3.发现同一个Wi-Fi LAN中的设备
在一些实施例中,电子设备100可以根据自身在该LAN中的IP地址和子网掩码确定出该LAN的IP地址范围,然后可以通过单播轮询的方式来发现该LAN中的设备。不限于此,电子设备100还可以在该LAN中通过广播消息或组播消息的方式来发现该LAN中的设备。
不限于上述几种电子设备发现附近设备的方式,实际应用中,电子设备还可以采用其他方式来基于蓝牙或Wi-Fi直连或Wi-Fi LAN或毫米波等通信技术发现附近设备,本申请对此不作限制。
电子设备100在附近设备发现过程中从附近设备接收的消息(如探测响应、信标帧或蓝牙广播帧等)中获得上述附近设备的标识信息,然后通过标识信息获得设备信息,也可以从附近设备接收的消息中获得上述附近设备的设备信息。
电子设备100在发现了第一电子设备101、第二电子设备102和第三电子设备103之后,分别确定上述附近电子设备与电子设备100的相对位置。上述相对位置至少包括到达角(AoA)等信息。电子设备100确定附近设备的到达角(AoA)的具体过程可以如图17所示。电子设备100首先向第一电子设备101发送第一请求信号1011,该第一请求信号1011用于请求电子设备101发送第一报告信号1012,以进行到达角(AoA)的测量。第一电子设备101在接收到第一请求信号1011之后,向电子设备100发送第一报告信号1012,电子设备100使用天线阵列接收第一报告信号1012,并根据不同天线接收到的第一报告信号1012的相位差估计第一电子设备101的到达角(AoA)。在一些实施例中,该第一报告信号1012具体可以包括固定频率扩展信号,该信号可以是附加在正常数据包后面的包含一系列的切换时隙和采样时隙的数据串。接收端在接收第一报告信号1012时,按照一定的顺序切换不同的接收天线,并根据不同天线接收到的固定频率扩展信号的相位差确定到达角(AoA)。
举例说明,若电子设备100的毫米波天线阵列中包含8个毫米波天线A1-A8,在发送第一请求信号1011之后,在时间t1仅使用天线A1接收附近设备发送的第一报告信号1012,在时间t2仅使用天线A2接收附近设备发送的第一报告信号1012,以此类推,在8根天线分别接收到附近设备发送的第一报告信号1012后,电子设备100根据8根天线接收的第一报告信号1012的相位差来计算附近设备的到达角(AoA),也即是附近设备与电子设备100的相对角度。
在其他一些实施例中,电子设备100与第一电子设备101可采用发射角(AoD)测量方法来确定相对角度。
接下来,电子设备100采用与测量电子设备101到达角(AoA)相同的步骤在不同时间区间使用天线阵列分别确定第二电子设备102和第三电子设备103的到达角(AoA)。在其他一些实施例中,电子设备100可以同时确定附近设备中的多个设备或者全部设备的到达角(AoA)。
在其他一些实施例中,电子设备100可以配置天线阵列进行波束成形,仅在一个方向上接收附近设备发送的广播消息,或者朝向该方向发送探测信号,接收到探测信号的附近设备向电子设备100发送探测响应,用于在该方向上发现附近设备。电子设备100获取附近设备的设备信息,并将上述附近设备与该方向相对应。接下来,电子设备100配置天线阵列进行波束成形,在另一个方向上发现附近设备。即,通过在各个方向进行轮询的方式,完成附近设备的发现,并获得附近设备的相对角度。
在其他一些实施例中,相对位置还可以包括距离信息。电子设备100可以通过在附近设备发现过程中从附近设备接收消息的信号强度RSSI来确定电子设备100与发现的附近设备的距离,例如,电子设备100可以通过在附近设备发现过程中从附近设备接收的广播消息或者响应消息的信号强度RSSI来确定电子设备100与发现的附近设备的距离;也可以采用其他现有技术中的测距方法,如ToF/ToA/TDoA测距等,来确定电子设备100与发现的附近设备之间的距离。本实施例对此不做任何限制。
检测到用户的第一操作后,电子设备100在确定了第一电子设备101、第二电子设备102、第三电子设备103的相对位置并更新多任务界面,并在多任务界面中的第一显示区域包括上述附近设备第一电子设备101、第二电子设备102和第三电子设备103的设备信息及上述设备与电子设备100的相对位置,显示的多任务界面可参考图4B或图4C。此外,在如图4C所示的多任务界面中,距离电子设备越近的附近设备,其对应的图标距离中心点1111越近。电子设备100在如图4B或图4C所示的多任务界面中监听用户对于需投屏的应用以及接收投屏的电子设备的选择。
在其他一些实施例中,电子设备100可以通过在附近设备发现过程中从附近设备接收到的信号确定其信号强度RSSI,例如,电子设备100可以确定在附近设备发现过程中从附近设备接收的广播消息或者响应消息的信号强度RSSI,在确定了附近设备与电子设备100的相对角度并检测到用户分享数据的操作后,更新多任务界面,并在多任务界面中包括附近设备的设备信息、相对角度以及信号强度。此外,在如图4C所示的多任务界面中,信号强度越强的附近设备,其对应的图标距离中心点1111越近。
如图16所示,若用户通过第二操作选择了第一电子设备101作为投屏第一应用的接收设备。接下来,电子设备100接收用户的第二操作,通过蓝牙或WiFi等无线技术与第一电子设备101建立通信连接并开始发送数据。上述建立通信连接的具体过程可以是:电子设备100向第一电子设备101发送建立连接请求消息,第一电子设备101接收到建立连接请求消息后,向电子设备100回复连接响应消息,以建立电子设备100与第一电子设备101之间的通信连接。接下来,电子设备100向第一电子设备101发送用户选定的第一应用的数据,如图像、视频、文档、应用安装程序、应用程序信息等。
在其他一些实施例中,若用户在打开多任务界面时指示了方向信息,例如,在电子设备可以在全部方向发现的附近设备中对指示的方向上的附近设备对应的设备信息设置不同的显示效果,或在如图4B或4C所示的多任务界面中仅显示在指示的方向上的附近设备对应的设备信息。
需要说明的是,上述实施例中均是以手机作为电子设备100,将上述多任务界面设置在手机中举例说明的。可以理解的是,上述电子设备还可以是平板电脑、笔记本计算机等设备组内的任意设备,本申请实施例对此不做任何限制。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (14)

1.一种投屏方法,应用于电子设备,其特征在于,包括:
响应于用户的第一操作,获取第一电子设备、第二电子设备的位置;
根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置;其中,所述第一电子设备图标用于标识所述第一电子设备、所述第二电子设备图标用于标识所述第二电子设备,所述多任务界面包括第一显示区域,所述第一显示区域用于显示第一电子设备图标和第二电子设备图标;
获取第一应用程序的缩略图和第二应用程序的缩略图;所述第一应用程序和所述第二应用程序为所述电子设备正在运行的应用程序;其中,所述第一应用程序的缩略图用于标识所述第一应用程序、所述第二应用程序的缩略图用于标识所述第二应用程序,所述多任务界面还包括第二显示区域,所述第二显示区域用于显示第一应用程序的缩略图、第二应用程序的缩略图;
显示所述多任务界面;
响应于用户的第二操作,将与所述第一应用程序关联的多媒体数据投屏至所述第一电子设备。
2.根据权利要求1所述的方法,其特征在于,所述获取第一电子设备、第二电子设备的位置具体为:
通过超宽带定位技术或天线阵列技术获取第一电子设备、第二电子设备的位置。
3.根据权利要求1所述的方法,其特征在于,所述第一显示区域包括坐标系,所述根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面的位置,具体为:
根据所述第一电子设备、所述第二电子设备的位置确定第一电子设备图标、第二电子设备图标在多任务界面中的坐标系的位置。
4.根据权利要求1所述的方法,其特征在于,所述第二操作具体为拖动第一应用程序的缩略图至第一电子设备图标。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述将与所述第一应用程序关联的多媒体数据投屏至所述第一电子设备之后,还包括:
响应于用户的第三操作,停止与所述第一应用关联的多媒体数据投屏至所述第一电子设备,将与所述第二应用关联的多媒体数据投屏至所述第一电子设备。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
响应于用户的第四操作,将与所述第二应用关联的多媒体数据投屏至所述第二电子设备。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
响应于用户的第五操作,停止与所述第一应用关联的多媒体数据投屏至所述第一电子设备。
8.根据权利要求7所述的方法,其特征在于,响应于用户的第二操作之后,所述多任务界面还包括停止投屏的控件;
所述第五操作具体为拖动第一应用程序的缩略图至所述停止投屏的控件。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于用户的第六操作,将与所述第一应用关联的多媒体数据投屏至所述第一电子设备、所述第二电子设备。
10.根据权利要求9所述的方法,其特征在于,所述第六操作具体为向第一方向滑动第一应用程序的缩略图。
11.根据权利要求1-4或8-10任一项所述的方法,其特征在于,所述方法还包括:
响应于用户的第七操作,停止与所述第一应用关联的多媒体数据投屏至所述第一电子设备、所述第二电子设备。
12.根据权利要求11所述的方法,其特征在于,所述第七操作具体为向第二方向滑动第一应用程序的缩略图。
13.一种电子设备,其特征在于,包括:
触摸屏,其中,所述触摸屏包括触敏表面和显示屏;
一个或多个处理器;
一个或多个存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述一个或多个存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述处理器执行时,使得所述电子设备实现如权利要求1-12任一项投屏方法。
14.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-12中任一项所述的投屏方法。
CN202010448218.9A 2020-05-25 2020-05-25 一种投屏方法及电子设备 Active CN113794796B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310695573.XA CN116708645A (zh) 2020-05-25 2020-05-25 一种投屏方法及手机
CN202010448218.9A CN113794796B (zh) 2020-05-25 2020-05-25 一种投屏方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010448218.9A CN113794796B (zh) 2020-05-25 2020-05-25 一种投屏方法及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310695573.XA Division CN116708645A (zh) 2020-05-25 2020-05-25 一种投屏方法及手机

Publications (2)

Publication Number Publication Date
CN113794796A CN113794796A (zh) 2021-12-14
CN113794796B true CN113794796B (zh) 2023-06-23

Family

ID=79181002

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010448218.9A Active CN113794796B (zh) 2020-05-25 2020-05-25 一种投屏方法及电子设备
CN202310695573.XA Pending CN116708645A (zh) 2020-05-25 2020-05-25 一种投屏方法及手机

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310695573.XA Pending CN116708645A (zh) 2020-05-25 2020-05-25 一种投屏方法及手机

Country Status (1)

Country Link
CN (2) CN113794796B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114567663B (zh) * 2022-02-28 2024-06-21 Oppo广东移动通信有限公司 显示设备的投屏控制方法、装置、电子设备及存储介质
WO2023240501A1 (zh) * 2022-06-15 2023-12-21 北京小米移动软件有限公司 多媒体数据播放方法、装置、电子设备及存储介质
CN117675993A (zh) * 2022-08-29 2024-03-08 Oppo广东移动通信有限公司 跨设备接续方法、装置、存储介质及终端设备
CN118069006A (zh) * 2022-11-22 2024-05-24 荣耀终端有限公司 应用流转方法及电子设备
CN118102006A (zh) * 2022-11-28 2024-05-28 成都欧珀通信科技有限公司 服务流转方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491131A (zh) * 2018-01-19 2018-09-04 广州视源电子科技股份有限公司 智能交互平板的操作方法、装置以及智能交互平板
CN110597473A (zh) * 2019-07-30 2019-12-20 华为技术有限公司 一种投屏方法与电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010030668A1 (en) * 2000-01-10 2001-10-18 Gamze Erten Method and system for interacting with a display
KR101738527B1 (ko) * 2010-12-07 2017-05-22 삼성전자 주식회사 모바일기기 및 그 제어방법
US9763037B2 (en) * 2011-05-18 2017-09-12 Medappit Llc Network architecture for synchronized display
CN103257813B (zh) * 2012-02-21 2017-12-22 海尔集团公司 一种共享设备的确定方法和文件传输方法以及***
US9104367B2 (en) * 2012-03-02 2015-08-11 Realtek Semiconductor Corp. Multimedia interaction system and related computer program product capable of avoiding unexpected interaction behavior
KR102433879B1 (ko) * 2015-08-21 2022-08-18 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN109660842B (zh) * 2018-11-14 2021-06-15 华为技术有限公司 一种播放多媒体数据的方法及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491131A (zh) * 2018-01-19 2018-09-04 广州视源电子科技股份有限公司 智能交互平板的操作方法、装置以及智能交互平板
CN110597473A (zh) * 2019-07-30 2019-12-20 华为技术有限公司 一种投屏方法与电子设备

Also Published As

Publication number Publication date
CN113794796A (zh) 2021-12-14
CN116708645A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN110381197B (zh) 多对一投屏中音频数据的处理方法、装置及***
CN110471639B (zh) 显示方法及相关装置
CN114397979B (zh) 一种应用显示方法及电子设备
CN113794796B (zh) 一种投屏方法及电子设备
CN113497909B (zh) 一种设备交互的方法和电子设备
CN111666119A (zh) Ui组件显示的方法及电子设备
CN116360725B (zh) 显示交互***、显示方法及设备
WO2021143650A1 (zh) 数据分享的方法、电子设备
CN114115770B (zh) 显示控制的方法及相关装置
CN112130788A (zh) 一种内容分享方法及其装置
WO2020024108A1 (zh) 一种应用图标的显示方法及终端
JP7234379B2 (ja) スマートホームデバイスによってネットワークにアクセスするための方法および関連するデバイス
CN112068907A (zh) 一种界面显示方法和电子设备
CN116489268A (zh) 一种设备识别方法及相关装置
CN115016697A (zh) 投屏方法、计算机设备、可读存储介质和程序产品
CN114356195B (zh) 一种文件传输的方法及相关设备
CN114201738B (zh) 解锁方法及电子设备
CN114064160A (zh) 应用图标布局方法及相关装置
CN114173286B (zh) 确定测试路径的方法、装置、电子设备及可读存储介质
WO2022062902A1 (zh) 一种文件传输方法和电子设备
CN114079691B (zh) 一种设备识别方法及相关装置
CN112840680A (zh) 位置信息处理方法及相关装置
WO2022268009A1 (zh) 一种屏幕共享的方法及相关设备
CN117978308A (zh) 一种蓝牙测距方法、电子设备及***
CN115857964A (zh) 应用程序安装方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant