CN110536004A - 多传感器应用于具有柔性屏幕的电子设备的方法及电子设备 - Google Patents

多传感器应用于具有柔性屏幕的电子设备的方法及电子设备 Download PDF

Info

Publication number
CN110536004A
CN110536004A CN201910667547.XA CN201910667547A CN110536004A CN 110536004 A CN110536004 A CN 110536004A CN 201910667547 A CN201910667547 A CN 201910667547A CN 110536004 A CN110536004 A CN 110536004A
Authority
CN
China
Prior art keywords
screen
application
sensor
electronic equipment
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910667547.XA
Other languages
English (en)
Other versions
CN110536004B (zh
Inventor
韩萍
谢偰伟
周锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910667547.XA priority Critical patent/CN110536004B/zh
Publication of CN110536004A publication Critical patent/CN110536004A/zh
Application granted granted Critical
Publication of CN110536004B publication Critical patent/CN110536004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268Details of the structure or mounting of specific components for a display module assembly including a flexible display panel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种多传感器应用于具有柔性屏幕的电子设备的方法及电子设备,可以在电子设备的不同姿态,根据传感器的数据,在电子设备上为用户提供相应的服务,提高用户使用具有柔性屏幕的电子设备的体验。该电子设备的柔性屏幕至少包括第一屏幕和第二屏幕,第一屏幕和第二屏幕上分别设置有至少一个传感器。该方法包括:显示在第一屏幕上的第一应用接收设置在第一屏幕上的传感器的第一数据,第一应用根据第一数据改变第一应用的显示内容;显示在第二屏幕上的第二应用接收设置在第二屏幕上的传感器的第二数据;第二应用根据第二数据改变第二应用的显示内容;其中;第一应用和第二应用同时前台运行。

Description

多传感器应用于具有柔性屏幕的电子设备的方法及电子设备
技术领域
本申请涉及终端技术领域,尤其涉及一种多传感器应用于具有柔性屏幕的电子设备的方法及电子设备。
背景技术
手机功能越来越丰富,其形态也越来越多样化。目前,一些厂商已经将柔性屏幕应用在手机中。柔性屏幕也可称为柔性OLED(organic light-emitting diode,有机发光二极管),相较于传统屏幕,柔性屏幕不仅在体积上更加轻薄,同时基于其可弯曲、柔韧性佳的特性,柔性屏幕的耐用程度也大大高于传统屏幕。如图1所示,用户可以沿着一条或多条虚拟直线对具有柔性屏幕的手机进行折叠,并且还可以以不同的角度进行折叠。一块完整的柔性屏幕,经折叠后可以分为多个屏幕使用。手机的应用程序可以在多个屏幕中的一个或多个中运行。手机的应用程序在整个屏幕运行,还是在某个或某几个屏幕中运行,以及应用程序在多个屏幕运行时如何协作等,是具有柔性屏幕的手机需要解决的问题。
发明内容
本申请提供一种多传感器应用于具有柔性屏幕的电子设备的方法及电子设备,可以在电子设备的不同姿态,根据多传感器的数据,在电子设备上为用户提供相应的服务,提高用户使用具有柔性屏幕的电子设备的体验。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供一种多传感器应用于具有柔性屏幕的电子设备的方法。该柔性屏幕至少包括第一屏幕和第二屏幕,第一屏幕和第二屏幕分别设置有至少一个传感器,该方法可以包括:显示在第一屏幕上的第一应用接收设置在第一屏幕上的传感器的第一数据,第一应用根据第一数据改变第一应用的显示内容;显示在第二屏幕上的第二应用接收设置在第二屏幕上的传感器的第二数据;第二应用根据第二数据改变第二应用的显示内容;其中;第一应用和第二应用同时前台运行。
第一应用和第二应用同时分别显示在主屏和副屏上,并且第一应用和第二应用同时分别接收各自屏幕上设置的传感器的数据。这样,主屏上的应用可以根据主屏上的传感器数据获得主屏的姿态等数据,根据主屏的传感器数据改变主屏上的应用的显示内容;副屏上的应用可以根据副屏上的传感器数据获得副屏的姿态等数据,根据副屏的传感器数据改变副屏上的应用的显示内容;从而,主屏上的应用和副屏上的应用可以实现协同工作。
结合第一方面,在一种可能的实现方式中,该方法还可以包括:第一应用接收第二数据或者第二应用的显示内容;第二应用接收第一数据或者第一应用的显示内容;第一应用根据接收的第二数据或者第二应用的显示内容改变第一应用的显示内容;第二应用根据接收的第一数据或者第一应用的显示内容改变第二应用的显示内容。
在该方法中,显示在主屏的应用或显示在副屏的应用,都可以接收设置在主屏和副屏上的传感器的输出数据。从而显示在主屏(或副屏)的应用,可以获取主屏和副屏的姿态等数据;显示在主屏的第一应用可以获取用户对显示在副屏的第二应用的操作,使得第一应用和第二应用实现协同工作。
结合第一方面,在一种可能的实现方式中,第一应用和第二应用为同一应用。也就是说,第一应用和第二应用是同一个应用程序运行在两个屏幕上;或者,第一应用和第二应用是同一个应用程序显示在两个屏幕上。
结合第一方面,在一种可能的实现方式中,第一应用和第二应用为游戏类应用。
结合第一方面,在一种可能的实现方式中,第一应用为拍摄类应用,第二应用为视频播放类应用或者图片显示类应用。
结合第一方面,在一种可能的实现方式中,第一应用为支付类应用,第二应用为第一应用中的图片显示页面。
结合第一方面,在一种可能的实现方式中,电子设备上设置的传感器包括陀螺仪传感器,加速度传感器,磁力计,环境光传感器,或接近光传感器中至少一种。
第二方面,本申请提供一种多传感器应用于具有柔性屏幕的电子设备的方法。该电子设备上设置有多个传感器,该电子设备的柔性屏幕至少包括第一屏幕和第二屏幕,多个传感器包括第一传感器和第二传感器,第一传感器为磁力计,磁力计设置在第一屏幕上,第二屏幕上设置有含磁物体,该方法可以包括:若第一传感器检测的磁场变化数据满足预设条件,则电子设备确定第一屏幕和第二屏幕被展开;其中,电子设备处于灭屏状态时,第一传感器为打开状态,第二传感器为关闭状态;响应于第一屏幕和第二屏幕被展开,电子设备将第二传感器设置为打开状态。
在该方法中,磁力计被设置为打开状态,第二传感器在灭屏状态被设置为关闭状态,不工作。如果根据磁力计确定检测到电子设备被展开,则启动第二传感器。这样,可以降低电子设备在灭屏状态时的功耗。
结合第二方面,在一种可能的实现方式中,磁场变化数据的预设条件为,在坐标系三个轴上的磁通量绝对值的总和小于第一门限。
结合第二方面,在一种可能的实现方式中,该方法还可以包括:响应于第一屏幕和第二屏幕被展开,电子设备点亮第一屏幕和第二屏幕。
结合第二方面,在一种可能的实现方式中,第一屏幕和第二屏幕之间的夹角为0时,磁力计和含磁物体在第一屏幕上的投影存在部分重叠。这样,当电子设备的两个屏幕折叠在一起时,磁力计靠近含磁物体,磁力计的磁通量增大;当电子设备的两个屏幕展开时,磁力计远离含磁物体,磁力计的磁通量减小。
结合第二方面,在一种可能的实现方式中,磁力计和含磁物体之间的距离随第一屏幕和第二屏幕之间夹角增大而增大。也就是说,随第一屏幕和第二屏幕之间夹角增大,磁力计和含磁物体之间的距离增大,磁力计的磁通量减小。
结合第二方面,在一种可能的实现方式中,第二传感器包括陀螺仪传感器,加速度传感器中至少一种。
第三方面,本申请提供一种多传感器应用于具有柔性屏幕的电子设备的方法。该柔性屏幕至少包括主屏和副屏,主屏和副屏分别设置有至少一个传感器,该方法可以包括:电子设备接收用户的第一操作;响应于用户的第一操作,电子设备根据电子设备的姿态,以相应的点亮方式点亮电子设备的柔性屏幕。其中,点亮方式包括点亮主屏,点亮副屏,或点亮大屏(大屏包括主屏和副屏);第一操作包括:用户按电源键,用户使用指纹或人脸识别或密码解锁屏幕,用户双击屏幕,来电,外接设备***,或,展开电子设备;电子设备的姿态包括以下至少一种:静置主屏朝上态,静置副屏朝上态,折叠手持态,支架手持态,双支架横屏态,双支架竖屏态,单支架主屏态,单支架副屏态,和,大屏展开状态。
在该方法中,电子设备的应用可以根据电子设备的姿态来点亮相应的屏幕。这种自适应姿态点亮屏幕的方法,比单一的点亮某个屏幕的方法,给用户带来更好的体验。
结合第三方面,在一种可能的实现方式中,响应于用户的第一操作,电子设备根据电子设备的姿态,以相应的点亮方式点亮电子设备的柔性屏幕,包括:若电子设备处于静置主屏朝上态,电子设备响应于用户的第一操作,点亮主屏;若电子设备处于静置副屏朝上态,电子设备响应于用户的第一操作,点亮副屏;若电子设备处于支架手持态、或双支架横屏态、或双支架竖屏态、或单支架主屏态,电子设备响应于用户的第一操作,点亮主屏;若电子设备处于单支架副屏态,电子设备响应于用户的第一操作,点亮副屏;若电子设备处于大屏展开状态,电子设备响应于用户的第一操作,点亮大屏;若电子设备处于折叠手持态,电子设备响应于用户的第一操作,点亮电子设备朝向用户的屏幕,电子设备朝向用户的屏幕为主屏或副屏。
结合第三方面,在一种可能的实现方式中,多个传感器包括陀螺仪传感器和加速度传感器,电子设备可以结合主屏和副屏上的传感器的数据确定电子设备的姿态。比如,电子设备根据设置在主屏的陀螺仪传感器输出的转动角速度,和设置在主屏的加速度传感器输出的加速度,获取主屏的重力加速度;电子设备根据设置在副屏的陀螺仪传感器输出的转动角速度,和设置在副屏的加速度传感器输出的加速度,获取副屏的重力加速度;电子设备根据主屏的重力加速度和副屏的重力加速度,获取主屏和副屏间的夹角;电子设备根据主屏的重力加速度,副屏的重力加速度,以及主屏和副屏间的夹角,确定电子设备的姿态。这样,电子设备可以根据电子设备的姿态,以相应的点亮方式点亮电子设备的柔性屏幕。
结合第三方面,在一种可能的实现方式中,传感器可以包括陀螺仪传感器和加速度传感器,电子设备可以根据主屏的传感器数据确定主屏的姿态,根据副屏的传感器数据确定副屏的姿态,从而确定电子设备的姿态。比如,电子设备根据设置在主屏的陀螺仪传感器输出的转动角速度,和设置在主屏的加速度传感器输出的加速度,获取主屏的重力加速度;并根据主屏的重力加速度确定主屏的姿态;电子设备根据设置在副屏的陀螺仪传感器输出的转动角速度,和设置在副屏的加速度传感器输出的加速度,获取副屏的重力加速度;并根据副屏的重力加速度确定副屏的姿态;电子设备根据主屏的姿态和副屏的姿态确定电子设备的姿态。
结合第三方面,在一种可能的实现方式中,主屏和副屏分别设置有触控器件,电子设备根据主屏上的触控器件和副屏上的触控器件上报的,用户当前的触摸位置,使用预设的抓握算法确定用户当前抓握电子设备的抓握姿势;并根据用户的抓握姿势确定电子设备朝向用户的屏幕,朝向用户的屏幕为主屏或副屏。
第四方面,本申请提供一种多传感器应用于具有柔性屏幕的电子设备的方法。电子设备的柔性屏幕至少包括主屏和副屏,主屏和副屏分别设置有多个传感器。电子设备根据多个传感器的数据确定电子设备的物理形态的变化;若确定电子设备的物理形态由第一物理形态变为第二物理形态,则电子设备在柔性屏幕上显示第一对象;若确定电子设备的物理形态由第二物理形态变为第一物理形态,则电子设备在柔性屏幕上显示第二对象。其中,电子设备的物理形态包括展开状态、支架状态和折叠状态。
在该方法中,电子设备根据传感器的数据检测到电子设备被展开或被折叠,可以显示不同的显示对象,比如,检测到电子设备被展开,可以显示开屏动效;检测到电子设备被折叠,可以显示合屏动效。
结合第四方面,在一种可能的实现方式中,电子设备的物理形态由第一物理形态变为第二物理形态包括:电子设备的物理形态由折叠状态变为支架状态,或者由支架状态变为展开状态,或者由折叠状态变为展开状态;电子设备的物理形态由第二物理形态变为第一物理形态包括:电子设备的物理形态由展开状态变为支架状态,或者由支架状态变为折叠状态,或者由展开状态变为折叠状态。
结合第四方面,在一种可能的实现方式中,多个传感器包括陀螺仪传感器和加速度传感器,电子设备根据设置在主屏的陀螺仪传感器输出的转动角速度,和设置在主屏的加速度传感器输出的加速度,获取主屏的重力加速度;电子设备根据设置在副屏的陀螺仪传感器输出的转动角速度,和设置在副屏的加速度传感器输出的加速度,获取副屏的重力加速度;电子设备根据主屏的重力加速度和副屏的重力加速度,获取主屏和所述副屏间的夹角;电子设备根据主屏和副屏间的夹角,确定电子设备的物理形态。
第五方面,本申请提供一种多传感器应用于具有柔性屏幕的电子设备的方法,电子设备的柔性屏幕至少包括主屏和副屏,主屏和副屏分别设置有至少一个传感器,并且至少一个传感器中包括陀螺仪传感器。在电子设备的折叠状态,电子设备的第一屏幕被点亮;电子设备根据陀螺仪传感器确定检测到用户翻转手机的操作;响应于用户翻转手机的操作,电子设备将第一屏幕灭屏,点亮第二屏幕;其中,第一屏幕为主屏或副屏,当第一屏幕为主屏时,第二屏幕为副屏,当第一屏幕为副屏时,第二屏幕为主屏。这样,电子设备可以根据陀螺仪传感器的数据确定执行切屏动作,降低误切屏几率。
结合第五方面,在一种可能的实现方式中,在响应于用户翻转手机的操作,电子设备将第一屏幕灭屏,点亮第二屏幕之前,电子设备检测到电子设备的翻转过程停止。也就是说,在电子设备多次翻转的过程中,不进行切屏操作,这样可以降低误切屏几率,并提高用户使用体验。
结合第五方面,在一种可能的实现方式中,电子设备根据陀螺仪传感器的数据确定电子设备单位时长内的转动角度;若确定电子设备单位时长内的转动角度等于零,则电子设备确定检测到电子设备的翻转过程停止。
结合第五方面,在一种可能的实现方式中,在响应于用户翻转手机的操作,电子设备将第一屏幕灭屏,点亮第二屏幕之后,若电子设备确定当前点亮的屏幕为第二屏幕,并且根据用户抓握电子设备的抓握姿势确定第二屏幕朝向用户的手掌,则电子设备将第二屏幕灭屏,点亮第一屏幕。在该方法中,如果根据用户的抓握姿势确定当前点亮的屏幕朝向用户的手掌,则确定发生了误切屏,电子设备可以进行纠错,执行一次切屏动作,点亮朝向用户的屏幕。
结合第五方面,在一种可能的实现方式中,电子设备检测用户抓握电子设备的抓握姿势;根据用户抓握电子设备的抓握姿势确定第一屏幕朝向用户的手掌。
结合第五方面,在一种可能的实现方式中,电子设备根据陀螺仪传感器确定检测到电子设备沿着坐标系的一个轴转动的角度大于第一角度,则确定检测到用户翻转手机的操作。
结合第五方面,在一种可能的实现方式中,电子设备还可以根据多个传感器的数据确定电子设备处于折叠状态。在一种可能的实现方式中,多个传感器包括陀螺仪传感器和加速度传感器,电子设备根据设置在主屏的陀螺仪传感器输出的转动角速度,和设置在主屏的加速度传感器输出的加速度,获取主屏的重力加速度;电子设备根据设置在副屏的陀螺仪传感器输出的转动角速度,和设置在副屏的加速度传感器输出的加速度,获取副屏的重力加速度;电子设备根据主屏的重力加速度和副屏的重力加速度,获取主屏和副屏间的夹角;电子设备根据主屏和副屏间的夹角,确定电子设备的物理形态;电子设备的物理形态包括展开状态、支架状态和折叠状态。
结合第五方面,在一种可能的实现方式中,电子设备根据主屏和副屏间的夹角,确定电子设备的物理形态,包括:若确定主屏和副屏间的夹角大于第一阈值并且小于或等于180°,则电子设备确定电子设备处于展开状态;若确定主屏和副屏间的夹角大于或等于0°并且小于或等于第二阈值,则电子设备确定电子设备处于折叠状态;其中第二阈值小于第一阈值;若确定主屏和副屏间的夹角大于第二阈值并且小于或等于第一阈值,则电子设备确定电子设备处于支架状态。
结合第五方面,在一种可能的实现方式中,多个传感器包括磁力计,电子设备根据多个传感器的数据确定电子设备处于折叠状态包括:若确定磁力计在坐标系三个轴上的磁通量绝对值的总和大于或等于第一门限,则电子设备确定电子设备处于折叠状态。
第六方面,本申请提供一种电子设备,包括:柔性屏幕、一个或多个传感器、一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与传感器、柔性屏幕以及存储器均耦合,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述任一方面及其可选的实现方式中所述的方法。
第七方面,本申请提供一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述任一方面及其可选的实现方式中所述的方法。
第八方面,本申请提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述任一方面及其可选的实现方式中所述的方法。
可以理解地,上述提供的第六方面所述的电子设备、第七方面所述的计算机存储介质,以及第八方面所述的计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
图1为一种具有柔性屏幕的电子设备的结构示意图;
图2A为本申请实施例提供的一种具有柔性屏幕的电子设备的结构示意图一;
图2B为本申请实施例提供的一种具有柔性屏幕的电子设备的结构示意图二;
图3为本申请实施例提供的一种具有柔性屏幕的电子设备的结构示意图三;
图4为本申请实施例提供的一种具有柔性屏幕的电子设备的软件架构示意图;
图5为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法示意图一;
图6A为本申请实施例提供的一种具有柔性屏幕的电子设备的结构示意图四;
图6B为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法示意图二;
图7为六轴A+G融合算法的示意图;
图8A为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法示意图三;
图8B为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法示意图四;
图9为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法示意图五;
图10A为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图一;
图10B为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图二;
图10C为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图三;
图11A为本申请实施例提供的一种具有柔性屏幕的电子设备的结构示意图五;
图11B为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法示意图六;
图11C为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法示意图七;
图12为本申请实施例提供的一种具有柔性屏幕的电子设备的结构示意图六;
图13为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图四;
图14为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图五;
图15为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图六;
图16A为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图七;
图16B为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图八;
图16C为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图九;
图16D为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图十;
图17为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法的场景示意图十一;
图18为本申请实施例提供的一种多传感器应用于具有柔性屏幕的电子设备的方法示意图八;
图19为本申请实施例提供的一种具有柔性屏幕的电子设备的架构示意图;
图20为本申请实施例提供的一种具有柔性屏幕的电子设备的结构示意图七。
具体实施方式
具有柔性屏幕的电子设备可以展开使用,也可以沿着一条或多条折叠线折叠后使用。其中,折叠线的位置可以是预先设置的,也可以是用户任意选择的。
请参考图2A的(a),电子设备呈展开状态。用户沿着一条折叠线对图2A的(a)所示电子设置进行折叠。如图2A中的(b)所示,用户沿折叠线AB折叠电子设备后,电子设备的柔性屏幕沿AB折叠线被划分为两个显示区域,即显示区域1和显示区域2。在本申请实施例中,折叠后的显示区域1和显示区域2可以作为两个独立的显示区域进行显示。例如,可以将显示区域1称为电子设备的主屏,将显示区域2称为电子设备的副屏。主屏和副屏的显示面积可以相同或不同。主屏和副屏之间呈一夹角α,如图2A的(b),电子设备呈支架状态。用户可以继续沿着折叠线AB折叠该电子设备,如图2A的(c),电子设备呈折叠状态。
可以理解的,显示区域1和显示区域2可以有其他名称,比如,将显示区域1称为电子设备的A屏,将显示区域2称为电子设备的B屏;或者,将显示区域1称为电子设备的副屏,将显示区域2称为电子设备的主屏;本申请实施例对此并不进行限定。本申请实施例中以显示区域1为主屏,显示区域2为副屏为例进行说明。
需要说明的是,电子设备可以沿着折叠线向外折叠,折叠后屏幕向外,即主屏与副屏互相背离;也可以沿着折叠线向内折叠,折叠后屏幕向内,即主屏与副屏相对设置。本申请实施例均以电子设备向外折叠为例。
根据电子设备主屏和副屏之间的夹角,电子设备的物理形态可以分为展开状态、支架状态和折叠状态。示例性的,如图2A的(a)所示,当主屏和副屏之间的夹角α大于第一阈值(例如165°)时,电子设备处于展开状态。如图2A的(b)所示,当主屏和副屏之间的夹角α小于或等于第一阈值,并且大于第二阈值(例如20°)时,电子设备处于支架状态。如图2A的(c)所示,当主屏和副屏之间的夹角α小于或等于第二阈值(例如20°)时,电子设备处于折叠状态。可以理解的是,主屏和副屏之间的夹角α在0至180°构成的闭区间内。
对应的,如图2B的(a)所示,当主屏和副屏之间的夹角α大于第一阈值(例如165°)时,电子设备处于展开状态。如图2B的(b)所示,当主屏和副屏之间的夹角α小于或等于第一阈值,并且大于第二阈值(例如20°)时,电子设备处于支架状态。如图2B的(c)所示,当主屏和副屏之间的夹角α小于或等于第二阈值(例如20°)时,电子设备处于折叠状态。其中,AB折叠线的位置可以称为转轴。
用户在不同的使用需求下,电子设备可以处于不同的物理形态。比如,当用户使用电子设备观看视频时,一般在展开状态可以获得更好的体验;用户需要观看视频时,会将电子设备展开使用。当用户玩游戏时,可以多个用户一起游戏,比如,将电子设备折叠到支架状态,一个用户使用主屏,一个用户使用副屏。当用户需要携带电子设备时,电子设备处于折叠状态更方便。由于具有柔性屏幕的电子设备可以有多种物理形态,用户使用电子设备的场景也更加丰富;电子设备可以为用户提供更灵活多样的服务。
本申请实施例提供一种多传感器应用于具有柔性屏幕的电子设备的方法,可以利用多个传感器获取电子设备的物理形态、姿态、运动方向等参数,在用户使用电子设备时提供该场景相应的服务,提高用户的使用体验。
本申请实施例提供的多传感器应用于具有柔性屏幕的电子设备的方法,可应用于手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、手持计算机、上网本、个人数字助理(personal digital assistant,PDA)、可穿戴设备、虚拟现实设备等具有柔性屏幕的电子设备中,本申请实施例对此不做任何限制。
以手机100为上述电子设备举例,图3示出了手机的结构示意图。
手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,柔性屏幕194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180L,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180L,使处理器110与触摸传感器180L通过I2C总线接口通信,实现手机100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与柔性屏幕194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现手机100的拍摄功能。处理器110和柔性屏幕194通过DSI接口通信,实现手机100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,柔性屏幕194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为手机100充电,也可以用于手机100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对手机100的结构限定。在本申请另一些实施例中,手机100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过手机100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,柔性屏幕194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过柔性屏幕194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,手机100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得手机100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system,GPS),全球导航卫星***(globalnavigation satellite system,GLONASS),北斗卫星导航***(beidou navigationsatellite system,BDS),准天顶卫星***(quasi-zenith satellite system,QZSS)和/或星基增强***(satellite based augmentation systems,SBAS)。
手机100通过GPU,柔性屏幕194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接柔性屏幕194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。在本申请实施例中,柔性屏幕194中可包括显示器和触控器件(touch panel,TP)。显示器用于向用户输出显示内容,触控器件用于接收用户在柔性屏幕194上输入的触摸事件。
手机100可以通过ISP,摄像头193,视频编解码器,GPU,柔性屏幕194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,手机100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当手机100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样,手机100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现手机100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。手机100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。手机100可以设置至少一个麦克风170C。在另一些实施例中,手机100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,手机100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于柔性屏幕194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。手机100根据电容的变化确定压力的强度。当有触摸操作作用于柔性屏幕194,手机100根据压力传感器180A检测所述触摸操作强度。手机100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
气压传感器180B用于测量气压。在一些实施例中,手机100通过气压传感器180B测得的气压值计算海拔高度,辅助定位和导航。
陀螺仪传感器180C可以用于确定手机100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180C确定手机100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180C可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180C检测手机100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消手机100的抖动,实现防抖。陀螺仪传感器180C还可以用于导航,体感游戏场景。
加速度传感器180D可检测手机100在各个方向上(一般为三轴)加速度的大小。当手机100静止时可检测出重力的大小及方向。
磁传感器180E包括霍尔传感器、磁力计等。霍尔传感器可以检测磁场方向;磁力计用于测量磁场的大小和方向。磁力计可以测量环境磁场强度,比如,可以利用磁力计测得磁场强度进而得到磁力计的载体的方位角信息。
触控器件180F,可以用于检测用户的触摸位置。在一些实施例中,可以通过触控器件180F检测用户在手机100的触摸点,进而根据该触摸位置使用预设的抓握算法确定用户当前抓握手机的抓握姿势。
距离传感器180G,用于测量距离。手机100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,手机100可以利用距离传感器180G测距以实现快速对焦。
接近光传感器180H可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。手机100通过发光二极管向外发射红外光。手机100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定手机100附近有物体。当检测到不充分的反射光时,手机100可以确定手机100附近没有物体。手机100可以利用接近光传感器180H检测用户手持手机100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180H也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180M用于感知环境光亮度。手机100可以根据感知的环境光亮度自适应调节柔性屏幕194亮度。环境光传感器180M也可用于拍照时自动调节白平衡。环境光传感器180M还可以与接近光传感器180H配合,检测手机100是否在口袋里,以防误触。
指纹传感器180J用于采集指纹。手机100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180K用于检测温度。在一些实施例中,手机100利用温度传感器180K检测的温度,执行温度处理策略。例如,当温度传感器180K上报的温度超过阈值,手机100执行降低位于温度传感器180K附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,手机100对电池142加热,以避免低温导致手机100异常关机。在其他一些实施例中,当温度低于又一阈值时,手机100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180L,也称“触控面板”。触摸传感器180L可以设置于柔性屏幕194,由触摸传感器180L与柔性屏幕194组成触摸屏,也称“触控屏”。触摸传感器180L用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过柔性屏幕194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180L也可以设置于手机100的表面,与柔性屏幕194所处的位置不同。
骨传导传感器180Q可以获取振动信号。在一些实施例中,骨传导传感器180Q可以获取人体声部振动骨块的振动信号。骨传导传感器180Q也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180Q也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180Q获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180Q获取的血压跳动信号解析心率信息,实现心率检测功能。
本申请实施例中,可以在电子设备设置多组传感器。比如,在电子设备的主屏和副屏分别设置传感器模块。示例性的,电子设备的主屏设置陀螺仪传感器1和加速度传感器1,电子设备的副屏设置陀螺仪传感器2和加速度传感器2,通过读取陀螺仪传感器1、加速度传感器1、陀螺仪传感器2和加速度传感器2的输出数据,电子设备可以获取主屏旋转的角速度,主屏运动的加速度,副屏旋转的角速度,副屏运动的加速度,还可以分别获取主屏和副屏的重力加速度,以及主屏与副屏之间的夹角等参数。示例性的,电子设备的主屏和副屏可以分别设置多组触控器件,从而可以判断用户使用电子设备时的抓握姿势。传感器在电子设备的具体设置和应用方法在后面实施例中详细介绍。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入,产生与手机100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于柔性屏幕194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,实现和手机100的接触和分离。手机100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。手机100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,手机100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在手机100中,不能和手机100分离。
上述手机100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构为例,示例性说明手机100的软件结构。图4是本申请实施例的手机100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,手机100可以包括应用程序层,应用程序框架层,硬件抽象层,以及内核层。
应用程序层可以包括一系列应用程序包。
如图4所示,应用程序层内可以安装相机,翻转切屏,图库,协同模式,视频,大小屏切换,智能亮灭屏,屏幕开合动效等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4所示,应用程序框架层可以包括窗口管理器,内容提供器,切屏管理器,资源管理器,通知管理器,视图***,传感器管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
切屏管理器用于管理切屏动作。比如,判断是否进行切屏等处理。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
传感器管理器用于存储和处理传感器相关的数据。比如,提供各个传感器的输出数据,多个传感器输出数据的融合数据等。
硬件抽象层是内核层和应用程序框架层的接口层。用于对内核驱动程序进行封装,并向上提供接口,屏蔽底层的实现细节。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
以下将以手机作为电子设备举例,结合附图详细阐述本申请实施例提供的多传感器应用于具有柔性屏幕的电子设备的方法。
一般的,在用户不使用手机时,手机处于黑屏状态(灭屏状态),即手机的柔性屏幕(包括主屏和副屏)没有被点亮。手机可以接收用户的第一操作,并响应于该第一操作点亮手机屏幕。其中,第一操作可以包括用户按电源键,用户使用指纹或人脸识别或密码解锁屏幕,用户双击屏幕,来电,外接设备***,展开电子设备(电子设备由折叠状态展开为支架状态或展开状态)等。
而手机接收到第一操作时,可能处于不同的姿态。示例性的,请参考图5,手机处于不同的物理形态时,可以处于多种姿态。如图5,手机在折叠状态的姿态可以包括静置主屏朝上态、静置副屏朝上态、折叠手持态等;手机在支架状态的姿态可以包括支架手持态、双支架横屏态、双支架竖屏态、单支架主屏态、单支架副屏态等;手机在展开状态的姿态可以包括大屏展开状态等。
手机在不同的姿态,检测到用户的第一操作,可以以不同的点亮方式来点亮手机屏幕。比如,点亮方式可以包括:点亮主屏,点亮副屏,或点亮大屏(主屏和副屏)。
请继续参考图5,在一些实施例中,手机在静置主屏朝上态,检测到用户的第一操作,响应于该第一操作,点亮主屏;手机在静置副屏朝上态,检测到用户的第一操作,响应于该第一操作,点亮副屏;手机在折叠手持态,检测到用户的第一操作,响应于该第一操作,点亮手机朝向用户的屏幕(主屏或副屏);手机在支架手持态,或双支架横屏态,或双支架竖屏态,或单支架主屏态,检测到用户的第一操作,响应于该第一操作,点亮主屏;手机在单支架副屏态,检测到用户的第一操作,响应于该第一操作,点亮副屏;手机在大屏展开状态,检测到用户的第一操作,响应于该第一操作,点亮大屏。
应理解:本文所涉及的主屏或副屏或整个柔性屏幕朝向用户包括:主屏或副屏或整个柔性屏幕与用户面部之间以基本平行的角度朝向用户,也包括主屏或副屏或整个柔性屏幕以一定的倾斜角度朝向用户。此外,本文所涉及的主屏或副屏或整个柔性屏幕朝上包括:主屏或副屏或整个柔性屏幕以水平的角度朝上,或者主屏或副屏或整个柔性屏幕以水平面存在一定角度的朝上。
手机在检测到用户的第一操作时,确定手机的姿态,并根据手机的姿态,确定点亮方式。
本申请实施例中,可以利用多传感器来确定手机的姿态。在一些实施例中,手机上可以设置多个陀螺仪传感器(gyroscope,GYRO)和多个加速度传感器(accelerometer,ACC)。示例性的,如图6A,手机的主屏上设置有一个陀螺仪传感器GYRO1和一个加速度传感器ACC1,手机的副屏上设置有一个陀螺仪传感器GYRO2和一个加速度传感器ACC2。当然,图6A中传感器的位置仅是示意性说明,在实际应用中,传感器设置于主屏上,可以是设置于主屏下手机内的电路板上;传感器设置于副屏上,可以是设置于副屏下手机内的电路板上;或者,传感器可以设置于和柔性屏幕相对应的其他位置上;本申请实施例对此并不进行限定。
图6A中,GYRO1的输出数据为主屏转动的角速度在三个轴(即,x,y和z轴)的分量,ACC1的输出数据为主屏的加速度在三个轴的分量,GYRO2的输出数据为副屏转动的角速度在三个轴的分量,ACC2的输出数据为副屏的加速度在三个轴的分量。
请参考图6B,硬件GYRO1、ACC1、GYRO2和ACC2分别将测量的主屏转动角速度值、主屏加速度值、副屏转动角速度值、副屏加速度值上报至内核层的传感器驱动。可以理解的,转动的角速度值和加速度值均为向量。
传感器驱动获取到各个屏上传感器的原始输出数据后,可以通过GYRO1和ACC1的输出数据获取主屏的重力加速度G1,通过GYRO2和ACC2的输出数据获取副屏的重力加速度G2,还可以通过G1和G2获取主屏和副屏间的夹角α。
在一种实现方式中,当手机以任一姿态静置时,加速度传感器的测量值即为重力加速度在三轴上的投影。当手机运动时,加速度传感器的测量值不仅仅由重力贡献,还包含由运动带来的线性加速度;可以采用加速度计和陀螺仪(A+G)融合算法获取任意姿态、任意运动模式下的重力加速度。
示例性的,请参考图7,为六轴A+G融合算法的示意图。其中a为加速度传感器测量的加速度原始信号,ω为陀螺仪传感器测量的转动角速度值。六轴A+G融合算法的核心思想主要有两点,第一点即根据旋转不变性(rotational invariant orientation tracker,RIOT)对加速度传感器测量的加速度原始信号进行坐标旋转平均处理,获得线性加速度被初步抑制的合加速度信号;加速度原始信号在经过RIOT处理之后,主要由重力加速度在载体坐标系(b系)三个轴向的投影组成。第二点,以RIOT预处理后的三轴加速度信号作为观测量,结合时间更新方程,利用卡尔曼滤波对重力加速度作进一步提取。六轴A+G融合算法的具体实现可参考常规技术的描述,此处不再赘述。
传感器驱动可以采用六轴A+G融合算法,通过GYRO1和ACC1的测量值获取重力加速度G1的大小和方向;通过GYRO2和ACC2的测量值获取重力加速度G2的大小和方向。
进一步的,传感器驱动还通过主屏重力加速度G1和副屏重力加速度G2获取主屏和副屏间的夹角α。
请参考图8A,可以在主屏和副屏上分别设置对应的坐标系。例如,可以在主屏中设置坐标系O1,坐标系O1中X轴与主屏较短的侧边平行,Y轴与主屏较长的侧边(折叠线AB)平行,Z轴垂直于X轴和Y轴组成的平面指向主屏外。同样,可以在副屏中设置坐标系O2,坐标系O2中X轴与副屏较短的侧边平行,Y轴与副屏较长的侧边(折叠线AB)平行,Z轴垂直于X轴和Y轴组成的平面指向副屏外。
请参考图8B的(a),G1在O1坐标系三轴的投影分别为(Gx1,Gy1,Gz1),G2在O2坐标系三轴的投影分别为(Gx2,Gy2,Gz2)。主屏和副屏同Y轴,因此重力加速度和G2在Y轴上的分量是一样的,即G1和G2在各自坐标系的XOZ平面的分量是一样的;也就是说G1在X1O1Z1平面的投影Gxz等于G2在X2O2Z2平面的投影G’xz
O1坐标系和O2坐标系存在一个夹角,两个二维坐标系之间的相对转动,导致同一个向量在两个坐标系中的分量不同。可以看作一个向量在一个固定坐标系下反向转动对应的角度,即如图8B的(b)中Gxz到G’xz。图8B的(b)中Gxz到G’xz转动的角度,即主屏和副屏间的夹角α。
Gxz到G’xz转动的角度可以由以下公式计算得到:
α=arccos(Gxz*G’xz/|Gxz|*|G’xz|)=arcos((Gx1*Gx2+Gz1*Gz2)/|Gx1*Gx2|*|Gz1*Gz2|)。
内核层的传感器驱动获取到主屏和副屏间的夹角α后,将α以及主屏重力加速度值G1,副屏重力加速度值G2上传至硬件抽象层的传感器服务进程。硬件抽象层的传感器服务进程可以向应用程序框架层的传感器管理器传递α,G1和G2。
传感器管理器可以根据主屏和副屏间的夹角α,主屏重力加速度值G1,以及副屏重力加速度值G2获取手机的姿态。
示例性的,主屏重力加速度值G1在O1坐标系三轴的分量为(Gx1,Gy1,Gz1),副屏重力加速度值G2在O2坐标系三轴的分量为(Gx2,Gy2,Gz2),主屏和副屏间的夹角为α。
手机确定α大于第一阈值(例如165°)并且小于或等于180°,则确定手机处于展开状态,手机的姿态为大屏展开状态;
手机确定α大于或等于0°并且小于或等于第二阈值(例如20°),则可以确定手机处于折叠状态。其中,若确定0<Gz1<=g,-g<=Gz2<0,则确定手机的姿态为静置主屏朝上态;若确定-g<=Gz1<0,0<Gz2<=g,则确定手机的姿态为静置副屏朝上态。比如,若确定Gz1=g,Gz2=-g,Gx1=Gy1=Gx2=Gy2=0,则确定手机水平放置,且为静置主屏朝上态;若确定Gz1=-g,Gz2=g,Gx1=Gy1=Gx2=Gy2=0,则确定手机水平放置,且为静置副屏朝上态。g为地球的重力加速度值。
手机确定α大于第二阈值(例如20°)并且小于或等于第一阈值(例如165°),则可以确定手机处于支架状态。其中,若确定0<Gz1<=g,Gz2=-g,Gx2=Gy2=0,则确定手机的姿态为单支架主屏态;若确定0<Gz2<=g,Gz1=-g,Gx1=Gy1=0,则确定手机的姿态为单支架副屏态;若确定Gy1=Gy2=0,0<Gz1<g,0<Gz2<g,-g<=Gx1<0,0<Gx2<g,则确定手机的姿态为双支架横屏态;若确定Gx1=Gx2=Gz1=Gz2=0,Gy1=Gy2=g,则确定手机的姿态为双支架竖屏态。
在一些实施例中,手机还可以将主屏和副屏的夹角α,主屏重力加速度G1,副屏重力加速度G2,结合用户抓握手机的抓握姿势来确定手机的姿态。
比如,手机可以通过触控器件上报的用户当前的触摸位置,使用预设的抓握算法确定用户当前抓握手机的抓握姿势。示例性的,手机根据触控器件上报的触摸点的坐标,确定用户在主屏和副屏的触摸面积;如果确定用户在主屏的触摸面积大于在副屏的触摸面积,则可以确定手机的副屏面向用户;如果确定用户在主屏的触摸面积小于在副屏的触摸面积,则可以确定手机的主屏面向用户。具体的抓握算法可以参考常规技术中的描述,此处不再赘述。当然,手机也可以结合其他传感器识别手机的具体朝向。例如,手机可在使用抓握算法识别用户的抓握姿势时同时开启摄像头检测是否捕捉到人脸信息。本申请对此不进行限定。
示例性的,手机根据α的值确定手机处于折叠状态,且根据用户的抓握姿势确定手机的主屏面向用户,则可以确定手机的姿态为折叠手持态且主屏面向用户;手机根据α的值确定手机处于折叠状态,且根据用户的抓握姿势确定手机的副屏面向用户,则可以确定手机的姿态为折叠手持态且副屏面向用户。手机根据α的值确定手机处于支架状态,且根据用户的抓握姿势确定手机的主屏面向用户,则可以确定手机的姿态为支架手持态且主屏面向用户;手机根据α的值确定手机处于支架状态,且根据用户的抓握姿势确定手机的副屏面向用户,则可以确定手机的姿态为支架手持态且副屏面向用户。
应用程序框架层的传感器管理器确定手机的姿态,还可以将手机姿态上报至应用程序层的应用程序。比如,智能亮灭屏应用程序接收到用户的第一操作,可以从应用程序框架层的传感器管理器获取手机的姿态,根据手机姿态确定点亮屏幕的方式。
可以理解的,上述对手机的软硬件分层,以及各个功能模块的划分仅为示例性说明。在实际实现中,还可以有其他的实现方式。比如,应用程序框架层的传感器管理器在获取到硬件抽象层的传感器服务上报的数据后,可以将获取的数据传输至应用程序框架层的姿态识别模块。由姿态识别模块确定手机的姿态,并将手机的姿态上报至应用程序。本申请实施例对此并不进行限定。
上述实现过程如图9所示。传感器器件分别将检测到的数据上报至传感器驱动。传感器驱动的算法模块分别计算ACC1和GYRO1的输出数据融合后的数据在三轴上的分量,以及ACC2和GYRO2的输出数据融合后的数据在三轴上的分量;并计算主屏和副屏间的相对角度和姿态。从而,上层应用可以获取到主屏和副屏间的相对角度和姿态。
在一些实施例中,传感器管理器还可以将获取到的主屏和副屏间的夹角,主屏的重力加速度,副屏的重力加速度等数据,直接上报至应用程序层。应用程序层的应用程序可以获取并直接应用主屏和副屏间的夹角,主屏的重力加速度,副屏的重力加速度等数据。
在一些实施例中,传感器管理器可以根据Gx1,Gy1,Gz1确定主屏的姿态,根据Gx2,Gy2,Gz2确定副屏的姿态;将主屏的姿态和副屏的姿态上报至应用程序层。应用程序层的应用程序可以获取并直接应用主屏的姿态,副屏的姿态等数据。
示例性的,传感器管理器确定Gx1=Gy1=0,Gz1=g,则可以确定主屏的姿态为水平朝上的;传感器管理器确定Gx2=Gy2=0,Gz2=-g,则可以确定副屏的姿态为水平朝下的;从而可以确定手机的姿态为静置主屏朝上态。
示例性的,传感器管理器确定Gx1=Gy1=0,Gz1=g,则可以确定主屏的姿态为水平朝上的;传感器管理器确定-g<=Gx2<0,Gy2=0,0<Gz2<g,则可以确定副屏的姿态为倾斜朝上的。
本申请实施例提供的多传感器应用于具有柔性屏幕的电子设备的方法,电子设备上可以设置多个传感器,从而获取电子设备的姿态。电子设备的应用可以根据电子设备的姿态来执行相应的动作。比如,智能亮灭屏应用可以根据手机的姿态确定点亮屏幕的方式。这种自适应姿态点亮屏幕的方法,比单一的点亮某个屏幕的方法,给用户带来更好的体验。
上述实施例是以智能亮灭屏应用为例进行说明,在实际应用中,本申请实施例提供的多传感器应用于具有柔性屏幕的电子设备的方法,可以应用于手机的各个应用程序。比如,大小屏切换,屏幕开合动效,协同模式,翻转切屏等。
在一些实施例中,如果手机检测到用户展开柔性屏幕的操作,则可以在柔性屏幕上显示开屏动效。如果手机检测到用户合上柔性屏幕的操作,则可以在柔性屏幕上显示合屏动效。示例性的,手机检测到用户展开柔性屏幕的操作,则手机的柔性屏幕上显示欢迎词“上午好!”;手机检测到用户合上柔性屏幕的操作,则手机的柔性屏幕上显示告别语“再见!”。
示例性的,硬件层的传感器向内核层上报各自的测量数据。内核层的传感器驱动根据各个传感器的输出数据获取主屏和副屏间的夹角、主屏重力加速度、副屏重力加速度等融合数据;并将获取的融合数据通过硬件抽象层上报至应用程序框架层。应用程序框架层的传感器管理器根据获取的融合数据确定手机的物理形态和姿态。
进一步的,传感器管理器还可以根据手机的物理形态,确定手机的物理形态的变化;可以根据手机的姿态,确定手机的姿态的变化。
比如,传感器管理器确定手机由折叠状态变为支架状态,或者由支架状态变为展开状态,或者由折叠状态变为展开状态,则确定接收到用户展开柔性屏幕的操作;传感器管理器触发应用程序层的屏幕开合动效应用在柔性屏幕上显示开屏动效。比如,传感器管理器确定手机由展开状态变为支架状态,或者由支架状态变为折叠状态,或者由展开状态变为折叠状态,则确定接收到用户合上柔性屏幕的操作;传感器管理器触发应用程序层的屏幕开合动效应用在柔性屏幕上显示合屏动效。
在一些实施例中,具有柔性屏幕的电子设备可以工作在协同模式。在协同模式,显示在主屏的应用程序和显示在副屏的应用程序同时前台运行。本申请实施例中将显示在主屏的应用程序称为第一应用,显示在副屏的应用程序称为第二应用;可以理解的,也可以将显示在主屏的应用程序称为第二应用,显示在副屏的应用程序称为第一应用。
本申请实施例提供一种多传感器应用于具有柔性屏幕的电子设备的方法,应用于电子设备工作在协同模式的场景。
在一些实施例中,显示在主屏的第一应用和显示在副屏的第二应用,可以同时接收设置在各自屏上的多个传感器的输出数据。比如,显示在主屏的第一应用,可以接收主屏转动的角速度,重力加速度,姿态等数据;并根据主屏上的传感器的数据改变第一应用的显示内容。同时,显示在副屏的第二应用,可以接收副屏转动的角速度,重力加速度,姿态等数据;并根据副屏上的传感器的数据改变第二应用的显示内容。这样,第一应用和第二应用实现协同工作。可选的,显示在主屏的第一应用和显示在副屏的第二应用可以是同一个应用程序。可以理解的,在一种实现方式中,同一个应用程序分别运行在主屏和副屏,运行在主屏的为第一应用,运行在副屏的为第二应用。在另一种实现方式中,一个应用程序在电子设备上运行,显示在主屏的为第一应用,显示在副屏的为第二应用。可选的,第一应用和第二应用可以是不同的应用程序。
在另一些实施例中,显示在主屏的第一应用或显示在副屏的第二应用,都可以接收设置在主屏和副屏上的多个传感器的输出数据。比如,显示在主屏的第一应用(或显示在副屏的第二应用),可以接收主屏和副屏转动的角速度,重力加速度,姿态等数据。可选的,显示在主屏的第一应用还可以接收显示在副屏的第二应用的显示内容,显示在副屏的第二应用还可以接收显示在主屏的第一应用的显示内容。这样,第一应用可以根据接收的副屏上的传感器的数据或者第二应用的显示内容改变第一应用的显示内容;第二应用可以根据接收的主屏上的传感器的数据或者第一应用的显示内容改变第二应用的显示内容;第一应用和第二应用实现协同工作。可选的,显示在主屏的第一应用和显示在副屏的第二应用可以是同一个应用程序。甚至可以是同一应用的不同界面。可选的,第一应用和第二应用也可以是不同的应用程序。
示例性的,如图10A,显示在主屏的应用程序和显示在副屏的应用程序同时前台运行。
比如,多人开视频会议时,一人使用主屏,接入显示在主屏的视频会议应用程序;一人使用副屏,接入显示在副屏的视屏会议应用程序。
再比如,多人同时游戏时,主屏和副屏分别显示该游戏的应用程序,一人使用主屏操控游戏,一人使用副屏操控游戏。
显示在主屏的游戏应用可以接收设置在主屏上的传感器的第一数据,并根据第一数据改变显示在主屏的游戏应用的显示内容;同时,显示在副屏的游戏应用可以接收设置在副屏上的传感器的第二数据,并根据第二数据改变显示在副屏的游戏应用的显示内容。在一些场景中,主屏和副屏上分别设置有陀螺仪传感器和加速度传感器,显示在主屏的游戏应用可以接收主屏上的陀螺仪传感器和加速度传感器的数据,并根据主屏上的陀螺仪传感器和加速度传感器的数据确定主屏的姿态变化,根据主屏的姿态变化改变显示在主屏的游戏应用的显示内容;显示在副屏的游戏应用可以接收副屏上的陀螺仪传感器和加速度传感器的数据,并根据副屏上的陀螺仪传感器和加速度传感器的数据确定副屏的姿态变化,根据副屏的姿态变化改变显示在副屏的游戏应用的显示内容。在另一些场景中,主屏和副屏上分别设置有摄像头,显示在主屏的游戏应用可以接收主屏上摄像头采集的数据,根据主屏上摄像头采集的数据确定用户在主屏上对该游戏应用的操控动作或操控手势等,根据用户在主屏上对该游戏应用的操控动作或操控手势改变显示在主屏的游戏应用的显示内容;显示在副屏的游戏应用可以接收副屏上摄像头采集的数据,根据副屏上摄像头采集的数据确定用户在副屏上对该游戏应用的操控动作或操控手势等,根据用户在副屏上对该游戏应用的操控动作或操控手势改变显示在副屏的游戏应用的显示内容。
显示在主屏的游戏应用还可以接收设置在副屏上的传感器的第二数据,或者,还可以接收显示在副屏的游戏应用的显示内容;显示在主屏的游戏应用根据第二数据或者显示在副屏的游戏应用的显示内容,改变显示在主屏的游戏应用的显示内容。显示在副屏的游戏应用还可以接收设置在主屏上的传感器的第一数据,或者,还可以接收显示在主屏的游戏应用的显示内容;显示在副屏的游戏应用根据第一数据或者显示在主屏的游戏应用的显示内容,改变显示在副屏的游戏应用的显示内容。在一些场景中,主屏和副屏上分别设置有陀螺仪传感器和加速度传感器,显示在主屏的游戏应用可以接收副屏上的陀螺仪传感器和加速度传感器的数据,并根据副屏上的陀螺仪传感器和加速度传感器的数据确定副屏的姿态变化,根据副屏的姿态变化改变显示在主屏的游戏应用的显示内容;显示在副屏的游戏应用可以接收主屏上的陀螺仪传感器和加速度传感器的数据,并根据主屏上的陀螺仪传感器和加速度传感器的数据确定主屏的姿态变化,根据主屏的姿态变化改变显示在副屏的游戏应用的显示内容。在另一些场景中,主屏和副屏上分别设置有摄像头,显示在主屏的游戏应用可以接收副屏上摄像头采集的数据,根据副屏上摄像头采集的数据确定用户在副屏上对该游戏应用的操控动作或操控手势等,根据用户在副屏上对该游戏应用的操控动作或操控手势改变显示在主屏的游戏应用的显示内容;显示在副屏的游戏应用可以接收主屏上摄像头采集的数据,根据主屏上摄像头采集的数据确定用户在主屏上对该游戏应用的操控动作或操控手势等,根据用户在主屏上对该游戏应用的操控动作或操控手势改变显示在副屏的游戏应用的显示内容。
示例性的,如图10B,电子设备的副屏上安装有摄像头。用户打开拍照功能为宝宝拍照,主屏显示拍照预览界面。为了吸引宝宝注意,在副屏显示卡通形象小乌龟。显示在主屏的第一应用和显示在副屏的第二应用同时前台运行,第一应用为拍摄类应用,第二应用为视频播放类应用或者图片显示类应用。可以理解的,第二应用也可以为拍摄类应用;比如,副屏可以显示拍照功能拍摄的照片。
在一种示例中,主屏上设置有环境光传感器,第一应用可以接收设置在主屏上的环境光传感器的数据,根据环境光传感器的数据改变拍照预览界面白平衡。
在一种示例中,副屏上设置有陀螺仪传感器和加速度传感器,第二应用可以接收设置在副屏上的陀螺仪传感器和加速度传感器的数据,根据副屏上的陀螺仪传感器和加速度传感器的数据确定副屏的姿态变化,并根据副屏的姿态变化改变显示在副屏的图片内容。
示例性的,如图10C,显示在主屏的第一应用为支付类应用,第二应用为第一应用中的图片显示页面。比如,主屏显示支付类应用的支付界面,用户点击显示的二维码图片,则显示支付界面中的二维码图片自动显示在副屏。示例性的,手机在折叠状态时,主屏显示支付界面,副屏为灭屏状态(即第二应用不显示其内容)。若手机检测到用户的第二操作,则点亮副屏,并在副屏显示支付界面中的二维码图片。也可以用户点击“付款”即自动在副屏显示二维码图片。这样可以方便的在副屏显示二维码图片,不影响用户在主屏上的任务。
在一种示例中,主屏上设置有陀螺仪传感器,第二应用可以接收设置在主屏的陀螺仪传感器的数据,获得主屏的转动角速度;如果确定主屏的转动角速度大于0,即确定接收到用户的第二操作(用户的第二操作为转动主屏的操作)。
在一种示例中,副屏上设置有陀螺仪传感器,第二应用可以接收设置在副屏的陀螺仪传感器的数据,获得副屏的转动角速度;如果确定副屏的转动角速度大于0,即确定接收到用户的第二操作(用户的第二操作为转动副屏的操作)。
在一种示例中,主屏上设置有触摸传感器,第二应用可以接收设置在主屏的触摸传感器的输出,根据触摸传感器的输出确定接收到用户在主屏上的第一手势(比如双击操作),则确定接收到用户的第二操作。
手机的各个屏上可以分别设置多个传感器。比如,手机上可以设置至少一个陀螺仪传感器(gyroscope,GYRO)、至少一个加速度传感器(accelerometer,ACC)和/或至少一个磁力计(magnetometer,MAG)。比如,手机上还可以设置至少一个接近光传感器,环境光传感器,或触摸传感器。示例性的,如图11A,手机的主屏上设置有一个陀螺仪传感器GYRO1、一个加速度传感器ACC1和一个磁力计MAG1,手机的副屏上设置有一个陀螺仪传感器GYRO2、一个加速度传感器ACC2和一个磁力计MAG2。当然,图11A中传感器的位置仅是示意性说明,在实际应用中,传感器设置于主屏上,可以是设置于主屏下手机内的电路板上;传感器设置于副屏上,可以是设置于副屏下手机内的电路板上;或者,传感器可以设置于和柔性屏幕相对应的其他位置上;本申请实施例对此并不进行限定。
图11A中,GYRO1的输出数据为主屏转动的角速度在三个轴(即,x,y和z轴)的分量;ACC1的输出数据为主屏的加速度在三个轴的分量,MAG1的输出数据为磁通量1;GYRO2的输出数据为副屏转动的角速度在三个轴的分量,ACC2的输出数据为副屏的加速度在三个轴的分量,MAG2的输出数据为磁通量2。
请参考图11B,硬件GYRO1、ACC1、MAG1、GYRO2、ACC2和MAG2分别将测量的主屏转动角速度值、主屏加速度值、磁通量1、副屏转动角速度值、副屏加速度值、磁通量2上报至内核层的传感器驱动。可以理解的,转动角速度值、加速度值和磁通量均为向量,即既表示大小又表示方向。
传感器驱动获取到各个屏上传感器的原始输出数据后,可以通过GYRO1和ACC1的输出数据获取主屏的重力加速度G1,通过GYRO2和ACC2的输出数据获取副屏的重力加速度G2。手机通过加速度值和转动角速度值获取重力加速度的方法可参考前文描述,此处不再赘述。
传感器驱动通过硬件抽象层的传感器服务进程,将各个屏上传感器的原始输出数据,以及传感器驱动根据传感器的原始输出数据获取的融合数据(比如,重力加速度)上报至应用程序框架层的传感器管理器。
应用程序层的应用,比如,工作在协同模式的应用,可以从应用程序框架层的传感器管理器获取传感器的输出数据,以及传感器的融合数据。
在一些实施例中,显示在两个屏幕上的应用可以同时分别接收各自屏幕上传感器的输出数据和融合数据。比如,显示在主屏的应用接收主屏的重力加速度,同时,显示在副屏的应用接收副屏的重力加速度,从而实现主屏和副屏的协同工作。
在另一些实施例中,显示在两个屏幕上的应用可以分别接收两个屏幕上传感器的输出数据和融合数据。比如,显示在主屏的应用可以接收主屏的重力加速度和副屏的重力加速度,显示在副屏的应用可以接收主屏的重力加速度和副屏的重力加速度,从而实现主屏和副屏的协同工作。
在一种实现方式中,传感器驱动保存有传感器索引表,示例性的,如表1,传感器索引表包括屏幕标识、传感器类型和传感器类型值。
表1
手机的各个屏幕上的传感器可以统一编号,用传感器类型值来表示。应用程序可以根据传感器类型值来确定一个传感器。示例性的,手机的柔性屏幕被折叠成为三个屏幕:第一屏、第二屏和第三屏。第一屏上有ACC1、GYRO1、MAG1、GRAVITY1四个传感器;第二屏上有ACC2、GYRO2、MAG2、GRAVITY2四个传感器;第三屏上有ACC3、GYRO3两个传感器。第一屏的屏幕标识为A屏,第二屏的屏幕标识为B屏,第三屏的屏幕标识为C屏。如表1,第一屏上的ACC传感器为ACC1,其传感器类型值为1;第一屏上的GYRO传感器为GYRO1,其传感器类型值为2;第一屏上的MAG传感器为MAG1,其传感器类型值为3;第一屏上的GRAVITY传感器为GRAVITY 1,其传感器类型值为4。第二屏上的ACC传感器为ACC2,其传感器类型值为11;第二屏上的GYRO传感器为GYRO2,其传感器类型值为12;第二屏上的MAG传感器为MAG2,其传感器类型值为13;第二屏上的GRAVITY传感器为GRAVITY2,其传感器类型值为14。第三屏上的ACC传感器为ACC3,其传感器类型值为21;第三屏上的GYRO传感器为GYRO3,其传感器类型值为22。
可以理解的,上述传感器索引表以手机的柔性屏幕被折叠成为三个屏幕为例进行说明,在实际应用中,手机的柔性屏幕可以被折叠为更少或更多的屏幕,本申请实施例对此不进行限定。
需要说明的是,传感器类型可以是实体的传感器,比如,陀螺仪传感器、加速度传感器、磁力计等;还可以是虚拟的传感器,比如,传感器驱动根据陀螺仪传感器和加速度传感器的输出数据计算出的融合数据重力加速度,可以认为是虚拟传感器重力加速度传感器的输出数据,重力加速度传感器的传感器类型为GRAVITY。
传感器驱动可以提供一个查询接口,可以根据屏幕标识和传感器类型获取传感器类型值。比如,传感器驱动提供的查询接口函数为Get_sensor_type。获取A屏上的ACC的传感器类型值,则调用查询接口函数Get_sensor_type(A,ACC),查询接口函数的返回值为1,表示A屏上的ACC的传感器类型值是1;从1号传感器获取的数据就是A屏上的ACC的输出数据。获取B屏上的GYRO的传感器类型值,则调用查询接口函数Get_sensor_type(B,GYRO),查询接口函数的返回值为12,表示B屏上的GYRO的传感器类型值是12;从12号传感器获取的数据就是B屏上的GYRO的输出数据。当然,传感器索引表也可以保存在应用程序框架层,由应用程序框架层的传感器管理器提供查询接口函数。本申请实施例对此不进行限定。
应用程序可以调用查询接口函数获取指定的传感器的传感器类型值,这样,就可以从对应编号的传感器接收指定的传感器的输出数据。比如,应用程序可以调用Get_sensor_type(A,GRAVITY),获得主屏上的虚拟传感器重力加速度传感器的传感器类型值为4;则可以确定4号传感器的输出数据为主屏的重力加速度。
请参考图11C,传感器器件(包括虚拟传感器)分别将输出数据通过数据通道上报至协同模式应用。在一种实现方式中,主屏上的传感器(ACC1、GYRO1、MAG1、GRAVITY1)通过Android原生通路上报数据;副屏和其他屏幕上的传感器采用新增的通路上报数据。
需要说明的是,以上设置在主屏和副屏的传感器类型只是示例性说明。在实际应用中,应用程序可以根据设置在主屏或副屏的各种类型的传感器的输出数据,实现协同工作。本申请实施例并不限定传感器的类型。
本申请实施例提供的多传感器应用于具有柔性屏幕的电子设备的方法,应用程序可以接收主屏和副屏上的传感器的输出数据。这样,显示在主屏的应用程序和显示在副屏的应用程序可以根据主屏和副屏上的传感器的输出数据实现协同操作。
本申请实施例还提供一种多传感器应用于具有柔性屏幕的电子设备的方法,设置于手机上的一些传感器可以在手机的灭屏状态(主屏和副屏都未点亮)不工作。如果在灭屏状态检测到主屏和副屏被展开,则启动这些传感器。
比如,手机上设置有陀螺仪传感器,加速度传感器,磁传感器等多种传感器。陀螺仪传感器,加速度传感器等功耗较大的传感器,在手机的灭屏状态默认设置为关闭状态(即默认不工作)。磁传感器默认设置为打开状态(工作状态)。
在一些实施例中,手机上设置有磁传感器,磁传感器可以感应到磁性物体的磁场。比如,磁传感器可以是霍尔传感器、磁力计等。示例性的,如图12,在手机的两个屏幕上分别设置磁传感器和含磁物体,磁传感器和含磁物体相对设置;磁传感器或含磁物体均未设置于转轴上。在一种实现方式中,主屏和副屏之间的夹角为0时,磁传感器和含磁物体在主屏上的投影存在部分重叠。磁传感器和含磁物体之间的距离随两个屏幕之间夹角增大而增大,磁传感器检测到的磁场强度随两个屏幕之间夹角增大而减小。一般而言,磁传感器和含磁物体在主屏上的投影的重叠面积越大,在主屏和副屏重叠时,磁传感器检测到的磁场强度越大。当手机的两个屏幕折叠在一起时,磁传感器靠近含磁物体,可以感应到含磁物体的磁场。当手机的两个屏幕展开时,磁传感器远离含磁物体。示例性的,磁传感器为磁力计,含磁物体为具有磁性的扬声器。磁力计设置在与扬声器相对的另一屏幕上,当主屏和副屏之间的夹角为0时,磁力计和扬声器在主屏上的投影存在部分重叠。可选的,当主屏和副屏之间的夹角为0时,磁力计在主屏上的投影完全包含于扬声器在主屏上的投影。当磁力计靠近扬声器时,磁力计的磁通量增大;当磁力计远离扬声器时,磁力计的磁通量减小。
磁力计在坐标系三个轴上的磁通量绝对值的总和为fabs(x)+fabs(y)+fabs(z);其中,fabs(x)为磁力计在X轴上的磁通量的绝对值,fabs(y)为磁力计在Y轴上的磁通量的绝对值,fabs(z)为磁力计在Z轴上的磁通量的绝对值。
在手机为折叠状态,且为灭屏状态时,如果确定磁力计检测的磁场变化数据满足预设条件,预设条件为在坐标系三个轴上的磁通量绝对值的总和小于第一门限,则确定主屏和副屏被展开。示例性的,将主屏和副屏的夹角为20°时,磁力计在坐标系三个轴上的磁通量绝对值的总和设置为第一门限。
示例性的,磁力计检测到其在坐标系三个轴上的磁通量绝对值的总和小于第一门限,则向应用程序上报第一值;磁力计检测到其在坐标系三个轴上的磁通量绝对值的总和大于或等于第一门限,则向应用程序上报第二值。应用程序确定在手机的折叠状态接收到第一值,则确定主屏和副屏被展开。
在手机的灭屏状态,应用程序确定主屏和副屏被展开,则启动陀螺仪传感器、加速度传感器等默认设置为关闭状态的传感器,即将陀螺仪传感器、加速度传感器等设置为打开状态。
在一些实施例中,在手机的灭屏状态,手机确定主屏和副屏被展开,还可以点亮手机的主屏和副屏。
本申请实施例提供的多传感器应用于具有柔性屏幕的电子设备的方法,当手机处于折叠状态且为灭屏状态时,磁传感器正常工作,其它传感器不工作。磁传感器检测到主屏和副屏被展开,则启动其它传感器。这样,可以降低手机在灭屏状态时的功耗。
具有柔性屏幕的电子设备,当电子设备处于折叠状态时,可以由主屏或副屏进行显示。如果用户想从当前屏幕切换到另一个屏幕进行显示,可以将手机进行翻转。手机检测到用户翻转手机的操作,则可以进行切屏处理,即将当前显示内容的屏幕灭屏,点亮另一屏幕,在另一屏幕上显示内容。
在一些实施例中,手机切屏后屏幕显示的内容与切屏前屏幕显示的内容相同。示例性的,如图13的(a),在折叠状态,手机的主屏显示桌面。响应于用户翻转手机的操作,手机的主屏灭屏,副屏点亮,并显示桌面,如图13的(b)所示。
在一些实施例中,手机切屏后屏幕显示的内容与切屏前屏幕显示的内容不同。示例性的,手机的副屏上设置有摄像头。如图14的(a),在手机的折叠状态,用户使用摄像头对面前的物体(花)进行拍照。主屏点亮,显示拍照预览画面,主屏显示花的图像;副屏灭屏。用户可以翻转手机,使用摄像头自拍。如图14的(b),响应于用户翻转手机的操作,手机的主屏灭屏,副屏点亮,显示自拍预览画面,副屏显示自拍图像。
本申请实施例提供一种多传感器应用于具有柔性屏幕的电子设备的方法,当电子设备在折叠状态,一个屏幕(主屏或副屏)点亮,另一个屏幕灭屏时,可以根据传感器的输出数据确定手机接收到用户翻转手机的操作,并进行切屏处理。
在一些实施例中,手机根据传感器的输出数据确定手机的物理形态为折叠状态。
在一种实现方式中,可以利用多传感器来确定手机的姿态。比如,手机的主屏上设置一个陀螺仪传感器GYRO1和一个加速度传感器ACC1;手机的副屏上设置一个陀螺仪传感器GYRO2和一个加速度传感器ACC2。手机可以根据GYRO1、ACC1、GYRO2和ACC2的输出数据确定手机的姿态;若确定主屏和副屏之间的夹角α大于或等于0°并且小于或等于第二阈值(例如20°),则确定手机处于折叠状态。具体实现方式可以参考前文实施例的描述,此处不再赘述。
在另一种实现方式中,可以利用磁传感器确定手机为折叠状态。比如,手机的两个屏幕上分别设置磁传感器和含磁物体,磁传感器和含磁物体相对设置;磁传感器或含磁物体均未设置于转轴上。当手机的两个屏幕折叠在一起时,磁传感器靠近含磁物体,可以感应到含磁物体的磁场。当手机的两个屏幕展开时,磁传感器远离含磁物体。示例性的,磁传感器为磁力计,含磁物体为具有磁性的扬声器。当磁力计靠近扬声器时,磁力计的磁通量变大;当磁力计远离扬声器时,磁力计的磁通量变小。示例性的,磁传感器和含磁物体的位置如图12所示。
磁力计在坐标系三个轴上的磁通量绝对值的总和为fabs(x)+fabs(y)+fabs(z);其中,fabs(x)为磁力计在X轴上的磁通量的绝对值,fabs(y)为磁力计在Y轴上的磁通量的绝对值,fabs(z)为磁力计在Z轴上的磁通量的绝对值。
如果确定磁力计在坐标系三个轴上的磁通量绝对值的总和大于或等于第一门限,则确定手机处于折叠状态。示例性的,将主屏和副屏的夹角为20°时,磁力计在坐标系三个轴上的磁通量绝对值的总和设置为第一门限。
在一些实施例中,手机根据传感器的输出数据确定接收到用户翻转手机的操作。
示例性的,如图15,用户翻转手机的操作可以包括单手翻转,双手翻转,换手翻转等。
如果手机检测到手机沿着一个轴转动的角度大于第一角度(比如,120°),则确定接收到用户翻转手机的操作。比如,手机可以沿着与手机长边平行的轴(Y轴)翻转,示例性的,如图16A和图16B。比如,手机可以沿着与手机短边平行的轴(X轴)翻转,示例性的,如图16C和图16D。
在一种实现方式中,手机可以根据陀螺仪传感器的输出数据确定手机沿着一个轴转动的角度。比如,陀螺仪传感器与手机的一个屏幕共坐标系,以陀螺仪传感器安装在主屏为例。如果确定陀螺仪传感器的输出数据在第一时长内的积分在X轴方向或Y轴方向的分量大于第一角度,则确定手机沿着X轴方向或Y轴方向转动的角度大于第一角度,则确定接收到用户翻转手机的操作。
示例性的,陀螺仪传感器的输出数据为转动角速度ω。ω在时长s内的积分Ω,即为时长s内手机转动的角度。比如,Ωx为Ω在X轴的分量,Ωx=0;Ωy为Ω在Y轴的分量,Ωy>0;Ωz为Ω在Z轴的分量,Ωz=0;则确定手机沿着Y轴的方向转动。如果Ωy大于第一角度,则确定手机沿着Y轴方向翻转。
在一些实施例中,手机确定接收到用户翻转手机的操作后,根据用户抓握手机的抓握姿势,确定是否执行切屏动作。在第一屏幕点亮的条件下,手机接收到用户翻转手机的操作后,如果确定用户的抓握姿势为第一屏幕朝向手掌,则响应于用户翻转手机的操作,执行切屏动作,点亮第二屏幕;如果确定用户的抓握姿势为第二屏幕朝向手掌,则不执行切屏动作,保持第一屏幕点亮。
示例性的,如图15,第一屏幕(主屏)点亮时,手机接收到用户翻转手机的操作,手机翻转后,用户的抓握姿势为第一屏幕(主屏)朝向手掌,手机响应于用户翻转手机的操作,执行切屏动作,点亮第二屏幕(副屏)。
示例性的,如图17,用户在手机的主屏上查看图片,然后将手机翻转,将主屏展示给其他人;手机不执行切屏动作。第一屏幕(主屏)点亮时,手机接收到用户翻转手机的操作,手机翻转后,用户的抓握姿势为第二屏幕(副屏)朝向手掌,手机不执行切屏动作,保持第一屏幕(主屏)点亮。
在一种实现方式中,手机可以通过触控器件上报的用户当前的触摸位置,使用预设的抓握算法确定用户当前抓握手机的抓握姿势。示例性的,手机根据触控器件上报的触摸点的坐标,确定用户在主屏和副屏的触摸面积;如果确定用户在主屏的触摸面积大于在副屏的触摸面积,则可以确定手机的主屏朝向手掌;如果确定用户在主屏的触摸面积小于在副屏的触摸面积,则可以确定手机的副屏朝向手掌。具体的抓握算法可以参考常规技术中的描述,此处不再赘述。当然,手机也可以结合其他传感器识别手机的具体朝向。例如,手机可在使用抓握算法识别用户的抓握姿势时同时开启摄像头检测是否捕捉到人脸信息。本申请对此不进行限定。
在一些实施例中,手机确定接收到用户翻转手机的操作,根据手机的姿态,确定是否执行切屏动作。比如,手机在静置主屏朝上态,接收到用户翻转手机的操作后;如果确定手机的姿态为静置副屏朝上态,则响应于用户翻转手机的操作,执行切屏动作,点亮副屏。比如,手机在静置副屏朝上态,接收到用户翻转手机的操作后;如果确定手机的姿态为静置主屏朝上态,则响应于用户翻转手机的操作,执行切屏动作,点亮主屏。手机根据传感器的输出数据确定手机姿态的方法可参考前述实施例,此处不再赘述。
在一些实施例中,存在用户多次连续翻转手机的情况。比如,确定手机沿着X轴方向或Y轴方向转动的角度为360°,则手机连续翻转了两次。在一种实现方式中,手机在用户翻转手机的过程中,不判断是否进行切屏动作;在用户翻转手机的操作停止后,确定是否执行切屏动作。比如,手机可以根据陀螺仪传感器的输出数据确定手机的转动速度。如果确定手机单位时长内的转动角度Ω/s大于零,则确定手机处于翻转过程中;如果手机单位时长内的转动角度Ω/s等于零,则确定手机的翻转过程停止。
在一些实施例中,手机在翻转切屏过程中,可能存在切屏错误的情况。手机确定当前点亮的屏幕错误,则可以执行切屏动作;这样,就可以纠正切屏错误的情况。
在一种实现方式中,手机记录当前点亮的屏幕(主屏或副屏)。示例性的,采用第一记录值记录当前点亮的屏幕,比如,第一记录值为1表示点亮主屏,第一记录值为0表示点亮副屏。手机在折叠状态初始点亮屏幕时,根据初始点亮的屏幕初始化第一记录值;手机每次执行切屏动作,则更新第一记录值。
手机每次执行切屏动作后,进行误切屏判断。比如,手机每次执行切屏动作后,确定用户当前抓握手机的抓握姿势(主屏朝向手掌或副屏朝向手掌);并根据第一记录值确定当前点亮的屏幕(主屏或副屏)。如果根据用户当前抓握手机的抓握姿势确定主屏朝向手掌,且根据第一记录值确定当前点亮的屏幕为主屏,则执行切屏动作,主屏灭屏,副屏点亮。如果根据用户当前抓握手机的抓握姿势确定副屏朝向手掌,且根据第一记录值确定当前点亮的屏幕为副屏,则执行切屏动作,副屏灭屏,主屏点亮。
示例性的,手机确定是否执行切屏动作的流程如图18。手机姿态识别模块根据ACC和GYRO的输出数据确定手机的姿态。抓握姿势识别模块根据TP的输出数据确定用户抓握手机的抓握姿势。翻转识别模块根据GYRO的输出数据确定是否接收到用户翻转手机的操作。数据融合模块根据手机姿态识别模块、抓握姿势识别模块和翻转识别模块的识别结果确定是否执行切屏动作。
示例性的,请参考图19,手机的应用程序框架层的传感器服务模块可以根据传感器的输出数据确定手机的姿态、手机的转动角度等数据。然后将融合的数据发送至硬件抽象层(hardware abstract layer,HAL)的智能翻转检测算法模块,智能翻转检测算法模块可以确定手机是否发生翻转。HAL设置有防误触算法模块,防误触算法模块根据智能翻转检测算法模块的检测结果,结合TP进程确定的抓握姿势,确定是否执行切屏动作。如果确定执行切屏动作,则通过输入***通知切屏模块切换屏幕。这样,就完成了一次切屏操作。进一步的,切屏模块执行切屏动作后,还可以通过状态和命令模块,通知对硬件层的TP特性值进行调整,做基准校准;以提高TP输出数据的准确性。
本申请实施例提供的多传感器应用于具有柔性屏幕的电子设备的方法,当电子设备在折叠状态,一个屏幕(主屏或副屏)点亮,另一个屏幕灭屏时,可以根据传感器的输出数据确定手机接收到用户翻转手机的操作,并结合用户抓握手机的抓握姿态或手机的姿态,进行是否执行切屏动作的判断。并且,还可以结合用户抓握手机的抓握姿态进行误切屏判断,对错误的切屏进行纠正。提高了手机在用户翻转手机时切换屏幕的准确性。
可以理解的是,上述电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例还提供一种电子设备,包括处理器,以及与处理器相连的存储器、输入设备和输出设备。其中,输入设备和输出设备可集成为一个设备,例如,可将柔性屏幕的触控器件作为输入设备,将柔性屏幕的显示器作为输出设备。
此时,如图20所示,上述电子设备可以包括:柔性屏幕2001,所述柔性屏幕2001包括触控器件2006和显示器2007;一个或多个处理器2002;一个或多个存储器2003;一个或多个传感器2008;一个或多个应用程序(未示出);以及一个或多个计算机程序2004,上述各器件可以通过一个或多个通信总线2005连接。其中该一个或多个计算机程序2004被存储在上述存储器2003中并被配置为被该一个或多个处理器2002执行,该一个或多个计算机程序2004包括指令,上述指令可以用于执行上述实施例中的各个步骤。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应实体器件的功能描述,在此不再赘述。
示例性的,上述处理器2002具体可以为图3所示的处理器110,上述存储器2003具体可以为图3所示的内部存储器121和/或外部存储器,上述柔性屏幕2001具体可以为图3所示的柔性屏幕194,上述传感器2008具体可以为图3所示的传感器模块180中的陀螺仪传感器180C、加速度传感器180D、磁传感器180E,还可以是触控器件180F、接近光传感器180H、环境光传感器180M、触摸传感器180L等一项或多项,本申请实施例对此不做任何限制。
本申请实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机程序代码,当上述处理器执行该计算机程序代码时,电子设备执行上述方法实施例涉及的各步骤中电子设备执行的相关方法步骤。
本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述方法实施例涉及的各步骤中电子设备执行的相关方法步骤。
其中,本申请实施例提供的电子设备、计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理器中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以使用硬件的形式实现,也可以使用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种多传感器应用于具有柔性屏幕的电子设备的方法,其特征在于,所述柔性屏幕至少包括第一屏幕和第二屏幕,所述第一屏幕和所述第二屏幕分别设置有至少一个传感器,所述方法包括:
显示在所述第一屏幕上的第一应用接收设置在所述第一屏幕上的传感器的第一数据,
所述第一应用根据所述第一数据改变所述第一应用的显示内容;
显示在所述第二屏幕上的第二应用接收设置在所述第二屏幕上的传感器的第二数据;
所述第二应用根据所述第二数据改变所述第二应用的显示内容;
其中;所述第一应用和所述第二应用同时前台运行。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一应用接收所述第二数据或者所述第二应用的显示内容;
所述第二应用接收所述第一数据或者所述第一应用的显示内容;
所述第一应用根据接收的第二数据或者所述第二应用的显示内容改变所述第一应用的显示内容;
所述第二应用根据接收的第一数据或者所述第一应用的显示内容改变所述第二应用的显示内容。
3.根据权利要求1或2所述的方法,其特征在于,
所述第一应用和所述第二应用为同一应用。
4.根据权利要求1-3任一项所述的方法,其特征在于,
所述第一应用和所述第二应用为游戏类应用。
5.根据权利要求1或2所述的方法,其特征在于,
所述第一应用为拍摄类应用,所述第二应用为视频播放类应用或者图片显示类应用。
6.根据权利要求1-3任一项所述的方法,其特征在于,
所述第一应用为支付类应用,所述第二应用为所述第一应用中的图片显示页面。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述传感器包括陀螺仪传感器,加速度传感器,磁力计,环境光传感器,或接近光传感器中至少一种。
8.一种多传感器应用于具有柔性屏幕的电子设备的方法,其特征在于,所述柔性屏幕至少包括第一屏幕和第二屏幕,所述电子设备上设置有多个传感器,所述多个传感器包括第一传感器和第二传感器,所述第一传感器为磁力计,所述磁力计设置在所述第一屏幕上,所述第二屏幕上设置有含磁物体,所述方法包括:
若所述第一传感器检测的磁场变化数据满足预设条件,则所述电子设备确定所述第一屏幕和所述第二屏幕被展开;其中,所述电子设备处于灭屏状态时,所述第一传感器为打开状态,所述第二传感器为关闭状态;
响应于所述第一屏幕和所述第二屏幕被展开,所述电子设备将所述第二传感器设置为打开状态。
9.根据权利要求8所述的方法,其特征在于,
所述磁场变化数据的预设条件为,在坐标系三个轴上的磁通量绝对值的总和小于第一门限。
10.根据权利要求8或9所述的方法,其特征在于,所述方法还包括:
响应于所述第一屏幕和所述第二屏幕被展开,所述电子设备点亮所述第一屏幕和所述第二屏幕。
11.根据权利要求8-10任一项所述的方法,其特征在于,
所述第一屏幕和所述第二屏幕之间的夹角为0时,所述磁力计和所述含磁物体在所述第一屏幕上的投影存在部分重叠。
12.根据权利要求11所述的方法,其特征在于,
所述磁力计和所述含磁物体之间的距离随所述第一屏幕和所述第二屏幕之间夹角增大而增大。
13.根据权利要求8-12任一项所述的方法,其特征在于,所述第二传感器包括陀螺仪传感器,加速度传感器中至少一种。
14.一种电子设备,其特征在于,包括:
柔性屏幕,所述柔性屏幕至少包括第一屏幕和第二屏幕,所述第一屏幕和所述第二屏幕分别设置有至少一个传感器;
一个或多个处理器;
一个或多个存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述一个或多个存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求1-7任一项所述的方法。
15.一种电子设备,其特征在于,包括:
柔性屏幕,所述柔性屏幕至少包括第一屏幕和第二屏幕,所述第二屏幕上设置有含磁物体;
一个或多个处理器;
一个或多个存储器;
多个传感器,所述多个传感器包括第一传感器和第二传感器,所述第一传感器为磁力计,所述磁力计设置在所述第一屏幕上;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述一个或多个存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求8-13任一项所述的方法。
16.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-13任一项所述的方法。
17.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-13任一项所述的方法。
CN201910667547.XA 2019-07-23 2019-07-23 多传感器应用于具有柔性屏幕的电子设备的方法及电子设备 Active CN110536004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910667547.XA CN110536004B (zh) 2019-07-23 2019-07-23 多传感器应用于具有柔性屏幕的电子设备的方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910667547.XA CN110536004B (zh) 2019-07-23 2019-07-23 多传感器应用于具有柔性屏幕的电子设备的方法及电子设备

Publications (2)

Publication Number Publication Date
CN110536004A true CN110536004A (zh) 2019-12-03
CN110536004B CN110536004B (zh) 2021-08-31

Family

ID=68660674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910667547.XA Active CN110536004B (zh) 2019-07-23 2019-07-23 多传感器应用于具有柔性屏幕的电子设备的方法及电子设备

Country Status (1)

Country Link
CN (1) CN110536004B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111610821A (zh) * 2020-04-01 2020-09-01 联想(北京)有限公司 一种电子设备
CN111651441A (zh) * 2020-05-11 2020-09-11 北京小米移动软件有限公司 数据处理方法及装置、计算机存储介质
CN112596600A (zh) * 2020-12-16 2021-04-02 惠州Tcl移动通信有限公司 屏幕解锁方法、装置、存储介质及移动终端
WO2021139767A1 (zh) * 2020-01-08 2021-07-15 华为技术有限公司 亮屏控制方法及电子设备
CN113542453A (zh) * 2020-03-31 2021-10-22 北京小米移动软件有限公司 一种折叠屏终端设备、其状态检测方法和电子设备
CN113703519A (zh) * 2020-05-21 2021-11-26 北京小米移动软件有限公司 折叠屏姿态确定方法、装置及存储介质
WO2022075490A1 (ko) * 2020-10-05 2022-04-14 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN114489534A (zh) * 2021-07-23 2022-05-13 荣耀终端有限公司 可折叠的电子设备的显示切换方法、电子设备及介质
CN115002250A (zh) * 2021-11-19 2022-09-02 荣耀终端有限公司 合页角度的检测方法及相关设备
CN115077460A (zh) * 2021-11-19 2022-09-20 荣耀终端有限公司 合页角度的检测方法及相关设备
CN115113747A (zh) * 2022-08-22 2022-09-27 荣耀终端有限公司 触控笔的使用方法、***及触控笔
CN116033051A (zh) * 2022-08-10 2023-04-28 荣耀终端有限公司 折叠屏的折叠角度检测方法、装置及可读存储介质
CN116048246A (zh) * 2022-08-25 2023-05-02 荣耀终端有限公司 一种显示组件及显示设备的控制方法
CN116366750A (zh) * 2021-12-28 2023-06-30 荣耀终端有限公司 折叠屏夹角的确定方法及其相关设备
CN116415951A (zh) * 2021-12-28 2023-07-11 荣耀终端有限公司 显示二维码的方法和电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399684A (zh) * 2013-07-03 2013-11-20 惠州Tcl移动通信有限公司 一种大小可变的显示屏幕、移动终端及其实现方法
WO2017031713A1 (en) * 2015-08-26 2017-03-02 Hewlett-Packard Development Company, L.P. Display unit with a base
CN107632895A (zh) * 2017-08-31 2018-01-26 维沃移动通信有限公司 一种信息共享方法及移动终端
EP3276478A1 (en) * 2016-07-26 2018-01-31 Beijing Xiaomi Mobile Software Co., Ltd. Mobile terminal and method for determining scrolling speed
WO2018098918A1 (zh) * 2016-11-30 2018-06-07 华为技术有限公司 控制终端设备的方法和终端设备
CN108196773A (zh) * 2017-11-30 2018-06-22 努比亚技术有限公司 柔性屏终端的控制方法、终端和计算机可读存储介质
CN108227897A (zh) * 2017-11-29 2018-06-29 努比亚技术有限公司 屏幕显示控制方法、柔性屏终端及计算机可读存储介质
CN108509780A (zh) * 2018-03-02 2018-09-07 陈参 一种安全性能良好的移动终端
CN108769382A (zh) * 2018-04-28 2018-11-06 努比亚技术有限公司 一种消息显示方法、穿戴设备及计算机可读存储介质
CN109491541A (zh) * 2018-10-31 2019-03-19 维沃移动通信有限公司 一种控制方法及移动终端
CN109947319A (zh) * 2019-03-15 2019-06-28 Oppo广东移动通信有限公司 电子设备中应用程序的管理方法、装置及电子设备
WO2019144814A1 (zh) * 2018-01-26 2019-08-01 维沃移动通信有限公司 显示屏的控制方法及移动终端

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399684A (zh) * 2013-07-03 2013-11-20 惠州Tcl移动通信有限公司 一种大小可变的显示屏幕、移动终端及其实现方法
WO2017031713A1 (en) * 2015-08-26 2017-03-02 Hewlett-Packard Development Company, L.P. Display unit with a base
EP3276478A1 (en) * 2016-07-26 2018-01-31 Beijing Xiaomi Mobile Software Co., Ltd. Mobile terminal and method for determining scrolling speed
WO2018098918A1 (zh) * 2016-11-30 2018-06-07 华为技术有限公司 控制终端设备的方法和终端设备
CN107632895A (zh) * 2017-08-31 2018-01-26 维沃移动通信有限公司 一种信息共享方法及移动终端
CN108227897A (zh) * 2017-11-29 2018-06-29 努比亚技术有限公司 屏幕显示控制方法、柔性屏终端及计算机可读存储介质
CN108196773A (zh) * 2017-11-30 2018-06-22 努比亚技术有限公司 柔性屏终端的控制方法、终端和计算机可读存储介质
WO2019144814A1 (zh) * 2018-01-26 2019-08-01 维沃移动通信有限公司 显示屏的控制方法及移动终端
CN108509780A (zh) * 2018-03-02 2018-09-07 陈参 一种安全性能良好的移动终端
CN108769382A (zh) * 2018-04-28 2018-11-06 努比亚技术有限公司 一种消息显示方法、穿戴设备及计算机可读存储介质
CN109491541A (zh) * 2018-10-31 2019-03-19 维沃移动通信有限公司 一种控制方法及移动终端
CN109947319A (zh) * 2019-03-15 2019-06-28 Oppo广东移动通信有限公司 电子设备中应用程序的管理方法、装置及电子设备

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139767A1 (zh) * 2020-01-08 2021-07-15 华为技术有限公司 亮屏控制方法及电子设备
CN113542453A (zh) * 2020-03-31 2021-10-22 北京小米移动软件有限公司 一种折叠屏终端设备、其状态检测方法和电子设备
CN111610821A (zh) * 2020-04-01 2020-09-01 联想(北京)有限公司 一种电子设备
CN111651441A (zh) * 2020-05-11 2020-09-11 北京小米移动软件有限公司 数据处理方法及装置、计算机存储介质
CN113703519A (zh) * 2020-05-21 2021-11-26 北京小米移动软件有限公司 折叠屏姿态确定方法、装置及存储介质
WO2022075490A1 (ko) * 2020-10-05 2022-04-14 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN112596600A (zh) * 2020-12-16 2021-04-02 惠州Tcl移动通信有限公司 屏幕解锁方法、装置、存储介质及移动终端
CN114489534B (zh) * 2021-07-23 2023-07-14 荣耀终端有限公司 可折叠的电子设备的显示切换方法、电子设备及介质
CN114489534A (zh) * 2021-07-23 2022-05-13 荣耀终端有限公司 可折叠的电子设备的显示切换方法、电子设备及介质
CN115077460A (zh) * 2021-11-19 2022-09-20 荣耀终端有限公司 合页角度的检测方法及相关设备
CN116781809B (zh) * 2021-11-19 2024-07-05 荣耀终端有限公司 合页角度的检测方法及相关设备
CN116399283B (zh) * 2021-11-19 2023-10-24 荣耀终端有限公司 合页角度的检测方法及相关设备
EP4207722A4 (en) * 2021-11-19 2024-04-17 Honor Device Co., Ltd. HINGE ANGLE DETECTION METHOD AND ASSOCIATED DEVICE
CN115002250B (zh) * 2021-11-19 2023-06-13 荣耀终端有限公司 合页角度的检测方法及相关设备
CN115002250A (zh) * 2021-11-19 2022-09-02 荣耀终端有限公司 合页角度的检测方法及相关设备
CN116781809A (zh) * 2021-11-19 2023-09-19 荣耀终端有限公司 合页角度的检测方法及相关设备
CN116399283A (zh) * 2021-11-19 2023-07-07 荣耀终端有限公司 合页角度的检测方法及相关设备
CN116366750A (zh) * 2021-12-28 2023-06-30 荣耀终端有限公司 折叠屏夹角的确定方法及其相关设备
CN116415951A (zh) * 2021-12-28 2023-07-11 荣耀终端有限公司 显示二维码的方法和电子设备
WO2023124177A1 (zh) * 2021-12-28 2023-07-06 荣耀终端有限公司 折叠屏夹角的确定方法及其相关设备
CN116366750B (zh) * 2021-12-28 2024-04-16 荣耀终端有限公司 折叠屏夹角的确定方法及其相关设备
CN116415951B (zh) * 2021-12-28 2024-06-07 荣耀终端有限公司 显示二维码的方法和电子设备
CN116033051B (zh) * 2022-08-10 2023-10-20 荣耀终端有限公司 折叠屏的折叠角度检测方法、装置及可读存储介质
CN116033051A (zh) * 2022-08-10 2023-04-28 荣耀终端有限公司 折叠屏的折叠角度检测方法、装置及可读存储介质
CN115113747A (zh) * 2022-08-22 2022-09-27 荣耀终端有限公司 触控笔的使用方法、***及触控笔
CN116048246B (zh) * 2022-08-25 2023-11-10 荣耀终端有限公司 一种显示组件及显示设备的控制方法
CN116048246A (zh) * 2022-08-25 2023-05-02 荣耀终端有限公司 一种显示组件及显示设备的控制方法

Also Published As

Publication number Publication date
CN110536004B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN110536004A (zh) 多传感器应用于具有柔性屏幕的电子设备的方法及电子设备
CN110445978A (zh) 一种拍摄方法及设备
CN110012154A (zh) 一种具有折叠屏的电子设备的控制方法及电子设备
CN109271081B (zh) 滚动截屏的方法及电子设备
CN109782944A (zh) 一种触摸屏的响应方法及电子设备
CN110119295A (zh) 一种显示控制方法及相关装置
CN113645351B (zh) 应用界面交互方法、电子设备和计算机可读存储介质
CN109981839A (zh) 一种具有柔性屏幕的电子设备的显示方法及电子设备
CN109766043A (zh) 电子设备的操作方法和电子设备
CN109951633A (zh) 一种拍摄月亮的方法和电子设备
CN110506416A (zh) 一种终端切换摄像头的方法及终端
CN110072070A (zh) 一种多路录像方法及设备
WO2021036585A1 (zh) 一种柔性屏显示方法和电子设备
CN110286972A (zh) 一种折叠屏显示应用的方法及电子设备
CN109917956A (zh) 一种控制屏幕显示的方法和电子设备
CN109584879A (zh) 一种语音控制方法及电子设备
CN109496423A (zh) 一种拍摄场景下的图像显示方法及电子设备
CN110381282A (zh) 一种应用于电子设备的视频通话的显示方法及相关装置
CN110035141A (zh) 一种拍摄方法及设备
CN110032307A (zh) 一种应用图标的移动方法及电子设备
CN110347269A (zh) 一种空鼠模式实现方法及相关设备
CN110798568B (zh) 具有折叠屏的电子设备的显示控制方法及电子设备
CN111475077A (zh) 显示控制方法及电子设备
CN110012130A (zh) 一种具有折叠屏的电子设备的控制方法及电子设备
CN110531864A (zh) 一种手势交互方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant