CN112307483A - 可信用户界面的显示方法及电子设备 - Google Patents

可信用户界面的显示方法及电子设备 Download PDF

Info

Publication number
CN112307483A
CN112307483A CN201910696969.XA CN201910696969A CN112307483A CN 112307483 A CN112307483 A CN 112307483A CN 201910696969 A CN201910696969 A CN 201910696969A CN 112307483 A CN112307483 A CN 112307483A
Authority
CN
China
Prior art keywords
screen
display state
tui
display
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910696969.XA
Other languages
English (en)
Inventor
张朋
刘晨光
田建亮
王莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910696969.XA priority Critical patent/CN112307483A/zh
Priority to PCT/CN2020/105844 priority patent/WO2021018247A1/zh
Publication of CN112307483A publication Critical patent/CN112307483A/zh
Priority to US17/587,234 priority patent/US11994905B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/1618Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/84Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/30Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322Aspects of commerce using mobile devices [M-devices]
    • G06Q20/3223Realising banking transactions through M-devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/032Protect output to user by software means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/02Flexible displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了可信用户界面的显示方法及电子设备,应用于具有折叠屏的电子设备,方法包括:响应于用户对电子设备的第一操作,使折叠屏从第一显示状态改变为第二显示状态;在第二显示状态对应的屏上显示CA的用户界面UI;响应于用户在CA的UI上的第二操作,触发在第二显示状态对应的屏上显示CA对应的可信用户界面TUI,且TUI与第二显示状态对应的屏适配。本申请能够实现让CA对应的TA的可信用户界面(TUI)自动适配折叠屏的屏幕变化,提升用户体验。

Description

可信用户界面的显示方法及电子设备
技术领域
本发明涉及电子设备领域,尤其涉及可信用户界面(TUI)的显示方法及电子设备。
背景技术
现如今,手机等电子设备已经被广泛普及和使用,一方面,移动支付或网银或手机银行 等已成为人们日常消费的重要支付方式。移动支付是指用户借助移动终端(通常是手机)对所 消费的商品或服务进行账务支付的一种服务方式。移动支付在为用户带来便利的同时,其安 全性也一直是备受关注的问题。移动支付类应用通常运行在开放式的富执行环境(Rich Execution Environment,REE)中,REE中的应用程序也称为客户应用(clientapplication, CA),CA运行于通用处理器上的诸如
Figure BDA0002149637920000011
等终端操作***。这种开放式的环境为 信息泄露和恶意软件传播提供了通道。为了提高移动支付对安全性的要求,开放移动终端组 织(Open Mobile Terminal Platform,OMTP)提出了可信执行环境(Trusted Execution Environment,TEE)的概念。TEE是运行于REE之外的独立运行环境,并且与REE隔离。TEE 中的应用程序都是专门定制的可信应用程序(trusted application,TA),TA可以通过TEE 的内部接口访问TEE的硬件和软件资源。而REE中的CA无法直接访问TEE的硬件和软件资源, 只有在通过TEE身份认证的情况下,REE中的CA才可以通过TEE提供的应用编程接口 (Application Programming Interface,API)调用TEE的资源或服务,如安全存储,安全 显示/输入等。这样,在移动支付场景下,如果涉及敏感信息的输入和显示,REE侧的CA可 以调用TEE中的安全显示/输入TA,以显示符合GP规范的可信用户界面(Trusted User Interface,TUI),使用户通过TUI保护用户的敏感信息,比如个人识别码(Personal Identification Number,PIN)的输入以及交易信息的确认。TUI显示后,整个屏幕显示区 域交由TEE接管,并完全阻止REE对显示区域的访问,从而防止了REE中的CA对用户敏感信 息的恶意程序监听和窃取。
另一方面,随着屏幕技术的发展,电子设备的显示屏也变得越来越大,以给用户提供更 丰富的信息,带给用户更好的使用体验。但是,电子设备的显示屏太大会给携带造成不便。 因此,近年来所提出的具有折叠屏的电子设备(如折叠屏手机)是电子设备的重要发展方向。
在实际应用中,当折叠屏的屏幕状态(如折叠状态)发生变化时,Android侧会发出广 播,通知给REE中的应用程序CA,CA的用户界面(User Interface,UI)通过图形处理器(Graphics Processing Unit,GPU)的处理实现自适应的屏幕显示适配。但是,由于TEE与Android为隔离的***,且TEE中通常没有GPU等复杂显示***,所以对于TEE来说,TEE无 法感知折叠屏的屏幕状态变化。这样会造成在移动支付等场景下,CA对应的TA的可信用户 界面(TUI)无法自动适配折叠屏的屏幕变化,从而给用户的使用带来了不便。
发明内容
本发明实施例提供了可信用户界面的显示方法及电子设备,能够实现让CA对应的TA的 可信用户界面(TUI)自动适配折叠屏的屏幕变化,提升用户体验。
第一方面,本发明实施例提供了一种可信用户界面的显示方法,所述方法应用于具有折 叠屏的电子设备,所述折叠屏包括至少两个屏,所述电子设备上运行有客户应用CA,所述方 法包括:响应于用户对所述电子设备的第一操作,使所述折叠屏从第一显示状态改变为第二 显示状态;其中,所述第一显示状态表示所述至少两个屏中的至少一个屏为显示状态,所述 第二显示状态表示所述至少两个屏中的至少一个屏为显示状态,且所述第一显示状态对应的 屏和所述第二显示状态对应的屏不同;在所述第二显示状态对应的屏上显示所述CA的用户界 面UI;响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显示状态对应的屏 上显示所述CA对应的可信用户界面TUI,且所述TUI与所述第二显示状态对应的屏适配。
可以看到,本发明实施例中,对于具有折叠屏的电子设备,当应用业务所处的折叠屏的 显示状态发生变化时,本发明实施例既可以实现在折叠屏上自适应显示CA的UI,也可以实 现在折叠屏上自适应显示TA的TUI,能够解决了折叠屏用户的痛点问题,极大提升了用户体 验。
基于第一方面,在可能的实施例中,所述第一操作为将所述折叠屏展开成全屏显示的操 作;所述第一显示状态表示所述至少两个屏中的一个屏为显示状态,所述第二显示状态表示 所述至少两个屏为显示状态。
基于第一方面,在可能的实施例中,所述第一操作为将所述折叠屏折叠成单屏显示的操 作;所述第一显示状态表示所述至少两个屏为显示状态,所述第二显示状态表示所述至少两 个屏中的一个屏为显示状态。
基于第一方面,在可能的实施例中,所述第一操作为将所述电子设备翻转以使所述折叠 屏从第一单屏显示切换为第二单屏显示的操作。
所述第一显示状态表示所述至少两个屏中的第一屏为显示状态,所述第二显示状态表示 所述至少两个屏中的第二屏为显示状态。
基于第一方面,在可能的实施例中,在触发在所述第二显示状态对应的屏上显示所述CA 的TUI之后,所述方法还包括:
响应于所述用户对所述电子设备的第三操作,确定所述折叠屏从第二显示状态改变为第 三显示状态,所述第三显示状态表示所述至少两个屏中的至少一个屏为显示状态,且所述第 三显示状态对应的屏和所述第二显示状态对应的屏不同;
在所述第三显示状态对应的屏中退出所述TUI,以及显示所述CA的所述UI;
响应于所述用户在所述CA的所述UI上的第四操作,触发在所述第三显示状态对应的屏 上显示所述CA的所述TUI,且所述TUI与所述第三显示状态对应的屏适配。
第三操作例如为将折叠屏进行折叠的操作(从全屏折叠为单屏),或者,将折叠屏进行展 开的操作(从单屏展开为全屏),或者,翻转电子设备的操作(从一种单屏显示翻转为另一种 单屏显示)。
基于第一方面,在可能的实施例中,第四操作和所述第二操作为相同的操作。
基于第一方面,在可能的实施例中,所述第三显示状态对应的屏和所述第一显示状态对 应的屏相同;
或者,所述第三显示状态对应的屏和所述第一显示状态对应的屏不同。
基于第一方面,在可能的实施例中,所述TUI与所述第二显示状态对应的屏适配是指: 所述TUI在所述第二显示状态对应的屏上占满整个屏幕。
基于第一方面,在可能的实施例中,所述TUI与所述第二显示状态对应的屏适配是指: 所述TUI在所述第二显示状态对应的屏上占据部分屏幕。
基于第一方面,在可能的实施例中,所述电子设备部署有富执行环境REE模块和可信执 行环境TEE模块,所述CA运行于所述REE模块;所述CA对应的可信应用TA运行于所述TEE 模块;
所述在所述第二显示状态对应的屏上显示所述CA的UI,包括:
通过所述REE模块,在所述第二显示状态对应的屏上显示所述CA的UI。
所述响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显示状态对应的屏 上显示所述CA对应的TUI,包括:
通过所述TEE模块,响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显 示状态对应的屏上显示所述TA在TEE模块中的TUI。
基于第一方面,在可能的实施例中,所述响应于用户对所述电子设备的第一操作,确定 所述折叠屏从第一显示状态改变为第二显示状态,包括:
通过REE模块,当所述折叠屏的从所述第一显示状态改变为所述第二显示状态时,获得 所述折叠屏在所述第二显示状态对应的屏幕信息。
通过所述REE模块,将所述屏幕信息传输至TEE模块。
基于第一方面,在可能的实施例中,所述响应于所述用户在所述CA的UI上的第二操作, 触发在所述第二显示状态对应的屏上显示所述TA在TEE模块中的TUI,所述TUI与所述第二 显示状态对应的屏适配,包括:
通过所述REE模块,响应于所述用户在所述CA的UI上的第二操作,触发TUI显示请求。
通过所述REE模块,将所述TUI显示请求发送至在所述TEE模块,以便于在所述TEE模 块中调用所述CA对应的所述TA。
基于第一方面,在可能的实施例中,所述响应于所述用户在所述CA的UI上的第二操作, 触发在所述第二显示状态对应的屏上显示所述TA在TEE模块中的TUI,所述TUI与所述第二 显示状态对应的屏适配,包括:
通过所述TEE模块,接收所述TUI显示请求。
通过所述TEE模块,根据所述屏幕信息绘制所述TA在TEE模块中的TUI,以使所述TUI 与所述第二显示状态对应的屏适配。
通过所述TEE模块,在所述第二显示状态对应的屏上显示所述TUI。
基于第一方面,在可能的实施例中,所述根据所述屏幕信息绘制所述TA在TEE模块中的 TUI,以使所述TUI与所述第二显示状态对应的屏适配,包括:
通过所述TEE模块,根据所述屏幕信息获得坐标变换信息。
通过所述TEE模块,根据所述坐标变换信息绘制所述TUI,所述TUI的尺寸与所述第二 显示状态对应的屏的尺寸一致,或者所述TUI的尺寸小于所述第二显示状态对应的屏的尺寸。
基于第一方面,在可能的实施例中,所述通过所述REE模块将所述屏幕信息传输至所述 TEE模块,包括:
通过所述REE模块,对所述屏幕信息进行加密,获得经加密的屏幕信息。
通过所述REE模块,验证用于传输所述经加密的屏幕信息的进程是否为***服务。
通过所述REE模块,在所述进程为***服务的情况下,调用驱动接口将所述经加密的屏 幕信息传输至所述TEE模块。
可以看到,本发明实施例中,对于具有折叠屏的电子设备,当应用业务所处的折叠屏的 显示状态发生变化时,可通过REE模块将当前折叠屏的屏幕信息(最新的屏幕信息)传递到TEE侧的自适应显示模块,使得TEE侧可以实时获取折叠屏的屏幕信息,打造了一条可行的 信息传输通道;通过TEE模块对屏幕信息进行处理,实现TUI的界面对当前折叠屏的屏幕的 自动适配,利用软件算法的方式(而非GPU显示的方式)来实现TUI的自适应显示,能够解 决了折叠屏用户的痛点问题,极大提升了用户体验。
基于第一方面,在可能的实施例中,所述通过所述REE模块将所述屏幕信息传输至所述 TEE模块,包括:
通过所述TEE模块,根据所述屏幕信息验证用于传输所述屏幕信息的进程的身份。
通过所述TEE模块,在验证通过的情况下,解密获得所述屏幕信息。
第二方面,本发明实施例了一种具有折叠屏的电子设备,所述折叠屏包括至少两个屏, 所述电子设备上运行有客户应用CA,包括:
富执行环境REE模块,用于响应于用户对所述电子设备的第一操作,使所述折叠屏从第 一显示状态改变为第二显示状态;其中,所述第一显示状态表示所述至少两个屏中的至少一 个屏为显示状态,所述第二显示状态表示所述至少两个屏中的至少一个屏为显示状态,且所 述第一显示状态对应的屏和所述第二显示状态对应的屏不同;还用于,在所述第二显示状态 对应的屏上显示所述CA的用户界面UI。
可信执行环境TEE模块,用于响应于所述用户在所述CA的UI上的第二操作,触发在所 述第二显示状态对应的屏上显示所述CA对应的可信用户界面TUI,且所述TUI与所述第二显 示状态对应的屏适配。
可以看到,本发明实施例中,对于具有折叠屏的电子设备,当应用业务所处的折叠屏的 显示状态发生变化时,本发明实施例既可以通过REE模块实现在折叠屏上自适应显示CA的 UI,也可以通过TEE模块实现在折叠屏上自适应显示TA的TUI,能够解决了折叠屏用户的痛 点问题,极大提升了用户体验。
基于第二方面,在可能的实施例中,所述第一操作为将所述折叠屏展开成全屏显示的操 作。
所述第一显示状态表示所述至少两个屏中的一个屏为显示状态,所述第二显示状态表示 所述至少两个屏为显示状态。
基于第二方面,在可能的实施例中,所述第一操作为将所述折叠屏折叠成单屏显示的操 作。
所述第一显示状态表示所述至少两个屏为显示状态,所述第二显示状态表示所述至少两 个屏中的一个屏为显示状态。
基于第二方面,在可能的实施例中,所述第一操作为将所述电子设备翻转以使所述折叠 屏从第一单屏显示切换为第二单屏显示的操作。
所述第一显示状态表示所述至少两个屏中的第一屏为显示状态,所述第二显示状态表示 所述至少两个屏中的第二屏为显示状态。
基于第二方面,在可能的实施例中,所述REE模块还用于:响应于所述用户对所述电子 设备的第三操作,确定所述折叠屏从第二显示状态改变为第三显示状态,所述第三显示状态 表示所述至少两个屏中的至少一个屏为显示状态,且所述第三显示状态对应的屏和所述第二 显示状态对应的屏不同;在所述第三显示状态对应的屏中的所述TUI退出后,显示所述CA的 所述UI;
所述TEE模块还用于:响应于所述用户在所述CA的所述UI上的第四操作,触发在所述 第三显示状态对应的屏上显示所述CA的所述TUI,且所述TUI与所述第三显示状态对应的屏 适配。
基于第二方面,在可能的实施例中,第四操作和所述第二操作为相同的操作。
基于第二方面,在可能的实施例中,所述第三显示状态对应的屏和所述第一显示状态对 应的屏相同;或者,所述第三显示状态对应的屏和所述第一显示状态对应的屏不同。
基于第二方面,在可能的实施例中,所述TUI与所述第二显示状态对应的屏适配是指: 所述TUI在所述第二显示状态对应的屏上占满整个屏幕。
基于第二方面,在可能的实施例中,所述TUI与所述第二显示状态对应的屏适配是指: 所述TUI在所述第二显示状态对应的屏上占据部分屏幕。
基于第二方面,在可能的实施例中,所述REE模块用于:在所述第二显示状态对应的屏 上显示所述CA在REE模块中的UI。
所述TEE模块用于:响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显 示状态对应的屏上显示所述TA在TEE模块中的TUI。
基于第二方面,在可能的实施例中,所述REE模块具体用于:
当所述折叠屏的从所述第一显示状态改变为所述第二显示状态时,获得所述折叠屏在所 述第二显示状态对应的屏幕信息;将所述屏幕信息传输至TEE模块。
基于第二方面,在可能的实施例中,所述REE模块具体用于:响应于所述用户在所述CA 的UI上的第二操作,触发TUI显示请求。将所述TUI显示请求发送至在所述TEE模块,以便 于在所述TEE模块中调用所述CA对应的所述TA。
基于第二方面,在可能的实施例中,所述TEE模块具体用于:
接收所述TUI显示请求;根据所述屏幕信息绘制所述TA在TEE模块中的TUI,以使所述 TUI与所述第二显示状态对应的屏适配;在所述第二显示状态对应的屏上显示所述TUI。
基于第二方面,在可能的实施例中,所述TEE模块具体用于:
根据所述屏幕信息获得坐标变换信息。根据所述坐标变换信息绘制所述TUI,所述TUI 的尺寸与所述第二显示状态对应的屏的尺寸一致,或者所述TUI的尺寸小于所述第二显示状 态对应的屏的尺寸。
基于第二方面,在可能的实施例中,所述REE模块具体用于:
对所述屏幕信息进行加密,获得经加密的屏幕信息;验证用于传输所述经加密的屏幕信 息的进程是否为***服务;在所述进程为***服务的情况下,调用驱动接口将所述经加密的 屏幕信息传输至所述TEE模块。
基于第二方面,在可能的实施例中,所述REE模块具体用于:
根据所述屏幕信息验证用于传输所述屏幕信息的进程的身份;在验证通过的情况下,解 密获得所述屏幕信息。
基于第二方面,在可能的实施例中,为了实现让CA对应的TA的可信用户界面(TUI)自 动适配折叠屏的屏幕变化,在REE的用户态中还部署了屏幕状态感知模块,在TEE的用户态 中还部署了自适应显示模块。
屏幕状态感知模块可以是一种***服务的进程(daemon),本发明实施例中,屏幕状态感 知模块可用来监听折叠屏的显示状态。比如,屏幕状态感知模块可监听
Figure BDA0002149637920000051
操作***中 的广播。当折叠屏的显示状态发生改变时,
Figure BDA0002149637920000052
操作***广播该折叠屏的显示状态的变 化事件。屏幕状态感知模块通过监听获得屏幕信息,屏幕信息用于指示折叠屏当前的显示状 态。屏幕信息例如可包括当前折叠屏中的不同屏各自的显示状态信息,进一步地,屏幕信息 还可包括折叠屏中的不同屏的尺寸、分辨率等信息。
屏幕状态感知模块还可将屏幕信息发给TEE中的自适应显示模块。例如,屏幕状态感知 模块可调用TUI-switch功能或TUI-agent功能,以及利用TEE中global task功能,实现将 屏幕信息发给自适应显示模块。
在一种实现中,屏幕状态感知模块可包括监听功能的代码程序和TEE传输功能的程序代 码,监听功能的代码程序可用于通过监听***广播(例如,安卓***广播)获得当前折叠屏 的屏幕信息。TEE传输功能的程序代码可用于将屏幕信息发给TEE,例如可通过TUI代理,将 屏幕信息传输到TEE侧。
在一种实现中,屏幕状态感知模块可包括监听功能的代码程序和TEE传输功能的程序代 码,监听功能的代码程序可用于通过监听***广播(例如,安卓***广播)获得当前折叠屏 的屏幕信息,还可用于将屏幕信息发给GPU,以便于GPU实现对UI界面的自适应显示。TEE 传输功能的程序代码可用于将屏幕信息发给TEE,例如可通过TUI代理,将屏幕信息传输到 TEE侧。
自适应显示模块用于根据屏幕信息,将对TA的TUI的自适应显示到当前的折叠屏,即让 TUI的界面适配于当前折叠屏中处于显示状态的屏。具体的,自适应显示模块中动态保存所 接收的屏幕信息,即接收到新的屏幕信息时,在本地用新的屏幕信息替换掉旧的屏幕信息。 自适应显示模块可根据屏幕信息进行坐标转换处理,获得经处理的屏幕信息。根据该经处理 的屏幕信息,对所调用的TA的TUI的尺寸、分辨率等进行处理,进而实现TUI对折叠屏的屏 幕的自适应显示。
基于第二方面,在可能的实施例中,为了保证屏幕信息传输的安全性,在REE的用户态 中不仅部署屏幕状态感知模块,还部署有身份验证模块;在TEE的用户态中不仅部署了自适 应显示模块,还部署了会话密钥(session-key)验证模块。
屏幕状态感知模块可以是一种***服务的进程(daemon),本发明实施例中,屏幕状态感 知模块可用来监听折叠屏的显示状态。
进一步地,屏幕信息中还包括挑战值(或随机数),屏幕状态感知模块对屏幕信息进行加 密处理(举例来说,采用对称加密的方式进行加密),获得经加密的屏幕信息。
或者,可选的,屏幕状态感知模块对屏幕信息进行加密处理(举例来说,采用对称加密 的方式进行加密)。然后,屏幕状态感知模块可将经加密的屏幕信息与挑战值(或随机数)封 装在一个数据包。
屏幕状态感知模块还可将上述经加密的屏幕信息,或者上述数据包发给REE中的身份验 证模块。
身份验证模块用于对信息传递者的身份(如本文中的屏幕状态感知模块的身份)进行初 步认证,只允许***服务调用信息传递接口。具体的,身份验证模块可通过进程信息(process) 获取的信息传递者的身份信息,以确定信息传递者是否为***服务。这样,当信息传递者为 本文实施例中所设计屏幕状态感知模块时,由于身份验证模块可确定该屏幕状态感知模块为 ***服务,故身份验证模块将允许屏幕状态感知模块调用信息传递接口(调用TUI-switch功 能或TUI-agent功能),将上述经加密的屏幕信息,或者上述数据包发给TEE。而当信息传递 者为恶意攻击者所伪造的功能代码时,身份验证模块确认信息传递者不是***服务,将拒绝 信息传递者调用相关接口,避免不安全信息被传输到TEE侧,保证REE侧和TEE侧的信息安 全。
会话密钥验证模块和自适应显示模块可以分别独立部署于TEE的用户态,也可以将功能 整合在一起部署到TEE的用户态。为了方便,以下将以会话密钥验证模块和自适应显示模块 可以分别独立部署于TEE的用户态为例进行方案描述。
会话密钥验证模块用于解密屏幕信息,以及根据通过其所携带的挑战值(随机数)验证 信息传递者的身份信息。例如当挑战值(随机数)验证正确时,确认信息传递者的身份是合 法的,即确认信息传递者是本申请实施例设计的屏幕状态感知模块,而不是恶意的攻击者伪 装的功能代码。通过本次验证能够进一步地提升TEE侧的信息安全,例如,确保屏幕信息从 前述身份认证模块出来之后不会被篡改。
会话密钥验证模块进一步将解密的屏幕信息传输到自适应显示模块。
自适应显示模块用于根据屏幕信息,将对TA的TUI的自适应显示到当前的折叠屏,即让 TUI的界面适配于当前折叠屏中处于显示状态的屏。
第三方面,本发明实施例提供一种电子设备,该电子设备可以包括:一个或多个处理器、 存储器以及折叠屏;该折叠屏至少可以包括至少两个屏;一个或多个处理器、存储器、折叠 屏可以通过一个或多个通信总线连接;上述存储器中存储一个或多个计算机程序,一个或多 个处理器用于执行该一个或多个计算机程序;一个或多个计算机程序包括指令,该指令用于 执行如上述第一方面的可能的实现例中描述的方法步骤。
第四方面,本发明实施例提供一种计算机可读存储介质存储有计算机程序,所述计算机 程序包括程序指令,所述程序指令当被执行处理器执行时使所述处理器执行如第一方面任意 实施例所描述的方法。
第五方面,本发明实施例提供了一种计算机程序产品,当计算机程序产品运行于计算机 时,被执行以实现第一方面任意实施例描述的方法。
可以看到,本发明实施例中,对于具有折叠屏的电子设备,当应用业务所处的折叠屏的 显示状态发生变化时,可通过REE将当前折叠屏的屏幕信息(最新的屏幕信息)传递到TEE 侧,使得TEE侧可以实时获取折叠屏的屏幕信息,打造了一条可行的信息传输通道;通过TEE 侧对屏幕信息进行处理,实现TUI的界面对当前折叠屏的屏幕的自动适配,利用软件算法的 方式(而非GPU显示的方式)来实现TUI的自适应显示,能够解决了折叠屏用户的痛点问题, 极大提升了用户体验。
附图说明
图1是本发明实施例提供的一种折叠屏的示例图;
图2是本发明实施例提供的一种折叠屏的示例图;
图3是本发明实施例提供的一种折叠屏的示例图;
图4A-图4C是本发明实施例提供的一种折叠屏的三种显示状态的示例图;
图5是本发明实施例提供的一种电子设备的架构图;
图6是本发明实施例提供的一种电子设备的架构图;
图7是本发明实施例提供的一种***架构示意图;
图8是一种现有方案中TUI不能适配于折叠屏的应用场景示意图;
图9是本发明实施例提供的一种TUI适配于折叠屏的应用场景示意图;
图10是本发明实施例提供的一种TUI适配于折叠屏的应用场景示意图;
图11是本发明实施例提供的一种TUI适配于折叠屏的应用场景示意图;
图12是本发明实施例提供的一种TUI适配于折叠屏的应用场景示意图;
图13是本发明实施例提供的一种手机银行转账的应用场景示意图;
图14是本发明实施例提供的一种手机银行转账的应用场景示意图;
图15是本发明实施例提供的一种手机银行转账的应用场景示意图;
图16是本发明实施例提供的一种TUI显示方法的流程示意图;
图17A为本发明实施例提供的折叠屏的不同显示状态下所采用的物理坐标系的示例图;
图17B是本发明实施例提供的折叠屏的不同显示状态下所采用的绘图坐标系的示例图;
图18是本发明实施例提供的一种TUI显示方法的流程示意图;
图19是本发明实施例提供的一种TUI显示的流程示例图;
图20是本发明实施例提供的一种TUI显示方法的流程示意图;
图21是本发明实施例提供的一种TUI显示方法的流程示意图;
图22是本发明实施例提供的一种电子设备的结构示意图;
图23是本发明实施例提供的一种装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行详细描述。
本发明的说明书和权利要求书及附图中的术语“用户界面(UI)”和/或“可信用户界面 (TUI)”,可以是应用程序或操作***与用户之间进行交互和信息交换的图形界面,它可以是 用户可视的一个窗口、对话框、显示区域等等。应用程序的用户界面例如可以是通过java、 可扩展标记语言(extensible markup language,XML)等特定计算机语言编写的源代码,界 面源代码在终端设备上经过解析,渲染,最终呈现为用户可视的内容,比如图片、文字、按 钮等。视图(view)是用户界面的可视化组件,视图也称为控件(control)或部件(widget), 典型的视图有按钮(button)、文本字段(text field)、进度条(ProgressBar)、键盘 (keyboard)、图片、文字等。
本发明实施例提供的可信用户界面的显示方法可应用于具有折叠屏的电子设备。本发明 实施例中的电子设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、 超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、 个人数字助理(personal digital assistant,PDA)、增强现实(augmentedreality,AR)\ 虚拟现实(virtual reality,VR)设备等包括折叠屏的设备,本发明实施例对该设备的具体形 态不作特殊限制。
下面首先对折叠屏进行描述。
具有折叠屏的电子设备包括至少两个屏,各个屏的尺寸大小可以各有差异,也可以相同。 本文中,“屏”还可以被称为显示屏、屏幕、显示面板等。本文中,一个屏可以是指一块独立 完整的屏幕(或称一个独立的显示单元,如可受处理器整体控制),也可以是指一块完整的屏 幕中的一部分的显示区域。电子设备可以分别对不同的屏的显示状态进行控制。基于控制, 屏的显示状态具体可为该屏被开启显示的状态(如亮屏的状态),或者为该屏被关闭显示的状 态(如黑屏的状态)。不同的屏可基于连接机构(例如,铰链)进行可活动连接,在一些实现 中,该连接机构的外部也覆盖有显示屏(可称为联接屏或折叠边)。这样,折叠屏的不同屏可 基于外力(如用户用手展开),平铺展开为一个全屏进行显示。也可基于外力(如用户用手折 叠),折叠成一个单屏进行显示。举例来说,展开为全屏时可以是8英寸的全面屏进行显示, 折叠成单屏后可以是6.6英寸的一块屏幕进行显示或6.38英寸的一块屏幕进行显示。
通常的,折叠屏的折叠方案无非就是两种,一个是外折,一个是内折。外折是将折叠屏 的屏幕对半折过去,一面屏幕在正面,一面屏幕在背面。内折是将屏幕像笔记本那样合上, 然后再在外面设计一个屏幕,用来在折叠后进行显示。
示例性的,在本发明一些实施例中,折叠屏可以为柔性折叠屏。其中,柔性折叠屏包括 采用柔性材质制作的折叠边。该柔性折叠屏的部分或全部采用柔性材质制作。例如:该柔性 折叠屏中只有可折叠的部分(称为联接屏或折叠边)采用柔性材质制作,其它部分采用刚性材 质制作;或者,该柔性折叠屏全部采用柔性材质制作。该折叠屏可沿折叠边折叠形成多个(两 个或两个以上)屏。
本发明各实施例中,折叠屏包括至少两个屏,相邻的屏可绕着折叠轴转动,实现折叠屏 的展开或折叠。也就是说,折叠屏的屏幕状态可包括:展开状态和折叠状态。
展开状态表示折叠屏完全展开(即为全屏),折叠屏中的任意两个屏的夹角为180°。当 全屏用于显示时,折叠屏的显示状态为该全屏中的每个屏都为显示状态。
折叠状态表示折叠屏完全折叠(即被折叠成单屏),折叠屏中的任意两个屏的夹角为0° 或者360°。当折叠屏中的某个单屏用于显示时,折叠屏的显示状态为该单屏为显示状态(或 称开启状态,或称亮屏状态),而其他单屏可能是关闭状态(或称不显示状态,或称黑屏状态)。
参见图1,以图1所示的折叠屏为例,折叠屏包括两个独立的单屏和采用柔性材质制作 的折叠边。将折叠屏沿折叠边进行外折,可形成图1中的(a)所示的A屏101(单屏)和B屏 102(单屏)。A屏101和B屏102之间的夹角α为360°。当用户将该折叠屏逐渐展开时,A 屏101和B屏102之间的夹角α从360°逐渐趋向180°,如图1中的(b)所示。可以理解的, 当A屏101和B屏102之间的夹角α为180°时,即为全屏。
上述图1是将电子设备的折叠屏沿着纵向折叠,实现折叠屏的折叠的。当然,可能实现 中,也可以将电子设备的折叠屏沿着横向折叠,以实现折叠屏的折叠,这里不做限定。
参见图2,以图2所示的折叠屏为例,折叠屏包括两个独立的单屏和采用柔性材质制作 的折叠边。将折叠屏沿折叠边进行内折。图2中的(a)为全屏,当用户将该折叠屏逐渐折叠时, 可依次通过图2中的(b)、图2中的(c)和图2中的(d)所示的过程,实现将折叠屏沿折叠边进 行内折,可以理解的,全屏时,A屏和B屏之间的夹角为180°,内折过程中A屏和B屏之间 的夹角逐渐变小,A屏和B屏之间的夹角为0°时,A屏和B屏完全折叠在一起。此时后面的 C屏可用于显示,即C屏为单屏。
上述图2是将电子设备的折叠屏沿着横向折叠,实现折叠屏的折叠的。当然,可能实现 中,也可以将电子设备的折叠屏沿着纵向折叠,以实现折叠屏的折叠,这里不做限定。
参见图3,以图3所示的折叠屏为例,多屏折叠屏也可以包括三个(或三个以上)独立 的屏,相邻屏之间采用柔性材质制作的折叠边。这些屏可依次通过折叠轴连接。每个屏可以 绕与其连接的折叠轴转动。这些屏可以展开为全面,也可以折叠成多个单屏。如图3所示, 可将折叠屏沿折叠边进行外折。该折叠屏沿折叠边折叠后,可形成图3所示的A屏201(单 屏)、B屏202(单屏)和C屏203(单屏)。
需要说明的是,上述图1-图3所示的折叠屏仅用于示例性解释本发明的方案而非限定。
下面继续描述本发明实施例所涉及的折叠屏的显示状态,以及显示状态的改变。
综合参见图4A-图4C,图4A-图4C是一种示例性的折叠屏的三种显示状态的示意图。该 折叠屏可包括两个独立的单屏(A屏和B屏)和采用柔性材质制作的折叠边(或称联接屏)。 其中,A屏的屏幕尺寸大于等于B屏的屏幕尺寸,为了方便起见,可定义A屏为折叠屏的主 屏,B屏为折叠屏的副屏。当A屏和B屏平铺展开,即两者夹角为180°时,可将由A屏、B 屏以及两者之间的折叠边(或称联接屏)所形成的的统一体称为全屏。
图4A为展开状态(全屏)的示意图,当该折叠屏处于工作状态(显示状态)时,即表明 全屏中的A屏、B屏以及两者间的联接屏皆为显示状态。这样,该全屏中的任意区域均可用 于显示业务内容,用户可对该全屏中显示的业务内容进行相关操作,不限于点击、滑动、触 摸、靠近、按压等操作。
图4B为一种折叠状态(单屏)的示意图,比如一种实现中,当折叠屏处于折叠状态时, 用户单手握持该折叠屏,使得用户的拇指位于主屏侧,其他手指位于折叠屏的副屏侧,即主 屏朝向用户方向。此时,当该折叠屏处于工作状态(显示状态)时,可设置主屏为显示状态, 可用于显示业务内容,副屏不在显示状态(如不显示业务内容或者黑屏)。
图4C为又一种折叠状态(单屏)的示意图,比如一种实现中,当折叠屏处于折叠状态时, 用户单手握持该折叠屏,使得用户的拇指位于副屏侧,其他手指位于折叠屏的主屏侧,即副 屏朝向用户方向。此时,当该折叠屏处于工作状态(显示状态)时,可设置副屏为显示状态, 可用于显示业务内容,主屏不在显示状态(如不显示业务内容或者黑屏)。
本发明实施例中,电子设备的折叠屏包括至少两个独立的单屏,用户可对具有折叠屏的 电子设备进行某种操作(或称第一操作),从而使折叠屏的工作状态(显示状态)从第一显示 状态改变为第二显示状态。该第一显示状态表示该至少两个屏中的至少一个屏为显示状态, 第二显示状态表示该折叠屏的至少两个屏中的至少一个屏为显示状态,且第一显示状态对应 的屏和第二显示状态对应的屏不同。
示例性地,第一显示状态可以是上述图4A-图4C中所描述的一种折叠屏的显示状态。第 二显示状态可以是上述图4A-图4C中所描述的又一种折叠屏的显示状态。
例如,第一显示状态可以是图4B所示的折叠屏的显示状态(即主屏显示),第二显示状 态可以是图4A所示的折叠屏的显示状态(即全屏显示),用户可以通过对折叠屏进行展开操 作(第一操作),使折叠屏从第一显示状态改变为第二显示状态。
又例如,第一显示状态可以是图4C所示的折叠屏的显示状态(即副屏显示),第二显示 状态可以是图4A所示的折叠屏的显示状态(即全屏显示),用户可以通过对折叠屏进行展开 操作(第一操作),使折叠屏从第一显示状态改变为第二显示状态。
又例如,第一显示状态可以是图4A所示的折叠屏的显示状态(即全屏显示),第二显示 状态可以是图4B所示的折叠屏的显示状态(即主屏显示),用户可以通过对折叠屏进行折叠 操作(第一操作),使折叠屏从第一显示状态改变为第二显示状态。
又例如,第一显示状态可以是图4B所示的折叠屏的显示状态(即主屏显示),第二显示 状态可以是图4C所示的折叠屏的显示状态(即副屏显示),用户可以通过对该电子设备进行 翻转操作(第一操作),使折叠屏从第一显示状态改变为第二显示状态。
又例如,第一显示状态可以是图4B所示的折叠屏的显示状态(即主屏显示),第二显示 状态可以是图4C所示的折叠屏的显示状态(即副屏显示),用户可以通过对该电子设备进行 翻转操作(第一操作),使折叠屏从第一显示状态改变为第二显示状态。
又例如,第一显示状态可以是图4C所示的折叠屏的显示状态(即副屏显示),第二显示 状态可以是图4B所示的折叠屏的显示状态(即主屏显示),用户可以通过对该电子设备进行 翻转操作(第一操作),使折叠屏从第一显示状态改变为第二显示状态。
需要说明的是,本文中,所谓“单屏”“独立的单屏”“屏”应理解为具有相同的含义,这些名词基于描述方便的考虑在文中使用,其含义既可以指一块独立完整的屏幕(或称一个 独立的显示单元,如可受处理器整体控制),也可以是指一块完整的屏幕中的一部分的显示区 域。例如图4A中,主屏(A屏)和副屏(B屏)可以分别是一块完整的屏幕,也可以是全屏 (此时全屏可以认为是一块独立完整的屏幕)中的两部分的显示区域。
还需要说明的是,上文各实施例以及相关附图中所描述的折叠屏仅用于解释本申请的技 术方案而非限定。对折叠屏的各个屏的形状、外观、材质、屏幕数量、屏幕间的连接方式、 折叠方式均不做限定,对电子设备中可能存在的其他硬件,如摄像头、传感器、蜂鸣器等部 件的部署位置、数量等均不做限定。
下面描述本发明实施例的一种***架构。
图5示出了本发明实施例提供的一种电子设备100的架构图,如图5所示,电子设备100 包括硬件平台,以及运行在硬件平台上的互相隔离两个运行环境,即富执行环境(RichExecution Environment,REE)和可信执行环境(Trusted Execution Environment,TEE),两个运行环境分别有独立的硬件资源和操作***。本文中REE和TEE也可以分别称为REE模块和TEE模块。通过硬件隔离技术,例如
Figure BDA0002149637920000111
TrustZone机制,可以实现REE和TEE的硬件 资源的隔离,同时可通过虚拟化技术实现REE和TEE对应的操作***之间,以及应用之间的 隔离。这样,TEE所能访问的软硬件资源是与REE是分离的,并且,TEE对应用程序可访问的 数据和功能做了非常严格的限制,使其安全级别满足特定的安全需求,因此TEE可被认为是安全的执行环境。REE是TEE之外的运行环境,相比于TEE而言,也可以称为非安全的执行 环境。
其中,电子设备100的硬件平台例如包括公共外设和可信外设,可信外设包括只能被TEE 控制和访问的安全元件(Secure Element,SE),比如安全存储器、安全时钟、可信键盘等。 公共外设是可被REE中的操作***控制和访问的设备。
运行于TEE中的应用程序称为可信应用程序(trusted application,TA),TA的数量可 以有一个或多个(图5中仅以两个TA作为示例)。TA的界面可称为可信用户界面(Trusted User Interface,TUI)。运行于REE中的应用程序称为客户应用程序(clientapplication,CA), CA的数量可以有一个或多个(图5中仅以两个CA作为示例)。CA的界面可称为用户界面(User Interface,UI)。举例来说,CA具体可以是微信支付、支付宝、苹果支付应用、三星支付 应用、华为支付应用、银行客户端、手机盾应用、电子身份证、手机POS或其他等涉及账号、 密码等敏感信息输入的应用软件;TA是与CA对应的安全应用,用于进行CA中涉及的敏感信 息的输入操作。
关于本发明所有实施例涉及的REE、TEE、CA、TA等术语的定义,还可以参见全球平台组 织(Global
Figure BDA0002149637920000112
GP)提出的TEE相关标准。
运行于TEE中的TA可以为REE中的CA或者TEE内的其它TA提供安全相关的功能或服务。 在TEE中运行的可信的操作***可向TA提供TEE内部接口,TA通过TEE内部接口来获取安 全资源和服务的访问权限,这些安全资源和服务包括但不限于:密钥注入和管理、加密、安 全存储、安全时钟、可信用户界面(TUI)和可信键盘等。
运行在REE中的CA可以利用TEE提供的外部接口来请求TEE中的TA所提供的安全服务。 在REE中运行的操作***(例如
Figure BDA0002149637920000121
Windows Phone等终端操作***)可提供 了比TEE中的可信的操作***更丰富的特性,能接受各种类型的应用程序,但其安全性也低 于可信的操作***。
例如,在移动支付、网上银行转账等场景下,如果涉及用户敏感信息的输入和显示,REE 中的CA可以通过TEE提供的外部接口来调用TEE侧的TUI和可信键盘服务,以防止REE侧的 应用对用户敏感信息的恶意程序监听和窃取。
基于Linux***(例如
Figure BDA0002149637920000122
操作***)的体系架构还可分为用户态(UserMode)和 内核态(Kernel Mode)。内核从本质上看是一种软件——控制计算机的硬件资源,并提供上层 应用程序运行的环境。用户态即上层应用程序的活动空间,应用程序的执行必须依托于内核 提供的资源,包括CPU资源、存储资源、I/O资源等。为了使上层应用能够访问到这些资源, 内核必须为上层应用提供访问的接口,即***调用。
应理解,CA运行于REE的用户态,TA运行于REE的用户态。在REE的内核态中部署有驱 动模块(例如,包括TZdriver功能,TZdriver功能提供REE访问TEE的驱动接口);在TEE的内核态中也部署有驱动模块;REE和TEE中的驱动模块都可以访问对应的硬件设备,例如,TA可通过调用GPU实现在显示屏中的显示CA的UI。REE的驱动模块还可包括TUI转换 (TUI-switch)功能或TUI代理(TUI-agent)功能。此外,REE中还可部署REE控制模块, 例如,REE控制模块可包括进程(daemon)的功能,图未示),TEE中还可部署TEE控制模块 (图未示),CA可以通过REE控制模块和TEE控制模块来访问TA,实现相应的安全操作。例 如,REE控制模块可以根据CA的TUI访问请求(或TUI显示请求)调用REE侧的驱动模块驱 动硬件设备退出非安全的工作模式;在硬件设备退出非安全的工作模式后,TEE控制模块可 以根据REE控制模块发送的消息调用TEE侧的驱动模块驱动硬件设备切换工作模式,实现与 REE的硬件隔离,然后可以调用对应的TA,实现CA对TA的访问、签名、确认等以及在显示 屏中的显示TA的TUI。上述REE的驱动模块、TEE的驱动模块,以及REE控制模块、TEE控 制模块等具体功能均可通过电子设备中的处理器实现。
本发明实施例中,为了实现让CA对应的TA的可信用户界面(TUI)自动适配折叠屏的屏 幕变化,在REE的用户态中还部署了屏幕状态感知模块,在TEE的用户态中还部署了自适应 显示模块。
屏幕状态感知模块可以是一种***服务的进程(daemon),本发明实施例中,屏幕状态感 知模块可用来监听折叠屏的显示状态。比如,屏幕状态感知模块可监听
Figure BDA0002149637920000123
操作***中 的广播。当折叠屏的显示状态发生改变时,
Figure BDA0002149637920000124
操作***广播该折叠屏的显示状态的变 化事件。屏幕状态感知模块通过监听获得屏幕信息,屏幕信息用于指示折叠屏当前的显示状 态。屏幕信息例如可包括当前折叠屏中的不同屏各自的显示状态信息,进一步地,屏幕信息 还可包括折叠屏中的不同屏的尺寸、分辨率等信息。
屏幕状态感知模块还可将屏幕信息发给TEE中的自适应显示模块。例如,屏幕状态感知 模块可调用TUI-switch功能或TUI-agent功能,以及利用TEE中global task功能,实现将 屏幕信息发给自适应显示模块。
在一种实现中,屏幕状态感知模块可包括监听功能的代码程序和TEE传输功能的程序代 码,监听功能的代码程序可用于通过监听***广播(例如,安卓***广播)获得当前折叠屏 的屏幕信息。TEE传输功能的程序代码可用于将屏幕信息发给TEE,例如可通过TUI代理,将 屏幕信息传输到TEE侧。
在一种实现中,屏幕状态感知模块可包括监听功能的代码程序和TEE传输功能的程序代 码,监听功能的代码程序可用于通过监听***广播(例如,安卓***广播)获得当前折叠屏 的屏幕信息,还可用于将屏幕信息发给GPU,以便于GPU实现对UI界面的自适应显示。TEE 传输功能的程序代码可用于将屏幕信息发给TEE,例如可通过TUI代理,将屏幕信息传输到 TEE侧。
自适应显示模块用于根据屏幕信息,将对TA的TUI的自适应显示到当前的折叠屏,即让 TUI的界面适配于当前折叠屏中处于显示状态的屏。具体的,自适应显示模块中动态保存所 接收的屏幕信息,即接收到新的屏幕信息时,在本地用新的屏幕信息替换掉旧的屏幕信息。 自适应显示模块可根据屏幕信息进行坐标转换处理,获得经处理的屏幕信息。根据该经处理 的屏幕信息,对所调用的TA的TUI的尺寸、分辨率等进行处理,进而实现TUI对折叠屏的屏 幕的自适应显示。
本文描述中,接口也可称为应用编程接口(Application ProgrammingInterface,API), 是由计算机程序代码实现的特定功能的封装和抽象表达,应用程序通过调用接口可以实现特 定功能。服务(如***服务)是可以在后台执行而不提供用户界面的应用组件,服务可由其 他应用程序或应用组件启动。
可以看到,本发明实施例中,对于具有折叠屏的电子设备,当应用业务所处的折叠屏的 显示状态发生变化时,可通过屏幕状态感知模块将当前折叠屏的屏幕信息(最新的屏幕信息) 传递到TEE侧,使得TEE侧可以实时获取折叠屏的屏幕信息,打造了一条可行的信息传输通 道;通过自适应显示模块对屏幕信息进行处理,实现TUI的界面对当前折叠屏的屏幕的自动 适配,能够解决了折叠屏用户的痛点问题,极大提升了用户体验。
图6示出了本发明实施例提供的又一种电子设备200的架构图,如图6所示,电子设备 200同样包括硬件平台,以及运行在硬件平台上的互相隔离两个运行环境,即REE和TEE,两 个运行环境分别有独立的硬件资源和操作***。本文中REE和TEE也可以分别称为REE模块 和TEE模块。通过硬件隔离技术,可以实现REE和TEE的硬件资源的隔离,同时实现REE和TEE对应的操作***之间,以及应用之间的隔离。
图6所示的电子设备200和图5所示的电子设备100在架构上的区别主要在于,为了保 证屏幕信息传输的安全性,在图6所示的电子设备200的架构中,在REE的用户态中不仅部 署屏幕状态感知模块,还部署有身份验证模块;在TEE的用户态中不仅部署了自适应显示模 块,还部署了会话密钥(session-key)验证模块。
屏幕状态感知模块可以是一种***服务的进程(daemon),本发明实施例中,屏幕状态感 知模块可用来监听折叠屏的显示状态。比如,屏幕状态感知模块可监听
Figure BDA0002149637920000131
操作***中 的广播。当折叠屏的显示状态发生改变时,
Figure BDA0002149637920000132
操作***广播该折叠屏的显示状态的变 化事件。屏幕状态感知模块通过监听获得屏幕信息,屏幕信息用于指示折叠屏当前的显示状 态。屏幕信息例如可包括当前折叠屏中的不同屏各自的显示状态信息,进一步地,屏幕信息 还可包括折叠屏中的不同屏的尺寸、分辨率等信息。
进一步地,屏幕信息中还包括挑战值(或随机数),屏幕状态感知模块对屏幕信息进行加 密处理(举例来说,采用对称加密的方式进行加密),获得经加密的屏幕信息。
或者,可选的,屏幕状态感知模块对屏幕信息进行加密处理(举例来说,采用对称加密 的方式进行加密)。然后,屏幕状态感知模块可将经加密的屏幕信息与挑战值(或随机数)封 装在一个数据包。
屏幕状态感知模块还可将上述经加密的屏幕信息,或者上述数据包发给REE中的身份验 证模块。
身份验证模块用于对信息传递者的身份(如本文中的屏幕状态感知模块的身份)进行初 步认证,只允许***服务调用信息传递接口。具体的,身份验证模块可通过进程信息(process) 获取的信息传递者的身份信息,以确定信息传递者是否为***服务。这样,当信息传递者为 本文实施例中所设计屏幕状态感知模块时,由于身份验证模块可确定该屏幕状态感知模块为 ***服务,故身份验证模块将允许屏幕状态感知模块调用信息传递接口(调用TUI-switch功 能或TUI-agent功能),将上述经加密的屏幕信息,或者上述数据包发给TEE。而当信息传递 者为恶意攻击者所伪造的功能代码时,身份验证模块确认信息传递者不是***服务,将拒绝 信息传递者调用相关接口,避免不安全信息被传输到TEE侧,保证REE侧和TEE侧的信息安 全。
本发明实施例中,会话密钥验证模块和自适应显示模块可以分别独立部署于TEE的用户 态,也可以将功能整合在一起部署到TEE的用户态。为了方便,以下将以会话密钥验证模块 和自适应显示模块可以分别独立部署于TEE的用户态为例进行方案描述。
TEE中global task功能收到REE传输过来的经加密的屏幕信息或者数据包后,将该经 加密的屏幕信息或者数据包发给会话密钥验证模块。
会话密钥验证模块用于解密屏幕信息,以及根据通过其所携带的挑战值(随机数)验证 信息传递者的身份信息。例如当挑战值(随机数)验证正确时,确认信息传递者的身份是合 法的,即确认信息传递者是本申请实施例设计的屏幕状态感知模块,而不是恶意的攻击者伪 装的功能代码。通过本次验证能够进一步地提升TEE侧的信息安全,例如,确保屏幕信息从 前述身份认证模块出来之后不会被篡改。
会话密钥验证模块进一步将解密的屏幕信息传输到自适应显示模块。
自适应显示模块用于根据屏幕信息,将对TA的TUI的自适应显示到当前的折叠屏,即让 TUI的界面适配于当前折叠屏中处于显示状态的屏。具体的,自适应显示模块中动态保存所 接收的屏幕信息,即接收到新的屏幕信息时,在本地用新的屏幕信息替换掉旧的屏幕信息。 自适应显示模块可根据屏幕信息进行坐标转换处理,获得经处理的屏幕信息。根据该经处理 的屏幕信息,对所调用的TA的TUI的尺寸、分辨率等进行处理,进而实现TUI对折叠屏的屏 幕的自适应显示。
可以看到,本发明实施例中,对于具有折叠屏的电子设备,当应用业务所处的折叠屏的 显示状态发生变化时,可通过屏幕状态感知模块将当前折叠屏的屏幕信息(最新的屏幕信息) 加密并传递到TEE侧的自适应显示模块,使得TEE侧可以实时获取折叠屏的屏幕信息。并且 在这个过程中,利用身份验证模块在REE侧做了初步身份验证的工作,利用会话密钥验证模 块在TEE侧做了进一步身份验证的工作,打造了一条安全可靠的信息传输通道,确保REE侧 和TEE侧的信息安全。通过自适应显示模块对屏幕信息进行处理,实现TUI的界面对当前折 叠屏的屏幕的自动适配,能够解决了折叠屏用户的痛点问题,极大提升了用户体验。
参见图7,图7是本发明实施例提供的一种***架构示意图,该***架构包括银行服务 器231、CFCA***服务器232、企业服务器233和具有折叠屏的电子设备211。其中,电子设 备211可分别于银行服务器231、CFCA***服务器232、企业服务器233进行通信,例如无线通信。银行服务器231、CFCA***服务器232、企业服务器233之间也可以进行通信,例 如有线或无线通信。其中,CFCA表示中国金融认证中心(China Financial CertificationAuthority)
例如,银行服务器231可包括手机银行管理***、CFCA应用前置、银行RA***等。
例如,CFCA***服务器232可包括CFCA TSM、RA***、CA***、移动证书应用平台等。 其中,RA***负责证书申请者的信息录入、审核和证书发放。CFCATSM为可信服务管理器, 用于实现SE的安全域管理,包括applet、cos和U盾证书的分发等。CA***负责发放和维护证书。
例如,企业服务器233可包括eSE TSM,用于实现终端SE内安全域(SSD的创建),分发 SE管理密钥至CFCA TSM。
例如,电子设备可包括用于REE和TEE。REE可运行CA、显示UI以及与用户交互,还可运行CFCA插件。TEE可运行TA(例如CFCA TA)、显示TUI以及与用户交互。此外,REE还 可包括本发明实施例提供的屏幕状态感知模块、身份认证模块等,TEE还可包括本发明实施 例提供的自适应显示模块、会话密钥验证模块等。电子设备可包括安全处理单元(SE)模块。 其中:
CFCA插件为业务流程的发起模块,接收用户发起的U盾证书管理请求(通过银行apk或 手机钱包等),执行业务逻辑。
CFCA TA可以是为手机U盾TEE侧的业务处理模块,用于根据业务逻辑调用指纹TA(FP TA) 和TUI,以及与安全处理单元(SE)模块通信。FP TA用于实现指纹方式的用户身份验证功能, 并供CFCA TA调用获取身份验证结果。
TUI用于实现在安全环境下,用户交易信息的确认和身份验证界面展示。
SE模块实现安全域创建、applet管理、用户身份验证、U盾证书存储和交易信息签名功 能,例如将applet、U盾证书等放在SE中进行保护。SE可包括ISD和SSD,ISD为主安全域, SE内的主安全域,产线配置,负责SE基础管理。SSD为辅助安全域,SE内的辅助域,用于安装applet。
本发明实施例中,可信用户界面TUI在显示屏上的显示可以是基于用户的操作(第二操 作)而触发的。在移动支付、手机银行、网银转账或其他任一需要调用TA的业务被发起后, CA运行于REE的操作***,CA的UI的界面在折叠屏中自适应显示。可以理解的,该UI的界 面是该CA与用户之间进行交互和信息交换的图形界面,所以用户可以在该UI所呈现的业务 内容上进行相关操作,不限于点击、滑动、触摸、靠近、按压、信息输入、信息上传、信息下载等操作。
当业务处理环节到了要调用TA的TUI的界面时,用户需要CA的UI上的进行操作,本文 中该操作又可称为第二操作,第二操作不限于点击、滑动、触摸、靠近、按压、信息输入、信息上传、信息下载等操作。基于用户在CA的UI上的第二操作,触发TUI被调用以及在折 叠屏上显示。基于本发明所设计的上述图5或图6所示的架构,该TUI可以适配于当前的折 叠屏。
参见图8,图8给出了一种现有方案中TUI不能适配于折叠屏的应用场景。
在图8中(1)的场景中,用户在电子设备中登陆REE侧的手机银行应用(即CA),该手机银行应用的UI(即图示中的转账界面)呈现在当前折叠屏,图示中当前折叠屏处于单屏(如 主屏)显示的状态上,当用户输入金额并点击该转账界面中“下一页”后,该手机银行应用 所需的TA的TUI被调出,并呈现在该单屏上。
在图8中(2)的场景中,用户在电子设备中登陆REE侧的手机银行应用,该手机银行应 用的UI(即图示中的转账界面)呈现在当前折叠屏,图示中当前折叠屏处于单屏(如主屏) 显示的状态上,此时用户为了方便,将折叠屏从单屏展开为全屏,该转账界面可以基于现有 REE侧的所制定的显示方法自适应地显示在该全屏上(如占满整个全屏),当用户输入金额并 点击该转账界面中“下一页”后,该手机银行应用所需的TA的TUI被调出,由于该TUI无法 感知屏幕的变化,故该TUI依然呈现在全屏状态的单屏(如主屏)区域上,该全屏的其他显 示区域(例如副屏区域)用于显示其他内容,例如默认显示的部分墙纸界面。
对比图8中(1)和图8中(2)不难看出,当屏幕的显示状态发生变化时,REE侧的UI的界面在变化前后的折叠屏中可以发生变化,即可以自适应显示。而TEE侧的TUI的界面在变化前后的折叠屏中不发生变化,无法基于折叠屏的变化自适应显示,给用户带来了不好的 使用体验。
而本发明实施例能够解决上述的问题,实现TUI适配于折叠屏。本文中,所谓TUI适配 于折叠屏是指,响应于折叠屏的显示状态的变化,该TUI显示在折叠屏中的界面也发生变化。 该TUI显示在折叠屏中的界面变化可以包括以下的一种或多种变化的组合:TUI的界面尺寸 的变化、TUI在折叠屏中的显示区域的位置的变化、TUI的界面形状的变化、TUI的界面颜色 的变化、TUI在折叠屏中的内容布局的变化(调整)。
应理解,本文各实施例中,所谓TUI“适配”于折叠屏和所谓TUI“自适应显示”于折叠屏可理解为相同的含义,为了描述方便而在文中使用。
比如在一种实现中,TUI适配于折叠屏可以是,TUI的界面在变化前后的折叠屏中,TUI 的界面尺寸发生变化,TUI始终占满折叠屏的显示状态对应的屏。举例来说,在单屏显示中, TUI的界面占满该单屏,如图8中的(2)所示的TUI。而当该单屏被展开为全屏时,TUI的 界面可占满该全屏,如图9中所示的TUI。
又比如在一种实现中,TUI适配于折叠屏可以是,TUI的界面在变化前后的折叠屏中,TUI 的显示区域的位置发生改变。举例来说,在主屏显示中,TUI的界面占满该主屏,如图8中 的(2)所示的TUI。而当该主屏被展开为全屏时,TUI的界面的尺寸可以不改变,TUI的显 示区域的位置发生了变化,如图10中所示的TUI,TUI的显示区域的位置移动到中间位置而 不是原先的主屏位置。此时TUI在全屏中只占据部分屏幕,而非占满全屏。
又比如在一种实现中,TUI适配于折叠屏可以是,TUI的界面在变化前后的折叠屏中,TUI 的界面形状发生改变。举例来说,在主屏显示中,TUI的界面占满该主屏,如图8中的(2) 所示的TUI。而当该主屏被展开为全屏时,TUI的界面形状发生了变化,如图11中所示的TUI,此时TUI在全屏中可以只占据部分屏幕,而非占满全屏。
又比如在一种实现中,TUI适配于折叠屏可以是,TUI的界面在变化前后的折叠屏中,TUI 的内容布局发生改变。举例来说,在主屏显示中,TUI的界面占满该主屏,如图8中的(2) 所示的TUI,包括银行名称、收款账号、金额、密码输入框、虚拟键盘、确认/取消键等页面 内容。而当该主屏被展开为全屏时,TUI的界面形状发生了变化,界面内容也发生了变化, 如图12中所示的TUI,包括密码输入框、虚拟键盘、确认/取消键等页面内容。此时TUI在全屏中可以只占据部分屏幕,而非占满全屏。
需要说明的是,上述图9-图12实施例仅用于解释本发明的技术方案而非限定。应理解, 基于本发明的技术思想,在实际应用中还可以设计出其他形式的适配于折叠屏的TUI。
下面以手机银行转账场景中的几个具体的实现场景为例来解释本发明的实施例。
如图13所示,在一种可能的实现场景中,用户在电子设备中登陆REE侧的手机银行应用 (即CA),该手机银行应用的用户界面(即UI)自适应呈现在当前折叠屏上。在图13所举例 的场景中,此时电子设备的折叠屏处于单屏显示的状态(例如可以是主屏显示)。用户在UI 的转账界面输入了转账金额等信息。用户为了方便后面的操作,将该折叠屏从单屏展开(即 第一操作)为全屏,该转账界面可以基于现有REE侧的所制定的显示方法自适应地显示在该 全屏上,此外,在该电子设备的处理器中,REE侧获得该全屏的屏幕信息,将该全屏的屏幕 信息传输至TEE侧。用户继续点击该转账界面中“下一页”(即第二操作),从而使得该手机 银行应用所需的TA的TUI被调出,TEE侧根据全屏的屏幕信息对TUI进行处理(比如坐标转 换、TUI内容绘制等),通过特定接口调用使得该TUI在全屏中显示,如图示中该TUI包括PIN 码输入和验证的界面。此时,该显示在全屏上TUI的界面适配于该全屏,如图示中该TUI的 界面占满整个全屏。用户可以在该TUI上进行进一步的操作,如PIN码的输入和交易信息的 确认。用户通过TUI完成PIN码的输入和交易信息的确认后,该全屏的显示区域交还给REE, REE侧的手机银行应用进而显示转账完成界面,整个交易过程结束。
如图14所示,在又一种可能的实现场景中,用户在电子设备中登陆REE侧的手机银行应 用(即CA),该手机银行应用的用户界面(即UI)自适应呈现在当前折叠屏上。在图14所举 例的场景中,此时电子设备的折叠屏处于单屏显示的状态(例如可以是主屏显示)。用户在 UI的转账界面输入了转账金额等信息。用户继续点击该转账界面中“下一页”,从而使得该 手机银行应用所需的TA的TUI被调出,TEE侧通过特定接口调用使得该TUI在该单屏中显示,如图示中该TUI包括PIN码输入和验证的界面。用户为了方便输入,将该折叠屏从单屏展开(即第一操作)为全屏,在该电子设备的处理器中,REE侧获得该全屏的屏幕信息,将 该全屏的屏幕信息传输至TEE侧。为了确保信息安全,TUI自动退出,全屏上将显示该TUI 之前的最近一个UI的界面,如图示中为转账界面,且该UI在该全屏自适应呈现。用户继续 点击该转账界面中“下一页”(即第二操作),从而使得该手机银行应用所需的TA的TUI被调 出,TEE侧根据全屏的屏幕信息对TUI进行处理,通过特定接口调用使得该TUI在全屏中显 示,如图示中该TUI包括PIN码输入和验证的界面。此时,该显示在全屏上TUI的界面适配 于该全屏,如图示中该TUI的界面占满整个全屏。用户可以在该TUI上进行进一步的操作, 如PIN码的输入和交易信息的确认。用户通过TUI完成PIN码的输入和交易信息的确认后, 该全屏的显示区域交还给REE,REE侧的手机银行应用进而显示转账完成界面,整个交易过程 结束。
如图15所示,在又一种可能的实现场景中,用户在电子设备中登陆REE侧的手机银行应 用(即CA),该手机银行应用的用户界面(即UI)自适应呈现在当前折叠屏上。在图15所举 例的场景中,此时电子设备的折叠屏处于单屏显示的状态(例如可以是主屏显示)。用户在 UI的转账界面输入了转账金额等信息。用户继续点击该转账界面中“下一页”,从而使得该 手机银行应用所需的TA的TUI被调出,TEE侧通过特定接口调用使得该TUI在该单屏中显示,如图示中该TUI包括PIN码输入和验证的界面。用户为了方便输入,将该折叠屏从单屏展开为全屏,在该电子设备的处理器中,REE侧获得该全屏的屏幕信息,将该全屏的屏幕信息传输至TEE侧。TEE侧根据全屏的屏幕信息对该TUI进行处理,例如重新绘制TUI,通过特定接口调用使得该新绘制的TUI在全屏中显示,如图示中该TUI包括PIN码输入和验证的界面。此时,该显示在全屏上TUI的界面适配于该全屏,如图示中该TUI的界面占满整个全屏。用户可以在该TUI上进行进一步的操作,如PIN码的输入和交易信息的确认。用户通过TUI完成PIN码的输入和交易信息的确认后,该全屏的显示区域交还给REE,REE侧的手机银行应用进而显示转账完成界面,整个交易过程结束。
需要说明的是,上述图13-15实施例仅用于示例性解释本发明的技术方案而非限定。基 于本发明的技术思想,在实际应用中还可以衍生出更多的实现流程(如其他的转账流程)。
基于上文的描述,下面继续给出本发明实施例提供的一些TUI显示方法。
对于下文描述的各方法实施例,为了方便起见,将其都表述为一系列的动作步骤的组合, 但是本领域技术人员应该知悉,本申请技术方案的具体实现并不受所描述的一系列的动作步 骤的顺序的限制。
参见图16,图16是本发明实施例提供的一种TUI显示方法的流程示意图,从REE侧和 TEE侧的角度进行描述,该方法可应用于图5所示的架构。该方法包括但不限于以下步骤:
1、REE侧的屏幕状态感知模块通过监听***广播获得当前折叠屏的屏幕信息。
具体的,当折叠屏的显示状态发生变化时,屏幕状态感知模块可通过监听***广播(例 如,安卓***广播)获得当前折叠屏的屏幕信息。
例如,用户操作折叠屏,使得屏幕的显示状态从全面显示变为单屏显示(即折叠屏从展 开状态变为折叠状态),或者,从单屏显示变为全屏显示(即折叠屏从折叠状态变为展开状态), 或者从一种单屏显示变为另一种单屏显示(例如翻转电子设备,使折叠屏从一种主屏显示变 为副屏显示状态)。
当前折叠屏的屏幕信息例如可包括当前折叠屏的分辨率(即显示状态对应的屏的分辨 率),进一步地,还可以包括折叠屏的各个屏的开关状态(如启动/关闭状态)。
2、屏幕状态感知模块将屏幕信息传输到TEE侧的自适应显示模块。
屏幕状态感知模块可以是一种***服务的进程(daemon)。
具体的,屏幕状态感知模块可通过REE中的驱动模块(例如TUI代理功能或TUI转换功 能)将屏幕信息传输到TEE侧的自适应显示模块。
3、自适应显示模块更新本地的屏幕信息。
具体的,自适应显示模块动态保存由REE侧发过来的屏幕信息,也即是说当接收到信息 屏幕信息时,将新的屏幕信息保存到本地,用于替换上一次收到的屏幕信息。
需要说明的是,步骤3是可选的。
4、自适应显示模块根据屏幕信息,获得坐标转换信息。
其中,坐标转换信息表示指示绘图坐标系和物理坐标系之间的坐标变换关系。
具体的,自适应显示模块可根据屏幕信息确定当前折叠屏的物理坐标系,进行根据所保 存的或默认的绘图坐标系,以及该物理坐标系,获得这两个坐标系之间的坐标转换信息。
其中,物理坐标(Physical Coordinate)系又可称为设备坐标(DeviceCoordinate) 系,是指基于电子设备的实体的实际坐标,比如在本发明实施例中,可以具体指电子设备上 的当前折叠屏的屏幕上的物理坐标。用于屏幕的物理坐标系通过定义物理原点、X轴、Y轴, 实现对屏幕上的对象的确定。在这样的坐标系中,对象(例如像素点)的坐标包括该对象离 X轴的距离和离Y轴的距离,也就是说根据对象的坐标能够确定对象的位置,其中坐标可以 是以像素为单位来表示的。例如,物理坐标系可用于电子扫描枪将界面内容显示到屏幕上。
在本发明实施例中,对于折叠屏的不同显示状态,所采用的物理坐标系也是有差异的。 例如,参见图17A,图17A为折叠屏的不同显示状态下所采用的物理坐标系的简单示例图。 该折叠屏包括副屏、折叠边和主屏。在图17A所示的场景中,物理原点1表示副屏显示时的 物理原点,物理原点2表示主屏显示时的物理原点,物理原点2还可以表示全屏显示时的物 理原点。也就是说,在折叠状态下,副屏显示时,物理坐标系的物理原点位于副屏的右上角 位置,主屏显示时,物理坐标系的物理原点位于主屏的右上角位置。在展开状态下,全屏显 示时,物理坐标系的物理原点位于全屏的右上角位置。此外,物理坐标系的X轴向下为正,Y 轴向左为正。
绘图坐标系又可称为逻辑坐标(Logical Coordinate)系,是***用作记录或绘图的坐 标系,定义了用于记录或绘图的逻辑原点、X轴、Y轴。例如,参见图17B,图17B为折叠屏的不同显示状态下所采用的绘图坐标系的简单示例图。在图17B所示的场景中,逻辑原点1表示针对副屏的逻辑原点,逻辑原点1还可以表示针对全屏的逻辑原点。原点2表示针对主屏的逻辑原点。绘图坐标系的X轴向右为正,Y轴向下为正。坐标也是以像素为单位来表示的。
具体的,自适应显示模块可根据最新收到屏幕信息确定当前折叠屏所采用的物理坐标系, 进而确定绘图坐标系和物理坐标系之间坐标转换关系。
举例来说,屏幕信息包括当前折叠屏的分辨率信息,例如“Height=2200,Width=2440”, 进而根据该分辨率信息,确定当前折叠屏为全屏显示的状态。那么,自适应显示模块可根据 绘图坐标系和全屏显示的所采用的物理坐标系,确定两者之间的坐标转换信息。
例如,在针对屏幕显示的场景下,坐标转换信息包括“x=y3,y=Width-x3”,其中{x, y}表示物理坐标,{x3,y3}表示绘图坐标,以便于使TUI的界面适配于当前折叠屏。
又例如,在针对用户指令输入的场景下,坐标转换信息包括“x3=Width-y,y3=x”,其 中{x,y}表示物理坐标,{x3,y3}表示绘图坐标,以便于使用户的指令输入通过坐标转换匹 配为TUI的控件事件。
5、当TA的TUI被调用,自适应显示模块根据该坐标转换信息对该TUI进行重新绘制, 从而实现TUI适配于当前折叠屏。
具体的,当TA的TUI被调用后,自适应显示模块根据该坐标转换信息对原先默认的TUI (或称预设的TUI)的界面进行处理,从而使TUI的界面中的各像素点的坐标(即绘图坐标 系中的坐标)转换成物理坐标系中的坐标,从而实现对TUI的重新绘制,获得重新绘制后的 TUI。由于重新绘制后的TUI中的各像素点坐标均变为物理坐标系的坐标,所以当该重新绘制 后的TUI显示在当前折叠屏时,可以占满屏幕,从而实现了TUI适配于当前折叠屏。
进一步地,当需要对重新绘制后的TUI进行缩放处理时,自适应显示模块还可根据坐标 转换信息实现对TUI的界面的缩放。
例如,在针对屏幕显示的场景下,坐标转换信息包括“x=y3,y=Width-x3”,其中{x, y}表示物理坐标,{x3,y3}表示绘图坐标,需要缩放处理时,坐标转换信息调整为“x=y3*k1,y=(Width-x3)*k2”,k1表示比例系数,k2表示比例系数,例如k1=50%,k2=50%;k1=60%, k2=80%;k1=40%,k2=00%;k1=60%,k2=40%,等等,这里不做限定。
例如,在针对用户指令输入的场景下,坐标转换信息包括“x3=Width-y,y3=x”,其中 {x,y}表示物理坐标,{x3,y3}表示绘图坐标。需要缩放处理时,坐标转换信息调整为“x3= (Width-y)*k1,y3=x*k2”,k1表示比例系数,k2表示比例系数,例如k1=50%,k2=50%;k1=60%, k2=80%;k1=40%,k2=00%;k1=60%,k2=40%,等等,这里不做限定。
经过缩放处理后TUI中的各像素点坐标均变为物理坐标系的坐标,且TUI的界面尺寸相 较于原先默认的TUI发生了变化,当TUI显示在当前折叠屏时可以占据部分屏幕,从而实现 了TUI适配于当前折叠屏。
此外,自适应显示模块还可以根据该坐标转换信息对TUI的界面进行更多的处理,使得 重新绘制后的TUI相比于原先默认的TUI而言,不但各像素点坐标均变为物理坐标系的坐标, 而且页面发生以下一种或多种变化:TUI的界面尺寸的变化、TUI在折叠屏中的显示区域的位 置的变化、TUI的界面形状的变化、TUI的界面颜色的变化、TUI在折叠屏中的内容布局的变 化(调整),从而实现了TUI适配于当前折叠屏的各种适配方案。
可选的,重新绘制的TUI还可以支持不同显示方向,例如横屏方向和竖屏方向。
可以看到,本发明实施例中,对于具有折叠屏的电子设备,当应用业务所处的折叠屏的 显示状态发生变化时,可通过屏幕状态感知模块将当前折叠屏的屏幕信息(最新的屏幕信息) 传递到TEE侧的自适应显示模块,使得TEE侧可以实时获取折叠屏的屏幕信息,打造了一条 可行的信息传输通道;通过自适应显示模块对屏幕信息进行处理,实现TUI的界面对当前折 叠屏的屏幕的自动适配,利用软件算法的方式(而非GPU显示的方式)来实现TUI的自适应 显示,能够解决了折叠屏用户的痛点问题,极大提升了用户体验。
参见图18,图18是本发明实施例提供的又一种TUI显示方法的流程示意图,从REE侧 和TEE侧的角度进行描述,该方法可应用于图6所示的架构。该方法包括但不限于以下步骤:
1、REE侧的屏幕状态感知模块通过监听***广播获得当前折叠屏的屏幕信息。
可参考图16中步骤1的描述,这里不再赘述。
2、屏幕状态感知模块将加密的屏幕信息发给REE侧的身份验证模块。
例如,屏幕状态感知模块将当前折叠屏的屏幕信息通过session-key加密后,获得加密 的屏幕信息。
进一步地,屏幕信息中还可包括挑战值(或随机数),屏幕状态感知模块对包含挑战值(或 随机数)的屏幕信息进行加密处理,获得经加密的屏幕信息。
或者,可选的,屏幕状态感知模块对屏幕信息进行加密处理。然后,屏幕状态感知模块 可将经加密的屏幕信息与挑战值(或随机数)封装在一个数据包。
需要说明的是,对屏幕信息的加密还可以是其他方式(例如,对称加密),这里不做限定。
3、身份验证模块根据屏幕信息进行身份验证。
身份验证模块对信息传递者(这里即屏幕状态感知模块)的身份进行验证,确保只有系 统服务才可以调用信息传递接口向TEE侧发送屏幕信息。
具体的,身份验证模块可通过进程信息(process)获取的信息传递者的身份信息,以确 定信息传递者是否为***服务。这样,当信息传递者为本文实施例中所设计屏幕状态感知模 块时,由于身份验证模块可确定该屏幕状态感知模块为***服务,故身份验证模块将允许屏 幕状态感知模块调用信息传递接口(调用TUI-switch功能或TUI-agent功能)。而当信息传 递者为恶意攻击者所伪造的功能代码时,身份验证模块确认信息传递者不是***服务,将拒 绝信息传递者调用相关接口,避免不安全信息被传输到TEE侧,保证REE侧和TEE侧的信息 安全。
4、身份验证模块将屏幕信息传输到TEE侧的会话密钥验证模块。
具体的,身份验证模块可通过TUI代理,将加密的屏幕信息(或数据包)传输到TEE侧 的会话密钥验证模块。
5、会话密钥验证模块根据屏幕信息(或数据包)进行身份验证。
具体的,会话密钥验证模块解密屏幕信息,以及根据通过其所携带的挑战值(随机数) 验证信息传递者的身份信息。例如当挑战值(随机数)验证正确时,确认信息传递者的身份 是合法的,即确认信息传递者是本申请实施例设计的屏幕状态感知模块,而不是恶意的攻击 者伪装的功能代码。通过本次验证能够进一步地提升TEE侧的信息安全,例如,确保屏幕信 息从前述身份认证模块出来之后不会被篡改。
6、会话密钥验证模块将解密的屏幕信息传输到TEE侧的自适应显示模块。
具体的,当挑战值(随机数)验证和密钥验证都正确时,会话密钥验证模块才将解密的 屏幕信息传输到TEE侧的自适应显示模块。
7、自适应显示模块更新本地的屏幕信息。
具体的,自适应显示模块动态保存由REE侧发过来的屏幕信息,也即是说当接收到信息 屏幕信息时,将新的屏幕信息保存到本地,用于替换上一次收到的屏幕信息。
需要说明的是,步骤7是可选的。
8、自适应显示模块根据该解密的屏幕信息进行坐标转换处理,获得经处理的屏幕信息。
可参考图16中步骤4的描述,这里不再赘述。
9、当TA的TUI被调用,自适应显示模块根据该坐标转换信息对该TUI进行重新绘制, 从而实现TUI适配于当前折叠屏。
可参考图16中步骤5的描述,这里不再赘述。
需要说明的是,当会话密钥验证模块和自适应显示模块的功能整合在一起部署时,上述 步骤6是可选的。
下面进一步以图19为例进行方案的解释。如图19所示,用户操作电子设备导致折叠屏 的显示状态发生变化,屏幕状态感知模块监听到后将加密(例如session-key加密)的屏幕 信息和随机数通过传递到REE的身份验证模块进行身份验证,确保只有***服务才可以继续 往下发送。验证通过后,加密的屏幕信息进一步通过硬件抽象层接口定义语言(HALinterface definition language,HIDL)处理,然后进一步被传输到TUI代理模块。TUI代理模块将加 密的屏幕信息发到TEE侧。在TEE侧,全局任务(globa task)模块获得该加密的屏幕信息 后,进一步将加密的屏幕信息发到会话密钥验证模块进行身份验证,如验证随机数和验证 session-key,验证通过后,自适应显示模块获得屏幕信息,根据屏幕信息实现对TA的TUI 的自适应显示。
可以看到,本发明实施例中,对于具有折叠屏的电子设备,当应用业务所处的折叠屏的 显示状态发生变化时,可通过屏幕状态感知模块将当前折叠屏的屏幕信息(最新的屏幕信息) 加密并传递到TEE侧的自适应显示模块,使得TEE侧可以实时获取折叠屏的屏幕信息。并且 在这个过程中,利用身份验证模块在REE侧做了初步身份验证的工作,利用会话密钥验证模 块在TEE侧做了进一步身份验证的工作,打造了一条安全可靠的信息传输通道,确保REE侧 和TEE侧的信息安全。通过自适应显示模块对屏幕信息进行处理,实现TUI的界面对当前折 叠屏的屏幕的自动适配,利用软件算法的方式(而非GPU显示的方式)来实现TUI的自适应 显示,能够解决了折叠屏用户的痛点问题,极大提升了用户体验。
参见图20,图20是本发明实施例提供的一种TUI显示方法的流程示意图,从电子设备 侧的角度进行描述。该方法包括但不限于以下步骤:
1、响应于用户对具有折叠屏的电子设备的第一操作,使折叠屏从第一显示状态改变为第 二显示状态。
其中,第一显示状态表示至少两个屏中的至少一个屏为显示状态,第二显示状态表示所 述至少两个屏中的至少一个屏为显示状态,且所述第一显示状态对应的屏和所述第二显示状 态对应的屏不同。
有关于电子设备、折叠屏、第一操作、折叠屏的第一显示状态、折叠屏的第二显示状态、 第一显示状态改变为第二显示状态的相关内容已在前文以及相关附图中做了充分描述,为了 说明书的简洁,这里不再赘述。
2、在第二显示状态对应的屏上显示CA的用户界面UI。
有关于第二显示状态对应的屏、CA、UI的相关内容已在前文以及相关附图中做了充分描 述,本步骤的具体实现细节/过程/示例也在前文以及相关附图中做了充分描述,为了说明书 的简洁,这里不再赘述。
3、响应于用户在所述CA的UI上的第二操作,触发在所述第二显示状态对应的屏上所述 CA对应的可信用户界面TUI,且TUI与所述第二显示状态对应的屏适配。
有关于第二操作、CA对应的TUI、TUI与所述第二显示状态对应的屏(即当前折叠屏) 适配的已在前文以及相关附图中做了充分描述,本步骤的具体实现细节/过程/示例也在前文 以及相关附图中做了充分描述,为了说明书的简洁,这里不再赘述。
可以看到,本发明实施例中,对于具有折叠屏的电子设备,当应用业务所处的折叠屏的 显示状态发生变化时,本发明实施例既可以实现在折叠屏上自适应显示CA的UI,也可以实 现在折叠屏上自适应显示TA的TUI,能够解决了折叠屏用户的痛点问题,极大提升了用户体 验。
参见图21,图21是本发明实施例提供的一种TUI显示方法的流程示意图,从电子设备 侧的角度进行描述。该方法包括但不限于以下步骤:
1、在折叠屏的第一显示状态对应的屏上显示CA的用户界面UI。其中,第一显示状态表 示至少两个屏中的至少一个屏为显示状态。
有关于折叠屏的第一显示状态、CA、UI的相关内容已在前文以及相关附图中做了充分描 述,本步骤的具体实现细节/过程/示例也在前文以及相关附图中做了充分描述,为了说明书 的简洁,这里不再赘述。
2、响应于用户在CA的UI上的第二操作,触发在第一显示状态对应的屏上显示CA对应 的可信用户界面TUI。
有关于第二操作、第二显示状态、CA对应的TUI的相关内容已在前文以及相关附图中做 了充分描述,本步骤的具体实现细节/过程/示例也在前文以及相关附图中做了充分描述,为 了说明书的简洁,这里不再赘述。
3、响应于用户对电子设备的第一操作,确定使折叠屏从第一显示状态改变为第二显示状 态。第二显示状态表示所述至少两个屏中的至少一个屏为显示状态,且第一显示状态对应的 屏和第二显示状态对应的屏不同。
有关于对电子设备的第一操作、第一显示状态改变为第二显示状态的相关内容已在前文 以及相关附图中做了充分描述,本步骤的具体实现细节/过程/示例也在前文以及相关附图中 做了充分描述,为了说明书的简洁,这里不再赘述。
4、响应于用户在CA的UI上的第一操作,触发在第二显示状态对应的屏上显示CA对应 的可信用户界面TUI,且TUI与第二显示状态对应的屏适配。
有关于第一操作、CA对应的TUI、TUI与所述第二显示状态对应的屏(即当前折叠屏) 适配的已在前文以及相关附图中做了充分描述,本步骤的具体实现细节/过程/示例也在前文 以及相关附图中做了充分描述,为了说明书的简洁,这里不再赘述。
可以看到,本发明实施例中,对于具有折叠屏的电子设备,当应用业务所处的折叠屏的 显示状态发生变化时,本发明实施例既可以实现在折叠屏上自适应显示CA的UI,也可以实 现在折叠屏上自适应显示TA的TUI,能够解决了折叠屏用户的痛点问题,极大提升了用户体 验。
上文描述了本发明实施例的相关***架构和方法,基于相同的发明构思,下面描述本发 明实施例的相关装置/设备。
图22示出了本发明实施例提供的一种电子设备300的示例。根据图22,电子设备300 包括通信子***210、电源220、输入设备230、显示设备240、处理单元250、以及存储器260。存储器260存储有计算机程序或指令,该计算机程序包括操作***294和应用程序292等。处理单元250被配置用于执行存储器260中的计算机程序,从而实现该计算机程序定义的方法,例如处理单元250运行操作***294从而在电子设备300上实现前述实施例所描述的REE模块以及TEE模块的各种功能。
处理单元250可以包括一个或多个处理器,例如,处理单元250可以包括应用处理器、 图形处理器、数字信号处理器等。当处理单元250包括多个处理器时,这多个处理器可以集 成在同一块芯片上,也可以各自为独立的芯片。
存储器260还存储有除计算机程序之外的其他数据296,其他数据296可包括操作*** 294或应用程序292运行过程中产生的数据,比如***数据(例如操作***294的配置参数) 和用户数据。
存储器260一般包括内存和外存。内存包括但不限于随机存取存储器(randomaccess memory,RAM),只读存储器(read-only memory,ROM),或高速缓存(cache)等。外存包括 但不限于闪存(flash memory)、硬盘、通用串行总线(universal serial bus,USB)盘等, 计算机程序通常被存储在外存上,处理单元250在执行计算机程序前会将该程序从外存加载 到内存。
在一个实施例中,操作***294中包含了用于实现本发明实施例所提供的TUI显示方法 的计算机程序,从而使得处理器250运行操作***294后,实现本发明实施例提供的TUI显 示方法的步骤。例如用于实现如图16、图18、图20、图21实施例中所示的电子设备中的相 关方法步骤。示例性地,前述实施例所描述的视图管理器173、图层合成器175、TUI服务150、 图层合成器160可以以计算机程序(指令)的方式实现,处理单元250加载并运行这些计算 机程序(指令)后,实现这些模块各自的功能。
输入设备230,用于接收用户输入信息,比如数字/字符信息、触摸操作或手势,以及产 生对应的输入信号。具体地,在一个实施例中,该输入设备230包括触控面板。触控面板, 也称为触摸屏,可收集用户在其上的触摸操作,并生成触控信号以驱动相关的组件响应用户 的操作。除了触控面板,输入设备230还可以包括其他输入设备,包括但不限于物理键盘、 功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示设备240可以为液晶显示器(liquid crystal display,LCD)、有机发光二极管 (organic light-emitting diode,OLED)等显示面板。在一些实施例中,触控面板可覆盖 显示设备240上,以形成触摸显示屏。显示设备240用于显示图像,视频等。该显示设备240 包括本文各实施例所描述的折叠屏(如柔性折叠屏或多屏折叠屏)。显示设备240包括显示面 板。显示面板可以采用液晶显示屏(liquid crystaldisplay,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体 (active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。
通信子***210为终端200的基本通信单元,用于终端200的数据发送和接收。电源220 用于给上述各个部件供电,具体可以为电源管理芯片。
当电子设备300为无线终端时,通信子***210包括无线调制解调器(wirelessmodem), 主要实现基带处理、调制解调、信号放大和滤波、均衡等功能。在一个实施例中,通信子系 统210包括:基带处理器、射频电路和天线。其中,射频电路和天线主要负责信号发送和接 收;基带处理器负责信号的处理,比如信号的A/D、D/A转换、信号的编解码等等。基带处理 器支持无线通信标准中的一种或多种,这里的无线通信标准包括但不限于全球移动通信*** (global system for mobile communications,GSM)、码分多址接入(codedivision multiple access,CDMA)、宽带码分多址(wideband code division multipleaccess,WCDMA)、高速 分组接入(high speed packet access,HSPA)、长期演进(long-termevolution,LTE)等。 基带处理器可以为一个单独的芯片,也可以和处理单元250所包含的处理器可以集成在同一 芯片中。
可选地,电子设备300还包括一个或多个传感器280,例如加速度传感器、光传感器等。
本发明实施例提供的TUI显示方法可由电子设备300的软件、硬件和/或固件的适当组合 执行。
此外,所属领域的技术人员可以理解终端200可包括比图22中所示部件更少或更多的部 件,图22所示的电子设备300仅示出了与本发明实施例所公开的多个实现方式更加相关的部 件。
参见图22,图22是本发明实施例提供的一种装置80的结构示意图,该装置80包括REE 模块801和TEE模块802。在一些实施例中REE模块801和TEE模块802可运行于处理单元250。其中:
REE模块801用于,响应于用户对所述电子设备的第一操作,确定所述折叠屏从第一显 示状态改变为第二显示状态;其中,所述第一显示状态表示所述至少两个屏中的至少一个屏 为显示状态,所述第二显示状态表示所述至少两个屏中的至少一个屏为显示状态,且所述第 一显示状态对应的屏和所述第二显示状态对应的屏不同;
REE模块801还用于,在所述第二显示状态对应的屏上显示所述CA的用户界面UI;
TEE模块802用于,响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显 示状态对应的屏上显示所述CA对应的可信用户界面TUI,且所述TUI与所述第二显示状态对 应的屏适配。
REE模块801和TEE模块802具体可用于实现如图16、图18、图20、图21实施例中所示的电子设备中的相关方法步骤,为了说明书的简洁,这里不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可 以参见其他实施例的相关描述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。 例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功 能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到 另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或 直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性 或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部 件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元 上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个 单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以 采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以 存储在一个计算机可读取存储器中。基于这样的理解,本发明的技术方案本质上或者说对现 有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计 算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算 机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的 存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程 序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括: 闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本发明实施例进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方 式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对 于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之 处,综上上述,本说明书内容不应理解为对本发明的限制。

Claims (32)

1.一种可信用户界面的显示方法,其特征在于,所述方法应用于具有折叠屏的电子设备,所述折叠屏包括至少两个屏,所述电子设备上运行有客户应用CA,所述方法包括:
响应于用户对所述电子设备的第一操作,使所述折叠屏从第一显示状态改变为第二显示状态;其中,所述第一显示状态表示所述至少两个屏中的至少一个屏为显示状态,所述第二显示状态表示所述至少两个屏中的至少一个屏为显示状态,且所述第一显示状态对应的屏和所述第二显示状态对应的屏不同;
在所述第二显示状态对应的屏上显示所述CA的用户界面UI;
响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显示状态对应的屏上显示所述CA对应的可信用户界面TUI,且所述TUI与所述第二显示状态对应的屏适配。
2.根据权利要求1所述的方法,其特征在于,
所述第一操作为将所述折叠屏展开成全屏显示的操作;所述第一显示状态表示所述至少两个屏中的一个屏为显示状态,所述第二显示状态表示所述至少两个屏为显示状态。
3.根据权利要求1所述的方法,其特征在于,
所述第一操作为将所述折叠屏折叠成单屏显示的操作;所述第一显示状态表示所述至少两个屏为显示状态,所述第二显示状态表示所述至少两个屏中的一个屏为显示状态。
4.根据权利要求1所述的方法,其特征在于,
所述第一操作为将所述电子设备翻转以使所述折叠屏从第一单屏显示切换为第二单屏显示的操作;所述第一显示状态表示所述至少两个屏中的第一屏为显示状态,所述第二显示状态表示所述至少两个屏中的第二屏为显示状态。
5.根据权利要求1-4任一项所述的方法,其特征在于,在触发在所述第二显示状态对应的屏上显示所述CA的TUI之后,所述方法还包括:
响应于所述用户对所述电子设备的第三操作,确定所述折叠屏从第二显示状态改变为第三显示状态,所述第三显示状态表示所述至少两个屏中的至少一个屏为显示状态,且所述第三显示状态对应的屏和所述第二显示状态对应的屏不同;
在所述第三显示状态对应的屏中退出所述TUI,以及显示所述CA的所述UI;
响应于所述用户在所述CA的所述UI上的第四操作,触发在所述第三显示状态对应的屏上显示所述CA的所述TUI,且所述TUI与所述第三显示状态对应的屏适配。
6.根据权利要求5所述的方法,其特征在于,第四操作和所述第二操作为相同的操作。
7.根据权利要求5或6所述的方法,其特征在于,
所述第三显示状态对应的屏和所述第一显示状态对应的屏相同;或者,
所述第三显示状态对应的屏和所述第一显示状态对应的屏不同。
8.根据权利要求1-7任一项所述的方法,其特征在于,
所述TUI与所述第二显示状态对应的屏适配是指:所述TUI在所述第二显示状态对应的屏上占满整个屏幕。
9.根据权利要求1-7任一项所述的方法,其特征在于,
所述TUI与所述第二显示状态对应的屏适配是指:所述TUI在所述第二显示状态对应的屏上占据部分屏幕。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述电子设备部署有富执行环境REE模块和可信执行环境TEE模块,所述CA运行于所述REE模块;所述CA对应的可信应用TA运行于所述TEE模块;
所述在所述第二显示状态对应的屏上显示所述CA的UI,包括:
通过所述REE模块,在所述第二显示状态对应的屏上显示所述CA的UI;
所述响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显示状态对应的屏上显示所述CA对应的TUI,包括:
通过所述TEE模块,响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显示状态对应的屏上显示所述TA在TEE模块中的TUI。
11.根据权利要求10所述的方法,其特征在于,
所述响应于用户对所述电子设备的第一操作,确定所述折叠屏从第一显示状态改变为第二显示状态,包括:
通过REE模块,当所述折叠屏的从所述第一显示状态改变为所述第二显示状态时,获得所述折叠屏在所述第二显示状态对应的屏幕信息;
通过所述REE模块,将所述屏幕信息传输至TEE模块。
12.根据权利要求10所述的方法,其特征在于,所述响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显示状态对应的屏上显示所述TA在TEE模块中的TUI,所述TUI与所述第二显示状态对应的屏适配,包括:
通过所述REE模块,响应于所述用户在所述CA的UI上的第二操作,触发TUI显示请求;
通过所述REE模块,将所述TUI显示请求发送至在所述TEE模块,以便于在所述TEE模块中调用所述CA对应的所述TA。
13.根据权利要求12所述的方法,其特征在于,所述响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显示状态对应的屏上显示所述TA在TEE模块中的TUI,所述TUI与所述第二显示状态对应的屏适配,包括:
通过所述TEE模块,接收所述TUI显示请求;
通过所述TEE模块,根据所述屏幕信息绘制所述TA在TEE模块中的TUI,以使所述TUI与所述第二显示状态对应的屏适配;
通过所述TEE模块,在所述第二显示状态对应的屏上显示所述TUI。
14.根据权利要求13所述的方法,其特征在于,所述根据所述屏幕信息绘制所述TA在TEE模块中的TUI,以使所述TUI与所述第二显示状态对应的屏适配,包括:
通过所述TEE模块,根据所述屏幕信息获得坐标变换信息;
通过所述TEE模块,根据所述坐标变换信息绘制所述TUI,所述TUI的尺寸与所述第二显示状态对应的屏的尺寸一致,或者所述TUI的尺寸小于所述第二显示状态对应的屏的尺寸。
15.根据权利要求10-14任一项所述的方法,其特征在于,所述通过所述REE模块将所述屏幕信息传输至所述TEE模块,包括:
通过所述REE模块,对所述屏幕信息进行加密,获得经加密的屏幕信息;
通过所述REE模块,验证用于传输所述经加密的屏幕信息的进程是否为***服务;
通过所述REE模块,在所述进程为***服务的情况下,调用驱动接口将所述经加密的屏幕信息传输至所述TEE模块。
16.根据权利要求10-14任一项所述的方法,其特征在于,所述通过所述REE模块将所述屏幕信息传输至所述TEE模块,包括:
通过所述TEE模块,根据所述屏幕信息验证用于传输所述屏幕信息的进程的身份;
通过所述TEE模块,在验证通过的情况下,解密获得所述屏幕信息。
17.一种具有折叠屏的电子设备,其特征在于,所述折叠屏包括至少两个屏,所述电子设备上运行有客户应用CA,包括:
富执行环境REE模块,用于响应于用户对所述电子设备的第一操作,使所述折叠屏从第一显示状态改变为第二显示状态;其中,所述第一显示状态表示所述至少两个屏中的至少一个屏为显示状态,所述第二显示状态表示所述至少两个屏中的至少一个屏为显示状态,且所述第一显示状态对应的屏和所述第二显示状态对应的屏不同;还用于,在所述第二显示状态对应的屏上显示所述CA的用户界面UI;
可信执行环境TEE模块,用于响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显示状态对应的屏上显示所述CA对应的可信用户界面TUI,且所述TUI与所述第二显示状态对应的屏适配。
18.根据权利要求17所述的电子设备,其特征在于,
所述第一操作为将所述折叠屏展开成全屏显示的操作;所述第一显示状态表示所述至少两个屏中的一个屏为显示状态,所述第二显示状态表示所述至少两个屏为显示状态。
19.根据权利要求17所述的电子设备,其特征在于,
所述第一操作为将所述折叠屏折叠成单屏显示的操作;所述第一显示状态表示所述至少两个屏为显示状态,所述第二显示状态表示所述至少两个屏中的一个屏为显示状态。
20.根据权利要求17所述的电子设备,其特征在于,
所述第一操作为将所述电子设备翻转以使所述折叠屏从第一单屏显示切换为第二单屏显示的操作;所述第一显示状态表示所述至少两个屏中的第一屏为显示状态,所述第二显示状态表示所述至少两个屏中的第二屏为显示状态。
21.根据权利要求17-20任一项所述的电子设备,所述REE模块还用于:
响应于所述用户对所述电子设备的第三操作,确定所述折叠屏从第二显示状态改变为第三显示状态,所述第三显示状态表示所述至少两个屏中的至少一个屏为显示状态,且所述第三显示状态对应的屏和所述第二显示状态对应的屏不同;在所述第三显示状态对应的屏中的所述TUI退出后,显示所述CA的所述UI;
所述TEE模块还用于:
响应于所述用户在所述CA的所述UI上的第四操作,触发在所述第三显示状态对应的屏上显示所述CA的所述TUI,且所述TUI与所述第三显示状态对应的屏适配。
22.根据权利要求21所述的电子设备,其特征在于,第四操作和所述第二操作为相同的操作。
23.根据权利要求21或22所述的电子设备,其特征在于,
所述第三显示状态对应的屏和所述第一显示状态对应的屏相同;或者,
所述第三显示状态对应的屏和所述第一显示状态对应的屏不同。
24.根据权利要求17-23任一项所述的电子设备,其特征在于,
所述TUI与所述第二显示状态对应的屏适配是指:所述TUI在所述第二显示状态对应的屏上占满整个屏幕。
25.根据权利要求17-23任一项所述的电子设备,其特征在于,
所述TUI与所述第二显示状态对应的屏适配是指:所述TUI在所述第二显示状态对应的屏上占据部分屏幕。
26.根据权利要求17-25任一项所述的电子设备,其特征在于,
所述REE模块用于:在所述第二显示状态对应的屏上显示所述CA在REE模块中的UI;
所述TEE模块用于:响应于所述用户在所述CA的UI上的第二操作,触发在所述第二显示状态对应的屏上显示所述TA在TEE模块中的TUI。
27.根据权利要求26所述的电子设备,其特征在于,所述REE模块具体用于:
当所述折叠屏的从所述第一显示状态改变为所述第二显示状态时,获得所述折叠屏在所述第二显示状态对应的屏幕信息;
将所述屏幕信息传输至TEE模块。
28.根据权利要求27所述的电子设备,其特征在于,所述REE模块具体用于:
响应于所述用户在所述CA的UI上的第二操作,触发TUI显示请求;
将所述TUI显示请求发送至在所述TEE模块,以便于在所述TEE模块中调用所述CA对应的所述TA。
29.根据权利要求28所述的电子设备,其特征在于,所述TEE模块具体用于:
接收所述TUI显示请求;
根据所述屏幕信息绘制所述TA在TEE模块中的TUI,以使所述TUI与所述第二显示状态对应的屏适配;
在所述第二显示状态对应的屏上显示所述TUI。
30.根据权利要求29所述的电子设备,其特征在于,所述TEE模块具体用于:
根据所述屏幕信息获得坐标变换信息;
根据所述坐标变换信息绘制所述TUI,所述TUI的尺寸与所述第二显示状态对应的屏的尺寸一致,或者所述TUI的尺寸小于所述第二显示状态对应的屏的尺寸。
31.根据权利要求26-30任一项所述的电子设备,其特征在于,所述REE模块具体用于:
对所述屏幕信息进行加密,获得经加密的屏幕信息;
验证用于传输所述经加密的屏幕信息的进程是否为***服务;
在所述进程为***服务的情况下,调用驱动接口将所述经加密的屏幕信息传输至所述TEE模块。
32.根据权利要求26-30任一项所述的电子设备,其特征在于,所述REE模块具体用于:
根据所述屏幕信息验证用于传输所述屏幕信息的进程的身份;
在验证通过的情况下,解密获得所述屏幕信息。
CN201910696969.XA 2019-07-30 2019-07-30 可信用户界面的显示方法及电子设备 Pending CN112307483A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910696969.XA CN112307483A (zh) 2019-07-30 2019-07-30 可信用户界面的显示方法及电子设备
PCT/CN2020/105844 WO2021018247A1 (zh) 2019-07-30 2020-07-30 可信用户界面的显示方法及电子设备
US17/587,234 US11994905B2 (en) 2019-07-30 2022-01-28 Trusted user interface display method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910696969.XA CN112307483A (zh) 2019-07-30 2019-07-30 可信用户界面的显示方法及电子设备

Publications (1)

Publication Number Publication Date
CN112307483A true CN112307483A (zh) 2021-02-02

Family

ID=74230325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910696969.XA Pending CN112307483A (zh) 2019-07-30 2019-07-30 可信用户界面的显示方法及电子设备

Country Status (3)

Country Link
US (1) US11994905B2 (zh)
CN (1) CN112307483A (zh)
WO (1) WO2021018247A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905144A (zh) * 2021-03-30 2021-06-04 中国建设银行股份有限公司 终端显示方法、装置、电子设备及存储介质
CN116048680A (zh) * 2022-07-19 2023-05-02 荣耀终端有限公司 一种触屏方法及电子设备
CN116382896A (zh) * 2023-02-27 2023-07-04 荣耀终端有限公司 图像处理算法的调用方法、终端设备、介质及产品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307483A (zh) * 2019-07-30 2021-02-02 华为技术有限公司 可信用户界面的显示方法及电子设备
CN114428650B (zh) * 2022-01-26 2023-11-14 惠州Tcl移动通信有限公司 应用程序显示方法、装置、电子设备和可读存储介质
CN117707403A (zh) * 2023-07-19 2024-03-15 荣耀终端有限公司 显示方法和相关装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9871821B2 (en) * 2014-11-11 2018-01-16 Oracle International Corporation Securely operating a process using user-specific and device-specific security constraints
CN104462942B (zh) 2014-11-20 2018-03-27 工业和信息化部电信研究院 移动终端可信用户输入输出接口的检测方法及***
CN104809413A (zh) * 2015-05-13 2015-07-29 上海瓶钵信息科技有限公司 基于TrustZone技术的移动平台可信用户界面框架
CN110059500A (zh) * 2015-11-30 2019-07-26 华为技术有限公司 用户界面切换方法和终端
US11424931B2 (en) * 2016-01-27 2022-08-23 Blackberry Limited Trusted execution environment
KR20170096408A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 어플리케이션을 표시하는 방법 및 이를 지원하는 전자 장치
WO2017219257A1 (zh) * 2016-06-21 2017-12-28 华为技术有限公司 具有柔性显示屏的电子设备及其处理方法
KR102571369B1 (ko) * 2016-08-03 2023-08-29 삼성전자주식회사 디스플레이 제어 방법, 저장 매체 및 전자 장치
US10528749B2 (en) * 2017-03-20 2020-01-07 Huawei Technologies Co., Ltd. Methods and apparatus for containerized secure computing resources
CN106990972B (zh) 2017-04-13 2021-04-02 沈阳微可信科技有限公司 用于运行可信用户界面的方法和装置
CN107645611A (zh) * 2017-10-17 2018-01-30 维沃移动通信有限公司 一种支付方法及移动终端
CN108536409A (zh) 2018-03-31 2018-09-14 上海爱优威软件开发有限公司 一种终端显示调整方法及***
CN108737402B (zh) 2018-05-10 2021-04-27 北京握奇智能科技有限公司 移动终端安全防护方法和装置
KR20200086830A (ko) * 2019-01-10 2020-07-20 삼성전자주식회사 폴더블 디스플레이를 이용하여 이미지를 제공하는 방법 및 이를 지원하기 위한 전자 장치
US11714895B2 (en) * 2019-07-18 2023-08-01 Anjuna Security, Inc. Secure runtime systems and methods
CN115629730A (zh) * 2019-07-23 2023-01-20 华为技术有限公司 显示方法及相关装置
CN112307483A (zh) * 2019-07-30 2021-02-02 华为技术有限公司 可信用户界面的显示方法及电子设备
US11442621B2 (en) * 2019-10-01 2022-09-13 Microsoft Technology Licensing, Llc Extensions to global keyboard shortcuts for computing devices having multiple display regions
US11200072B2 (en) * 2019-10-01 2021-12-14 Microsoft Technology Licensing, Llc User interface adaptations based on inferred content occlusion and user intent
CN113645351B (zh) * 2020-04-24 2022-10-28 华为技术有限公司 应用界面交互方法、电子设备和计算机可读存储介质
CN114339674B (zh) * 2020-09-30 2024-06-04 华为技术有限公司 目标业务执行方法和电子设备
US11783055B2 (en) * 2020-10-26 2023-10-10 Nxp B.V. Secure application execution in a data processing system
US20230177197A1 (en) * 2021-12-06 2023-06-08 R3 Ltd. Persistent file system in a secure enclave

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905144A (zh) * 2021-03-30 2021-06-04 中国建设银行股份有限公司 终端显示方法、装置、电子设备及存储介质
CN112905144B (zh) * 2021-03-30 2024-03-22 中国建设银行股份有限公司 终端显示方法、装置、电子设备及存储介质
CN116048680A (zh) * 2022-07-19 2023-05-02 荣耀终端有限公司 一种触屏方法及电子设备
CN116048680B (zh) * 2022-07-19 2023-11-07 荣耀终端有限公司 一种触屏方法及电子设备
CN116382896A (zh) * 2023-02-27 2023-07-04 荣耀终端有限公司 图像处理算法的调用方法、终端设备、介质及产品
CN116382896B (zh) * 2023-02-27 2023-12-19 荣耀终端有限公司 图像处理算法的调用方法、终端设备、介质及产品

Also Published As

Publication number Publication date
WO2021018247A1 (zh) 2021-02-04
US20220155819A1 (en) 2022-05-19
US11994905B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
WO2021018247A1 (zh) 可信用户界面的显示方法及电子设备
US10387873B2 (en) Systems, methods, and computer program products for integrating third party services with a mobile wallet
US9183373B2 (en) Secure input via a touchscreen
US7633483B2 (en) Display extension using terminal clients
CN110826043B (zh) 一种数字身份申请***及方法、身份认证***及方法
KR101925806B1 (ko) 보안 방법 및 장치
US8874931B2 (en) System and method for securing a user interface
US20130145475A1 (en) Method and apparatus for securing touch input
US20120159608A1 (en) Password entry using 3d image with spatial alignment
US20180240100A1 (en) Method for securing a transaction from a non-secure terminal
EP3255578B1 (en) Interface display method of terminal and terminal
EP3817322A1 (en) Method for upgrading service application range of electronic identity card, and terminal device
WO2017206833A1 (zh) 支付方法、支付设备和支付服务器
US20120159609A1 (en) Password entry using moving images
US9275206B2 (en) Managing sensitive information
CN110618847A (zh) 一种用户界面的显示方法和终端设备
US20240232417A1 (en) Object Movement Method, Apparatus and Electronic Device
WO2022161406A1 (zh) 加密方法、装置、电子设备及介质
WO2022143358A1 (zh) 一种密钥管理的方法、相应装置及***
US20130227263A1 (en) Application processing apparatus and method for mobile terminal
US10637827B2 (en) Security network system and data processing method therefor
US20090172823A1 (en) Management engine secured input
WO2022247865A1 (zh) 显示控制方法、装置、电子设备及介质
CN108696355B (zh) 一种防止用户头像盗用的方法及***
US20130276101A1 (en) Method of, and a system for enabling a secure password entry using a non-secure device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination