CN103329061A - 使用姿势查看堆栈化的屏幕显示的方法和*** - Google Patents

使用姿势查看堆栈化的屏幕显示的方法和*** Download PDF

Info

Publication number
CN103329061A
CN103329061A CN2011800515411A CN201180051541A CN103329061A CN 103329061 A CN103329061 A CN 103329061A CN 2011800515411 A CN2011800515411 A CN 2011800515411A CN 201180051541 A CN201180051541 A CN 201180051541A CN 103329061 A CN103329061 A CN 103329061A
Authority
CN
China
Prior art keywords
window
desktop
screen
user
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800515411A
Other languages
English (en)
Inventor
S.西尔帕
B.B.福克
P.E.里夫斯
A.德帕兹
R.W.施罗克
E.夫里德曼
J.L.菲克林
D.伯顿
M.克里普斯
G.威戈尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flex Electronics Id Co ltd
Original Assignee
Flex Electronics Id Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flex Electronics Id Co ltd filed Critical Flex Electronics Id Co ltd
Publication of CN103329061A publication Critical patent/CN103329061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G06F1/1649Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display the additional display being independently orientable, e.g. for presenting information to a second user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Digital Computer Display Output (AREA)

Abstract

公开了一种用于将用户姿势输入到手持计算设备中的直观技术,其允许用户在对不同类型的屏幕显示区呈现(诸如桌面和应用窗口)执行任务时更好地操纵它们,其中可以根据窗口堆栈顺序导航和顺序地显示用于应用窗口和/或桌面的窗口堆栈,而不干扰或改变此顺序。

Description

使用姿势查看堆栈化的屏幕显示的方法和***
相关申请的交叉引用
本申请要求以下美国临时申请在35U.S.C.§119(e)下的权益和优先权:2010年10月1日提交的题为“DUAL DISPLAY WINDOWING SYSTEM”的No.61/389,000;2010年10月1日提交的题为“MULTI-OPERATING SYSTEMPORTABLE DOCKETING DEVICE”的No.61/389,117;2010年10月1日提交的题为“TABLET COMPUTING USER INTERFACE”的No.61/389,087;2010年11月17日提交的题为“Dual Screen Email Client”的No.61/458,150;以及2011年9月27日提交的题为“MOBILE DEVICE”的No.61/539,884。针对它们所教导的全部内容以及为了所有目的,通过引用将每个前述文件的全文合并到这里。
背景技术
很大量的手持计算设备(诸如蜂窝电话、平板电脑以及电子阅读器)使用触摸屏显示器,不仅用来向用户传递显示信息,而且用于从用户界面命令接收输入。虽然触摸屏显示器可以提高手持设备的可配置性以及提供广泛类型的用户界面选项,但这种灵活性通常需要付出代价。触摸屏提供内容和接收用户命令的双重使用,虽然对用户很灵活性,但可能使显示迷乱,并导致视觉混乱,从而导致用户失望和损失工作效率。
手持计算设备的小形状因素在显示的图形与用于接收输入的区域之间需要仔细平衡。一方面,小显示器限制了显示空间,这可能增加解析动作或结果的难度。另一方面,虚拟键区或其它用户界面方案叠加在执行应用上或与其相邻,这需要将应用压缩到显示器的甚至更小的部分中。
对于单显示触摸屏设备,这种平衡工作尤其困难。单显示触摸屏设备的功能受到他们有限的屏幕空间限制。当用户通过单显示器向设备输入信息时,可能严重妨碍解析显示器中的信息的能力,尤其是当显示和界面之间需要复杂交互时。
发明内容
存在对双多显示区手持计算设备的需要,相对于传统单显示区手持计算设备,该双多显示区手持计算设备提供增强的能力和/多功能性。通过本公开的各个方面、实施例、和/或配置解决这些以及其它需要。此外,虽然以示例实施例的方式呈现了本公开,但应该理解,本公开的各个单独方面可以被独立地要求权利。
在至少一个实施例中,该多显示区设备包括以下组件:
(a)至少一个显示屏幕,用于显示多个显示对象,每个显示对象是窗口或桌面之一;
(b)与所述至少一个显示屏幕关联的姿势捕获区域,用于接收第一用户手指姿势输入,所述姿势捕获区域与所述至少一个显示屏幕分离;
其中所述至少一个显示屏幕响应用户触摸,用于接收第二用户手指姿势输入;
(c)显示管理器,用于确定所述多个显示对象中的哪个显示在所述至少一个屏幕上;
(d)姿势解析器,用于解析所述第一和第二用户手指姿势输入中的每一个,用于确定要在所述至少一个屏幕显示区上执行的动作,其中所述姿势解析器将所述第一和第二用户手指姿势输入中的每一个与多个用户姿势输入描述的预定选集进行比较,用于辨识可解析的用户姿势输入;(e)永久性数据储存器,用于存储指示所述多个显示对象的顺序的数据;
其中针对在接收到第一用户姿势输入时所述显示对象中当前显示的一个对象,确定要在所述至少一个显示屏幕上呈现的窗口或桌面,其中所述窗口或桌面被识别为在所述顺序上紧挨在所述一个显示对象之前或之后;
其中所述显示管理器利用窗口或桌面的显示替代所述至少一个显示屏幕上的所述一个显示对象;以及
其中在利用所述窗口或桌面的显示替代了所述一个显示对象之后,所述顺序不改变。
此外,在至少一个实施例中,该多显示区设备执行以下步骤,用于配置用于显示多个显示对象的至少一个显示屏幕,每个对象是窗口或桌面之一:
(1)接收输入到姿势捕获区域的第一用户手指姿势输入,所述姿势捕获区域操作地与所述至少一个屏幕关联但与其分离;(2)将所述手指姿势输入解析为对导航所述多个显示对象的顺序的请求,用于所述顺序的数据存储在永久性数据储存器中;(3)响应于所述解析步骤,确定要在所述至少一个显示屏幕上呈现的窗口或桌面,其中所述窗口或桌面被识别为在所述顺序上紧挨在所述显示对象中当前显示的显示对象之前或之后;
(4)作为所述确定步骤的结果,执行步骤(a-1)和(a-2):
(a-1)停止在所述至少一个屏幕显示区上显示所述当前显示的
显示对象;以及(a-2)在所述至少一个屏幕显示区上显示所述窗口或
桌面;其中在所述显示步骤之后,所述顺序未从所述确定步骤之前改变。
取决于特定方面、实施例和/或配置,本公开可以提供多个优点。具体地,提供了用于将用户姿势输入到手持计算设备中的直观技术,其允许用户在对不同类型的屏幕显示区呈现(诸如桌面和应用窗口)执行任务时更好地操纵它们,其中可以根据窗口堆栈顺序导航和顺序地显示用于应用窗口和/或桌面的窗口堆栈,而不干扰或改变此顺序。
根据本公开,这些以及其它优点将变得明显。
词组“至少一个”、“一个或多个”以及“和/或”是开放性表达,其在作用上既是连接的也是分离的。例如,“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”、以及“A、B和/或C”这些表达每个表示仅A、仅B、仅C、A和B一起、A和C一起、B和C一起、或者A、B和C一起。
单数形式(“a”或“an”)整体表示一个或多个该实体。因此,单数形式(“a”或“an”)、“一个或多个”、以及“至少一个”在本文中可以替换使用。还应注意,“包括”、“包含”以及“具有”可以替换使用。
这里使用的词语“自动”及其变型是指当执行处理或操作时在没有实质性的人工输入的情况下完成的任何处理或操作。然而,即使处理或操作的执行使用实质性或非实质性的人工输入,如果在处理或操作执行之前接收该输入,则该处理或操作也是自动的。如果人工输入影响将如何执行处理或操作,则这样的人工输入认为是实质性的。遵从处理或操作的执行的人工输入不认为是“实质性的”。
这里使用的词语“计算机可读介质”是指参与将指令提供给处理器进行执行的任何有形存储和/或传输介质。这种介质可以采用许多形式,包括但不限于,非易失性介质、易失性介质和传输介质。非易失性介质包括例如NVRAM、或者磁或光盘。易失性介质包括动态存储器,诸如主存储器。计算机可读介质的通常形式包括例如软盘、柔性盘、硬盘、磁带、或任何其它磁介质、磁光介质、CD-ROM、任何其它光学介质、打孔卡片、纸带、任何其它具有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、如存储卡的固态介质、任何其它存储芯片或单元存储器(cartridge)、下文描述的载波、或计算机可以读取的任何其它介质。电子邮件的数字文件附件或其它独立的信息档案或档案集被认为是等价于有形存储介质的发布介质。当计算机可读介质被配置为数据库时,应理解,该数据库可以是任何类型的数据库,诸如关系数据库、层级数据库、面向对象的数据库等等。因此,本公开被认为是包括有形存储介质或发布介质、以及现有技术认同的等同或后继介质,它们中存储本公开的软件实施方式。
本文使用的术语“应用”是指(i)安装在设备(诸如多屏设备)上的软件程序、和/或(ii)其在电子显示屏幕上的显示,其中应用是设计来帮助用户执行一个或多个预定任务的计算机软件。示例包括企业软件、会计软件、办公软件、图形软件、和媒体软件。“应用”具有用于接收和呈现来自用户的信息的用户界面。本文使用的“应用”通常指软件(和/或其图形呈现(presentation)),其中:(i)可以从用户输入激活应用,该用户输入与其它软件分离且地独立地显性识别该应用;(ii)应用可与用户交互,用于帮助用户执行任务,用户认知且有意地激活应用来执行该任务;以及(iii)当提供图形交互用于以图形显示其它应用时,该应用不被用户看到,所述其它应用与该应用可独立地操作,例如以下中的一个或更多个:独立安装、卸载、下载、显示、不显示、最小化或最大化,或者独立地处理用户输入和显示来自其的结果。
术语“应用窗口”是指潜在复杂的数据结构,其限定可以操纵的相互关联的信息在图形显示屏幕上的图形呈现,用于作为单元来移动、最小化和最大化。每个应用窗口具有与其关联的限定对其的预定用户输入的“应用”,应用窗口根据关联的应用执行的处理而响应于该预定用户输入。如本文所提及的,“应用窗口”也指当应用窗口显示在电子显示装置(诸如“触摸屏”)上时的图形呈现,如本领域的技术人员将理解的。
术语“桌面”是指用于描述***的比喻词。桌面一般被认为是“表面(surface)”,该表面通常包括图片、调用图标、窗口小部件、文件夹等,它们可以激活显示应用、窗口、小操作台(cabinet)、文件、文件夹、文档、以及其它图形项目。一般可通过用户界面交互选择图标来启动任务,以允许用户执行应用或执行其它操作。
术语“屏幕”、“触摸屏”或“触屏”是指包括一个或多个硬件组件的物理结构,所述硬件组件向设备提供呈现用户界面和/或接收用户输入的能力。屏幕可以包含姿势捕获区域、触摸敏感显示区、和/或可配置区域的任意组合。设备可以具有一个或多个物理屏幕嵌入在硬件中。然而,屏幕也可以包括可以附接或从该设备移除的***设备。在实施例中,多个外部设备可以附接到该设备。因此,在实施例中,屏幕可以使得用户能够通过触摸屏幕上的区域与设备交互,并且通过显示区向用户提供信息。触摸屏可以感测用户多个方式的接触,诸如通过电参数(电阻或电容)的变化、声波变动、红外辐射近程检测、光变动检测等。例如,在电阻触摸屏中,屏幕中通常分离的传导和阻抗金属层传导电流。当用户触摸屏幕时,这两层在触摸位置接触,从而发现电场的改变,并计算触摸位置的坐标。在电容触摸屏中,电容层存储电荷,当用户与触摸屏接触时,该电荷释放到用户,从而导致电容层的电荷减少。测量该减少,并确定接触位置坐标。在表面声波触摸屏中,通过屏幕传输声波,并且通过用户接触分布声波。接收传感器检测用户的接触事件,并确定接触位置的坐标。
术语“显示区”是指用于显示计算机向用户的输出的一个或多个屏幕的一部分。显示区可以是单屏显示区或多屏显示区(称为复合显示区)。复合显示区可以包含一个或多个屏幕的触摸敏感显示区。单个物理屏幕可以包括被管理为独立的逻辑显示区的多个显示区。因此,不同的内容可以显示在独立的显示区上,尽管它们是同一物理屏幕的部分。
术语“显示图像”是指在显示区上产生的图像。典型的显示图像是窗口或桌面。显示图像可以占据全部显示区或显示区的一部分。
术语“显示定向”是指用户为了查看而定向(orient)矩形显示区的方式。显示定向的两个最通常的类型是竖向(portrait,即肖像画)和横向(landscape,即风景画)。在横向模式中,显示区被定向为显示区的宽度大于显示区的高度(诸如4:3的比例,即4单位宽和3单位高,或者16:9的比例,即16单位宽和9单位高)。换言之,在横向模式中,显示区的较长维度基本定向在水平方向上,而显示区的较短维度基本定向在垂直方向上。相反,在竖向模式中,显示区被定向为显示区的宽度小于显示区的高度。换言之,在竖向模式中,显示区的较短维度基本定向在水平方向上,而显示区的较长维度基本定向在垂直方向上。
术语“复合显示区”是指限定可以包含一个或多个屏幕的显示区的逻辑结构。多屏显示区可以与包含所有屏幕的复合显示区关联。基于设备的不同定向,复合显示区可以具有不同的显示特性。
术语“姿势(gesture)”是指用户动作,其表达期望的想法、动作、意思、结果和/或成果。用户动作可以包括操纵设备(例如,打开或关闭设备、改变设备定向、移动轨迹球或轮等)、身体部分相对于设备的运动、器具或工具相对于设备的运动、音频输入等。可以在设备上(例如屏幕上)做出姿势或者利用设备做出姿势,以与设备交互。
这里使用的术语“模块”是指任意已知或以后发展的硬件、软件、固件、人工智能、模糊逻辑、或硬件和软件的组合,其能够执行与该元件关联的功能。
术语“姿势捕获”是指用户姿势的事件和/或类型的感测或检测。姿势捕获可以在屏幕的一个或多个区域中发生。姿势区域可以在显示区上(在这种情况下,其可被称为触摸敏感显示区)或显示区之外(在这种情况下,其可被称为姿势捕获区域)。
“多屏应用”是指能够多屏模式的应用。多屏应用模式可以包括但不限于单屏模式(其中在单个屏幕上显示应用)或复合显示区模式(其中在两个或多个屏幕上显示应用)。多屏应用可以具有为该模式优化的不同布局。因此,多屏应用可以具有用于单屏或用于包含两个或更多个屏幕的复合显示区的不同布局。不同布局可以具有可以呈现多屏应用的用户界面的不同屏幕/显示区维度和/或配置。不同布局允许应用针对显示区的类型(例如单屏或多屏)优化应用的用户界面。在单屏模式中,多屏应用可以呈现一个窗口框的信息。在复合显示区模式中,多屏应用可以呈现多个窗口框的信息,或者可以提供更大且更丰富的呈现,因为具有更多的空间用于显示内容。多屏应用可被设计为根据***向多屏应用分配哪种显示区(单个或复合)而动态地适配设备和模式的改变。在替代实施例中,用户可以使用姿势来请求应用转变到不同的模式,并且如果对于所请求的模式有显示区可用,则设备可以允许应用转移到该显示区并转变模式。
“单屏应用”是指能够单屏模式的应用。因此,单屏应用仅可以产生一个窗口,并且不能有不同的模式或不同的显示维度。单屏应用不能够有关于多屏应用所说明的几个模式。
术语“窗口”是指显示区的至少一部分上的通常是矩形的显示图像,其包含或提供与屏幕的其余位置不同的内容。窗口可以遮挡(obscure)桌面。
这里所用的术语“确定”、“计算(calculate)”和“计算(compute)”及其它们的变型可以交换使用,并且包括任何类型的方法、处理、数学运算或技术。
应该理解,这里使用的“装置(means)”应该给予根据美国专利法第112条第6款的最广可能性的解释。因此,包含词汇“装置”的权利要求应当涵盖这里提出的所有结构、材料或动作,以及它们的等同体。此外,结构、材料或动作、以及它们的等同体包括发明内容、附图说明、具体实施方式、摘要、以及权利要求本身中描述的所有内容。
前面是本公开的简化总结,以提供本公开的某些方面的理解。该总结不是本公开及其各个方面、实施例和/或配置的详尽或穷尽的概述。其不意图标识本公开的关键或重要要素,也不限定本公开的范围,而是以简化的形式选择性地呈现本公开的构思,作为对下面呈现的更详细的描述的引荐。如可以理解的,通过单独或组合地利用上述或下面详细描述的特征中的一个或多个,可以形成本公开的其它方面、实施例、和/或配置。
附图说明
图1A包括多屏用户设备的实施例的第一视图;
图1B包括多屏用户设备的实施例的第二视图;
图1C包括多屏用户设备的实施例的第三视图;
图1D包括多屏用户设备的实施例的第四视图;
图1E包括多屏用户设备的实施例的第五视图;
图1F包括多屏用户设备的实施例的第六视图;
图1G包括多屏用户设备的实施例的第七视图;
图1H包括多屏用户设备的实施例的第八视图;
图1I包括多屏用户设备的实施例的第九视图;
图1J包括多屏用户设备的实施例的第十视图;
图2是设备的硬件实施例的框图;
图3A是基于设备的定向和/或配置的、设备的状态模式的实施例的框图;
图3B是基于设备的定向和/或配置的、设备的状态模式的实施例的表;
图4A是设备接收的用户姿势的实施例的第一表示;
图4B是设备接收的用户姿势的实施例的第二表示;
图4C是设备接收的用户姿势的实施例的第三表示;
图4D是设备接收的用户姿势的实施例的第四表示;
图4E是设备接收的用户姿势的实施例的第五表示;
图4F是设备接收的用户姿势的实施例的第六表示;
图4G是设备接收的用户姿势的实施例的第七表示;
图4H是设备接收的用户姿势的实施例的第八表示;
图5A是设备软件和/或固件的实施例的框图;
图5B是设备软件和/或固件的实施例的第二框图;
图6A是响应于设备状态产生的设备配置的实施例的第一表示;
图6B是响应于设备状态产生的设备配置的实施例的第二表示;
图6C是响应于设备状态产生的设备配置的实施例的第三表示;
图6D是响应于设备状态产生的设备配置的实施例的第四表示;
图6E是响应于设备状态产生的设备配置的实施例的第五表示;
图6F是响应于设备状态产生的设备配置的实施例的第六表示;
图6G是响应于设备状态产生的设备配置的实施例的第七表示;
图6H是响应于设备状态产生的设备配置的实施例的第八表示;
图6I是响应于设备状态产生的设备配置的实施例的第九表示;
图6J是响应于设备状态产生的设备配置的实施例的第十表示;
图7A是逻辑窗口堆栈的表示;
图7B是另一逻辑窗口堆栈;
图7C是逻辑窗口堆栈的实施例的另一表示;
图7D是逻辑窗口堆栈的实施例的另一表示;
图7E是逻辑窗口堆栈的实施例的另一表示;
图8是用于窗口堆栈的逻辑数据结构的实施例的框图;
图9是用于创建窗口堆栈的方法的实施例的流程图;
图10示出了穿过窗口堆栈导航的用户手指姿势的简单系列;
图11是当用户输入用于穿过窗口堆栈导航的特定手指姿势时执行的高级步骤的实施例的流程图。
在附图中,类似的组件和/或特征可以具有相同的参考标记。此外,同一类型的各个组件可以通过在参考标记后加上字母来区分,该字母在类似的组件之间进行区分。如果在描述中仅使用开头的参考标记,则该描述适用于具有相同的开头参考标记的类似组件中的任一个,而不论后缀参考标记是什么。
具体实施方式
这里呈现的是设备的实施例。设备可以是通信设备,诸如蜂窝电话,或其它智能设备。设备可以包括两个屏幕,它们被定向来提供若干独特的显示配置。此外,设备可以接收独特方式的用户输入。设备的总体设计和功能改善了用户体验,使得设备更有用且更高效。
机械特征:
图1A-图1J示出了根据本公开的实施例的设备100。如下面更详细描述的,可以多个不同的方式放置设备100,每个方式向用户提供不同的功能。设备100是多屏设备,其包括主屏104和辅屏108,这两个屏幕都是触摸敏感的。在实施例中,屏幕104和108的整个前表面可以是触摸敏感的,并能够接收用户触摸屏幕104和108的前表面进行的输入。主屏104包括触摸敏感显示区110,其除了触摸敏感外还向用户显示信息。辅屏108包括触摸敏感显示区114,其也向用户显示信息。在其它实施例中,屏幕104和108可以包括超过一个显示区域。
主屏104还包括可配置区域112,其已被配置用于用户触摸该可配置区域112的部分时的特定输入。辅屏108还包括已配置用于特定输入的可配置区域116。区域112a和116a已被配置为接收“后退”输入,其指示用户想查看之前显示的信息。区域112b和116b已被配置为接收“菜单”输入,其指示用户想查看来自菜单的选项。区域112c和116c已被配置为接收“主页(home)”输入,其指示用户想查看与“主页”视图关联的信息。在其它实施例中,除了上述配置外,还可将区域112a-c和116a-c配置用于包括设备110的控制特征的其它类型的特定输入,一些非限制性的示例包括调节总***电力、调节音量、调节亮度、调节振动、选择显示项(在屏幕104或108的任一个上)、操作摄像头、操作麦克风、以及启动/终止电话呼叫。而且,在某些实施例中,可以取决于设备100上运行的应用和/或触摸敏感显示区110和/或114上的显示信息配置区域112a-c和116a-c用于特定输入。
除触摸感测之外,主屏104和辅屏108还可以包括不需要用户触摸屏幕的显示区域而接收来自用户的输入的区域。例如,主屏104包括姿势捕获区域120,辅屏108包括姿势捕获区域124。这些区域能够通过识别用户进行的姿势而接收输入,不需要用户实际触摸显示区域的表面。与触摸敏感显示区110和114相比,姿势捕获区域120和124通常不能够呈现显示图像。
通过铰链128将两个屏幕104和108连接到一起,如图1C(示出了设备100的后视图)中清晰显示的。在图1A-图1J所示的实施例中,铰链128是连接屏幕104和108的中心铰链,使得当合上铰链时,屏幕104和108是并置的(即并排),如图1B(示出了设备100的前视图)中所示。可以将铰链128展开(open),以将两个屏幕104和108放置在相对于彼此的不同相对位置上。如下面更详细描述的,取决于屏幕104和108的相对位置,设备100可以具有不同的功能。
图1D示出了设备100的右侧。如图1D中所示,辅屏108还包括卡槽132和同侧的端口136。在实施例中,卡槽132容纳不同类型的卡,包括用户身份模块(SIM)。在实施例中,端口136是允许设备连接到其它***设备(诸如显示器、键盘、或打印设备)的输入/输出端口(I/O端口)。如可以理解的,这些仅是一些示例,在其它实施例中,设备100可以包括其它卡槽和端口,诸如用于容纳附加存储设备和/或用于连接其它***设备的卡槽和端口。图1D还示出了音频插孔140,其例如容纳芯-环-套筒(TRS)连接器来允许用户使用耳机或头戴耳机。
设备100还包括多个按钮158。例如,图1E示出了设备100的左侧。如图1E中所示,主屏104的该侧包括三个按钮144、148和152,可以将它们配置用于特定输入。例如,按钮144、148和152可以被配置为组合地或单独地控制设备100的多个方面。一些非限制性示例包括总***电力、音量、亮度、振动、显示项的选择(在屏幕104或108的任一个上)、摄像头、麦克风、以及电话呼叫的启动/终止。在一些实施例中,代替分离按钮,可以将两个按钮组合为摇杆按钮(rocker button)。此安排在将按钮配置为控制诸如音量或亮度的特征的情况中很有用。除了按钮144、148和152之外,设备100还包括按钮156,如图1F中所示,其示出了设备100的顶部。在一个实施例中,按钮156被配置为用于控制设备100的总***电力的开/关按钮。在其它实施例中,按钮156被配置为控制设备100的其它方面,附加于或代替控制***电力。在一些实施例中,按钮144、148、152和156中的一个或多个能够支持不同的用户命令。例如,常规按压具有通常小于约1秒的时间长度,并表示快速拍击。中等按压具有通常大于等于1秒但小于约12秒的时间长度。长按压具有通常约12秒或更长的时间长度。按钮的功能通常是应用特定的,该应用当前关注于各个显示区110和114。在例如电话应用中,取决于特定按钮,常规、中等或长按压可以表示结束电话、增加电话音量、降低电话音量和开关麦克风静音。例如,在照相和视频应用中,取决于特定按钮,常规、中等或长按压可以表示提高放大率、降低放大率、以及拍照或记录视频。
在设备100内还存在多个硬件组件。如图1C中所示,设备100包括扬声器160和麦克风164。设备100还包括摄像头168(图1B)。此外,设备100包括两个位置传感器172A和172B,其被用于确定屏幕104和108的相对位置。在一个实施例中,位置传感器172A和172B是霍尔效应传感器。然而,在其它实施例中,附加于或代替霍尔效应传感器,可以使用其它传感器。也可以包括加速计176作为设备100的一部分,以确定设备100的定向和/或屏幕104和108的定向。下面结合图2描述可以包含在设备100中的附加内部硬件组件。
设备100的总体设计允许其提供在其它通信设备中不可用的附加功能。某些功能基于设备100可以具有的各种位置或定向。如图1B-图1G中所示,设备100可以在“展开(open)”位置中操作,在“展开”位置中屏幕104和108被并置。此位置允许大显示区域向用户显示信息。当位置传感器172A和172B判定设备100在展开位置中时,它们可以产生可以用于触发不同事件的信号,诸如在屏幕104和108上显示信息。如果加速计176判定设备100在竖向(portrait)位置(图1B)中,而不是在横向(landscape)位置中,则可以触发附加事件。
除了展开位置,设备100还可以具有“闭合”位置,如图1H中所示。仍然,位置传感器172A和172B可以产生指示设备100在“闭合”位置中的信号。其可以触发导致屏幕104和/或108上的显示信息改变的事件。例如,设备100可以编程为停止在屏幕之一(例如屏幕108)上显示信息,因为当设备100在“闭合”位置中时用户仅可以查看一个屏幕。在其它实施例中,位置传感器172A和172B产生的、指示设备100在“闭合”位置中的信号可以触发100接听到来的电话呼叫。“闭合”位置也可以是使用设备100作为移动电话的优选位置。
设备100也可以用在如图1I所示的“画架(easel)”位置中。在“画架”位置中,屏幕104和108相对于彼此成角度并面向外部,其中屏幕104和108的边缘基本水平。在此位置中,设备100可以被配置为在屏幕104和108上都显示信息,以允许两个用户同时与设备100交互。当设备100在“画架”位置中时,传感器172A和172B产生指示屏幕104和108相对于彼此成角度放置的信号,并且加速计176可以产生指示已将设备100放置为使得屏幕104和108的边缘基本水平的信号。然后组合地使用这些信号,以产生触发屏幕104和108上的信息显示的改变的事件。
图1J示出了在“变形的画架(modified easel)”位置中的设备100。在“变形的画架”位置中,屏幕104或108之一被用作基台(stand),并向下面向诸如桌子的物体的表面。此位置提供了在横向定向中将信息显示给用户的方便方式。与画架位置类似,当设备100在“变形的画架”位置中时,位置传感器172A和172B产生指示屏幕104和108被放置为彼此成角度的信号。加速计176会产生指示已将设备100放置为使得屏幕104和108之一面向下并基本水平的信号。然后可以使用这些信号来产生触发屏幕104和108的信息显示的改变的事件。例如,可以不在面向下的屏幕上显示信息,因为用户不能看到该屏幕。
过渡(transitional)状态也是可以的。当位置传感器172A和B和/或加速计指示正(从展开)闭合或折叠屏幕时,辨识出闭合过渡状态。相反地,当位置传感器172A和B指示正(从闭合)展开或折叠屏幕时,辨识出展开过渡状态。闭合和展开过渡状态典型地是基于时间的,或者从感测的开始点存在最大时间长度。通常,当正闭合和正展开的状态之一有效时,不可以进行用户输入。以此方式,在正闭合或正开启功能期间,用户与屏幕的偶然接触不被误解析为用户输入。在实施例中,当设备100被闭合时可以有另一过渡状态。当设备100被闭合时,基于某个用户输入(例如屏幕110、114上的双击),此附加过渡状态允许显示从一个屏幕104切换到第二个屏幕108。
如可以理解的,对设备100的描述仅是用于说明性的目的,并且实施例并不限于图1A-图1J所示和上述的特定机械特征。在其它实施例中,设备100可以包括附加特征,包括一个或多个附加按钮、插槽、显示区域、铰链、和/或锁定机构。附加地,在实施例中,上述特征可以位于设备100的不同部分中,而仍然提供同样的功能。因此,图1A-图1J和以上提供的描述是非限定性的。
硬件特征:
图2示出了根据本公开的实施例的设备100的组件。一般地,设备100包括主屏104和辅屏108。虽然主屏104及其组件通常在展开和闭合位置或状态中都是启用(enable)的,但辅屏108及其组件通常在展开状态中是启用的、而在闭合状态中是禁用(disable)的。然而,甚至当在闭合状态中时,用户或应用触发的中断(诸如响应于电话应用或照相应用操作)也可以通过合适的命令翻转(flip)活动屏幕,或者禁用主屏104和启用辅屏108。每个屏幕104、108可以是触摸敏感的,并且可以包括不同的操作区域。例如,每个触摸敏感屏幕104和108内的第一操作区域可以包括触摸敏感显示区110、114。一般地,触摸敏感显示区110、114可以包括全彩色触摸敏感显示区。每个触摸敏感屏幕104和108内的第二区域可以包括姿势捕获区域120、124。姿势捕获区域120、124可以包括在触摸敏感显示区110、114区域之外、且能够接收例如用户提供的姿势形式的输入的区域或区。然而,姿势捕获区域120、124不包括可以执行显示功能或能力的像素。
触摸敏感屏幕104和108的第三区域可以包括可配置区域112、116。可配置区域112、116能够接收输入,并具有显示或受限制的显示能力。在实施例中,可配置区域112、116可以向用户呈现不同的输入选项。例如,可配置区域112、116可以显示按钮或其它相关项。此外,可以根据使用和/或操作设备100的环境确定触摸敏感屏幕104或108的可配置区域112、116内的显示按钮的身份或者是否显示任何按钮。在示例实施例中,触摸敏感屏幕104和108包括液晶显示装置以及电容输入矩阵,其中,液晶显示装置至少跨越触摸敏感屏幕104和108的能够向用户提供视觉输出的那些区域延伸,电容输入矩阵在触摸敏感屏幕104和108的能够从用户接收输入的区域上。
可以提供一个或多个显示控制器216a、216b用于控制触摸敏感屏幕104和108的操作,包括输入(触摸感测)和输出(显示)功能。在图2所示的示例实施例中,为每个触屏104和108提供独立的触屏控制器216a或216b。根据替代实施例,可以使用共同或共享的触屏控制器216来控制所包含的触摸敏感屏幕104和108中的每个。根据其它实施例,触屏控制器216的功能可以合并到其它组件(诸如处理器204)中。
处理器204可以包括通用目的可编程处理器或控制器,用于执行应用程序或指令。根据至少一些实施例,处理器204可以包括多个处理器核、和/或实施多个虚拟处理器。根据其它实施例,处理器204可以包括多个物理处理器。作为特定示例,处理器204可以包括特别配置的专用集成电路(ASIC)或其它集成电路、数据信号处理器、控制器、硬布线电子或逻辑电路、可编程逻辑器件或门阵列、专用目的计算机等。处理器204通常用于运行实施设备100的各种功能的程序代码或指令。
通信设备100还可以包括存储器208,用于与处理器204执行应用程序或指令关联地使用,以及用于程序指令和/或数据的临时或长期存储。作为示例,存储器208可以包括RAM、DRAM、SDRAM、或其它固态存储器。替代地或附加地,提供数据储存器212。如存储器208类似,数据储存器212可以包括一个或多个固态存储器件。替代地或附加地,数据存储器212可以包括硬盘驱动器或其它随机存取存储器。
为了支持通信功能或能力,设备100可以包括蜂窝电话模块228。作为示例,蜂窝电话模块228可以包括GSM、CDMA、FDMA和/或模拟蜂窝电话收发器,它们能够支持在蜂窝网络上进行语音、多媒体和/或数据传输。替代地或附加地,设备100可以包括附加的或其它的无线通信模块232。作为示例,其它无线通信模块232可以包括Wi-Fi、蓝牙(商标)、WiMax、红外或其它无线通信链接。蜂窝电话模块228和其它无线通信模块232可以各自与共享或专用天线224关联。
可以包括端口接口252。端口接口252可以包括私有或通用端口,以支持设备100与其它设备或组件的互联,所述其它设备或组件诸如基座(dock),其可以包括或可以不包括与设备100的构成能力不同的能力或附加的能力。除了支持在设备100和另一设备或组件之间进行通信信号的交换外,对接端口136和/或端口接口252可以支持向设备100提供电力或从设备100提供电力。端口接口252还包括智能元件,其包括对接模块用于控制设备100和所连接的设备或组件之间的通信或其它交互。
可以包括输入/输出模块248以及关联的端口,以支持在有线网络或链接上的通信,例如与其它通信设备、服务器设备、和/或***设备的通信。输入/输出模块248的示例包括以太网端口、通用串行总线(USB)端口、电气与电子工程师协会(IEEE)1394、或其它接口。
可以包括一个或多个音频输入/输出接口/设备244,以向互联的扬声器或其它设备提供模拟音频,以及从连接的麦克风或其它设备接收模拟音频输入。作为示例,音频输入/输出接口/设备(244)包括关联的放大器和模数转换器。替代地或附加地,设备100可以包括集成音频输入/输出设备256和/或用于与外部扬声器或麦克风互连的音频插孔。例如,可以提供集成扬声器和集成麦克风,以支持靠近说话或扬声器的电话操作。
例如可以包括硬件按钮158来与某些控制操作关联地使用。示例包括主电源开关、音量控制等,如结合图1A至图1J所描述的。可以包括一个或多个图像捕获接口/设备240(诸如摄像头),用于捕获静止和/或视频图像。替代地或附加地,图像捕获接口/设备240可以包括扫描仪或读码器。图像捕获接口/设备240可以包括附加元件(诸如闪光灯或其它光源)或与其关联。
设备100还可以包括全球定位***(GPS)接收器236。根据本发明的实施例,GPS接收器236还可以包括能够向设备100的其它组件提供绝对位置信息的GPS模块。也可以包括加速计176。例如,与向用户显示信息和/或其它功能关联地,来自加速计176的信号可被用于确定向用户显示该信息的定向和/或格式。
本发明的实施例也可以包括一个或多个位置传感器172。位置传感器172可以提供指示触摸敏感屏幕104和108相对于彼此的位置的信号。可以提供此信息作为例如向用户接口应用的输入,以确定操作模式、触摸敏感显示区110、114的特征、和/或设备100的其它操作。作为示例,屏幕位置传感器172可以包括一系列霍尔效应传感器、多位置开关、光学开关、惠斯通电桥、电势计、或者其它能够提供指示触屏所处的多个相对位置的信号的装置。
可以通过一个或多个总线222执行设备100的各个组件之间的通信。此外,可以从电源和/或电力控制模块260向设备100的组件提供电力。电力控制模块260可以例如包括电池、AC至DC转换器、电力控制逻辑、和/或用于将设备100与外部电源互连的端口。
设备状态:
图3A和图3B表示设备100的例示状态。虽然显示了多个例示状态以及从第一状态向第二状态的过渡(transition),但应该理解,该例示状态图可能未包含所有可能的状态和/或从第一状态向第二状态的所有可能的过渡。如图3所示,状态(由圆圈表示的状态显示)之间的各个箭头表示设备100发生的物理改变,其由一个或多个硬件和软件检测,该检测触发一个或多个被用于控制和/或管理设备100的一个或多个功能的硬件和/或软件中断。
如图3A所示,存在12个示例“物理”状态:闭合304、过渡308(或展开过渡状态)、画架312、修改的画架316、展开320、接入/呼出电话或通信324、图像/视频捕获328、过渡332(或闭合过渡状态)、横向340、对接(docked)336、对接344和横向348。除状态324和328之外,与每个例示状态相邻的,是表示设备100的物理状态,在状态324和328处,分别用电话通用图标和照相机图标来一般地象征所述状态。
在状态304中,设备在闭合状态中,其中,设备100的主屏104一般定向在竖向上,而辅屏108背对背地在不同平面上(见图1H)。从闭合状态,设备100可以例如进入对接状态336或横向状态340,在对接状态336中,设备100与对接台(docking station)、对接线缆耦接(couple),或者一般地与一个或多个其他设备或***设备对接或关联,在横向状态340中,设备100的主屏104一般定向为面向用户,并且主屏104和辅屏108背对背。
在闭合状态中,设备也可以移动到过渡状态,在该过渡状态中,设备保持闭合,但基于用户输入(例如屏幕110、114上的双击),显示被从一个屏幕104移动到另一个屏幕108。再一实施例包括双侧(bilateral)状态。在双侧状态中,设备保持闭合,但单个应用在第一显示区110和第二显示区114两者上都显示至少一个窗口。根据应用以及应用的状态,第一和第二显示区110、114上显示的窗口可以相同或不同。例如,当利用摄像头获取图像时,设备可以在第一显示区110上显示取景器,并在第二显示区114上提供照片对象的预览(全屏且左右镜像)。
在状态308中,即在从闭合状态304向半展开状态或画架状态312的过渡状态中,设备100被显示为正通过主屏104和辅屏108绕着与铰链重合的轴点旋转而展开。在进入画架状态312时,主屏104和辅屏108彼此分离,从而例如设备100可以在如画架一样的构造中立于一表面上。
在状态316(已知为修改的画架位置)中,设备100的主屏104和辅屏108的彼此相对关系与画架312类似,区别在于主屏104或辅屏108之一被放置于表面上,如所示。
状态320是主屏104和辅屏108一般位于同一平面上的展开状态。从展开状态,设备100可以过渡到对接状态344或展开的横向状态348。在展开状态320中,主屏104和辅屏108一般处于类似于人像(portrait-like)的定向中,而在横向状态348中,主屏104和辅屏108一般处于类似于风景(landscape-like)的定向中。
状态324表示通信状态,例如,当设备100分别接收或打出接入或呼出的电话时。虽然为了清楚未示出,但应该理解,设备100可以从图3所示的任意状态过渡到接入/呼出电话状态324。类似地,可以从图3中的任意其它状态进入图像/视频捕获状态328,图像/视频捕获状态328允许设备100通过摄像头拍摄一个或多个图像以及/或者利用视频捕获设备240拍摄视频。
过渡状态322例示性地显示了主屏104和辅屏108正相对于彼此闭合,以进入例如闭合状态304。
图3B参照关键词(key)示出了被接收来检测从第一状态向第二状态的过渡的输入。在图3B中,显示了状态的各种组合,其中,一般地,列的一部分指向竖向状态352和横向状态356,行的一部分指向竖向状态360和横向状态364。
在图3B中,关键词指示出:“H”表示来自一个或多个霍尔效应传感器的输入,“A”表示来自一个或多个加速计的输入,“T”表示来自计时器的输入,“P”表示通信触发输入,以及“I”表示图像和/或视频捕获请求输入。因此,在图表的中心部分376中,显示了表示设备100如何检测从第一物理状态向第二物理状态过渡的输入或输入的组合。
如所说明的,在图表的中心部分376中,所接收的输入使得能够检测从例如竖向展开状态向横向画架状态的过渡(以粗体显示的“HAT”)。对于从竖向展开状态向横向画架状态的此示例过渡,可能需要霍尔效应传感器(“H”)、加速计(“A”)以及计时器(“T”)的输入。例如,可以从与处理器关联的时钟获取计时器输入。
除了竖向和横向状态之外,还示出了对接状态368,基于接收到对接信号372触发该对接状态368。如上关于图3所说明的,可以通过将设备100关联到一个或多个其他设备100、附件、***设备、智能基座等来触发对接信号。
用户交互:
图4A至图4H描绘了可以由屏幕104、108辨识的姿势输入的各种图形表示。不仅可以通过用户的身体部分(诸如手指)而且可以通过可以由屏幕104、108的接触感测部分感测的其它设备(诸如笔)执行所述姿势。一般地,基于(直接在显示区110、114上或在姿势捕获区域120、124中)执行姿势的位置不同地解析姿势。例如,显示区110、114中的姿势可以指向桌面或应用,姿势捕获区域120、124中的姿势可以被解析为用于***。
参考图4A至图4H,对于选择的时间长度,第一类型的姿势(触摸姿势420)在屏幕104、108上基本是静止的。圆圈428表示在屏幕的接触感测部分的特定位置处接收到的触摸或其它接触类型。圆圈428可以包括边界432,其厚度表示在接触位置处保持接触基本静止的时间长度。例如,触击420(或短按压)具有比用于长按压424(或用于常规按压)的边界432b更薄的边界432a。长按压424可以包括比触击420在屏幕上保持基本静止更长时间的接触。如将理解的,取决于在接触停止或在屏幕上移动之前触摸保持静止的时间长度,可以注册不同定义的姿势。
参照图4C,屏幕104、108上的拖曳姿势400是初始接触(由圆圈428表示)在选择方向上进行的接触移动436。初始接触428可以在屏幕104、108上保持静止某一时间量,该时间量由边界432表示。拖曳姿势通常需要用户在第一位置接触图标、窗口或其它显示的图像,然后在拖曳方向上将该接触移动到对所选择的显示图像所期望的新第二位置。接触移动不一定是直线,而可以具有任意移动路径,只要接触从第一位置至第二位置基本连续即可。
参照图4D,屏幕104、108上的轻弹(flick)姿势404是初始接触(由圆圈428表示)在选择方向上进行截短的接触移动436(相对于拖曳姿势)。在实施例中,轻弹相比于拖曳姿势,对于姿势中的最后移动具有更高的离开速度。轻弹姿势可以例如是手指在初始接触后的快移(snap)。与拖曳姿势相比,轻弹姿势一般不需要从显示图像的第一位置到预定的第二位置都与屏幕104、108连续接触。通过轻弹姿势在轻弹方向上将被接触的显示图像移动到预定的第二位置。虽然这两个姿势通常都可以将显示图像从第一位置移动到第二位置,但对于轻弹而言,接触在屏幕上行进的时间长度和距离通常小于拖曳姿势。
参照图4E,描绘了屏幕104、108上的捏缩(pinch)姿势408。可以由例如第一手指对屏幕104、108的第一接触428a和例如第二手指对屏幕104、108的第二接触428b启动捏缩姿势408。可以由共同屏幕104、108的共同接触感测部分、共同屏幕104、108的不同接触感测部分、或者不同屏幕的不同接触感测部分检测第一和第二接触428a、428b。第一接触428a保持第一时间量(如由边界432a表示),第二接触428b保持第二时间量(如由边界432b表示)。第一和第二时间量一般基本相同,并且第一和第二接触428a、428b一般基本同时发生。第一和第二接触428a、428b一般还分别包括对应的第一和第二接触移动436a、436b。第一和第二接触移动436a、436b一般在相对方向上。换言之,第一接触移动436a朝向第二接触436b,第二接触移动436b朝向第一接触436a。更简单地讲,可以通过用户的手指在捏缩移动中触摸屏幕104、108来完成捏缩姿势408。
参照图4F,描绘屏幕104、108上的扩展(spread)姿势410。可以由例如第一手指对屏幕104、108的第一接触428a和例如第二手指对屏幕104、108的第二接触428b启动扩展姿势410。可以由共同屏幕104、108的共同接触感测部分、共同屏幕104、108的不同接触感测部分、或者不同屏幕的不同接触感测部分检测第一和第二接触428a、428b。第一接触428a保持第一时间量(如由边界432a表示),第二接触428b保持第二时间量(如由边界432b表示)。第一和第二时间量一般基本相同,并且第一和第二接触428a、428b一般基本同时发生。第一和第二接触428a、428b一般还分别包括对应的第一和第二接触移动436a、436b。第一和第二接触移动436a、436b一般在共同的方向上。换言之,第一接触移动436a和第二接触移动436b远离第一接触428a和第二接触428b。更简单地讲,可以通过用户的手指在扩展移动中触摸屏幕104、108来完成扩展姿势410。
可以任意方式组合上述姿势(诸如图4G和图4H所显示的),以产生所确定的功能结果。例如,在图4G中,在远离触击姿势420的方向上将触击姿势420与拖曳或轻弹姿势412组合。在图4H中,在朝向触击姿势420的方向上将触击420与拖曳或轻弹姿势412组合。
接收姿势的功能结果可以取决于多个因素而变化,包括设备100、显示区110、114或屏幕104、108的状态、与姿势关联的背景(context)、或姿势的感测位置。设备的状态通常指设备100的配置、显示定向、以及设备100接收的用户或其它输入中的一个或多个。背景通常指下列中的一个或多个:姿势选择的(多个)特定应用以及当前执行的应用的(多个)部分、应用是单屏还是多屏应用、以及应用是在一个或多个屏幕中还是在一个或多个堆栈(stack)中显示一个还是多个窗口的多屏应用。姿势的感测位置通常指感测的姿势位置坐标的集合是在触摸敏感显示区110、114上还是姿势捕获区域120、124上、感测的姿势位置坐标的集合是与共同的还是不同的显示区或屏幕104、108关联、和/或姿势捕获区域的什么部分包含感测的姿势位置坐标的集合。
触击当被触摸敏感显示区110、114接收到时可以被用于例如选择启动或终止相应应用的执行的图标,最大化或最小化窗口,对堆栈中的窗口重新排序,以及提供用户输入(诸如通过键盘显示或其它显示的图像)。拖曳当被触摸敏感显示区110、114接收到时可以被用于例如将图标或窗口重新定位到显示区内的期望位置,重新排序显示区上的堆栈,或跨越(span)两个显示区(使得所选择的窗口同时占据每个显示区的一部分)。轻弹当被触摸敏感显示区110、114或姿势捕获区域120、124接收到时可被用于将窗口从第一显示区重新定位到第二显示区,或者跨越两个显示区(使得所选的窗口同时占据每个显示区的一部分)。然而,与拖曳姿势不同,轻弹姿势一般不用于将显示的图像移动到特定用户选择的位置,而是移动到不可由用户配置的缺省位置。
捏缩姿势当被触摸敏感显示区110、114或姿势捕获区域120、124接收到时可以被用于最小化或者增大显示区域或窗口的尺寸(通常在被共同显示区总体接收时),将在每个显示区上的堆栈的顶部显示的窗口切换到另一显示区的堆栈的顶部(通常在被不同显示区或屏幕接收时),或者显示应用管理器(在堆栈中显示窗口的“弹出窗口”)。扩展姿势当被触摸敏感显示区110、114或姿势捕获区域120、124接收到时可被用于最大化或减小显示区域或窗口的尺寸,将在每个显示区上的堆栈的顶部显示的窗口切换到另一显示区的堆栈的顶部(通常在被不同显示区或屏幕接收时),或者显示应用管理器(通常在被同一或不同屏幕上的屏外姿势捕获区接收时)。
图4G的组合姿势当被共同显示区或屏幕104、108中的共同显示捕获区域接收到时可用于对于接收姿势的显示区保持第一堆栈中的第一窗口堆栈位置恒定,同时重新排序第二窗口堆栈中的第二窗口堆栈位置,以在接收姿势的显示区中包括窗口。图4H的组合姿势当被共同显示区或屏幕104、108或不同显示区或屏幕中的不同显示捕获区域接收到时,可用于对于接收姿势的触击部分的显示区保持第一窗口堆栈中的第一窗口堆栈位置恒定,同时重新排序第二窗口堆栈中的第二窗口堆栈位置,以在接收轻弹或拖曳姿势的显示区中包括窗口。虽然前面示例中的特定姿势和姿势捕获区域已与功能结果的对应集合相关联,但可以理解,这些关联可被以任意方式重新定义,以在姿势和/或姿势捕获区域和/或功能结果之间产生不同的关联。
固件和软件:
存储器508可以存储并且处理器504可以执行一个或多个软件组件。这些组件可以包括至少一个操作***(OS)516、应用管理器562、桌面566、和/或来自应用储存器560的一个或多个应用564a和/或564b。OS516可以包括构架(framework)520、一个或多个帧(frame)缓冲器548、一个或多个驱动器512(之前结合图2描述的)、和/或内核(kernel)518。OS516可以是由程序和数据构成的任何软件,其管理计算机硬件资源并提供用于执行各种应用564的公共服务。OS516可以是任何操作***,并且,至少在某些实施例中,专用于移动设备,包括但不限于,Linux、ANDROID(商标)、iPhoneOS(IOS商标)、WINDOW PHONE7(商标)等。OS516可操作来通过执行一个或多个操作而向电话提供功能,如这里所描述的。
应用564可以是为用户执行特定功能的更高层软件。应用564可以包括诸如电子邮件客户端、网页浏览器、文本应用、游戏、媒体播放器、办公软件等的程序。应用564可以存储在应用储存器560中,应用储存器560可以表示用于存储应用564的任何存储器或数据储存器,以及与其关联的管理软件。应用564一旦被执行则可以运行在存储器508的不同区域中。
构架520可以是允许运行在设备上的多个任务交互的任何软件或数据。在一些实施例中,构架520的至少部分以及下文描述的分离组件可以被认为是OS516或应用564的部分。然而,这些部分将被描述为构架520的部分,但那些组件不被如此限制。构架520可以包括但不限于多显示区管理(MDM)模块524、表面高速缓存(Surface Cache)模块528、窗口管理模块532、输入管理模块536、任务管理模块540、应用模型管理器542、显示控制器、一个或多个帧缓冲器548、任务堆栈552、一个或多个窗口堆栈550(其是窗口和/或桌面在显示区域中的逻辑布置)、和/或事件缓冲器556。
MDM模块524包括可操作来管理应用或其它数据在设备的屏幕上的显示的一个或多个模块。结合图5B描述MDM模块524的实施例。在实施例中,MDM模块524从其它OS516组件(诸如驱动器512)和应用564中接收输入,以不断地确定设备100的状态。输入辅助MDM模块524根据应用的偏好(preference)和要求以及用户的动作确定如何配置和分配显示区。一旦进行了对显示配置的确定,MDM模块524可以将应用564绑定到显示区。接着可以向一个或多个其它组件提供配置,以产生具有显示区的窗口。
表面高速缓存模块528包括任何存储器(memory)或储存器(storage)以及与其关联的软件,以存储或高速缓存窗口的一个或多个图像。可以将一系列活动和/或非活动窗口(或其它显示对象,诸如桌面显示)与每个显示区关联。活动窗口(或其它显示对象)当前被显示。非活动窗口(或其它显示对象)被打开(open)并在某一时间被显示,但现在不被显示。为了改善用户体验,在窗口从活动状态转变到非活动状态之前,可以存储窗口(或其它显示对象)的最后产生的图像的“屏幕快照(screen shot)”。表面高速缓存模块528可操作来存储当前未显示的窗口(或其它显示对象)的最后的活动图像的位图。因此,表面高速缓存模块528将非活动窗口(或其它显示对象)的图像存储在数据存储库(data store)中。
在实施例中,窗口管理模块532可操作来管理在每个显示区上活动或非活动的窗口(或其它显示对象)。窗口管理模块532基于来自MDM模块524、OS516或其它组件的信息,确定窗口(或其它显示对象)何时是可见的或是非活动的。窗口管理模块532可以接着将非可见窗口(或其它显示对象)置于“非活动状态”,并且与任务管理模块540一起挂起(suspend)应用的操作。此外,窗口管理模块532可以通过与MDM模块524的合作交互而向窗口(或其它显示对象)分配显示区标识符或者管理与窗口(或其它显示对象)关联的一个或多个其它数据项。窗口管理模块532也可以向应用564、任务管理模块540或与窗口(或其它显示对象)交互或关联的其它组件提供存储的信息。窗口管理模块532也可以基于窗口焦点和运动空间内的显示坐标而将输入任务与窗口关联。
输入管理模块536可操作来管理设备发生的事件。事件可以是到窗口环境中的任何输入,例如与用户的用户界面交互。输入管理模块536接收事件并将事件逻辑地存储在事件缓冲器556中。事件可以包括如下用户界面交互:当屏幕104、108接收到来自用户的触摸信号时发生的“向下事件(downevent)”、当屏幕104、108确定用户的手指正跨屏幕移动时发生的“移动事件(move event)”、当屏幕104、108确定用户已经停止触摸屏幕104、108时发生的“向上事件(up event)”,等等。这些事件被输入管理模块536接收、存储和转发到其它模块。输入管理模块536也可以将屏幕输入映射到运动空间,该运动空间是设备上可用的所有物理和虚拟显示区的顶点(culmination)。
运动空间是包括“铺设(tile)”在一起的所有触摸敏感显示区110、114的虚拟空间,以模拟设备100的物理维度。例如,当设备100未折叠时,运动空间的尺寸可以是960x800,其可以是针对触摸敏感显示区110、114两者的组合显示区域的像素数目。如果用户触摸在第一触摸敏感显示区110的位置(40,40)上,则全屏窗口可以接收具有位置(40,40)的触摸事件。如果用户以位置(40,40)触摸第二触摸敏感显示区114,则该全屏窗口可以接收具有位置(520,40)的触摸事件,因为第二触摸敏感显示区114在第一触摸敏感显示区110的右侧,所以设备100可以将该触摸偏移第一触摸敏感显示区110的宽度,该宽度是480个像素。当从驱动器512发生具有位置信息的硬件事件时,构架520可以将物理位置升级到运动空间,因为基于设备定向和状态,事件的位置可能不同。运动空间可以如2011年7月20日提交的、题为“Systems and Methods for Receiving Gesture Inputs Spanning MultipleInput Devices(用于接收跨越多个输入设备的姿势输入的***和方法)”的美国专利申请No.13/187,026中所描述的,针对其所教导的所有内容并针对所有目的,通过引用将其合并于此。
任务可以是应用,并且子任务可以是应用组件,其提供用户可以交互来进行一些事情的窗口,诸如拨电话、拍照片、发送电子邮件、或查看地图。可以向每个任务赋予窗口,以在该窗口中画出用户界面。窗口典型地填满显示区(例如,触摸敏感显示区110、114),但也可以小于显示区110、114,并悬浮在其它窗口的顶上。应用通常由多个子任务构成,该多个子任务互相宽松地约束。通常,应用中的一个任务被指定为“主”任务,当第一次启动该应用时,该主任务被呈现给用户。每个任务可以接着开始另一任务或子任务,以执行不同的动作。
任务管理模块540可操作来管理可由设备执行的一个或多个应用564的操作。因此,任务管理模块540可以接收用于启动、挂起、终止(等等)存储在应用储存器560中的应用或应用子任务的信号。任务管理模块540可以接着实例化应用564的一个或多个任务或子任务,以开始应用564的操作。此外,作为用户输入的结果或来自合作构架520的组件的信号的结果,任务管理模块540可以启动、挂起或终止任务或子任务。任务管理模块540负责管理应用(任务和子任务)的、从启动应用时刻到终止应用时刻的生命周期。
任务堆栈552促进任务管理模块540的处理,任务堆栈552是与任务管理模块540关联的逻辑结构。任务堆栈552保持设备100上的所有任务和子任务的状态。当操作***516的某组件需要任务或子任务在其生命周期中转变时,OS516的组件可以通知任务管理模块540。任务管理模块540可以接着使用识别信息将任务或子任务放置在任务堆栈552中,并向任务或子任务发送指示任务需要执行什么类型的生命周期转变的信号。向任务或子任务通知该转变允许任务或子任务为该生命周期转变作准备。任务管理模块540接着可以执行任务或子任务的状态转变。在实施例中,当需要终止时,状态转变可能必须触发OS内核518来终止任务。
此外,任务管理模块540可以基于来自窗口管理模块532的信息挂起应用564。挂起应用564可以将应用保持在存储器中,但可能限制或停止应用564呈现窗口或用户界面。一旦应用再次变为活动,任务管理模块540可以再次触发应用,以呈现其用户界面。在实施例中,如果挂起任务,则任务可以保存任务的状态,以防任务被终止。在挂起状态中,应用任务可以不接收输入,因为应用窗口对于用户而言不可见。
帧缓冲器548是用于呈现用户界面的逻辑结构。帧缓冲器548可以由OS内核518创建和摧毁(destroy)。然而,显示控制器544可以将用于可视窗口的图像数据写入到帧缓冲器548中。帧缓冲器548可以与一个屏幕或多个屏幕关联。可以通过与OS内核518的交互而动态地控制帧缓冲器548与屏幕的关联。可以通过将多个屏幕与单个帧缓冲器548关联而创建复合显示区。对于复合显示区,接着可以将用于呈现应用的窗口用户界面的图形数据写入到单个帧缓冲器548中,该单个帧缓冲器548被输出到多个屏幕104、108。显示控制器544可以将应用的用户界面指引到帧缓冲器548的映射到特定显示区110、114的部分,从而仅在一个屏幕104或108上显示用户界面。显示控制器544可以将对用户界面的控制扩展到多个应用,从而针对与帧缓冲器548或其部分关联的许多显示区控制用户界面。此方法通过上述软件组件(显示控制器544)弥补了正在使用的多个物理屏幕104、108。
应用管理器562是为窗口环境提供表示层(presentation layer)的应用。因此,应用管理器562提供图形模型,用于任务管理模块540进行的呈现。同样地,桌面566为应用储存器560提供表示层。因此,桌面提供表面的图形模型,该表面具有用于应用储存器560中的应用564的可选择的应用图标,所述应用564可以被提供给窗口管理模块556用于呈现。
此外,构架可以包括应用模型管理器(AMM)542。应用管理器562可以与AMM542接口。在实施例中,AMM542从设备100接收关于应用的状态(其在运行或被挂起)的状态改变信息。AMM542可以将来自表面高速缓存模型528的位图图像关联到活动(运行或被挂起)的任务。此外,AMM542可以将保持在任务管理模块540中的逻辑窗口堆栈转换为线性(“幻灯软片(film strip)”或“一叠卡片(deck of cards)”)组织,用户在使用姿势捕获区域120整理窗口时觉察到该线性组织。此外,AMM542可以向应用管理器562提供执行应用的列表。
图5B中示出了MDM模块524的实施例。MDM模块524可操作来确定设备的环境的状态,包括但不限于,设备的定向,设备100被展开还是闭合,什么应用564在执行,要如何显示应用564,用户正在进行什么动作,正显示的任务,等等。为了配置显示,DMD模块524解析这些环境因素并确定显示配置,如结合图6A-图6J所描述的。接着,MDM模块524可以将应用564或其它设备组件绑定到显示区。接着可以将配置发送到显示控制器544和/或OS516内的其它组件,以产生显示。MDM模块524可以包括但不限于以下中的一个或多个:显示配置模块568、偏好模块572、设备状态模块574、姿势模块576、要求模块580、事件模块584、和/或绑定模块588。
显示配置模块568确定用于显示的布局。在实施例中,显示配置模块568可以确定环境因素。可以从一个或多个其它MDM模块524或从其它源中接收环境因素。显示配置模块568可以接着根据该因素列表确定用于显示的最佳配置。结合图6A-图6F描述可能配置以及与其关联的因素的一些实施例。
偏好模块572可操作来确定应用564或其它组件的显示偏好。例如,应用可以具有单或双显示区的偏好。偏好模块572可以确定应用的显示偏好(例如通过检查应用的偏好设置),并且如果设备100在可以适应偏好模式的状态中,则可以允许应用564改变到一模式(例如,单屏、双屏、最大、等等)。然而,某些用户界面策略可能不允许某一模式,即使该模式可用。当设备的配置改变时,可以检查偏好,以确定是否可以为应用564实现更好的显示配置。
设备状态模块574可操作来确定或接收设备的状态。结合图3A和图3B描述了设备的状态。设备的状态可以被显示配置模块568用于确定用于显示的配置。如此,设备状态模块574可以接收输入并解析设备的状态。接着将状态信息提供到显示配置模块568。
姿势模块576被显示为DMD模块524的一部分,但一些实施例中,姿势模块576可以是分离的构架520组件,其与MDM模块524分离。在实施例中,姿势模块576可操作来确定用户是否正对用户界面的任何部分进行任何动作。在替代实施例中,姿势模块576仅从可配置区域112、116接收用户接口动作。姿势模块576可以通过输入管理模块536接收发生在可配置区域112、116(或者可能是其它用户界面区域)上的触摸事件,并可以解析触摸事件(使用方向、速度、距离、持续时间和各种其它参数)来确定用户正在执行什么类型的姿势。当解析姿势时,姿势模块576可以启动姿势的处理,并且通过与其它构架520组件合作,可以管理所需要的窗口动画。姿势模块576与应用模型管理器542合作来收集关于哪些应用在运行(活动或挂起)以及当执行用户姿势时应用必须出现的顺序的状态信息。姿势模块576也可以接收对位图(从表面高速缓存模块528)和活动窗口的偏好,从而当姿势出现时,其可以指示显示控制器544如何跨显示区110、114移动窗口。因此,当跨显示区110、114移动这些窗口时,挂起的应用可以表示为在运行。
此外,姿势模块576可以从任务管理模块540或输入管理模块536接收任务信息。姿势可以是结合图4A至图4H所定义的。例如,移动窗口导致显示区呈现显示出窗口移动的一系列显示帧。与这种用户界面交互关联的姿势可以由姿势模块576接收和解析。关于用户姿势的信息接着被发送到任务管理模块540,以修改任务的显示绑定。
要求模块580与偏好模块572类似,可操作来确定用于应用564或其它组件的显示要求。应用可以具有必须被遵守的设置的显示要求。某些应用需要特定的显示定向。例如,应用“愤怒的小鸟”仅可以显示在横向定向中。通过要求模块580可以确定或接收此类型的显示要求。当设备的定向改变时,要求模块580可以重新确定应用564的显示要求。显示配置模块568可以产生符合如由要求模块580提供的应用显示要求的显示配置。
事件模块584与姿势模块576类似,可操作来确定应用或其它组件发生的影响用户界面的一个或多个事件。因此,事件模块584可以从事件缓冲器556或任务管理模块540接收事件信息。这些事件可以改变任务如何绑定到显示区。事件模块584可以从其它构架520组件收集状态改变信息,并依据该状态改变信息动作。在示例中,当展开或闭合电话时或者当已经发生定向改变时,可以在辅屏中呈现新消息。可以由事件模块584接收和解析基于事件的状态改变。关于事件的信息接着可以被发送到显示配置模块568,以修改显示配置。
绑定模块588可操作来将应用564或其它组件绑定到显示配置模块568确定的配置。绑定在存储器中将用于每个应用的显示配置与该应用的显示和模式进行关联。因此,绑定模块588可以将应用与用于该应用的显示配置(例如,横向、竖向、多屏等等)进行关联。接着,绑定模块588可以向该显示分配显示区标识符。显示区标识符将应用与设备100的特定显示区关联。此绑定接着被存储和提供到显示控制器544、OS516的其它组件、或其它组件,以合适地呈现该显示。绑定是动态的,且可以基于与事件、姿势、状态改变、应用偏好或要求等关联的配置改变而改变或更新。
用户界面配置:
现在参照图6A-图6J,下面将描述设备100可以进行的各种输出配置。
图6A和图6B描绘处于第一状态中的设备100的两个不同的输出配置。具体地,图6A描述了处于闭合的竖向状态304中的设备100,其中数据显示在主屏104上。在此示例中,设备100在第一竖向配置604中经由触摸敏感显示区110显示数据。如可以理解的,第一竖向配置604可以仅显示桌面或操作***主页屏幕。替代地,设备100在第一竖向配置604中显示数据的同时,可以在竖向定向上显示一个或多个窗口。
图6B描述了仍然处于闭合的竖向状态304中的设备100,但在辅屏108上显示数据。在此示例中,设备100在第二竖向配置608中经由触摸敏感显示区114显示数据。
可以在第一或第二竖向配置604、608中显示同样或不同的数据。也可以通过向设备100提供用户姿势(例如双击姿势)、菜单选择或其他方式而在第一竖向配置604和第二竖向配置608之间转变。也可以使用其它合适的姿势在配置之间进行转变。此外,取决于设备100被移动到的状态,也可以将设备100从第一或第二竖向配置604、608转变到本文描述的任何其它配置。
处于第二状态中的设备100可以容纳替代的输出配置。具体地,图6C描绘第三竖向配置,其中同时在主屏104和辅屏108上显示数据。第三竖向配置可以称为双竖向(PD)输出配置。在PD输出配置中,主屏104的触摸敏感显示区110在第一竖向配置604中显示(depict)数据,辅屏108的触摸敏感区114在第二竖向配置608中显示数据。当设备100处于展开竖向状态320中时,可以发生第一竖向配置604和第二竖向配置608的同时显示。在此配置中,设备100可以在一个显示区110或114中显示一个应用窗口,显示两个应用窗口(每个显示区110和114中一个),显示一个应用窗口和一个桌面、或者显示一个桌面。其它配置也是可以的。应该理解,取决于设备100被移动到的状态,可以将设备100从配置604、608的同时显示转变到本文描述的任何其它配置。此外,在此状态中的同时,应用的显示偏好可以将设备置于双侧模式,在该模式中,两个显示区都是活动的,以显示同一应用中的不同窗口。例如,照相应用可以在一侧上显示取景器并控制,同时另一侧显示镜像预览,其可以由被拍照的主体查看。涉及两个玩家同时玩的游戏也可以利用双侧模式。
图6D和图6E描绘处于第三状态中的设备100的另两个输出配置。具体地,图6D描述处于闭合的横向状态340中的设备100,在状态340中,数据显示在主屏104上。在此示例中,设备100在第一横向配置612中经由触摸敏感显示区110显示数据。与本文描述的其它配置很相似,第一横向配置612可以显示桌面、主页屏幕、显示应用数据的一个或多个窗口等。
图6E描述了仍然在闭合的横向状态340中的设备100,但数据显示在辅屏108上。在此示例中,设备100在第二横向配置616中经由触摸敏感显示区114显示数据。可以在第一或第二竖向配置612、616中显示同样或不同的数据。也可以通过向设备100提供扭曲(twist)和触击姿势或轻击(flip)和滑动姿势中的一个或两个而在第一横向配置612和第二横向配置616之间转变。也可以采用其它的合适姿势在配置之间转变。此外,取决于设备100被移动到的状态,也可以将设备100从第一或第二横向配置612、616转变到本文描述的任何其它配置。
图6F描绘了在主屏104和辅屏108上同时显示数据的第三横向配置。第三横向配置可以称为双横向(LD)输出配置。在LD输出配置中,主屏104的触摸敏感显示区110在第一横向配置612中显示数据,辅屏108的触摸敏感显示区114在第二横向配置616中显示数据。当设备100处于展开的横向状态340中时,可以发生第一横向配置612和第二横向配置616的同时显示。应该理解,取决于设备100被移动到的状态,也可以将设备100从配置612、616的同时显示转变到本文描述的任何其它配置。
图6G和图6H描述在另一状态中的设备100的两个视图。具体地,设备100被描绘为处于画架状态312中。图6G示出了可以在触摸敏感显示区110上显示第一画架输出配置618。图6H示出了可以在触摸敏感显示区114上显示第二画架输出配置620。设备100可被配置为单独地显示第一画架输出配置618或第二画架输出配置620。替代地,可以同时显示这两个画架输出配置618、620。在某些实施例中,画架输出配置618、620可以与横向输出配置612、616类似或相同。设备100也可以被配置为在修改的画架状态316中显示画架输出配置618、620中的一个或两者。应该理解,画架输出配置618、620的同时使用可以有助于两人游戏(例如Battleship
Figure BDA00003102526900291
象棋、跳棋(checkers)等)、两个或更多个用户共享同一个设备100的多用户会议、以及其它应用。如可以理解的,取决于设备100被移动到的状态,也可以将设备100从配置618、620中的一个或两个的显示转变到本文描述的任何其它配置。
图6I描绘了设备100处于展开的竖向状态320中时可以容纳的另一输出配置。具体地,设备100可以被配置为在本文称为竖向最大(PMax)配置624的竖向配置中跨两个触摸敏感显示区110、114显示单个连续的图像。在此配置中,数据(例如单个图像、应用、窗口、图标、视频等)可以被***并部分显示在触摸敏感显示区之一上,同时数据的另一部分显示在另一触摸敏感显示区上。Pmax配置624可以对于将特定图像显示在设备100上,促进更大的显示区和/或更好的分辨率。与其它输出配置类似,取决于设备100被移动到的状态,可以将设备100从Pmax配置624转变到本文描述的任何其它输出配置。
图6J描绘了处于展开的横向状态348中的设备100可以容纳的另一输出配置。具体地,设备100可被配置为在本文称为横向最大(LMax)配置628的横向配置中跨两个触摸敏感显示区110、114显示单个连续的图像。在此配置中,数据(例如单个图像、应用、窗口、图标、视频等)可以被***并部分显示在触摸敏感显示区之一上,同时数据的另一部分显示在另一触摸敏感显示区上。Lmax配置628可以对于将特定图像显示在设备100上,促进更大的显示区和/或更好的分辨率。与其它输出配置类似,取决于设备100被移动到的状态,可以将设备100从Lmax配置628转变到本文描述的任何其它输出配置。
设备100利用至少一个窗口堆栈700、728管理桌面和/或窗口,如图7A和7B中所示。窗口堆栈700、728是用于多屏设备的活动和/或非活动窗口的逻辑布置。例如,窗口堆栈700或728可以在逻辑上类似于一叠卡片,其中一个或多个窗口或桌面按序排列,如图7A和7B中所示。活动窗口是当前正显示在触摸敏感显示区110、114中的至少一个上的窗口。例如,显示在触摸敏感显示区上的窗口104和108是活动窗口。非活动窗口是被打开和显示的窗口,但其现在处于活动窗口“背后”且未被显示出来。在实施例中,非活动窗口可以用于被挂起的应用,因此该窗口不显示活动的内容。例如,窗口712、716、720和724(图7A)是非活动窗口。
窗口堆栈700、728可以具有各种布置或组织结构。在图7A所示的实施例中,设备100包括与第一触摸敏感显示区110关联的第一堆栈760以及与第二触摸敏感显示区114关联的第二堆栈764。因此,每个触摸敏感显示区110和114可以具有关联的相应窗口堆栈760、764。这两个窗口堆栈760、764可以具有不同数目的窗口布置在各自堆栈760、764中。此外,这两个窗口堆栈760、764也可以被不同地识别和独立地管理。因此,可以按序从第一窗口704至下一窗口720至最后一个窗口724并最后到达桌面722而布置第一窗口堆栈760,在实施例中,桌面722是窗口堆栈760的“底部”。在实施例中,桌面722不总是在“底部”,因为应用窗口可以布置在窗口堆栈中桌面722之下,并且作为执行桌面反转操作的结果,桌面722可以被带到堆栈的“顶部”,其它窗口之上。同样,可以按序从第一窗口708至下一窗口712至最后一个窗口716并最后到达桌面718而布置第二堆栈764,在实施例中,桌面718是单个桌面区域,其中桌面722在窗口堆栈760和窗口堆栈764中的所有窗口之下。用于管理两个窗口堆栈760、764的逻辑数据结构可以是如下面结合图8所描述的。
图7B中示出了窗口堆栈728的另一布置。在此实施例中,存在单个窗口堆栈728用于触摸敏感显示区110、114两者。因此,从桌面758至第一窗口744至最后一个窗口756而布置窗口堆栈728。在所有窗口之中,可以将窗口布置在与特定触摸敏感显示区110、114没有关联的位置中。在此实施例中,每个窗口在以窗口排序的顺序中。此外,至少一个窗口被识别为活动。例如,可以在分别显示在第一触摸敏感屏幕110和第二触摸敏感屏幕114上的两个部分732和736中呈现单个窗口。该单个窗口可以仅占据窗口堆栈728中的单个位置,尽管其显示在两个显示区110、114上。
图7C至图7E示出了窗口堆栈762的另一布置。在三个“正视(elevation)”图中示出了窗口堆栈762。在图7C中,示出了窗口堆栈762的顶部。图7D和7E中示出了窗口堆栈762的两侧。在此实施例中,窗口堆栈762类似于一堆砖头。窗口被彼此层叠。从图7C中的窗口堆栈762的顶部看,在复合显示区766的不同部分仅看到窗口堆栈762中的最顶部的窗口。复合显示区766表示用于设备100的整个显示区域的逻辑模型,其可以包括触摸敏感显示区110和触摸敏感显示区114。桌面786(图7D和图7E)或窗口可以占据复合显示区766的部分或全部。
在所示的实施例中,桌面786是窗口堆栈762中的最低显示或“砖头”。在其上,按层布置窗口1782、窗口2782、窗口3768以及窗口4770。窗口1782、窗口3768、窗口2782以及窗口4770仅占据复合显示区766的一部分。因此,堆栈762的另一部分包括窗口8774和显示在部分790中的窗口5至7。仅复合显示区766的任何部分中顶部窗口被实际呈现和显示。因此,如图7C中的顶视图所示,窗口4770、窗口8774和窗口3768被显示为在窗口堆栈762的不同部分中的显示区的顶部。可以调整窗口的尺寸,以仅占据复合显示区766的一部分,从而“显露”窗口堆栈760中较低的窗口。例如窗口3768在堆栈中低于窗口4770和窗口8774,但其仍然被显示。管理窗口堆栈的逻辑数据结构可以是如结合图8所描述的。
当在设备100上打开新窗口时,新激活的窗口通常位于堆栈的顶部。然而,窗口位于堆栈中的哪里以及如何在堆栈中放置窗口可以是设备100的定向、正在设备100上执行什么程序、函数、软件等的背景、当打开新窗口时如何放置堆栈等的函数。为了在堆栈中***窗口,确定堆栈中用于该窗口的位置,并且还可以确定该窗口所关联的触摸敏感显示区110、114。利用此信息,可以创建和存储用于该窗口的逻辑数据结构。当用户界面或其它事件或任务改变窗口的布置时,可以改变窗口堆栈,以反映布置的改变。应该注意,上述这些相同的构思可以用于管理设备100的一个或多个桌面。
图8中示出了用于管理窗口堆栈中的窗口或桌面的布置的逻辑数据结构800。逻辑数据结构800可以是用于存储数据的任何数据结构,例如对象、记录、文件等。逻辑数据结构800可以存储在任何类型的数据库或数据储存***中,可以是任何协议或标准。在实施例中,逻辑数据结构800包括一个或多个部分、字段、属性等,其在允许容易地存储和检索信息的逻辑布置中存储数据。在下文中,这些一个或多个部分、字段、属性等将被简单地描述为字段。字段可以存储用于窗口标识符804、尺度808、堆栈位置标识符812、显示区标识符816、和/或活动指示符820的数据。窗口堆栈中的每个窗口可以具有关联的逻辑数据结构800。虽然图8中仅示出了单个逻辑数据结构800,但可以具有更多或更少的逻辑数据结构800与窗口堆栈一起使用(基于堆栈中窗口或桌面的数目),如省略号824所表示的。此外,可以存在比图8中所示更多或更少的字段,如省略号828所表示的。
窗口标识符804可以包括相对于窗口栈中的其它窗口唯一地识别所关联的窗口的任何标识符(ID)。窗口标识符804可以是全球唯一标识符(GUID)、数字ID、文字数字ID、或其它类型的标识符。在实施例中,基于可以打开的窗口的数目,窗口标识符804可以是一个、两个或任意数目的数字。在替代实施例中,窗口标识符804的尺寸可以基于打开的窗口的数目而改变。当窗口是打开的时,窗口标识符804可以是静态的并保持不变。
尺度808可以包括用于复合显示区766中的窗口的尺度。例如,尺度808可以包括用于窗口的两个或更多个角的坐标,或者可以包括一个坐标和用于窗口的宽度和高度的尺寸。尺度808可以描述(delineate)窗口可以占据复合显示区766的什么部分,其可以是整个复合显示区766或仅是复合显示区766的一部分。例如,窗口4770可以具有维度880,其指示窗口4770将仅占据用于复合显示区766的显示区域的一部分,如图7C所示。随着移动窗口或在窗口堆栈中***窗口,尺度808可以改变。
堆栈位置标识符812可以是可以识别堆栈中用于窗口的位置的任何标识符,或者可以从数据结构(诸如列表或堆栈)内的窗口的控制记录中导出堆栈位置标识符812。堆栈位置标识符812可以是GUID、数字ID、文字数字ID、或其它类型的标识符。每个窗口或桌面可以包括堆栈位置标识符812。例如,如图7A的实施例中所示,堆栈1760中的窗口1704可以具有为“1”的堆栈位置标识符812,其识别窗口704是堆栈760中的第一个窗口且是活动窗口。类似地,窗口6724可以具有为“3”的堆栈位置标识符812,其表示窗口724是堆栈760中的第三个窗口。窗口2708也可以包括为“1”的堆栈位置标识符812,其表示窗口708是第二堆栈764中的第一个窗口。然而,在图7B中,提供了窗口的替代堆栈位置编号,即,窗口1744可以具有为“1”堆栈位置标识符812,在部分732和736中呈现的窗口3可以具有为“3”的堆栈位置标识符812,并且窗口6756可以具有为“6”的堆栈位置标识符812。因此,取决于堆栈的类型,堆栈位置标识符812可以表示堆栈中的窗口的位置。
显示区标识符816可以识别窗口或桌面与特定显示区(诸如第一显示区110或第二显示区114)或由两个显示区构成的符合显示区760关联。虽然对于多堆栈***可能不需要此显示区标识符816,如图7A中所示,但显示区标识符816可以指示图7B的串行堆栈中的窗口是否显示在特定的显示区上。因此,窗口3可以具有图7B中的两个部分732和736。第一部分732可以具有用于第一显示区的显示区标识符816,而第二部分736可以具有用于第二显示区114的显示区标识符816。然而,在替代实施例中,窗口可以具有表示窗口显示在显示区110、114两者上的两个显示区标识符816,或者识别复合显示区的显示区标识符816。在另一替代实施例中,窗口可以具有单个显示区标识符816来表示窗口显示在显示区110、114两者上。
与显示区标识符816类似,对于图7A的双栈(dual stack)***可能不需要活动指示符820,因为栈位置1中的窗口是活动的且被显示。在图7B的***中,活动指示符820可以指示正在显示堆栈中的哪个(哪些)窗口。因此,窗口3可以具有图7B中的两个部分732和736。第一部分732可以具有活动指示符820,而第二部分736也可以具有活动指示符820。然而,在替代实施例中,窗口3可以具有单个活动指示符820。活动指示符820可以是简单的标志或比特,其表示窗口是活动的或被显示的。
图9中示出了用于创建窗口堆栈的方法900的实施例。但图9中示出了用于方法900的步骤的一般顺序。一般地,方法900从开始操作904开始,并以结束操作920结束。方法900可以包括更多或更少的步骤,或者可以将步骤的顺序布置为与图9不同。可以将方法900作为计算机可执行指令的集合而执行,该计算机可执行指令由计算机***执行,并被编码或存储在计算机可读介质上。下文中,将参照结合图1至图8所描述的***、组件、模块、软件、数据结构、用户界面等说明方法900。
多屏设备100可以在步骤908中接收窗口的激活。在实施例中,多屏设备100可以通过从触摸敏感显示区110或114、可配置区域112或116、姿势捕获区域120或124、或可操作来接收用户界面输入的某个其它硬件传感器接收输入而接收窗口的激活。处理器可以执行任务管理模块540(图5A),以接收输入。任务管理模块540可以将输入解析为请求执行将打开窗口堆栈中的窗口的应用任务。
在实施例中,任务管理模块540将用户界面交互置于任务堆栈552(图5A)中,以由多显示区管理模块524(图5A、图5B)的显示配置模块568(图5B)依照其而动作。此外,任务管理模块540等待来自多显示区管理模块524的信息,以将指令发送到窗口管理模块532,从而在窗口堆栈中创建窗口。
在步骤912中,多显示区管理模块524在接收到来自任务管理模块540的指令时,确定新激活的窗口应该与复合显示区760的哪个触摸部分关联。例如,窗口4770与复合显示区766(图7A)关联。在实施例中,多显示区管理模块524的设备状态模块574(图5B)可以确定设备被如何定向或者设备在什么状态中,例如展开、合上、竖向等。此外,偏好模块572(图5B)和/或要求模块580(图5B)可以确定要如何显示窗口。基于姿势的类型和做出姿势的位置,姿势模块576(图5B)可以确定用户意欲如何打开窗口。
显示配置模块568(图5B)可以使用来自这些模块的输入,并评估当前窗口堆栈760,以基于可视性算法确定打开窗口的最佳位置和最大尺寸。因此,在步骤916中,显示配置模块568确定将窗口放置在窗口堆栈760的顶部的最佳位置。在实施例中,可视性算法为复合显示区的所有部分确定哪些窗口在堆栈的顶部。例如,可视性算法确定窗口3768、窗口4770和窗口8774在堆栈760的顶部,如图7C至图7E中所示的。在确定在哪里打开窗口时,显示配置模块568可以向窗口分配显示区标识符816以及可能还分配尺度808。显示区标识符816和尺度808可以接着被发送回到任务管理模块540。任务管理模块540可以接着向窗口分配堆栈位置标识符812,其指示窗口堆栈顶部的窗口位置。
在实施例中,任务管理模块540向窗口管理模块532(图5A)发送窗口堆栈信息以及呈现窗口的指令。在步骤924中,窗口管理模块532和任务管理模块540(图5A)可以创建逻辑数据结构。任务管理模块540和窗口管理模块532都可以创建和管理窗口堆栈的复本。可以通过窗口管理模块532与任务管理模块540之间的通信使窗口堆栈的这些复本同步,并保持它们类似。因此,窗口管理模块532和任务管理模块540基于多显示区管理模块524确定的信息可以分配尺度808、堆栈位置标识符812(例如窗口1782、窗口4770等)、显示区标识符816(例如,触摸敏感显示区1110、触摸敏感显示区2114、复合显示区标识符等)、以及活动指示符820(通常当窗口在堆栈的“顶部”时被设定)。接着可以由窗口管理模块532和任务管理模块540两者存储逻辑数据结构800。此外,窗口管理模块532和任务管理模块540可以在此后管理窗口堆栈和逻辑数据结构800。
在设备100的至少一个实施例中,MDM524(及其姿势模块576)可操作来解析姿势捕获区域120和124中的姿势,从而这样的姿势可被用于操纵窗口堆栈(例如上述728)。具体地,这样的操纵可以允许用户穿过这种窗口堆栈循环,而不影响或改变窗口堆栈顺序。例如,参照图10,窗口/桌面1、2和3被显示为在窗口堆栈中的排序,其中窗口/堆栈1在窗口堆栈中的最上层,接着是窗口/桌面2、接着是窗口/桌面3。如所示,在图10的第一行中,窗口/桌面1消耗整个显示区110,而窗口/桌面2和窗口/桌面3被隐藏(如图10中所反映,这些窗口/桌面为虚线)。然而,该第一行还指示用户向姿势捕获区域120输入手指姿势(诸如轻弹姿势404或拖曳姿势400),其中姿势模块576可以将这样的输入解析为将窗口/桌面1移动到显示区110之外、将窗口/桌面2移动到显示区110上、而不干扰或改变窗口堆栈的请求。因此,图10的第二行或中间行示出了结果配置,其中窗口/桌面2显示在显示区110上。此外,图10的该第二行还显示出用户向姿势捕获区域120中输入另一手指姿势,用于将窗口/桌面2移动到显示区110之外、将窗口/桌面3移动到显示区上、并仍然不干扰或改变窗口堆栈的窗口和/或桌面的顺序。因此,图10的第三行或最下行出现,其中显示窗口/桌面3。
假设窗口/桌面1、2和3构成窗口堆栈中的所有窗口/桌面(至少对于显示区110),则在一个实施例中,如图10的第三行所示的输入到姿势捕获区域120中的用户手指姿势导致图10的第一行的配置,并仍然不干扰或改变窗口堆栈中的顺序。
在实施例中,当用户穿过窗口堆栈导航(例如针对显示区110)并因此显示不是窗口堆栈(如图7B的窗口堆栈表示728中的)的最上窗口/桌面的窗口/桌面时,用户可以强制这样显示的(较低顺序的)窗口/桌面变为窗口堆栈中的最上窗口/桌面,例如通过将输入直接提供到此显示的窗口/桌面中,或者提供某个其它输入(诸如向此较低顺序的窗口/桌面的显示区提供一个或多个触击)。因此,在一个实施例中,接收到用户姿势输入(或其它输入)的这种显示的较低顺序的窗口/桌面被重新放置到窗口堆栈的顶部,而不干扰或改变窗口堆栈中其它窗口/桌面的相对顺序。然而,当用户提供输入使得较低顺序的窗口/桌面变为最高时,窗口堆栈的窗口/桌面的替代重新布置技术也在本公开的范围内。例如,这种替代重新布置技术可以包括将窗口堆栈中较高的窗口/桌面(比接收到输入的显示的较低顺序窗口/桌面高)重新排序为窗口堆栈中的最低顺序,但保持这种窗口/桌面的相同相对堆栈顺序。例如,再次参照图10,如果这样的替代重新布置技术可操作,则如果用户提供输入,例如直接向显示的窗口/桌面3提供输入(由此导致此窗口/桌面变为窗口堆栈中的最上窗口/桌面),则窗口/桌面1将被排序为紧挨在窗口/桌面3下方,并且窗口/桌面2将成为窗口堆栈的最低排序的窗口/桌面。
应该注意,虽然图10中所示的用户姿势显示出用户以窗口堆栈顺序向下导航,但用户也可以窗口堆栈顺序向上导航。在一个实施例中,用于以窗口堆栈顺序向下导航的相同的用户手指姿势可以用于以窗口堆栈顺序向上导航,区别在于:对于沿窗口堆栈向上导航,用户姿势可能在相反方向上移动。因此,参照图10的中间行,如果用户输入用户姿势400或相反方向上的用户姿势404,则结果将显示窗口/桌面1。
虽然针对单个显示区110例示了用于导航窗口堆栈的关于图10的以上描述,但这种导航技术也适用于显示区114。此外,当设备100在展开的双屏状态(诸如348)中时可以应用同样的导航技术。在一个实施例中,当用户使设备100处于这样的展开双屏状态中时,用于这样的导航的用户手指姿势可适用于姿势捕获区域120或124中的任一个,其中呈现的应用窗口和/或桌面可以根据例如以下规则跨越显示区110、114移动:
(a)如果双屏应用显示在两个屏幕上,并且用户手指姿势被输入到姿势捕
获区域120、124之一用于导航窗口堆栈(如图10),则如果窗口堆
栈顺序中的下一窗口/桌面(W1)要被显示在两个显示区110、114上,
则在两个显示区上显示该下一窗口/桌面W1。替代地,如果窗口/桌面
W1要被显示在单个显示区上,则将其移动到显示区之一上,并还将
W1之后的下一窗口/桌面(W2)显示到显示区110、114的之一上(如
果必要将W2转换为单显示区)。
(b)如果两个单屏窗口/桌面(W1、W2)显示在显示区110、114上,其
中在窗口堆栈顺序中,W1比W2低(高),并且用户手指姿势被输入
到姿势捕获区域120、124之一用于向下(向上)导航窗口堆栈,则
窗口/桌面W1、W2中的一个将在用户姿势的方向上移动,以替换窗
口/桌面W1、W2中的另一个,并且窗口堆栈中表示的(任何)下一
较低(较高)窗口/桌面(W3)将被显示在所述一个窗口/桌面从其移
开的显示区110、114上。此外,如果W3是双屏应用/桌面,则其将
被转换为单屏显示,用于在这样的窗口堆栈导航期间呈现。
图11示出了表示用于导航上述窗口堆栈的方法的高级流程图。具体地,在步骤1104中,在姿势捕获区域120、124之一中检测到用户姿势,其中该姿势被姿势模块576确定为导航窗口堆栈、并根据窗口/桌面在窗口堆栈中的顺序显示窗口/桌面的用户请求。假设姿势模块576还根据该输入姿势确定用户请求导航窗口堆栈的方向(即,以窗口堆栈顺序向上,或以窗口堆栈顺序向下),则在步骤1108中,MDM524确定对于窗口堆栈顺序中用户指示的方向,是否存在窗口堆栈(例如728)中表示的下一窗口/桌面。如果当前步骤确定根据窗口堆栈顺序存在表示的下一窗口/桌面(W)(例如,在用户向上导航窗口堆栈的情况下,为该顺序中下一较高窗口/桌面,或者在用户向下导航窗口堆栈的情况下,为该顺序中的下一个较低窗口/桌面),则执行步骤1112,其中显示在显示区110、114上的一个或多个窗口/桌面中的每一个(例如,设备100被闭合时仅单个窗口/桌面显示在显示区110、114中的活动显示区上,并且当设备100在展开状态中时高至两个窗口/桌面显示在显示区110、114上)被移动,使得当前显示的窗口/桌面之一整体从显示区110、114移开,并且现在在显示区110、114的至少一个上显示下一窗口/桌面W。更具体地,当设备100在闭合状态中时,在相同显示区110、114上进行将当前显示的窗口/桌面移开的操作以及显示窗口/桌面W的操作,替代地,当设备100在展开状态中时,在显示区110、114中的不同显示区上进行将当前显示的窗口/桌面移开的操作以及显示窗口/桌面W的操作。此外,如果两个显示区110、114都是活动的(例如,设备100在展开状态中),假设存在不同的窗口/桌面显示在显示区110、114中的每个上,则当窗口/桌面的第一窗口/桌面整体从显示区110、114移开时,显示的窗口/桌面的第二窗口/桌面移动到曾具有第一窗口/桌面的显示区,并且下一窗口/桌面W显示在曾显示第二窗口/桌面的显示区110、114上。替代地,如果在步骤1108中确定不存在下一窗口/桌面(即,当前显示的窗口/桌面是窗口堆栈的顶部,或窗口堆栈的底部),则执行步骤1116,其中,在当前实施例中,以与步骤112类似的方式,通过将当前显示的窗口/桌面移动离开显示区110或114,而显示窗口堆栈的相对端的窗口/桌面。具体地,如果设备100处于显示两个窗口/桌面(每个显示区一个)的展开状态中,则当前显示但不被从显示区110、114移开的窗口/桌面被移动到另一显示区。
不论执行步骤1112或1116中的哪个,在步骤1120中,MDM524确定在姿势捕获区域120或124中是否检测到另一用户姿势,该另一用户姿势用于继续导航窗口堆栈的窗口/桌面。因此,如果检测到这样的附加用户姿势,则再次执行步骤1108。替代地,如果在姿势捕获区域120、124中未检测到附加的窗口堆栈导航姿势(例如,设备100被改为展开或闭合,或者不同的用户输入被提供到姿势捕获区域之一,或者用户输入被提供到显示区110、114之一),则窗口堆栈的导航终止。注意,因为窗口堆栈的窗口/桌面的窗口堆栈顺序未改变(除非用户通过图11的窗口堆栈导航处理向被显示的窗口/桌面之一提供输入),所以如果设备100例如被关闭并接着再被开启,则活动显示区110或114上显示的窗口/桌面将是窗口堆栈的顶部的窗口/桌面。
已经关于用于导航窗口堆栈而不改变所表示的窗口/桌面的堆栈内的顺序的用户姿势描述了本公开的示例***和方法。然而,为了避免不必要地掩盖本公开,前面的描述省略了多个已知的结构和设备。该省略不被认为是对权利要求的范围的限制。描述了具体细节来帮助对本公开的理解。然而,应该理解,可以在本文描述的具体细节之外以各种方式实践本公开。
此外,虽然这里例示的示例方面、实施例和/或配置显示了***的各个组件布置在一起,但***的某些组件可以远程地位于分布网络(诸如LAN和/因特网)的远程部分,或专用***内。因此,应该理解,***的组件可被组合到一个或多个设备中,或者一起布置在分布网络(诸如模拟和/或数字电信网络、分组交换网络或电路交换网络)的特定节点上。从前面的描述将理解,为了计算效率的原因,可以将***的组件布置在组件的分布网络内的任何位置,而不影响***的操作。例如,所述各个组件可以位于交换机(诸如PBX和媒体服务器)、网关、一个或多个通信设备、一个或多个用户的房屋,或者它们的某个组合中。类似地,可以在电信设备和关联的计算设备之间分布***的一个或多个功能部分。
此外,应该理解,连接元件的各种链路可以是有线或无线链路,或者它们的任意组合,或者任何其它已知或以后开发的能够向和从连接的元件提供和/或传递数据的元件。这些有线或无线链路也可以是安全链路,并且可以能够传递加密的信息。用作链路的传输介质例如可以是用于电信号的任何合适的载体,包括同轴电缆、铜线和光纤,并且可以采用声波或光波的形式,诸如在无线电波和红外数据通信中产生的那些。
而且,虽然关于特定的事件序列说明和例示了流程图,但应该理解,针对此序列的改变、添加和省略可以在不实质影响所公开的实施例、配置和方面的情况下发生。
可以使用本公开的多个变化和修改。将可以提供本公开的某些特征,而不提供其他特征。
在另一示例实施例中,可以结合专用计算机、编程的微处理器或微控制器以及***集成电路元件、ASIC或其它集成电路、数字信号处理器、硬链接电子或逻辑电路(诸如分离元件电路)、可编程逻辑器件或门阵列(诸如PLD、PLA、FPGA、PAL)、专用计算机、任何相当的装置等实现此公开的***和方法。一般地,可以使用能够实现这里所示的方法的任何设备和装置来实现本公开的各个方面。可用于所公开的实施例、配置和方法的示例性硬件包括计算机、手持设备、电话(例如蜂窝、网络、数字、模拟、混合和其它等)以及本领域已知的其它硬件。这些设备中的一些包括处理器(例如,单个或多个微处理器)、存储器、非易失性储存器、输入设备、以及输出设备。此外,也可以考虑替代的软件实施方式来实现这里所述的方法,软件实施方式包括但不限于分布处理或组件/对象分布处理、平行处理或虚拟机处理。
在另一实施例中,可以使用对象或面向对象的软件开发环境容易地结合软件实现所公开的方法,该软件开发环境提供可用在多个计算机或工作站平台上的便携式源代码。替代地,所公开的***可以使用标准逻辑电路或VLSI设计部分或全部以硬件来实现。使用软件还是硬件来实施根据本公开的***取决于***的速度和/或效率要求、特定功能、以及所使用的特定软件或硬件***或微处理器或微计算机***。
在再一实施例中,所公开的方法可以部分以软件来实现,该软件存储在储存介质中,在编程的通用目的计算机上与控制器和存储器合作地执行,或者在专用计算机、微处理器等上执行。在这些实例中,本公开的***和方法可被实施为嵌入在个人计算机上的程序(诸如Java小程序(applet)、JAVA
Figure BDA00003102526900401
或CGI脚本)、驻存在服务器或计算机工作站上的资源、嵌入在专用测量***中的例程、***组件等。可通过将***和/或方法物理的合并到软件和/或硬件***中来实现该***。
虽然本公开参照特定标准和协议描述了在各方面、实施例和/或配置中实施的组件和功能,但各方面、实施例和/或配置不被限制于这样的标准和协议。这里未提及的其它类似标准和协议也存在,并被认为包含在本公开中。此外,这里提及的标准和协议以及这里未提及的其它类似标准和协议周期性地被更快或更有效的、本质上具有相同功能的等同体替代。具有相同功能的这种替代标准和协议被认为是包含在本公开中的等同体。
本公开在各个方法、实施例和/或配置中包括基本如这里描述和说明的组件、方法、处理、***和/或装置,其包括各个方面、实施例、配置、实施例、子组合和/或它们的子集。本领域的技术人员在理解了本公开后将理解如何创建和使用所公开的方法、实施例和/或配置。本公开在各个方面、实施例和/或配置中包括提供缺少这里未描述和/说明的项目的设备和处理,或者在各个方面、实施例和/或其配置中包括缺少在之前的设备和处理中可能已经使用的项目,例如为了提高性能,获得简易性和/或降低实施成本。
已经为了例示和说明的目的呈现了前述说明。前述说明不意在将本公开限制为这里公开的形式。在前述详细描述中,例如,为了流水线化本公开,在一个或多个方面、实施例和/或配置中,本公开的各个特征被组合到一起。可以在除了上述之外的替代方面、实施例和/或配置中组合本公开的各方面、实施例和/或配置的特征。此公开方法不被解释为反映权利要求需要比在每个权利要求中明确描述的特征更多地特征的意图。而是,如所附权利要求所反映的,发明的各方面比单个前面公开的方面、实施例和/或配置的所有特征少。因此,将所附权利要求合并到此详细说明中,每个权利要求自身作为本公开的独立优选实施例。
此外,虽然说明书已经包括了一个或多个方面、实施例和/或配置以及某些改变和修改的描述,但在理解了本公开之后,其它改变、组合和修改也在本公开的范围内,例如,可能在本领域的技术人员的技能和知识范围内。意在获得在允许的程度上包括替代方面、实施例和/或配置的权利,将替代、可互换和/或等同的结构、功能、范围或步骤包含到权利要求中,而不论本文是否公开了这样的替代、可互换和/或等同结构、功能、范围或步骤,并且不意在公然贡献任何可专利的主题。

Claims (19)

1.一种用于配置具有显示多个显示对象的至少一个显示屏幕的设备的方法,每个对象是窗口或桌面之一,包括:
接收输入到姿势捕获区域的第一用户手指姿势输入,所述姿势捕获区域操作地与所述至少一个屏幕关联但与其分离;
将所述用户手指姿势输入解析为对导航所述多个显示对象的顺序的请求,用于所述顺序的数据存储在永久性数据储存器中;
响应于所述解析步骤,确定要在所述至少一个显示屏幕上呈现的窗口或桌面,其中所述窗口或桌面被识别为在所述顺序上紧挨在所述显示对象中当前显示的显示对象之前或之后;
作为所述确定步骤的结果,执行以下步骤:
(a-1)停止在所述至少一个屏幕显示区上显示所述当前显示的显示对象;以及
(a-2)在所述至少一个屏幕显示区上显示所述窗口或桌面。
2.如权利要求1所述的方法,其中所述姿势捕获区域包括电容触摸敏感区域,用于接收所述用户姿势输入。
3.如权利要求2所述的方法,其中所述姿势捕获区域不能显示所述显示对象中的任一个。
4.如权利要求1所述的方法,其中在所述显示步骤之后,所述顺序未从所述确定步骤之前改变。
5.如权利要求4所述的方法,包括:
第二接收输入到与所述至少一个屏幕关联的姿势捕获区域的第二用户手指姿势输入;
将所述第二用户手指姿势输入第二解析为对导航所述多个显示对象的顺序的第二请求;
第二确定要在所述至少一个显示区上呈现的第二窗口或桌面,其中所述第二窗口或桌面被识别为在所述顺序上紧挨在所述窗口或桌面之前或之后;
作为所述第二确定步骤的结果,执行以下步骤:
(b-1)第二停止在所述至少一个屏幕显示区上显示所述窗口或桌面;以及
(b-2)在所述至少一个屏幕显示区上第二显示所述第二窗口或桌面。
6.如权利要求5所述的方法,其中所述至少一个显示屏幕包括多个显示屏幕,并且所述窗口或桌面在第二显示的步骤完成之前显示在所述显示屏幕的第二显示屏幕上。
7.如权利要求5所述的方法,其中所述用户姿势输入和所述第二用户姿势输入中的每个被解析为针对相同的用户姿势。
8.如权利要求7所述的方法,其中所述用户姿势输入包括拖曳和轻弹中的一个。
9.如权利要求4所述的方法,还包括:
接收输入到所述至少一个屏幕显示区上显示的窗口或桌面的用户手指姿势输入;
作为所述用户手指姿势输入的结果,改变所述顺序;
第二接收输入到与所述至少一个屏幕关联的姿势捕获区域的第二用户手指姿势输入;
将所述第二用户手指姿势输入第二解析为对导航所述多个显示对象的改变的顺序的第二请求;
第二确定要在所述至少一个显示区上呈现的第二窗口或桌面,其中所述第二窗口或桌面被识别为在所述改变的顺序上紧挨在所述窗口或桌面之前或之后;
作为所述第二确定步骤的结果,执行以下步骤:
(b-1)第二停止在所述至少一个屏幕显示区上显示所述窗口或桌面;以及
(b-2)在所述至少一个屏幕显示区上第二显示所述第二窗口或桌面。
10.如权利要求1所述的方法,其中存在多个用户手指姿势输入描述的预定选集,用于辨识在所述解析步骤中可解析的用户姿势输入。
11.一种用于配置具有显示多个显示对象的至少一个显示屏幕的设备的计算机可读介质,每个对象是窗口或桌面之一,包括用于执行以下步骤的机器指令:
接收输入到姿势捕获区域的第一用户手指姿势输入,所述姿势捕获区域操作地与所述至少一个屏幕关联但与其分离;
将所述用户手指姿势输入解析为对导航所述多个显示对象的顺序的请求,用于所述顺序的数据存储在永久性数据储存器中;
响应于所述解析步骤,确定要在所述至少一个显示屏幕上呈现的窗口或桌面,其中所述窗口或桌面被识别为在所述顺序上紧挨在所述显示对象中当前显示的显示对象之前或之后;
作为所述确定步骤的结果,执行以下步骤:
(a-1)停止在所述至少一个屏幕显示区上显示所述当前显示的显示对象;以及
(a-2)在所述至少一个屏幕显示区上显示所述窗口或桌面。
12.如权利要求11所述的计算机可读介质,其中所述解析步骤用于导航针对所述多个显示对象的窗口堆栈,使得所述显示对象的顺序保持不变。
13.如权利要求12所述的计算机可读介质,其中所述机器指令还执行以下步骤:
第二接收输入到与所述至少一个屏幕关联的姿势捕获区域的第二用户手指姿势输入;
将所述第二用户手指姿势输入第二解析为对导航所述多个显示对象的顺序的第二请求;
第二确定要在所述至少一个显示区上呈现的第二窗口或桌面,其中当所述窗口或桌面被识别为所述顺序中的顶部或底部显示对象时,所述第二窗口或桌面分别被识别为所述顺序中的底部显示对象或所述顺序中的顶部显示对象;
作为所述第二确定步骤的结果,执行以下步骤:
(b-1)第二停止在所述至少一个屏幕显示区上显示所述窗口或桌面;以及
(b-2)在所述至少一个屏幕显示区上第二显示所述第二窗口或桌面。
14.如权利要求13所述的计算机可读介质,其中所述机器指令还执行以下步骤:
接收输入到所述至少一个屏幕显示区上显示的第二窗口或桌面的用户手指姿势输入;以及
作为所述用户手指姿势输入的结果改变所述顺序。
15.一种手持设备,包括:
至少一个显示屏幕,用于显示多个显示对象,每个对象是窗口或桌面之一;
姿势捕获区域,与所述至少一个显示屏幕关联,用于接收第一用户手指姿势输入,所述姿势捕获区域与所述至少一个显示屏幕分离;
其中所述至少一个显示屏幕响应用户触摸,用于接收第二用户手指姿势输入;
显示管理器,用于确定所述多个显示对象中的哪个显示在所述至少一个屏幕上;
姿势解析器,用于解析所述第一和第二用户手指姿势输入中的每个,用于确定要在所述至少一个屏幕显示区上执行的动作,其中所述姿势解析器将所述第一和第二用户手指姿势输入中的每个与多个用户姿势输入描述的预定选集进行比较,用于辨识可解析的用户姿势输入;
永久数据储存器,用于存储指示所述多个显示对象的顺序的数据;
其中针对在接收到所述第一用户姿势输入时所述显示对象中当前显示的一个显示对象,确定要在所述至少一个显示屏幕上呈现的窗口或桌面,其中所述窗口或桌面被识别为在所述顺序上紧挨在所述一个显示对象之前或之后;
其中所述显示管理器利用所述窗口或桌面的显示替代所述至少一个显示屏幕上的所述一个显示对象;以及
其中在利用所述窗口或桌面替代了所述一个显示对象之后,所述顺序不改变。
16.如权利要求15所述的设备,其中所述姿势捕获区域不能显示所述显示对象中的任一个。
17.如权利要求15所述的设备,还包括任务管理器,其中当在所述窗口或桌面被显示之后所述显示管理器接收到指示输入了所述第二用户手指姿势的数据时,所述任务管理器改变所述顺序,使得所述窗口或桌面被表示为在所述顺序的顶部。
18.如权利要求15所述的设备,其中所述至少一个显示屏幕包括多个显示屏幕,并且当所述显示管理器利用所述窗口或桌面的显示替换所述显示屏幕中的第一显示屏幕上的所述一个显示对象时,所述显示管理器在所述显示屏幕中的第二显示屏幕上显示所述一个显示对象,使得同时显示所述一个显示对象和所述窗口或桌面。
19.如权利要求18所述的设备,还包括:
附件,配置为可折叠地连接所述第一显示屏幕与所述第二显示屏幕;
第一传感器,配置为产生第一信号,所述第一信号指示所述第一显示屏幕相对于彼此的折叠位置;以及
计算机可读介质,其上存储指令,所述指令包括:
第一指令集,配置为确定所述设备已经从第一物理定向移动到不同的第二物理定向,其中所述第一和第二物理定向因所述第一物理定向是被折叠或在横向定向中而不同;
其中所述顺序不因为折叠所述设备而改变,并且所述顺序不因为展开所述设备而改变。
CN2011800515411A 2010-10-01 2011-09-29 使用姿势查看堆栈化的屏幕显示的方法和*** Pending CN103329061A (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US38911710P 2010-10-01 2010-10-01
US38908710P 2010-10-01 2010-10-01
US38900010P 2010-10-01 2010-10-01
US61/389,087 2010-10-01
US61/389,117 2010-10-01
US61/389,000 2010-10-01
US45815010P 2010-11-17 2010-11-17
US61/458,150 2010-11-17
US201161539884P 2011-09-27 2011-09-27
US61/539,884 2011-09-27
US13/247,971 2011-09-28
US13/247,971 US9213365B2 (en) 2010-10-01 2011-09-28 Method and system for viewing stacked screen displays using gestures
PCT/US2011/053948 WO2012044804A2 (en) 2010-10-01 2011-09-29 Method and system for viewing stacked screen displays using gestures

Publications (1)

Publication Number Publication Date
CN103329061A true CN103329061A (zh) 2013-09-25

Family

ID=45893747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800515411A Pending CN103329061A (zh) 2010-10-01 2011-09-29 使用姿势查看堆栈化的屏幕显示的方法和***

Country Status (5)

Country Link
US (3) US9213365B2 (zh)
EP (1) EP2622439B1 (zh)
JP (1) JP6073792B2 (zh)
CN (1) CN103329061A (zh)
WO (1) WO2012044804A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033250A (zh) * 2015-03-03 2016-10-19 纬创资通股份有限公司 物件感测装置与方法
CN107203308A (zh) * 2017-05-19 2017-09-26 北京锤子数码科技有限公司 一种显示方法及终端
CN107291491A (zh) * 2017-05-17 2017-10-24 努比亚技术有限公司 一种分屏启动方法、终端及计算机可读存储介质
CN108323197A (zh) * 2016-12-27 2018-07-24 华为技术有限公司 一种多屏显示的方法和设备
CN110290235A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 电子设备
CN112805669A (zh) * 2018-09-21 2021-05-14 基斯特勒控股公司 测量物理测量参量的方法和执行该方法的测量***
CN114296607A (zh) * 2021-12-27 2022-04-08 广州小鹏汽车科技有限公司 显示控制方法及其装置、车辆和存储介质
CN114416231A (zh) * 2021-12-21 2022-04-29 南京市德赛西威汽车电子有限公司 车载娱乐***虚拟分屏显示方法及虚拟分屏合屏切换方法

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130198867A1 (en) 2011-12-09 2013-08-01 Z124 A Docking Station for Portable Devices Providing Authorized Power Transfer and Facility Access
US9213365B2 (en) 2010-10-01 2015-12-15 Z124 Method and system for viewing stacked screen displays using gestures
US9003426B2 (en) 2011-12-09 2015-04-07 Z124 Physical key secure peripheral interconnection
US9507930B2 (en) 2003-04-25 2016-11-29 Z124 Physical key secure peripheral interconnection
US20120084693A1 (en) 2010-10-01 2012-04-05 Imerj LLC Modals in dual display communication devices
US9420072B2 (en) 2003-04-25 2016-08-16 Z124 Smartphone databoost
US8751682B2 (en) 2010-09-27 2014-06-10 Z124 Data transfer using high speed connection, high integrity connection, and descriptor
US8788576B2 (en) 2010-09-27 2014-07-22 Z124 High speed parallel data exchange with receiver side data handling
US9046992B2 (en) * 2010-10-01 2015-06-02 Z124 Gesture controls for multi-screen user interface
US8930605B2 (en) 2010-10-01 2015-01-06 Z124 Systems and methods for docking portable electronic devices
WO2012045084A2 (en) 2010-10-01 2012-04-05 Imerj, Llc Systems and methods relating to user interfaces for docking portable electronic devices
US8949628B2 (en) 2011-02-28 2015-02-03 Z124 Power-allocation interface
US8677168B2 (en) 2011-02-28 2014-03-18 Z124 Allocating power in devices by reserving a static power allocation to be used by one or more predetermined subsystems and reserving a dynamic power allocation to be used when the static power allocation is insufficient
US20130268559A1 (en) 2011-07-13 2013-10-10 Z124 Virtual file system remote search
US9152404B2 (en) 2011-07-13 2015-10-06 Z124 Remote device filter
US9244491B2 (en) 2011-08-31 2016-01-26 Z124 Smart dock for auxiliary devices
US20130268703A1 (en) 2011-09-27 2013-10-10 Z124 Rules based hierarchical data virtualization
US9246353B2 (en) 2011-08-31 2016-01-26 Z124 Smart dock charging
US20140266012A1 (en) 2013-03-15 2014-09-18 Z124 Mobile Handset Recharge
US9383770B2 (en) 2011-08-31 2016-07-05 Z124 Mobile device that docks with multiple types of docks
US9182935B2 (en) 2011-09-27 2015-11-10 Z124 Secondary single screen mode activation through menu option
US9774721B2 (en) 2011-09-27 2017-09-26 Z124 LTE upgrade module
KR20130054076A (ko) * 2011-11-16 2013-05-24 삼성전자주식회사 복수 개의 어플리케이션을 프리로딩하는 터치스크린을 가지는 장치 및 그 제어 방법
US9086840B2 (en) 2011-12-09 2015-07-21 Z124 RSID proximity peripheral interconnection
US8610663B2 (en) * 2012-02-06 2013-12-17 Lg Electronics Inc. Portable device and method for controlling the same
US9696879B2 (en) * 2012-09-07 2017-07-04 Google Inc. Tab scrubbing using navigation gestures
KR102063952B1 (ko) * 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
US20150212647A1 (en) 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
KR20140046329A (ko) * 2012-10-10 2014-04-18 삼성전자주식회사 멀티 디스플레이 장치 및 그 디스플레이 제어 방법
JP5862587B2 (ja) * 2013-03-25 2016-02-16 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
US20140298258A1 (en) * 2013-03-28 2014-10-02 Microsoft Corporation Switch List Interactions
KR102494178B1 (ko) 2013-07-02 2023-02-06 가부시키가이샤 한도오따이 에네루기 켄큐쇼 데이터 처리 장치
CN103399684A (zh) * 2013-07-03 2013-11-20 惠州Tcl移动通信有限公司 一种大小可变的显示屏幕、移动终端及其实现方法
KR102148725B1 (ko) 2013-07-31 2020-08-28 삼성전자주식회사 어플리케이션을 표시하는 방법 및 장치
US20150066360A1 (en) * 2013-09-04 2015-03-05 Honda Motor Co., Ltd. Dashboard display navigation
JP2015061107A (ja) * 2013-09-17 2015-03-30 株式会社リコー 配信管理装置、及び配信システム
JP2015099526A (ja) * 2013-11-20 2015-05-28 富士通株式会社 情報処理装置および情報処理プログラム
KR20150076955A (ko) * 2013-12-27 2015-07-07 삼성전자주식회사 출력 방법 및 그 방법을 처리하는 전자 장치
US9922088B2 (en) 2013-12-31 2018-03-20 Sybase, Inc. Cardinality estimation using spanning trees
US20150199262A1 (en) * 2014-01-16 2015-07-16 Vivek Bhavsar Runtime code visualization
EP3126950A4 (en) * 2014-03-31 2017-11-08 Hewlett-Packard Development Company, L.P. Three-part gesture
US10222824B2 (en) * 2014-05-12 2019-03-05 Intel Corporation Dual display system
US20160103791A1 (en) 2014-10-09 2016-04-14 Wrap Media, LLC Authoring tool for the authoring of wrap packages of cards
KR102328823B1 (ko) 2014-11-12 2021-11-19 삼성전자 주식회사 화면 내 빈 영역 활용 방법 및 장치
US20160224220A1 (en) * 2015-02-04 2016-08-04 Wipro Limited System and method for navigating between user interface screens
US9600803B2 (en) 2015-03-26 2017-03-21 Wrap Media, LLC Mobile-first authoring tool for the authoring of wrap packages
WO2017074963A1 (en) * 2015-10-26 2017-05-04 Knowlio, Inc. Digital resource management system
KR102480462B1 (ko) * 2016-02-05 2022-12-23 삼성전자주식회사 복수의 디스플레이들을 포함하는 전자 장치 및 그 동작 방법
KR102459031B1 (ko) 2016-02-15 2022-10-26 삼성전자 주식회사 전자 장치 및 그 어플리케이션 표시 방법
US10360340B2 (en) * 2016-10-05 2019-07-23 Oracle International Corporation Overlay display of data from different databases
CN109302508A (zh) * 2017-07-25 2019-02-01 中兴通讯股份有限公司 一种确定双屏相对位置的方法、显示控制的方法及终端
CN109413230A (zh) * 2017-08-17 2019-03-01 富泰华工业(深圳)有限公司 双屏电子装置
CN108595227A (zh) 2018-05-10 2018-09-28 Oppo广东移动通信有限公司 应用程序预加载方法、装置、存储介质及移动终端
CN108595228B (zh) 2018-05-10 2021-03-12 Oppo广东移动通信有限公司 应用程序预测模型建立方法、装置、存储介质及移动终端
CN108710513B (zh) 2018-05-15 2020-07-21 Oppo广东移动通信有限公司 应用程序启动方法、装置、存储介质及终端
US11353967B2 (en) 2018-05-31 2022-06-07 Arkh Litho Holdings, LLC Interacting with a virtual environment using a pointing controller
CN108804157A (zh) 2018-06-05 2018-11-13 Oppo广东移动通信有限公司 应用程序预加载方法、装置、存储介质及终端
CN109117241B (zh) * 2018-09-27 2020-08-21 Oppo广东移动通信有限公司 一种显示方向控制方法、***及移动终端
JP7112345B2 (ja) * 2019-02-01 2022-08-03 本田技研工業株式会社 表示装置
KR20210136043A (ko) 2019-02-18 2021-11-16 에이알케이에이치 리쏘 홀딩스, 엘엘씨 포인팅 제어기를 사용하는 스마트 디바이스와의 상호작용
CN110069146B (zh) * 2019-03-06 2022-07-01 维沃移动通信有限公司 一种屏幕空间参数获取方法及终端设备
AU2020352826A1 (en) 2019-09-24 2022-05-12 Arkh, Inc. Smart ring
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
CN114115618B (zh) * 2020-08-28 2022-12-09 荣耀终端有限公司 一种应用窗口显示方法与电子设备
USD1009861S1 (en) 2020-09-25 2024-01-02 Arkh, Inc. Smart ring
CN117101117A (zh) * 2023-07-12 2023-11-24 荣耀终端有限公司 触控方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211547A (ja) * 2008-03-05 2009-09-17 Seiko Epson Corp 表示システム、表示装置及びプログラム
CN101606124A (zh) * 2007-01-25 2009-12-16 夏普株式会社 多窗口管理装置及程序、存储介质及信息处理装置
US20100064536A1 (en) * 2008-09-08 2010-03-18 Qualcomm Incorporated Multi-panel electronic device
US20100162160A1 (en) * 2008-12-22 2010-06-24 Verizon Data Services Llc Stage interaction for mobile device

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1054008A (en) 1912-01-19 1913-02-25 David W Lovett Sash-retaining means.
EP0970416B1 (en) 1997-03-28 2002-06-12 Sun Microsystems, Inc. Method and apparatus for configuring sliding panels
US6331840B1 (en) 1998-03-27 2001-12-18 Kevin W. Nielson Object-drag continuity between discontinuous touch screens of a single virtual desktop
US6182231B1 (en) 1998-03-31 2001-01-30 International Business Machines Corporation Dynamic program suspension
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US7119819B1 (en) 1999-04-06 2006-10-10 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US6915490B1 (en) 2000-09-29 2005-07-05 Apple Computer Inc. Method for dragging and dropping between multiple layered windows
US6961912B2 (en) 2001-07-18 2005-11-01 Xerox Corporation Feedback mechanism for use with visual selection methods
JP4102045B2 (ja) 2001-09-28 2008-06-18 富士フイルム株式会社 デスクトップ上の隠蔽ウインドウの表示制御方法および表示制御処理装置
JP2003280622A (ja) * 2002-03-25 2003-10-02 Matsushita Electric Ind Co Ltd 電子表示装置とその表示方法
US20090143141A1 (en) 2002-08-06 2009-06-04 Igt Intelligent Multiplayer Gaming System With Multi-Touch Display
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US9213365B2 (en) 2010-10-01 2015-12-15 Z124 Method and system for viewing stacked screen displays using gestures
US20120084693A1 (en) 2010-10-01 2012-04-05 Imerj LLC Modals in dual display communication devices
US8046701B2 (en) * 2003-08-07 2011-10-25 Fuji Xerox Co., Ltd. Peer to peer gesture based modular presentation system
US7839419B2 (en) 2003-10-23 2010-11-23 Microsoft Corporation Compositing desktop window manager
US7620915B2 (en) 2004-02-13 2009-11-17 Ludwig Lester F Electronic document editing employing multiple cursors
US7490295B2 (en) 2004-06-25 2009-02-10 Apple Inc. Layer for accessing user interface elements
US7092247B2 (en) 2004-07-16 2006-08-15 Semmie Kim Method of designing a size-adjustable multi-mode display unit for portable electronic devices
US20060082518A1 (en) 2004-10-19 2006-04-20 Pranil Ram Multiple monitor display apparatus
US7340686B2 (en) 2005-03-22 2008-03-04 Microsoft Corporation Operating system program launch menu search
US7636071B2 (en) 2005-11-30 2009-12-22 Hewlett-Packard Development Company, L.P. Providing information in a multi-screen device
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US7620905B2 (en) 2006-04-14 2009-11-17 International Business Machines Corporation System and method of windows management
US20090278806A1 (en) 2008-05-06 2009-11-12 Matias Gonzalo Duarte Extended touch-sensitive control area for electronic device
US8683362B2 (en) 2008-05-23 2014-03-25 Qualcomm Incorporated Card metaphor for activities in a computing device
US7546144B2 (en) * 2006-05-16 2009-06-09 Sony Ericsson Mobile Communications Ab Mobile wireless communication terminals, systems, methods, and computer program products for managing playback of song files
US7880728B2 (en) * 2006-06-29 2011-02-01 Microsoft Corporation Application switching via a touch screen interface
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
KR20080042354A (ko) * 2006-11-09 2008-05-15 삼성전자주식회사 이동 통신 단말기에서 대기 화면 전환 방법 및 대기 화면회전 방법과 그 이동 통신 단말기
US20080115081A1 (en) 2006-11-09 2008-05-15 Microsoft Corporation Enhanced windows management feature
US7884807B2 (en) 2007-05-15 2011-02-08 Synaptics Incorporated Proximity sensor and method for indicating a display orientation change
US9086785B2 (en) 2007-06-08 2015-07-21 Apple Inc. Visualization object receptacle
US9772751B2 (en) * 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US8458612B2 (en) 2007-07-29 2013-06-04 Hewlett-Packard Development Company, L.P. Application management framework for web applications
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
WO2009049331A2 (en) 2007-10-08 2009-04-16 Van Der Westhuizen Willem Mork User interface
TWI358028B (en) 2007-12-25 2012-02-11 Htc Corp Electronic device capable of transferring object b
US8214760B2 (en) 2008-01-16 2012-07-03 Microsoft Corporation Window minimization trigger
US20090231233A1 (en) * 2008-03-11 2009-09-17 Liberatore Raymond A Digital photo album
US9274681B2 (en) * 2008-03-26 2016-03-01 Lg Electronics Inc. Terminal and method of controlling the same
JP5365060B2 (ja) 2008-04-30 2013-12-11 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US8266550B1 (en) 2008-05-28 2012-09-11 Google Inc. Parallax panning of mobile device desktop
JP2011018085A (ja) 2008-06-19 2011-01-27 Panasonic Corp 情報処理装置
US8860632B2 (en) 2008-09-08 2014-10-14 Qualcomm Incorporated Multi-panel device with configurable interface
KR101569776B1 (ko) * 2009-01-09 2015-11-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
KR101521932B1 (ko) * 2009-01-19 2015-05-20 엘지전자 주식회사 단말기 및 그 제어 방법
JP2010176332A (ja) 2009-01-28 2010-08-12 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR20100092222A (ko) * 2009-02-12 2010-08-20 삼성전자주식회사 멀티-폴더블 모바일 디스플레이 장치
US9176747B2 (en) * 2009-02-17 2015-11-03 Sandisk Il Ltd. User-application interface
US20100238123A1 (en) 2009-03-17 2010-09-23 Ozias Orin M Input Device Gesture To Generate Full Screen Change
US20100241987A1 (en) 2009-03-19 2010-09-23 Microsoft Corporation Tear-Drop Way-Finding User Interfaces
JP5606686B2 (ja) 2009-04-14 2014-10-15 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101566353B1 (ko) 2009-06-02 2015-11-05 엘지전자 주식회사 이동 단말기 및 이동 단말기의 정보 표시 방법
US8745518B2 (en) 2009-06-30 2014-06-03 Oracle America, Inc. Touch screen input recognition and character selection
US8832574B2 (en) 2009-06-30 2014-09-09 Nokia Corporation Apparatus and associated methods
US8407613B2 (en) 2009-07-13 2013-03-26 Apple Inc. Directory management on a portable multifunction device
US8411050B2 (en) * 2009-10-14 2013-04-02 Sony Computer Entertainment America Touch interface having microphone to determine touch impact strength
KR101636570B1 (ko) * 2009-10-28 2016-07-20 엘지전자 주식회사 출력표시영역 제어 장치 및 방법
US20110145758A1 (en) * 2009-12-10 2011-06-16 International Business Machines Corporation Display navigation system, method and computer program product
US8456297B2 (en) 2010-01-06 2013-06-04 Apple Inc. Device, method, and graphical user interface for tracking movement on a map
US8799827B2 (en) 2010-02-19 2014-08-05 Microsoft Corporation Page manipulations using on and off-screen gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US8751970B2 (en) 2010-02-25 2014-06-10 Microsoft Corporation Multi-screen synchronous slide gesture
US20110209058A1 (en) 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen hold and tap gesture
US20110239142A1 (en) 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing content over multiple displays
US8726305B2 (en) 2010-04-02 2014-05-13 Yahoo! Inc. Methods and systems for application rendering and management on internet television enabled displays
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
US9058186B2 (en) 2010-04-07 2015-06-16 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
JP4865053B2 (ja) 2010-04-22 2012-02-01 株式会社東芝 情報処理装置およびドラッグ制御方法
US20140324835A1 (en) 2010-05-20 2014-10-30 The Board Of Regents Of The Nevada System Of Higher Education On Behalf Of The University Of Ne Methods And Systems For Information Search
US20110291964A1 (en) 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
US20110298690A1 (en) 2010-06-08 2011-12-08 Reilly Deirdre Ann Multiple, Independent, Pull-out Screens Housed in a Main Display
US8560027B2 (en) 2010-06-30 2013-10-15 Skeyedex Inc. Multi-screen personal communication device
US8799815B2 (en) 2010-07-30 2014-08-05 Apple Inc. Device, method, and graphical user interface for activating an item in a folder
US9046992B2 (en) 2010-10-01 2015-06-02 Z124 Gesture controls for multi-screen user interface
US20120098863A1 (en) 2010-10-21 2012-04-26 Sony Corporation Method and apparatus for creating a flexible user interface
US9501217B2 (en) 2011-01-14 2016-11-22 Apple Inc. Target region for removing icons from dock
US20120185805A1 (en) 2011-01-14 2012-07-19 Apple Inc. Presenting Visual Indicators of Hidden Objects
US8694490B2 (en) 2011-01-28 2014-04-08 Bitvore Corporation Method and apparatus for collection, display and analysis of disparate data
US8791911B2 (en) 2011-02-09 2014-07-29 Robotzone, Llc Multichannel controller
US8635549B2 (en) 2011-02-10 2014-01-21 Microsoft Corporation Directly assigning desktop backgrounds
KR101802522B1 (ko) 2011-02-10 2017-11-29 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면변경방법
US9390617B2 (en) 2011-06-10 2016-07-12 Robotzone, Llc Camera motion control system with variable autonomy
KR101504137B1 (ko) 2011-06-16 2015-03-24 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 멀티 코어 환경에서의 프로세스 관리
US8810533B2 (en) 2011-07-20 2014-08-19 Z124 Systems and methods for receiving gesture inputs spanning multiple input devices
US9182935B2 (en) 2011-09-27 2015-11-10 Z124 Secondary single screen mode activation through menu option
KR101879856B1 (ko) 2011-12-19 2018-07-18 주식회사 케이티 대기화면 설정 장치 및 그 방법
US20140104137A1 (en) 2012-10-16 2014-04-17 Google Inc. Systems and methods for indirectly associating logical and physical display content
US9658740B2 (en) 2013-03-15 2017-05-23 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606124A (zh) * 2007-01-25 2009-12-16 夏普株式会社 多窗口管理装置及程序、存储介质及信息处理装置
JP2009211547A (ja) * 2008-03-05 2009-09-17 Seiko Epson Corp 表示システム、表示装置及びプログラム
US20100064536A1 (en) * 2008-09-08 2010-03-18 Qualcomm Incorporated Multi-panel electronic device
US20100162160A1 (en) * 2008-12-22 2010-06-24 Verizon Data Services Llc Stage interaction for mobile device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033250A (zh) * 2015-03-03 2016-10-19 纬创资通股份有限公司 物件感测装置与方法
CN106033250B (zh) * 2015-03-03 2019-08-02 纬创资通股份有限公司 物件感测装置与方法
CN108323197A (zh) * 2016-12-27 2018-07-24 华为技术有限公司 一种多屏显示的方法和设备
CN108323197B (zh) * 2016-12-27 2021-01-15 华为技术有限公司 一种多屏显示的方法和设备
CN107291491A (zh) * 2017-05-17 2017-10-24 努比亚技术有限公司 一种分屏启动方法、终端及计算机可读存储介质
CN107203308A (zh) * 2017-05-19 2017-09-26 北京锤子数码科技有限公司 一种显示方法及终端
CN107203308B (zh) * 2017-05-19 2020-07-03 北京字节跳动网络技术有限公司 一种显示方法及终端
CN110290235A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 电子设备
US11516325B2 (en) 2018-03-19 2022-11-29 Huawei Technologies Co., Ltd. Electronic device
CN112805669A (zh) * 2018-09-21 2021-05-14 基斯特勒控股公司 测量物理测量参量的方法和执行该方法的测量***
CN114416231A (zh) * 2021-12-21 2022-04-29 南京市德赛西威汽车电子有限公司 车载娱乐***虚拟分屏显示方法及虚拟分屏合屏切换方法
CN114296607A (zh) * 2021-12-27 2022-04-08 广州小鹏汽车科技有限公司 显示控制方法及其装置、车辆和存储介质

Also Published As

Publication number Publication date
US20120105363A1 (en) 2012-05-03
EP2622439A2 (en) 2013-08-07
WO2012044804A2 (en) 2012-04-05
US10540087B2 (en) 2020-01-21
US11010047B2 (en) 2021-05-18
US20200233575A1 (en) 2020-07-23
JP2013543621A (ja) 2013-12-05
JP6073792B2 (ja) 2017-02-01
US9213365B2 (en) 2015-12-15
EP2622439A4 (en) 2015-07-01
US20160170633A1 (en) 2016-06-16
EP2622439B1 (en) 2019-03-06
WO2012044804A3 (en) 2012-06-07

Similar Documents

Publication Publication Date Title
CN103329061A (zh) 使用姿势查看堆栈化的屏幕显示的方法和***
CN103329060A (zh) 用于操纵一个或多个设备显示区上的呈现的姿势捕获
US11537259B2 (en) Displayed image transition indicator
CN103262010B (zh) 通过利用手势来移动逻辑显示堆栈的桌面显露
CN103116460A (zh) 显示图像转换指示符
CN103282955B (zh) 当设备打开时显示桌面
CN103282955A (zh) 当设备打开时显示桌面

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130925

RJ01 Rejection of invention patent application after publication