JP6073793B2 - Desktop display simultaneously with device release - Google Patents
Desktop display simultaneously with device release Download PDFInfo
- Publication number
- JP6073793B2 JP6073793B2 JP2013531852A JP2013531852A JP6073793B2 JP 6073793 B2 JP6073793 B2 JP 6073793B2 JP 2013531852 A JP2013531852 A JP 2013531852A JP 2013531852 A JP2013531852 A JP 2013531852A JP 6073793 B2 JP6073793 B2 JP 6073793B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- window
- screen
- stack
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002131 composite material Substances 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 38
- 230000007704 transition Effects 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 14
- 238000007726 management method Methods 0.000 description 69
- 230000033001 locomotion Effects 0.000 description 20
- 239000000872 buffer Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000003032 molecular docking Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 230000009977 dual effect Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000005355 Hall effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 239000011449 brick Substances 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000009133 cooperative interaction Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
- G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Description
本開示は、デバイス開放と同時のデスクトップ表示に関する。 The present disclosure relates to desktop display simultaneously with device release.
携帯電話、タブレット及びＥリーダ（Ｅ−Ｒｅａｄｅｒ）などのかなりの数の携帯用コンピューティングデバイスは、タッチスクリーンディスプレイを利用して、単にユーザに表示情報を配信するばかりでなく、ユーザインタフェースコマンドからの入力の受信も行う。タッチスクリーンディスプレイは、携帯用デバイスのコンフィギュアビリティを増加し、多種多様なユーザインタフェースオプションを提供することができるが、通常、この柔軟性は高くつく。コンテンツを提供し、ユーザコマンドを受信するタッチスクリーンの二重用途は、ユーザにとっては柔軟性があるが、ディスプレイが難読化し、視覚的クラッタが発生し、それはユーザフラストレーション及び生産性損失の原因となる恐れがある。 A significant number of portable computing devices such as mobile phones, tablets and E-Readers utilize touch screen displays to not only deliver display information to the user, but also from user interface commands. It also receives input. While touch screen displays can increase the configurability of portable devices and provide a wide variety of user interface options, this flexibility is usually expensive. The dual use of touch screens to provide content and receive user commands is flexible for the user, but the display is obfuscated and visual clutter occurs, which causes user frustration and lost productivity. There is a fear.
携帯用コンピューティングデバイスの小さなフォームファクタは、表示されたグラフィックスと入力受信用に設けられたエリアとの間の慎重なバランス維持を必要とする。一方では、小型のディスプレイは表示スペースを制約し、それにより、動作または結果の解釈の困難が増す恐れがある。他方では、仮想キーパッドまたは他のユーザインタフェーススキームは、実行アプリケーション上で重ね合わせるか、または、実行アプリケーションに隣接して配置され、その結果、アプリケーションをディスプレイのさらに小さな部分に詰め込む必要がある。 The small form factor of portable computing devices requires a careful balance between the displayed graphics and the area provided for input reception. On the other hand, a small display constrains the display space, which can increase the difficulty of operation or interpretation of results. On the other hand, a virtual keypad or other user interface scheme must be superimposed on or placed adjacent to the running application so that the application is packed into a smaller portion of the display.
このバランス維持行為は、単一ディスプレイのタッチスクリーンデバイスでは特に難しい。単一ディスプレイのタッチスクリーンデバイスは、それらの限られた画面スペースにより不具合が生じる。単一ディスプレイを通じてユーザがデバイスに情報を入力すると、特に、ディスプレイとインタフェースとの間の複雑な相互作用が必要とされる場合は、ディスプレイ内の情報を解釈する能力が大幅に妨げられる恐れがある。 This balancing act is particularly difficult with single display touch screen devices. Single display touch screen devices suffer from their limited screen space. When a user enters information into the device through a single display, the ability to interpret the information in the display can be severely hindered, especially when complex interactions between the display and the interface are required. .
従来の単一ディスプレイの携帯用コンピューティングデバイスと比較して、パワーの増強及び／または多様性の向上を実現するデュアルマルチディスプレイの携帯用コンピューティングデバイスが必要である。これらの及び他の必要性は、本開示のさまざまな態様、実施形態及び／または構成によって対応する。また、本開示は、例示的な実施形態について提示しているが、本開示の個々の態様を別々に請求できることを理解されたい。 There is a need for a dual multi-display portable computing device that provides increased power and / or increased versatility compared to conventional single-display portable computing devices. These and other needs are addressed by various aspects, embodiments and / or configurations of the present disclosure. Also, while this disclosure presents exemplary embodiments, it should be understood that individual aspects of the disclosure can be claimed separately.
一実施形態では、コンピュータ可読媒体は、プロセッサに複数画面デバイス用のウィンドウスタックを管理させるための命令を含む。コンピュータ実行可能命令は、複数画面デバイスにおける方向変化を受信するという命令であって、方向変化により、デバイスを閉状態から開状態へ移行し、閉状態では、第１のディスプレイがアクティブであり、開状態では、第１のディスプレイと第２のディスプレイの両方ともアクティブである、命令と、第２のディスプレイにデスクトップを表示すべきかどうかを決定するという命令と、第２のディスプレイにデスクトップを表示すべきであると決定した後、第２のディスプレイにデスクトップを表示し、第１のディスプレイに第１のウィンドウを表示するという命令とを含む。 In one embodiment, the computer-readable medium includes instructions for causing a processor to manage a window stack for a multi-screen device. The computer-executable instruction is an instruction to receive a direction change in a multi-screen device, and the direction change causes the device to transition from a closed state to an open state, in which the first display is active and open. In the state, both the first display and the second display are active, an instruction to determine whether the desktop should be displayed on the second display, and the desktop should be displayed on the second display And determining to display the desktop on the second display and display the first window on the first display.
別の実施形態において、デバイスは、少なくとも２つのディスプレイと、メモリと、メモリ及び少なくとも２つのディスプレイの各々と連通するプロセッサとを含む。デバイスは、複合ディスプレイを提供するよう動作可能であり、複合ディスプレイは、閉状態の１つのタッチセンサ式ディスプレイを含み、複数画面デバイスにおける方向変化を受信し、方向変化により、複数画面デバイスを閉状態から開状態へ移行し、開状態では、複合ディスプレイは、第１のタッチセンサ式ディスプレイと関連付けられた第１の部分と、第２のタッチセンサ式ディスプレイと関連付けられた第２の部分とを備え、デスクトップを拡大して複合ディスプレイを覆い、第１のウィンドウを複合ディスプレイの第１の部分に表示し、デスクトップを複合ディスプレイの第２の部分に表示することを決定し、第２のタッチセンサ式ディスプレイ上にデスクトップを表示し、第１のタッチセンサ式ディスプレイ上に第１のウィンドウを表示するよう動作可能である。 In another embodiment, the device includes at least two displays, a memory, and a processor in communication with each of the memory and the at least two displays. The device is operable to provide a composite display, the composite display including one touch-sensitive display in a closed state, receiving a direction change in the multi-screen device, and the direction change causing the multi-screen device to be closed Transitioning from an open state to an open state, wherein the composite display comprises a first portion associated with the first touch-sensitive display and a second portion associated with the second touch-sensitive display. Deciding to enlarge the desktop to cover the composite display, to display the first window on the first part of the composite display, and to display the desktop on the second part of the composite display; A desktop is displayed on the display, and a first window is displayed on the first touch-sensitive display. It is operable to display.
更に別の実施形態において、複数画面デバイス用のディスプレイを提示するための方法は、複数画面デバイスが閉状態にある場合に、第１のタッチセンサ式ディスプレイの少なくとも一部に広がる複合ディスプレイを提供すること、デバイスが閉状態にある場合に、ウィンドウスタックの最上部に第１のウィンドウを表示すること、複数画面デバイスにおける方向変化を受信することであって、方向変化は、前記閉状態から開状態への移行である、受信すること、複合ディスプレイを変化させて、複数画面デバイスの第１のタッチセンサ式ディスプレイ及び第２のタッチセンサ式ディスプレイの少なくとも一部に広げることであって、複合ディスプレイの第１の部分は、第１のタッチセンサ式ディスプレイと関連付けられ、複合ディスプレイの第２の部分は、第２のタッチセンサ式ディスプレイと関連付けられている、複合ディスプレイを変化させること、デスクトップが複合ディスプレイと関連付けられたことを決定すること、デスクトップを修正して複合ディスプレイ全体に拡大すること、複合ディスプレイの第１の部分において、第１のウィンドウがウィンドウスタックの最上部にあることを決定すること、複合ディスプレイの第２の部分において、デスクトップがウィンドウスタックの最上部にあることを決定すること、第１のタッチセンサ式ディスプレイ上に第１のウィンドウを表示すること、第２のタッチセンサ式ディスプレイ上に前記デスクトップを表示することを含む。 In yet another embodiment, a method for presenting a display for a multi-screen device provides a composite display that spans at least a portion of the first touch-sensitive display when the multi-screen device is in a closed state. When the device is in the closed state, displaying the first window at the top of the window stack, receiving the direction change in the multi-screen device, the direction change from the closed state to the open state A transition to a receiving, changing the composite display to span at least a portion of the first touch-sensitive display and the second touch-sensitive display of the multi-screen device, The first part is associated with the first touch-sensitive display and the composite display The second part is to change the composite display associated with the second touch-sensitive display, determine that the desktop is associated with the composite display, modify the desktop to expand to the entire composite display Determining that, in the first part of the composite display, the first window is at the top of the window stack, and in the second part of the composite display, that the desktop is at the top of the window stack. Determining, displaying a first window on a first touch-sensitive display, and displaying the desktop on a second touch-sensitive display.
「少なくとも１つ」、「１つまたは複数」、及び「及び／または」との記載は、使用中、接続語かつ離接語である非限定的な（ｏｐｅｎ−ｅｎｄｅｄ）表現である。例えば、「Ａ、Ｂ及びＣの少なくとも１つ」、「Ａ、ＢまたはＣの少なくとも１つ」、「Ａ、Ｂ及びＣのうちの１つまたは複数」、「Ａ、ＢまたはＣのうちの１つまたは複数」及び「Ａ、Ｂ及び／またはＣ」の表現の各々は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢともに、ＡとＣともに、ＢとＣともに、または、ＡとＢとＣともに、を意味する。 The descriptions “at least one”, “one or more”, and “and / or” are open-ended expressions that are in use and connected and disjunctive. For example, “at least one of A, B and C”, “at least one of A, B or C”, “one or more of A, B and C”, “of A, B or C” Each of the expressions “one or more” and “A, B and / or C” is A only, B only, C only, A and B, A and C, B and C, or A and B. And C mean both.
「１つの」、「１つまたは複数」及び「少なくとも１つ」との記載は、本明細書では交換可能に使用することができる。用語「備える」、「含む」及び「有する」もまた交換可能に使用できることに留意されたい。 References to “one”, “one or more” and “at least one” can be used interchangeably herein. Note that the terms “comprising”, “including” and “having” can also be used interchangeably.
用語「自動」及びその変形語は、本明細書で使用する場合、プロセスまたはオペレーションを実行する際に、実質的な人的入力なしで行われる任意のプロセスまたはオペレーションを指す。しかし、プロセスまたはオペレーションの実行前に入力を受信すれば、プロセスまたはオペレーションの実行において実質的または非実質的な人的入力を使用しても、プロセスまたはオペレーションは自動であり得る。人的入力は、そのような入力がプロセスまたはオペレーションの実行方法に影響を及ぼす場合は、実質的と見なされる。プロセスまたはオペレーションの実行を受け入れる人的入力は、「実質的」とは見なされない。 The term “automatic” and variations thereof, as used herein, refer to any process or operation that takes place without substantial human input when performing the process or operation. However, if input is received prior to execution of the process or operation, the process or operation may be automatic, even if substantial or non-substantial human input is used in performing the process or operation. A human input is considered substantial if such input affects how the process or operation is performed. A human input that accepts execution of a process or operation is not considered “substantial”.
用語「コンピュータ可読媒体」は、本明細書で使用する場合、実行のためのプロセッサへの命令の提供に参加する任意の有形の記憶及び／または伝送媒体を指す。そのような媒体は、これらに限定されないが、不揮発性媒体、揮発性媒体及び伝送媒体を含む多くの形式を取り得る。不揮発性媒体は、例えば、ＮＶＲＡＭまたは磁気もしくは光ディスクを含む。揮発性媒体は、メインメモリなどのダイナミックメモリを含む。コンピュータ可読媒体の一般的な形式は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープもしくは任意の他の磁気媒体、光磁気記録媒体、ＣＤ−ＲＯＭ、任意の他の光媒体、パンチカード、紙テープ、任意の他の孔パターンの物理的な媒体、ＲＡＭ、ＰＲＯＭ及びＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、メモリカードのようなソリッドステート媒体、任意の他のメモリチップもしくはカートリッジ、以下で説明する搬送波、または、コンピュータが読み取ることができる任意の他の媒体を含む。Ｅメールに添付するデジタルファイルまたは他の自己内蔵情報アーカイブもしくはアーカイブセットは、有形の記憶媒体と同等の配信媒体と考えられる。コンピュータ可読媒体がデータベースとして構成される場合、データベースは、関係型、階層型、オブジェクト指向型及び／または同様のものなどの任意のタイプのデータベースであり得ることを理解されたい。それに応じて、本開示は、本開示のソフトウェア実装形態が格納される有形の記憶媒体または配信媒体及び先行技術分野において承認されている均等物及び後続媒体を含むと考えられる。 The term “computer-readable medium” as used herein refers to any tangible storage and / or transmission medium that participates in providing instructions to a processor for execution. Such a medium may take many forms, including but not limited to, non-volatile media, volatile media, and transmission media. Non-volatile media includes, for example, NVRAM or magnetic or optical disks. Volatile media includes dynamic memory, such as main memory. Common forms of computer readable media include, for example, floppy disks, flexible disks, hard disks, magnetic tapes or any other magnetic media, magneto-optical recording media, CD-ROM, any other optical media, Punch cards, paper tape, any other hole pattern physical media, RAM, PROM and EPROM, FLASH-EPROM, solid state media such as memory cards, any other memory chip or cartridge, carrier wave described below Or any other medium that can be read by a computer. A digital file or other self-contained information archive or archive set attached to an email is considered a distribution medium equivalent to a tangible storage medium. It should be understood that if the computer readable medium is configured as a database, the database can be any type of database, such as relational, hierarchical, object oriented and / or the like. Accordingly, this disclosure is considered to include tangible storage or distribution media on which the software implementations of the present disclosure are stored and equivalents and successor media approved in the prior art.
用語「デスクトップ」は、システムを表現するために使用される例え（ｍｅｔａｐｈｏｒ）を指す。デスクトップは、一般に、アイコン、ウィジェット、フォルダなどと呼ばれる絵柄を含む「面」と考えられ、通常、その上でアプリケーション、ウィンドウ、キャビネット、ファイル、フォルダ、ドキュメント、他のグラフィカルなアイテムを起動または表示することができる。アイコンは、一般に、ユーザインタフェース相互作用を通じてタスクに着手するように選択可能であり、ユーザは、アプリケーションを実行することも、他のオペレーションを行うこともできる。 The term “desktop” refers to a metaphor used to represent a system. A desktop is generally thought of as a “face” that contains a picture called an icon, widget, folder, etc., and usually launches or displays applications, windows, cabinets, files, folders, documents, and other graphical items on it be able to. The icons are generally selectable to initiate a task through user interface interactions, and the user can run the application or perform other operations.
用語「画面」、「タッチスクリーン（ｔｏｕｃｈ ｓｃｒｅｅｎまたはｔｏｕｃｈｓｃｒｅｅｎ）」は、ユーザインタフェースをレンダリングする及び／またはユーザ入力を受信する能力をデバイスに提供する１つまたは複数のハードウェアコンポーネントを含む物理的構造を指す。画面は、ジェスチャ捕捉領域、タッチセンサ式ディスプレイ及び／または構成可能なエリアの任意の組合せを包含し得る。デバイスは、ハードウェアに組み込まれた１つまたは複数の物理的画面を有し得る。しかし、画面は、デバイスから着脱可能な外部の周辺デバイスも含み得る。実施形態では、複数の外部のデバイスをデバイスに取り付けることができる。したがって、実施形態では、画面は、ユーザが画面上のエリアに触れることでデバイスと情報のやり取りを行うことを可能にし、ディスプレイを通じてユーザに情報を提供する。タッチスクリーンは、電気的パラメータ（例えば、抵抗またはキャパシタンス）の変化、音波の変動、赤外線近接検出、変光検出及び同様のものなどの多くの異なる方法でユーザの接触を感知することができる。抵抗性タッチスクリーンでは、例えば、通常、画面内の別々の導電性及び抵抗性金属層が電流を通過させる。ユーザが画面に触れると、触れた位置で２つの層が接触し、それにより、電界の変化が見られ、触れた位置の座標が計算される。容量性タッチスクリーンでは、容量性層が電荷を蓄積し、電荷はユーザがタッチスクリーンに触れると同時に放電され、それにより、容量性層の電荷が低減する。その低減が測定され、触れた位置の座標が決定される。表面音波タッチスクリーンでは、画面を通じて音波が伝播され、音波はユーザ接触によって妨げられる。受信用トランスデューサは、ユーザ接触インスタンスを検出し、触れた位置の座標を決定する。 The terms “screen”, “touchscreen” or “touchscreen” refer to a physical structure that includes one or more hardware components that provide a device with the ability to render a user interface and / or receive user input. Point to. The screen may include any combination of gesture capture area, touch-sensitive display and / or configurable area. A device may have one or more physical screens embedded in the hardware. However, the screen may also include external peripheral devices that are removable from the device. In embodiments, multiple external devices can be attached to the device. Thus, in embodiments, the screen allows the user to interact with the device by touching an area on the screen and provides information to the user through the display. Touch screens can sense a user's touch in many different ways, such as changes in electrical parameters (eg, resistance or capacitance), sound wave fluctuations, infrared proximity detection, variable light detection and the like. In a resistive touch screen, for example, separate conductive and resistive metal layers within the screen typically pass current. When the user touches the screen, the two layers come into contact with each other at the touched position, thereby changing the electric field and calculating the coordinates of the touched position. In a capacitive touch screen, the capacitive layer accumulates charge, and the charge is discharged as soon as the user touches the touch screen, thereby reducing the charge on the capacitive layer. The reduction is measured and the coordinates of the touched position are determined. In a surface acoustic wave touch screen, sound waves are propagated through the screen and are blocked by user contact. The receiving transducer detects the user contact instance and determines the coordinates of the touched location.
用語「ディスプレイ」は、コンピュータの出力をユーザに表示するために使用される１つまたは複数の画面の一部分を指す。ディスプレイは、単一画面ディスプレイまたは複合ディスプレイと呼ばれる複数画面ディスプレイであり得る。複合ディスプレイは、１つまたは複数の画面のタッチセンサ式ディスプレイを包含し得る。単一の物理的画面は、別々の論理的ディスプレイとして管理される複数のディスプレイを含み得る。したがって、同じ物理的画面の一部ではあるが別々のディスプレイ上に異なるコンテンツを表示することができる。 The term “display” refers to a portion of one or more screens used to display the output of a computer to a user. The display may be a multi-screen display called a single screen display or a composite display. The composite display may include one or more screen touch-sensitive displays. A single physical screen may include multiple displays that are managed as separate logical displays. Thus, different content can be displayed on different displays that are part of the same physical screen.
用語「表示画像」は、ディスプレイ上に生成された画像を指す。典型的な表示画像は、ウィンドウまたはデスクトップである。表示画像は、ディスプレイの全体または一部を占有することができる。 The term “display image” refers to an image generated on a display. A typical display image is a window or desktop. The display image can occupy all or part of the display.
用語「ディスプレイ方向」は、閲覧のためにユーザが長方形のディスプレイを方向付ける方法を指す。ディスプレイ方向の２つの最も一般的なタイプは、縦向き（ｐｏｒｔｒａｉｔ）と横向き（ｌａｎｄｓｃａｐｅ）である。横向きモードでは、ディスプレイは、ディスプレイの幅がディスプレイの高さよりも大きくなるように方向付けられる（幅４単位及び高さ３単位の４：３の割合または幅１６単位及び高さ９単位の１６：９の割合など）。別の言い方をすれば、横向きモードでは、ディスプレイの長い方の寸法は、実質的に水平の方向に方向付けられ、ディスプレイの短い方の寸法は、実質的に垂直の方向に方向付けられる。対照的に、縦向きモードでは、ディスプレイの幅がディスプレイの高さよりも小さくなるように方向付けられる。別の言い方をすれば、縦向きモードでは、ディスプレイの短い方の寸法は、実質的に水平の方向に方向付けられ、ディスプレイの長い方の寸法は、実質的に垂直の方向に方向付けられる。 The term “display orientation” refers to the way a user orients a rectangular display for viewing. The two most common types of display directions are portrait and landscape. In landscape mode, the display is oriented so that the width of the display is greater than the height of the display (a ratio of 4: 3 for width 4 units and height 3 units or 16 units for width 16 units and height 9 units: 16: 9). In other words, in landscape mode, the longer dimension of the display is oriented in a substantially horizontal direction and the shorter dimension of the display is oriented in a substantially vertical direction. In contrast, in portrait mode, the display width is oriented to be less than the display height. In other words, in portrait mode, the shorter dimension of the display is oriented in a substantially horizontal direction and the longer dimension of the display is oriented in a substantially vertical direction.
用語「複合ディスプレイ」は、１つまたは複数の画面を包含することができるディスプレイを定義する論理的構造を指す。複数画面ディスプレイは、すべての画面を包含する複合ディスプレイに関連付けられ得る。複合ディスプレイは、デバイスのさまざまな向きに基づいて異なる表示特性を有し得る。 The term “composite display” refers to a logical structure that defines a display that can include one or more screens. A multi-screen display can be associated with a composite display that encompasses all screens. A composite display may have different display characteristics based on different orientations of the device.
用語「ジェスチャ」は、意図する考え、動作、意味、結果及び／または成果を表現するユーザ動作を指す。ユーザ動作は、デバイスの操作（例えば、デバイスの開閉、デバイスの向きの変更、トラックボールまたはホイールの移動など）、デバイスに対する身体部分の動き、デバイスに対する道具またはツールの動き、音声入力などを含み得る。ジェスチャは、デバイス上（画面上など）に、またはデバイスを用いて行われ、デバイスと相互作用することができる。 The term “gesture” refers to a user action that represents an intended idea, action, meaning, result and / or outcome. User actions may include operation of the device (eg, opening and closing the device, changing the orientation of the device, moving a trackball or wheel, etc.), movement of a body part relative to the device, movement of a tool or tool relative to the device, voice input, etc. . Gestures can be made on the device (such as on the screen) or with the device and interact with the device.
用語「モジュール」は、本明細書で使用する場合、任意の公知のまたは後に開発されたハードウェア、ソフトウェア、ファームウェア、人工知能、ファジィ理論、または、その要素に関連付けられた機能を実行することができるハードウェアとソフトウェアとの組合せを指す。 The term “module” as used herein may perform any known or later developed hardware, software, firmware, artificial intelligence, fuzzy theory, or function associated with that element. A combination of hardware and software that can be used.
用語「ジェスチャ捕捉」は、ユーザジェスチャのインスタンス及び／またはタイプの感知または別の方法での検出を指す。ジェスチャ捕捉は、画面の１つまたは複数のエリアで起こり得る。ジェスチャ領域は、タッチセンサ式ディスプレイと呼ばれる場合があるディスプレイ上またはジェスチャ捕捉エリアと呼ばれる場合があるディスプレイ外であり得る。 The term “gesture capture” refers to sensing or otherwise detecting an instance and / or type of user gesture. Gesture capture can occur in one or more areas of the screen. The gesture area can be on the display, sometimes referred to as a touch-sensitive display, or outside the display, sometimes referred to as a gesture capture area.
「複数画面アプリケーション」は、複数のモードが可能なアプリケーションを指す。複数画面アプリケーションモードは、これらに限定されないが、単一画面モード（アプリケーションは単一画面に表示される）または複合ディスプレイモード（アプリケーションは２つ以上の画面に表示される）を含み得る。複数画面アプリケーションは、モードに対して最適化された異なるレイアウトを有し得る。したがって、複数画面アプリケーションは、単一画面に対してまたは２つ以上の画面を包含し得る複合ディスプレイに対して異なるレイアウトを有し得る。異なるレイアウトは、複数画面アプリケーションのユーザインタフェースをレンダリングすることができる異なる画面／ディスプレイ寸法及び／または構成を有し得る。異なるレイアウトにより、アプリケーションは、ディスプレイのタイプ、例えば、単一画面または複数画面に対して、アプリケーションのユーザインタフェースを最適化することができる。単一画面モードでは、複数画面アプリケーションは、情報の１つのウィンドウ枠を提示することができる。複合ディスプレイモードでは、複数画面アプリケーションは、表示コンテンツに対してより多くのスペースがあるため、情報の複数のウィンドウ枠を提示することも、より大きくより豊かなプレゼンテーションを提供することもできる。複数画面アプリケーションは、システムがどのディスプレイ（単一または複合）を複数画面アプリケーションに割り当てるかに応じて、デバイス及びモードの変化に動的に適合させるように設計することができる。代替の実施形態では、ユーザは、ジェスチャを使用して、異なるモードへのアプリケーションの移行を要求することができ、要求されたモードに対してディスプレイが利用可能な場合は、デバイスは、アプリケーションをそのディスプレイ及び移行モードに移動させることができる。 A “multi-screen application” refers to an application capable of a plurality of modes. Multiple screen application modes may include, but are not limited to, a single screen mode (applications are displayed on a single screen) or a composite display mode (applications are displayed on more than one screen). Multiple screen applications may have different layouts optimized for the mode. Thus, a multi-screen application may have a different layout for a single screen or for a composite display that may include two or more screens. Different layouts may have different screen / display dimensions and / or configurations that can render the user interface of a multi-screen application. Different layouts allow the application to optimize the user interface of the application for the type of display, eg, single screen or multiple screens. In single screen mode, a multi-screen application can present one window frame of information. In the composite display mode, the multi-screen application has more space for display content, so it can present multiple window frames of information or provide a larger and richer presentation. Multi-screen applications can be designed to dynamically adapt to device and mode changes depending on which display (single or composite) the system assigns to the multi-screen application. In an alternative embodiment, the user can use a gesture to request a transition of the application to a different mode, and if a display is available for the requested mode, the device You can move to display and transition modes.
「単一画面アプリケーション」は、単一の画面モードが可能なアプリケーションを指す。したがって、単一画面アプリケーションは、１つのウィンドウしか生成することができず、異なるモードも、異なるディスプレイ寸法も可能ではない可能性がある。単一画面アプリケーションは、複数画面アプリケーションで論じられたいくつかのモードでの実行は不可能である。 “Single screen application” refers to an application capable of a single screen mode. Thus, a single screen application can only create one window, and different modes and different display dimensions may not be possible. Single screen applications are not capable of running in some of the modes discussed in multiple screen applications.
用語「ウィンドウ」は、ディスプレイの少なくとも一部に表示された典型的に長方形の画像を指し、画面の残りの部分とは異なるコンテンツを含むまたは提供する。ウィンドウは、デスクトップを覆い隠す場合がある。 The term “window” refers to a typically rectangular image displayed on at least a portion of the display and includes or provides content that is different from the rest of the screen. Windows may obscure the desktop.
用語「決定する、判断する」、「計算する」及び「演算する」ならびにその変形語は、本明細書で使用する場合、交換可能に使用され、任意のタイプの方法論、プロセス、数学演算または技法を含む。 The terms “determine, judge”, “calculate” and “operate” and variations thereof, as used herein, are used interchangeably and may be any type of methodology, process, mathematical operation or technique. including.
用語「手段」は、本明細書で使用する場合、米国特許法第１１２条第６段落に従って、その可能な限り最も広い解釈が与えられるものとすることを理解されたい。それに応じて、用語「手段」を組み込む請求項は、本明細書に記載されるすべての構造、材料または行為及びその均等物のすべてを対象とするものとする。さらに、構造、材料または行為及びその均等物は、発明の概要、図面の簡単な説明、発明を実施するための形態、要約書及び特許請求の範囲自体で説明されたすべてのものを含むものとする。 It should be understood that the term “means” as used herein is to be given its broadest possible interpretation in accordance with 35 USC 112, sixth paragraph. Accordingly, the claims incorporating the term “means” are intended to cover all structures, materials or acts described herein, and all equivalents thereof. Furthermore, structures, materials or acts and equivalents thereof are intended to include all that is described in the summary of the invention, a brief description of the drawings, a mode for carrying out the invention, an abstract and the claims themselves.
前述の説明は、本開示の簡略化した概要であり、本開示のいくつかの態様の理解を与える。この概要は、本開示の概要ならびにそのさまざまな態様、実施形態及び／または構成の広範なものでも包括的なものでもない。この概要は、本開示の主要な、または重要な要素を特定することも、本開示の範囲を詳しく説明することも意図しないが、以下で提示するより詳細な説明の導入部として、本開示の選択された概念を簡素化した形式で提示することを意図する。理解されるように、本開示の他の態様、実施形態及び／または構成は、単独でまたは組み合わせて、上記で記載されるかまたは以下で詳細に説明される特徴の１つまたは複数を利用することができる。 The foregoing description is a simplified summary of the disclosure and provides an understanding of some aspects of the disclosure. This summary is not an extensive or comprehensive overview of the disclosure and its various aspects, embodiments and / or configurations. This summary is not intended to identify key or critical elements of the disclosure or to delineate the scope of the disclosure, but as an introduction to the more detailed description presented below. It is intended to present selected concepts in a simplified form. As will be appreciated, other aspects, embodiments and / or configurations of the present disclosure, alone or in combination, utilize one or more of the features described above or described in detail below. be able to.
付属の図面では、同様のコンポーネント及び／または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプのさまざまなコンポーネントは、同様のコンポーネントの中で区別する文字で参照ラベルをたどることによって、区別することができる。第１の参照ラベルのみが本明細書で使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様のコンポーネントのいずれか１つに適用可能である。 In the appended drawings, similar components and / or features may have the same reference label. Furthermore, various components of the same type can be distinguished by following the reference label with characters that distinguish among similar components. Where only the first reference label is used herein, the description is applicable to any one of the similar components having the same first reference label regardless of the second reference label.
本明細書で提示するものは、デバイスの実施形態である。デバイスは、携帯電話または他のスマートデバイスなど通信デバイスであり得る。デバイスは、いくつかのユニークなディスプレイ構成を提供するように方向付けられた２つの画面を含み得る。さらに、デバイスは、ユニークな方法でユーザ入力を受信することができる。デバイスの総合的な設計及び機能性は、デバイスをより有用に及びより効果的にするユーザ経験を高めることを実現する。
機械的な特徴：
図１Ａ〜１Ｊは、本開示の実施形態によるデバイス１００を示す。以下でさらに詳細に説明されるように、デバイス１００は、多くの異なる方法で配置することができ、そのそれぞれが異なる機能性をユーザに提供する。デバイス１００は、その両方がタッチセンサ式の一次画面１０４と二次画面１０８とを含む複数画面デバイスである。実施形態では、画面１０４及び１０８の前面全体は、タッチセンサ式であり得、ユーザが画面１０４及び１０８の前面に触れることによって入力を受信することができる。一次画面１０４は、タッチセンサ式ディスプレイ１１０を含み、タッチセンサ式ディスプレイ１１０は、タッチセンサ式であることに加えて、ユーザに情報を表示することも行う。二次画面１０８は、タッチセンサ式ディスプレイ１１４を含み、タッチセンサ式ディスプレイ１１４もまたユーザに情報を表示する。他の実施形態では、画面１０４及び１０８は、２つ以上のディスプレイエリアを含み得る。
Presented herein are device embodiments. The device may be a communication device such as a mobile phone or other smart device. The device may include two screens that are oriented to provide several unique display configurations. Furthermore, the device can receive user input in a unique way. The overall design and functionality of the device can enhance the user experience that makes the device more useful and effective.
Mechanical features:
1A-1J illustrate a device 100 according to an embodiment of the present disclosure. As described in further detail below, the device 100 can be arranged in many different ways, each of which provides different functionality to the user. Device 100 is a multi-screen device that both includes a touch-sensitive primary screen 104 and a secondary screen 108. In an embodiment, the entire front surface of screens 104 and 108 may be touch-sensitive, and a user can receive input by touching the front surfaces of screens 104 and 108. The primary screen 104 includes a touch-sensitive display 110. The touch-sensitive display 110 is not only touch-sensitive but also displays information to the user. The secondary screen 108 includes a touch-sensitive display 114 that also displays information to the user. In other embodiments, screens 104 and 108 may include more than one display area.
また、一次画面１０４は、ユーザが構成可能なエリア１１２の一部に触れる際の特定の入力用に構成済みの構成可能なエリア１１２も含む。二次画面１０８もまた、特定の入力用に構成済みの構成可能なエリア１１６を含む。エリア１１２ａ及び１１６ａは、ユーザが以前に表示された情報を閲覧することを望むことを示す「バック」入力を受信するよう構成済みである。エリア１１２ｂ及び１１６ｂは、ユーザがメニューからオプションを閲覧することを望むことを示す「メニュー」入力を受信するよう構成済みである。エリア１１２ｃ及び１１６ｃは、ユーザが「ホーム」ビューに関連付けられた情報を閲覧することを望むことを示す「ホーム」入力を受信するよう構成済みである。他の実施形態では、エリア１１２ａ〜ｃ及び１１６ａ〜ｃは、上記で説明される構成に加えて、デバイス１００の特徴の制御を含む他のタイプの特定の入力用に構成することができ、いくつかの非限定的な例としては、全体的なシステムパワーの調整、音量の調整、輝度の調整、振動の調整、表示アイテムの選択（画面１０４または１０８のいずれか）、カメラの操作、マイクロホンの操作及び通話の開始／終了が挙げられる。また、いくつかの実施形態では、エリア１１２ａ〜ｃ及び１１６ａ〜ｃは、デバイス１００上で実行するアプリケーション及び／またはタッチセンサ式ディスプレイ１１０及び／または１１４上に表示される情報に応じて特定の入力用に構成することができる。 The primary screen 104 also includes a configurable area 112 that is configured for specific input when the user touches a portion of the configurable area 112. The secondary screen 108 also includes a configurable area 116 that is configured for specific inputs. Areas 112a and 116a are configured to receive a “back” input indicating that the user wishes to view previously displayed information. Areas 112b and 116b are configured to receive a “menu” input indicating that the user wishes to view options from the menu. Areas 112c and 116c are configured to receive a “home” input indicating that the user wishes to view information associated with the “home” view. In other embodiments, areas 112a-c and 116a-c can be configured for other types of specific inputs, including control of features of device 100, in addition to the configurations described above, Non-limiting examples include overall system power adjustment, volume adjustment, brightness adjustment, vibration adjustment, display item selection (either screen 104 or 108), camera operation, microphone Examples include operation and start / end of a call. Also, in some embodiments, areas 112a-c and 116a-c are specific inputs depending on the application running on device 100 and / or information displayed on touch-sensitive displays 110 and / or 114. Can be configured for.
タッチセンサ式に加えて、一次画面１０４及び二次画面１０８は、ユーザが画面のディスプレイエリアに触れる必要なく、ユーザから入力を受信するエリアも含む。例えば、一次画面１０４は、ジェスチャ捕捉エリア１２０を含み、二次画面１０８は、ジェスチャ捕捉エリア１２４を含む。これらのエリアは、例えば、ユーザが実際にディスプレイエリアの表面に触れる必要なく、ユーザによって行われたジェスチャを認識することにより、入力を受信することができる。タッチセンサ式ディスプレイ１１０及び１１４と比較すると、ジェスチャ捕捉エリア１２０及び１２４は、一般には、表示画像をレンダリングすることはできない。 In addition to touch-sensitive, primary screen 104 and secondary screen 108 also include areas where the user does not need to touch the display area of the screen and receives input from the user. For example, the primary screen 104 includes a gesture capture area 120 and the secondary screen 108 includes a gesture capture area 124. These areas can receive input, for example, by recognizing gestures made by the user without having to actually touch the surface of the display area. Compared to touch-sensitive displays 110 and 114, gesture capture areas 120 and 124 are generally unable to render a display image.
２つの画面１０４及び１０８は、ヒンジ１２８で接続され、ヒンジ１２８は、図１Ｃ（デバイス１００の背面図を示す）で明確に示される。図１Ａ〜１Ｊに示される実施形態では、ヒンジ１２８は、画面１０４と１０８とを接続する中央のヒンジであり、その結果、ヒンジを閉じると、画面１０４と１０８は、図１Ｂ（デバイス１００の正面図を示す）に示されるように並置される（すなわち、隣り合わせになる）。ヒンジ１２８を開いて、２つの画面１０４及び１０８を相対的に互いに異なる配置にすることができる。以下でさらに詳細に説明するように、デバイス１００は、画面１０４及び１０８の相対位置に応じて異なる機能性を有し得る。 The two screens 104 and 108 are connected by a hinge 128, which is clearly shown in FIG. 1C (showing a rear view of the device 100). In the embodiment shown in FIGS. 1A-1J, the hinge 128 is the central hinge that connects the screens 104 and 108, so that when the hinge is closed, the screens 104 and 108 are in FIG. Are juxtaposed (ie, side by side) as shown. The hinge 128 can be opened to place the two screens 104 and 108 in a relatively different arrangement. As described in more detail below, device 100 may have different functionality depending on the relative positions of screens 104 and 108.
図１Ｄは、デバイス１００の右側を示す。図１Ｄに示されるように、二次画面１０８は、その側面にカードスロット１３２とポート１３６も含む。実施形態では、カードスロット１３２は、加入者識別モジュール（ＳＩＭ）を含む異なるタイプのカードを収容する。実施形態では、ポート１３６は、ディスプレイ、キーボードまたは印刷デバイスなどの他の周辺デバイスにデバイス１００を接続することを可能にする入力／出力ポート（Ｉ／Ｏポート）である。理解できるように、これらは単なる例示の一部であり、他の実施形態では、デバイス１００は、追加のメモリデバイスを収容するための及び／または他の周辺デバイスを接続するためのスロット及びポートなどの他のスロット及びポートを含み得る。また、図１Ｄには、例えば、ユーザのヘッドホンまたはヘッドセットの利用を可能にするチップ、リング、スリーブ（ＴＲＳ）コネクタを収容する音声ジャック１４０も示されている。 FIG. 1D shows the right side of the device 100. As shown in FIG. 1D, the secondary screen 108 also includes a card slot 132 and a port 136 on its side. In an embodiment, the card slot 132 houses different types of cards that include a subscriber identity module (SIM). In an embodiment, port 136 is an input / output port (I / O port) that allows device 100 to be connected to other peripheral devices such as a display, keyboard, or printing device. As can be appreciated, these are just some examples, and in other embodiments, the device 100 may include slots and ports for accommodating additional memory devices and / or for connecting other peripheral devices, etc. Other slots and ports may be included. Also shown in FIG. 1D is an audio jack 140 that houses, for example, a tip, ring, and sleeve (TRS) connector that allows the user to use headphones or headsets.
また、デバイス１００は、多数のボタン１５８も含む。例えば、図１Ｅは、デバイス１００の左側を示す。図１Ｅに示されるように、一次画面１０４の側面は、３つのボタン１４４、１４８及び１５２を含み、これらのボタンは、特定の入力用に構成することができる。例えば、ボタン１４４、１４８及び１５２は、組み合わせて、または単独で、デバイス１００の多くの態様を制御するよう構成することができる。いくつかの非限定的な例としては、全体的なシステムパワー、音量、輝度、振動、表示アイテムの選択（画面１０４または１０８のいずれか）、カメラ、マイクロホン及び通話の開始／終了が挙げられる。いくつかの実施形態では、別々のボタンの代わりに、２つのボタンを組み合わせてロッカーボタンにすることができる。この構成は、音量または輝度などの特徴を制御するようにボタンが構成された状況において有用である。ボタン１４４、１４８及び１５２に加えて、デバイス１００は、デバイス１００の上側を示す図１Ｆに示されるようなボタン１５６も含む。一実施形態では、ボタン１５６は、デバイス１００への全体的なシステムパワーの制御に使用されるオン／オフボタンとして構成される。他の実施形態では、ボタン１５６は、システムパワーの制御に加えてまたはシステムパワーの制御の代わりに、デバイス１００の他の態様を制御するよう構成される。いくつかの実施形態では、ボタン１４４、１４８、１５２及び１５６のうちの１つまたは複数は、異なるユーザコマンドをサポートすることができる。一例として、通常のプレスは、一般に、約１秒未満の持続時間を有し、クイックタップに似ている。中程度のプレスは、一般に、１秒以上だが約１２秒未満の持続時間を有する。長時間のプレス（長押し）は、一般に、約１２秒以上の持続時間を有する。ボタンの機能は、通常、現時点でそれぞれのディスプレイ１１０及び１１４に焦点が合わせられているアプリケーションに特有である。例えば、通話アプリケーションでは、特定のボタンに応じて、通常の、中程度のまたは長時間のプレスは、通話終了、通話音量の増加、通話音量の減少、マイクロホンのミュートの切り替えを意味し得る。例えば、カメラまたは映像アプリケーションでは、特定のボタンに応じて、通常の、中程度のまたは長時間のプレスは、ズーム拡大、ズーム縮小、写真撮影または映像記録を意味し得る。 The device 100 also includes a number of buttons 158. For example, FIG. 1E shows the left side of the device 100. As shown in FIG. 1E, the side of primary screen 104 includes three buttons 144, 148, and 152, which can be configured for specific inputs. For example, the buttons 144, 148 and 152 can be configured to control many aspects of the device 100 in combination or alone. Some non-limiting examples include overall system power, volume, brightness, vibration, selection of display items (either screen 104 or 108), camera, microphone, and call start / end. In some embodiments, two buttons can be combined into a rocker button instead of separate buttons. This configuration is useful in situations where buttons are configured to control features such as volume or brightness. In addition to buttons 144, 148, and 152, device 100 also includes a button 156 as shown in FIG. In one embodiment, button 156 is configured as an on / off button that is used to control overall system power to device 100. In other embodiments, button 156 is configured to control other aspects of device 100 in addition to or in place of system power control. In some embodiments, one or more of the buttons 144, 148, 152, and 156 can support different user commands. As an example, a normal press generally has a duration of less than about 1 second and resembles a quick tap. Medium presses generally have a duration of more than 1 second but less than about 12 seconds. Long presses (long presses) generally have a duration of about 12 seconds or more. The button functionality is typically specific to the application currently focused on the respective displays 110 and 114. For example, in a call application, depending on a particular button, a normal, medium or long press can mean call termination, call volume increase, call volume decrease, microphone mute switching. For example, in a camera or video application, depending on the particular button, a normal, medium or long press can mean zooming in, zooming out, taking a picture or recording a video.
また、デバイス１００には、多くのハードウェアコンポーネントが存在する。図１Ｃに示されるように、デバイス１００は、スピーカ１６０とマイクロホン１６４とを含む。また、デバイス１００は、カメラ１６８（図１Ｂ）も含む。それに加えて、デバイス１００は、２つの位置センサ１７２ａ及び１７２ｂを含み、位置センサ１７２ａ及び１７２ｂは、画面１０４及び１０８の相対位置の決定に使用される。一実施形態では、位置センサ１７２ａ及び１７２ｂは、ホール効果センサである。しかし、他の実施形態では、ホール効果センサに加えて、またはホール効果センサの代わりに、他のセンサを使用することができる。また、デバイス１００の一部として、加速度計１７６を含めて、デバイス１００の向き及び／または画面１０４及び１０８の向きを決定することもできる。デバイス１００に含めることができる追加の内部のハードウェアコンポーネントについては、図２に関連して、以下で説明する。 In addition, the device 100 has many hardware components. As shown in FIG. 1C, the device 100 includes a speaker 160 and a microphone 164. Device 100 also includes a camera 168 (FIG. 1B). In addition, the device 100 includes two position sensors 172a and 172b, which are used to determine the relative positions of the screens 104 and 108. In one embodiment, position sensors 172a and 172b are Hall effect sensors. However, in other embodiments, other sensors can be used in addition to or instead of the Hall effect sensor. Also, accelerometer 176 can be included as part of device 100 to determine the orientation of device 100 and / or the orientation of screens 104 and 108. Additional internal hardware components that can be included in device 100 are described below in connection with FIG.
デバイス１００の総合的な設計は、他の通信デバイスで利用不可能な追加の機能性の提供を可能にする。機能性のいくつかは、デバイス１００が有し得るさまざまな位置及び向きに基づく。図１Ｂ〜１Ｇに示されるように、デバイス１００は、画面１０４と１０８が並置される「開」位置で操作することができる。この位置により、ユーザに情報を表示するための大きなディスプレイエリアが可能になる。デバイス１００が開位置にあると位置センサ１７２ａ及び１７２ｂが決定すると、位置センサ１７２ａ及び１７２ｂは、両方の画面１０４及び１０８上での情報の表示などの異なるイベントのトリガに使用することができる信号を生成することができる。追加のイベントは、デバイス１００が横向き位置（図示せず）と対向する縦向き位置（図１Ｂ）にあると加速度計１７６が決定した場合にトリガすることができる。 The overall design of device 100 allows for the provision of additional functionality that is not available on other communication devices. Some of the functionality is based on the various positions and orientations that the device 100 may have. As shown in FIGS. 1B-1G, device 100 can be operated in an “open” position where screens 104 and 108 are juxtaposed. This location allows a large display area for displaying information to the user. Once the position sensors 172a and 172b determine that the device 100 is in the open position, the position sensors 172a and 172b provide signals that can be used to trigger different events such as displaying information on both screens 104 and 108. Can be generated. An additional event can be triggered when the accelerometer 176 determines that the device 100 is in a portrait position (FIG. 1B) opposite a landscape position (not shown).
開位置に加えて、デバイス１００は、図１Ｈに示されるような「閉」位置も有し得る。この場合もやはり、位置センサ１７２ａ及び１７２ｂは、デバイス１００が「閉」位置にあることを示す信号を生成することができる。これにより、画面１０４及び／または１０８上に表示された情報の変化をもたらすイベントをトリガすることができる。例えば、デバイス１００が「閉」位置にある場合、ユーザは１つの画面しか閲覧できないため、デバイス１００は、画面のうちの１つ、例えば、画面１０８上での情報の表示を停止するようにプログラムすることができる。他の実施形態では、デバイス１００が「閉」位置にあることを示す、位置センサ１７２ａ及び１７２ｂによって生成された信号は、電話の発呼に応答するようにデバイス１００をトリガすることができる。「閉」位置は、携帯電話としてデバイス１００を利用する場合にも好ましい位置であり得る。 In addition to the open position, device 100 may also have a “closed” position as shown in FIG. 1H. Again, the position sensors 172a and 172b can generate a signal indicating that the device 100 is in the “closed” position. This can trigger an event that results in a change in the information displayed on the screens 104 and / or 108. For example, if the device 100 is in the “closed” position, the user can only view one screen, so the device 100 is programmed to stop displaying information on one of the screens, eg, the screen 108. can do. In other embodiments, the signal generated by the position sensors 172a and 172b, indicating that the device 100 is in the “closed” position, can trigger the device 100 to respond to a telephone call. The “closed” position may also be a preferred position when using device 100 as a mobile phone.
デバイス１００は、図１Ｉに示されるような「イーゼル」位置でも使用することができる。「イーゼル」位置では、画面１０４及び１０８は、互いに角度をなして外側を向いた状態であり、画面１０４及び１０８の縁は実質的に水平である。この位置では、デバイス１００は、両方の画面１０４及び１０８上で情報を表示するよう構成することができ、二人のユーザが同時にデバイス１００と情報のやり取りを行うことを可能にする。デバイス１００が「イーゼル」位置にある場合、センサ１７２ａ及び１７２ｂは、画面１０４及び１０８が互いに角度をなして配置されていることを示す信号を生成することができ、加速度計１７６は、画面１０４及び１０８の縁が実質的に水平となるようにデバイス１００が配置されたことを示す信号を生成することができる。次いで、信号を組み合わせて使用し、画面１０４及び１０８上での情報の表示の変化をトリガするイベントを生成することができる。 Device 100 may also be used in an “Easel” position as shown in FIG. In the “Easel” position, the screens 104 and 108 are angled toward each other and the edges of the screens 104 and 108 are substantially horizontal. In this position, the device 100 can be configured to display information on both screens 104 and 108, allowing two users to exchange information with the device 100 simultaneously. When the device 100 is in the “Easel” position, the sensors 172a and 172b can generate a signal indicating that the screens 104 and 108 are angled with respect to each other, and the accelerometer 176 A signal can be generated indicating that the device 100 is positioned such that the edges of 108 are substantially horizontal. The signals can then be used in combination to generate an event that triggers a change in the display of information on the screens 104 and 108.
図１Ｊは、「変形イーゼル」位置のデバイス１００を示す。「変形イーゼル」位置では、画面１０４または１０８のうちの１つは、スタンドとして使用され、テーブルなどの物体の表面上に下を向いた状態に置かれる。この位置は、横向きでユーザに情報を表示する便利な方法を提供する。イーゼル位置と同様に、デバイス１００が「変形イーゼル」位置にある場合、位置センサ１７２ａ及び１７２ｂは、画面１０４及び１０８が互いに角度をなして配置されていることを示す信号を生成する。加速度計１７６は、画面１０４及び１０８のうちの１つが下を向いた状態で、実質的に水平となるようにデバイス１００が配置されたことを示す信号を生成することになる。次いで、信号を使用して、画面１０４及び１０８の情報の表示の変化をトリガするイベントを生成することができる。例えば、ユーザはその画面を見ることができないため、下向きの画面上には情報は表示されない可能性がある。 FIG. 1J shows the device 100 in the “deformed easel” position. In the “deformed easel” position, one of the screens 104 or 108 is used as a stand and is placed face down on the surface of an object such as a table. This position provides a convenient way to display information to the user in landscape orientation. Similar to the easel position, when the device 100 is in the “deformed easel” position, the position sensors 172a and 172b generate signals indicating that the screens 104 and 108 are positioned at an angle to each other. The accelerometer 176 will generate a signal indicating that the device 100 is positioned so that it is substantially horizontal with one of the screens 104 and 108 facing down. The signal can then be used to generate an event that triggers a change in the display of information on screens 104 and 108. For example, since the user cannot see the screen, information may not be displayed on the downward screen.
また、移行状態も可能である。画面が閉じているまたは折り畳まれている（開位置から）ことを位置センサ１７２ａ及びｂ及び／または加速度計が示す場合は、閉への移行状態が認識される。逆に、画面が開いているまたは折り畳まれている（閉位置から）ことを位置センサ１７２ａ及びｂが示す場合は、開への移行状態が認識される。閉及び開への移行状態は、通常、時間に基づくか、または感知された開始点からの最大持続時間を有する。通常、閉及び開状態のうちの１つが進行中のときは、ユーザ入力は不可能である。このように、閉または開動作中のユーザによる画面との偶発的な接触は、ユーザ入力として誤って解釈されることはない。実施形態では、デバイス１００が閉じている場合は、別の移行状態が可能である。この追加の移行状態により、デバイス１００が閉じている場合は、例えば、画面１１０、１１４上でのダブルタップなどの何らかのユーザ入力に基づいて、ある画面１０４から第２の画面１０８にディスプレイを切り替えることが可能になる。 A transition state is also possible. If the position sensors 172a and b and / or the accelerometer indicate that the screen is closed or folded (from the open position), the transition state to closed is recognized. Conversely, if the position sensors 172a and b indicate that the screen is open or folded (from the closed position), the transition state to open is recognized. The transition state to closed and open is usually time based or has a maximum duration from the sensed starting point. Normally, user input is not possible when one of the closed and open states is in progress. Thus, accidental contact with the screen by the user during the closing or opening operation is not misinterpreted as user input. In an embodiment, another transition state is possible when the device 100 is closed. If the device 100 is closed due to this additional transition state, the display is switched from one screen 104 to the second screen 108 based on some user input such as a double tap on the screen 110, 114, for example. Is possible.
理解できるように、デバイス１００に関する説明は、単なる例示を目的として行われ、実施形態は、図１Ａ〜１Ｊに示され、上記で説明される特定の機械的な特徴に制限されない。他の実施形態では、デバイス１００は、１つまたは複数の追加のボタン、スロット、ディスプレイエリア、ヒンジ及び／またはロック機構を含む追加の特徴を含み得る。それに加えて、実施形態では、上記で説明される特徴は、デバイス１００の異なる部分に位置し得、それでも同様の機能性を提供することができる。したがって、図１Ａ〜１Ｊ及び上記で提供される説明は、非限定的である。
ハードウェアの特徴：
図２は、本開示の実施形態によるデバイス１００のコンポーネントを示す。一般に、デバイス１００は、一次画面１０４と二次画面１０８とを含む。一次画面１０４及びそのコンポーネントは、通常、開位置または状態でも閉位置または状態でも有効化される一方で、二次画面１０８及びそのコンポーネントは、通常、開状態では有効化されるが、閉状態では無効化される。しかし、閉状態であっても、ユーザまたはアプリケーションがトリガするインタラプト（通話アプリケーションまたはカメラアプリケーションオペレーションに応じてなど）は、適切なコマンドによって、アクティブ画面を変更することも、一次画面１０４を無効化して二次画面１０８を有効化することもできる。各画面１０４、１０８は、タッチセンサ式であり得、異なる動作エリアを含み得る。例えば、それぞれのタッチセンサ式画面１０４及び１０８内の第１の動作エリアは、タッチセンサ式ディスプレイ１１０、１１４を含み得る。一般に、タッチセンサ式ディスプレイ１１０、１１４は、フルカラーのタッチセンサ式ディスプレイを含み得る。それぞれのタッチセンサ式画面１０４及び１０８内の第２のエリアは、ジェスチャ捕捉領域１２０、１２４を含み得る。ジェスチャ捕捉領域１２０、１２４は、タッチセンサ式ディスプレイ１１０、１１４のエリア外のエリアまたは領域を含み得、そのエリアまたは領域は、例えば、ユーザによって提供されるジェスチャの形での入力の受信が可能である。しかし、ジェスチャ捕捉領域１２０、１２４は、表示機能または能力を実行することができる画素を含まない。
As can be appreciated, the description of device 100 is for illustrative purposes only, and the embodiments are not limited to the specific mechanical features shown in FIGS. 1A-1J and described above. In other embodiments, the device 100 may include additional features including one or more additional buttons, slots, display areas, hinges, and / or locking mechanisms. In addition, in embodiments, the features described above can be located in different parts of the device 100 and still provide similar functionality. Accordingly, FIGS. 1A-1J and the description provided above are non-limiting.
Hardware features:
FIG. 2 illustrates components of the device 100 according to an embodiment of the present disclosure. In general, the device 100 includes a primary screen 104 and a secondary screen 108. The primary screen 104 and its components are normally enabled in either the open or closed position or the closed position or state, while the secondary screen 108 and its components are normally enabled in the open state, but in the closed state. It is invalidated. However, even in the closed state, an interrupt triggered by the user or application (such as in response to a call application or camera application operation) can change the active screen or disable the primary screen 104 with the appropriate command. The secondary screen 108 can also be activated. Each screen 104, 108 may be touch sensitive and may include a different operating area. For example, the first operating area within each touch sensitive screen 104 and 108 may include touch sensitive displays 110, 114. In general, touch sensitive displays 110, 114 may include full color touch sensitive displays. A second area within each touch-sensitive screen 104 and 108 may include gesture capture areas 120, 124. The gesture capture area 120, 124 may include an area or area outside the area of the touch-sensitive display 110, 114 that may receive input in the form of a gesture provided by the user, for example. is there. However, the gesture capture areas 120, 124 do not include pixels that can perform display functions or capabilities.
タッチセンサ式画面１０４及び１０８の第３の領域は、構成可能なエリア１１２、１１６を含み得る。構成可能なエリア１１２、１１６は、入力を受信することができ、表示または制限された表示能力を有する。実施形態では、構成可能なエリア１１２、１１６は、異なる入力オプションをユーザに提示することができる。例えば、構成可能なエリア１１２、１１６は、ボタンまたは他の関連付けられるアイテムを表示することができる。その上、表示されたボタンのアイデンティティ、または、タッチセンサ式画面１０４もしくは１０８の構成可能なエリア１１２、１１６内に表示されているボタンがあるかどうかは、デバイス１００が使用される及び／または操作されるコンテキストから決定することができる。例示的な実施形態では、タッチセンサ式画面１０４及び１０８は、ユーザに視覚出力を提供することができるタッチセンサ式画面１０４及び１０８の少なくともそれらの領域に広がる液晶ディスプレイデバイスと、ユーザから入力を受信することができるタッチセンサ式画面１０４及び１０８のそれらの領域にわたる容量性入力マトリックスとを含む。 The third area of touch sensitive screens 104 and 108 may include configurable areas 112, 116. Configurable areas 112, 116 can receive input and have display or limited display capabilities. In an embodiment, the configurable areas 112, 116 may present different input options to the user. For example, configurable areas 112, 116 may display buttons or other associated items. In addition, the identity of the displayed button or whether there is a button displayed in the configurable area 112, 116 of the touch-sensitive screen 104 or 108 is used and / or manipulated by the device 100. Can be determined from the context to be. In the exemplary embodiment, touch-sensitive screens 104 and 108 receive input from the user and a liquid crystal display device that spans at least those areas of touch-sensitive screens 104 and 108 that can provide visual output to the user. And a capacitive input matrix over those areas of touch sensitive screens 104 and 108 that can be made.
１つまたは複数のディスプレイコントローラ２１６ａ、２１６ｂは、入力（タッチセンサ式）及び出力（表示）機能を含むタッチセンサ式画面１０４及び１０８のオペレーションを制御するために設けることができる。図２に示される例示的な実施形態では、別々のタッチスクリーンコントローラ２１６ａまたは２１６ｂが各タッチスクリーン１０４及び１０８に設けられる。代替の実施形態によれば、共通のまたは共有されたタッチスクリーンコントローラ２１６を使用して、含まれるタッチセンサ式画面１０４及び１０８の各々を制御することができる。さらなる他の実施形態によれば、タッチスクリーンコントローラ２１６の機能は、プロセッサ２０４などの他のコンポーネントに組み込むことができる。 One or more display controllers 216a, 216b may be provided to control the operation of touch sensitive screens 104 and 108 including input (touch sensitive) and output (display) functions. In the exemplary embodiment shown in FIG. 2, a separate touch screen controller 216a or 216b is provided for each touch screen 104 and. According to an alternative embodiment, a common or shared touch screen controller 216 can be used to control each of the included touch sensitive screens 104 and 108. According to yet other embodiments, the functionality of the touch screen controller 216 can be incorporated into other components such as the processor 204.
プロセッサ２０４は、アプリケーションプログラミングまたは命令を実行するための汎用のプログラム可能プロセッサまたはコントローラを含み得る。少なくともいくつかの実施形態によれば、プロセッサ２０４は、複数のプロセッサコアを含む、及び／または、複数の仮想プロセッサを実装することができる。さらなる他の実施形態によれば、プロセッサ２０４は、複数の物理的プロセッサを含み得る。具体的な例として、プロセッサ２０４は、特別に構成された特定用途向け集積回路（ＡＳＩＣ）もしくは他の集積回路、デジタル信号プロセッサ、コントローラ、配線電子もしくは論理回路、プログラム可能論理デバイスもしくはゲートアレイ、専用コンピュータ、または、同様のものを含み得る。プロセッサ２０４は、一般に、デバイス１００のさまざまな機能を実装するプログラミングコードまたは命令を実行するように機能する。 The processor 204 may include a general purpose programmable processor or controller for executing application programming or instructions. According to at least some embodiments, the processor 204 can include multiple processor cores and / or implement multiple virtual processors. According to yet other embodiments, the processor 204 may include multiple physical processors. As a specific example, processor 204 may be a specially configured application specific integrated circuit (ASIC) or other integrated circuit, digital signal processor, controller, wired electronics or logic circuit, programmable logic device or gate array, dedicated A computer or the like may be included. The processor 204 generally functions to execute programming code or instructions that implement various functions of the device 100.
また、通信デバイス１００は、プロセッサ２０４によるアプリケーションプログラミングまたは命令の実行に関連して使用するための、ならびに、プログラム命令及び／またはデータを一時的または長期に格納するための、メモリ２０８も含み得る。例として、メモリ２０８は、ＲＡＭ、ＤＲＡＭ、ＳＤＲＡＭまたは他のソリッドステートメモリを含み得る。その代替としてまたはそれに加えて、データストレージ２１２を設けることができる。メモリ２０８と同様に、データストレージ２１２は、１つまたは複数のソリッドステートメモリデバイスを含み得る。その代替としてまたはそれに加えて、データストレージ２１２は、ハードディスクドライブまたは他のランダムアクセスメモリを含み得る。 The communication device 100 may also include a memory 208 for use in connection with application programming or execution of instructions by the processor 204 and for storing program instructions and / or data temporarily or over time. By way of example, memory 208 may include RAM, DRAM, SDRAM, or other solid state memory. As an alternative or in addition, a data storage 212 may be provided. Similar to memory 208, data storage 212 may include one or more solid state memory devices. Alternatively or additionally, data storage 212 may include a hard disk drive or other random access memory.
通信機能または能力をサポートする際、デバイス１００は、携帯電話モジュール２２８を含み得る。例として、携帯電話モジュール２２８は、セルラネットワーク上で音声、マルチメディア及び／またはデータ転送をサポートすることができるＧＳＭ（登録商標）、ＣＤＭＡ、ＦＤＭＡ及び／またはアナログ携帯電話トランシーバを含み得る。その代替としてまたはそれに加えて、デバイス１００は、追加のまたは他の無線通信モジュール２３２を含み得る。例として、他の無線通信モジュール２３２は、ワイファイ（Ｗｉ−Ｆｉ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ワイマックス（ＷｉＭａｘ）、赤外線または他の無線通信リンクを含み得る。携帯電話モジュール２２８及び他の無線通信モジュール２３２は、それぞれが、共有または専用アンテナ２２４と関連付けられることができる。 In supporting a communication function or capability, the device 100 may include a mobile phone module 228. By way of example, cell phone module 228 may include GSM, CDMA, FDMA, and / or analog cell phone transceivers that can support voice, multimedia, and / or data transfer over a cellular network. As an alternative or in addition thereto, the device 100 may include additional or other wireless communication modules 232. By way of example, other wireless communication modules 232 may include Wi-Fi, Bluetooth, WiMax, infrared, or other wireless communication links. The cell phone module 228 and the other wireless communication module 232 can each be associated with a shared or dedicated antenna 224.
ポートインタフェース２５２を含めることができる。ポートインタフェース２５２は、ドックなどの他のデバイスまたはコンポーネントとのデバイス１００の相互接続をサポートする独自のまたはユニバーサルポートを含み得、他のデバイスまたはコンポーネントは、デバイス１００に不可欠なものへの追加のまたはそれとは異なる能力を含んでも含まなくともよい。デバイス１００と別のデバイスまたはコンポーネントとの間での通信信号の交換のサポートに加えて、ドッキングポート１３６及び／またはポートインタフェース２５２は、デバイス１００へのまたはデバイス１００からの電力の供給をサポートすることができる。また、ポートインタフェース２５２は、デバイス１００と接続されたデバイスまたはコンポーネントとの間の通信または他の相互作用を制御するためのドッキングモジュールを含むインテリジェントな要素も含む。 A port interface 252 can be included. The port interface 252 may include a unique or universal port that supports the interconnection of the device 100 with other devices or components, such as a dock, where other devices or components are in addition to or indispensable for the device 100. It may or may not include different abilities. In addition to supporting the exchange of communication signals between device 100 and another device or component, docking port 136 and / or port interface 252 support the supply of power to or from device 100. Can do. The port interface 252 also includes intelligent elements including a docking module for controlling communication or other interactions between the device 100 and connected devices or components.
入力／出力モジュール２４８及び関連ポートを含めて、例えば、他の通信デバイス、サーバデバイス及び／または周辺デバイスとの有線ネットワークまたはリンク上での通信をサポートすることができる。入力／出力モジュール２４８の例としては、イーサネット（登録商標）ポート、ユニバーサルシリアルバス（ＵＳＢ）ポート、電気電子技術者協会（ＩＥＥＥ）１３９４または他のインタフェースが挙げられる。 The input / output module 248 and associated ports can be included, for example, to support communication over a wired network or link with other communication devices, server devices, and / or peripheral devices. Examples of the input / output module 248 include an Ethernet port, universal serial bus (USB) port, Institute of Electrical and Electronics Engineers (IEEE) 1394, or other interface.
音声入力／出力インタフェース／デバイス２４４を含めて、相互接続されたスピーカまたは他のデバイスにアナログ音声を提供したり、接続されたマイクロホンまたは他のデバイスからアナログ音声入力を受信したりすることができる。一例として、音声入力／出力インタフェース／デバイス２４４は、関連アンプとアナログデジタル変換器とを含み得る。その代替としてまたはそれに加えて、デバイス１００は、外部のスピーカまたはマイクロホンを相互接続するための統合音声入力／出力デバイス２５６及び／または音声ジャックを含み得る。例えば、統合スピーカ及び統合マイクロホンを提供し、近接通話またはスピーカフォンオペレーションをサポートすることができる。 An audio input / output interface / device 244 may be included to provide analog audio to interconnected speakers or other devices, or receive analog audio input from connected microphones or other devices. As an example, the audio input / output interface / device 244 may include an associated amplifier and an analog to digital converter. Alternatively or additionally, device 100 may include an integrated audio input / output device 256 and / or audio jack for interconnecting external speakers or microphones. For example, an integrated speaker and integrated microphone can be provided to support close-in calling or speakerphone operation.
ハードウェアボタン１５８を含めて、例えば、ある制御動作に関連して使用することができる。例としては、図１Ａ〜１Ｊと併せて説明されるように、マスタ電源スイッチ、音量調節などが挙げられる。カメラなどの１つまたは複数の画像捕捉インタフェース／デバイス２４０を含めて、静止及び／またはビデオ画像を捕捉することができる。その代替としてまたはそれに加えて、画像捕捉インタフェース／デバイス２４０は、スキャナまたはコードリーダを含み得る。画像捕捉インタフェース／デバイス２４０は、フラッシュまたは他の光源などの追加の要素を含むか、または追加の要素と関連付けられることができる。 The hardware button 158 can be used, for example, in connection with certain control operations. Examples include a master power switch, volume control, etc., as described in conjunction with FIGS. One or more image capture interfaces / devices 240 such as cameras can be included to capture still and / or video images. Alternatively or additionally, the image capture interface / device 240 may include a scanner or code reader. The image capture interface / device 240 may include or be associated with additional elements such as a flash or other light source.
また、デバイス１００は、全地球側位システム（ＧＰＳ）受信機２３６も含み得る。本発明の実施形態によれば、ＧＰＳ受信機２３６は、デバイス１００の他のコンポーネントに絶対位置情報を提供できるＧＰＳモジュールをさらに含み得る。また、加速度計１７６も含めることができる。例えば、ユーザへの情報の表示及び／または他の機能に関連して、加速度計１７６からの信号を使用して、その情報をユーザに表示するための方向及び／または形式を決定することができる。 Device 100 may also include a global positioning system (GPS) receiver 236. According to embodiments of the present invention, the GPS receiver 236 may further include a GPS module that can provide absolute position information to other components of the device 100. An accelerometer 176 can also be included. For example, in connection with displaying information to the user and / or other functions, signals from the accelerometer 176 can be used to determine the direction and / or format for displaying that information to the user. .
また、本発明の実施形態は、１つまたは複数の位置センサ１７２を含み得る。位置センサ１７２は、互いに対するタッチセンサ式画面１０４及び１０８の位置を示す信号を提供することができる。例えば、ユーザインタフェースアプリケーションへの入力としてこの情報を提供し、動作モード、すなわち、タッチセンサ式ディスプレイ１１０、１１４及び／または他のデバイス１００オペレーションの特性を決定することができる。例として、画面位置センサ１７２は、一連のホール効果センサ、複数の位置スイッチ、光スイッチ、ホイートストンブリッジ、電位差計、または、タッチスクリーンが置かれている複数の相対位置を示す信号を提供することができる他の構成を含み得る。 Embodiments of the invention may also include one or more position sensors 172. The position sensor 172 can provide a signal indicating the position of the touch-sensitive screens 104 and 108 relative to each other. For example, this information can be provided as input to a user interface application to determine the operating mode, i.e. characteristics of touch-sensitive displays 110, 114 and / or other device 100 operations. By way of example, the screen position sensor 172 may provide a series of Hall effect sensors, a plurality of position switches, a light switch, a Wheatstone bridge, a potentiometer, or a signal indicating a plurality of relative positions where the touch screen is located. Other configurations that can be included.
デバイス１００のさまざまなコンポーネント間の通信は、１つまたは複数のバス２２２によって行うことができる。それに加えて、電源及び／または電力制御モジュール２６０からデバイス１００のコンポーネントに電力を供給することができる。電力制御モジュール２６０は、例えば、バッテリ、ＡＣ／ＤＣ変換器、電力制御ロジック及び／または外部の電源にデバイス１００を相互接続するためのポートを含み得る。
デバイスの状態：
図３Ａ及び３Ｂは、デバイス１００の例示的な状態を表す。多くの例示的な状態が示され、第１の状態から第２の状態へ移行するが、例示的な状態を示す図は、すべての可能な状態及び／またはすべての可能な第１の状態から第２の状態への移行を包含するわけではないことを理解されたい。図３で示されるように、状態間のさまざまな矢印（円で表された状態によって示される）は、デバイス１００に起こる物理的変化を表す。物理的変化は、ハードウェア及びソフトウェアの１つまたは複数によって検出され、その検出により、ハードウェア及び／またはソフトウェアインタラプトの１つまたは複数がトリガされ、デバイス１００の１つまたは複数の機能の制御及び／または管理に使用される。
Communication between the various components of the device 100 can occur over one or more buses 222. In addition, power can be supplied to the components of the device 100 from the power supply and / or power control module 260. The power control module 260 may include a port for interconnecting the device 100 to, for example, a battery, an AC / DC converter, power control logic, and / or an external power source.
Device status:
3A and 3B represent an exemplary state of the device 100. FIG. Many example states are shown and transition from the first state to the second state, but the diagram illustrating the example states is from all possible states and / or from all possible first states. It should be understood that it does not encompass a transition to the second state. As shown in FIG. 3, various arrows between the states (indicated by states represented by circles) represent physical changes that occur in the device 100. The physical change is detected by one or more of hardware and software, and the detection triggers one or more of the hardware and / or software interrupts to control one or more functions of device 100 and Used for management.
図３Ａで示されるように、１２の例示的な「物理的」状態があり、それらは、閉３０４、移行３０８（または開への移行状態）、イーゼル３１２、変形イーゼル３１６、開３２０、着信／発信通話または通信３２４、画像／映像捕捉３２８、移行３３２（または閉への移行状態）、横向き３４０、ドッキング３３６、ドッキング３４４及び横向き３４８である。各例示的な状態の隣にあるのは、デバイス１００の物理的状態の表現であるが、状態３２４及び３２８は例外であり、状態３２４及び３２８では、一般に、状態は、電話用の国際的なアイコン及びカメラ用のアイコンによってそれぞれ象徴化される。 As shown in FIG. 3A, there are twelve exemplary “physical” states: closed 304, transition 308 (or transition state to open), easel 312, modified easel 316, open 320, incoming / outgoing Outgoing call or communication 324, image / video capture 328, transition 332 (or closed transition state), landscape 340, docking 336, docking 344 and landscape 348. Next to each exemplary state is a representation of the physical state of the device 100, with the exception of states 324 and 328, where the state is generally an international It is symbolized by an icon and a camera icon.
状態３０４では、デバイスは閉状態であり、デバイス１００は、一般に、一次画面１０４と二次画面１０８が異なる面で背中合わせの状態で、縦向き方向に方向付けられる（図１Ｈを参照）。閉状態から、デバイス１００は、例えば、ドッキング状態３３６または横向き状態３４０に入ることができ、ドッキング状態３３６では、デバイス１００はドッキングステーションやドッキングケーブルと結合されるか、または、一般に１つもしくは複数の他のデバイスもしくは周辺機器とドッキングされるかもしくは関連付けられ、横向き状態３４０では、一次画面１０４はユーザに面し、一次画面１０４と二次画面１０８は背中合わせの状態でデバイス１００が一般に方向付けされる。 In state 304, the device is in a closed state and device 100 is generally oriented in a vertical orientation with primary screen 104 and secondary screen 108 back to back on different surfaces (see FIG. 1H). From the closed state, the device 100 can enter, for example, a docking state 336 or a sideways state 340 where the device 100 is coupled with a docking station or docking cable, or generally one or more. In the landscape state 340, the primary screen 104 faces the user and the primary screen 104 and the secondary screen 108 are back to back and the device 100 is generally oriented in a docked or associated state with other devices or peripheral devices. .
また、閉状態では、デバイスは、移行状態に移動することができ、移行状態では、デバイスは閉じたままであるが、ディスプレイは、例えば、画面１１０、１１４上でのダブルタップなどのユーザ入力に基づいて、ある画面１０４から別の画面１０８に移動する。さらに別の実施形態は、両面状態（ｂｉｌａｔｅｒａｌ ｓｔａｔｅ）を含む。両面状態では、デバイスは閉じたままであるが、単一のアプリケーションが少なくとも１つのウィンドウを第１のディスプレイ１１０と第２のディスプレイ１１４の両方に表示する。第１及び第２のディスプレイ１１０、１１４に示されるウィンドウは、アプリケーション及びそのアプリケーションの状態に基づいて、同じであっても異なっていてもよい。例えば、カメラで画像を取得する間、デバイスは、第１のディスプレイ１１０上でファインダを表示することができ、第２のディスプレイ１１４上で被写体のプレビュー（全画面及び左から右へミラーリング）を表示する。 Also, in the closed state, the device can move to the transition state, and in the transition state, the device remains closed, but the display is based on user input, such as a double tap on the screen 110, 114, for example. Thus, the screen moves from one screen 104 to another screen 108. Yet another embodiment includes a bilateral state. In the duplex state, the device remains closed, but a single application displays at least one window on both the first display 110 and the second display 114. The windows shown on the first and second displays 110, 114 may be the same or different based on the application and the state of the application. For example, while acquiring an image with the camera, the device can display a finder on the first display 110 and display a preview of the subject (full screen and mirrored from left to right) on the second display 114. To do.
閉状態３０４から半開状態またはイーゼル状態３１２への移行状態である状態３０８では、デバイス１００は、一次画面１０４及び二次画面１０８をヒンジと一致する軸のポイントの周りで回転させて開いた状態で示される。イーゼル状態３１２に入ると、一次画面１０４及び二次画面１０８は、例えば、デバイス１００がイーゼル様構成で表面上に位置することができるように、互いに分離される。 In state 308, which is a transition from a closed state 304 to a half-open state or an easel state 312, the device 100 is opened with the primary screen 104 and the secondary screen 108 rotated about a point on the axis that coincides with the hinge. Indicated. Upon entering the easel state 312, the primary screen 104 and the secondary screen 108 are separated from each other such that the device 100 can be located on the surface in an easel-like configuration, for example.
変形イーゼル位置として知られる状態３１６では、デバイス１００は、互いにイーゼル状態３１２と同様の相対関係にある一次画面１０４及び二次画面１０８を有し、その違いは、示されるように、一次画面１０４または二次画面１０８のうちの１つが表面上に配置されることである。 In state 316, known as the deformed easel position, device 100 has a primary screen 104 and a secondary screen 108 that are in a relative relationship to each other similar to easel state 312, with the difference being primary screen 104 or One of the secondary screens 108 is placed on the surface.
状態３２０は開状態であり、開状態では、一次画面１０４及び二次画面１０８は、一般に、同じ平面上にある。開状態から、デバイス１００は、ドッキング状態３４４または開横向き状態３４８に移行することができる。開状態３２０では、一次画面１０４及び二次画面１０８は、一般に、縦向きのような状態にあるが、横向き状態３４８では、一次画面１０４及び二次画面１０８は、一般に、横向きのような状態にある。 State 320 is an open state, where primary screen 104 and secondary screen 108 are generally on the same plane. From the open state, the device 100 can transition to a docked state 344 or an open sideways state 348. In the open state 320, the primary screen 104 and the secondary screen 108 are generally in a state that is vertically oriented, whereas in the landscape state 348, the primary screen 104 and the secondary screen 108 are generally in a state that is horizontally oriented. is there.
状態３２４は、デバイス１００でそれぞれ着信通話を受けるまたは発信通話をかける場合などの通信状態の例示である。明確には示されていないが、デバイス１００は、図３に示されるいかなる状態からも着信／発信通話状態３２４へ移行できることを理解されたい。同様に、画像／映像捕捉状態３２８もまた、図３に示される他のいかなる状態からも入ることができ、画像／映像捕捉状態３２８では、デバイス１００は、映像捕捉デバイス２４０を備えたカメラ及び／またはビデオを介して、１つまたは複数の画像を撮影することができる。 The state 324 is an example of a communication state when the device 100 receives an incoming call or makes an outgoing call. Although not explicitly shown, it should be understood that the device 100 can transition to the incoming / outgoing call state 324 from any state shown in FIG. Similarly, the image / video capture state 328 can also be entered from any of the other states shown in FIG. 3, in which the device 100 includes a camera with a video capture device 240 and / or Alternatively, one or more images can be taken via video.
移行状態３３２は、一次画面１０４及び二次画面１０８が、例えば、閉状態３０４に入るために、互いに向かって閉じている状態を例示的に示す。
図３Ｂは、キーを参照して、第１の状態から第２の状態への移行を検出するために受信された入力を示す。図３Ｂでは、状態のさまざまな組合せが示されており、一般に、列の一部は、縦向き状態３５２や横向き状態３５６を対象とし、行の一部は、縦向き状態３６０と横向き状態３６４を対象とする。
The transition state 332 exemplarily shows a state in which the primary screen 104 and the secondary screen 108 are closed toward each other to enter the closed state 304, for example.
FIG. 3B shows the input received to detect the transition from the first state to the second state with reference to the key. In FIG. 3B, various combinations of states are shown, and in general, some of the columns are in the portrait state 352 and landscape state 356, and some of the rows are in the portrait state 360 and landscape state 364. set to target.
図３Ｂでは、キーは、「Ｈ」が１つまたは複数のホール効果センサからの入力を表し、「Ａ」が１つまたは複数の加速度計からの入力を表し、「Ｔ」がタイマからの入力を表し、「Ｐ」が通信トリガ入力を表し、「Ｉ」が画像及び／または映像捕捉要求入力を表すことを示す。したがって、表の中央部分３７６では、デバイス１００がどのように第１の物理的な状態から第２の物理的な状態への移行を検出するかを表す入力または入力の組合せが示される。 In FIG. 3B, the keys indicate that “H” represents input from one or more Hall effect sensors, “A” represents input from one or more accelerometers, and “T” represents input from a timer. “P” represents a communication trigger input, and “I” represents an image and / or video capture request input. Accordingly, the central portion 376 of the table shows an input or combination of inputs that represents how the device 100 detects a transition from a first physical state to a second physical state.
論じられるように、表の中央部分３７６では、受信した入力により、例えば、縦向き開状態から横向きイーゼル状態への移行（太字の「ＨＡＴ」で示される）の検出が可能になる。この例示的な縦向き開状態から横向きイーゼル状態への移行の場合、ホール効果センサ（「Ｈ」）、加速度計（「Ａ」）及びタイマ（「Ｔ」）入力が必要とされ得る。タイマ入力は、例えば、プロセッサに関連付けられた時計から得ることができる。 As discussed, in the center portion 376 of the table, the received input enables detection of, for example, a transition from a vertically open state to a landscape easel state (shown in bold “HAT”). In the transition from this exemplary portrait open state to landscape easel state, Hall effect sensor (“H”), accelerometer (“A”) and timer (“T”) inputs may be required. The timer input can be obtained, for example, from a clock associated with the processor.
縦向き及び横向き状態に加えて、ドッキング信号３７２の受信に基づいてトリガされるドッキング状態３６８も示される。上記で論じられるように、図３に関連して、ドッキング信号は、デバイス１００を、１つまたは複数の他のデバイス１００、アクセサリ、周辺機器、スマートドックまたは同様のものと接続することによってトリガすることができる。
ユーザ相互作用：
図４Ａ〜４Ｈは、画面１０４、１０８によって認識することができるジェスチャ入力のさまざまなグラフィカルな表現を描写する。ジェスチャは、指などのユーザの身体部分ばかりではなく、画面１０４、１０８の接触感知部分によって感知することができるスタイラスなどの他のデバイスによっても行うことができる。一般に、ジェスチャは、どこでジェスチャが行われるか（ディスプレイ１１０、１１４上に直接またはジェスチャ捕捉領域１２０、１２４のいずれか）に基づいて、異なって解釈される。例えば、ディスプレイ１１０、１１４内のジェスチャは、デスクトップまたはアプリケーションを対象とし、ジェスチャ捕捉領域１２０、１２４内のジェスチャは、システム用として解釈され得る。
In addition to the portrait and landscape states, a docking state 368 that is triggered based on receipt of the docking signal 372 is also shown. As discussed above, in connection with FIG. 3, the docking signal triggers by connecting the device 100 with one or more other devices 100, accessories, peripherals, smart docks or the like. be able to.
User interaction:
4A-4H depict various graphical representations of gesture input that can be recognized by screens 104,108. Gestures can be made not only by the user's body part, such as a finger, but also by other devices, such as a stylus that can be sensed by the touch sensitive part of the screen 104,108. In general, gestures are interpreted differently based on where the gesture is made (either directly on the display 110, 114 or the gesture capture area 120, 124). For example, gestures in the displays 110, 114 may be targeted to a desktop or application, and gestures in the gesture capture area 120, 124 may be interpreted for the system.
図４Ａ〜４Ｈを参照すると、ジェスチャの第１のタイプ（タッチジェスチャ４２０）は、選択された時間長の間、画面１０４、１０８上に実質的に静止する。円４２８は、画面の接触感知部分の特定の位置で受信されたタッチまたは他の接触タイプを表す。円４２８は、境界４３２を含み得、その厚さは、接触位置において実質的に静止した状態で接触が保持された時間長を示す。例えば、タップ４２０（または短時間のプレス）は、長時間のプレス４２４に対する（または通常のプレスに対する）境界４３２ｂより薄い境界４３２ａを有する。長時間のプレス４２４は、タップ４２０より長い時間の間、画面上に実質的に静止した状態のままの接触を伴う可能性がある。理解されるように、異なって定義されたジェスチャは、接触停止前または画面上での移動前のタッチが静止した状態のままの時間長に応じて登録することができる。 4A-4H, the first type of gesture (touch gesture 420) is substantially stationary on the screen 104, 108 for a selected length of time. Circle 428 represents a touch or other contact type received at a particular location in the touch sensitive portion of the screen. The circle 428 may include a boundary 432 whose thickness indicates the length of time that contact has been held in a substantially stationary state at the contact location. For example, tap 420 (or short press) has a boundary 432a that is thinner than boundary 432b for long press 424 (or for a normal press). The long press 424 may involve contact that remains substantially stationary on the screen for a longer time than the tap 420. As will be appreciated, differently defined gestures can be registered according to the length of time that the touch remains stationary before touching or moving on the screen.
図４Ｃを参照すると、画面１０４、１０８上でのドラッグジェスチャ４００は、最初の接触（円４２８によって表される）に、選択された方向への接触移動４３６が伴う。最初の接触４２８は、境界４３２によって表される特定の時間量の間、画面１０４、１０８上で静止した状態のままであり得る。ドラッグジェスチャは、通常、ユーザが第１の位置でアイコン、ウィンドウまたは他の表示画像に接触し、その後、選択された表示画像に対して所望の新しい第２の位置に向かうドラッグ方向に接触を移動させる必要がある。接触移動は、直線である必要はないが、接触が第１から第２の位置に実質的に連続したものである限り、いかなる経路の移動もあり得る。 Referring to FIG. 4C, the drag gesture 400 on the screen 104, 108 is accompanied by a contact movement 436 in the selected direction with the initial contact (represented by a circle 428). Initial contact 428 may remain stationary on screens 104, 108 for a specific amount of time represented by boundary 432. Drag gestures typically move the contact in a drag direction where the user touches an icon, window or other display image at a first location, and then toward the desired new second location for the selected display image. It is necessary to let The contact movement need not be a straight line, but can be any path movement as long as the contact is substantially continuous from the first to the second position.
図４Ｄを参照すると、画面１０４、１０８上でのフリックジェスチャ４０４は、最初の接触（円４２８によって表される）に、選択された方向への短縮された接触移動４３６（ドラッグジェスチャと比較して）が伴う。実施形態では、フリックは、ドラッグジェスチャと比較して、ジェスチャの最後の動きに対してより高い退出速度を有する。フリックジェスチャは、例えば、最初の接触に続く指スナップであり得る。ドラッグジェスチャと比較すると、フリックジェスチャは、一般に、表示画像の第１の位置から既定の第２の位置まで、画面１０４、１０８との連続的な接触を必要としない。接触した表示画像は、フリックジェスチャによって、既定の第２の位置に向かうフリックジェスチャ方向に移動される。両方のジェスチャは、一般に、第１の位置から第２の位置に表示画像を移動させることができるが、画面上での接触の持続時間及び移動距離は、一般に、ドラッグジェスチャよりもフリックジェスチャの方が短い。 Referring to FIG. 4D, the flick gesture 404 on the screens 104, 108 is shown in the first contact (represented by a circle 428) with a shortened contact movement 436 (compared to the drag gesture) in the selected direction. ). In an embodiment, the flick has a higher exit speed for the last movement of the gesture compared to the drag gesture. The flick gesture can be, for example, a finger snap following the initial contact. Compared to drag gestures, flick gestures generally do not require continuous contact with the screens 104, 108 from a first position of the display image to a predetermined second position. The touched display image is moved in the flick gesture direction toward the predetermined second position by the flick gesture. Both gestures can generally move the displayed image from the first position to the second position, but the duration and distance of the touch on the screen is generally greater for flick gestures than for drag gestures. Is short.
図４Ｅを参照すると、画面１０４、１０８上でのピンチジェスチャ４０８が描写されている。ピンチジェスチャ４０８は、例えば、第１の指によって画面１０４、１０８に第１の接触４２８ａを行い、例えば、第２の指によって画面１０４、１０８に第２の接触４２８ｂを行うことによって着手することができる。第１及び第２の接触４２８ａ、ｂは、共通の画面１０４、１０８の共通の接触感知部分によって、共通の画面１０４もしくは１０８の異なる接触感知部分によって、または、異なる画面の異なる接触感知部分によって、検出することができる。第１の接触４２８ａは、境界４３２ａによって表されるように、第１の時間量の間保持され、第２の接触４２８ｂは、境界４３２ｂによって表されるように、第２の時間量の間保持される。第１及び第２の時間量は、一般に、実質的に同じであり、第１及び第２の接触４２８ａ、ｂは、一般に、実質的に同時に起こる。また、第１及び第２の接触４２８ａ、ｂは、一般に、それぞれ、対応する第１及び第２の接触移動４３６ａ、ｂを含む。第１及び第２の接触移動４３６ａ、ｂは、一般に、対向方向である。別の言い方をすれば、第１の接触移動４３６ａは、第２の接触４２８ｂに向かう方向にあり、第２の接触移動４３６ｂは、第１の接触４２８ａに向かう方向にある。より簡単な言い方をすれば、ピンチジェスチャ４０８は、ユーザの指がピンチ動作で画面１０４、１０８に触れることによって実現することができる。 Referring to FIG. 4E, a pinch gesture 408 on the screens 104, 108 is depicted. The pinch gesture 408 can be undertaken, for example, by making a first contact 428a on the screens 104, 108 with a first finger and making a second contact 428b on the screens 104, 108 with a second finger, for example. it can. The first and second contacts 428a, b may be by a common touch-sensitive portion of the common screen 104,108, by a different touch-sensitive portion of the common screen 104 or 108, or by a different touch-sensitive portion of a different screen. Can be detected. The first contact 428a is held for a first amount of time, as represented by boundary 432a, and the second contact 428b is held for a second amount of time, as represented by boundary 432b. Is done. The first and second amount of time is generally substantially the same, and the first and second contacts 428a, b generally occur substantially simultaneously. Also, the first and second contacts 428a, b generally include corresponding first and second contact movements 436a, b, respectively. The first and second contact movements 436a, b are generally in opposite directions. In other words, the first contact movement 436a is in the direction toward the second contact 428b, and the second contact movement 436b is in the direction toward the first contact 428a. In other words, the pinch gesture 408 can be realized by the user's finger touching the screens 104 and 108 by a pinch operation.
図４Ｆを参照すると、画面１０４、１０８上でのスプレッドジェスチャ４１０が描写されている。スプレッドジェスチャ４１０は、例えば、第１の指で画面１０４、１０８に第１の接触４２８ａを行い、例えば、第２の指で画面１０４、１０８に第２の接触４２８ｂを行うことによって着手することができる。第１及び第２の接触４２８ａ、ｂは、共通の画面１０４、１０８の共通の接触感知部分によって、共通の画面１０４もしくは１０８の異なる接触感知部分によって、または、異なる画面の異なる接触感知部分によって、検出することができる。第１の接触４２８ａは、境界４３２ａによって表されるように、第１の時間量の間保持され、第２の接触４２８ｂは、境界４３２ｂによって表されるように、第２の時間量の間保持される。第１及び第２の時間量は、一般に、実質的に同じであり、第１及び第２の接触４２８ａ、ｂは、一般に、実質的に同時に起こる。また、第１及び第２の接触４２８ａ、ｂは、一般に、それぞれ、対応する第１及び第２の接触移動４３６ａ、ｂを含む。第１及び第２の接触移動４３６ａ、ｂは、一般に、共通の方向である。別の言い方をすれば、第１及び第２の接触移動４３６ａ、ｂは、第１及び第２の接触４２８ａ、ｂから遠ざかる方向にある。より簡単な言い方をすれば、スプレッドジェスチャ４１０は、ユーザの指がスプレッド動作で画面１０４、１０８に触れることによって実現することができる。 Referring to FIG. 4F, a spread gesture 410 on the screen 104, 108 is depicted. Spread gesture 410 can be undertaken, for example, by making first contact 428a on screens 104, 108 with a first finger and making second contact 428b on screens 104, 108 with a second finger, for example. it can. The first and second contacts 428a, b may be by a common touch-sensitive portion of the common screen 104,108, by a different touch-sensitive portion of the common screen 104 or 108, or by a different touch-sensitive portion of a different screen. Can be detected. The first contact 428a is held for a first amount of time, as represented by boundary 432a, and the second contact 428b is held for a second amount of time, as represented by boundary 432b. Is done. The first and second amount of time is generally substantially the same, and the first and second contacts 428a, b generally occur substantially simultaneously. Also, the first and second contacts 428a, b generally include corresponding first and second contact movements 436a, b, respectively. The first and second contact movements 436a, b are generally in a common direction. In other words, the first and second contact movements 436a, b are in a direction away from the first and second contacts 428a, b. In other words, the spread gesture 410 can be realized by the user's finger touching the screens 104 and 108 by a spread operation.
上記のジェスチャは、図４Ｇ及び４Ｈによって示されるものなど、任意の方法で組み合わせて、決定された機能的な結果を生成することができる。例えば、図４Ｇでは、タップジェスチャ４２０と、タップジェスチャ４２０から遠ざかる方向へのドラッグまたはフリックジェスチャ４１２とが組み合わされている。図４Ｈでは、タップジェスチャ４２０と、タップジェスチャ４２０に向かう方向へのドラッグまたはフリックジェスチャ４１２とが組み合わされている。 The above gestures can be combined in any way, such as that shown by FIGS. 4G and 4H, to produce a determined functional result. For example, in FIG. 4G, a tap gesture 420 and a drag or flick gesture 412 in a direction away from the tap gesture 420 are combined. In FIG. 4H, tap gesture 420 is combined with a drag or flick gesture 412 in a direction toward tap gesture 420.
ジェスチャを受信するという機能的な結果は、デバイス１００、ディスプレイ１１０、１１４もしくは画面１０４、１０８の状態、ジェスチャに関連付けられたコンテキスト、または、ジェスチャの感知位置を含む多くの要因に応じて異なり得る。デバイスの状態は、一般に、デバイス１００の構成、ディスプレイ方向ならびにデバイス１００で受信されるユーザ及び他の入力のうちの１つまたは複数を指す。コンテキストは、一般に、アプリケーションが単一画面アプリケーションであろうが、複数画面アプリケーションであろうが、及び、アプリケーションが１つまたは複数の画面に１つまたは複数のウィンドウを表示する複数画面アプリケーションであろうが、１つまたは複数のスタックに１つまたは複数のウィンドウを表示する複数画面アプリケーションであろうが、ジェスチャによって選択された特定のアプリケーション及び現時点で実行しているアプリケーションの部分のうちの１つまたは複数を指す。ジェスチャの感知位置は、一般に、感知されたジェスチャ位置座標セットが、タッチセンサ式ディスプレイ１１０、１１４上にあるかまたはジェスチャ捕捉領域１２０、１２４にあるか、感知されたジェスチャ位置座標セットが、共通のディスプレイもしくは画面１０４、１０８に関連付けられているか、または異なるディスプレイもしくは画面１０４、１０８に関連付けられているか、及び／または、ジェスチャ捕捉領域のどの部分が感知されたジェスチャ位置座標セットを含むかを指す。 The functional outcome of receiving a gesture may depend on a number of factors including the state of the device 100, the display 110, 114 or the screen 104, 108, the context associated with the gesture, or the sensed position of the gesture. The state of the device generally refers to one or more of the configuration of the device 100, the display orientation, and the user and other inputs received at the device 100. The context is generally whether the application is a single screen application or a multi-screen application, and the application will be a multi-screen application that displays one or more windows on one or more screens. Is a multi-screen application that displays one or more windows in one or more stacks, but one or more of the specific application selected by the gesture and the part of the application that is currently running Refers to multiple. The sensed position of a gesture is typically determined by whether the sensed gesture position coordinate set is on the touch-sensitive display 110, 114 or in the gesture capture area 120, 124, and the sensed gesture position coordinate set is common. Refers to whether it is associated with a display or screen 104, 108, or is associated with a different display or screen 104, 108, and / or which part of the gesture capture area contains a sensed gesture position coordinate set.
タップは、タッチセンサ式ディスプレイ１１０、１１４で受信する場合、例えば、対応するアプリケーションの実行の開始または終了、ウィンドウの最大化または最小化、スタック内でのウィンドウの並べ換え、及び、キーボード表示または他の表示画像などによるユーザ入力の提供のためにアイコンを選択する際に使用することができる。ドラッグは、タッチセンサ式ディスプレイ１１０、１１４で受信する場合、例えば、ディスプレイ内の所望の位置へアイコンもしくはウィンドウを移動する、ディスプレイ上でスタックを並べ換える、または、両ディスプレイをスパンする（その結果、選択したウィンドウは各ディスプレイの部分を同時に占有する）際に使用することができる。フリックは、タッチセンサ式ディスプレイ１１０、１１４またはジェスチャ捕捉領域１２０、１２４で受信する場合、例えば、第１のディスプレイから第２のディスプレイへウィンドウを移動する、または、両ディスプレイをスパンする（その結果、選択したウィンドウは各ディスプレイの部分を同時に占有する）際に使用することができる。しかし、ドラッグジェスチャとは異なり、フリックジェスチャは、一般に、特定のユーザ選択位置へ表示画像を移動する際には使用されないが、ユーザによる構成が不可能なデフォルト位置へ表示画像を移動する際には使用される。 When a tap is received on the touch-sensitive display 110, 114, for example, the start or end of execution of the corresponding application, maximization or minimization of the window, reordering of the windows in the stack, and keyboard display or other It can be used when selecting an icon to provide user input by a display image or the like. When a drag is received on the touch-sensitive displays 110, 114, for example, moving the icon or window to the desired position in the display, reordering the stack on the display, or spanning both displays (as a result The selected window can be used when simultaneously occupying a portion of each display). When the flick is received on the touch sensitive display 110, 114 or the gesture capture area 120, 124, for example, it moves the window from the first display to the second display or spans both displays (as a result The selected window can be used when simultaneously occupying a portion of each display). However, unlike drag gestures, flick gestures are generally not used when moving a display image to a specific user-selected position, but when moving a display image to a default position that cannot be configured by the user. used.
ピンチジェスチャは、タッチセンサ式ディスプレイ１１０、１１４またはジェスチャ捕捉領域１２０、１２４で受信する場合、ウィンドウの表示エリアもしくはサイズを最小化もしくは増加する（通常、共通のディスプレイで全体を受信する場合）、各ディスプレイ上のスタックの最上部に表示されるウィンドウを他のディスプレイのスタックの最上部に切り替える（通常、異なるディスプレイまたは画面で受信する場合）、または、アプリケーションマネージャを表示する（スタックにウィンドウを表示する「ポップアップウィンドウ」）際に使用することができる。スプレッドジェスチャは、タッチセンサ式ディスプレイ１１０、１１４またはジェスチャ捕捉領域１２０、１２４で受信する場合、ウィンドウの表示エリアもしくはサイズを最大化もしくは減少する、各ディスプレイ上のスタックの最上部に表示されるウィンドウを他のディスプレイのスタックの最上部に切り替える（通常、異なるディスプレイまたは画面で受信する場合）、または、アプリケーションマネージャを表示する（同じまたは異なる画面上の画面外ジェスチャ捕捉領域で受信する場合）際に使用することができる。 A pinch gesture minimizes or increases the display area or size of the window when receiving on the touch-sensitive display 110, 114 or the gesture capture area 120, 124 (usually when receiving the whole on a common display) Switch the window that appears at the top of the stack on the display to the top of the stack on another display (usually when receiving on a different display or screen), or display the application manager (display the window on the stack) "Pop-up window") can be used. Spread gestures, when received on touch-sensitive displays 110, 114 or gesture capture areas 120, 124, maximize the window display area or size and reduce the window displayed at the top of the stack on each display. Used when switching to the top of another display stack (usually when receiving on a different display or screen) or when displaying the application manager (when receiving in an off-screen gesture capture area on the same or different screen) can do.
図４Ｇの組み合わされたジェスチャは、共通のディスプレイまたは画面１０４、１０８内の共通のディスプレイ捕捉領域で受信する場合、ジェスチャを受信するディスプレイに一定の第１のスタックに第１のウィンドウスタック位置を保持する一方で、第２のウィンドウスタック位置を第２のウィンドウスタックに並べ替えて、ジェスチャを受信するディスプレイにウィンドウを含める際に使用することができる。図４Ｈの組み合わされたジェスチャは、共通のディスプレイもしくは画面１０４、１０８または異なるディスプレイもしくは画面内の異なるディスプレイ捕捉領域で受信する場合、ジェスチャのタップ部分を受信するディスプレイに一定の第１のウィンドウスタックに第１のウィンドウスタック位置を保持する一方で、第２のウィンドウスタック位置を第２のウィンドウスタックに並べ替えて、フリックまたはドラッグジェスチャを受信するディスプレイにウィンドウを含める際に使用することができる。先行例における特定のジェスチャ及びジェスチャ捕捉領域は、機能的な結果の対応するセットと関連付けられてきたが、これらの関連性は、いかなる方法でも再定義でき、ジェスチャ及び／またはジェスチャ捕捉領域及び／または機能的な結果間で異なる関連性を生成できることを理解されたい。
ファームウェア及びソフトウェア：
メモリ５０８は、１つまたは複数のソフトウェアコンポーネントを格納することができ、プロセッサ５０４は、それを実行することができる。これらのコンポーネントは、少なくとも１つのオペレーティングシステム（ＯＳ）５１６、アプリケーションマネージャ５６２、デスクトップ５６６及び／またはアプリケーションストア５６０からの１つもしくは複数のアプリケーション５６４ａ及び／または５６４ｂを含み得る。ＯＳ ５１６は、以前に図２と併せて説明された、フレームワーク５２０、１つもしくは複数のフレームバッファ５４８、１つもしくは複数のドライバ５１２及び／またはカーネル５１８を含み得る。ＯＳ ５１６は、プログラム及びデータからなる任意のソフトウェアであり得、プログラム及びデータは、コンピュータハードウェアリソースを管理し、さまざまなアプリケーション５６４の実行のための共通のサービスを提供する。ＯＳ ５１６は、任意のオペレーティングシステムであり得、少なくともいくつかの実施形態では、これらに限定されないが、リナックス（Ｌｉｎｕｘ）（登録商標）、アンドロイド（Ａｎｄｒｏｉｄ）（登録商標）、アイフォンＯＳ（ｉＰｈｏｎｅ ＯＳ）（ｉＯＳ（登録商標））、ウィンドウズフォン７（Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ ７）（登録商標）などを含むモバイルデバイス専用である。ＯＳ ５１６は、本明細書に記載されるように、１つまたは複数のオペレーションを実行することによって、電話に機能性を提供するよう動作可能である。
The combined gesture of FIG. 4G retains the first window stack position in a constant first stack on the display that receives the gesture when received on a common display or common display capture area within the screen 104,108. On the other hand, the second window stack position can be rearranged into the second window stack and used to include the window in the display that receives the gesture. When the combined gesture of FIG. 4H is received on a common display or screen 104, 108 or a different display or different display capture area within the screen, the display receiving the tap portion of the gesture is in a constant first window stack. While maintaining the first window stack position, the second window stack position can be rearranged into the second window stack for use in including a window on a display that receives a flick or drag gesture. Although specific gestures and gesture capture regions in the previous examples have been associated with a corresponding set of functional results, these associations can be redefined in any way, and gestures and / or gesture capture regions and / or It should be understood that different associations can be generated between functional results.
Firmware and software:
Memory 508 can store one or more software components, and processor 504 can execute it. These components may include at least one operating system (OS) 516, application manager 562, desktop 566 and / or one or more applications 564a and / or 564b from application store 560. The OS 516 may include a framework 520, one or more frame buffers 548, one or more drivers 512, and / or a kernel 518 as previously described in conjunction with FIG. The OS 516 can be any software comprised of programs and data, which manage computer hardware resources and provide common services for the execution of various applications 564. The OS 516 may be any operating system, and in at least some embodiments, but not limited to, Linux (R), Android (R), iPhone OS (iPhone OS). (IOS (registered trademark)), Windows Phone 7 (Windows Phone 7) (registered trademark), and the like. OS 516 is operable to provide functionality to the phone by performing one or more operations as described herein.
アプリケーション５６４は、ユーザのための特定の機能性を実行する任意の高レベルのソフトウェアであり得る。アプリケーション５６４は、Ｅメールクライアント、ウェブブラウザ、テキストメッセージアプリケーション、ゲーム、メディアプレーヤ、オフィススイートなどのプログラムを含み得る。アプリケーション５６４は、アプリケーションストア５６０に格納することができ、アプリケーションストア５６０は、アプリケーション５６４を格納するための任意のメモリまたはデータストレージ及びそれに関連付けられた管理ソフトウェアを表し得る。実行された時点で、アプリケーション５６４は、メモリ５０８の異なるエリアで実行することができる。 Application 564 may be any high level software that performs specific functionality for the user. Applications 564 may include programs such as email clients, web browsers, text message applications, games, media players, office suites, and the like. Application 564 can be stored in application store 560, which can represent any memory or data storage for storing application 564 and management software associated therewith. Once executed, the application 564 can execute in different areas of the memory 508.
フレームワーク５２０は、デバイス上で実行されている複数のタスクの相互作用を可能にする任意のソフトウェアまたはデータであり得る。実施形態では、フレームワーク５２０の少なくとも部分及び以下で説明する個別のコンポーネントは、ＯＳ ５１６またはアプリケーション５６４の一部と見なすことができる。しかし、それらのコンポーネントはそのように限定されないことを除けば、これらの部分は、フレームワーク５２０の一部として説明される。フレームワーク５２０は、これらに限定されないが、複数ディスプレイ管理（ＭＤＭ）モジュール５２４、サーフェスキャッシュモジュール５２８、ウィンドウ管理モジュール５３２、入力管理モジュール５３６、タスク管理モジュール５４０、アプリケーションモデルマネージャ５４２、ディスプレイコントローラ、１つもしくは複数のフレームバッファ５４８、タスクスタック５５２、１つもしくは複数のウィンドウスタック５５０（ディスプレイエリア内のウィンドウ及び／またはデスクトップの論理構成である）及び／またはイベントバッファ５５６を含み得る。 The framework 520 may be any software or data that allows multiple tasks that are running on the device to interact. In an embodiment, at least a portion of framework 520 and the individual components described below may be considered part of OS 516 or application 564. However, these parts are described as part of the framework 520, except that their components are not so limited. Framework 520 includes, but is not limited to, multiple display management (MDM) module 524, surface cache module 528, window management module 532, input management module 536, task management module 540, application model manager 542, display controller, one Alternatively, it may include a plurality of frame buffers 548, a task stack 552, one or more window stacks 550 (which are a logical arrangement of windows and / or desktops in the display area) and / or an event buffer 556.
ＭＤＭモジュール５２４は、デバイスの画面上でアプリケーションまたは他のデータの表示を管理するよう動作可能な１つまたは複数のモジュールを含む。ＭＤＭモジュール５２４の実施形態は、図５Ｂと併せて説明する。実施形態では、ＭＤＭモジュール５２４は、ドライバ５１２などの他のＯＳ ５１６コンポーネントから及びアプリケーション５６４から入力を受信し、常にデバイス１００の状態を決定する。入力は、アプリケーションの優先度及び要件ならびにユーザ動作に応じてディスプレイをどのように構成して割り当てるかを決定する際にＭＤＭモジュール５２４を支援する。ディスプレイ構成に対する決定がなされた時点で、ＭＤＭモジュール５２４は、アプリケーション５６４とディスプレイとを結合することができる。次いで、１つまたは複数の他のコンポーネントに構成を提供して、ディスプレイでウィンドウを生成することができる。 The MDM module 524 includes one or more modules operable to manage the display of applications or other data on the screen of the device. An embodiment of the MDM module 524 is described in conjunction with FIG. 5B. In an embodiment, the MDM module 524 receives input from other OS 516 components such as the driver 512 and from the application 564 and always determines the state of the device 100. The inputs assist the MDM module 524 in determining how to configure and assign the display according to application priority and requirements and user behavior. Once a decision on the display configuration is made, the MDM module 524 can combine the application 564 and the display. The configuration can then be provided to one or more other components to generate a window on the display.
サーフェスキャッシュモジュール５２８は、ウィンドウの１つまたは複数の画像を格納またはキャッシュするための任意のメモリまたはストレージ及びそれに関連付けられたソフトウェアを含む。一連のアクティブ及び／または非アクティブウィンドウ（またはデスクトップ表示などの他の表示オブジェクト）は、各ディスプレイに関連付けられ得る。アクティブウィンドウ（または他の表示オブジェクト）が現時点で表示されている。非アクティブウィンドウ（または他の表示オブジェクト）は、ある時点で開かれ、表示されていたが、現時点では表示されていない。ユーザ経験を高めるため、ウィンドウをアクティブ状態から非アクティブ状態へ移行する前に、ウィンドウ（または他の表示オブジェクト）の最後に生成された画像の「スクリーンショット」を格納することができる。サーフェスキャッシュモジュール５２８は、現時点で表示されていないウィンドウ（または他の表示オブジェクト）の最後のアクティブ画像のビットマップを格納するよう動作可能であり得る。したがって、サーフェスキャッシュモジュール５２８は、データストアに非アクティブウィンドウ（または他の表示オブジェクト）の画像を格納する。 Surface cache module 528 includes any memory or storage and associated software for storing or caching one or more images of the window. A series of active and / or inactive windows (or other display objects such as a desktop display) may be associated with each display. The active window (or other display object) is currently displayed. An inactive window (or other display object) was opened and displayed at some point, but is not currently displayed. To enhance the user experience, a “screen shot” of the last generated image of the window (or other display object) can be stored before transitioning the window from the active state to the inactive state. The surface cache module 528 may be operable to store a bitmap of the last active image of a window (or other display object) that is not currently displayed. Accordingly, the surface cache module 528 stores an image of the inactive window (or other display object) in the data store.
実施形態では、ウィンドウ管理モジュール５３２は、それぞれのディスプレイ上でアクティブであるまたは非アクティブであるウィンドウ（または他の表示オブジェクト）を管理するよう動作可能である。ウィンドウ管理モジュール５３２は、ＭＤＭモジュール５２４、ＯＳ ５１６または他のコンポーネントからの情報に基づいて、ウィンドウ（または他の表示オブジェクト）がいつ可視であるかまたは非アクティブであるかを決定する。次いで、ウィンドウ管理モジュール５３２は、不可視ウィンドウ（または他の表示オブジェクト）を「非アクティブ状態」に置き、タスク管理モジュールタスク管理５４０と併せて、アプリケーションのオペレーションを一時停止する。さらに、ウィンドウ管理モジュール５３２は、ＭＤＭモジュール５２４との協働相互作用を通じて、ウィンドウ（または他の表示オブジェクト）にディスプレイ識別子を割り当てることも、ウィンドウ（または他の表示オブジェクト）に関連付けられたデータの１つまたは複数の他のアイテムを管理することもできる。また、ウィンドウ管理モジュール５３２は、アプリケーション５６４、タスク管理モジュール５４０、または、ウィンドウ（または他の表示オブジェクト）と相互作用するかもしくは関連付けられた他のコンポーネントに格納された情報を提供することもできる。また、ウィンドウ管理モジュール５３２は、動作空間内のウィンドウフォーカス及びディスプレイ座標に基づいて、入力タスクをウィンドウと関連付けることもできる。 In an embodiment, window management module 532 is operable to manage windows (or other display objects) that are active or inactive on their respective displays. Window management module 532 determines when a window (or other display object) is visible or inactive based on information from MDM module 524, OS 516, or other components. The window management module 532 then places the invisible window (or other display object) in an “inactive state” and suspends the operation of the application in conjunction with the task management module task management 540. In addition, the window management module 532 can assign a display identifier to a window (or other display object) through a cooperative interaction with the MDM module 524, and can also include one of the data associated with the window (or other display object). One or more other items can also be managed. Window management module 532 may also provide information stored in application 564, task management module 540, or other components that interact with or are associated with windows (or other display objects). The window management module 532 can also associate an input task with a window based on window focus and display coordinates in the motion space.
入力管理モジュール５３６は、デバイスで起こるイベントを管理するよう動作可能である。イベントは、例えば、ユーザとのユーザインタフェース相互作用などのウィンドウ環境への任意の入力である。入力管理モジュール５３６は、イベントを受信し、イベントをイベントバッファ５５６に論理的に格納する。イベントは、そのようなユーザインタフェース相互作用を、画面１０４、１０８がユーザからタッチ信号を受信した場合に起こる「ダウンイベント」、ユーザの指が画面を横切って移動していることを画面１０４、１０８が決定した場合に起こる「移動イベント」、ユーザが画面１０４、１０８に触れるのを止めたことを画面１０４、１０８が決定した場合に起こる「アップイベント」などとして含み得る。これらのイベントは、入力管理モジュール５３６によって、受信され、格納され、他のモジュールに転送される。また、入力管理モジュール５３６は、デバイス上で利用可能なすべての物理的及び仮想ディスプレイの集大成である動作空間に画面入力をマッピングすることもできる。 The input management module 536 is operable to manage events that occur on the device. An event is any input to a window environment, such as a user interface interaction with a user. The input management module 536 receives the event and logically stores the event in the event buffer 556. An event is such a user interface interaction, a “down event” that occurs when the screen 104, 108 receives a touch signal from the user, indicating that the user's finger is moving across the screen 104, 108. May be included as a “movement event” that occurs when the screen 104, 108 is determined, an “up event” that occurs when the screen 104, 108 determines that the user has stopped touching the screen 104, 108, or the like. These events are received, stored and forwarded to other modules by the input management module 536. The input management module 536 can also map screen input to an operational space that is a culmination of all physical and virtual displays available on the device.
動作空間は、一緒に「タイル化」してデバイス１００の物理的寸法を模倣した、すべてのタッチセンサ式ディスプレイ１１０、１１４を含む仮想化空間である。例えば、デバイス１００が展開されている場合は、動作空間サイズは９６０×８００であり得、これは、両方のタッチセンサ式ディスプレイ１１０、１１４の組み合わされたディスプレイエリア内の画素数であり得る。ユーザが位置（４０，４０）で第１のタッチセンサ式ディスプレイ１１０に触れる場合、全画面ウィンドウは、位置（４０，４０）でタッチイベントを受信することができる。ユーザが位置（４０，４０）で第２のタッチセンサ式ディスプレイ１１４に触れる場合、全画面ウィンドウは、位置（５２０，４０）でタッチイベントを受信することができるが、その理由は、第２のタッチセンサ式ディスプレイ１１４は第１のタッチセンサ式ディスプレイ１１０の右側にあり、したがって、デバイス１００は、第１のタッチセンサ式ディスプレイ１１０の幅の分、すなわち、４８０画素分だけ、そのタッチにオフセットを設けることができるためである。ドライバ５１２からの位置情報でハードウェアイベントが起こる場合、デバイスの向き及び状態に基づいてイベントの位置が異なり得るため、フレームワーク５２０は、物理的位置を動作空間にアップスケールすることができる。動作空間は、それが教示するすべて及びすべての目的のためにその全体が参照により本明細書に組み込まれる、２０１１年７月２０日に出願された「複数の入力デバイスに及ぶジェスチャ入力を受信するためのシステム及び方法（Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｒｅｃｅｉｖｉｎｇ Ｇｅｓｔｕｒｅ Ｉｎｐｕｔｓ Ｓｐａｎｎｉｎｇ Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ）」と称する米国特許出願第１３／１８７，０２６号明細書に記載されるようなものであり得る。 The operational space is a virtualized space that includes all touch sensitive displays 110, 114 that are “tiled” together to mimic the physical dimensions of the device 100. For example, if the device 100 is deployed, the motion space size may be 960 × 800, which may be the number of pixels in the combined display area of both touch-sensitive displays 110, 114. If the user touches the first touch-sensitive display 110 at position (40, 40), the full screen window can receive a touch event at position (40, 40). If the user touches the second touch-sensitive display 114 at position (40, 40), the full screen window can receive a touch event at position (520, 40) because the second The touch-sensitive display 114 is to the right of the first touch-sensitive display 110, so that the device 100 offsets its touch by the width of the first touch-sensitive display 110, ie, 480 pixels. This is because it can be provided. If a hardware event occurs with location information from the driver 512, the framework 520 can upscale the physical location to the operational space because the location of the event can vary based on the orientation and state of the device. The operational space receives “gesture input spanning multiple input devices” filed on July 20, 2011, which is incorporated herein by reference in its entirety for all and all purposes it teaches. US Pat. Application No. 13 / 187,026, entitled “Systems and Methods for Receiving Gesture Inputs Spanning Multiple Input Devices”.
タスクは、アプリケーションであり得、サブタスクは、ユーザが、例えば、電話をする、写真を撮る、Ｅメールを送信するまたはマップを見るなど何かを行うために情報のやり取りを行うことができるウィンドウを提供するアプリケーションコンポーネントであり得る。各タスクには、ユーザインタフェースを描くためのウィンドウを与えることができる。ウィンドウは、通常、ディスプレイ（例えば、タッチセンサ式ディスプレイ１１０、１１４）全体を占めるが、ディスプレイ１１０、１１４より小さく、他のウィンドウ上で浮動してもよい。アプリケーションは、通常、互いに緩やかに結合された複数のサブタスクからなる。通常、アプリケーション内の１つのタスクが「メイン」タスクとして指定され、最初にアプリケーションに着手する際にユーザに提示される。次いで、各タスクは、別のタスクまたはサブタスクを開始して、異なる動作を実行することができる。 A task can be an application, and a subtask is a window where users can exchange information to do something, for example, call, take a picture, send an email, or view a map. It can be an application component to provide. Each task can be given a window for drawing a user interface. The window typically occupies the entire display (eg, touch sensitive displays 110, 114), but is smaller than the displays 110, 114 and may float on other windows. An application typically consists of multiple subtasks that are loosely coupled together. Typically, one task in an application is designated as the “main” task and is presented to the user when first starting the application. Each task can then initiate another task or subtask to perform a different operation.
タスク管理モジュール５４０は、デバイスによって実行することができる１つまたは複数のアプリケーション５６４のオペレーションを管理するよう動作可能である。したがって、タスク管理モジュール５４０は、信号を受信して、アプリケーションストア５６０に格納されたアプリケーションまたはアプリケーションサブタスクの着手、一時停止、終了などを行うことができる。次いで、タスク管理モジュール５４０は、アプリケーション５６４の１つまたは複数のタスクまたはサブタスクのインスタンスを作成し、アプリケーション５６４のオペレーションを開始することができる。さらに、タスク管理モジュール５４０は、ユーザ入力の結果または協働フレームワーク５２０コンポーネントからの信号の結果、タスクまたはサブタスクの着手、一時停止または終了を行うことができる。タスク管理モジュール５４０は、アプリケーションの着手からアプリケーションの終了までのアプリケーション（タスク及びサブタスク）のライフサイクルの管理に対する責任を有する。 Task management module 540 is operable to manage the operation of one or more applications 564 that can be executed by the device. Therefore, the task management module 540 can receive the signal and start, pause, end, and the like of the application or application subtask stored in the application store 560. Task management module 540 may then create an instance of one or more tasks or subtasks of application 564 and begin operation of application 564. Further, the task management module 540 can initiate, pause or terminate a task or subtask as a result of user input or as a result of a signal from a collaborative framework 520 component. The task management module 540 is responsible for managing the lifecycle of applications (tasks and subtasks) from application start to application termination.
タスク管理モジュール５４０の処理は、タスクスタック５５２によって容易にし、タスクスタック５５２は、タスク管理モジュール５４０に関連付けられた論理構造である。タスクスタック５５２は、デバイス１００上のすべてのタスク及びサブタスクの状態を維持する。オペレーティングシステム５１６の一部のコンポーネントがタスクまたはサブタスクにそのライフサイクルにおける移行を行わせる必要がある場合、ＯＳ ５１６コンポーネントは、タスク管理モジュール５４０に通知することができる。次いで、タスク管理モジュール５４０は、識別情報を使用してタスクスタック５５２においてタスクまたはサブタスクを位置付け、タスクがどのようなライフサイクル移行を実行する必要があるかを示す信号をタスクまたはサブタスクに送信する。移行についてタスクまたはサブタスクに通知することにより、タスクまたはサブタスクは、ライフサイクル状態移行の準備を行うことができる。次いで、タスク管理モジュール５４０は、タスクまたはサブタスクに対する状態移行を実行することができる。実施形態では、状態移行は、終了が必要な場合に、ＯＳカーネル５１８をトリガしてタスクを終了することを伴う場合がある。 The processing of the task management module 540 is facilitated by a task stack 552, which is a logical structure associated with the task management module 540. Task stack 552 maintains the state of all tasks and subtasks on device 100. The OS 516 component can notify the task management module 540 when some component of the operating system 516 needs to cause a task or subtask to make a transition in its life cycle. The task management module 540 then uses the identification information to locate the task or subtask in the task stack 552 and sends a signal to the task or subtask indicating what lifecycle transition the task needs to perform. By notifying the task or subtask about the transition, the task or subtask can prepare for the lifecycle state transition. The task management module 540 can then perform a state transition for the task or subtask. In an embodiment, the state transition may involve triggering the OS kernel 518 to terminate the task when termination is required.
さらに、タスク管理モジュール５４０は、ウィンドウ管理モジュール５３２からの情報に基づいて、アプリケーション５６４を一時停止することができる。アプリケーション５６４の一時停止により、メモリ内のアプリケーションデータを維持することができるが、ウィンドウまたはユーザインタフェースのレンダリングからアプリケーション５６４を制限することも停止することもある。再びアプリケーションがアクティブ状態になった時点で、タスク管理モジュール５４０は、再び、アプリケーションをトリガして、そのユーザインタフェースをレンダリングすることができる。実施形態では、タスクが一時停止されれば、タスクは、タスクの終了が行われる場合は、タスクの状態を保存することができる。一時停止状態では、アプリケーションウィンドウはユーザから見えないため、アプリケーションタスクは、入力を受信することはできない。 Further, the task management module 540 can suspend the application 564 based on information from the window management module 532. Suspending application 564 can maintain application data in memory, but may limit or stop application 564 from rendering the window or user interface. When the application becomes active again, the task management module 540 can again trigger the application to render its user interface. In an embodiment, if a task is paused, the task can save the task state if the task is terminated. In the paused state, the application window cannot be seen by the user, so the application task cannot receive input.
フレームバッファ５４８は、ユーザインタフェースのレンダリングに使用される論理構造である。フレームバッファ５４８は、ＯＳカーネル５１８によって作成及び破壊され得る。しかし、ディスプレイコントローラ５４４は、可視ウィンドウに対し、画像データをフレームバッファ５４８に書き込むことができる。フレームバッファ５４８は、１つの画面または複数の画面に関連付けられ得る。画面とのフレームバッファ５４８の関連性は、ＯＳカーネル５１８との相互作用によって動的に制御することができる。複合ディスプレイは、複数の画面を単一のフレームバッファ５４８と関連付けることによって作成することができる。次いで、アプリケーションのウィンドウのユーザインタフェースのレンダリングに使用されるグラフィカルなデータは、複合ディスプレイに対し、単一のフレームバッファ５４８に書き込むことができ、それは複数画面１０４、１０８に出力される。ディスプレイコントローラ５４４は、アプリケーションのユーザインタフェースを、特定のディスプレイ１１０、１１４にマッピングされたフレームバッファ５４８の一部に移動させることができ、したがって、１つの画面１０４または１０８上にのみユーザインタフェースを表示することができる。ディスプレイコントローラ５４４は、ユーザインタフェースの制御を複数のアプリケーションに拡大し、フレームバッファ５４８またはその一部と関連付けられるだけの数のディスプレイに対してユーザインタフェースを制御することができる。この手法は、ディスプレイコントローラ５４４上のソフトウェアコンポーネントで使用中の複数の物理的画面１０４、１０８を補整する。 The frame buffer 548 is a logical structure used for user interface rendering. Frame buffer 548 may be created and destroyed by OS kernel 518. However, the display controller 544 can write image data into the frame buffer 548 for the visible window. Frame buffer 548 may be associated with one screen or multiple screens. The association of the frame buffer 548 with the screen can be dynamically controlled by interaction with the OS kernel 518. A composite display can be created by associating multiple screens with a single frame buffer 548. The graphical data used to render the user interface of the application window can then be written to a single frame buffer 548 for the composite display, which is output to multiple screens 104, 108. The display controller 544 can move the application's user interface to a portion of the frame buffer 548 that is mapped to a particular display 110, 114, thus displaying the user interface only on one screen 104 or 108. be able to. Display controller 544 can extend user interface control to multiple applications and control the user interface for as many displays as are associated with frame buffer 548 or a portion thereof. This approach compensates for multiple physical screens 104, 108 that are in use by software components on the display controller 544.
アプリケーションマネージャ５６２は、ウィンドウ環境に対するプレゼンテーション層を提供するアプリケーションである。したがって、アプリケーションマネージャ５６２は、タスク管理モジュール５４０によるレンダリングのためのグラフィカルなモデルを提供する。同様に、デスクトップ５６６は、アプリケーションストア５６０に対するプレゼンテーション層を提供する。したがって、デスクトップは、レンダリング用にウィンドウ管理モジュール５５６に提供することができるアプリケーションストア５６０内のアプリケーション５６４用の選択可能なアプリケーションアイコンを有する表面のグラフィカルなモデルを提供する。 The application manager 562 is an application that provides a presentation layer for the window environment. Accordingly, application manager 562 provides a graphical model for rendering by task management module 540. Similarly, desktop 566 provides a presentation layer for application store 560. Thus, the desktop provides a graphical model of the surface with selectable application icons for applications 564 in application store 560 that can be provided to window management module 556 for rendering.
さらに、フレームワークは、アプリケーションモデルマネージャ（ＡＭＭ）５４２を含み得る。アプリケーションマネージャ５６２は、ＡＭＭ ５４２とインタフェースをとることができる。実施形態では、ＡＭＭ ５４２は、アプリケーションの状態（実行中または一時停止中）に関する状態変化情報をデバイス１００から受信する。ＡＭＭ ５４２は、サーフェスキャッシュモジュール５２８からのビットマップ画像を活動中（実行中または一時停止中）のタスクと関連付けることができる。さらに、ＡＭＭ ５４２は、タスク管理モジュール５４０内で維持されている論理的ウィンドウスタックを、ディスプレイ外のジェスチャ捕捉エリア１２０を使用してウィンドウをより分ける際にユーザが捉える線形（「フィルムストリップ」または「トランプ一組」）組織に変換することができる。さらに、ＡＭＭ ５４２は、実行中のアプリケーションのリストを、アプリケーションマネージャ５６２に提供することができる。 Further, the framework may include an application model manager (AMM) 542. Application manager 562 can interface with AMM 542. In an embodiment, the AMM 542 receives state change information from the device 100 regarding the state of the application (running or paused). AMM 542 may associate the bitmap image from surface cache module 528 with an active (running or paused) task. In addition, the AMM 542 uses a linear ("film strip" or "films") that captures the logical window stack maintained within the task management module 540 as the windows are separated using the gesture capture area 120 outside the display. A set of playing cards ") can be converted into an organization. Further, AMM 542 may provide a list of running applications to application manager 562.
ＭＤＭモジュール５２４の実施形態を図５Ｂに示す。ＭＤＭモジュール５２４は、これらに限定されないが、デバイスの向き、デバイス１００は開いているかまたは閉じているか、どのアプリケーション５６４を実行しているか、どのようにアプリケーション５６４を表示するか、ユーザはどの動作を行っているか、表示されているタスクなどを含むデバイスのための環境の状態を決定するよう動作可能である。ディスプレイを構成するため、ＭＤＭモジュール５２４は、図６Ａ〜６Ｊと併せて説明されるように、これらの環境要因を解釈し、ディスプレイ構成を決定する。次いで、ＭＤＭモジュール５２４は、アプリケーション５６４または他のデバイスコンポーネントをディスプレイと結合することができる。次いで、ディスプレイコントローラ５４４及び／またはＯＳ ５１６内の他のコンポーネントに構成を送信し、ディスプレイを生成することができる。ＭＤＭモジュール５２４は、これらに限定されないが、ディスプレイ構成モジュール５６８、優先度モジュール５７２、デバイス状態モジュール５７４、ジェスチャモジュール５７６、要件モジュール５８０、イベントモジュール５８４及び／または結合モジュール５８８のうちの１つまたは複数を含み得る。 An embodiment of the MDM module 524 is shown in FIG. 5B. The MDM module 524 includes, but is not limited to, device orientation, whether the device 100 is open or closed, which application 564 is running, how the application 564 is displayed, and what action the user performs. It is operable to determine the state of the environment for the device that is performing, including the task being displayed, etc. To configure the display, the MDM module 524 interprets these environmental factors and determines the display configuration, as described in conjunction with FIGS. The MDM module 524 can then combine the application 564 or other device component with the display. The configuration can then be sent to display controller 544 and / or other components within OS 516 to generate a display. The MDM module 524 includes, but is not limited to, one or more of a display configuration module 568, a priority module 572, a device status module 574, a gesture module 576, a requirements module 580, an event module 584, and / or a binding module 588. Can be included.
ディスプレイ構成モジュール５６８は、ディスプレイ用のレイアウトを決定する。実施形態では、ディスプレイ構成モジュール５６８は、環境因子を決定することができる。環境因子は、１つまたは複数の他のＭＤＭモジュール５２４からまたは他のソースから受信することができる。次いで、ディスプレイ構成モジュール５６８は、因子のリストからディスプレイに最適な構成を決定することができる。可能な構成及びそれに関連付けられた因子のいくつかの実施形態については、図６Ａ〜６Ｆと併せて説明する。 Display configuration module 568 determines the layout for the display. In embodiments, the display configuration module 568 can determine environmental factors. Environmental factors may be received from one or more other MDM modules 524 or from other sources. The display configuration module 568 can then determine the optimal configuration for the display from the list of factors. Some embodiments of possible configurations and associated factors are described in conjunction with FIGS.
優先度モジュール５７２は、アプリケーション５６４または他のコンポーネントの表示優先度を決定するよう動作可能である。例えば、アプリケーションは、単一またはデュアルディスプレイに対する優先度を有し得る。優先度モジュール５７２は、アプリケーションの表示優先度を決定することができ（例えば、アプリケーションの優先度設定を検査することによって）、デバイス１００が好ましいモードに対応することができる状態にある場合は、アプリケーション５６４がモード（例えば、単一画面、二重画面、最大など）を変更することを可能にする場合がある。しかし、いくつかのユーザインタフェース方針は、そのモードが利用可能であっても、モードを認めない場合がある。デバイスの構成が変化すると、優先度を見直して、アプリケーション５６４に対してより良いディスプレイ構成を実現できるかどうかを決定することができる。 The priority module 572 is operable to determine the display priority of the application 564 or other component. For example, an application may have a priority for single or dual displays. The priority module 572 can determine the display priority of the application (eg, by examining the priority setting of the application) and if the device 100 is in a state that can support the preferred mode, the application 564 may allow changing modes (eg, single screen, dual screen, maximum, etc.). However, some user interface policies may not allow a mode even if that mode is available. As the device configuration changes, the priority can be reviewed to determine whether a better display configuration can be achieved for the application 564.
デバイス状態モジュール５７４は、デバイスの状態を決定または受信するよう動作可能である。デバイスの状態は、図３Ａ及び３Ｂと併せて説明されるようなものであり得る。デバイスの状態は、ディスプレイ構成モジュール５６８で使用して、ディスプレイの構成を決定することができる。このように、デバイス状態モジュール５７４は、入力を受信し、デバイスの状態を解釈することができる。次いで、状態情報は、ディスプレイ構成モジュール５６８に提供される。 Device status module 574 is operable to determine or receive the status of the device. The state of the device may be as described in conjunction with FIGS. 3A and 3B. The device status can be used in the display configuration module 568 to determine the configuration of the display. In this way, the device status module 574 can receive input and interpret the status of the device. The status information is then provided to the display configuration module 568.
ジェスチャモジュール５７６は、ＭＤＭモジュール５２４の一部として示されるが、実施形態では、ジェスチャモジュール５７６は、ＭＤＭモジュール５２４から分離された別々のフレームワーク５２０コンポーネントであり得る。実施形態では、ジェスチャモジュール５７６は、ユーザインタフェースの任意の部分でユーザが何らかの動作を行っているかどうかを決定するよう動作可能である。代替の実施形態では、ジェスチャモジュール５７６は、構成可能なエリア１１２、１１６のみからユーザインタフェース動作を受信する。ジェスチャモジュール５７６は、入力管理モジュール５３６を用いて、構成可能なエリア１１２、１１６（または、場合により、他のユーザインタフェースエリア）上で起こるタッチイベントを受信することができ、タッチイベントを解釈して（方向、速度、距離、持続時間及びさまざまな他のパラメータを使用して）ユーザがどのようなジェスチャを実行しているかを決定することができる。ジェスチャが解釈されると、ジェスチャモジュール５７６は、ジェスチャの処理に着手することができ、他のフレームワーク５２０コンポーネントと協働して、必要なウィンドウアニメーションを管理することができる。ジェスチャモジュール５７６は、アプリケーションモデルマネージャ５４２と協働して、どのアプリケーションが実行中（アクティブまたは一時停止）か、及び、ユーザジェスチャが実行される際にアプリケーションが現れなければならない順番に関する状態情報を収集する。また、ジェスチャモジュール５７６は、ビットマップ（サーフェスキャッシュモジュール５２８から）及びライブウィンドウへの参照を受信することができ、その結果、ジェスチャが起こると、ジェスチャモジュール５７６は、ディスプレイ１１０、１１４を横切ってウィンドウを移動させる方法をディスプレイコントローラ５４４に指示することができる。したがって、一時停止されたアプリケーションは、それらのウィンドウがディスプレイ１１０、１１４を横切って移動すると、実行しているように見える。 Although the gesture module 576 is shown as part of the MDM module 524, in an embodiment, the gesture module 576 may be a separate framework 520 component that is separate from the MDM module 524. In an embodiment, the gesture module 576 is operable to determine whether the user is performing any action at any part of the user interface. In an alternative embodiment, gesture module 576 receives user interface operations only from configurable areas 112, 116. The gesture module 576 can receive touch events that occur on the configurable areas 112, 116 (or possibly other user interface areas) using the input management module 536 and interpret the touch events. It is possible to determine what gesture the user is performing (using direction, speed, distance, duration and various other parameters). Once the gesture is interpreted, the gesture module 576 can begin processing the gesture and can work with other framework 520 components to manage the necessary window animation. Gesture module 576 collaborates with application model manager 542 to collect state information regarding which applications are running (active or paused) and the order in which the applications must appear when a user gesture is performed. To do. Also, the gesture module 576 can receive a bitmap (from the surface cache module 528) and a reference to the live window so that when a gesture occurs, the gesture module 576 crosses the display 110, 114 to the window. The display controller 544 can be instructed how to move. Thus, suspended applications appear to be running as their windows move across the displays 110,114.
さらに、ジェスチャモジュール５７６は、タスク管理モジュール５４０または入力管理モジュール５３６のいずれかからタスク情報を受信することができる。ジェスチャは、図４Ａ〜４Ｈと併せて定義されるようなものであり得る。例えば、ウィンドウの移動により、ディスプレイは、ウィンドウの移動を示す一連のディスプレイフレームをレンダリングする。そのようなユーザインタフェース相互作用に関連付けられたジェスチャは、ジェスチャモジュール５７６で受信し解釈することができる。次いで、ユーザジェスチャについての情報はタスク管理モジュール５４０に送信され、タスクのディスプレイ結合が修正される。 Further, the gesture module 576 can receive task information from either the task management module 540 or the input management module 536. The gesture may be as defined in conjunction with FIGS. For example, window movement causes the display to render a series of display frames that indicate window movement. Gestures associated with such user interface interactions can be received and interpreted by gesture module 576. Information about the user gesture is then sent to the task management module 540 to modify the task display binding.
優先度モジュール５７２と同様の要件モジュール５８０は、アプリケーション５６４または他のコンポーネントに対するディスプレイ要件を決定するよう動作可能である。アプリケーションは、観察しなければならないディスプレイ要件セットを有し得る。いくつかのアプリケーションは、特定のディスプレイ方向を必要とする。例えば、アプリケーション「アングリバード（Ａｎｇｒｙ Ｂｉｒｄｓ）」は、横向きでのみ表示することができる。この種のディスプレイ要件は、要件モジュール５８０によって決定または受信することができる。デバイスの向きが変更されると、要件モジュール５８０は、アプリケーション５６４に対するディスプレイ要件を再び主張することができる。ディスプレイ構成モジュール５６８は、要件モジュール５８０によって提供されるアプリケーション表示要件に従ったディスプレイ構成を生成することができる。 Similar to priority module 572, requirements module 580 is operable to determine display requirements for application 564 or other components. An application may have a set of display requirements that must be observed. Some applications require a specific display orientation. For example, the application “Angry Birds” can only be displayed in landscape orientation. This type of display requirement can be determined or received by the requirements module 580. When the device orientation is changed, the requirements module 580 can claim the display requirements for the application 564 again. Display configuration module 568 can generate a display configuration in accordance with application display requirements provided by requirements module 580.
ジェスチャモジュール５７６と同様のイベントモジュール５８４は、ユーザインタフェースに影響を及ぼし得るアプリケーションまたは他のコンポーネントで起こる１つまたは複数のイベントを決定するよう動作可能である。したがって、イベントモジュール５８４は、イベントバッファ５５６またはタスク管理モジュール５４０のいずれかからイベント情報を受信することができる。これらのイベントは、タスクがどのようにディスプレイと結合されるか変更することができる。イベントモジュール５８４は、他のフレームワーク５２０コンポーネントから状態変化情報を収集し、その状態変化情報に応じて作用され得る。一例では、電話が開かれるか、または閉じられる場合、または方向変化が生じる場合、新しいメッセージが二次画面にレンダリングされる。このイベントに基づく状態変化は、イベントモジュール５８４により受信され、解釈されることができる。次いで、イベントについての情報は、ディスプレイ構成モジュール５６８に送信され、ディスプレイの構成を修正することができる。 An event module 584 similar to the gesture module 576 is operable to determine one or more events that occur in an application or other component that can affect the user interface. Thus, event module 584 can receive event information from either event buffer 556 or task management module 540. These events can change how tasks are combined with the display. The event module 584 collects state change information from other framework 520 components and can be acted upon in response to the state change information. In one example, a new message is rendered on the secondary screen when the phone is opened or closed, or when a change of direction occurs. State changes based on this event can be received and interpreted by the event module 584. Information about the event can then be sent to the display configuration module 568 to modify the configuration of the display.
結合モジュール５８８は、アプリケーション５６４または他のコンポーネントをディスプレイ構成モジュール５６８によって決定された構成と結合するよう動作可能である。結合は、メモリ内で、各アプリケーションに対するディスプレイ構成をアプリケーションの表示及びモードと関連付ける。したがって、結合モジュール５８８は、アプリケーションをそのアプリケーションに対するディスプレイ構成（例えば、横向き、縦向き、複数画面など）と関連付けることができる。次いで、結合モジュール５８８は、ディスプレイ識別子をディスプレイに割り当てることができる。ディスプレイ識別子は、アプリケーションをデバイス１００の特定のディスプレイと関連付ける。次いで、この結合は、格納され、ディスプレイコントローラ５４４、ＯＳ ５１６の他のコンポーネントまたは他のコンポーネントに提供され、ディスプレイが適正にレンダリングされる。結合は、動的であり、イベント、ジェスチャ、状態変化、アプリケーション優先度または要件などに関連付けられた構成変更に基づいて、変更することも更新することもできる。
ユーザインタフェース構成：
ここで図６Ａ〜Ｊを参照し、デバイス１００によって可能となったさまざまなタイプの出力構成について以下で説明する。
The combination module 588 is operable to combine the application 564 or other component with the configuration determined by the display configuration module 568. Binding associates the display configuration for each application with the display and mode of the application in memory. Thus, the combining module 588 can associate an application with a display configuration for the application (eg, landscape, portrait, multiple screens, etc.). The binding module 588 can then assign a display identifier to the display. The display identifier associates the application with a specific display on device 100. This combination is then stored and provided to display controller 544, other components of OS 516 or other components, and the display rendered properly. The binding is dynamic and can be changed or updated based on configuration changes associated with events, gestures, state changes, application priorities or requirements, and the like.
User interface configuration:
With reference now to FIGS. 6A-J, various types of output configurations enabled by the device 100 are described below.
図６Ａ及び６Ｂは、第１の状態にあるデバイス１００の２つの異なる出力構成を描写する。具体的には、図６Ａは、閉縦向き状態３０４にあるデバイス１００を描写し、データは、一次画面１０４に表示される。この例では、デバイス１００は、第１の縦向き構成６０４でタッチセンサ式ディスプレイ１１０を介してデータを表示する。理解できるように、第１の縦向き構成６０４は、デスクトップまたはオペレーティングシステムホーム画面のみを表示することができる。あるいは、デバイス１００が第１の縦向き構成６０４でデータを表示している間、１つまたは複数のウィンドウを縦向きで提示することができる。 6A and 6B depict two different output configurations of device 100 in a first state. Specifically, FIG. 6A depicts the device 100 in a closed portrait state 304 and the data is displayed on the primary screen 104. In this example, the device 100 displays data via the touch-sensitive display 110 in the first portrait configuration 604. As can be appreciated, the first portrait configuration 604 can only display a desktop or operating system home screen. Alternatively, one or more windows can be presented in portrait orientation while the device 100 is displaying data in the first portrait configuration 604.
図６Ｂは、依然として閉縦向き状態３０４にあるデバイス１００を描写するが、代わりに、データは、二次画面１０８に表示される。この例では、デバイス１００は、第２の縦向き構成６０８でタッチセンサ式ディスプレイ１１４を介してデータを表示する。 FIG. 6B depicts the device 100 still in the closed portrait state 304, but instead the data is displayed on the secondary screen 108. In this example, the device 100 displays data via the touch-sensitive display 114 in the second portrait configuration 608.
第１または第２の縦向き構成６０４、６０８のいずれかで同様のまたは異なるデータを表示することが可能である場合がある。また、ユーザジェスチャ（例えば、ダブルタップジェスチャ）、メニュー選択または他の手段をデバイス１００に提供することによって、第１の縦向き構成６０４と第２の縦向き構成６０８との間を移行することが可能である場合もある。また、他の適切なジェスチャを使用して、構成間を移行することもできる。その上、デバイス１００がどの状態に移動されるかに応じて、第１または第２の縦向き構成６０４、６０８から本明細書に記載される他の任意の構成へデバイス１００を移行することが可能である場合もある。 It may be possible to display similar or different data in either the first or second portrait configuration 604,608. Also, transitioning between the first portrait orientation 604 and the second portrait orientation 608 can be provided by providing the device 100 with a user gesture (eg, a double tap gesture), menu selection, or other means. It may be possible. Other suitable gestures can also be used to move between configurations. Moreover, depending on which state the device 100 is moved to, the device 100 may be transitioned from the first or second portrait configuration 604, 608 to any other configuration described herein. It may be possible.
代替の出力構成は、第２の状態にあるデバイス１００によって対応することができる。具体的には、図６Ｃは、第３の縦向き構成を描写し、データは、一次画面１０４と二次画面１０８の両方に同時に表示される。第３の縦向き構成は、デュアル縦向き（ＰＤ）出力構成と呼ばれる場合がある。ＰＤ出力構成では、一次画面１０４のタッチセンサ式ディスプレイ１１０は、第１の縦向き構成６０４でデータを描写する一方で、二次画面１０８のタッチセンサ式ディスプレイ１１４は、第２の縦向き構成６０８でデータを描写する。第１の縦向き構成６０４と第２の縦向き構成６０８の同時プレゼンテーションは、デバイス１００が開縦向き状態３２０にある場合に起こり得る。この構成では、デバイス１００は、１つのアプリケーションウィンドウを１つのディスプレイ１１０または１１４に、２つのアプリケーションウィンドウを（それぞれのディスプレイ１１０及び１１４に１つずつ）、１つのアプリケーションウィンドウと１つのデスクトップを、または、１つのデスクトップを表示することができる。また、他の構成も可能である場合がある。デバイス１００がどの状態に移動されるかに応じて、構成６０４、６０８の同時表示から本明細書に記載される他の任意の構成へデバイス１００を移行することが可能である場合もあることを理解されたい。その上、この状態にある間、アプリケーションの表示優先度により、両ディスプレイがアクティブであり、同じアプリケーションで異なるウィンドウを表示する両面モードにデバイスが置かれる場合がある。例えば、カメラアプリケーションは、一面でファインダ及び制御を表示することができる一方で、他面は被写体で見ることができるミラーリングされたプレビューを表示する。また、２人のプレーヤによる同時プレーを伴うゲームも、両面モードを利用することができる。 Alternative output configurations can be accommodated by the device 100 in the second state. Specifically, FIG. 6C depicts a third portrait configuration, where data is displayed on both primary screen 104 and secondary screen 108 simultaneously. The third portrait orientation may be referred to as a dual portrait (PD) output configuration. In the PD output configuration, the touch-sensitive display 110 on the primary screen 104 depicts data in the first portrait orientation 604, while the touch-sensitive display 114 on the secondary screen 108 has the second portrait orientation 608. Describe the data with. Simultaneous presentation of the first portrait configuration 604 and the second portrait configuration 608 may occur when the device 100 is in the open portrait state 320. In this configuration, the device 100 has one application window on one display 110 or 114, two application windows (one on each display 110 and 114), one application window and one desktop, or One desktop can be displayed. Other configurations may also be possible. Depending on which state the device 100 is moved to, it may be possible to transition the device 100 from the simultaneous display of configurations 604, 608 to any other configuration described herein. I want you to understand. Moreover, while in this state, depending on the display priority of the application, both displays may be active and the device may be placed in a duplex mode that displays different windows in the same application. For example, the camera application can display the viewfinder and controls on one side, while the other side displays a mirrored preview that can be viewed on the subject. A game involving simultaneous play by two players can also use the duplex mode.
図６Ｄ及び６Ｅは、第３の状態にあるデバイス１００の２つのさらなる出力構成を描写する。具体的には、図６Ｄは、閉横向き状態３４０にあるデバイス１００を描写し、データは、一次画面１０４に表示される。この例では、デバイス１００は、第１の横向き構成６１２でタッチセンサ式ディスプレイ１１０を介してデータを表示する。本明細書に記載される他の構成に類似して、第１の横向き構成６１２は、デスクトップ、ホーム画面、アプリケーションデータを表示する１つもしくは複数のウィンドウまたは同様のものを表示することができる。 6D and 6E depict two additional output configurations for device 100 in a third state. Specifically, FIG. 6D depicts the device 100 in a closed landscape state 340 and the data is displayed on the primary screen 104. In this example, device 100 displays data via touch-sensitive display 110 in a first landscape configuration 612. Similar to the other configurations described herein, the first landscape configuration 612 may display a desktop, home screen, one or more windows that display application data, or the like.
図６Ｅは、依然として閉横向き状態３４０にあるデバイス１００を描写するが、代わりに、データは、二次画面１０８に表示される。この例では、デバイス１００は、第２の横向き構成６１６でタッチセンサ式ディスプレイ１１４を介してデータを表示する。第１または第２の横向き構成６１２、６１６のいずれかで同様のまたは異なるデータを表示することが可能である場合がある。ツイスト及びタップジェスチャまたはフリップ及びスライドジェスチャの一方または両方をデバイス１００に提供することによって、第１の横向き構成６１２と第２の横向き構成６１６との間を移行することが可能である場合もある。また、他の適切なジェスチャを使用して、構成間を移行することもできる。その上、デバイス１００がどの状態に移動されるかに応じて、第１または第２の横向き構成６１２、６１６から本明細書に記載される他の任意の構成へデバイス１００を移行することが可能である場合もある。 FIG. 6E depicts the device 100 still in the closed sideways state 340, but instead the data is displayed on the secondary screen 108. In this example, the device 100 displays data via the touch-sensitive display 114 in the second landscape configuration 616. It may be possible to display similar or different data in either the first or second landscape configuration 612,616. It may be possible to transition between the first sideways configuration 612 and the second sideways configuration 616 by providing the device 100 with one or both of twist and tap gestures or flip and slide gestures. Other suitable gestures can also be used to move between configurations. Moreover, depending on which state the device 100 is moved to, the device 100 can be transitioned from the first or second landscape configuration 612, 616 to any other configuration described herein. Can be.
図６Ｆは、第３の横向き構成を描写し、データは、一次画面１０４と二次画面１０８の両方に同時に表示される。第３の横向き構成は、デュアル横向き（ＬＤ）出力構成と呼ばれる場合がある。ＬＤ出力構成では、一次画面１０４のタッチセンサ式ディスプレイ１１０は、第１の横向き構成６１２でデータを描写する一方で、二次画面１０８のタッチセンサ式ディスプレイ１１４は、第２の横向き構成６１６でデータを描写する。第１の横向き構成６１２と第２の横向き構成６１６の同時プレゼンテーションは、デバイス１００が開横向き状態３４０にある場合に起こり得る。デバイス１００がどの状態に移動されるかに応じて、構成６１２、６１６の同時表示から本明細書に記載される他の任意の構成へデバイス１００を移行することが可能である場合もあることを理解されたい。 FIG. 6F depicts a third landscape configuration, where data is displayed on both the primary screen 104 and the secondary screen 108 simultaneously. The third landscape configuration may be referred to as a dual landscape (LD) output configuration. In the LD output configuration, the touch-sensitive display 110 on the primary screen 104 depicts data in the first landscape configuration 612 while the touch-sensitive display 114 on the secondary screen 108 displays data in the second landscape configuration 616. Describe. Simultaneous presentation of the first landscape configuration 612 and the second landscape configuration 616 may occur when the device 100 is in the open landscape state 340. Depending on which state the device 100 is moved to, it may be possible to move the device 100 from the simultaneous display of configurations 612, 616 to any other configuration described herein. I want you to understand.
図６Ｇ及び６Ｈは、さらに別の状態にあるデバイス１００の２つの図を描写する。具体的には、デバイス１００は、イーゼル状態３１２にあるものとして描写される。図６Ｇは、第１のイーゼル出力構成６１８をタッチセンサ式ディスプレイ１１０に表示できることを示す。図６Ｈは、第２のイーゼル出力構成６２０をタッチセンサ式ディスプレイ１１４に表示できることを示す。デバイス１００は、第１のイーゼル出力構成６１８または第２のイーゼル出力構成６２０のいずれかを個別に描写するよう構成することができる。あるいは、イーゼル出力構成６１８、６２０の両方を同時に提示することができる。いくつかの実施形態では、イーゼル出力構成６１８、６２０は、横向き出力構成６１２、６１６と同様でも同一でもよい。また、デバイス１００は、変形イーゼル状態３１６にある間、イーゼル出力構成６１８、６２０の一方または両方を表示するよう構成することができる。イーゼル出力構成６１８、６２０の同時利用は、２人用のゲーム（例えば、バトルシップ（Ｂａｔｔｌｅｓｈｉｐ）（登録商標）、チェス、チェッカなど）、２人以上のユーザが同じデバイス１００及び他のアプリケーションを共有する複数ユーザ会議を容易にできることを理解されたい。理解できるように、デバイス１００がどの状態に移動されるかに応じて、構成６１８、６２０の一方または両方のディスプレイから本明細書に記載される他の任意の構成へデバイス１００を移行することが可能である場合もある。 6G and 6H depict two views of device 100 in yet another state. Specifically, device 100 is depicted as being in easel state 312. FIG. 6G illustrates that the first easel output configuration 618 can be displayed on the touch-sensitive display 110. FIG. 6H illustrates that the second easel output configuration 620 can be displayed on the touch-sensitive display 114. Device 100 can be configured to individually depict either first easel output configuration 618 or second easel output configuration 620. Alternatively, both easel output configurations 618, 620 can be presented simultaneously. In some embodiments, the easel output configurations 618, 620 may be similar or identical to the landscape output configurations 612, 616. The device 100 may also be configured to display one or both of the easel output configurations 618, 620 while in the modified easel state 316. Simultaneous use of easel output configurations 618, 620 allows games for two players (eg, Battleship®, chess, checkers, etc.), two or more users sharing the same device 100 and other applications It should be understood that multiple user meetings can be facilitated. As can be appreciated, depending on which state the device 100 is moved to, the device 100 may be transitioned from one or both displays of configurations 618, 620 to any other configuration described herein. It may be possible.
図６Ｉは、デバイス１００が開縦向き状態３２０にある間に対応することができるさらなる別の出力構成を描写する。具体的には、デバイス１００は、本明細書で縦向きマックス（ＰＭａｘ）構成６２４と呼ばれる縦向き構成で、両方のタッチセンサ式ディスプレイ１１０、１１４にわたって単一の連続画像を提示するよう構成することができる。この構成では、データ（例えば、単一画像、アプリケーション、ウィンドウ、アイコン、ビデオなど）は、分割して、タッチセンサ式ディスプレイの１つに部分的に表示する一方で、データの他の部分を他のタッチセンサ式ディスプレイに表示することができる。Ｐｍａｘ構成６２４は、デバイス１００上に特定の画像を表示するためのより大きな表示及び／またはより良好な解像度を容易にすることができる。他の出力構成と同様に、デバイス１００がどの状態に移動されるかに応じて、Ｐｍａｘ構成６２４から本明細書に記載される他の任意の出力構成へデバイス１００を移行することが可能である場合がある。 FIG. 6I depicts yet another output configuration that can be accommodated while the device 100 is in the open portrait state 320. Specifically, device 100 is configured to present a single continuous image across both touch-sensitive displays 110, 114 in a portrait orientation, referred to herein as a portrait orientation (PMax) configuration 624. Can do. In this configuration, data (eg, single image, application, window, icon, video, etc.) is split and displayed partially on one of the touch-sensitive displays while other parts of the data are otherwise displayed. Can be displayed on a touch-sensitive display. The Pmax configuration 624 can facilitate a larger display and / or better resolution for displaying a particular image on the device 100. As with other output configurations, device 100 can be transitioned from Pmax configuration 624 to any other output configuration described herein, depending on which state device 100 is moved to. There is a case.
図６Ｊは、デバイス１００が開横向き状態３４８にある間に対応することができるさらなる別の出力構成を描写する。具体的には、デバイス１００は、本明細書で横向きマックス（ＬＭａｘ）構成６２８と呼ばれる横向き構成で、両方のタッチセンサ式ディスプレイ１１０、１１４にわたって単一の連続画像を提示するよう構成することができる。この構成では、データ（例えば、単一画像、アプリケーション、ウィンドウ、アイコン、ビデオなど）は、分割して、タッチセンサ式ディスプレイの１つに部分的に表示する一方で、データの他の部分を他のタッチセンサ式ディスプレイに表示することができる。Ｌｍａｘ構成６２８は、デバイス１００上に特定の画像を表示するためのより大きな表示及び／またはより良好な解像度を容易にすることができる。他の出力構成と同様に、デバイス１００がどの状態に移動されるかに応じて、Ｌｍａｘ構成６２８から本明細書に記載される他の任意の出力構成へデバイス１００を移行することが可能である場合がある。 FIG. 6J depicts yet another output configuration that can be accommodated while the device 100 is in the open sideways state 348. Specifically, device 100 can be configured to present a single continuous image across both touch-sensitive displays 110, 114 in a landscape orientation, referred to herein as a landscape max (LMax) configuration 628. . In this configuration, data (eg, single image, application, window, icon, video, etc.) is split and displayed partially on one of the touch-sensitive displays while other parts of the data are otherwise displayed. Can be displayed on a touch-sensitive display. The Lmax configuration 628 can facilitate a larger display and / or better resolution for displaying a particular image on the device 100. As with other output configurations, device 100 can be transitioned from Lmax configuration 628 to any other output configuration described herein, depending on which state device 100 is moved to. There is a case.
図７Ａ及び７Ｂに示されるように、デバイス１００は、少なくとも１つのウィンドウスタック７００でデスクトップ及びウィンドウのうちの少なくとも一つを管理する。ウィンドウスタック７００は、複数画面デバイスに対するアクティブ及び非アクティブウィンドウのうちの少なくとも一つ又は表示オブジェクトの論理構成である。例えば、ウィンドウスタック７００は、トランプ一組又はレンガの積み重ねと論理的に同様であってもよく、図７Ａ及び７Ｂに示されるように、１つ又は複数のウィンドウ又は表示オブジェクト（例えば、デスクトップ）は、順番に配置される。アクティブウィンドウは、タッチセンサ式ディスプレイ１１０、１１４の少なくとも１つに現時点で表示されているウィンドウである。例えば、ウィンドウ１ ７０８は、アクティブウィンドウであり、タッチセンサ式ディスプレイ１１４のうちの１つのみに表示される。図７Ａに示される実施形態では、デバイス１００は、閉状態３０４において、構成６０８でウィンドウ１ ７０８を表示している。非アクティブウィンドウは、開かれ、表示されていたが、現時点ではアクティブウィンドウの「背後」にあり、表示されていないウィンドウである。実施形態では、非アクティブウィンドウは、一時停止中であるアプリケーション用であってもよく、したがって、ウィンドウはアクティブコンテンツを表示していない。例えば、ウィンドウ２ ７１２及びウィンドウ３ ７１６は非アクティブウィンドウである。 As shown in FIGS. 7A and 7B, the device 100 manages at least one of the desktop and windows in at least one window stack 700. The window stack 700 is a logical configuration of at least one of active and inactive windows or display objects for a multi-screen device. For example, the window stack 700 may be logically similar to a set of playing cards or a brick stack, and as shown in FIGS. 7A and 7B, one or more windows or display objects (eg, a desktop) may be , Arranged in order. The active window is a window currently displayed on at least one of the touch-sensitive displays 110 and 114. For example, window 1 708 is an active window and is displayed on only one of touch-sensitive displays 114. In the embodiment shown in FIG. 7A, device 100 is displaying window 1 708 with configuration 608 in the closed state 304. An inactive window is a window that has been opened and displayed, but is currently “behind” the active window and is not displayed. In an embodiment, the inactive window may be for an application that is paused, so the window is not displaying active content. For example, window 2 712 and window 3 716 are inactive windows.
ウィンドウスタック７００は、さまざまな構成又は組織構造を有し得る。図７Ａに示される実施形態では、デバイス１００は、閉状態３０４で、第２の縦向き構成６０８にあり、デバイス１００は、第１のタッチセンサ式ディスプレイ１１４に関連付けられた第１のスタック７０４を含む。したがって、各タッチセンサ式ディスプレイ１１４は、関連付けられたウィンドウスタック７０４を有し得る。他の実施形態では、複合ディスプレイの全体を包含する単一のウィンドウスタックが存在する。複合ディスプレイは、２つのタッチセンサ式ディスプレイ１１０、１１４を含む表示スペース全体を定義する論理的構造である。デバイス１００は、複合ディスプレイの一部又は全体を占有するようにウィンドウ又は表示オブジェクトがサイズ変更される場合、複合ディスプレイに対して単一のスタックを有し得る。したがって、スタック７０４は、より大きな複合ウィンドウスタックの一部を表すことができ、デバイス１００は閉状態３０４であるため、その一部は示されていない。 Window stack 700 may have a variety of configurations or organizational structures. In the embodiment shown in FIG. 7A, the device 100 is in the second portrait orientation 608 in the closed state 304, and the device 100 displays the first stack 704 associated with the first touch-sensitive display 114. Including. Thus, each touch-sensitive display 114 can have an associated window stack 704. In other embodiments, there is a single window stack that encompasses the entire composite display. A composite display is a logical structure that defines the entire display space including two touch sensitive displays 110,114. Device 100 may have a single stack for the composite display when the window or display object is resized to occupy part or all of the composite display. Thus, stack 704 can represent a portion of a larger composite window stack, and since device 100 is in a closed state 304, a portion of it is not shown.
図７Ｂでは、２つのウィンドウスタック（又はウィンドウスタックの２つの部分）７０４、７２４は、各々のスタック７０４、７２４に配置された異なる数のウィンドウ又は表示オブジェクトを有し得る。さらに、２つのウィンドウスタック７０４、７２４は、異なる方法で識別し、別々に管理することもできる。図７Ａに示されるように、第１のウィンドウスタック７０４は、第１のウィンドウ７０８から次のウィンドウ７１２へ、そして最後のウィンドウ７１６へ、そして最終的にデスクトップ７２０（実施形態ではウィンドウスタック７０４の「最下部」である）へと順番に配置することができる。実施形態では、デスクトップ７２０下のウィンドウスタックにアプリケーションウィンドウを配置することができ、また、デスクトップ又は他の方向への変更中に、デスクトップ７２０を他のウィンドウ上のスタックの「最上部」へ持ってくることができるため、デスクトップ７２０は常に「最下部」であるとは限らない。例えば、図７Ｂに示されるように、デバイス１００を開状態３２０へ移行させる。デバイス１００は、図６Ｃに示されるようなディスプレイ構成へと移行する。そのため、タッチセンサ式ディスプレイ１１０は、タッチセンサ式ディスプレイ１１０と関連付けられるウィンドウを有さない。したがって、デスクトップ７２０は、タッチセンサ式ディスプレイ１１０に対して表示される。したがって、第２のスタック７２４は、デスクトップ７２０を含めることができ、実施形態では、単一のデスクトップエリアであり、デスクトップ７２０は、両方のウィンドウスタック７０４とウィンドウスタック７２４のすべてのウィンドウ下にある。２つのウィンドウスタック又は２つの部分７０４、７２４を有する単一のウィンドウスタックを管理するための論理データ構造は、図８と併せて説明されるようなものであり得る。 In FIG. 7B, the two window stacks (or two portions of the window stack) 704, 724 may have a different number of windows or display objects arranged in each stack 704, 724. Further, the two window stacks 704, 724 can be identified in different ways and managed separately. As shown in FIG. 7A, the first window stack 704 is from the first window 708 to the next window 712, to the last window 716, and finally to the desktop 720 (in the embodiment, “ It is possible to arrange them in order to “the bottom”. In an embodiment, an application window can be placed in a window stack below the desktop 720, and the desktop 720 is taken to the “top” of the stack on other windows during a desktop or other orientation change. The desktop 720 is not always “bottom” because it can come. For example, as shown in FIG. 7B, the device 100 is transitioned to the open state 320. Device 100 transitions to a display configuration as shown in FIG. 6C. Thus, the touch sensitive display 110 does not have a window associated with the touch sensitive display 110. Accordingly, the desktop 720 is displayed on the touch-sensitive display 110. Thus, the second stack 724 can include a desktop 720, which in the embodiment is a single desktop area, and the desktop 720 is below all windows in both the window stack 704 and the window stack 724. The logical data structure for managing a single window stack having two window stacks or two portions 704, 724 may be as described in conjunction with FIG.
デバイスを開いた後のウィンドウスタック７０４の構成を図７Ｃ〜７Ｅに示す。ウィンドウスタック７０４は、３つの「立体」図で示される。図７Ｃでは、ウィンドウスタック７０４／７２４の上面を示す。ウィンドウスタック７０４／７２４の２つの隣接する側面は、図７Ｄ及び７Ｅに示す。この実施形態では、ウィンドウスタック７０４／７２４は、レンガの積み重ねに似ている。ウィンドウは、互いに積み重ねられる。図７Ｃは、ウィンドウスタック７０４／７２４を上方から見ているため、複合ディスプレイ７２８の異なる部分においてウィンドウスタック７０４／７２４の最上部のウィンドウのみが見える。デスクトップ７２０又はウィンドウは、複合ディスプレイ７２８の一部又は全体を占有することができる。図７Ｃは、複合ディスプレイ７２８を示す。複合ディスプレイ７２８は、タッチセンサ式ディスプレイ１１０、１１４の全体のディスプレイエリアを包含するか又は含む。複合ディスプレイ７２８のサイズは、デバイス１００の向きに基づいて変更することができる。例えば、閉状態の場合のデバイス１００の複合ディスプレイ７２８のサイズは、図７Ａに示されるように、タッチセンサ式ディスプレイ１１０又は１１４のうちの１つのエリアのみを含み得る。複合ディスプレイ７２８は、図７Ｂ及び７Ｃに示されるように、デバイス１００が開かれると、タッチセンサ式ディスプレイ１１０、１１４両方を含むように拡大される。いくつかのウィンドウ又は表示オブジェクトは、複合ディスプレイ７２８と関連付けられ、複合ディスプレイ７２８の寸法が変化すると、ウィンドウ又は表示オブジェクトの寸法も変化する。実施形態では、そのような一表示オブジェクトは、デスクトップ７２０であってもよく、デバイス１００が開かれて複合ディスプレイ７２８全体を占めると同時に、その寸法が変化し得る。 The configuration of the window stack 704 after opening the device is shown in FIGS. Window stack 704 is shown in three “solid” views. In FIG. 7C, the top surface of the window stack 704/724 is shown. Two adjacent sides of the window stack 704/724 are shown in FIGS. 7D and 7E. In this embodiment, the window stack 704/724 is similar to a brick stack. The windows are stacked on top of each other. FIG. 7C is viewing the window stack 704/724 from above, so that only the topmost window of the window stack 704/724 is visible in different parts of the composite display 728. FIG. The desktop 720 or window can occupy part or all of the composite display 728. FIG. 7C shows a composite display 728. Composite display 728 includes or includes the entire display area of touch-sensitive displays 110, 114. The size of the composite display 728 can be changed based on the orientation of the device 100. For example, the size of the composite display 728 of the device 100 in the closed state may include only one area of the touch-sensitive display 110 or 114, as shown in FIG. 7A. Composite display 728 is expanded to include both touch-sensitive displays 110, 114 when device 100 is opened, as shown in FIGS. 7B and 7C. Some windows or display objects are associated with the composite display 728, and when the dimensions of the composite display 728 change, the dimensions of the window or display object also change. In an embodiment, one such display object may be the desktop 720, and its dimensions may change as the device 100 is opened to occupy the entire composite display 728.
示される実施形態では、デスクトップ７２０がウィンドウスタック７０４／７２４の最下部の表示オブジェクト、ウィンドウ又は「レンガ」である。そこから、ウィンドウ１ ７０８、ウィンドウ２ ７１２及びウィンドウ３ ７１６が積層される。ウィンドウ１ ７０８、ウィンドウ２ ７１２及びウィンドウ３ ７１６は、複合ディスプレイ７２８のほんの一部を占有する。したがって、スタック７２４の別の部分は、デスクトップ７１８のみを含む。複合ディスプレイ７２８の任意の部分の最上部のウィンドウ又は表示オブジェクトのみが実際にレンダリングされ、表示される。したがって、図７Ｃの上面図に示されるように、ウィンドウスタック７０４／７２４の異なる部分の最上部にあることによって、ウィンドウ１ ７０８及びデスクトップ７１８が表示される。ウィンドウは、寸法変更して、複合ディスプレイ７２８のほんの一部を占有し、ウィンドウスタック７０４の下方のウィンドウを「見えるようにする」ことができる。例えば、デスクトップ７１８は、スタックにおいて、ウィンドウ１ ７０８、ウィンドウ２ ７１２及びウィンドウ３ ７１６の下方にあるが、依然として表示されている。ウィンドウ及びデスクトップのこの構成は、ウィンドウスタック７０４の最上部のウィンドウを表示している際にデバイスが開かれる場合に起こる。 In the embodiment shown, desktop 720 is the bottom display object, window or “brick” of window stack 704/724. From there, window 1 708, window 2 712, and window 3 716 are stacked. Window 1 708, window 2 712, and window 3 716 occupy only a portion of the composite display 728. Thus, another part of stack 724 includes only desktop 718. Only the top window or display object of any part of the composite display 728 is actually rendered and displayed. Thus, as shown in the top view of FIG. 7C, window 1 708 and desktop 718 are displayed by being on top of different portions of window stack 704/724. The window can be resized to occupy a small portion of the composite display 728 and “make visible” the windows below the window stack 704. For example, desktop 718 is below the window 1 708, window 2 712, and window 3 716 in the stack, but is still displayed. This configuration of windows and desktops occurs when the device is opened while displaying the top window of the window stack 704.
デスクトップ７１８がスタック内のどこにどのように配置されるかは、デバイス１００の向き、どのプログラム、機能、ソフトウェアなどがデバイス１００上で実行されているかについてのコンテキスト、デバイス１００が開かれた際にどのようにスタックが配置されるかなどに依存し得る。デスクトップ７１８又は他のウィンドウと関連付けられた論理データ構造は、デバイス１００を開いた際に変化しない場合があるが、論理データ構造は、ウィンドウ及びデスクトップを表示する方法を決定することができる。ユーザインタフェース又は他のイベント若しくはタスクがスタックの配置を変化させると、配置の変化を反映するため、ウィンドウ又はデスクトップの論理的構造が変更され得る。 Where and how the desktop 718 is placed in the stack depends on the orientation of the device 100, the context about which programs, functions, software, etc. are running on the device 100, and when the device 100 is opened It can depend on how the stack is arranged. Although the logical data structure associated with the desktop 718 or other window may not change when the device 100 is opened, the logical data structure can determine how to display the window and desktop. As the user interface or other event or task changes the arrangement of the stack, the logical structure of the window or desktop may be changed to reflect the change in arrangement.
図７Ａ〜７Ｃとは異なる構成からデバイスが開かれたために変更されたウィンドウスタック構成７２４の別の実施形態を図７Ｆ〜７Ｊに示す。図７Ｆに示される実施形態では、デバイス１００は閉状態３０４であり、構成６０８でウィンドウ１ ７０８を表示している。ウィンドウ２ ７１２及びウィンドウ３ ７１６は、非アクティブウィンドウである。図７Ｆに示される実施形態では、デバイス１００は、閉状態３０４で、第１の縦向き構成６０４にあり、デバイス１００は、第１のタッチセンサ式ディスプレイ１１０に関連付けられた第２のスタック７２４を含む。したがって、タッチセンサ式ディスプレイ１１０は、関連付けられたウィンドウスタック７２４を有し得る。他の実施形態では、複合ディスプレイの全体を包含する単一のウィンドウスタックが存在する。デバイス１００は、複合ディスプレイの一部又は全体を占有するようにウィンドウ又は表示オブジェクトがサイズ変更される場合、複合ディスプレイに対して単一のスタックを有し得る。したがって、スタック７２４は、より大きな複合ディスプレイスタックの一部を表し得、デバイス１００は閉状態３０４であるため、その一部は示されていない。 7F-7J illustrate another embodiment of a window stack configuration 724 that has been modified because the device has been opened from a different configuration than that of FIGS. In the embodiment shown in FIG. 7F, device 100 is in the closed state 304 and is displaying window 1 708 in configuration 608. Window 2 712 and window 3 716 are inactive windows. In the embodiment shown in FIG. 7F, the device 100 is in the first portrait configuration 604 in the closed state 304, and the device 100 opens the second stack 724 associated with the first touch-sensitive display 110. Including. Accordingly, touch-sensitive display 110 may have an associated window stack 724. In other embodiments, there is a single window stack that encompasses the entire composite display. Device 100 may have a single stack for the composite display when the window or display object is resized to occupy part or all of the composite display. Accordingly, stack 724 may represent a portion of a larger composite display stack, and device 100 is not shown because it is in a closed state 304.
図７Ｇでは、２つのウィンドウスタック（又はウィンドウスタックの２つの部分）７０４、７２４は、各々のスタック７０４、７２４に配置された異なる数のウィンドウ又は表示オブジェクトを有し得る。さらに、２つのウィンドウスタック７０４、７２４は、異なる方法で識別し、別々に管理することもできる。図７Ｆに示されるように、第２のウィンドウスタック７２４は、第１のウィンドウ７０８から次のウィンドウ７１２へ、そして最後のウィンドウ７１６へ、そして最終的にデスクトップ７２０（実施形態ではウィンドウスタック７０４の「最下部」である）へと順番に配置することができる。実施形態では、デスクトップ７２０下のウィンドウスタックにアプリケーションウィンドウを配置することができ、また、方向の変更中など、デスクトップ７２０を他のウィンドウ上のスタックの「最上部」へ持ってくることができるため、デスクトップ７２０は常に「最下部」であるとは限らない。例えば、図７Ｇに示されるように、デバイス１００を開状態３２０へ移行させる。デバイス１００は、図６Ｃに示されるようなディスプレイ構成へと移行する。そのため、タッチセンサ式ディスプレイ１１４は、タッチセンサ式ディスプレイ１１４と関連付けられるウィンドウを有さない。したがって、デスクトップ７２０は、タッチセンサ式ディスプレイ１１４に対して表示される。したがって、第２のスタック７０４は、デスクトップ７２０を含めることができ、実施形態では、単一のデスクトップエリアであり、デスクトップ７２０は、両方のウィンドウスタック７０４とウィンドウスタック７２４のすべてのウィンドウ下にある。２つのウィンドウスタック又は２つの部分７０４、７２４を有する単一のウィンドウスタックを管理するための論理データ構造は、図８と併せて説明されるようなものであり得る。 In FIG. 7G, the two window stacks (or two portions of the window stack) 704, 724 may have a different number of windows or display objects arranged in each stack 704, 724. Further, the two window stacks 704, 724 can be identified in different ways and managed separately. As shown in FIG. 7F, the second window stack 724 moves from the first window 708 to the next window 712, to the last window 716, and finally to the desktop 720 (in the embodiment, “ It is possible to arrange them in order to “the bottom”. In embodiments, application windows can be placed in a window stack below desktop 720, and desktop 720 can be brought to the “top” of the stack on other windows, such as during a change of direction. The desktop 720 is not always “bottom”. For example, as shown in FIG. 7G, the device 100 is moved to the open state 320. Device 100 transitions to a display configuration as shown in FIG. 6C. As such, the touch-sensitive display 114 does not have a window associated with the touch-sensitive display 114. Accordingly, the desktop 720 is displayed on the touch-sensitive display 114. Accordingly, the second stack 704 can include a desktop 720, which in the embodiment is a single desktop area, and the desktop 720 is below all windows in both the window stack 704 and the window stack 724. The logical data structure for managing a single window stack having two window stacks or two portions 704, 724 may be as described in conjunction with FIG.
デバイスを開いた後のウィンドウスタック７２４の構成を図７Ｈ〜７Ｊに示す。ウィンドウスタック７０４は、３つの「立体」図で示される。図７Ｈでは、ウィンドウスタック７０４／７２４の上面を示す。ウィンドウスタック７０４／７２４の２つの隣接する「側面」は、図７Ｉ及び７Ｊに示す。この実施形態では、ウィンドウスタック７０４／７２４は、レンガの積み重ねに似ている。ウィンドウは、互いに積み重ねられる。図７Ｈは、ウィンドウスタック７０４／７２４を上方から見ているため、複合ディスプレイ７２８の異なる部分においてウィンドウスタック７０４／７２４の最上部のウィンドウ／表示オブジェクトのみが見える。デスクトップ７２０又はウィンドウは、複合ディスプレイ７２８の一部又は全体を占有することができる。 The configuration of the window stack 724 after opening the device is shown in FIGS. Window stack 704 is shown in three “solid” views. In FIG. 7H, the top surface of the window stack 704/724 is shown. Two adjacent “sides” of the window stack 704/724 are shown in FIGS. 7I and 7J. In this embodiment, the window stack 704/724 is similar to a brick stack. The windows are stacked on top of each other. FIG. 7H is viewing the window stack 704/724 from above, so that only the top window / display object of the window stack 704/724 is visible in different parts of the composite display 728. FIG. The desktop 720 or window can occupy part or all of the composite display 728.
示される実施形態では、デスクトップ７２０がウィンドウスタック７０４／７２４の最下部の表示オブジェクト、ウィンドウ又は「レンガ」である。そこから、ウィンドウ１ ７０８、ウィンドウ２ ７１２及びウィンドウ３ ７１６が積層される。ウィンドウ１ ７０８、ウィンドウ２ ７１２及びウィンドウ３ ７１６は、複合ディスプレイ７２８のほんの一部を占有する。したがって、スタック７２４の別の部分は、デスクトップ７１８のみを含む。複合ディスプレイ７２８の任意の部分の最上部のウィンドウ又は表示オブジェクトのみが実際にレンダリングされ、表示される。したがって、図７Ｈの上面図に示されるように、ウィンドウスタック７０４／７２４の異なる部分の最上部にあることによって、ウィンドウ１ ７０８及びデスクトップ７２０が表示される。ウィンドウは、寸法変更して、複合ディスプレイ７２８のほんの一部を占有し、ウィンドウスタック７０４の下方のウィンドウを「見えるようにする」ことができる。例えば、デスクトップ７１８は、スタックにおいて、ウィンドウ１ ７０８、ウィンドウ２ ７１２及びウィンドウ３ ７１６の下方にあるが、依然として表示されている。ウィンドウ及びデスクトップのこの構成は、ウィンドウスタック７０４の最上部のウィンドウを表示している際にデバイスが開かれる場合に起こる。 In the embodiment shown, desktop 720 is the bottom display object, window or “brick” of window stack 704/724. From there, window 1 708, window 2 712, and window 3 716 are stacked. Window 1 708, window 2 712, and window 3 716 occupy only a portion of the composite display 728. Thus, another part of stack 724 includes only desktop 718. Only the top window or display object of any part of the composite display 728 is actually rendered and displayed. Accordingly, window 1 708 and desktop 720 are displayed by being on top of different portions of window stack 704/724, as shown in the top view of FIG. 7H. The window can be resized to occupy a small portion of the composite display 728 and “make visible” the windows below the window stack 704. For example, desktop 718 is below the window 1 708, window 2 712, and window 3 716 in the stack, but is still displayed. This configuration of windows and desktops occurs when the device is opened while displaying the top window of the window stack 704.
デスクトップ７１８がスタック内のどこにどのように配置されるかは、デバイス１００の向き、どのプログラム、機能、ソフトウェアなどがデバイス１００上で実行されているかについてのコンテキスト、デバイス１００が開かれた際にどのようにスタックが配置されるかなどに依存し得る。デスクトップ７１８又は他のウィンドウと関連付けられた論理データ構造は、デバイス１００を開いた際に変化しない場合があるが、論理データ構造は、ウィンドウ及びデスクトップを表示する方法を決定することができる。ユーザインタフェース又は他のイベント若しくはタスクがスタックの配置を変化させると、配置の変化を反映するため、ウィンドウ又はデスクトップの論理的構造が変更され得る。 Where and how the desktop 718 is placed in the stack depends on the orientation of the device 100, the context about which programs, functions, software, etc. are running on the device 100, and when the device 100 is opened It can depend on how the stack is arranged. Although the logical data structure associated with the desktop 718 or other window may not change when the device 100 is opened, the logical data structure can determine how to display the window and desktop. As the user interface or other event or task changes the arrangement of the stack, the logical structure of the window or desktop may be changed to reflect the change in arrangement.
ウィンドウスタック内のウィンドウまたはデスクトップの配置を管理するための論理データ構造８００を図８に示す。論理データ構造８００は、オブジェクト、記録、ファイルなどにかかわらず、データの格納に使用される任意のデータ構造であり得る。論理データ構造８００は、プロトコルまたは規格にかかわらず、いかなるタイプのデータベースまたはデータ格納システムにも格納することができる。実施形態では、論理データ構造８００は、情報の容易な格納及び回収を可能にする論理構成でデータを格納する１つまたは複数の部分、フィールド、属性などを含む。以下では、これらの１つまたは複数の部分、フィールド、属性などを単なるフィールドとして説明するものとする。フィールドは、ウィンドウ識別子８０４、寸法８０８、スタック位置識別子８１２、ディスプレイ識別子８１６及び／またはアクティブインジケータ８２０に対するデータを格納することができる。ウィンドウスタック内の各ウィンドウは、関連する論理データ構造８００を有し得る。図８では、単一の論理データ構造８００が示されているが、楕円８２４によって表されるように、ウィンドウスタックで使用されるより多くのまたはより少ない論理データ構造８００が存在し得る（スタック内のウィンドウまたはデスクトップの数に基づいて）。さらに、楕円８２８によって表されるように、図８に示されるものより多くのまたはより少ないフィールドが存在し得る。 A logical data structure 800 for managing the placement of windows or desktops in a window stack is shown in FIG. The logical data structure 800 can be any data structure used to store data, whether it is an object, a record, a file, or the like. The logical data structure 800 can be stored in any type of database or data storage system, regardless of protocol or standard. In an embodiment, the logical data structure 800 includes one or more portions, fields, attributes, etc. that store data in a logical configuration that allows easy storage and retrieval of information. In the following, one or more of these parts, fields, attributes, etc. will be described as simple fields. The field may store data for window identifier 804, dimension 808, stack position identifier 812, display identifier 816 and / or active indicator 820. Each window in the window stack may have an associated logical data structure 800. In FIG. 8, a single logical data structure 800 is shown, but there may be more or fewer logical data structures 800 used in the window stack, as represented by ellipse 824 (within the stack). Based on the number of windows or desktops). Further, as represented by ellipse 828, there may be more or fewer fields than those shown in FIG.
ウィンドウ識別子８０４は、ウィンドウスタック内の他のウィンドウ又は表示オブジェクトとの関連で、関連ウィンドウ又は表示オブジェクトを独自に識別する任意の識別子（ＩＤ）を含み得る。ウィンドウ識別子８０４は、グローバル一意識別子（ＧＵＩＤ）、数値ＩＤ、英数字ＩＤまたは他のタイプの識別子であり得る。実施形態では、ウィンドウ識別子８０４は、開くことができるウィンドウの数に基づく１桁、２桁または任意の桁数であり得る。代替の実施形態では、ウィンドウ識別子８０４のサイズは、開いているウィンドウの数に基づいて変化し得る。ウィンドウが開いている間、ウィンドウ識別子８０４は、静的で、不変のままであり得る。 Window identifier 804 may include any identifier (ID) that uniquely identifies the associated window or display object in relation to other windows or display objects in the window stack. Window identifier 804 may be a globally unique identifier (GUID), numeric ID, alphanumeric ID, or other type of identifier. In embodiments, the window identifier 804 may be 1 digit, 2 digits, or any number of digits based on the number of windows that can be opened. In an alternative embodiment, the size of the window identifier 804 may vary based on the number of open windows. While the window is open, the window identifier 804 may remain static and unchanged.
寸法８０８は、複合ディスプレイ７０４のウィンドウ又は表示オブジェクトの寸法を含み得る。例えば、寸法８０８は、ウィンドウ又は表示オブジェクトの２つ以上の角部の座標を含むことも、１つの座標ならびにウィンドウ又は表示オブジェクトの幅及び高さに対する寸法を含むこともある。これらの寸法８０８は、ウィンドウ又は表示オブジェクトが複合ディスプレイ７０４のどの部分を占有することができるかを描写することができ、それは、複合ディスプレイ７０４全体でも、複合ディスプレイ７０４のほんの一部でもあり得る。例えば、ウィンドウ１ ７０８は、図７Ｃ〜７Ｈに示されるように、ウィンドウ１ ７０８が複合ディスプレイ７２８のディスプレイエリアのほんの一部を占有することを示す寸法８０８を有し得る。ウィンドウがウィンドウスタック内で移動されるかまたは挿入されると、寸法８０８は変化し得る。 The dimensions 808 may include the dimensions of the composite display 704 window or display object. For example, the dimension 808 may include coordinates of two or more corners of the window or display object, or may include dimensions for one coordinate and the width and height of the window or display object. These dimensions 808 can depict which portion of the composite display 704 a window or display object can occupy, which can be the entire composite display 704 or just a portion of the composite display 704. For example, window 1 708 may have a dimension 808 that indicates that window 1 708 occupies only a portion of the display area of composite display 728, as shown in FIGS. As the window is moved or inserted in the window stack, the dimension 808 can change.
スタック位置識別子８１２は、ウィンドウ又は表示オブジェクトのスタック内での位置を識別することができるか、または、リストもしくはスタックなどのデータ構造内のウィンドウの制御記録から推定することができる任意の識別子であり得る。スタック位置識別子８１２は、ＧＵＩＤ、数値ＩＤ、英数字ＩＤまたは他のタイプの識別子であり得る。各ウィンドウまたはデスクトップは、スタック位置識別子８１２を含み得る。例えば、図７Ａの実施形態に示されるように、スタック１ ７０４のウィンドウ１ ７０８は、ウィンドウ７０８がスタック ７０４の第１のウィンドウであり、アクティブウィンドウであることを特定する１のスタック位置識別子８１２を有し得る。同様に、ウィンドウ２ ７１２は、ウィンドウ２ ７１２がスタック ７０４の第２のウィンドウであることを表す２のスタック位置識別子８１２を有し得る。したがって、スタックのタイプに応じて、スタック位置識別子８１２は、スタック内でのウィンドウ又は表示オブジェクトの位置を表すことができる。 The stack position identifier 812 is any identifier that can identify the position of the window or display object in the stack, or can be deduced from the control record of the window in a data structure such as a list or stack. obtain. The stack location identifier 812 can be a GUID, numeric ID, alphanumeric ID, or other type of identifier. Each window or desktop may include a stack location identifier 812. For example, as shown in the embodiment of FIG. 7A, window 1 708 of stack 1 704 has a stack location identifier 812 that identifies window 708 as the first window of stack 704 and the active window. Can have. Similarly, window 2 712 may have two stack position identifiers 812 representing that window 2 712 is the second window of stack 704. Thus, depending on the type of stack, the stack position identifier 812 can represent the position of the window or display object within the stack.
ディスプレイ識別子８１６は、第１のディスプレイ１１０もしくは第２のディスプレイ１１４、または、両方のディスプレイで構成された複合ディスプレイ７２８などの特定のディスプレイにウィンドウ又は表示オブジェクトが関連付けられていることを特定することができる。図７Ａに示されるように、このディスプレイ識別子８１６は複数スタックシステムで必要とされない場合があるが、ディスプレイ識別子８１６は、図７Ｂの連続スタック内のウィンドウ又は表示オブジェクトが特定のディスプレイに表示されているかどうかを示すことができる。したがって、デスクトップ７２０は、図７Ｃにおいて、２つの部分を有し得る。第１の部分は、第１のディスプレイ１１０に対するディスプレイ識別子８１６を有し得る一方で、第２の部分は、第２のディスプレイ１１４に対するディスプレイ識別子８１６を有し得る。しかし、代替の実施形態では、デスクトップ７２０は、ディスプレイ識別子８１６が複合ディスプレイ７２８を特定したことを表す単一のディスプレイ識別子８１６を有し得る。 Display identifier 816 may identify that a window or display object is associated with a particular display, such as first display 110 or second display 114, or composite display 728 comprised of both displays. it can. As shown in FIG. 7A, this display identifier 816 may not be required in a multi-stack system, but display identifier 816 indicates whether a window or display object in the continuous stack of FIG. 7B is displayed on a particular display. Can indicate whether Accordingly, the desktop 720 may have two parts in FIG. 7C. The first portion may have a display identifier 816 for the first display 110, while the second portion may have a display identifier 816 for the second display 114. However, in an alternative embodiment, the desktop 720 may have a single display identifier 816 that indicates that the display identifier 816 has identified the composite display 728.
ディスプレイ識別子８１６と同様に、アクティブインジケータ８２０は、スタック位置１のウィンドウ又は表示オブジェクトがアクティブであり、表示されているため、図７Ａのデュアルスタックシステムで必要とされない場合がある。代替の実施形態では、アクティブインジケータ８２０は、スタック内のどのウィンドウが表示されているかを示すことができる。したがって、ウィンドウ１ ７０８は、示され、かつ単一のアクティブインジケータ８２０を有し得る。アクティブインジケータ８２０は、ウィンドウ又は表示オブジェクトがアクティブであるかまたは表示されていることを表す簡単なフラグまたはビットであり得る。 Similar to the display identifier 816, the active indicator 820 may not be required in the dual stack system of FIG. 7A because the window or display object at stack position 1 is active and displayed. In an alternative embodiment, the active indicator 820 can indicate which window in the stack is being displayed. Thus, window 1 708 is shown and may have a single active indicator 820. The active indicator 820 may be a simple flag or bit that indicates that the window or display object is active or being displayed.
ウィンドウスタックを作成するための方法９００の実施形態を図９に示す。図９では、方法９００の工程の一般的な順番を示す。一般に、方法９００は、開始動作９０４で始まり、終了動作９２４で終了する。方法９００は、図９に示されるものより多くのまたはより少ない工程を含むことも、異なる形で工程の順番を整えることもできる。方法９００は、コンピュータシステムによって実行され、コンピュータ可読媒体で符号化されるかまたは格納される一連のコンピュータ実行可能命令として実行することができる。以下では、図１〜８と併せて説明されるシステム、コンポーネント、モジュール、ソフトウェア、データ構造、ユーザインタフェースなどを参照して、方法９００を説明する。 An embodiment of a method 900 for creating a window stack is shown in FIG. In FIG. 9, the general order of the steps of the method 900 is shown. In general, the method 900 begins with a start operation 904 and ends with an end operation 924. The method 900 may include more or fewer steps than those shown in FIG. 9, or may order the steps in different ways. Method 900 is performed by a computer system and may be performed as a series of computer-executable instructions that are encoded or stored on a computer-readable medium. The method 900 is described below with reference to systems, components, modules, software, data structures, user interfaces, etc. described in conjunction with FIGS.
図３Ａ〜３Ｂで説明されるように、ステップ９０８では、複数画面デバイス１００は方向変化を受信することができ、それにより、デバイス１００を閉状態３０４から開状態３２０へ変化させる。方向変化は、ホール効果センサ、タイマなどからのハードウェア入力によって検出及び信号伝達することができる。方向変化は、タスク管理モジュール５４０で受信し、複数ディスプレイ管理モジュール５２４に送信することができる。複数ディスプレイ管理モジュール５２４は、変化を解釈して、閉縦向きディスプレイ６０４、６０８から開縦向きディスプレイ（図６Ｃに示されるように）に又は閉横向きディスプレイ６１２、６１６から開横向き構成（図６Ｆに示されるように、図６Ａ〜６Ｆと併せて説明されるように）に、ディスプレイの構成を変化させることができる。実施形態では、タスク管理モジュール５４０は、複数ディスプレイ管理モジュール５２４に作用されるタスクスタック５５２にユーザインタフェース相互作用を置く。さらに、タスク管理モジュール５４０は、複数ディスプレイ管理モジュール５２４からの情報を待ち、ウィンドウ管理モジュール５３２に命令を送信して、ウィンドウスタック７０４にウィンドウを作成する。 As described in FIGS. 3A-3B, in step 908, the multi-screen device 100 can receive a change of direction, thereby changing the device 100 from the closed state 304 to the open state 320. Direction changes can be detected and signaled by hardware inputs from Hall effect sensors, timers, and the like. The direction change can be received by the task management module 540 and transmitted to the multiple display management module 524. The multiple display management module 524 interprets the change and either from the closed portrait display 604,608 to the open portrait display (as shown in FIG. 6C) or from the closed landscape display 612,616 to the open landscape configuration (FIG. 6F). As shown, the configuration of the display can be varied (as described in conjunction with FIGS. 6A-6F). In an embodiment, task management module 540 places user interface interactions in task stack 552 that is acted upon by multiple display management module 524. Further, the task management module 540 waits for information from the multiple display management module 524, sends an instruction to the window management module 532, and creates a window in the window stack 704.
ステップ９１２では、複数ディスプレイ管理モジュール５２４は、タスク管理モジュール５４０から命令を受信すると、デスクトップ７８６を明示するかどうかを決定する。実施形態では、デスクトップ７８６は、デバイス１００が開かれる前は、ウィンドウスタック７０４／７２４の最下部であり得る。しかし、デバイス１００は、スタック７０４／７２４の最後のウィンドウを表示し得る。言い換えれば、スタック７０４／７２４の最上部のウィンドウが表示されており、開状態において新たに露出したディスプレイを占めることができるウィンドウはない。例えば、図７Ａでは、ウィンドウ１ ７０８の「左側」にはウィンドウはない。そのため、複数ディスプレイ管理モジュール５２４は、図７Ｂに示されるように、ディスプレイ１１０にデスクトップ７２０を提示する必要がある。デスクトップ７２０は、一般に、複合ディスプレイ７２８全体に広がるため、別のウィンドウがデスクトップ７２０を覆わない限り、デスクトップ７２０は、開かれたデバイス１００上に常に表示される。図７Ｂ及び７Ｆに示されるように、デスクトップ７２０を覆うウィンドウはないため、複数ディスプレイ管理モジュール５２４は、開かれたディスプレイにデスクトップ７２０を表示することを決定する。 In step 912, upon receiving the instruction from the task management module 540, the multiple display management module 524 determines whether to specify the desktop 786. In an embodiment, desktop 786 may be at the bottom of window stack 704/724 before device 100 is opened. However, device 100 may display the last window of stack 704/724. In other words, the top window of stack 704/724 is displayed and no window can occupy the newly exposed display in the open state. For example, in FIG. 7A, there is no window on the “left side” of window 1 708. Therefore, the multiple display management module 524 needs to present the desktop 720 on the display 110 as shown in FIG. 7B. Since the desktop 720 generally extends across the composite display 728, the desktop 720 is always displayed on the opened device 100 unless another window covers the desktop 720. As shown in FIGS. 7B and 7F, since there is no window covering the desktop 720, the multiple display management module 524 decides to display the desktop 720 on the opened display.
実施形態では、複数ディスプレイ管理モジュール５２４のデバイス状態モジュール５７４は、デバイスがどのように方向付けられているか、又は、デバイスがどの状態にあるか（例えば、開状態、閉状態、縦向き状態など）を決定することができる。さらに、優先度モジュール５７２及び要件モジュール５８０のうちの少なくとも一方は、デスクトップ７８６の優先度に基づいて、デスクトップ７８６をどのように表示するかを決定することができる。次いで、ディスプレイ構成モジュール５６８は、デバイス状態モジュール５７４、優先度モジュール５７２及び他のフレームワークコンポーネント５２０のうちの少なくとも一方からの入力を使用して、現時点におけるウィンドウスタック７０４／７２４を評価することができる。他のウィンドウは移動しないため、新しいディスプレイに示されているデスクトップ７２０は、通常、ウィンドウスタック７０４／７２４の他のウィンドウに影響を及ぼさない。しかし、複合ディスプレイ７２８全体を占めるようにデスクトップ７２０が修正され、デバイス１００を開くと同時に拡大されるため、デスクトップ７２０の寸法８０８は変化し得る。 In an embodiment, the device status module 574 of the multiple display management module 524 may indicate how the device is oriented or in what state the device is in (eg, open state, closed state, portrait orientation, etc.). Can be determined. Further, at least one of the priority module 572 and the requirement module 580 can determine how to display the desktop 786 based on the priority of the desktop 786. The display configuration module 568 can then evaluate the current window stack 704/724 using input from at least one of the device status module 574, the priority module 572, and other framework components 520. . Since the other windows do not move, the desktop 720 shown in the new display typically does not affect the other windows in the window stack 704/724. However, the dimensions 808 of the desktop 720 may change as the desktop 720 is modified to occupy the entire composite display 728 and expands upon opening the device 100.
可視性アルゴリズムは、実施形態では、複合ディスプレイ７２８のすべての部分に対して、どのウィンドウ／表示オブジェクトがスタック７０４／７２４の最上部にあるかを決定する。例えば、可視性アルゴリズムは、図７Ｂ又は７Ｆで見られるように、デバイス１００が開かれてから、スタック７０４の一方の部分でデスクトップ７８６が明示されていることを決定する。さらに、図７Ｂ又は７Ｆで見られるように、スタック７０４の他方の部分でウィンドウ１ ７０８が表示されている。どこでデスクトップ７２０を明示するかを決定すると、ディスプレイ構成モジュール５６８は、デスクトップ７２０に対するディスプレイ寸法８０８、ディスプレイ識別子８１６及びスタック位置識別子８１２のうちの少なくとも一方を変更することができる。次いで、複数ディスプレイ管理モジュール５２４は、寸法８０８、ディスプレイ識別子８１６及びスタック位置識別子８１２のうちの少なくとも一方をタスク管理モジュール５４０に返送することができる。 The visibility algorithm, in an embodiment, determines which window / display object is at the top of the stack 704/724 for all parts of the composite display 728. For example, the visibility algorithm determines that the desktop 786 has been manifested in one part of the stack 704 since the device 100 has been opened, as seen in FIG. 7B or 7F. In addition, window 1 708 is displayed in the other part of stack 704 as seen in FIG. 7B or 7F. Having determined where to place desktop 720, display configuration module 568 can change at least one of display dimensions 808, display identifier 816, and stack location identifier 812 for desktop 720. Multiple display management module 524 may then return at least one of dimension 808, display identifier 816, and stack position identifier 812 to task management module 540.
実施形態では、タスク管理モジュール５４０は、寸法８０８、ディスプレイ識別子８１６、スタック位置識別子８１２、及び他の情報のうちの少なくとも１つ及び命令を送信し、ウィンドウ管理モジュール５３２にデスクトップ７８６をレンダリングする。ステップ９２０では、ウィンドウ管理モジュール５３２及びタスク管理モジュール５４０は、論理データ構造８００を変更することができる。タスク管理モジュール５４０とウィンドウ管理モジュール５３２は両方とも、ウィンドウスタック７０４／７２４のコピーを管理することができる。これらのウィンドウスタック７０４／７２４のコピーは、ウィンドウ管理モジュール５３２とタスク管理モジュール５４０との間の通信を通じて、同期化することも、同様に保持することもできる。したがって、ウィンドウ管理モジュール５３２及びタスク管理モジュール５４０は、複数ディスプレイ管理モジュール５２４によって決定された情報に基づいて、デスクトップ７２０及び１つ又は複数のウィンドウに対する寸法８０８、ディスプレイ識別子８１６及びスタック位置識別子８１２のうちの少なくとも一方を変更することができる。次いで、論理データ構造８００は、ウィンドウ管理モジュール５３２とタスク管理モジュール５４０の両方で格納することができる。さらに、ウィンドウ管理モジュール５３２及びタスク管理モジュール５４０は、その後、ウィンドウスタック７０４／７２４及び論理データ構造８００を管理することができる。 In an embodiment, task management module 540 sends at least one of dimensions 808, display identifier 816, stack position identifier 812, and other information and instructions to render desktop 786 to window management module 532. In step 920, the window management module 532 and the task management module 540 can change the logical data structure 800. Both task management module 540 and window management module 532 can manage a copy of window stack 704/724. These copies of the window stack 704/724 may be synchronized or similarly maintained through communication between the window management module 532 and the task management module 540. Accordingly, the window management module 532 and the task management module 540 are based on the information determined by the multiple display management module 524 and include the dimension 808, display identifier 816, and stack position identifier 812 for the desktop 720 and one or more windows. At least one of them can be changed. The logical data structure 800 can then be stored in both the window management module 532 and the task management module 540. Further, window management module 532 and task management module 540 can then manage window stack 704/724 and logical data structure 800.
複数画面デバイスに関連するウィンドウスタックに関連して、本開示の例示的なシステム及び方法について説明してきた。しかし、本開示を不必要に曖昧にすることを避けるため、前の記述では多くの公知の構造及びデバイスを省略する。この省略は、特許請求の範囲を限定するものと解釈してはならない。具体的な詳細は、本開示の理解を与えるために記載する。しかし、本開示は、本明細書に記載される具体的な詳細の域を超えるさまざまな方法で実施できることを理解されたい。 The exemplary systems and methods of this disclosure have been described in the context of window stacks associated with multiple screen devices. However, in order to avoid unnecessarily obscuring the present disclosure, many known structures and devices are omitted in the previous description. This omission should not be construed as limiting the scope of the claims. Specific details are set forth in order to provide an understanding of the present disclosure. However, it should be understood that the present disclosure can be implemented in a variety of ways beyond the specific details set forth herein.
その上、本明細書に示される例示的な態様、実施形態及び／または構成は、並置されるシステムのさまざまなコンポーネントを示すが、システムのあるコンポーネントは、ＬＡＮ及び／またはインターネットなどの分散型ネットワークの遠方部に、または、専用システム内で遠隔設置することができる。したがって、システムのコンポーネントを図５Ａ及び図５のソフトウェアモジュール等の１つまたは複数のデバイスに組み合わせることも、アナログ及び／もしくはデジタルの電気通信ネットワーク、パケット交換ネットワーク、または、回路交換ネットワークなどの分散型ネットワークの特定のノード上に並置することもできることを理解されたい。前の記述から、演算効率のため、システムのコンポーネントは、システムのオペレーションに影響を及ぼすことなく、コンポーネントの分散型ネットワーク内のいずれの位置にも配置できることが理解されよう。例えば、さまざまなコンポーネントは、ＰＢＸ及びメディアサーバ、ゲートウェイなどのスイッチに、１つもしくは複数の通信デバイスに、１つもしくは複数のユーザの構内で、または、それらのいくつかの組合せで配置することができる。同様に、システムの１つまたは複数の機能部分は、電気通信デバイスと関連コンピューティングデバイスとの間で分散させることが可能である。 Moreover, although the exemplary aspects, embodiments, and / or configurations shown herein illustrate various components of a juxtaposed system, certain components of the system can be distributed networks such as a LAN and / or the Internet. Can be remotely located in a remote location or in a dedicated system. Thus, combining the components of the system into one or more devices such as the software modules of FIGS. 5A and 5 can also be distributed such as analog and / or digital telecommunications networks, packet switched networks, or circuit switched networks. It should be understood that they can be juxtaposed on a particular node of the network. From the previous description, it will be appreciated that for computational efficiency, the components of the system can be located anywhere in the distributed network of components without affecting the operation of the system. For example, the various components may be located in switches such as PBXs and media servers, gateways, in one or more communication devices, in one or more users' premises, or some combination thereof. it can. Similarly, one or more functional parts of the system can be distributed between a telecommunications device and an associated computing device.
その上、要素を接続するさまざまなリンクは、有線リンクでも無線リンクでも、その任意の組合せでも、接続された要素への及び接続された要素からのデータの供給及び／または通信が可能な他の任意の公知のまたは後に開発された要素でもあり得ることを理解されたい。これらの有線または無線リンクは、保護されたリンクでもあり得、暗号化された情報を通信できる場合もある。リンクとして使用される伝送媒体は、例えば、同軸ケーブル、銅線及び光ファイバを含む任意の適切な電気信号のキャリアであり得、電波及び赤外線データ通信中に生成されるものなどの音波または光波の形をとることができる。 In addition, the various links connecting the elements can be wired links, wireless links, any combination thereof, and any other capable of supplying and / or communicating data to and from the connected elements. It should be understood that it can be any known or later developed element. These wired or wireless links can also be protected links and may be able to communicate encrypted information. The transmission medium used as the link can be any suitable electrical signal carrier including, for example, coaxial cables, copper wire and optical fiber, and can be a sound wave or light wave such as those generated during radio wave and infrared data communications. Can take shape.
また、イベントの特定のシーケンスとの関連でフローチャートについて論じ示してきたが、開示される実施形態、構成及び態様のオペレーションに実質的に影響を及ぼすことなく、このシーケンスに対する変更、追加及び省略が起こり得ることを理解されたい。 Also, although flowcharts have been discussed in the context of a particular sequence of events, changes, additions and omissions to this sequence may occur without substantially affecting the operation of the disclosed embodiments, configurations and aspects. Please understand that you get.
本開示の多くの変形形態及び変更形態を使用することができる。他のものを提供することなく、本開示のいくつかの特徴を提供することも可能であろう。例えば、一変更形態では、ウィンドウスタック７００は、トランプ一組ではなくカルーセルまたはローロデックスに類似している。従って、ウィンドウは、一つのタッチセンサ式ディスプレイ１１０から別のタッチセンサ式ディスプレイ１１４に循環する。例えば、ウィンドウが右に押され、別のウィンドウの背後のスタックの最後に位置することとなる。スタックが継続して右方向に動く場合、第１のタッチセンサ式ディスプレイ１１０で開かれていたウィンドウが最終的に第２のタッチセンサ式ディスプレイ上に現れることになる。スタックのこれらの動き及び変化は、上記のように説明した方法及び論理データ構造を用いて管理される。別の実施形態では、ウィンドウスタックについて他の配置であってもよい。 Many variations and modifications of the disclosure can be used. It would also be possible to provide some features of the present disclosure without providing others. For example, in one variation, the window stack 700 is similar to a carousel or Rolodex rather than a set of playing cards. Thus, the window cycles from one touch-sensitive display 110 to another touch-sensitive display 114. For example, a window will be pushed to the right and will be at the end of the stack behind another window. If the stack continues to move to the right, the window that was opened on the first touch-sensitive display 110 will eventually appear on the second touch-sensitive display. These movements and changes in the stack are managed using the methods and logical data structures described above. In other embodiments, other arrangements for the window stack are possible.
さらなる別の実施形態では、本開示のシステム及び方法は、専用コンピュータ、プログラムされたマイクロプロセッサもしくはマイクロコントローラ及び周辺集積回路素子、ＡＳＩＣもしくは他の集積回路、デジタル信号プロセッサ、個別素子回路などの配線電子もしくは論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、ＰＡＬなどのプログラム可能論理デバイスもしくはゲートアレイ、専用コンピュータ、任意の同等な手段、または、同様のものと併せて実施することができる。一般に、本明細書に示される方法論の実施が可能な任意のデバイスまたは手段を使用して、本開示のさまざまな態様を実施することができる。開示される実施形態、構成及び態様に使用できる例示的なハードウェアは、コンピュータ、携帯用デバイス、電話（例えば、携帯電話、インターネット可能な、デジタル、アナログ、ハイブリッド及び他のもの）、及び、当技術分野で知られている他のハードウェアを含む。これらのデバイスのいくつかは、プロセッサ（例えば、単一または複数のマイクロプロセッサ）、メモリ、不揮発性記憶装置、入力デバイス及び出力デバイスを含む。その上、これらに限定されないが、分散処理もしくはコンポーネント／オブジェクト分散処理、並列処理、または、仮想マシン処理を含む代替のソフトウェア実装形態は、本明細書に記載される方法を実施するよう構築することもできる。 In yet another embodiment, the system and method of the present disclosure includes wired electronics such as a dedicated computer, programmed microprocessor or microcontroller and peripheral integrated circuit elements, ASICs or other integrated circuits, digital signal processors, discrete element circuits, etc. Alternatively, it can be implemented in conjunction with logic circuits, programmable logic devices or gate arrays such as PLD, PLA, FPGA, PAL, dedicated computers, any equivalent means, or the like. In general, any device or means capable of performing the methodologies described herein may be used to implement various aspects of the present disclosure. Exemplary hardware that can be used in the disclosed embodiments, configurations, and aspects include computers, portable devices, phones (eg, mobile phones, Internet capable, digital, analog, hybrid, and others), and Includes other hardware known in the art. Some of these devices include processors (eg, single or multiple microprocessors), memory, non-volatile storage, input devices, and output devices. Moreover, alternative software implementations including, but not limited to, distributed processing or component / object distributed processing, parallel processing, or virtual machine processing are constructed to implement the methods described herein. You can also.
さらなる別の実施形態では、開示される方法は、さまざまなコンピュータまたはワークステーションプラットフォームで使用することができるポータブルソースコードを提供するオブジェクトまたはオブジェクト指向ソフトウェア開発環境を使用するソフトウェアと併せて容易に実施することができる。あるいは、開示されるシステムは、標準論理回路またはＶＬＳＩ設計を使用してハードウェアで部分的または完全に実装することができる。本開示に従ってシステムの実装にソフトウェアまたはハードウェアを使用するかどうかは、システムの速度及び／または効率要件、特定の機能、ならびに、利用する特定のソフトウェアまたはハードウェアシステムまたはマイクロプロセッサまたはマイクロコンピュータシステムに依存する。 In yet another embodiment, the disclosed method is easily implemented in conjunction with software using an object or object-oriented software development environment that provides portable source code that can be used on a variety of computer or workstation platforms. be able to. Alternatively, the disclosed system can be partially or fully implemented in hardware using standard logic circuits or VLSI designs. Whether software or hardware is used to implement the system in accordance with this disclosure depends on the speed and / or efficiency requirements of the system, the particular functionality, and the particular software or hardware system or microprocessor or microcomputer system utilized. Dependent.
さらなる別の実施形態では、開示される方法は、記憶媒体に格納することができ、コントローラ及びメモリと協働してプログラムされた汎用コンピュータ、専用コンピュータ、マイクロプロセッサ及び同様のもの上で実行されるソフトウェアで部分的に実施することができる。これらの例では、本開示のシステム及び方法は、アプレット、ジャバ（ＪＡＶＡ）（登録商標）またはＣＧＩスクリプトなどのパーソナルコンピュータに組み込まれたプログラムとして、サーバまたはコンピュータワークステーション上に常駐するリソースとして、専用測定システム、システムコンポーネントまたは同様のものに組み込まれたルーチンとして実施することができる。また、システムは、ソフトウェア及び／またはハードウェアシステムにシステム及び／または方法を物理的に組み込むことによっても実装することができる。 In yet another embodiment, the disclosed method can be stored on a storage medium and executed on a general purpose computer, special purpose computer, microprocessor and the like programmed in cooperation with a controller and memory. Can be partially implemented in software. In these examples, the system and method of the present disclosure is dedicated as a resource that resides on a server or computer workstation as a program embedded in a personal computer such as an applet, JAVA, or CGI script. It can be implemented as a routine embedded in a measurement system, system component or the like. The system can also be implemented by physically incorporating the system and / or method into a software and / or hardware system.
本開示は、特定の規格及びプロトコルを参照して、態様、実施形態及び／または構成で実装されるコンポーネント及び機能について説明するが、態様、実施形態及び／または構成は、そのような規格及びプロトコルに制限されない。本明細書で言及されない他の同様の規格及びプロトコルも存在し、本開示に含まれるものと考えられる。その上、本明細書で言及される規格及びプロトコルならびに本明細書で言及されない他の同様の規格及びプロトコルは、本質的に同じ機能を有するより速いまたはより効果的な均等物に定期的に取って代わられる。同じ機能を有するそのような置換規格及びプロトコルは、本開示に含まれる均等物と考えられる。 Although this disclosure describes components and functions implemented in aspects, embodiments and / or configurations with reference to specific standards and protocols, aspects, embodiments and / or configurations are not limited to such standards and protocols. Not limited to. Other similar standards and protocols not mentioned herein exist and are considered to be included in this disclosure. Moreover, the standards and protocols referred to herein and other similar standards and protocols not mentioned herein regularly take on faster or more effective equivalents having essentially the same functionality. Replaced. Such replacement standards and protocols having the same functions are considered equivalents included in this disclosure.
さまざまな態様、実施形態及び／または構成での本開示は、本明細書に描写及び記載されるように実質的にコンポーネント、方法、プロセス、システム及び／または装置を含み、さまざまな態様、実施形態、構成実施形態、サブコンビネーション及び／またはそのサブセットを含む。当業者であれば、本開示を理解した後で、開示される態様、実施形態及び／または構成をどのように作成し使用するか理解されよう。さまざまな態様、実施形態及び／または構成での本開示は、本明細書に描写及び／または記載されていないアイテムなしで、または、本明細書のさまざまな態様、実施形態及び／または構成で、デバイス及びプロセスを提供することを含み、例えば、性能を向上させ、容易に実装を実現し、及び／または、実装コストを削減するために、前のデバイスまたはプロセスで使用された可能性があるようなアイテムがない場合も含む。 The present disclosure in various aspects, embodiments and / or configurations includes substantially components, methods, processes, systems and / or apparatus as depicted and described herein, and various aspects, embodiments. , Configuration embodiments, sub-combinations and / or subsets thereof. Those skilled in the art will understand how to make and use the disclosed aspects, embodiments and / or configurations after understanding the present disclosure. The present disclosure in various aspects, embodiments, and / or configurations is without any items that are depicted and / or described herein, or with various aspects, embodiments, and / or configurations herein. Including providing devices and processes, such as may have been used in previous devices or processes, for example, to improve performance, facilitate implementation, and / or reduce implementation costs This includes cases where there are no major items.
前述の論考は、例示と説明を目的として提示してきた。前述は、本明細書に開示される１つまたは複数の形態に本開示を制限することを意図しない。前述の発明を実施するための形態では、例えば、本開示を合理化する目的で、１つまたは複数の態様、実施形態及び／または構成で、本開示のさまざまな特徴が一緒に分類される。本開示の態様、実施形態及び／または構成の特徴は、上記で論じられたもの以外の代替の態様、実施形態及び／または構成で組み合わせることができる。本開示のこの方法は、請求項が各請求項に明確に列挙されているものより多くの特徴を要求するという意図を反映するものとして解釈してはならない。むしろ、以下の請求項が反映するように、発明の態様は、単一の前述の開示される態様、実施形態及び／または構成のすべての特徴よりも少ないことにある。したがって、以下の請求項は、本明細書によって、この発明を実施するための形態に組み込まれ、各請求項は、本開示の別々の好ましい実施形態としてそれ自体を主張する。 The foregoing discussion has been presented for purposes of illustration and description. The foregoing is not intended to limit the present disclosure to the form or forms disclosed herein. In the foregoing detailed description, various features of the present disclosure are grouped together in one or more aspects, embodiments and / or configurations, for example, for the purpose of streamlining the present disclosure. Features of aspects, embodiments and / or configurations of the present disclosure may be combined in alternative aspects, embodiments and / or configurations other than those discussed above. This method of disclosure is not to be interpreted as reflecting an intention that the claims require more features than are expressly recited in each claim. Rather, as the following claims reflect, aspects of the invention reside in less than all features of a single aforementioned disclosed aspect, embodiment and / or configuration. Thus, the following claims are hereby incorporated into the Detailed Description, with each claim standing on its own as a separate preferred embodiment of the disclosure.
その上、説明には１つまたは複数の態様、実施形態及び／または構成の説明、ならびに、ある変形形態及び変更形態が含まれるが、例えば、本開示を理解した後で、当業者の技能及び知識の範囲内となり得るように、他の変形形態、組合せ及び変更形態は本開示の範囲内である。許可される範囲の代替の態様、実施形態及び／または構成を含む権利を得ることを意図し、そのような代替の、交換可能な及び／または均等な構造、機能、範囲または工程が本明細書で開示されるか否かにかかわらず、いかなる特許可能な対象物も公的に献納することを意図することなく、特許請求されたものに対する代替の、交換可能な及び／または均等な構造、機能、範囲または工程を含む。 Moreover, the description includes descriptions of one or more aspects, embodiments and / or configurations, and certain variations and modifications, for example, after understanding the present disclosure, Other variations, combinations, and modifications are within the scope of this disclosure, as may be within the knowledge. Such alternative, interchangeable and / or equivalent structures, functions, ranges or steps are intended to obtain rights to include alternative aspects, embodiments and / or configurations of the permitted scope. Alternative, interchangeable and / or equivalent structures, functions to those claimed without the intention of publicly devoting any patentable subject matter, whether or not disclosed in Range or process.
Claims (9)
第１の部分と第２の部分とを有する複合ディスプレイと、
メモリと、
前記メモリ及び前記複合ディスプレイと連通するプロセッサであって、該プロセッサは、
前記複合ディスプレイの前記第１の部分と論理的に関連付けられた第１のウィンドウスタックを作成し、ここで、前記第１のウィンドウスタックは、１つまたは複数のアクティブウィンドウ、非アクティブウィンドウ、および前記デバイス上で実行するデスクトップの論理構成を表すデータ構造であり、
前記第１のウィンドウスタックの論理的に最上位置にある第１のウィンドウを前記複合ディスプレイの前記第１の部分上に表示し、
前記デバイスにおける第１の状態から第２の状態への変化を受信し、
前記第２の状態への変化に応答して前記複合ディスプレイの前記第２の部分と論理的に関連付けられた第２のウィンドウスタックを作成し、ここで、前記第２のウィンドウスタックは、１つまたは複数のアクティブウィンドウ、非アクティブウィンドウ、および前記デバイス上で実行するデスクトップの第２の論理構成を表す第２のデータ構造であり、
前記第２のウィンドウスタックに関連する第２のウィンドウまたはデスクトップが前記複合ディスプレイの前記第２の部分上に表示されることを決定し、
前記第２のウィンドウが前記第２のウィンドウスタックの論理的に最上位置に存在するものであることを決定し、
前記第１のウィンドウを前記複合ディスプレイの前記第１の部分上に表示し、前記第２のウィンドウを前記複合ディスプレイの前記第２の部分上に表示するよう動作可能である、前記プロセッサと
を備えるデバイス。 A device,
A composite display having a first portion and a second portion;
Memory,
A processor in communication with the memory and the composite display, the processor comprising:
Creating a first window stack logically associated with the first portion of the composite display, wherein the first window stack comprises one or more active windows, inactive windows, and the A data structure that represents the logical configuration of a desktop running on a device,
Displaying a first window at a logical top of the first window stack on the first portion of the composite display;
Receiving a change from a first state to a second state in the device;
In response to the change to the second state, a second window stack is created that is logically associated with the second portion of the composite display, where the second window stack is one Or a second data structure representing a second logical configuration of a plurality of active windows, inactive windows, and a desktop executing on the device;
Determining that a second window or desktop associated with the second window stack is displayed on the second portion of the composite display;
Determining that the second window is logically at the top of the second window stack;
The processor being operable to display the first window on the first portion of the composite display and to display the second window on the second portion of the composite display. device.
前記第１及び第２のウィンドウスタックのうちの１つにおける他のウィンドウ及びデスクトップと関連して各ウィンドウ及びデスクトップを識別するよう適合されたウィンドウ識別子、及び
前記第１及び第２のウィンドウスタックのうちの１つにおける各ウィンドウまたはデスクトップの論理的な位置を識別するよう適合されたウィンドウスタック位置識別子
のうちの１つ又は複数を含む、請求項１に記載のデバイス。 Each of the first and second window stacks includes:
A window identifier adapted to identify each window and desktop in relation to other windows and desktops in one of the first and second window stacks; and of the first and second window stacks The device of claim 1, comprising one or more of a window stack location identifier adapted to identify a logical location of each window or desktop in one of the.
第１の部分と第２の部分とを有する複合ディスプレイを作成すること、
前記複合ディスプレイの前記第１の部分と論理的に関連付けられた第１のウィンドウスタックを作成し、ここで、前記第１のウィンドウスタックは、１つまたは複数のアクティブウィンドウ、非アクティブウィンドウ、および前記デバイス上で実行するデスクトップの論理構成を表すデータ構造であり、
前記第１のウィンドウスタックの論理的に最上位置にある第１のウィンドウを前記複合ディスプレイの前記第１の部分上に表示すること、
前記デバイスにおける第１の状態から第２の状態への移行を受信すること、
前記第２の状態への移行に応答して前記複合ディスプレイの前記第２の部分と論理的に関連付けられた第２のウィンドウスタックを作成すること、ここで、前記第２のウィンドウスタックは、１つまたは複数のアクティブウィンドウ、非アクティブウィンドウ、および前記デバイス上で実行するデスクトップの第２の論理構成を表す第２のデータ構造であり、
前記第２のウィンドウスタックに関連する第２のウィンドウまたはデスクトップが前記複合ディスプレイの前記第２の部分上に表示されることを決定すること、
前記第２のウィンドウが前記第２のウィンドウスタックの論理的に最上位置に存在するものであることを決定すること、
前記複合ディスプレイの前記第１の部分上に前記第１のウィンドウを表示し、前記複合ディスプレイの前記第２の部分上に前記第１のウィンドウを表示すること
を含む、方法。 A method for presenting a window or desktop display for a device, comprising:
Creating a composite display having a first portion and a second portion;
Creating a first window stack logically associated with the first portion of the composite display, wherein the first window stack comprises one or more active windows, inactive windows, and the A data structure that represents the logical configuration of a desktop running on a device,
Displaying a first window at a logical top of the first window stack on the first portion of the composite display;
Receiving a transition from a first state to a second state in the device;
Creating a second window stack logically associated with the second portion of the composite display in response to the transition to the second state, wherein the second window stack is 1 A second data structure representing a second logical configuration of one or more active windows, inactive windows, and a desktop executing on the device;
Determining that a second window or desktop associated with the second window stack is displayed on the second portion of the composite display;
Determining that the second window is logically at the top of the second window stack;
Displaying the first window on the first portion of the composite display and displaying the first window on the second portion of the composite display.
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US38911710P | 2010-10-01 | 2010-10-01 | |
| US38900010P | 2010-10-01 | 2010-10-01 | |
| US38908710P | 2010-10-01 | 2010-10-01 | |
| US61/389,087 | 2010-10-01 | ||
| US61/389,000 | 2010-10-01 | ||
| US61/389,117 | 2010-10-01 | ||
| US201161539884P | 2011-09-27 | 2011-09-27 | |
| US61/539,884 | 2011-09-27 | ||
| US13/248,138 | 2011-09-29 | ||
| PCT/US2011/053953 WO2012044806A2 (en) | 2010-10-01 | 2011-09-29 | Displaying the desktop upon device open |
| US13/248,138 US20120081318A1 (en) | 2010-10-01 | 2011-09-29 | Displaying the desktop upon device open |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013546049A JP2013546049A (en) | 2013-12-26 |
| JP2013546049A5 JP2013546049A5 (en) | 2014-11-13 |
| JP6073793B2 true JP6073793B2 (en) | 2017-02-01 |
Family
ID=48700078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013531852A Active JP6073793B2 (en) | 2010-10-01 | 2011-09-29 | Desktop display simultaneously with device release |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP2622597A4 (en) |
| JP (1) | JP6073793B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004164132A (en) * | 2002-11-11 | 2004-06-10 | Nec Corp | Multiwindow display device, multiwindow management method for use therewith, and display control program |
| JP2007124025A (en) * | 2005-10-25 | 2007-05-17 | Aruze Corp | Portable telephone |
| US8803816B2 (en) * | 2008-09-08 | 2014-08-12 | Qualcomm Incorporated | Multi-fold mobile device with configurable interface |
| US8453057B2 (en) * | 2008-12-22 | 2013-05-28 | Verizon Patent And Licensing Inc. | Stage interaction for mobile device |
| US9176747B2 (en) * | 2009-02-17 | 2015-11-03 | Sandisk Il Ltd. | User-application interface |
-
2011
- 2011-09-29 EP EP11829897.5A patent/EP2622597A4/en not_active Ceased
- 2011-09-29 JP JP2013531852A patent/JP6073793B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP2622597A2 (en) | 2013-08-07 |
| CN103282955A (en) | 2013-09-04 |
| EP2622597A4 (en) | 2015-03-18 |
| JP2013546049A (en) | 2013-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6010036B2 (en) | Method, communication device, and computer-readable medium for displaying an image on a touch-sensitive display | |
| JP5998146B2 (en) | Explicit desktop by moving the logical display stack with gestures | |
| US11537259B2 (en) | Displayed image transition indicator | |
| JP6073792B2 (en) | Method and system for viewing stacked screen displays using gestures | |
| US20200110566A1 (en) | Device wakeup orientation | |
| JP2014508977A6 (en) | Smart pad split screen | |
| JP6073793B2 (en) | Desktop display simultaneously with device release |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130919 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130919 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140925 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140925 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151117 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160216 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6073793 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |