JP7018415B2 - スクロールバー上での直交ドラッギング - Google Patents

スクロールバー上での直交ドラッギング Download PDF

Info

Publication number
JP7018415B2
JP7018415B2 JP2019126122A JP2019126122A JP7018415B2 JP 7018415 B2 JP7018415 B2 JP 7018415B2 JP 2019126122 A JP2019126122 A JP 2019126122A JP 2019126122 A JP2019126122 A JP 2019126122A JP 7018415 B2 JP7018415 B2 JP 7018415B2
Authority
JP
Japan
Prior art keywords
window
user
display
computing device
user input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019126122A
Other languages
English (en)
Other versions
JP2019164844A5 (ja
JP2019164844A (ja
Inventor
ジョン・ニコラス・ジトコフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2019164844A publication Critical patent/JP2019164844A/ja
Publication of JP2019164844A5 publication Critical patent/JP2019164844A5/ja
Priority to JP2021168794A priority Critical patent/JP2022002152A/ja
Application granted granted Critical
Publication of JP7018415B2 publication Critical patent/JP7018415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Description

関連出願の相互参照
本出願は、2010年11月18日に出願された「User Interaction in a Computer Operating
System」と題する米国仮出願第61/415179号、および2010年11月18日に出願された「User
Interaction in a Computer Operating System」と題する米国仮出願第61/458326号の優先権を主張し、それらの内容は、本明細書においてあたかも完全に説明されたかのように、参照により組み込まれる。
本文書は、コンピュータオペレーティングシステムのユーザと対話するためのシステムおよび技法に関する。
コンピュータが日常の活動において存在感を増すにつれて、ユーザがコンピュータと対話する方法が、より重要性を増してくる。例えば、初期のコンピュータでは、限定されたユーザのグループと対話するために、パンチカードが使用されたが、デスクトップパーソナルコンピュータでは、より多くのユーザとより長い対話を行うようになっており、またグラフィカルユーザインタフェースの開発がなされるに至った。そのようなインタフェースは、コンピュータオペレーティングシステム自体の一部になり、オペレーティングシステム上で動作するアプリケーションによってさらに拡張された。
今や、コンピューティングデバイスは、スマートフォン、ネットブック、タブレット、および類似のデバイスの形態を取るものなど、ユーザによって持ち運ばれるポータブルなものであることが少なくない。そのようなデバイスは、限られたサイズを有することがあり、キーボードを介する対話は、デスクトップまたはラップトップコンピュータの場合ほど、実用的なものにならないので、グラフィカルコンテンツを表示し、そのコンテンツ上でユーザ入力も受け取ることができる、タッチスクリーンユーザインタフェースの形態を取るものなど、対話のための代替メカニズムが提供されることがある。音声入力、およびモバイルデバイス内の加速度計または方位磁石によって感知できるジェスチャによる入力など、他の入力メカニズムも使用することができる。
本文書は、モバイルコンピューティングデバイス(例えば、スマートフォン)などのコンピューティングデバイスのユーザと対話するために使用できる、システムおよび技法について説明する。本明細書で説明する様々な技法は、デバイスを用いてユーザに合図を送ることを含む、デバイスとのより直感的なユーザ対話を行うためのメカニズム、およびデバイスに提供されたユーザ入力に応答するためのメカニズムを提供することができる。ユーザフィードバックは、可聴信号、触覚フィードバック(例えば、デバイスの調整された振
動)、およびオンスクリーン(on screen)ユーザインタフェース要素の動きといった形態を取ることができる。
例えば、以下で説明するある実施形態では、ユーザは、アプリケーション内ですでにオープンされているウィンドウのエッジにおいてドラッグを行うことによって、グラフィカルユーザインタフェース内に新規ウィンドウ(例えば、新規アプリケーション、アプリケ
ーションの新規インスタンス、またはアプリケーションの特定のインスタンス内の新規ペインとして)新規ウィンドウを「表面化(surface)」させることができる。例えば、ユーザは、ウェブブラウザまたはワードプロセッサなどのアプリケーションのキャンバスのエッ
ジにあるスクロールバー上で、ユーザがスクロールバー内のスクロール要素を移動させるために通常行うドラッグの方向と直交する方向にドラッグを行うことができる。通常、そのようなドラッグは、無効な入力であるが、以下で説明する例では、そのようなドラッグは、新規ウィンドウをオープンしようとするユーザの意図として、コンピュータシステムによって解釈することができる。したがって、入力に応答して、アプリケーションまたはオペレーティングシステムは、既存ウィンドウに対してドラッグの方向に、既存ウィンドウに隣接して新規ウィンドウをオープンすることができる。システムは、既存ウィンドウのサイズ変更を行うこともでき、例えば、ドラッグが生じたときに既存ウィンドウが画面上で最大化されていた場合、既存ウィンドウおよび新規ウィンドウは、各々が画面を半分ずつ(左半分と右半分を、または垂直直交ドラッグの場合は上半分と下半分を)占有することができる。
ある実施では、そのようなシステムおよび技法は、1つまたは複数の利点を提供するこ
とができる。例えば、コンピューティングデバイスとのユーザ対話を改善することができ、ユーザがより多くのデバイスを購入し、それらを他の人に推薦する可能性がより高まるであろう。また、アプリケーションの制作者は、本明細書で説明するようなインタフェースを使用して、アプリケーションを提供できるという利益を得ることができ、新しい種類および追加的な種類のアプリケーションを生成できることもある。
別の実施では、コンピュータ実施ユーザインタフェース方法は、コンピューティングデバイスのディスプレイ上の第1のウィンドウ内にコンテンツを表示するステップと、ウィ
ンドウの周縁部にある要素上でドラッグユーザ入力を受け取るステップと、ドラッグ入力を受け取ったのに応答して、コンピューティングデバイスのディスプレイ上に第2のウィ
ンドウを生成および表示し、第2のウィンドウと同時に第1のウィンドウを表示するステップとを含む。第1および第2のウィンドウを表示するステップは、第1のウィンドウを第2のウィンドウに隣接して、その横に自動的に位置付けるステップを含むことができ、ウィンドウの周縁部にある要素は、スクロールバーを含むことができ、ドラッグモーションは、スクロールバーの通常のスクロール移動と直角をなす方向の成分を有する動きを含む。また、ドラッグモーションは、スクロールバー上での選択と、それに続く、第1のウィンド
ウ内に表示されている文書の本文に向かっての動きとを含むことができる。
別の実施では、コンピューティングデバイスのユーザと対話を行うためのコンピュータ実施システムが開示され、システムは、タッチスクリーンディスプレイを有するグラフィカルユーザインタフェースと、タッチスクリーンディスプレイとの接触の発生および接触の発生後に行われるドラッグの方向を識別するためのドラッグ入力サブシステムと、第1
のウィンドウ上、第1のウィンドウの周辺部においてドラッグ入力を識別し、識別された
ドラッグ入力に応答して、第2のウィンドウを生成するためのコードを記憶する有形なコ
ンピュータメモリに動作可能に接続されたプロセッサとを備える。
また別の実施では、コンピューティングデバイスのユーザと対話を行うためのコンピュータ実施システムが開示され、システムは、タッチスクリーンディスプレイを有するグラフィカルユーザインタフェースと、タッチスクリーンディスプレイとの接触の発生および接触の発生後に行われるドラッグの方向を識別するためのドラッグ入力サブシステムと、第1のウィンドウの周縁部にある要素を起点とする、第1のウィンドウ内でのドラッグ入力に応答して、第2のウィンドウを生成するための手段とを備える。これらの実施の1つまたは複数は、ユーザが、迅速かつ容易に第2のウィンドウを生成することを可能にするうえ
で有利である。新たに生成されたウィンドウは、有利には、元のウィンドウに沿って表示することができ、したがって、両方のウィンドウを同時に見ることができるように、ユーザが2つのウィンドウのサイズ変更および移動を行う必要はない。いくつかの実施は、元
のウィンドウと新規ウィンドウを互いに対してどのようなサイズにするかを、ユーザが指
示することも可能にする。
1つまたは複数の実施形態の詳細が、添付の図面および以下の説明において説明される
。他の特徴および利点は、説明および図面から、また特許請求の範囲から明らかである。
モバイルコンピューティングデバイスにおける触覚フィードバックを示す図である。 モバイルコンピューティングデバイスにおける触覚フィードバックを示す図である。 グラフィカルユーザインタフェースにウィンドウを追加するための技法についてのスクリーンショットを示す図である。 グラフィカルユーザインタフェースにウィンドウを追加するための技法についてのスクリーンショットを示す図である。 グラフィカルユーザインタフェースにウィンドウを追加するための技法についてのスクリーンショットを示す図である。 グラフィカルユーザインタフェースにウィンドウを追加するための技法についてのスクリーンショットを示す図である。 グラフィカルユーザインタフェースにウィンドウを追加するための技法についてのスクリーンショットを示す図である。 グラフィカルユーザインタフェースにウィンドウを追加するための技法についてのスクリーンショットを示す図である。 モバイルコンピューティングデバイスの動きに応答したデバイス上での地図アプリケーションの起動を概念的に示す図である。 モバイルコンピューティングデバイスの動きに応答したデバイス上での地図アプリケーションの起動を概念的に示す図である。 タッチパッド入力メカニズムと、タッチパッド入力メカニズム上での特定のジェスチャに応答するオンスクリーン要素とを有する、コンピューティングデバイスのスクリーンショットを示す図である。 タッチパッド入力メカニズムと、タッチパッド入力メカニズム上での特定のジェスチャに応答するオンスクリーン要素とを有する、コンピューティングデバイスのスクリーンショットを示す図である。 モバイルコンピューティングデバイスの概略図を示す図である。 コンピューティングデバイス上でユーザが入力したデータの訂正と連動する触覚フィードバックを提供するためのプロセスのフローチャートである。 ウィンドウ周縁部におけるユーザ入力に応答して表示要素を生成するためのプロセスのフローチャートである。 コンピューティングデバイスの動きに応答して自動的にナビゲーションアプリケーションを起動するためのプロセスのフローチャートである。 タッチパッドのユーザ操作に応答してグラフィカルディスプレイに要素を導入するためのプロセスのフローチャートである。 本明細書で説明する技法を実施するために使用できるコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す図である。
様々な図面における同様の参照記号は、同様の要素を指し示している。
本文書は、モバイルスマートフォンなどのコンピューティングデバイスのユーザとの対話を、例えば、デバイスにおいて動作するオペレーティングシステムの要素を使用して、可能にするためのシステムおよび技法について説明する。システムおよび技法は、視覚的に、聴覚的に、または接触によって実施できる様々な出力メカニズムと、デバイスを制御
するための入力メカニズムとを提供することができる。本明細書では、複数の具体的な技法の例が説明され、それらの技法は、個別に実施することができ、または技法どうしおよびオペレーティングシステムの他の態様と連携しながら一緒に実施することができる。
図1Aおよび図1Bは、モバイルコンピューティングデバイス102における触覚フィードバ
ックを示す図である。一般に、デバイス102は、引き出し式キーボード108を有するスマートフォンの形態を取る。デバイス102は、ユーザに情報を表示するためのグラフィカルデ
ィスプレイも前面に含み、ディスプレイは、指またはスタイラスを用いたディスプレイ表面へのユーザ接触などによって、ユーザから入力を獲得するためのタッチスクリーン入力メカニズムを含むことができる。
この例では、第1の状態にあるデバイス102が図1Aに、その後の第2の状態にあるデバイ
ス102が図1Bに示されている。第1の状態には、文のテキストを検索クエリとしてサブミットするため、テキストを文としてワープロ文書または電子メールに追加するため、または他の類似の目的のためなどに、ユーザがデバイス102に文をタイプし始めた後のデバイス102が示されている。ユーザによって入力された句106には、スペルミスが含まれ、Soainという単語が入力されているが、ユーザがSpainという単語をタイプするつもりであったこ
とは明白である。この例では、リアルタイムスペルチェックシステムが、Soainという単
語は、デバイス102内に記憶された、または(例えば、無線ネットワークおよびインターネットを介するなど)他の方法でデバイス102からアクセス可能な辞書内に見当たらないと決定することができ、既存のワープロアプリケーションの様々なスペルチェックシステムによって実行されるような方法で、Soainに下線を引くことなどによって、この語を強調表
示することができる。
スペル誤りがある単語の識別は、システムに単語のスペリングを訂正させるトリガとなるのに加えて、デバイス102にユーザに対して触覚フィードバックを提供させることもで
きる。例えば、スペル誤りがある単語に関連してシステムが取るアクションに応じて、1
つまたは複数の異なるタイプの触覚フィードバックを提供することができる。一例として、デバイスが、語110など、スペル誤りがある語の正しいスペルを見つけることができた
場合、デバイス102は、数分の1秒など、比較的短い期間にわたって1回だけ、振動するこ
とができ、その場合、Spainという単語が識別され、テキスト内に自動的に埋め込まれる
。代替として、システムが、語106の訂正を識別することができない場合、デバイス102を、立続けに2回、振動させることができる。
したがって、触覚フィードバックは、ユーザが入力したテキストに問題が認められたことを認識するきっかけをデバイスのユーザに与え、ユーザが画面に目をやるように、または改めて画面を注視するようにさせることができる。ユーザは、振動を1回感じた場合、
画面を見直して、置換後の単語が正しいことを確認することができ、振動を2回感じた場
合、人手による訂正が必要かどうかを判断するために、画面を見直し、タイピングを中断することができる。
デバイス102は、他の実施形態では、他の触覚フィードバックを提供することができる
。例えば、小さなクリック音を出すこと、またはユーザが手に感じることができる低い音を鳴らすことができる。また、1回の振動および2回の振動以外のパターンの触覚フィードバックも使用することができる。例えば、触覚イベントの時間的な長さによって、何らかのステータスをユーザに伝えることができ、または触覚イベントの大きさを使用することもできる。一例として、訂正が行われ、おそらくユーザはそれを気に留めなくてもよいことを、弱い振動によって伝えることができ、一方、誤りが識別されたが、訂正を行うことができないので、ユーザはこの問題により配慮すべきであることを、強い振動によって伝えることができる。
ユーザよる音声入力に応答して、触覚フィードバックを提供することもできる。そのような状況では、システムは、ユーザよるタイピング誤りを探すことがない代わりに、システムが選択した単語が、ユーザが言った単語と一致することに、あまり確信がもてない状況を探す。発話による入力を行っているユーザは、通常、自分が言った単語が正しく理解されたかどうかを確かめるために画面を見続けていることはなく、また話すことと聞くこととを同時に行うことは難しく、可聴フィードバックによって不必要にユーザの注意が逸らされることがあるので、触覚フィードバックは、聴覚フィードバックよりも役立つことがある。対照的に、触覚フィードバックによれば、ユーザは、デバイスを手に持っているときでも、ポケットまたは他の類似の場所に入れているときでも、ほとんど邪魔にならない方法で、音声文字変換に伴う問題について通知を受けることができる。
図2Aおよび図2Bは、グラフィカルユーザインタフェースにウィンドウを追加するための技法のスクリーンショットを示している。一般に、本明細書の技法は、オペレーティングシステムのグラフィカルユーザインタフェース内のウィンドウの周縁部(スクロールバー
上など)において始動し、ウィンドウの内側に移動する、ユーザによって開始されたドラ
ッグモーションを識別するステップを含む。そのようなユーザモーションは、新規ウィンドウを追加しようとするユーザの意図として解釈され、そのため、システムは、新規ウィンドウを生成して、元のウィンドウの横に並べ、また新規ウィンドウのためのスペースを確保するために、元のウィンドウのサイズを縮小する。
一般に、入力が、通常の入力、すなわち、スクロールバーの経路に沿ったスクロール要素のドラッグと直交する場合、その入力は、一般にスクロールバーに登録された「スクロール」を意図するのではなく、「新規ウィンドウ」をユーザが意図したものとして識別される。例えば、直線方向からの傾きがより直角に近い入力、すなわち、スクロール要素が動く方向に対して45度よりも大きな傾きを有する入力を、そのような直交入力として登録することができる。他の状況では、スクロールが通常意図されるものであるので、スクロールと見なす角度の範囲をより大きくすることができ、そのため、ユーザが要素上でドラッグを開始し、要素が通常移動する方向に対して、要素に関する角度を60度以下または80度以下に維持し続けた場合、それが意図するものは、スクロールであると解釈される。また、スクロールがユーザの意図であると見なされる角度と、新規ウィンドウの生成がユーザの意図であると見なされる角度との間に、スペースを維持することもできる。
代替として、2つのユーザ意図の区別は、ユーザがスクロールバーからどれだけ遠くに
移動させたか、その移動の横方向距離に基づくことができる。例えば、スクロールバーから1インチ(約2.54cm)以内の、または一定のピクセル数以内の動きはいずれも、(ドラッグがスクロール要素の上側で行われたか、それとも下側で行われたかに係わらず)スクロー
ル入力として解釈することができ、そのポイントを超えるドラッグは、新規ウィンドウをオープンするための入力として解釈することができる。
図2Aには、ウィンドウ120が示されており、ウィンドウ120内では基本的なウェブブラウザが動作し、ブラウザ内にはウェブページが表示されている。ウェブページを閲覧しているユーザは、そのウェブページ上で語られている人物について研究しており、その人物についての追加情報を見つけ出したいと望んでおり、見つけた情報をウェブページ上の元からの情報と並べて閲覧したいと望んでいると仮定する。そのような閲覧を行う1つの有益
な方法は、ディスプレイ上に2つのウィンドウを並べて、または類似の配置で提供するこ
とである。代替として、一方のウィンドウが他方のウィンドウの上方にくるように、2つ
のウィンドウを表示することができ、やはり、ウィンドウは、直接的に隣接することができる。場合によっては、2つのウィンドウは、自動的に同じサイズで(例えば、それぞれ半画面のサイズで)表示される。代替として、新規ウィンドウ124は、元のウィンドウ120よ
りも大きく、または小さく表示することができる。いくつかの実施形態では、ウィンドウをどれだけのサイズにするかを、ユーザが指示することができる。
そのような配置を定めるのに便利なメカニズムが、選択ターゲット128によって示され
ており、選択ターゲット128は、ブラウザの表示領域の右エッジにあるスクロールバー上
でユーザが行った押下を表す。選択ターゲット128からドロップターゲット130までの図中の矢印は、ドロップターゲット130においてユーザが(例えば、マウスボタンまたはタッチスクリーンから)指を持ち上げるまでに、それら2点間でユーザが行うドラッグモーションを表す。選択ターゲット128は、スクロールバーのスクロールコントロール126上に、またはスクロールバーの別の場所に配置することができる。選択は、ウェブページコンテンツが表示されるブラウザの表示領域の外部にある、ウィンドウ120のエッジ近くの別の周縁
要素上で行うこともできる。代替として、選択ターゲット128は、可視要素がそこに存在
するかどうかに係わらず、ウィンドウ120の周縁部から僅かの距離にある場所とすること
ができる。
ドロップターゲット130は、選択ターゲット128から離れたところにある、選択ターゲットから見て一般に直角方向にある場所に存在することができる。ドロップターゲット130
は、ドラッグを行った後にユーザが指を持ち上げる地点として、またはユーザが指をタッチスクリーンに触れさせたままであっても、そこに到達したときのユーザ意図が登録されている、スクロールバーから決められた横方向距離だけ離れた地点として、識別することができる。(そのような状況では、ユーザは、決められた距離を超えてドラッグを行った
場合に、分割されたウィンドウのプレビューを見ることができ、スクロールバーに向かって逆方向にドラッグを行い、決められた距離の内側に戻ることによって、分割された画面を取消し、元の表示に戻ることができる)。例えば、ユーザは、興味のあるコンテンツを
さらに見るために、ドラッグを行い、指でディスプレイを抑えている間、そのコンテンツを閲覧することができ、その後、スクロールバーに向かって逆方向にドラッグを行うことによって、コンテンツを消去し、最初のブラウジングに戻ることができる。そのような対話は、ユーザが、ページ上のハイパーリンクを押下し、そのハイパーリンクをページの外側にドラッグして、ハイパーリンクのリンク先にあるコンテンツが表示された新規ウィンドウをオープンし(また任意選択的に、元のページと並べて閲覧するために既存ページを
縮小し)、その後、元のページに向かって逆方向にドラッグを行い、その最後のドラッグ
によって、コンピューティングシステムに、ハイパーリンク先のコンテンツのためのウィンドウを閉じさせ、ユーザがハイパーリンクを元のウィンドウの外側にスライドさせる前に見えていた通りの表示に戻させることによっても行うことができる。
代替として、ユーザによる初期モーションは、スクロールバーのスクロールモーションとほぼ直交することができるが、ドロップターゲットは、選択ターゲット128がその近く
に配置されたウィンドウのサイドに隣接するウィンドウのサイドに沿って(例えば、ウィ
ンドウの底辺に沿って)、ウィンドウ120の周縁部の近くの地点に配置されることがある。このモーションは、ドロップターゲットの位置から引き上げられた垂直線によって新規ウィンドウのサイズを定めようとするユーザの意図を示すことができる。図2Bは、元のウィンドウと新規ウィンドウとを示している。いくつかの実施では、ウィンドウのサイズは、ユーザのドラッグモーションが解放された地点に応じて定められ、ウィンドウは、例のケースでは、ウィンドウの底辺と、スクロールバーの新しい位置によって定められる垂直線とに沿って配置される。この例の新規ウィンドウは、スクロールバーを有するようには示されていないが、表示領域に収まりきらないコンテンツがある場合、通常はスクロールバーを有するウィンドウが示される。また、図2Bの新規ウィンドウには、ユーザがごく最近に訪問したページのサムネイルが示されるが、その方法は、ユーザがブラウザ内で新規ペイン(ペインとは本明細書で説明するような新規ウィンドウに相当すると考えられる)をオープンした場合に、GOOGLE CHROME BROWSERが、サムネイルを示す方法とよく似ている。
いくつかの実施形態では、ユーザが、スクロールバー上で(例えば、マウスボタンまた
はタッチスクリーンを)押下し、スクロールバーの方向とほぼ直交する方向にドラッグす
ることによって(また場合によっては、スクロールバーから決められた距離だけ離れたと
ころまで達した後にだけ)、新規ウィンドウがインスタンス化される。例えば、スクロー
ルバーが、上方および下方スクロールをユーザが行うことを可能にする場合、スクロールバー上で押下し、(スクロールバーがウィンドウの右側に配置される場合)ほぼ左向きに、または(スクロールバーがウィンドウの左側に配置される場合)ほぼ右向きにドラッグし、所定の距離または所定の時間のドラッグによって新規ウィンドウがインスタンス化された後に指を持ち上げる。(ウィンドウの外側に向かうドラッグ、すなわち、上述の説明の例
とは反対方向のドラッグも、同じ結果を達成することができる)。
同様に、ウィンドウが、左方および右方スクロールをユーザが行うことを可能にする、上辺または底辺に沿ったスクロールバーを有する場合、スクロールバー上で押下し、(ス
クロールバーがウィンドウの底辺に沿って配置される場合)ほぼ上向きに、または(スクロールバーがウィンドウの上辺に沿って配置される場合)ほぼ下向きにドラッグし、所定の
距離または所定の時間によって新規ウィンドウがインスタンス化された後に指を持ち上げる。直交または直角についての正確さをユーザに期待することはできないので、ユーザによって引き起こされる動きは、スクロールバーの方向に対して必ずしも正確に直交または直角である必要はない。しかし、メカニズムが許容できるのは、直交方向から30度以内のユーザモーションである。より高い精度を求める実施形態では、メカニズムが許容できるのは、直交方向から20度以内のユーザモーションである。ユーザモーションは、スクロールモーションから区別可能であるべきである。元のウィンドウおよび新規ウィンドウのサイズをどのようにすべきかについてユーザの指示がない場合、いくつかの実施形態では、ウィンドウは、デフォルトでは等しいサイズを取る。
所定の距離は、選択ターゲット128とドロップターゲット130の間で必要とされる距離によって定めることができる。所定の距離は、ウィンドウの高さおよび/または幅によって
定義されるウィンドウのサイズとの関連で定めることができる。例えば、メカニズムは、押下したまま、少なくとも(ドラッグモーションが垂直方向に行われる場合は)ウィンドウの長さの半分、または(ドラッグモーションが水平方向に行われる場合は)ウィンドウの幅の半分にわたってドラッグすることを、ユーザに要求することができる。他の実施形態では、メカニズムは、幅または長さの3分の1にわたってドラッグすることを要求することができる。他の実施形態では、メカニズムは、例えば、幅または長さの3分の2または4分の3など、幅または長さの2分の1よりも長くドラッグすることを要求することができる。
代替として、所定の時間を定めることができ、その場合、ユーザが押下し、所定の時間が経過した後、解放することによって、新規ウィンドウがインスタンス化される。所定の時間は、少なくとも0.5秒とすることができる。別の実施形態では、所定の時間は、少な
くとも1秒とすることができる。また別の実施形態では、所定の時間は、少なくとも2秒とすることができる。いくつかの実施形態では、ユーザが押下し、新規ウィンドウをインスタンス化できる方向にドラッグしても、タイムリミットが過ぎた後に解放しない場合、ユーザが指を持ち上げたときに、ウィンドウがインスタンス化されることはない。例えば、ユーザが押下し、2または3秒以上が経過した後になっても指を解放しない場合、ユーザが指を持ち上げたときに、ウィンドウがインスタンス化されることはない。
図2Bを再び参照すると、図2Bは、ユーザによるそのような入力をコンピューティングデバイスが解釈した結果を示している。具体的には、ウィンドウ120が示され、元のウィン
ドウ120に隣接して、新規ウィンドウ124も示されている。ウィンドウ120は、横方向の寸
法が縮小しており、縮小の程度は、図2Aにおいてユーザが行ったドラッグと同じであり、
すなわち、図2Bのウィンドウ120の右エッジは、おおよそドロップターゲット130を通る垂直線に一致する。また、新規ウィンドウ124は、図2Aに示されるユーザ入力に応答して、
自動的にインスタンス化される。ウィンドウ124は、検索ボックスを表示するページ、ユ
ーザがごく最近に訪問したサイトのサムネイル、または他のそのようなコンテンツを表示するページなど、ブラウザの標準的な汎用トップページとすることができる。
また、図2Cにおけるユーザからの入力は、ウィンドウ124がインスタンス化されたとき
に、ウィンドウ124内にどのページを表示すべきかを指示することができる。例えば、選
択ターゲットは、URL127など、ウェブページの要素上にあることができ(その場合、ドロ
ップターゲット129は、画面のエッジ、または現在ブラウザのフォーカスがあるペインも
しくはタブの外側の領域である)、図2Dに示されるように、ウィンドウ124内で、そのURL
に対応するウェブページをオープンすることができる。図2Eを参照すると、一代替実施形態ではユーザは、ウィンドウ124がインスタンス化されたときに、ウィンドウ124内にどのページを表示すべきかを指示することができ、この場合、URLなど、ウェブページ上の要
素が、ドロップターゲット129である。そのような一実施形態では、選択ターゲットは、
ウェブページコンテンツが表示されるブラウザの表示領域の外側にある、ウィンドウ120
のエッジ近くの周縁要素とすることができる。例えば、選択ターゲットは、スクロールバーまたはスクロールバー内のスクロールコントロール126とすることができる。ユーザモ
ーションは、図2Eの矢印によって示されるような、スクロールコントロール126(選択ターゲット)からウェブページ要素またはURL127(ドロップターゲット)に向かっての動きを含
むことができる。上で説明したように、ユーザが新規ページ上のコンテンツを閲覧した後などの状況において、元のウィンドウ120に向かって逆方向にドラッグすることによって
、ユーザは、新規ウィンドウ124のオープンを容易に「取り消す」こともできる。
図2の例では、ウェブブラウザおよびウェブページに注目したが、この技法は、他のア
プリケーションとともに使用することもできる。例えば、ワープロアプリケーションのユーザは、同様のドラッグモーションを行って、新規ウィンドウまたはペイン内に新規文書をオープンさせることができる。新規文書は、元の文書とともに、より大きな文書の部分文書として確立することができ、より大きな文書は、両方の部分文書を含む。例えば、そのようなドラッグは、書籍の原稿の新しい章をオープンするために使用することができ、この場合、書籍全体に対応する文書は、各章に対応する部分文書を含む。別の例として、図2Fを参照すると、ユーザは、ワープロ文書において、ある文書からの抜粋部分144を強
調表示することができる。その場合、ユーザは、第2のウィンドウをインスタンス化する
ために、強調表示された抜粋部分に向かってドラッグモーションを行うことができ、または強調表示された抜粋部分からワープロ文書のウィンドウの周縁部に向かって(またアプ
リケーションのインスタンス化を定義するメインウィンドウ内のサブウィンドウとすることができる、文書のキャンバスの外側に向かって)ドラッグモーションを行うことができ
る。図2Fに示される例では、ユーザは、強調表示された抜粋部分144内に配置された選択
ターゲット142上でクリックを行い、ドロップターゲットである周縁要素146に向かってドラッグモーションを行う。第2のウィンドウが表示および生成され、強調表示された抜粋
部分は、第2のウィンドウ内に表示される新規ワープロ文書内にペーストされる。
図3Aおよび図3Bは、モバイルコンピューティングデバイス430の動きに応答したデバイ
ス430上での地図アプリケーションの起動を概念的に示している。図3Aは、停止している
自動車432内のデバイス430を、デバイス430のスクリーンショットとともに示しており、
一方、図3Bは、デバイス430の例示的な動作モードを際立たせるために、走っている同じ
自動車432を、デバイス430のスクリーンショットとともに示している。
図3Aでは、デバイス430が、自動車432のダッシュボードのドック内に配置するなどして、自動車432に搭載されている。自動車432は、走っておらず、デバイス430は、デバイス4
30上に、オペレーティングシステムのデスクトップを単に表示している。例えば、デバイスは、それを選択するとデバイス430上の様々なアプリケーションを起動することができ
る1つまたは複数のアイコン438と、アイコンのグループ434とを表示することができる。
加えて、デスクトップ上には、クロック436または他のそのようなプログラムなどの、ウ
ィジェットまたはガジェットを表示することができる。したがって、デバイス430上の表
示は、馴染み深い方法で提供される。
図3Bでは、自動車432の運転手が、自動車を走らせ始めており、その結果、デバイス430内のGPSモジュールは、デバイス430の速度、ひいては自動車432の速度を計算することが
できる。そのような決定は、自動車432の停止中の図と走行中の図の間に示されるような
式に従って行うことができ、ある期間中に走行した2地点間の距離を決定し、その距離を
その期間で除算することによって、走行速度が獲得される。
この例のデバイス430は、計算された速度を所定の速度と比較するプログラムを備え、
所定の速度に達した、または所定の速度を超えた場合、デバイス430は、その表示を、デ
スクトップ表示から、デバイス430および自動車432の位置を地図上に示す地図の形式を取るナビゲーション表示440に変化させる。このようにして、デバイスは、走行中のユーザ
は最新の所在位置についての情報を得たいであろうという推測に基づいて、自動的にモードを変化させることができる。
図3Bの表示440は、ナビゲーション表示だけを提供するものとして示されているが、他
の情報を表示上に保ち続けることもできる。例えば、着信メッセージ(例えば、着信電話
呼の発呼者ID情報、着信電子メールのタイトル行など)を表示するために、表示の周縁部
に沿って細長い区画を残しておくことができ、ユーザは、メッセージアラート上の領域を選択することによって、対応するメッセージについてより多くの情報をナビゲーション表示上に表示させることができ、またはそれらの情報でナビゲーション表示を置き換えることができる。また、着信電話呼など、特定のイベントが発生した場合、画面を分割してナビゲーション表示を脇へ押しやることができ、またはユーザが通話中はナビゲーション表示を完全に消すことができる。
ユーザに示されるナビゲーション表示のタイプは、デバイス430によって検出された速
度に依存することもできる。例えば、遅い速度の場合、デバイス430は、ユーザが歩行中
または自転車で走行中であると推測することができ、地元の店舗、バス停留所、およびATMなどが示される、そのような活動に適した詳細さで、地図を示すことができる。より速
い速度の場合、表示には、代わりに、ガソリンスタンド、走行方向、および現在の交通情報など、自動車の運転手に関係する情報が示される。コーヒーショップの場所など、情報によっては、どちらのモードでも示すことができる。
ナビゲーション表示のズームレベルも、デバイス430の速度の変化に応じて、自動的に
変化させることができる。例えば、速度が時速10マイル(約16km)未満の場合は、ユーザが歩行中であることを示すので、ズームレベルは、デバイス430が1または2ブロックを示す
ように設定することができる。速度が時速約60マイル(約96km)の場合は、ズームレベルは、デバイス430が数マイルの範囲を示すように、自動的にリセットすることができる。
図3に示される方法では、その後、ナビゲーション表示は、感知されたデバイスの動き
に応答して、デバイスの中心的表示(focus)になることができ、ユーザがそのような表示
を明示的に要求する必要がないようにする。また、ナビゲーション表示の特定のモードは、デバイスが動いている速度に応じて、変化させることができる。
図4Aおよび図4Bは、タッチパッド入力メカニズムと、タッチパッド入力メカニズム上で
の特定のジェスチャに応答するオンスクリーン要素とを有する、コンピューティングデバイス442のスクリーンショットを示している。この例では、デバイス442は、タッチスクリーンに隣接するタッチパッドを有するノートパッドの形態を取るが、通常は、2つの要素
がちょうつがいで接続されたノートブックまたはラップトップの形態を取り、一方の要素に、グラフィカルディスプレイを有し、他方の要素に、タッチパッド(および対応する選
択ボタン)を伴うキーボードを有する。
図4Aには、グラフィカルディスプレイ444にウェブページ456を表示したデバイス442が
示されている。ディスプレイ444の左エッジには、選択可能タブ454が示されている。選択可能タブ454上の矢印は、タッチパッドまたはマウスによって操作されるポインタを用い
るなどして、タブ454を選択することができること、またタブを右側にドラッグして、現
在はディスプレイ444の左外側に(想像上ではあるが)配置されている1つまたは複数のオブジェクトを画面上に引き出すことができることを、デバイス442のユーザに知らせる。
代替として、接触ポイント448によって示されるように、タッチパッド446の左側でデバイス442に接触し、その後、タッチパッド446の表面を指でなぞって、引き出しの意図が登録された十分な距離だけ面内で指を進めることによって、ユーザは、ディスプレイの左側の領域からディスプレイ444上にオブジェクトを引き出そうという意図を示すことができ
る。タッチパッドのエッジ外では、ユーザの指は感知されないが、タッチパッド446のま
さにエッジのところに最初に指がきたときに、左エッジに対して直角をなす、タッチパッド面の方を向いた指のベクトルとともに、指の存在を感知することができる。図4Bに示されるように、タッチパッド446上でのポイント450に向かってのユーザの入力によって、情報パネル452が、タッチパッド上でのユーザの指の動きに合わせて、アニメーション的に
ディスプレイ444上にスライドする。一般に水平方向の直線スワイプ(swipe)である、対応するスワイプは、タッチパッド446の右エッジ外からタッチパッド面に向かうものも、ま
たはタッチパッド446の領域から左エッジ外に向かうものも、デバイス442が図4Aのルックに戻るように、情報パネル452をディスプレイ444から消し去ろうとする意図を示すことができる。
ユーザ入力のこの実施では、ユーザがタッチパッド446上で指をスワイプさせたときに
、ディスプレイ444における対応するポイントがタブ上(目下の状況ではディスプレイ444
の中央)にあるかどうかは問題ではない。代わりに、タッチパッド446の外側から開始する動きの場合、それは、タッチパッド446に対する指の垂直位置に関係なく、動きによって
タブ454がつかまれたことを示すとデバイスによって見なされる。
ポイント450の特定の位置が、ユーザ入力に対するデバイス442の反応に影響することもあり、または影響しないこともある。例えば、ユーザがタッチパッド446上で水平入力を
提供していることを少なくとも示すためには、ポイント450は、タッチパッド446の内側に十分深く入ったところにある必要がある。ポイント450の最終位置も、パネル452がディスプレイ444上にどれだけスライドするかを制御することができる。例えば、パネル452は、情報用の2つの垂直カラムを有することができ、ユーザがタッチパッド446上で行ったドラッグが中間距離(または他の何らかの距離)に達しない場合、一方の垂直カラムを表示することができ、ユーザが行ったドラッグがより長い距離である場合、両方のカラムを表示することができる。
ディスプレイ444の左エッジに沿って、タッチバー455も示されている。タッチバーは、デバイス442のグラフィカルディスプレイ部の外側の、デバイス442の枠上に存在することができ、比較的低い解像度を有するタッチセンサ式デバイスとすることができる。示されるように、適切な状況では、タッチバー455は、複数のゾーンを有することができ、各ゾ
ーンには、ブックマークを示す、ホームページに移る、前に進む、または後に戻るなどの
ウェブブラウジング操作が割り当てられる。各領域は、ユーザが、枠の裏側に当てた人差し指と親指とでつまむようにしながら、親指を関連する選択項目に容易に押し当てることができるサイズを有することができる。タッチバー455の領域は、タッチバー455上のアイコンの上からタッチバー455のエッジ外へ親指をドラッグする動作など、ユーザによる限
られた動作を識別するための機能を含むこともできる。そのような動作は、特定の機能に割り当てることができ、同時にまたは代替として、デバイス442において動作するアプリ
ケーションによってプログラム可能とすることができる。
したがって、デバイス442の枠内のタッチバー455を使用して、キーボードにキーを追加する必要なしに、追加のクイック入力メカニズムをユーザに提供することができる。また、枠入力を受け取り、解釈するための他の様々な技法を使用することができる。例えば、枠選択は、音楽プレーヤを制御するためのアイコンを含むことができ、タッチバー455は
、デバイス442を取り巻くように配置することができ、そのため、(例えば、ラップトップが開いているときに行われるウェブブラウジングまたは他の何かのための)ボタンのいく
つかは、デバイス442の内側から見ることができ、ラップトップが閉じられているときは
、他のボタンがデバイスの外側から見える(例えば、デバイス442に十分な電力を与えなくてもアクセスできる音楽プレーヤコントロール)。
図5は、上で説明した技法および以下で説明する技法を実行するためのモバイルコンピ
ューティングデバイスの概略図である。デバイスは、図5ではスマートフォンの形態で示
されているが、デスクトップパーソナルコンピュータ、ネットブック、またはラップトップコンピュータなど、他の様々な形態を取ることができる。この例では、モバイルデバイス502は、入力および出力用のタッチスクリーンディスプレイ504と、代替入力メカニズムとしてトラックボール506とを有する、スライダベースのスマートフォンである。
ディスプレイ504は、上のページのような方法でクロームフリー(chrome-free)のブラウザに表示された地図アプリケーションの一例を示しており、ディスプレイ504の左側には
、上で説明したようにディスプレイの左エッジから内側に引き出された情報パネルも示されている。ユーザインタフェース用のスクロールバーまたは他のナビゲーション要素を有する、特定のブラウザを示すこともでき、そのような要素上での入力は、上で説明したような方法および以下で説明するような方法で、以下で説明される構造化構成要素によって処理することができる。
機能と関連付けられ、上で詳細に説明した技法および以下で詳細に説明する技法を実施するために使用される、デバイス内の構成要素を示すために、デバイス502の内部に、多
くの構成要素が概略的に示されている。構成要素の1つまたは複数は、デバイス上のメモ
リ内に記憶され、デバイス502のプログラム可能なマイクロプロセッサ上で動作するもの
として実施することができるが、この例では、説明が明瞭になるように、個々の構成要素は別々に示されている。他の構成要素および構成要素の配置も企図されている。
デバイス502は、タッチスクリーンディスプレイ504上でユーザに示される様々な要素を制御するディスプレイマネージャ508を含み、一方、入力マネージャ512は、ディスプレイ504上のタッチスクリーン、またはトラックボール506などの他のメカニズムから受け取る入力を管理する。ディスプレイマネージャ508は、様々なアプリケーション、およびオペ
レーティングシステムの他の構成要素から情報を受け取ることができ、ディスプレイ504
上の他の要素との関連でどの要素を表示すべきか、どの要素を隠すべきか、互いとの関連で可視要素をどのように示すべきかを決定することができる。
入力マネージャ512は、ユーザがデバイスを用いて取るアクションを解釈するために、
ディスプレイマネージャ508と連携することができる。例えば、ユーザは、タッチスクリ
ーンディスプレイ504上に指を置くことができ、またはタッチスクリーンディスプレイ504上でポインタを動かし、その後、選択を行うことができる。入力マネージャ512は、その
ようなアクションによってユーザがどのアイテムを選択したかを決定するために、ディスプレイマネージャ508に問い合わせることができ、イベントマネージャ510を使用するなどして、イベントを生成することができ、イベントは、そのようなイベントの報告を事前に求めていた様々な他の構成要素に報告することができる。例えば、入力マネージャ512は
、スクロール要素が表示されたデバイス502上の位置において、ユーザの接触が発生した
ことを識別することができ、その後、要素の経路から外れた方向、スクロールバーと直交する方向において、ドラッグが発生したことを識別することができる。その後、入力マネージャ512は、上で説明したように、および以下で説明するように、そのような入力に対
する応答として、デバイスに新規ウィンドウをオープンさせる、別の要素に通知することができる。
デバイス502は、デバイス上で動作するアプリケーションおよび/またはデバイスのオペレーティングシステムから利用可能とすることができる、様々なサービスを備えることもできる。例えば、普通に市販されているモジュールとすることができるGPSモジュール514は、デバイス502の所在位置について決定することができ、運転の道順を提供するアプリ
ケーション、およびソーシャルネットワークを介してユーザの友人によって参考にされるユーザの所在位置を提供するアプリケーションなど、様々なアプリケーションに、そのような情報を提供することができる。同様に、スペリング訂正器516は、デバイス上で動作
する様々なアプリケーションが、ユーザが入力したデータを訂正できるように、またはさもなければ、入力が有する問題についてユーザに通知できるように、それらのアプリケーションから一般に利用可能なサービスを提供することができる。そのような通知は、図1Aおよび図1Bならびに図3Aに関して上で説明したような、触覚フィードバックを介することができる。
デバイス502には、様々な物理的な出力メカニズムを提供することもできる。例えば、
ユーザに触覚フィードバックを提供するために、バイブレータ522を提供することができ
る。バイブレータ522は、デバイス上の様々なアプリケーションまたはサービスによって
呼び出すことができる、関連するコントローラ(図示されず)を有することができる。例えば、スペリング訂正器516は、スペリング訂正器516によってスペル誤りが識別された場合は常に、デバイス502に振動を起こさせることができる。また、トーンまたは合成音声の
形態などの追加的なフィードバックをユーザに与えるために、サウンドコントローラ524
および関連するオーディオスピーカを提供することができる。
アプリケーション518、520などの、様々なアプリケーションは、デバイス上で動作することができ、ディスプレイマネージャ508を介して表示されるグラフィックスにデータを
提供することができる。アプリケーションは、デバイス502上のオペレーティングシステ
ムの部分とすることができ、デバイス502のユーザによってオンラインマーケットなどか
ら追加することができる。この例では、第1のアプリケーションは、地図アプリケーショ
ン518であり、スタンドアロンアプリケーションとして、またはブラウザアプリケーショ
ン520内で動作するアプリケーションもしくはプラグインとして動作することができる。
ブラウザアプリケーション520は、スタンドアロンアプリケーション、またはデバイス502上で動作するオペレーティングシステムに組み込まれたコンポーネントとすることができ、本文書の他の箇所で詳細に説明されるような表示を生成することができる。デバイス502のユーザなどによって、他のアプリケーションを提供すること、またはデバイス502上にインストールすることもできる。
オペレーティングシステムおよびアプリケーション518、520に向けた様々なメッセージを、無線インタフェース526を介してインターネットに接続される無線通信ネットワーク
などのネットワークを介して、受け取ることができる。1つまたは複数のリモートサーバ
からなど、ネットワークから受け取った情報を、アプリケーション518、520に提供することができ、またアプリケーション518、520からネットワークに情報を渡すことができる。
加えて、揮発性ストレージおよび永続性ストレージを含む、様々な形態のストレージを、デバイス502において提供することができる。永続性ストレージは、アプリケーション
データ528、辞書データ530、およびユーザ情報532など、様々なデータストアを含むこと
ができる。辞書データ530は、上で説明したように、スペリング訂正器516と連携し、またスペリング訂正器516によって使用されて、ユーザによって入力された語が適切に綴られ
ているかどうかをスペリング訂正器516が判定することを可能にする情報を提供する。ア
プリケーションデータ528は、様々なアプリケーション518、520がその機能を実行するた
めに必要とするデータであれば何でも含むことができる。アプリケーションに応じて、データをリモートサーバシステムに記憶する代わりに、多かれ少なかれ、データをデバイス502にローカルに記憶することができる。例えば、あるデバイスは、地図アプリケーショ
ン用のデータをローカルに記憶することができ、一方、他のデバイスは、ユーザが地図上を進んでいるときに、リモートサーバから地図データ(例えば、地理的領域の一部の画像
を示す地図タイル)を獲得することができ、後で直ちにデータを廃棄することができる。
ユーザ情報532は、コンピューティングデバイス502の1人または複数人のユーザについ
ての特定の情報を含むことができる。例えば、ユーザ情報は、ユーザのプロフィール情報の他、ユーザとのデバイス502の対話を制御し、様々なアプリケーションがデバイス502において動作する方法も制御することができる設定情報も含むことができる。図5には、明
瞭になるように、3つの様々なデータストアが示されているが、多くの他の情報も、デバ
イス502に存在し、またデバイス502に記憶することができ、図5に示されるように配置さ
れる必要はない。
図6は、コンピューティングデバイス上でユーザが入力したデータの訂正と連動する触
覚フィードバックを提供するためのプロセスのフローチャートである。一般に、プロセスは、ユーザによって入力された情報に対して変更が成功したこと、もしくは成功しなかったこと(または変更がないこと)をユーザに知らせるために、モバイルデバイスを自動的に揺らすまたは振動させるステップを含む。
プロセスは、コンピューティングデバイスがタイプされたユーザ入力を受け取る、ボックス302において開始する。そのような入力は、ワープロアプリケーション、電子メール
アプリケーション、ウェブブラウザアプリケーション、および他の類似のアプリケーションなど、デバイス上で動作している1つまたは複数のアプリケーションを介して行うこと
ができる。入力は、音声テキスト変換器などによって、アプリケーション用のテキストに変換される、発話入力とすることもできる。ボックス304において、プロセスは、ユーザ
によって入力されたスペース、または音声テキスト変換器によって決定された単語の末尾など、入力テキストにおける単語の切れ目を識別する。ボックス306において、スペリン
グ訂正アプリケーションが、入力された単語、または複数の単語から構成される句を解析し、その単語が、デバイス上に記憶された辞書、またはデバイスからアクセス可能にされた辞書内のいずれの単語とも一致しないと判定する。そのような判定は、単純に単語を辞書内の単語のリストと比較することによって、または単語の適切なスペルをより良く決定するために文脈を考慮して単語を比較することによって行うことができる。
ボックス308において、プロセスは、単語を訂正するために、自動訂正サービスにアク
セスする。そのようなサービスは、辞書データを使用して、適切な単語のスペルを決定するために、または発話ユーザがどんな単語を言ったかを決定するために、様々な馴染み深い形態で実施することができる。
ボックス310において、プロセスは、単語の訂正についてユーザに合図を送るために、
触覚デバイスに電力を供給する。そのような合図は、ユーザが弱い振動を感じるように、触覚デバイスに電力を供給することを含むことができる。デバイスをしばらく使用した後、ユーザは、振動がデバイス上で入力されたデータに対する訂正を示していることを本質的に理解する。より強い振動、または立続けに2回の振動は、デバイスが、語のスペルを
訂正できなかったこと、またはデバイスに対して言われた語を認識できなかったことを示すために使用することができる。ユーザ入力に誤りを識別したのに応答して、テキスト内の誤りが自動的に訂正されるのか、それとも自動的に訂正されるのかに応じて、訂正を自動的に行うことができる場合は、控えめな信号を用い、適切な訂正を自動的に行うことができない場合、または単語を決定できない場合は、より積極的な信号を用いる、他の類似の触覚フィードバックメカニズムを提供することもできる。後者の場合、より積極的な信号は、ユーザに行っていることを中止させ、デバイスにより注意を払って、入力の訂正を人手で行うようにさせることができる。
ボックス312は、ユーザが人手で行うそのような単語の訂正を示している。ボックスが
破線形式で示されているのは、触覚フィードバックが、デバイスが自動的に訂正を行えなかったことを知らせている場合であっても、ユーザが現時点では入力を中止したくなく、データ入力が終了した後に訂正を行うつもりである場合などには、ユーザはそのような訂正を行う必要はなく、デバイスを無視できるからである。
このようにして、コンピューティングデバイスは、デバイスにデータを入力しているユーザに、入力のフィードバックを適宜提供することができる。アラートメカニズムは、情報を入力しているユーザを妨害しないように提供でき、アラートを通知された情報の入力をユーザが中止する必要がない点で、控えめであることができる。したがって、ユーザは、それを選択した場合は情報の入力を継続することができ、またはそれを選択した場合は情報の入力における問題に対処することができる。
図7は、ウィンドウ周縁部におけるユーザ入力に応答して表示要素を生成するためのプ
ロセスのフローチャートである。一般に、プロセスは、グラフィカルユーザインタフェース上にすでに表示されているウィンドウの周縁部付近におけるユーザ選択に応答して、インタフェース上に新規ウィンドウまたは類似のオンスクリーン要素をオープンするステップを含む。ユーザ選択は、ウィンドウの周縁部において開始し、ウィンドウの内側部分をスライドさせることができ、ウィンドウの一方のサイドをサイドに向かってスライドさせ、第1のウィンドウが明け渡した領域に新規ウィンドウを提供もしようというユーザの意
図を基本的に示す。本文書では、ウィンドウという用語は、その周囲の要素から境界によって区切られ、境界内での選択が特定のアプリケーションに関するユーザアクションを表す、グラフィカルオンスクリーン要素を識別するために使用される。
プロセスは、コンテンツがグラフィカルユーザインタフェースの第1のウィンドウ内に
表示される、ボックス314において開始する。コンテンツは、ウェブブラウザのウェブペ
ージ、ワープロアプリケーションの文書とすることができ、または別の類似の形式を取ることができる。場合によっては、コンテンツ内での迅速な移動を可能にするために、コンテンツの一方のサイドに沿って、またはコンテンツの上辺もしくは底辺に沿って、馴染み深い方法で、スクロールバーを表示することができるボックス316において、プロセスは
、スクロールバーが表示されている領域内など、第1のウィンドウのエッジにおいて選択
を識別する。選択は、スクロールバー内のスクロールボタンが表示されている領域など、スクロールバーの特定の領域で行うことができる。ボックス318において、プロセスは、
第1のウィンドウの本体に向かってのドラッグを識別する。特に、プロセスは、ユーザが
、グラフィカルディスプレイ自体の周縁部沿いなど、ウィンドウの周縁部沿いにおいて最
初に選択を行い、左から右または右から左への水平ドラッグなどによって、文書の本文に向かって内側にドラッグを行ったことを決定することができる。
そのようなドラッグの識別に応答して、プロセスは、ボックス320において、第1のユーザウィンドウに隣接して第2のユーザウィンドウを生成することができる。第2のウィンドウのそのような生成は、ディスプレイ上に第2のウィンドウのための余地を空けるために
、プロセスが第1のウィンドウを縮小した後に行うことができる。第2のウィンドウのそのような生成は、ユーザが手始めに内側にスライドを行って、ウィンドウが動いている間に表示されるウィンドウの概略のイメージを見ることができ、ウィンドウが動くにつれての2つのウィンドウの将来のサイズを見ることができるように、ユーザがポインタボタンを
解放するまで待つこともできる。
第1のウィンドウの縮小、および第2のウィンドウの位置付けは、様々な位置で行うことができ、1つのそのような位置は、ウィンドウの周縁部においてドラッグモーションを開
始した後、ユーザが選択ボタンを解放した地点とすることができる。例えば、第1のウィ
ンドウがディスプレイ全体を満たしており、ユーザがウィンドウの右側スクロールバーから左向きにディスプレイを半分進むドラッグを行った場合、ボックス322に示されるよう
に、第1のウィンドウは、そのような操作の後、ディスプレイの左半分を満たすことがで
き、新規ウィンドウは、ディスプレイの右半分を満たすことができる。
新規ウィンドウに示される情報は、様々な形態を取ることができる。例えば、第2のウ
ィンドウ内には、最初、空白のワープロ文書、あるいはユーザが先に訪問したことのある多くのウェブサイト、またはユーザが1つもしくは複数の検索問い合わせを入力すること
ができる検索ボックスを示す、ウェブブラウザ用の汎用的な第1画面などの、空白文書を
表示することができる。代替的に、新規ウィンドウは、ウェブページリンクのリンク先など、第1のウィンドウに表示されているものに関連する情報を表示することができる。そ
のような方法では、ユーザは、第1のページのリンク上でクリックを行い、ページの周縁
部まで、またはウィンドウの外側の領域までドラッグを行って、リンクのリンク先を自動的に表示する新規ウィンドウをオープンするように命令することができる。代替として、ユーザモーションは、(タブ方式のブラウザ内のタブとすることができる)新規ウィンドウ内にリンクのリンク先をオープンするために、ウィンドウの周縁部において開始し、ページ上のリンクまでドラッグを行うことができる。
図8は、コンピューティングデバイスの動きに応答して自動的にナビゲーションアプリ
ケーションを起動するためのプロセスのフローチャートである。一般に、プロセスは、デバイスの速度の変化に自動的に応答して、コンピューティングデバイス、一般にはモバイルコンピューティングデバイス上の表示を変化させるステップを含む。
プロセスは、技法の中でもとりわけ、GPS機能、またはセルフォン塔もしくはWiFiホッ
トスポット間の三角測量などによる他の機能を使用するデバイスの動きをプロセスが監視する、ボックス324において開始する。監視は、デバイスオペレーティングシステムの一
部である、デバイス上のイベントハンドラにおいて行うことができ、イベントハンドラには、様々なアプリケーションまたは他のプロセスが、デバイスのGPSモジュールによって
情報が生成された場合に通知をもらいたい意図を登録することができる。
ボックス326において、プロセスは、所定のレベルにある動きまたは所定のレベルを上
回る動きを識別する。そのような判定は、速度があるレベルを上回る場合にだけ、通知がアプリケーションに提供されるように、イベントハンドラ自体によって行うことができる。代替として、図8で説明するプロセスに従うアプリケーションは、デバイスによって生
成されたすべてのGPSデータを受け取ることができ、デバイスの速度が所定のレベルを超
えたことを自ら判定することができる。
ボックス328において、プロセスは、デバイスの速度がある速度を超えた場合に通知を
もらいたい意図を表明していたアプリケーションとすることができる、利用可能なアプリケーションをチェックする。そのようなアプリケーションの1つは、デバイスの速度が、
ユーザが1つの場所から別の場所に歩行中、自転車で走行中、または自動車で走行中であ
ることを示すレベルなど、ある所定のレベルを超えた場合に、自動的に自らをインスタンス化し、デバイスの中心的表示となるようにプログラムすることができる、地図アプリケーションを含むことができる。ボックス330において、プロセスは、GPSユニットによって決定された速度に対応するモードで、地図アプリケーションまたは別のアプリケーションを起動する。例えば、第1のモードは、ユーザが歩行中など、低速の動きに関連すること
ができ、そのため、このモードは、歩行中のユーザに関連する情報を表示する。第2のモ
ードは、ユーザが自動車で走行中であることを示す速度に応答してトリガすることができ、デバイスが移動中の道路近くのガソリンスタンドおよびファストフードレストランの位置など、運転手に関連する情報を地図アプリケーションとともに表示することができる。
このようにして、図8に示される技法は、モバイルデバイスの中心的表示を、モバイル
デバイスを携えて移動中のユーザに関連するアプリケーションに自動的に変化させるために使用することができる。結果として、ユーザは、情報を明示的に求める必要なしに、情報を受け取ることができ、また場合によっては、ユーザの注意を歩行または運転から逸らす必要がない可能性もある。
図9は、タッチパッドのユーザ操作に応答してグラフィカルディスプレイに要素を導入
するためのプロセスのフローチャートである。一般に、プロセスは、タッチ入力メカニズムの面の外からタッチ入力メカニズム上の領域に向かってのユーザモーションを識別するステップを含み、メカニズムが最初に接触または動きを感知したのがメカニズムのまさにエッジにおいてであるという事実によって、動きの開始はメカニズムの外であると推論される。
プロセスは、デバイスが、画面上にアプリケーションを、画面のエッジにインジケータを表示する、ボックス332において開始する。この例では、画面のエッジにあるインジケ
ータは、通常は可視の要素がグラフィカルユーザインタフェースの表示のエッジの外に仕舞われていることを、デバイスのユーザに視覚的に識別させる。この例における要素には、その上に矢印が示され、要素を選択すると矢印の方向に何らかの動きが生じることを、ユーザに自然に示している。グラフィカル要素が、現在は、ある意味でグラフィカルディスプレイのエッジの外に配置されていることをユーザに示すために、他のメカニズムを使用することもできる。
ボックス334において、プロセスは、デバイスのタッチパッド面の上の動きを受け取り
、ボックス336において、デバイスは、タッチパッド面のエッジにおいて動きの開始点を
識別する。デバイスは、動きがタッチパッドのエッジにおいて速度を有し、したがって、タッチパッドのエッジの外において開始したにちがいないことも識別する。デバイスは、そのような判定を使用して、動きが、接触が生じたと最初に識別されるタッチパッドのエッジの外で開始したこと、および入力が、それが開始したところからタッチパッドに向かって移動したことを識別することができる。その後、デバイスは、そのような動きを解釈して、グラフィカルユーザディスプレイの外からディスプレイ上に向かって、ユーザがタッチパッド上に向かって指をそこからスライドさせたタッチパッドのサイドに対応するディスプレイのサイドから、アイテムをスライドさせようとするユーザ意図を動きが含んでいるものとする。ディスプレイ上にもたらされるオフスクリーン要素が存在することをユーザに示す、ディスプレイ上のタブまたは他の要素の位置と、タッチパッド上の接触点が
一致しない場合でも、そのような判定を下すことができる。
ボックス338において、プロセスは、ユーザの入力がタッチパッドに入ったタッチパッ
ドのエッジに対応する画面のエッジから、バックグラウンド上および/またはディスプレ
イに表示中の他のアプリケーション上に、アニメーション的にパネルをスライドさせる。アニメーションは、要素が単純にスライドして次第に見えてくるものとすることができ、またはより複雑な動きとすることができる。また、次第に見えてくるアニメーションで表現される可視的要素は、リボン、パネル、またはツールバーなど、様々な形態を取ることができる。ユーザは、タッチパッド上の位置からタッチパッドのエッジの外に向かってスワイプすることによって、要素を再び隠すことができる。
このプロセスによって、デバイスは、ある要素を実際のディスプレイの外に容易に移動させ、その後、ディスプレイ上に戻すことができるようにディスプレイを拡張するための、便利なメカニズムを提供することができる。ユーザは、ポインタまたは他のアイテムを慎重に位置付ける必要なしに、追加のコンテンツを素早く取り出すことができ、代わりに、タッチパッドまたは類似の入力メカニズムの周囲の汎用領域において素早くスワイプすることができる。
図10は、本明細書で説明する技法とともに使用できる、汎用コンピューティングデバイス1000および汎用モバイルコンピューティングデバイス1050の一例を示している。コンピューティングデバイス1000は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなど、様々な形態のデジタルコンピュータを代表することを意図している。コンピューティングデバイス1050は、携帯情報端末、セルラ電話、スマートフォン、および他の類似のコンピューティングデバイスなど、様々な形態のモバイルデバイスを代表することを意図している。図10に示される構成要素、それらの接続および関係、ならびにそれらの機能は、もっぱら例示的であることを意図しており、本文書において説明および/または特許請求
する本発明の実施を限定することは意図していない。
コンピューティングデバイス1000は、プロセッサ1002と、メモリ1004と、ストレージデバイス1006と、メモリ1004および高速拡張ポート1010に接続する高速インタフェース1008と、低速バス1014およびストレージデバイス1006に接続する低速インタフェース1012とを含む。構成要素1002、1004、1006、1008、1010、1012の各々は、様々なバスを使用して相互接続され、共通のマザーボード上に、またはそれが適していれば他の方法で取り付けることができる。プロセッサ1002は、コンピューティングデバイス1000内において、メモリ1004またはストレージデバイス1006に記憶された命令を含む実行用の命令を処理して、GUIのためのグラフィカル情報を、高速インタフェース1008に結合されたディスプレイ1016
などの外部入出力デバイスに表示することができる。他の実施では、それが適していれば、複数のメモリおよびメモリのタイプとともに、複数のプロセッサおよび/または複数の
バスを使用することができる。また、(例えば、サーババンク、ブレードサーバのグルー
プ、またはマルチプロセッサシステムとして)複数のコンピューティングデバイス1000を
接続することができ、各デバイスは、必要な動作の部分を提供する。
メモリ1004は、コンピューティングデバイス1000内に情報を記憶する。一実施では、メモリ1004は、1つまたは複数の揮発性メモリユニットである。別の実施では、メモリ1004
は、1つまたは複数の不揮発性メモリユニットである。メモリ1004は、磁気ディスクまた
は光ディスクなど、別の形態のコンピュータ可読媒体とすることもできる。
ストレージデバイス1006は、大容量記憶をコンピューティングデバイス1000に提供することが可能である。一実施では、ストレージデバイス1006は、フロッピディスクデバイス
、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリもしくは他の類似のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイなどのコンピュータ可読媒体とすること、またはそのようなコンピュータ可読媒体を含むことができる。コンピュータプログラム製品は、情報キャリア内に有形に実施することができる。コンピュータプログラム製品も、実行されたときに、上で説明した方法など、1つまたは複数の方
法を実行する命令を含むことができる。情報キャリアは、メモリ1004、ストレージデバイス1006、プロセッサ1002上のメモリ、または伝搬信号などの、コンピュータまたは機械可読媒体である。
高速インタフェース1008は、コンピューティングデバイス1000の、多くの帯域幅を必要とする動作を管理し、低速インタフェース1012は、あまり多くの帯域幅を必要としない動作を管理する。機能のそのような割り振りは、例示的なものにすぎない。一実施では、高速インタフェース1008は、メモリ1004、(例えばグラフィックスプロセッサまたはアクセ
ラレータを介して)ディスプレイ1016に、また様々な拡張カード(図示されず)を受け入れ
ることができる高速拡張ポート1010に結合される。この実施では、低速インタフェース1012は、ストレージデバイス1006および低速拡張ポート1014に結合される。様々な通信ポート(例えば、USB、Bluetooth(登録商標)、イーサネット(登録商標)、無線イーサネッ
ト(登録商標))を含むことができる低速拡張ポートは、キーボード、ポインティングデ
バイス、スキャナなどの1つもしくは複数の入出力デバイスに、または例えばネットワー
クアダプタを介する、スイッチもしくはルータなどのネットワーキングデバイスに結合することができる。
コンピューティングデバイス1000は、図に示されるような、多くの異なる形態で実施することができる。例えば、コンピューティングデバイス1000は、標準的なサーバ1020として、またはしばしばそのようなサーバのグループによって実施することができる。コンピューティングデバイス1000は、ラックサーバシステム1024の部分としても実施することができる。加えて、コンピューティングデバイス1000は、ラップトップコンピュータ1022などのパーソナルコンピュータによって実施することもできる。代替として、コンピューティングデバイス1000の構成要素は、デバイス1050などのモバイルデバイス(図示されず)内の他の構成要素と組み合わせることができる。そのようなデバイスの各々は、コンピューティングデバイス1000、1050の1つまたは複数を含むことができ、システム全体は、互い
に通信する複数のコンピューティングデバイス1000、1050から構成することができる。
コンピューティングデバイス1050は、構成要素の中でもとりわけ、プロセッサ1052と、メモリ1064と、ディスプレイ1054などの入出力デバイスと、通信インタフェース1066と、送受信機1068とを含む。デバイス1050は、追加のストレージを提供するために、マイクロドライブまたは他のデバイスなどのストレージデバイスも備えることができる。構成要素1050、1052、1064、1054、1066、1068の各々は、様々なバスを使用して相互接続され、構成要素のいくつかは、共通のマザーボード上に、またはそれが適していれば他の方法で取り付けることができる。
プロセッサ1052は、コンピューティングデバイス1050内において、メモリ1064に記憶された命令を含む命令を実行することができる。プロセッサは、別々の複数のアナログおよびデジタルプロセッサを含むチップからなるチップセットとして実施することができる。プロセッサは、例えば、ユーザインタフェースの制御、デバイス1050によって実行されるアプリケーション、およびデバイス1050による無線通信など、デバイス1050の他の構成要素の調整を提供することができる。
プロセッサ1052は、制御インタフェース1058、およびディスプレイ1054に結合されたデ
ィスプレイインタフェース1056を介して、ユーザと情報交換することができる。ディスプレイ1054は、例えば、TFT LCD(薄膜トランジスタ液晶ディスプレイ)もしくはOLED(有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術とすることができる。
ディスプレイインタフェース1056は、グラフィカル情報および他の情報をユーザに提示するようにディスプレイ1054を駆動するための適切な回路を備えることができる。制御インタフェース1058は、ユーザからコマンドを受け取り、それらを変換して、プロセッサ1052に提出することができる。加えて、デバイス1050と他のデバイスとの近距離通信を可能にするために、プロセッサ1052と通信する外部インタフェース1062を提供することができる。外部インタフェース1062は、例えば、何らかの実施による有線通信、または他の実施による無線通信を提供することができ、複数のインタフェースを使用することもできる。
メモリ1064は、コンピューティングデバイス1050内に情報を記憶する。メモリ1064は、1つもしくは複数のコンピュータ可読媒体、1つもしくは複数の揮発性メモリユニット、または1つもしくは複数の不揮発性メモリユニットのうちの1つまたは複数として実施することができる。拡張メモリ1074も提供することができ、拡張メモリ1074は、例えばSIMM(シ
ングルインラインメモリモジュール)カードインタフェースを含むことができる、拡張イ
ンタフェース1072を介して、デバイス1050に接続することができる。そのような拡張メモリ1074は、追加的な記憶空間をデバイス1050に提供することができ、またはデバイス1050のためのアプリケーションまたは他の情報を記憶することもできる。特に、拡張メモリ1074は、上で説明した処理を実施または補足するための命令を含むことができ、安全な情報を含むこともできる。したがって、例えば、拡張メモリ1074は、デバイス1050のためのセキュリティモジュールとして提供することができ、デバイス1050の安全な使用を可能にする命令を用いてプログラムすることができる。加えて、SIMMカードを介して、ハッキング不可能な方法でSIMMカードに格納された識別情報など、追加の情報とともに、安全なアプリケーションを提供することができる。
メモリは、以下で説明するように、例えば、フラッシュメモリおよび/またはNVRAMメモリを含むことができる。一実施では、コンピュータプログラム製品は、情報キャリア内に有形に実施される。コンピュータプログラム製品は、実行されたときに、上で説明した方法など、1つまたは複数の方法を実行する命令を含む。情報キャリアは、メモリ1064、拡
張メモリ1074、プロセッサ1052上のメモリ、または例えば送受信機1068もしくは外部インタフェース1062を介して受信できる伝搬信号などの、コンピュータまたは機械可読媒体である。
デバイス1050は、必要に応じてデジタル信号処理回路を含むことができる通信インタフェース1066を介して、無線で通信することができる。通信インタフェース1066は、とりわけ、GSM(登録商標)音声通話、SMS、EMS、もしくはMMSメッセージング、CDMA、TDMA、PDC、WCDMA(登録商標)、CDMA2000、またはGPRSなど、様々なモードまたはプロトコルの下で、通信を提供することができる。そのような通信は、例えば、無線周波数送受信機1068を介して行うことができる。加えて、Bluetooth(登録商標)、WiFi、または他のそのよ
うな送受信機(図示されず)を使用するなどして、短距離通信を行うこともできる。加えて、GPS(全地球測位システム)受信機モジュール1070は、必要に応じてデバイス1050におい
て動作するアプリケーションによって使用できる、追加のナビゲーションおよび位置関連無線データを、デバイス1050に提供することができる。
デバイス1050は、ユーザから発話情報を受け取り、それを使用可能なデジタル情報に変換できる、オーディオコーデック1060を使用して、可聴的に通信することもできる。オーディオコーデック1060は、同様に、例えばデバイス1050のハンドセット内のスピーカを介するなどして、ユーザ向けの可聴音を生成することもできる。そのような音は、音声電話通話からの音を含むことができ、(例えば、音声メッセージ、音楽ファイルなど)録音され
た音を含むことができ、デバイス1050において動作するアプリケーションによって生成された音を含むこともできる。
コンピューティングデバイス1050は、図に示されるような、多くの異なる形態で実施することができる。例えば、コンピューティングデバイス1050は、セルラ電話1080として実施することができる。コンピューティングデバイス1050は、スマートフォン1082、携帯情報端末、または他の類似のモバイルデバイスの部分としても実施することができる。
本明細書で説明したシステムおよび技法の様々な実施は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせで実現することができる。こ
れら様々な実施は、専用または汎用とすることができる、少なくとも1つのプログラム可
能なプロセッサを含むプログラム可能なシステムにおいて実行可能および/または解釈可
能な、1つまたは複数のコンピュータプログラムによる実施を含むことができ、プログラ
ム可能なシステムは、ストレージシステム、少なくとも1つの入力デバイス、および少な
くとも1つの出力デバイスからデータおよび命令を受け取り、それらにデータおよび命令
を送るように結合される。
(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても
知られる)これらのコンピュータプログラムは、プログラム可能なプロセッサのための機
械命令を含み、高水準手続型および/もしくはオブジェクト指向プログラミング言語、な
らびに/またはアセンブリ/機械語で実施することができる。本明細書で使用される場合、「機械可読媒体」、「コンピュータ可読媒体」という用語は、機械命令および/またはデ
ータをプログラム可能なプロセッサに提供するために使用される、任意のコンピュータプログラム製品、装置、および/またはデバイス(例えば、磁気ディスク、光ディスク、メモリ、プログラム可能論理デバイス(PLD))を指し、機械命令を機械可読信号として受け取る機械可読媒体を含む。「機械可読信号」という用語は、機械命令および/またはデータを
プログラム可能なプロセッサに提供するために使用される、任意の信号を指す。
ユーザとの対話を可能にするため、本明細書で説明するシステムおよび技法は、ユーザに情報を表示するための表示デバイス(例えば、CRT(ブラウン管)またはLCD(液晶表示)モ
ニタ)と、ユーザがそれを用いて入力をコンピュータに提供できるキーボードおよびポイ
ンティングデバイス(例えば、マウスまたはトラックボール)とを有する、コンピュータにおいて実施することができる。他の種類のデバイスも、ユーザとの対話を可能にするために同様に使用することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の知覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触
覚フィードバック)とすることができ、ユーザからの入力は、音響、発話、または接触入
力を含む任意の形態で受け取ることができる。
本明細書で説明するシステムおよび技法は、バックエンド構成要素(例えば、データサ
ーバとしての)を含む、またはミドルウェア構成要素(例えば、アプリケーションサーバ)
を含む、またはフロントエンド構成要素(例えば、ユーザがそれを介して本明細書で説明
するシステムおよび技法の実施と対話できるグラフィカルユーザインタフェースもしくはウェブブラウザを有するクライアントコンピュータ)を含む、あるいはそのようなバック
エンド、ミドルウェア、またはフロントエンド構成要素の任意の組み合わせを含む、コンピューティングシステムで実施することができる。システムの構成要素は、任意の形態または媒体のデジタルデータ通信(例えば、通信ネットワーク)によって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)、ワイドエリ
アネットワーク(「WAN」)、およびインターネットを含む。
コンピューティングシステムは、クライアントとサーバを含むことができる。クライアントとサーバは、一般に互いに遠く離れており、典型的には通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータにおいて動作し、互いにクライアント-サーバ関係を有する、コンピュータプログラムによって確立される。
多くの実施形態を説明した。それにも係わらず、本発明の主旨および範囲から逸脱することなく、様々な変更を施し得ることが理解されよう。例えば、本文書の大部分は、テレビ広告との関連において説明されたが、ラジオ広告およびオンラインビデオ広告など、他の形態の将来的な視聴者ベースの広告についても対処することができる。加えて、図に示された論理フローは、所望の結果を達成するのに、示された通りの順序または順次的な順序である必要はない。加えて、他のステップを提供することができ、または説明したフローからステップを取り除くことができ、説明したシステムに他の構成要素を追加すること、または説明したシステムから構成要素を取り去ることができる。したがって、以下の特許請求の範囲内には、他の実施形態も存在する。
508 ディスプレイマネージャ
510 イベントマネージャ
512 入力マネージャ
514 GPSモジュール
516 スペリング訂正器
518 地図アプリケーション
520 ブラウザアプリケーション
522 バイブレータ
524 サウンドコントローラ
526 無線インタフェース
528 アプリケーションデータ
530 辞書
532 ユーザ情報

Claims (15)

  1. コンピューティングデバイスの、タッチ入力面を含むディスプレイ上の第1のウィンドウ内に開かれた第1のアプリケーションのグラフィカル要素を表示するステップと、
    前記タッチ入力面上で、前記第1のウィンドウの周縁端部から前記第1のウィンドウ内のある位置までドラッグするユーザ入力を検出するステップとを含み、当該検出するステップは、前記ドラッグするユーザ入力が前記第1のウィンドウの前記周縁端部に直交する方向の所定角度以内にある支配的な方向成分を有するモーションを含んでいるか否かを判断することを含み、
    前記ドラッグするユーザ入力の検出に応答して
    記コンピューティングデバイスの前記ディスプレイ上に、前記ドラッグするユーザ入力の開始前において前記コンピューティングデバイスの前記ディスプレイ上に表示されていなかった第2のウィンドウを表示するステップを含み、前記第2のウィンドウは前記第2のウィンドウ内に開かれた第2のアプリケーションのグラフィカル要素を表示し、
    前記第1のウィンドウの少なくとも一部を、前記第2のウィンドウと同時に表示するステップを含む、コンピュータで実現される方法。
  2. 前記ドラッグするユーザ入力が前記支配的な方向成分を有するモーションを含んでいると判断することは、前記モーションが前記タッチ入力面の長さに対する所定比率の長さより長いと判断することを含む、請求項1に記載の方法。
  3. 前記第1および第2のウィンドウを表示するステップは、前記第1のウィンドウのエッジを、前記第2のウィンドウのエッジの隣に並ぶように自動的に位置付けるステップを含む、請求項1または2に記載の方法。
  4. 前記第1のウィンドウのサイズと前記第2のウィンドウのサイズとは同一である、請求項1~のいずれか1項に記載の方法。
  5. 前記第1のウィンドウを表示する縮小したサイズと、前記第2のウィンドウを表示するサイズとを、前記ドラッグするユーザ入力の、前記第1のウィンドウの前記周縁端部から前記第1のウィンドウ内の前記位置までの距離に基づいて決定するステップをさらに含む、請求項1~のいずれか1項に記載の方法。
  6. 前記ドラッグするユーザ入力が行われている間に前記第1および第2のウィンドウを表示するステップをさらに含む、請求項1~のいずれか1項に記載の方法。
  7. 前記第2のウィンドウ内に開かれた第2のアプリケーションの前記グラフィカル要素は選択可能な複数のアイコンを含み、前記選択可能な複数のアイコンは、前記ディスプレイ上に追加のコンテンツを表示するために選択可能である、請求項1~のいずれか1項に記載の方法。
  8. 前記選択可能な複数のアイコンのうち第1のアイコンは、前記選択可能な複数のアイコンのうち第2のアイコンの選択によって起動された対応するアプリケーションとは異なる、対応するアプリケーションを開始するために選択可能である、請求項に記載の方法。
  9. コンピューティングデバイスであって、
    ッチスクリーンディスプレイと、
    コードを格納する有形のコンピュータメモリに作動的に接続されたプロセッサと備え、
    前記コードは、前記プロセッサによって実行されると、前記コンピューティングデバイスに、
    第1のウィンドウを表示することを実行させ、
    前記タッチスクリーンディスプレイ上で、前記第1のウィンドウの周縁端部から前記第1のウィンドウ内のある位置までドラッグするユーザ入力を検出することを実行させ、
    当該検出することは、前記ドラッグするユーザ入力が前記第1のウィンドウの前記周縁端部に直交する方向の所定角度以内にある支配的な方向成分を有するモーションを含んでいるか否かを判断することを含み、
    前記ドラッグするユーザ入力の検出に応答して、
    タッチスクリーンディスプレイ上の前記第1のウィンドウの少なくとも一部を表示することを実行させ、前記第1のウィンドウは前記第1のウィンドウ内に開かれた第1のアプリケーションのグラフィカル要素を含み、
    タッチスクリーンディスプレイ上に、前記第1のウィンドウの前記少なくとも一部と同時に、前記ドラッグするユーザ入力の開始前において前タッチスクリーンディスプレイ上に表示されていなかった第2のウィンドウを表示することを実行させ、前記第2のウィンドウは前記第2のウィンドウ内に開かれた第2のアプリケーションのグラフィカル要素を表示する、コンピューティングデバイス。
  10. 前記第1および第2のウィンドウを表示することは、前記第1のウィンドウのエッジを、前記第2のウィンドウのエッジの隣に並ぶように自動的に位置付けることを含む、請求項に記載のコンピューティングデバイス。
  11. 前記第1のウィンドウのサイズと前記第2のウィンドウのサイズとは同一である、請求項または10に記載のコンピューティングデバイス。
  12. 前記有形のコンピュータメモリはさらにコードを格納し、前記コードは、前記プロセッサによって実行されると、前記コンピューティングデバイスに、前記第1のウィンドウを表示する縮小したサイズと、前記第2のウィンドウを表示するサイズとを、前記ドラッグするユーザ入力の、前記第1のウィンドウの前記周縁端部から前記第1のウィンドウ内の前記位置までの距離に基づいて決定することを実行させる、請求項11のいずれか1項に記載のコンピューティングデバイス。
  13. 前記有形のコンピュータメモリはさらにコードを格納し、前記コードは、前記プロセッサによって実行されると、前記コンピューティングデバイスに、前記ドラッグするユーザ入力が行われている間に前記第1および第2のウィンドウを表示することを実行させる、請求項12のいずれか1項に記載のコンピューティングデバイス。
  14. 前記第2のウィンドウ内に開かれた前記第2のアプリケーションの前記グラフィカル要素は選択可能な複数のアイコンを含み、前記選択可能な複数のアイコンは、前記タッチスクリーンディスプレイ上に追加のコンテンツを表示するために選択可能である、請求項13のいずれか1項に記載のコンピューティングデバイス。
  15. 前記選択可能な複数のアイコンのアイコンは、選択されると、それぞれ異なるアプリケーションを開始する、請求項14に記載のコンピューティングデバイス。
JP2019126122A 2010-11-18 2019-07-05 スクロールバー上での直交ドラッギング Active JP7018415B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021168794A JP2022002152A (ja) 2010-11-18 2021-10-14 スクロールバー上での直交ドラッギング

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US45832610P 2010-11-18 2010-11-18
US41517910P 2010-11-18 2010-11-18
US61/458,326 2010-11-18
US61/415,179 2010-11-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017149862A Division JP6554150B2 (ja) 2010-11-18 2017-08-02 スクロールバー上での直交ドラッギング

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021168794A Division JP2022002152A (ja) 2010-11-18 2021-10-14 スクロールバー上での直交ドラッギング

Publications (3)

Publication Number Publication Date
JP2019164844A JP2019164844A (ja) 2019-09-26
JP2019164844A5 JP2019164844A5 (ja) 2020-01-30
JP7018415B2 true JP7018415B2 (ja) 2022-02-10

Family

ID=45092406

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2013540088A Active JP6258035B2 (ja) 2010-11-18 2011-11-18 スクロールバー上での直交ドラッギング
JP2013540091A Active JP6457715B2 (ja) 2010-11-18 2011-11-18 画面外の目に見えるオブジェクトの表面化
JP2017132941A Active JP6925186B2 (ja) 2010-11-18 2017-07-06 画面外の目に見えるオブジェクトの表面化
JP2017149862A Active JP6554150B2 (ja) 2010-11-18 2017-08-02 スクロールバー上での直交ドラッギング
JP2019126122A Active JP7018415B2 (ja) 2010-11-18 2019-07-05 スクロールバー上での直交ドラッギング
JP2021168794A Pending JP2022002152A (ja) 2010-11-18 2021-10-14 スクロールバー上での直交ドラッギング

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2013540088A Active JP6258035B2 (ja) 2010-11-18 2011-11-18 スクロールバー上での直交ドラッギング
JP2013540091A Active JP6457715B2 (ja) 2010-11-18 2011-11-18 画面外の目に見えるオブジェクトの表面化
JP2017132941A Active JP6925186B2 (ja) 2010-11-18 2017-07-06 画面外の目に見えるオブジェクトの表面化
JP2017149862A Active JP6554150B2 (ja) 2010-11-18 2017-08-02 スクロールバー上での直交ドラッギング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021168794A Pending JP2022002152A (ja) 2010-11-18 2021-10-14 スクロールバー上での直交ドラッギング

Country Status (9)

Country Link
US (7) US20120131519A1 (ja)
EP (2) EP2641155B1 (ja)
JP (6) JP6258035B2 (ja)
KR (3) KR102007023B1 (ja)
CN (3) CN103415833B (ja)
AU (2) AU2011329658B2 (ja)
CA (2) CA2818202C (ja)
DE (1) DE202011110334U1 (ja)
WO (3) WO2012074798A1 (ja)

Families Citing this family (171)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203873B2 (en) * 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
US8930651B2 (en) * 2007-10-05 2015-01-06 Imation Corp. Archiving system with partitions of individual archives
US10705701B2 (en) 2009-03-16 2020-07-07 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
FR2967101B1 (fr) * 2010-11-10 2017-04-21 Valeo Systemes Thermiques Facade de controle electronique pour vehicule automobile
EP2641155B1 (en) 2010-11-18 2019-07-31 Google LLC Orthogonal dragging on scroll bars
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8639494B1 (en) * 2010-12-28 2014-01-28 Intuit Inc. Technique for correcting user-interface shift errors
US20120204125A1 (en) * 2011-02-07 2012-08-09 Megan Shia User interface incorporating sliding panels for listing records and presenting record content
WO2012121961A1 (en) * 2011-03-04 2012-09-13 Apple Inc. Linear vibrator providing localized and generalized haptic feedback
JP5768457B2 (ja) * 2011-04-19 2015-08-26 ソニー株式会社 電子機器、表示方法及びプログラム
US9218727B2 (en) 2011-05-12 2015-12-22 Apple Inc. Vibration in portable devices
US9710061B2 (en) 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130055082A1 (en) * 2011-08-26 2013-02-28 Jorge Fino Device, Method, and Graphical User Interface for Navigating and Previewing Content Items
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
KR101860341B1 (ko) * 2011-09-09 2018-05-24 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20130104089A1 (en) * 2011-10-20 2013-04-25 Fuji Xerox Co., Ltd. Gesture-based methods for interacting with instant messaging and event-based communication applications
US11005720B2 (en) * 2011-11-16 2021-05-11 Autoconnect Holdings Llc System and method for a vehicle zone-determined reconfigurable display
WO2013100990A1 (en) * 2011-12-28 2013-07-04 Intel Corporation Hybrid mobile interactions for native apps and web apps
US9619038B2 (en) * 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
US9128605B2 (en) * 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
KR101894395B1 (ko) * 2012-02-24 2018-09-04 삼성전자주식회사 캡쳐 데이터 제공 방법 및 이를 위한 이동 단말기
KR101919008B1 (ko) * 2012-02-24 2018-11-19 삼성전자주식회사 정보 제공 방법 및 이를 위한 이동 단말기
KR101332811B1 (ko) * 2012-02-24 2013-11-27 주식회사 팬택 메시지 숨김 기능을 갖는 단말과 그 메시지 숨김 및 복원 방법
US9569078B2 (en) 2012-03-06 2017-02-14 Apple Inc. User interface tools for cropping and straightening image
US20130239031A1 (en) * 2012-03-06 2013-09-12 Apple Inc. Application for viewing images
US20130238747A1 (en) 2012-03-06 2013-09-12 Apple Inc. Image beaming for a media editing application
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US10078420B2 (en) * 2012-03-16 2018-09-18 Nokia Technologies Oy Electronic devices, associated apparatus and methods
US8760425B2 (en) * 2012-03-20 2014-06-24 Sony Corporation Method and apparatus for enabling touchpad gestures
US9395852B2 (en) * 2012-05-07 2016-07-19 Cirque Corporation Method for distinguishing between edge swipe gestures that enter a touch sensor from an edge and other similar but non-edge swipe actions
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
US11209961B2 (en) 2012-05-18 2021-12-28 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
EP2867758A1 (en) * 2012-06-27 2015-05-06 OCE-Technologies B.V. User interaction system for displaying digital objects
JP2014010777A (ja) * 2012-07-02 2014-01-20 Fujitsu Ltd 表示プログラム、表示方法、及び情報処理装置
US9298295B2 (en) * 2012-07-25 2016-03-29 Facebook, Inc. Gestures for auto-correct
US8977553B2 (en) * 2012-07-30 2015-03-10 Google Inc. Dynamic adjustment of text input system components
US9158440B1 (en) * 2012-08-01 2015-10-13 Google Inc. Display of information areas in a view of a graphical interface
DE102012107551A1 (de) * 2012-08-17 2014-05-15 Claas Selbstfahrende Erntemaschinen Gmbh Anzeigevorrichtung für Landmaschinen
TWI467420B (zh) * 2012-08-20 2015-01-01 Asustek Comp Inc 虛擬滑鼠及其操作方法
JP5956873B2 (ja) * 2012-08-28 2016-07-27 シャープ株式会社 携帯情報装置、選択メニュー表示方法、選択メニュー表示プログラム、および、プログラム記録媒体
US8954878B2 (en) 2012-09-04 2015-02-10 Google Inc. Information navigation on electronic devices
US9189064B2 (en) * 2012-09-05 2015-11-17 Apple Inc. Delay of display event based on user gaze
KR101957173B1 (ko) * 2012-09-24 2019-03-12 삼성전자 주식회사 터치 디바이스에서 멀티윈도우 제공 방법 및 장치
KR102069014B1 (ko) * 2012-09-25 2020-02-12 삼성전자 주식회사 휴대단말기의 분리화면 제어장치 및 방법
KR20140047897A (ko) * 2012-10-15 2014-04-23 삼성전자주식회사 터치 효과를 제공하기 위한 방법 및 그 전자 장치
CN103777797B (zh) * 2012-10-23 2017-06-27 联想(北京)有限公司 一种信息处理的方法及电子设备
US20140149916A1 (en) * 2012-11-28 2014-05-29 SoMo Audience Corp. Content manipulation using swipe gesture recognition technology
GB201300031D0 (en) 2013-01-02 2013-02-13 Canonical Ltd Ubuntu UX innovations
JP6215534B2 (ja) * 2013-01-07 2017-10-18 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US20140208230A1 (en) * 2013-01-18 2014-07-24 Apple Inc. Autocorrect Highlight and Re-Work
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
CN103064683A (zh) * 2013-02-19 2013-04-24 福建榕基软件股份有限公司 Web环境下多标签页的自定义布局方法及装置
US9330407B2 (en) 2013-03-15 2016-05-03 Zazzle Inc. Specification and display of product customization options
DE102013002891A1 (de) * 2013-03-22 2014-09-25 Volkswagen Aktiengesellschaft Informationswiedergabesystem für ein Fahrzeug und Verfahren zum Bereitstellen von Informationen für den Benutzer eines Fahrzeugs
CN104063120B (zh) 2013-03-22 2017-05-17 国际商业机器公司 用于信息浏览的方法和***
US20140298245A1 (en) * 2013-03-28 2014-10-02 Microsoft Corporation Display Instance Management
US20140310600A1 (en) * 2013-04-12 2014-10-16 Fanhattan Llc System and method for changing live media content channels
JP5884090B2 (ja) * 2013-04-18 2016-03-15 パナソニックIpマネジメント株式会社 情報を提示する方法および電子機器
WO2014177753A1 (en) * 2013-04-30 2014-11-06 Multitouch Oy Dynamic drawers
US8593427B1 (en) 2013-05-10 2013-11-26 Jinrong Yang System and method for managing display power consumption
US9075612B2 (en) 2013-05-10 2015-07-07 Jinrong Yang System and method for managing display power consumption
EP2994814A4 (en) * 2013-05-10 2017-05-17 Yang, Jinrong System and method for managing display power consumption
JP6104707B2 (ja) * 2013-05-23 2017-03-29 アルパイン株式会社 電子機器、操作入力方法および操作入力プログラム
US9804745B2 (en) 2013-06-09 2017-10-31 Apple Inc. Reordering content panes in a stacked tab view
US20140365944A1 (en) 2013-06-09 2014-12-11 Apple Inc. Location-Based Application Recommendations
KR101511995B1 (ko) * 2013-06-10 2015-04-14 네이버 주식회사 제스처 정보를 이용하여 서비스에 대한 사용자간 관계를 설정하는 방법 및 시스템
JP6155869B2 (ja) 2013-06-11 2017-07-05 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9109921B1 (en) * 2013-06-19 2015-08-18 Amazon Technologies, Inc. Contextual based navigation element
US8775965B1 (en) * 2013-06-27 2014-07-08 Google Inc. Immersive mode for a web browser
KR102148725B1 (ko) * 2013-07-31 2020-08-28 삼성전자주식회사 어플리케이션을 표시하는 방법 및 장치
JP6368462B2 (ja) * 2013-08-01 2018-08-01 シャープ株式会社 情報処理装置、情報処理方法及びそのプログラム
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
CN108196761B (zh) 2013-09-03 2021-03-09 苹果公司 利用磁属性来操控用户界面对象的用户界面
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation
US9352848B2 (en) * 2013-11-06 2016-05-31 The Boeing Company Flight deck touch screen interface for interactive displays
KR102135374B1 (ko) * 2014-06-09 2020-07-17 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9990125B2 (en) * 2013-11-15 2018-06-05 Lg Electronics Inc. Mobile terminal and method of controlling the same
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US9880711B2 (en) 2014-01-22 2018-01-30 Google Llc Adaptive alert duration
US9285978B2 (en) 2014-01-23 2016-03-15 International Business Machines Corporation Using a scroll bar in a multiple panel user interface
US9396629B1 (en) 2014-02-21 2016-07-19 Apple Inc. Haptic modules with independently controllable vertical and horizontal mass movements
JP2015172861A (ja) * 2014-03-12 2015-10-01 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器の使用環境を切り換える方法、携帯式電子機器およびコンピュータ・プログラム
US9639231B2 (en) * 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
US20150286401A1 (en) * 2014-04-08 2015-10-08 Lyve Minds, Inc. Photo/video timeline display
US10467401B2 (en) * 2014-04-14 2019-11-05 Sony Corporation Method and system for device authentication
US10133351B2 (en) 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
USD764519S1 (en) * 2014-06-20 2016-08-23 Google Inc. Display screen with graphical user interface
AU2015279544B2 (en) 2014-06-27 2018-03-15 Apple Inc. Electronic device with rotatable input mechanism for navigating calendar application
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
US10073590B2 (en) 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
KR102411890B1 (ko) 2014-09-02 2022-06-23 삼성전자주식회사 컨텐츠를 처리하는 방법 및 이를 위한 전자 장치
TWI676127B (zh) 2014-09-02 2019-11-01 美商蘋果公司 關於電子郵件使用者介面之方法、系統、電子器件及電腦可讀儲存媒體
CN110072131A (zh) 2014-09-02 2019-07-30 苹果公司 音乐用户界面
US10082892B2 (en) 2014-09-02 2018-09-25 Apple Inc. Button functionality
US20160070455A1 (en) * 2014-09-10 2016-03-10 International Business Machines Corporation Toggle graphic object
KR102188267B1 (ko) * 2014-10-02 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20160048429A (ko) * 2014-10-24 2016-05-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10579248B2 (en) * 2014-10-27 2020-03-03 Samsung Electronics Co., Ltd. Method and device for displaying image by using scroll bar
CN104331233A (zh) * 2014-10-27 2015-02-04 天津三星通信技术研究有限公司 便携式终端及其内容预览方法
KR102328823B1 (ko) 2014-11-12 2021-11-19 삼성전자 주식회사 화면 내 빈 영역 활용 방법 및 장치
KR102318227B1 (ko) * 2015-01-16 2021-10-27 삼성전자주식회사 정보 표시 장치 및 방법
GB201501079D0 (en) * 2015-01-22 2015-03-11 Microsoft Technology Licensing Llc Controlling access to content
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
WO2016172305A1 (en) * 2015-04-21 2016-10-27 Freedom Scientific, Inc. Method and system for converting text to speech
US10169061B2 (en) * 2015-05-06 2019-01-01 Ford Global Technologies, Llc Scalable and flexible operating system platform
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
USD764514S1 (en) * 2015-06-09 2016-08-23 Teletracking Technologies, Inc. Display screen with graphical user interface
US9891811B2 (en) * 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10664052B2 (en) 2015-07-01 2020-05-26 Samsung Electronics Co., Ltd. Method for providing feedback and an electronic device thereof
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
CN106708399A (zh) * 2015-11-17 2017-05-24 天津三星通信技术研究有限公司 用于具有双侧边曲面屏幕的电子终端的触控方法和设备
US10782859B2 (en) * 2015-12-14 2020-09-22 International Business Machines Corporation Intelligent gesture based word sentence augmentation and systems for the implementation thereof
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10503257B2 (en) * 2016-02-23 2019-12-10 Blackberry Limited Portable electronic device and method of providing haptic feedback
US10772394B1 (en) 2016-03-08 2020-09-15 Apple Inc. Tactile output for wearable device
US20170269688A1 (en) * 2016-03-18 2017-09-21 Elwha Llc Systems and methods for providing haptic feedback regarding software-initiated changes to user-entered text input
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US9829981B1 (en) 2016-05-26 2017-11-28 Apple Inc. Haptic output device
CN106020706A (zh) * 2016-05-30 2016-10-12 努比亚技术有限公司 一种触控操作处理方法及移动终端
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
US10394423B2 (en) * 2016-08-11 2019-08-27 International Business Machines Corporation Efficient list traversal
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10409440B2 (en) * 2016-10-14 2019-09-10 Sap Se Flexible-page layout
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
US10521106B2 (en) 2017-06-27 2019-12-31 International Business Machines Corporation Smart element filtering method via gestures
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
USD873842S1 (en) * 2018-03-23 2020-01-28 Martell Broadcasting Systems, Inc. Display screen with transitional search results user interface
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
DK179896B1 (en) 2018-09-11 2019-08-30 Apple Inc. CONTENT-BASED TACTILE OUTPUTS
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US11199901B2 (en) 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove
US11294463B2 (en) 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11137905B2 (en) * 2018-12-03 2021-10-05 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11314409B2 (en) 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US10564719B1 (en) 2018-12-03 2020-02-18 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11406892B2 (en) 2018-12-04 2022-08-09 Sony Interactive Entertainment Inc. Information processing apparatus
US11520469B2 (en) 2019-05-01 2022-12-06 Google Llc Interface for multiple simultaneous interactive views
US11385785B2 (en) * 2019-05-01 2022-07-12 Google Llc Interface for multiple simultaneous interactive views
EP4287006A3 (en) 2019-05-01 2024-02-21 Google LLC Interface for multiple simultaneous interactive views
US11023202B2 (en) 2019-05-29 2021-06-01 International Business Machines Corporation Enhanced autocorrect features using audio interface
US11620103B2 (en) 2019-05-31 2023-04-04 Apple Inc. User interfaces for audio media control
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
US11681420B2 (en) * 2019-12-13 2023-06-20 Lyft, Inc. Panel-snapping interface for responsive display of maps
EP4121842A1 (en) * 2020-04-30 2023-01-25 Hewlett-Packard Development Company, L.P. Regions with digital ink input
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11119314B1 (en) * 2020-07-17 2021-09-14 Synapcis Inc. Apparatus and method for mitigating motion sickness through cyclical object projection in digital space
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces
US11531719B2 (en) * 2020-09-22 2022-12-20 Microsoft Technology Licensing, Llc Navigation tab control organization and management for web browsers
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
CN113918256A (zh) * 2021-09-30 2022-01-11 联想(北京)有限公司 控制方法、装置及电子设备
CN115079885B (zh) * 2022-06-30 2024-05-03 深圳市康冠商用科技有限公司 双窗口显示的***操控方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002055750A (ja) 2000-08-10 2002-02-20 Canon Inc 情報処理装置、機能一覧表表示方法、及び記憶媒体
US20100056221A1 (en) 2008-09-03 2010-03-04 Lg Electronics Inc. Terminal, Controlling Method Thereof and Recordable Medium Thereof

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3707490A1 (de) * 1987-03-09 1988-09-22 Siemens Ag Anordnung zum gleichzeitigen darstellen von mehreren bildern auf dem bildschirm eines sichtgeraetes
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5339391A (en) 1990-05-14 1994-08-16 Microelectronics And Computer Technology Corporation Computer display unit with attribute enhanced scroll bar
US5305435A (en) * 1990-07-17 1994-04-19 Hewlett-Packard Company Computer windows management system and method for simulating off-screen document storage and retrieval
JPH0827700B2 (ja) 1990-12-31 1996-03-21 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピュータ表示制御システム
FR2693810B1 (fr) 1991-06-03 1997-01-10 Apple Computer Systemes d'interfaces d'utilisateurs a acces direct a une zone secondaire d'affichage.
US5568604A (en) * 1992-12-31 1996-10-22 U S West Technologies, Inc. Method and system for generating a working window in a computer system
WO1994024657A1 (en) 1993-04-20 1994-10-27 Apple Computer Inc. Interactive user interface
US5864330A (en) 1993-06-29 1999-01-26 International Business Machines Corp. Method and apparatus for providing a two-dimensional position-sensitive scroll icon in a data processing system user interface
JP3812749B2 (ja) * 1993-07-29 2006-08-23 富士通株式会社 ウィンドウシステム
JP3150254B2 (ja) * 1994-08-29 2001-03-26 松下電器産業株式会社 文書管理装置および文書管理機能付きデータ処理装置
US5784059A (en) * 1994-09-16 1998-07-21 Aisin Aw Co., Ltd. Vehicle navigation system with destination selection using hierarchical menu arrangement with selective level skipping
US5721849A (en) 1996-03-29 1998-02-24 International Business Machines Corporation Method, memory and apparatus for postponing transference of focus to a newly opened window
JP4481370B2 (ja) * 1996-05-06 2010-06-16 アドビ システムズ, インコーポレイテッド インターネットハイパーリンクドラッグ及びドロップ
US5784058A (en) * 1996-05-28 1998-07-21 Sun Microsystems, Inc. User-controllable persistent browser display pages
US6020887A (en) 1997-05-07 2000-02-01 International Business Machines Corporation Method and apparatus for single scroll bars in graphical windows user interface
US6166736A (en) 1997-08-22 2000-12-26 Natrificial Llc Method and apparatus for simultaneously resizing and relocating windows within a graphical display
JP2003526820A (ja) * 1997-08-22 2003-09-09 ナトリフィシャル エルエルシー グラフィック表示内でウィンドウのサイズ変更および再配置を同時に行うための方法および装置
US20060061550A1 (en) 1999-02-12 2006-03-23 Sina Fateh Display size emulation system
TW463102B (en) 1999-07-08 2001-11-11 Primax Electronics Ltd Image scrolling system for scrolling image pictures inside the window
US6757002B1 (en) 1999-11-04 2004-06-29 Hewlett-Packard Development Company, L.P. Track pad pointing device with areas of specialized function
JP4672108B2 (ja) * 2000-06-01 2011-04-20 シャープ株式会社 情報処理装置およびその制御方法
JP2002244787A (ja) * 2001-02-20 2002-08-30 Toshiba Corp 携帯型情報機器
JP2003195998A (ja) * 2001-12-26 2003-07-11 Canon Inc 情報処理装置及び情報処理装置の制御方法及び情報処理装置の制御プログラム及び記憶媒体
US8514182B2 (en) * 2001-12-27 2013-08-20 Lg Display Co., Ltd. Touch panel display device and method of fabricating the same
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
US7656393B2 (en) * 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US20040186775A1 (en) * 2003-01-29 2004-09-23 Margiloff William A. Systems and methods for providing an improved toolbar
JP2004234544A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 情報処理装置および操作ウィンドウ表示方法
JP2004341886A (ja) * 2003-05-16 2004-12-02 Casio Comput Co Ltd ファイル管理装置及びファイル管理方法
US7328411B2 (en) * 2004-03-19 2008-02-05 Lexmark International, Inc. Scrollbar enhancement for browsing data
US7388578B2 (en) * 2004-07-01 2008-06-17 Nokia Corporation Touch display PDA phone with slide keypad
HK1122460A2 (en) * 2005-03-04 2009-05-15 Apple Inc Multi-functional hand-held device
US7561145B2 (en) * 2005-03-18 2009-07-14 Microsoft Corporation Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface
JP2006285373A (ja) * 2005-03-31 2006-10-19 Mitsubishi Electric Corp 画面表示方法および情報端末
CN101179997B (zh) * 2005-05-25 2010-05-19 皇家飞利浦电子股份有限公司 对超声成像设备的触笔辅助的触摸屏控制
CN100419666C (zh) * 2005-07-08 2008-09-17 联想(北京)有限公司 屏幕同步切换控制方法
KR100723212B1 (ko) * 2005-12-09 2007-05-29 엘지전자 주식회사 화면 분할 표시 기능을 구비한 전자 단말기 및 그 화면표시 방법
EP3835920B1 (en) * 2006-03-03 2023-10-11 Apple Inc. Electronic device having display with touch sensitive perimeter for user interface and control
JP4700539B2 (ja) * 2006-03-22 2011-06-15 パナソニック株式会社 表示装置
JP2007280019A (ja) 2006-04-06 2007-10-25 Alps Electric Co Ltd 入力装置およびこの入力装置を使用したコンピュータシステム
KR100827228B1 (ko) * 2006-05-01 2008-05-07 삼성전자주식회사 터치 기능을 갖는 영역 분할 수단을 제공하는 장치 및 그방법
US7683886B2 (en) * 2006-09-05 2010-03-23 Research In Motion Limited Disambiguated text message review function
US8736557B2 (en) * 2006-09-11 2014-05-27 Apple Inc. Electronic device with image based browsers
KR100831721B1 (ko) * 2006-12-29 2008-05-22 엘지전자 주식회사 휴대단말기의 디스플레이 장치 및 방법
US8214768B2 (en) * 2007-01-05 2012-07-03 Apple Inc. Method, system, and graphical user interface for viewing multiple application windows
KR100844071B1 (ko) * 2007-05-09 2008-07-07 엘지전자 주식회사 웹페이지 표시가 가능한 이동통신 단말기 및 그 제어방법
CN101060502B (zh) * 2007-05-25 2010-05-26 北京金山软件有限公司 一种同时浏览聊天记录和最新消息的方法及装置
US7741979B2 (en) * 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
US9442584B2 (en) * 2007-07-30 2016-09-13 Qualcomm Incorporated Electronic device with reconfigurable keypad
KR101570368B1 (ko) * 2008-08-22 2015-11-20 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
KR101386473B1 (ko) * 2007-10-04 2014-04-18 엘지전자 주식회사 휴대 단말기 및 그 메뉴 표시 방법
DE202008018283U1 (de) * 2007-10-04 2012-07-17 Lg Electronics Inc. Menüanzeige für ein mobiles Kommunikationsendgerät
KR101387527B1 (ko) * 2007-12-06 2014-04-23 엘지전자 주식회사 단말기 및 그 메뉴 아이콘 디스플레이 방법
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
KR101320919B1 (ko) 2008-01-29 2013-10-21 삼성전자주식회사 분할 화면을 통한 gui 제공방법 및 이를 적용한멀티미디어 기기
KR101447752B1 (ko) * 2008-03-25 2014-10-06 삼성전자주식회사 터치스크린에서 화면 분할과 화면 표시장치 및 방법
KR101461954B1 (ko) * 2008-05-08 2014-11-14 엘지전자 주식회사 단말기 및 그 제어 방법
JP4645678B2 (ja) * 2008-05-08 2011-03-09 ソニー株式会社 情報入出力装置及び情報入出力方法、並びにコンピュータ・プログラム
JP5203797B2 (ja) 2008-05-13 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置及び情報処理装置の表示情報編集方法
KR101456001B1 (ko) * 2008-05-23 2014-11-03 엘지전자 주식회사 단말기 및 그 제어 방법
JP2011018085A (ja) * 2008-06-19 2011-01-27 Panasonic Corp 情報処理装置
KR101556522B1 (ko) 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US8924892B2 (en) * 2008-08-22 2014-12-30 Fuji Xerox Co., Ltd. Multiple selection on devices with many gestures
US8082518B2 (en) * 2008-08-29 2011-12-20 Microsoft Corporation Scrollable area multi-scale viewing
US8600446B2 (en) * 2008-09-26 2013-12-03 Htc Corporation Mobile device interface with dual windows
US8687359B2 (en) * 2008-10-13 2014-04-01 Apple Inc. Portable computer unified top case
JP2010097353A (ja) * 2008-10-15 2010-04-30 Access Co Ltd 情報端末
JP4683110B2 (ja) * 2008-10-17 2011-05-11 ソニー株式会社 表示装置、表示方法及びプログラム
KR101510738B1 (ko) * 2008-10-20 2015-04-10 삼성전자주식회사 휴대단말의 대기화면 구성 방법 및 장치
US20100107067A1 (en) * 2008-10-27 2010-04-29 Nokia Corporation Input on touch based user interfaces
JP5526400B2 (ja) * 2009-03-03 2014-06-18 シャープ株式会社 電子機器、情報処理システム、電子機器の制御方法および電子機器の制御プログラム
JP5526397B2 (ja) * 2008-10-28 2014-06-18 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム
CN102197358A (zh) * 2008-10-28 2011-09-21 夏普株式会社 具有2个显示装置的电子设备、其控制方法以及记录介质
CN102301312A (zh) * 2008-12-01 2011-12-28 新加坡国立大学 用于娱乐、教育或通信的便携式引擎
JP5370374B2 (ja) * 2009-02-13 2013-12-18 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US8836648B2 (en) * 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
US8610549B2 (en) 2009-10-16 2013-12-17 Immersion Corporation Systems and methods for providing haptic feedback at multiple resonance frequencies
US20110138321A1 (en) 2009-12-04 2011-06-09 International Business Machines Corporation Zone-based functions in a user interface
US8736561B2 (en) * 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
US8782556B2 (en) * 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US8707174B2 (en) * 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
EP2383631A1 (en) 2010-04-27 2011-11-02 Sony Ericsson Mobile Communications AB Hand-held mobile device and method for operating the hand-held mobile device
US20120113008A1 (en) * 2010-11-08 2012-05-10 Ville Makinen On-screen keyboard with haptic effects
EP2641155B1 (en) 2010-11-18 2019-07-31 Google LLC Orthogonal dragging on scroll bars
US9804893B2 (en) * 2011-04-08 2017-10-31 Qualcomm Incorporated Method and apparatus for optimized execution using resource utilization maps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002055750A (ja) 2000-08-10 2002-02-20 Canon Inc 情報処理装置、機能一覧表表示方法、及び記憶媒体
US20100056221A1 (en) 2008-09-03 2010-03-04 Lg Electronics Inc. Terminal, Controlling Method Thereof and Recordable Medium Thereof

Also Published As

Publication number Publication date
CN103415833B (zh) 2017-10-24
US10235034B2 (en) 2019-03-19
AU2011329649B2 (en) 2016-12-01
EP2641155B1 (en) 2019-07-31
US8875046B2 (en) 2014-10-28
US20180074691A1 (en) 2018-03-15
AU2011329658B2 (en) 2017-03-16
US20200348833A1 (en) 2020-11-05
CA2818410C (en) 2019-04-30
US9830067B1 (en) 2017-11-28
DE202011110334U1 (de) 2013-07-09
AU2011329658A1 (en) 2013-06-06
JP6457715B2 (ja) 2019-01-23
JP2014501971A (ja) 2014-01-23
KR20140063500A (ko) 2014-05-27
US20210255762A1 (en) 2021-08-19
JP6258035B2 (ja) 2018-01-10
KR102188757B1 (ko) 2020-12-08
KR20130135871A (ko) 2013-12-11
KR102007023B1 (ko) 2019-10-01
EP2641156A1 (en) 2013-09-25
CN108920038A (zh) 2018-11-30
EP2641155A2 (en) 2013-09-25
JP6925186B2 (ja) 2021-08-25
CN103415833A (zh) 2013-11-27
JP2013543201A (ja) 2013-11-28
US10671268B2 (en) 2020-06-02
CN103270486A (zh) 2013-08-28
KR102054234B1 (ko) 2019-12-10
CA2818202A1 (en) 2012-05-24
WO2012068542A3 (en) 2012-07-12
JP2017199420A (ja) 2017-11-02
CA2818202C (en) 2019-05-21
WO2012074798A1 (en) 2012-06-07
US20120131519A1 (en) 2012-05-24
JP2022002152A (ja) 2022-01-06
US20120127071A1 (en) 2012-05-24
WO2012068542A2 (en) 2012-05-24
WO2012068551A1 (en) 2012-05-24
US11036382B2 (en) 2021-06-15
US20120131497A1 (en) 2012-05-24
KR20190092612A (ko) 2019-08-07
JP6554150B2 (ja) 2019-07-31
JP2019164844A (ja) 2019-09-26
CA2818410A1 (en) 2012-05-24
AU2011329649A1 (en) 2013-06-06
JP2017220252A (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
JP7018415B2 (ja) スクロールバー上での直交ドラッギング
KR101668398B1 (ko) 터치 스크린과의 사용자 상호작용을 입력 커맨드로 번역
US8493344B2 (en) Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US20120327009A1 (en) Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
AU2013100676A4 (en) Orthogonal dragging on scroll bars
AU2013100645A4 (en) Surfacing off-screen visible objects

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211014

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211026

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220131

R150 Certificate of patent or registration of utility model

Ref document number: 7018415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150