JP6516790B2 - コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース - Google Patents

コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP6516790B2
JP6516790B2 JP2017111135A JP2017111135A JP6516790B2 JP 6516790 B2 JP6516790 B2 JP 6516790B2 JP 2017111135 A JP2017111135 A JP 2017111135A JP 2017111135 A JP2017111135 A JP 2017111135A JP 6516790 B2 JP6516790 B2 JP 6516790B2
Authority
JP
Japan
Prior art keywords
content
control
display
user interface
control area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017111135A
Other languages
English (en)
Other versions
JP2017224289A (ja
Inventor
ケネス コシエンダ,
ケネス コシエンダ,
ティファニー, エス. ジョン,
ティファニー, エス. ジョン,
チャナカ, ジー. カルナムニ,
チャナカ, ジー. カルナムニ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2017224289A publication Critical patent/JP2017224289A/ja
Application granted granted Critical
Publication of JP6516790B2 publication Critical patent/JP6516790B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Input From Keyboards Or The Like (AREA)

Description

本出願は、全般的に、ディスプレイ上にソフトキーボード及び他の仮想コントロールを表示する電子デバイスを含むがこれに限定されない、ディスプレイを備える電子デバイスに関する。
電子コンピューティングデバイスは、そのディスプレイ上に仮想コントロールを表示することが多い。例えば、ポータブル電子デバイス(例えば、スマートフォン、タブレット又はノートブックコンピュータ)上でのアプリケーションの使用中に、キーボード、メニュー、ダイアログボックス、アラート及び他のコントロールが表示され、かつ非表示にされ得る。
仮想コントロールの初期表示はユーザにとって煩わしいことがあり、その場合、ユーザは一瞬、アプリケーション内の自分の位置がわからなくなる。更に、アプリケーションユーザインタフェース内の他の要素の上に表示される仮想コントロールによって、それらの要素は不明瞭になるか、又は隠されるため、ユーザがアプリケーション内の操作状況を維持することも、より難しくなる。これは特に、仮想コントロール(例えば、キーボード)がディスプレイの大部分を占有し得る、小型ディスプレイを備えるポータブルデバイスに当てはまる。
したがって、アプリケーション内の操作状況を維持するのに役立つ、煩わしさが少ない仮想コントロールを有する電子デバイスが必要とされる。これには、仮想コントロールの外観を調整するための新しい方法及びインタフェースが必要となる。このようなデバイス、方法及びインタフェースは、ユーザの認識負荷を軽減し、より効率的なヒューマン−マシンインタフェースを作り出す。
ディスプレイを備える電子デバイスのユーザインタフェースに関連付けられた上記の欠点及び他の問題は、開示されるデバイスによって低減又は解消される。いくつかの実施形態では、このデバイスは、デスクトップコンピュータである。いくつかの実施形態では、このデバイスは、ポータブル(例えば、ノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイス)である。いくつかの実施形態では、このデバイスは、タッチパッドを有する。いくつかの実施形態では、このデバイスは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する。いくつかの実施形態では、このデバイスは、グラフィカルユーザインタフェース(GUI)、1つ以上のプロセッサ、メモリ、及び複数の機能を実行するためにメモリに記憶された1つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは主にタッチ感知面上での指の接触及びジェスチャを介してGUIと対話する。いくつかの実施形態では、機能は、画像編集、描画、プレゼンティング、ワードプロセッシング、ウェブサイト作成、ディスクオーサリング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、及び/又はデジタルビデオの再生を、任意選択的に、含む。これらの機能を実行するための実行可能命令は、非一時的コンピュータ可読記憶媒体又は1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に、任意選択的に、含まれる。
いくつかの実施形態によれば、ディスプレイを備えた電子デバイスにおいて、ある方法が実行される。方法は、ユーザインタフェースをディスプレイ上に表示することと、ディスプレイの対応する領域に対応する第1のコンテンツの1つ以上のコンテンツ表示特性に対するコンテンツ表示値の第1のセットを決定することと、コンテンツ表示値の第1のセットに基づき1つ以上のコントロール外観パラメータに対するコントロール外観値の第1のセットを決定することと、ディスプレイの対応する領域内にコントロールを表示することと、を含み、コントロールの外観は、第1のコンテンツ及びコントロール外観値の第1のセットに基づき決定される。
いくつかの実施形態によれば、電子デバイスは、ユーザインタフェースを表示するように構成されたディスプレイユニットと、ディスプレイユニットに結合された処理ユニットと、を含む。処理ユニットは、ディスプレイユニットの対応する領域に対応する第1のコンテンツの1つ以上のコンテンツ表示特性に対するコンテンツ表示値の第1のセットを決定し、コンテンツ表示値の第1のセットに基づき、1つ以上のコントロール外観パラメータに対するコントロール外観値の第1のセットを決定し、ディスプレイユニットの対応する領域内へのコントロールの表示を可能にするように構成され、コントロールの外観は、第1のコンテンツ及びコントロール外観値の第1のセットに基づき決定される。
いくつかの実施形態によれば、電子デバイスは、ディスプレイ、任意選択のタッチ感知面、タッチ感知面との接触の強度を検出するための任意選択の1つ以上のセンサ、1つ以上のプロセッサ、メモリ、及び1つ以上のプログラムを含み、この1つ以上のプログラムは、メモリ内に記憶されて、1つ以上のプロセッサによって実行されるように構成され、1つ以上のプログラムは、上述の方法の動作を実行するための命令を含む。いくつかの実施形態によれば、ディスプレイ、任意選択のタッチ感知面、タッチ感知面との接触の強度を検出するための任意選択の1つ以上のセンサ、メモリ、及びメモリ内に記憶された1つ以上のプログラムを実行するための1つ以上のプロセッサを有する電子デバイス上のグラフィカルユーザインタフェースは、上述の方法において表示される要素のうちの1つ以上を含み、それらの要素は、上述の方法において説明されるように、入力に応じて更新される。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、その内部に命令を記憶しており、その命令は、ディスプレイ、任意選択のタッチ感知面、及びタッチ感知面との接触の強度を検出するための任意選択の1つ以上のセンサを備える電子デバイスによって実行されると、上述の方法の動作を、そのデバイスに実行させる。いくつかの実施形態によれば、電子デバイスは、ディスプレイ、任意選択のタッチ感知面、及びタッチ感知面との接触の強度を検出するための任意選択の1つ以上のセンサ、及び上述の方法の動作を実行するための手段を含む。いくつかの実施形態によれば、ディスプレイ、任意選択のタッチ感知面、及びタッチ感知面との接触の強度を検出するための任意選択の1つ以上のセンサを備える電子デバイス内で使用するための情報処理装置が、上述の方法の動作を実行するための手段を含む。
したがって、ディスプレイを備える電子デバイスには、煩わしさがより少なく、かつユーザにとって見やすく対話しやすい仮想コントロールが提供され、それにより、このようなデバイスの有効性、効率及びユーザ満足度が向上する。
説明される様々な実施形態のより良好な理解のために、以下の図面と併せて、以下の「実施形態の説明」を参照されたく、類似の参照番号は、それらの図の全体を通じて対応する部分を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを備えるポータブル多機能デバイスを示すブロック図である。 いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。 いくつかの実施形態に係る、タッチスクリーンを備えるポータブル多機能デバイスを示す図である。 いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。 いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューのための例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、ディスプレイとは別個のタッチ感知面を備える多機能デバイスのための例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。 いくつかの実施形態に係る、コントロールが表示される領域内のコンテンツに対して決定されるコンテンツ表示特性の値の例示的な予想セットの概要を示す図である。 いくつかの実施形態に係る、補間を介してコントロール外観値を決定するために用いられ得るコントロール外観値の対応する既定のセットに割り当てられた、コンテンツ表示値の既定の予想セットの概要を示す図である。 いくつかの実施形態に係る、コントロールに対するコントロール外観パラメータの値の例示的な予想セットの概要を示す図である。 いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。 いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。 いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。 いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。 いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。 いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。 いくつかの実施形態に係る、コントロールの外観を調整する方法を示す流れ図である。 いくつかの実施形態に係る、電子デバイスの機能ブロック図である。
電子デバイスは、デバイス上でのアプリケーションの使用中に表示され、かつ非表示になる、仮想コントロールを表示することが多い。
上述のように、仮想コントロールの初期表示はユーザにとって煩わしいことがあり、その場合、ユーザは一瞬、アプリケーション内の自分の位置がわからなくなる。更に、アプリケーションユーザインタフェース内の他の要素の上に表示される仮想コントロールによって、それらの要素は不明瞭になるか、又は隠されるため、ユーザがアプリケーション内の操作状況を維持することも、より難しくなる。これは特に、仮想コントロール(例えば、キーボード)がディスプレイの大部分を占有し得る、小型ディスプレイを備えるポータブルデバイスに当てはまる。
本明細書では、コントロールの煩わしさがより少なく、かつユーザにとって見やすく、対話しやすくなるように、外観が自動的に調整される半透明(半透過)仮想コントロールを備えた電子デバイスが開示される。
所与の半透明コントロールは、ディスプレイの特定の領域内のコンテンツの上に表示される。デバイスは、特定の領域内の様々なコンテンツ表示特性に対する値(例えば、コントロールの下にあるコンテンツの色相、彩度、輝度及び/又はコントラストに対する値)を決定する。更に、デバイスは、コンテンツ表示特性に対して決定された値に基づき、様々なコントロール外観パラメータに対する値(例えば、ぼかし半径、彩度調整、白オーバレイの不透明度、黒オーバレイの不透明度、コントロール内のユーザインタフェース要素の不透明度及び/又はコントロール内のテキストの色に対する値)のセットを決定する。次いで、半透明コントロールの外観は、コントロールの下にあるコンテンツ及びコントロール外観パラメータの決定された値に基づく。コンテンツ表示特性の値、コントロール外観パラメータの値、及びこれに従うコントロールの外観は、コントロールの下にあるコンテンツが変化したときに、自動的かつ動的に更新される。
このような調整によって、不透明コントロール、又は下にあるコンテンツを固定された様式で単純にぼかす半透明コントロールよりも、外観の煩わしさが少ない半透明コントロールが生成される。同時に、このような調整によって、見やすく対話しやすい半透明コントロールが生成される。概して、このような調整によって、ユーザの認識負荷を軽減し、より効率的なヒューマン−マシンインタフェースを作り出す半透明コントロールが提供される。
本明細書に記載されている、半透明コントロールに対する調整は、他の種類の半透明ユーザインタフェース要素(例えば、ドック、トレイ及びステータスバー)にも適用することができる。
以下の図1A〜図1B、図2、及び図3は、例示的なデバイスの説明を提供する。図4A〜図4B及び図5A〜図5Kは、コントロールの外観を調整するための例示的なユーザインタフェースを示す。図9A〜図9Gは、コントロールの外観を調整する方法を示す流れ図である。図5A〜図5Kのユーザインタフェースは、図9A〜図9Gのプロセスを説明するために用いられる。
例示的なデバイス
ここで、添付図面に実施例が示される実施形態を、詳細に参照する。以下の詳細な説明では、説明される様々な実施形態の完全な理解を提供するために、数多くの具体的な詳細が記載されている。しかしながら、説明される様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例においては、周知の方法、手続き、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭なものとしないよう、詳細には説明されていない。
本明細書では、第1、第2などの用語は、一部の実例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第1の接触は、第2の接触と称することができ、同様に、第2の接触は、第1の接触と称し得る。第1の接触及び第2の接触は両方接触であるが、それらは同じ接触ではない。
本明細書で説明される様々な実施形態の説明で使用される用語法は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用されるときに、用語「及び/又は」が、関連する列挙された項目のうちの1つ以上の任意の全ての可能な組み合わせを指し、かつこれを含むことをもまた理解されたい。更に、用語「includes(含む)」、「including(含む)」、「comprises(備える)」、及び/又は「comprising(備える)」は、本明細書で使用される場合、記述される特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらの群の存在若しくは追加を、排除するものではないことが理解されるであろう。
本明細書で使用されるとき、用語「if(〜の場合には)」は、任意選択的に、文脈に応じて「when(〜のとき)」、「upon(〜すると)」、「in response to determining(〜という判定に応答して)」、又は「in response to detecting(〜の検出に応じて)」を意味するものと解釈される。同様に、句「if it is determined(〜と判定される場合に)」又は「if(a stated condition or event)is detected((述べられる条件又はイベント)が検出される場合に)」は、文脈に応じて「upon determining(〜と判定されると)」、「in response to determining(〜という判定に応じて)」、「upon detecting(the stated condition or event)((述べられる条件又はイベント)の検出時に)」、又は「in response to detecting(the stated condition or event)((述べられる条件又はイベント)の検出に応じて)」を意味すると、任意選択的に解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用するための関連プロセスの実施形態を説明する。いくつかの実施形態では、このデバイスは、PDA機能及び/又は音楽再生機能などの、他の機能をも含むモバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、限定を伴わずに、California州CupertinoのApple Inc.のiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)デバイスを含む。タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を備えるラップトップコンピュータ又はタブレットコンピュータなどの、他のポータブル電子デバイスが、任意選択的に使用される。また、いくつかの実施形態では、このデバイスはポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を備えるデスクトップコンピュータであることを理解されたい。
以下の考察では、ディスプレイ及びタッチ感知面を含む電子デバイスを説明する。しかしながら、この電子デバイスは、任意選択的に、物理キーボード、マウス、及び/又はジョイスティックなどの、1つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
このデバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽再生アプリケーション、及び/又はデジタルビデオ再生アプリケーションのうちの1つ以上などの、様々なアプリケーションをサポートする。
このデバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーション毎に、及び/若しくは対応するアプリケーション内で、任意選択的に、調節並びに/又は変更される。この方式で、そのデバイスの共通の(タッチ感知面などの)物理アーキテクチャは、ユーザにとって直観的かつ透過的なユーザインタフェースを有する様々なアプリケーションを、任意選択的にサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態に係る、タッチ感知ディスプレイ112を備えるポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチスクリーン」と呼ばれる場合があり、タッチ感知ディスプレイシステムとして既知であるか、又はそのように呼ばれる場合もある。デバイス100は、メモリ102(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPU)120、周辺機器インタフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、他の入力又は制御デバイス116、及び外部ポート124を含む。デバイス100は、任意選択的に、1つ以上の光センサ164を含む。デバイス100は、デバイス100(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)上の接触の強度を検出するための、1つ以上の強度センサ165を、任意選択的に含む。デバイス100は、デバイス100上に触知出力を生成する(例えば、デバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などの、タッチ感知面上に触知出力を生成する)ための、1つ以上の触知出力生成器167を、任意選択的に含む。これらの構成要素は、任意選択的に、1つ以上の通信バス又は信号線103を介して通信する。
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指接触)の力又は圧力(単位面積当りの力)、あるいはタッチ感知面上の接触の力又は圧力の代替物(代用物)を指す。接触の強度は、少なくとも4つの異なる数値を含み、より典型的には、数百個の異なる数値(例えば、少なくとも256)を含む、数値の範囲を有する。接触の強度は、様々な方法及び様々なセンサ、又はセンサの組み合わせを使用して、任意選択的に、判定(又は、測定)される。例えば、タッチ感知面の下に又は隣接して配置された1つ以上のセンサは、タッチ感知面上の様々な点における力を測定するために、任意選択的に、用いられる。いくつかの実装において、複数の力センサの力測定値は、推定される接触の力を判定するために組み合わされる(例えば、加重平均される)。同様に、タッチ感知面上のスタイラスの圧力を判定するために、スタイラスの圧力感知チップが、任意選択的に、用いられる。別の方法としては、タッチ感知面上で検出される接触領域のサイズ及び/若しくはその変化、接触に近接するタッチ感知面の電気容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化が、タッチ感知面上の接触の力又は圧力の代用物として、任意選択的に、用いられる。いくつかの実装では、接触の力又は圧力の代替的測定値は、強度閾値を超えているかを判定するために直接に用いられる(例えば、強度閾値は、代替的測定値に対応する単位で記述される)。いくつかの実装では、接触の力又は圧力の代替的測定値は、推定される力又は圧力に変換され、この推定される力又は圧力を用いて、強度閾値を超えているか判定される(例えば、強度閾値は、圧力の単位で測定された圧力閾値である)。
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、デバイスの別の構成要素(例えば、筐体)に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス、又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、指、手のひら、又はユーザの手の他の部分)と接触している状況では、物理的変位によって生成される触知出力は、そのデバイス、又はデバイスの構成要素の物理的特性の、知覚される変化に対応する触感覚として、ユーザによって解釈されることになる。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に、解釈される。いくつかの場合、ユーザの移動により物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がないときでさえ、タッチ感知面の「粗さ」としてユーザによって、任意選択的に、解釈又は感じられる。このようなユーザによるタッチの解釈は、ユーザの個別の感覚認知によるが、大多数のユーザに共通したタッチの感覚認知が数多くある。それゆえ、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」、「ダウンクリック」、「粗さ」)に対応するとして説明される場合、特に明記しない限り、生成される触知出力は、その説明される感覚認知を典型的な(又は平均的な)ユーザに対して生じさせる、デバイス又はその構成要素の物理的変位に対応する。
デバイス100は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス100は、示されるものよりも多いか又は少ない構成要素を任意選択的に有するか、2つ以上の構成要素を任意選択的に組み合わせるか、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図1Aに示される様々な構成要素は、1つ以上の信号処理、及び/又はアプリケーション固有の集積回路を含む、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方の組み合わせで実現される。
メモリ102は、任意選択的に高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体メモリデバイスなどの、不揮発性メモリも含む。CPU 120及び周辺機器インタフェース118などの、デバイス100の他の構成要素によるメモリ102へのアクセスは、メモリコントローラ122により、任意選択的に、制御される。
周辺機器インタフェース118を使用して、このデバイスの入力及び出力周辺機器を、CPU 120及びメモリ102に結合することができる。1つ以上のプロセッサ120は、メモリ102内に記憶された様々なソフトウェアプログラム及び/又は命令のセットを起動又は実行することにより、デバイス100に関する様々な機能を実行し、かつデータを処理する。
いくつかの実施形態では、周辺機器インタフェース118、CPU 120、及びメモリコントローラ122は、任意選択的に、チップ104などの単一チップ上に実装される。いくつかの他の実施形態では、これらは、個別のチップ上に、任意選択的に、実装される。
RF(無線周波数)回路108は、電磁信号とも呼ばれるRF信号を受信したり送信したりする。RF回路108は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module、SIM)カード、メモリなどを含むがこれらに限定されない、上記の機能を実行するための周知の回路を、任意選択的に、含む。RF回路108は、ワールドワイドウェブ(World Wide Web、WWW)とも称されるインターネットなどのネットワーク、セルラー電話ネットワーク、無線ローカルエリアネットワーク(local area network、LAN)、及び/又はメトロポリタンエリアネットワーク(metropolitan area network、MAN)などの、イントラネット及び/又は無線ネットワーク、並びに他のデバイスと、無線通信によって、任意選択的に通信する。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを、任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム(Global System for Mobile Communications、GSM)、拡張データGSM環境(Enhanced Data GSM Environment、EDGE)、高速ダウンリンクパケット接続(high−speed downlink packet access、HSDPA)、高速アップリンクパケット接続(high−speed uplink packet access、HSUPA)、Evolution,Data−Only(EV−DO)、HSPA、HSPA+、2重セルHSPA(Dual−Cell HSPA、DC−HSPDA)、ロングタームエボリューション(long term evolution、LTE)、近距離無線通信(near field communication、NFC)、広帯域符号分割多元接続(wideband code division multiple access、W−CDMA)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth(登録商標)、Wireless Fidelity(Wi−Fi)(登録商標)(例えば、IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、及び/又はIEEE 802.11n)、ボイスオーバーインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi−MAX、電子メール用のプロトコル(例えば、インターネットメッセージアクセスプロトコル(Internet message access protocol、IMAP)及び/又はポストオフィスプロトコル(post office protocol、POP))、インスタントメッセージング(例えば、拡張可能メッセージング及びプレゼンスプロトコル(extensible messaging and presence protocol、XMPP)、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、SIMPLE)、インスタントメッセージング及びプレゼンスサービス(Instant Messaging and Presence Service、IMPS))、及び/又はショートメッセージサービス(Short Message Service、SMS)、あるいは本文書の出願日現在までに未だ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118からオーディオデータを受信し、そのオーディオデータを電気信号に変換し、その電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の可聴音波に変換する。オーディオ回路110はまた、マイクロフォン113によって音波から変換された電気信号も受信する。オーディオ回路110は、その電気信号をオーディオデータに変換し、そのオーディオデータを、処理のために周辺機器インタフェース118に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース118によって、メモリ102及び/若しくはRF回路108から取得され、かつ/又はメモリ102及び/若しくはRF回路108に送信される。いくつかの実施形態では、オーディオ回路110は更にヘッドセットジャック(例えば、図2の212)を含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば、片耳又は両耳用のヘッドホン)及び入力(例えば、マイクロフォン)の両方を持つヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム106は、周辺機器インタフェース118に、タッチスクリーン112及び他の入力制御デバイス116などのデバイス100の入出力周辺機器を結合する。I/Oサブシステム106は、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、及び他の入力又は制御デバイス用の1つ以上の入力コントローラ160を、任意選択的に、含む。1つ以上の入力コントローラ160は、他の入力又は制御デバイス116から/へ電気信号を受信/送信する。他の入力制御デバイス116は、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを、任意選択的に、含む。いくつかの代替的実施形態では、入力コントローラ160は、任意選択的に、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される(又は、いずれにも結合されない)。1つ以上のボタン(例えば、図2の208)は、スピーカ111及び/又はマイクロフォン113の音量調節のためのアップ/ダウンボタンを、任意選択的に、含む。1つ以上のボタンは、プッシュボタン(例えば、図2の206)を、任意選択的に、含む。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112から/へ電気信号を受信及び/又は送信する。タッチスクリーン112は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせ(総称して「グラフィック」と称する)を、任意選択的に、含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン112は、触覚及び/又は触知の接触に基づいて、ユーザからの入力を受け入れる、タッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン112及びディスプレイコントローラ156(メモリ102内の任意の関連モジュール及び/又は命令セットと共に)は、タッチスクリーン112上で接触(及び任意の動作又は接触の中断)を検出し、検出された接触をタッチスクリーン112上に表示されたユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との対話に変換する。ある例示的な実施形態では、タッチスクリーン112とユーザとの間の接触は、ユーザの指に対応する。
タッチスクリーン112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、又はLED(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチスクリーン112及びディスプレイコントローラ156は、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチスクリーン112との1つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在公知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及び任意の移動又はその中断を、任意選択的に、検出する。ある例示的な実施形態では、California州CupertinoのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)などにおいて見られるような、投影された相互キャパシタンス検知技術が使用されている。
タッチスクリーン112は、任意選択的に、100dpiを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは約160dpiのビデオ解像度を有する。ユーザは、スタイラス、指などの、任意の好適な物体又は付属物を使用して、タッチスクリーン112と任意選択的に接触する。いくつかの実施形態では、ユーザインタフェースは、主として指ベースの接触とジェスチャで機能するように設計され、タッチスクリーン上の指の接触面積が広いためスタイラスベースの入力よりも精度が低いことがある。いくつかの実施形態では、デバイスは、粗い指ベースの入力を正確なポインタ/カーソル位置又はユーザの望むアクションを実行するためのコマンドへ変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、特定の機能をアクティブ化又は非アクティブ化させるためのタッチパッド(図示せず)を、任意選択的に含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知領域である。タッチパッドは、任意選択的に、タッチスクリーン112とは別個のタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
デバイス100はまた、様々な構成要素に電力を供給するための、電力システム162も含む。電力システム162は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態標識(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
デバイス100は、1つ以上の光センサ164も、任意選択的に、含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158に結合された光センサを示す。光センサ164は、電荷結合デバイス(charge-coupled device、CCD)又は相補的金属酸化物半導体(complementary metal-oxide semiconductor、CMOS)フォトトランジスタを、任意選択的に、含む。光センサ164は、1つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表すデータに変換する。撮像モジュール143(カメラモジュールとも称する)と併用して、光センサ164は、静止画像又はビデオを、任意選択的に、キャプチャする。いくつかの実施形態では、タッチスクリーンディスプレイを静止画像及び/又はビデオ画像の取得のためのビューファインダとして使用することができるように、光センサは、デバイスの前面のタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されている。いくつかの実施形態では、ユーザがタッチスクリーンディスプレイ上で他のビデオ会議参加者を見ている間に、ユーザの画像を、ビデオ会議のために、任意選択的に、得るように、別の光センサがデバイスの前面に配置される。
デバイス100はまた、1つ以上の接触強度センサ165も任意選択的に含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に結合された、接触強度センサを示す。接触強度センサ165は、1つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(又は圧力)を測定するために使用するセンサ)を、任意選択的に、含む。接触強度センサ165は、環境からの接触強度情報(例えば、圧力情報、又は圧力情報の代用物)を受信する。いくつかの実施形態では、少なくとも1つの接触強度センサは、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)に併置されているか、又は近接している。いくつかの実施形態では、少なくとも1つの接触強度センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置されている。
デバイス100は、1つ以上の近接センサ166も、任意選択的に、含む。図1Aは、周辺機器インタフェース118に結合された、近接センサ166を示す。あるいは、近接センサ166は、I/Oサブシステム106内の入力コントローラ160に結合される。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されている場合(例えば、ユーザが電話通話を行っている場合)、近接センサはオフになり、タッチスクリーン112は無効になる。
デバイス100はまた、1つ以上の触知出力生成器167も任意選択的に含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に結合された、触知出力生成器を示す。触知出力生成器167は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又は、モーター、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、電気信号を、デバイス上の触知出力に変換する構成要素)などの、エネルギーを線形運動に変換する電気機械デバイスを含む。接触強度センサ165は、触覚フィードバックモジュール133からの触知フィードバック生成命令を受信して、デバイス100のユーザによって感知することが可能な、デバイス100上の触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)と共に、又は近接して配置され、任意選択的に、タッチ感知面を垂直方向に(例えば、デバイス100の面内/面外に)又は横方向に(例えば、デバイス100の表面と同じ平面内で前後に)移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力発生器センサは、デバイス100の前面上に配置されるタッチスクリーンディスプレイ112の反対側である、デバイス100の背面上に配置される。
デバイス100はまた、1つ以上の加速度計168も任意選択的に含む。図1Aは、周辺機器インタフェース118に結合された、加速度計168を示す。あるいは、加速度計168は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。いくつかの実施形態では、情報は、1つ以上の加速度計から受信されたデータの分析に基づいて、縦表示又は横表示で、タッチスクリーンディスプレイ上に表示される。デバイス100は、任意選択的に、加速度計168に加えて、磁力計(図示せず)、並びにデバイス100のロケーション及び向き(例えば、縦表示又は横表示)に関する情報を取得するためのGPS(又は、GLONASS若しくは他のグローバルナビゲーションシステム)受信機(図示せず)を含む。
いくつかの実施形態では、メモリ102に記憶されたソフトウェアコンポーネントは、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/動きモジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、テキスト入力モジュール(又は命令セット)134、全地球測位システム(GPS)モジュール(又は命令セット)135、及びアプリケーション(命令セット)136を含む。更に、いくつかの実施形態では、図1A及び図3に示すように、メモリ102はデバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、存在する場合には、いずれのアプリケーションが現在アクティブであるかを示す、アクティブアプリケーション状態、いずれのアプリケーション、ビュー、又は他の情報が、タッチスクリーンディスプレイ112の様々な領域を占有するかを示す、ディスプレイ状態、デバイスの様々なセンサ及び入力制御デバイス116から取得した情報を含む、センサ状態、並びにデバイスのロケーション及び/又は姿勢に関するロケーション情報のうちの、1つ以上を含む。
オペレーティングシステム126(例えば、Darwin、RTXC(商標)、LINUX(登録商標)、UNIX(商標)、OS X(登録商標)、WINDOWS(登録商標)、又はVxWorks(登録商標)などの組み込みオペレーティングシステム)は、一般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理するための、様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、RF回路108及び/又は外部ポート124が受信したデータを処理するための様々なソフトウェア構成要素を含む。外部ポート124(例えば、ユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIRE(登録商標)など)は、直接的に、又はネットワーク(例えば、インターネット、無線LANなど)を介して間接的に他のデバイスに結合するように適合される。いくつかの実施形態では、外部ポートは、iPod(Apple Inc.の商標)デバイス上で使用される30ピンコネクタと同一の、又はこれに類似した及び/若しくは互換性のあるマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、任意選択的に、(ディスプレイコントローラ156と共に)タッチスクリーン112との接触、及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を検出する。接触/動きモジュール130は、接触が発生したかどうかの判定(例えば、フィンガダウンイベントの検出)、接触の強度(例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力の代用語)の判定、接触の移動及びタッチ感知面にわたる動きの追跡(例えば、1つ以上のフィンガドラッグイベントの検出)があるかどうかの判定、及び接触が中止したかどうか(例えば、フィンガアップイベント又は接触の中断の検出)の判定などの、接触の検出に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触の移動を判定することは、任意選択的に、接触の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを含む。これらの動作は、任意選択的に、単一の接触(例えば、1つの指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール130は、ユーザによって動作が実行されたか否かを判定するための(例えば、ユーザがアイコン上で「クリック」したか否かを判定するための)、1つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットが、ソフトウェアパラメータに従って決定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されるのではなく、デバイス100の物理ハードウェアを変更することなく調節することができる)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく広範囲の既定の閾値のうちのいずれかに設定し得る。更には、いくつかの実装では、デバイスのユーザには、(例えば、個別の強度閾値を調節することによって、かつ/又は、システムレベルのクリック「強度」パラメータを使用して、一度に複数の強度閾値を調節することによって)強度閾値のセットのうちの1つ以上を調節するための、ソフトウェア設定が提供される。
接触/動きモジュール130は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン(例えば、異なる動き、タイミング、及び/又は検出された接触の強度)を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって、任意選択的に、検出される。例えば、指のタップジェスチャを検出することは、指を下ろすイベントを検出し、続いて(例えば、アイコンの位置での)その指を下ろすイベントと同じ位置(又は、実質的に同じ位置)で指を上げる(リフトオフする)イベントを検出することを含む。他の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて1つ以上の指をドラッグするイベントを検出し、その後、続いて指を上げる(リフトオフする)イベントを検出することを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)を変更するための構成要素を含めた、タッチスクリーン112又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用されるとき、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、それらのオブジェクトとしては、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。
いくつかの実施形態では、グラフィックモジュール132は、使用されるグラフィックを表すデータを記憶する。それぞれのグラフィックには、対応するコードが、任意選択的に、割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に、表示されるグラフィックを指定する1つ以上のコードを受信して、次いで、ディスプレイコントローラ156に出力するためのスクリーン画像データを生成する。
触覚フィードバックモジュール133は、デバイス100とのユーザ対話に応じて、デバイス100上の1つ以上の場所で触知出力を生成するために、触知出力生成器167によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール134は、任意選択的にグラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM 141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するための、ソフトキーボードを提供する。
GPSモジュール135は、デバイスのロケーションを判定し、この情報を様々なアプリケーションで使用するために提供する(例えば、ロケーションベースダイアル発呼で使用するための電話138へ、写真/ビデオのメタデータとしてカメラ143へ、並びに気象ウィジェット、地方のイエローページウィジェット、及び地図/ナビゲーションウィジェットなどのロケーションベースのサービスを提供するアプリケーションへ)。
アプリケーション136は、任意選択的に、以下のモジュール(又は、命令のセット)、又はそれらの部分集合若しくは上位集合を含む。
●連絡先モジュール137(アドレス帳又は連絡先リストとも称される)、
●電話モジュール138、
●ビデオ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又はビデオ画像用のカメラモジュール143、
●画像管理モジュール144、
●ブラウザモジュール147、
●カレンダモジュール148、
●気象ウィジェット149−1、株式ウィジェット149−2、計算機ウィジェット149−3、アラーム時計ウィジェット149−4、辞書ウィジェット149−5、及びユーザが取得した他のウィジェット、並びにユーザ作成ウィジェット149−6のうちの1つ以上を任意選択的に含むウィジェットモジュール149、
●ユーザ作成ウィジェット149−6を作成するためのウィジェット作成モジュール150、
●検索モジュール151、
●任意選択的にビデオ再生モジュール及び音楽再生モジュールから構成される、ビデオ及び音楽再生モジュール152、
●メモモジュール153、
●地図モジュール154、及び/又は
●オンラインビデオモジュール155。
任意選択的にメモリ102内に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と共に、連絡先モジュール137は、任意選択的に、(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192内に記憶される)アドレス帳又は連絡先リストを管理するために使用され、この管理には、アドレス帳に名前を追加すること、アドレス帳から名前を削除すること、電話番号、電子メールアドレス、実際の住所、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類して並び替えること、電話138、ビデオ会議139、電子メール140、又はIM 141などによる通信を開始及び/又は促進するために、電話番号又は電子メールアドレスを提供することなどが含まれる。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と共に、電話モジュール138は、電話番号に対応する一連の文字を入力し、アドレス帳137内の1つ以上の電話番号にアクセスし、入力されている電話番号を修正し、対応の電話番号をダイアルし、会話を遂行し、会話が完了した際に接続を切るか又は電話を切るために、任意選択的に使用される。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを、任意選択的に、使用する。
RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先リスト137、及び電話モジュール138と関連して、ビデオ会議モジュール139は、ユーザの指示に従って、ユーザと1人以上の他の参加者との間のビデオ会議を開始し、行い、終了するための実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、電子メールクライアントモジュール140は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための実行可能命令を含む。画像管理モジュール144と共に、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを、非常に容易にする。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、インスタントメッセージングモジュール141は、インスタントメッセージに対応する文字列を入力したり、入力済みの文字を修正したり、対応するインスタントメッセージを送信したり(例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス(SMS)若しくはマルチメディアメッセージサービス(Multimedia Message Service、MMS)プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのXMPP、SIMPLE、若しくはIMPSを使用して)、インスタントメッセージを受信して、受信したインスタントメッセージを表示したりするための実行可能命令を含む。いくつかの実施形態では、送信及び/又は受信されたインスタントメッセージは、MMS及び/又は拡張メッセージングサービス(Enhanced Messaging Service、EMS)でサポートされるように、グラフィック、写真、オーディオファイル、ビデオファイル、及び/又は他の添付を、任意選択的に、含む。本明細書では、「インスタントメッセージング」とは、電話ベースのメッセージ(例えば、SMS又はMMSを使用して送信されたメッセージ)及びインターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されたメッセージ)の両方を意味する。
RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽再生ジュール146と関連して、トレーニングサポートモジュール142は、トレーニングを作成したり(例えば、時間、距離、及び/又はカロリー消費目標に関して)、トレーニングセンサ(スポーツデバイス)と通信したり、トレーニングセンサデータを受信したり、トレーニングを監視するために用いられるセンサを較正したり、トレーニングのための音楽を選択して再生したり、トレーニングデータを表示、記憶、送信したりするための実行可能命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、光センサ(1つ又は複数)164、光センサコントローラ158、接触モジュール130、グラフィックモジュール132、及び画像管理モジュール144と関連して、カメラモジュール143は、静止画像又はビデオ(ビデオストリームを含む)をキャプチャしてメモリ102にそれらを記憶したり、静止画像又はビデオの特徴を変更したり、又はメモリ102から静止画像若しくは動画を削除したりするための実行可能命令を含む。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と関連して、画像管理モジュール144は、静止画像及び/又はビデオを配置し、修正し(例えば、編集し)、また別の方法で操作し、ラベルを付け、削除し、提示し(例えば、デジタルスライドショー又はアルバム内で)、並びに記憶したりするための実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、ブラウザモジュール147は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付け、受信し、表示することを含むユーザの指示に従い、インターネットをブラウズするための実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と関連して、カレンダモジュール148は、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ(例えば、カレンダ項目、To Doリストなど)を作成し、表示し、変更し、記憶するための実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と共に、ウィジェットモジュール149は、ユーザによって任意選択的にダウンロードされ、使用されるミニアプリケーション(例えば、気象ウィジェット149−1、株式ウィジェット149−2、計算機ウィジェット149−3、アラーム時計ウィジェット149−4、及び辞書ウィジェット149−5)、又はユーザによって作成されるミニアプリケーション(例えば、ユーザ作成ウィジェット149−6)である。いくつかの実施形態では、ウィジェットは、HTML(Hypertext Markup Language、ハイパーテキストマークアップ言語)ファイル、CSS(Cascading Style Sheets、カスケーディングスタイルシート)ファイル、及びJavaScriptファイルを含む。いくつかの実施形態では、ウィジェットは、XML(Extensible Markup Language、拡張可能マークアップ言語)ファイル及びJavaScript(登録商標)ファイル(例えば、Yahoo!ウィジェット)を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と共に、ウィジェット作成モジュール150は、ウィジェットを作成する(例えば、ウェブページのユーザ指定箇所をウィジェットに変える)ために、ユーザによって任意選択的に使用される。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と関連して、検索モジュール151は、ユーザの指示に従い、1つ以上の検索判断基準(例えば、1つ以上のユーザ指定の検索語句)と一致する、メモリ102内のテキスト、音楽、音、画像、ビデオ、及び/又は他のファイルを検索するための実行可能命令を含む。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と関連して、ビデオ及び音楽再生モジュール152は、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能命令、並びにビデオを表示、提示、又は別の方法で再生する(タッチスクリーン112上又は外部ポート124を介して接続された外部のディスプレイ上に)ための実行可能命令を含む。いくつかの実施形態では、デバイス100は、iPod(Apple Inc.の商標)などのMP3プレーヤの機能性を、任意選択的に含む。
タッチスクリーン112、ディスプレイコントローラ156、接触モジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と共に、メモモジュール153は、ユーザの指示に従って、メモ、To Doリストなどを作成及び管理するための、実行可能命令を含む。
RF回路108、タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と共に、地図モジュール154は、ユーザの指示に従って、地図、及び地図に関連付けられたデータ(例えば、運転方向、特定の場所若しくはその付近の店舗及び関心対象の他の地点についてのデータ、並びに場所に基づく他のデータ)を受信し、表示し、修正し、記憶するために、任意選択的に使用される。
タッチスクリーン112、ディスプレイシステムコントローラ156、接触モジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と関連して、オンラインビデオモジュール155は、ユーザがH.264などの1つ以上のファイル形式のオンラインビデオにアクセスし、ブラウズし、受信し(例えば、ストリーミング及び/又はダウンロードにより)、再生し(例えば、タッチスクリーン上で又は外部ポート124を介して接続された外部のディスプレイ上で)、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理できるようにする命令を含む。いくつかの実施形態では、電子メールクライアントモジュール140ではなく、インスタントメッセージモジュール141が、特定のオンラインビデオへのリンクを送信するために用いられる。
上記で識別されたモジュール及びアプリケーションのそれぞれは、1つ又はそれ以上の上記の機能を実行するための実行可能命令セット及び本出願に記載の方法(例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法)に対応する。これらのモジュール(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において、任意選択的に、組み合わせ、又は再配置される。いくつかの実施形態では、メモリ102は、上記で特定されたモジュール及びデータ構造のサブセットを、任意選択的に記憶する。更に、メモリ102は、上述されていない追加のモジュール及びデータ構造を、任意選択的に、記憶する。
いくつかの実施形態では、デバイス100は、デバイス上の機能の既定のセットの動作が排他的にタッチスクリーン及び/又はタッチパッドを介して実行されるデバイスである。デバイス100の動作に関する主要な入力制御デバイスとして、タッチスクリーン及び/又はタッチパッドを使用することによって、デバイス100上の物理入力制御デバイス(プッシュボタン、ダイアルなど)の数が、任意選択的に低減される。
排他的にタッチスクリーン及び/又はタッチパッドを介して実行される、既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス100上に表示されている任意のユーザインタフェースから、メイン、ホーム、又はルートメニューへと、デバイス100をナビゲートする。そのような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又は他の物理入力制御デバイスである。
図1Bは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A内)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)及び対応するアプリケーション136−1(例えば、上述のアプリケーション137〜13、155、及び380〜390のいずれか)を含む。
イベントソータ170は、イベント情報を受信し、そのイベント情報の配信先となる、アプリケーション136−1、及びアプリケーション136−1のアプリケーションビュー191を決定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態では、アプリケーション136−1は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイ112上に表示される現在のアプリケーションビュー(1つ又は複数)を示す、アプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、いずれのアプリケーションが現在アクティブであるかを判定するために、イベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報の配信先となるアプリケーションビュー191を決定するために、イベントソータ170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、追加情報として、例えば、アプリケーション136−1が実行を再開する際に用いられる再開情報、アプリケーション136−1により表示されている又は表示の準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション136−1の以前の状態又はビューに戻ることを可能にするための状態の待ち行列、及びユーザが以前にとったアクションのやり直し/アンドゥーの待ち行列のうちの1つ以上を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ112上のユーザタッチ)の情報を含む。周辺機器インタフェース118は、入出力サブシステム106又は(オーディオ回路110を介して)近接センサ166、加速度計(1つ又は複数)168、及び/若しくはマイクロフォン113などのセンサから受信する情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、所定の間隔で周辺機器インタフェース118に要求を送信する。これに応じて、周辺機器インタフェース118は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、所定のノイズ閾値を超える、及び/又は所定時間以上の入力を受け取ること)がある場合にのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173も含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が1つ以上のビューを表示した際に、1つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手続きを提供する。ビューは、ユーザがディスプレイ上で見ることが可能な、コントロール及び他の要素で構成される。
アプリケーションに関連付けられるユーザインタフェースの別の態様は、本明細書では、アプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合がある、ビューのセットであり、それらの中で、情報が表示され、タッチに基づくジェスチャが実施される。タッチが検出される(対応するアプリケーションの)アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに、任意選択的に、対応する。例えば、タッチが検出される最低レベルのビューは、任意選択的に、ヒットビューと呼ばれ、適切な入力として認識されるイベントのセットは、少なくとも部分的に、タッチベースのジェスチャを開始する最初のタッチのヒットビューに基づいて、任意選択的に、判定される。
ヒットビュー判定モジュール172は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが、階層として編成された複数のビューを有する場合、ヒットビュー判定モジュール172は、サブイベントを処理するべき階層内の最下位のビューとして、ヒットビューを特定する。殆どの状況では、ヒットビューは、開始サブイベント(すなわち、イベント又は潜在的なイベントを形成するサブイベントのシーケンス内の、最初のサブイベント)が発生する、最下位レベルのビューである。ヒットビューが、ヒットビュー判定モジュールによって特定されると、そのヒットビューは、典型的には、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連する、全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(1つ又は複数)がサブイベントの特定のシーケンスを受け取るべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受信するべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理的なロケーションを含む全てのビューはアクティブに関わっているビューであると判定し、したがって、全てのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受信するべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューはアクティブに関わっているビューのままであるであろう。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えば、イベント認識部180)に送信する。アクティブイベント認識部判定モジュール173を含む実施形態では、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、対応するイベント受信部モジュール182により取得されるイベント情報をイベント待ち行列内に記憶する。
いくつかの実施形態では、オペレーティングシステム126は、イベントソータ170を含む。あるいは、アプリケーション136−1が、イベントソータ170を含む。更に他の実施形態では、イベントソータ170は、スタンドアロンモジュール、又は接触/動きモジュール130などのメモリ102に記憶された他のモジュールの一部である。
いくつかの実施形態では、アプリケーション136−1は、そのアプリケーションのユーザインタフェースの各ビュー内で発生するタッチイベントを処理するための命令をそれぞれが含む、複数のイベントハンドラ190及び1つ以上のアプリケーションビュー191を含む。アプリケーション136−1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、各アプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット(図示せず)又はアプリケーション136−1が方法及び他の性質を継承する上位レベルのオブジェクトなど、別個のモジュールの一部である。いくつかの実施形態では、対応するイベントハンドラ190は、データアップデータ176、オブジェクトアップデータ177、GUIアップデータ178、及び/又はイベントソータ170から受信したイベントデータ179のうちの1つ以上を含む。イベントハンドラ190は、アプリケーション内部状態192を更新するために、任意選択的に、データアップデータ176、オブジェクトアップデータ177、又はGUIアップデータ178を利用するか、若しくは呼び出す。あるいは、アプリケーションビュー191のうちの1つ以上は、1つ以上の対応するイベントハンドラ190を含む。また、いくつかの実施形態では、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178のうちの1つ以上が、対応するアプリケーションビュー191内に含まれる。
各イベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信して、そのイベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。いくつかの実施形態では、イベント認識部180はまた、メタデータ183及び(サブイベント配信命令を任意選択的に含む)イベント配信命令188の、少なくともサブセットも含む。
イベント受信部182は、イベントソータ170よりイベント情報を受信する。イベント情報は、例えば、タッチ又はタッチの移動などのサブイベントの情報を含む。サブイベントによっては、イベント情報は、サブイベントの場所などの追加情報をもまた含む。サブイベントが、タッチの動きに関係する場合、イベント情報はまた、そのサブイベントの速度及び方向も任意選択的に含む。いくつかの実施形態では、イベントは、ある方向から別の方向へ(例えば、縦長の向きから横長の向きへ、又はその逆)のデバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ばれる)についての対応する情報を含む。
イベント比較部184は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較により、イベント若しくはサブイベントを判定、又はイベント若しくはサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えば、イベント1(187−1)、イベント2(187−2)などの、イベントの定義(例えば、サブイベントの既定のシーケンス)を含む。いくつかの実施形態では、イベント187内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント1(187−1)に関する定義は、表示オブジェクト上でのダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の所定の段階についての第1のタッチ(タッチ開始)、所定の段階についての第1のリフトオフ(タッチ終了)、表示されたオブジェクト上の所定の段階についての第2のタッチ(タッチ開始)、及び所定の段階についての第2のリフトオフ(タッチ終了)を含む。別の実施形態では、イベント2(187−2)の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上の所定の段階についてのタッチ(又は接触)、タッチ感知ディスプレイ112にわたるタッチの移動、及びタッチのリフトオフ(タッチ終了)を含む。いくつかの実施形態では、イベントは、1つ以上の関連するイベントハンドラ190についての情報も含む。
いくつかの実施形態では、イベント定義187は、対応するユーザインタフェースオブジェクト用のイベントの定義を含む。いくつかの実施形態では、イベント比較部184は、サブイベントに関連付けられたユーザインタフェースオブジェクトを判定するヒットテストを実行する。例えば、3つのユーザインタフェースオブジェクトがタッチ感知ディスプレイ112に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ112上でタッチが検出されると、イベント比較部184は、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)に関連付けられているかを判定するためのヒットテストを行う。表示されたそれぞれのオブジェクトが、対応するイベントハンドラ190に関連付けられている場合、イベント比較部はヒットテストの結果を用いて、アクティブにする必要のあるイベントハンドラ190を判定する。例えば、イベント比較部184は、サブイベント及びヒットテストのトリガーとなるオブジェクトに関連付けられたイベントハンドラを選択する。
いくつかの実施形態では、各イベント187に関する定義はまた、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の配信を遅延させる、遅延作用も含む。
対応するイベント認識部180が、一連のサブイベントがイベント定義186のイベントのいずれとも一致しないと判定した場合、対応するイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチベースのジェスチャの後続のサブイベントを無視する。この状況では、もしあれば、ヒットビューについてアクティブのままである他のイベント認識部は、進行中のタッチベースのジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、対応するイベント認識部180は、構成可能なプロパティ、フラグ、及び/又はイベント配信システムがアクティブに関わっているイベント認識部にどのようにサブイベント配信を実行するかについて示すリストを持つメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部が互いにどのように相互作用するか、又は相互作用することが可能になるかを示す、構成可能なプロパティ、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ183は、構成可能なプロパティ、フラグ、及び/又はサブイベントがビュー階層又はプログラム階層内の様々なレベルに配信されるかどうかを示すリストを含む。
いくつかの実施形態では、対応するイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されたときに、イベントに関連付けられたイベントハンドラ190をアクティブにする。いくつかの実施形態では、対応するイベント認識部180は、イベントハンドラ190に、イベントに関連付けられたイベント情報を配信する。イベントハンドラ190をアクティブ化することと、対応するヒットビューにサブイベントを送信(及び送信を延期する)することとは、区別される。いくつかの実施形態では、イベント識別部180は、認識されたイベントに関連付けられたフラグをスローし、フラグに関連付けられたイベントハンドラ190はフラグをキャッチし、既定の処理を実行する。
いくつかの実施形態では、イベント配信命令188は、イベントハンドラをアクティブ化せずにサブイベントに関するイベント情報を配信するサブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントに関連したイベントハンドラ又はアクティブに関わっているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関わっているビューに関連付けられているイベントハンドラは、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データアップデータ176は、アプリケーション136−1で使用されるデータを作成及び更新する。例えば、データアップデータ176は、連絡先モジュール137で使用される電話番号を更新したり、ビデオ再生モジュール145で使用されるビデオファイルを記憶したりする。いくつかの実施形態では、オブジェクトアップデータ177は、アプリケーション136−1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデータ176は、新たなユーザインタフェースオブジェクトを作成したり、ユーザインタフェースオブジェクトの位置を更新したりする。GUIアップデータ178は、GUIを更新する。例えば、GUIアップデータ178は、表示情報を準備し、その表示情報を、タッチ感知ディスプレイ上に表示するために、グラフィックモジュール132に送信する。
いくつかの実施形態では、イベントハンドラ190は、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178を含むか、若しくはそれらに対するアクセスを有する。いくつかの実施形態では、データアップデータ176、オブジェクトアップデータ177、及びGUIアップデータ178は、対応するアプリケーション136−1又はアプリケーションビュー191の1つのモジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の論考はまた、入力デバイスを使用して多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことが理解されよう。例えば、単一又は複数のキーボードの押圧若しくは保持に任意選択的に対応する、マウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭指示、検出される眼球移動、バイオメトリック入力、並びに/あるいは、これらの任意の組み合わせが、認識するべきイベントを定義する、サブイベントに対応する入力として、任意選択的に利用される。
図2は、いくつかの実施形態に係る、タッチスクリーン112を有するポータブル多機能デバイス100を示す図である。このタッチスクリーンは、ユーザインタフェース(UI)200内に、1つ以上のグラフィックを任意選択的に表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、1本以上の指202(図には正確な縮尺では描かれていない)又は1つ以上のスタイラス203(図には正確な縮尺では描かれていない)を使用して、グラフィック上でジェスチャを実施することによって、グラフィックのうちの1つ以上を選択することが可能となる。いくつかの実施形態では、ユーザが1つ以上のグラフィックとの接触を断った際に、1つ以上のグラフィックの選択が生じる。いくつかの実施形態では、ジェスチャは、1回以上のタップ、1回以上の(左から右、右から左、上方向、及び/又は下方向への)スワイプ、及び/又は、デバイス100と接触した(右から左、左から右、上方向、及び/又は下方向への)指のローリングを、任意選択的に含む。いくつかの実装又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスワイプするスワイプジェスチャは、対応するアプリケーションを、任意選択的に、選択しない。
デバイス100はまた、「ホーム」又はメニューボタン204などの、1つ以上の物理ボタンも任意選択的に含む。前述のように、メニューボタン204は、デバイス100上で任意選択的に実行されるアプリケーションのセット内の任意のアプリケーション136にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン112に表示されたGUIにおけるソフトキーとして実装されている。
一実施形態では、デバイス100は、タッチスクリーン112、メニューボタン204、デバイスの電源をオン/オフし、デバイスをロックするためのプッシュボタン206、音量調節ボタン208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電外部ポート124を含む。プッシュボタン206は、ボタンを押し下げて、既定の時間間隔にわたってボタンを押し下げられた状態で保持することによって、デバイス上の電源をオン/オフし、ボタンを押し下げて、既定の時間間隔が経過する前にボタンを解放することによって、デバイスをロックし、かつ/又は、デバイスをロック解除するか、若しくはロック解除プロセスを開始するために、任意選択的に使用される。代替的実施形態では、デバイス100はまた、マイクロフォン113を介して、一部の機能のアクティブ化又は停止に関する口頭入力も受け入れる。デバイス100はまた、タッチスクリーン112上の接触の強度を検出するための、1つ以上の接触強度センサ165、及び/又は、デバイス100のユーザに対する触知出力を生成するための、1つ以上の触知出力生成器167も、任意選択的に含む。
図3は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス300は、ポータブルでなくてもよい。いくつかの実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は産業用コントローラ)である。デバイス300は、典型的には、1つ以上の処理ユニット(CPU)310、1つ以上のネットワーク又は他の通信インタフェース360、メモリ370、及びこれらの構成要素を相互接続するための1つ以上の通信バス320を含む。通信バス320は、システム構成要素間の通信を相互接続及び制御する回路(チップセットと称することがある)を、任意選択的に含む。デバイス300は、典型的にはタッチスクリーンディスプレイである、ディスプレイ340を備える、入出力(I/O)インタフェース330を含む。I/Oインタフェース330はまた、キーボード及び/又はマウス(又は他のポインティングデバイス)350並びにタッチパッド355、デバイス300上に触知出力を生成するための(例えば、図1Aを参照して上述された触知出力生成器167と同様の)触知出力生成器357、センサ359(例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び/又は図1Aを参照して上述された接触強度センサ165と同様の接触強度センサ)も、任意選択的に含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセス半導体メモリデバイスなどの、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性半導体記憶デバイスなどの、不揮発性メモリを含む。メモリ370は、CPU(1つ又は複数)310からは離れて位置する1つ以上の記憶デバイスを、任意選択的に、含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102に記憶されたプログラム、モジュール、及びデータ構造に類似する、プログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更には、メモリ370は、ポータブル多機能デバイス100のメモリ102内には存在しない、追加的なプログラム、モジュール、及びデータ構造を、任意選択的に記憶する。例えば、デバイス300のメモリ370は、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を任意選択的に記憶するが、その一方で、ポータブル多機能デバイス100(図1A)のメモリ102は、これらのモジュールを任意選択的に記憶しない。
上記で特定された図3の要素のそれぞれは、任意選択的に、前述のメモリデバイスのうちの1つ以上に記憶される。上記で識別されたモジュールのうちのそれぞれは、上述した機能を実行するための命令セットに対応する。上述の識別されたモジュール又はプログラム(すなわち、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実施される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされるか、又は別の方法で再配置される。いくつかの実施形態において、メモリ370は、上述の識別されたモジュール及びデータ構造のサブセットを、任意選択的に記憶する。更に、メモリ370は、上述されていない追加のモジュール及びデータ構造を、任意選択的に記憶する。
ここで、ポータブル多機能デバイス100上に任意選択的に実装される、ユーザインタフェース(「UI」)の実施形態に注意を向ける。
図4Aは、いくつかの実施形態に係る、ポータブル多機能デバイス100におけるアプリケーションのメニューのための例示的なユーザインタフェースを示す。同様のユーザインタフェースが、任意選択的に、デバイス300上に実装される。いくつかの実施形態では、ユーザインタフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●以下のものなどを含むステータスバー401。
○セルラー及びWi−Fi信号などの無線通信(1つ又は複数)のための信号強度インジケータ(1つ又は複数)402、
○時刻404、
○Bluetooth(登録商標)インジケータ405、
○バッテリ状態インジケータ406、
●下記などの、頻繁に使用されるアプリケーション用のアイコンを含むトレイ408、
○不在着信又は音声メールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされる、電話モジュール138用のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール140用のアイコン418、
○「ブラウザ」とラベル付けされる、ブラウザモジュール147用のアイコン420、及び
○「iPod」とラベル付けされる、iPod(Apple Inc.の商標)モジュール152とも称されるビデオ及び音楽再生モジュール152用のアイコン422、並びに
●下記などの、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされる、IMモジュール141用のアイコン424、
○「カレンダ」とラベル付けされる、カレンダモジュール148用のアイコン426、
○「写真」とラベル付けされる、画像管理モジュール144用のアイコン428、
○「カメラ」とラベル付けされる、カメラモジュール143用のアイコン430、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール155用のアイコン432、
○「株式」とラベル付けされる、株式ウィジェット149−2用のアイコン434、
○「地図」とラベル付けされる、地図モジュール154用のアイコン436、
○「気象」とラベル付けされる、気象ウィジェット149−1用のアイコン438、
○「時計」とラベル付けされる、アラーム時計ウィジェット149−4用のアイコン440、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール142用のアイコン442、
○「メモ」とラベル付けされる、メモモジュール153用のアイコン444、及び
○デバイス100及びその様々なアプリケーション136に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン446。
図4Aに示すアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽再生モジュール152用のアイコン422は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、対応するアプリケーションアイコンに関するラベルは、対応するアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンに関するラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を備えるデバイス(例えば、図3のデバイス300)上の、例示的なユーザインタフェースを示す。デバイス300はまた、タッチ感知面451上の接触の強度を検出するための、1つ以上の接触強度センサ(例えば、センサ357のうちの1つ以上)、及び/又はデバイス300のユーザに対する触知出力を生成するための、1つ以上の触知出力生成器359を含む。
以下の実施例のうちのいくつかは、タッチスクリーンディスプレイ112上の入力(タッチ感知面とディスプレイとが組み合わされている場合)を参照して説明されるが、いくつかの実施形態では、デバイスは、図4Bに示すように、ディスプレイとは別個のタッチ感知面上で入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の主軸(例えば、図4Bの453)に対応する主軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上の対応する場所に対応する場所(例えば、図4Bにおいて、460は468と対応し、462は470と対応する)でのタッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このように、タッチ感知面がディスプレイとは別個のものであるとき、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されたユーザ入力(例えば、接触460及び462、並びにそれらの移動)は、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに、任意選択的に使用されることを理解されたい。
更には、以下の説明は、主に指入力(例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ)を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの1つ以上は、別の入力デバイスからの入力(例えば、マウスベースの入力又はスタイラス入力)で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、(例えば、接触の代わりに)マウスクリックで置き換えられ、その後、(例えば、接触の移動の代わりに)スワイプの経路に沿ってカーソルの移動が行われる。別の実施例として、タップジェスチャは、(例えば、接触の検出に続いて接触の検出を停止する代わりに)カーソルがタップジェスチャの場所に配置される間、任意選択的に、マウスクリックで置き換えられる。同様に、複数のユーザ入力が同時に検出される場合、複数のコンピュータマウスが任意選択的に同時に使用されるか、又は、マウスと指の接触とが任意選択的に同時に使用されることを理解されたい。
ユーザインタフェース及び関連プロセス
デバイス300又はポータブル多機能デバイス100などの、ディスプレイ及びタッチ感知面を有する電子デバイスに実装することができるユーザインタフェース(「UI」)及び関連処理の実施形態に注目を向ける。
図5A〜図5Gは、いくつかの実施形態に係る、コントロールの外観を調整するための例示的な予想ユーザインタフェースを示す図である。これらの図のユーザインタフェースは、図9A〜9Gのプロセスを含めた、以下で説明されるプロセスを例示するために使用される。
図5Aは、タッチスクリーンディスプレイ112上に表示された例示的なユーザインタフェース502を示す。ユーザインタフェース502は、コンテンツ(例えば、デジタル画像及び/又は他のグラフィック)を含む。半透明キーボード518は、ディスプレイの既定の領域504内に表示される。
図5Bは、既定の領域504に対応する第1のコンテンツ506を示す。デバイスは、第1のコンテンツ506のコンテンツ表示特性を決定する。
図6は、いくつかの実施形態に係る、コントロールが表示される領域内のコンテンツに対して決定されるコンテンツ表示特性の値の例示的な予想セットの概要を示す図である。例えば、デバイスは、領域504に対応する第1のコンテンツ506に対する色相、彩度、輝度、及びコントラストの値を決定する。
デバイスは、第1のコンテンツ506のコンテンツ表示特性に対して決定された値に基づき、キーボード518のコントロール外観パラメータに対する値を決定する。明確化のために言えば、本明細書及び特許請求の範囲で用いられている「に基づき(based on)」は、「少なくとも部分的に基づき(based at least in part on)」を意味する。例えば、デバイスは、コントロールがその上に表示されるディスプレイ領域内のコンテンツのコンテンツ表示特性に対して決定された値に少なくとも部分的に基づき、コントロールのコントロール外観パラメータに対する値を決定する。コントロールのコントロール外観パラメータに対して決定された値は、任意選択的に、コントロールがその上に表示されるディスプレイ領域内のコンテンツのコンテンツ表示特性に対して決定された値だけでなく、追加の要因に基づく。
図7は、いくつかの実施形態に係る、補間を介してコントロール外観値を決定するために用いられ得る、コントロール外観値の対応する既定のセットに割り当てられた、コンテンツ表示値の既定の予想セットの概要を示す図である。
図8は、いくつかの実施形態に係る、コントロールに対するコントロール外観パラメータの値の例示的な予想セットの概要を示す図である。
いくつかの実施形態では、デバイスは、ぼかし半径、彩度調整、白オーバレイの不透明度、黒オーバレイの不透明度、キーボード518内のユーザインタフェース要素の不透明度、及び/又はキーボード518内のテキストの色に対する値(例えば、図8)を決定するために、コンテンツ表示値(例えば、図7)のコントロール外観値への事前マッピングを用いる。
図5Aにおけるキーボード518の外観は、第1のコンテンツ506と、ぼかし半径、彩度調整、白オーバレイの不透明度、黒オーバレイの不透明度、キーボード518内のユーザインタフェース要素の不透明度、及び/又はキーボード518内のテキストの色に対して決定されたコントロール外観値の第1のセットと、に基づく。例えば、図5Aにおいて、領域504内の第1のコンテンツ506は、(図5A及び図5Bを比較するとわかるように)ぼかし半径に対する値に従ってぼかされており、テキストの色は白である。いくつかの実施形態では、領域504内の第1のコンテンツ506をぼかすことは、その全体が参照により本明細書に組み込まれる、2012年2月3日出願の「Reentrant Window Manager」と題された米国仮出願第13/366,181号で説明されているように、再入可能(reentrant)ウィンドウマネージャを用いて実施される。
図5Aは、2つの異なるジェスチャ510及び512も示し、これらのうちのそれぞれが、図5A内のデジタル画像の並進移動を生じさせ、その結果、デジタル画像の新しい部分がユーザインタフェース502内に表示される。スワイプジェスチャ510は、図5Cに示されたデジタル画像の部分へ、デジタル画像を並進移動させる。スワイプジェスチャ512は、図5D〜図5Fに示されたデジタル画像の部分へ、デジタル画像を並進移動させる。
図5Cでは、領域504(キーボード518が配置されている場所)に対応するコンテンツが、第1のコンテンツ506から第2のコンテンツ508−1へと変化している。デバイスは、コンテンツ内のこの変化を検出し、第2のコンテンツ508−1に対するコンテンツ表示値の第2のセットを決定する。更に、デバイスは、コントロール外観値の第2のセットを決定し、第2のコンテンツ508−1及びコントロール外観値の第2のセットに従って、キーボード518の外観を変更する。この実施例では、キーボード518はキー上に依然として白いテキストを表示するが、ぼかし半径の値はより小さいため、第2のコンテンツ508−1のぼやけ具合は(第1のコンテンツ506に比べて)弱くなる。
図5Dは、コンテンツが任意選択的に、コントロール外観値の変化よりも速く移動することを示す。図5Dでは、領域504(キーボード518が配置されている場所)に対応するコンテンツは、第1のコンテンツ506から第2のコンテンツ508−2へと変化している。領域504に対応するコンテンツが、第1のコンテンツ506から第2のコンテンツ508−2へと変化したため、キーボード518の外観は変化している。ただし、この実施例では、デバイスがまだコントロール外観値の第2のセットを決定又は適用していないため、代わりにコントロール外観値の第1のセットが適用される。
図5A、図5E及び図5Fは、白いキーを有するキーボード518(図5A)から黒いキーを有するキーボード518(図5F)への変化が、任意選択的に、白いキーを有する中間キーボード518、及びコンテンツ508−2(図5E)のコンテンツ表示値に基づく、コントロール外観値の更新されたセットを経由して発生することを示す。図5Eでは、領域504(キーボード518が配置されている場所)に対応するコンテンツは、第1のコンテンツ506から第2のコンテンツ508−2へと変化している。デバイスは、コンテンツ内のこの変化を検出し、第2のコンテンツ508−2に対するコンテンツ表示値の第2のセットを決定する。更に、デバイスは、コントロール外観値の対応する更新されたセットを決定し、第2のコンテンツ508−1及びコントロール外観値の更新されたセットに従って、キーボード518の外観を変更する。この実施例では、キーボード518は依然として、(図5Fにおけるキーへの黒いテキストの表示に切り替える前に)図5Eにおいてキー上に白いテキストを表示するが、図5Eのキーボードの外観は、図5Dのキーボード518の外観と異なる。図5Eのキーボードは、コンテンツ508−2(図5E)に対するコンテンツ表示値に基づく、コントロール外観値の更新されたセットを用いるのに対し、図5Dのキーボードは、コントロール外観値の第1のセットを用いる。コントロール外観値の更新されたセットを用いることによって、図5Eのキーボード518は図5Dのキーボードよりも見やすくなる。
図5Fでは、領域504(キーボード518が配置されている場所)に対応するコンテンツは、第1のコンテンツ506から第2のコンテンツ508−2へと変化している。デバイスは、コンテンツ内のこの変化を検出し、第2のコンテンツ508−2に対するコンテンツ表示値の第2のセットを決定する。更に、デバイスは、コントロール外観値の第2のセットを決定し、第2のコンテンツ508−2及びコントロール外観値の第2のセットに従って、キーボード518の外観を変更する。この実施例では、キーボード518はキー上に黒いテキストを表示し(例えば、508−2のコンテンツがより明るいため)、他のコントロール外観値も、図5Aのキーボードに対するものから変化している。
黒いキーを有するキーボードを表示する前に、コントロール外観値の対応する更新されたセットに基づき、白いキーを有する中間キーボードが表示される(例えば、図5Fのキーボードの前に図5Eのキーボードが表示されるとき)実施形態では、(図5Fの黒いテキストを有するキーボードに対する)コントロール外観値の第2のセットは、典型的には、(図5Eの白いテキストを有するキーボードに対する)コントロール外観値の更新されたセットと異なるコントロール外観値を含み、この差異は、文字色の値が白から黒へと変更されるだけにとどまらない。即ち、コンテンツ表示値の同じセットについては、黒いテキストを有するキーボードに対するコントロール外観値は、典型的には、白いテキストを有するキーボードに対するコントロール外観値と異なる。これは、黒いテキストを有するキーボードを見やすく、かつ使いやすくするために必要なぼかし、彩度調整、不透明度などの量が、典型的には、白いテキストを有するキーボードを見やすく、かつ使いやすくするために必要なぼかし、彩度調整、不透明度などの量と異なるためである。いくつかの実施形態では、黒いテキストを有するキーボードに対して調整されたコントロール外観パラメータのセットは、白いテキストを有するキーボードに対して調整されたコントロール外観パラメータのセットと異なる。
いくつかの実施形態では、暗いコントロールに対して調整されたコントロール外観パラメータのセットは、明るいコントロールに対して調整されたコントロール外観パラメータのセットと異なる。
いくつかの実施形態では、暗いコントロールが、コントロール要素オーバレイ及び黒オーバレイを含むいくつかの層を、第1のコンテンツの上に積み重ねる(合成する)ことによって作成される。黒オーバレイは、第1のコンテンツを不明瞭にし、かつ高い不透明度(例えば、RGBA=10〜40、10〜40、10〜40、60〜80)を有する。第1のコンテンツはぼかされ(例えば、ぼかし半径=10〜30pts)、かつその彩度は増加する(例えば、20〜40%増)。いくつかの実施形態では、暗いコントロールに対するコントロール外観値は、第1のコンテンツに対するコンテンツ表示値に依存しない。
いくつかの実施形態では、明るいコントロールが、コントロール要素オーバレイ、白オーバレイ及び色オーバレイを含むいくつかの層を、第1のコンテンツの上に積み重ねる(合成する)ことによって作成される。白オーバレイは任意選択的に、高い白レベル(例えば、90〜100%)及び低い不透明度(例えば、20〜40%)を有する。色オーバレイは任意選択的に、第1のコンテンツに対するコンテンツ表示値に基づく色を有する。例えば、色オーバレイの色相は、以下で動作923Aを参照してより一般的に説明されるように、第1のコンテンツの平均色相であり、色オーバレイの彩度は、以下で動作923Bを参照してより一般的に説明されるように、コンテンツの平均彩度の百分率(例えば、70〜90%)であり、かつ輝度は低い(例えば、20〜40%)。色オーバレイは、非常に低い不透明度(例えば、5〜15%)を有する。第1のコンテンツはぼかされ(例えば、ぼかし半径=20〜40pts)、かつその彩度は大幅に増加する(例えば、50〜90%増)。
いくつかの実施形態では、更に明るいコントロールが、コントロール要素オーバレイ及び白オーバレイを含み、かつ色オーバレイを含まないいくつかの層を、第1のコンテンツの上に積み重ねる(合成する)ことによって作成される。白オーバレイは任意選択的に、高い白レベル(例えば、90〜100%)、及び第1のコンテンツに対するコンテンツ表示値に依存する不透明度を有する。例えば、不透明度はデフォルト値(例えば、70〜90%)を有するが、不透明度値は、以下のときに最大値まで増加する(例えば、90〜100%)。(1)以下で動作923Cを参照してより一般的に説明されるように、第1のコンテンツの平均輝度が閾値を上回って増加したとき(例えば、第1のコンテンツの平均輝度が86%を上回る各百分率に対して1〜2%を加算する)、(2)以下で動作923Cを参照してより一般的に説明されるように、第1のコンテンツの平均輝度が閾値を下回って減少したとき(例えば、第1のコンテンツの平均輝度が20%を下回る各百分率に対して1〜2%を加算する)、又は(3)以下で動作923Dを参照してより一般的に説明されるように、第1のコンテンツの平均彩度が閾値を上回って増加したとき(例えば、第1のコンテンツの平均彩度が70%を上回る各百分率に対して1〜2%を加算する)。第1のコンテンツはぼかされ(例えば、ぼかし半径=10〜40pts)、かつその彩度は増加する(例えば、50〜90%増)。
いくつかの実施形態では、色付きコントロールが、コントロール要素オーバレイ、白オーバレイ及び色オーバレイを含むいくつかの層を、第1のコンテンツの上に積み重ねることによって作成される。色オーバレイは、任意の色であってもよく、かつ非常に高い不透明度(例えば、70〜90%)を有する。白オーバレイは、高い白レベル(例えば、90〜100%)、及び第1のコンテンツに対するコンテンツ表示値に依存する不透明度を有する。例えば、1〜2%の不透明度が、(1)以下で動作923Cを参照してより一般的に説明されるように、第1のコンテンツの平均輝度が閾値(例えば、40〜60%)を下回る各百分率に対して、及び(2)以下で動作923Dを参照してより一般的に説明されるように、第1のコンテンツの平均彩度が閾値(例えば、60〜80%)を上回る各百分率に対して、加算される。第1のコンテンツはぼかされ(例えば、ぼかし半径=10〜30pts)、かつその彩度は大幅に増加する(例えば、50〜100%増)。
図5Fは、デバイスに図5Fのデジタル画像をズームアウト(縮小)させ、その結果、図5Gに示されるように、デジタル画像の新しい部分がユーザインタフェース502内に表示される、ピンチジェスチャ514も示す。
図5Gでは、領域504(キーボード518が配置されている場所)に対応するコンテンツは、第1のコンテンツ508−2から第2のコンテンツ516へと変化している。デバイスは、コンテンツ内のこの変化を検出し、コンテンツ516に対するコンテンツ表示値の新しいセットを決定する。更に、デバイスは、コントロール外観値の新しいセットを決定し、コンテンツ516及びコントロール外観値の新しいセットに従って、キーボード518の外観を変更する。この実施例では、キーボード518が黒いテキストの表示から白いテキストの表示へと(例えば、516のコンテンツがより暗いため)変化し、かつ他のコントロール外観値も変化する。
いくつかの実施形態では、半透明コントロール及び他の種類の半透明ユーザインタフェース要素は、互いの上に積み重ねられる。例えば、図5Hでは、ボタン208が押されたときに、半透明着信音量調整インジケータ520が半透明キーボード518の上に表示される。いくつかの実施形態では、下部の半透明要素内のコントロール要素は上部の半透明要素の下に表示されず、これにより、視覚的な乱れが緩和され、上部の半透明要素が見やすくなる。例えば、図5Hでは、キーボード518の、半透明着信音量調整インジケータ520の下にある部分のキーが表示されない。代わりに、半透明着信音量調整インジケータ520の下にある、ぼかされたコンテンツ(半透明着信音量調整インジケータ520に対する第1のコンテンツに対応する)が表示される。
いくつかの実施形態では、コントロールは、背景及び1つ以上の高コントラスト要素(例えば、テキスト、スライダ、ボタン又は他のコントロール要素)を含む「下部の」半透明要素の上に表示され、下部の半透明要素内にある高コントラスト要素は、コントロールの下に表示されない(例えば、コントロールの外観は、その下にある第1のコンテンツ、及び任意選択的に、コントロール要素の背景に基づき、下部の半透明要素内にある高コントラスト要素は無視される)。いくつかの実施形態では、コントロールが表示される間、「上部の」半透明要素はコントロールの上に表示され、かつコントロール内の高コントラスト要素は上部の半透明要素の下に表示されない。いくつかの実施形態では、コントロールをディスプレイの対応する領域内に表示することは、ディスプレイの対応する領域が、コントロールがその上に表示される対応する半透明コントロールを含むかどうかを判定することと、ディスプレイの対応する領域が、コントロールがその上に表示される対応する半透明要素を含むという判定に従って、コントロールを通した、対応する半透明要素の高コントラスト要素の視認性を低減するために、コントロール外観値の第1のセットのうちの1つ以上を調整することと、ディスプレイの対応する領域が、コントロールがその上に表示される対応する半透明要素を含まないという判定に従って、コントロール外観の第1のセットのうちの1つ以上を調整することを省略することと、を含む。
いくつかの実施形態では、ぼかすアニメーションが、コントロール又は他の半透明ユーザインタフェース要素が初期表示されるときに表示される。例えば、パーソナルデジタルアシスタントを(例えば、図5Iではボタン204を押すことによって)アクティブ化することに応じて、図5Jに示されるように、パーソナルデジタルアシスタントに対するユーザインタフェース要素(例えば、図5Jの「ご用件は何でしょう?」テキスト、音波形及び「?」アイコン)が表示されたときに、図5Jのコンテンツをディスプレイ112内に後退(又は縮小)するように見せ、かつぼやけさせるアニメーションが表示される。いくつかの実施形態では、この効果は、図5Jのコンテンツがレンズの焦点面から離れるように後ろ向きに移動するのに類似する(例えば、コンテンツがディスプレイ内に後退し、かつ後退するにしたがって徐々に焦点がぼやける)。いくつかの実施形態では、コンテンツの大きさが、そのコンテンツが後退しているように見せるために、コンテンツ内でズームアウトするのに十分でない場合、コンテンツの端部とディスプレイの端部との間にギャップが生じないように、コンテンツは端部において、コンテンツの端部からディスプレイの端部に向かって所定の数の画素(例えば、5、10、15又は20個の画素)を反映することによって拡大される。例示的なパーソナルデジタルアシスタントは、California州CupertinoのApple Inc.のSiri(登録商標)である。
いくつかの実施形態では、コントロール内の第1のコンテンツのいくつかの部分を、ぼかしなしで表示することができる。いくつかの実施形態では、コントロールは既定のコントロール領域及び1つ以上の要素を含み、かつコントロールをディスプレイの対応する領域内に表示することは、コントロール外観値の第1のセットに従って、1つ以上の変換(例えば、ぼかし、彩度変更、色遷移)のセットをコントロール領域内の第1のコンテンツに適用することによって、既定のコントロール領域の範囲を示すことと、対応するアクティブ化可能な要素の場所(及び形状内)において1つ以上の変換のセットの対応する変換の適用を省略することによって、コントロール内の対応する要素の場所を示すことと、を含む。例えば、図5Kでは、デバイスはスライダコントロール522を、ぼかされ、かつ彩度が減じられた既定の領域内に表示し、スライダコントロール内には、ぼかされず、彩度が減じられず、又は他の方法で変換されることもない、切り出しサブ領域524が存在する。図5Kでは、切り出しサブ領域は、つまみアイコン526がそれに沿って(例えば、つまみアイコン526上で開始されたタップ及びドラッグジェスチャなどのユーザ入力に応じて)移動するように構成された、既定の経路に対応する。したがって、コンテンツの変換されたバージョンを対応する半透明コントロールの下に表示する、対応する半透明コントロール(又は他の半透明要素)の場合、対応する半透明コントロールの対応する領域(例えば、ボタン、スライダ、テキスト入力フィールドなどを含む領域)を、対応する半透明コントロールの他の領域と区別するための1つの方法は、対応する領域がコントロールを通して抜き落とされて見えるように、対応する半透明コントロールの対応する領域を(例えば、コントロールの下に表示される、コンテンツの変換されたバージョンを生成するために、コントロールの他の領域において適用される変換を適用しないことによって)透明にすることである。半透明コントロールを透明な領域と共に表示することは、ユーザがコンテンツ(例えば、写真、ビデオ、テキスト)を閲覧しているときに特に役立つ。その理由は、コントロールの透明及び半透明部分は、ユーザが引き続きコントロールの下のコンテンツを見ることを可能にし、これにより、ユーザがデバイスをより迅速かつ効率的に操作することが可能になるためである。
図9A〜図9Gは、いくつかの実施形態に係る、コントロールの外観を調整する方法900を示す流れ図である。方法900は、ディスプレイと、任意選択のタッチ感知面とを備える電子デバイス(例えば、図3のデバイス300、又は、図1Aのポータブル多機能デバイス100)において実行される。いくつかの実施形態では、ディスプレイは、タッチスクリーンディスプレイであり、タッチ感知面は、ディスプレイ上にある。いくつかの実施形態では、ディスプレイはタッチ感知面から分離している。方法900におけるいくつかの動作は、任意選択的に、組み合わされ、及び/又は一部の動作の順序は、任意選択的に、変更される。
以下で説明されるように、方法900は、不透明コントロール、又は下にあるコンテンツを固定された様式で単純にぼかす半透明コントロールよりも、外観の煩わしさが少ない半透明コントロールを提供する。同時に、方法900は、見やすく対話しやすい半透明コントロールを提供する。概して、方法900は、ユーザの認識負荷を軽減し、より効率的なヒューマン−マシンインタフェースを作り出す半透明コントロールを提供する。
デバイスは、ディスプレイ上にユーザインタフェース(例えば、図5Aのユーザインタフェース502)を表示する(902)。
デバイスは、ディスプレイの対応する領域に対応する第1のコンテンツの1つ以上のコンテンツ表示特性(例えば、色相、彩度、輝度、コントラスト)に対するコンテンツ表示値の第1のセットを(例えば、取得又は計算することによって)決定する(904)。いくつかの実施形態では、第1のコンテンツは、その上にキーボード又は他のコントロールが表示されるウェブページ又は画像の一部(例えば、ディスプレイの所定又は既定の領域内)である。例えば、デバイスは、図5Bに示されるような、ディスプレイ112の領域504に対応する第1のコンテンツ506の色相、彩度、輝度、及びコントラスト(例えば、図6)に対するコンテンツ表示値の第1のセットを決定する。
いくつかの実施形態では、対応する領域内のコンテンツに対する対応するコンテンツ表示値が、対応する領域に対する対応する視覚特性の統計的測定値(例えば、平均又は標準偏差)に対応する(906)。例えば、デバイスは、領域504内の第1のコンテンツ506に対する色相、彩度、輝度、及び/又はコントラストの平均値を決定する。いくつかの実施形態では、オーバーヘッドを低減し、かつ計算効率を向上させるために、統計的測定は、対応する領域内の画素のサブセットのみをサンプリングすることと、サンプリングされた画素の統計的測定値を決定することと、を含む。例えば、デバイスは、コンテンツ506内の画素をサンプリングしてもよい。いくつかの実施形態では、デバイスはコンテンツ506を2回処理し、第1の処理では43番目毎の画素をサンプリングし、第2の処理では51番目毎の画素をサンプリングする。
いくつかの実施形態では、コンテンツ表示特性は、色、色相、彩度、輝度、及びコントラストのうちの1つ以上を含む(908)。いくつかの実施形態では、コントラストは、複数のサンプリングされた画素の輝度の標準偏差の測定値に基づく。
デバイスは、図6〜図8に概略的に示すように、1つ以上のコントロール外観パラメータに対するコントロール外観値の第1のセットを、コンテンツ表示値の第1のセットに基づき(例えば、選択又は計算することによって)決定する(910)。
いくつかの実施形態では、対応するコントロール外観値の変化は、コントロールの外観を生成するためにコントロールの下のコンテンツに適用される、対応する変換の大きさの変化に対応する(912)。例えば、ぼかし半径値の変化は、キーボード518(図5A)の外観を生成するためにコンテンツ506(図5B)に適用される、ぼかし変換の大きさの変化に対応する。
いくつかの実施形態では、コントロール外観パラメータは、ぼかし半径(例えば、対応する領域内のコンテンツに適用されるぼかし処理の半径)、彩度調整(例えば、対応する領域内のコンテンツの彩度変更)、白オーバレイの不透明度(例えば、対応する領域内のコンテンツと、キーのキーキャップなどのコントロールの選択可能部分との間にある白い層の不透明度)、黒オーバレイの不透明度(例えば、対応する領域内のコンテンツと、キーのキーキャップなどのコントロールの選択可能部分との間にある黒い層の不透明度)、コントロールの1つ以上の選択可能部分の不透明度(例えば、仮想キーボードのキーキャップ又は通知内のボタンの不透明度)、及びコントロール内のテキストの色(例えば、黒若しくは白など、キーボード上の文字又はドロップダウンメニュー内の単語の色)のうちの1つ以上を含む(914)。
いくつかの実施形態では、コントロール外観値の第1のセットを決定することは、コントロール外観値の対応する既定のセットに対応する、コンテンツ表示値の複数の対応する既定のセットを記憶することと、コンテンツ表示値の第1のセットに近い、コンテンツ表示値の1つ以上の既定のセットを、コンテンツ表示値の近似セットとして識別すること(例えば、コンテンツ表示値の各セットによって表されるコンテンツ表示特性の数がMである場合に、M次元空間における既定のコントロール外観値の最も近いN個のセットを識別すること)と、コンテンツ表示値の1つ以上の近似セットに対応する、コントロール外観値の1つ以上の既定のセットに基づき、コントロール外観値の第1のセットを決定することと、を含む(916)。いくつかの実施形態では、コントロール外観値の第1のセットは、コントロール外観値の既定のセットのうちのいずれかである。いくつかの実施形態では、コントロール外観値の第1のセットは、コントロール外観値の2つ以上の既定のセット間の補間である。いくつかの実施形態では、コントロール外観値の既定のセットは、対応するコンテンツ上に表示されるコントロールの識別可能性を維持しながら半透明性を最大化するために、人間の設計者/アーティストによって、対応する既定のコンテンツ表示値のセットを有するサンプルコンテンツに基づき決定/選択された値である。
いくつかの実施形態では、コンテンツ表示値の第1のセットを決定することは、コントロール外観値を出力として生成するアルゴリズムへの入力として、コンテンツ表示値の第1のセットを用いることを含む(918)。
デバイスは、コントロールをディスプレイの対応する領域内に表示し(例えば、ユーザインタフェース内のオブジェクトのz順序(前面から背面の順序)では、コントロールが第1のコンテンツの上位にあるため、半透明若しくは半透過キーボード、ツールバー、アラートメッセージ、又は設定メニュー若しくはファイルメニューなどのメニューを第1のコンテンツの前に表示する)、コントロールの外観は、第1のコンテンツ及びコントロール外観値の第1のセットに基づき決定される(920)。例えば、図5Aでは、デバイスはディスプレイ112の領域504内にキーボード518を表示する。図5Aにおけるキーボード518の外観は、第1のコンテンツ506及びコントロール外観値の第1のセット(例えば、図8)に基づき決定される。
いくつかの実施形態では、コントロールは半透明部分を含み、かつコントロールを表示することは、コントロールの半透明部分に対応する第1のコンテンツの部分の表現を、コントロールの半透明部分内に表示することを含み、第1のコンテンツの表現は、コントロール外観値の第1のセットに従って(例えば、第1のコンテンツの不明瞭化されていないレンダリングから、コントロールの半透明部分によって不明瞭化された第1のコンテンツのレンダリングへと)変換される(922)。例えば、図5Aでは、キーボード518は半透明部分を含み、かつキーボード518を表示することは、キーボード518の半透明部分内に、キーボード518の半透明部分に対応する第1のコンテンツ506の部分の表現を表示することを含む。第1のコンテンツ506の表現は、コントロール外観値の第1のセットに従って、第1のコンテンツの不明瞭化されていないレンダリング(図5B)から、コントロールの半透明部分によって不明瞭化された第1のコンテンツ506のレンダリング(図5A)へと変換される。
いくつかの実施形態では、コントロールの色は、下にあるコンテンツの色に基づき調整される。いくつかの実施形態では、コンテンツ表示値の第1のセットは、ディスプレイの対応する領域に対応する第1のコンテンツに対するコンテンツ色値(例えば、対応する領域内の第1のコンテンツの平均色)を含み、コントロール外観値の第1のセットは、第1のコンテンツに対するコンテンツ色(色相)値に基づき選択されたコントロール色値を含み、コントロールを表示することは、第1のぼかされたコンテンツを生成するために、ぼかし処理を第1のコンテンツに適用することと、半透明着色層を第1のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明着色層はコントロール色値によって指定された色(例えば、色相値、RGB値のセット、CMYK値のセット又は別の定義された色)を有し、第1のぼかされたコンテンツは半透明着色層を通して可視であり、半透明着色層を通した第1のぼかされたコンテンツの外観は、半透明着色層の色によって決まる(923A)。いくつかの実施形態では、ディスプレイの対応する領域に対応するコンテンツが変化し、その結果、対応する領域内のコンテンツに対する平均コンテンツ色値が、更新された平均コンテンツ色値に変化したとき、デバイスは、更新された平均コンテンツ色値に基づき、異なるコントロール色値を半透明着色層に対して選択する。
いくつかの実施形態では、コントロールの彩度は、下にあるコンテンツの彩度に基づき調整される。いくつかの実施形態では、コンテンツ表示値の第1のセットは、ディスプレイの対応する領域に対応する第1のコンテンツのコンテンツ彩度値(例えば、対応する領域内の第1のコンテンツの平均彩度)を含み、コントロール外観値の第1のセットは、第1のコンテンツに対するコンテンツ彩度値に基づき選択されたコントロール彩度値を含み、コントロールを表示することは、第1のぼかされたコンテンツを生成するために、ぼかし処理を第1のコンテンツに適用することと、半透明着色層を第1のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明着色層はコントロール彩度値によって指定された彩度(例えば、彩度レベル又は彩度の大きさ)を有し、第1のぼかされたコンテンツは半透明着色層を通して可視であり、半透明着色層を通した第1のぼかされたコンテンツの外観は、半透明着色層の彩度に依存する(923B)。いくつかの実施形態では、ディスプレイの対応する領域に対応するコンテンツが変化し、その結果、対応する領域内のコンテンツに対する平均コンテンツ彩度値が、更新された平均コンテンツ彩度値に変化したとき、デバイスは、更新された平均コンテンツ彩度値に基づき、異なるコントロール彩度値を半透明着色層に対して選択する。
いくつかの実施形態では、コントロールの不透明度は、下にあるコンテンツの輝度に基づき調整される。いくつかの実施形態では、コンテンツ表示値の第1のセットは、ディスプレイの対応する領域に対応する第1のコンテンツに対するコンテンツ輝度値(例えば、対応する領域内の第1のコンテンツの平均輝度)を含み、コントロール外観値の第1のセットは、第1のコンテンツに対するコンテンツ輝度値に基づき選択されたコントロール不透明度値を含み、コントロールを表示することは、第1のぼかされたコンテンツを生成するために、ぼかし処理を第1のコンテンツに適用することと、半透明層を第1のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明層はコントロール不透明度値によって指定された不透明度(例えば、不透明度レベル又は不透明度の大きさ)を有し、第1のぼかされたコンテンツは半透明層を通して可視であり、半透明層を通した第1のぼかされたコンテンツの外観は、半透明層の不透明度に依存する(923C)。いくつかの実施形態では、ディスプレイの対応する領域に対応するコンテンツが変化し、その結果、対応する領域内のコンテンツに対する平均コンテンツ輝度値が、更新された平均コンテンツ輝度値に変化したとき、デバイスは、更新された平均コンテンツ輝度値に基づき、異なるコントロール不透明度値を半透明層に対して選択する。
いくつかの実施形態では、コントロールの不透明度は、下にあるコンテンツの彩度に基づき調整される。いくつかの実施形態では、コンテンツ表示値の第1のセットは、ディスプレイの対応する領域に対応する第1のコンテンツに対するコンテンツ彩度値(例えば、対応する領域内の第1のコンテンツの平均彩度)を含み、コントロール外観値の第1のセットは、第1のコンテンツに対するコンテンツ彩度値に基づき選択されたコントロール不透明度値を含み、コントロールを表示することは、第1のぼかされたコンテンツを生成するために、ぼかし処理を第1のコンテンツに適用することと、半透明層を第1のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明層はコントロール色値によって指定された不透明度(例えば、不透明度レベル又は不透明度の大きさ)を有し、第1のぼかされたコンテンツは半透明層を通して可視であり、半透明層を通した第1のぼかされたコンテンツの外観は、半透明層の不透明度に依存する(923D)。いくつかの実施形態では、ディスプレイの対応する領域に対応するコンテンツが変化し、その結果、対応する領域内のコンテンツに対する平均コンテンツ彩度値が、更新された平均コンテンツ彩度値に変化したとき、デバイスは、更新された平均コンテンツ彩度値に基づき、異なるコントロール不透明度値を半透明層に対して選択する。
いくつかの実施形態では、コントロールをディスプレイの対応する領域内に表示する間、デバイスは、ディスプレイの対応する領域に対応するコンテンツにおいて、第1のコンテンツから、第1のコンテンツと異なる第2のコンテンツへの変化(例えば、ジェスチャに応じてウェブページ又は写真をスクロールすること、又はコントロールの背後にある、ディスプレイの対応する領域内のコンテンツが変化するように新しいコンテンツを読み込むこと)を検出し、コンテンツ表示値の第1のセットと異なるコンテンツ表示値の第2のセットを、第2のコンテンツの1つ以上のコンテンツ表示特性(例えば、色相、彩度、輝度、及び/又はコントラスト)に対して決定し、コントロール外観値の第2のセットを、1つ以上のコントロール外観パラメータに対して、コンテンツ表示値の第2のセットに基づき決定し、コントロール外観値の第2のセットは、コントロール外観値の第1のセットと異なり、かつコンテンツ内の変化を検出することに応じて、第2のコンテンツ及びコントロール外観値の第2のセットに従ってコントロールの外観を変更する(924)。いくつかの実施形態では、デバイスは、半透明コントロールの背後にあるコンテンツ内の変化を既定の間隔で(例えば、1秒間に4回)確認する。いくつかの実施形態では、デバイスは、コンテンツの調整に対応するジェスチャ(例えば、コンテンツの並進移動若しくはスクロールに関連するスワイプジェスチャ、コンテンツのサイズ変更に関連するピンチ若しくは非ピンチジェスチャ、又はコンテンツの読み込みに関連するタップジェスチャ)を検出することに応じて、コンテンツ内の変化を確認する。いくつかの実施形態では、デバイスは、新しいコンテンツが読み込まれているという報告をアプリケーションから受け取ることに応じて(例えば、キーボードの下にあるフレーム内に新しい画像が読み込まれたという報告をウェブブラウザから受け取ることに応じて)、コンテンツ内の変化を確認する。
いくつかの実施形態では、コントロールの外観を変更することは、コントロール内のテキストの色を変更する(例えば、図5Fの黒い文字を図5Gの白い文字に変更する)ことを含む(926)。
いくつかの実施形態では、コントロールは半透明部分を含み、かつコントロール外観値の第2のセットに従ってコントロールの外観を変更することは、コントロールの半透明部分に対応する第2のコンテンツの部分の表現をコントロールの半透明部分内に表示することを含み、第2のコンテンツの表現は、コントロール外観値の第2のセットに従って(例えば、第2のコンテンツの不明瞭化されていないレンダリングから、コントロールの半透明部分によって不明瞭化された第2のコンテンツのレンダリングへと)変換される(928)。例えば、図5Fでは、キーボード518は半透明部分を含み、かつキーボード518を表示することは、キーボード518の半透明部分内に、キーボード518の半透明部分に対応する第2のコンテンツ508−2の部分の表現を表示することを含む。第2のコンテンツ508−2の表現は、コントロール外観値の第2のセットに従って、第2のコンテンツ508−2の不明瞭化されていないレンダリング(図示しないが、図5Bの第1のコンテンツ506に対する不明瞭化されていないレンダリングに類似する)から、コントロールの半透明部分によって不明瞭化された第2のコンテンツ508−2のレンダリング(図5F)へと変換される。
いくつかの実施形態では、コントロール外観値の第1のセットは、コントロール外観パラメータの第1のセット(例えば、白いキーボードのコントロール外観パラメータ)に対する値であり、かつコントロール外観値の第2のセットは、コントロール外観パラメータの第1のセット(例えば、白いキーボードのコントロール外観パラメータ)に対する値である(930)。例えば、図5Aのキーボードに対するコントロール外観値の第1のセットは、コントロール外観パラメータの第1のセット(例えば、図8)に対するものであり、かつ図5Cのキーボードに対するコントロール外観値の第2のセットは、コントロール外観パラメータの同じ第1のセット(例えば、図8)に対するものである。
いくつかの実施形態では、コントロール外観値の第1のセットは、コントロール外観パラメータの第1のセット(例えば、白いキーボードのコントロール外観パラメータ)に対する値であり、かつコントロール外観値の第2のセットは、コントロール外観パラメータの第1のセットと異なるコントロール外観パラメータの第2のセット(例えば、黒いキーボードのコントロール外観パラメータ)に対する値である(932)。例えば、より明るいコントロール(例えば、半透明の白いキーボード)は、任意選択的に、より暗いコントロール(例えば、半透明の黒いキーボード)と異なるコントロール外観パラメータのセットを有する。
いくつかの実施形態では、ディスプレイの対応する領域に対応するコンテンツにおいて、第1のコンテンツから第2のコンテンツへの変化を検出することの後であり、かつコントロール表示値の第2のセットに従ってコントロールの外観を変更することの前に(例えば、図5Fの第2のコンテンツ508−2の場合は、暗いキーボードを表示する前に)、デバイスは、コントロール外観値の第1のセットと異なるコントロール外観値の対応するセットを、コントロール外観パラメータの第1のセットに対して、コンテンツ表示値の第2のセットに基づき決定し、コントロール外観値の対応するセットは、コントロール外観値の第1のセット及びコントロール外観値の第2のセットと異なり、かつ第2のコンテンツ及びコントロール外観値の対応するセットに従って、コントロールの外観を変更する(934)。例えば、上述のように、図5A、図5E及び図5Fは、白いキーを有するキーボード518(図5A)から黒いキーを有するキーボード518(図5F)への変化が、任意選択的に、白いキーを有する中間キーボード518、及びコンテンツ508−2(図5E)に対するコンテンツ表示値に基づく、コントロール外観値の更新されたセットを経由して発生することを示す。いくつかの実施形態では、デバイスは、図5Eの白いキーを有するキーボード518と、図5Fの黒いキーを有するキーボード518との間の既定のアニメーション移行を表示する。
いくつかの実施形態では、コントロールは半透明部分を含み、コンテンツの対応する部分(例えば、コントロールの背後にある対応する領域内のコンテンツ)はコントロールの半透明部分の場所に対応し、コントロール調整値の対応するセットに従ってコントロールを表示することは、コントロールの半透明部分内に、コンテンツの対応する部分の表現を表示することを含み、コンテンツの対応する部分の表現は、コントロール外観値の対応するセットに従って(例えば、コンテンツの対応する部分の不明瞭化されていないレンダリングから、コントロールの半透明部分によって不明瞭化されたコンテンツの対応する部分のレンダリングへと)変換される(936)。例えば、図5Aでは、キーボード518は半透明部分を含み、かつキーボード518を表示することは、キーボード518の半透明部分内に、キーボード518の半透明部分に対応する第1のコンテンツ506の部分の表現を表示することを含む。第1のコンテンツ506の表現は、コントロール外観値の第1のセットに従って、第1のコンテンツの不明瞭化されていないレンダリング(図5B)から、コントロールの半透明部分によって不明瞭化された第1のコンテンツ506のレンダリング(図5A)へと変換される。
いくつかの実施形態では、コンテンツにおいて第1のコンテンツから第2のコンテンツへの変化を検出することの後であり、かつコントロール外観値の第2のセットに従ってコントロールの外観を変更することの前(例えば、コントロール外観値の第2のセットを決定することの前又はコントロール外観値の第2のセットを適用することの前)に、デバイスは、第2のコンテンツ及びコントロール外観値の第1のセットに従ってコントロールの外観を変更する(938)。例えば、図5Dに関連して上述されたように、コンテンツは任意選択的に、コントロール外観値の変化よりも速く移動する。いくつかの実施形態では、コントロールの下で移動するコンテンツは、高フレームレート(例えば、60fps)でアニメーション化され、かつコントロール外観値は低フレームレート(例えば、4fps)で更新される。コントロールの下で移動するコンテンツを高フレームレートで更新すると、デバイスの応答が速くなったように感じられ、コントロール外観値を低フレームレートで更新すると、応答性を著しく低下させることなく、計算要件が低減される。
図9A〜9Gにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の再順序付けをする様々な方法を認識するであろう。
いくつかの実施形態によれば、図10は、説明される様々な実施形態の原理に従って構成された、電子デバイス1000の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を遂行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせによって、任意選択的に実装される。図10で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。
図10に示されるように、電子デバイス1000は、ユーザインタフェースを表示するように構成されたディスプレイユニット1002と、ディスプレイユニット1002に結合された処理ユニット1006と、を含む。いくつかの実施形態では、処理ユニット1006は決定ユニット1008と、表示可能化ユニット1010と、検出ユニット1012と、変更ユニット1014と、を含む。
処理ユニット1006は、ディスプレイユニット1002の対応する領域に対応する第1のコンテンツの1つ以上のコンテンツ表示特性に対するコンテンツ表示値の第1のセットを(例えば、決定ユニット1008を用いて)決定し、コンテンツ表示値の第1のセットに基づき、1つ以上のコントロール外観パラメータに対するコントロール外観値の第1のセットを(例えば、決定ユニット1008を用いて)決定し、ディスプレイユニット1002の対応する領域内へのコントロールの表示を(例えば、表示可能化ユニット1010を用いて)可能にするように構成され、コントロールの外観は、第1のコンテンツ及びコントロール外観値の第1のセットに基づき決定される。
いくつかの実施形態では、対応する領域内のコンテンツに対する対応するコンテンツ表示値は、対応する領域に対する対応する視覚特性の統計的測定値に対応する。
いくつかの実施形態では、コンテンツ表示特性は、色、色相、彩度、輝度、及びコントラストのうちの1つ以上を含む。
いくつかの実施形態では、対応するコントロール外観値の変化は、コントロールの外観を生成するためにコントロールの下のコンテンツに適用される、対応する変換の大きさの変化に対応する。
いくつかの実施形態では、コントロール外観パラメータは、ぼかし半径、彩度調整、白オーバレイの不透明度、黒オーバレイの不透明度、コントロールの1つ以上の選択可能部分の不透明度、及びコントロール内のテキストの色のうちの1つ以上を含む。
いくつかの実施形態では、コントロール外観値の第1のセットを決定することは、コントロール外観値の対応する既定のセットに対応する、コンテンツ表示値の複数の対応する既定のセットを記憶することと、コンテンツ表示値の第1のセットに近い、コンテンツ表示値の1つ以上の既定のセットを、コンテンツ表示値の近似セットとして識別することと、コンテンツ表示値の1つ以上の近似セットに対応する、コントロール外観値の1つ以上の既定のセットに基づき、コントロール外観値の第1のセットを決定することと、を含む。
いくつかの実施形態では、コンテンツ表示値の第1のセットを決定することは、コントロール外観値を出力として生成するアルゴリズムへの入力として、コンテンツ表示値の第1のセットを用いることを含む。
いくつかの実施形態では、コントロールは半透明部分を含み、かつコントロールの表示を可能にすることは、コントロールの半透明部分内への、コントロールの半透明部分に対応する第1のコンテンツの部分の表現の表示を可能にすることを含み、第1のコンテンツの表現は、コントロール外観値の第1のセットに従って変換される。
いくつかの実施形態では、処理ユニット1006は、ディスプレイユニット1002の対応する領域内へのコントロールの表示を可能にすることの間、ディスプレイユニットの対応する領域に対応するコンテンツにおいて、第1のコンテンツから、第1のコンテンツと異なる第2のコンテンツへの変化を(例えば、検出ユニット1012を用いて)検出し、コンテンツ表示値の第1のセットと異なるコンテンツ表示値の第2のセットを、第2のコンテンツの1つ以上のコンテンツ表示特性に対して(例えば、決定ユニット1008を用いて)決定し、コントロール外観値の第2のセットを、1つ以上のコントロール外観パラメータに対して、コンテンツ表示値の第2のセットに基づき(例えば、決定ユニット1008を用いて)決定し、コントロール外観値の第2のセットは、コントロール外観値の第1のセットと異なり、コンテンツ内の変化を検出することに応じて、第2のコンテンツ及びコントロール外観値の第2のセットに従ってコントロールの外観を(例えば、変更ユニット1014を用いて)変更するように更に構成される。
いくつかの実施形態では、コントロールの外観を変更することが、コントロール内のテキストの色を変更することを含む。
いくつかの実施形態では、コントロールは半透明部分を含み、かつコントロール外観値の第2のセットに従ってコントロールの外観を変更することは、コントロールの半透明部分内に、コントロールの半透明部分に対応する第2のコンテンツの部分の表現を表示することを含み、第2のコンテンツの表現は、コントロール外観値の第2のセットに従って変換される。
いくつかの実施形態では、コントロール外観値の第1のセットは、コントロール外観パラメータの第1のセットに対する値であり、かつコントロール外観値の第2のセットは、コントロール外観パラメータの第1のセットに対する値である。
いくつかの実施形態では、コントロール外観値の第1のセットは、コントロール外観パラメータの第1のセットに対する値であり、かつコントロール外観値の第2のセットは、コントロール外観パラメータの第1のセットと異なる、コントロール外観パラメータの第2のセットに対する値である。
いくつかの実施形態では、処理ユニット1006は、ディスプレイユニット1002の対応する領域に対応するコンテンツにおいて、第1のコンテンツから第2のコンテンツへの変化を検出することの後であり、かつコントロール表示値の第2のセットに従ってコントロールの外観を変更することの前に、コントロール外観値の第1のセットと異なるコントロール外観値の対応するセットを、コントロール外観パラメータの第1のセットに対して、コンテンツ表示値の第2のセットに基づき(例えば、決定ユニット1008を用いて)決定し、コントロール外観値の対応するセットは、コントロール外観値の第1のセット及びコントロール外観値の第2のセットと異なり、かつ第2のコンテンツ及びコントロール外観値の対応するセットに従って、コントロールの外観を(例えば、変更ユニット1014を用いて)変更するように更に構成される。
いくつかの実施形態では、コントロールは半透明部分を含み、コンテンツの対応する部分はコントロールの半透明部分の場所に対応し、コントロール調整値の対応するセットに従ってコントロールの表示を可能にすることは、コントロールの半透明部分内へのコンテンツの対応する部分の表現の表示を可能にすることを含み、コンテンツの対応する部分の表現は、コントロール外観値の対応するセットに従って変換される。
いくつかの実施形態では、処理ユニット1006は、コンテンツにおいて第1のコンテンツから第2のコンテンツへの変化を検出することの後であり、かつコントロール外観値の第2のセットに従ってコントロールの外観を変更することの前に、第2のコンテンツ及びコントロール外観値の第1のセットに従ってコントロールの外観を(例えば、変更ユニット1014を用いて)変更するように更に構成される。
いくつかの実施形態では、コンテンツ表示値の第1のセットは、ディスプレイの対応する領域に対応する第1のコンテンツに対するコンテンツ色値を含み、コントロール外観値の第1のセットは、第1のコンテンツに対するコンテンツ色値に基づき選択されたコントロール色値を含み、コントロールを表示することは、第1のぼかされたコンテンツを生成するために、ぼかし処理を第1のコンテンツに適用することと、半透明着色層を第1のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明着色層はコントロール色値によって指定された色を有し、第1のぼかされたコンテンツは半透明着色層を通して可視であり、半透明着色層を通した第1のぼかされたコンテンツの外観は、半透明着色層の色に依存する。
いくつかの実施形態では、コンテンツ表示値の第1のセットは、ディスプレイの対応する領域に対応する第1のコンテンツに対するコンテンツ彩度値を含み、コントロール外観値の第1のセットは、第1のコンテンツに対するコンテンツ彩度値に基づき選択されたコントロール彩度値を含み、コントロールを表示することは、第1のぼかされたコンテンツを生成するために、ぼかし処理を第1のコンテンツに適用することと、半透明着色層を第1のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明着色層はコントロール彩度値によって指定された彩度を有し、第1のぼかされたコンテンツは半透明着色層を通して可視であり、半透明着色層を通した第1のぼかされたコンテンツの外観は、半透明着色層の彩度に依存する。
いくつかの実施形態では、コンテンツ表示値の第1のセットは、ディスプレイの対応する領域に対応する第1のコンテンツに対するコンテンツ輝度値を含み、コントロール外観値の第1のセットは、第1のコンテンツに対するコンテンツ輝度値に基づき選択されたコントロール不透明度値を含み、コントロールを表示することは、第1のぼかされたコンテンツを生成するために、ぼかし処理を第1のコンテンツに適用することと、半透明層を第1のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明層はコントロール不透明度値によって指定された不透明度を有し、第1のぼかされたコンテンツは半透明層を通して可視であり、半透明層を通した第1のぼかされたコンテンツの外観は、半透明層の不透明度に依存する。
いくつかの実施形態では、コンテンツ表示値の第1のセットは、ディスプレイの対応する領域に対応する第1のコンテンツに対するコンテンツ彩度値を含み、コントロール外観値の第1のセットは、第1のコンテンツに対するコンテンツ彩度値に基づき選択されたコントロール不透明度値を含み、コントロールを表示することは、第1のぼかされたコンテンツを生成するために、ぼかし処理を第1のコンテンツに適用することと、半透明層を第1のぼかされたコンテンツの上に重ね合わせることと、を含み、半透明層はコントロール色値によって指定された不透明度を有し、第1のぼかされたコンテンツは半透明層を通して可視であり、半透明層を通した第1のぼかされたコンテンツの外観は、半透明層の不透明度に依存する。
上述の情報処理方法での動作は、汎用プロセッサ(例えば、図1A及び図3に関連して上述されたようなもの)又は特定用途向けチップなどの、情報処理装置内の1つ以上の機能モジュールを稼働することによって、任意選択的に実施される。
図9A〜図9Gを参照して上述された動作は、図1A、図1B、又は図10に示される構成要素によって、任意選択的に実施される。例えば、検出動作924は、任意選択的に、イベントソータ170、イベント認識部180、及びイベントハンドラ190によって実施される。イベントソータ170のイベントモニタ171は、タッチ感知ディスプレイ112上の接触を検出し、イベントディスパッチャモジュール174は、イベント情報をアプリケーション136−1に配信する。アプリケーション136−1の対応のイベント認識部180は、そのイベント情報を対応のイベント定義186と照会し、タッチ感知面上の第1の場所での第1の接触(又は、デバイスの回転)が、ユーザインタフェース上のオブジェクトの選択、又は1つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、イベント又はサブイベントの検出に関連するイベントハンドラ190をアクティブ化する。イベントハンドラ190は、アプリケーション内部状態192を更新するために、データアップデータ176若しくはオブジェクトアップデータ177を、任意選択的に用いるか又は呼び出す。いくつかの実施形態では、イベントハンドラ190は、アプリケーションによって表示されるものを更新するために、対応するGUIアップデータ178にアクセスする。同様に、当業者にとって、他の処理が図1A〜図1Bに示される構成要素に基づいてどのように実施されるかは明らかであるだろう。
前述の説明は、説明の目的上、特定の実施形態を参照して説明されている。しかし、上述の例示的説明は、網羅的であること、又は本発明を、開示されている寸分違わない形態に限定することを意図されてはいない。上述の教示を考慮すれば、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、及び想到される特定の用途に好適な様々な改良で本発明及び様々な実施形態を最良な形で使用することを可能とするために、これらの実施形態を選択し説明した。

Claims (24)

  1. 命令を含むコンピュータプログラムであって、該命令はディスプレイを有する電子デバイスによって実行されると、前記電子デバイスに、
    前記ディスプレイ上にユーザインタフェースを表示させ、
    前記ディスプレイ上に前記ユーザインタフェースを表示している間に、少なくとも前記ユーザインタフェースの第1の部分に重ね合わせたコントロール領域を表示する要求を受信させ、
    前記要求に応答して、前記ユーザインタフェース上に重ね合わせたコントロール領域を表示させ、前記コントロール領域を表示することは、
    前記コントロール領域の背景であって、前記コントロール領域が重ね合わせられた前記ユーザインタフェースの前記第1の部分における色を強調するために変更された前記ユーザインタフェースの前記第1の部分のぼかされたバージョンの視覚特性を有する、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンに基づく外観を有する前記コントロール領域の背景を表示することと、
    前記コントロール領域の前記背景上に1つ以上のコントロール要素を表示することと、を含み、
    前記コントロール領域を表示している間に、前記1つ以上のコントロール要素の各コントロール要素の作動に対応する入力を検出させ、
    各コントロール要素の作動に対応する前記入力を検出したことに応答して、各コントロール要素に対応する動作を実行させ
    前記コントロール領域は前記ユーザインタフェースの第2の部分に重ね合わせられず、前記ユーザインタフェースの前記第2の部分はぼかされない、コンピュータプログラム。
  2. 請求項1に記載のコンピュータプログラムであって、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンの前記視覚特性における前記変更は、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンの彩度を増加させることを含む、コンピュータプログラム。
  3. 請求項1に記載のコンピュータプログラムであって、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンの前記視覚特性における前記変更は、前記背景のコンテンツの前記色に基づいた色つきレイヤを導入することを含む、コンピュータプログラム。
  4. 請求項1に記載のコンピュータプログラムであって、前記ディスプレイを有する前記電子デバイスによって実行されると、前記電子デバイスに、前記ユーザインタフェースの前記第1の部分が前記コントロール領域に呼応して移動するにつれて、前記コントロール領域の前記背景の前記外観を変更させる命令を含む、コンピュータプログラム。
  5. 請求項に記載のコンピュータプログラムであって、前記コントロール領域のコントロール外観値は、前記コントロール領域の背後を移動するコンテンツが更新されるよりも遅い速度で更新される、コンピュータプログラム。
  6. 請求項1に記載のコンピュータプログラムであって、前記コントロール領域の前記背景は、前記コントロール領域と前記背景との間の1つ以上の他のレイヤにある要素を表示しない、コンピュータプログラム。
  7. 請求項1に記載のコンピュータプログラムであって、前記コントロール領域の前記背景のコンテンツは、前記ディスプレイ上の後側にシフトする、コンピュータプログラム。
  8. 請求項に記載のコンピュータプログラムであって、前記コントロール領域の前記背景のコンテンツは、前記コンテンツの端部において前記コンテンツに基づくピクセルを追加することによって、前記ディスプレイの端部に向かって拡大する、コンピュータプログラム。
  9. 電子デバイスであって、
    ディスプレイと、
    1つ以上のプロセッサと、
    メモリと、
    前記メモリに格納され、前記1つ以上のプロセッサによって実行されるように構成される1つ以上のプログラムとを含み、前記1つ以上のプログラムは、
    前記ディスプレイ上にユーザインタフェースを表示し、
    前記ディスプレイ上に前記ユーザインタフェースを表示している間に、少なくとも前記ユーザインタフェースの第1の部分に重ね合わせたコントロール領域を表示する要求を受信し、
    前記要求に応答して、前記ユーザインタフェース上に重ね合わせたコントロール領域を表示し、前記コントロール領域を表示することは、
    前記コントロール領域の背景であって、前記コントロール領域が重ね合わせられた前記ユーザインタフェースの前記第1の部分における色を強調するために変更された前記ユーザインタフェースの前記第1の部分のぼかされたバージョンの視覚特性を有する、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンに基づく外観を有する、前記コントロール領域の背景を表示することと、
    前記コントロール領域の前記背景上に1つ以上のコントロール要素を表示することと、を含み、
    前記コントロール領域を表示している間に、前記1つ以上のコントロール要素の各コントロール要素の作動に対応する入力を検出し、
    各コントロール要素の作動に対応する前記入力を検出したことに応答して、各コントロール要素に対応する動作を実行する、ための命令を含み
    前記コントロール領域は前記ユーザインタフェースの第2の部分に重ね合わせられず、前記ユーザインタフェースの前記第2の部分はぼかされない、電子デバイス。
  10. 請求項に記載の電子デバイスであって、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンの前記視覚特性における前記変更は、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンの彩度を増加させることを含む、電子デバイス。
  11. 請求項に記載の電子デバイスであって、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンの前記視覚特性における前記変更は、前記背景のコンテンツの前記色に基づいた色つきレイヤを導入することを含む、電子デバイス。
  12. 請求項に記載の電子デバイスであって、前記ユーザインタフェースの前記第1の部分が前記コントロール領域に呼応して移動するにつれて、前記コントロール領域の前記背景の前記外観を変更するための命令を含む、電子デバイス。
  13. 請求項12に記載の電子デバイスであって、前記コントロール領域のコントロール外観値は、前記コントロール領域の背後を移動するコンテンツが更新されるよりも遅い速度で更新される、電子デバイス。
  14. 請求項に記載の電子デバイスであって、前記コントロール領域の前記背景は、前記コントロール領域と前記背景との間の1つ以上の他のレイヤにある要素を表示しない、電子デバイス。
  15. 請求項に記載の電子デバイスであって、前記コントロール領域の前記背景のコンテンツは、前記ディスプレイ上の後側にシフトする、電子デバイス。
  16. 請求項15に記載の電子デバイスであって、前記コントロール領域の前記背景のコンテンツは、前記コンテンツの端部において前記コンテンツに基づくピクセルを追加することによって、前記ディスプレイの端部に向かって拡大する、電子デバイス。
  17. 方法であって、
    ディスプレイを有する電子デバイスにおいて、
    前記ディスプレイ上にユーザインタフェースを表示し、
    前記ディスプレイ上に前記ユーザインタフェースを表示している間に、少なくとも前記ユーザインタフェースの第1の部分に重ね合わせたコントロール領域を表示する要求を受信し、
    前記要求に応答して、前記ユーザインタフェース上に重ね合わせたコントロール領域を表示し、前記コントロール領域を表示することは、
    前記コントロール領域の背景であって、前記コントロール領域が重ね合わせられた前記ユーザインタフェースの前記第1の部分における色を強調するために変更された前記ユーザインタフェースの前記第1の部分のぼかされたバージョンの視覚特性を有する、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンに基づく外観を有する、前記コントロール領域の背景を表示することと、
    前記コントロール領域の前記背景上に1つ以上のコントロール要素を表示することと、を含み、
    前記コントロール領域を表示している間に、前記1つ以上のコントロール要素の各コントロール要素の作動に対応する入力を検出し、
    各コントロール要素の作動に対応する前記入力を検出したことに応答して、各コントロール要素に対応する動作を実行し、
    前記コントロール領域は前記ユーザインタフェースの第2の部分に重ね合わせられず、前記ユーザインタフェースの前記第2の部分はぼかされない、ことを含む、方法。
  18. 請求項17に記載の方法であって、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンの前記視覚特性における前記変更は、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンの彩度を増加させることを含む、方法。
  19. 請求項17に記載の方法であって、前記ユーザインタフェースの前記第1の部分の前記ぼかされたバージョンの前記視覚特性における前記変更は、前記背景のコンテンツの前記色に基づいた色つきレイヤを導入することを含む、方法。
  20. 請求項17に記載の方法であって、前記ユーザインタフェースの前記第1の部分が前記コントロール領域に呼応して移動するにつれて、前記コントロール領域の前記背景の前記外観を変更することを含む、方法。
  21. 請求項20に記載の方法であって、前記コントロール領域のコントロール外観値は、前記コントロール領域の背後を移動するコンテンツが更新されるよりも遅い速度で更新される、方法。
  22. 請求項17に記載の方法であって、前記コントロール領域の前記背景は、前記コントロール領域と前記背景との間の1つ以上の他のレイヤにある要素を表示しない、方法。
  23. 請求項17に記載の方法であって、前記コントロール領域の前記背景のコンテンツは、前記ディスプレイ上の後側にシフトする、方法。
  24. 請求項23に記載の方法であって、前記コントロール領域の前記背景のコンテンツは、前記コンテンツの端部において前記コンテンツに基づくピクセルを追加することによって、前記ディスプレイの端部に向かって拡大する、方法。
JP2017111135A 2013-03-15 2017-06-05 コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース Active JP6516790B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201361801988P 2013-03-15 2013-03-15
US61/801,988 2013-03-15
US201361832952P 2013-06-09 2013-06-09
US61/832,952 2013-06-09
US14/183,369 2014-02-18
US14/183,369 US9355472B2 (en) 2013-03-15 2014-02-18 Device, method, and graphical user interface for adjusting the appearance of a control
US14/183,383 US9305374B2 (en) 2013-03-15 2014-02-18 Device, method, and graphical user interface for adjusting the appearance of a control
US14/183,383 2014-02-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016500437A Division JP6155379B2 (ja) 2013-03-15 2014-02-26 コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019044103A Division JP6816188B2 (ja) 2013-03-15 2019-03-11 コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース

Publications (2)

Publication Number Publication Date
JP2017224289A JP2017224289A (ja) 2017-12-21
JP6516790B2 true JP6516790B2 (ja) 2019-05-22

Family

ID=51525446

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016500437A Active JP6155379B2 (ja) 2013-03-15 2014-02-26 コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース
JP2017111135A Active JP6516790B2 (ja) 2013-03-15 2017-06-05 コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース
JP2019044103A Active JP6816188B2 (ja) 2013-03-15 2019-03-11 コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016500437A Active JP6155379B2 (ja) 2013-03-15 2014-02-26 コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019044103A Active JP6816188B2 (ja) 2013-03-15 2019-03-11 コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース

Country Status (9)

Country Link
US (4) US9305374B2 (ja)
EP (2) EP3594796A1 (ja)
JP (3) JP6155379B2 (ja)
KR (2) KR101885629B1 (ja)
CN (3) CN110096206B (ja)
AU (3) AU2014238102B2 (ja)
HK (1) HK1215092A1 (ja)
TW (1) TWI545496B (ja)
WO (1) WO2014149474A1 (ja)

Families Citing this family (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US20110252376A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Concurrently Open Software Applications
US9823831B2 (en) 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9202433B2 (en) 2012-03-06 2015-12-01 Apple Inc. Multi operation slider
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US20130238747A1 (en) 2012-03-06 2013-09-12 Apple Inc. Image beaming for a media editing application
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
EP2847658B1 (en) 2012-05-09 2017-06-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
DE202013012233U1 (de) 2012-05-09 2016-01-18 Apple Inc. Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt
WO2013169851A2 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP3467634B1 (en) 2012-12-29 2020-09-23 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
KR101958582B1 (ko) 2012-12-29 2019-07-04 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
CN113744733B (zh) 2013-02-07 2022-10-25 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9778837B2 (en) 2013-03-15 2017-10-03 Apple Inc. Mobile computing device with multiple access modes
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9305374B2 (en) 2013-03-15 2016-04-05 Apple Inc. Device, method, and graphical user interface for adjusting the appearance of a control
US9658740B2 (en) 2013-03-15 2017-05-23 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9542907B2 (en) 2013-06-09 2017-01-10 Apple Inc. Content adjustment in graphical user interface based on background content
JP6102602B2 (ja) * 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US20150346952A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Control center refinements
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10445314B1 (en) * 2014-09-15 2019-10-15 Amazon Technologies, Inc. Instant unified search
US10908760B2 (en) * 2014-10-15 2021-02-02 Liveperson, Inc. System and method for interactive application preview
US10341276B2 (en) * 2014-12-11 2019-07-02 Facebook, Inc. Systems and methods for providing communications with obscured media content backgrounds
US20160246466A1 (en) * 2015-02-23 2016-08-25 Nuance Communications, Inc. Transparent full-screen text entry interface
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
CN106155454B (zh) * 2015-03-30 2020-06-16 阿里巴巴集团控股有限公司 一种界面显示方法、装置及电子设备
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10345991B2 (en) * 2015-06-16 2019-07-09 International Business Machines Corporation Adjusting appearance of icons in an electronic device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
EP3403196A4 (en) * 2016-01-15 2019-10-30 Microsoft Technology Licensing, LLC DETERMINATION OF THE APPEARANCE OF ELEMENTS DISPLAYED ON THE USER INTERFACE
US11010542B2 (en) * 2016-02-03 2021-05-18 Ricoh Company, Ltd. Interactive electronic whiteboard appliance with adaptive application management
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
CN108351750B (zh) * 2016-06-12 2019-08-13 苹果公司 用于处理与触摸输入相关联的强度信息的设备、方法、以及图形用户界面
DK179034B1 (en) * 2016-06-12 2017-09-04 Apple Inc Devices, methods, and graphical user interfaces for dynamically adjusting presentation of audio outputs
CN106648579A (zh) * 2016-09-12 2017-05-10 北京量科邦信息技术有限公司 一种原生app切换夜间和日间模式的方法及***
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
JP2018081664A (ja) * 2017-02-10 2018-05-24 株式会社FiNC コンピュータ実装方法
US11142442B2 (en) 2017-02-10 2021-10-12 Arrow Acquisition, Llc System and method for dynamically controlling the stability of an industrial vehicle
TWI645328B (zh) * 2017-03-24 2018-12-21 華碩電腦股份有限公司 動態桌布的顯示方法、電子裝置及非暫態電腦可讀取記錄媒體
KR102388539B1 (ko) 2017-04-30 2022-04-20 삼성전자주식회사 사용자 발화를 처리하는 전자 장치
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US11928483B2 (en) 2017-05-16 2024-03-12 Apple Inc. Devices, methods, and graphical user interfaces for seamless transition of user interface behaviors
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10956033B2 (en) * 2017-07-13 2021-03-23 Hand Held Products, Inc. System and method for generating a virtual keyboard with a highlighted area of interest
CN107463307A (zh) * 2017-07-31 2017-12-12 北京京东尚科信息技术有限公司 文档显示方法和装置
USD908728S1 (en) * 2017-08-22 2021-01-26 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
DK179931B1 (en) 2017-09-09 2019-10-11 Apple Inc. DEVICES, METHODS AND GRAPHICAL USER INTERFACES FOR DISPLAYING AN AFFORDANCE ON A BACKGROUND
KR102440651B1 (ko) 2017-09-19 2022-09-06 삼성전자주식회사 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
USD841668S1 (en) 2018-01-31 2019-02-26 Salesforce.Com, Inc. Display screen or portion thereof with animated graphical user interface
KR102558472B1 (ko) 2018-02-07 2023-07-25 삼성전자주식회사 밝기 정보에 기반하여 콘텐트의 표시를 제어하는 전자 장치 및 그의 동작 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
JP2020034991A (ja) * 2018-08-27 2020-03-05 オムロン株式会社 入力デバイス、携帯端末、入力デバイス制御方法、および入力デバイス制御プログラム
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN109471586B (zh) * 2018-10-26 2020-05-05 麒麟合盛网络技术股份有限公司 一种键帽配色方法、装置和终端设备
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN111338525A (zh) * 2020-02-21 2020-06-26 维沃移动通信有限公司 一种电子设备的控制方法及电子设备
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
TWI751653B (zh) * 2020-08-14 2022-01-01 博橡科技股份有限公司 人機介面開發方法、人機介面裝置以及電腦程式產品
CN112558785B (zh) * 2020-12-24 2024-06-18 上海二三四五网络科技有限公司 一种调整文字显示颜色的控制方法及装置
CN115408084A (zh) * 2021-05-28 2022-11-29 富泰华工业(深圳)有限公司 屏幕信息显示方法、装置及存储介质

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831615A (en) 1994-09-30 1998-11-03 Intel Corporation Method and apparatus for redrawing transparent windows
JPH0973353A (ja) * 1995-09-04 1997-03-18 Matsushita Electric Ind Co Ltd ソフトウェアキーボード
US5805163A (en) 1996-04-22 1998-09-08 Ncr Corporation Darkened transparent window overlapping an opaque window
US6151030A (en) 1998-05-27 2000-11-21 Intel Corporation Method of creating transparent graphics
JP4264573B2 (ja) * 1999-06-07 2009-05-20 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6809741B1 (en) * 1999-06-09 2004-10-26 International Business Machines Corporation Automatic color contrast adjuster
US20050091576A1 (en) * 2003-10-24 2005-04-28 Microsoft Corporation Programming interface for a computer platform
US7016869B1 (en) * 2000-04-28 2006-03-21 Shutterfly, Inc. System and method of changing attributes of an image-based product
US20060129933A1 (en) * 2000-12-19 2006-06-15 Sparkpoint Software, Inc. System and method for multimedia authoring and playback
JP2003085424A (ja) * 2001-09-13 2003-03-20 Hitachi Ltd 予約支援・情報提供装置及びこれに用いた端末
US20030112253A1 (en) 2001-12-17 2003-06-19 Robert Cazier Method and apparatus for active graphical controls
US6954905B2 (en) 2002-01-28 2005-10-11 International Business Machines Corporation Displaying transparency characteristic aids
JP3654265B2 (ja) * 2002-06-21 2005-06-02 三菱電機株式会社 設定表示装置
US7343566B1 (en) 2002-07-10 2008-03-11 Apple Inc. Method and apparatus for displaying a window for a user interface
KR100663409B1 (ko) * 2002-10-17 2007-01-02 삼성전자주식회사 펜 컴퓨팅 시스템에서의 레이어 편집 방법 및 장치
US8659615B2 (en) 2003-01-31 2014-02-25 Nvidia Corporation System and method for providing transparent windows of a display
KR100618816B1 (ko) * 2003-12-10 2006-08-31 삼성전자주식회사 서브 메모리를 구비한 이동 통신 단말기의 디스플레이 장치
WO2005104039A2 (en) * 2004-03-23 2005-11-03 Google, Inc. A digital mapping system
KR100661544B1 (ko) 2004-06-18 2006-12-27 엘지전자 주식회사 이동단말기의 배경화면에 따른 소프트메뉴바의 색상 설정방법
JP4438602B2 (ja) * 2004-10-28 2010-03-24 株式会社デンソー 操作装置
KR100677426B1 (ko) * 2005-01-14 2007-02-02 엘지전자 주식회사 이동 통신 단말기의 문자 메시지 표시 방법
US20060248557A1 (en) * 2005-04-01 2006-11-02 Vulcan Inc. Interface for controlling device groups
JP2007115293A (ja) * 2005-10-17 2007-05-10 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
US7412663B2 (en) 2005-11-30 2008-08-12 Microsoft Corporation Dynamic reflective highlighting of a glass appearance window frame
US7418668B2 (en) 2005-11-30 2008-08-26 Microsoft Corporation Glass appearance window frame colorization
KR20070059810A (ko) 2005-12-06 2007-06-12 정해인 모형장기
WO2007095257A2 (en) 2006-02-10 2007-08-23 Freedom Scientific, Inc. System-wide content-sensitive text stylization and replacement
KR100765781B1 (ko) * 2006-04-13 2007-10-12 삼성전자주식회사 Xhtml 데이터 생성 방법 및 장치
US7783983B1 (en) * 2006-04-13 2010-08-24 Emc Corporation User interface for controls
CA2640884C (en) * 2006-07-20 2010-02-23 Optosecurity Inc. Methods and systems for use in security screening, with parallel processing capability
US7739613B2 (en) 2006-11-10 2010-06-15 Microsoft Corporation Graphics tiering strategy incorporating bitmaps and window geometries
US8091038B1 (en) 2006-11-29 2012-01-03 Adobe Systems Incorporated Adaptive graphical interface
US8519963B2 (en) * 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
US8191003B2 (en) 2007-02-14 2012-05-29 International Business Machines Corporation Managing transparent windows
US8339413B2 (en) 2007-05-17 2012-12-25 Adobe Systems Incorporated Multiplied occluding transparency graphics processing
US8707173B2 (en) * 2007-05-31 2014-04-22 Visan Industries Systems and methods for rendering media
US9052817B2 (en) * 2007-06-13 2015-06-09 Apple Inc. Mode sensitive processing of touch data
US7956869B1 (en) 2007-07-13 2011-06-07 Adobe Systems Incorporated Proximity based transparency of windows aiding in obscured window selection
JP2009157777A (ja) 2007-12-27 2009-07-16 Toshiba Corp 電子機器及び画像表示プログラム
JP5324143B2 (ja) * 2008-07-01 2013-10-23 キヤノン株式会社 表示制御装置、及び表示制御方法
WO2010042880A2 (en) 2008-10-10 2010-04-15 Neoflect, Inc. Mobile computing device with a virtual keyboard
JP5350862B2 (ja) 2009-04-03 2013-11-27 株式会社ソニー・コンピュータエンタテインメント 携帯型情報端末および情報入力方法
US20100253697A1 (en) 2009-04-06 2010-10-07 Juan Rivera Methods and systems for remotely displaying alpha blended images
EP2430833A4 (en) * 2009-05-13 2014-01-22 Coincident Tv Inc REPRODUCTION AND PROCESSING OF LINKED AND COMMENTED AUDIOVISUAL WORKS
US8264499B1 (en) 2009-06-02 2012-09-11 Sprint Communications Company L.P. Enhancing viewability of information presented on a mobile device
US8019390B2 (en) 2009-06-17 2011-09-13 Pradeep Sindhu Statically oriented on-screen transluscent keyboard
CN103558931A (zh) 2009-07-22 2014-02-05 罗技欧洲公司 用于远程、虚拟屏幕输入的***和方法
CN101706718A (zh) * 2009-11-05 2010-05-12 中兴通讯股份有限公司 一种自动改变桌面文字颜色的方法及其装置
US20110163966A1 (en) * 2010-01-06 2011-07-07 Imran Chaudhri Apparatus and Method Having Multiple Application Display Modes Including Mode with Display Resolution of Another Apparatus
US8793611B2 (en) * 2010-01-06 2014-07-29 Apple Inc. Device, method, and graphical user interface for manipulating selectable user interface objects
JP2011214868A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 表示制御装置、方法およびプログラム
US8587596B2 (en) 2010-06-28 2013-11-19 International Business Machines Corporation Multithreaded software rendering pipeline with dynamic performance-based reallocation of raster threads
CN101916168B (zh) * 2010-08-31 2012-10-10 宇龙计算机通信科技(深圳)有限公司 一种应用图标的显示方法及***
US20120127198A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Selection of foreground characteristics based on background
JP5655550B2 (ja) * 2010-12-22 2015-01-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5683292B2 (ja) 2011-01-26 2015-03-11 株式会社ソニー・コンピュータエンタテインメント 携帯端末、表示方法及びコンピュータプログラム
US10152192B2 (en) 2011-02-21 2018-12-11 Apple Inc. Scaling application windows in one or more workspaces in a user interface
US9536564B2 (en) * 2011-09-20 2017-01-03 Apple Inc. Role-facilitated editing operations
CN102331910A (zh) * 2011-10-08 2012-01-25 宇龙计算机通信科技(深圳)有限公司 一种对触控显示屏的显示控制方法及装置
US9305374B2 (en) 2013-03-15 2016-04-05 Apple Inc. Device, method, and graphical user interface for adjusting the appearance of a control
US9542907B2 (en) 2013-06-09 2017-01-10 Apple Inc. Content adjustment in graphical user interface based on background content

Also Published As

Publication number Publication date
CN105144067A (zh) 2015-12-09
AU2017208225B2 (en) 2023-02-02
US20190212906A1 (en) 2019-07-11
US9355472B2 (en) 2016-05-31
AU2021201419A1 (en) 2021-03-25
KR101764646B1 (ko) 2017-08-03
CN110096206B (zh) 2022-02-01
EP2972732A1 (en) 2016-01-20
CN110096186A (zh) 2019-08-06
AU2014238102A1 (en) 2015-10-08
US20140267362A1 (en) 2014-09-18
US20140267363A1 (en) 2014-09-18
EP3594796A1 (en) 2020-01-15
CN110096186B (zh) 2022-05-17
JP2019135657A (ja) 2019-08-15
TW201447740A (zh) 2014-12-16
KR20150127254A (ko) 2015-11-16
JP6816188B2 (ja) 2021-01-20
EP2972732B1 (en) 2019-10-30
JP2016517072A (ja) 2016-06-09
KR101885629B1 (ko) 2018-08-07
AU2017208225A1 (en) 2017-08-10
WO2014149474A1 (en) 2014-09-25
KR20170091763A (ko) 2017-08-09
US20160291858A1 (en) 2016-10-06
JP2017224289A (ja) 2017-12-21
CN105144067B (zh) 2018-12-25
TWI545496B (zh) 2016-08-11
CN110096206A (zh) 2019-08-06
HK1215092A1 (zh) 2016-08-12
US10599316B2 (en) 2020-03-24
AU2014238102B2 (en) 2017-08-03
AU2021201419B2 (en) 2022-12-08
US10175871B2 (en) 2019-01-08
JP6155379B2 (ja) 2017-06-28
US9305374B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
JP6516790B2 (ja) コントロールの外観を調整するためのデバイス、方法及びグラフィカルユーザインタフェース
US11175817B2 (en) Device, method, and graphical user interface for displaying application status information
US11644966B2 (en) Coordination of static backgrounds and rubberbanding
US20190079648A1 (en) Method, device, and graphical user interface for tabbed and private browsing
JP2022529628A (ja) 複数のアプリケーションウィンドウと対話するためのシステム、方法、及びユーザインタフェース
KR20220110619A (ko) 터치 감응형 디스플레이를 갖는 전자 디바이스 상에 동시에 디스플레이되는 다수의 애플리케이션들과 상호작용하기 위한 시스템들 및 방법들
KR102428753B1 (ko) 터치 감응형 디스플레이를 갖는 전자 디바이스 상에 동시에 디스플레이되는 다수의 애플리케이션들과 상호작용하기 위한 시스템들 및 방법들
US20220391158A1 (en) Systems and Methods for Interacting with Multiple Display Devices
US20150346973A1 (en) Seamlessly enabling larger ui
US12045440B2 (en) Method, device, and graphical user interface for tabbed and private browsing

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180827

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190416

R150 Certificate of patent or registration of utility model

Ref document number: 6516790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250