JP2022023864A - 拡張されたユーザ対話のための画像データを用いる、方法、電子デバイス及びプログラム - Google Patents

拡張されたユーザ対話のための画像データを用いる、方法、電子デバイス及びプログラム Download PDF

Info

Publication number
JP2022023864A
JP2022023864A JP2021168243A JP2021168243A JP2022023864A JP 2022023864 A JP2022023864 A JP 2022023864A JP 2021168243 A JP2021168243 A JP 2021168243A JP 2021168243 A JP2021168243 A JP 2021168243A JP 2022023864 A JP2022023864 A JP 2022023864A
Authority
JP
Japan
Prior art keywords
image data
electronic device
camera
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021168243A
Other languages
English (en)
Other versions
JP7495913B2 (ja
Inventor
ジョセフ， エー． マリア，
A Malia Joseph
アディ ベレンソン，
Berenson Adi
マレック ベリョザ，
Bereza Marek
ジェフレイ， トラエール バーンスタイン，
Traer Bernstein Jeffrey
ルーカス ロバート， トム ガーリング，
Robert Tom Girling Lukas
マーク ハウエンシュタイン，
Hauenstein Mark
アミール ホフヌング，
HOFFNUNG Amir
ウィリアム， ディー． リンドメイアー，
D Lindmeier William
ジュリアン ミッシグ，
Missig Julian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022023864A publication Critical patent/JP2022023864A/ja
Priority to JP2023211453A priority Critical patent/JP2024028992A/ja
Application granted granted Critical
Publication of JP7495913B2 publication Critical patent/JP7495913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2143—Clearing memory, e.g. to prevent the data from being stolen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2147—Locking files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioethics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

【課題】拡張されたユーザ対話のためのアバター及び画像データを使用する方法、電子デバイス及び記憶媒体を提供する。【解決手段】電子デバイスは、ユーザステータスに依存するアバターを生成し、ユーザステータスに関連付けられたメッセージと共に表示し、オブジェクトを走査するための画像情報をキャプチャしてオブジェクトの３Ｄモデルを作成し、キャプチャ画像情報に基づいて３Ｄモデルに対するアルゴリズムを判定し、３Ｄモデルを構築するためにアルゴリズムに必要とされる追加の画像データに関する視覚フィードバックを提供する。デバイス上のアプリケーションの動作は、キャプチャされた画像データに基づいて正規ユーザがそのデバイスを使用していると識別されるかどうかに基づいて制限され、深度データを使用して２セットの画像データを組み合わせる。【選択図】なし

Description

関連出願
本出願は、２０１７年５月１６日に出願された、「Ｉｍａｇｅ Ｄａｔａ ｆｏｒ Ｅｎｈａｎｃｅｄ Ｕｓｅｒ Ｉｎｔｅｒａｃｔｉｏｎｓ」と題する米国特許仮出願第６２／５０７，１４８号に対する優先権を主張するものであり、この出願は、その全体が参照により本明細書に組み込まれる。
本開示は、概して、コンピュータユーザインタフェースに関し、より具体的には、拡張されたユーザ対話のためのアバター及び／又は画像データを使用する技術に関する。
アバターは、電子デバイスのユーザを表すために使用される。アバターは、ユーザの外観を表すことができ、あるいはユーザの理想化された表現又は完全に架空の表現を表すことができる。次いで、アバターは、他のユーザへのアバターの外観がユーザとの関連付け又はリンクのトリガを表示するように、ユーザに関連付けることができる。
今日の多くの電子デバイスは、画像センサなどのセンサを含む。例えば、いくつかのスマートフォンは、電話の前と後ろの両面上に画像センサを含み、同じ側に複数の画像センサを含むことさえあり得る。これらの画像センサは、典型的には、静止画像及びビデオをキャプチャするために使用され、それらを後で共有して視聴することができる。
しかしながら、アバター及び／又は画像データを使用して電子デバイスとのユーザ対話を拡張するためのいくつかの技術は、一般に面倒で非効率的である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。既存の技術は、必要以上の時間を要し、ユーザの時間及びデバイスのエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
従って、本技術は、アバター及び／又は画像データを使用してユーザ対話を拡張するための、より速く、より効率的な方法及びインタフェースを電子デバイスに提供する。そのような方法及びインタフェースは、アバター及び／又は画像データを使用してユーザ対話を拡張するための他の方法を、任意選択的に補完するか又は置き換える。そのような方法及びインタフェースは、ユーザにかかる認識的負担を低減させ、より効率的なヒューマンマシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、電池充電の間隔を長くする。
一実施形態によれば、ディスプレイを有し、第１のユーザに関連付けられた電子デバイスは、第２のユーザから第１のコンテンツを含む第１のメッセージを受信し、第２のユーザに対する第１のステータスデータであって、第１のメッセージに関連付けられ、第１のコンテンツとは別個である、第１のステータスデータを受信し、第１のコンテンツを含む第１のメッセージと第１のアバターとを、ディスプレイ上に同時に表示し、ここで、第１のアバターは第１のステータスデータに基づき、表示された第１のアバターは表示された第１のメッセージに隣接し、第１のメッセージ及び第１のアバターを表示した後、第２のユーザから第２のコンテンツを含む第２のメッセージを受信し、第２のユーザに対する第２のステータスデータを受信し、第２のステータスは第２のメッセージに関連付けられ、第２のコンテンツとは別個であり、第１のメッセージ及び第１のアバターの表示を維持しながら、第２のコンテンツを含む第２のメッセージと第２のアバターとをディスプレイ上に表示し、表示された第２のアバターは表示された第２のメッセージに隣接し、第２のアバターは第２のステータスデータに基づき、第１のアバターと第２のアバターとは異なる。
一時的コンピュータ可読記憶媒体の一実施形態は、１つ以上のプログラムを記憶し、１つ以上のプログラムが命令を含み、命令は、ディスプレイと１つ以上の入力デバイスとを含む電子デバイスの１つ以上のプロセッサによって実行されると、デバイスに、アプリケーション内のコンテンツをディスプレイ上に表示させ、ここで、コンテンツはアプリケーションが第１の構成にある間に表示され、コンテンツを表示しながら、電子デバイスの１つ以上の画像センサから画像データをキャプチャさせ、画像データをキャプチャした後、コンテンツから離れるナビゲーション要求を受信させ、コンテンツから離れるナビゲーション要求を受信したことに応じて、第１のコンテンツロック基準のセットが満たされていという判定に従って、コンテンツの表示を維持しながら、コンテンツから離れるナビゲーションを防止させ、第１のコンテンツロック基準のセットは、不正ユーザがデバイスを使用していることをキャプチャされた画像データが示すときに満たされる第１の基準を含み、第１のコンテンツロック基準のセットが満たされていないという判定に従って、要求に従いコンテンツから離れるナビゲーションを行わせる。
一実施形態によれば、１つ以上の画像センサ、メモリ、及びディスプレイを有する電子デバイスは、電子デバイスの１つ以上の画像センサから、第１の画像データであって、第１の視点からのオブジェクトの第１の光学的画像データを含む、第１の画像データをキャプチャし、電子デバイスの１つ以上の画像センサから、第２の画像データであって、第１の視点とは異なる第２の視点からのオブジェクトの第２の光学的画像光データを含む、第２の画像データをキャプチャし、第１の視点から第２の視点への視点の変化に基づいて、アルゴリズムを選択し、このアルゴリズムに基づいて、オブジェクトの３Ｄモデリングを継続するために必要な追加の画像データを判定し、選択されたアルゴリズムに基づいて判定された追加の画像データをキャプチャする命令を提供する視覚フィードバックをディスプレイ上に表示する。
一時的コンピュータ可読記憶媒体の一実施形態は、１つ以上のプログラムを記憶し、１つ以上のプログラムが命令を含み、命令は、ディスプレイと１つ以上の画像センサとを含む電子デバイスの１つ以上のプロセッサによって実行されると、デバイスに、電子デバイスの１つ以上の画像センサから、第１の画像データであって、第１の視点からのオブジェクトの第１の光学的画像データを含む、第１の画像データをキャプチャさせ、電子デバイスの１つ以上の画像センサから、第２の画像データであって、第１の視点とは異なる第２の視点からのオブジェクトの第２の光学的画像光データを含む、第２の画像データをキャプチャさせ、第１の視点から第２の視点への視点の変化に基づいて、アルゴリズムを選択させ、このアルゴリズムに基づいて、オブジェクトの３Ｄモデリングを継続するために必要な追加の画像データを判定させ、選択されたアルゴリズムに基づいて判定された追加の画像データをキャプチャする命令を提供する視覚フィードバックをディスプレイ上に表示させる。
一実施形態によれば、ディスプレイと１つ以上の画像センサとを有する電子デバイスは、アプリケーション内のコンテンツをディスプレイ上に表示し、ここで、コンテンツは、アプリケーションが第１の構成にある間に表示され、コンテンツを表示しながら、電子デバイスの１つ以上の画像センサから画像データをキャプチャし、画像データをキャプチャした後、コンテンツから離れるナビゲーション要求を受信し、コンテンツから離れるナビゲーション要求を受信したことに応じて、第１のコンテンツロック基準のセットが満たされているという判定に従って、コンテンツの表示を維持しながら、コンテンツから離れるナビゲーションを防止し、ここで、第１のコンテンツロック基準のセットは、不正ユーザがデバイスを使用していることをキャプチャされた画像データが示すときに満たされる第１の基準を含み、第１のコンテンツロック基準のセットが満たされていないという判定に従って、要求に従いコンテンツから離れるナビゲーションを行う。
一時的コンピュータ可読記憶媒体の一実施形態は、１つ以上のプログラムを記憶し、１つ以上のプログラムが命令を含み、命令は、ディスプレイと１つ以上の画像センサとを含む電子デバイスの１つ以上のプロセッサによって実行されると、デバイスに、アプリケーション内のコンテンツをディスプレイ上に表示させ、ここで、コンテンツはアプリケーションが第１の構成にある間に表示され、コンテンツを表示しながら、電子デバイスの１つ以上の画像センサから画像データをキャプチャさせ、画像データをキャプチャした後、コンテンツから離れるナビゲーション要求を受信させ、コンテンツから離れるナビゲーション要求を受信したことに応じて、第１のコンテンツロック基準のセットが満たされていという判定に従って、コンテンツの表示を維持しながら、コンテンツから離れるナビゲーションを防止させ、第１のコンテンツロック基準のセットは、不正ユーザがデバイスを使用していることをキャプチャされた画像データが示すときに満たされる第１の基準を含み、第１のコンテンツロック基準のセットが満たされていないという判定に従って、要求に従いコンテンツから離れるナビゲーションを行わせる。
一実施形態によれば、電子デバイスは、ディスプレイとカメラとを有する。電子デバイスは、ディスプレイ上にコンテンツの表現を含むユーザインタフェースを表示させる。コンテンツの表現を含むユーザインタフェースを表示している間に、電子デバイスは、コンテンツに対して既定のアクションを実行する要求に対応する第１ユーザ入力を電子デバイス上で受信する。第１ユーザ入力を受信したことに応答して、電子デバイスは、カメラによってキャプチャされた、キャプチャされた画像データに基づいて、認可基準のセットであって、認可基準は、キャプチャされた画像データが、カメラの前に認可されたユーザの顔が存在し、かつユーザ入力が受信された時点でディスプレイを見ていたことを示すときに満たされる基準を含む、認可基準のセットが満たされたという判定に従って、既定のアクションを実行し、電子デバイスは、キャプチャされた画像データに基づいて、認可基準のセットが満たされていないという判定に従って、既定のアクションの実行を取り止める。
ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体の実施形態であって、１つ以上のプログラムが、ディスプレイ上にコンテンツの表現を含むユーザインタフェースを表示することと、コンテンツの表現を含むユーザインタフェースを表示している間に、コンテンツに対して既定のアクションを実行する要求に対応する第１ユーザ入力を電子デバイス上で受信することと、第１ユーザ入力を受信したことに応答して、カメラによってキャプチャされた、キャプチャされた画像データに基づいて、認可基準のセットであって、認可基準は、キャプチャされた画像データが、カメラの前に認可されたユーザの顔が存在し、かつユーザ入力が受信された時点でディスプレイを見ていたことを示すときに満たされる基準を含む、認可基準のセットが満たされたという判定に従って、既定のアクションを実行することと、キャプチャされた画像データに基づいて、認可基準のセットが満たされていないという判定に従って、既定のアクションの実行を取り止めることと、の命令を含む。
一実施形態によれば、電子デバイスは、ディスプレイとカメラとを有する。電子デバイスは、ディスプレイ上にコンテンツの表現を含むユーザインタフェースを表示し、コンテンツの表現を含むユーザインタフェースを表示している間に、コンテンツに対して既定のアクションを実行する要求に対応する第１ユーザ入力を電子デバイス上で受信し、第１ユーザ入力を受信したことに応答して、カメラによってキャプチャされた、キャプチャされた画像データに基づいて、認可基準のセットであって、認可基準は、キャプチャされた画像データが、カメラの前に認可されたユーザの顔が存在し、かつユーザ入力が受信された時点でディスプレイを見ていたことを示すときに満たされる基準を含む、認可基準のセットが満たされたという判定に従って、既定のアクションを実行し、キャプチャされた画像データに基づいて、認可基準のセットが満たされていないという判定に従って、既定のアクションの実行を取り止める。
一時的コンピュータ可読記憶媒体の実施形態は、ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。電子デバイスは、ディスプレイ上に機能を表すグラフィカルユーザインタフェース要素を表示し、ディスプレイ上にグラフィカルユーザインタフェース要素を表示している間に、機能を実行する要求に対応する第１ユーザ入力を受信し、第１ユーザ入力を受信したことに応答して、機能がセキュリティ強化の対象であり、かつ認可基準のセットであって、認可基準は、キャプチャされた画像データが、ユーザ入力が受信された時点でカメラの前に認可されたユーザの顔が存在したことを示すことを含む、認可基準のセットが満たされたという判定に従って、機能を実行し、機能がセキュリティ強化の対象であり、かつ認可基準のセットが満たされていないという判定に従って、機能の実行を取り止め、機能がセキュリティを強化されていないという判定に従って、認可基準のセットが満たされているか否かにかかわらず、機能を実行する。
一実施形態によれば、電子デバイスは、ディスプレイとカメラとを有する。電子デバイスは、ディスプレイ上に機能を表すグラフィカルユーザインタフェース要素を表示し、ディスプレイ上にグラフィカルユーザインタフェース要素を表示している間に、機能を実行する要求に対応する第１ユーザ入力を受信し、第１ユーザ入力を受信したことに応答して、機能がセキュリティ強化の対象であり、かつ認可基準のセットであって、認可基準は、キャプチャされた画像データが、ユーザ入力が受信された時点でカメラの前に認可されたユーザの顔が存在したことを示すことを含む、認可基準のセットが満たされたという判定に従って、機能を実行し、機能がセキュリティ強化の対象であり、かつ認可基準のセットが満たされていないという判定に従って、機能の実行を取り止め、機能がセキュリティを強化されていないという判定に従って、認可基準のセットが満たされているか否かにかかわらず、機能を実行する。
ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体の実施形態であって、１つ以上のプログラムが、ディスプレイ上に機能を表すグラフィカルユーザインタフェース要素を表示することと、ディスプレイ上にグラフィカルユーザインタフェース要素を表示している間に、機能を実行する要求に対応する第１ユーザ入力を受信することと、第１ユーザ入力を受信したことに応答して、機能がセキュリティ強化の対象であり、かつ認可基準のセットであって、認可基準は、キャプチャされた画像データが、ユーザ入力が受信された時点でカメラの前に認可されたユーザの顔が存在したことを示すことを含む、認可基準のセットが満たされたという判定に従って、機能を実行することと、機能がセキュリティ強化の対象であり、かつ認可基準のセットが満たされていないという判定に従って、機能の実行を取り止めることと、機能がセキュリティ強化されていないという判定に従って、認可基準のセットが満たされているか否かにかかわらず、機能を実行することと、の命令を含む。
一実施形態によれば、電子デバイスは、ディスプレイとカメラとを有する。電子デバイスは、デバイスにおいて発生したイベントに対応するアラート条件の発生を検出し、アラート条件の発生を検出したことに応答して、キャプチャされた画像データに基づいて、キャプチャされた画像データが、カメラの前にユーザの顔が存在することを示すことを含む、アラート基準のセットが満たされたという判定に従って、第１の方法でアラート条件に応答し、キャプチャされた画像データに基づいて、アラート基準のセットが満たされていないという判定に従って、第１の方法とは異なる第２の方法でアラート条件に応答する。
ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体の実施形態であって、１つ以上のプログラムが、デバイスにおいて発生したイベントに対応するアラート条件の発生を検出することと、アラート条件の発生を検出したことに応答して、キャプチャされた画像データに基づいて、キャプチャされた画像データが、カメラの前にユーザの顔が存在することを示すことを含む、アラート基準のセットが満たされたという判定に従って、第１の方法でアラート条件に応答することと、キャプチャされた画像データに基づいて、アラート基準のセットが満たされていないという判定に従って、第１の方法とは異なる第２の方法でアラート条件に応答することと、の命令を含む。
一実施形態によれば、電子デバイスは、ディスプレイとカメラとを有する。電子デバイスは、第１のＧＵＩ要素及び第２のＧＵＩ要素を含む複数のユーザインタフェース要素を含むユーザインタフェースを表示し、マイクロフォンを介して機能を実行する要求に対応する口頭ユーザ入力を受信し、入力は、第１のユーザインタフェース要素又は第２のユーザインタフェース要素に対して実行され得るアクションを実行する要求を含み、マイクロフォンを介して受信されたユーザ入力は、デバイスが、第１のユーザインタフェース要素又は第２のＧＵＩ要素に対してアクションを実行するかどうかを判定することを可能にする情報を含まず、マイクロフォンを介して口頭ユーザ入力を受信したことに応答して、口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データが、ユーザが第１のユーザインタフェース要素を見ていることを示すとの判定に従って、第１のユーザインタフェース要素に関連付けられたデータを用いて要求された機能を実行し、口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データが、ユーザが第２のユーザインタフェース要素を見ていることを示すとの判定に従って、第２のユーザインタフェース要素に関連付けられたデータを用いて要求された機能を実行する。
ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体の実施形態であって、１つ以上のプログラムが、第１のＧＵＩ要素及び第２のＧＵＩ要素を含む複数のユーザインタフェース要素を含むユーザインタフェースを表示することと、マイクロフォンを介して機能を実行する要求に対応する口頭ユーザ入力を受信することであって、入力は、第１のユーザインタフェース要素又は第２のユーザインタフェース要素に対して実行され得るアクションを実行する要求を含み、マイクロフォンを介して受信されたユーザ入力は、デバイスが、第１のユーザインタフェース要素又は第２のＧＵＩ要素に対してアクションを実行するかどうかを判定することを可能にする情報を含まない、受信することと、マイクロフォンを介して口頭ユーザ入力を受信したことに応答して、口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データが、ユーザが第１のユーザインタフェース要素を見ていることを示すとの判定に従って、第１のユーザインタフェース要素に関連付けられたデータを用いて要求された機能を実行することと、口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データが、ユーザが第２のユーザインタフェース要素を見ていることを示すとの判定に従って、第２のユーザインタフェース要素に関連付けられたデータを用いて要求された機能を実行することと、の命令を含む。
一実施形態によれば、電子デバイスは、ディスプレイとカメラとを有する。電子デバイスは、シーンがカメラの視野内にある間に、カメラで画像データをキャプチャする要求を受信し、画像データをキャプチャする要求に応答して、シーンに対応する画像データをキャプチャし、画像データをキャプチャすることは、画像センサから第１の距離である第１の深度領域に対応すると判定されたシーンの第１の部分の外観に基づいて選択された第１の画像キャプチャ設定を用いて第１の画像データをキャプチャし、第１の画像キャプチャ設定とは異なる第２の画像キャプチャ設定を用いて第２の画像データをキャプチャし、第２の画像キャプチャ設定は、カメラから第２の距離である第２の深度領域に対応すると判定されたシーンの第２の部分の外観に基づいて選択されるのを含み、シーンに対応する画像データをキャプチャした後、ディスプレイ上にシーンの画像を表示し、シーンの画像は、第１の画像データと第２の画像データとを組み合わせることによって生成される。
ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体の実施形態であって、１つ以上のプログラムが、シーンがカメラの視野内にある間に、カメラで画像データをキャプチャする要求を受信することと、画像データをキャプチャする要求に応答して、シーンに対応する画像データをキャプチャすることであって、画像データをキャプチャすることは、画像センサから第１の距離である第１の深度領域に対応すると判定されたシーンの第１の部分の外観に基づいて選択された第１の画像キャプチャ設定を用いて第１の画像データをキャプチャすることと、第１の画像キャプチャ設定とは異なる第２の画像キャプチャ設定を用いて第２の画像データをキャプチャすることとであって、第２の画像キャプチャ設定は、カメラから第２の距離である第２の深度領域に対応すると判定されたシーンの第２の部分の外観に基づいて選択される、第２の画像データをキャプチャすることと、を含み、シーンに対応する画像データをキャプチャした後、ディスプレイ上にシーンの画像を表示することであって、シーンの画像は、第１の画像データと第２の画像データとを組み合わせることによって生成される、表示することと、の命令を含む。
一実施形態によれば、電子デバイスは、ディスプレイと、第１のカメラと、第２のカメラとを有する。電子デバイスは、第１のシーンが第１のカメラの視野内にあり、第１のシーンとは異なる第２のシーンが第２のカメラの視野内にある間に、第１のカメラを用いて第１のシーンの第１の画像データをキャプチャし、第１の画像データは、深度画像データ及び可視光画像データを含み、深度画像データは、第１の画像データの第１の部分が、第１のカメラからの第１の距離である第１の深度領域にあるシーンの第１の部分に対応し、画像データの第２の部分が、第１の距離とは異なる第１の画像センサからの第２の距離である第２の深度領域にあるシーンの第２の部分に対応することを示し、第２のカメラからの第２のシーンの第２の画像データをキャプチャし、第１の画像データ及び第２の画像データをキャプチャした後、第２の画像データと第１の画像データの第１の部分とを組み合わせて合成画像を作成する。
ディスプレイと、第１のカメラと、第２のカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する一時的コンピュータ可読記憶媒体の実施形態であって、１つ以上のプログラムが、第１のシーンが第１のカメラの視野内にあり、第１のシーンとは異なる第２のシーンが第２のカメラの視野内にある間に、第１のカメラを用いて第１のシーンの第１の画像データをキャプチャすることであって、第１の画像データは、深度画像データ及び可視光画像データを含み、深度画像データは、第１の画像データの第１の部分が、第１のカメラからの第１の距離である第１の深度領域にあるシーンの第１の部分に対応し、画像データの第２の部分が、第１の距離とは異なる第１の画像センサからの第２の距離である第２の深度領域にあるシーンの第２の部分に対応することを示す、第１の画像データをキャプチャすることと、第２のカメラからの第２のシーンの第２の画像データをキャプチャすることと、第１の画像データ及び第２の画像データをキャプチャした後、第２の画像データと第１の画像データの第１の部分とを組み合わせて合成画像を作成することと、の命令を含む。
これらの機能を実行する実行可能な命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能な命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
このように、デバイスには、画像データを使用してユーザ対話を拡張するための、より速く、より効率的な方法及びインタフェースを提供され、それによって、そのようなデバイスでの有効性、効率、及びユーザ満足度を高める。そのような方法及びインタフェースは、画像データを使用してユーザ対話を拡張するための他の方法を、補完するか又は置き換えてもよい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図のすべてを通じて、対応する部分を指す。
いくつかの実施形態によるタッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
は、いくつかの実施形態によるイベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態によるタッチスクリーンを有するポータブル多機能デバイスを示す。
は、いくつかの実施形態によるディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
いくつかの実施形態によるポータブル多機能デバイス上のアプリケーションのメニューの例示的なユーザインタフェースを示す。
いくつかの実施形態によるディスプレイとは別個のタッチ感知面を有する多機能デバイスの例示的なユーザインタフェースを示す。
いくつかの実施形態によるパーソナル電子デバイスを示す。
いくつかの実施形態によるパーソナル電子デバイスを示すブロック図である。
いくつかの実施形態に係るタッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す。 いくつかの実施形態に係るタッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す。
いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に係るパーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。
メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。 メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。 メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。 メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。 メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。 メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。 メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。 メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。 メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。 メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。
メッセージに対するユーザステータス情報を通信するための方法を示すフロー図である。 メッセージに対するユーザステータス情報を通信するための方法を示すフロー図である。
電子デバイスの例示的な機能ブロック図を示す。
は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。 は、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。
３Ｄモデルを構築するデータをキャプチャするための方法を示すフロー図である。 ３Ｄモデルを構築するデータをキャプチャするための方法を示すフロー図である。
電子デバイスの例示的な機能ブロック図を示す。
は、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。 は、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。 は、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。 は、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。 は、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。 は、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。 は、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。 は、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。 は、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。 は、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。
ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための方法を示すフロー図である。 ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための方法を示すフロー図である。
電子デバイスの例示的な機能ブロック図を示す。
電子デバイスがカメラを使用してキャプチャできる例示的なシーンを示す。 電子デバイスがカメラを使用してキャプチャできる例示的なシーンを示す。 電子デバイスがカメラを使用してキャプチャできる例示的なシーンを示す。 電子デバイスがカメラを使用してキャプチャできる例示的なシーンを示す。 電子デバイスがカメラを使用してキャプチャできる例示的なシーンを示す。 電子デバイスがカメラを使用してキャプチャできる例示的なシーンを示す。
キャプチャされた画像データに基づいて、電子デバイス上でアクションを実行する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイス上でアクションを実行する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイス上でアクションを実行する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイス上でアクションを実行する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイス上でアクションを実行する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイス上でアクションを実行する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイス上でアクションを実行する例示的なユーザインタフェースを示す。
キャプチャされた画像データに基づいて、電子デバイス上でアクションを実行する方法を示すフロー図である。 キャプチャされた画像データに基づいて、電子デバイス上でアクションを実行する方法を示すフロー図である。
キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する例示的なユーザインタフェースを示す。
キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する方法を示すフロー図である。 キャプチャされた画像データに基づいて、電子デバイスのセキュリティ及び／又はプライバシーを強化する方法を示すフロー図である。
電子デバイス上のイベントのためのアラート条件を処理する例示的なユーザインタフェース及びシーンを示す。 電子デバイス上のイベントのためのアラート条件を処理する例示的なユーザインタフェース及びシーンを示す。 電子デバイス上のイベントのためのアラート条件を処理する例示的なユーザインタフェース及びシーンを示す。 電子デバイス上のイベントのためのアラート条件を処理する例示的なユーザインタフェース及びシーンを示す。 電子デバイス上のイベントのためのアラート条件を処理する例示的なユーザインタフェース及びシーンを示す。 電子デバイス上のイベントのためのアラート条件を処理する例示的なユーザインタフェース及びシーンを示す。
電子デバイス上のイベントのためのアラート条件を処理する方法を示すフロー図である。 電子デバイス上のイベントのためのアラート条件を処理する方法を示すフロー図である。
音声入力及びキャプチャされた画像データに基づいて、機能を実行する例示的なユーザインタフェース及びシーンを示す。 音声入力及びキャプチャされた画像データに基づいて、機能を実行する例示的なユーザインタフェース及びシーンを示す。 音声入力及びキャプチャされた画像データに基づいて、機能を実行する例示的なユーザインタフェース及びシーンを示す。 音声入力及びキャプチャされた画像データに基づいて、機能を実行する例示的なユーザインタフェース及びシーンを示す。 音声入力及びキャプチャされた画像データに基づいて、機能を実行する例示的なユーザインタフェース及びシーンを示す。 音声入力及びキャプチャされた画像データに基づいて、機能を実行する例示的なユーザインタフェース及びシーンを示す。
音声入力及びキャプチャされた画像データに基づいて、機能を実行する方法を示すフロー図である。 音声入力及びキャプチャされた画像データに基づいて、機能を実行する方法を示すフロー図である。
高ダイナミックレンジ（ＨＤＲ）（high dynamic range）画像を生成する例示的なユーザインタフェース、シーン、及び画像データを示す。 高ダイナミックレンジ（ＨＤＲ）（high dynamic range）画像を生成する例示的なユーザインタフェース、シーン、及び画像データを示す。 高ダイナミックレンジ（ＨＤＲ）（high dynamic range）画像を生成する例示的なユーザインタフェース、シーン、及び画像データを示す。 高ダイナミックレンジ（ＨＤＲ）（high dynamic range）画像を生成する例示的なユーザインタフェース、シーン、及び画像データを示す。 高ダイナミックレンジ（ＨＤＲ）（high dynamic range）画像を生成する例示的なユーザインタフェース、シーン、及び画像データを示す。 高ダイナミックレンジ（ＨＤＲ）（high dynamic range）画像を生成する例示的なユーザインタフェース、シーン、及び画像データを示す。 高ダイナミックレンジ（ＨＤＲ）（high dynamic range）画像を生成する例示的なユーザインタフェース、シーン、及び画像データを示す。 高ダイナミックレンジ（ＨＤＲ）（high dynamic range）画像を生成する例示的なユーザインタフェース、シーン、及び画像データを示す。
高ダイナミックレンジ（ＨＤＲ）画像を生成する方法を示すフロー図である。 高ダイナミックレンジ（ＨＤＲ）画像を生成する方法を示すフロー図である。
コンポジット画像を生成する例示的なユーザインタフェースを示す。 コンポジット画像を生成する例示的なユーザインタフェースを示す。 コンポジット画像を生成する例示的なユーザインタフェースを示す。 コンポジット画像を生成する例示的なユーザインタフェースを示す。 コンポジット画像を生成する例示的なユーザインタフェースを示す。 コンポジット画像を生成する例示的なユーザインタフェースを示す。 コンポジット画像を生成する例示的なユーザインタフェースを示す。 コンポジット画像を生成する例示的なユーザインタフェースを示す。 コンポジット画像を生成する例示的なユーザインタフェースを示す。 コンポジット画像を生成する例示的なユーザインタフェースを示す。 コンポジット画像を生成する例示的なユーザインタフェースを示す。
コンポジット画像を生成する方法を示すフロー図である。 コンポジット画像を生成する方法を示すフロー図である。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、代わりに例示的な実施形態の説明として提供されることを認識されたい。
特定の瞬間の視覚的表現を単に保存するためだけでなく、アバター及び／又は画像データを使用するための効率的な方法及びインタフェースを提供する電子デバイスが必要とされていている。以下に説明する技術のうちのいくつかの実施形態を使用することにより、アバター及び／又は画像データを用いて、電子デバイス及び他のユーザとのユーザ対話を拡張することができる。そのような技術は、他のユーザと通信し、彼らの電子デバイスと対話するためにアバター及び／又は画像データを使用しているユーザの認識的負担を軽減し、それによって生産性を向上させることができる。更に、このような技法は、普通なら冗長なユーザ入力に浪費されるプロセッサ及び電池の電力を低減させることができる。
以下、図１Ａ～図１Ｂ、図２、図３、図４Ａ～図４Ｂ、及び図５Ａ～図５Ｂにより、以下に記載される、ユーザ対話を拡張するために画像データを使用する技術を実行するための例示的なデバイスの説明を提供する。
図６Ａ～図６Ｊは、アバターを有するメッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。図７Ａ～図７Ｂは、いくつかの実施形態に係る、アバターを有するメッセージに対するユーザステータス情報を通信するための方法を示すフロー図である。図６Ａ～図６Ｇにおけるユーザインタフェースは、図７Ａ～図７Ｂにおけるプロセスを含む、以下において説明されるプロセスを例示するために用いられる。
図９Ａ～図９Ｌは、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。図１０Ａ～図１０Ｂは、いくつかの実施形態に係る、３Ｄモデルを構築するデータをキャプチャするための方法を示すフロー図である。図９Ａ～図９Ｌにおけるユーザインタフェースは、図１０Ａ～図１０Ｂにおけるプロセスを含む、以下において説明されるプロセスを例示するために用いられる。
図１２Ａ～図１２Ｊは、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。図１３Ａ～図１３Ｂは、いくつかの実施形態に係る、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための方法を示すフロー図である。図１２Ａ～図１２Ｊにおけるユーザインタフェースは、図１３Ａ～図１３Ｂにおけるプロセスを含む、以下において説明されるプロセスを例示するために用いられる。
図１６Ａ～図１６Ｇは、キャプチャされた画像データ及び１つ以上の基準のセットに基づいて、動作の実行を制限する例示的なユーザインタフェースを示す。図１７Ａ～図１７Ｂは、いくつかの実施形態による、キャプチャされた画像データ及び１つ以上の基準のセットに基づいて、動作の実行を制限する方法を示すフロー図である。図１６Ａ～図１６Ｇのユーザインタフェースは、図１７Ａ～図１７Ｂのプロセスを含む後述するプロセスを示す。
図１８Ａ～図１８Ｌは、セキュリティ強化ベースのキャプチャされた画像データ及び１つ以上の認可基準のセットの例示的なユーザインタフェースを示す。図１９Ａ～図１９Ｂは、いくつかの実施形態による、セキュリティ強化ベースのキャプチャされた画像データ及び１つ以上の認可基準のセットの方法を示すフロー図である。図１８Ａ～図１８Ｌのユーザインタフェースは、図１９Ａ～図１９Ｂのプロセスを含む後述するプロセスを示す。
図２０Ａ～図２０Ｆは、キャプチャされた画像データに基づいて、電子デバイス上のイベントに対応するアラート条件を処理する例示的なユーザインタフェース及びシーンを示す。図２１Ａ～図２１Ｂは、いくつかの実施形態による、キャプチャされた画像データに基づいて、電子デバイス上のイベントに対応するアラート条件を処理する方法を示すフロー図である。図２０Ａ～図２０Ｆのユーザインタフェースは、図２１Ａ～図２１Ｂのプロセスを含む後述するプロセスを示す。
図２２Ａ～図２２Ｆは、キャプチャされた画像データに基づいて、曖昧な音声コマンドを実行する例示的なユーザインタフェース及びシーンを示す。図２３Ａ～図２３Ｂは、いくつかの実施形態による、キャプチャされた画像データに基づいて、曖昧な音声コマンドを実行する方法を示すフロー図である。図２２Ａ～図２２Ｆのユーザインタフェースは、図２３Ａ～図２３Ｂのプロセスを含む後述するプロセスを示す。
図２４Ａ～図２４Ｈは、高ダイナミックレンジ（ＨＤＲ）画像を生成する例示的なユーザインタフェース及びキャプチャされた画像データを示す。図２５Ａ～図２４Ｂは、いくつかの実施形態による、高ダイナミックレンジ（ＨＤＲ）画像を生成する方法を示すフロー図である。図２４Ａ～図２４Ｈのユーザインタフェースは、図２５Ａ～図２５Ｂのプロセスを含む後述するプロセスを示す。
図２６Ａ～図２６Ｋは、コンポジット画像を生成する例示的なユーザインタフェース、シーン、及びキャプチャされた画像データを示す。図２７Ａ～図２７Ｂは、いくつかの実施形態による、コンポジット画像を生成する方法を示すフロー図である。図２６Ａ～図２６Ｋのユーザインタフェースは、図２７Ａ～図２７Ｂのプロセスを含む後述するプロセスを示す。
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。第１のタッチ及び第２のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「～の場合（if）」という用語は、任意選択的に、文脈に応じて、「～とき（when）」若しくは「～とき（upon）」、又は「～と判定したことに応じて（in response to determining）」若しくは「～を検出したことに応じて（in response to detecting）」を意味すると解釈される。同様に、「～と判定された場合（if it is determined）」又は「［記載の状態又はイベント］が検出された場合（if[a stated condition or event]is detected）」という語句は、任意選択的に、文脈に応じて、「～と判定したとき（upon determining）」若しくは「～と判定したことに応じて（in response to determining）」、又は「［記載の状態又はイベント］を検出したとき（upon detecting[the stated condition or event]）」若しくは「［記載の状態又はイベント］を検出したことに応じて（in response to detecting[the stated condition or event]）」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面を有するラップトップ又はタブレットコンピュータ（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）などの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面を有するデスクトップコンピュータ（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）であることも理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションに対応する。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調節及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透過的なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態によるタッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力コントロールデバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出する１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求の範囲では、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当たりの力）、又はタッチ感知面上の接触の力若しくは圧力に対する代理（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して、特定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、接触の推定される力を判定するために組み合わされる（例えば、加重平均）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を特定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。いくつかの実装形態では、接触の力又は圧力のための代替測定値は、強度閾値を超えているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装形態では、接触力又は圧力に対する代理測定は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超過したかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するための、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的／機械的制御部を介して）受信するための面積が制限されている、低減されたサイズのデバイス上で、通常であればユーザによってアクセスすることが不可能であり得る追加のデバイス機能への、ユーザのアクセスが可能となる。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。いくつかの場合、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。従って、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組合せるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組合せで実施される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
周辺機器インタフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上で実施される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（radio frequency）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。ＲＦ回路１０８は、任意選択的に、短距離通信無線機などによって近距離通信（near field communication、ＮＦＣ）フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、動き通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケットアクセス（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケットアクセス（high-speed uplink packet access、ＨＳＵＰＡ）、エボリューションデータオンリ（Evolution,Data-Only、ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Dual-Cell HSPA、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離通信（ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈローエネルギ（Bluetooth Low Energy、ＢＴＬＥ（登録商標））、ワイヤレスフィデリティ（Wireless Fidelity、Ｗｉ－Ｆｉ（登録商標））（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／若しくはＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ（登録商標）、電子メール用プロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能なメッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレベレイジングエクステンションのためのセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適した通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に伝送する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に伝送する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を有するヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力コントロールデバイス１１６などのデバイス１００上の入出力周辺機器を、周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくはコントロールデバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力コントロールデバイス１１６からの電気信号の受信／他の入力コントロールデバイス１１６への電気信号の送信を行う。他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替実施形態では、入力コントローラ１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又はいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量コントロールのための上下ボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。
全体として参照により本明細書に組み込まれている、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン１１２のロックを係合解除し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをアンロックするプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押下は、任意選択的に、デバイス１００への電力をオン又はオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実施するために使用される。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信及び／又はタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組合せ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又はすべては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚及び／又は触知接触に基づいてユーザからの入力を受信するタッチ感知面、センサ、又は１組のセンサを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は（あらゆる関連モジュール及び／又はメモリ１０２内の命令セットとともに）、タッチスクリーン１１２上の接触（及び接触のあらゆる動き又は中断）を検出し、検出した接触を、タッチスクリーン１１２上に表示されるユーザインタフェースオブジェクトとの対話（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体として参照により本明細書に組み込まれている、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許公報第２００２／００１５０２４Ａ１号という米国特許に記載されているマルチタッチ感知タッチパッドに類似している。しかしながら、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」という出願に記載されている。これらの出願はすべて、全体として参照により本明細書に組み込まれている。
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に扱うように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど精密でない可能性がある。いくつかの実施形態では、デバイスは、指に基づく粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（図示せず）を含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、装置のタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２又はタッチスクリーンによって形成されるタッチ感知面の拡張部とは別個のタッチ感知面である。
デバイス１００は、また、様々なコンポーネントに電力を供給する電力システム１６２を含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４は、１つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ１６４は、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連動して、任意選択的に、静止画像又はビデオをキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対に、デバイス１００の裏面に位置し、従ってタッチスクリーンディスプレイは、静止画像及び／又はビデオ画像の取得のためのビューファインダとして使用することが有効である。いくつかの実施形態では、光センサは、デバイスの前面には位置し、従ってユーザの画像が、任意選択的に、テレビ会議のために入手され、ユーザは、他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る。いくつかの実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって）変更することができ、従って単一の光センサ１６４が、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び／又はビデオ画像の取得にも使用される。
また、デバイス１００は、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接している。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面に位置するタッチスクリーンディスプレイ１１２とは反対に、デバイス１００の裏面に位置する。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。代わりに、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体として参照により本明細書に組み込まれている、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように機能するものであり、これらの出願は、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、近接センサは、多機能デバイスがユーザの耳付近に配置されたとき（例えば、ユーザが電話をかけているとき）、タッチスクリーン１１２をオフにして無効化する。
また、デバイス１００は、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などのエネルギを直線の動きに変換する電気機械デバイスを含む。接触強度センサ１６５は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知することが可能な触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面に位置するタッチスクリーンディスプレイ１１２とは反対に、デバイス１００の裏面に位置する。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。代わりに、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体として参照により本明細書に組み込まれている、米国特許公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び米国特許公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチスクリーンディスプレイ上に表示される。デバイス１００は任意選択で、加速度計（単数又は複数）１６８に加えて、磁気計（図示せず）並びにデバイス１００の位置及び向き（例えば、縦向き又は横向き）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機（図示せず）を含む。
いくつかの実施形態では、メモリ１０２内に記憶されているソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａ及び図３に示されるように、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占有しているかを示すディスプレイ状態、デバイスの様々なセンサ及び入力コントロールデバイス１１６から入手した情報を含むセンサ状態、並びにデバイスの場所及び／又は姿勢に関する場所情報のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込み型オペレーティングシステム）は、通常のシステムタスク（例えば、メモリ管理、記憶デバイスの制御、電力管理など）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェアとソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えばユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに連結するように適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは類似であり、かつ／又はそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチスクリーン１１２（ディスプレイコントローラ１５６と連動して）及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が生じたかを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するかを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したかを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行する、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触／動きモジュール１３０は、１つ以上の強度閾値のセットを使用して、ユーザによって操作が実行されたかどうかを判定する（例えば、ユーザがアイコン上で「クリック」したかどうかを判定する）。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットが、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス１００の物理ハードウェアを変化させることなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変化させることなく、広範囲の所定の閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザは、１組の強度閾値の１つ以上を調整するソフトウェア設定が提供される（例えば、システムレベルのクリック「強度」パラメータによって、個々の強度閾値を調整すること、及び／又は複数の強度閾値を一度に調整することによる）。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。従って、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置（又は実質上同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的な影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性）を変化させる構成要素を含めて、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な知られているソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力するスクリーンの画像データを生成する。
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応じて、デバイス１００上の１つ以上の場所で触知出力を生成するために、触知出力生成器（単数又は複数）１６７によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は、任意選択で、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために（例えば、位置に基づくダイヤル発呼で使用するために電話１３８へ、画像／ビデオのメタデータとしてカメラ１４３へ、並びに、天気ウィジェット、地域のイエローページウィジェット、及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）提供する。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●任意選択的に気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作るウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを一体化したビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は、
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、連絡先モジュール１３７は、任意選択的に、アドレス帳に名前（単数又は複数）を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始及び／又は促進することなどを含めて、アドレス帳又は連絡先リスト（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶される）を管理するために使用される。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、電話モジュール１３８は、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、会話の実施、会話が終了したときの通話停止又はハングアップのために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連動して、テレビ会議モジュール１３９は、ユーザ命令に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、電子メールクライアントモジュール１４０は、ユーザ命令に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール１４４と連動して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、それぞれのインスタントメッセージの送信（例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコル、又はインターネットベースのインスタントメッセージ向けのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用する）、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽プレーヤモジュールと連動して、トレーニングサポートモジュール１４２は、トレーニング（例えば、時間、距離、及び／又はカロリー燃焼目標を有する）の作成、トレーニングセンサ（スポーツデバイス）との通信、トレーニングセンサデータの受信、トレーニングをモニタするために使用されるセンサの較正、トレーニングのための音楽の選択及び再生、並びに、トレーニングデータの表示、記憶、及び送信のための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連動して、カメラモジュール１４３は、静止画像若しくはビデオ（ビデオストリームを含む）のキャプチャ及びメモリ１０２内への記憶、静止画像若しくはビデオの特性の修正、又はメモリ１０２からの静止画像若しくはビデオの削除のための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と連動して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像の配置、修正（例えば、編集）、あるいはその他の操作、ラベル付け、削除、提示（例えば、デジタルスライドショー又はアルバムにおける）、及び記憶のための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、ブラウザモジュール１４７は、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含めて、ユーザ命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連動して、カレンダモジュール１４８は、ユーザ命令に従ってカレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ入力、やることリストなど）を作成、表示、修正、及び記憶するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連動して、ウィジェットモジュール１４９は、任意選択的にユーザによってダウンロード及び使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ；ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ；カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ：拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連動して、ウィジェットクリエータモジュール１５０は、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、検索モジュール１５１は、ユーザ命令に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）に一致するメモリ１０２内の文字、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索するための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連動して、ビデオ及び音楽プレーヤモジュール１５２は、ユーザがＭＰ３若しくはＡＡＣファイルなどの１つ以上のファイル形式で記憶されている記録された音楽及び他のサウンドファイルをダウンロード及び再生することを可能にする実行可能な命令、並びにビデオを表示、提示、又は他の方法で（例えば、タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部ディスプレイ上に）再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ社の商標）などのＭＰ３プレーヤの機能を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、メモモジュール１５３は、ユーザ命令に従ってメモ、やることリストなどを作成及び管理するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連動して、地図モジュール１５４は、任意選択的に、ユーザ命令に従って、地図及び地図に関連付けられたデータ（例えば、運転方向、特定の場所又はその付近の店舗及び他の対象地点に関するデータ、並びに他の場所ベースのデータ）を受信、表示、修正、及び記憶するために使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連動して、オンラインビデオモジュール１５５は、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、受信（例えば、ストリーミング及び／又はダウンロードによる）、再生（例えば、タッチスクリーン上又は外部ポート１２４を介して接続された外部ディスプレイ上）、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容が全体として参照により本明細書に組み込まれている、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」において見ることができる。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した１つ以上の機能及び本出願に記載する方法（例えば、本明細書に記載するコンピュータにより実施される方法及び他の情報処理方法）を実行する１組の実行可能な命令に対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、従って、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は他の形で再構成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける所定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを通じて実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される所定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態によるイベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）と、それぞれのアプリケーション１３６－１（例えば、前述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）とを含む。
イベントソータ１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６－１及びアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ１１２上に表示される現在のアプリケーションビューを示すアプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を決定するためにイベントソータ１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用される再開情報、アプリケーション１３６－１によって表示されている又は表示される準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の以前の状態又はビューに戻ることを可能にする状態待ち行列、及びユーザが行った以前のアクションのリドゥ／アンドゥ待ち行列のうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としてのタッチ感知ディスプレイ１１２上のユーザタッチ）に関する情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を伝送する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を伝送する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の持続時間を超える入力の受信）があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示するとき、サブイベントが１つ以上のビュー内のどこで行われたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するときには、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成するサブイベントシーケンス内の第１のサブイベント）が行われる最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定された後、このヒットビューは、典型的には、ヒットビューとして特定されたのと同じタッチ又は入力ソースに関係するすべてのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含むすべてのビューがアクティブに関わりがあるビューであると判定し、従って、すべてのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連するエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態において、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部１８２によって取得されるイベント情報をイベント待ち行列に記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。代替として、アプリケーション１３６－１がイベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュール、又は接触／動きモジュール１３０などの、メモリ１０２に記憶された別のモジュールの一部である。
いくつかの実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット（図示せず）又はアプリケーション１３６－１が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、対応するイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、任意選択的に、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し又は呼び出して、アプリケーション内部状態１９２を更新する。別法として、アプリケーションビュー１９１のうちの１つ以上が、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７及びＧＵＩ更新部１７８のうちの１つ以上は、対応するアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、このイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）及びイベント２（１８７－２）などのイベント（例えば所定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント（１８７）内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの動き、タッチの取り消し、及び複数のタッチを含む。一例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、及び所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクトのタッチ（又は接触）、タッチ感知ディスプレイ１１２におけるタッチの動き、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントはまた、１つ以上の関連付けられたイベント処理部１９０に関する情報を含む。
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２上に、３つのユーザインタフェースオブジェクトが表示されているアプリケーションビューでは、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのいずれが、そのタッチ（サブイベント）と関連付けられているかを判定するために、ヒットテストを実行する。表示された各オブジェクトが、対応するイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント（１８７）に対する定義はまた、サブイベントシーケンスがイベント認識部のイベントタイプに対応するか否かが判定される後までイベント情報の伝送を遅延する遅延アクションを含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のいずれのイベントとも一致しないと判断した場合には、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態になり、その後は、タッチによるジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、対応するイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することができるようになっているかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントと関連付けられたフラグを投入し、そのフラグと関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新する、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含むか又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザタッチのイベント処理に関する上記の論考は、入力デバイスを有する多機能デバイス１００を動作させるためのユーザ入力の他の形態にも当てはまり、それらのユーザ入力は、必ずしもすべてがタッチスクリーン上で開始されるとは限らないことが理解されよう。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の動き、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された目の動き、バイオメトリック入力、並びに／又はそれらの任意の組合せを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図２は、いくつかの実施形態によるタッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、任意選択的に、１つ以上のタップ、１つ以上のスワイプ（左から右、右から左、上向き、及び／若しくは下向き）、並びに／又はデバイス１００と接触した指のロール（右から左、左から右、上向き、及び／若しくは下向き）を含む。いくつかの実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００はまた、任意選択的に、「ホーム」ボタン又はメニューボタン２０４などの１つ以上の物理ボタンを含む。前述したように、メニューボタン２０４は、任意選択的に、任意選択的にデバイス１００上で実行される１組のアプリケーション内の任意のアプリケーション１３６へナビゲートするために使用される。別法として、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２上に表示されるＧＵＩ内のソフトキーとして実施される。
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、所定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、所定の期間が経過する前にボタンを解放することによって、デバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替的実施形態では、デバイス１００はまた、マイクロフォン１１３を介して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力も受け入れる。デバイス１００はまた、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７を含む。
図３は、いくつかの実施形態によるディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又はコントロールデバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、ディスプレイ３４０を備える入出力（Ｉ／Ｏ）インタフェース３３０を含み、ディスプレイ３４０は、典型的には、タッチスクリーンディスプレイである。Ｉ／Ｏインタフェース３３０はまた、任意選択的に、キーボード及び／又はマウス（若しくは他のポインティングデバイス）３５０と、タッチパッド３５５と、デバイス３００上に触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して前述した触知出力生成器１６７に類似している）と、センサ３５９（例えば、図１Ａを参照して前述した接触強度センサ１６５に類似している光、加速度、近接、タッチ感知、及び／又は接触強度センサ）とを含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、ＣＰＵ３１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ３７０は任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
図３の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの１つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する１組の命令に対応する。上記で特定したモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、従って様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に、組み合わされ、又は他の形で再構成される。いくつかの実施形態では、メモリ３７０は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
次に、任意選択的に例えばポータブル多機能デバイス１００上で実施されるユーザインタフェースの実施形態に注意を向ける。
図４Ａは、いくつかの実施形態によるポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８、
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２のアイコン４２２、及び
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「地図」のラベル付けされた、地図モジュール１５４のためのアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に対する設定へのアクセスを提供する「設定」のラベル付きの設定アプリケーション又はモジュールのためのアイコン４４６。
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２のためのアイコン４２２は、「音楽」又は「音楽プレーヤ」と表示される、他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対する触知出力を生成する１つ以上の触知出力生成器３５７を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ１１２（タッチ感知面及びディスプレイが組み合わされている）上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の１次軸（例えば、図４Ｂの４５３）に対応する１次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの場所に対応する場所（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにこれらの動き）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して与えられるが、いくつかの実施形態では、指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）に置き換えられることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりの）マウスクリックに続けた、（例えば、接触の移動の代わりの）スワイプの経路に沿ったカーソルの移動によって、任意選択的に置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００及びデバイス３００（例えば、図１Ａ～図４Ｂ）に関して説明された特徴のいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以下タッチスクリーン５０４を有する。タッチスクリーン５０４に対する別法又は追加として、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及び３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出及び処理する例示的な技法は、例えば、それぞれ全体として参照により本明細書に組み込まれている、国際特許第ＷＯ／２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、及び国際特許第ＷＯ／２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」という関連出願に見られる。
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合、物理的機構とすることができる。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、アイウェア、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、及び図３に関して説明された構成要素のいくつか又は全てを含み得る。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に強度センサ５２４（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット５３０に接続することができる。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構５０８は、任意選択的にボタンである。
いくつかの例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はこれらの組合せなどの様々なセンサを含み、これらのセンサはすべて、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス７００、１０００、及びプロセス１３００（図７Ａ～図７Ｂ、図１０Ａ～図１０Ｂ、及び図１３Ａ～図１３Ｂ）を含めた、以下に説明する技術を実行させることができる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書において使用するとき、用語「アフォーダンス」は、デバイス１００、３００及び／又は５００（図１Ａ、図３及び図５Ａ）のディスプレイスクリーン上に任意選択的に表示されるユーザ対話式のグラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及び文字（例えば、ハイパーリンク）はそれぞれ、意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の場所マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、従ってカーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上に位置する間に、タッチ感知面（例えば、図３のタッチパッド３５５又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を有効化するタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２又は図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、従ってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の場所で入力（例えば、接触による押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、タッチスクリーンディスプレイ上の対応するカーソルの動き又は接触の動き（例えば、フォーカスを１つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによる）なく、フォーカスがユーザインタフェースの１つの領域からユーザインタフェースの別の領域へ動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる特有の形態に関わらず、フォーカスセレクタは、概して、ユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）であり、ユーザの意図する対話をユーザインタフェースによって通信するように、ユーザによって制御される（例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによる）。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用される、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）に関連する既定の時間期間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（mean）値、接触の強度の平均（average）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づいている。いくつかの実施形態では、特性強度を特定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって操作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１組の１つ以上の強度閾値は、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超過しない特性強度を有する接触は、第１の動作をもたらし、第１の強度閾値を超過するが第２の強度閾値を超過しない特性強度を有する接触は、第２の動作をもたらし、第２の閾値を超過する特性強度を有する接触は、第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを取り止めるべきか）を判定するために使用される。
図５Ｃは、複数の強度センサ５２４Ａ～５２４Ｄによってタッチ感知ディスプレイスクリーン５０４上で複数の接触５５２Ａ～５５２Ｅを検出することを示す。図５Ｃは、追加として、強度単位に対する強度センサ５２４Ａ～５２４Ｄの現在の強度測定値を示す強度ダイアグラムを含む。この例では、強度センサ５２４Ａ及び５２４Ｄの強度測定値はそれぞれ９強度単位であり、強度センサ５２４Ｂ及び５２４Ｃの強度測定値はそれぞれ７強度単位である。いくつかの実装形態では、集約強度は、複数の強度センサ５２４Ａ～５２４Ｄの強度測定値の和であり、この例では３２強度単位である。いくつかの実施形態では、各接触に、集約強度の一部分であるそれぞれの強度が割り当てられる。図５Ｄは、力の中心５５４からの距離に基づいて、集約強度を接触５５２Ａ～５５２Ｅに割り当てることを示す。この例では、接触５５２Ａ、５５２Ｂ、及び５５２Ｅのそれぞれに、集約強度の８強度単位の接触の強度が割り当てられ、接触５５２Ｃ及び５５２Ｄのそれぞれに、集約強度の４強度単位の接触の強度が割り当てられる。より一般的には、一部の実装例では、各接触ｊは、所定の数学関数Ｉｊ＝Ａ・（Ｄｊ／ΣＤｉ）に従って、合計の強度Ａの一部分である、それぞれの強度Ｉｊが割り当てられ、ここで、Ｄｊは、力の中心からそれぞれの接触ｊまでの距離であり、ΣＤｉは、力の中心から全てのそれぞれ接触（例えば、ｉ＝１から最後まで）までの距離の和である。図５Ｃ～図５Ｄを参照して説明した動作は、デバイス１００、３００又は５００と類似若しくは同一の電子デバイスを使用して行うことができる。いくつかの実施形態では、接触の特性強度は、接触の１つ以上の強度に基づいている。いくつかの実施形態では、強度センサは、単一の特性強度（例えば、単一の接触の単一の特性強度）を判定するために使用される。強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図５Ｃ～５Ｄに含まれていることに留意されたい。
いくつかの実施形態では、特性強度を特定する目的のために、ジェスチャの一部分が識別される。例えば、タッチ感知面は、任意選択的に、開始場所から遷移して終了場所に到達する連続するスワイプ接触を受信し、その時点で接触の強度が増大する。この例では、終了場所での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ（例えば、スワイプ接触のうち終了場所の部分のみ）に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を特定する目的のために、スワイプ接触の強度の小幅な上昇又は降下を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下の強度閾値、深い押下の強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押下の強度閾値を下回る（例えば、それを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る）特性強度を有する接触が検出されたとき、デバイスは、軽い押下の強度閾値又は深い押下の強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の動きに従ってフォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の様々なセットの間で一貫している。
軽い押下の強度閾値を下回る強度から、軽い押下の強度閾値と深い押下の強度閾値との間の強度への、接触の特性強度の増大は、「軽い押下」の入力と呼ばれることがある。深い押下の強度閾値を下回る強度から、深い押下の強度閾値を上回る強度への、接触の特性強度の増大は、「深い押下」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押下の強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値は、ゼロより大きい。
本明細書に記載するいくつかの実施形態では、それぞれの押下入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは複数の接触）によって実行されたそれぞれの押下入力を検出したことに応じて、１つ以上の動作が実行され、それぞれの押下入力は、押下入力強度閾値を上回る接触（又は複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押下入力強度閾値を上回るそれぞれの接触の強度の増大（例えば、それぞれの押下入力の「ダウンストローク」）を検出したことに応じて実行される。いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押下入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押下入力の「アップストローク」）を検出したことに応じて実行される。
図５Ｅ～５Ｈは、図５Ｅの軽い押下の強度閾値（例えば、「ＩＴＬ」）を下回る強度から、図５Ｈの深い押下の強度閾値（例えば、「ＩＴＤ」）を上回る強度への、接触５６２の強度の増大に対応する押下入力を含むジェスチャの検出を示す。接触５６２によって実行されるジェスチャは、タッチ感知面５６０上で検出され、所定の領域５７４内に表示されたアプリケーションアイコン５７２Ａ～５７２Ｄを含む表示ユーザインタフェース５７０上では、アプリ２に対応するアプリケーションアイコン５７２Ｂの上にカーソル５７６が表示される。いくつかの実施形態では、ジェスチャは、タッチ感知ディスプレイ５０４上に検出される。強度センサは、タッチ感知面５６０上の接触の強度を検出する。デバイスは、接触５６２の強度が深い押下の強度閾値（例えば、「ＩＴＤ」）を上回ってピークに達したと判定する。接触５６２は、タッチ感知面５６０上で維持される。ジェスチャの検出に応じて、ジェスチャ中に深い押下の強度閾値（例えば、「ＩＴＤ」）を上回る強度を有する接触５６２に従って、図５Ｆ～５Ｈに示すように、アプリ２に対して最近開いた文書の縮尺が低減された表現５７８Ａ～５７８Ｃ（例えば、サムネイル）が表示される。いくつかの実施形態では、１つ以上の強度閾値と比較されるこの強度は、接触の特性強度である。接触５６２に対する強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図５Ｅ～５Ｈに含まれていることに留意されたい。
いくつかの実施形態では、表現５７８Ａ～５７８Ｃの表示は、アニメーションを含む。例えば、図５Ｆに示すように、表現５７８Ａが、アプリケーションアイコン５７２Ｂに近接して最初に表示される。アニメーションが進むにつれて、図５Ｇに示すように、表現５７８Ａは上方へ動き、表現５７８Ｂが、アプリケーションアイコン５７２Ｂに近接して表示される。次いで、図５Ｈに示すように、表現５７８Ａが上方へ動き、表現５７８Ｂが表現５７８Ａに向かって上方へ動き、表現５７８Ｃが、アプリケーションアイコン５７２Ｂに近接して表示される。表現５７８Ａ～５７８Ｃは、アイコン５７２Ｂの上にアレイを形成する。いくつかの実施形態では、アニメーションは、図５Ｆ～５Ｇに示すように、接触５６２の強度に従って進行し、接触５６２の強度が深い押下の強度閾値（例えば、「ＩＴＤ」）に向かって増大するにつれて、表現５７８Ａ～５７８Ｃが現れ、上方へ動く。いくつかの実施形態では、アニメーションの進行が基づいている強度は、接触の特性強度である。図５Ｅ～５Ｈを参照して説明する動作は、デバイス１００、３００、又は５００に類似又は同一の電子デバイスを使用して実行することができる。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な割合である）。従って、いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押下入力の「アップストローク」）を検出したことに応じて実行される。同様に、いくつかの実施形態では、押下入力は、デバイスが、ヒステリシス強度閾値以下の強度から押下入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押下入力（例えば、状況に応じて、接触の強度の増大又は接触の強度の減少）を検出したことに応じて実行される。
説明を容易にするために、押下入力強度閾値に関連付けられた押下入力、又は押下入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押下入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押下入力強度閾値を上回る強度への接触の強度の増大、押下入力強度閾値を下回る接触の強度の減少、及び／又は押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
次に、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上で実施されるユーザインタフェース（「ＵＩ」）及び関連プロセスの実施形態に注意を向ける。
図６Ａ～図６Ｊは、いくつかの実施形態に係る、メッセージに対するユーザステータス情報を通信するための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図７Ａ～図７Ｂにおけるプロセスを含む、後述のプロセスを例示するために使用される。
図６Ａは、いくつかの例では前述のデバイス１００、デバイス３００、又はデバイス５００の特定のフォームファクタである、デバイス６００を示す。デバイス６００は、いくつかの実施形態ではタッチ感知ディスプレイであるディスプレイ６０１と、画像センサ６０２とを含む。加えて、デバイス６００のいくつかの実施形態では、画像センサ６０２と共に、追加のセンサ（例えば、深度センサ、ＩＲセンサなど）、及び／又は他の構成要素（例えば、フラッシュ又はＩＲエミッタ）が存在する。
図６Ａでは、デバイス６００は、「Ｊｏｅ」という名前の連絡先のデバイスと通信するメッセージングインタフェース６０３をディスプレイ６０１上に表示する。メッセージングインタフェース６０３は、戻るボタン６０４、ユーザ名６０５、ユーザ写真６０６、及び連絡先情報ボタン６０７を含む。ユーザが戻るボタン６０４を選択したことに応じて、例えば、ディスプレイ６０１上の戻るボタン６０４上にタッチすることにより、メッセージングインタフェース６０３が、最近のメッセージが表示され、及び／又は通信するために他の連絡先が選択される、メインメッセージング画面に戻る。ユーザ名６０５及びユーザ写真６０６は、メッセージングインタフェース６０３が通信するように構成されている他のユーザを示す。ユーザ写真６０６は、例えば、他のユーザに対するアバター（例えば、絵文字、若しくは非写実的なグラフィック表現などの他のグラフィック表現）、他のユーザの写真、又は他の連絡先に関連付けられた何らかの他の画像である。ユーザが連絡先情報ボタン６０７を選択したことに応じて、他のユーザに関連付けられたオプション、設定、及び他のアクションにアクセス可能である。いくつかの例では、連絡先情報ボタン６０７により、ユーザが他の通信チャネルを使用して他のユーザとの通信を開始することを可能にするユーザインタフェースページを、デバイス６００に開かせ、ユーザが特定の種類の情報（例えば、現在位置）を他のユーザに送信することを可能にし、ユーザが他のユーザに対する通信設定を変更することを可能にし、及び／又はユーザが他のユーザとの以前の通信に関する情報をレビューすることを可能にする。
メッセージングインタフェース６０３は、図６Ａでは空であるメッセージエリア６０８と、メッセージ入力領域６０９とを含む。メッセージ入力領域は、写真ボタン６１０、描画ボタン６１１、ステッカー／絵文字ボタン６１２、テキスト入力フィールド６１３、及び音声認識ボタン６１４を含む。写真ボタン６１０は、ユーザが既存の画像／ビデオを選択すること、又は新しい画像／ビデオをキャプチャして他のユーザへのメッセージに含めることを可能にする。描画ボタン６１１は、ユーザがスケッチを作成して他のユーザへのメッセージに含めることを可能にする。ステッカー／絵文字ボタン６１２により、ユーザが、他のユーザへのメッセージに含めるためにステッカー及び／又は絵文字を選択することを可能にする。テキスト入力フィールド６１３は、ユーザが他のユーザへのメッセージに含まれることになるテキストをユーザが入力することを可能にする。図６Ａでは、テキスト入力フィールド６１３は、他のユーザに送信されることになるテキストメッセージの種類を示す単語「ｉＭｅｓｓａｇｅ（登録商標）」を含む。音声認識ボタン６１４は、ユーザが、テキストを手動で入力する代わりに、デバイス６００に話しかけることによってテキスト入力フィールド６１３のテキストを入力できるようにする。
図６Ｂに示すように、図６Ａのタッチ６１５などのテキスト入力フィールド６１３を選択するユーザ入力に応じて、キーボード６１６がディスプレイ６０１上に表示される。加えて、テキスト入力フィールド６１３がディスプレイの上方に移動し、図６Ａの写真ボタン６１０、描画ボタン６１１、及びステッカー／絵文字ボタン６１２を隠すことによって拡大する。これらのボタンは、ユーザが展開ボタン６１７を選択すると再表示される。また、いくつかの例では、カーソル（図示せず）が、テキスト入力フィールド６１３の内部に表示される。
図６Ｃに示すように、キーボード６１６上の文字選択に応じて（例えば、文字「Ｈ」及び「Ｉ」上の、図６Ｂのタッチ６１８及び６１９などのキーボード６１６上のタッチをそれぞれ介して）、選択した文字を含めるようにテキスト入力フィールド６１３が更新される。加えて、音声認識ボタン６１４（図６Ｂ）が送信ボタン６２０に置き換えられ、送信ボタン６２０が、入力されたテキスト、及び画像データなどの他のデータを含む現在入力されているメッセージを他のユーザに送信する。
図６Ｄは、キーボード６１６の追加のタッチを介する追加のテキスト入力の後の、メッセージングインタフェース６０３を示す。テキスト入力フィールド６１３は、追加の入力されたテキストを含む。
ユーザがテキスト入力フィールド６１３にテキストを入力すると、ユーザは、例えばディスプレイ６０１上のタッチ６２１を介して送信ボタン６２０を選択することによって、メッセージの送信準備が整ったことを示す。それに応じて、デバイス６００は、図６Ｄの例では、テキスト入力フィールド６１３内のテキストを含むメッセージを用意する。いったんメッセージを送信する準備ができると、デバイス６００は、メッセージを他のユーザ（図６Ａ～図６Ｆの例の場合では、「Ｊｏｅ」という名前の他のユーザ）に送信する。メッセージの一部として又は別個のデータ送信としてのいずれかで、デバイス６００はまた、デバイス６００のユーザのステータスデータ（例えば、デバイス６００に現在関連付けられているユーザアカウントに関連付けられたステータスデータ）を他のユーザに送信する。いくつかの実施形態では、ユーザのステータスデータは、身体的状態（例えば、疲れた、病気、暑い、寒い、退屈）、又は感情的状態（例えば、幸せ、悲しい、心配、怒り）を表す。
ステータスデータは、任意の数のソースから取得することができる。一実施例では、ステータスデータは、ユーザにステータスのリストを提示し、ユーザ又はユーザが送信しているメッセージの内容を表すステータスのうちの１つをユーザが選択できるようにすることによって、取得される。換言すれば、ユーザが送信ボタン６２０を選択した後、デバイス６００は、ユーザがテキスト入力フィールド６１３のテキストを含むコンテンツを有するメッセージと関連付けて送信することを選択できるステータスのリストでユーザを促す。別の例では、ステータスデータを取得するために、デバイス６００はユーザに対するステータスデータを自動的に判定するように構成されている。いくつかの例では、デバイス６００は、（例えば、メッセージングアプリケーションを介して）メッセージの内容に基づいて、１つ以上の画像センサ（例えば、図６Ａの画像センサ６０２）を使用してユーザの画像データに基づいて、及び／又はデバイス６００に利用可能な他のコンテキスト情報（例えば、カレンダエントリ、天気、時間帯／年、場所など）に基づいて、ステータスデータを判定する。デバイス６００は、画像センサ６０２、又はバイオメトリックセンサなどの他のセンサからのデータを使用して、顔の表情を識別するため、又はユーザステータスを判定するための生理学的データ（例えば、心拍数又は体温）を取得するために、顔認識を実行することができる。いくつかの例では、ユーザステータスは、ユーザにとって個人的なものであり、ユーザに関連するオブジェクト（例えば、電子デバイス）には関連付けられていない。いったんユーザステータスデータが判定されると、ユーザステータスデータはメッセージと関連付けられ、メッセージと共に（例えば、メッセージの一部として）、又はメッセージとは別個に（例えば、メッセージの送信前に、メッセージの送信後に、若しくはメッセージの送信と同時に）のいずれかで、他のユーザに送信される。
図６Ｅに示すように、他のユーザへのメッセージ送った後、テキスト入力フィールド６１３のテキストを含む、メッセージ内容が、テキストボックス６２２内に表示されたメッセージエリア６０８内に表示される。テキストボックス６２２は、任意選択的に、メッセージの他の非テキストコンテンツ（例えば、画像、アニメーション、ビデオなど）も含む。テキストボックス６２２の表示に加えて、テキストボックス６２２に隣接してアバター６２３も表示される（例えば、メッセージがアバターの口から出る）。一部の実施形態において、アバター６２３は、デバイス６００のユーザを表す、予め定義された（例えば、ベースラインの）アバター又はアバターモデル（例えば、ワイヤ、メッシュ、又は構造モデル）に基づいて、生成される。加えて、アバター６２３は、テキストボックス６２２内のメッセージに関連付けられたユーザステータスデータに基づいている。例えば、テキストボックス６２２内のメッセージに対するユーザステータスデータは同情的であった。メッセージングアプリケーションは、笑顔のアバターがこのステータスデータに最も適していると判定した。従って、アバター６２３は、笑顔と温かい表情を表すように生成された。いくつかの例では、生成されたアバターは、アクセサリ（例えば、雨中の傘、ビーチにいるときのサングラス、ハロウィーンのときの衣装、又は誰かにハッピーバースデーを祈るときの贈り物）を含むことができる。いくつかの例では、生成されたアバターはアニメーションアバターである。
図６Ｆは、メッセージ及び関連するステータスデータが「Ｊｏｅ」という名前の他のユーザから受信された（例えば、他のユーザ「Ｊｏｅ」に関連付けられた電子デバイスから受信された）後のメッセージングインタフェース６０３を示す。メッセージエリア６０８内のテキストボックス６２４に、メッセージの内容が表示される。また、関連するアバター６２５がテキストボックス６２４に隣接して表示される。アバター６２３のように、アバター６２５は、デバイス６００のユーザではなくて、定義済み（例えば、ベースライン）のアバター又はアバターモデルが「ジョー」を表す場合を除いて、予め定義されたアバター又はアバターモデルに基づく。予め定義されたアバター又はアバターモデルは、任意選択的に、デバイス６００のユーザによって設定されるか、又は他のユーザ若しくはリモートサーバによって提供される。デバイス６００は、任意選択的に、予め定義されたアバター又はアバターモデルをローカルに記憶する、あるいは、必要に応じて、予め定義されたアバター又はアバターモデルを検索する。デバイス６００がＪｏｅなどの別のユーザからメッセージを受信すると、デバイス６００上のメッセージアプリケーションは、以前に定義されたアバター又はアバターモデルをロードし、それを修正又は使用して、受信メッセージに関連付けられたユーザステータスデータに基づいてアバターを生成する。上述のユーザステータスデータの送信と同様に、別のユーザから受信したメッセージに対するユーザステータスデータは、メッセージの一部として、又はメッセージとは別個に（例えば、メッセージの前、メッセージの後、若しくはメッセージと同時に）受信することができる。
他のユーザに対するユーザステータスデータは、任意選択的に、他のユーザのデバイス（例えば、「Ｊｏｅの」デバイス）が判定を行うことを除いて、ユーザに関して上述したのと同様の方法で判定される。テキストボックス６２４に関連付けられたメッセージに対して、他のユーザのデバイスは、ユーザステータスが賛成で感謝していると判定した。
アバター６２３と同様に、アバター６２５はユーザステータスデータに基づいている。アバター６２５の場合では、メッセージングアプリケーションは、賛成で感謝しているユーザステータスデータに基づいて、笑顔とサムズアップを含むようにアバター６２５を生成した。加えて、アバター６２５は、アニメーションアバターである（矢印は、アバターの親指のアニメーション化された揺れを表す）。
いくつかの実施形態では、アバター６２５は、任意選択的にデバイス６００上に保存され、他のユーザと関連付けられる。例えば、ユーザ写真６０６は、アバター６２５又はその後に連絡先に対して生成されたアバターに置き換えられる。他のユーザの情報が（例えば、他のアプリケーションに、又は連絡先リストに）表示されるときはいつでも、最も最近に受信された、他のユーザに対するユーザステータスデータを表すアバターが表示される。
図６Ｇは、デバイス６００のユーザが入力し、「Ｊｏｅ」という名前の他のユーザに別のメッセージを送信した後の、メッセージングインタフェース６０３を示す。メッセージエリア６０８内のテキストボックス６２６に、メッセージの内容が表示される。加えて、アバター６２７は、テキストボックス６２６に隣接して表示され、テキストボックス６２６に関連付けられたメッセージが送信されたときのユーザのユーザステータスデータに基づいて生成される。この場合、デバイス６００は、（例えば、メッセージングアプリケーションによってプログラムされたように）ユーザステータスが悲しいと判定した。このステータスに基づいて、アバター６２７は、アバター６２３と比較して悲しい表情を有するように生成された（例えば、目、眉、及び口は全て、悲しい表情を反映するように変更された）。アバター６２７は、アバター６２３と比較して新しいユーザステータスデータを反映しているが、アバター６２３は変更されないままである。換言すれば、デバイス６００が更新されたユーザステータスデータを受信したにもかかわらず、アバター６２３は同じままである。そのような実施形態では、たとえステータスデータがその後更新されても、アバター６２３の不変のステータスは、ユーザのステータスの履歴記録として機能することができる。
いくつかの実施形態では、アバター６２３及び６２７は、新しいベースラインアバター又はアバターモデルに基づいて更新することができる。例えば、デバイス６００のユーザが彼のあごひげを剃り、それに従ってベースラインアバター又はアバターモデルを更新する場合、アバター６２３及び６２７はそのあごひげを削除するように更新されるが、ユーザステータスデータに基づく表情及び他の特徴はそのままである（とはいえ、それらは新しいベースラインアバター又はアバターモデルに基づいて変更できる）。いくつかの実施形態では、アバター６２３及び６２７などの以前に生成されたアバターは、たとえベースラインアバター又はアバターモデルが更新されたときでも更新されない。
図６Ｇは、デバイス６００のユーザが「Ｊｏｅ」という名前の他のユーザから別のメッセージを受信した後の、メッセージングインタフェース６０３を示す。メッセージエリア６０８内のテキストボックス６２８に、メッセージの内容が表示される。加えて、アバター６２９は、テキストボックス６２８に隣接して表示され、受信されテキストボックス６２８に表されるメッセージに関連付けられている他のユーザのユーザステータスデータに基づいて生成される。他のユーザが申し訳なさそうにしたことを示すユーザステータスデータに基づいて、関係のある表情を有するようにアバター６２９が生成された。アバター６２９は、アバター６２５と比較して他のユーザに対する新しいユーザステータスデータを反映しているが、アバター６２５は変更されないままである。図６Ｇに示すように、デバイス６００が更新されたユーザステータスデータを受信したにもかかわらず、アバター６２５は同じままである。このように、特定のメッセージを設定したときにユーザのステータスを判定することは簡単である。この結果、ユーザがメッセージをより速く検索し理解することを可能にする、より効率的なインタフェースを提供することができる。
いくつかの実施形態では、アバター６２５及び６２９は、新しいベースラインアバター又はアバターモデルに基づいて更新することができる。例えば、他のユーザが眼鏡をかけ始め、それに従ってベースラインアバター又はアバターモデルを更新する場合、他のユーザが新しいベースラインアバター又はアバターモデルを送出し、アバター６２５及び６２９は眼鏡を追加するように更新されるが、ユーザステータスデータに基づく表情及び他の特徴はそのままである（とはいえ、それらは新しいベースラインアバター又はアバターモデルに基づいて変更できる）。いくつかの実施形態では、アバター６２５及び６２９などの以前に生成されたアバターは、たとえ他のユーザに対するベースラインアバター又はアバターモデルが更新されたときでも更新されない。
図６Ｉは、編集ボタン６３１、タイトル６３２、作成ボタン６３３、及びアフォーダンス６３４～６３６を含む、メッセージアプリケーションインタフェース６３０を示す。インタフェース６３０は、図６Ｈの戻るボタン６０４の選択に応じて、任意選択的に表示される。インタフェース６３０の編集ボタン６３１を選択すると、ユーザは特定の連絡先アフォーダンスを選択し、選択されたアフォーダンスに関連付けられた連絡先情報に対して操作（例えば、削除）を実行することができるようになる。タイトル６３２は、メッセージアプリケーションの名前を提供する。作成ボタン６３３を選択することにより、ユーザは新しいメッセージを作成し、そのメッセージの受信者を選択することができるようになる。
アフォーダンス６３４～６３６は、異なるリモートユーザに対する連絡先情報を表示する。この例では、各アフォーダンスは、ユーザ名、他のユーザとの最も最近の通信の要約、他のユーザと関連付けられたグラフィック要素、及び最も最近の通信の時間などの連絡先情報を含む。いくつかの実施形態では、グラフィック要素は、他のユーザに対して最も最近に生成されたアバターである。例えば、「Ｊｏｅ Ｓｍｉｔｈ」に対するアフォーダンス６３４は、図６Ｈのテキストボックス６２９に関連付けられたメッセージと共に受信されたユーザステータスに基づいて、「Ｊｏｅ Ｓｍｉｔｈ」に対して最も最近に生成された、アバター６２９を含む。このアバターは、インタフェース６３０内の連絡先リストが他のユーザの最も最新の状況を反映しているアバターを常に含むように、その後に受信されたユーザステータスデータに基づく、その後に生成されたアバターで、任意選択的に更新される。
アフォーダンスのうちの１つを選択すると、メッセージングインタフェース６０３の表示に戻る。例えば、連絡先アフォーダンス６３４を選択すると、図６Ｈに示すようにメッセージングインタフェース６０３の表示に戻ることになる。
アフォーダンス６３５は、関連付けられたアバターを有しない。代わりに、アバターを表示する代わりにモノグラム６３７が表示される。
図６Ｊは、新しいベースラインアバター又はアバターモデルが「Ｊｏｅ」用に受信された後の、他のユーザ「Ｊｏｅ」用のメッセージングインタフェース６０３を示す。この例では、Ｊｏｅは口ひげを生やしており、それに応じて彼のアバターを更新している。新しいベースラインアバター又はアバターモデルの受信に応じて、デバイス６００は、例えば、メッセージングプログラムを介して、Ｊｏｅの新しい口ひげを反映するように、アバター６２５及び６２９をアバター６３８及び６３９で更新した。アバター６２８及び６２９は、対応するメッセージと共に受信されたユーザステータスデータに基づいている。図６Ｊに示す例では、これは、顔の表情が同じままであることを意味する。
図７Ａ～図７Ｂは、いくつかの実施形態に係る、電子デバイスを使用する拡張されたメッセージングインタフェースのための方法を示すフロー図である。方法７００は、ディスプレイを有するデバイス（例えば、１００、３００、５００）で実行される。方法７００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法７００は、メッセージに対するユーザステータス情報を通信するための直感的方法を提供する。この方法は、ステータス情報を通信するためのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスの場合、ユーザがメッセージをより早くより効率的に理解して応答できるようにすることで、電力が節約され、バッテリ充電の時間間隔が増加する。
ディスプレイ（例えば、デバイス６００のディスプレイ６０１）を有する電子デバイス（例えば、図６Ａ～図６Ｊのデバイス６００）は、第１のユーザ（例えば、デバイス６００の所有者又はユーザ）に関連付けられる。電子デバイスは、第２のユーザ（例えば、図６Ａのユーザ名６０５及びユーザ写真６０６を有する他のユーザ）から第１のメッセージ（例えば、図６Ｆ～図６Ｊのテキストボックス６２４に関連付けられたメッセージ）（例えば、ＳＭＳメッセージ、ＭＭＳメッセージ、ｉＭｅｓｓａｇｅ（登録商標）、又は他の種類のメッセージ）を受信する（７０２）。第１のメッセージは、第１のコンテンツ（例えば、図６Ｆ～図６Ｈのテキストボックス６２４内のコンテンツ）を含む。いくつかの実施形態によると、第２のユーザは、第１のメッセージと第２のメッセージとを送信するソース電子デバイスと関連付けられている。
電子デバイスは、第２のユーザに対する第１のステータスデータ（例えば、感情的若しくは身体的な状態、又は他のユーザに関連付けられた若しくは他のユーザには個人的な他の状態）を受信する（７０４）。第１のステータスデータは、第１のメッセージと関連付けられ、第１のコンテンツとは別個である（例えば、第１のステータスデータは、コンテンツとは別個のメッセージの一部として送信されるか、又は、メッセージとは別個に送信されるが、メッセージに対するものとしてのステータスデータの識別を可能にする方法で送信される）。ステータスデータは、任意の数のソースから取得することができる。いくつかの実施形態では、ステータスデータは、ユーザにステータスのリストを提示し、ユーザ又はユーザが送信しているメッセージの内容を表すステータスのうちの１つをユーザが選択できるようにすることによって、取得される。いくつかの実施形態では、ステータスデータを取得するために、電子デバイスは、例えば、１つ以上の画像センサ（例えば、図６Ａの画像センサ６０２）を使用してユーザの画像データに基づいて、及び／又は、電子デバイスに利用可能な他のコンテキスト情報（例えば、カレンダエントリ、天気、時間帯／年、場所など）に基づいて、ユーザに対するステータスデータを自動的に判定するように構成されている。任意選択的に、画像センサ６０２、又はバイオメトリックセンサなどの他のセンサからのデータを使用して、顔の表情を識別するため、又はユーザステータスを判定するための生理学的データ（例えば、心拍数又は体温）を取得するために、顔認識を実行することができる。いくつかの実施形態では、ユーザステータスは、ユーザにとって個人的なものであり、ユーザに関連するオブジェクト（例えば、電子デバイス）には関連付けられていない。いったんユーザステータスデータが判定されると、ユーザステータスデータはメッセージと関連付けられ、メッセージと共に（例えば、メッセージの一部として）、又はメッセージとは別個に（例えば、メッセージの送信前に、メッセージの送信後に、若しくはメッセージの送信と同時に）のいずれかで、他のユーザに送信される。
電子デバイスのディスプレイは、第１のコンテンツ（例えば、テキストボックス６２４内のコンテンツ）、及び第１のアバター（例えば、図６Ｆ～図６Ｈのアバター６２４）（例えば、絵文字又は他のグラフィック表現）を含む、第１のメッセージを表示する（７０６）。第１のアバターは第１のステータスデータに基づき、表示された第１のアバターは表示された第１のメッセージに隣接している（例えば、メッセージはアバターの口から出てくる）。
第１のメッセージ及び第１のアバターを表示した後、電子デバイスは、第２のユーザから第２のメッセージ（例えば、別のＳＭＳメッセージ、ＭＭＳメッセージ、ｉＭｅｓｓａｇｅ（登録商標）、又は他の種類のメッセージ）を受信し（７０８）、ここで、第２のメッセージは第２のコンテンツ（例えば、図６Ｈのテキストボックス６２９内のコンテキスト）を含む。
電子デバイスは、送信者に対する第２のステータスデータ（例えば、感情的又は身体的な状態）を受信し（７１０）、ここで、第２のステータスは第２のメッセージに関連付けられており、第２のコンテンツとは別個である。いくつかの実施形態において、第２のステータスデータは、第１のステータスデータと同様の方法で生成され、送信される。
第１のメッセージ及び第１のアバターの表示を維持しながら、電子デバイスのディスプレイは、第２のコンテンツ（例えば、図６Ｈのテキストボックス６２９）及び第２のアバター（例えば、図６Ｈのアバター６２９）（例えば、絵文字又は他のグラフィック表現）を含む第２のメッセージを表示し（７１２）、ここで、表示された第２のアバターは表示された第２のメッセージに隣接し（例えば、メッセージはアバターの口から出てくる）、第２のアバターは第２のステータスデータに基づき、第１のアバターと第２のアバターとは異なる。異なるメッセージに対して異なるユーザステータスに基づき異なるアバターを含めることによって、電子デバイスの操作性が、ディスプレイ上に提示される情報量を増大することで拡張される。例えば、ユーザは、メッセージのテキスト内容を読む必要なしに、メッセージを迅速に走査し、アバターに基づいてメッセージに関連付けられた何らかのコンテキストを判定することができる。電子デバイスのこの改善された操作性によって、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることで、操作性をより効率的にし、電力使用量を低減し、デバイスのバッテリ寿命を改善する。例えば、異なるメッセージに対する異なるアバターは、ユーザが特定のステータスに関連付けられていることを知っている特定のメッセージを、ユーザが見つけようとしているときに役立ち得る（例えば、悲しいメッセージは、場合によっては悲しいアバターを有することになる）。加えて、メッセージが複数の意味を持つと解釈され得る場合、メッセージ特有のアバターは、読者がメッセージの意味を正確に解釈するのを助けることができる。
いくつかの実施形態によれば、電子デバイスは、第２のユーザに対する連絡先情報（例えば、図６Ｊのアフォーダンス６３３の情報）を含むユーザのセットに対する連絡先情報（例えば、図６Ｉ）（例えば、電話番号、電子メールアドレス、ユーザ名、最近の通信など）を表示し（７２０）、ここで、第２のアバター（例えば、アバター６２９）は、第２のユーザに対する連絡先情報と共に表示される。いくつかの実施形態では、第２のユーザのステータスにおける変化を検出すると、第２のアバターは、第２のユーザ用の第３のアバターに置き換えられる。新しいアバターが受信されたときに第２のユーザのアバターを更新することによって、電子デバイスのユーザはまた、第２のユーザの最も最近のステータスを表すアバターへのアクセスを有する。これによって、最後の通信中に第２のユーザのステータスを判定するために電子デバイスのユーザが古いメッセージをレビューする必要性を排除することで、より効率的なインタフェースを提供する。このように、所望の情報を取り出すためにユーザは電子デバイスとの対話を少なくする必要があるため、ユーザがデバイスをより迅速かつより効率的に使用できるようにすることで、電子デバイスをより効率的にし、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスは、第１のアバター又は第１のステータスデータの、第２のユーザの連絡先情報との第１の関連付けを記憶し（例えば、第１のアバター又は第１のステータスデータを、データベース内の連絡先情報と、又は連絡先情報の一部としてリンクさせる）、第２のアバター又は第２のステータスデータの、第２のユーザの連絡先情報との第２の関連付けを記憶する（例えば、第１のアバター又は第１のステータスデータを、データベース内の連絡先情報と、又は連絡先情報の一部としてリンクさせる）。
いくつかの実施形態によれば、電子デバイスは、第２のユーザに対する第１のアバターモデル（例えば、ワイヤメッシュ、パラメータ化モデル）を受信し、第１のアバターモデルと第１のステータスデータとに基づいて第１のアバター（例えば、６２５）（例えば、笑顔などの第１の表情の第２のユーザのように見えるアバター）を生成し、第１のアバターモデルと第２のステータスデータとに基づいて第２のアバター（例えば、６２９）を生成する。（例えば、しかめっ面などの第２の表情を有する第２のユーザのように見えるアバター）。いくつかの実施形態によれば、電子デバイスは、第１のステータスデータを所定のアバターモデル（例えば、電子デバイス上の既存のアバター）上にマッピングして、第１のアバター（例えば、６２５）を作成する。アバターモデルを使用することによって、新しいアバターが生成されるたびにベースラインアバターが受信又は生成される必要がないので、電子デバイスは、受信したステータスデータに基づいて第２のユーザアバターをより効率的に生成することができる。このように、電子デバイスは、アバターを生成するのに必要な処理電力を制限することによって、より効率的で、より省電力で、より長い電池寿命を有する。
いくつかの実施形態によれば、電子デバイスは、第２のユーザに対する第２のアバターモデル（例えば、ワイヤメッシュ、パラメータ化モデル）を受信し（７２２）、第２のアバターモデル及び第１のステータスデータに基づいて、更新された第１のアバター（例えば、６３７）を生成する（７２４）。電子デバイスは、第２のアバターモデルと第２のステータスデータとに基づいて、更新された第２のアバター（例えば、６３８）を生成する（７２６）。電子デバイスはまた、第１のコンテンツを含む第１のメッセージと共に、第１のアバター（例えば、図６Ｊ）の代わりに、更新された第１のアバターを表示する（７２８）（例えば、メッセージの内容及びアバターに関連するコンテキスト情報を変更しないままで、表示されたアバターを更新する）。いくつかの実施形態によれば、第１のアバター（例えば、６２５）及び第２のアバター（６２９）は、第２のユーザの身体的外観を表す（例えば、アバターは第２のユーザの外観を反映している）。第２のユーザに対するベースラインアバターの更新を可能にすることによって、メッセージングインタフェースは、アバターが第２のユーザの現在のアバターを常に反映することを確実にする。これによって、電子デバイスのユーザが第２のユーザに関連付けられている複数の異なるベースラインアバターを認識する必要性を排除することで、より効率的なインタフェースを提供する。これにより、ユーザは、電子デバイスとより迅速かつ効率的に対話することができ、電子デバイスをより効率的にし、電力使用量を低減し、デバイスの電池寿命を改善する。
いくつかの実施形態によれば、第１のステータスデータは、第２のユーザの第１のバイオメトリック特性（例えば、深度情報、顔認識、心拍数など）に基づいている（７１６）。いくつかの実施形態によれば、第１のステータスデータは、送信者の光学的画像又は深度画像に基づいている。いくつかの実施形態によれば、第１のステータスデータは、第２のユーザが第１のメッセージを作成及び／又は送信した時の（例えば、顔マップ（例えば、様々な顔の特徴の描写）に基づく）第２のユーザの検出された表情に基づいている（７１４）。いくつかの実施形態によれば、第２のステータスデータは、第２のユーザが第２のメッセージを作成及び／又は送信した時の（例えば、顔マップ（例えば、様々な顔の特徴の描写）に基づく）第２のユーザの検出された表情に基づいている（７１８）。第１のステータスデータを生成するために第２のユーザのバイオメトリック特性又は画像データを使用することによって、ステータスデータを判定及び／又は入力するための第２のユーザの負担を最小化することで、メッセージングインタフェースが拡張される。加えて、バイオメトリック特性を使用することは、他の方法と比較して、第２のユーザに対して、より細かい、及び／又は正確なステータスを提供することができる。このように、電子デバイスは、電子デバイスをより効率的にし、電力使用量を低減し、電池寿命を改善する、改良されたマンマシンインタフェースを提供する。
いくつかの実施形態によれば、電子デバイスは、第１のステータスデータに基づいて、第１のアバターに対する１つ以上の特性（例えば、アバター６２９又は６３８の悲しい表情のための目、口、及び眉）（例えば、表情又はアクセサリ）を選択する（例えば、所定のアバターを選択する、又は新しいアバターを生成する）。いくつかの実施形態によれば、電子デバイスは、第２のステータスデータに基づいて、第２のアバターに対する１つ以上の特性を選択し（例えば、既存のアバターを選択する、又は新しいアバターを生成する）、第２のステータスデータは、第２のバイオメトリック特性（例えば、深度情報、顔認識、心拍数など）に基づいている。いくつかの実施形態によれば、第１のステータスデータは、第２のユーザの感情（例えば、幸せ、悲しい、笑顔など）を表しているす。アバター全体を選択する代わりにアバターの特性を選択することによって、電子デバイスは、特定のステータスに関連する特性のサブセットを変更するだけで、ステータスに基づいた新しいアバターをより効率的に生成する。このように、電子デバイスは、アバターを生成するのに必要な処理電力を制限することによって、より効率的で、より省電力で、より長い電池寿命を有する。
いくつかの実施形態によれば、第１のアバターは、アニメーションアバター（例えば、６２９又は６３８）（例えば、一連の記録された表情に基づくＱｕｉｃｋｔｉｍｅ（登録商標）ベースのアバター、ＧＩＦアバターなど）である。アニメーションアバターを使用することによって、第１のアバターのステータスが表すことができるステータスの範囲及び粒度が増大され、それによって、より効率的な第１のアバター及びメッセージングインタフェースとなる。
いくつかの実施形態によれば、電子デバイスは、第１のユーザから、かつ、電子デバイス上で、第３のメッセージ（例えば、第２のユーザの第１のメッセージ６２４に返信するメッセージ６２６）に対する第３のコンテンツ（例えば、図６Ｇ及び図６Ｈのテキストボックス６２６内のコンテンツ）を受信する。電子デバイスは、第１のユーザに対する第３のステータスデータを生成し、第３のステータスデータを第３のメッセージと関連付ける（例えば、それらを一緒に送信するか、又はメッセージとステータスデータとを相互参照する）。電子デバイスは、第３のステータスデータを第２のユーザに送信する第３のメッセージを第２のユーザに送信する。いくつかの実施形態によれば、電子デバイスは、第３のコンテンツ（例えば、図６Ｇ及び図６Ｈのテキストボックス６２６内のコンテンツ）を含む第３のメッセージと第３のアバター（例えば、図６Ｇ及び図６Ｈのアバター６２７）とを、ディスプレイ上に同時に表示する。第３のアバターは第３のステータスデータに基づき、第３のメッセージ及び第３のアバターは、第２のメッセージ及び第２のアバターと同時に表示される。異なるメッセージに対して異なるユーザステータスに基づき異なるアバターを含めることによって、電子デバイスの操作性が、ディスプレイ上に提示される情報量を増大することで拡張される。例えば、ユーザは、メッセージのテキスト内容を読む必要なしに、メッセージを迅速に走査し、アバターに基づいてメッセージに関連付けられた何らかのコンテキストを判定することができる。電子デバイスのこの改善された操作性によって、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることで、操作性をより効率的にし、電力使用量を低減し、デバイスのバッテリ寿命を改善する。例えば、異なるメッセージに対する異なるアバターは、ユーザが特定のステータスに関連付けられていることを知っている特定のメッセージを、ユーザが見つけようとしているときに役立ち得る（例えば、悲しいメッセージは、場合によっては悲しいアバターを有することになる）。加えて、メッセージが複数の意味を持つと解釈され得る場合、メッセージ特有のアバターは、読者がメッセージの意味を正確な解釈するのを助けることができる。
いくつかの実施形態によると、第１のメッセージ及び第１のアバター（例えば、６２５）を表示することは、第１のメッセージを、第１のアバターの口から出てくるテキストバブル（例えば、６２４）として表示することを含む。第１のアバターの口から出てくる第１のメッセージを表示することは、メッセージングインタフェースの最小限のレビューであっても、第１のアバターと第１のメッセージとの間の関連付けを明確にすることを可能にする。
いくつかの実施形態によれば、図８は、説明される様々な実施形態の原理に従って構成された電子デバイス８００の例示的な機能ブロック図を示す。いくつかの実施形態によれば、電子デバイス８００の機能ブロックは、前述の技術を実行するように構成されている。デバイス８００の機能ブロックは、説明される様々な例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組合せによって、任意選択的に実装される。図８で説明する機能ブロックは、説明される様々な例の原理を実施するために、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解される。従って、本明細書の記載は、本明細書に記載されている機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。
図８に示されるように、電子デバイス８００は、ディスプレイユニット８０２と、ディスプレイユニット８０２に結合された処理ユニット８０４とを含む。いくつかの実施形態において、処理ユニット８０４は、受信ユニット８０６、表示可能化ユニット８０８、生成ユニット８１０、選択ユニット８１２、マッピングユニット８１４、関連付けユニット８１６、及び送信ユニット８１８を含む。
処理ユニット８０４は、第２のユーザから、第１のコンテンツを含む第１のメッセージを（例えば、受信ユニット８０６を使用して）受信し、第２のユーザに対する第１のステータスデータであって、第１のメッセージに関連付けられ、第１のコンテンツとは別個である、第１のステータスデータを（例えば、受信ユニット８０６を使用して）受信し、第１のコンテンツを含む第１のメッセージと第１のアバターとを、ディスプレイ上に（例えば、表示可能化ユニット８０８を使用して）同時に表示することを可能化し、ここで、第１のアバターは第１のステータスデータに基づき、表示された第１のアバターは表示された第１のメッセージに隣接し、第１のメッセージ及び第１のアバターを表示した後、第２のユーザから第２のコンテンツを含む第２のメッセージを（例えば、受信ユニット８０６を使用して）受信し、第２のユーザに対する第２のステータスデータを（例えば、受信ユニット８０６を使用して）受信し、ここで、第２のステータスは第２のメッセージに関連付けられ、第２のコンテンツとは別個であり、第１のメッセージ及び第１のアバターの表示を維持しながら、第２のコンテンツを含む第２のメッセージと第２のアバターとをディスプレイ上に（例えば、表示可能化ユニット８０８を使用して）表示し、ここで、表示された第２のアバターは表示された第２のメッセージに隣接し、第２のアバターは第２のステータスデータに基づき、第１のアバターと第２のアバターとは異なる、ように構成されている。
いくつかの実施形態では、処理ユニット８０４は、第２のユーザの連絡先情報を含むユーザのセットの連絡先情報を（例えば、表示可能化ユニット８０８を使用して）表示するように更に構成され、第２のアバターは、第２のユーザの連絡先情報と共に表示される。
いくつかの実施形態では、処理ユニット８０４は、第２のユーザに対する第１のアバターモデルを（例えば、受信ユニット８０６を使用して）受信し、第１のアバターモデルと第１のステータスデータとに基づいて第１のアバターを（例えば、生成ユニット８１０を使用して）生成し、第１のアバターモデルと第２のステータスデータとに基づいて第２のアバターを生成する、ように更に構成されている。
いくつかの実施形態では、処理ユニット８０４は、第２のユーザに対する第２のアバターモデルを（例えば、受信ユニット８０６を使用して）受信し、第２のアバターモデルと第１のステータスデータとに基づいて、更新された第１のアバターを（例えば、生成ユニット８１０を使用して）生成し、第２のアバターモデルと第２のステータスデータとに基づいて、更新された第２のアバターを（例えば、生成ユニット８１０を使用して）生成し、第１のコンテンツを含む第１のメッセージと共に、第１のアバターの代わりに、更新された第１のアバターを（例えば、表示可能化ユニット８０８を使用して）表示する、ように更に構成されている。
いくつかの実施形態では、第１のステータスデータは、第２のユーザの第１のバイオメトリック特性に基づいている。
いくつかの実施形態では、処理ユニット８０４は、第１のステータスデータに基づいて、第１のアバターに対する１つ以上の特性を（例えば、選択ユニット８１２を使用して）選択するように更に構成されている。
いくつかの実施形態では、処理ユニット８０４は、第２のステータスデータに基づいて、第２のアバターに対する１つ以上の特性を（例えば、選択ユニット８１２を使用して）選択するように更に構成され、ここで、第２のステータスデータは第２のバイオメトリック特性に基づいている。
いくつかの実施形態では、第１のアバターはアニメーションアバターである。
いくつかの実施形態では、第１のステータスデータは、第２のユーザの光学的画像又は深度画像に基づいている。
いくつかの実施形態において、処理ユニット８０４は、第１のステータスデータを所定のアバターモデル上に（例えば、マッピングユニット８１４を使用して）マッピングして、第１のアバターを作成するように更に構成されている。
いくつかの実施形態では、第１のステータスデータは、第２のユーザの感情を表す。
いくつかの実施形態では、第１のステータスデータは、第２のユーザが第１のメッセージを作成及び／又は送信した時の第２のユーザの検出された表情に基づいている。
いくつかの実施形態では、第２のステータスデータは、第２のユーザが第２のメッセージを作成及び／又は送信した時の第２のユーザの検出された表情に基づいている。
いくつかの実施形態では、処理ユニット８０４は、第１のユーザから、かつ、電子デバイス上で、第３のメッセージに対する第３のコンテンツを（例えば、受信ユニット８０６を使用して）受信し、第１のユーザに対する第３のステータスデータを（例えば、生成ユニット８１０を使用して）生成し、第３のステータスデータを第３のメッセージと（例えば、関連付けユニット８１６を使用して）関連付け、第３のメッセージを第２のユーザに（例えば、送信ユニット８１８を使用して）送信し、第２のユーザに第３のステータスデータを（例えば、送信ユニット８１８を使用して）送信する、ように更に構成されている。
いくつかの実施形態では、処理ユニット８０４は、第３のコンテンツを含む第３のメッセージと第３のアバターとを（例えば、表示可能化ユニット８０８を使用して）同時に表示するように更に構成されており、第３のアバターは第３のステータスデータに基づき、第３のメッセージ及び第３のアバターは、第２のメッセージ及び第２のアバターと同時に表示される。
いくつかの実施形態では、第１のアバター及び第２のアバターは、第２のユーザの身体的外観を表す。
いくつかの実施形態では、第１のメッセージ及び第１のアバターの表示は、第１のメッセージを、第１のアバターの口から出てくるテキストバブルとして表示することを含む。
いくつかの実施形態では、第２のユーザは、第１のメッセージと第２のメッセージとを送信するソース電子デバイスと関連付けられている。
図７Ａ～図７Ｂにおける動作について記載された特定の順序は単なる例示あり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法１０００、１３００、１７００、１９００、２１００、２３００、２５００、２７００）に関して本明細書に記載される他の処理の詳細はまた、図７Ａ～図７Ｂに関して上記した方法７００にも、類似の様式で適用可能であることに留意されたい。例えば、方法７００を参照して上述したメッセージ及びコンテンツは、いくつかの場合には、本明細書に記載される他の方法（例えば、方法１７００、１９００、２１００、２３００）を参照して、本明細書に記載される動作（例えば、セキュリティ強化を適用すること、音声コマンドで指定された機能を実行すること、アクションを確認すること）で動作させることができる。簡潔にするために、それらの詳細はここでは繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ（例えば、図１Ａ、図３、図５Ａに関して説明したように）又は特定用途向けチップなどの情報処理装置内の１つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図７Ａ～図７Ｂを参照して上述した演算は、図１Ａ～図１Ｂで示した構成要素によって、任意選択的に実行される。例えば、第１のステータスデータ及び第２のステータスを受信することは、イベントソータ１７０、イベント認識部１８０、及びイベント処理部１９０によって、任意選択的に実行される。イベントソータ１７０内のイベントモニタ１７１は、タッチ感知面６０４上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６ー１に伝送する。アプリケーション１３６ー１のそれぞれのイベント認識部１８０は、イベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置での第１の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、更新部１７６又はオブジェクト更新部１７７を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ～図１Ｂに示された構成要素に基づいてどのように実装できるかは明らかであろう。
図９Ａ～図９Ｋは、いくつかの実施形態に係る、３Ｄモデルを構築するデータをキャプチャするための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図１０Ａ～図１０Ｂにおけるプロセスを含む、以下において説明されるプロセスを例示するために用いられる。
図９Ａは、いくつかの例では上述のデバイス１００、デバイス３００、又はデバイス５００の特定のフォームファクタである、デバイス９００を示す。デバイス９００は、いくつかの例ではタッチ感知ディスプレイであるディスプレイ９０１と、画像センサ９０２とを含む。加えて、デバイス９００のいくつかの実施形態では、画像センサ９０２と共に、追加のセンサ（例えば、深度センサ、ＩＲセンサなど）、及び／又は他の構成要素（例えば、フラッシュ又はＩＲエミッタ）が存在する。
図９Ａでは、ディスプレイ９０１は、どのように進行するかについての命令を含む走査プログラムの走査インタフェース９０３、及びこれまでに３Ｄモデルに対してキャプチャされてきたデータを示す画像データ領域９０４を表示している。画像データ領域９０４は、データ追加ボタン９０５を含む。
図９Ｂは、図９Ａに描かれたデバイス９００を反対側から描く。デバイス９００のこの側には、画像センサ９０６、光センサ９０７、及びフラッシュ９０８が存在する。いくつかの例では、画像センサ９０６は、高品質の可視光センサである。任意選択的に、ＩＲなどの他の種類の光もキャプチャする。画像センサ９０６はまた、任意選択的に、飛行時間又は他の技術を使用して深度情報をキャプチャするように構成されている。いくつかの例では、光センサ９０７を使用して照明特性を判定し、照明特性を使用して画像センサ９０６を好適に構成し、動作させることができる。フラッシュ９０８は、画像センサ９０６に可視光フラッシュを提供する。いくつかの例では、フラッシュ９０８はまた、光センサ９０７から測定されたデータに基づいて構成されている。いくつかの実施形態では、図９Ｂに描いた構成要素に加えて、他の構成要素（例えば、追加の画像センサ、ＩＲ検出器、ＩＲエミッタなど）も存在する。
図９Ｃは、例えば、ディスプレイ９０１上のタッチ９０９を介してデータ追加ボタン９０５（図９Ａ）が選択された後の、走査インタフェース９０３を示す。図９Ｃでは、走査インタフェース９０３は、データをどのように追加するかを決定するために４つのアフォーダンス（アフォーダンス９１１～９１４）のうちの１つを選択する命令９１０を含む。アフォーダンス９１１により、ユーザは既にデバイス９００上に記憶されている画像データを選択することができるようになる。アフォーダンス９１２により、ユーザは、リモートデバイスに既に存在する画像データを選択すること（例えば、インターネット検索をすること、特定のリモートサーバにアクセスすること、又は特定のリモートデバイスから選択すること）ができるようになる。アフォーダンス９１３により、ユーザは、例えば画像センサ９０２又は画像センサ９０６（図９Ｃ）を使用して、新しいデータをキャプチャすることができるようになる。アフォーダンス９１４は、ユーザを、図９Ａに描かれたインタフェースのステータスに戻す。
図９Ｄは、アフォーダンス９１３（図９Ｃ）が、例えばディスプレイ９０１上のタッチ９１５を介して選択された後の、走査インタフェース９０３を示す。図９Ｄでは、走査インタフェース９０３は、キャプチャする画像データの種類を選択するための４つのアフォーダンス（９１６～９１９）を提供する。アフォーダンス９１６は、静止画像を選択する。アフォーダンス９１７は、ビデオ画像データを選択する。アフォーダンス９１８は、パノラマ画像データを選択する。アフォーダンス９１９は、走査インタフェースを図９Ｃに示す状態に戻す。
図９Ｅは、アフォーダンス９１６（図９Ｄ）が、例えばディスプレイ９０１上のタッチ９２０を介して選択された後の、走査インタフェース９０３を示す。図９Ｅでは、画像センサ９０６（図９Ｂ）を使用してシーン９２０の一部をキャプチャするために、キャプチャインタフェースがディスプレイ９０１上に表示される。ビューファインダ９２１は、画像センサ９０６（図９Ｂ）の現在の視野を表す。この例では、デバイス９００のホームボタン９２２は、ビューファインダ９２１内の画像データをキャプチャするために使用される。例えば、ユーザがホームボタン９２２を押下したこと（例えば、押下９２３）に応じて、ビューファインダ９２１に表示されたデータによって表される画像データがキャプチャされ、デバイス９００に保存される。同様のインタフェースが、図９Ｄに関して説明された他の種類の画像キャプチャに利用可能である。画像センサ９０６によってキャプチャされた可視光又は他の種類の光を表すデータに加えて、画像データはまた、位置データ（例えば、ＧＰＳデータ）及び方位データ（例えば、加速度計、ジャイロスコープ、及び／又は電子コンパスから収集されたデータ）などの位置データを、任意選択的に含む。
図９Ｆは、図９Ｅに示す画像データがキャプチャされた後の、走査インタフェース９０３を示す。図９Ｅに関して説明したようにキャプチャされた画像データの表現９２４は、今、画像データ領域９０４にある。図９Ｆでは、走査インタフェース９０３が、図９Ａ及び図９Ｃ～図９Ｄに関して説明したプロセスを介して、写真キャプチャ状態に既に戻っている。図９Ｅと比較して、デバイス９００はターゲットに対して移動している。ディスプレイ９０１は、ビューファインダ９２１が、同じターゲットであるがシーン９２０と比較して異なる角度である、シーン９２５の一部に向けられていることを示す（図９Ｅ）。いくつかの例では、ホームボタン９２２は、ビューファインダ９２１に表される画像データをキャプチャするために使用される。
図９Ｇは、表現９２６によって表された画像データがキャプチャされた後の、走査インタフェース９０３を示す。表現９２４及び９２６によって表される画像データに基づいて、デバイス９００は、走査プログラムを介して、画像データ内のターゲットの３Ｄモデルの構築に使用するために好適なアルゴリズムを判定する。走査プログラムは、好適なアルゴリズムを判定するときに、様々なファクタを考慮に入れる。一実施例では、画像データの種類（例えば、静止画像対ビデオ対パノラマ）がファクタである。別の例では、画像データがキャプチャされたときにデバイス９００があった向き及び／又は位置がファクタである。画像データが深度情報及び画像データ量を含むかどうかなどの他のファクタもまた、様々な実施形態において考慮される。
図９Ｇはまた、モデルプレビュー９２８を含む３Ｄモデルプレビュー領域９２７を含み、モデルプレビュー９２８は、異なる角度及び視点から見られるように操作することができる。例えば、ディスプレイ９０１上のタッチアンドドラッグ９２９に応じて、図９Ｈに示すようにモデルプレビュー９２８が回転されるが、これは、画像データキャプチャが不完全なことによりモデルプレビュー９２８が完成していないことを示す。いくつかの実施形態では、モデルを完成させるために、ユーザは、データ追加ボタン９０５を選択して追加の画像データを追加する。
図９Ｉは、図９Ｈのデータ追加ボタン９０５の選択後の走査インタフェース９０３を示す。図９Ｉでは、デバイス９００は、これまでにキャプチャされた静止画像データに基づいて、静止画像アルゴリズムがモデルを構築するのに最も適していると判定した。従って、走査インタフェース９０３は、モデルを構築する際に最も有用となるであろう種類の追加の画像データを取得する命令９２９を、ユーザに表示している。他の例では、走査インタフェース９０３は、ビデオデータ又はパノラマデータ画像データを代わりに取得する命令及び／又は提案を提供する。走査インタフェース９０３はまた、任意選択的に、最も有用な画像データを取得するためにデバイス９００をどのように位置決めするかについての命令を提供する。図９Ｃに関して説明したのと同じキャプチャオプションもまた、表示される。
図９Ｉのアフォーダンス９１２の選択に応じて、ディスプレイ９０１上のタッチ９３０を介して、走査インタフェース９０３は、図９Ｊに示すリモート選択インタフェース９３１を表示する。リモート選択インタフェース９３１は、リモート位置から入手可能な画像データを示す表現９３２～９３４を含む。表現９３２～９３４は、現在構築しているモデルに潜在的に関連する画像データを表すように決定される。例えば、デバイス９００は、その位置を使用して同じおおよその位置にキャプチャされた他の画像データを判定するリモートサーバに、その位置を任意選択的に送信する。別の例として、デバイス９００は、任意選択的に、既にキャプチャされている画像データの一部又は全てを送信する。次いで、リモートサーバは画像認識を実行して、関連性があるかもしれない他の画像データを判定する。更に別の例として、標準的なインターネット検索は、ユーザによって提供された検索基準を使用して実行される。いくつかの実施形態において、リモート選択インタフェース９３１は、インターネット検索の結果を表示するウェブブラウザインタフェースとして実装される。選択インタフェース９３１のいくつかの例では、インタフェース上でのスワイプジェスチャにより、利用可能な追加の画像データを通してユーザがスクロールすることを可能にする。図９Ｊの表現９３２に関連付けられた画像データの選択に応じてデバイス９００は、図９Ｋの表現９３５によって示すように、それぞれの画像データを取り出し、それをモデルを構築するために利用可能な画像データに追加する。
図９Ｋでは、３Ｄモデルプレビュー領域９２７が、利用可能な画像データに基づく新しいモデル、モデルプレビュー９３６で更新されている。図９Ｌは、図９Ｇ及び図９Ｈに関して上述したように、例えば、ディスプレイ９０１上のタッチを介して、ユーザがモデルを回転させた後のモデルプレビュー９３６を示す。いくつかの場合には、モデルプレビュー９３６は、図９Ｇに関して先に選択された走査プログラムを介して、デバイス９００とは異なるアルゴリズムを使用して構築される。
図１０Ａ～図１０Ｂは、いくつかの実施形態に係る、電子デバイスを使用してオブジェクトの３Ｄモデルを構築するための方法を示すフロー図である。方法１０００は、ディスプレイ及び１つ以上の画像センサを有するデバイス（例えば、１００、３００、５００）において実行される。方法１０００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下に説明するように、方法１０００は、オブジェクトの３Ｄモデルを構築するための直感的な方法を提供する。この方法は、オブジェクトの３Ｄモデルを構築するユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作成する。バッテリ動作コンピューティングデバイスの場合、ユーザがより速くより効率的にオブジェクトの３Ｄモデルを構成できるようにすることで、電力が節約され、バッテリ充電の時間間隔が増加する。
１つ以上の画像センサ（例えば、９０２、９０６）、メモリ、及びディスプレイ（例えば、９０１）を有する電子デバイス（例えば、９００）は、電子デバイスの１つ以上の画像センサ（例えば、９０２、９０６）（例えば、深度センサ、光センサ、ＩＲセンサ）から、第１の画像データ（例えば、９２１、９０４）（例えば、光データ、深度データ、及び任意選択的に位置データを有する静止画又はビデオ）をキャプチャする（１００２）。第１の画像データは、第１の視点（例えば、図９Ｅ）からのオブジェクト（例えば、９２０）の第１の光学的画像データを含む。
電子デバイスはまた、電子デバイスの１つ以上の画像センサ（例えば、９２１、９０４）（例えば、深度センサ、光センサ）から、第２の画像データ（例えば、９２１、９２６）をキャプチャし（１００４）、ここで、第２の画像データは、第１の視点とは異なる第２の視点（例えば、図９Ｆ）からのオブジェクトの第２の光学的画像光データを含む。
電子デバイスは、第１の視点から第２の視点への視点の変化に基づいて、アルゴリズム（例えば、異なるキャプチャをスティッチするアルゴリズム、パンニングデータを使用するアルゴリズム）を選択し（１００６）、このアルゴリズムに基づいて、オブジェクトの３Ｄモデリングを継続するために必要な追加の画像データ（例えば、図９Ｉ）を判定する。
最後に、電子デバイスは、選択されたアルゴリズムに基づいて判定された追加の画像データをキャプチャする命令を提供する視覚フィードバック（９２９）を、ディスプレイ上に表示する（１０１０）。オブジェクトをモデル化するために必要とされる追加のデータについてユーザに命令を提供することによって、電子デバイスは、ユーザの認識的負担を軽減するように拡張され、どのような更なる画像データ（例えば、画像データの種類及び画像データの位置）が必要であるかを判定する。これにより、ユーザが正確なモデルの作成に成功するであろう可能性が高まる。
いくつかの実施形態によれば、電子デバイスは、（例えば、画像センサ又はリモートサーバから）第３のデータ（例えば、９３５）を受信する（１０１８）。第３のデータは、第３の視点からのオブジェクトの第３の光学的画像データを含む。電子デバイスは、第３の視点に基づいて、更新されたアルゴリズム（例えば、異なるキャプチャをスティッチするアルゴリズム、パンニングデータを使用するアルゴリズム）を選択する（１０２０）。更新されたアルゴリズムは、アルゴリズムとは異なる。更新されたアルゴリズムに基づいて、電子デバイスは、オブジェクトの３Ｄモデリングを継続するために必要とされる、追加の画像データとは異なる更新された追加の画像データを判定する（１０２２）。電子デバイスは、更新された追加の画像データをキャプチャするための更新された命令を提供する視覚フィードバックを、ディスプレイ上に表示し（１０２４）、ここで、更新された命令は、更新されたアルゴリズムを選択する前に表示された命令とは異なる。第３のデータに基づいて、更新されたアルゴリズムを選択することにより、モデルを構築する電子デバイスの能力は、利用可能な画像データに基づいて、モデルがどのように構築されるかを調整することによって向上する。このように、キャプチャされた画像データに基づいたアルゴリズムに基づく電子デバイスのモデル構築は、より効率的で、より省電力であり、電池寿命を改善する。
いくつかの実施形態によれば、電子デバイスは、選択された更新されたアルゴリズムを使用して、第１の画像データ（例えば、９２４）、第２の画像データ（例えば、９２６）、及び第３の画像データ（例えば、９３５）に基づいて、オブジェクトの３Ｄモデル（例えば９３６）を構築する。
いくつかの実施形態によれば、電子デバイスは、第１の画像データ（例えば、９２４）（例えば、位置データ）の少なくとも一部をリモートサーバに送信し、第３のデータ（例えば、９３２）がオブジェクト（例えば、図９Ｊ）に利用可能であるという指標をリモートサーバから受信する。いくつかの実施形態では、第３のデータは他のユーザから入手可能なデータからのものである。他のユーザからのデータを使用することによって、電子デバイスは、既に利用可能であるデータを再キャプチャする必要なく、モデルをより効率的に構築することができる。このように、電子デバイスは、より効率的で、より省電力で、より長い電池寿命を有する。加えて、電子デバイスは、既に利用可能ではない、又はユーザがキャプチャすることが困難であり得る追加のデータをユーザがキャプチャする必要性を排除することによって、ユーザの負担を軽減する。
いくつかの実施形態によると、更新された追加の画像データをキャプチャするための更新された命令を提供する視覚フィードバックを、ディスプレイ上で表示することは、電子デバイスが、第１のアルゴリズムが選択されているという判定に従って、第１の命令セット（例えば、９２９）を表示し（１０１４）、第１のアルゴリズムとは異なる第２のアルゴリズムが選択されているという判定に従って、視覚フィードバックが、第１の命令セットとは異なる第２の命令セットを含む（１０１６）、こととを含む（例えば、ユーザに、カメラを定点の周囲で回転させたり又はオブジェクトの静止画像を撮ったりするのではなく、カメラを水平にスライドするように促す）。
いくつかの実施形態によれば、第１の画像データは、第１の視点からのオブジェクトの第１の深度画像データを含む（１０１２）。
いくつかの実施形態によれば、電子デバイスは、第１の視点（例えば、図９Ｅの視点）（例えば、向き又は相対位置）に対する第１の位置データ（例えば、ＧＰＳ、傾斜、方位データ）を（例えば、センサ又は画像データから）取得する。
いくつかの実施形態によれば、アルゴリズムを選択することはまた、第１の位置データに基づいている。
いくつかの実施形態によれば、電子デバイスは、第２の視点（例えば、図９Ｆの視点）（例えば、向き又は相対位置）に対する第２の位置データ（例えば、ＧＰＳ、傾斜、方位データ）をキャプチャし、ここで、第２の画像データは、第２の視点からのオブジェクトの第２の深度画像データを含み、アルゴリズムを選択することもまた第２の位置データに基づいている。
いくつかの実施形態によれば、電子デバイスは、選択されたアルゴリズムを使用して、第１の画像データ（例えば、９２４）、第２の画像データ（例えば、９２６）、及び追加の画像データ（例えば、９３５）に基づいて、オブジェクトの３Ｄモデル（例えば、９３６）を構築し、その３Ｄモデルをメモリに記憶する。いくつかの実施形態では、３Ｄモデルのグラフィック表現（例えば９３６）がユーザに表示される（例えば、ユーザがオブジェクトを走査している間に、部分的に生成された３Ｄモデルがユーザに表示されて、ユーザがオブジェクトの走査を完了するのを助け、及び／又は、３Ｄモデルを表示するための表示されたアフォーダンスのアクティブ化などの、モデルを表示するための検出された要求に任意選択的に応じて、ユーザがオブジェクトの走査を完了した後に、完成した３Ｄモデルがユーザに表示される）。
いくつかの実施形態によると、アルゴリズムを選択することは、第１の画像データ及び第２の画像データがオブジェクトの走査からのものであることを示す、第１の視点から第２の視点への変化に基づいて、走査ベースのアルゴリズムを選択することを含む。
いくつかの実施形態によると、アルゴリズムを選択することは、第１の視点と第２の視点が離散画像に対するもの（例えば、図９Ｅ及び図９Ｆに示す視点）であることを示す、第１の視点から第２の視点への変化に基づいて、離散画像ベースのアルゴリズムを選択することを含む。
いくつかの実施形態によれば、電子デバイスは、オブジェクトにタッチしている第１の画像データ内のサポート（例えば、手又はテーブル）を識別し、選択されたアルゴリズムを使用して、第１の画像データ及び第２の画像データに基づいてオブジェクトの３Ｄモデルを構築する。３Ｄモデルは、第１のオブジェクトにタッチするサポートを含まない（例えば、３Ｄモデルは、第１のオブジェクトの一部ではなく、サポートの一部であると判定された検出点を除外することによって少なくとも部分的に生成される）。オブジェクトのモデルにおける第１のオブジェクトにタッチしているサポートを含まないことによって、電子デバイスは、ユーザに関係のない余分な詳細を含まないことによって、ユーザにとってより有用なモデルを生成することができるように拡張される。このように、ユーザは後で手動でサポートを取り外す必要がないので、電子デバイスをより効率的にし、より省電力で、より長いバッテリ寿命を有するようになる。
いくつかの実施形態によれば、電子デバイスは、オブジェクト（例えば、９２１）のライブ画像を含む第１のウィンドウを、電子デバイスのディスプレイ上に表示し、オブジェクトの（例えば、完全な、又は部分的なのいずれかの）モデル（例えば、９２７）の画像を含む第２のウィンドウを、ディスプレイ上に表示し、ここで、モデルは、第１の画像データ及び第２の画像データに基づいている。いくつかの実施形態では、追加の画像がキャプチャされてオブジェクトのモデルが改善されるにつれて、オブジェクトのモデルの画像が更新される。このフィードバックにより、少なくともいくつかのケースでは、スキャンの品質が向上するかもしれない、走査の進行及びデバイスの動作の種類に関してリアルタイムのフィードバックをユーザに提供することによって、ユーザはオブジェクトをより正確に走査することができ、それによってより正確なモデルとなる。
いくつかの実施形態によれば、図１１は、説明される様々な実施形態の原理に従って構成された電子デバイス１１００の例示的な機能ブロック図を示す。いくつかの実施形態によれば、電子デバイス１１００の機能ブロックは、前述の技術を実行するように構成されている。デバイス１１００の機能ブロックは、説明される様々な例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組合せによって、任意選択的に実装される。図１１で説明する機能ブロックは、説明される様々な例の原理を実施するために、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解される。従って、本明細書の記載は、本明細書に記載されている機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。
図１１に示されるように、電子デバイス１１００は、ディスプレイユニット１１０２と、ディスプレイユニット１１０２に結合された処理ユニット１１０４とを含む。いくつかの実施形態では、処理ユニット１１０４は、キャプチャユニット１１０６、選択有効化ユニット１１０８、判定ユニット１１１０、表示可能化ユニット１１１２、受信ユニット１１１４、構築ユニット１１１６、送信ユニット１１１８、取得ユニット１０２２、記憶ユニット１１２４、及び識別ユニット１１２６を含む。
処理ユニット１１０４は、電子デバイスの１つ以上の画像センサから、第１の画像データであって、第１の視点からのオブジェクトの第１の光学的画像データを含む、第１の画像データを（例えば、キャプチャユニット１００６を使用して）キャプチャし、電子デバイスの１つ以上の画像センサから、第２の画像データであって、第１の視点とは異なる第２の視点からのオブジェクトの第２の光学的画像光データを含む、第２の画像データを（例えば、キャプチャユニット１１０６を使用して）キャプチャし、第１の視点から第２の視点への視点の変化に基づいて、アルゴリズムを（例えば、選択ユニット１１０８を使用して）選択し、このアルゴリズムに基づいて、オブジェクトの３Ｄモデリングを継続するために必要な追加の画像データを（例えば、判定ユニット１１１０を用いて）判定し、選択されたアルゴリズムに基づいて判定された追加の画像データをキャプチャする命令を提供する視覚フィードバックをディスプレイ上に（例えば、表示可能化ユニット１１１２を使用して）表示する、ように構成されている。
いくつかの実施形態では、処理ユニット１１０４は、第３の視点からのオブジェクトの第３の光学的画像データを含む、第３のデータを（例えば、受信ユニット１１１４を使用して）受信し、第３の視点に基づいて、アルゴリズムとは異なる更新されたアルゴリズムを（例えば、選択ユニット１１０８を使用して）選択し、更新されたアルゴリズムに基づいて、オブジェクトの３Ｄモデリングを継続するために必要とされる、追加の画像データとは異なる更新された追加の画像データを（例えば、判定ユニット１１１０を使用して）判定し、更新された追加の画像データをキャプチャするための更新された命令を提供する視覚フィードバックを、ディスプレイ上に（例えば、表示可能化ユニット１１１２を使用して）表示し、ここで、更新された命令は、更新されたアルゴリズムを選択する前に表示された命令とは異なる、ように更に構成されている。
いくつかの実施形態では、処理ユニット１１０４は、選択された更新されたアルゴリズムを使用して、第１の画像データ、第２の画像データ、第３の画像データ、及び更新された追加の画像データに基づいて、オブジェクトの３Ｄモデルを（例えば、構築ユニット１１１６を使用して）構築するように更に構成されている。
いくつかの実施形態では、処理ユニット１１０４は、第１の画像データの少なくとも一部をリモートサーバに（例えば、送信ユニット１１１８を使用して）送信し、第３のデータがオブジェクトに利用可能であるという指標をリモートサーバから（例えば、受信ユニット１１１４を使用して）受信する、ように更に構成されている。
いくつかの実施形態では、更新された追加の画像データをキャプチャするための更新された命令を提供する視覚フィードバックの、ディスプレイ上での表示は、第１のアルゴリズムが選択されているという判定に従って、第１の命令セットを表示することと、第１のアルゴリズムとは異なる第２のアルゴリズムが選択されているという判定に従って、視覚フィードバックが、第１の命令セットとは異なる第２の命令セットを含むことと、を含む。
いくつかの実施形態では、第１の画像データは、第１の視点からのオブジェクトの第１の深度画像データを含む。
いくつかの実施形態では、処理ユニット１１０４は、第１の視点に対する第１の位置データを（例えば、取得ユニット１１２２を使用して）取得するように、更に構成されている。
いくつかの実施形態では、アルゴリズムを選択することはまた、第１の位置データに基づいている。
いくつかの実施形態では、処理ユニット１１０４は、第２の視点に対する第２の位置データを（例えば、キャプチャユニット１１０６を使用して）キャプチャするように更に構成されており、第２の画像データは、第２の視点からのオブジェクトの第２の深度画像データを含み、アルゴリズムを選択することはまた、第２の位置データに基づいている。
いくつかの実施形態では、処理ユニット１１０４は、選択されたアルゴリズムを使用して、第１の画像データ、第２の画像データ、及び追加の画像データに基づいて、オブジェクトの３Ｄモデルを（例えば、構築ユニット１１１６を使用して）構築し、その３Ｄモデルをメモリに（例えば、記憶ユニット１１２４を使用して）記憶する、ように更に構成されている。
いくつかの実施形態では、アルゴリズムを選択することは、第１の画像データ及び第２の画像データがオブジェクトの走査からのものであることを示す、第１の視点から第２の視点への変化に基づいて、走査ベースのアルゴリズムを選択することを含む。
いくつかの実施形態では、アルゴリズムを選択することは、第１の視点と第２の視点が離散画像に対するものであることを示す、第１の視点から第２の視点への変化に基づいて、離散画像ベースのアルゴリズムを選択することを含む。
いくつかの実施形態では、処理ユニット１１０４は、オブジェクトにタッチしている第１の画像データ内のサポートを（例えば、識別ユニット１１２６を使用して）識別し、選択されたアルゴリズムを使用して、第１の画像データ及び第２の画像データに基づいて、オブジェクトの３Ｄモデルを（例えば、構築ユニット１１１６を使用して）構築する、ように更に構成されており、３Ｄモデルは第１のオブジェクトにタッチしているサポートを含まない。
いくつかの実施形態では、処理ユニット１１０４は、オブジェクトのライブ画像を含む第１のウィンドウを、電子デバイスのディスプレイ上に（例えば、表示可能化ユニット１１１２を使用して）表示し、オブジェクトのモデルの画像を含む第２のウィンドウを、ディスプレイ上に（例えば、表示可能化ユニット１１１２を使用して）表示するように更に構成されており、モデルは第１の画像データ及び第２の画像データに基づいている。
図１０Ａ～図１０Ｂにおける動作について記載された特定の順序は単なる例示あり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法７００、１３００、１７００、１９００、２１００、２３００、２５００、２７００）に関して本明細書に記載される他の処理の詳細はまた、図１０Ａ～図１０Ｂに関して上記した方法１０００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１０００を参照して上述した第１の画像データ及び第２の画像データをキャプチャすることは任意選択的に、本明細書に記載される他の方法（例えば、方法２５００及び２７００）を参照して、本明細書に記載されるキャプチャされた画像データの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ（例えば、図１Ａ、３、５Ａに関して説明したように）又は特定用途向けチップなどの情報処理装置内の１つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図１０Ａ～図１０Ｂを参照して上述した演算は、図１Ａ～図１Ｂで示した構成要素によって、任意選択的に実行される。例えば、第１及び第２の画像データをキャプチャさせる入力は、イベントソータ１７０、イベント認識部１８０、及びイベント処理部１９０によって、任意選択的に実行される。イベントソータ１７０内のイベントモニタ１７１は、タッチ感知面６０４上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６ー１に伝送する。アプリケーション１３６ー１のそれぞれのイベント認識部１８０は、イベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置での第１の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、更新部１７６又はオブジェクト更新部１７７を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ～図１Ｂに示された構成要素に基づいてどのように実装できるかは明らかであろう。
図１２Ａ～図１２Ｊは、いくつかの実施形態に係る、ユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図１３Ａ～図１３Ｂにおけるプロセスを含む、以下において説明されるプロセスを例示するために用いられる。
図１２Ａは、ディスプレイ１２０１、画像センサ１２０２、及びホームボタン１２０４を有する、デバイス１２００を示す。いくつかの実施形態では、ディスプレイ１２０１は、タッチ感知ディスプレイである。いくつかの実施形態では、ホームボタン１２０４はディスプレイ１２０１とは別個の機械的ボタンであり、ホームボタン１２０４上に指を置いたユーザを識別するための指紋センサを含む。いくつかの実施形態では、ホームボタン１２０４はディスプレイ１２０１と一体化されており、更に指紋センサを含む。図１２Ａでは、デバイス１２００は、ディスプレイ１２０１上にロック画面インタフェース１２０３を表示している。ロック画面インタフェース１２０３は、デバイス１２００が制限された機能でロック状態にあるときに表示される。例えば、デバイス１２００上の大部分のアプリケーション、及び他の機能へのアクセスは、ロック状態では許可されない。しかしながら、いくつかの例では、いくつかのアプリケーション（例えば、カメラアプリケーション）又は機能（例えば、緊急番号への発呼）は利用可能である。ロック状態から許可されるこれらのアプリケーション及び機能は、任意選択的に、ロック画面インタフェース１２０３に現れるボタン（図示せず）、又はロック画面インタフェース１２０３上の他のジェスチャ（例えば、スワイプ）を介してアクセスされる。いくつかの場合では、デバイス１２００は、ホームボタン１２０４内に存在する指紋センサによって測定された指紋データの認証を介してロック解除される。他の場合では、デバイス１２００は、ピンコードインタフェース（図示せず）を介して入力されたピンコードの認証を介してロック解除される。いくつかの実施形態では、画像センサ１２０２は、デバイス１２００を使用してユーザの画像データをキャプチャするように構成されている。次いで、画像データはデバイス１２００で処理され、画像データ又は正規ユーザに対する他のデータと比較される。画像データがユーザを認証することを可能にする場合には、デバイス１２００をロック解除することもできる。
図１２Ｂは、例えば、図１２Ａに関して説明された技術のうちの１つを使用して、デバイス１２００がロック解除された後に、ホーム画面インタフェース１２０５を表示しているデバイス１２００を示す。ホーム画面インタフェース１２０５は、アイコン１２０６に関連付けられた写真アプリケーションを含む、デバイス１２００上にインストールされたアプリケーション用の複数のアイコンを含む。例えば、１２０６の位置におけるディスプレイ１２０１上のタッチ１２０７を介してアイコン１２０６を選択したことに応じて、写真アプリケーションが起動されるか、又は写真アプリケーションが既に起動されている場合には写真アプリケーションが表示される。
図１２Ｃは、写真アプリケーションを表示するデバイス１２００であって、より具体的には、追加ボタン１２０９、タイトル１２１０、検索ボタン１２１１、及び編集ボタン１２１２を含む、写真アルバムインタフェース１２０８を示す。追加ボタン１２０９を選択すると、追加の写真アルバムの作成を可能にするアルバム追加インタフェースが表示される。タイトル１２１０は、そのインタフェースをアルバムインタフェースとして識別する。検索ボタン１２１０を選択すると、写真アプリケーション内の写真の検索を可能にする検索インタフェースが表示される。編集ボタン１２１２を選択すると、アルバムの削除又は他の機能を可能にするアルバム編集インタフェースが可能化される。
写真アルバムインタフェース１２０８はまた、写真アプリケーション内のそれぞれの写真アルバムをそれぞれ表すサムネイル１２１３～１２１６を含む。いくつかの例では、各サムネイルは、そのアルバム内に存在する写真のより小さいバージョンである。サムネイル１２１３～１２１６はまた、例えば、ディスプレイ１２０１上のタッチを介して選択可能である。
図１２Ｄは、サムネイル１２１３（図１２Ｃ）を選択した後の写真アプリケーションを示す。戻るボタン１２１８、タイトル１２１９、及び選択ボタン１２２０を含む、写真選択インタフェース１２１７が表示される。戻るボタン１２１８を選択すると、写真アプリケーションはアルバムインタフェース１２０８（図１２Ｃ）に戻る。タイトル１２１９は、写真選択インタフェース１２１７に表示されている現在のアルバムを識別する。選択ボタン１２２０を選択すると、ユーザは、現在のアルバム内の複数の写真を選択し、選択された写真に対して操作（例えば、削除）を実行することができるようになる。
写真アルバムインタフェース１２１７はまた、アルバム内の各写真をそれぞれ表すサムネイル１２２１～１２３２を含む。いくつかの例では、各サムネイルは、そのアルバム内に存在する写真のより小さいバージョンである。サムネイル１２２１～１２３２はまた、例えば、ディスプレイ１２０１上のタッチを介して選択可能である。
図１２Ｅは、サムネイル１２２７（図１２Ｄ）を選択した後の写真アプリケーションを示す。戻るボタン１２３５、写真情報１２３６、及び詳細ボタン１２３７を含む、写真インタフェース１２３４が表示される。戻るボタン１２３５を選択すると、写真アプリケーションが写真選択インタフェース１２１７（図１２Ｄ）に戻る。写真情報１２３５は、現在表示されている写真に関する場所及び時間などの情報を提供する（１２３８）。詳細ボタン１２３７を選択すると、関連する写真又は写真内で識別された人物などの、現在表示されている写真（１２３８）についての追加情報を提供する詳細インタフェースが表示される。
写真インタフェース１２３４はまた、現在選択されている写真、写真１２３８の表示を含む。このインタフェースはまた、写真１２３８のサムネイル１２３９、及びアルバム内の他の写真のうちのいくつかを表す他の縮小サイズのサムネイル１２４０を含む、プレビュー領域を含む。いくつかの実施形態では、アルバム内の全ての写真に対して、プレビュー領域内にサムネイルを表示するのに十分な余地がない場合、ユーザは、例えば、プレビュー領域上で、ディスプレイ１２０１上のスワイプジェスチャを介して、サムネイル間をスクロールすることができる。
写真インタフェース１２３４を表示している間、デバイス１２００のユーザは、写真１２３８から離れてアルバム内の次の写真（例えば、図１２Ｄのサムネイル１２２８によって表される写真）にナビゲーションするように、インタフェースに要求することができる。いくつかの例では、現在の写真から離れるナビゲーション要求は、現在選択されている写真（例えば、図１２Ｅの場合には写真１２３８）上で受信されたディスプレイ１２０１上のジェスチャである。一実施例では、スワイプジェスチャ１２４１が受信される。スワイプジェスチャ１２４１を受信したことに応じて、デバイス１２００は、画像センサ１２０２を使用して画像データをキャプチャする。他の例では、画像データは、現在の写真から離れるナビゲーション要求を受信する前に、キャプチャされる。
いったん画像データがキャプチャされ、現在選択されている写真から離れるナビゲーション要求が受信されると、デバイス１２００は、（例えば、認証プログラムを介して）コンテンツロック基準のセットが満たされているかどうかを判定する。いくつかの例では、コンテンツロック基準のセットは、キャプチャされた画像の分析に基づいて、不正ユーザがデバイス１２００を使用していると検出された場合に満たされる基準を含む。他の例では、（例えば、キャプチャされた画像データを分析することによって）正規ユーザがいないこと、デバイスの向き又は移動（例えば、デバイスのハンドオフ又はデバイスが平坦に横たわっていることの検出）、正規ユーザが最後に検出されてからの時間遅延、及び／又は表示されているコンテンツに関連付けられた情報（例えば、センシティブな内容又は個人的な内容はより厳しい基準のセットを有し得る）の検出など、他の基準もまた使用される。
コンテンツロック基準のセットが満たされていない（例えば、キャプチャされた画像データに基づいて、不正ユーザがデバイスを使用しているとして検出されない）という判定に応じて、現在選択されているコンテンツから離れるナビゲーションを進めることが許可される。これは、図１２Ｆ及び図１２Ｇに描かれている。
具体的には、図１２Ｆにおいて、スワイプジェスチャ１２４１（図１２Ｅ）に応じて、写真インタフェース１２３４が写真１２３８から、アルバム内の次の写真、写真１２４２に遷移する。加えて、写真１２３８に関連付けられたサムネイル１２３９は、写真１２４２に関連付けられたサムネイル１２４３が大きくなるにつれて縮小する。
図１２Ｇは、以前に選択されたコンテンツ（図１２Ｅの写真１２３８）から、新たに選択されたコンテンツ（写真１２４２）への完了したナビゲーションを示す。写真インタフェース１２３４の写真情報は、写真１２４２に関連付けられた写真情報１２４４で更新されている。
一方、コンテンツロック基準のセットが満たされている（例えば、キャプチャされた画像データに基づいて、不正ユーザがデバイスを使用しているとして検出される）という判定に応じて、現在選択されているコンテンツから離れるナビゲーションが拒否される。これは図１２Ｈに描かれている。
図１２Ｈでは、デバイス１２００は、コンテンツロック基準のセットが満たされていると判定した。例えば、図１２Ｅのスワイプジェスチャ１２４１を介して、現在選択されているコンテンツ（写真１２３８）から離れるナビゲーション要求に応じて、デバイス１２００は、図１２Ｆ及び図１２Ｇに関して説明したように、アルバム内の次の写真を示さない。加えて、サムネイル付き写真プレビュー領域１２３９は、要求に応じて更新されない。いくつかの実施形態では、写真プレビュー領域は完全に隠れている。スワイプジェスチャの停止に応じて、写真１２３８は、図１２Ｅに示すようにディスプレイ１２０１の中央に戻る。いったんコンテンツロック基準のセットがもはや満たされなくなると、写真１２３８から離れるナビゲーションを行う機能が再び許可される。
現在表示されているコンテンツ又は選択されているコンテンツから離れるナビゲーションを防止することに加えて、いくつかの実施形態では、デバイス１２００の他の機能を制限又は変更するために、他の潜在的に異なるロック基準のセットも使用される。例えば、ロック基準のセットは、アプリケーションを終了する、別の開いているアプリケーションに切り替える、又は新しいアプリケーションを起動する機能などの、デバイスの機能に関連付けられている。このロック基準のセットが満たされると、デバイスの関連付け機能は無効化される。別の例では、ロック基準のセットは、読み出し専用構成などの、デバイス上のアプリケーションの構成に関連付けられている。このロック基準のセットが満たされると、アプリケーションの構成が切り替わる（例えば、アプリケーションの機能が制限される、あるいはアプリケーションが読み出し／書き込み構成から読み出し専用構成に切り替わる）。更に別の例では、ロック基準のセットは、現在の機能以外のデバイスの全ての他の機能をロックすることに関連付けられている（例えば、デバイスが写真を表示している場合、これはおそらく、デバイスをロックすること以外に、そのデバイスで許可されている唯一の機能である）。
図１２Ｉ及び図１２Ｊは、ロック基準のセットの別の適用例を示す。図１２Ｉでは、通信は、ｉＭｅｓｓａｇｅメッセージの形で受信されている。デバイス１２００は、ロック基準のセットが満たされていないと判定した。このように、デバイス１２００は、通信が受信されたことを示し、メッセージの内容及び送信者をプレビューするための通知１２４５を表示する。対照的に、図１２Ｊでは、デバイス１２００は、同じロック基準のセットが満たされていると判定した。このロック基準のセットは、通信についての通知を表示するかどうか、あるいは表示する通知の種類が何であるかに関連付けられている。図１２Ｊでは、通知１２４６は、メッセージの内容又は誰がメッセージを送信したかを示すことなく、メッセージ又は通信が受信されたことを示すだけである。いくつかの実施形態では、通知の表示は、ロック基準が満たされることに応じて完全に抑制される。
関連するロック基準のセットがもはや満たされなくなると、デバイス１２００及びそのアプリケーションの制限された機能及び特徴が、任意選択的に復元される。いくつかの実施形態では、例えば、ピンコード又は指紋識別を使用してデバイスがロック解除されると、制限された機能及び特徴も復元される。
図１３Ａ～図１３Ｂは、いくつかの実施形態に係る、電子デバイスを使用しているユーザに基づいてデータ及びアプリケーションへのアクセスを制限するための方法を示すフロー図である。方法１３００は、ディスプレイ及び画像センサを有するデバイス（例えば、１００、３００、５００）において実行される。方法１３００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１３００は、デバイスを使用しているユーザに基づいて、データ及びアプリケーションへのアクセスを制限するための直感的な方法を提供する。この方法は、デバイスを使用しているユーザに基づいて、データ及びアプリケーションへのアクセスを制限することに対するユーザの認識的負担を低減し、それによって、より効率的なヒューマンマシンインタフェースを作成する。バッテリ動作コンピューティングデバイスの場合、デバイスを使用しているユーザに基づいて、データ及びアプリケーションへのアクセスを、ユーザがより速くより効率的に制限することを可能にすることによって、電力を節約し、バッテリ充電の時間間隔を増加させる。
ディスプレイ（例えば、１２０１）と１つ以上の画像センサ（例えば、１２０２）とを有する電子デバイス（例えば、１２００）は、アプリケーション（例えば、写真、写真共有アプリケーション、メッセージングアプリケーション）にコンテンツ（例えば、１２３８）（例えば、写真）をディスプレイ上に表示する。電子デバイスは、アプリケーションが第１の構成（例えば、通常の構成）にある間に、コンテンツを表示する（１３０２）。コンテンツを表示しながら、電子デバイスは、電子デバイスの１つ以上の画像センサ（例えば、１２０２）から画像データ（例えば、画像及び／又は深度情報）をキャプチャする（１３０４）。画像データをキャプチャした後、電子デバイスは、コンテンツから離れるナビゲーション要求（例えば、１２４１）を受信する（１３０６）。コンテンツから離れるナビゲーション要求（例えば、異なる写真へのスワイプ、又は異なるウェブページへの移動）を受信したことに応じて、電子デバイスは、第１のコンテンツロック基準のセットが満たされているという判定に従って、コンテンツ（例えば、１２３８）の表示を維持しながら、コンテンツから離れるナビゲーション（例えば、図１２Ｆ）（例えば、異なる写真へのスワイプ、又は異なるウェブページへの移動）を防止し（１３１０）、第１のコンテンツロック基準のセットは、不正ユーザがデバイスを使用していることをキャプチャされた画像データが示すときに満たされる第１の基準を含み、第１のコンテンツロック基準のセットが満たされていないという判定に従って、要求に従いコンテンツから離れるナビゲーションを行う（例えば、図１２Ｆ～図１２Ｇ）（１３１２）。一定の基準が満たされるときにコンテンツから離れるナビゲーションを防止することによって、正規ユーザがアクセスを許可しようとしているコンテンツの閲覧をなおも可能化しながら他のコンテンツへのアクセスを防止することにより電子デバイスのセキュリティが高められる（例えば、正規ユーザがデバイスを使用していないときに、他の写真へのアクセスを防止する）。
いくつかの実施形態によれば、コンテンツから離れるナビゲーションを行う電子デバイスは、現在表示されているコンテンツを並進させること（例えば、タッチ感知面上のドラッグジェスチャなどのスクロール入力に応じて、地図又はリストをスクロールすること）を含む。いくつかの実施形態によれば、コンテンツから離れるナビゲーションを行う電子デバイスは、アプリケーション（例えば、図１２Ｆ）におけるコンテンツアイテム（例えば、１２３８及び１２４２）間の切り替えを含む（例えば、タッチ感知面上でのスワイプジェスチャなどの次のコンテンツアイテム入力に基づいて、本又はｐｄｆ内のページ、カメラロール内の写真、ブラウザ内のウェブページを通じて切り替える）。
いくつかの実施形態によれば、電子デバイスは、第１のコンテンツロック基準のセットがもはや満たされないという判定に従って、コンテンツから離れるナビゲーション（例えば、図１２Ｆ～図１２Ｇ）（例えば、異なる写真へのスワイプ、又は異なるＷｅｂページへの移動）を可能にする（１３１４）。
いくつかの実施形態によれば、第１のロック基準のセットは、電子デバイスの正規ユーザがそのデバイスを使用していないことをキャプチャされた画像データが示す（例えば、正規ユーザの顔が、１秒、１５秒、又は１分などの所定の時間量を超えて、カメラの視野内で検出されない）ときに満たされる第２の基準を含む。いくつかの実施形態によれば、第１のロック基準のセットは、不正ユーザが存在し、かつ、正規ユーザが存在しないことをキャプチャされた画像データが示すときに満たされる第３の基準を含む（例えば、正規ユーザとして認識されないユーザの顔は、正規ユーザの顔がカメラの視野内に検出されることなく、カメラの視野内で検出される）。いくつかの実施形態では、含まれる基準のうちのいずれかが満たされると、第１のロック基準のセットが満たされる。いくつかの実施形態では、含まれる全ての基準が満たされるときにのみ、第１のロック基準のセットが満たされる。第１のロック基準のセットに複数のロック基準を含めることによって、電子デバイスが、コンテンツを他人に見せるユーザ機能と、他人への閲覧をユーザが望まないコンテンツへのアクセス防止との間に対するバランスを可能にする柔軟なセキュリティレベルを提供することで、電子デバイスを拡張させる。
いくつかの実施形態によれば、第１のロック基準のセットは、正規ユーザが存在するか否かにかかわらず不正ユーザが存在することをキャプチャされた画像データが示すときに満たされる（例えば、第１の基準が満たされる場合、第１のロック基準のセットが満たされる）。いくつかの実施形態によれば、電子デバイスは、電子デバイスの不正ユーザの存在をキャプチャされた画像データが示すかどうかを判定する。
いくつかの実施形態によれば、電子デバイスは、第２のコンテンツロック基準のセットが満たされているという判定に従って、電子デバイスの少なくとも１つの機能（図１２Ｉ及び１２Ｊ）を無効化する（１３１６）（例えば、通知の表示を抑制する）。いくつかの実施形態によれば、電子デバイスは、（例えば、他のセットと同じ又は異なる）第４のコンテンツロック基準のセットが満たされているという判定に従って、アプリケーション内のコンテンツを表示し続けながら、電子デバイスの他の機能（例えば、スリープ／起動ボタン機能を除く全ての他の機能）をロックする（１３２０）。いくつかの実施形態によれば、第４の基準が満たされていることに従って、電子デバイス上のアプリケーション間のナビゲーションを防止し、第５の基準が満たされていることに従って、アプリケーション内のナビゲーション（例えば、図１２Ｅの写真ビューから図１２Ｄのアルバムビューへ戻る遷移）を防止する。例えば、第４の基準（従って、第５のロック基準のセット）が満たされると、ユーザがホームボタンを押してもデバイスはホーム画面に戻らない。代わりに、アプリケーション表示が残るか、又はデバイスがロックされてロックインタフェース（例えば、１２０３）が表示されるか、のいずれかである。例えば、第４のコンテンツロック基準のセットは、画像データが、電子デバイスを使用している正規ユーザがいないことを示すときに満たされる。第４のコンテンツロック基準のセットが満たされたことに応じて、アプリケーション間の切り替え及び／又は通知の閲覧が無効化される。電子デバイスの１つ以上の機能を無効化又はロックすることによって、他の人が電子デバイス上のコンテンツを閲覧することをユーザが許可しているときに、一定の機能へのアクセスを制限することにより電子デバイスのセキュリティが高められる。例えば、表示された画像を閲覧するために別の人にユーザが電子デバイスを提供しており、電子デバイスが通話を受信した場合、電子デバイスは、ユーザ（例えば、正規ユーザ）が電子デバイスを使用していないと判定し、通話に応答することを防止することができる。
いくつかの実施形態によれば、第１のロック基準のセットと第２のロック基準のセットとは異なる（例えば、第１のロック基準のセットが満たされることは、画像データが、正規ユーザが存在するかどうかにかかわらず、不正ユーザが電子デバイスを使用していることを示し、画像データが、不正ユーザが存在するかどうかにかかわらず、正規ユーザが電子デバイスを使用していないことを示す場合、第２のロック基準のセットが満たされる）。
いくつかの実施形態によれば、電子デバイスは、第３のコンテンツロック基準のセットが満たされているという判定に従って、アプリケーションを、第１の構成（例えば、図１２Ｆ）と比較してアプリケーションの動作を制限する第２の構成（例えば、図１２Ｇ）に切り替える（１３１８）（例えば、不正ユーザ及び正規ユーザが存在する場合、ナビゲーションがロックされ、正規ユーザなしに不正ユーザが存在する場合、デバイス全体がロックされる）。
いくつかの実施形態によれば、電子デバイスは、（例えば、他のセットと同じ又は異なる）第５のコンテンツロック基準のセットが満たされているという判定に従って、電子デバイスにおいて受信された通信に関する通知の表示（例えば、通知トリガ条件を検出すること、及びコンテンツロック基準が満たされているという判定に従って、通知の提示を抑制すること／コンテンツロック基準が満たされていないという判定に従って、通知を提示すること（例えば、可聴、触知、又は視覚的出力を介して））を防止する（１３２２）。
いくつかの実施形態によれば、第５のロック基準のセットは、不正ユーザが電子デバイスを使用していることをキャプチャされた画像データが示すときに満たされる第４の基準を含み、第５のロック基準のセットは、第４の基準が満たされるときに満たされ、第１のロック基準のセットは、キャプチャされた画像データが正規ユーザの不在を示すときに満たされる第５の基準を含む。例えば、第５のロック基準のセットの第４の基準は、キャプチャされた画像データに正規ユーザ以外のユーザが存在することを電子デバイスからキャプチャされた画像データが示すときに満たされる（例えば、画像データは、（正規ユーザの有無にかかわらず）不正ユーザが電子デバイスの前のカメラの視野内にいることを示す）。加えて、第５のロック基準のセットにおける他の基準が満たされるかどうかにかかわらず、第４の基準が満たされる限り、第５のロック基準のセットが満たされる（例えば、不正ユーザがキャプチャされた画像データに存在する限り、第５のロック基準のセットを満たすために他の基準が満たされる必要はない）。
いくつかの実施形態によれば、画像データは光学的データ及び深度データを含み、第１のコンテンツロック基準のセットが満たされているかどうかを判定することは光学データ及び深度データに基づいている。いくつかの実施形態では、光学的データは第１の解像度を有する第１のカメラによって提供され、深度データは第１の解像度よりも低い第２の解像度を有する第２のカメラによって提供される。いくつかの実施形態では、深度データは、既知の距離だけ離れて配置されている２つのカメラからの画像の組み合わせによって生成される。いくつかの実施形態では、深度データ及び光学的データは、同じカメラによって生成される。
いくつかの実施形態によれば、コンテンツから離れるナビゲーションを行う電子デバイスは、ホーム画面（例えば、１２０５）を表示するためにアプリケーションを切り替えること、又はアプリケーション（例えば、図１２Ｃ～図１２Ｊの写真アプリケーション）を閉じること（例えば、ホームボタンなどのボタンの繰り返しのアクティブ化によってトリガされるマルチタスクモードにおけるアプリケーション間の切り替え、又はホームボタンなどのボタンのアクティブ化によってトリガされるアプリケーション起動ユーザインタフェースへの転出）を含む。
いくつかの実施形態によれば、電子デバイスは、電子デバイスの正規ユーザに関連付けられたロック解除情報（例えば、ピンコード、パスワード、又は指紋情報若しくは虹彩情報などのバイオメトリック情報）を受信し、ロック解除情報が真正かどうかを判定し、ロック解除情報が真正であるという判定に従って、コンテンツ（例えば、１２３８）から離れる（例えば、電子デバイスを通常動作に戻す）ナビゲーション（例えば、図１２Ｆ）（例えば、異なる写真にスワイプすること、又は異なるウェブページに行くこと）を可能化する。
図１３Ａ～図１３Ｂにおける動作について記載された特定の順序は単なる例示あり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法７００、１０００、１７００、１９００、２１００、２３００、２５００、２７００）に関して本明細書に記載される他の処理の詳細はまた、図１３Ａ～図１３Ｂに関して上記した方法１３００にも、類似の様式で適用可能であることに留意されたい。例えば、コンテンツロック基準、及び方法１３００を参照して上述したキャプチャされた画像データに基づいて、基準が満たされているかどうかの判定は任意選択的に、本明細書に記載される他の方法（例えば、方法１７００、１９００、２１００）を参照して、本明細書に記載される認可基準及びアラート基準及び関連付けられた判定の特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ（例えば、図１Ａ、図３、図５Ａに対して説明したように）又は特定用途向けチップなどの情報処理装置内の１つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図１３Ａ～図１３Ｂを参照して上述した演算は、図１Ａ～図１Ｂで示した構成要素によって、任意選択的に実行される。例えば、コンテンツから離れるナビゲーション要求を受信することは、イベントソータ１７０、イベント認識部１８０、及びイベント処理部１９０によって、任意選択的に実行される。イベントソータ１７０内のイベントモニタ１７１は、タッチ感知面６０４上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６ー１に伝送する。アプリケーション１３６ー１のそれぞれのイベント認識部１８０は、イベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置での第１の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、更新部１７６又はオブジェクト更新部１７７を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ～図１Ｂに示された構成要素に基づいてどのように実装できるかは明らかであろう。
いくつかの実施形態によれば、図１４は、説明される様々な実施形態の原理に従って構成された電子デバイス１４００の例示的な機能ブロック図を示す。いくつかの実施形態によれば、電子デバイス１４００の機能ブロックは、前述の技術を実行するように構成されている。デバイス１４００の機能ブロックは、説明される様々な例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組合せによって、任意選択的に実装される。図１４で説明する機能ブロックは、説明される様々な例の原理を実施するために、任意選択的に、組み合わされ、又はサブブロックに分離されることが当業者には理解される。したがって、本明細書の記載は、本明細書に記載されている機能ブロックの任意の可能な組合せ若しくは分離、又は更なる定義を任意選択的にサポートする。
図１４に示されるように、電子デバイス１４００は、ディスプレイユニット１４０２と、ディスプレイユニット１４０２に結合された処理ユニット１４０４とを含む。いくつかの実施形態では、処理ユニット１４０４は、表示可能化ユニット１４０６、キャプチャユニット１４０８、受信ユニット１４１０、防止ユニット１４１２、ナビゲーションユニット１４１４、許可ユニット１４１６、無効化ユニット１４１８、ロックユニット１４２０、防止ユニット１４２２、判定ユニット１４２４、切り替えユニット１１２６、及び可能化ユニット１１２８を含む。
１４０４に構成された処理ユニットは、（例えば、表示可能化ユニット１４０６を使用して）アプリケーション内のコンテンツをディスプレイ上に表示し、ここで、コンテンツは、アプリケーションが第１の構成にある間に表示しコンテンツを表示しながら、電子デバイスの１つ以上の画像センサから画像データを（例えば、キャプチャユニット１４０８を使用して）キャプチャし、画像データをキャプチャした後、コンテンツから離れるナビゲーション要求を（例えば、受信ユニット１４１０を使用して）受信し、コンテンツから離れるナビゲーション要求を受信したことに応じて、第１のコンテンツロック基準のセットが満たされているという判定に従って、コンテンツの表示を維持しながら、コンテンツから離れるナビゲーションを（例えば、防止ユニット１４１２を使用して）防止し、第１のコンテンツロック基準のセットは、不正ユーザがデバイスを使用していることをキャプチャされた画像データが示すときに満たされる第１の基準を含み、第１のコンテンツロック基準のセットが満たされていないという判定に従って、要求に従いコンテンツから離れるナビゲーションを（例えば、ナビゲーションユニット１４１４を使用して）行う、ように構成されている。
いくつかの実施形態では、処理ユニット１４０４は、第１のコンテンツロック基準のセットがもはや満たされないという判定に従って、コンテンツから離れるナビゲーションを（例えば、許可ユニット１４１６を使用して）可能にするように更に構成されている。
いくつかの実施形態では、第１のロック基準のセットは、電子デバイスの正規ユーザがデバイスを使用していないことをキャプチャされた画像データが示すときに満たされる第２の基準を含む。
いくつかの実施形態では、第１のロック基準のセットは、不正ユーザが存在し、かつ、正規ユーザが存在しないことをキャプチャされた画像データが示すときに満たされる第３の基準を含む。
いくつかの実施形態では、第１のロック基準のセットは、正規ユーザが存在するか否かにかかわらず不正ユーザが存在することをキャプチャされた画像データが示すときに満たされる。
いくつかの実施形態では、処理ユニット１４０４は、第２のコンテンツロック基準のセットが満たされたという判定に従って、電子デバイスの少なくとも１つの機能を（例えば、無効化ユニット１４１８を使用して）無効化するように更に構成されている。
いくつかの実施形態では、第１のロック基準のセットと第２のロック基準のセットとは異なる。
いくつかの実施形態では、処理ユニット１４０４は、第３のコンテンツロック基準のセットが満たされているという判定に従って、アプリケーションを、第１の構成と比較してアプリケーションの動作を制限する第２の構成に（例えば、切り替えユニット１１２６を使用して）切り替えるように更に構成されている。
いくつかの実施形態では、処理ユニット１４０４は、第４のコンテンツロック基準のセットが満たされているという判定に従って、アプリケーション内にコンテンツを表示し続けながら、電子デバイスの他の機能を（例えば、ロックユニット１４２０を使用して）ロックするように更に構成される。
いくつかの実施形態では、処理ユニット１４０４は、第５のコンテンツロック基準のセットが満たされたという判定に従って、電子デバイスにおいて受信された通信に関連する通知の表示を（例えば、防止ユニット１４１２を使用して）防止するように更に構成されている。
いくつかの実施形態では、第５のロック基準のセットは、不正ユーザが電子デバイスを使用していることをキャプチャされた画像データが示すときに満たされる第４の基準を含み、第５のロック基準のセットは、第４の基準が満たされる場合に満たされ、第１のロック基準のセットは、キャプチャされた画像データが正規ユーザの不在を示すときに満たされる第５の基準を含む。
いくつかの実施形態では、処理ユニット１４０４は、第４の基準が満たされているという判定に従って、電子デバイス上のアプリケーション間のナビゲーションを（例えば、防止ユニット１４１２を使用して）防止し、第５の基準が満たされているという判定に従って、アプリケーション内のナビゲーションを（例えば、防止ユニット１４１２を使用して）防止する、ように更に構成されている。
いくつかの実施形態では、処理ユニット１４０４は、電子デバイスの不正ユーザの存在をキャプチャされた画像データが示すかどうかを（例えば、判定ユニット１１２４を使用して）判定するように更に構成されている。
いくつかの実施形態では、画像データは光学データ及び深度データを含み、第１のコンテンツロック基準のセットが満たされているかどうかを判定することは光学データ及び深度データに基づいている。
いくつかの実施形態では、コンテンツから離れるナビゲーションが、現在表示されているコンテンツを並進させることを含む。
いくつかの実施形態では、コンテンツから離れるナビゲーションが、アプリケーション内のコンテンツアイテム間を切り替えることを含む。
いくつかの実施形態では、コンテンツから離れるナビゲーションが、アプリケーションを切り替えること、又はホーム画面を表示するためにアプリケーションを閉じることを含む。
いくつかの実施形態では、処理ユニット１４０４は、電子デバイスの正規ユーザに関連付けられたロック解除情報を（例えば、受信ユニット１４１０を使用して）受信し、ロック解除情報が真正であるかどうかを（例えば、判定ユニット１１２４を使用して）判定し、ロック解除情報が真正であるという判定に従って、コンテンツから離れるナビゲーションを（例えば、可能化ユニット１１２８を使用して）可能化する、ように更に構成されている。
方法１７００（図１６Ａ～図１６Ｇ及び１７Ａ～図１７Ｂに対して後述する）、１９００（図１８Ａ～図１８Ｌ及び１９Ａ～図１９Ｂに対して後述する）、２１００（図２０Ａ～図２０Ｆ及び２１Ａ～図２１Ｂに対して後述する）、及び２３００（図２２Ａ～図２２Ｅ及び２３Ａ～図２３Ｂに対して後述する）は、キャプチャされた画像データを使用して、電子デバイスが様々な入力及び他の情報を解釈すべきかを判定する。入力を受信したことに応答して、所定の時間間隔で、他の情報（例えば、メッセージ又はアラート）を受信したことに応答して、又は他の状況下で、を含む任意の時点で、画像データをキャプチャすることができる。いくつかの実施形態では、電子デバイスは、対応するユーザ入力が電子デバイスおいて受信されたときに、電子デバイスのカメラの視野内に存在するシーンを表すキャプチャされた画像データを分析する。分析により、キャプチャされた画像データ及び／又はキャプチャされた画像データ内に表される特定のオブジェクト（例えば、人々、壁上のオブジェクト、建物など）に関する特性を識別する。図１５Ａ～図１５Ｆは、キャプチャされた画像データで識別することができる人々及び他のオブジェクトの特性の例を示す。いくつかの実施形態では、電子デバイスは、ユーザ入力、アラート、メッセージ、及び通知などの入力及び他の情報を処理する方法を判定する際に、これらの特性又は他の識別された特性のうちの１つ以上を使用する。
図１５Ａでは、いくつかの実施形態では、上述のデバイス１００、３００、又は５００である電子デバイス１５００は、電子デバイス１５００の前面に面する視野１５０４（破線で示される）を有するカメラ１５０２を含む（例えば、カメラ１５０２は、前面カメラである）。いくつかの実施形態では、電子デバイス１５００はまた、背面に面しているが、そうでなければカメラ１５０２と同じである第２のカメラを含む。カメラ１５０２は、各々が、電磁スペクトル又は深度データの１つ以上の帯域内の光（例えば、カメラから視野内の点までの距離）などのシーンの特性を感知及び／又は検出する１つ以上の画像センサを含む。一実施例では、カメラ１５０２は、可視光を表す画像データをキャプチャする可視光センサを含む。別の例では、カメラ１５０２は、可視光を表す画像データをキャプチャする可視光センサ及びＩＲ光を表す画像データをキャプチャする赤外線（ＩＲ）センサを含む。別の例では、カメラ１５０２は、可視光センサからキャプチャされた関連付けられた可視光データの深度データを提供する飛行時間センサ（例えば、ＩＲセンサの一部として）を含む。図１５Ａのカメラ１５０２からのキャプチャされた画像データは、ユーザ１５０６を含む。キャプチャされた画像データに基づいて、電子デバイス１５００は、ユーザが認可されたユーザであること、ユーザが電子デバイスを見ている（例えば、ユーザの眼１５０８は、一般に、電子デバイスのディスプレイ又は電子デバイスのみに向けられている）、ユーザが電子デバイスを使用している（例えば、電子デバイスに向けられているユーザの眼及び動きに基づいて、ユーザが電子デバイスと対話していることを示す）、又は他の特性などのキャプチャされたシーンの１つ以上の特性を識別する。
いくつかの実施形態では、電子デバイス１５００は、深度データ及び可視光データを含む画像データを使用して、特性を判定する。一実施例では、電子デバイス１５００は、画像データを分析して、可視光及び深度データに基づいてユーザの頭部の位置及び向きを判定し、ユーザの眼が可視光データに基づいてポインティングしている方向を判定する。これらのファクタ、及び任意選択的に他の要因に基づいて、電子デバイス１５００は、ユーザが電子デバイスのディスプレイを見ているかどうかを判定する。いくつかの実施形態では、電子デバイス１５００は、これらのファクタ、及び任意選択的に他のファクタを使用して、電子デバイス１５００のディスプレイ上のどこにユーザがフォーカスしているかを判定する。
上述の飛行時間技術に加えて、関連付けられた可視光データの深度データを測定するか、又は他の種類の画像データから深度データを抽出するために、他の技術を使用することができる。例えば、２つ以上の画像センサを使用して、視差技術を使用することができる。別の例として、ＩＲエミッタ及びＩＲ検出器を使用して、スペックル技術のスペックルを使用することができる。別の例として、カメラの焦点情報を使用して深度情報を判定することができる。カメラ１５０２内の１つ以上のセンサから判定された任意の深度情報は、キャプチャされた画像データの一部として任意選択的に記憶される。
図１５Ｂでは、電子デバイス１５００は、図１５Ａに関してキャプチャされたシーンと同様のシーンを表す画像データをキャプチャする。しかしながら、ユーザ１５０６は、ユーザの眼１５０８によって示されるように電子デバイス１５００を見ていない。このシーンを表すキャプチャされた画像データにおいて、電子デバイス１５００は、ユーザ１５０６が認可されたユーザである、ユーザ１５０６が電子デバイスを見ていない、又は他の特性などの特性を識別する。
図１５Ｃでは、電子デバイス１５００は、バッグ１５１０の内部から画像データをキャプチャする。このシーンを表すキャプチャされた画像データにおいて、電子デバイス１５００は、その視野１５０４が遮蔽されている又は認可されたユーザが存在しないなどの特性を識別する。
図１５Ｄでは、電子デバイス１５００は、図１５Ａ及び図１５Ｂに関してキャプチャされたシーンと同様のシーンを表す画像データをキャプチャする。しかしながら、ユーザ１５０６（図１５Ａ～図１５Ｂ）は、カメラ１５０２の視野１５０４にはもはや存在しない。代わりに、ユーザ１５１２が存在する。このシーンを表すキャプチャされた画像データにおいて、電子デバイス１５００は、ユーザ１５１２が認可されたユーザでない、ユーザ１５１２が電子デバイスを見ている、認可されたユーザが存在しない、又は他の特性などの特性を識別する。
図１５Ｅでは、電子デバイス１５００は、対象のオブジェクトを表さない画像データをキャプチャする（例えば、電子デバイス１５００は、天井又は空のみが視野１５０４内にあるように、カメラ１５０２がテーブル上に上向きにある）。このシーンを表すキャプチャされた画像データにおいて、電子デバイス１５００は、認可されたユーザが存在しない、未認可のユーザが存在しない、カメラの視野が遮蔽されていない、又は他の特性などの特性を識別する。
図１５Ｆでは、電子デバイス１５００は、ユーザ１５０６及びユーザ１５１２の両方を表すシーンを表す画像データをキャプチャする。このシーンを表すキャプチャされた画像データにおいて、電子デバイス１５００は、ユーザ１５１２が認可されたユーザでない、ユーザ１５０６が認可されたユーザでない、ユーザ１５０６及びユーザ１５１２の各々が電子デバイスを見ている、認可されたユーザが存在しない、又は他の特性などの特性を識別する。
図１６Ａ～図１６Ｇは、１つ以上の認可基準のセットに基づいて、動作の実行を制限する例示的なユーザインタフェースを示す。図１７Ａ～図１７Ｂは、いくつかの実施形態による、１つ以上の認可基準のセットに基づいて、動作の実行を制限する方法を示すフロー図である。図１６Ａ～図１６Ｇのユーザインタフェースは、図１７Ａ～図１７Ｂのプロセスを含む後述するプロセスを示す。
図１６Ａは、いくつかの例では前述のデバイス１００、デバイス３００、又はデバイス５００の特定のフォームファクタである、デバイス１５００（図１５Ａ～図１５Ｆ参照）を示す。デバイス１５００は、いくつかの実施形態ではタッチ感知ディスプレイである、ディスプレイ１５０１と、カメラ１５０２とを含む（図１５Ａ～図１５Ｆ関して説明される）。加えて、デバイス１５００のいくつかの実施形態では、カメラ１５０２と共に、追加のセンサ及び／又は他の構成要素（例えば、フラッシュ若しくはＩＲエミッタ）が存在する。
図１６Ａにおいて、デバイス１５００は、ディスプレイ１５０１上に電子メールユーザインタフェース１６００を表示する。電子メールユーザインタフェース１６００は、それぞれの電子メールメッセージに対応するグラフィック表現１６０２～１６０８を含む。グラフィック表現は、送信者、対応する電子メールの件名からの情報、及び電子メールメッセージが受信された時間を識別する情報を含む。グラフィック表現１６０２～１６０４は、それぞれ、未読のインジケータ１６０９～１６１１を含む。
図１６Ｂ～図１６Ｅは、グラフィック表現１６０２上で受信したジェスチャに応答するデバイス１５００を示す。接触１６１２がタッチ感知ディスプレイ１５０１にタッチし（図１６Ｂ）、タッチ感知ディスプレイを横切るように動かす（図１６Ｃ～図１６Ｅ）と、いくつかのアフォーダンスが表示される。具体的には、図１６Ｃ及び図１６Ｄに示すように、タッチ感知ディスプレイ１５０１から接触を離さずに、グラフィック要素１６０３を横切って接触１６１２を動かした後に、ゴミ箱ボタン１６１４、フラグボタン１６１５、及びｍｏｒｅボタン１６１６が表示される。ゴミ箱ボタン１６１４を選択すると、グラフィック表現１６０３に関連付けられた電子メールメッセージをゴミ箱フォルダに移動し、電子メールメッセージを削除するか、又は電子メールメッセージを消去する。フラグボタン１６１５を選択すると、フラグを電子メールメッセージに関連付けさせる（例えば、追加のインジケータをグラフィック表現１６０３内に表示させる）。モアボタン１６１６を選択すると、例えば、返信、転送、電子メールメッセージを既読とマーク、メッセージの移動、又は通知のオプションなどの、関連付けられた電子メールメッセージのオプションの追加メニューを表示させる。
デバイスが、図１６Ｃ又は図１６Ｄに示される場所でタッチ感知ディスプレイ１５０１から接触１６１２が離れたことを検出すると、デバイスは、例えば、タッチ感知ディスプレイ１５０１上のボタンの場所上のタップジェスチャを介して、ユーザがボタンのいずれかを選択するための静的場所にボタン１６１４～１６１６の表示を維持する。一方、図１６Ｅに示すように、デバイスが、離れずにグラフィック表現１６０３を横切って動く接触１６１２を検出し続ける場合、図１６Ｅに示すように、デバイスは、フラグボタン１６１５及びモアボタン１６１６をもはや表示しなくなる。これは、接触１６１２がタッチ感知ディスプレイ１５０１から離れると、デバイスは、ゴミ箱ボタン１６１４に関連付けられた機能を実行することを示す。
デバイスが図１６Ｅの接触１６１２がタッチ感知ディスプレイ１５０１から離れたことを検出した後、デバイス１５００は、キャプチャされた画像データに基づいて、削除ボタン１６１４に関連付けられたアクションを実行する前に１つ以上の基準のセットが満たされているかどうかを判定する。いくつかの実施形態では、デバイス１５００は、（例えば、図１６Ｄにゴミ箱ボタン１６１４が表示されている間にタップジェスチャを介して）ゴミ箱ボタン１６１４が直接選択されるときと類似の判定が実行される。１つ以上の基準のセットのいくつかの例では、１つ以上の基準のセットは、実行されるアクションが認可されたユーザの要求にあることを確実にする１つ以上の認可基準のセットである。１つ以上の基準のセットのいくつかの例では、１つ以上の基準のセットは、認可されたユーザの顔がデバイスの前面カメラの視野内にあり、ユーザがデバイスを見ていることを必要とする１つの基準である。この基準が満たされているかどうかを判定するために、デバイス１５００は、接触１６１２に対応するジェスチャ入力が受信される前、間、又は後に、カメラ１５０２でキャプチャされた画像データを分析する。例えば、画像データは、ジェスチャの開始又は終了に応答して、アクションが実行されるべきかの判定に応答して、画像データをキャプチャするためのいくらかの所定の間隔に応答して、又はキャプチャされた画像データとの要求アクションの関連付けを可能にする他のファクタに基づいて、任意選択的にキャプチャされた。画像データがキャプチャされると、データを分析して、キャプチャされた画像データ内で認可された顔が検出されたかどうかを判定する。例えば、可視光、不可視光、深度、又は任意の他の種類の画像データの任意の組み合わせを表すデータを分析して、キャプチャされた画像データ内に顔があるかどうかを判定する。顔が検出された場合、キャプチャされた画像データを更に分析して、顔が認可されたユーザに属するかどうかを判定する。例えば、キャプチャされた画像データ内で検出された顔の特徴は、以前にデバイス１５００に登録された認可されたユーザの１つ以上の顔のデータを記憶するデータベースからの特徴と比較され得る。顔が認可されたユーザに属する場合、デバイス１５００は、キャプチャされた画像データを更に分析して、認可されたユーザがデバイス１５００を見ているかどうかを判定する。上述のように、削除ボタンが選択されたときに、認可されたユーザがデバイス１５００を見ていると判定された場合、削除機能が実行される。
図１６Ｆは、上記例に対する電子メールユーザインタフェース１６００の例示的な応答を示す。図１６Ｆは、図１６Ｅに示すように、接触１６１２がタッチ感知面１５０１にもはやタッチしていない後の電子メールユーザインタフェース１６００を示す。図１５Ａに対応するシーン１６２０は、デバイス１５００がカメラ１５０２を用いて画像データをキャプチャしたときのユーザのステータスを表す。具体的には、シーン１６２０を表すカメラ１５０２からのキャプチャされた画像データは、グラフィック表現１６０３に対応する電子メールメッセージを削除するための要求が受信されたときに、デバイス１５００を見ている許可されたユーザの顔を示す。１つ以上の基準のセットは、削除要求が受信されたときに、認証されたユーザの顔をデバイス１５００で見る必要がある単一の基準であるため、１つ以上の基準のセットは、キャプチャされた画像データのデバイス１５００の分析に基づいて満たされる。したがって、図１６Ｆに示すように、グラフィック表現１６０３に対応する電子メールメッセージは削除され、電子メールユーザインタフェース１６００内にもはや表示されず、異なる電子メールに対応するグラフィック表現１６１８が電子メールユーザインタフェース１６００に追加される。この結果は、カメラが図１５Ｆで表されるシーンをキャプチャした場合、同じであろう（例えば、図１５Ｆは、未認可のユーザも含むものの、ディスプレイを見ている認可されたユーザを含む）。
図１６Ｇは、上記の例示的な１つ以上の基準のセットが満たされない場合の例を示す。具体的には、シーン１６２２（図１５Ｂに対応する）に示すように、キャプチャされた画像データは、認可されたユーザの顔を示しているが、認可されたユーザは、デバイスを見ていない。したがって、１つ以上の認可基準のセットが満たされていない。この場合、デバイス１５００は、ユーザが実際に要求されたアクションを実行したいことを確認するようにユーザに促す。例えば、図１６Ｇに示すように、デバイス１５００は、グラフィック表現１６０３に対応する電子メールメッセージが削除されるべきであることを確認するようにユーザに促すメッセージング１６２４を表示する。ユーザが削除ボタン１６２６を介して削除を確認した場合、デバイス１５００は、図１６Ｆに示すように、グラフィック表現１６０３に関連付けられた電子メールメッセージを削除し、電子メールユーザインタフェース１６００を更新する。ユーザが代わりにキャンセルボタン１６２８を選択すると、デバイス１５００は、要求された削除アクションを実行せず、代わりに、電子メールユーザインタフェース１６００を図１６Ａに示す状態に戻す。図１５Ｃ～図１５Ｅに表される他のシーンのいずれかがキャプチャされた場合に、これらのシーンのいずれも、カメラの視野内にデバイスをまた見ている認可されたユーザを含まないため、この同じ確認プロセスが生じるだろう。いくつかの実施形態では、電子デバイス１５００は、異なる方法で満たされてない１つ以上の基準のセットに応答する。例えば、電子デバイス１５００は、任意選択的に、ユーザにパスワード／ピンプロンプトによる認証を促し、ユーザに指紋情報を提供するよう要求し、ユーザに前面カメラのビュー内に顔を位置付けるように促し、デバイスをロック状態に入らせるか、又は要求を無視させることができる。
上記の１つ以上の基準のセットは単一の基準のみを含んでいたが、他の実施形態では、１つ以上の基準のセットは、異なる基準又は複数の基準を含む。一例として、１つ以上の基準のセットは、認可されたユーザの顔がキャプチャされた画像データ内に存在するときに満たされる基準を含む（認可されたユーザがデバイスを見ているかどうかに関係ない）。別の例では、１つ以上の基準のセットは、認可されたユーザの顔がキャプチャされた画像データ内にあり、未認可の又は認識されていないユーザの顔がキャプチャされた画像データ内にないという基準を含む。別の例では、１つ以上の基準のセットは、カメラの視野が遮蔽されていないことのみを必要とする。例えば、図１５Ｅによって表されるシーンがキャプチャされた場合に満たされるであろうが、図１５Ｃで表されるシーンがキャプチャされた場合に満たされない場合に満たされないであろう。
図１６Ａ～図１６Ｆは、電子メールユーザインタフェースに関する方法１７００の一例を示すが、同様のプロセスが、写真アルバムインタフェース、他のメッセージングインタフェース、ファイルマネージャーインタフェース、音楽又はビデオインタフェース、又は任意の他のインタフェースなどの任意の数のユーザインタフェースに適用することができる。同様に、上記の例示的なアクションは削除アクションであるが、同じプロセスが任意の数の他のアクション又はアクションのクラスに適用することができる。可能なアクションの例としては、コンテンツを削除すること、コンテンツを消去すること、コンテンツを送信すること、コンテンツを移動させること、コンテンツのステータスを変更すること（例えば、既読とマークすること）、コンテンツを破棄すること、デバイスをオフにすること、アプリケーションをアンインストールすること、アプリケーションをリセットすること、デバイスの設定を変更すること、アプリケーション若しくはデバイス上のＯＳの設定を変更すること、又は他のアクションが挙げられる。可能なクラスのアクションの例としては、破壊的アクション、リモートデバイスにデータを送信するアクション、デバイス又はそのコンテンツに潜在的に有害なアクション、及びリモートユーザとの通信を開始するアクションが挙げられる。
図１７Ａ～図１７Ｂは、いくつかの実施形態による、１つ以上の認可基準のセットに基づいて、動作の実行を制限する方法を示すフロー図である。方法１７００は、ディスプレイとカメラとを備えたデバイス（例えば、１００、３００、５００、１５００）にて実行される。方法１７００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１７００は、１つ以上の認可基準のセットに基づいて、動作の実行を制限するための直感的方法を提供する。この方法は、１つ以上の認可基準のセットに基づいて、動作の実行を制限するユーザの認識的負担を軽減し、それにより更に効果的なヒューマンマシンインタフェースをもたらす。バッテリ動作式のコンピューティングデバイスの場合、ユーザが動作をより速くかつより効率的に実行できるようにすることで、電力が節約され、バッテリ充電の間隔が長くなる。
ディスプレイ（例えば、１５０１）とカメラ（例えば、１５０２）とを有する電子デバイス（例えば、１５００）は、１つ以上の可視光センサ、ＩＲセンサ、飛行時間センサ、又はこれらの及び他のセンサの組み合わせ）を含み、ディスプレイ上にコンテンツ（例えば、１６０２～１６０８）の表現を含むユーザインタフェース（例えば、１６００）を表示する（１７０２）。いくつかの実施形態では、デバイスは、ユーザインタフェースが表示されたときに既にロック解除状態にある。
コンテンツ（例えば、アイテム１６０３に関連付けられた電子メールメッセージ）のグラフィック表現（例えば、アイテム１６０３）（例えば、リスト内のアイコン、サムネイル、又はアイテム）を含むユーザインタフェース（例えば、１６００）を表示している間に、電子デバイスは、コンテンツに対して既定のアクション（例えば、データを削除すること、メモリをフォーマットすること、アプリケーションを閉じること、デバイスの電源を切ること、アプリケーションをアンインストールすること、データの保存を拒否すること）を実行する要求（例えば、特定のジェスチャ、コマンドの入力、アフォーダンスの選択）に対応する第１ユーザ入力（例えば、１６１２）（例えば、タッチ感知面上でのジェスチャなどのタッチ入力、従来のキーボード、マウス入力、音声入力、又はいくつかの他の種類の入力などの機械的ボタン入力）を電子デバイス上で受信する（１７０４）。いくつかの実施形態では、コンテンツは、電子メールメッセージ、連絡先、又は写真である。
第１ユーザ入力を受信したことに応答して（１７０６）、カメラ（例えば、１５０２）によってキャプチャされた、キャプチャされた画像データに基づいて（例えば、可視光データ、ＩＲ光データ、深度画像データ、及び／又はキャプチャされた画像データ内に記憶された他のデータを使用した顔認識などの画像分析を使用して）、認可基準のセットが満たされたという判定に従って、電子デバイスは、既定のアクション（例えば、コンテンツの削除、消去、既読とマーク、ナビゲート、又は移動）を実行する（１７０８）（例えば、図１６Ｆに示すように）。認可基準は、キャプチャされた画像データが、カメラの前に認可されたユーザの顔が存在し、かつユーザ入力が受信された時点でディスプレイを見ていたことを示すときに満たされる基準を含む（例えば、図１５Ａ）。いくつかの実施形態では、認可基準のセットは、１つ以上の基準を含む。いくつかの実施形態では、認可基準の例は、認可されたユーザが電子デバイスを使用していることを含み、認可されたユーザが電子デバイスを見ていること、未認可のユーザ（又はいくつかの例では、任意の他のユーザ）がまたデバイスを使用しておらず認可されたユーザがデバイスを使用していること、未認可のユーザ（又はいくつかの例では、任意の他のユーザ）がデバイス（又はいくつかの例では、デバイスの付近）を見ておらず認可されたユーザがデバイスを使用していること、未認可のユーザがデバイスを使用していないこと、認可されたユーザが閾値時間量内にデバイスを使用したこと）を含む。キャプチャされた画像データに基づいて、認可基準のセットが満たされていないという判定に従って、電子デバイスは、既定のアクションの実行を取り止める（図１６Ｇ）（１７１０）。
認可されたユーザが電子デバイスの前におり見ているどうかを判定することは、アクションが誤った入力によって不注意に実行されず、デバイスを使用することが認可されていない人によって実行されないことを確実にする。これは、データへのアクセスを可能にする前に、認可された方法及び認可された人物でデバイスが使用されていることを保証することによって、データセキュリティ及びデータプライバシーを提供する。加えて、キャプチャされた画像データに基づいて実行される認証及び検証を行うことにより、電子デバイスのインタフェースは、デバイス上で実行されるアクションを認証及び検証するために必要なユーザ入力をより少なくすることによって改善される。ユーザが電子デバイスのディスプレイを見ることを確実にすることにより、フォールスポジティブが生じ得る可能性が高い。例えば、ユーザがキャプチャされた画像データ内に存在する場合、ユーザは電子デバイスを使用しているように見え得るが、ユーザの存在は、ユーザが実際に電子デバイスを使用していることを保証しない。代わりに、ユーザの注意は他の場所であってもよい。ユーザがキャプチャされた画像データ内に存在し、かつ電子デバイスのディスプレイを見ているかどうかを判定することは、ユーザが電子デバイスを実際に使用している可能性を高める。これにより、デバイス上のデータのセキュリティが改善され、ユーザが電子デバイスを実際に使用していない場合には、アクションが不注意に実行されないことを確実にする。
いくつかの実施形態では、電子デバイスは、第１ユーザ入力が受信された時間に対応する時点で、カメラによりキャプチャされた画像データ（例えば、シーン１６２０に対応する画像データ）をキャプチャする（１７１８）。いくつかの実施形態では、画像データは、ユーザ入力（例えば、１６１２）を受信する前にキャプチャされ、画像データは、ユーザ入力を受信したことに応答して、ユーザ入力がデータに対する破壊的アクション（例えば、ゴミ箱ボタン１６１４に対応するアクション）の要求に対応するとの判定に応答して、上記のいくつかの組み合わせで、又は他のファクタに基づくいくつかの他の時点で、ユーザ入力を受信した後にキャプチャされる。
いくつかの実施形態では、既定のアクションは破壊的アクションである。いくつかの実施形態では、既定のアクションは、電子デバイス又は他の場所からコンテンツを削除又は消去するためのものである（１７１２）。いくつかの実施形態では、既定のアクションは、電子デバイスからコンテンツに関連付けられたアカウントを除去するためのものである。いくつかの実施形態では、既定のアクションは、コンテンツを消去又は削除する要求（例えば、ゴミ箱ボタン１６１４に対応するアクション）である。いくつかの実施形態では、データを削除することは、ストレージ上のデータへのアクセスを除去することを含み、消去することは、ストレージからデータを除去することである。いくつかの実施形態では、既定のアクションは、コンテンツに関連付けられたユーザインタフェースの特定のビューにナビゲートすることを含む。いくつかの実施形態では、ユーザインタフェースは、地図アプリケーションであり、ユーザインタフェースナビゲーション動作は、表示された地図の移動、ナビゲーション方向の変更、ナビゲーション指示の提供の停止、又は他のナビゲーション動作の実行の要求に対応する。いくつかの実施形態では、ユーザインタフェースは、写真アプリケーションであり、ユーザインタフェースナビゲーション動作は、写真の切り替え、写真アルバム、写真の削除、写真の編集、又は他の写真編集動作の実行の要求である。破壊的動作が実行される前に、ユーザがデバイスの前に存在し及び／又はデバイスを見みていることを必要とすることは、デバイスの動作を強化する。例えば、この技術は、そうでなければデバイスから所望のコンテンツを除去する不注意なアクションを防止することによって、データ信頼性を向上させる。これにより、デバイス上の必要なデータの利用可能性が改善され、不注意に削除又は除去されたデータを検索することに関連するユーザの認識的負担を軽減する。改善されたデータ信頼性及びセキュリティ提供することより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、意図されていない結果を避けることを支援することによって、）加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、ディスプレイはタッチ感知ディスプレイ（例えば、ディスプレイ１５０１）であり、第１ユーザ入力は、タッチ感知ディスプレイ上のジェスチャ（例えば、１６１２）である。例えば、ユーザ入力は、オブジェクト上でのスワイプ（例えば、図１６Ａ～図１６Ｅの１６１２）、アフォーダンスの確認、削除、若しくは除去、又は他の種類のジェスチャなどのアフォーダンスのタップである。タッチ感知ディスプレイを備えるデバイスは、上記の方法から具体的に利益を得る。例えば、そのような画面を有する電子デバイスがポケット内に置かれたり、水に晒されたり、他の状況にある場合、電子デバイス上のタッチ感知ディスプレイは、不注意にアクティブ化さる場合があり、アクションが不注意に実行される場合がある。タッチ感知ディスプレイを備える電子デバイスのユーザがデバイスの前におり及び／又はデバイスを見ていることを検証することによって、電子デバイスは、不注意なアクションの数を低減することによって改善される。
いくつかの実施形態では、認可基準のセットが満たされていないという判定（キャプチャされた画像データに基づく）は、キャプチャされた画像データが、カメラの前に認可されたユーザの顔が存在した（例えば、図１５Ｃ、図１５Ｄ、及び図１５Ｅ）こと又は認可されたユーザが、ユーザ入力が受信された時点でディスプレイを見ていなかった（例えば、シーン１６２２）ことを示さないという判定を含む。認可されたユーザが、電子デバイスによってキャプチャされた画像データ内に存在することを保証することは、認可されたユーザが要求されたアクションに関与しない可能性が高い場合に、特定のアクションを防止することによって、電子デバイス上のデータのセキュリティを高める。認可されたユーザが電子デバイスを見ていることを保証することで、認可されたユーザが存在するだけでなく、電子デバイスにも注意を払うことも保証することによって、別のレベルのセキュリティを提供する。これにより、認可されたユーザの近くで起こる未認可のユーザによって要求される破壊的アクションなどのアクションを防止し、認可されたユーザが電子デバイスに積極的に注意を払わない場合に偶発的に要求される不注意なアクションの実行を防止する。更に、キャプチャされた画像データを使用してこの改善されたデータセキュリティを実装することによって、電子デバイスは、追加のユーザ入力を必要とすることなく又はユーザインタフェースに複雑性を追加することなく、強化されたデータセキュリティを提供することによって改善される。
いくつかの実施形態では、第１ユーザ入力を受信したことに応答して、キャプチャされた画像データに基づいて、認可基準のセットが満たされていないという判定に従って、電子デバイスは、ユーザに認証を促す（例えば、１６２４）。いくつかの実施形態では、第１ユーザ入力を受信したことに応答して、キャプチャされた画像データに基づいて、認可基準のセットが満たされていないという判定に従って、電子デバイスは、ユーザにカメラを見ることによる認証を促す（例えば、１６２４）。いくつかの実施形態では、既定のアクションは、既定のアクションは、アプリケーションを起動するか、又は写真アプリケーション内の新しい写真グラフにナビゲートする。ユーザ入力が受信されたときにカメラの前に認可されたユーザがいない場合、又は別法として、認可されたユーザが、ユーザ入力が受信された時点でディスプレイを見ていなかった場合、デバイスは、ユーザにデバイスのカメラを見ることによる認証を促す。いくつかの実施形態では、ユーザは、ピンコード若しくはパスワードを入力するように促されるか、又は指紋などの他の認証情報を提供するように促される。いくつかの実施形態では、（キャプチャされた画像データに基づいて、）認可基準のセットが満たされていないという判定に従って、電子デバイスをロック状態に切り替える。いくつかの実施形態では、既定のアクションは、既定のアクションは、アプリケーションを起動するか、又は写真アプリケーション内の新しい写真グラフにナビゲートする。ユーザ入力が受信されたときにカメラの前に認可されたユーザがいない場合、又は別法として、認可されたユーザが、ユーザ入力が受信された時点でディスプレイを見ていなかった場合、デバイスは、デバイスの動作を制限して電子デバイス上のデータを保護し、電子デバイス上のデータへの更なるアクセス試行を防止するロックモードに切り替えられる。認可基準が満たされていない場合にアクションが実行されるべきかを確認するようにユーザに促すことにより、上記のデータ信頼性及びセキュリティの利益をもたらすが、一方で、要求されたアクションが実行されるべきではないというデバイスの判定を無効にするための容易なプロセスもまた提供する（例えば、照明条件がキャプチャされた画像データ内のユーザを検出するのにデバイスにとって十分でない、又はユーザの外観が、デバイスがユーザをもはや認識しないように変更されている場合）。この技術により、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、デバイスを操作／対話するときにデバイスの判定を無効にする方法を提供することにより意図した結果を達成できるようにユーザを支援し、ユーザの誤りを削減することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、キャプチャされた画像データに基づいて、認可基準のセットが満たされていないという判定に従って、電子デバイスは、既定のアクションの確認インタフェース（例えば、１６２４）を表示する（１７１４）。いくつかの実施形態では、既定のアクションは、既定のアクションは、アプリケーションを起動するか、又は写真アプリケーション内の新しい写真グラフにナビゲートする。ユーザ入力が受信されたときにカメラの前に認可されたユーザがいない場合、又は別法として、認可されたユーザが、ユーザ入力が受信された時点でディスプレイを見ていなかった場合、デバイスは、ユーザに既定のアクションが実行されるべきかの確認を促す。
いくつかの実施形態では、ユーザインタフェースは、複数のデータオブジェクトを表すグラフィック要素（図１６Ａ）（例えば、垂直若しくは水平列のリスト、又はグリッド）のリストを含む（例えば、いくつかの実施形態では、リストは、電子メール情報（送信者、件名、時間、及び／又は他の情報）又はサムネイル又は写真アルバムカバーなどの複数の写真要素を含むボックスなどの複数の電子メールグラフィック要素を表示する）。コンテンツの表現は、グラフィック要素のうちの１つであり、コンテンツは、複数のデータオブジェクトの関連付けられたデータオブジェクト（例えば、電子メールメッセージ、写真、又は写真アルバム）である。
いくつかの実施形態では、電子デバイスは、コンテンツの表現上に強度閾値を超える第２ユーザ入力を受信する（１７２０）（例えば、コンテンツに関連付けられた情報又はコンテンツ自体を共有する要求に対応するアフォーダンス、又はコンテンツに関連付けられた特定の機能を実行する要求に対応するアフォーダンスなどの、アフォーダンスを有し、任意選択的に他の様々なアフォーダンスが表示されるメニュー表示する）。電子デバイスは、第２入力を受信した後、第２ユーザ入力に応答してコンテンツにアクセスするために、キャプチャされた画像データが、カメラの前に認可されたユーザの顔が存在し、かつディスプレイを見ていることを示すことを要求することによって、コンテンツへのアクセスを制限する（例えば、コンテンツにアクセスするには、アクセス基準のセットを満たしている必要があるという指標を電子デバイス上に記憶すること）（例えば、コンテンツが写真であるケースで、セキュリティフラグが写真に関連付けられる場合、写真の閲覧、共有、又は削除などの写真へのアクセスを試みると、電子デバイスは、アクセスが許可される前に許可された認可されたユーザがデバイスのディスプレイを見ていることを検証する）（１７２２）。いくつかの実施形態では、第２入力を受信したことに応答して、電子デバイスは、セキュリティ強化のために関連付けられたアイコン、アプリケーション、又は機能をマークする要求に対応するアフォーダンスを表示する。電子デバイスは、アフォーダンスの選択に応答して、電子デバイス上のセキュリティ強化の指標を記憶する。いくつかの実施形態では、第１ユーザ入力を受信したことに応答して、電子デバイスは、コンテンツに対してセキュリティ強化の指標が存在するかどうかである。ユーザが、強度閾値に達する接触に基づいて、デバイス上のコンテンツ及び／又はアクションのセキュリティ強化を可能にできるようにすることにより、ユーザがコンテンツ及び／又はアクションに対するセキュリティ強化を不注意に誤って適用する可能性が低減される。加えて、強度閾値により、依然として、ユーザはデバイスとの最小数の対話でセキュリティ強化を迅速に適用することができる。上記により、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、デバイスを操作／対話するときに最小限の対話で意図した結果を達成できるようにユーザを支援し、ユーザの誤りを削減することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、認可基準のセットは、キャプチャされた画像データ内の顔が、デバイスに以前に登録された１つ以上の認可された顔に対応するという基準を更に含む（１７１６）。いくつかの実施形態では、登録プロセスは、認可されたユーザの顔に関する情報をキャプチャし、分析し、記憶するために以前に使用された。
図１７Ａ～図１７Ｂにおける動作について記載された特定の順序は単なる例示あり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法７００、１０００、１３００、１９００、２１００、２３００、２５００、２７００）に関して本明細書に記載される他の処理の詳細はまた、図１７Ａ～図１７Ｂに関して上記した方法１７００にも、類似の様式で適用可能であることに留意されたい。例えば、認可基準、及び方法１７００を参照して上述したキャプチャされた画像データに基づいて、基準が満たされているかどうかの判定は任意選択的に、本明細書に記載される他の方法（例えば、方法７００、１９００、２１００）を参照して、本明細書に記載される認可／アラート／コンテンツロック基準のセット及びこれらの基準が満たされているかどうかの判定の特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ（例えば、図１Ａ、図３、図５Ａに関して説明したように）又は特定用途向けチップなどの情報処理装置内の１つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図１７Ａ～図１７Ｂを参照して上述した演算は、図１Ａ～図１Ｂで示した構成要素によって、任意選択的に実行される。例えば、第１入力を受信することは、イベントソータ１７０、イベント認識部１８０、及びイベント処理部１９０によって、任意選択的に実行される。イベントソータ１７０内のイベントモニタ１７１は、タッチ感知面６０４上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６ー１に伝送する。アプリケーション１３６ー１のそれぞれのイベント認識部１８０は、イベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置での第１の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、更新部１７６又はオブジェクト更新部１７７を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ～図１Ｂに示された構成要素に基づいてどのように実装できるかは明らかであろう。
図１８Ａ～図１８Ｌは、ユーザインタフェースのグラフィック要素に関連付けられた機能のセキュリティ強化のための例示的なユーザインタフェースを示す。図１９Ａ～図１９Ｂは、いくつかの実施形態による、ユーザインタフェースのグラフィック要素に関連付けられた機能のセキュリティ強化の方法を示すフロー図である。図１８Ａ～図１８Ｌのユーザインタフェースは、図１７Ａ～図１７Ｂのプロセスを含む後述するプロセスを示す。
図１８Ａは、いくつかの例では前述のデバイス１００、デバイス３００、又はデバイス５００の特定のフォームファクタである、デバイス１５００（図１５Ａ～図１５Ｆ参照）を示す。デバイス１５００は、タッチ感知ディスプレイであるディスプレイ１５０１と、カメラ１５０２とを含む（図１５Ａ～図１５Ｆ関して説明される）。加えて、デバイス１５００のいくつかの実施形態では、カメラ１５０２と共に、追加のセンサ及び／又は他の構成要素（例えば、フラッシュ若しくはＩＲエミッタ）が存在する。
図１８Ａでは、デバイス１５００は、アイコン１８０１～１８１２の形態のグラフィカル要素を含むホーム画面インタフェース１８００を表示する。アイコン１８０１～１８０７及び１８０９～１８１２は、デバイス１５００上のアプリケーションに対応する。例えば、アイコン１８０２はカメラアプリケーションに対応し、アイコン１８０５はバンキングアプリケーションに対応する。アイコン１８０８は、デバイス１５００上の他のアプリケーションに対応する追加のアイコンを含むフォルダに対応する（図１８Ｊを参照）。アプリケーションに対応するアイコンのうちの１つを選択するユーザ入力（例えば、タップジェスチャ）に応答して、デバイス１５００は、アプリケーションが以前に実行されているが、現在バックグラウンドにある場合には、アプリケーションを実行するか、又はアプリケーションをフォアグラウンドにすることのいずれかによって、対応するアプリケーションを表示する要求としてユーザ入力を解釈する。
図１８Ｂでは、ジェスチャ入力は、タッチ感知ディスプレイ１５０１上でアイコン１８０５上の接触１８１４の形態で受信される。ジェスチャ入力がタップジェスチャである場合、アイコン１８０５に対応するバンキングアプリケーションが表示される。一方、ジェスチャ入力が、図１８Ｃ及び図１８Ｄに関して説明したような接触時間基準又は接触時間基準などの基準を満たす場合、図１８Ｅに示すように、アイコン１８０５に関連付けられた機能のメニュー又はアイコン１８０５に対応するアプリケーションを表示することなど、他のアクションがアイコン１８０５に対して実行される。
図１８Ｃは、第１の接触強度閾値基準を満たすユーザインタフェース１８００への接触１８１４の応答を示す。具体的には、指標１８１６は、接触１８１４が第１の閾値に達したことを示すように表示される。加えて、ユーザインタフェース１８００の残りの部分は任意選択的に、接触強度が第１の閾値を超え、アイコン１８０５に対応することを示すために変更される（例えば、ぼかしをかけられるか、又はグレーアウトされる）。
図１８Ｄは、第１の閾値より大きい第２の接触強度閾値基準を満たすユーザインタフェース１８００への接触１８１４の応答を示す。具体的には、アイコン１８０５のメニュー１８１８が表示される。メニュー１８１８は、共有ボタン１８２０及びロックボタン１８２２の２つのアフォーダンスを含む。
接触１８１４が第２の閾値を満たすか又はそれを超えた後、及び接触１８１４がタッチ感知ディスプレイ１５０１と接触しなくなった後に、メニュー１８１８は、ユーザがメニューボタンのうちの１つを選択することを可能にするために表示されたままである。いくつかの実施形態では、共有ボタン１８２０を選択するユーザ入力（例えば、タップジェスチャ）に応答して、アイコン１８０５に対応するアプリケーション又はアプリケーションに関連付けられたデータを共有するためのオプションを提供する追加のメニューが表示される。
ロックボタン１８２２を選択するユーザ入力（例えば、図１８Ｆの接触１８２４によって表されるタップジェスチャ）に応答して、機能、アプリケーション、又はアイコン１８０５に関連付けられた他のデータがセキュリティ強化の対象であることを示すデータをデバイス１５００上に記憶させる。例えば、図１８Ｆの場合、アイコン１８０５に対応するバンキングアプリケーションの表示がセキュリティ強化の対象であることを示すために、セキュリティフラグ又は他のデータが記憶される。
図１８Ｇは、図１８Ｆのロックボタン１８２２の選択後のユーザインタフェース１８００を示す。具体的には、ロック指標１８２６は、ここで、アイコン１８０５に関連付けられた機能がセキュリティ強化の対象であることをユーザに示すためにアイコン１８０５と共に表示される。
図１８Ｈは、デバイス１５００が、「ソーシャル」フォルダに対応するアイコン１８０８と関連付けられた機能がセキュリティ強化の対象であることを示すユーザ入力を受信した後のユーザインタフェース１８００を示す。例えば、アイコン１８０５に関連付けられた機能に対してセキュリティ強化を割り当てることに関して記載された同一又は類似のプロセスもまた、アイコン１８０８に適用される。図１８Ｈでは、ロック指標１８２８は、アイコン１８０８に関連付けられた機能がセキュリティ強化の対象であることをユーザに示すためにアイコン１８０８と共に表示される。
図１８Ｉでは、接触１８３０の形態のジェスチャ入力がアイコン１８０８上に受信される。ジェスチャ入力がタップジェスチャである場合、デバイス１５００は、アイコン１８０８に関連付けられた要求された機能（例えば、フォルダのコンテンツを表示すること）がセキュリティ強化の対象かどうかを判定する。例えば、デバイス１５００上（例えば、データベース内又は他の場所）に記憶されたセキュリティフラグ又は他のセキュリティ指標がアイコン１８０８又は対応するフォルダのために存在する場合、デバイス１５００は、要求された機能がセキュリティ強化の対象であると判定し、要求された機能を実行するかどうかを判定する前に、後述するように、更なる分析を実行する。そうでなければ、デバイス１５００は、要求された機能がセキュリティ強化の対象でないと判定し、要求された機能を実行する（例えば、図１８Ｊに示すように、デバイス１５００は、フォルダ１８０８のコンテンツを表示する）。
要求された機能がセキュリティ強化されたデバイスの対象であるという判定に応答して、デバイス１５００は、カメラ１５０２でキャプチャされた画像データを分析する。デバイス１５００は更に、キャプチャされた画像データの分析に基づいて１つ以上の認可基準のセットが満たされているかどうかを判定する。例えば、１つ以上の認可のセットが、認可されたユーザの顔がキャプチャされた画像データ内にあることを必要とする単一の基準である場合、デバイス１５００は、キャプチャされた画像データを分析して、認可されたユーザの顔が存在するかどうかを判定する。認可されたユーザの顔が存在する場合（例えば、図１５Ｂに対応する図１８Ｊのシーン１８３２によって表されるように）、デバイス１５００は、図１８Ｊに示すように、要求された機能を実行する（例えば、選択されたフォルダのディスプレイコンテンツ１８３４、これは図１８Ｊのアイコン１８３６～１８３８を含む）。認可されたユーザの顔が存在しない場合（例えば、図１５Ｄに対応する図１８Ｋのシーン１８４０によって表されるように）、デバイス１５００は、図１８Ｋに示すように、ユーザに追加の認証を実行するように促す。具体的には、図１８Ｋは、要求された機能を完了させるために、ユーザに認証を促すメッセージ１８４２を示す。ユーザがＯＫボタン１８４４を選択した場合、デバイス１５００は、図１８Ｌに示すように、タッチ感知ディスプレイ１５０１に認証インタフェース１８４８を表示させる。ユーザがキャンセルボタン１８４６を選択すると、デバイス１５００は、ユーザインタフェース１８００を図１８Ｈに示す状態に戻る。
いくつかの実施形態では、電子デバイス１５００は、異なる方法で満たされてない１つ以上の認可基準のセットに応答する。例えば、電子デバイス１５００は、任意選択的に、ユーザに特定の方法（例えば、指紋）による認証を促し、ユーザに前面カメラのビュー内に顔を位置付けるように促し、デバイスをロック状態に入らせ、又は機能を実行する要求を無視する。
上記の１つ以上の認可基準のセットは、認可されたユーザの顔がキャプチャされた画像データ内にある単一の基準のみを含んでいたが、他の実施形態では、１つ以上の認可基準のセットは、異なる基準又は複数の基準を含む。一例として、１つ以上の認可基準のセットは、認可されたユーザの顔がキャプチャされた画像データ内に存在し、かつ認可されたユーザがデバイスを見ているときに満たされる基準を含む。別の例では、１つ以上の認可基準のセットは、認可されたユーザの顔がキャプチャされた画像データ内にあり、未認可の又は認識されていないユーザの顔がキャプチャされた画像データ内にないという基準を含む（例えば、図１５Ｆに表されるシーンはこの基準を満たさないだろう）。別の例では、１つ以上の認可基準のセットは、カメラの視野が未認可のユーザの顔を含まないことを必要とする（例えば、図１５Ａ～図１５Ｃ、及び図１５Ｅよって表されるシーンはこの基準を満たす）。
図１８Ａ～図１８Ｌは、ホーム画面からのアプリケーション又はフォルダのコンテンツを表示することに関する一例を示すが、同様のプロセスが、写真アルバムインタフェース、メッセージングインタフェース、ファイルマネージャーインタフェース、音楽又はビデオインタフェース、又は任意の他のインタフェースなどの任意の数のユーザインタフェースに適用することができる。同様に、上記の例示的な機能は表示又は閲覧アクションであるが、同じプロセスが任意の数の他のアクションに適用することができる。可能なアクションの例としては、コンテンツを削除すること、コンテンツを消去すること、コンテンツを送信すること、コンテンツを移動させること、コンテンツのステータスを変更すること（例えば、既読とマークすること）、コンテンツを破棄すること、デバイスをオフにすること、アプリケーションをアンインストールすること、アプリケーションをリセットすること、デバイスの設定を変更すること、アプリケーション若しくはデバイス上のＯＳの設定を変更すること、又は他のアクションが挙げられる。
図１９Ａ～図１９Ｂは、いくつかの実施形態による、ユーザインタフェースのグラフィック要素に関連付けられた機能のセキュリティ強化の方法を示すフロー図である。方法１７００は、ディスプレイとカメラとを備えたデバイス（例えば、１００、３００、５００、１５００）にて実行される。方法１９００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１９００は、ユーザインタフェースのグラフィック要素に関連付けられた機能のセキュリティ強化のための直感的方法を提供する。この方法は、ユーザインタフェースのグラフィック要素に関連付けられた機能のセキュリティ強化に対するユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作成する。バッテリ動作コンピューティングデバイスでは、ユーザがユーザインタフェースのグラフィック要素に関連付けられた機能のセキュリティをより素早く効率的に強化できるようにするので、電力を節約し、バッテリの充電間の時間を延ばす。
ディスプレイ（例えば、１５０１）とカメラ（例えば、１５０２）（例えば、１つ以上の可視光センサ、ＩＲセンサ、飛行時間センサ、又はこれらの及び他のセンサの組み合わせを含むカメラ）とを有する電子デバイス（例えば、１５００）は、ディスプレイ上に機能（例えば、アプリケーションを実行する、実行中のアプリケーションをフォアグラウンドにする、フォルダのコンテンツを閲覧する、設定の値を変更する、コンテンツを閲覧する、コンテンツからナビゲートする）を表すグラフィカルユーザインタフェース要素（例えば、１８０８）（例えば、アプリケーションアイコン、フォルダアイコン、アフォーダンス、コンテンツ）を表示する（１９０２）。いくつかの実施形態では、デバイスは、既にロック解除状態にある（例えば、図１８Ａ）。
ディスプレイ上にグラフィカルユーザインタフェース要素を表示している間に、電子デバイスは、機能を実行する要求に対応する第１ユーザ入力（例えば、タッチ感知画上でのジェスチャなどのタッチ入力（例えば、１８３０）、従来のキーボード、マウス入力、音声入力、又はいくつかの他の種類の入力などの機械的ボタン入力）を受信する（１９０４）。
第１ユーザ入力（例えば、１８３０）を受信したことに応答して（１９０６）、機能（例えば、アイコン１８０８に関連付けられた機能）がセキュリティ強化の対象であり（例えば、機能がセキュリティフラグ又は認可基準が機能を実行する前にチェックされるべきであることを示す設定に関連付けられる）、かつキャプチャされた画像データ（例えば、可視光データ、ＩＲ光データ、飛行時間データ、深度データ、若しくはこれらの組み合わせ又は電子デバイス上のカメラからキャプチャされた他の種類のデータ）が、ユーザ入力が受信された時点でカメラの前に認可されたユーザの顔が存在した（例えば、図１５Ａ～図１５Ｂ、及び図１５Ｆ）ことを示すことを含む認可基準のセットが満たされているという判定に従って、電子デバイスは、機能を実行する（例えば、図１８Ｊに１８３４を表示する）（１９０８）。いくつかの実施形態では、認可基準のセットは、１つの基準又は２つ以上の基準を含む。いくつかの実施形態では、認可基準の例は、認可されたユーザが電子デバイスを使用していることを含み、認可されたユーザが電子デバイスを見ていること、未認可のユーザ（又はいくつかの例では、任意の他のユーザ）がまたデバイスを使用しておらず認可されたユーザがデバイスを使用していること、未認可のユーザ（又はいくつかの例では、任意の他のユーザ）がデバイス（又はいくつかの例では、デバイスの付近）を見ておらず認可されたユーザがデバイスを使用していること、未認可のユーザがデバイスを使用していないこと、認可されたユーザが閾値時間量内にデバイスを使用したこと）を含む。認可されたユーザが電子デバイスの前におり見ているどうかを判定することは、アクションが誤った入力によって不注意に実行されず、デバイスを使用することが認可されていない人によって実行されないことを確実にする。これにより、より良好なデータセキュリティ及びデータプライバシーが提供される。加えて、キャプチャされた画像データに基づいて実行される認証及び検証を行うことにより、電子デバイスのインタフェースは、デバイス上で実行されるアクションを認証及び検証するために必要なユーザ入力をより少なくすることによって改善される。更に、要素ごとにセキュリティ強化機能を適用することにより、電子デバイスのコンピューティング要件は、それによって、電子デバイスをより効率的にし、例えば、バッテリ寿命を改善する。機能がセキュリティ強化の対象であり、かつ認可基準のセットが満たされていないという判定に従って、電子デバイスは、機能の実行を取り止める（例えば、図１８Ｋ）（１９１０）。機能がセキュリティ強化されていないという判定に従って、電子デバイスは、認可基準のセットが満たされているか否かにかかわらず、機能を実行する（例えば、図１８Ｊ）（１９１２）。
いくつかの実施形態では、電子デバイスは、第１ユーザ入力が受信された時間に対応する時点で、１つ以上の画像センサによりキャプチャされた画像データ（例えば、シーン１８３２に対応する画像データ）をキャプチャする。いくつかの実施形態では、画像データは、ユーザ入力を受信する前にキャプチャされ、画像データは、ユーザ入力を受信したことに応答して、ユーザ入力がデータに対する破壊的アクションの要求に対応するとの判定に応答して、上記のいくつかの組み合わせで、又は他のファクタに基づくいくつかの他の時点で、ユーザ入力を受信した後にキャプチャされる。第１ユーザ入力が受信された時点で画像データをキャプチャすることは、第１ユーザ入力に関与するユーザが、キャプチャされた画像データ内に存在する可能性を増大させる。キャプチャされた画像データが第１ユーザ入力を提供するユーザを含む機会を増大させることにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、デバイスが、第１ユーザ入力に関与するユーザのキャプチャされた画像データが認可基準を満たすかどうかを判定し、デバイスとの操作／対話時の不注意又は未認可のアクションを回避することを可能にすることによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、認可基準のセットは、キャプチャされた画像データが、認可されたユーザが第１ユーザ入力が受信された時点でディスプレイを見ていることを示す基準を更に含む（例えば、図１５Ａ）（１９１６）。ユーザが電子デバイスのディスプレイを見ることを確実にすることにより、フォールスポジティブが生じ得る可能性が高い。例えば、ユーザがキャプチャされた画像データ内に存在する場合、ユーザは電子デバイスを使用しているように見え得るが、ユーザの存在は、ユーザが実際に電子デバイスを使用していることを保証しない。代わりに、ユーザの注意は他の場所であってもよい。ユーザがキャプチャされた画像データ内に存在し、かつ電子デバイスのディスプレイを見ているかどうかを判定することは、ユーザが電子デバイスを実際に使用している可能性を高める。これにより、デバイス上のデータのセキュリティが改善され、ユーザが電子デバイスを実際に使用していない場合には、アクションが不注意に実行されないことを確実にする。
いくつかの実施形態では、グラフィカルユーザインタフェース要素は、アプリケーションのグラフィック表現（例えば、アプリケーションアイコン、アイコン１８０５）であり、機能は、アプリケーションを開始するか、又はフォアグラウンドにないアプリケーションをフォアグラウンドにする（１９１４）。アプリケーションにセキュリティ強化を適用することにより、アプリケーションを通じてアクセス可能なデータ（ローカル及びリモート）をより良好に保護することができる。ユーザにセキュリティ強化を提供することにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、デバイスを操作／対話するときに、機密データへのアクセスをより良く保護することにより、意図した結果を達成できるようにユーザを支援し、ユーザの誤りを削減することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、グラフィカルユーザインタフェース要素（１９１８）は、フォルダのグラフィック表現（例えば、１８０８）（例えば、フォルダアイコン）であり、機能は、ユーザインタフェース要素に対応するフォルダのコンテンツを表示することである（例えば、図１８Ｊ）。いくつかの実施形態では、電子デバイスは、グラフィカルユーザインタフェース（例えば、１８００）（例えば、電子デバイスのホーム画面）を表示し、グラフィカルユーザインタフェース要素は、フォルダのアイコンである。例えば、フォルダは、写真、テキストドキュメント、電子メール、音楽、ビデオなどの、１つ以上のアプリケーション用のアイコン（例えば、１８３６～１８３８）又は１つ以上のデータアイテムを含むことができる。フォルダのコンテンツを表示する前に、例えば、タッチ感知面上をタッチすることによりフォルダアイコンを選択することに応答して、上述のように認証基準のセットがチェックされる。認証基準が満たされている場合、フォルダのコンテンツが表示される。認証基準が満たされていない場合、フォルダのコンテンツが示されない。いくつかの実施形態では、グラフィカルユーザインタフェース要素は別法として、アプリケーションアイコンである。対応するアプリケーションの起動又は切り替え（アプリケーションが既に実行されている場合）の前に、例えば、アプリケーションアイコンを選択するタッチ感知面上でのジェスチャに応答して、上述のように認証基準のセットがチェックされる。認証基準が満たされている場合、アプリケーションが起動され、又はアプリケーションが以前に起動されている場合、アプリケーションがフォアグラウンドにされる。認証基準が満たされていない場合、アプリケーションは起動されず、アプリケーションが以前に起動されている場合であっても、フォアグラウンドにされない。フォルダにセキュリティ強化を適用することにより、機密アプリケーション及びコンテンツをグループ化することによって更に効率的に保護できるようにする。ユーザにセキュリティ強化を提供することにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、デバイスを操作／対話するときに、機密データへのアクセスをより良く保護することにより、意図した結果を達成できるようにユーザを支援し、ユーザの誤りを削減することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、認可基準のセットが満たされていないという判定（キャプチャされた画像データに基づく）は、キャプチャされた画像データが、ユーザ入力が受信された時点でカメラの前に認可されたユーザの顔が存在した（例えば、図１５Ｃ～図１５Ｅ）ことを示さないという判定を含む。
いくつかの実施形態では、キャプチャされた画像データに基づいて、認可基準のセットが満たされていないという判定に従って、電子デバイスは、ユーザに認証を促し（例えば、１８４２）、任意選択的に認証インタフェース（例えば、１８４８）を表示する。いくつかの実施形態では、（キャプチャされた画像データに基づいて、）認可基準のセットが満たされていないという判定に従って、電子デバイスをロック状態に切り替える。いくつかの実施形態では、例えば、キャプチャされた画像データ内に認可されたユーザが存在しない又はいくつかの他の基準の失敗によって、１つ以上の認可基準のセットが満たされていない場合、電子デバイスを、ロック解除状態にある電子デバイスと比較して、電子デバイスの機能を制限するロック状態に切り替える）。いくつかの実施形態では、キャプチャされた画像データに基づいて、認可基準のセットが満たされていないという判定に従って、電子デバイスは、カメラ視野内にユーザの顔を位置付けることによってユーザに認証を促す。いくつかの実施形態では、例えば、キャプチャされた画像データ内に認可されたユーザが存在しない又はいくつかの他の基準の失敗によって、１つ以上の認可基準のセットが満たされていない場合、電子デバイスは、ユーザにユーザの顔をカメラの視野内に置くように指示するメッセージボックスを表示する。いくつかの実施形態では、メッセージボックスはまた、ユーザにカメラを見るように指示する。認可基準が満たされていない場合にユーザに認証を促すことにより、上記のデータセキュリティ及び保護の利益をもたらすが、一方で、要求されたアクションが実行されるべきではないというデバイスの判定を無効にするための容易な解決策もまた提供する（例えば、照明条件がキャプチャされた画像データ内のユーザを検出するのにデバイスにとって十分でない、又はユーザの外観が、デバイスがユーザをもはや認識しないように変更されている場合）。この技術により、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、デバイスを操作／対話するときにデバイスの判定を無効にする方法を提供することにより意図した結果を達成できるようにユーザを支援し、ユーザの誤りを削減することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスは、グラフィカルユーザインタフェース要素上に強度閾値を超える第２ユーザ入力を受信する（１９２０）。それに応じて、例えば、対象のアイコン若しくはアプリケーションをセキュリティ強化の対象とする要求に対応するアフォーダンス（例えば、１８２０）、コンテンツに関連付けられた情報（例えば、１８２２）若しくはコンテンツ自体を共有する要求に対応するアフォーダンス、又はコンテンツに関連付けられた特定の機能を実行する要求に対応するアフォーダンスなどの様々なアフォーダンス（例えば、１８２０及び１８２２）が表示されたメニュー（例えば、１８１８）を表示する。電子デバイスは、第２入力を受信した後、グラフィカルユーザインタフェース要素に関連付けられた機能がセキュリティ強化の対象であるという指標を電子デバイス上に記憶する（例えば、コンテンツが写真であるケースで、セキュリティフラグが写真に関連付けられる場合、写真の閲覧、共有、又は削除などの写真へのアクセスを試みると、電子デバイスは、アクセスが許可される前に許可された認可されたユーザがデバイスのディスプレイを見ていることを検証する）（１９２２）。任意選択的に、電子デバイスはまた、アイコン又はアイコンに関連付けられたコンテンツ／アプリケーションがセキュリティ強化の対象であることを示すインジケータ（例えば、１８２６）を表示させる。ユーザが、強度閾値に達する接触に基づいて、デバイス上のコンテンツ及び／又はアクションのセキュリティ強化を可能にできるようにすることにより、ユーザがコンテンツ及び／又はアクションに対するセキュリティ強化を不注意に誤って適用する可能性が低減される。加えて、強度閾値により、依然として、ユーザはデバイスとの最小数の対話でセキュリティ強化を迅速に適用することができる。上記により、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、デバイスを操作／対話するときに最小限の対話で意図した結果を達成できるようにユーザを支援し、ユーザの誤りを削減することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第２入力を受信したことに応答して、電子デバイスは、セキュリティ強化のための要求に対応するアフォーダンスの選択に応答して発生する指標を電子デバイス上に記憶する。
図１９Ａ～図１９Ｂにおける動作について記載された特定の順序は単なる例示あり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法７００、１０００、１３００、１７００、２１００、２３００、２５００、２７００）に関して本明細書に記載される他の処理の詳細はまた、図１９Ａ～図１９Ｂに関して上記した方法１９００にも、類似の様式で適用可能であることに留意されたい。例えば、認可基準のセット、及び方法１９００を参照して上述した認可基準のセットが満たされているかどうかの判定は任意選択的に、本明細書に記載される他の方法（例えば、方法７００、１７００、２１００）を参照して、本明細書に記載される認可／アラート／コンテンツロック基準のセット及びこれらの基準が満たされているかどうかの判定の特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ（例えば、図１Ａ、図３、図５Ａに関して説明したように）又は特定用途向けチップなどの情報処理装置内の１つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図１９Ａ～図１９Ｂを参照して上述した演算は、図１Ａ～図１Ｂで示した構成要素によって、任意選択的に実行される。例えば、第１ユーザ入力を受信することは、イベントソータ１７０、イベント認識部１８０、及びイベント処理部１９０によって、任意選択的に実行される。イベントソータ１７０内のイベントモニタ１７１は、タッチ感知面６０４上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６ー１に伝送する。アプリケーション１３６ー１のそれぞれのイベント認識部１８０は、イベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置での第１の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、更新部１７６又はオブジェクト更新部１７７を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者には、図１Ａ～図１Ｂに示した構成要素に基づいて他の処理がどのように実施され得るかは明らかであろう。
図２０Ａ～図２０Ｃは、デバイス１５００にて検出されたアラート条件に応答する例示的なユーザインタフェースを示す。図２０Ｄ～図２０Ｆは、複数のデバイスにわたって検出されたアラート条件に応答する例を示すシーンを示す。図２１Ａ～図２１Ｂは、アラート条件に応答する方法を示すフロー図である。図２０Ａ～図２０Ｃのユーザインタフェース及び図２０Ｄ～図２０Ｆのシーンは、図２１Ａ～図２１Ｂのプロセスを含む後述するプロセスを示す。
図２０Ａは、いくつかの例では前述のデバイス１００、デバイス３００、又はデバイス５００の特定のフォームファクタである、デバイス１５００（例えば、図１５Ａ～図１５Ｆ参照）を示す。デバイス１５００は、いくつかの実施形態ではタッチ感知ディスプレイである、ディスプレイ１５０１と、カメラ１５０２とを含む（図１５Ａ～図１５Ｆ関して説明される）。加えて、デバイス１５００のいくつかの実施形態では、カメラ１５０２と共に、追加のセンサ及び／又は他の構成要素（例えば、フラッシュ若しくはＩＲエミッタ）が存在する。
図２０Ａにおいて、デバイス１５００は、ディスプレイ１５０１上にロックインタフェース２０００を表示する。デバイス１５００は、デバイス１５００がロック状態にあるときに、ロックインタフェース２０００を表示する。いくつかの実施形態では、デバイス１５００がロック状態にあるとき、デバイス１５００の機能は、デバイス１５００の全機能と比較して制限される。一実施例では、ロック状態にあるとき、デバイス１５００は、カメラプログラム及び緊急電話へのアクセスはできるが、全ての他の機能へのアクセスは無効化又は防止される。ロックインタフェース２０００は一例として使用されるが、アラート条件に応答するための本明細書に記載されるプロセスは、ホーム画面インタフェース又はアプリケーションインタフェースなどの他のインタフェースにも適用することができる。
デバイス１５００がアラート条件を検出すると、デバイス１５００は、キャプチャされた画像データ（例えば、カメラ１５０２からキャプチャされた画像データ）の分析に基づいて、どのようにアラート条件に応答するかを判定する。いくつかの実施形態では、アラート条件は、デバイス１５００上で発生したイベントに対応する。イベントの例としては、通知（例えば、ソーシャルメディア又はニュース通知）、トリガされるアラーム／タイマー（例えば、時間又は場所に基づいて）を受信すること、及び通信要求（例えば、オーディオ／ビデオ通信要求）を受信することが挙げられる。アラート条件の例は、これらの例示的なイベントのうちのいずれかの発生から生成されるアラートである。図２０Ａ～図２０Ｃに示される実施例の場合、アラート条件は、デバイス１５００における新しいメッセージの受信から生成されたアラートに対応する。
メッセージの受信に対応するアラート条件の発生を検出した後、デバイス１５００は、キャプチャされた画像データに基づいてアラート条件にどのように応答するか、及び１つ以上のアラート基準のセットが満たされているかどうかを判定する。１つ以上のアラート基準のセットが満たされている場合、デバイス１５００は、第１の方法で応答する（例えば、所定の技法を用いてアラートを表示又は通信する）。１つ以上のアラート基準のセットが満たされていない場合、デバイス１５００は、第２の方法で応答する（例えば、アラートを表示又は通信を取り止める）。
一実施例では、１つ以上のアラート基準のセットは、認可されたユーザの顔がキャプチャされた画像データ内に存在するときに満たされる基準を含み、キャプチャされた画像データは、認可されたユーザがデバイスを見ていることを示し（これは、いくつかの実施形態では、２つの基準として処理される）、これは、図１５Ａ内のシーンに対応する。デバイス１５００が、キャプチャされた画像データの分析に基づいて、この基準が満たされたと判定した場合、デバイス１５００は、図２０Ｂに示されるように、ロック画面インタフェース２０００上に通知を表示することによって、第１の方法でメッセージの受信に対応するアラート条件に応答する。図２０Ｂでは、デバイス１５００は、通知２００２を表示させる。通知２００２は、通知サマリーエリア２００４及びアプリケーション識別エリア２００６を含む。通知サマリーエリア２００４は、リモートユーザ識別２００８（例えば、メッセージの送信者）及びメッセージサマリー２０１０（例えば、メッセージが長い場合、メッセージの抜粋、又はメッセージが短い場合、メッセージ全体）を含む。アプリケーション識別エリア２００６は、アプリケーション識別２０１２（例えば、受信したメッセージが意図されるアプリケーション）及びアプリケーションアイコン２０１４（例えば、アプリケーション識別２０１２によって識別されたアプリケーションに対応するグラフィカル要素）を含む。
上記の実施例では、デバイス１５００が、キャプチャされた画像データが、認可されたユーザの顔が存在しないか、又は認可されたユーザの顔が存在するが、認可されたユーザがデバイス１５００を見ていないことを示すと判定した場合、１つ以上のアラート基準のセットは満たされない。この場合、デバイス１５００は、図２０Ｃに示されるように、ロック画面インタフェース２０００上に異なる通知を表示することによって、第１の方法とは異なる第２の方法でのメッセージの受信に対応するアラート条件に応答する。図２０Ｃでは、デバイス１５００は、通知２０１６を表示させ、この通知は、通知２０１６がアプリケーション識別エリア２００６のみを含むことを除いて、図２０Ｂの通知２００２と同様である。いくつかの実施形態では、通知２０１６は、より多くの（例えば、送信者又は時間）、又はより少ない情報（例えば、受信したメッセージに対応するアプリケーションの識別がない）を含む。
デバイス１５００上の可視通知（図２０Ｂ及び図２０Ｃ中のものなど）に加えて、デバイス１５００はまた、可聴又は触覚アラートを有するアラート条件に応答してもよい。加えて、ユーザに関連付けられた他のデバイスはまた、デバイス１５００で発生した同じイベントに対応するアラート条件を検出してもよい。例えば、図２０Ｄでは、デバイス１５００は、フィードバック２０１８（例えば、触覚又は可聴フィードバック）を提供することによって、メッセージの受信に対応する検出されたアラート条件に応答している。加えて、腕時計２０２０及びコンピュータ２０２４（スピーカ２０２６を有する）は、フィードバック２０２２（例えば、触覚又は可聴フィードバック）及び可聴フィードバック２０２８をそれぞれ提供することによって、同じメッセージの受信に対応する類似のアラート条件に応答している。図２０Ｄに示す応答は、ユーザ１５０６がデバイス１５００を見ていない、又はいくつかの実施形態では、任意の他のデバイスを見ていないという判定（例えば、デバイス１５００による）に基づいている。任意選択的に、この判定は、１つ以上のアラート基準のセットが満たされているかどうかの判定の一部として行われるか、又は１つ以上の異なる基準での別個の判定（例えば、認可されたユーザがデバイスを見ているかどうか）の一部として行われる。
図２０Ｅは、ユーザ１５０６がここでデバイス１５００を見ていることを除いて、図２０Ｄと同じシーンを示す。デバイス１５００がキャプチャされた画像データを分析し、ユーザ１５０６が現在デバイス１５００を見ている又はユーザ１５０６が所定時間量にわたってデバイス１５００を見ているという判定に応答して、デバイス１５００は、ユーザ１５０６がデバイス１５００上の通知を見ていた又はフィードバック２０２０及び可聴フィードバック２０２８が低減されるべきであることを示すデータを腕時計２０２０及びコンピュータ２０２４に送信する。それに応じて、図２０Ｅに示すように、腕時計２０２０及びコンピュータ２０２４は、提供されるフィードバックの強度（例えば、音量又は振幅）を低減する。別法として、又はユーザ１５０６が更に時間閾値にわたってデバイスを見た後、デバイス１５００は、ユーザ１５０６が閾値時間量にわたってデバイス１５００上の通知を見ていた又はフィードバック２０２０及び可聴フィードバック２０２８が排除されるべきであることを示すデータを腕時計２０２０及びコンピュータ２０２４に送信する。それに応じて、図２０Ｆに示すように、腕時計２０２０及びコンピュータ２０２４は、フィードバックを提供するのを停止する。
いくつかの実施形態では、デバイス１５００は、アイテムのステータスを変更すること（例えば、電子メールメッセージを既読とマークすること）、アイテムのステータスに関する通信を送信すること（例えば、既読通知を送信すること）、ディスプレイの電源を付けること（例えば、ユーザがデバイスを見ている若しくはカメラの視野内にいるときに、ディスプレイをオンにするが、ユーザがカメラの視野内に存在しない場合には、ディスプレイをオンにしないこと）、又はアラートの通知を異なるデバイスに転送することなどの他の方法でアラート条件に応答する。
図２１Ａ～図２１Ｂは、いくつかの実施形態による、電子デバイスにて検出されたアラート条件に応答するための方法を示すフロー図である。方法２１００は、ディスプレイとカメラとを備えたデバイス（例えば、１００、３００、５００、１５００）にて実行される。方法２１００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法２１００は、電子デバイスにて検出されたアラート条件に応答するための直感的方法を提供する。この方法は、電子デバイスにて検出されたアラート条件に応答するユーザの認識的負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、電子デバイスが電子デバイスにて検出されたアラート条件に応答することを可能にすることにより、電力が節約され、バッテリ充電の間隔が増す。
ディスプレイ（例えば、１５０１）と１つ以上のカメラ１５０２（例えば、可視光センサ、ＩＲセンサ、及び／又は飛行時間センサを有する）とを有する電子デバイス（例えば、１５００）は、グラフィカルユーザインタフェース（例えば、２０００）（例えば、オペレーティングシステムホーム画面、ロック画面、写真閲覧アプリケーション、電子メールアプリケーション、ウェブブラウザアプリケーション、地図アプリケーション、又はナビゲーションアプリケーション）を表示させる。電子デバイスは、デバイスにおいて発生したイベント（例えば、（電子メール、テキスト、又は他のメッセージなど）新しいメッセージを受信する、ニュースアイテムが利用可能である、予定の若しくは満期のカレンダイベント、アラームが期限切れになった若しくはトリガされた、又はソーシャルメディア通知を受信した）に対応するアラート条件（例えば、着信通信を受信したか、又はカレンダイベントなどのいくつかの動作のタイミング又は場所の基準が満たされている）の発生を検出する（２１０２）。
アラート条件の発生を検出したことに応答して（２１０４）、（キャプチャされた画像データに基づいて（例えば、可視光データ、ＩＲ光データ、深度画像データ、及び／又はキャプチャされた画像データ内に記憶された他のデータを使用した顔認識などの画像分析を使用して））アラート基準のセットが満たされたという判定に従って、電子デバイスは、第１の方法（例えば、通知２００２の表示）でアラート条件に応答する（２１０６）。いくつかの実施形態では、アラート基準のセットでは、キャプチャされた画像データが、ユーザの顔がカメラの前に存在することを示す（例えば、１５Ａ～１５Ｂ及び１５Ｆ）必要がある。いくつかの実施形態では、認可基準のセットは、１つの基準又は２つ以上の基準を含む。いくつかの実施形態では、認可基準の例は、認可されたユーザが電子デバイスを使用していることを含み、認可されたユーザが電子デバイスを見ていること、未認可のユーザ（又はいくつかの例では、任意の他のユーザ）がまたデバイスを使用しておらず認可されたユーザがデバイスを使用していること、未認可のユーザ（又はいくつかの例では、任意の他のユーザ）がデバイス（又はいくつかの例では、デバイスの付近）を見ておらず認可されたユーザがデバイスを使用していること、未認可のユーザがデバイスを使用していないこと、認可されたユーザが閾値時間量内にデバイスを使用したこと）、（例えば、バナーをグラフィカルユーザインタフェース上に表示すること（バナーは任意選択的に、通知のコンテンツ、通知のソース、通知に関連付けられたアプリケーションなど）、触覚フィードバックを提供すること、可聴フィードバックを提供すること、上述の任意の組み合わせ、及び／又は他のアクションを含む。（キャプチャされた画像データに基づいて）アラート基準のセットが満たされていないという判定に従って、電子デバイスは、第１の方法とは異なる第２の方法（例えば、通知２０１６の表示）でアラート条件に応答する（例えば、通知が受信されたことの任意の指標を提供することを取り止めること、通知のコンテンツ及び／又はソースについての詳細を含まない通知のバナーを表示すること）（２１０８）。いくつかの実施形態では、第１の方法及び第２の方法は、少なくとも１つのステップにおいて異なるが、共通の他のステップも有する。いくつかの実施形態では、第１の方法及び第２の方法は、全てのステップにおいて異なり、第１の方法と第２の方法との間でステップが共有されない。
アラート条件を処理する前にユーザが存在するかどうかを判定することにより、マンマシンインタフェースが改善され、データプライバシーが増大し、電子デバイスの性能を向上させる。例えば、アラート条件に応答する前にユーザが電子デバイスのディスプレイの前に存在するかどうかを判定することにより、適切な応答（例えば、適切な通知が表示されるか、又は他の通知が提供される）ことを確実にする。例えば、ユーザがキャプチャされた画像データ内に存在する場合、通知バナーを表示することは、ユーザへの中断を最小限にしながらアラート条件をユーザに通知する。対照的に、ユーザがキャプチャされた画像データ内に存在しない場合、触覚又は可聴通知は、ユーザがアラート条件を通知される可能性がより高いため、より好適であり得る。これは、より効率的で、煩わしくないマン－マシンインタフェースを提供する。別の例として、特定の方法でアラート条件に応答する前にユーザが存在することを確実にすること（例えば、通知バナーを表示すること）によって、ユーザが存在しないときに機密情報が表示されないことを確実にすることによって、データのプライバシーを増大させる。同様に、ディスプレイをオンにし、通知を表示するのを回避することにより、電力消費を削減し、バッテリ寿命を長くして、電子デバイスの性能を向上させる。
いくつかの実施形態では、アラート条件の発生を検出した後に、電子デバイスは、キャプチャされた画像データ（例えば、図２０Ｄのユーザ１５０６の画像データ）を１つ以上の画像センサでキャプチャする（２１１０）。いくつかの実施形態では、画像データは、アラート条件を検出する前にキャプチャされ、画像データは、アラート条件を検出したことに応答して、上記のいくつかの組み合わせに応答して、又は他のファクタに基づくいくつかの他の時点で、アラート条件を検出した後にキャプチャされる。アラート条件が検出された時点で画像データをキャプチャすることにより、デバイスは現在利用可能な情報に基づいてアラートを処理することが可能になる。これにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、適切な方法でユーザに通知し、キャプチャされた画像データ内のユーザに基づいてより良いデータプライバシーを提供することによって）、加えて、有用でない方法でユーザに通知できないようにすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、アラート基準のセットは、キャプチャされた画像データが、認可されたユーザがデバイスを使用していることを示す基準を更に含む。いくつかの実施形態では、キャプチャされた画像データが、認可されたユーザがデバイスを使用していることを示すかどうかを判定することは、認可されたユーザがキャプチャされた画像データ内に存在するかどうか（例えば、図２０Ｄのユーザ１５０６の存在）に基づく。いくつかの実施形態では、キャプチャされた画像データが、認可されたユーザがデバイスを使用していることを示すかどうかを判定することは、許可されたユーザがキャプチャされた画像データ内で電子デバイスのディスプレイを見ているか（例えば、図１５Ｂ）どうかの判定に基づく）。認可されたユーザがデバイスを使用しているときに満たされる基準をチェックすることにより、デバイスは、最も適切な方法でアラート条件を処理することができる。これにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、ユーザがデバイスを使用しているときに気をそらす通知を提供せず、ユーザがデバイスを使用していないときにより人目をひく通知を提供することにより、ユーザの認識的負担を軽減することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、アラート基準のセットは、キャプチャされた画像データが、ユーザが電子デバイスのディスプレイを見ている（例えば、図１５Ｂ）ことを示す基準を更に含む（例えば、顔の向きに基づいて、ユーザの眼が開いているかどうか、及び／又はユーザの眼がデバイスのディスプレイに向けられていることを示す視線情報）。認可されたユーザがデバイスを見ているときに満たされる基準をチェックすることにより、デバイスは、最も適切な方法でアラート条件を処理することができる。これにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、ユーザがデバイスを見ているときは、気をそらしにくい非可聴通知などを提供し、ユーザがデバイスを見ていないときは、より人目をひく通知を提供することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第１の方法でアラート条件に応答することは、グラフィカルユーザインタフェース上のディスプレイの上部にわたり、アラート条件についてのアラート条件に対応する通知を表示すること（例えば、関連付けられたアプリケーション、関連付けられたユーザ、アラート条件のサマリー、又は変更条件若しくはそれに対応するイベントに関連付けられたデータなどの情報を有するバナー（例えば、通知２００２）を表示すること）を含み、第２の方法でアラート条件に応答することは、アラート基準のセットが満たされるまで（例えば、電子デバイスが、キャプチャされた画像データが、認可されたユーザ（又はいくつかの場合には、他のユーザ）が電子デバイスのディスプレイを見ていることを示すと判定するまで）、アラート条件に対応する通知の表示を遅延させることを含む。キャプチャされた画像データに対する電子デバイスの応答に基づいて、適切なとき（例えば、認可されたユーザが存在するとき）にのみアラート条件についての情報を提供することにより、データプライバシーを高め、適切な条件（例えば、だれかが情報を受信するために存在するとき）でのみコンピューティングリソースを消費し、これによりバッテリ電力を節約することにより、電子デバイスの機能及び性能を改善する。
いくつかの実施形態では、アラート条件は、電子メール又はテキストメッセージ（例えば、通知２００２に関連付けられたメッセージ）の受信であり、第１の方法でアラート条件に応答することは、アラート条件に対応する通知（例えば、通知２００２）を表示することと、電子メール又はテキストメッセージを既読とマークすることとを含み、第２の方法でアラート条件を処理することは、アラート条件に対応する通知を表示することと、電子メール又はテキストメッセージを既読とマークするのを取り止めることとを含む。例えば、アラート条件が、新しいメッセージ（ＳＭＳメッセージ、インスタントメッセージ、又はチャットメッセージなど）の受信に対応するイベントのためのものである場合、第１の方法では、新しいメッセージに対して通知が表示され、新しいメッセージは既読とマークされるが、第２の方法では、第１の方法の通知と同じ又は異なる通知が、メッセージを既読とマークすることなく（例えば、未読とマークされたメッセージを残して）新しいメッセージに対して表示される。キャプチャされた画像データに基づいて、受信された電子メール又はテキストメッセージのステータスを更新することにより、ユーザは、ユーザ入力をより少なくせずに受信メッセージを管理することができる（例えば、単に電子デバイスを見ることによって）。これは、より効率的で、ユーザがタスクをより迅速に完了することができるマン－マシンインタフェースを提供する。
いくつかの実施形態では、第１の方法でアラート条件に応答することは、電子メール又はテキストメッセージが既読とマークされたというメッセージを電子メール又はテキストメッセージの送信者に送信すること（例えば、電子メール又はテキストメッセージが受信者によって読まれたことを示す「既読通知」を送信者に送信すること）を含む。アラート基準が満たされたときにメッセージの送信者にメッセージを送信することにより、より正確にメッセージを送信することができる。これにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、より正確に既読通知を提供し、対応するメッセージが未読である場合には既読通知の形態での不正確なデータの送信を減らすことによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、アラート基準のセットは、キャプチャされた画像データが、ユーザが少なくとも閾値時間量にわたって電子デバイスのディスプレイを見ていることを示す基準を含む（例えば、図２０Ｄ～図２０Ｆ）。例えば、アラート条件が、新しいメッセージ（例えば、サマリー２００４に対応するメッセージ）（ＳＭＳメッセージ、インスタントメッセージ、又はチャットメッセージなど）の受信に対応するイベントのためのものである場合、第１の方法では、イベントの通知が表示され（例えば、図２０Ｂ）、通知が表示されている間に、ユーザが少なくとも閾値時間量にわたってディスプレイを見ている場合、メッセージが読まれたことを示すメッセージをメッセージの送信者に送信する（例えば、ユーザが閾値時間量にわたって図２０Ｂのデバイス６００を見ており、任意選択的に、メッセージ全体が表示された場合、デバイス６００は、メッセージの送信者に既読通知を送信する）。別の例として、アラート条件が、新しいメッセージの受信に対応するイベントのためのものであり、グラフィカルユーザインタフェースは、新しいメッセージに対応するメッセージングプログラムである場合、第１の方法では、新しいメッセージを表示することができ、新しいメッセージが表示されている間に、キャプチャされた画像データに基づいて、ユーザが少なくとも閾値期間にわたってディスプレイを見ていると判定される場合、既読通知メッセージを新しいメッセージの送信者に送信する。更なるユーザ入力を必要とすることなく、ユーザが所定のおおよその時間にわたって電子デバイスのディスプレイを見たときに既読通知を送信することにより、デバイスの操作性を高める。既読通知を送信する前に、ユーザが閾値時間量にわたって電子デバイスのディスプレイを見るまで待機することにより、ユーザがアラートを見たり読んだりする可能性を増加させることによって、既読通知の信頼性を向上させる。
いくつかの実施形態では、第１の方法でアラート条件に応答することは、電子デバイスが、アラート条件が検出されたことを示す通知（例えば、オーディオ、視覚、又は触覚フィードバック、図２０Ｄのフィードバック２０１８）を生成することと、ユーザがアラート条件を通知されたことを示す通知を外部電子デバイスに送信することと、を含む（例えば、これにより、他のデバイスは、可聴又は触覚フィードバックを提供する代わりにフィードバックのみを表示するなど、同一のフィードバック又は生成された削除されたフィードバックを生成しないようにする）（２１１２）。いくつかの実施形態では、第２の方法でアラート条件を処理することは、電子デバイスが、ユーザがアラート条件を通知されたことを示す通知を外部デバイスに送信せずに、アラート条件が検出されたことを示す通知を生成することを含む（例えば、ユーザがスマートフォン及びタブレットコンピュータなどの複数のデバイスに関連付けられている場合、電話及びタブレットは両方とも、同じイベントに関連するそれぞれのデバイス上のアラート条件が発生したという通知をユーザに生成し得る）（２１１４）。ユーザがアラートを見たかどうかを他のデバイスに示すことにより、電子デバイス及び他のデバイスとのユーザの対話は、単に電子デバイスを見ることによってアラートを消音又は消すことができることで簡略化される。これにより、ユーザの認識的負担を軽減し、改善されたマン－マシンインタフェースを提供する。
いくつかの実施形態では、第２の方法でアラート条件に応答することは、電子デバイスがオーディオ通知（例えば、リングトーン、音楽、又は他の可聴サウンド）を提供することを含む（例えば、図２０Ｄの２０１８）（２１１６）。いくつかの実施形態では、オーディオ通知の提供を処理した後、（後続のキャプチャされた画像データに基づいて）ユーザが電子デバイスのディスプレイを見ているという判定に従って（例えば、キャプチャされた画像データに基づいて）、電子デバイスは、オーディオ通知の音量を低減する（例えば、図２０Ｅの２０１８、及び別個に図２０Ｆ）。可聴通知を提供することにより、デバイスを見ていない又はデバイスを使用していないユーザへのより人目をひく通知を可能にし、これにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、フィードバックが最も効果的である可能性が高い場合に、触覚フィードバックを使用してユーザにアラートすることによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第２の方法でアラート条件に応答することは、電子デバイスが触覚通知（例えば、電話の１回のブザー又は連続のブザー）を提供することを含む（例えば、図２０Ｄの２０１８）（２１１８）。いくつかの実施形態では、触覚通知を提供した後、（後続のキャプチャされた画像データに基づいて）ユーザが電子デバイスのディスプレイを見ているという判定に従って、電子デバイスは、触覚通知の大きさを低減する（例えば、図２０Ｅの２０１８、及び別個に図２０Ｆ）。触覚通知を提供することにより、デバイスを見ていない又はデバイスを使用していないユーザへのより人目をひく通知を可能にし、これにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、フィードバックが最も効果的である可能性が高い場合に、触覚フィードバックを使用してユーザにアラートすることによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第２の方法でアラート条件に応答することは、電子デバイスが、アラート条件が検出されたことを示す第１の通知であって、第１の通知（例えば、図２０Ｃの２０１６）は第１の情報のセット（例えば、２０１２及び２０１４）を含む、第１の通知を生成することと、を含み、第１の通知を生成した後、（カメラによってキャプチャされた、後続のキャプチャされた画像データに基づいて）ユーザが電子デバイスのディスプレイを見ている（例えば、図１５Ａ）という判定に従って、電子デバイスが、アラート条件に関連付けられた第２の通知（例えば、図２０Ｂの２００２）であって、第２の通知は第１の情報のセットに存在しない第２の情報のセット（例えば、２００４）を含む、第２の通知を生成することと、を含む。例えば、例えば、電子デバイスで受信した新しいメッセージに対して通知が表示されるが、通知が新しいメッセージを送信した人を示さない場合、新しいメッセージの送信者は、ユーザが電子デバイスのディスプレイを見た後に表示される。ユーザがいくつかの基準を満たした後にユーザに追加情報を提供することにより、マン－マシンインタフェースは、情報にアクセスするのに必要なユーザからの対話をより少なくすることによって改善される。例えば、ユーザが電子デバイスのディスプレイを見た後に自動的にアラートについての追加情報を表示することは、より効率的で煩わしさが少ないマン－マシンインタフェースを提供することによって、電子デバイスの動作を改善する。
いくつかの実施形態では、アラート条件は、満たされている予め設定されたアラーム条件を含み、第２の方法でアラート条件に応答することは、通知（例えば、図２０Ｄの２０１８）（例えば、触覚、オーディオ及び／又は視覚通知）を出力することを含む。通知を提供した後、（後続のキャプチャされた画像データに基づいて）ユーザが電子デバイスのディスプレイを見ているという判定に従って、電子デバイスは、通知の大きさを低減する（例えば、図２０Ｅ及び図２０Ｆ）（例えば、知覚通知のパラメータを下方に調節する、又は知覚通知を停止する）。これにより、ユーザの認識的負担が少ないアラーム条件に応答するために、対話をほとんど必要としない（又はデバイスを見ている以外の対話を必要としない）改善されたヒューマンマシンインタフェースを提供することによって、電子デバイスを強化する。
いくつかの実施形態では、イベントは、トリガされている予め設定されたアラームである（２１２２）。ユーザが電子デバイスのディスプレイを見ているという判定に応答して、電子デバイスは、アラームをスヌーズする（例えば、アラームがトリガされたことを通知するのをやめ、未来のある期間でトリガするためのアラームをリセットするのをやめること、又は未来のある期間に異なるアラームをトリガするのをやめること）。デバイスがユーザがデバイスのディスプレイを見ていることを判定するときにアラームをスヌーズすることは、フォールスポジティブ（例えば、スヌーズ機能の不注意によるアクティブ化）を低減し、デバイスの操作性を高め、ユーザ－デバイスインタフェースをより効率的にし（例えば、最小限の対話で意図された結果を達成するようにユーザを支援することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第２の方法（例えば、図２０Ｃ）でアラート条件を処理した後、かつユーザが電子デバイスのディスプレイを見ているという判定に応答して、電子デバイスは、第１の方法（例えば、図２０Ｂ）でアラート条件を処理する（２１２４）。例えば、メッセージが受信されたときに、ユーザが最初に電子デバイスを見ていない場合（例えば、図２０Ｄ）（この例ではアラート条件である）、電子デバイスは、メッセージ（例えば、図２０Ｃ）の詳細なしの通知バナーを表示することによって、アラート条件に応答することができる。しかしながら、ユーザがその後電子デバイスのディスプレイを見る場合、電子デバイスは、受信メッセージのコンテンツのサマリーを含むように表示された通知を更新することによって、アラート条件に更に応答することができる（図２０Ｂ）。ユーザがデバイスを見た後に第１の方法でアラートを処理することは、デバイスの操作性を高め、データプライバシーを改善し（例えば、潜在的に機密性の高いサマリーを未認可のユーザに表示しないことによって）、ユーザ－デバイスインタフェースをより効率的にし（例えば、最小限の対話でアラート／通知についての追加の情報を得るようにユーザを支援することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、グラフィカルユーザインタフェースは、ロック画面インタフェース（例えば、図２０Ａ）である（例えば、通知は、ロック画面インタフェースの未通知領域に表示される）。いくつかの実施形態では、グラフィカルユーザインタフェースは、ホーム画面（例えば、図１８Ａ）インタフェース又はアプリケーションインタフェース（例えば、図２２Ａ）、及びグラフィカルユーザインタフェースの一部分の上にポップアップし、その後、ユーザがそれらと対話しない場合、所定期間の後に自動的に表示を停止する通知である。デバイスがロックされるときに上記のアラート条件処理技術を適用することは、より良好なデータプライバシーを提供することによって、デバイスの操作性が向上する。例えば、デバイスがロックされている場合、ユーザがデバイスを使用せず、潜在的にデバイスを使用しないことを意味する可能性が高い。この状況では、認可されたユーザがデバイスを見ていることをデバイスが確認することができない限り、デバイスは、アラート条件についての限定された情報のみを提供することによって、データプライバシーを改善することができる。
図２１Ａ～図２１Ｂにおける動作について記載された特定の順序は単なる例示あり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法７００、１０００、１３００、１７００、１９００、２３００、２５００、２７００）に関して本明細書に記載される他の処理の詳細はまた、図２１Ａ～図２１Ｂに関して上記した方法２１００にも、類似の様式で適用可能であることに留意されたい。例えば、アラート基準のセット、及び方法２１００を参照して上述したキャプチャされた画像データに基づいて、これらの基準が満たされているかどうかは任意選択的に、本明細書に記載される他の方法（例えば、方法７００、１７００、１９００）を参照して、本明細書に記載されるコンテンツロック／認可基準及びこれらの基準が満たされているかどうかの判定の特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ（例えば、図１Ａ、図３、図５Ａに対して説明したように）又は特定用途向けチップなどの情報処理装置内の１つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図２１Ａ～図２１Ｂを参照して上述した演算は、図１Ａ～図１Ｂで示した構成要素によって、任意選択的に実行される。例えば、アラート条件の発生を検出することは、イベントソータ１７０、イベント認識部１８０、及びイベント処理部１９０によって、任意選択的に実行される。イベントソータ１７０内のイベントモニタ１７１は、タッチ感知面６０４上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６ー１に伝送する。アプリケーション１３６ー１のそれぞれのイベント認識部１８０は、イベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置での第１の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、更新部１７６又はオブジェクト更新部１７７を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他のプロセスが、図１Ａ～図１Ｂに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
図２２Ａ～図２２Ｆは、キャプチャされた画像を使用して、曖昧な音声コマンドを曖昧性除去する例示的なインタフェース及びプロセスを示す。図２３Ａ～図２３Ｂは、いくつかの実施形態による、キャプチャされた画像を使用して、曖昧な音声コマンドを曖昧性除去する方法を示すフロー図である。図２２Ａ～図２２Ｆのユーザインタフェース及びシーンは、図２３Ａ～図２３Ｂのプロセスを含む後述するプロセスを示す。
図２２Ａは、いくつかの例では前述のデバイス１００、デバイス３００、デバイス５００、デバイス１５００の特定のフォームファクタである、デバイス２２００を示す。デバイス２２００は、いくつかの実施形態ではタッチ感知ディスプレイである、ディスプレイ２２０１と、カメラ２２０２（いくつかの実施形態では、図１５Ａのカメラ１５０２）とを含む。加えて、デバイス２２００のいくつかの実施形態では、カメラ２２０２と共に、追加のセンサ及び／又は他の構成要素（例えば、フラッシュ若しくはＩＲエミッタ）が存在する。
図２２Ａにおいて、デバイス２２００は、ディスプレイ２２０１上に写真閲覧インタフェース２２０３を表示する。写真閲覧インタフェース２２０３は、現在選択されているアルバム内にある写真に対応するサムネイル２２０５～２２１６を含む。写真閲覧インタフェース２２０３は、選択ボタン２２０４を含む。選択ボタン２２０４を選択するユーザ入力を受信することに応答して、写真閲覧インタフェース２２０３は、タッチ感知面２２０１上のタッチ入力を介して１つ以上のサムネイルを選択すること、及び選択されたサムネイルに対応する写真を削除又は共有することなどの、様々な動作を実行するためのアフォーダンスを含むように更新される。
手動で選択された（例えば、図２２Ａの選択ボタン２２０４を選択後）写真に対応する写真に対して削除する、共有する、又は他の動作を実行する代替として、図２２Ｂは、写真の削除を要求する音声コマンド２２２４を提供するユーザ２２２２を示す。しかしながら、音声コマンド２２２４（「ヘイＳｉｒｉ、写真を削除して。」）は、デバイス２２００のディスプレイ上に表示された複数の写真が存在する場合には、どの写真を削除すべきかについての十分な情報を提供しない。図２２Ｂでは、デバイス２２００は、デバイス２２００のディスプレイ上のどのアイテムをユーザ２２２２が見ているか（例えば、ユーザ２２２２が見ている方向２２２６で示されるアイテム）に基づいて、カメラ２２０２を使用してキャプチャされた画像データを使用して、どのアイテム（例えば、写真）をユーザ２２２２（カメラ２２０２の視野２２２０内に現れる）が参照しているかを判定する。
デバイス２２００が、ユーザ２２２２が（例えば、任意選択的に深度データを含む、キャプチャされた画像データに基づいて）見ていた特定のアイテムを判定した場合、デバイス２２００は、特定のアイテムに関連付けられたコンテンツ上で受信された音声コマンド（例えば、音声コマンド２２２４）内で指定された機能を実行しようと試みる。例えば、音声コマンド２２２４の場合、指定された機能は削除される。デバイス２２００が、ユーザ２２２２がユーザ２２２２のキャプチャされた画像データに基づいて、サムネイル２２０５を見ていた場合、デバイス２２００は、図２２Ｄに示すように、サムネイル２２０５に関連付けられた写真を削除し、写真閲覧インタフェースを更新する。任意選択的に、図２２Ｃに示すように、音声コマンドからアクションを実行する前に、デバイス２２００は、ユーザ２２２２が音声コマンド２２２４を提供しているときに見ていたアイテムとして、サムネイル２２０５を識別する視覚指標２２２８を含むように、写真閲覧インタフェース２２０３を更新する。確認プロンプト２２３０はまた、ユーザに尋ねるように表示されて、識別されたコンテンツ上でアクションを実行すべきであることを確認する。いくつかの実施形態では、デバイスが画像データに基づいて対象アイテムを識別すると、確認プロンプトを提供せずに動作（例えば、削除）が実行される。削除ボタン２２３２を選択する入力が受信された場合、識別されたコンテンツは削除され、写真閲覧インタフェース２２０３は、図２２Ｄに示すように更新される。図２２Ｄは、サムネイル２２０５に関連付けられた写真が、サムネイル２２０５をもはや表示せず、残りのサムネイルを再配列し、サムネイル２２１７を表示して、サムネイル２２０５の除去によって作成されたスペースを満たすことにより削除されたことを示す。キャンセルボタン２２３４を選択する入力が受信された場合、識別されたコンテンツは削除されず、写真閲覧インタフェース２２０３は図２２Ａに示すような状態に戻る。
図２２Ｅは、音声コマンド（例えば、音声コマンド２２３６）を受信するデバイス２２００の別の例を示す。音声コマンド２２２４（図２２Ｂ）と同様に、音声コマンド２２３６（「削除します。」）は、要求された機能（「削除」）を指定するが、どのアイテムと共に又はどのアイテム上で機能を実行するかについては曖昧である。音声コマンド２２３６を受信すると、デバイス２２００は、キャプチャされた画像データを分析して、音声コマンド２２３６が受信されたときにユーザ２２２２が見ているアイテム（例えば、方向２２３８がユーザ２２２２を見ていることを示すデバイス２２００のディスプレイ上のアイテム）を判定する。デバイス２２００が、ユーザ２２２２がユーザ２２２２のキャプチャされた画像データに基づいて、サムネイル２２１１を見ていた場合、デバイス２２００は、サムネイル２２１１に関連付けられた写真を削除し、写真閲覧インタフェースを更新して、サムネイル２２１１を削除する。任意選択的に、図２２Ｆに示すように、音声コマンドからアクションを実行する前に、デバイス２２００は、ユーザ２２２２が音声コマンド２２３６を提供しているときに見ていたアイテムとして、サムネイル２２１１を識別する視覚指標２２４０を含むように、写真閲覧インタフェース２２０３を更新する。確認プロンプト２２４２はまた、ユーザに尋ねるように表示されて、識別されたコンテンツ上でアクションを実行すべきであることを確認する。削除ボタン２２４４を選択する入力が受信された場合、識別されたコンテンツは削除され、写真閲覧インタフェース２２０３は更新される（例えば、サムネイル２２１１に関連付けられた写真が、サムネイル２２１１をもはや表示せず、残りのサムネイルを再配列し、任意の追加のサムネイルを表示して、サムネイル２２１１の除去によって作成されたスペースを満たすことにより削除されたことを示すように更新される）。キャンセルボタン２２４６を選択する入力が受信された場合、識別されたコンテンツは削除されず、写真閲覧インタフェース２２０３は図２２Ｄに示すような状態に戻る。
図２３Ａ～図２３Ｂは、いくつかの実施形態による、キャプチャされた画像を使用して、曖昧な音声コマンドを曖昧性除去する方法を示すフロー図である。方法２３００は、ディスプレイとカメラとを備えたデバイス（例えば、１００、３００、５００）にて実行される。方法２３００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法２３００は、キャプチャされた画像を使用して、曖昧な音声コマンドを曖昧性除去する直感的な方法を提供する。この方法は、電子デバイスにて検出されたアラート条件に応答するユーザの認識的負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ駆動のコンピューティングデバイスの場合、電子デバイスがキャプチャされた画像を使用して、曖昧な音声コマンドを曖昧性除去することを可能にすることにより、電力が節約され、バッテリ充電の時間間隔が増加する。
ディスプレイ（例えば、２２０１）とカメラ２２０２（例えば、可視光センサ、ＩＲセンサ、飛行時間センサを有する）とマイクロフォンとを有する電子デバイス（例えば、２２００）は、第１のＧＵＩ要素（例えば、２２０５）及び第２のＧＵＩ要素（例えば、２２０６）を含む複数のユーザインタフェース要素（例えば、図２２Ａの２２０５～２２１６及び他の要素）（例えば、アフォーダンス、アイコン、及び他のＧＵＩ要素を含む、写真、連絡先、メッセージ、アプリケーションなどのグラフィック又はテクスチャ要素）を含むユーザインタフェース（例えば、２２０３）（例えば、オペレーティングシステムホーム画面、写真閲覧アプリケーション、電子メールアプリケーション、ウェブブラウザアプリケーション、地図アプリケーション、又はナビゲーションアプリケーション）を表示させる。
電子デバイスは、マイクロフォンを介して機能を実行する要求に対応する口頭ユーザ入力（例えば、２２２４）（例えば、音声コマンド）を受信する（例えば、メッセージ又は写真を送信するため、電子メールを移動するため、メッセージに応答するため、連絡先に電話するためなど）（２３０４）。入力は、第１のユーザインタフェース要素（例えば、２２０５）又は第２のユーザインタフェース要素（例えば、２２０６）に対して実行され得るアクション（例えば、「この写真を削除する」、「この写真を送信する」、「そのメッセージに応答する」、「これに応答する」、「彼女に返信する」、「彼に電話する」、「それについてリマインドする」、「無視する」）を実行する要求を含む（例えば、口頭ユーザ入力は、「彼に午後６時でどう？とメッセージする」であり、第１及び第２のＧＵＩ要素は、２人の異なる男性のリモートユーザの連絡先又は彼らからのメッセージに対応するか、又は口頭ユーザ入力は、「このメッセージに『結構です』と返信する」であり、第１及び第２のＧＵＩ要素は、２つの異なるメッセージに対応する）。マイクロフォンを介して受信したユーザ入力は、デバイスが、第１のユーザインタフェース要素又は第２のＧＵＩ要素に対してアクションを実行するかどうかを判定することを可能にする情報を含まない（例えば、ユーザ入力は、機能が実行される少なくとも２つのＧＵＩ要素のどちらに関しても曖昧である（ディスプレイに表示されている２つ以上のＧＵＩ要素に適用できる代名詞又は他の単語の使用など））。
マイクロフォンを介して口頭ユーザ入力を受信したことに応答して（２３０６）、口頭ユーザ入力が受信されたときに対応する時点（例えば、ユーザ入力を受信する直前、ユーザ入力を受信した直後、又はユーザ入力を受信している間）でキャプチャされた画像データが、ユーザが第１のユーザインタフェース要素（例えば、２２２６）を見ていることを示すとの判定に従って、電子デバイスは、第１のユーザインタフェース要素（例えば、図２２Ｃ）に関連付けられたデータ（例えば、写真、電話番号、電子メールアドレス、インスタントメッセージユーザ名、テキストメッセージ）を用いて要求された機能を実行する（２３０８）。口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データが、ユーザが第２のユーザインタフェース要素を見ていることを示すとの判定に従って、電子デバイスは、第２のユーザインタフェース要素に関連付けられたデータ（例えば、写真、電話番号、電子メールアドレス、テキストメッセージ）を用いて要求された機能を実行する（２３１０）。いくつかの実施形態では、電子デバイスは、カメラからの画像データ（例えば、可視光データ、ＩＲ光データ、深度画像データなど）をキャプチャする（２３１８）。
キャプチャされた画像データから要求機能の対象である要素を判定することにより、マン－マシンインタフェースは、電子デバイス上で機能を実行するために必要なユーザ入力の数及び要求されるユーザ入力の複雑さを低減することによって改善される。例えば、要求された機能のターゲットを曖昧に指定できるようにすることで、ユーザが機能ターゲットの曖昧な指定を判定する必要がないので、電子デバイスとのユーザの対話を単純化する。
いくつかの実施形態では、口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データが、ユーザが電子デバイスを見ていない（例えば、図１５Ｂ）ことを示すとの判定に従って、電子デバイスは、ユーザに明確化を提供するように促す（例えば、プロンプト２２３０に似ていますが、削除する写真を選択するようユーザに尋ねる）（２３１２）。例えば、電子デバイスは、要求された機能が実行されるべきコンテンツに対応するグラフィックオブジェクトを（例えば、タッチジェスチャを介して）選択するようにユーザに尋ねるメッセージを表示する。これにより、音声要求が曖昧であり、使用が電子デバイスを見ていない場合であっても、電子デバイスがユーザの音声要求に応答することを可能にすることによって、デバイスの操作性を高める。これにより、ユーザ入力が曖昧である場合であっても、より幅広いユーザ入力に適切に応答する改善されたマン－マシンインタフェースを提供することによって、ユーザとのより持続的な対話を可能にする。
いくつかの実施形態では、電子デバイスは、マイクロフォンを介して機能を実行する追加の要求に対応する追加の口頭ユーザ入力を受信し（２３１４）、入力は、第３のインタフェース要素に対してアクションを実行する要求を含み、マイクロフォンを介して受信された追加のユーザ入力は、電子デバイスが、第３のユーザインタフェース要素に対するアクションを判定することを可能にする情報を含む（例えば、図２２Ａが表示されている間の「アルバムの削除」では、１つのアルバムのみを参照することができる）。電子デバイスは、追加の口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データのコンテンツに関係なく、追加の要求された機能を実行する（２３１６）。画像データのコンテンツに関係なく、追加の要求機能を実行することにより、ユーザは、ユーザのフォーカスがどこに位置するかについて心配することなく音声コマンドを提供することを可能にする。これにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、画面上の特定のオブジェクトを見なければならないことに関連付けられたユーザの認識的負担を軽減し、画像データを処理しない（又は更にキャプチャすることさえしない）ことでコンピューティングリソースの負荷を軽減することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、口頭ユーザ入力（例えば、図２２Ｅの２２３６）は、複数のユーザインタフェース要素（例えば、図２２Ｂ及び図２２Ｅ）のうちのユーザインタフェース要素に対する曖昧な参照（例えば、「それ」）を含む。いくつかの実施形態では、要求は、ディスプレイ上に表示された複数のメッセージの表現がある場合、「応答を送信する」、又はディスプレイ上に表示された複数のカレンダイベント若しくはｔｏ ｄｏアイテムがある場合、「それについてリマインドする」などの第１及び第２のＧＵＩ要素の両方に適用可能なユーザインタフェース要素への参照を含む（例えば、「それ」は、図２２Ｆのインタフェースで表されるフォト（phots）のいずれかを指し得る）。いくつかの実施形態では、要求は、実行する機能の識別を含む（例えば、要求は、「削除」、「送信」、「返信」、「移動」、「リマインド」など、及び／又は、任意選択的に、宛先、受信者、機能の実行方法、又は他の情報などの機能を更に改良する他のデータを含む）。
いくつかの実施形態では、第１のユーザインタフェース要素（例えば、図６Ｉの６３４）は第１ユーザに対応し、第２のユーザインタフェース要素（例えば、図６Ｉの６３５）は第２ユーザに対応する（２３２０）。いくつかの実施形態では、ＧＵＩは、メッセージングアプリケーションであり、第１及び第２のＧＵＩ要素は、第１のユーザ及び第２のユーザからの異なるメッセージを表す。実行され得る機能の例としては、識別されたメッセージに返信を送信すること、又は対応するメッセージを送信したユーザに発信することを含む。いくつかの実施形態では、第１のユーザインタフェース要素に関連付けられたデータは第１の連絡先情報に対応し、第２のユーザインタフェース要素に関連付けられたデータは第２の連絡先情報に対応する。いくつかの実施形態では、ＧＵＩは、連絡先情報インタフェースであり、第１及び第２のＧＵＩ要素は、誰の連絡先情報が電子デバイス上に記憶されている異なるユーザに対応する。識別されたＧＵＩ要素で実行され得る機能の例としては、メッセージを送信すること、又は関連付けられた連絡先情報内の情報に基づいて識別されたユーザに発信することを含む。いくつかの実施形態では、機能は通信機能（例えば、メッセージの送信、メッセージへの返信、ユーザへの発信、写真の共有など）である。
いくつかの実施形態では、第１のユーザインタフェース要素（例えば、図２２Ａの２２０５）は第１の写真に対応し、第２のユーザインタフェース要素（例えば、図２２Ａの２２０６）は第２の写真に対応する。いくつかの実施形態では、ＧＵＩは、写真アルバムアプリケーション（例えば、２２０３）であり、第１及び第２のＧＵＩ要素は、電子デバイス上に記憶され、ディスプレイ上に表示された異なる写真に対応する（図２２Ａ）。実行可能な機能の例としては、削除、移動、共有、送信、編集などが挙げられる。いくつかの実施形態では、機能は、データを削除する機能である。
図２３Ａ～図２３Ｂにおける動作について記載された特定の順序は単なる例示あり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法７００、１０００、１３００、１７００、１９００、２１００、２５００、２７００）に関して本明細書に記載される他の処理の詳細はまた、図２３Ａ～図２３Ｂに関して上記した方法２３００にも、類似の様式で適用可能であることに留意されたい。例えば、方法２３００を参照して上述したユーザが見ているかどうかの判定は任意選択的に、本明細書に記載される他の方法（例えば、方法１７００、１９００）を参照して、本明細書に記載される認可されたユーザがデバイスを見ているかどうかを判定するためのキャプチャされた画像データの分析の特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ（例えば、図１Ａ、３、５Ａに関して説明したように）又は特定用途向けチップなどの情報処理装置内の１つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図２３Ａ～２３Ｂを参照して上述した演算は、図１Ａ～図１Ｂに示す構成要素によって、任意選択的に実行される。例えば、アラート条件の発生を検出することは、イベントソータ１７０、イベント認識部１８０、及びイベント処理部１９０によって、任意選択的に実行される。イベントソータ１７０内のイベントモニタ１７１は、タッチ感知面６０４上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６ー１に伝送する。アプリケーション１３６ー１のそれぞれのイベント認識部１８０は、イベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置での第１の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、更新部１７６又はオブジェクト更新部１７７を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他のプロセスが、図１Ａ～図１Ｂに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
図２４Ａ～図２４Ｈは、高ダイナミックレンジ（ＨＤＲ）画像を生成する例示的なユーザインタフェース及びキャプチャされた画像データを示す。図２５Ａ～図２５Ｂは、いくつかの実施形態による、ＨＤＲ画像を生成する方法を示すフロー図である。図２４Ａ～図２４Ｈのユーザインタフェースは、図２５Ａ～図２５Ｂのプロセスを含む後述するプロセスを示す。
図２４Ａは、いくつかの例では前述のデバイス１００、デバイス３００、デバイス５００、デバイス１５００の特定のフォームファクタである、デバイス２４００を示す。デバイス２４００は、タッチ感知ディスプレイであるディスプレイ２４０１と、カメラ（例えば、図２４Ｂに示すデバイス２４００の背面上のカメラ２４０２）とを含む。いくつかの実施形態では、カメラ２４０２は、カメラ１５０２と同じ種類のカメラである（図１５Ａ）。加えて、デバイス２４００のいくつかの実施形態では、カメラ２４０２と共に、追加のセンサ及び／又は他の構成要素（例えば、フラッシュ若しくはＩＲエミッタ）が存在する。
図２４Ａでは、デバイス２４００は、タッチ感知ディスプレイ２４０１上にカメラアプリケーションインタフェース２４０３を表示する。カメラアプリケーションインタフェース２４０３は、カメラ２４０２の視野内にあるシーンを反映するプレビュー領域２４０４を含む（図２４Ｂ）。シーンは、人２４０６、木２４０８、山２４１０、及び太陽２４１２を含む。焦点インジケータ２４１４は、シーンカメラ２４０２が現在焦点を当てられている場所を示す。図２４Ａでは、焦点インジケータ２４１４は、カメラ２４０２が現在人２４０６に焦点を当てられていることを示す。図２４Ａのシーンの場合、太陽２４１２は、山２４１０が明るく照らされるような位置にあり、また、太陽２４１２は、人２４０６及び木２４０８の背後にあり、両方がシーン内でそれら自体の影内にある。カメラ２４０２の焦点が人２４０６上にあるため、カメラ２４０２の露出設定もまた人２４０６に設定される。これらの露出設定は、人２４０６及び木２４０８（それら自体の影内にある）に対して良好に機能するが、これらの露出設定により、山２４１０（並びに場合によっては、雲及び／又は太陽）が露出し過ぎる（例えば、色あせるか又はフェードする）。これは、図２４Ａでは山、雲、及び太陽の点線によって表される。カメラアプリケーションインタフェース２４０３はまた、図２４Ｄに対して説明したＨＤＲボタン２４１６と、カメラ２４０２にカメラ２４０２の視野内のシーンを表す画像データをキャプチャさせるシャッターボタン２４１８とを含む。
接触２４２０の形態でのジェスチャ入力の受信に応答して、デバイス２４００は、図２４Ｃに示すように、接触２４０２の位置に対応するようにカメラ２４０２の焦点を変更する。図２４Ｃでは、焦点インジケータ２４１４の位置が移動して、カメラ２４０２（図２４Ｂ）の焦点が現在山２４１０にあることを示す。加えて、露出設定は、これらが適切に露出されるように、山２４１０に基づいて現在設定されるが、人２４０６及び木２４０８は露出不足である（例えば、暗い）。これは、図２４Ｄで人２４０６及び木２４０８の太い線によって表される。
ＨＤＲボタン２４１６上の接触２４２２の形態でのジェスチャ入力の受信に応答して、カメラアプリケーションは、シーンの異なる部分が異なるカメラ設定（例えば、露出設定）でキャプチャされるように、図２４Ｄに示すＨＤＲモードに切り替わり、これにより、より多くのシーンがシーンのそれぞれの部分に適したカメラ設定でキャプチャされる。図２４Ｄでは、カメラアプリケーションインタフェース２４０３は、カメラアプリケーションがＨＤＲモードであることを示すためのＨＤＲインジケータ２４２４の表示を含む。シーンの異なる部分は、シーンのそれぞれの部分における照明条件に合わせて調整された異なるカメラ設定でキャプチャされるため、シーンの画像データのうちのより多くは、適切なカメラ設定でキャプチャされる。例えば、図２４Ｄのシーンでは、人２４０６、木２４０８、及び山２４１０は全て、正確な露出設定を有するように見える。
シャッターボタン２４１８上の接触２４２６の形態でのジェスチャ入力の受信に応答して、デバイス２４００は、カメラ２４０２（図２４Ｂ）を使用して、カメラ２４０２の視野内のシーンについて画像データをキャプチャする。ＨＤＲ画像を作成するために、デバイス２４００は、カメラ２４０２（図２４Ｂ）から少なくとも２回画像データをキャプチャする。第１の画像データは、シーンの第１の領域の分析に基づくカメラ設定の第１のセットを用いてカメラ２４０２からキャプチャされる。第２の画像データは、シーンの第１の領域とは異なる第２の領域の分析に基づくカメラ設定の第２のセットを用いてカメラ２４０２からキャプチャされる。いくつかの場合には、第１の領域は、第２の領域の逆であり、第１の領域及び第２の領域は重ならないが、また互いに逆ではなく、又は第１の領域及び第２の領域は重なるが、完全には重ならない。いくつかの実施形態では、第１の領域は、カメラからの距離の範囲内にあるシーン内の領域を表し、第２の領域は、カメラからの距離の異なる範囲内にあるシーン内の領域を表す。カメラからシーン内の様々な点までの距離は、シーンの深度データに基づいて判定され得る。深度データは、カメラ２４０２内又は外の１つ以上のセンサ（例えば、飛行時間センサ又はスペックルベースのセンサ）から判定され得る。別法として、シーンの深度データは、視差（例えば、２つ以上のカメラ又は１つのカメラ内に２つ以上の画像センサを使用して）又は焦点距離測定などの他の技術に基づくことができる。
図２４Ｅは、シーンの異なる領域の設定を判定するために使用される例示的な第１の領域及び例示的な第２の領域を示す。図２４Ｅでは、キャプチャされた画像データ２４２８は、キャプチャ画像データ２４２８にもある関連付けられた可視光データ（図２４Ｅに示す）の深度データ（図示せず）を含む。深度データは、キャプチャされた画像データ（及びシーン）を２つの領域に分割するために使用される。領域２４３０は、木までの距離よりも長い距離（例えば、領域２４３０内の距離の範囲は、木までの距離よりも長い距離の範囲である）にあるシーンの部分を表示する。領域２４３２は、木までの距離以下の距離（例えば、領域２４３２内の距離の範囲は、木までの距離以下の距離の範囲である）にあるシーンの部分を表示する。次いで、デバイス２４００は、キャプチャされた画像データ２４２８を分析して、第１の領域２４３０及び第２の領域２４３２のカメラ設定を判定する。カメラ設定は、露出、ホワイトバランス、ＩＳＯ、開口などの任意の１つ以上のカメラ設定を含むことができる。第１のカメラ設定は、少なくとも１つのカメラ設定が２つの間で異なる（例えば、露光が異なる）という点で、第２のカメラ設定とは異なる。
第１及び第２のカメラ設定が判定されると、デバイス２４００は、第１のカメラ設定及び第２のカメラ設定をそれぞれ使用して、カメラ２４０２から第１の画像データ及び第２の画像データをキャプチャする。例えば、図２４Ｆでは、キャプチャされた画像データ２４３４は、山及び太陽に最も適切なカメラ設定（例えば、図２４Ｅの領域２４３０に基づくカメラ設定）を使用してキャプチャされ、キャプチャされた画像データ２４３４内の太い線によって示されるように、人及び木を露出不足のままにする。引き続き図２４Ｆを参照すると、キャプチャされた画像データ２４３６は、人及び木に最も適切なカメラ設定（例えば、図２４Ｅの領域２４３２に基づくカメラ設定）を使用してキャプチャされ、キャプチャされた画像データ２４３６内の破線によって示されるように、山及び木を過度に露出したままにする。
デバイス２４００がキャプチャされた画像データ２４３４及びキャプチャされた画像データ２４３６を取得すると、デバイス２４００は、画像データを組み合わせてＨＤＲ画像を生成する。例えば、領域２４３０（図２４Ｅ）に対応するキャプチャ画像データ２４３４（図２４Ｆ）の部分と、領域２４４０（図２４Ｅ）に対応するキャプチャ画像データ２４３６（図２４Ｆ）の部分とは、一緒に組み合わされ（例えば、スティッチされ）、任意選択的に後処理されて、デバイス２４００が後の閲覧又は共有のために記憶するＨＤＲ画像を生成する。別の例として、デバイス２４００は、標準、ディゾルブ、又は乗算及び画面ブレンドモードなどのブレンドモードを用いて画像データをブレンドすることによって、キャプチャされた画像データ２４３４及びキャプチャされた画像データ２４３６を組み合わせる。
デバイス２４００がキャプチャされた画像データ２４３４及びキャプチャされた画像データ２４３６を組み合わせて、ＨＤＲ画像を生成した後（又は間）、デバイス２４００は、図２４Ｄに関して再度説明したように、図２４Ｇに示すように、カメラアプリケーションインタフェース２４０３を表示する。写真閲覧ボタン２４３８（最近キャプチャされた写真のサムネイルであり得る）上の接触２４４０の形態でのジェスチャ入力の受信に応答して、デバイス２４００は、図２４Ｈに示すように、カメラアプリケーションインタフェース２４０３の表示を、ＨＤＲ画像２４４４を表示する写真閲覧インタフェース２４４２で置き換える。
図２５Ａ～図２５Ｂは、いくつかの実施形態による、ＨＤＲ画像を生成する方法を示すフロー図である。方法２５００は、ディスプレイとカメラとを備えたデバイス（例えば、１００、３００、５００）にて実行される。方法２５００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法２５００は、ＨＤＲ画像を生成する直感的方法を提供する。この方法は、ＨＤＲ画像を生成する際のユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、電子デバイスがＨＤＲ画像を生成することを可能にすることにより、電力が節約され、バッテリ充電の間隔が長くなる。
電子デバイス（例えば、２４００）は、ディスプレイと、１つ以上の画像センサ（例えば、可視光センサ、可視スペクトルの外側の光センサ（赤外線光センサなど）、及び／又は非光センサ（飛行時間センサ又は他の深度センサなど）を含むカメラ（例えば、２４０２）とを有する。シーン（例えば、２４０４）がカメラの視野内にある間に、電子デバイスは、カメラで画像データをキャプチャする要求（例えば、タッチ感知ディスプレイ上に表示された物理ボタンのアクティブ化又はアフォーダンスの選択）を受信する（２５０２）。
画像データをキャプチャする要求に応答して、電子デバイスは、シーンに対応する画像データ（例えば、可視光データ、非可視光データ（ＩＲデータなど）、及び／又は深度データ（飛行時間データなど））をキャプチャする（２５０４）。画像データをキャプチャすることは、電子デバイスが、画像センサから第１の距離である第１の深度領域（例えば、例えば深度情報により判定されたような１つ以上の画像センサからの距離の範囲）に対応すると判定されたシーン（例えば、第１の部分が最適化されているが、別の部分は最適化されていない露出レベルが選択される）の第１の部分（例えば、２４３０）の外観に基づいて選択された第１の画像キャプチャ設定（例えば、露出レベル、露出時間、ＩＳＯ、開口寸法、焦点距離などのカメラの１つ以上の設定）を用いて第１の画像データ（例えば、２４３４）をキャプチャすることを含む（２５０６）。電子デバイスは、第１の画像キャプチャ設定とは異なる第２の画像キャプチャ設定（例えば、第１の画像キャプチャ設定に対応する画像キャプチャ設定のセットと異なる少なくとも１つの設定を有する画像キャプチャ設定のセット又は第１の画像キャプチャ設定に対応する画像キャプチャ設定のセットと完全に異なる画像キャプチャ設定のセット）を用いて（例えば、第１の画像データと同一又は異なる種類の）第２の画像データ（例えば、２４３６）をキャプチャする（２５０８）。第２の画像キャプチャ設定は、カメラから第２の距離である第２の深度領域に対応すると判定されたシーンの第２の部分（例えば、２４３２）の外観に基づいて選択される。シーンに対応する画像データをキャプチャした後、電子デバイスは、ディスプレイ上にシーンの画像（例えば、２４４４）を表示させ、シーンの画像は、第１の画像データと第２の画像データとを組み合わせることによって生成される（例えば、第１の画像データはクロップされ、それにより、クロップされた第１の画像データがシーンの第１の部分に対応する第１の画像データを表し、クロップされた第１の画像データが第２の画像データに重なり、任意選択的にブレンドされる）。第１の画像データに使用される設定とは異なる設定で第２の画像データをキャプチャすることにより、ユーザがシーンのより大きい部分に適合された好適な設定を使用して画像データをキャプチャすることを可能にする。これにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、ユーザが適切なカメラ設定でキャプチャされた画像のより大きな部分を有する画像を作成することを可能にし、複数の画像を撮影し、それらを後で組み合わせる必要性を防止することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスは、少なくとも画像データをキャプチャする要求が受信される時間に対応する時点でライブプレビュー（例えば、図２４Ｄ）を表示させる（２５１４）。いくつかの実施形態では、ライブ画像データはカメラからキャプチャされ、ディスプレイ上に表示される。
いくつかの実施形態では、画像データをキャプチャする要求は、シャッターボタン（例えば、２４１８）（例えば、仮想シャッターボタン又はシャッターボタンとして機能する物理ボタン）の選択である（２５１０）。いくつかの実施形態では、カメラアプリケーションが表示されており、仮想シャッターボタン用の表示されたアフォーダンスを含むカメラアプリケーションが表示されている。アフォーダンス（例えば、仮想シャッターボタン上でのタップジェスチャ）の選択に応答して、第１及び第２の画像データがキャプチャされる。
いくつかの実施形態では、第１の画像データ及び第２の画像データはそれぞれ、シーンの第１及び第２の部分の両方に対応する画像データを含み、シーンの第１の部分に対応するシーンの画像の一部分は、第１の画像データからのデータの割合をより多く含み、及び／又はシーンの第２の部分に対応するシーンの画像の一部分は、第２の画像データからのデータの割合をより多く含む（２５１２）。いくつかの実施形態では、合成画像シーンでは、第１の画像データからの第１の領域は、第１の部分内の第２の画像データよりも高い第１の画像データを重み付けするブレンド機能を使用することによって、第２の画像データ内の対応領域よりも強調される。いくつかの実施形態では、合成画像シーンでは、第２の画像データからの第２の領域は、第２の部分内の第１の画像データよりも高い第２の画像データを重み付けするブレンド機能を使用することによって、第１の画像データ内の対応領域よりも強調される。
いくつかの実施形態では、電子デバイスは、視差計算からの距離情報に基づいて、第１の深度領域を判定する（２５１８）。いくつかの実施形態では、カメラは、２つ以上の画像センサを使用して、画像データをキャプチャし、２つ以上の画像センサの間の視差を使用して、深度データを生成する。いくつかの実施形態では、電子デバイスは、深度センサからの距離情報に基づいて、第１の深度領域を判定する（例えば、カメラはスペックルベースのセンサ又は飛行時間センサを含む）。いくつかの実施形態では、第１の深度領域は、第１の距離値の範囲（例えば、カメラから５ｍ未満、又は１ｍ～１．５ｍ）に対応する。いくつかの実施形態では、第２の深度領域は、第１の距離値の範囲とは異なる第２の距離値の範囲に対応する。（例えば、カメラから５ｍ超、又は６ｍ～１０ｍ）。いくつかの実施形態では、第１の深度領域及び第２の深度領域は、互いに排他的である（例えば、図２４Ｅ）（例えば、第１の深度領域はシーンの下半分であり、第２の深度領域は上部３番目（upper third）である）。
いくつかの実施形態では、第１の画像キャプチャ設定は、露出レベル、開口寸法、ＩＳＯレベル、及び焦点距離からなる群から選択される設定（又は画像データがどのようにキャプチャされるかに影響を及ぼす他の設定）を含む（２５２０）。いくつかの実施形態では、第２の画像キャプチャ設定は、第１の画像キャプチャ設定における対応する設定とは異なる露出、開口寸法、ＩＳＯレベル、又は焦点距離のうちの少なくとも１つの設定（又は画像データがどのようにキャプチャされるかに影響を及ぼす他の設定）を含む（２５２２）。
いくつかの実施形態では、第１の画像キャプチャ設定は、第１の画像データをキャプチャする前にキャプチャされた第３の画像データ（例えば、２４２８）に基づく（２５２４）。いくつかの実施形態では、第３の画像データは、第１の画像データ及び第２の画像データの前にキャプチャされる。次いで、第３の画像データを分析して、第１及び第２の領域及び対応する画像キャプチャ設定を決定する。いくつかの実施形態では、第３の画像データは、上記のライブプレビュー画像データである。いくつかの実施形態では、第１の画像キャプチャ設定は、第１の深度領域に対応する第３の画像データ内の画像データに基づき（例えば、第３の画像データ内の第１の深度領域に対応する領域を分析して、第１の画像キャプチャ設定に対して最適な画像キャプチャ設定を判定する）、第２の画像キャプチャ設定は、第２の深度領域に対応する第３の画像データの領域内の画像データに基づく（例えば、第３の画像データ内の第２の深度領域に対応する領域を分析して、第２の画像キャプチャ設定に対して最適な画像キャプチャ設定を判定する）。いくつかの実施形態では、第１の画像データ、第２の画像データ、及びシーンの画像は、同じ解像度を有する（例えば、第１の画像データ、第２の画像データ、シーンの画像は、同一の水平寸法及び垂直寸法に配置された同じ数のピクセルを有する）。第３の画像データを使用して、第１の画像データ及び第２の画像データをキャプチャするために使用する設定を判定することにより、デバイスは、シーン自体を表すデータを使用して、シーンの２つ以上の部分についての適切なカメラ設定を判定することができる。これにより、デバイスの操作性を高め（キャプチャされた画像データを使用して、２セットのカメラ設定を判定することにより、画像データの追加の分析を回避する）、更に、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
図２５Ａ～図２５Ｂにおける動作について記載された特定の順序は単なる例示あり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法７００、１０００、１３００、１７００、１９００、２１００、２３００、２７００）に関して本明細書に記載される他の処理の詳細はまた、図２５Ａ～図２５Ｂに関して上記した方法２５００にも、類似の様式で適用可能であることに留意されたい。例えば、方法２５００を参照して上述した画像データのキャプチャは任意選択的に、本明細書に記載される他の方法（例えば、方法２７００）を参照して、本明細書に記載される画像データのキャプチャの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ（例えば、図１Ａ、図３、図５Ａに関して説明したように）又は特定用途向けチップなどの情報処理装置内の１つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図２５Ａ～図２５Ｂを参照して上述した演算は、図１Ａ～図１Ｂで示した構成要素によって、任意選択的に実行される。例えば、カメラで画像データをキャプチャする要求を受信することは、イベントソータ１７０、イベント認識部１８０、及びイベント処理部１９０によって、任意選択的に実行される。イベントソータ１７０内のイベントモニタ１７１は、タッチ感知面６０４上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６ー１に伝送する。アプリケーション１３６ー１のそれぞれのイベント認識部１８０は、イベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置での第１の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、更新部１７６又はオブジェクト更新部１７７を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者には、図１Ａ～図１Ｂに示した構成要素に基づいて他の処理がどのように実施され得るかは明らかであろう。
図２６Ａ～図２６Ｋは、深度データに基づいてコンポジット画像を生成する例示的なユーザインタフェース、シーン、及びキャプチャされた画像データを示す。図２７Ａ～図２７Ｂは、深度データに基づいてコンポジット画像を生成する方法を示すフロー図である。図２６Ａ～図２６Ｋのユーザインタフェース、シーン、及びキャプチャされた画像データは、図２７Ａ～図２７Ｂのプロセスを含む後述するプロセスを示す。
図２６Ａは、いくつかの例では前述のデバイス１００、デバイス３００、デバイス５００、デバイス１５００の特定のフォームファクタである、ユーザ保持デバイス２６００を示す。デバイス２６００は、タッチ感知ディスプレイであるディスプレイ２６０１と、デバイス２６００の前面に面するカメラ２６０１と、図２６Ｃに示すデバイス２６００の背面上のカメラ２６０４とを含む。加えて、デバイス２６００のいくつかの実施形態では、カメラ２６０２及びカメラ２６０４と共に、追加のセンサ及び／又は他の構成要素（例えば、フラッシュ若しくはＩＲエミッタ）が存在する。カメラ２６０２は、デバイス２６００の前面のシーンを包含する視野２６０３を有する。カメラ２６０４は、デバイス２６００の後面のシーン２６０６を包含する視野２６０５を有する。いくつかの実施形態では、カメラ２６０２及びカメラ２６０４は、図１５Ａのカメラ１５０２と同じ種類のカメラである。
図２６Ｂは、デバイス２６００が、タッチ感知ディスプレイ２６０１上にカメラアプリケーションインタフェース２６０７を表示することを示す。カメラアプリケーションインタフェース２６０７は、カメラ２６０４の視野２６０５内のシーン２６０６を表す画像データ２６０８の表示を含む（図２６Ｃ）。カメラアプリケーションインタフェース２６０７はまた、シャッターボタン２６１４及びコンポジットモードボタン２６１０を含む。コンポジットモードボタン２６１０上の接触２６１２の形態でのジェスチャ入力の受信に応答して、カメラアプリケーションは、図２６Ｄ又は図２６Ｅに示すように、コンポジットモードに入る。
図２６Ｃは、カメラ２６０４を含むデバイス２６００の背面を示す。カメラ２６０４は、図２６Ａに示すように、デバイス２６００の後面のシーンを包含する視野２６０５を有する。
図２６Ｄは、カメラアプリケーションがコンポジットモードに入った後のカメラアプリケーションインタフェース２６０７を示す。カメラ２６０４からの画像データ２６０８に加えて、カメラアプリケーションインタフェース２６０７はまた、現在、カメラ２６０２からキャプチャされた画像データ２６１６を含む。画像データ２６１６は、デバイス２６００を保持しているデバイス２６００のユーザを示す（図２６Ａを参照）。
図２６Ｅは、カメラアプリケーションがコンポジットモードに入った後のカメラアプリケーションインタフェース２６０７の代替的実施形態を示す。図２６Ｄとは対照的に、図２６Ｅでは、カメラアプリケーションインタフェース２６０７は、画像データ２６０８と画像データ２６１６の画像データ部分２６１７とを表示することによって、画像データ２６０８と画像データ２６１６とのコンポジットのプレビューを提供する。
カメラアプリケーションインタフェース２６０７内のプレビューは、任意選択的に、デバイス２６００が移動されると更新する「ライブ」プレビューである。例えば、図２６Ｆでは、デバイス２６００は、図２６Ｅと比較して傾斜している。それに応じて、カメラアプリケーションインタフェース２６００内のプレビューは、カメラの視野内にある新しいシーンを反映するように更新される。
図２６Ｅに存在するものと同じ傾斜に戻った後のデバイス２６００を示す図２６Ｇでは、デバイス２６００は、シャッターボタン２６１４上の接触２６１８の形態のジェスチャ入力を受信する。それに応じて、デバイス２６００はカメラ２６０２及びカメラ２６０４から画像データをキャプチャする。
図２６Ｈは、背面カメラ２６０４からキャプチャされた画像データ２６２０を示す。画像データ２６２０は、カメラ２６０４の視野２６０５（図２６Ａ）内のシーンのものである（図２６Ｃ）。デバイス２６００は、画像データ２６２０の深度データを使用して、カメラ２６０４からの距離の範囲内にあるシーンの一部分に対応する画像データ２６２０内の第１の領域を判定する。例えば、デバイス２６００は、深度データを使用して、画像データ２６２０の部分２６２２がカメラ２６０４の１．５ｍ以内であると判定する。
図２６Ｉは、前面カメラ２６０２からキャプチャされた画像データ２６２４を示す。画像データ２６２４は、カメラ２６０２の視野２６０３（図２６Ａ）内のシーンのものである。画像データ２６２０及び２６２４をキャプチャした後、デバイス２６００は、画像データ２６２０と画像データ２６２４とを組み合わせて、コンポジット画像を表す画像データを作成する。一実施例では、デバイス２６００は、画像データ２６２６に示すように、画像データ２６２４上に画像データ２６２０の部分２６２２を重ねることによって、画像データ２６２０と画像データ２６２４とを組み合わせ、これは、デバイス２６００が後に閲覧又は共有するために記憶する。別の例では、デバイス２６００は、画像データ２６２０の一部分（例えば、深度データに基づいて判定された）を画像データ２６２４とブレンドする。デバイス２６００は、任意選択的に、異なるブレンドモードを使用して、画像データ２６２０の別の異なる部分（例えば、深度データに基づいても判定された）と画像データ２６２４とを任意選択的にブレンドする。
デバイス２６００がキャプチャされた画像データ２６２０の一部分及びキャプチャされた画像データ２６２４を組み合わせて、コンポジット画像を生成した後（又は間）、デバイス２６００は、図２６Ｊに関して説明したように、図２６Ｅに示すように、カメラアプリケーションインタフェース２６０７を表示する。写真閲覧ボタン２６２８（最近キャプチャされた画像のサムネイルであり得る）上の接触２６３０（図２６Ｊ）の形態でのジェスチャ入力の受信に応答して、デバイス２６００は、図２６Ｋに示すように、カメラアプリケーションインタフェース２６０７の表示を、コンポジット画像データ２６２６を表示する写真閲覧インタフェース２６３２で置き換える。
図２７Ａ～図２７Ｂは、いくつかの実施形態による、深度データに基づいてコンポジット画像を生成する方法を示すフロー図である。方法２７００は、ディスプレイとカメラとを備えたデバイス（例えば、１００、３００、５００、２６００）にて実行される。方法２７００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法２７００は、深度データに基づいてコンポジット画像を生成するための直感的な方法を提供する。この方法は、深度データに基づいてコンポジット画像を生成するユーザの認識的負担を低減し、それにより更に効果的なヒューマンマシンインタフェースをもたらす。バッテリ駆動のコンピューティングデバイスの場合、電子デバイスが深度データに基づいてコンポジット画像を生成することを可能にすることにより、電力が節約され、バッテリ充電の時間間隔が増加する。
電子デバイス（例えば、２６００）は、電子デバイスの第１の側（例えば、前側又はディスプレイと同じ側）上に第１のカメラ（例えば、２６０２）（例えば、可視光センサ、可視スペクトルの外側の光センサ（赤外線光センサなど）、及び／又は非光センサ（飛行時間センサ又は他の深度センサなど）を有する前面カメラ）と、電子デバイスの第１の側と反対側の第２の側（例えば、後側又はディスプレイの反対側）上に第２のカメラ（例えば、２６０４）（例えば、可視光センサ、可視スペクトルの外側の光センサ（赤外線光センサなど）、及び／又は非光センサ（飛行時間センサ又は他の深度センサなど）を有する背面カメラ）と、を有する。いくつかの実施形態では、電子デバイスのディスプレイは、電子デバイスの第１の側にある（２７２０）。例えば、第１のカメラは、ユーザが電子デバイスのディスプレイの前面に位置するときに電子デバイスのユーザに面している。
第１のシーン（例えば、電子デバイスのユーザのシーン）が第１のカメラの視野（例えば、２６０３）内にあり、第１のシーンとは異なる第２のシーン（例えば、電子デバイスのユーザが表示したいシーン）が第２のカメラの視野（例えば、２６０５）内にある間に（２７０２）、電子デバイスは、第１のカメラを用いて第１のシーンの第１の画像データ（２６２０）をキャプチャし（２７０４）、第１の画像データは、深度画像データ（例えば、飛行時間情報、距離情報、第１のカメラ内の複数の画像センサの視差から導出したデータなど）及び可視光画像データ（例えば、第１のカメラ内の１つ以上の可視光センサからの）を含み、深度画像データは、第１の画像データの第１の部分（例えば、２６２２）が、第１のカメラからの第１の距離である第１の深度領域（例えば、深度画像データにより判定されたようなカメラからの距離の範囲）にあるシーンの第１の部分に対応し、画像データの第２の部分が、第１の距離とは異なる第１の画像センサからの第２の距離である第２の深度領域にあるシーンの第２の部分に対応することを示し、第２のカメラからの第２のシーンの第２の画像データ（例えば、２６２４）をキャプチャする（例えば、第１の画像データのキャプチャと同時に、又は密接に連続して、任意選択的に、単一のユーザ入力に応答して）（２７０６）。第１の画像データ及び第２の画像データをキャプチャした後、電子デバイスは、第２の画像データと第１の画像データの第１の部分とを組み合わせて、合成画像（例えば、２６２６）を作成する（例えば、クロップされた第１の画像データを第２のキャプチャされた画像データ上に重ねて、第１のクロップされた第１の画像データが第２のキャプチャされた画像データの一部であるように見えるようにする）（２７０８）。第１の画像データと第２の画像データとを組み合わせることにより、ユーザは、別の方法で作成することがユーザにとって困難又は不可能であろう画像を作成できる。これにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、ユーザが他の方法でキャプチャできなかった画像を作成でき、更なるユーザ対話なしで画像を作成できるようにすることによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第２の画像データと第１の画像データの第１の部分とを組み合わせることは、深度画像データに基づいて第１の画像データをクロッピングすること（例えば、深度画像データ内の浅い深度によって表される人に基づいて、キャプチャされた第１の画像データ内の人をクロッピングすること）を含む。いくつかの実施形態では、画像データをクロッピングすることは、第１の深度領域に基づく（例えば、第１の画像データ内のデータを分析して、深度データを判定する、又は深度画像データが第１の画像データ内に記憶されているときに第１の画像データから深度画像データを抽出する）。
いくつかの実施形態では、電子デバイスは、合成画像を作成する前に、第１の画像データの照明パラメータを修正する（２７１０）。例えば、例えば、太陽などの光源が、一方の側から第１の画像データを照明するが、光源は、反対側などの異なる側から第２の画像データを照明する場合、第１の画像データの第１の部分内の照明は、画像処理技術を使用して調整される。照明に対する修正は、第１の画像データの第１の部分と第２の画像データとを組み合わせる前又は後に行うことができる。いくつかの実施形態では、照明は、第１の画像データの第１の部分における輝度又は他の画像特性が、第２の画像データ内の輝度又は対応する特性に一致するか、又はは別の方法で基づくように修正される。いくつかの実施形態では、第１の画像データの照明パラメータを修正することは、第２の画像データ内で検出された光の方向に基づく。いくつかの実施形態では、第１の画像データの照明パラメータを修正することは、第２の画像データ内で検出された光の輝度に基づく。いくつかの実施形態では、第１の画像データの照明パラメータを修正することは、第１の画像データの深度画像データに基づく。第１の画像データの照明パラメータを修正することにより、２つの別個の画像から作成された画像のように見えず、単一のキャプチャの結果である画像のように見える合成画像の作成を可能にする。これにより、デバイスの操作性を高め、ユーザ－デバイスインタフェースを更に効率的にし（例えば、デバイスを操作／対話するときに最小限の対話で意図した結果を達成できるようにユーザを支援し、ユーザの誤りを削減することによって）、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力消費を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスは、合成画像（例えば、２６２６）を電子デバイスのディスプレイ（例えば、２６Ｋ）上に表示させる（例えば、第１の画像データ内のキャプチャされたユーザを第２の画像データ内のキャプチャされたシーンと共に表示する）（２７１２）。いくつかの実施形態では、第１の画像データをキャプチャすること、及び第２の画像データをキャプチャすることは、単一のユーザ入力（例えば、２６１８）に応答して発生する（例えば、両方の画像データは、同時に、又は実質的に同時にキャプチャされる）（２７１８）。いくつかの実施形態では、単一のユーザ入力は、第１又は第２のカメラ（例えば、図２６Ｇ）からの画像データに基づいてライブプレビュー（例えば、第１の画像データ、第２の画像データ、又は第１の画像データ及び第２の画像データの一部分のコンポジットのライブプレビュー）を表示している間に受信される。いくつかの実施形態では、合成画像は、第１の画像データの第２の部分に基づくものではなく、第２の部分は、第１の部分に重ならない。
いくつかの実施形態では、合成画像の第１の部分は、第２の画像データよりも第１の画像データからのデータの割合をより多く含む（２７１６）。いくつかの実施形態では、合成画像の一部分は、第１の画像データからのデータを使用して、第２の画像データからのデータの割合（又は割合なし）をより少なくして主に構築又は完全に構築される。例えば、第１の画像データは、前面カメラからキャプチャされ、電子デバイスのユーザを含む画像データをキャプチャする。第２の画像データは、背面カメラからキャプチャされ、ユーザが表示したいシーンの画像データをキャプチャする。第１の画像データの深度データを使用して、前面カメラからの距離の範囲に対応する画像データを含むように第１の画像データをクロップする。クロップされた第１の画像データは、次いで、例えば、クロップされた第１の画像データを第２の画像データ上に重ね、任意選択的に、１つ以上のブレンド機能を使用することによって、第２の画像データと組み合わされる。いくつかの実施形態では、第１の画像データは、電子デバイスのユーザの画像データを含む（例えば、図２６Ｈ）（２７１４）。第２のカメラからの別の画像キャプチャとは対照的に、第１のカメラによる１つの画像キャプチャからのデータを主に使用することにより、第１のカメラが第２のカメラよりも良好（例えば、より高感度、より高品質、より高い解像度）である高品質／解像度の画像を可能にする。加えて、２つの別個のカメラを使用することにより、異なる視野を有する画像で、単一のカメラがキャプチャできない画像データをキャプチャすることを可能にする。これにより、他の方法でキャプチャできなかった描写シーンのより良いコンポジット画像を提供することにより、デバイスの操作性を高める。
いくつかの実施形態では、第２の画像データと第１の画像データの第１の部分とを組み合わせることは、第１のブレンド設定に基づく。いくつかの実施形態では、電子デバイスは、第１のブレンド設定とは異なる第２のブレンド設定に基づいて、第２の画像データと第１の画像データの第２の部分を組み合わせる。いくつかの実施形態では、第１の画像データの第１の部分は、第１の重み付け係数又は第１のブレンドモードで第２の画像データと組み合わされる。第１の画像データの第２の部分は、第１の重み付け係数とは異なる（例えば、より小さい）第２の重み付け係数、又は異なる第２のブレンドモードに基づいて、第２の画像データと組み合わされる。シーンの異なる部分について異なるブレンド設定を使用すると同時に、シーンについて第１及び第２のキャプチャされた画像データを組み合わせることにより、シーンの異なる部分について特定のブレンド設定を選択することによって、より現実的なコンポジット画像を可能にする。これにより、より良いコンポジット画像を提供することにより、デバイスの操作性を高める。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。これらの実施形態は、本技術の原理、及びその実際の適用を最もよく説明するために、選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。
上述のように、本技術の一態様は、ユーザが求める内容又はユーザが関心を持つ可能性のある任意の他の内容に関するユーザへの配信を改善するために、種々のソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの例において、この収集されたデータは、特定の人物を一意に特定する個人情報データ、又は特定の人物と通信する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを想到している。そのような個人情報データとしては、人口統計データ、位置に基づくデータ、電話番号、電子メールアドレス、自宅の住所、又は任意の他の識別情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、よりユーザの興味を引く対象のコンテンツを配信するために、個人情報データが使用されてもよい。したがって、そのような個人情報データの使用は、配信されるコンテンツの意図的な制御を可能にする。更には、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって想到される。
本開示は、そのような個人情報データの収集、分析、開示、転送、記憶、又は他の使用目的の責任を負うエンティティが、適切に規定されたプライバシーのポリシー及び／又はプライバシーの慣行に準拠すると更に想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。例えば、ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共用又は販売されるべきではない。更には、そのような収集は、ユーザに告知して同意を得た後にのみ実施するべきである。加えて、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセス権を有する他者が、それらのプライバシーのポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じるであろう。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、広告配信サービスの場合において、本技術は、ユーザが、サービスの登録の間、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能とするように構成することができる。別の実施例では、ユーザは、対象のコンテンツ配信サービスに対して位置情報を提供しないことを選択してもよい。更に別の実施例では、ユーザは、正確な位置情報を提供しないが位置のゾーン情報の転送は許可することを選択してもよい。
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものではあるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することもまた可能であることを想到している。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、ユーザに関連付けられたデバイスによって要求されるコンテンツなどの非個人情報データ若しくは必要最小限の個人情報、コンテンツ配信サービスが入手可能な他の非個人情報、又は公的に入手可能な情報に基づき嗜好を推測することによって、コンテンツを選択し、ユーザへ配信することができる。

Claims (113)

  1. 方法であって、
    ディスプレイとカメラとを有する電子デバイスにおいて、
    前記ディスプレイ上にコンテンツの表現を含むユーザインタフェースを表示することと、
    前記コンテンツの表現を含む前記ユーザインタフェースを表示している間に、前記コンテンツに対して既定のアクションを実行する要求に対応する第１ユーザ入力を前記電子デバイス上で受信することと、
    前記第１ユーザ入力を受信したことに応答して、
    前記カメラによってキャプチャされた、キャプチャされた画像データに基づいて、認可基準のセットであって、前記認可基準は、前記キャプチャされた画像データが、前記カメラの前に認可されたユーザの顔が存在し、かつ前記ユーザ入力が受信された時点で前記ディスプレイを見ていたことを示すときに満たされる基準を含む、認可基準のセットが満たされたという判定に従って、前記既定のアクションを実行することと、
    前記キャプチャされた画像データに基づいて、前記認可基準のセットが満たされていないという判定に従って、前記既定のアクションの実行を取り止めることと、を含む、方法。
  2. 更に
    前記第１ユーザ入力が受信された時間に対応する時点で、前記カメラにより前記キャプチャされた画像データをキャプチャすることを含む、請求項１に記載の方法。
  3. 前記既定のアクションは、破壊的アクションである、請求項１又は２に記載の方法。
  4. 前記既定のアクションを実行する前記要求は、前記コンテンツを消去又は削除する要求である、請求項１又は２に記載の方法。
  5. 前記既定のアクションは、前記コンテンツに関連付けられた前記ユーザインタフェースの特定のビューにナビゲートすることを含む、請求項１又は２に記載の方法。
  6. 更に、
    前記キャプチャされた画像データに基づいて、前記認可基準のセットが満たされていないという前記判定に従って、前記電子デバイスをロック状態に切り替えることを含む、請求項１～５のいずれか一項に記載の方法。
  7. 更に、前記第１ユーザ入力を受信したことに応答して、
    前記キャプチャされた画像データに基づいて、前記認可基準のセットが満たされていないという前記判定に従って、前記ユーザに前記カメラを見ることによる認証を促すことを含む、請求項１～６のいずれか一項に記載の方法。
  8. 更に、
    前記キャプチャされた画像データに基づいて、前記認可基準のセットが満たされていないという前記判定に従って、前記既定のアクションの確認インタフェースを表示することを含む、請求項１～７のいずれか一項に記載の方法。
  9. 前記ユーザインタフェースは、複数のデータオブジェクトを表すグラフィック要素のリストを含み、前記コンテンツの前記表現は、前記グラフィック要素のうちの１つであり、前記コンテンツは、前記複数のデータオブジェクトの関連付けられたデータオブジェクトである、請求項１～８のいずれか一項に記載の方法。
  10. 更に、
    前記コンテンツの前記表現上に強度閾値を超える第２ユーザ入力を受信することを含み、
    前記第２入力を受信した後、前記コンテンツへのアクセスを制限することは、前記第２ユーザ入力に応答して前記コンテンツにアクセスするために、キャプチャされた画像データが、前記カメラの前に認可されたユーザの前記顔が存在し、かつ前記ディスプレイを見ていることを示すことを要求することを含む、請求項１～９のいずれか一項に記載の方法。
  11. 更に、
    前記第２入力を受信したことに応答して、アフォーダンスを表示することを含み、前記電子デバイス上に前記指標を記憶することは、前記アフォーダンスの選択に応答して発生する、請求項１０に記載の方法。
  12. 更に、
    前記第１ユーザ入力を受信したことに応答して、前記コンテンツに対して前記指標が存在するかどうかを判定することを含む、請求項１０又は１１に記載の方法。
  13. 前記認可基準のセットは、前記キャプチャされた画像データ内の顔が、前記デバイスに以前に登録された１つ以上の認可された顔に対応するという基準を更に含む、請求項１～１２のいずれか一項に記載の方法。
  14. ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項１～１３のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  15. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備え、前記１つ以上のプログラムが、請求項１～１３のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
  16. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    請求項１～１３のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。
  17. ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
    前記ディスプレイ上にコンテンツの表現を含むユーザインタフェースを表示することと、
    前記コンテンツの表現を含む前記ユーザインタフェースを表示している間に、前記コンテンツに対して既定のアクションを実行する要求に対応する第１ユーザ入力を前記電子デバイス上で受信することと、
    前記第１ユーザ入力を受信したことに応答して、
    前記カメラによってキャプチャされた、キャプチャされた画像データに基づいて、認可基準のセットであって、前記認可基準は、前記キャプチャされた画像データが、前記カメラの前に認可されたユーザの顔が存在し、かつ前記ユーザ入力が受信された時点で前記ディスプレイを見ていたことを示すときに満たされる基準を含む、認可基準のセットが満たされたという判定に従って、前記既定のアクションを実行することと、
    前記キャプチャされた画像データに基づいて、前記認可基準のセットが満たされていないという判定に従って、前記既定のアクションの実行を取り止めることと、の命令を含む、非一時的コンピュータ可読記憶媒体。
  18. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備える電子デバイスであって、前記１つ以上のプログラムが、
    前記ディスプレイ上にコンテンツの表現を含むユーザインタフェースを表示することと、
    前記コンテンツの表現を含む前記ユーザインタフェースを表示している間に、前記コンテンツに対して既定のアクションを実行する要求に対応する第１ユーザ入力を前記電子デバイス上で受信することと、
    前記第１ユーザ入力を受信したことに応答して、
    前記カメラによってキャプチャされた、キャプチャされた画像データに基づいて、認可基準のセットであって、前記認可基準は、前記キャプチャされた画像データが、前記カメラの前に認可されたユーザの顔が存在し、かつ前記ユーザ入力が受信された時点で前記ディスプレイを見ていたことを示すときに満たされる基準を含む、認可基準のセットが満たされたという判定に従って、前記既定のアクションを実行することと、
    前記キャプチャされた画像データに基づいて、前記認可基準のセットが満たされていないという判定に従って、前記既定のアクションの実行を取り止めることと、の命令を含む、電子デバイス。
  19. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    前記ディスプレイ上にコンテンツの表現を含むユーザインタフェースを表示する手段と、
    前記コンテンツの表現を含む前記ユーザインタフェースを表示している間に、前記コンテンツに対して既定のアクションを実行する要求に対応する第１ユーザ入力を前記電子デバイス上で受信する手段と、
    前記第１ユーザ入力を受信したことに応答して、
    前記カメラによってキャプチャされた、キャプチャされた画像データに基づいて、認可基準のセットであって、前記認可基準は、前記キャプチャされた画像データが、前記カメラの前に認可されたユーザの前記顔が存在し、かつ前記ユーザ入力が受信された時点で前記ディスプレイを見ていたことを示すときに満たされる基準を含む、認可基準のセットが満たされたという判定に従って、前記既定のアクションを実行する手段と、
    前記キャプチャされた画像データに基づいて、前記認可基準のセットが満たされていないという判定に従って、前記既定のアクションの実行を取り止める手段と、備える、電子デバイス。
  20. 方法であって、
    ディスプレイとカメラとを有する電子デバイスにおいて、
    前記ディスプレイ上に機能を表すグラフィカルユーザインタフェース要素を表示することと、
    前記ディスプレイ上に前記グラフィカルユーザインタフェース要素を表示している間に、前記機能を実行する要求に対応する第１ユーザ入力を受信することと、
    前記第１ユーザ入力を受信したことに応答して、
    前記機能がセキュリティ強化の対象であり、かつ認可基準のセットであって、前記認可基準は、キャプチャされた画像データが、前記ユーザ入力が受信された時点で前記カメラの前に認可されたユーザの前記顔が存在したことを示すことを含む、認可基準のセットが満たされたという判定に従って、前記機能を実行することと、
    前記機能がセキュリティ強化の対象であり、かつ認可基準のセットが満たされていないという判定に従って、前記機能の実行を取り止めることと、
    前記機能がセキュリティ強化の対象でないという判定に従って、前記認可基準のセットが満たされているか否かにかかわらず、前記機能を実行することと、を含む、方法。
  21. 更に、
    前記第１ユーザ入力が受信された時間に対応する時点で、前記カメラにより前記キャプチャされた画像データをキャプチャすることを含む、請求項２０に記載の方法。
  22. 前記認可基準のセットは、前記キャプチャされた画像データが、前記認可されたユーザが前記第１ユーザ入力が受信された時点で前記ディスプレイを見ていることを示す基準を更に含む、請求項２０又は２１に記載の方法。
  23. 前記グラフィカルユーザインタフェース要素は、アプリケーションのグラフィック表現であり、前記機能は、前記アプリケーションを開始するか、又はフォアグラウンドにない前記アプリケーションをフォアグラウンドにすることである、請求項２０～２２のいずれか一項に記載の方法。
  24. 前記グラフィカルユーザインタフェース要素は、フォルダのグラフィック表現であり、前記機能は、前記ユーザインタフェース要素に対応する前記フォルダの前記コンテンツを表示することである、請求項２０～２３のいずれか一項に記載の方法。
  25. 更に、
    前記キャプチャされた画像データに基づいて、前記認可基準のセットが満たされていないという前記判定に従って、前記電子デバイスをロック状態に切り替えることを含む、請求項２０～２４のいずれか一項に記載の方法。
  26. 更に、
    前記キャプチャされた画像データに基づいて、前記認可基準のセットが満たされていないという前記判定に従って、前記カメラ視野内に前記ユーザの顔を位置付けることによって前記ユーザに認証を促すことを含む、請求項２０～２５のいずれか一項に記載の方法。
  27. 更に、
    前記グラフィカルユーザインタフェース要素上に強度閾値を超える第２ユーザ入力を受信することと、
    前記第２入力を受信した後、前記グラフィカルユーザインタフェース要素に関連付けられた機能がセキュリティ強化の対象であるという指標を前記電子デバイス上に記憶することと、を含む、請求項２０～２６のいずれか一項に記載の方法。
  28. 更に、
    前記第２入力を受信したことに応答して、アフォーダンスを表示することを含み、前記電子デバイス上に前記指標を記憶することは、前記アフォーダンスの選択に応答して発生する、請求項２７に記載の方法。
  29. ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項２０～２８のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  30. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備え、前記１つ以上のプログラムが、請求項２０～２８のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
  31. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    請求項２０～２８のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。
  32. ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
    前記ディスプレイ上に機能を表すグラフィカルユーザインタフェース要素を表示することと、
    前記ディスプレイ上に前記グラフィカルユーザインタフェース要素を表示している間に、前記機能を実行する要求に対応する第１ユーザ入力を受信することと、
    前記第１ユーザ入力を受信したことに応答して、
    前記機能がセキュリティ強化の対象であり、かつ認可基準のセットであって、前記認可基準は、キャプチャされた画像データが、前記ユーザ入力が受信された時点で前記カメラの前に認可されたユーザの前記顔が存在したことを示すことを含む、認可基準のセットが満たされたという判定に従って、前記機能を実行することと、
    前記機能がセキュリティ強化の対象であり、かつ認可基準のセットが満たされていないという判定に従って、前記機能の実行を取り止めることと、
    前記機能がセキュリティ強化の対象でないという判定に従って、前記認可基準のセットが満たされているか否かにかかわらず、前記機能を実行することと、の命令を含む、非一時的コンピュータ可読記憶媒体。
  33. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備える電子デバイスであって、前記１つ以上のプログラムが、
    前記ディスプレイ上に機能を表すグラフィカルユーザインタフェース要素を表示することと、
    前記ディスプレイ上に前記グラフィカルユーザインタフェース要素を表示している間に、前記機能を実行する要求に対応する第１ユーザ入力を受信することと、
    前記第１ユーザ入力を受信したことに応答して、
    前記機能がセキュリティ強化の対象であり、かつ認可基準のセットであって、前記認可基準は、キャプチャされた画像データが、前記ユーザ入力が受信された時点で前記カメラの前に認可されたユーザの前記顔が存在したことを示すことを含む、認可基準のセットが満たされたという判定に従って、前記機能を実行することと、
    前記機能がセキュリティ強化の対象であり、かつ認可基準のセットが満たされていないという判定に従って、前記機能の実行を取り止めることと、
    前記機能がセキュリティ強化の対象でないという判定に従って、前記認可基準のセットが満たされているか否かにかかわらず、前記機能を実行することと、の命令を含む、電子デバイス。
  34. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    前記ディスプレイ上に機能を表すグラフィカルユーザインタフェース要素を表示する手段と、
    前記ディスプレイ上に前記グラフィカルユーザインタフェース要素を表示している間に、前記機能を実行する要求に対応する第１ユーザ入力を受信する手段と、
    前記第１ユーザ入力を受信したことに応答して、
    前記機能がセキュリティ強化の対象であり、かつ認可基準のセットであって、前記認可基準は、キャプチャされた画像データが、前記ユーザ入力が受信された時点で前記カメラの前に認可されたユーザの前記顔が存在したことを示すことを含む、認可基準のセットが満たされたという判定に従って、前記機能を実行する手段と、
    前記機能がセキュリティ強化の対象であり、かつ認可基準のセットが満たされていないという判定に従って、前記機能の実行を取り止める手段と、
    前記機能がセキュリティ強化の対象でないという判定に従って、前記認可基準のセットが満たされているか否かにかかわらず、前記機能を実行する手段と、を備える、電子デバイス。
  35. 方法であって、
    ディスプレイと１つ以上の画像センサとを有する電子デバイスにおいて、
    前記デバイスにおいて発生したイベントに対応するアラート条件の前記発生を検出することと、
    前記アラート条件の前記発生を検出したことに応答して、
    キャプチャされた画像データに基づいて、前記キャプチャされた画像データが、前記カメラの前にユーザの顔が存在することを示すことを含む、アラート基準のセットが満たされたという判定に従って、第１の方法で前記アラート条件に応答することと、
    前記キャプチャされた画像データに基づいて、前記アラート基準のセットが満たされていないという判定に従って、前記第１の方法とは異なる第２の方法で前記アラート条件に応答することと、を含む、方法。
  36. 更に、
    前記アラート条件の前記発生を検出した後に、前記キャプチャされた画像データを前記１つ以上の画像センサでキャプチャすることを含む、請求項３５に記載の方法。
  37. 前記アラート基準のセットは、前記キャプチャされた画像データが、認可されたユーザが前記デバイスを使用していることを示す基準を更に含む、請求項３５又は３６に記載の方法。
  38. 前記アラート基準のセットは、前記キャプチャされた画像データが、前記ユーザが前記電子デバイスの前記ディスプレイを見ていることを示す基準を更に含む、請求項３５～３７のいずれか一項に記載の方法。
  39. 前記第１の方法で前記アラート条件に応答することは、前記アラート条件に対応する通知を表示することを含み、前記第２の方法で前記アラート条件に応答することは、前記アラート基準のセットが満たされるまで、前記アラート条件に対応する通知の表示を遅延させることを含む、請求項３５～３８のいずれか一項に記載の方法。
  40. 前記アラート条件は、電子メール又はテキストメッセージの受信であり、前記第１の方法で前記アラート条件に応答することは、前記アラート条件に対応する通知を表示することと、前記電子メール又はテキストメッセージを既読とマークすることとを含み、前記第２の方法で前記アラート条件を処理することは、前記アラート条件に対応する通知を表示することと、前記電子メール又はテキストメッセージを既読とマークするのを取り止めることとを含む、請求項３５～３９のいずれか一項に記載の方法。
  41. 前記第１の方法で前記アラート条件に応答することは、前記電子メール又はテキストメッセージが既読とマークされたというメッセージを前記電子メール又はテキストメッセージの送信者に送信することを含む、請求項４０に記載の方法。
  42. 更に、前記アラート基準のセットは、前記キャプチャされた画像データが、前記ユーザが少なくとも閾値時間量にわたって前記電子デバイスの前記ディスプレイを見ていることを示す基準を含む、請求項４０又は４１に記載の方法。
  43. 前記第１の方法で前記アラート条件に応答することは、
    前記アラート条件が検出されたことを示す通知を生成することと、
    前記ユーザが前記アラート条件を通知されたことを示す通知を外部電子デバイスに送信することと、を含み、
    前記第２の方法で前記アラート条件に応答することは、
    前記ユーザが前記アラート条件を通知されたことを示す通知を外部デバイスに送信せずに、前記アラート条件が検出されたことを示す通知を生成することを含む、請求項３５～４２のいずれか一項に記載の方法。
  44. 前記第２の方法で前記アラート条件に応答することは、オーディオ通知を提供することを含み、前記方法は、
    前記オーディオ通知を提供する処理の後、後続のキャプチャされた画像データに基づいて、前記ユーザが前記電子デバイスの前記ディスプレイを見ているという判定に従って、前記オーディオ通知の音量を低減することを更に含む、請求項３５～４３のいずれか一項に記載の方法。
  45. 前記第２の方法で前記アラート条件に応答することは、触覚通知を提供することを含み、前記方法は、
    前記触覚通知を提供した後、後続のキャプチャされた画像データに基づいて、前記ユーザが前記電子デバイスの前記ディスプレイを見ているという判定に従って、前記触覚通知の大きさを低減することを更に含む、請求項３５～４４のいずれか一項に記載の方法。
  46. 前記第２の方法で前記アラート条件に応答することは、
    前記アラート条件が検出されたことを示す第１の通知であって、第１の通知は第１の情報のセットを含む、第１の通知を生成することと、
    前記第１の通知を生成した後、前記カメラによってキャプチャされた後続のキャプチャされた画像データに基づいて、前記ユーザが前記電子デバイスの前記ディスプレイを見ているという判定に従って、前記アラート条件に関連付けられた第２の通知であって、第２の通知は前記第１の情報のセットに存在しない第２の情報のセットを含む、第２の通知を生成することと、を含む、請求項３５～４５のいずれか一項に記載の方法。
  47. 前記アラート条件は、満たされている予め設定されたアラーム条件を含み、前記第２の方法で前記アラート条件に応答することは、通知を出力することを含み、前記方法は、
    前記通知を提供した後、後続のキャプチャされた画像データに基づいて、前記ユーザが前記電子デバイスの前記ディスプレイを見ているという判定に従って、前記通知の前記大きさを低減することを更に含む、請求項３５～４６のいずれか一項に記載の方法。
  48. 前記イベントは、トリガされている予め設定されたアラームであり、前記方法は、
    前記ユーザが前記電子デバイスの前記ディスプレイを見ているという判定に応答して、前記アラームをスヌーズすることを更に含む、請求項３５～４７のいずれか一項に記載の方法。
  49. 更に、
    前記第２の方法で前記アラート条件を処理した後、かつ前記ユーザが前記電子デバイスの前記ディスプレイを見ているという判定に応答して、前記第１の方法で前記アラート条件を処理することを含む、請求項３５～４８のいずれか一項に記載の方法。
  50. 前記グラフィカルユーザインタフェースは、ロック画面インタフェースである、請求項３５～４９のいずれか一項に記載の方法。
  51. ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項３５～５０のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  52. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備え、前記１つ以上のプログラムが、請求項３５～５０のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
  53. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    請求項３５～５０のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。
  54. ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
    前記デバイスにおいて発生したイベントに対応するアラート条件の前記発生を検出することと、
    前記アラート条件の前記発生を検出したことに応答して、
    キャプチャされた画像データに基づいて、前記キャプチャされた画像データが、前記カメラの前にユーザの顔が存在することを示すことを含む、アラート基準のセットが満たされたという判定に従って、第１の方法で前記アラート条件に応答することと、
    前記キャプチャされた画像データに基づいて、前記アラート基準のセットが満たされていないという判定に従って、前記第１の方法とは異なる第２の方法で前記アラート条件に応答することと、の命令を含む、非一時的コンピュータ可読記憶媒体。
  55. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備える電子デバイスであって、前記１つ以上のプログラムが、
    前記デバイスにおいて発生したイベントに対応するアラート条件の前記発生を検出することと、
    前記アラート条件の前記発生を検出したことに応答して、
    キャプチャされた画像データに基づいて、前記キャプチャされた画像データが、前記カメラの前にユーザの顔が存在することを示すことを含む、アラート基準のセットが満たされたという判定に従って、第１の方法で前記アラート条件に応答することと、
    前記キャプチャされた画像データに基づいて、前記アラート基準のセットが満たされていないという判定に従って、前記第１の方法とは異なる第２の方法で前記アラート条件に応答することと、の命令を含む、電子デバイス。
  56. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    前記デバイスにおいて発生したイベントに対応するアラート条件の前記発生を検出する手段と、
    前記アラート条件の前記発生を検出したことに応答して、
    キャプチャされた画像データに基づいて、前記キャプチャされた画像データが、前記カメラの前にユーザの顔が存在することを示すことを含む、アラート基準のセットが満たされたという判定に従って、第１の方法で前記アラート条件に応答する手段と、
    前記キャプチャされた画像データに基づいて、前記アラート基準のセットが満たされていないという判定に従って、前記第１の方法とは異なる第２の方法で前記アラート条件に応答する手段と、を備える、電子デバイス。
  57. 方法であって、
    ディスプレイと１つ以上の画像センサとマイクロフォンとを有する電子デバイスにおいて、
    第１のＧＵＩ要素及び第２のＧＵＩ要素を含む複数のユーザインタフェース要素を含むユーザインタフェースを表示することと、
    前記マイクロフォンを介して機能を実行する要求に対応する口頭ユーザ入力を受信することであって、前記入力は、前記第１のユーザインタフェース要素又は前記第２のユーザインタフェース要素に対して実行され得るアクションを実行する要求を含み、前記マイクロフォンを介して受信された前記ユーザ入力は、前記デバイスが、前記第１のユーザインタフェース要素又は前記第２のＧＵＩ要素に対して前記アクションを実行するかどうかを判定することを可能にする情報を含まない、受信することと、
    前記マイクロフォンを介して前記口頭ユーザ入力を受信したことに応答して、
    前記口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データが、前記ユーザが前記第１のユーザインタフェース要素を見ていることを示すとの判定に従って、前記第１のユーザインタフェース要素に関連付けられたデータを用いて前記要求された機能を実行することと、
    前記口頭ユーザ入力が受信されたときに対応する前記時点でキャプチャされた画像データが、前記ユーザが前記第２のユーザインタフェース要素を見ていることを示すとの判定に従って、前記第２のユーザインタフェース要素に関連付けられたデータを用いて前記要求された機能を実行することと、を含む、方法。
  58. 更に、
    前記１つ以上の画像センサからの前記画像データをキャプチャすることを含む、請求項５７に記載の方法。
  59. 更に、
    前記口頭ユーザ入力が受信されたときに対応する前記時点でキャプチャされた画像データが、前記ユーザが前記電子デバイスを見ていないことを示すとの判定に従って、前記ユーザに明確化を提供するように促すことを含む、請求項５７又は５８に記載の方法。
  60. 前記口頭ユーザ入力は、前記複数のユーザインタフェース要素のうちのユーザインタフェース要素に対する曖昧な参照を含む、請求項５７に記載の方法。
  61. 前記要求は、実行する前記機能の識別を含む、請求項５７に記載の方法。
  62. 前記第１のユーザインタフェース要素は第１のユーザに対応し、前記第２のユーザインタフェース要素は第２のユーザに対応する、請求項５７に記載の方法。
  63. 前記第１のユーザインタフェース要素に関連付けられた前記データは第１の連絡先情報に対応し、前記第２のユーザインタフェース要素に関連付けられた前記データは第２の連絡先情報に対応する、請求項５７に記載の方法。
  64. 前記機能は通信機能である、請求項５７～６３のいずれか一項に記載の方法。
  65. 前記第１のユーザインタフェース要素は第１の写真に対応し、前記第２のユーザインタフェース要素は第２の写真に対応する、請求項５７～６３のいずれか一項に記載の方法。
  66. 前記機能はデータの削除機能である、請求項５７～６５のいずれか一項に記載の方法。
  67. 更に、
    前記マイクロフォンを介して機能を実行する追加の要求に対応する追加の口頭ユーザ入力を受信することであって、前記入力は、第３のインタフェース要素に対してアクションを実行する要求を含み、前記マイクロフォンを介して受信された前記追加のユーザ入力は、前記電子デバイスが、前記第３のユーザインタフェース要素に対する前記アクションを判定することを可能にする情報を含む、受信することと、
    前記追加の口頭ユーザ入力が受信されたときに対応する前記時点でキャプチャされた画像データの前記コンテンツに関係なく、前記追加の要求された機能を実行することと、を含む、請求項５７～６６に記載の方法。
  68. ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項５７～６７のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  69. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備え、前記１つ以上のプログラムは、請求項５７～６７のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
  70. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    請求項５７～６７のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。
  71. ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
    第１のＧＵＩ要素及び第２のＧＵＩ要素を含む複数のユーザインタフェース要素を含むユーザインタフェースを表示することと、
    前記マイクロフォンを介して機能を実行する要求に対応する口頭ユーザ入力を受信することであって、前記入力は、前記第１のユーザインタフェース要素又は前記第２のユーザインタフェース要素に対して実行され得るアクションを実行する要求を含み、前記マイクロフォンを介して受信された前記ユーザ入力は、前記デバイスが、前記第１のユーザインタフェース要素又は前記第２のＧＵＩ要素に対して前記アクションを実行するかどうかを判定することを可能にする情報を含まない、受信することと、
    前記マイクロフォンを介して前記口頭ユーザ入力を受信したことに応答して、
    前記口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データが、前記ユーザが前記第１のユーザインタフェース要素を見ていることを示すとの判定に従って、前記第１のユーザインタフェース要素に関連付けられたデータを用いて前記要求された機能を実行することと、
    前記口頭ユーザ入力が受信されたときに対応する前記時点でキャプチャされた画像データが、前記ユーザが前記第２のユーザインタフェース要素を見ていることを示すとの判定に従って、前記第２のユーザインタフェース要素に関連付けられたデータを用いて前記要求された機能を実行することと、の命令を含む、非一時的コンピュータ可読記憶媒体。
  72. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備える電子デバイスであって、前記１つ以上のプログラムが、
    第１のＧＵＩ要素及び第２のＧＵＩ要素を含む複数のユーザインタフェース要素を含むユーザインタフェースを表示することと、
    前記マイクロフォンを介して機能を実行する要求に対応する口頭ユーザ入力を受信することであって、前記入力は、前記第１のユーザインタフェース要素又は前記第２のユーザインタフェース要素に対して実行され得るアクションを実行する要求を含み、前記マイクロフォンを介して受信された前記ユーザ入力は、前記デバイスが、前記第１のユーザインタフェース要素又は前記第２のＧＵＩ要素に対して前記アクションを実行するかどうかを判定することを可能にする情報を含まない、受信することと、
    前記マイクロフォンを介して前記口頭ユーザ入力を受信したことに応答して、
    前記口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データが、前記ユーザが前記第１のユーザインタフェース要素を見ていることを示すとの判定に従って、前記第１のユーザインタフェース要素に関連付けられたデータを用いて前記要求された機能を実行することと、
    前記口頭ユーザ入力が受信されたときに対応する前記時点でキャプチャされた画像データが、前記ユーザが前記第２のユーザインタフェース要素を見ていることを示すとの判定に従って、前記第２のユーザインタフェース要素に関連付けられたデータを用いて前記要求された機能を実行することと、の命令を含む、電子デバイス。
  73. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    第１のＧＵＩ要素及び第２のＧＵＩ要素を含む複数のユーザインタフェース要素を含むユーザインタフェースを表示する手段と、
    前記マイクロフォンを介して機能を実行する要求に対応する口頭ユーザ入力を受信する手段であって、前記入力は、前記第１のユーザインタフェース要素又は前記第２のユーザインタフェース要素に対して実行され得るアクションを実行する要求を含み、前記マイクロフォンを介して受信された前記ユーザ入力は、前記デバイスが、前記第１のユーザインタフェース要素又は前記第２のＧＵＩ要素に対して前記アクションを実行するかどうかを判定することを可能にする情報を含まない、受信する手段と、
    前記マイクロフォンを介して前記口頭ユーザ入力を受信したことに応答して、
    前記口頭ユーザ入力が受信されたときに対応する時点でキャプチャされた画像データが、前記ユーザが前記第１のユーザインタフェース要素を見ていることを示すとの判定に従って、前記第１のユーザインタフェース要素に関連付けられたデータを用いて前記要求された機能を実行する手段と、
    前記口頭ユーザ入力が受信されたときに対応する前記時点でキャプチャされた画像データが、前記ユーザが前記第２のユーザインタフェース要素を見ていることを示すとの判定に従って、前記第２のユーザインタフェース要素に関連付けられたデータを用いて前記要求された機能を実行する手段と、を含む、電子デバイス。
  74. 方法であって、
    ディスプレイと１つ以上の画像センサを備えるカメラとを有する電子デバイスにおいて、
    シーンが前記カメラの視野内にある間に、前記カメラで画像データをキャプチャする要求を受信することと、
    前記画像データをキャプチャする前記要求に応答して、前記シーンに対応する画像データをキャプチャすることであって、前記画像データをキャプチャすることは、
    前記画像センサから第１の距離である第１の深度領域に対応すると判定された前記シーンの第１の部分の外観に基づいて選択された第１の画像キャプチャ設定を用いて第１の画像データをキャプチャすることと、
    前記第１の画像キャプチャ設定とは異なる第２の画像キャプチャ設定を用いて第２の画像データをキャプチャすることであって、前記第２の画像キャプチャ設定は、前記カメラから第２の距離である第２の深度領域に対応すると判定された前記シーンの第２の部分の外観に基づいて選択される、第２の画像データをキャプチャすることと、を含む、キャプチャすることと、
    前記シーンに対応する前記画像データをキャプチャした後、前記ディスプレイ上に前記シーンの画像を表示することであって、前記シーンの前記画像は、前記第１の画像データと前記第２の画像データとを組み合わせることによって生成される、表示することと、を含む、方法。
  75. 更に、
    少なくとも画像データをキャプチャする前記要求が受信される時間に対応する時点でライブプレビューを表示することを含む、請求項７４に記載の方法。
  76. 画像データをキャプチャする前記要求は、シャッターボタンの選択である、請求項７４又は７５に記載の方法。
  77. 前記第１の画像データ及び前記第２の画像データはそれぞれ、前記シーンの前記第１及び第２の部分の両方に対応する画像データを含み、
    前記シーンの前記第１の部分に対応する前記シーンの前記画像の一部分は、前記第１の画像データからのデータの割合をより多く含み、
    前記シーンの前記第２の部分に対応する前記シーンの前記画像の一部分は、前記第２の画像データからのデータの割合をより多く含む、請求項７４～７６のいずれか一項に記載の方法。
  78. 更に、
    視差計算からの距離情報に基づいて、前記第１の深度領域を判定することを含む、請求項７４～７７のいずれか一項に記載の方法。
  79. 更に、
    深度センサからの距離情報に基づいて、前記第１の深度領域を判定することを含む、請求項７４～７８のいずれか一項に記載の方法。
  80. 前記第１の深度領域は、第１の距離値の範囲に対応する、請求項７４～７９のいずれか一項に記載の方法。
  81. 前記第２の深度領域は、前記第１の距離値の範囲とは異なる第２の距離値の範囲に対応する、請求項７４～８０のいずれか一項に記載の方法。
  82. 前記第１の深度領域及び前記第２の深度領域は、互いに排他的である、請求項７４～８１のいずれか一項に記載の方法。
  83. 前記第１の画像キャプチャ設定は、露出レベル、開口寸法、ＩＳＯレベル、及び焦点距離からなる群から選択される設定を含み、
    前記第２の画像キャプチャ設定は、前記第１の画像キャプチャ設定における前記対応する設定とは異なる露出、開口寸法、ＩＳＯレベル、又は焦点距離のうちの少なくとも１つの設定を含む、請求項７４～８２のいずれか一項に記載の方法。
  84. 前記第１の画像キャプチャ設定は、前記第１の画像データをキャプチャする前にキャプチャされた第３の画像データに基づく、請求項８３に記載の方法。
  85. 前記第１の画像キャプチャ設定は、前記第１の深度領域に対応する前記第３の画像データ内の画像データに基づいており、前記第２の画像キャプチャ設定は、前記第２の深度領域に対応する前記第３の画像データの領域内の画像データに基づいている、請求項８４に記載の方法。
  86. 前記第１の画像データ、前記第２の画像データ、及び前記シーンの前記画像は、同一解像度を有する、請求項７４～８５のいずれか一項に記載の方法。
  87. ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項７４～８６のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  88. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備え、前記１つ以上のプログラムは、請求項７４～８６のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
  89. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    請求項７４～８６のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。
  90. ディスプレイとカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
    シーンが前記カメラの視野内にある間に、前記カメラで画像データをキャプチャする要求を受信することと、
    前記画像データをキャプチャする前記要求に応答して、前記シーンに対応する画像データをキャプチャすることであって、前記画像データをキャプチャすることは、
    前記画像センサから第１の距離である第１の深度領域に対応すると判定された前記シーンの第１の部分の外観に基づいて選択された第１の画像キャプチャ設定を用いて第１の画像データをキャプチャすることと、
    前記第１の画像キャプチャ設定とは異なる第２の画像キャプチャ設定を用いて第２の画像データをキャプチャすることであって、前記第２の画像キャプチャ設定は、前記カメラから第２の距離である第２の深度領域に対応すると判定された前記シーンの第２の部分の外観に基づいて選択される、第２の画像データをキャプチャすることと、を含む、キャプチャすることと、
    前記シーンに対応する前記画像データをキャプチャした後、前記ディスプレイ上に前記シーンの画像を表示することであって、前記シーンの前記画像は、前記第１の画像データと前記第２の画像データとを組み合わせることによって生成される、表示することと、の命令を含む、非一時的コンピュータ可読記憶媒体。
  91. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備える電子デバイスであって、前記１つ以上のプログラムが、
    シーンが前記カメラの視野内にある間に、前記カメラで画像データをキャプチャする要求を受信することと、
    前記画像データをキャプチャする前記要求に応答して、前記シーンに対応する画像データをキャプチャすることであって、前記画像データをキャプチャすることは、
    前記画像センサから第１の距離である第１の深度領域に対応すると判定された前記シーンの第１の部分の外観に基づいて選択された第１の画像キャプチャ設定を用いて第１の画像データをキャプチャすることと、
    前記第１の画像キャプチャ設定とは異なる第２の画像キャプチャ設定を用いて第２の画像データをキャプチャすることであって、前記第２の画像キャプチャ設定は、前記カメラから第２の距離である第２の深度領域に対応すると判定された前記シーンの第２の部分の外観に基づいて選択される、第２の画像データをキャプチャすることと、を含む、キャプチャすることと、
    前記シーンに対応する前記画像データをキャプチャした後、前記ディスプレイ上に前記シーンの画像を表示することであって、前記シーンの前記画像は、前記第１の画像データと前記第２の画像データとを組み合わせることによって生成される、表示することと、の命令を含む、電子デバイス。
  92. 電子デバイスであって、
    ディスプレイと、
    カメラと、
    シーンが前記カメラの視野内にある間に、前記カメラで画像データをキャプチャする要求を受信する手段と、
    前記画像データをキャプチャする前記要求に応答して、前記シーンに対応する画像データをキャプチャする手段であって、前記画像データをキャプチャする手段は、
    前記画像センサから第１の距離である第１の深度領域に対応すると判定された前記シーンの第１の部分の外観に基づいて選択された第１の画像キャプチャ設定を用いて第１の画像データをキャプチャする手段と、
    前記第１の画像キャプチャ設定とは異なる第２の画像キャプチャ設定を用いて第２の画像データをキャプチャする手段であって、前記第２の画像キャプチャ設定は、前記カメラから第２の距離である第２の深度領域に対応すると判定された前記シーンの第２の部分の外観に基づいて選択される、第２の画像データをキャプチャする手段と、を含む、キャプチャする手段と、
    前記シーンに対応する前記画像データをキャプチャした後、前記ディスプレイ上に前記シーンの画像を表示する手段であって、前記シーンの前記画像は、前記第１の画像データと前記第２の画像データとを組み合わせることによって生成される、表示する手段と、を含む、電子デバイス。
  93. 方法であって、
    前記電子デバイスの第１の側にある第１のカメラと、前記第１の側とは反対側の前記電子デバイスの第２の側にある第２のカメラとを有する電子デバイスにおいて、
    第１のシーンが前記第１のカメラの視野内にあり、前記第１のシーンとは異なる第２のシーンが前記第２のカメラの視野内にある間に、
    前記第１のカメラを用いて前記第１のシーンの第１の画像データをキャプチャすることであって、前記第１の画像データは、深度画像データ及び可視光画像データを含み、前記深度画像データは、前記第１の画像データの第１の部分が、前記第１のカメラからの第１の距離である第１の深度領域にある前記シーンの第１の部分に対応し、前記画像データの第２の部分が、前記第１の距離とは異なる前記第１の画像センサからの第２の距離である第２の深度領域にある前記シーンの第２の部分に対応することを示す、第１の画像データをキャプチャすることと、
    前記第２のカメラからの前記第２のシーンの第２の画像データをキャプチャすることと、
    前記第１の画像データ及び前記第２の画像データをキャプチャした後、前記第２の画像データと前記第１の画像データの前記第１の部分とを組み合わせて合成画像を作成することと、を含む、方法。
  94. 前記第２の画像データと前記第１の画像データの前記第１の部分とを組み合わせることは、深度画像データに基づいて前記第１の画像データをクロッピングすることを含む、請求項９３に記載の方法。
  95. 前記画像データをクロッピングすることは、前記第１の深度領域に基づいている、請求項９４に記載の方法。
  96. 前記合成画像の第１の部分は、前記第２の画像データよりも前記第１の画像データからのデータの割合をより多く含む、請求項９３に記載の方法。
  97. 前記第１の画像データは、前記電子デバイスのユーザの画像データを含む、請求項９３～９６のいずれか一項に記載の方法。
  98. 更に、
    前記合成画像を作成する前に、前記第１の画像データの照明パラメータを修正することを含む、請求項９３～９７のいずれか一項に記載の方法。
  99. 前記第１の画像データの前記照明パラメータを修正することは、前記第２の画像データ内で検出された光の方向に基づく、請求項９８に記載の方法。
  100. 前記第１の画像データの前記照明パラメータを修正することは、前記第２の画像データ内で検出された光の輝度に基づく、請求項９８又は９９に記載の方法。
  101. 前記第１の画像データの前記照明パラメータを修正することは、前記第１の画像データの深度画像データに基づく、請求項９８又は９９に記載の方法。
  102. 更に、
    前記合成画像を前記電子デバイスのディスプレイ上に表示することを含む、請求項９３～１０１のいずれか一項に記載の方法。
  103. 前記第１の画像データをキャプチャすること、及び前記第２の画像データをキャプチャすることは、単一のユーザ入力に応答して発生する、請求項９３～１０２のいずれか一項に記載の方法。
  104. 前記単一のユーザ入力は、前記第１の又は第２のカメラからの画像データに基づいてライブプレビューを表示している間に受信される、請求項１０３に記載の方法。
  105. 前記電子デバイスは、前記電子デバイスの前記第１の側にディスプレイを含む、請求項９３～１０４のいずれか一項に記載の方法。
  106. 前記合成画像は、前記第１の画像データの前記第２の部分に基づくものではなく、前記第２の部分は、前記第１の部分に重ならない、請求項９３～１０５のいずれか一項に記載の方法。
  107. 前記第２の画像データと前記第１の画像データの前記第１の部分とを組み合わせることは、第１のブレンド設定に基き、前記方法は、
    前記第１のブレンド設定とは異なる第２のブレンド設定に基づいて、前記第２の画像データと前記第１の画像データの第２の部分を組み合わせることを更に含む、請求項９３～１０６のいずれか一項に記載の方法。
  108. ディスプレイと、第１のカメラと、第２のカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項９３～１０７のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  109. 電子デバイスであって、
    ディスプレイと、
    第１のカメラと、
    第２のカメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備え、前記１つ以上のプログラムは、請求項９３～１０７のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。
  110. 電子デバイスであって、
    ディスプレイと、
    第１のカメラと、
    第２のカメラと、
    請求項９３～１０７のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。
  111. ディスプレイと、第１のカメラと、第２のカメラとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
    第１のシーンが前記第１のカメラの視野内にあり、前記第１のシーンとは異なる第２のシーンが前記第２のカメラの視野内にある間に、
    前記第１のカメラを用いて前記第１のシーンの第１の画像データをキャプチャすることであって、前記第１の画像データは、深度画像データ及び可視光画像データを含み、前記深度画像データは、前記第１の画像データの第１の部分が、前記第１のカメラからの第１の距離である第１の深度領域にある前記シーンの第１の部分に対応し、前記画像データの第２の部分が、前記第１の距離とは異なる前記第１の画像センサからの第２の距離である第２の深度領域にある前記シーンの第２の部分に対応することを示す、第１の画像データをキャプチャすることと、
    前記第２のカメラからの前記第２のシーンの第２の画像データをキャプチャすることと、
    前記第１の画像データ及び前記第２の画像データをキャプチャした後、前記第２の画像データと前記第１の画像データの前記第１の部分とを組み合わせて合成画像を作成することと、の命令を含む、非一時的コンピュータ可読記憶媒体。
  112. 電子デバイスであって、
    ディスプレイと、
    第１のカメラと、
    第２のカメラと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
    を備える電子デバイスであって、前記１つ以上のプログラムが、
    第１のシーンが前記第１のカメラの視野内にあり、前記第１のシーンとは異なる第２のシーンが前記第２のカメラの視野内にある間に、
    前記第１のカメラを用いて前記第１のシーンの第１の画像データをキャプチャすることであって、前記第１の画像データは、深度画像データ及び可視光画像データを含み、前記深度画像データは、前記第１の画像データの第１の部分が、前記第１のカメラからの第１の距離である第１の深度領域にある前記シーンの第１の部分に対応し、前記画像データの第２の部分が、前記第１の距離とは異なる前記第１の画像センサからの第２の距離である第２の深度領域にある前記シーンの第２の部分に対応することを示す、第１の画像データをキャプチャすることと、
    前記第２のカメラからの前記第２のシーンの第２の画像データをキャプチャすることと、
    前記第１の画像データ及び前記第２の画像データをキャプチャした後、前記第２の画像データと前記第１の画像データの前記第１の部分とを組み合わせて合成画像を作成することと、の命令を含む、電子デバイス。
  113. 電子デバイスであって、
    ディスプレイと、
    第１のカメラと、
    第２のカメラと、
    第１のシーンが前記第１のカメラの視野内にあり、前記第１のシーンとは異なる第２のシーンが前記第２のカメラの視野内にある間に、
    前記第１のカメラを用いて前記第１のシーンの第１の画像データをキャプチャする手段であって、前記第１の画像データは、深度画像データ及び可視光画像データを含み、前記深度画像データは、前記第１の画像データの第１の部分が、前記第１のカメラからの第１の距離である第１の深度領域にある前記シーンの第１の部分に対応し、前記画像データの第２の部分が、前記第１の距離とは異なる前記第１の画像センサからの第２の距離である第２の深度領域にある前記シーンの第２の部分に対応することを示す、第１の画像データをキャプチャする手段と、
    前記第２のカメラからの前記第２のシーンの第２の画像データをキャプチャする手段と、
    前記第１の画像データ及び前記第２の画像データをキャプチャした後、前記第２の画像データと前記第１の画像データの前記第１の部分とを組み合わせて合成画像を作成する手段と、を含む、電子デバイス。
JP2021168243A 2017-05-16 2021-10-13 拡張されたユーザ対話のための画像データを用いる、方法、電子デバイス及びプログラム Active JP7495913B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023211453A JP2024028992A (ja) 2017-05-16 2023-12-14 拡張されたユーザ対話のための画像データを用いる、方法、電子デバイス及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762507148P 2017-05-16 2017-05-16
US62/507,148 2017-05-16
JP2019563560A JP2020520031A (ja) 2017-05-16 2018-01-22 拡張されたユーザ対話のための画像データに関する米国特許商標局における特許出願
PCT/US2018/014658 WO2018212801A1 (en) 2017-05-16 2018-01-22 Image data for enhanced user interactions

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019563560A Division JP2020520031A (ja) 2017-05-16 2018-01-22 拡張されたユーザ対話のための画像データに関する米国特許商標局における特許出願

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023211453A Division JP2024028992A (ja) 2017-05-16 2023-12-14 拡張されたユーザ対話のための画像データを用いる、方法、電子デバイス及びプログラム

Publications (2)

Publication Number Publication Date
JP2022023864A true JP2022023864A (ja) 2022-02-08
JP7495913B2 JP7495913B2 (ja) 2024-06-05

Family

ID=61189519

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019563560A Pending JP2020520031A (ja) 2017-05-16 2018-01-22 拡張されたユーザ対話のための画像データに関する米国特許商標局における特許出願
JP2021168243A Active JP7495913B2 (ja) 2017-05-16 2021-10-13 拡張されたユーザ対話のための画像データを用いる、方法、電子デバイス及びプログラム
JP2023211453A Pending JP2024028992A (ja) 2017-05-16 2023-12-14 拡張されたユーザ対話のための画像データを用いる、方法、電子デバイス及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019563560A Pending JP2020520031A (ja) 2017-05-16 2018-01-22 拡張されたユーザ対話のための画像データに関する米国特許商標局における特許出願

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023211453A Pending JP2024028992A (ja) 2017-05-16 2023-12-14 拡張されたユーザ対話のための画像データを用いる、方法、電子デバイス及びプログラム

Country Status (6)

Country Link
EP (2) EP3427132B1 (ja)
JP (3) JP2020520031A (ja)
KR (3) KR20220025212A (ja)
CN (1) CN109416591A (ja)
AU (3) AU2018270420B2 (ja)
WO (1) WO2018212801A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102439054B1 (ko) 2017-05-16 2022-09-02 애플 인크. 이모지 레코딩 및 전송
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
CN113646731A (zh) * 2019-04-10 2021-11-12 苹果公司 用于参与共享布景的技术
CN110211363B (zh) * 2019-04-12 2020-07-10 台州市浩峰电器有限公司 智能化家用电器开关平台
CN110196956B (zh) * 2019-04-30 2021-06-11 北京三快在线科技有限公司 用户头像生成方法、装置、电子设备及存储介质
EP4002814B1 (en) * 2019-07-30 2023-09-13 Huawei Technologies Co., Ltd. Privacy protection method for electronic device, and electronic device
CN110502306B (zh) * 2019-08-26 2023-02-03 湖南中车时代通信信号有限公司 一种用于车载列车自动防护***的安全人机交互***及方法
CN111726522B (zh) * 2020-06-12 2021-06-11 上海摩勤智能技术有限公司 一种人脸识别设备控制方法及装置
US20220027020A1 (en) * 2020-07-27 2022-01-27 Digital Turbine, Inc. Dynamically replacing interactive content of a quick setting bar
CN117321541A (zh) * 2021-05-19 2023-12-29 瑞典爱立信有限公司 增强现实通信设备之间的语义信息通信
WO2022242856A1 (en) * 2021-05-19 2022-11-24 Telefonaktiebolaget Lm Ericsson (Publ) Communication devices, adapting entity and methods for augmented/mixed reality communication
CN113535050B (zh) * 2021-09-16 2021-12-07 深圳市至简科技设计有限公司 一种基于界面联动的多界面展示方法、***及设备
CN114327705B (zh) * 2021-12-10 2023-07-14 重庆长安汽车股份有限公司 车载助手虚拟形象自定义方法
US20230199041A1 (en) * 2021-12-21 2023-06-22 Nevolane Business Gmbh Remote collaboration platform

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135770A (ja) * 2007-11-30 2009-06-18 Casio Hitachi Mobile Communications Co Ltd 端末装置及びプログラム
JP2013140540A (ja) * 2012-01-06 2013-07-18 Kyocera Corp 電子機器
JP2014110009A (ja) * 2012-12-04 2014-06-12 Sharp Corp 携帯端末装置
JP2015207051A (ja) * 2014-04-17 2015-11-19 富士通株式会社 既読判断装置、既読判断方法、および既読判断プログラム
KR20160026337A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 전자장치의 통지 이벤트 처리 방법 및 그 전자 장치
US20170102916A1 (en) * 2013-04-22 2017-04-13 Amazon Technologies, Inc. Context-aware notifications

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
KR100595926B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7020718B2 (en) 2000-05-15 2006-03-28 Hewlett-Packard Development Company, L.P. System and method of aggregating discontiguous address ranges into addresses and masks using a plurality of repeating address blocks
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
JP4807167B2 (ja) * 2006-07-06 2011-11-02 オムロン株式会社 なりすまし検知装置
KR102389147B1 (ko) * 2007-09-24 2022-04-21 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) * 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
JP2010028404A (ja) * 2008-07-18 2010-02-04 Hitachi Ltd 記録再生装置
US8601573B2 (en) * 2009-09-17 2013-12-03 International Business Machines Corporation Facial recognition for document and application data access control
US8254647B1 (en) * 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
CN102841683B (zh) * 2012-07-24 2015-07-22 东莞宇龙通信科技有限公司 应用启动的方法及其通信终端
JP5964190B2 (ja) * 2012-09-27 2016-08-03 京セラ株式会社 端末装置
KR102001913B1 (ko) * 2012-09-27 2019-07-19 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
KR102080183B1 (ko) * 2013-04-18 2020-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법
US9330513B2 (en) * 2013-05-31 2016-05-03 Microsoft Technology Licensing, Llc Resource management based on biometric data
CN103294171A (zh) * 2013-06-24 2013-09-11 深圳市中兴移动通信有限公司 移动终端的省电方法和省电装置
CN103413072A (zh) * 2013-07-27 2013-11-27 金硕澳门离岸商业服务有限公司 保护应用程序的方法和装置
JP6024617B2 (ja) * 2013-08-15 2016-11-16 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
EP3118761B1 (en) * 2014-03-13 2021-05-12 LG Electronics Inc. Mobile terminal and method for controlling same
US9766702B2 (en) * 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
CN104112091A (zh) * 2014-06-26 2014-10-22 小米科技有限责任公司 文件锁定方法和装置
BR112016027700A2 (pt) * 2014-06-27 2017-08-15 Microsoft Technology Licensing Llc Proteção de dados baseada em reconhecimento de usuário e gesto
US10198594B2 (en) * 2014-12-30 2019-02-05 Xiaomi Inc. Method and device for displaying notification information
CN104732396A (zh) * 2015-03-24 2015-06-24 广东欧珀移动通信有限公司 一种支付控制方法及装置
US20160364600A1 (en) * 2015-06-10 2016-12-15 Microsoft Technology Licensing, Llc Biometric Gestures
CN104992102A (zh) * 2015-07-23 2015-10-21 京东方科技集团股份有限公司 一种消息显示方法及装置
WO2017043314A1 (ja) * 2015-09-09 2017-03-16 日本電気株式会社 ガイダンス取得装置、ガイダンス取得方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135770A (ja) * 2007-11-30 2009-06-18 Casio Hitachi Mobile Communications Co Ltd 端末装置及びプログラム
JP2013140540A (ja) * 2012-01-06 2013-07-18 Kyocera Corp 電子機器
JP2014110009A (ja) * 2012-12-04 2014-06-12 Sharp Corp 携帯端末装置
US20170102916A1 (en) * 2013-04-22 2017-04-13 Amazon Technologies, Inc. Context-aware notifications
JP2015207051A (ja) * 2014-04-17 2015-11-19 富士通株式会社 既読判断装置、既読判断方法、および既読判断プログラム
KR20160026337A (ko) * 2014-08-29 2016-03-09 삼성전자주식회사 전자장치의 통지 이벤트 처리 방법 및 그 전자 장치

Also Published As

Publication number Publication date
KR20190141701A (ko) 2019-12-24
KR20220025212A (ko) 2022-03-03
AU2018270420A1 (en) 2019-12-05
CN109416591A (zh) 2019-03-01
EP3427132B1 (en) 2020-10-21
AU2021254574A1 (en) 2021-11-18
KR20230117638A (ko) 2023-08-08
EP3427132A1 (en) 2019-01-16
EP3757728A1 (en) 2020-12-30
JP2024028992A (ja) 2024-03-05
AU2021254574B2 (en) 2023-01-05
JP7495913B2 (ja) 2024-06-05
AU2023200797A1 (en) 2023-03-09
AU2023200797B2 (en) 2024-05-30
AU2018270420B2 (en) 2021-08-05
JP2020520031A (ja) 2020-07-02
WO2018212801A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
US20220244838A1 (en) Image data for enhanced user interactions
JP7495913B2 (ja) 拡張されたユーザ対話のための画像データを用いる、方法、電子デバイス及びプログラム
JP7158509B2 (ja) 拡張されたユーザ対話のための画像データ
WO2018057268A1 (en) Image data for enhanced user interactions
US20210400032A1 (en) User interfaces for accessing an account
EP4407426A2 (en) Media capture lock affordance for graphical user interface

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240524

R150 Certificate of patent or registration of utility model

Ref document number: 7495913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150