JP6272688B2 - User authentication on display devices - Google Patents

Description

[0001]デバイス、特定のプログラム、アプリケーション、データ、ウェブサイトなどの限定された機能にアクセスするために、コンピューティングデバイスのユーザーは、ユーザーがその限定された機能にアクセスするための許可を有することを認証するためのパスワードを入力するように促されることがある。   [0001] In order to access limited functionality of a device, certain programs, applications, data, websites, etc., the user of the computing device must have permission for the user to access that limited functionality You may be prompted to enter a password to authenticate.

そのようなパスワードは、しばしば、ユーザーがキーパッド上で入力することができる一連の文字および／または数字を含む。さらに、認証は、指紋スキャン、網膜スキャンなどのバイオメトリックデータを介して行うこともできる。   Such passwords often include a series of letters and / or numbers that a user can enter on the keypad. Further, the authentication can be performed via biometric data such as a fingerprint scan and a retinal scan.

[0002]表示デバイスのユーザーを認証するための実施形態が、開示される。たとえば、１つの開示される実施形態は、拡張現実機能のセットを備える１つまたは複数の仮想画像を表示デバイス上で表示するステップを含む方法を提供する。本方法はさらに、表示デバイスのセンサから受信されるデータを介してユーザーの１つまたは複数の動きを識別するステップと、ユーザーの識別された動きを、ユーザー認証を所定の順番の拡張現実機能にリンクするユーザーの認証情報の所定のセットと比較するステップとを含む。識別された動きが、ユーザーが所定の順番で拡張現実機能を選択したことを指示する場合、ユーザーは認証され、次いで、識別された動きが、ユーザーは所定の順番で拡張現実機能を選択しなかったことを指示する場合、ユーザーは認証されない。   [0002] An embodiment for authenticating a user of a display device is disclosed. For example, one disclosed embodiment provides a method that includes displaying one or more virtual images comprising a set of augmented reality features on a display device. The method further includes identifying one or more movements of the user via data received from the sensor of the display device, and converting the identified movements of the user into a predetermined order of augmented reality functions. Comparing with a predetermined set of user authentication information to link. If the identified movement indicates that the user has selected augmented reality functions in a predetermined order, the user is authenticated, and then the identified movement does not allow the user to select the augmented reality functions in a predetermined order. The user is not authenticated.

[0003]この「発明の概要」は、「発明を実施するための形態」で以下にさらに説明される概念の選択を簡易化した形で紹介するために、提供される。この「発明の概要」は、特許請求されている主題の重要な特徴または本質的特徴を識別するものではなく、特許請求されている主題の範囲を限定するために使用されるものでもない。さらに、特許請求されている主題は、本開示のいずれかの部分に記載されたいずれかのまたはすべての不利点を解決する実装形態に限定されない。   [0003] This "Summary of the Invention" is provided to introduce in a simplified form the selection of concepts further described below in "DETAILED DESCRIPTION OF THE INVENTION". This “Summary of the Invention” does not identify key or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter. Furthermore, the claimed subject matter is not limited to implementations that solve any or all disadvantages noted in any part of this disclosure.

[0004]本開示による表示デバイスの一実施形態の例示的使用環境の概略図である。[0004] FIG. 1 is a schematic diagram of an exemplary usage environment of an embodiment of a display device according to the present disclosure. [0005]拡張現実機能のセットの２つの例示的実施形態を概略的に示す図である。[0005] FIG. 2 schematically illustrates two exemplary embodiments of a set of augmented reality functions. [0006]表示デバイスの例示的一実施形態を概略的に示す図である。[0006] FIG. 1 schematically illustrates an exemplary embodiment of a display device. [0007]図３の表示デバイスのブロック図である。[0007] FIG. 4 is a block diagram of the display device of FIG. [0008]本開示の一実施形態によるユーザーを認証するための方法の流れ図である。[0008] FIG. 4 is a flow diagram of a method for authenticating a user according to one embodiment of the present disclosure. [0009]本開示の別の実施形態によるユーザーを認証するための方法の流れ図である。[0009] FIG. 5 is a flow diagram of a method for authenticating a user according to another embodiment of the present disclosure. [0010]例示的コンピューティングシステムを概略的に示す図である。[0010] FIG. 1 schematically illustrates an example computing system.

[0011]頭部搭載型ディスプレイ（ＨＭＤ）デバイスは、ユーザーに背景シーンの拡張現実ビューを提示するために使用することができる。さらに、ＨＭＤデバイスは、ユーザーが様々なプログラム、データ、および他のそのようなリソースにアクセスすることを可能にし得る。ユーザーが限定されたリソースにアクセスすることを認可するために、またはユーザーがＨＭＤデバイスを使用する許可を有することを確保するために、ユーザーは、ＨＭＤデバイスによって表示される拡張現実画像に応答してＨＭＤデバイスの１つまたは複数の入力機構を介して受信される入力によって、認証され得る。   [0011] A head mounted display (HMD) device can be used to present an augmented reality view of a background scene to a user. In addition, the HMD device may allow a user to access various programs, data, and other such resources. In order to authorize the user to access limited resources or to ensure that the user has permission to use the HMD device, the user is responsive to the augmented reality image displayed by the HMD device. Authentication may be performed by input received via one or more input mechanisms of the HMD device.

[0012]これらの実施形態を詳細に論じる前に、非限定的使用のシナリオが、図１を参照して説明される。より詳細には、図１は、頭部搭載型表示デバイス１０４の一実施形態の使用環境の例示的一実施形態を示し、環境１００は居間の形をとる。ユーザー１０６は、頭部搭載型表示デバイス１０４を介して居間を見ている。図１はまた、表示デバイス１０４を介して見える環境の一部と、ひいては表示デバイス１０４を介して表示される画像で拡張され得る環境の部分とを備える、ユーザー視界１０２を示す。いくつかの実施形態で、ユーザー視界１０２は、ユーザーの実際の視界とほぼ同一の広がりをもつことができ、一方、他の実施形態で、ユーザー視界１０２は、ユーザーの実際の視界のより少ない部分を占め得る。   [0012] Before discussing these embodiments in detail, a non-limiting use scenario is described with reference to FIG. More particularly, FIG. 1 illustrates an exemplary embodiment of a usage environment for one embodiment of a head mounted display device 104, where the environment 100 takes the form of a living room. The user 106 is looking at the living room via the head mounted display device 104. FIG. 1 also shows a user view 102 that includes a portion of the environment that is visible through the display device 104 and, in turn, a portion of the environment that can be magnified with an image displayed through the display device 104. In some embodiments, the user field of view 102 can have approximately the same extent as the user's actual field of view, while in other embodiments, the user field of view 102 is a lesser portion of the user's actual field of view. Can occupy.

[0013]以下にさらに詳しく説明するように、表示デバイス１０４は、ユーザーが環境をナビゲートときにユーザー認証環境１００を表す画像データ（たとえば、色／グレースケール画像、深度画像／点群データなど）を取得するように構成された１つまたは複数の外側を向いた画像センサ（たとえば、２次元のカメラおよび／または深度カメラ）を備え得る。この画像データは、環境（たとえば、３次元の表面地図など）のレイアウトと、その中に含まれる、本棚１０８、扉１１０、窓１１２、およびソファ１１４などのオブジェクトとに関する情報を取得するために使用され得る。   [0013] As will be described in more detail below, the display device 104 displays image data (eg, color / grayscale images, depth images / point cloud data, etc.) that represents the user authentication environment 100 when the user navigates the environment. One or more outward-facing image sensors (eg, a two-dimensional camera and / or a depth camera) configured to obtain This image data is used to obtain information about the layout of the environment (eg, a three-dimensional surface map) and the objects it contains, such as bookshelves 108, doors 110, windows 112, and sofas 114 Can be done.

[0014]表示デバイス１０４は、ユーザー視界１０２内の実際のオブジェクトの上に１つまたは複数の仮想画像をオーバーレイすることができる。図１に示される例示的仮想オブジェクトは、ボウル１１６、月１１８、および犬１２０を含む。仮想オブジェクトは、それらのオブジェクトがユーザー視界１０２内にユーザー１０６に対して様々な深度で見えるような３次元で表示され得る。表示デバイス１０４によって表示される仮想オブジェクトは、ユーザー１０６にのみ可視でもよく、ユーザー１０６が移動するときに移動し得る、またはユーザー１０６の動きにかかわらず設定された場所にとどまることが可能である。   [0014] The display device 104 can overlay one or more virtual images over actual objects in the user view 102. The example virtual object shown in FIG. 1 includes a bowl 116, a moon 118, and a dog 120. Virtual objects can be displayed in three dimensions such that they are visible to the user 106 at various depths in the user view 102. The virtual object displayed by the display device 104 may be visible only to the user 106 and may move as the user 106 moves or may remain in place regardless of the user's 106 movement.

[0015]本明細書で開示される実施形態によれば、表示デバイス１０４を介して表示される拡張現実画像は、場合によっては使用環境１００に関する情報との組合せで、表示デバイス１０４でユーザー１０６を認証するために使用され得る。たとえば、前述の仮想オブジェクトは、ユーザー１０６に対して表示されて、ユーザー１０６が所定の順番で選択することができる拡張現実機能のセットを提供することができる。ユーザー１０６が所定の順番で拡張機能を選択する場合、ユーザーは、認証され、それによって、ユーザーが限定されたリソースにアクセスすることを可能にすることができる。拡張現実機能は、仮想オブジェクト機能、３次元のホログラム、２次元のホログラム、音、仮想の動き、振動を含むがこれらに限定されない任意の適切な機能を含むことができ、ユーザーの視界内の実際のオブジェクト機能も含み得る。たとえば、図１の例でユーザー１０６に対して表示される拡張現実機能は、本棚１０８の実際の棚にあるものとして表示された仮想のボウル１１６と、仮想の月１１８と、ユーザーに可視の頭１２２および尾１２４を有する仮想の犬１２０とを含む。   [0015] According to embodiments disclosed herein, augmented reality images displayed via the display device 104 may be combined with information about the usage environment 100, possibly in combination with the user 106 at the display device 104. Can be used to authenticate. For example, the virtual objects described above can be displayed to the user 106 to provide a set of augmented reality functions that the user 106 can select in a predetermined order. If the user 106 selects the extensions in a predetermined order, the user can be authenticated, thereby allowing the user to access limited resources. Augmented reality functions can include any suitable function including but not limited to virtual object functions, 3D holograms, 2D holograms, sounds, virtual motions, vibrations, etc. May also include other object functions. For example, the augmented reality function displayed to the user 106 in the example of FIG. 1 includes a virtual bowl 116 displayed as being on the actual shelf of the bookshelf 108, a virtual moon 118, and a head visible to the user. And a virtual dog 120 having a tail 124.

[0016]ユーザー１０６は、表示デバイス１０４によって検出可能な任意の適切な方式で拡張現実機能を選択することができる。たとえば、ユーザー１０６は、選択される拡張現実機能を注視することによって拡張現実機能を選択することができ、注視の方向は、１つまたは複数のアイトラッキングセンサによって検出され得る。別の例で、ユーザー１０６は、慣性運動センサおよび／または画像センサによって検知されるものとして、拡張現実機能にまたはそれに向けてユーザー自身の頭、手、全身などを動かすことによって、拡張現実機能を選択することができる。ユーザーはまた、１つまたは複数のマイクロフォンによって検知される音声コマンドを出すことができる。表示デバイス１０４のセンサを介するユーザー入力コマンドの検知に関するさらなる詳細は、図３〜図４に関して以下に論じられる。   [0016] User 106 may select an augmented reality function in any suitable manner that can be detected by display device 104. For example, the user 106 can select an augmented reality function by gazing at the selected augmented reality function, and the direction of gaze can be detected by one or more eye tracking sensors. In another example, the user 106 can augment the augmented reality function by moving his / her head, hand, whole body, etc. to or toward the augmented reality function as detected by an inertial motion sensor and / or an image sensor. You can choose. The user can also issue voice commands that are sensed by one or more microphones. Further details regarding the detection of user input commands via the sensors of the display device 104 are discussed below with respect to FIGS.

[0017]拡張現実機能の選択は、拡張現実機能と関連付けられた動きまたはコマンドを実行するユーザー１０６に基づき検出および判定され得る。その動きは、拡張現実機能を単純に見るまたはそれに向かって動くユーザーを含み得る。さらに、いくつかの実施形態で、動きはまた、ユーザーが所定の時間にわたって拡張現実機能を見ること、ユーザーが特定の動きを実行しながらもしくは特性の音声コマンドを出しながら拡張現実機能を見ること、および／または拡張現実機能の選択を指示する他の適切な機能を含み得る。加えて、いくつかの実施形態で、特定の入力は、特定の地理的な位置、指定された位置でのＨＭＤデバイスの特定の向きなどにリンクされ得る。   [0017] The selection of an augmented reality function may be detected and determined based on a user 106 performing a motion or command associated with the augmented reality function. That movement may include a user who simply sees or moves towards the augmented reality function. Further, in some embodiments, the movement can also be viewed by the user watching the augmented reality function over time, while the user sees the augmented reality function while performing a specific movement or issuing a characteristic voice command, And / or other suitable functions to direct the selection of augmented reality functions. In addition, in some embodiments, a particular input may be linked to a particular geographic location, a particular orientation of the HMD device at a specified location, etc.

[0018]拡張現実機能がユーザーによって選択される所定の順番は、任意の適切な方式で判定され得る。たとえば、最初の認証パスワードセットアップセッションで、ユーザーは、機能の識別と、機能が認証プロセスで選択されるべき順番もまた、決定することができる。別の例で、表示デバイス１０４は、識別と拡張現実機能が選択されるべき順番とを判定することができ、ユーザーにどの順番でそれらの拡張現実機能を選択するべきかを通知することができる。   [0018] The predetermined order in which the augmented reality functions are selected by the user may be determined in any suitable manner. For example, in an initial authentication password setup session, the user can also determine the identification of functions and the order in which functions should be selected in the authentication process. In another example, the display device 104 can determine the identification and the order in which augmented reality functions are to be selected and can inform the user in which order to select those augmented reality functions. .

[0019]図１に示す例で、ユーザー１０６は、先ず、仮想のボウル１１６を、次いで仮想の月１１８を、次いで、犬１２０の頭１２２を選択する。ユーザーが所定の順番で正しい拡張現実機能を選択したかを判定するために、ユーザーの動き（目および体の動きを含む）と、場合によっては他の情報（たとえば、ユーザーの音声コマンド、位置、および／または向き）とが、表示デバイスのセンサを介して検知され、拡張現実機能が選択されるべき特定の順番にユーザー認証をリンクするユーザー認証情報と比較され得る。   [0019] In the example shown in FIG. 1, the user 106 first selects the virtual bowl 116, then the virtual moon 118, and then the head 122 of the dog 120. To determine if the user has selected the correct augmented reality function in a given order, the user ’s movements (including eye and body movements) and possibly other information (eg, user voice commands, location, And / or orientation) can be detected via sensors of the display device and compared to user authentication information that links user authentications in a particular order in which augmented reality functions are to be selected.

[0020]いくつかの実施形態で、拡張現実機能は、各認証セッションで同じまたは同様の方式でユーザーに表示することができる。他の実施形態で、拡張現実機能は、ユーザー認証セッション間で異なってユーザーに表示され得る。たとえば、いくつかの実施形態で、選択された機能を含む拡張現実機能の異なるセット全体が、様々なユーザー認証セッションで表示され得る。別の例で、拡張現実機能の同じセットが、ただし異なる位置で、異なる認証セッション中に、表示され得る。どちらの場合にも、様々な認証セッション中の様々な方式での拡張現実機能の表示は、外部のオブザーバがユーザーによって実行される認証運動のパターンを検知することを防ぐのを助けることができ、それによって、選択された拡張現実機能の順番列の秘密保持を保つのを助けることができる。   [0020] In some embodiments, augmented reality functionality can be displayed to the user in the same or similar manner in each authentication session. In other embodiments, the augmented reality feature may be displayed to the user differently between user authentication sessions. For example, in some embodiments, an entire different set of augmented reality functions, including selected functions, may be displayed in various user authentication sessions. In another example, the same set of augmented reality functions may be displayed, but at different locations, during different authentication sessions. In either case, the display of augmented reality functions in different ways during different authentication sessions can help prevent external observers from detecting the pattern of authentication movement performed by the user, Thereby, it can help keep the sequence of selected augmented reality functions secret.

[0021]さらに、ユーザーに対して表示される拡張現実機能の数および／または外観は、ユーザーの位置または他のパラメータに応じて変化し得る。たとえば、ユーザーが自身の自宅または他の個人的な場所で（たとえば、ＧＰＳデータ、画像データ、および／または他の表示デバイスセンサデータを介して）認証されると判定された場合、ユーザーがより公的な場所にいるときよりも、より単純なパスワード画像（たとえば、総数がより少ない拡張現実機能）が表示可能であり、かつ／またはユーザー入力が認証データに一致したかどうかに関して信頼度がより低くても、認証され得る。   [0021] Further, the number and / or appearance of augmented reality functions displayed to the user may vary depending on the user's location or other parameters. For example, if it is determined that the user is authenticated at their home or other personal location (eg, via GPS data, image data, and / or other display device sensor data), the user is more public. Can display simpler password images (for example, augmented reality features with a lower total number) and / or less trustworthy as to whether user input matches the authentication data than when in a typical location Can be authenticated.

[0022]図２は、２つの別個の認証セッション中に表示され得る２つのセットの拡張現実機能の例示的一実施形態を示す。これらの拡張現実機能は、前述のように、表示デバイスを介してユーザー（図２に示さず）に表示される。タイムライン２０２もまた、別個の認証セッションの相対的タイミングを説明するために示される。   [0022] FIG. 2 illustrates an exemplary embodiment of two sets of augmented reality functions that may be displayed during two separate authentication sessions. These augmented reality functions are displayed to the user (not shown in FIG. 2) via the display device as described above. A timeline 202 is also shown to illustrate the relative timing of separate authentication sessions.

[0023]時間ｔ１で、第１のセットの拡張現実機能２１０が、ユーザーに表示される。第１のセットの拡張現実機能２１０は、ユーザー視界２００内の様々な場所でゆっくりと画面の下方へ落ちて表示される文字のセットを備える。図２に示すように、ユーザーは、所定の順番で文字のセットを選択して、単語ＦＩＲＫＩＮを綴る。認証情報が、ユーザーのパスワードがＦＩＲＫＩＮであると指示する場合、ユーザーは認証される。   [0023] At time t1, a first set of augmented reality functions 210 is displayed to the user. The first set of augmented reality functions 210 comprises a set of characters that slowly fall down and displayed at various locations within the user view 200. As shown in FIG. 2, the user selects a set of characters in a predetermined order and spells the word FIRKIN. If the authentication information indicates that the user's password is FIRKIN, the user is authenticated.

[0024]次に、時間ｔ２で、第２のセットの拡張現実機能２２０がユーザー視界２００を介してユーザーに表示される第２の認証セッションが、開始される。第２のセットの拡張現実機能２２０で、文字および／または文字の位置は、第１のセットの拡張現実機能２１０とは異なり得るが、第１のセットの機能２１０のとは異なるセットの運動を介して単語ＦＩＲＫＩＮの選択をやはり可能にし得る。ユーザーは両方の認証セッションで同じ組合せの文字を選択するが、ユーザーの動きは、外部のオブザーバには異なって見えることになる。   [0024] Next, at time t2, a second authentication session is initiated in which a second set of augmented reality functions 220 is displayed to the user via the user view 200. In the second set of augmented reality functions 220, the character and / or character position may be different from the first set of augmented reality functions 210, but with a different set of movements than the first set of functions 210. The selection of the word FIRKIN may still be possible via The user selects the same combination of characters in both authentication sessions, but the user's movement will look different to the external observer.

[0025]前述のように、ユーザー認証プロセスは、表示デバイスを含むがそれに限定されない任意の適切なコンピューティングデバイスによって実行され得る。本開示による表示デバイスは、図１の頭部搭載型表示デバイス１０４などのＨＭＤデバイスを含むがそれに限定されない、任意の適切な形をとることができる。図３は、表示システム３００の例示的一実施形態を示し、図４は、表示システム３００のブロック図である。   [0025] As described above, the user authentication process may be performed by any suitable computing device, including but not limited to a display device. Display devices according to the present disclosure may take any suitable form, including but not limited to an HMD device such as the head mounted display device 104 of FIG. FIG. 3 illustrates an exemplary embodiment of the display system 300 and FIG. 4 is a block diagram of the display system 300.

[0026]表示システム３００は、画像がレンズ３０２に投影され得るような、またはレンズ３０２に組み込まれた画像作成要素（たとえば、透過的ＯＬＥＤディスプレイ）によって作成され得るような、表示サブシステム３０４の一部を形成する１つまたは複数のレンズ３０２を備える。表示システム３００は、ユーザーによって見られている背景シーンおよび／または物理的空間の画像を取得するように構成された１つまたは複数の外側を向いた画像センサ３０６をさらに備え、ユーザーからの音声コマンドなどの音を検出するように構成された１つまたは複数のマイクロフォン３０８を含み得る。外側を向いた画像センサ３０６は、１つまたは複数の深度センサ、および／あるいは１つまたは複数の２次元の画像センサを含み得る。   [0026] The display system 300 is one of the display subsystems 304 such that an image can be projected onto the lens 302 or can be created by an imaging element (eg, a transmissive OLED display) incorporated into the lens 302. One or more lenses 302 forming the part. The display system 300 further comprises one or more outward-facing image sensors 306 configured to acquire an image of the background scene and / or physical space being viewed by the user, and voice commands from the user One or more microphones 308 configured to detect sound such as. The outward facing image sensor 306 may include one or more depth sensors and / or one or more two-dimensional image sensors.

[0027]表示システム３００は、前述のように、ユーザーの各目の注視の方向を検出するように構成された注視検出サブシステム３１０をさらに備え得る。注視検出サブシステム３１０は、任意の適切な方式でユーザーの各々の目の注視の方向を判定するように構成され得る。たとえば、図示された実施形態で、注視検出サブシステム３１０は、閃光をユーザーの各眼球から反射させるように構成された、赤外光源など、１つまたは複数の閃光源３１２と、ユーザーの各眼球の画像をとらえるように構成された、内側を向いたセンサなど、１つまたは複数の画像センサ３１４とを備える。画像センサ（複数可）３１４を介して集められる画像データから判定されるものとしてのユーザーの眼球からの閃光の変化は、注視の方向を判定するために使用され得る。さらに、ユーザーの目から投影された注視線が外部ディスプレイと交差する位置は、ユーザーが注視しているオブジェクト（たとえば、表示された仮想オブジェクトおよび／または実際の背景オブジェクト）を判定するために使用され得る。注視検出サブシステム３１０は、任意の適切な数および配列の光源および画像センサを有し得る。   [0027] The display system 300 may further comprise a gaze detection subsystem 310 configured to detect the gaze direction of each eye of the user, as described above. The gaze detection subsystem 310 may be configured to determine the gaze direction of each eye of the user in any suitable manner. For example, in the illustrated embodiment, gaze detection subsystem 310 includes one or more flash light sources 312, such as an infrared light source, configured to reflect flash light from each eyeball of the user, and each eyeball of the user. And one or more image sensors 314, such as inward-facing sensors, configured to capture the image of The change in flash from the user's eye as determined from the image data collected via the image sensor (s) 314 can be used to determine the direction of gaze. Furthermore, the location where the gaze projected from the user's eyes intersects the external display is used to determine the object that the user is gazing at (eg, the displayed virtual object and / or the actual background object). obtain. The gaze detection subsystem 310 may have any suitable number and arrangement of light sources and image sensors.

[0028]表示システム３００は、追加のセンサをさらに備え得る。たとえば、表示システム３００は、表示システム３００の位置が判定されることを可能にするために、グローバルポジショニング（ＧＰＳ）サブシステム３１６を備え得る。これは、表示システム３００のユーザーが異なる位置で異なるパスワードを使用できるようにすることができ、デバイス位置に応じてセキュリティの所望のレベルが変化できるようにすることができる。   [0028] The display system 300 may further comprise additional sensors. For example, display system 300 may include a global positioning (GPS) subsystem 316 to allow the position of display system 300 to be determined. This can allow users of the display system 300 to use different passwords at different locations, and can change the desired level of security depending on the device location.

[0029]表示システム３００は、ユーザーが表示システム３００を身に付けているときに、ユーザーの頭の動きを検出するための１つまたは複数の運動センサ３１８をさらに含み得る。運動データは、場合によってはアイトラッキング閃光データおよび外向きの画像データとともに、注視検出のために、ならびに外側を向いた画像センサ（複数可）３０６からの画像のぼやけの修正を助けるための画像安定化のために、使用され得る。運動データの使用は、外側を向いた画像センサ（複数可）３０６からの画像データが解像され得ない場合にも注視位置の変化を追跡可能にすることができる。同様に、運動センサ３１８、ならびにマイクロフォン（複数可）３０８および注視検出サブシステム３１０はまた、ユーザーが目、首および／または頭のジェスチャを介して、ならびに言葉によるコマンドを介して、表示システム３００と対話することができるような、ユーザー入力デバイスとして使用され得る。任意の他の適切なセンサおよび／またはセンサの組合せが使用可能であるので、図３および図４に示されるセンサは、例示を目的として示され、任意の方式に限定されるものではないことが、理解されよう。   [0029] The display system 300 may further include one or more motion sensors 318 for detecting movement of the user's head when the user is wearing the display system 300. The motion data, along with eye tracking flash data and outward image data, as the case may be, image stabilization for gaze detection and to help correct image blurring from the outward facing image sensor (s) 306 Can be used for conversion. The use of motion data can make it possible to track changes in gaze position even if the image data from the outwardly facing image sensor (s) 306 cannot be resolved. Similarly, motion sensor 318, as well as microphone (s) 308 and gaze detection subsystem 310 can also be used with display system 300 by a user via eye, neck and / or head gestures, and via verbal commands. It can be used as a user input device that can interact. Because any other suitable sensor and / or combination of sensors can be used, the sensors shown in FIGS. 3 and 4 are shown for illustrative purposes and may not be limited to any manner. Will be understood.

[0030]表示システム３００は、センサ、注視検出サブシステム３１０、および表示サブシステム３０４と通信する論理サブシステム３２２およびデータ保持サブシステム３２４（別法で、記憶システムと称される）を有するコントローラ３２０をさらに備える。データ保持サブシステム３２４は、いくつかあるタスクの中でも、たとえば、センサからの入力を受信および解釈する、ユーザーの動きを識別する、識別された動きを認証情報と比較してユーザーが所定の順番でそれらの拡張現実機能を選択したかを判定する、かつユーザーを認証するように、論理サブシステム３２２によって実行可能なデータ保持サブシステム３２４に記憶された命令を備える。   [0030] The display system 300 includes a controller 320 having a sensor, a gaze detection subsystem 310, and a logical subsystem 322 and a data retention subsystem 324 (otherwise referred to as a storage system) in communication with the display subsystem 304. Is further provided. The data retention subsystem 324 may, among other tasks, receive and interpret input from sensors, identify user movements, compare identified movements with authentication information, and allow the user in a predetermined order. Instructions stored in the data retention subsystem 324 that are executable by the logical subsystem 322 are provided to determine if those augmented reality functions have been selected and to authenticate the user.

[0031]図示された表示デバイス１０４、３００は、例示を目的として示され、したがって、限定を意味するものではないことが理解されよう。本表示デバイスは、本開示の範囲を逸脱することなしに、示されたものよりも追加のおよび／または代替のセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイスなどを含み得ることを理解されたい。さらに、表示デバイスの物理的構成と様々なセンサおよびサブコンポーネントとは、本開示の範囲を逸脱することなしに様々な異なる形をとり得る。   [0031] It will be appreciated that the illustrated display devices 104, 300 are shown for illustrative purposes and are not meant to be limiting. It should be understood that the display device may include additional and / or alternative sensors, cameras, microphones, input devices, output devices, etc. than those shown without departing from the scope of the present disclosure. Further, the physical configuration of the display device and the various sensors and subcomponents may take a variety of different forms without departing from the scope of the present disclosure.

[0032]図５は、前述の頭部搭載型表示デバイス１０４などの表示デバイスのユーザーを認証するための方法５００の一実施形態を示す流れ図である。簡潔には、方法５００は、ユーザーを認証するために、認証セッション中にユーザーに１つまたは複数の仮想画像もしくは他の拡張現実機能を提示する。認証された後は、ユーザーは、１つまたは複数の限定されたデバイス、プログラム、アプリケーションなどにアクセスすることを認可され得る。認証セッションは、ユーザーが表示デバイスの電源を入れること、プログラムもしくはアプリケーションを始動するための許可を要求すること、ウェブサイトを見るための許可を要求することなど、任意の適切な入力を介して開始され得る。   [0032] FIG. 5 is a flow diagram illustrating one embodiment of a method 500 for authenticating a user of a display device, such as the head mounted display device 104 described above. Briefly, the method 500 presents one or more virtual images or other augmented reality functions to a user during an authentication session to authenticate the user. Once authenticated, the user may be authorized to access one or more limited devices, programs, applications, etc. An authentication session is initiated via any appropriate input, such as the user turning on the display device, requesting permission to start a program or application, or requesting permission to view a website Can be done.

[0033]５０２で、方法５００は、拡張現実機能のセットを備える１つまたは複数の仮想画像を表示するステップを含む。拡張現実機能のセットは、仮想画像および／または実物のオブジェクトの任意の適切な機能を含み得る。たとえば、拡張現実機能は、ユーザーによって選択された特定の３Ｄの実物のもしくは仮想のオブジェクト、特定のオブジェクトもしくは人を示す画像（特定の画像に対立するものとして）、および／または特定の属性を有する３Ｄの実物のまたは仮想のオブジェクトを含み得る。さらに、この機能はまた、音または他の拡張現実環境態様を含み得る。拡張現実機能は、任意の適切な方式で提示され得る。たとえば、拡張現実機能は、既定義の順番、ランダムな順番、異なる認証セッション間でアルゴリズムで変更される順番などで表示され得る。   [0033] At 502, the method 500 includes displaying one or more virtual images comprising a set of augmented reality functions. The set of augmented reality functions may include any suitable functions of virtual images and / or real objects. For example, an augmented reality function has a specific 3D real or virtual object selected by the user, an image showing a specific object or person (as opposed to a specific image), and / or specific attributes It can include 3D real or virtual objects. In addition, this functionality may also include sound or other augmented reality environment aspects. Augmented reality functions may be presented in any suitable manner. For example, augmented reality functions may be displayed in a predefined order, a random order, an order changed by an algorithm between different authentication sessions, and the like.

[0034]５０４で、方法５００は、センサから受信されたデータを介してユーザーの１つまたは複数の動きを識別するステップを含む。センサデータは、慣性運動センサ５０６および／またはアイトラッキングセンサシステム５０８を含むがこれらに限定されない、任意の適切なセンサから受信され得る。さらに、表示デバイスの外部のセンサはまた、ユーザーの動きを識別するために使用され得る。たとえば、ユーザーは、外部デバイス（タブレットなど）の画面に絵を描いてもよく、タブレットは、ユーザーの手の動きを検出し、その動きをシースルー表示デバイスに通信することができる。別の例で、たとえばウェブサーバを介してアクセス可能な、遠隔サービスが入力デバイスとして使用され得る。たとえば、表示デバイスは、ウェブサービスの状態を照会し、ウェブサービスが到達不可能であるか、または「承認しない」メッセージを返す場合、ユーザーは認証され得ない。識別された動きは、ユーザーによって選択された拡張現実機能の識別および順番を判定するために使用され得る。さらに、ユーザーが動きを入力して拡張現実機能を選択するとき、識別された動きが１つの拡張現実機能と関連付けられた動きに一致する場合、方法５０９は、ユーザーが拡張現実機能を選択したという指示を出力するステップをさらに含み得る。   [0034] At 504, the method 500 includes identifying one or more movements of the user via data received from the sensors. Sensor data may be received from any suitable sensor, including but not limited to inertial motion sensor 506 and / or eye tracking sensor system 508. In addition, sensors external to the display device can also be used to identify user movement. For example, a user may draw a picture on the screen of an external device (such as a tablet), and the tablet can detect the movement of the user's hand and communicate the movement to a see-through display device. In another example, a remote service, eg accessible via a web server, can be used as an input device. For example, if the display device queries the status of the web service and returns a message that the web service is unreachable or does not approve, the user cannot be authenticated. The identified movement can be used to determine the identity and order of augmented reality functions selected by the user. Further, when the user inputs motion and selects an augmented reality function, if the identified motion matches the motion associated with one augmented reality function, the method 509 indicates that the user has selected the augmented reality function. The method may further include outputting instructions.

[0035]５１０で、方法５００は、識別された動きを、拡張現実機能の所定の順番とユーザー認証をリンクする認証情報と比較するステップを含む。認証情報は、表示デバイスで局所的に記憶することができ、または遠隔で記憶され、遠隔サービスを介してアクセス可能でもよい。   [0035] At 510, the method 500 includes comparing the identified movement with authentication information that links a predetermined order of augmented reality functions and user authentication. The authentication information may be stored locally at the display device or may be stored remotely and accessible via a remote service.

[0036]５１２で、方法５００は、ユーザーが所定の順番で拡張現実機能を選択したかを判定するステップを含む。既に説明したように、ユーザーの識別された動きは、ユーザーによって選択された拡張現実機能の順番の識別を判定するために使用され得る。いくつかの実施形態では、５１４に示すように、信頼性スコアが、ユーザーが実際に所定の順番で拡張現実機能を選択した信頼度に基づき、識別された動きに割り当てられ得る。信頼性スコアは、識別された動きが期待される動きと一致する確実性を反映することができ、その動きを検出するためのセンサの能力を含むがこれに限定されない様々な他の要因の関数でもよい。   [0036] At 512, the method 500 includes determining whether the user has selected augmented reality functions in a predetermined order. As already explained, the identified movement of the user can be used to determine the identification of the order of augmented reality functions selected by the user. In some embodiments, as shown at 514, a confidence score may be assigned to the identified movement based on the confidence that the user actually selected the augmented reality function in a predetermined order. The confidence score can reflect the certainty that the identified movement matches the expected movement and is a function of various other factors, including but not limited to the ability of the sensor to detect that movement. But you can.

[0037]信頼性スコアは、ユーザーを認証するかどうかを判定するために、信頼性スコア閾値と比較され得る。信頼性スコアが閾値より大きい場合、および拡張現実機能が、５１６で指示するように、正しい順番で選択された場合、表示デバイスは、５１８で指示するように、ユーザーを認証することができる。閾値は変化しない固定値でもよく、あるいは閾値は、ユーザー位置および／またはバイオメトリック署名などの認証セッションの条件に応じて変化してもよい。他方で、拡張現実機能が所定の順番で選択されなかった場合（または信頼性スコアが、閾値に一致せず、所定の順番で機能を選択しなかったとして考えられ得る場合）、方法５００は、５２０で、ユーザーを認証しないステップを含む。   [0037] The confidence score may be compared to a confidence score threshold to determine whether to authenticate the user. If the reliability score is greater than the threshold, and if the augmented reality function is selected in the correct order as indicated at 516, the display device may authenticate the user as indicated at 518. The threshold may be a fixed value that does not change, or the threshold may change depending on the authentication session conditions such as user location and / or biometric signature. On the other hand, if the augmented reality functions are not selected in a predetermined order (or if the reliability score does not match the threshold and can be considered not to select the functions in the predetermined order), the method 500 includes: At 520, including not authenticating the user.

[0038]図５に関して前述した例で、認証は、単一の入力機構に基づく。複数の入力機構の組合せが使用されてユーザーを認証することができる実施形態で、ユーザーを認証するために使用される信頼性スコア閾値は、いくつの入力機構が使用されたかに応じて変わり得る。たとえば、単一の入力機構が使用される場合、複数の入力機構が使用される場合よりも高い信頼性スコア閾値が適用され得る。   [0038] In the example described above with respect to FIG. 5, authentication is based on a single input mechanism. In embodiments where a combination of multiple input mechanisms can be used to authenticate a user, the confidence score threshold used to authenticate the user can vary depending on how many input mechanisms are used. For example, if a single input mechanism is used, a higher confidence score threshold may be applied than if multiple input mechanisms are used.

[0039]図６は、ユーザー可変の数の認証入力に基づきユーザーを認証するための方法６００の一実施形態を説明する流れ図である。本明細書では、「認証入力」という用語は、ユーザーを認証するために拡張現実機能にユーザーの動きをリンクする認証情報と比較され得る表示デバイスの任意のセンサによって検出される任意のユーザー入力を指し得る。認証入力の例は、目の動きを介する仮想オブジェクトの選択、体の動きを介する仮想オブジェクトの選択、音声コマンド、および特定の向きまたは位置をとることを含むがこれらに限定されない。   [0039] FIG. 6 is a flow diagram describing one embodiment of a method 600 for authenticating a user based on a user variable number of authentication inputs. As used herein, the term “authentication input” refers to any user input detected by any sensor of the display device that can be compared to authentication information that links the user's movement to augmented reality functions to authenticate the user. Can point. Examples of authentication inputs include, but are not limited to, selection of virtual objects via eye movements, selection of virtual objects via body movements, voice commands, and taking a specific orientation or position.

[0040]６０２で、方法６００は、認証入力のセットを受信するステップを含む。認証入力のセットは、６０４で指示されるように、ユーザーの複数の認識される認証入力から選択可能であり、複数の認識される入力は、異なるセンサを介して行われた入力に相当する。さらに具体的な一例として、複数の認識される入力は、アイトラッキング入力、ヘッドトラッキング入力、腕ジェスチャ入力、および／またはユーザーバイオメトリック情報（たとえば、ユーザーの瞳孔間の距離（ＩＰＤ）、歩き方、身長など）を含むことができ、受信されるセットは、頭部運動入力データがその後に続くアイトラッキング入力データを含み得る。   [0040] At 602, method 600 includes receiving a set of authentication inputs. The set of authentication inputs can be selected from a plurality of recognized authentication inputs of the user, as indicated at 604, where the plurality of recognized inputs correspond to inputs made through different sensors. As a more specific example, the plurality of recognized inputs include eye tracking input, head tracking input, arm gesture input, and / or user biometric information (eg, distance between user's pupils (IPD), how to walk, The received set may include eye tracking input data followed by head movement input data.

[0041]いくつかの実施形態で、１つまたは複数の認証入力は、認証入力が、ある物理的位置（たとえば、ＧＰＳおよび／または画像データを介して検出されるものとしての）、および／またはある特定の向き（たとえば、表示デバイスを介して可視な背景内の所定の位置にある、知られている物理的オブジェクト（たとえば、ポスタ）の存在によって検出されるものとしての）と関連付けることができ、それにより、ユーザーは、その物理的位置におよび／またはその向きでいるときにのみ首尾よく実行され得る。さらに他の例は、ユーザーが、表示された拡張現実画像に応答してではなく入力を行うステップを含み得る。たとえば、ユーザーは、アイトラッキングおよび／または慣性運動および外側を向いた画像センサによって検出されるユーザー自身の目または手を使用して特定のパターンを描くことができ、および／または音声コマンドを入力することができる。別の例として、他のユーザーの存在が検出可能であり、ユーザー認証は検出される他のユーザーの数、識別、および／または他の特性に基づき得る。これらの入力モードは、例示を目的として提示され、いかなる形でも限定するものではないことが、理解されよう。   [0041] In some embodiments, the one or more authentication inputs are such that the authentication input is a physical location (eg, as detected via GPS and / or image data), and / or Can be associated with a specific orientation (eg, as detected by the presence of a known physical object (eg, a poster) in place in a background visible through a display device) , So that the user can only be successfully executed when in that physical position and / or in that orientation. Yet another example may include the user making input rather than in response to the displayed augmented reality image. For example, the user can draw a specific pattern using eye tracking and / or inertial motion and the user's own eyes or hands detected by outward-facing image sensors and / or enter voice commands be able to. As another example, the presence of other users can be detected, and user authentication can be based on the number, identification, and / or other characteristics of other users detected. It will be appreciated that these input modes are presented for illustrative purposes and are not limiting in any way.

[0042]続いて、６０８で、方法６００は、各認証入力が対応する所定の認証入力に一致するかを判定するステップを含む。さらに、６１０で指示するように、信頼性スコアが、各受信された認証入力に割当て可能であり、信頼性スコアは、受信された認証入力が所定の認証入力に一致する信頼度を反映する。   [0042] Subsequently, at 608, the method 600 includes determining whether each authentication input matches a corresponding predetermined authentication input. Further, as indicated at 610, a reliability score can be assigned to each received authentication input, and the reliability score reflects a confidence that the received authentication input matches a predetermined authentication input.

[0043]６１２で、信頼性スコアが、閾値と比較される。たとえば、いくつかの実施形態で、各認証入力の信頼性スコアは、閾値に結合され、総計で閾値と比較され得る。他の実施形態で、各信頼性スコアは、対応する閾値と個々に比較され得る。どちらの場合にも、ユーザーは、信頼性スコアが閾値に関連する所定の条件（たとえば、同等またはより大きい）を満たす場合に、認証され得る。   [0043] At 612, the confidence score is compared to a threshold. For example, in some embodiments, the confidence score for each authentication input can be combined with a threshold and compared to the threshold in a grand total. In other embodiments, each confidence score can be individually compared to a corresponding threshold. In either case, the user may be authenticated if the confidence score meets a predetermined condition (eg, equal or greater) associated with the threshold.

[0044]比較的より多数の認証入力を使用することによって、いくつかの実施形態で、ユーザーは、すべての入力の信頼性スコアがより少数の入力のスコア閾値に関連する所定の条件を満たさない場合にも、認証され得る。１つの非限定的例として、３つの認証入力がユーザーによって入力される場合、ユーザーは、少なくとも２つの信頼性スコアが個々の信頼性スコア、閾値、を超える場合に、認証され得る。対照的に、ユーザーは、より少数の認証入力を介して認証される場合、すべての閾値を超える必要があり得る。同様に、結合された信頼性スコア閾値は、同様の効果を達成するために使用されるいくつかの入力モードに応じて変わり得る。これらの例の各々は、本開示による信頼性スコア閾値の変更の考えられる非限定的な例であり得る。   [0044] By using a relatively larger number of authentication inputs, in some embodiments, the user does not satisfy a predetermined condition in which all input confidence scores are associated with a score threshold for fewer inputs In some cases, it can also be authenticated. As one non-limiting example, if three authentication inputs are entered by a user, the user can be authenticated if at least two confidence scores exceed an individual confidence score, threshold. In contrast, if a user is authenticated via fewer authentication inputs, it may need to exceed all thresholds. Similarly, the combined confidence score threshold can vary depending on several input modes used to achieve a similar effect. Each of these examples may be possible non-limiting examples of changing the confidence score threshold according to the present disclosure.

[0045]したがって、６１４で指示されるように、方法６００は、表示デバイスによって受信される認証入力の数が増えるとき、信頼性スコア閾値を減らすステップを含み得る。同様に、方法６００はまた、認証入力の数が減るときに、閾値を増やすステップを含み得る。信頼性スコア閾値（複数可）は、前述のものを含むがこれらに限定されない任意の適切な方式で変えられ得ることが、理解されよう。   [0045] Accordingly, as indicated at 614, the method 600 may include reducing the confidence score threshold when the number of authentication inputs received by the display device increases. Similarly, the method 600 may also include increasing the threshold when the number of authentication inputs decreases. It will be appreciated that the confidence score threshold (s) may be varied in any suitable manner, including but not limited to the foregoing.

[0046]図５に関して前述したように、いくつかの実施形態で、ユーザーを認証するための閾値は、６１６で指示するように、ユーザー位置または他のパラメータに基づき変化し得る。たとえば、第１の、より多数の認証入力は、第１の、より安全性の低い位置で使用することができ、一方、第２の、より少数の認証入力は、第２の、より安全な位置で使用され得る。別の例で、認証入力の数は、両方の位置で同じでもよいが、閾値はより安全な位置についてよりもより安全性の低い位置についてより高くなり得る。さらに、閾値に影響を及ぼし得る位置以外のパラメータは、アクセスされる情報のタイプなど、ユーザー指定のセキュリティを含む。   [0046] As described above with respect to FIG. 5, in some embodiments, the threshold for authenticating the user may vary based on the user location or other parameters, as indicated at 616. For example, a first, more authentication input can be used in a first, less secure location, while a second, fewer authentication input, can be a second, more secure input. Can be used in position. In another example, the number of authentication inputs may be the same at both locations, but the threshold may be higher for a less secure location than for a more secure location. In addition, parameters other than location that can affect the threshold include user-specified security, such as the type of information accessed.

[0047]６１８で、信頼性スコアが閾値よりも大きいかが判定される。信頼性スコアが閾値よりも大きい場合、ユーザーは、６２０で認証される。他方で、信頼性スコアが閾値よりも大きくない場合、ユーザーは６２２で認証されない。   [0047] At 618, it is determined whether the reliability score is greater than a threshold. If the confidence score is greater than the threshold, the user is authenticated at 620. On the other hand, if the confidence score is not greater than the threshold, the user is not authenticated at 622.

[0048]したがって、本明細書に記載の実施形態は、様々な入力を介するユーザー認証が、開示される表示デバイスの特定の機能を使用することを提供する。開示される入力は非限定的例であり、他の入力が可能であることが、理解されよう。たとえば、ユーザー認証入力はまた、まばたきの検出、オブジェクト認識（たとえば、ポスタ、ビルディング、芸術作品などの特定のオブジェクトの認識）、網膜スキャン、指紋検出、および／または他の適切な入力機構を使用して入力され得る。   [0048] Accordingly, the embodiments described herein provide for user authentication via various inputs to use certain features of the disclosed display device. It will be appreciated that the inputs disclosed are non-limiting examples and other inputs are possible. For example, user authentication input also uses blink detection, object recognition (eg, recognition of specific objects such as posters, buildings, artworks, etc.), retinal scanning, fingerprint detection, and / or other suitable input mechanisms. Can be entered.

[0049]さらに、そのような入力の組合せもまた、認証に使用され得る。たとえば、ユーザーは、表示デバイスを自身の指で叩いて特定のリズムを刻みながら特定のオブジェクト（実物のまたは仮想の）を見ることができ、画像は外側を向いた画像センサによって検出され、叩いた音は慣性運動センサを介して検出される。別の例として、ユーザーの瞳孔間の距離（ＩＰＤ）は、バイオメトリックデータとして表示デバイスによって測定され得る。これは、網膜スキャン、所定のジェスチャのセット、および／または他の入力と結合されて、ユーザーを認証することができる。   [0049] In addition, combinations of such inputs can also be used for authentication. For example, a user can see a specific object (real or virtual) by tapping a display device with his / her finger and engraving a specific rhythm, and the image is detected and struck by an image sensor facing outward Sound is detected via an inertial motion sensor. As another example, the distance (IPD) between the user's pupils can be measured by the display device as biometric data. This can be combined with a retinal scan, a predetermined set of gestures, and / or other inputs to authenticate the user.

[0050]別の例で、認証のために使用される１つまたは複数の入力は、特定のカテゴリに関連したままで、ユーザーが認証されるたびに変わってもよい。そのような入力を含む例示的ユーザーパスワードは、非限定的例として、「漫画的」、「羽の生えた」、「赤ちゃんに関する」、「跳ねているもの」、および「癒しの音楽の方向」などのカテゴリの定義を備え得る。認証されるために、ユーザーは、オブジェクトを選択する、または他の方法で、認証されるために、選択されたカテゴリの定義（たとえば、漫画的である、羽を有する、赤ちゃんに関連する、上下に動いている、音楽が聞こえる方向へユーザー自身の頭を動かすこと）に合う入力を実行する。入力の特定の性質（選択されたオブジェクト、ユーザーが向いている方向など）は各入力で変化し得るが、カテゴリは、ユーザーによって変更されるまで、同じままである。   [0050] In another example, one or more inputs used for authentication may remain relevant to a particular category and change each time a user is authenticated. Exemplary user passwords containing such input include, by way of non-limiting example, "cartoon", "winged", "baby related", "bouncing", and "healing music direction" And so on. To be authenticated, the user selects an object, or otherwise, to be authenticated, the definition of the selected category (e.g., comical, with wings, baby related, up and down Moving the user's own head in the direction of listening to music). Although the specific nature of the input (selected objects, direction the user is facing, etc.) may change with each input, the category remains the same until changed by the user.

[0051]いくつかの実施形態で、認証入力は、個々のユーザーに特有である。他の実施形態で、認証入力の同じセットが、複数のユーザーによって使用され得る。たとえば、ユーザーの家族のメンバは、ユーザーの認証入力を入力する権限を与えられることがあり、表示デバイスは、家族の各メンバからの入力を認識するように構成され得る。さらに、異なる許可が、画像データ、音声データなどから判定されるものとしての家族メンバ識別に基づき、家族の各メンバに適用され得る。別の例で、ユーザーは、複数の人々によって行われる入力を介して認証され得る。たとえば、認証が、機密情報へのアクセスを認可するために使用される場合、情報を監督する別の信頼された人からの検証が、ユーザーを認証するためのユーザーの認証入力（複数可）とともに使用され得る。   [0051] In some embodiments, the authentication input is specific to an individual user. In other embodiments, the same set of authentication inputs can be used by multiple users. For example, a member of the user's family may be authorized to enter the user's authentication input, and the display device may be configured to recognize the input from each member of the family. Further, different permissions may be applied to each member of the family based on family member identification as determined from image data, audio data, and the like. In another example, the user may be authenticated via input made by multiple people. For example, if authentication is used to authorize access to sensitive information, verification from another trusted person who oversees the information, along with the user's authentication input (s) to authenticate the user Can be used.

[0052]いくつかの実施形態で、前述の方法およびプロセスは、１つまたは複数のコンピューティングデバイスのコンピューティングシステムに関係し得る。具体的には、そのような方法およびプロセスは、コンピュータアプリケーションプログラムまたはサービス、アプリケーションプログラミングインターフェース（ＡＰＩ）、ライブラリ、および／または他のコンピュータプログラム製品として実装され得る。   [0052] In some embodiments, the methods and processes described above may relate to a computing system of one or more computing devices. In particular, such methods and processes may be implemented as computer application programs or services, application programming interfaces (APIs), libraries, and / or other computer program products.

[0053]図７は、前述の方法およびプロセスのうちの１つまたは複数を成立させることができるコンピューティングシステム７００の非限定的一実施形態を概略的に示す。表示デバイス１０４は、コンピューティングシステム７００の１つの非限定的例でもよい。コンピューティングシステム７００は、簡易化された形で示される。実質的にいかなるコンピュータアーキテクチャも、本開示の範囲を逸脱することなしに使用され得ることが、理解されよう。異なる実施形態で、コンピューティングシステム７００は、表示デバイス、ウェアラブルコンピューティングデバイス、メインフレームコンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、家庭用娯楽コンピュータ、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス（たとえば、スマートフォン）などの形をとることができる。   [0053] FIG. 7 schematically illustrates a non-limiting embodiment of a computing system 700 that can implement one or more of the methods and processes described above. Display device 104 may be one non-limiting example of computing system 700. The computing system 700 is shown in a simplified form. It will be appreciated that virtually any computer architecture can be used without departing from the scope of the present disclosure. In different embodiments, the computing system 700 is a display device, wearable computing device, mainframe computer, server computer, desktop computer, laptop computer, tablet computer, home entertainment computer, network computing device, gaming device, mobile It may take the form of a computing device, a mobile communication device (eg, a smartphone), etc.

[0054]コンピューティングシステム７００は、論理サブシステム７０２および記憶サブシステム７０４を含む。コンピューティングシステム７００は、任意選択で、表示サブシステム７０６、入力サブシステム７０８、通信サブシステム７１０、および／または図７に示さない他のコンポーネントを含み得る。   [0054] Computing system 700 includes a logical subsystem 702 and a storage subsystem 704. The computing system 700 may optionally include a display subsystem 706, an input subsystem 708, a communication subsystem 710, and / or other components not shown in FIG.

[0055]論理サブシステム７０２は、命令を実行するように構成された１つまたは複数の物理的デバイスを含む。たとえば、論理サブシステムは、１つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造体、または他の論理的構成体の部分である命令を実行するように構成され得る。そのような命令は、タスクを実行する、データタイプを実装する、１つまたは複数のコンポーネントの状態を変換する、または所望の結果に他の方法で到達するために実装され得る。   [0055] The logical subsystem 702 includes one or more physical devices configured to execute instructions. For example, a logical subsystem may be configured to execute instructions that are part of one or more applications, services, programs, routines, libraries, objects, components, data structures, or other logical constructs. . Such instructions may be implemented to perform tasks, implement data types, transform the state of one or more components, or otherwise reach a desired result.

[0056]論理サブシステムは、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサを含み得る。加えてまたは代替で、論理サブシステムは、ハードウェアまたはファームウェア命令を実行するように構成された１つまたは複数のハードウェアまたはファームウェア論理マシンを含み得る。論理サブシステムのプロセッサは、シングルコアもしくはマルチコアでもよく、そこで実行されるプログラムは、順次、並列または分散処理のために構成され得る。論理サブシステムは、任意選択で、遠隔に置かれたおよび／または調整された処理のために構成され得る２つ以上のデバイスの間に分散された個々のコンポーネントを含み得る。論理サブシステムの態様は、クラウドコンピューティング構成で構成された、遠隔でアクセス可能な、ネットワークコンピューティングデバイスによって、仮想化および実行することができる。   [0056] The logical subsystem may include one or more processors configured to execute software instructions. In addition or alternatively, the logical subsystem may include one or more hardware or firmware logical machines configured to execute hardware or firmware instructions. The processor of the logical subsystem may be single-core or multi-core, and the program executed there may be configured for sequential, parallel or distributed processing. The logical subsystem may optionally include individual components distributed between two or more devices that may be configured for remotely located and / or coordinated processing. Aspects of the logical subsystem can be virtualized and executed by a remotely accessible network computing device configured in a cloud computing configuration.

[0057]記憶サブシステム７０４は、本明細書に記載の方法およびプロセスを実装するために、データおよび／または論理サブシステムによって実行可能な命令を保持するように構成された１つまたは複数の物理的、非一時的、デバイスを含む。そのような方法およびプロセスが実装されるとき、記憶サブシステム７０４の状態は、たとえば異なるデータを保持するために、変換され得る。   [0057] The storage subsystem 704 is one or more physical units configured to hold instructions executable by the data and / or logical subsystems to implement the methods and processes described herein. , Non-temporary, including devices. When such methods and processes are implemented, the state of the storage subsystem 704 can be converted, eg, to hold different data.

[0058]記憶サブシステム７０４は、取外し可能な媒体および／または組込みデバイスを含み得る。記憶サブシステム７０４は、とりわけ、光メモリ素子（たとえば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｅｌｍ−Ｒａｙディスクなど）、半導体メモリ素子（たとえば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）、および／または磁気メモリ素子（たとえば、ハードディスクドライブ、フロッピディスクドライブ、テープドライブ、ＭＲＡＭなど）を含み得る。記憶サブシステム７０４は、揮発性、非揮発性、動的、静的、読取り／書込み、読取り専用、ランダムアクセス、順次アクセス、位置アドレス可能、ファイルアドレス可能、および／または内容アドレス可能なデバイスを含み得る。   [0058] The storage subsystem 704 may include removable media and / or embedded devices. The storage subsystem 704 includes, among other things, optical memory elements (eg, CD, DVD, HD-DVD, Elm-Ray disk, etc.), semiconductor memory elements (eg, RAM, EPROM, EEPROM, etc.), and / or magnetic memory elements (eg, Hard disk drive, floppy disk drive, tape drive, MRAM, etc.). Storage subsystem 704 includes volatile, non-volatile, dynamic, static, read / write, read-only, random access, sequential access, location addressable, file addressable, and / or content addressable devices. obtain.

[0059]記憶サブシステム７０４は、１つまたは複数の物理的、非一時的デバイスを含むことが、理解されよう。しかし、いくつかの実施形態で、本明細書に記載の命令の態様は、有限持続期間にわたり物理的デバイスによって保持されないきれいな信号（たとえば、電磁気信号、光信号など）によって一時的な方法で伝搬され得る。さらに、本開示に関するデータおよび／または他の形の情報は、きれいな信号によって伝搬され得る。   [0059] It will be appreciated that the storage subsystem 704 includes one or more physical, non-transitory devices. However, in some embodiments, aspects of the instructions described herein are propagated in a temporal manner by clean signals (eg, electromagnetic signals, optical signals, etc.) that are not held by physical devices for a finite duration. obtain. Further, data and / or other forms of information regarding the present disclosure may be propagated by clean signals.

[0060]いくつかの実施形態で、論理サブシステム７０２のおよび記憶サブシステム７０４の態様は、それを介して本明細書に記載の機能が成立することができる１つまたは複数のハードウェア論理コンポーネントにともに統合され得る。そのようなハードウェア論理コンポーネントは、たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラムおよび特定用途向け集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラムおよび特定用途向け規格品（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）システム、および複合プログラマブル論理デバイス（ＣＰＬＤ）を含み得る。   [0060] In some embodiments, aspects of logical subsystem 702 and storage subsystem 704 may include one or more hardware logical components through which the functions described herein may be implemented. Can be integrated together. Such hardware logic components include, for example, field programmable gate arrays (FPGAs), application specific and application specific integrated circuits (PACIC / ASIC), application specific and application specific products (PSSP / ASSP), system on chip. (SOC) systems, and complex programmable logic devices (CPLDs).

[0061]「プログラム」という用語は、特定の機能を実行するために実装されたコンピューティングシステム７００の一態様を説明するために使用され得る。ある場合には、プログラムは、記憶サブシステム７０４によって保持された命令を実行する論理サブシステム７０２を介してインスタンス化され得る。様々なプログラムが同じアプリケーション、サービス、符号ブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数などからインスタンス化され得ることが、理解されよう。同様に、同プログラムが、異なるアプリケーション、サービス、符号ブロック、オブジェクト、ルーチン、ＡＰＩ、関数などによってインスタンス化され得る。「プログラム」という用語は、個々の実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベース記録など、またはそれらのグループを包含し得る。   [0061] The term “program” may be used to describe one aspect of a computing system 700 implemented to perform a particular function. In some cases, the program may be instantiated via a logical subsystem 702 that executes instructions held by the storage subsystem 704. It will be appreciated that various programs can be instantiated from the same application, service, code block, object, library, routine, API, function, and the like. Similarly, the same program can be instantiated by different applications, services, code blocks, objects, routines, APIs, functions, etc. The term “program” may encompass individual executable files, data files, libraries, drivers, scripts, database records, etc., or groups thereof.

[0062]本明細書で「サービス」という用語は、複数のユーザーセッションにわたり実行可能なアプリケーションプログラムであることが、理解されよう。サービスは、１つまたは複数のシステムコンポーネント、プログラム、および／または他のサービスに使用可能であり得る。いくつかの実装形態で、サービスは、１つまたは複数のサーバ−コンピューティングデバイスで稼働し得る。   [0062] It will be appreciated that the term "service" herein is an application program that can be executed across multiple user sessions. A service may be available for one or more system components, programs, and / or other services. In some implementations, the service may run on one or more server-computing devices.

[0063]含まれるとき、表示サブシステム７０６は、記憶サブシステム７０４によって保持されるデータの視覚的表現を提示するために使用され得る。この視覚的表現は、グラフィカルユーザーインターフェース（ＧＵＩ）の形をとることができる。本明細書に記載の方法およびプロセスが、記憶サブシステムによって保持されたデータを変更し、それによって、記憶サブシステムの状態を変換するとき、表示サブシステム７０６の状態は、同様に、基礎となるデータでの変更を視覚的に表すように変換され得る。表示サブシステム７０６は、実質的にいかなるタイプの技術も使用する１つまたは複数の表示デバイスを含み得る。そのような表示デバイスは、共用格納装置内の論理サブシステム７０２および／または記憶サブシステム７０４と結合させることができ、またはそのような表示デバイスは、周辺表示デバイスでもよい。   [0063] When included, the display subsystem 706 may be used to present a visual representation of the data maintained by the storage subsystem 704. This visual representation can take the form of a graphical user interface (GUI). When the methods and processes described herein change the data held by the storage subsystem, thereby converting the state of the storage subsystem, the state of the display subsystem 706 is similarly underlying. It can be converted to visually represent changes in the data. Display subsystem 706 may include one or more display devices that use virtually any type of technology. Such a display device can be coupled to the logical subsystem 702 and / or storage subsystem 704 in the shared storage, or such a display device can be a peripheral display device.

[0064] 入力サブシステム７０８は、含まれるとき、キーボード、マウス、タッチ画面、またはゲームコントローラなどの１つまたは複数のユーザー入力デバイスを有し得る、あるいはそれとインターフェースすることができる。いくつかの実施形態で、入力サブシステムは、選択された自然なユーザー入力（ＮＵＩ）構成部品を備え得る、またはそれとインターフェースすることができる。そのような構成部品は、統合されるもしくは周辺装置でもよく、入力アクションの変換および／または処理は、ボード上でまたはボード外で処理され得る。例示的ＮＵＩ構成部品は、発話および／または音声認識のためのマイクロフォン、マシンビジョンおよび／またはジェスチャ認識のための赤外線、色、立体、および／または深度カメラ、運動検出および／または意図認識のための頭部トラッカ、目トラッカ、加速度計、および／またはジャイロスコープ、ならびに脳活動を評価するための電場感知構成部品を含み得る。   [0064] When included, the input subsystem 708 may have or interface with one or more user input devices such as a keyboard, mouse, touch screen, or game controller. In some embodiments, the input subsystem may comprise or interface with selected natural user input (NUI) components. Such components may be integrated or peripheral devices, and input action conversion and / or processing may be processed on board or off board. Exemplary NUI components include microphones for speech and / or speech recognition, infrared, color, stereo, and / or depth cameras for machine vision and / or gesture recognition, for motion detection and / or intention recognition A head tracker, eye tracker, accelerometer, and / or gyroscope, and an electric field sensing component for assessing brain activity may be included.

[0065]含まれるとき、通信サブシステム７１０は、コンピューティングシステム７００を１つまたは複数の他のコンピューティングデバイスと通信でつなぐように構成され得る。通信サブシステム７１０は、１つまたは複数の異なる通信プロトコルと互換性のあるワイヤードおよび／またはワイヤレス通信デバイスを含み得る。非限定的例として、通信サブシステムは、ワイヤレス電話ネットワーク、またはワイヤードもしくはワイヤレスローカルもしくはワイドエリアネットワークを介する通信のために構成され得る。いくつかの実施形態で、通信サブシステムは、コンピューティングシステム７００がインターネットなどのネットワークを介して、他のデバイスに、および／または他のデバイスから、メッセージを送信および／または受信できるようにすることができる。   [0065] When included, the communications subsystem 710 may be configured to communicate the computing system 700 with one or more other computing devices. Communication subsystem 710 may include wired and / or wireless communication devices that are compatible with one or more different communication protocols. As a non-limiting example, the communication subsystem may be configured for communication over a wireless telephone network, or a wired or wireless local or wide area network. In some embodiments, the communication subsystem enables the computing system 700 to send and / or receive messages to and / or from other devices over a network such as the Internet. Can do.

[0066]本明細書に記載の構成および／または手法は、実際は例示であり、多数の変形形態が可能であるので、これらの特定の実施形態または例は限定的な意味で考えられるべきではないことが、理解されよう。本明細書に記載の特定のルーチンまたは方法は、任意の数の処理戦略のうちの１つまたは複数を表し得る。そのようなものとして、図示および／または記載された様々な動作は、図示および／または記載された順番列で、他の順番列で、並行して、または省略して、実行され得る。同様に、前述のプロセスの順番は、変更することができる。   [0066] Since the configurations and / or techniques described herein are illustrative in nature and many variations are possible, these specific embodiments or examples should not be considered in a limiting sense. It will be understood. Particular routines or methods described herein may represent one or more of any number of processing strategies. As such, various operations illustrated and / or described may be performed in the order shown and / or described, in other sequences, in parallel, or omitted. Similarly, the order of the aforementioned processes can be changed.

[0067]本開示の対象は、様々なプロセス、システムおよび構成のすべての新しいおよび非自明の組合せおよび部分的組合せと、本明細書で開示される他の特徴、機能、動作、および／または特性、ならびに、それらの任意のおよびすべての均等物を含む。   [0067] The subject matter of this disclosure is all new and non-obvious combinations and subcombinations of various processes, systems and configurations, as well as other features, functions, operations, and / or characteristics disclosed herein. And any and all equivalents thereof.

１００ 環境
１０２ ユーザー視界
１０４ 表示デバイス
１０６ ユーザー
１０８ 本棚
１１０ 扉
１１２ 窓
１１４ ソファ
１１６ ボウル
１１８ 月
１２０ 犬
１２２ 頭
１２４ 尾
２００ ユーザー視界
２０２ タイムライン
２１０ 第１のセットの拡張現実機能
２２０ 第２のセットの拡張現実機能
３００ 表示システム
３０２ レンズ
３０４ 表示サブシステム
３０６ 画像センサ
３０８ マイクロフォン
３１０ 注視検出サブシステム
３１２ 閃光源
３１４ 画像センサ
３１６ グローバルポジショニング（ＧＰＳ）サブシステム
３１８ 運動センサ
３２０ コントローラ
３２２ 論理サブシステム
３２４ データ保持サブシステム
５０６ 慣性運動センサ
５０８ アイトラッキングセンサシステム
７００ コンピューティングシステム
７０２ 論理サブシステム
７０４ 記憶サブシステム
７０６ 表示サブシステム
７０８ 入力サブシステム
７１０ 通信サブシステム 100 environment 102 user view 104 display device 106 user 108 bookshelf 110 door 112 window 114 sofa 116 bowl 118 month 120 dog 122 head 124 tail 200 user view 202 timeline 210 first set of augmented reality functions 220 second set of extensions Real Functions 300 Display System 302 Lens 304 Display Subsystem 306 Image Sensor 308 Microphone 310 Gaze Detection Subsystem 312 Flash Light Source 314 Image Sensor 316 Global Positioning (GPS) Subsystem 318 Motion Sensor 320 Controller 322 Logic Subsystem 324 Data Retention Subsystem 506 Inertial motion sensor 508 Eye tracking sensor system 700 Computing system 702 Logic sub System 704 storage subsystem 706 display subsystem 708 input subsystem 710 communication subsystem

Claims (20)

表示デバイスを備えるコンピューティングシステムのユーザーを認証するための方法であって、
１つまたは複数の仮想画像を前記表示デバイスで表示するステップであって、拡張現実機能のセットが、前記１つまたは複数の仮想画像と、前記ユーザーの視界内の１つまたは複数の実際のオブジェクトとを含む、ステップと、
前記コンピューティングシステムのセンサから受信されたデータを介して前記ユーザーの１つまたは複数の動きを識別するステップと、
前記ユーザーの識別された前記動きを、ユーザー認証を前記拡張現実機能の所定の順番にリンクする前記ユーザーの認証情報の所定のセットと比較するステップと、
識別された前記動きが、前記ユーザーが前記所定の順番で前記拡張現実機能を選択したことを示すときに、前記ユーザーを認証するステップと、
識別された前記動きが、前記ユーザーが前記所定の順番で前記拡張現実機能を選択しなかったことを示すときに、前記ユーザーを認証しないステップと
を含む方法。 A method for authenticating a user of a computing system comprising a display device, comprising:
Displaying one or more virtual images on the display device, wherein the set of augmented reality functions includes the one or more virtual images and one or more actual objects in the user's field of view. Including steps, and
Identifying one or more movements of the user via data received from sensors of the computing system;
Comparing the identified movement of the user with a predetermined set of user authentication information linking user authentication in a predetermined order of the augmented reality functions;
Authenticating the user when the identified movement indicates that the user has selected the augmented reality function in the predetermined order;
Not authenticating the user when the identified movement indicates that the user has not selected the augmented reality function in the predetermined order. 請求項１に記載の方法であって、前記センサは慣性運動センサを含み、前記データは慣性運動データを含む、方法。   The method of claim 1, wherein the sensor comprises an inertial motion sensor and the data comprises inertial motion data. 請求項１に記載の方法であって、前記センサはアイトラッキングセンサシステムを含み、前記データは目の動きのデータを含む、方法。   The method of claim 1, wherein the sensor comprises an eye tracking sensor system and the data comprises eye movement data. 請求項１に記載の方法であって、前記拡張現実機能の前記所定の順番は、ユーザー選択である、方法。   The method of claim 1, wherein the predetermined order of the augmented reality functions is user selection. 請求項１に記載の方法であって、前記１つまたは複数の仮想画像は、前記ユーザーが認証されるたびに同様の位置で表示される、方法。   The method of claim 1, wherein the one or more virtual images are displayed at a similar location each time the user is authenticated. 請求項１に記載の方法であって、前記１つまたは複数の仮想画像は、様々な認証セッションで様々な位置に表示される、方法。   The method of claim 1, wherein the one or more virtual images are displayed at various locations in various authentication sessions. 請求項１に記載の方法であって、前記ユーザーの識別された動きが、ある拡張現実機能と関連付けられた動きに一致するときに、前記ユーザーが当該拡張現実機能を選択したという指示を出力するステップをさらに含む方法。   The method of claim 1, wherein when the identified movement of the user matches a movement associated with an augmented reality function, an indication that the user has selected the augmented reality function is output. The method further comprising a step. 請求項１に記載の方法であって、前記ユーザーが前記所定の順番で拡張現実機能を選択した信頼度を反映する信頼性スコアを求めるステップをさらに含む方法。   The method of claim 1, further comprising determining a reliability score that reflects the reliability with which the user has selected augmented reality functions in the predetermined order. 請求項８に記載の方法であって、前記信頼性スコアが閾値よりも大きいときに、前記ユーザーを認証するステップと、前記信頼性スコアが前記閾値に満たないときに、前記ユーザーを認証しないステップとをさらに含む方法。   9. The method of claim 8, wherein the user is authenticated when the reliability score is greater than a threshold, and the user is not authenticated when the reliability score is less than the threshold. And a method further comprising: 請求項９に記載の方法であって、前記閾値は、前記ユーザーの位置に基づく、方法。   The method of claim 9, wherein the threshold is based on the location of the user. 請求項９に記載の方法であって、前記閾値は、拡張現実機能の数に基づき変化する、方法。   The method of claim 9, wherein the threshold varies based on the number of augmented reality functions. 頭部搭載型ディスプレイデバイスのユーザーを認証するための方法であって、
１つまたは複数の仮想画像を前記頭部搭載型ディスプレイデバイスに表示するステップであって、拡張現実機能のセットが、前記１つまたは複数の仮想画像と、前記ユーザーの視界内の１つまたは複数の実際のオブジェクトとを含む、ステップと、
前記ユーザーの１つまたは複数の動きを、前記頭部搭載型ディスプレイデバイスのセンサを介して識別するステップと、
前記ユーザーの識別された前記動きを、前記拡張現実機能の所定の順番に関連付けられた期待された動きの所定のセットと比較するステップと、
信頼性スコアを識別された前記動きに割り当てるステップであって、前記信頼性スコアは、前記ユーザーが前記所定の順番で前記拡張現実機能を選択したことの、識別された前記動きと期待された動きの前記セットとの間の差に基づく信頼度を反映する、ステップと、
前記信頼性スコアが閾値よりも大きいときに、前記ユーザーを認証するステップと、
前記信頼性スコアが前記閾値に満たないときに、前記ユーザーを認証しないステップと
を含む方法。 A method for authenticating a user of a head mounted display device,
Displaying one or more virtual images on the head-mounted display device, wherein a set of augmented reality functions includes the one or more virtual images and one or more in the user's field of view. A step including the actual object of
Identifying one or more movements of the user via a sensor of the head mounted display device;
Comparing the identified movement of the user with a predetermined set of expected movements associated with a predetermined order of the augmented reality functions;
Assigning a confidence score to the identified motion, wherein the confidence score is the identified motion and the expected motion of the user selecting the augmented reality function in the predetermined order. Reflecting a confidence level based on a difference between said set of:
Authenticating the user when the confidence score is greater than a threshold;
Not authenticating the user when the confidence score is less than the threshold. 請求項１２に記載の方法であって、前記センサは、慣性運動センサとアイトラッキングセンサとのうちの一方又は双方を含み、様々な認証セッションで前記仮想画像の位置が変わると、前記期待された動きは変わる、方法。   13. The method of claim 12, wherein the sensor includes one or both of an inertial motion sensor and an eye tracking sensor, and the expected when the position of the virtual image changes in various authentication sessions. Movement changes, way. 請求項１２に記載の方法であって、前記閾値は、前記ユーザーの位置に基づき、異なる閾値を異なる位置に適用するステップをさらに含む方法。   The method of claim 12, further comprising applying a different threshold to a different location based on the user's location. 請求項９又は１２に記載の方法であって、前記閾値は、前記ユーザーの前記１つまたは複数の動きを識別する、前記センサの決定された能力に基づく、方法。   13. A method according to claim 9 or 12, wherein the threshold is based on the determined ability of the sensor to identify the one or more movements of the user. ディスプレイデバイスと、
プロセッサと、
命令を記憶したストレージデバイスと
を備えたコンピューティングシステムであって、前記命令は、前記プロセッサに、
１つまたは複数の仮想画像を前記ディスプレイデバイスに表示することであって、拡張現実機能のセットが、前記１つまたは複数の仮想画像と、視界内の１つまたは複数の実際のオブジェクトとを含む、ことと、
ユーザーの１つまたは複数の動きを、前記コンピューティングシステムのセンサから受けたデータを介して識別することと、
前記ユーザーの識別された前記動きを、ユーザー認証を前記拡張現実機能の所定の順番にリンクする前記ユーザーの認証情報の所定のセットと比較することと、
識別された前記動きが、前記ユーザーが前記所定の順番で前記拡張現実機能を選択したことを示すときに、前記ユーザーを認証することと、
識別された前記動きが、前記ユーザーが前記所定の順番で前記拡張現実機能を選択しなかったことを示すときに、前記ユーザーを認証しないことと
を行わせる、コンピューティングシステム。 A display device;
A processor;
A storage device storing instructions, wherein the instructions are sent to the processor,
Displaying one or more virtual images on the display device, wherein the set of augmented reality features includes the one or more virtual images and one or more actual objects in view; , That,
Identifying one or more movements of a user via data received from sensors of the computing system;
Comparing the identified movement of the user with a predetermined set of user authentication information linking user authentication in a predetermined order of the augmented reality functions;
Authenticating the user when the identified movement indicates that the user has selected the augmented reality function in the predetermined order;
A computing system, wherein when the identified movement indicates that the user has not selected the augmented reality function in the predetermined order, the user is not authenticated. 請求項１６に記載のコンピューティングシステムであって、前記センサは慣性運動センサを含み、前記データは慣性運動データを含む、コンピューティングシステム。   17. The computing system of claim 16, wherein the sensor includes an inertial motion sensor and the data includes inertial motion data. 請求項１６に記載のコンピューティングシステムであって、前記センサはアイトラッキングセンサシステムを含み、前記データは目の動きのデータを含む、コンピューティングシステム。   17. The computing system of claim 16, wherein the sensor comprises an eye tracking sensor system and the data comprises eye movement data. 請求項１６に記載のコンピューティングシステムであって、前記命令は、前記プロセッサに、前記１つまたは複数の仮想画像を、前記ユーザーが認証されるたびに同様の位置で表示することをさせる、コンピューティングシステム。   17. The computing system of claim 16, wherein the instructions cause the processor to display the one or more virtual images at a similar location each time the user is authenticated. System. 請求項１６に記載のコンピューティングシステムであって、前記命令は、前記プロセッサに、前記１つまたは複数の仮想画像を、様々な認証セッションで様々な位置に表示することをさせる、コンピューティングシステム。   17. The computing system of claim 16, wherein the instructions cause the processor to display the one or more virtual images at various locations in various authentication sessions.

Images