JP6757404B2 - シースルー・グラス用の補助アイテム選択 - Google Patents

Description

本開示は一般に、拡張現実インタラクティブ・システムに関し、より詳細には、シースルー・グラスを使用する拡張現実インタラクティブ・システムに関する。

このセクションは、技術の様々な態様を読者に紹介するものであり、これらの態様は、以下で説明され、かつ／または特許請求の範囲に記載されている本発明の様々な態様に関連していてもよい。理解がさらに進むよう、読者に背景情報を提示する際に、この考察が有益であると考えられる。したがって、こうした説明は、この観点から読むべきであり、従来技術を認めるものとして読むべきではないことを理解されたい。

拡張現実（ＡＲ）システムは、１つまたは複数の拡張された要素がコンピュータで生成される、現実シーンの統合ライブ・ビューを提供する没入型環境を作成する。ＡＲシステムは、音声、ビデオ、グラフィックス、におい、触覚のフィードバック、または他のこうしたデータなどの感覚入力を組み込む。このようにして、デジタル操作およびデジタル処理を介して、ユーザが利用可能な現実の世界の情報をさらに改善することができ、またデジタル的に機能強化された構成要素によって、ユーザの環境およびその周囲の対象物をオーバレイすることができる。近年、ユーザが身につける拡張現実システムが、その可搬性および使いやすさによって人気を博してきている。シースルー・グラスまたはスマート・グラスが、このようなシステムの最も普及している形態の１つである。残念ながら、こうしたグラスのユーザは多くの問題に遭遇してきており、それというのも、ユーザの使用を可能にする技術に欠点があるからである。たとえば、多くのグラスは、ユーザがそのグラスを通して指定角度で見るときにしかうまく機能しない。特に、各対象物が完全または部分的に互いを遮る場合は、やはりユーザ入力を提供することが困難であった。スマート・グラスの機能が制限されているので、他の深刻な問題も存在する。

したがって、最適化された方式で正確なデータを提供し、ユーザ入力を処理することが重要であり、これによって、非常に優れた没入型体験をユーザに提供する。

拡張現実（ＡＲ）のインタラクティブ・システムおよび方法が提示される。一実施形態では、このシステムは、ユーザ入力を受信するように構成されたヘッドマウント型のユーザ・インターフェース、ユーザ入力に基づいてデータを管理するように構成されたプロセッサ、カメラ、および表示装置を備える。プロセッサを介して、ヘッドマウント型のユーザ・インターフェースと同様に、カメラと表示装置は互いに通信している。プロセッサは、センサの出力に基づいてユーザの視野およびユーザの視野の中央を決定し、表示装置に出力するための画像をレンダリングするように構成される。画像のそれぞれは、１つまたは複数の対象物および複数の標識を含み、この標識のそれぞれが、ユーザの視野内の選択可能な対象物に対応する。画像のレンダリングは、ユーザの視野が所与の標識の中央にあると判定されることに基づいて、表示された複数の標識のうち所与の標識の第１の表示属性を改変することを含む。プロセッサも、閾値を超える一定の時間において、ユーザの視野が所与の標識の中央にとどまっていると判定されることに基づいて、所与の標識を選択するように動作する。

別の実施形態では、ユーザ入力を受信するように構成されたユーザ・インターフェースを有する拡張現実ヘッドマウント型のユーザ・インターフェースを使用するアイテム選択の方法が提供され、この方法は、プロセッサを介してユーザの視野およびユーザの視野の中央を決定すること、ならびに表示装置に出力するための画像をレンダリングすることを含み、前記画像はそれぞれ、１つまたは複数の対象物、およびユーザの視野内の選択可能な対象物にそれぞれ対応する複数の標識を含み、画像のレンダリングは、ユーザの視野が所与の標識の中央にあると判定されることに基づいて、表示された複数の標識のうち所与の標識の第１の表示属性を改変することを含む。この方法も、閾値を超える一定の時間において、ユーザの視野が所与の標識の中央にとどまっていると判定されることに基づいて、所与の標識を選択することを含む。

さらに別の実施形態では、音声、動き、またはタッチの形態でユーザを受信するユーザ・インターフェース手段、ならびに前記ユーザ・インターフェース手段およびプロセッサとの通信を処理する際に、画像を表示する手段を含む、拡張現実（ＡＲ）インタラクティブ・システムが提供される。プロセッサは、センサの出力に基づいてユーザの視野およびユーザの視野の中央を決定すること、ならびに表示装置に出力するための画像をレンダリングすることを実行するように動作し、それぞれの画像は、１つまたは複数の対象物、およびユーザの視野内の選択可能な対象物にそれぞれ対応する複数の標識を含み、画像のレンダリングは、ユーザの視野が所与の標識の中央にあると判定されることに基づいて、表示された複数の標識のうち所与の標識の第１の表示属性を改変することを含む。プロセッサも、閾値を超える一定の時間において、ユーザの視野が所与の標識の中央にとどまっていると判定されることに基づいて、所与の標識を選択するように動作する。

本発明の各技法を用いて、追加の特徴および利点が実現される。本発明の他の実施形態および態様が、本明細書において詳細に記述され、特許請求される本発明の一部分とみなされる。利点および特徴とともに本発明をより良好に理解するために、説明および図面を参照されたい。

添付図を参照して、決して限定的ではない以下の実施形態および実行例によって、本発明がより良好に理解および例示されよう。

例示的な一実施形態による拡張現実（ＡＲ）インタラクティブ・システムを示す。 図１の実施形態に示すシステムなど、拡張現実インタラクティブ・システムを使用する、ユーザ・ビューの図を示す。 自動配置されて中央に収束する標識が、例示的な一実施形態による現実／仮想の対象物のシステムに通知する、ユーザ・ビューの図を示す。 アイテム選択トリガの直前のユーザを示す、一実施形態の図である。 図３Ａと同じだが、アイテム選択がトリガされた後の実施形態を示す。

図１〜３において、示された各図は、単に機能的な要素であって、物理的に別々の構成要素には必ずしも対応していない例を示す。すなわち、こうした構成要素は、ソフトウェア、ハードウェアの形態で開発することもでき、または、１つもしくは複数のプロセッサを含む、１つもしくはいくつかの集積回路で実装することもできる。

可能な限り、同じまたは同様の部分を指すために、各図全体を通して同じ参照番号を使用する。

本発明の各図および説明は、本発明を明確に理解するのに適切な要素を例示するよう簡略化されてきており、明確にするために、典型的なデジタル・マルチメディア・コンテンツ・デリバリの方法およびシステムで見られる、他の多くの要素を割愛してあることを理解されたい。しかし、このような要素は当技術分野でよく知られているので、本明細書においては、このような要素の詳細な議論をおこなわない。本明細書での開示は、このような全ての変形形態および修正形態を対象とする。

図１は、一実施形態による拡張現実（ＡＲ）インタラクティブ・システム１００を示したものである。この拡張現実インタラクティブ・システム１００は、ユーザ・インターフェースおよび表示装置と連動しているプロセッサ１４０を含む。図１のユーザ・インターフェースは、タッチ、音声、身体の動きなど、様々な形式でユーザ入力を受信できる様々な構成要素を含む。代替実施形態では、他のユーザ入力を追加することができ、または代替的に、そうした構成要素のうちの１つまたはサブセットを受け入れることができる。

図１の実施形態でのユーザ・インターフェースは、プロセッサ１４０を介して、タッチ・インタラクティブ区域１６０、センサ１７０、カメラ１５０、およびマイクロホン１８０と通信する、ヘッドマウント型のユーザ・インターフェース（ヘッドマウント装置とも呼ばれる）１１０を含む。一実施形態では、センサは、モーション・センサとすることができるが、他の実施形態では、このセンサは、光、熱、湿気に反応し、かつ／またはジャイロおよびコンパスの構成要素をも含む、様々なセンサのうちの１つとすることができる。

図１に示した例では、やはり互いに通信している複数のプロセッサ１４０が設けられている。一例として、各プロセッサが様々な区域に埋め込まれており、たとえばタッチ・インタラクション区域１６０に埋め込まれているものもあれば、ヘッドマウント型の構成要素１１０に埋め込まれているものもある。しかし、これは、ほんの一実施形態である。代替実施形態では、１つのプロセッサのみを使用することができ、このプロセッサは独立型でもよい。さらに、プロセッサは、他のコンピュータまたはコンピューティング環境、およびネットワークとの通信を処理することができる。図１では、カメラ１５０（ビデオ・カメラなど）およびマイクロホン１８０を使用して、拡張現実の画像および音声をユーザに提供することもできる。一実施形態では、マイクロホンは、プロセッサまたは処理システムに入力を供給することができる。１つまたは複数のスピーカ（すなわちラウドスピーカ）を使用して、改善された音声をユーザに提供して、没入型の拡張現実体験を高めることもできる。一実施形態では、スピーカは、ヘッドマウント型のユーザ・インターフェースに含まれていてもよく、または別々の要素として設けてもよく、または他の構成要素に取り付けてもよい。

図１の実施形態では、ヘッドマウント型のユーザ・インターフェース１１０は、１対のシースルー・グラスを含み、このシースルー・グラスはレンダリング画面１３０と呼ばれる画面を含む。一実施形態では、このグラスは、ユーザが装着している通常のグラスでもよく、レンダリング画面は、ＡＲシステム１００とともに使用するため、永久および／または一時的にグラスに付加してもよい。

ヘッドマウント型のユーザ・インターフェース、特にシースルー・グラスにより、正しく有効化された場合、適切なプライバシーと携帯性の両方をユーザに提供できるという利点がもたらされる。残念ながら、従来技術では依然として、これらのグラスが小さいタッチ区域または音声制御モードを必要とするという点で、従来のユーザ・インターフェース装置をこれらのグラスが使用する必要がある。仮に存在している場合、任意のジェスチャ認識機能が非常に基本的であるが、これは、ユーザ・フレンドリではない扱いにくいセットアップだらけだという大きな欠点がある。

図１の実施形態では、タッチ・インタラクション区域が設けられるが、これはほんの一例であり、構成要素は必要でない。実際、一実施形態では、任意のタッチ・インタラクション区域は必要ない。ユーザ・インターフェースは、音声、カメラ、または、モーション・センサなどの１つもしくは複数のセンサを用いて実現することができ、これらが有効化されて、扱いにくい追加セットアップなしにジェスチャを登録する。たとえば、ユーザには、仮想的にユーザ入力を提示することができ、ユーザは、同じバーチャル・リアリティ環境を共有していないものに、空中の存在していない物理的対象物をタイプ入力または指し示すように見えるよう、この物理的対象物を指し示すだけでもよい。別の実施形態では、キーボードがユーザの手に表示されてもよく、ユーザは、自分の他の指を使用して自分自身の手に押しつけて、このように選択することによって入力してもよい。

従来、コンピュータ、タブレットやスマートフォンなどのモバイル装置などのマルチメディア装置との、多くのユーザの対話が、キーボード、マウス、タッチ・スクリーンなどのユーザ・インターフェースによって実行される。技術が改良されるにつれて、これらのインタラクション・モードによっては、魅力のないまたは扱いにくいものになる場合がある。たとえば、ユーザが旅行している間は、移動の自由が重要であるが、従来のユーザ・インターフェースおよびユーザ接続が必ずしも利用可能になるとは限らない。可搬性の観点から、音声コマンドが、ユーザ入力を提供する魅力的な手段であるが、プライバシーが最も重要な問題である状況において、音声コマンドにはある種の欠点がある。他の状況では、音声コマンドを使用しているとき、対象物を区別するのに一見類似した様々な異なることが、問題を起こす場合もある。

専用のタッチ区域を選択することも、それ自体の課題を提示する。最大の可搬性を実現するため、タッチ区域のサイズは、最小限に保っておかなければならない。たとえば、タッチ区域は、グラスの柄に配置するように設計してもよい。このような区域を相対的に小さく保とうとすることにより、タッチの位置が都合悪く配置されることになり、または、このサイズによって、多くの用途で必要となるポインタの移動を制御する機能を制限することにもなる。さらに、これが、ユーザの視野に影響を及ぼし、この視野を非常に狭く保つことにもなる（すなわち、現状の従来技術では３０°以下）。この理由は、拡張現実環境の視野が、シースルー・グラスを通して見える残りの（実際の）シーンに対して確定されることである。最終的な結果として、ユーザがそうした小さい区域の外側を指し示すことはできず、ユーザが見ているもののほとんどを制限しない（最終的に頭を動かすことなく指し示すことができない）。

一実施形態では、ヘッドマウント型のユーザ・インターフェース１１０は、マイクロホン、ビデオ・カメラ、タッチ・インタラクション区域、レンダリング画面、スピーカなど、議論された構成要素を収容するかまたは物理的に接続するように製造することができる。これらの構成要素のいくつかは、別々に設けてもよいが、実施形態によっては、都合よく１つのハウジング・ユニットに設けてもよい。たとえば、タッチ・インタラクション区域１６０は、取付け具１６５を用いてヘッドマウント型のユーザ・インターフェース１１０に取り付けることができる。実施形態によっては、この取付け具は格納式とすることができ、インタラクション区域自体は、ヘッドマウント型のユーザ・インターフェース１１０内の相補的な区画に設けてもよい。これにより、使用する必要があるとき、タッチ区域が適切なフットプリントを有することが可能になる。一実施形態では、たとえば、タッチ区域は、必要でないときは折り畳んで、ヘッドマウント型のユーザ・インターフェース内に配置してもよい。

あるいは、当業者には理解できるように、他の実施形態では、構成要素のいくつかを接続または連結または収容してもよい。他の実施形態は、当業者には理解できるように、追加の構成要素および複数のプロセッサ、コンピュータ、表示装置、センサ、光学装置、投影システム、ならびに入力装置を使用することができ、これらは互いの通信を処理している。１つまたは複数のカメラ、微小機械装置（ＭＥＭＳ）、およびＧＰＳまたはソリッドステートのコンパスを含んでもよい、スマートフォンおよびタブレットなどのモバイル装置を使用してもよい。先に指摘したように、一例として図１が示してあるが、代替実施形態では、各構成要素を置換および追加または削除して、特定の選択の好みおよび／または要望に対処することができる。さらに、１つの構成要素を置換して、同様の機能をもたらすものと仮定することができる。たとえば、タッチ・インタラクション区域１６０を、携帯電話またはタブレットなどのモバイル装置と置換して、１つまたは複数のプロセッサを提供してもよい。やはりグラスに関して先に指摘したように、この互換性により、ユーザは、他の通常の使用とともに使用される日常の対象物および装置をシステム１００に組み込んで、完全な利点または使い勝手および可搬性を手に入れることができる。さらに、当業者には理解できるように、ヘッドマウント型のユーザ・インターフェース１６０は、プライベート画面を埋め込むか、特殊レンズを介してユーザがこのプライベート画面を見ることができるようにする多くの選択肢のうちの１つとすることができ、またヘッドマウント・ディスプレイ（ＨＭＤ）、ヘッドセット、ハーネス、ヘルメット、または他のウェアラブルおよび非ウェアラブルの構成の一部でもよい。別の選択肢では、当業者には理解できるように、物理的に接続されていなくてもよい構成要素もあれば、または選択的にそのサブセットが物理的に接続されていてもよい。

図１の実施形態に戻って参照すると、図１で使用されるセンサ１７０、レンダリング画面または表示装置１３０、マイクロホンおよびカメラ１５０はともに、物理的な世界の容量でユーザに仮想情報を提示するように位置合せされており、ユーザの頭または体の動きに従って調整するのに応答して、没入型のモバイル体験を可能にする。さらに、図１の実施形態では、アイグラス１２０およびその表示装置１３０（レンダリング画面）は、現実の世界の視界を遮断するために、カメラ１５０、一実施形態ではビデオ・カメラを含むことができ、またこのカメラ１５０と通信し、その拡張された視界を、アイピースを通して再表示する。理解できるように、次いで、実際または仮想の画像を、アイウェアのレンズ片の表面を通して投影することができ、またはその表面で反射することができる。

シースルー・グラスは、シーンの現実の要素と追加の仮想の要素とを混在させることができるので、特に拡張現実技術に組み込むのに適している。しかし、問題は、（拡張現実）の視界の視野が非常に制限されることが多く、水平方向にはせいぜい３０°に過ぎないことである。図１の例では、このために、シースルー・グラスが１２０で示してあるが、他の実施形態では、当業者には理解できるように、他の同様の構成要素が使用される。図１の例では、シースルー・グラスは、図に示すようにビデオ・カメラ１５０を介して表示装置とビデオ・キャプチャ構成要素の両方を含む。一実施形態では、ビデオ・カメラ１５０を非常に小さくすることができるが、ユーザの目に近接した視点（ただし必ずしも同じではない）から実際のシーンの一部を取得することが可能である。一実施形態では、このグラスは、たとえば青色、緑色、および赤色のいくつかの層で構成されてもよく、１つまたは複数の光源をグラスの隣に設けて、ヘッドマウント型のユーザ・インターフェースまたはグラスに光を投影してもよい。一実施形態では、実際の深さおよび距離についてユーザを欺いて、現実のように見える仮想対象物を生成するように、光粒子を回折させるためにガラスの各層に小さい波状の溝を設けてもよい。

提示された問題は、視覚的構成要素が小さいフットプリントに提示される複雑な状況に対処しなければならない。ユーザ入力が何らかのハイレベルの対話を必要とするとき、互いに競合するこれらの対象物を選択することが困難になる。このような状況では、遮蔽またはポインタのサイズが小さいこと、もしくは他の同様の状況が原因で、対象物の選択が不適切になることで、先に述べた通りデータの管理がずさんになる。制限されたフットプリントについて互いに競合するこのような対象物のうちいくつかのうちの１つを精密に選択する状況では、ユーザ・インターフェースの選択が制限されることになる。ユーザが、もっぱらカメラ・アングルおよび描かれた画像の処理のみに基づいて、現実／仮想の対象物を指してもよい場合、この状況は、さらに一層複雑になる。この視点は、ユーザ自身の目の視点と必ずしも同じではないので、特に、非常に近い対象物か、それとも自己遮蔽の対象物が存在しているとき、タスクは、複雑な不在のシーンでエラーが起こりやすくなる。

別の問題は、正確な視線追跡システムの作製、および信頼性の高い注視追跡解析を実現するその能力である。従来技術の装置は、視界が非常に限られており、ハードウェアおよび専用の処理をさらに必要とする。これは、ユーザが、たとえば仮想のテーブルを見ていて、自分の頭を片側に傾けた場合に、このユーザはテーブル上で起きていたことのビューの半分を切り捨てることを意味する。実際、このような環境では、ユーザは、確実に自分の注視が常に中央にとどまるようにしなければならず、そうでなければ、テーブル上で起きていること全てを目にすることはないはずである。

あらゆる電子装置と同様に、ユーザにとっての移動の自由度を提供することと、提供可能な機能の可用性との間でバランスさせる必要がある。すなわち、グラスなどのヘッドマウント型ユニットと、リモート式でしばしば離れている処理ユニットとの間に取り付けられているケーブルを全く設けないことにより、有能電力の場合と同様にデータを伝送するための帯域幅が影響を受ける場合がある。したがって、移動の自由は保存されているにもかかわらず、帯域幅および電力制限によって、ユーザの視点から見た最終的な拡張現実体験が影響を受ける場合がある。さらに、シースルー・グラスまたは他のヘッドマウント型のユーザ・インターフェースを装着している間に、拡張現実の状況においてユーザが何らかの使用事例の対話をトリガできるようにすることが、他の理由で困難になる場合もある。たとえば、埋込み式センサ、特にコンパス、ジャイロスコープ、および他の同様の装置を組み込むセンサを使用して、グラスまたはヘッドマウント型ユニットの姿勢および向きを測定することが、必要とされる確度を実現しない場合がある。この理由は、ユーザがまっすぐ前方を見ていないときに、従来技術では、ユーザの視線の方向を推定するのに十分正確な方式を提供してこなかったことである。それをさらに一層複雑にすることに、ユーザがグラスまたは他の同様の手段を介して世界を見ていることから、ユーザのビューが歪む可能性があるので、取り付けられたカメラのビデオを使用することが、時として複雑になることがあり、必ずしも正確な結果をもたらさない場合がある。これらの対象物が、このようなグラスまたは他のアイテムを装着しているユーザの視点から計算された、これまでに推定された位置に応じて、影響を受けた位置でユーザに提示されることになるので、これによって、仮想の対象物をユーザに表示することに影響を及ぼす場合さえあり得る。

図２および図３に関連して以下に述べる一実施形態では、競合するフットプリントにおける対象物の選択に関連する問題は、補助アイテムをトリガできるようにすることによって解決される。以下に述べる図２および図３の実施形態では、これらの対象物、特にユーザの視点から見た対象物の任意の遮蔽を管理することによって、これら競合する対象物に関連する対話を容易にすることになる、現実または仮想の対象物を表す標識およびサムネイルの最適化されたレイアウトが提示される。さらに理解を深めるために、一例が図２Ａの表示に示してある。

図２Ａは、ユーザ２５０がヘッドマウント型ユーザ・インターフェース１１０を装着している場合の図を示しており、このユーザ・インターフェースは、この場合、１対のシースルー・グラス１２０を含むことができる。この例では、ユーザのグラスまたはヘッドマウント型のユーザ・インターフェースは、独立型の単一装置でもよく、または、１つもしくは複数のローカルもしくは遠隔のコンピューティング・ネットワークと通信している、相対的に大きくて洗練されたシステムの一部でもよい。図２Ａに示すシーンは、ユーザのビューを反映するものである。図に示すように、示してあるユーザのビューは、場合によっては家の内部からの生活空間を示し、テーブル／机および関連する椅子の部分的に遮られたビューを含む。このビューはまた、テーブル／机の上の置かれたボトルの画像を含んでおり、このボトルは、長椅子の前にあるように見える。いくつかの対象物は、関連する使用事例に続くこのようなシーンに追加することができる仮想の対象物でもよい。ユーザの直接のビューは、破線および矢印２９０によって識別され、ユーザの周辺限界の範囲、ならびに範囲および限界は、それぞれ線２８０および２８５によって示される。

特定の中立的な中央領域または対象物が、２００として識別される。以下に述べるように、この中立的な中央領域または対象物の割当ては、一実施形態では、（見ている視点からの）非常に近い実際の対象物または仮想の対象物間の有害な対話を排除することによって、競合する対象物または遮られた対象物の選択を容易にする。これはまた、ジェスチャおよびユーザの動きがユーザ選択インターフェースとして使用される場合に、頭部の動きを低減または排除する。以下に述べるように、対象物は同様に、画像処理を介して認識される現実の対象物とすることができ、シーンに挿入される仮想の対象物とすることもできる。

一実施形態では、中央の領域または対象物２００は、中央に位置するユーザ・インターフェース起動ポインタを介して、少なくとも部分的に目に見え、また手に届く必要がある。この例では、ユーザは、長椅子が置かれている部屋の一部の方向を見ている様子が示してあり、動きを介してユーザ・インターフェース起動ポインタを提供するのは、ユーザの注視および目の動きである。

一実施形態では、図２Ａに示すように、一連の標識および／またはサムネイルが画面上に動的に表示され、参照番号２０１〜２０４で示してある。これらの標識および／またはサムネイルは、図に示す長椅子やテーブルなど、表示または識別された様々なアイテムとそれぞれ関連付けられている。当業者には理解できるように、この標識および／またはサムネイルは、理解を助けるためにこの実施形態においてのみ使用されることに留意されたい。したがって、他の実施形態では、たとえば、対象物の名前、対象物の画像、アイコン、理想化された対象物の画像だがそれらに限定されない、標識および／またはサムネイルの代わりに、他の同様の構成要素を使用してもよい。一実施形態では、標識および／またはサムネイルは、ユーザの画面または表示装置上に全て表示されるが、互いにオーバラップしないように、初めは緩やかまたはまばらなレイアウトで表示してもよい。これにより、ユーザの視点から見ると、その関連付けられた対象物が、ほとんど完全に、または部分的に遮られるときでも、各標識および／またはサムネイルが明瞭に表示されるようになる。

一実施形態では、サムネイルおよび／または標識は、自己配置されており、少なくとも初めは、ユーザの視野内の中央ポインタ、または中央の領域もしくは対象物２００の周りに等しく分布していてもよい。（一実施形態では、中央ポインタ、および中央の領域または対象物２００は異なるが、別の実施形態では、これらを同じ要素によって表してもよい）。ポインタは、（ガラスの）表示装置上に重ね合わされ、ユーザが移動し、身体または頭部の位置を変化させる間、ユーザ・インターフェースおよびシーンに対して固定される。別々の中央ポインタが存在する場合、ポインタおよび／または中央領域はそれぞれ、空の標識または専用のサムネイルなど特定のシンボルによって表してもよい。中央の領域２００は、どんな対象物も中立の区域と対話できないように、この中立の区域の記号式表現の役割を果たす。中央領域２００の目的は、その周りの他のアイテムが移動してトリガされるときに、その位置の中立性を保つことである。一実施形態では、この動きは、ゆっくり集まるのに似ていてもよい。すなわち、中央領域は、動作不能な対象物として扱われる。他の実施形態では、他の理由により、やはり動作不能アイテムと指定される他のサムネイルおよび／または標識が存在してもよい。一実施形態では、ユーザがある区域から完全に目をそらす場合、集められたアイテムに属する標識またはサムネイルは、ゆっくりと他のものから離れていき、最終的には消失し、他の標識およびサムネイルが、それ自体を再配置するためのさらに広い区域を有するようにする。

以下に述べる図２Ｂは、図２Ａの実施形態での次の段階の処理を表示する。図２Ａおよび図２Ｂをともに考慮すれば、ユーザは、動作可能な対象物のサムネイルまたは標識を使用し、依然として重なり合わずに、ユーザの視点中央に向けてゆっくり収束して、自分の視点のすぐ近傍に存在する動作可能な対象物を見ることになる。中央の区域２００は、別個のままであり、選択された別のサムネイルまたは標識によって占有されていないことにも留意すべきである。図２Ａに戻って参照すると、動作可能なアイテムは、非動作可能で非インタラクションのアイテムとして指定される中央の区域（および、ここではポインタ）２００の周りに表示される。図２Ａから図２Ｂまでの項目の移動が、矢印および破線の曲線（図２Ａ）によって適宜示してある。

図２Ｂでは、サムネイルおよび標識は、図に示すように中立の対象物または領域２００の周りに全て収束している。ユーザの視点が、２９０から２９２までわずかにシフトしている。様々な状況を図２Ｂに表示してもよい。一例では、ユーザが視点を意図的に変化させ、別の例では、椅子の再調整、または身体の輪郭を第１の位置から第２の位置までシフトさせることなど、様々な異なる理由でユーザの頭部が移動する。どのような理由であれ、示された新規のユーザ位置によって、新しい位置が安定していることが示されると、しばらくの間その位置にとどまるときに、図２Ｂでの例のレイアウトが結果として起こり得る。見て分かるように、ユーザのビューに近い対象物に関連付けられたサムネイルまたは標識は、ユーザの視点の中央に向かって徐々に移動するが、依然として中立の区域または領域２００の周りに、ただしオーバラップすることなく移動する。

一実施形態では、ユーザの視点および方向がシフトするにつれて、この連続的なアカウンティングが存在する。これは、当業者に理解できるように、様々なメカニズムによって実現することができる。たとえば、動き検出器（センサ）または他のそうした手段を備えた、ヘッドマウント型のユーザ・インターフェースまたはグラスに配置されたセンサが存在してもよい。異なる一例では、カメラ画像自体を使用してもよい。一実施形態では、シースルー・グラスを使用して、ユーザが指している位置、すなわち特定の仮想または現実の対象物を追跡してもよい。この後者の実施形態は、必要とされる任意の頭部の移動を提示する必要性を低減するか、または少なくとも移動範囲を削減することになる。この実施形態では、その選択肢を指して、同様の手段でそれを選択することによって、ユーザが簡単に一瞥すると、選択動作をトリガすることになる。しかし、ユーザは自分のビューを変化させることができるが、ユーザが能動的に対象物を選択しない限り、ユーザがその方向を見続ける場合でも、選択は実行されないことに留意すべきである。一実施形態では、以下に述べるように、遅延した標識のレイアウト対象物を使用して対象物の選択をおこなうことによって、これを実現することができる。さらに理解を深めるために、この考え方を図２Ｂの実施形態に組み込むことができる。

図２Ｂでは、図に示すように、ユーザは、その位置を変化させ、自分の頭部を移動させた。新規のビューおよび角度が参照番号２９２で示してあり、この図に示してあるように、以前の位置２９０と比較されている。標識および／またはサムネイル２０１〜２０４が、静止した中央の領域２００の周りを適宜移動している。一実施形態では、（自分の視点での）中央領域２００、およびサムネイルまたは標識２０１〜２０４は、（視点の変化点まで）適宜移動するが、その遅延は小さくて、また意図的である。この実施形態では、この遅延により、最終的には、近いサムネイルまたは標識の中心にユーザの注視を置くことができるようになるが、これらのサムネイルまたは標識は、場合によっては、まだ完全には安定していなくてもよく、依然としてこれまでの相対的なポインタ位置に向けてわずかに収束していてもよい。中央の領域２００および／または中央のポインタ、ならびに動作標識および／またはサムネイル２０１〜２０４は、適宜それぞれの位置を切り替えることになる。標識および／またはサムネイル、ならびに中央の中立な領域およびポインタは、しばらくすると最終的には安定する。一実施形態では、遅延時間は、拡張現実システム１００の反応時間を遅くするか、それとも速くするように、ユーザによって調節可能で事前選択することができる。この適切な期間が経過すると、次いでユーザは、図３Ａの次の段階のプロセス・ステップで表示されるようなユーザ選択をおこなうことができる。図３Ａでは、見て分かるように、各位置には依然としてシフトが存在している。

同様の他の例では、ユーザは、信号を送られた、またはサムネイル表示された対象物２０１〜２０４のうちの１つと対話しようとする。この実施形態では、ユーザは、自分の視点を、その（場合によっては遮られた）対象物の中心に置くように頭部を広範囲に動かす必要はないが、その代わりに、ユーザは、もっぱら自分の頭部をわずかに動かして、その対象物に関連した、入力されてくる、または安定した選択済みのサムネイルまたは標識に向けてポインタを修正する必要がある。次いで、その標識の中央に自分の視点をしばらく保つと、先に述べた通り、この標識のサイズが大きくなる。

図に示したそれぞれの場合において、対象物の選択される可能性がさらに明白になるにつれて、椅子を表すサムネイルまたは標識２０１のサイズが大きくなってくる。図２および図３での椅子２０１のサムネイルのサイズを比較すると、このサムネイルのサイズが大きくなることが示される。この例では、大きくなるサイズが、実現可能な選択を表すように選び出されるが、たとえば、色、明るさ、輝きもしくは明滅、またはこのような他の視覚的に区別する特徴など、他の同様に区別する属性を使用することができる。さらに、椅子２０１の実現可能な選択によって、一実施形態に示すように、その他の標識およびレイアウトがシフトし、入れ替わるようにもなる。

図３Ｂには、選択動作がトリガされた後の、次の段階の処理ステップが示してある。図３Ａおよび図３Ｂの実施形態をともに考慮すれば、ユーザが椅子の選択を決定し、選択された対象物としてサムネイル２０１がトリガされるまで、このサムネイルのサイズが大きくなる。図３Ｂの実施形態では、選択トリガには、椅子２０１のサムネイルまたは標識の色および暗さの変化を伴う。しかし、他の実施形態では、理解できるように、この選択およびトリガを様々な異なる方式で識別することができる。いくつかの例は、当業者に理解できるように、色の変化（緑色から赤色、青色から黄色など）または他の同様の状況を含んでもよい。たとえば、標識またはサムネイルは、選択する直前に明滅を開始してもよく、選択されるとハローがその周りに形成される。他の実施形態では、いくつかの変化が起こり得る。たとえば、全てのサムネイルは、もともとは１つの色、たとえば緑色で表示してもよく、緑色から黄色にゆっくりと変化して（図２Ｂ〜３Ａ）、実現可能な選択がなされたことを示す。サムネイルはまた、サイズが大きくなり、もしくは明滅を開始し、または他の方式で識別される。最終的な選択動作がトリガされると、サムネイルは異なる色（赤色）に変化し、その形状が変わることさえある（長円形から正方形など）。先に述べた通り、色は、このようなインジケータの１つに過ぎない。別の実施形態では、標識は、これまで中心を置いた標識（通常は中立の標識）と、選択された新規の標識との間で場所を入れ替えてもよい。当業者には理解できるように、他のインジケータには、それだけには限定されないが、明滅し、大きくなり、光を放つインジケータ、たとえば星形の外観を有するインジケータ、または他のインジケータに対して変化する点滅インジケータが含まれ得る。

図３Ａおよび図３Ｂに戻って参照すると、対象物の標識が図３Ｂと図３Ａの間で大きくなる（すなわち２０１）が、図に示すように、その他の標識２０２〜２０４は、図３Ａおよび３Ｂのレイアウトでは、標識および対象物の任意のオーバラップまたは遮蔽を避けるように適宜更新されている。ユーザが、選択された標識を別の標識（図示せず）に切り替える場合、これまでに大きくなっている標識（２０１）が元の既定サイズに戻され、標識またはサムネイルのうちの別の１つが大きくなる過程であることを示す。一実施形態では、ユーザは、選択が実行されると削除される他の標識またはサムネイルを、選択または事前選択することもできる。ユーザが別の選択を実行したい場合に、これらが再び現れることがある。このようにして、標識およびサムネイルは、ユーザビリティやおよび娯楽の楽しさを増すよう、常に目に見えることにはならない。別の実施形態では、アクションがトリガされ、選択が実行された時点において、この選択された対象物に関連しない他の標識および／またはサムネイルが直ちに削除されることになる。中央の領域または区域２００はまた、表示装置から削除してもよい（また、場合によってはトリガされている使用事例に応じて後に表示される）。このようにして、先に述べた通り、少なくとも一実施形態では、ユーザの頭部、動き、ジェスチャ、または身体などの動きの必要な大きさをユーザが有する必要性を、最小限に抑えられる。トリガ・インタラクションと、現実／仮想の対象物との対話性に基づく選択との間の関係により、さらに自然でユーザ・フレンドリなシステムが可能になる。さらに、ユーザの選択可能性およびシーン上のユーザの視点から選択されたアイテムをトリガすることによって、アイテムが完全にまたは部分的に遮蔽されているように見えるとき（特に、あるアイテムが別のアイテムによって遮蔽されているとき）でさえ、ユーザの現在の視点からアイテムを容易に選択することができる。このようにして、一実施形態によれば、対象となる対象物が識別されて選択されるとすぐ、サムネイルおよび標識が削除されることになる。一実施形態では、シーン内の任意の対象物はまた、実際には現実であろうと仮想であろうと、ユーザによって同様に制御されるように選択することができる。選択プロセスが完了し、何らかの動作のために選択されたアイテムをユーザがもはや使用する必要がなくなると、一実施形態では、ユーザは単に、図２Ａおよび図２Ｂの複数の標識表示構成に戻ることになる。他の実施形態では、ユーザのメニューへの復帰は、当業者には理解できるように、他のやり方で処理することができる。たとえば、ユーザが他の選択を実行して、この状況に戻るようにすることによって、これをトリガすることができる。
［付記１］
表示装置（１３０）を含むヘッドマウント型装置（１１０）であって、
−センサ（１７０）の出力に基づいてユーザの視野およびユーザの視野の中央を決定することと、
−前記表示装置に出力するための画像をレンダリングすることであって、前記画像がそれぞれ、少なくとも１つの対象物、および選択可能な複数の標識を含み、前記標識のそれぞれが、前記ユーザの視野内の対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が所与の標識の中央にあると判定されることに基づいて、表示された複数の標識のうち前記所与の標識の第１の表示属性を改変することを含む、レンダリングすることと、
−閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
を、実行するように動作するプロセッサ（１４０）を含むか、またはこのプロセッサ（１４０）と接続されるように構成される、ヘッドマウント型装置（１１０）。
［付記２］
前記レンダリングすることが、前記画像をレンダリングして、前記選択可能な対象物に対応する前記複数の標識と同時に前記ユーザの視野内の対象物を表示することを含む、付記１に記載の装置（１１０）。
［付記３］
前記所定の標識の前記第１の表示属性を前記変更することが、前記複数の表示された標識のうち他の標識の表示サイズに対して、前記所与の標識の表示サイズを拡大することを含む、付記１または２に記載の装置（１１０）。
［付記４］
画像の前記レンダリングが、前記所与の標識を前記選択することに基づいて、前記第１の表示属性以外の前記所与の標識の第２の表示属性を変更することをさらに含む、付記１〜３のいずれか一項に記載の装置（１１０）。
［付記５］
−前記プロセッサ（１４０）は、前記ユーザの視野の中央が、前記選択された所与の標識からシフトしているとの判定に基づいて、前記所与の標識を選択した後、前記所与の標識を選択解除すること
を実行するようにさらに構成される、付記１〜４のいずれか一項に記載の装置（１１０）。
［付記６］
少なくとも１つの動き、声、または動きと音声を介してユーザ選択を登録するように構成された、マイクロホン（１８０）およびモーション・センサ（１７０）を含む、付記１〜５のいずれか一項に記載の装置（１１０）。
［付記７］
タッチを介して前記ユーザ選択を登録するように構成された、インタラクション区域（１６０）を含む、付記１〜６のいずれか一項に記載の装置（１１０）。
［付記８］
タッチを介して前記ユーザ選択を登録するように構成された、インタラクション区域（１６０）をさらに含む、付記４に記載の装置（１１０）。
［付記９］
前記表示装置（１３０）が、前記ユーザの目に近接して、少なくとも１つのレンダリング画面上にグラフィック画像を表示するように構成され、前記レンダリング画面が、前記ユーザによって着用可能なアイグラス・フレーム（１２０）に機械的に連結される、付記１〜８のいずれか一項に記載の装置（１１０）。
［付記１０］
タッチ、動き、または音声をそれぞれ介してユーザ入力を取り込むように構成された、モーション・センサ（１７０）、マイクロホン（１８０）、およびタッチ・インタラクション区域（１６０）を含む、付記１〜９のいずれか一項に記載の装置（１１０）。
［付記１１］
前記標識が、少なくとも１つの対象物の名前および対象物の画像を有するサムネイルである、付記１〜１０のいずれか一項に記載の装置（１１０）。
［付記１２］
−音声、動き、またはタッチの形態でユーザを受信するユーザ・インターフェース手段と、
−前記ユーザ・インターフェース手段との通信を処理する際に、画像を表示する手段（１３０）とを含むヘッドマウント型装置（１１０）であって、
−センサ（１７０）の出力に基づいてユーザの視野およびユーザの視野の中央（２００）を決定することと、
−表示する手段（１３０）に出力するための画像をレンダリングすることであって、前記画像がそれぞれ、少なくとも１つの対象物、および選択可能な複数の標識を含み、前記標識のそれぞれが、前記ユーザの視野内の対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が所与の標識の中央にあると判定されることに基づいて、表示された複数の標識のうち前記所与の標識の第１の表示属性を改変することを含む、レンダリングすることと、
−閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
を、実行するように動作するプロセッサ（１４０）を含むか、またはこのプロセッサ（１４０）と接続されるように構成される、ヘッドマウント型装置（１１０）。
［付記１３］
前記表示する手段（１３０）が、前記ユーザの目に近接して、少なくとも１つのレンダリング画面上にグラフィック画像を表示するように構成され、前記レンダリング画面がアイグラス・フレーム（１２０）に機械的に連結される、付記１２に記載の装置（１１０）。
［付記１４］
ヘッドマウント型装置（１１０）を使用するアイテム選択の方法であって、
−ユーザの視野およびユーザの視野の中央（２２０）を決定することと、
−表示用の画像をレンダリングすることであって、前記画像がそれぞれ、１つまたは複数の対象物、および複数の標識を含み、それぞれが、前記ユーザの視野内の選択可能な対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が前記所与の標識の中央にあると判定されることに基づいて、表示された複数の標識のうち所与の標識の第１の表示属性を改変することを含む、レンダリングすることと、
−閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
を含む、方法。
［付記１５］
前記標識が、少なくとも１つの対象物の名前および対象物の画像を有するサムネイルである、付記１４に記載の方法。

Claims (15)

1. 表示装置を含むヘッドマウント型装置であって、
   センサの出力に基づいてユーザの視野およびユーザの視野の中央を決定することと、
   前記表示装置に出力するための画像をレンダリングすることであって、前記画像がそれぞれ、少なくとも１つの対象物、選択可能な複数の標識、および選択不可能な対象物を含み、前記標識のそれぞれが、前記ユーザの視野内の対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が所与の標識の中央にあると判定されることに基づいて、前記選択不可能な対象物と所与の標識の位置を切り替えること、および表示された複数の標識のうち前記所与の標識の第１の表示属性を改変することを含む、レンダリングすることと、
   閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
   を、実行するように動作するプロセッサを含むか、またはこのプロセッサと接続されるように構成される、ヘッドマウント型装置。
2. 前記標識が、オーバラップすることなく中央の対象物の周りに収束する、請求項１に記載の装置。
3. 前記所定の標識の前記第１の表示属性を前記変更することが、前記複数の表示された標識のうち他の標識の表示サイズに対して、前記所与の標識の表示サイズを拡大することを含む、請求項１または２に記載の装置。
4. 画像の前記レンダリングが、前記所与の標識を前記選択することに基づいて、前記第１の表示属性以外の前記所与の標識の第２の表示属性を変更することをさらに含む、請求項１〜３のいずれか一項に記載の装置。
5. 前記プロセッサは、
   −前記ユーザの視野の中央が、前記選択された所与の標識からシフトしているとの判定に基づいて、前記所与の標識を選択した後、前記所与の標識を選択解除すること
   を実行するようにさらに構成される、請求項１〜４のいずれか一項に記載の装置。
6. 少なくとも１つの動き、声、または動きと音声を介してユーザ選択を登録するように構成された、マイクロホンおよびモーション・センサを含む、請求項１〜５のいずれか一項に記載の装置。
7. タッチを介して前記ユーザ選択を登録するように構成された、インタラクション区域を含む、請求項１〜６のいずれか一項に記載の装置。
8. タッチを介して前記ユーザ選択を登録するように構成された、タッチ・インタラクション区域をさらに含む、請求項４に記載の装置。
9. 前記表示装置が、前記ユーザの目に近接して、少なくとも１つのレンダリング画面上にグラフィック画像を表示するように構成され、前記レンダリング画面が、前記ユーザによって着用可能なアイグラス・フレームに機械的に連結される、請求項１〜８のいずれか一項に記載の装置。
10. タッチ、動き、または音声をそれぞれ介してユーザ入力を取り込むように構成された、モーション・センサ、マイクロホン、およびタッチ・インタラクション区域を含む、請求項１〜９のいずれか一項に記載の装置。
11. 前記選択不可能な対象物が、前記ユーザの視野内の中央の位置を有し、前記ユーザの視野が動いているときに、前記ユーザの視野の前記中央に遅れて従う、請求項１〜１０のいずれか一項に記載の装置。
12. 前記選択不可能な対象物が、空の領域またはポインタである、請求項１〜１０のいずれか一項に記載の装置。
13. 音声、動き、またはタッチの形態でユーザを受信するユーザ・インターフェース手段と、
    前記ユーザ・インターフェース手段との通信を処理する際に、画像を表示する手段とを含むヘッドマウント型装置であって、
    センサの出力に基づいてユーザの視野およびユーザの視野の中央を決定することと、
    表示する手段に出力するための画像をレンダリングすることであって、前記画像がそれぞれ、少なくとも１つの対象物、選択可能な複数の標識、および選択不可能な対象物を含み、前記標識のそれぞれが、前記ユーザの視野内の対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が所与の標識の中央にあると判定されることに基づいて、前記選択不可能な対象物と所与の標識の位置を切り替えること、および表示された複数の標識のうち前記所与の標識の第１の表示属性を改変することを含む、レンダリングすることと、
    閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
    を、実行するように動作するプロセッサを含むか、またはこのプロセッサと接続されるように構成される、ヘッドマウント型装置。
14. 前記表示する手段が、前記ユーザの目に近接して、少なくとも１つのレンダリング画面上にグラフィック画像を表示するように構成され、前記レンダリング画面がアイグラス・フレームに機械的に連結される、請求項１３に記載の装置。
15. ヘッドマウント型装置を使用するアイテム選択の方法であって、
    ユーザの視野およびユーザの視野の中央を決定することと、
    表示用の画像をレンダリングすることであって、前記画像がそれぞれ、１つまたは複数の対象物、および複数の標識を含み、それぞれが、選択可能な前記ユーザの視野内の選択可能な対象物、および選択不可能な対象物に対応し、画像の前記レンダリングが、前記ユーザの視野が所与の標識の中央にあると判定されることに基づいて、前記選択不可能な対象物と所与の標識の位置を切り替えること、および表示された複数の標識のうち所与の標識の第１の表示属性を改変することを含む、レンダリングすることと、
    閾値を超える一定の時間において、前記ユーザの視野が前記所与の標識の中央にとどまっていると判定されることに基づいて、前記所与の標識を選択することと
    を含む、方法。