JP7232765B2 - シミュレーション方法とシステム - Google Patents

Description

本発明は、シミュレーション方法およびシステムに関する。

仮想環境は、ますますソーシャルスペースとして見られている。このようなソーシャル仮想環境の例には、ＰｌａｙＳｔａｔｉｏｎ Ｈｏｍｅ（登録商標）およびＳｅｃｏｎｄ Ｌｉｆｅ（登録商標）が含まれる。このような環境は、ユーザが自分のアバタ（自分で選択した仮想表現）の見た目を通して、そしてアバタに命を吹き込むことができるジェスチャやポーズのレパートリーを通して、自分の性格を投影できるようにすることによって、ユーザが単なるテキスト通信や実際の発話を超えて、リアルタイムで対話できるようにすることに成功している。

しかしながら、ＰｌａｙＳｔａｔｉｏｎ ＶＲ（登録商標）ヘッドセットなどの人気のある仮想現実ハードウェアの出現により、そのようなソーシャル仮想環境で可能な没入のレベルははるかに大きくなる。ユーザは、他のユーザのアバタと一緒に仮想環境にいるように感じることができ、オプションで、各アバタは、ＶＲトラッキングシステムの一部として既に使用されているビデオカメラでキャプチャされたボディーランゲージやジェスチャを模倣することができる。

ただし、このようなＶＲシステムはユーザの頭に装着されるため、非言語的な社会的インタラクションの最も重要な側面であるユーザの顔を覆い隠す役割を果たす。ユーザの現在の顔の外観の側面をキャプチャする機能がないと、これは別のユーザが見たときのユーザのアバタの見た目のリアリズムに影響を与える可能性がある。

本発明は、この問題に対処または緩和しようとするものである。

第１の態様では、仮想環境におけるアバタの注意をシミュレートする方法が請求項１に従って提供される。

別の態様では、仮想環境においてアバタの注意をシミュレートするように構成されたエンターテインメントデバイスが請求項１２に従って提供される。

本発明のさらなるそれぞれの態様および特徴は、添付の特許請求の範囲に定義されている。

次に、本発明の実施形態を、添付図面を参照して例として説明する。
本発明の一実施形態による娯楽装置の概略図である。 本発明の一実施形態によるアバタの注意をシミュレートする方法のフロー図である。

シミュレーション方法およびシステムが開示されている。以下の説明では、本発明の実施形態の完全な理解を提供するために、いくつかの特定の詳細が提示されている。しかし、これらの特定の詳細を使用して本発明を実施する必要がないことは、当業者には明らかであろう。逆に、当業者に知られている特定の詳細は、明確にするために必要に応じて省略されている。

シミュレーション方法の実装に適したシステムには、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ ４（登録商標）が含まれる。

図１は、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ ４（登録商標）娯楽装置のシステム全体のアーキテクチャを概略的に示す。システムユニット１０には、システムユニットに接続可能な様々な周辺装置が設けられている。

システムユニット１０は、中央処理装置（ＣＰＵ）２０Ａおよびグラフィック処理装置（ＧＰＵ）２０Ｂを含む単一チップである加速処理装置（ＡＰＵ）２０を含む。ＡＰＵ２０は、ランダムアクセスメモリ（ＲＡＭ）ユニット２２にアクセスする。

ＡＰＵ２０は、任意選択でＩ／Ｏブリッジ２４を介して、バス４０と通信し、Ｉ／Ｏブリッジ２４は、ＡＰＵ２０の別個の構成要素またはその一部であってもよい。

バス４０に接続されているのは、ハードディスクドライブ３７、および互換性のある光ディスク３６Ａ上のデータにアクセスするように動作可能なブルーレイ（登録商標）ドライブ３６などのデータ記憶構成要素である。さらに、ＲＡＭユニット２２はバス４０と通信することができる。

任意選択でバス４０には補助プロセッサ３８も接続されている。補助プロセッサ３８は、オペレーティングシステムを実行またはサポートするために提供されてもよい。

システムユニット１０は、オーディオ／ビジュアル入力ポート３１、イーサネット（登録商標）ポート３２、ブルートゥース（登録商標）無線リンク３３、Ｗｉ－Ｆｉ（登録商標）無線リンク３４、あるいは１つまたは複数のユニバーサルシリアルバス（ＵＳＢ）ポート３５を介して周辺装置と適宜通信する。オーディオおよびビデオは、ＨＤＭＩ（登録商標）ポートなどのＡＶ出力３９を介して出力されてもよい。

周辺装置は、ＰｌａｙＳｔａｔｉｏｎ Ｅｙｅ（登録商標）などの単眼または立体ビデオカメラ４１、ＰｌａｙＳｔａｔｉｏｎ Ｍｏｖｅ（登録商標）などのワンドスタイルのビデオゲームコントローラ４２およびＤｕａｌＳｈｏｃｋ４（登録商標）などの従来のハンドヘルドビデオゲームコントローラ４３、ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）およびＰｌａｙＳｔａｔｉｏｎ Ｖｉｔａ（登録商標）などの携帯娯楽装置４４、キーボード４５および／またはマウス４６、例えばリモコンの形態のメディアコントローラ４７、ならびにヘッドセット４８を含んでもよい。プリンタ、または３Ｄプリンタ（図示せず）などの他の周辺装置も同様に考慮することができる。

ＧＰＵ２０Ｂは、任意選択でＣＰＵ２０Ａと連携して、ＡＶ出力３９を介して出力するためのビデオ画像およびオーディオを生成する。任意選択で、オーディオは、オーディオプロセッサ（図示せず）と共に、または代わりにそれによって生成されてもよい。

ビデオおよび任意選択的にオーディオはテレビ５１に提示されてもよい。テレビによってサポートされている場合、ビデオは立体的であってもよい。オーディオは、ステレオ、５．１サラウンドサウンドまたは７．１サラウンドサウンドなどのいくつかのフォーマットのうちの１つでホームシネマシステム５２に提示されてもよい。ビデオおよびオーディオも同様に、ユーザ６０が装着しているヘッドマウントディスプレイユニット５３に提示されてもよい。

動作中、娯楽装置はデフォルトでＦｒｅｅＢＳＤ ９．０の変種などのオペレーティングシステムになる。オペレーティングシステムは、ＣＰＵ２０Ａ、補助プロセッサ３８、またはこれら２つの混合物上で動作することができる。オペレーティングシステムは、ＰｌａｙＳｔａｔｉｏｎ Ｄｙｎａｍｉｃ Ｍｅｎｕなどのグラフィカルユーザインターフェースをユーザに提供する。このメニューにより、ユーザはオペレーティングシステムの機能にアクセスし、ゲームや任意選択的に他のコンテンツを選択することができる。

周辺機器に関して、システムユニットは、典型的には、ＤｕａｌＳｈｏｃｋ ４（登録商標）などの少なくとも１つのハンドヘルドコントローラ４３を備える。このコントローラは、オペレーティングシステムならびに／あるいはシステムユニットによって実行されている特定のゲームまたはアプリケーションに関連付けられた、システムユニットによって提示されるユーザインタフェースと対話するために使用することができる。

さらに、ユーザは、ＰｌａｙＳｔａｔｉｏｎ Ｅｙｅ（登録商標）などのビデオカメラ４１を使用してシステムユニットと対話することができる。これは、例えばＡＶ入力３１を介してシステムユニット１０に単眼または立体ビデオ画像をもたらすことができる。これらの画像がユーザの一部または全体をキャプチャする場合、ユーザは、必要に応じて、ジェスチャ、表情、またはスピーチを使用して、現時点において提示されているユーザインタフェースと対話することができる。

これに代え、あるいはこれに加えて、ＰｌａｙＳｔａｔｉｏｎ Ｍｏｖｅ（登録商標）４２などのカメラに基づくユーザ対話を支援するように設計されたコントローラを備えてもよい。このコントローラは、ワンドフォームファクタと、キャプチャされたビデオ画像内のコントローラの検出を容易にする照明領域とを有する。照明領域を、ＤｕａｌＳｈｏｃｋ ４（登録商標）などの他のコントローラ４３にも、同様に設けることができる。どちらの種類のコントローラも、３つの軸に沿った横運動および３つの軸を中心にした回転運動を検出するためのモーションセンサと、運動データをシステムユニットに伝達するための無線通信手段（Ｂｌｕｅｔｏｏｔｈ（登録商標）など）とを備える。オプションにより、そのような制御部は、ランブル効果などの機能の実行あるいは照明領域の色または明るさの変更を、コントローラがこれらをサポートしている場合に行うために、制御データをシステムユニットから受信することもできる。

最後に、本発明の実施形態では、ビデオおよびオプションのオーディオは、ソニーＰＳＶＲ（登録商標）ディスプレイなどのヘッドマウントディスプレイ５３に伝達される。ヘッドマウントディスプレイは、典型的にはユーザの目の前にそれぞれ取り付けられた２つの小さなディスプレイユニットを備え、オプションでユーザがディスプレイユニットに焦点を合わせることができるように適切な光学系と組み合わせられる。あるいは、１つ以上のディスプレイソースがユーザの頭部の側面に取り付けられ、ライトガイドに動作可能に結合されて、ユーザの目にそれぞれの表示された画像をそれぞれ提示してもよい。あるいは、１つ以上のディスプレイソースがユーザの目の上に取り付けられ、ミラーまたはハーフミラーを介してユーザに提示されてもよい。この後者の場合、ディスプレイソースは携帯電話またはポータブルエンターテイメントデバイス４４であってもよく、オプションとして、画面の左部分と右部分がユーザの左目と右目に対してそれぞれの画像を表示する分割画面出力を表示してもよい。 ヘッドマウントディスプレイは、統合されたヘッドフォンを含むか、ヘッドフォンへの接続を提供してもよい。同様に、取り付けられたディスプレイは、統合されたマイクロフォンを備えてもよく、マイクロフォンへの接続性を提供してもよい。

本明細書で前述したように、そのようなヘッドマウントディスプレイ（ＨＭＤ）を使用して、１人または複数の他のユーザと共有される仮想環境内などの高度の没入型の体験を提供することができる。

ここで図２を参照すると、本発明の実施形態では、そのような仮想環境におけるアバタの注意をシミュレーションする方法は、環境内の所与のアバタに対する以下のステップを含む。

第１のステップｓ２１０において、１以上の要因に依存して仮想環境内の複数の要素のそれぞれの関心値を周期的に計算する。ここで、前記要因の少なくとも１つは、各要素と所与のアバタの関係に応じて評価される。

周期は、フレーム単位であってもよく、または異なる周期性によるものであってもよい。周期は要素間で異なってもよい。たとえば、動いている要素は、静的な要素よりも頻繁に（たとえば、フレーム単位で）再計算されてもよい。フレーム間で環境内の要素の位置を比較するか、または、動きを示すフラグが提供されている場合はそのようなフラグを調べることによって、要素が動いているか静止しているかを判断してもよい。

同様に、所与のアバタに対する周期性は、そのアバタの視点または視野の方向が変わるかどうかに応じて変わってもよい。したがって、より一般的には、要素と所与のアバタの視点の間に相対運動が存在する環境の要素に対して、周期性は固定されてもよく、より短くなってもよい。

関心値については、後で詳しく説明するが、環境の要素を関心のある順にランク付けするために使用される値またはサブ値の配列であると理解することができる。 個々のサブ値は、設計者の好みに応じて重み付け（乗算するなど）してもよい。

複数の要素に対して関心値が計算されるが、仮想環境内のすべての要素に対して関心値を計算する必要はないことが理解されよう。関心によるランク付けのために考慮されるべき要素は、フラグの存在および／またはデフォルトの関心値の存在によって示されてもよい（このようにして、モンスタはデフォルトでテーブルよりも多くの関心を集め、他のすべてのものは等しい）。

それぞれの要素と所与のアバタの間の関係に応じて評価される前記要因の少なくとも１つに少なくとも部分的に基づいて、所与のアバタに対して要素の関心値を計算することにより、環境内の異なるアバタが異なる物に注意を向けることができるようになる。これらの関係に基づいた要因はここにより詳細に説明されるが、要素への近接性や要素が所与のアバタのユーザの現在の視野にあるかどうかなどの要因によって、アバタ間の見かけの振る舞いに好ましいバリエーションがもたらされることが理解されよう。

次に、第２のステップｓ２２０は、計算された最も高い関心値を有する要素を選択することを含む。上記のように、「最高」値は複数の要因の重み付けの関数であってもよく、オプションとして、他のすべての要因を無効にするために効果的に重み付けされる（特定のフラグのような）要因があってもよい。一例は、要素が所与のアバタによって表されるユーザの現在の視野内にあるかどうかを示すバイナリ値であってもよい。オプションで、この値を最初に決定して、この要件を満たさない要素の関心値の計算を現在の周期の間はスキップできるようにしてもよい。

次に、第３のステップｓ２３０は、所与のアバタの目の表現を仮想環境内の選択された要素に向けさせることを含む。

アバタには２つのクラスが存在する可能性があることを理解されたい。第１は、第１のユーザ自身のアバタである。一人称ビュー（または仮想カメラがアバタの後ろに配置されている場合は三人称ビュー）では、第１のユーザ自身のアバタの目は、エンターテイメントデバイス上で第１のユーザには表示されないか、仮想環境に鏡などの反射面がある場所などの特定の状況においてのみ表示されるという可能性がある。

アバタの第２のクラスは、共有仮想環境における他のユーザのアバタである。彼らのアバタの状態に関する少なくともいくつかのデータは、典型的には共有仮想環境を管理するサーバを介してであるが、潜在的にはピアツーピアの配置において直接的に、第１のユーザのエンターテイメントデバイスによって受信される。

その結果、所与のアバタの目の表現を仮想環境内の選択された要素に向けさせることは、２つの形態のいずれかを取る。

第１の形態は、環境のどの要素が各ユーザのアバタにとって最も関心のあるものとして選択されたかについて、各ユーザのエンターテインメントデバイスが他のユーザの他のリモートエンターテインメントデバイスに通知することを含む。この場合、各アバタは、自分自身のユーザのアバタに対して最も高い計算された関心値を有する要素を計算するだけでよく、管理サーバを介して、またはピアエンターテインメントデバイスから直接、ネットワーク経由で他のアバタに対する要素を受け取る。次に、各エンターテイメントデバイスは、環境の選択された各要素に向いている各アバタの目を表示することができ、これらのアバタの目は現在、第１のユーザに見えている。

ただし、ネットワーク遅延により、デバイス間のネットワークラグが原因で、第１の形態が応答しないように見えることがある。したがって、第２の形態は、各ユーザのエンターテインメントデバイスが、少なくとも現在第１のユーザにアバタの目が見えている各アバタに対して最も関心のある要素を計算して選択し、環境の選択された各要素に向いているそのような各アバタの目を表示することを含む。これにより、各エンターテインメントデバイスにより大きな計算負荷がかかるが、ネットワークラグは回避される。

例えばデフォルトで第１の形態を使用するなど、これらの技術の組み合わせを使用してもよいことが理解されるが、エンターテインメントデバイスが更新期間の開始から所定の期間内に所与のアバタに対する選択された要素の情報を受信しない場合、そのエンターテイメントデバイスはネットワークラグが問題であると見なし、そのアバタ自身に対して選択された要素を計算する。

同様に、仮想環境内の一部のアバタのみが人々によって制御され、その他のアバタはいわゆる「ノンプレイヤキャラクタ（ＮＰＣ）」であり、エンターテインメントデバイスまたは管理サーバによって制御され何らかの雰囲気を提供する、および／または、ツアーガイド、ショップアシスタント、モデレータなどの簡単な機能を果たすという実装もありうる。これらの状況では、見えているアバタのサブセットのみが他のエンターテインメントデバイスの制御下にあるため、技術の組み合わせが望ましいこともある。

ここでも、ユーザはしばらくの間休憩を取ることを選択し、環境内に自分の存在を保持しながら、積極的にアバタを制御することをやめてもよい。たとえば、コントロールとのインタラクションが一定期間検出されなかった場合、ユーザが（ＶＲアプリケーションで）ＨＭＤを外した場合、または各エンターテインメントデバイスが使用するカメラの視野内にユーザを検出できない場合に、このような中断を自動的に決定することができる。 そのような状況では、各エンターテインメントデバイスは、そのアバタが示す関心を刺激することを一時的に制御するべきであることを他のエンターテインメントデバイスに通知してもよい。あるいは、この特定の場合には、ユーザの注意をシミュレートするのではなく、ユーザが関与していないことを明確に通知することが望ましいことがある。この場合、そのような中断が自動的に検出されると、代わりに、たとえば目を閉じたり、頭を下げたり、頭の上に「ＺＺＺｚｚｚｚ」を表示したりすることで、アバタが眠りに落ちているように描写されてもよい。

いずれにしても、計算が仮想環境とアバタの状態に基づいて決定論的である場合、それがローカルで計算されるかネットワーク経由で受信されるかにかかわらず、結果は非常に類似するか同一であることが理解されよう。

したがって、所与のアバタの目の表現を選択された要素に向けさせるステップは、選択された要素に対する識別子を１つまたは複数のリモートデバイスに通知することを含み、かつ／または、仮想環境内のアバタまたは潜在的に複数のそれぞれのアバタの表示されたプレゼンテーションを更新することを含んでもよい。

それぞれの要素と所与のアバタの間の関係に応じて評価される少なくとも１つの要因に関して、そのような要因には、順不同で以下にリストされた１つ以上が含まれる。

まず、前述のように、所与のアバタによって表されるユーザの現在の視野内にその要素があるかどうかを示す値。前述のように、この要因は、環境のどの要素に対して関心値を計算するかの最初のフィルタとして個別に評価されてもよい。したがって、非限定的な例として、「０」は要素がユーザの視野外にあることを示してもよい。

他のユーザのアバタについては、そのアバタの状態を記述する受信または計算されたデータから最後に示されるように、それぞれのアバタの頭の現在の向きに基づいて視野を想定する必要があることが理解されよう。この視野は、すべてのアバタに対して想定されるデフォルトであってもよく、たとえば、それぞれのヘッドマウントディスプレイの視野に対応する、そのアバタのユーザについて送信された視野情報に従って所与のアバタに対して設定されてもよい。したがって、ユーザが装着している仮想現実のハードウェアに応じて、異なるアバタはそれぞれ異なる視野をもってもよい。

同様に、ＮＰＣアバタは、それぞれのアバタの頭の現在の向きに基づいて想定される視野を持ってもよい。

オプションとして、アバタ（典型的にはＮＰＣアバタ）が非人間として描かれ、異なる目の位置／構成／数を持っている場合、異なる想定される視野をアバタの異なるクラスに関連付けることができる。

第２に、所与のアバタからの要素の距離に応じた値。この値を使用すると、所与のアバタからさらに離れた要素を降格し、所与のアバタに近接する要素を昇格させることができる。距離に対する応答性は線形であっても非線形であってもよい。ここでも、アバタのクラスが異なると、応答性が異なってもよい。たとえば、高齢者として描かれたＮＰＣは、近視をシミュレートするために、若いアバタと比較して同じ距離に対してより低い値を生成してもよい。

同様に、ユーザが選択したアクセサリは、この値または他の値に影響を与える可能性がある。したがって、眼鏡を着用する選択は距離に対する反応を変えることがある一方、いわゆる「パーカー」を着用する選択は有効な視野を狭めることがある。

第３に、所与のアバタと要素の間に遮られていない視線があるかどうかを示す値。これを使用すると、環境内の要素に対するアバタの認識をシミュレートすることができる。ただし、たとえば要素が音にも関連付けられている場合、この値は無視されてもよい。

第４に、要素が以前に所与のアバタに対して最も関心のある要素として選択された時間の長さに比例する値。これが使用されると、この値は、自然な方法でアバタが他の要素よりもある要素に興味を持つように促す。この値は、アバタが環境の一つの要素に固定されるのを防ぐために上限を定めてもよい。

第５に、要素が別のアバタに対応する場合、その別のアバタのユーザが所与のアバタのユーザの友達リストに載っているかどうかを示す値。これが使用されると、この値は、他のアバタが彼らの友人のアバタと優先的に関与するように見えるように促す。

特定の順序でリストされていない以下の１つ以上を含む他の要因も評価してもよいことを理解されたい。

第１に、要素の体積、位置、および振る舞いの１つ以上の変化にそれぞれ対応する１つ以上の値。

したがって、値は、要素に関連付けられた絶対ボリュームまたは相対ボリューム、および／またはボリュームの変化に比例して生成することができる。同様に、値は、要素の絶対位置（たとえば、１人のユーザが「目標」に近かった場合）、または第１のユーザの視点に対する相対位置（たとえば、光学中心軸にどれだけ近いか）および／または位置の変化に比例して生成することができる。拡張により、絶対速度、相対速度、および／または速度の変化に対して同様の値を決定することができる。

第２に、その要素を現在最も関心のあるものとして選択している他のアバタの数に比例する値。

この値は、同じオブジェクトに対するいくつかのアバタの注意がさらなるアバタの明らかな好奇心を助長することができるという特定の状況において「群れの本能」を助長することができる。元の注意は、たとえば、１人のユーザがエリア内の他の１人または２人にコメントすることによって引き起こされ、関心のあるオブジェクトにアバタの視点を集中させるように彼らにアバタを制御させてもよい。アバタの興味の現在の主題であるオブジェクトは、オプションとして、オブジェクトに現在関心を持っているアバタの数を示すフラグや番号でタグ付けすることができる。

前述のように、ある実施形態では、各エンターテインメントデバイスは、環境のどの要素がそれぞれのユーザのアバタにとって最も関心があるものとして選択されたかを他のエンターテインメントデバイスに通知する。その後、各エンターテインメントデバイスが、所与の要素がそれらエンターテインメントデバイスの中で何回選択されてこの値に到達したかを集計することは簡単になる。

代替的または追加的に、エンターテインメントデバイスは、１つまたは複数のアバタにとってどの要素に関心があるかを計算し、この情報を使用して、仮想環境内の後続のアバタにとって関心のある要素の計算に影響を与えることができる。

どちらの場合でも、見た目の関心の焦点がローカルエンターテインメントデバイスによって制御されているアバタは、この値の影響を受ける可能性がある。

仮想環境の「要素」という用語は、人（アバタ）などの仮想環境内のオブジェクトまたは車、ドア、カメラ、ペットなどの他のオブジェクトを指す。しかし、この用語はこれに限定される必要はなく、車のフロントガラス、ドアハンドル、カメラレンズ、ペットの顔など、そのようなオブジェクトの一部を指すこともある。

アバタの特定のインスタンスでは、要素はアバタの目（アイコンタクトを行うため）、アバタの口（たとえば、アバタが話しているように描かれているときにこれに焦点を合わせるため）、またはアバタの手（たとえば、アバタがジェスチャで表現するように描かれているときに手を追跡するため。たとえば、アバタが表すユーザの物理的なジェスチャをアバタが模倣している場合がある）であってもよい。

上記の要因は一般に、最も関心のある瞬間的な要素（つまり、現在のフレームまたはレビュー周期に対して）の決定に関連しており、技術はその最も関心のある要素を選択することを提案する。ただし、これにより、競合する要素間でアバタの注意が急速に変わるリスクがある。

この問題に対処するために、いくつかの戦略を単独または組み合わせて検討してもよい。

前述のように、オプションとして、アバタに対して所与の要素への関心を判断する際の１つの要因は、その要素がそのアバタにとって関心の焦点となっていた期間である。

しかしながら、オプションとして、選択された要素は、簡単に所定の最小期間だけ選択されてもよい。これはシステムにヒステリシスの形態を課すことで、等しく関心のあるオブジェクトがアバタによって急速に切り替えられないようにする。

オプションとして、要素がアバタにとって関心の対象になった場合、それらが所定の期間その状態に留まることを示すフラグで要素をタグ付けしてもよい。異なる要素が異なる期間を示すためにタグ付けされることが理解されよう。したがって、たとえば静的オブジェクトにはタグをもたせない一方、他のアバタには、デザイナの選択に応じて、数秒から数十秒のオーダーの比較的長い一時停止を示唆するタグをもたせてもよい。

さらにオプションとして、環境のある要素が、現在の要素の関心値を所定のしきい値量だけ超える計算された関心値を有することが判明した場合、そのような所定の期間自体がオーバーライドされてもよい。

代替的または追加的に、システムは、最後のＮフレームまたはレビュー期間のそれぞれの間に識別された最も関心のある要素の記録を保持し、その記録内で最も選択された要素にアバタの注意を向けてもよい。最後のＮフレームまたはレビュー期間は、たとえば０．５～５秒の範囲、典型的には１秒の期間をカバーするように選択して、アバタがその期間全体で最も関心のある要素に注意を向けるようにしてもよい。したがって「計算された最も高い関心値をもつ要素を選択する」とは、瞬間値を指すことも累積値（記録された期間の勝ち数の観点で）を指すこともある。これは、累積的に最も関心のある要素を検出するローリングウィンドウを提供する。これにより、アバタの目が要素間で急速に移動する範囲が減少する一方、アバタの目が一時的に興味のある要素に長時間固定される範囲が減少する。次に、所定の期間を探すための上記のオプションを、瞬間的な勝ち要素の代わりに勝ち要素全体にオプションとして適用してもよい。

同様に、前述のように、アバタに対して所与の要素への関心を決定する１つの要因は、その要素が音を出すかどうか、または音量の変化を示すかどうかである。

同様に、通信を試みると、次のように現在の関心のある要素への注意がオーバーライドされてもよい。

第１のアバタが第２のアバタの想定された視点の中心からしきい値距離内にある場合、第２のアバタのユーザがゲーム内コミュニケーションの開始に対応する入力を実行する場合（たとえば、話すこと、タイプすること、画面上のキーボードやダイアログメニューなどを呼び出すことを始める）、第２のアバタが第１のアバタにとって最も関心のある要素として選択される。これは、既存の選択メカニズムをオーバーライドするか、単に現在選択されている関心のある要素よりもわずかに高い関心値を第２のアバタに割り当てることによって実行することができる。オプションとして、このアプローチは、第１のアバタの想定された視野内にある第２のアバタの支配下にあってもよく、ユーザのコミュニケーションの意思の認識に対する可能性をシミュレートする。

このようにして、第１のアバタは仮想環境の別の要素に注意を向けているように見える一方、第２のアバタのユーザが第１のアバタを自分の視野のほぼ中央に移動させ、コミュニケーションを開始すると、第１のアバタが関心を彼らに集めているように見える。

前述のように、このようなアプローチは、たとえば、ノンプレイヤキャラクタとやり取りするとき、または別のユーザが制御するアバタが著しいネットワークラグを経験しているとき、または他のユーザが現在アクティブにアバタを制御していないように見える場合に、使用することができる。

目の方向の変化は、いくつかの方法で示すことができる。動く要素がアバタにとって最も関心がある場合、その目はそのオブジェクトをスムーズに追跡することができる。新しい要素が最も関心のあるものとして選択されると、アバタは眼球のサッカード運動（位置におけるジャンプ）を示すことができる。これには瞬きのアクションが含まれ、アバタの目を瞬間的に閉じてから、新しい方向に見ながら目を開く。他の時間の瞬きをシミュレートしてもよい。関心のある特定のオブジェクトに対して、特別な目の動作を選択してもよい。たとえば、ユーザのアバタの目（または一人称視点におけるそれらの目の概念的な位置）が関心の焦点である場合、アバタは、時間の経過とともに片方の目を見てからもう片方の目および／または中間点を見るためにサッカード変化を示すようにアニメーション化してもよい。

当然のことながら、上記の方法は、ソフトウェア命令によって、または専用ハードウェアの包含または置換によって適用可能な場合は適切に適合された従来のハードウェア（Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ ４（登録商標）、他のビデオゲームコンソール、ＰＣ、または他の汎用コンピューターなど）上で実行することができる。

したがって、従来の同等の装置の既存の部分への必要な適応は、ここに記載された方法の一部またはすべてをコンピュータに実行させるように構成され、オプションとして、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、またはこれらもしくは他の記憶媒体の任意の組み合わせなどの非一時的機械可読媒体に格納された、プロセッサ実装可能命令を含むコンピュータプログラム製品の形で実装されてもよく、あるいは、ＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）または従来の同等の装置を適合させるのに使用するのに適した他の構成可能な回路としてハードウェアで実現されてもよい。別に、そのようなコンピュータプログラムは、イーサネット、無線ネットワーク、インターネット、またはこれらもしくは他のネットワークの任意の組み合わせなどのネットワーク上のデータ信号を介して送信されてもよい。

したがって、本発明の実施形態では、エンターテイメント装置１０（Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ４（登録商標）など）は、仮想環境でアバタの注意をシミュレートするように適合され、以下のことをするように（たとえば適切なソフトウェア命令により）適合されたプロセッサ（ＣＰＵ２０Ａなど）を備える。すなわち、環境内の所定のアバタに対して、１つまたは複数の要因に応じて仮想環境内の複数の要素のそれぞれの関心値を周期的に計算し、ここで、前記要因の少なくとも１つは各要素と所与のアバタの間の関係に応じて評価され、最も高い計算された関心値を有する要素を選択し、所与のアバタの目の表現を仮想環境内の選択された要素に向けさせるようにする。

前述のように、要素を選択するように任命された所与のアバタの目の表現を向けさせることは、例えばＣＰＵ２０Ａとイーサネット（登録商標）ポート３２またはＷｉ－Ｆｉ（登録商標）ポート３４などの通信ポートとの組み合わせを使用して、オプションとしてサーバ経由で、他のエンターテイメントデバイスにその要素を識別する情報を送信することを含む。あるいは、例えば、ヘッドマウントディスプレイへの出力用のレンダリング画像を作成するためにＣＰＵ２０ＡとＧＰＵ２０Ｂの組み合わせを使用して、所与のアバタの視線の新しい方向を描くために仮想環境の状態を更新することを含んでもよい。

適切なソフトウェア命令を通して、そのようなエンターテイメントデバイスは、ここに記載された技術および方法を実装することができることが理解されよう。したがって、たとえば前述の例について、各要素と所与のアバタの関係に応じて評価される少なくとも１つの要因には、所与のアバタによって表されたユーザの現在の視野内にその要素があるかどうかを示す値、所与のアバタからのその要素の距離に応じた値、所与のアバタとその要素の間に遮るもののない視線があるかどうかを示す値、所与のアバタに対する最も関心のある要素としてその要素が以前に選択されていた時間の長さ、および、その要素が別のアバタに対応する場合、その別のアバタのユーザが所与のアバタのユーザの友達リストにあるかどうかを示す値から成るリストから選択された１つ以上が含まれる。

Claims (10)

1. エンターテインメントデバイスのユーザに対して仮想環境における複数のアバタの注意をシミュレーションする方法であって、
   前記方法は、前記仮想環境内の第１のユーザを表す第１のアバタに対して、
   前記第１のユーザのエンターテインメントデバイスを用いて、１以上の要因に依存して前記仮想環境における複数の要素のそれぞれの関心値を周期的に計算するステップであって、前記要因の少なくとも１つは、各要素と前記第１のアバタの関係に応じて評価される、ステップと、
   前記第１のユーザのエンターテインメントデバイスを用いて、計算された最も高い関心値をもつ要素を選択するステップであって、前記選択された要素は前記第１のアバタにとって最も関心のあるものである、ステップと、
   前記第１のユーザのエンターテインメントデバイスを用いて、前記第１のアバタにとって最も関心のある要素について他のユーザのリモートエンターテインメントデバイスに通知するステップとを含み、
   前記方法は、前記仮想環境内の前記他のユーザを表す他のアバタに対して、
   前記他のユーザのリモートエンターテインメントデバイスを用いて、前記他のアバタにとって最も関心のある要素について前記第１のユーザのエンターテインメントデバイスに通知するステップと、
   前記第１のユーザのエンターテインメントデバイスを用いて、前記他のアバタの目の表現を前記仮想環境内の前記他のアバタにとって最も関心のある要素に向けさせるステップとを含み、
   前記他のアバタの目の表現を前記他のアバタにとって最も関心のある要素に向けさせるステップは、前記他のアバタの表示された表現を更新することを含み、
   前記第１のユーザのエンターテインメントデバイスが、所与の更新期間の開始から所定の期間内に前記他のアバタにとって最も関心のある要素について通知されないならば、前記第１のユーザのエンターテインメントデバイスは、前記他のユーザのリモートエンターテインメントデバイスの代わりに前記他のアバタに対して前記仮想環境における複数の要素のそれぞれの関心値を周期的に計算するステップと前記計算された最も高い関心値をもつ要素を選択するステップを実行する、方法。
2. デフォルトの関心値が前記仮想環境の１以上の要素に割り当てられる、請求項１の方法。
3. 各要素と前記第１のアバタとの関係に応じて評価される前記少なくとも１つの要因は、
   ｉ．前記第１のアバタによって表される第１のユーザの現在の視野内に前記要素があるかどうかを示す値；
   ｉｉ．前記第１のアバタからの前記要素の距離に応じた値；
   ｉｉｉ．前記第１のアバタと前記要素の間に遮られていない視線があるかどうかを示す値；
   ｉｖ．前記要素が以前に前記第１のアバタに対して最も関心のある要素として選択された時間の長さに比例する値；および
   ｖ．前記要素が他のアバタに対応する場合、前記他のアバタによって表される他のユーザが前記第１のアバタによって表される第１のユーザの友達リストに載っているかどうかを示す値
   からなるリストから選択された１つ以上が含まれる、請求項１または２の方法。
4. 前記要因は、
   ｉ．要素の体積、位置、および振る舞いの１つ以上の変化にそれぞれ対応する１つ以上の値；および
   ｉｉ．前記要素を現在最も関心のあるものとして選択している他のアバタの数に比例する値
   からなるリストから選択された１つ以上が含まれる、請求項１から３のいずれかの方法。
5. 前記要素は、
   ｉ．他のアバタの目；
   ｉｉ．他のアバタの口；および
   ｉｉｉ．他のアバタの手；
   からなるリストから選択された１である、請求項１から４のいずれかの方法。
6. 前記第１のアバタが他のアバタの想定された視点の中心から閾値距離以内にあり、かつ、前記他のアバタによって表される他のユーザが前記仮想環境内でコミュニケーションの行為に対応する入力を行う場合、前記他のアバタが前記仮想環境の最も高い関心値をもつ要素として選択される、請求項１から５のいずれかの方法。
7. 前記選択された要素は、所定の最小期間、選択される、請求項１から６のいずれかの方法。
8. コンピュータシステムに請求項１から７のいずれかの方法を実行させるように構成されたコンピュータプログラム。
9. 仮想環境における複数のアバタの注意をシミュレーションするように構成されたエンターテインメントデバイスであって、前記エンターテインメントデバイスはプロセッサを含み、
   前記プロセッサは、前記仮想環境内の第１のユーザを表す第１のアバタに対して、
   １以上の要因に依存して、前記仮想環境における複数の要素のそれぞれの関心値を周期的に計算するステップであって、前記要因の少なくとも１つは、各要素と前記第１のアバタとの関係に応じて評価される、ステップと、
   計算された最も高い関心値をもつ要素を選択するステップであって、前記選択された要素は前記第１のアバタにとって最も関心のあるものである、ステップと、
   前記第１のアバタにとって最も関心のある要素について他のユーザのリモートエンターテインメントデバイスに通知するステップとを実行するように構成され、
   前記プロセッサは、前記仮想環境内の前記他のユーザを表す他のアバタに対して、
   前記他のアバタにとって最も関心のある要素についての情報を前記他のユーザのリモートエンターテインメントデバイスから受信するステップと、
   前記他のアバタの目の表現を前記仮想環境内の前記他のアバタにとって最も関心のある要素に向けさせるステップとを実行するように構成され、
   前記プロセッサは、前記他のアバタの表示された表現を更新することにより、前記他のアバタの目の表現を前記他のアバタにとって最も関心のある要素に向けさせるように構成され、
   前記プロセッサが、所与の更新期間の開始から所定の期間内に前記他のアバタにとって最も関心のある要素についての情報を受信しないならば、前記プロセッサは、前記他のユーザのリモートエンターテインメントデバイスの代わりに前記他のアバタに対して前記仮想環境における複数の要素のそれぞれの関心値を周期的に計算するステップと前記計算された最も高い関心値をもつ要素を選択するステップを実行するように構成される、エンターテインメントデバイス。
10. 各要素と前記第１のアバタとの関係に応じて評価される前記少なくとも１つの要因は、
    ｉ．前記第１のアバタによって表されるユーザの現在の視野内に前記要素があるかどうかを示す値；
    ｉｉ．前記第１のアバタからの前記要素の距離に応じた値；
    ｉｉｉ．前記第１のアバタと前記要素の間に遮られていない視線があるかどうかを示す値；
    ｉｖ．前記要素が以前に前記第１のアバタに対して最も関心のある要素として選択された時間の長さに比例する値；および
    ｖ．前記要素が他のアバタに対応する場合、前記他のアバタによって表される他のユーザが前記第１のアバタによって表される第１のユーザの友達リストに載っているかどうかを示す値
    からなるリストから選択された１つ以上が含まれる、請求項９のエンターテインメントデバイス。

Images