JP2015232880A - 視野および／または近接度に基づいて触覚強度を変更するためのプログラマブル触覚デバイスおよび方法 - Google Patents

Abstract

【課題】より没入できより楽しい経験をユーザに与えるために以前には利用可能でなかった変種の触覚効果を与える触覚フィードバック・システムを提案すること。
【解決手段】触覚フィードバックを与えるためのシステムは、ユーザへの仮想環境をディスプレイ上に生成するように構成されたホスト・コンピュータと、プロセッサと、触覚周辺機器と、近接センサとを含む。触覚周辺機器はアクチュエータを含み、アクチュエータは、プロセッサからの制御信号を受け取り、プロセッサからの制御信号に応答して触覚効果を触覚周辺機器に出力するように構成される。プロセッサは、仮想カメラと仮想物体との間の仮想環境内の仮想距離に応じてアクチュエータのための制御信号を変えるように構成される。加えてまたは代替として、プロセッサは、仮想環境内の仮想カメラの視野に応じてアクチュエータのための制御信号を変えるように構成される。
【選択図】図１

Description

本発明は、触覚効果（haptic effect）または触覚フィードバックを与えるためのシステムおよび方法に関し、特に、視野（perspective）および／または近接度に基づいて触覚強度を変更するためのプログラマブル触覚デバイスおよび方法に関する。

関連出願の相互参照
本願は、２０１４年６月９日に出願された米国特許仮出願第６２／００９８９８号の利益を主張し、その全体がすべての目的のために参照により本明細書に組み込まれる。

ビデオ・ゲームおよび仮想現実システムは、カジュアル・ゲーマーへのマーケティング、およびカジュアル・ゲーマーからの結果として生じる関与のために一層人気が高まっている。典型的な実施態様では、コンピュータ・システムが、ユーザへの視覚またはグラフィカル環境をディスプレイ・デバイスに表示する。ユーザは、インタフェース・デバイスからコマンドまたはデータを入力することによって、表示された環境と対話することができる。コンピュータは、ジョイスティック・ハンドルなどの移動型操作子（manipulandum：マニピュランダム）のユーザ操作に応答して環境を更新し、ディスプレイ画面を使用してユーザに視覚フィードバックを与える。

従来のビデオ・ゲーム・デバイスまたはコントローラは視覚および聴覚キュー（cue）を使用して、ユーザにフィードバックを与える。いくつかのインタフェース・デバイスでは、運動感覚フィードバック（能動的および抵抗性触覚フィードバックなど）および／または触感（tactile）フィードバック（振動、質感、および熱など）が、さらに、ユーザに与えられ、より一般的には、まとめて、「触覚フィードバック」または「触覚効果」として知られている。触覚フィードバックは、ユーザ・インターフェースを強化し簡単化するキューを与えることができる。例えば、振動効果または振動触感触覚効果（vibrotactile haptic effect）は、電子デバイスのユーザにキューを与えて特定のイベントについてユーザに警報を出すときに有用であり、または現実的なフィードバックを与えて、シミュレートされたもしくは仮想の環境内により大きい知覚没入を作り出すことができる。ゲーミング・デバイスおよび他のデバイスのための従来の触覚フィードバック・システムは、一般に、コントローラ／周辺機器のハウジングに取り付けられた、触覚フィードバックを生成するためのアクチュエータを含む。より詳細には、インタフェース・デバイスのモータまたは他のアクチュエータがコントローラ内に収納され、制御用コンピュータ・システムに接続される。コンピュータ・システムはインタフェース・デバイスからセンサ信号を受け取り、適切な触覚フィードバック制御信号をアクチュエータに送る。その後、アクチュエータは、触覚フィードバックをコントローラに与える。このようにして、コンピュータ・システムは、他の視覚および聴覚フィードバックとともにユーザに身体的感覚を伝えることができる。

より没入できより楽しい経験をユーザに与えるために以前には利用可能でなかった変種の触覚効果を与える触覚フィードバック・システムへの要求がある。

本発明の実施形態は、ユーザへの仮想環境をディスプレイ上に生成するように構成されたホスト・コンピュータと、プロセッサと、触覚周辺機器とを含むシステムに関連する。触覚周辺機器はアクチュエータを含み、アクチュエータは、プロセッサからの制御信号を受け取り、プロセッサからの制御信号に応答して触覚効果を触覚周辺機器に出力するように構成される。プロセッサは、仮想環境の仮想カメラのズーム状態に応じてアクチュエータのための制御信号を変え、その結果、第１のズーム状態により、アクチュエータは第１の触覚効果を生成し適用することになり、第２のズーム状態により、アクチュエータは第２の触覚効果を生成し適用することになる。仮想物体は第１のズーム状態におけるよりも第２のズーム状態においてより近くに現れ、第１の触覚効果は第２の触覚効果よりも弱い。

本発明の実施形態は、さらに、ユーザへの仮想環境をディスプレイ上に生成するように構成されたホスト・コンピュータと、触覚周辺機器と、プロセッサとを含むシステムに関連する。触覚周辺機器はアクチュエータを含み、アクチュエータは、プロセッサからの制御信号を受け取り、プロセッサからの制御信号に応答して触覚効果を触覚周辺機器に出力するように構成される。プロセッサは、仮想環境内の仮想カメラの視野に応じてアクチュエータのための制御信号を変え、その結果、第１の視野により、アクチュエータは第１の触覚効果を生成し適用することになり、第２の視野により、アクチュエータは第２の触覚効果を生成し適用することになり、第１の触覚効果は第２の触覚効果と異なるように構成される。

本発明の実施形態は、さらに、ユーザへの仮想環境をディスプレイ上に生成するように構成されたホスト・コンピュータと、触覚周辺機器と、プロセッサとを含むシステムに関連する。触覚周辺機器はアクチュエータを含み、アクチュエータは、プロセッサからの制御信号を受け取り、プロセッサからの制御信号に応答して触覚効果を触覚周辺機器に出力するように構成される。プロセッサは、仮想環境の仮想カメラのズーム状態に応じてアクチュエータのための制御信号を変え、その結果、第１のズーム状態により、アクチュエータは第１の触覚効果を生成し適用することになり、第２のズーム状態により、アクチュエータは第２の触覚効果を生成し適用することになるように構成される。仮想物体は第１のズーム状態におけるよりも第２のズーム状態においてより近くに現れる。プロセッサは、さらに、仮想環境内の仮想カメラの視野に応じてアクチュエータのための制御信号を変え、その結果、第１の視野により、アクチュエータは第３の触覚効果を生成し適用することになり、第２の視野により、アクチュエータは第４の触覚効果を生成し適用することになるように構成される。第１の触覚効果、第２の触覚効果、第３の触覚効果、および第４の触覚効果は互いに異なる。

本発明の実施形態による、触覚フィードバックを触覚周辺機器に与えるためのシステムのブロック図である。 図１のシステムの概略図であり、触覚周辺機器は触覚ジョイスティックである。 本発明の実施形態による触覚周辺機器の斜視図であり、触覚周辺機器は手持ち式ゲーミング・コントローラである。 本発明の実施形態による触覚周辺機器の斜視図であり、触覚周辺機器は手持ち式ゲーミング・コントローラである。 図３および４のゲーミング・コントローラのブロック図である。 本発明の実施形態による、触覚フィードバックを触覚周辺機器に与えるためのシステムの斜視図であり、触覚周辺機器は、タブレット・コンピュータとともに使用することができるゲーミング・タブレット・コントローラである。 図６のシステムのブロック図である。 図１のシステムのディスプレイの図であり、ディスプレイはその上に仮想物体を表示する。 図１のシステムの仮想カメラと図８の仮想物体との間の仮想距離の概略図である。 図１のシステムのディスプレイの図であり、ディスプレイはその上に仮想物体を表示する。 図１のシステムの仮想カメラと図１０の仮想物体との間の仮想距離の概略図である。 本発明の実施形態による、触覚効果を触覚周辺機器のユーザに与える方法を示す流れ図であり、与えられる触覚効果は、触覚効果の発生源または原因である仮想物体に対する仮想カメラの位置または距離に応じて変わる。 本発明の実施形態による、ホスト・デバイスからの触覚信号を決定し送出する方法を示す流れ図であり、与えられる触覚効果は、触覚効果の発生源または原因である仮想物体に対する仮想カメラの位置または距離に応じて変わる。 ビデオ・ゲームの実施形態における三人称仮想カメラ視野の図である。 本発明の実施形態による触覚周辺機器の図であり、触覚周辺機器は手持ち式ゲーミング・コントローラであり、ユーザが図１４に示すような三人称仮想カメラ視野にいる場合、弱いおよび／または周囲触覚フィードバックが触覚周辺機器に与えられる。 ビデオ・ゲームの実施形態における一人称仮想カメラ視野の図である。 本発明の実施形態による触覚周辺機器の図であり、触覚周辺機器は手持ち式ゲーミング・コントローラであり、ユーザが図１６に示すような一人称仮想カメラ視野にいる場合、強いおよび／またはトリガ触覚フィードバックが触覚周辺機器に与えられる。 本発明の実施形態による、触覚効果を触覚周辺機器のユーザに与える方法を示す流れ図であり、与えられる触覚効果は仮想カメラ視野に応じて変わる。 本発明の実施形態による、ホスト・デバイスからの触覚信号を決定し送出する方法を示す流れ図であり、与えられる触覚効果は仮想カメラ視野に応じて変わる。 本発明の実施形態による、触覚効果を触覚周辺機器のユーザに与える方法を示す流れ図であり、与えられる触覚効果は、仮想カメラ位置ならびに仮想カメラ視野に応じて変わる。 図２０の流れ図の２つの異なる状態に対する関連触覚効果が同時に存在する場合に生じる触覚効果の概略図であり、仮想カメラが仮想物体から遠く離れており、三人称視野にある場合、弱い周囲触覚効果が与えられる。 図２０の流れ図の２つの異なる状態に対する関連触覚効果が同時に存在する場合に生じる触覚効果の概略図であり、仮想カメラが仮想物体から遠く離れており、一人称視野にある場合、弱いトリガ触覚効果が与えられる。 図２０の流れ図の２つの異なる状態に対する関連触覚効果が同時に存在する場合に生じる触覚効果の概略図であり、仮想カメラが仮想物体の近くにまたはすぐ近くにあり、かつ三人称視野にある場合、強い周囲触覚効果が与えられる。 図２０の流れ図の２つの異なる状態に対する関連触覚効果が同時に存在する場合に生じる触覚効果の概略図であり、仮想カメラが仮想物体の近くにまたはすぐ近くにあり、かつ一人称視野にある場合、強いトリガ触覚効果が与えられる。

本発明の前述のおよび他の特徴および利点は、添付図面に示されるような本発明の実施形態の以下の説明から明らかになる。本明細書に組み込まれ、本明細書の一部を形成する添付図面は、本発明の原理を説明し、当業者が本発明を実施し使用することを可能にするのにさらに役立つ。図面は正しい縮尺ではない。

次に、本発明の特定の実施形態が図を参照しながら説明され、同様の参照番号は同一のまたは機能的に同様の要素を示す。以下の詳細な説明は、単に本質的に例示であり、本発明または本発明の適用および使用を限定することを意図していない。さらに、前出の技術分野、背景技術、発明の概要、または以下の発明を実施するための形態で提示される任意の明示または示唆された理論によって拘束されることを意図しない。さらに以下の説明は、主として、ゲーミング・デバイスおよびゲーミング・デバイス用コントローラに関するが、説明は他の仮想現実システムおよび仮想現実システム用周辺機器に同等に当てはまることを当業者は認識されよう。

本発明の実施形態は、ユーザへの仮想環境をディスプレイ上に生成するように構成されたホスト・コンピュータと、プロセッサと、触覚周辺機器とを含むシステムに関連する。触覚周辺機器はアクチュエータを含み、アクチュエータは、プロセッサからの制御信号を受け取り、プロセッサからの制御信号に応答して触覚効果を触覚周辺機器に出力するように構成される。図に関してより詳細に本明細書で説明される本発明の実施形態によれば、プロセッサは、仮想カメラと、触覚効果の発生源または原因である仮想物体との間の仮想環境内の仮想距離に応じて、アクチュエータのための制御信号を変えるように構成される。別の言い方をすれば、プロセッサは、仮想カメラのズーム状態に応じてアクチュエータのための制御信号を変えるように構成される。例えば、第１の仮想距離（または第１のズーム状態）により、アクチュエータは第１の触覚効果を生成し適用することになり、第２の仮想距離（または第２のズーム状態）により、アクチュエータは第２の触覚効果を生成し適用することになる。第１の仮想距離は第２の仮想距離よりも大きく（または仮想物体が、第１のズーム状態におけるよりも第２のズーム状態においてユーザ寄りに現れ）、第１の触覚効果は第２の触覚効果よりも弱い。図に関してより詳細に本明細書で説明する本発明の別の実施形態によれば、プロセッサは、第１の視野により、アクチュエータが第１の触覚効果を生成し適用することになり、第２の視野により、アクチュエータが第２の触覚効果を生成し適用することになるように、仮想環境内の仮想カメラの視野に応じてアクチュエータのための制御信号を変え、その結果、第１の視野は一人称の視点であり、第２の視野は三人称の視点であり、第１の触覚効果は第２の触覚効果と異なるように構成される。例えば、第１の触覚効果はトリガ効果に関連し、第２の触覚効果は周囲効果（ambient effect）に関連する。図に関してより詳細に本明細書で説明する本発明のさらなる別の実施形態によれば、プロセッサは、仮想環境内の仮想カメラ位置に応じてアクチュエータのための制御信号を変えるように構成することができ、さらに、仮想環境内の仮想カメラ視野に応じてアクチュエータのための制御信号を変えるように構成することができる。

より詳細には、図１は、本発明の実施形態による、触覚フィードバックを触覚周辺機器１０２に与えるためのシステム１００のブロック図であり、図２は、図１のシステムの概略図である。図１〜２の実施形態において、触覚周辺機器１０２は、単一の操作子１２２のみをもつ触覚ジョイスティックである。しかしながら、触覚ジョイスティックは単に触覚周辺機器の例示的な実施形態であり、他の構成、形状、およびサイズをもつ触覚周辺機器を使用することができることを当業者は認識されよう。例えば、本明細書でより詳細に説明するように、触覚周辺機器は、ビデオ・ゲーム・コンソール・システムで現在利用可能な多くの「ゲームパッド」と同様の形状およびサイズである図３〜５に示すようなゲーミング・システムのための手持ち式ゲーミング・コントローラ３０２、図６〜７に示すようなタブレット・コンピュータ６０４とともに使用することができる触覚周辺機器６０２、または、限定はしないが、電話、携帯情報端末（ＰＤＡ）、タブレット、コンピュータ、ゲーミング周辺機器、および当業者に知られている仮想現実システムのための他のコントローラなどのユーザ入力（ＵＩ）要素を有する他のコントローラとすることができる。

図１〜２の実施形態を参照すると、触覚周辺機器１０２は、ユーザへの仮想環境をディスプレイ１０６上に生成するように構成されたホスト・コンピュータまたはコンピュータ・システム１０４と連通する。ホスト・コンピュータ１０４は、ビデオ・ゲーム・コンソール、またはモバイル・デバイス、またはユーザへの仮想環境をディスプレイ上に生成するように構成されたプロセッサを含む任意の他のタイプのコンピュータ・システムを含むことができる。図１のブロック図に示すように、ホスト・コンピュータ１０４は、ホスト・プロセッサ１０８、メモリ１１０、およびディスプレイ１０６を含む。ホスト・コンピュータ１０４は、メモリ１１０に格納され、ホスト・プロセッサ１０８によって実行されるソフトウェア・アプリケーションを実行する。ホスト・プロセッサ１０８は、任意のタイプの汎用プロセッサとすることができ、または触覚効果信号を供給するように特別に設計されたプロセッサとすることができる。ホスト・プロセッサ１０８は、ホスト・コンピュータ１０４全体を操作する同じプロセッサとすることができ、または別個のプロセッサとすることができる。ホスト・プロセッサ１０８は、どの触覚効果を触覚周辺機器１０２に送るべきか、およびどの順序で触覚効果を送るべきかを決定することができる。メモリ１１０は、限定はしないが、ランダム・アクセス・メモリ（ＲＡＭ）または読み取り専用メモリ（ＲＯＭ）などの任意のタイプの記憶デバイスまたはコンピュータ可読媒体とすることができる。メモリ１１０は、さらに、ホスト・プロセッサの内部に配置されるか、または内部および外部メモリの任意の組合せとすることができる。

ホスト・コンピュータ１０４は、有線または無線手段を介してディスプレイ１０６に結合される。ディスプレイ１０６は、ユーザにグラフィカル情報を与える任意のタイプの媒体とすることができ、これは、限定はしないが、モニタ、テレビジョン画面、プラズマ、ＬＣＤ、プロジェクタ、または他のディスプレイ・デバイスを含む。一実施形態では、ホスト・コンピュータ１０４はゲーミング・デバイス・コンソールであり、ディスプレイ１０６は、当技術分野で知られているような、ゲーミング・デバイス・コンソールに結合されるモニタである。別の実施形態では、当業者に知られているように、ホスト・コンピュータ１０４およびディスプレイ１０６は単一デバイスに組み合わせることができる。

図１〜２に示した実施形態では、ホスト・コンピュータ１０４は、有線またはＵＳＢ接続１０３によって触覚周辺機器１０２と連通する。しかしながら、他の実施形態では、触覚周辺機器１０２は、当業者に知られている他の有線通信または無線通信手段を使用してホスト・コンピュータ１０４と通信することができる。これは、限定はしないが、シリアルまたはＢｌｕｅｔｏｏｔｈ（登録商標）接続を含むことができる。

図２に最もよく示されるように、触覚周辺機器１０２は、ハウジングまたは基部１２０と、１つまたは複数の自由度で移動できる操作子またはユーザ入力デバイス１２２とを含む。操作子１２２はハウジング１２０から延在する。図２はジョイスティックを触覚周辺機器の操作子として示しているが、本開示はジョイスティック・操作子に限定されず、全体的にまたは部分的に１つまたは複数の自由度で移動可能な任意のデバイスをさらに含むことを当業者は理解されよう。ジョイスティックはコントローラの操作子の単なる例示的な実施形態であり、トリガ、ボタン、または他のユーザ入力要素などの他の構成をもつ操作子を、本明細書でより詳細に説明するように、使用することができることを当業者は認識されよう。

図１をさらに参照すると、触覚周辺機器１０２は、ローカル・プロセッサ１１２、ローカル・メモリ１１４、操作子・センサ１２３、および少なくとも１つのアクチュエータ１１８を含む。触覚周辺機器１０２は、接近センサ１１６と、視野センサ１１７とをさらに含むことができるが、そのようなセンサは、本明細書でより詳細に説明するように、すべての実施形態で必要とされるとは限らない。代替として、触覚周辺機器１０２はローカル・プロセッサ１１２を含まないように構成することができ、それによって、触覚周辺機器１０２からのすべての入力／出力信号は、ホスト・コンピュータ１０４によって直接扱われ処理される。本明細書でより詳細に説明するように、ローカル・プロセッサ１１２はアクチュエータ１１８に結合されて、ホスト・コンピュータ１０４からの高レベルの監視（supervisory）またはストリーミング・コマンドに基づいて触覚効果をアクチュエータ１１８に与える。ホスト・プロセッサ１０８と同様に、ローカル・プロセッサ１１２は、どの触覚効果を送るべきか、およびどの順序で触覚効果を送るべきかを決めることもできる。加えて、触覚周辺機器１０２が１つを超えるアクチュエータを含む場合、ローカル・プロセッサ１１２はどのアクチュエータが触覚効果信号を受け取ることになるかを決めることができる。加えて、ホスト・コンピュータ１０４のメモリ１１０と同様に、ローカル・メモリ１１４は、限定はしないが、ランダム・アクセス・メモリ（ＲＡＭ）または読み取り専用メモリ（ＲＯＭ）などの任意のタイプの記憶デバイスまたはコンピュータ可読媒体とすることができる。ローカル・メモリ１１４は、さらに、ローカル・プロセッサの内部に配置されるか、または内部および外部のメモリの任意の組合せとすることができる。

上述のように、触覚周辺機器１０２の操作子１２２は、１つまたは複数の自由度内で物理的に移動することができる。例えば、ユーザは、操作子１２２を、前に、後に、左に、または右に移動させることができる。ユーザが操作子１２２を移動させると、操作子・センサ１２３は、操作子の移動および／または位置を検出し、センサ信号をローカル・プロセッサ１１２に送出する。次に、ローカル・プロセッサ１１２は、センサ信号をホスト・コンピュータ１０４に通信するかまたは送出する。受け取ったセンサ信号に基づいて、ホスト・コンピュータ１０４は、ビデオ・ゲーム内のアクションを実行し、仮想環境を更新する。別の言い方をすれば、触覚周辺機器１０２の操作子１２２の移動はユーザからの入力を表し、その入力により、ユーザは、限定はしないが、一人称射手に関連するビデオ・ゲーム、三人称キャラクタ・インタラクション、車両関連ゲーム、またはコンピュータ・シミュレーションを含む、ホスト・コンピュータ１０４で作動しているソフトウェア・アプリケーションと対話することができるようになる。操作子１２２の移動は、カーソルもしくは他の画像などのコンピュータ生成グラフィカル物体、またはディスプレイ１０６を介してホスト・コンピュータ１０４によって表示される何か他のグラフィカル物体の移動に対応する入力、あるいは人、車両、またはゲームもしくコンピュータ・シミュレーションで見いだすことができる何か他のエンティティなどの仮想キャラクタまたはゲーミング・アバターを制御するための入力をホスト・コンピュータ１０４に供給することができる。

操作子・センサ１２３からのセンサ信号を受け取ることに加えて、ローカル・プロセッサ１１２は、さらに、アクチュエータ１１８から出力されるべき触覚効果に関連するホスト・コンピュータ１０４からの高レベル監視またはストリーミング・コマンドを受け取る。次に、ローカル・プロセッサ１１２は、ホスト・コンピュータ１０４からの高レベル監視またはストリーミング・コマンドに基づいてアクチュエータ１１８に制御または駆動信号を供給する。例えば、作動時に、電圧の大きさおよび期間がホスト・コンピュータ１０４から触覚周辺機器１０２に流され、情報はローカル・プロセッサ１１２を介してアクチュエータ１１８に供給される。ホスト・コンピュータ１０４は、アクチュエータ１１８によって出力されるべき触覚効果のタイプなど（例えば振動、急激な揺れ（jolt）、デテント（detent）、ポップ（pop）など）の高レベルのコマンドをローカル・プロセッサ１１２に供給することができ、それによって、ローカル・プロセッサ１１２は、出力されるべき触覚効果の特定の特性（例えば、大きさ、周波数、期間など）についてアクチュエータ１１８に命令する。ローカル・プロセッサ１１２は、それに結合されたローカル・メモリ１１４から触覚効果のタイプ、大きさ、周波数、期間、または他の特性を読み出すことができる。ホスト・コンピュータ１０４から受け取ったゲーム・アクションおよび制御信号に応じて、ローカル・プロセッサ１１２は制御または駆動信号をアクチュエータ１１８に送って、振動、デテント、質感、急激な揺れ、またはポップを含む多種多様な触覚効果または感覚のうちの１つを出力することができる。

アクチュエータ１１８は、仮想現実システムの当業者に知られているような慣性または運動感覚アクチュエータとすることができる。あり得るアクチュエータには、限定はしないが、偏心質量がモータによって移動される偏心回転質量（「ＥＲＭ」）アクチュエータ、ばねに取り付けられた質量が前後に駆動される線形共振アクチュエータ（「ＬＲＡ」）、圧電アクチュエータ、偏心質量がモータによって移動される電磁モータ、振動触感アクチュエータ、慣性アクチュエータ、形状記憶合金、信号に応答して変形する電気活性ポリマー、剛性、静電気摩擦（ＥＳＦ）、超音波表面摩擦（ＵＳＦ）を変化させるための機構、または他の好適なタイプの作動デバイスが含まれる。別の実施形態では、アクチュエータは、例えば、操作子１２２および／またはハウジング１２０の剛性／減衰（damping）を変化させるソレノイド、操作子１２２および／またはハウジング１２０におけるサイズを変化させる小さいエアバッグ、または形状変化材料を含む運動触覚フィードバックを使用することができる。

前に述べたように、触覚周辺機器１０２は単に触覚周辺機器の例示的な実施形態であり、他の構成、形状、およびサイズをもつ触覚周辺機器を使用することができる。例えば、図３〜５は、本発明の実施形態で利用することができる触覚周辺機器３０２の別の実施形態を示す。図３および４は、触覚周辺機器３０２の異なる斜視図であり、触覚周辺機器は手持ち式ゲーミング・コントローラであり、一方、図５は、ホスト・コンピュータ１０４およびディスプレイ１０６をさらに含むゲーミング・システム３００で使用される触覚周辺機器３０２のブロック図を示す。触覚周辺機器３０２のハウジング３２４は、左利きのユーザによってもまたは右利きのユーザによっても、デバイスを把持する２つの手を容易に収容するように整形される。触覚周辺機器３０２は、単に、ビデオ・ゲーム・コンソール・システムで現在利用可能な多くの「ゲームパッド」と同様の形状およびサイズのコントローラの例示的な実施形態であり、限定はしないが、Ｗｉｉ（登録商標）リモートまたはＷｉｉ（登録商標）Ｕコントローラ、Ｓｏｎｙ（登録商標）ＳｉｘＡｘｉｓ（登録商標）コントローラまたはＳｏｎｙ（登録商標）Ｗａｎｄコントローラ、Ｘｂｏｘ（登録商標）コントローラまたは類似のコントローラなどのコントローラならびに実在の物体（テニスラケット、ゴルフクラブ、野球用バットなどのような）および他の形状のように整形されたコントローラを含む、他のユーザ入力要素の構成、形状、およびサイズをもつコントローラを使用することができることを当業者は認識されよう。

触覚周辺機器３０２は、ジョイスティック３２２、ボタン３３０、およびトリガ３３２を含むいくつかのユーザ入力要素または操作子を含む。本明細書で使用するユーザ入力要素は、ホスト・コンピュータ１０４と対話するためにユーザによって操作されるトリガ、ボタン、ジョイスティックなどのようなインタフェース・デバイスを指す。図３〜４で見て分かるように、および当業者に知られているように、各ユーザ入力要素および追加のユーザ入力要素について１つを超えるものが触覚周辺機器３０２に含まれ得る。したがって、トリガ３３２の本説明は、例えば、触覚周辺機器３０２を単一のトリガに限定しない。さらに、図５のブロック図は、ジョイスティック３２２、ボタン３３０、およびトリガ３３２の各々について１つのみを示している。しかしながら、多数のジョイスティック、ボタン、およびトリガ、ならびに他のユーザ入力要素を上述のように使用することができることを当業者は理解されよう。

図５のブロック図で見て分かるように、触覚周辺機器３０２は、そのユーザ入力要素の各々を直接駆動するためのターゲット・アクチュエータまたはモータならびにユーザの手が一般に置かれる場所でハウジング３２４に結合される１つまたは複数の全体またはランブル（rumble）・アクチュエータ３２６、３２８を含む。より詳細には、ジョイスティック３２２はそれに結合されたターゲット・アクチュエータまたはモータ３１８Ａを含み、ボタン３３０はそれに結合されたターゲット・アクチュエータまたはモータ３１８Ｂを含み、トリガ３３２はそれに結合されたターゲット・アクチュエータまたはモータ３１８Ｃを含む。複数のターゲット・アクチュエータに加えて、触覚周辺機器３０２は、そのユーザ入力要素の各々に結合された位置センサを含む。より詳細には、ジョイスティック３２２はそれに結合された位置センサ３２３を含み、ボタン３３０はそれに結合された位置センサ３３１を含み、トリガ３３２はそれに結合された位置センサ３３３を含む。ローカル・プロセッサ３１２は、それぞれ、ターゲット・アクチュエータ３１８Ａ、３１８Ｂ、３１８Ｃ、ならびにジョイスティック３２２、ボタン３３０、およびトリガ３３２の位置センサ３２３、３３１、３３３に結合される。位置センサ３２３、３３１、３３３から受け取った信号に応答して、ローカル・プロセッサ３１２は、それぞれ、ジョイスティック３２２、ボタン３３０、およびトリガ３３２に指向性またはターゲット効果を直接与えるようにターゲット・アクチュエータ３１８Ａ、３１８Ｂ、３１８Ｃに命令する。そのようなターゲット効果は、全体アクチュエータ３２６、３２８によってコントローラの本体全体に沿って生成される全体またはランブル触覚効果から識別可能または区別可能である。集合的な触覚効果は、多数の感覚の種類、例えば、映像、音声、および触覚が同時に関与するとき、ゲームへのより大きい没入感をユーザに与える。触覚周辺機器１０２およびホスト・コンピュータ１０４と同様に、触覚周辺機器３０２は、ディスプレイ１０６を有するホスト・コンピュータ１０４に結合され、それと通信する。触覚周辺機器３０２のローカル・プロセッサ３１２は各アクチュエータに結合されて、ホスト・コンピュータ１０４からの高レベル監視またはストリーミング・コマンドに基づいて触覚効果を各アクチュエータに与える。触覚周辺機器３０２のアクチュエータは、触覚周辺機器１０２のアクチュエータ１１８に対して本明細書で列記した任意のタイプのアクチュエータとすることができる。触覚周辺機器３０２は、近接センサ１１６と同様の近接センサ（図示せず）および／または視野センサ１１７と同様の視野センサ（図示せず）をさらに含むことができるが、センサは、本明細書でより詳細に説明するように、すべての実施形態で必要とされるとは限らない。

図６〜７は、本発明の別の実施形態による触覚周辺機器６０２を示し、触覚周辺機器６０２は、タブレット・コンピュータ６０４とともに使用することができるゲーミング・タブレット・コントローラである。タブレット・コンピュータ６０４は、ゲーミング・アクティビティのために特別に設計することができ、例えば、Ｒａｚｅｒ Ｉｎｃ．などから入手可能であり、または市場でよく知られており入手可能であるタブレット・コンピュータ、例えば、Ａｐｐｌｅ（登録商標）Ｉｐａｄ（登録商標）、Ｋｉｎｄｌｅ（登録商標）Ｆｉｒｅ（登録商標）、およびＳａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙ Ｔａｂ（登録商標）などとすることができる。触覚周辺機器６０２は、タブレット・コンピュータ６０４を受け取るように構成されたドッキング部分６４０と、ユーザがタブレット・コンピュータ６０４上のゲームを制御するために操作子が上に配設されているハンドル６４２、６４４とを含む。ドッキング部分６４０は触覚周辺機器６０２をタブレット・コンピュータ６０４に接続し、その結果、ボタンを押す、ジョイスティックを動かす、トリガを押すなどのハンドル６４２、６４４へのユーザによるアクションが、タブレット・コンピュータ６０４でプレーされているゲームへのアクションをもたらす。

ハンドル６４２、６４４は、コントローラ上にある一般的な操作子またはユーザ入力要素を含む。操作子は、ハンドル６４４に関して説明されることになる。しかしながら、当業者は、同じまたは同様の操作子をハンドル６４２上で使用することができることを認識されよう。特に、ハンドル６４４は、ジョイスティック６２２、ボタン６３０、およびトリガ６３２を含む。図６で見て分かるように、および当業者に知られているように、これらのユーザ入力要素の各々について２つ以上を各ハンドル６４２、６４４に含めることができる。さらに、ハンドル６４２、６４４は、全体またはランブル・アクチュエータ３２６、３２８に関して上述したように全体またはランブル触覚効果をハンドル６４２、６４４に与えるために、ユーザの手が一般に配置される場所でハンドル６４２、６４４に取り付けられた全体およびランブル・アクチュエータ６２６、６２８を含む。

図７のブロック図に示すように、触覚周辺機器６０２は、ドッキング部分６４０を介してタブレット・コンピュータ６０４と通信するローカル・プロセッサ６１２を含む。図７のブロック図は、ジョイスティック６２２、ボタン６３０、およびトリガ６３２の各々について１つのみを示している。しかしながら、多数のジョイスティック、ボタン、およびトリガ、ならびに他のユーザ入力要素を上述のように使用することができることを当業者は理解されよう。ローカル・プロセッサ６１２は、それぞれ、ターゲット・アクチュエータ６１８Ａ、６１８Ｂ、６１８Ｃならびにジョイスティック６２２、ボタン６３０、およびトリガ６３２の位置センサ６２３、６３１、６３３に結合される。位置センサ６２３、６３１、６３３から受け取った信号に応答して、ローカル・プロセッサ６１２は、それぞれ、ジョイスティック６２２、ボタン６３０、およびトリガ６３２に指向性またはターゲット効果を直接与えるようにターゲット・アクチュエータ６１８Ａ、６１８Ｂ、６１８Ｃに命令する。触覚周辺機器６０２のローカル・プロセッサ６１２は各アクチュエータに結合されて、ホスト・コンピュータ６０４からの高レベル監視またはストリーミング・コマンドに基づいて触覚効果を各アクチュエータに与える。触覚周辺機器６０２のアクチュエータは、触覚周辺機器１０２のアクチュエータ１１８に対して本明細書で列記した任意のタイプのアクチュエータとすることができる。触覚周辺機器６０２は、近接センサ１１６と同様の近接センサ（図示せず）をさらに含むことができるが、そのようなセンサは、本明細書でより詳細に説明するように、すべての実施形態で必要とされるとは限らない。

どの触覚周辺機器構成または実施形態が利用されるかにかかわらず、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２は、仮想カメラのズーム状態に応じてアクチュエータのための制御信号を変えるように構成される。別の言い方をすれば、プロセッサ１０８および／またはローカル・プロセッサ１１２は、仮想カメラと、触覚効果の発生源または原因である仮想物体との間の仮想環境内の仮想距離に応じて、アクチュエータ１１８のための制御信号を変えるかまたは変更するように構成される。例えば、仮想物体が仮想カメラからより離れている、すなわち第１のズーム状態である場合、より弱い触覚効果がプレーまたは出力され、仮想物体が仮想カメラにより近い、すなわち、仮想物体がより大きくおよび／またはより近くなるように現れるかまたはユーザによって知覚される第２のズーム状態である場合、より強い触覚効果がプレーまたは出力される。例証のために、仮想カメラの例示的なズーム状態が、仮想カメラと仮想物体との間の仮想環境内の仮想距離を参照しながら本明細書で説明される。しかしながら、仮想環境について当業者によって理解されるように、仮想距離の変化は、シミュレートされるかまたはコンピュータ生成され、仮想カメラの物理的な移動を含まない（仮想カメラそれ自体が、物理的なカメラではなく、シミュレートされるかまたはコンピュータ生成されるので）。さらに、システム１００および触覚周辺機器１０２を参照しながら説明するが、図３〜５の実施形態および図６〜７の実施形態のホスト・プロセッサおよび／またはローカル・プロセッサは、やはり、仮想カメラと仮想物体との間の仮想環境内の仮想距離に応じてそれぞれのアクチュエータの制御信号を変えるように構成されることを当業者は理解されよう。

仮想距離を、図８〜１１を参照しながらより詳細に説明する。図８はディスプレイ１０６の図であり、ディスプレイはその上に仮想物体８５２を表示する。図８は、さらに、仮想カメラ８５０の第１のズーム状態を示すと見なすことができる。この例では、仮想物体８５２は自動車であるが、仮想物体は仮想現実環境に表示される任意の物体またはイベントとすることができることを当業者は理解されよう。仮想物体は触覚効果の発生源または原因であり、その結果、仮想物体に関連する触覚効果がユーザに対して生成またはプレーされる。さらに、仮想物体は、触覚効果の１つまたは複数の発生源または原因を含むことができる。例えば、仮想物体が自動車である場合、自動車は全体として第１の触覚効果を生成することができ、一方、タイヤなどの自動車の特定の点は第２のまたは異なる触覚効果を生成することができる。図９は、システム１００の仮想カメラ８５０と、仮想物体８５２との間の第１の仮想距離Ｄ_１の概略図である。本明細書で使用する「仮想カメラ」は、仮想環境で視界を捕捉するプロセッサ・ソフトウェア内の機構を指す。仮想カメラは、カメラまたはデジタル・カメラが現実世界の状況にあるのと同じように働き振る舞うプロセッサ・ソフトウェアの機能である。このソフトウェアでは、仮想カメラは、仮想物体がソフトウェア・プログラム中の仮想カメラの場所および角度に基づいてどのように描画されるかを決定する数学的計算から構成される。実際のカメラと同様に、仮想現実プログラム中の仮想カメラを扱う場合、ユーザはパン、ズームのような機能を使用するか、またはピントおよび焦点を変化させることができる。

図１０もディスプレイ１０６の図であり、ディスプレイはその上に仮想物体８５２を表示し、図１１は、システム１００の仮想カメラ８５０と仮想物体８５２との間の第２の仮想距離Ｄ_２の概略図である。図１０は、さらに、仮想カメラ８５０の第２のズーム状態を示すと見なすことができ、仮想物体８５２は、図８に示した仮想カメラ８５０の第１のズーム状態と比較して、より大きくおよび／またはユーザ寄りに現れる。第１の仮想距離Ｄ_１と第２の仮想距離Ｄ_２との比較から見て分かるように、第１の仮想距離Ｄ_１は第２の仮想距離Ｄ_２よりも大きいかまたは長く、仮想物体８５２は、図１０におけるよりも図８において小さくおよびより離れて現れる。仮想カメラ８５０と仮想物体８５２との間の第１の仮想距離Ｄ_１により、アクチュエータ１１８は第１の触覚効果を生成し適用することになり、仮想カメラ８５０と仮想物体８５２との間の第２の仮想距離Ｄ_２により、アクチュエータ１１８は第２の触覚効果を生成し適用することになる。一実施形態では、第１の触覚効果は第２の触覚効果よりも弱い。別の言い方をすれば、仮想カメラ８５０と仮想物体８５２との間の距離が比較的長い場合、比較的より弱い触覚効果が出力され、一方、仮想カメラ８５０と仮想物体８５２との間の距離が比較的短い場合、比較的より強い触覚効果が出力される。仮想物体８５２の近接度に基づいて触覚効果を変更することは、ゲームへのより大きい没入感をユーザに与える。例えば、仮想物体８５２が、図８に示した位置などの遠く離れた位置から図１０に示した位置などの近くまたはすぐ近くの位置まで移動するにつれて、関連触覚効果を徐々に増加させて、仮想物体８５２が視聴者の方に移動するドップラー効果の感覚をシミュレートすることができる。別の例では、仮想物体８５２は爆発などの仮想環境内で起こるイベントを含むことができ、関連触覚効果は振動を含むことができる。爆発が図８に示した位置などの遠く離れた位置で起こる場合、そのような関連する振動は、遠く離れたまたは遠隔の場所からの爆発を経験する感覚をシミュレートするように比較的弱い。爆発が図１０に示した位置などのすぐ近くまたは近くの位置で起こる場合、そのような関連する振動は、すぐ近くまたは近くの場所からの爆発を経験する感覚をシミュレートするように比較的強い。

第１の仮想距離Ｄ_１および第２の仮想距離Ｄ_２などの仮想距離は、いくつかの方法のうちの１つで検出または計算することができる。本発明のいくつかの実施形態では、仮想距離は近接センサ１１６を介して検出することができる。近接センサ１１６は、触覚周辺機器１０２とホスト・コンピュータ１０４との間の距離の変化を検出することによって、ユーザのアクションを検出する。より詳細には、一実施形態では、近接センサ１１６は、触覚周辺機器１０２とホスト・コンピュータ１０４との間の実際の距離を検出するように構成され、さらに、実際の距離をホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２に送るように構成される。触覚周辺機器１０２とホスト・コンピュータ１０４との間の検出された実際の距離の変化に基づいて、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２は、仮想カメラ８５０と仮想物体８５２との間の動きを生成し、それによって、仮想カメラ８５０と仮想物体８５２との間の仮想距離を変化させる。触覚周辺機器１０２とホスト・コンピュータ１０４との間の実際の距離が変化すると、仮想カメラ８５０と仮想物体８５２との間の仮想距離において関連したまたは関係した変化がある。例えば、ユーザ（したがって、ユーザによって保持されるか、またはユーザに結合された触覚周辺機器１０２）がホスト・コンピュータ１０４により近づく場合、近接センサ１１６は、そのような移動を、触覚周辺機器１０２とホスト・コンピュータ１０４との間の実際の距離の減少として検出し、その結果、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２は、仮想カメラ８５０と仮想物体８５２との間の仮想距離を減少させる。加えて、近接センサ１１６は、物体の辺を物理的におよび仮想的に決定し、ならびに辺が互いに接触する点を決定するように構成することができる。近接センサ１１６の例には、限定はしないが、レーザ・センサ、超音波センサ、光センサ、深さセンサ、デバイスが互いに限定された領域を認識する近接場通信（ＮＦＣ）またはＢｌｕｅｔｏｏｔｈ（登録商標） ４．０で利用されるセンサ、および当技術分野で知られている他の距離または測定センサが含まれる。例えば、一実施形態では、近接センサ１１６は、２つのＷｉｉ（登録商標）コントローラまたは２つのＲａｚｏｒ Ｈｙｄｒａ／Ｓｉｘｅｎｓｅ ＳＴＥＭデバイスなどの２つの別個のまたは独立した手持ち式触覚周辺機器に配置することができ、触覚効果は、２つの手持ち式触覚周辺機器がユーザによってどれくらい離して保持されているか、ならびに手持ち式触覚周辺機器と、表示デバイス、または充電ステーションなどの他の関連周辺機器に装着されたセンサなどのシステムの装着型近接センサとの間の距離に基づいて変えることができる。このようにして、近接センサ１１６は、図１に示したような触覚周辺機器１０２の内部に配置するか、またはそれに物理的に結合することができる。代替として、近接センサは、ホスト・コンピュータ１０４内に配置することができ、またはホスト・コンピュータ１０４および触覚周辺機器１０２の両方から離れた別個の／独立したセンサ・デバイスとすることができる。本発明の一実施形態では、近接センサ１１６は、ユーザに結合されるように構成されたウェアラブル・センサ・デバイスであるか、またはウェアラブル触覚周辺機器に取り付けられたセンサ・デバイスである。さらに、本発明の一実施形態では、近接センサ１１６は、ユーザに結合されるように構成されたヘッドマウント・センサ・デバイスであるか、またはヘッドマウント触覚周辺機器に取り付けられたセンサ・デバイスである。

本発明の別の実施形態では、近接センサ１１６はユーザの動作を検出するように構成され、さらに、ユーザの動作をホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２に送るように構成される。検出または感知されたユーザの動作に基づいて、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２は、仮想カメラ８５０と仮想物体８５２との間の動きを生成し、それによって、上述の段落で説明したように仮想カメラ８５０と仮想物体８５２との間の仮想距離を変化させる。別の言い方をすれば、検出または感知されたユーザの動作は、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２を介して仮想現実環境に反映される。この実施形態の近接センサ１１６の例には、限定はしないが、ビデオカメラ・デバイス、ウェブカメラ・デバイス、いかなる物理的接触もなしに近くの物体の存在を検出するセンサ、モーション・センサ、ユーザの身振りを判断するために筋肉の動きを検出する、ユーザの皮膚に貼られたセンサ、赤外線センサ、超音波センサ、近接電磁界、ステレオ三角測量、符号化開口（coded aperture）、干渉測定、またはＸＢＯＸ（登録商標） Ｋｉｎｅｃｔ（登録商標）のようなデバイスなどの任意の他の距離画像センサが含まれる。単一の近接センサで説明しているが、ユーザの動作を判断するために多数のセンサを同時にまたは併せて利用できることを当業者は理解されよう。例えば、センサ・システムは、空間中のユーザのリアルタイムの３Ｄ画像を多数のセンサを使用して捕捉するために、テレビジョン、モニタ、またはＫｉｎｅｃｔ（登録商標）付属品の中に配置することができる。センサ・システムは、さらに、ウェブカメラを使用して顔を識別し、ならびにユーザの手などのユーザおよび触覚周辺機器などの他の物体と対話する点（points of interaction）を識別するように構成される。センサ・システムはこの情報を使用して、システムおよび／または周辺機器に対するユーザ位置を判断し、ユーザおよび／またはシステムに対する周辺機器の位置を判断する。物体に配置されたインテリジェント・センサは、周辺機器内のセンサ（ジャイロスコープ、加速度計などのような）が、これらの周辺機器の方位および場所を追加として知らせるように、さらに互いを認識することができる。

さらなる別の実施形態では、仮想距離は、近接センサ１１６を使用することなく検出することができる（したがって、近接センサ１１６はこの実施形態では必要とされない）。より詳細には、仮想距離は、仮想環境内の状態の変化を検出することにより、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２によって検出される。例えば、ユーザは操作子１２２を操作して、仮想環境内のキャラクタを移動させ、それによって、キャラクタと仮想物体８５２との間の仮想距離を変化させることができる。キャラクタの移動は、状態の変化としてホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２で検出することができ、関連触覚効果は、仮想距離の変化に応じて変えるかまたは変更することができる。

図８〜１１はビデオ・ゲームの例を示しているが、仮想現実環境は、限定はしないが、ライブもしくは放送映像（broadcast footage）または事前記録されるかもしくはオーサリングされたコンテンツ・トラックを含む様々なタイプのコンテンツを含むことができる。例えば、仮想現実環境は、２Ｄまたは３Ｄコンテンツを含むことができ、ユーザもしくは視聴者が世界の遠隔地にいることをシミュレートすることができ（すなわち、教育またはレクリエーションの目的のために）、ユーザもしくは視聴者がイベント（すなわち、スポーツ・ゲーム、音楽コンサート、または劇場の演劇）に参加していることをシミュレートすることができ、またはユーザもしくは視聴者がファンタジーもしくは歴史的環境内にいることをシミュレートすることができる。仮想現実環境が３Ｄコンテンツを含む場合、シミュレーションは３６０度であり、その結果、ユーザは、向きを変えるかまたは回転するとき、ユーザを囲む仮想環境を見る。映像および音声の観点から、マルチチャネル・ビデオ・システムは、実際のカメラの映像が様々な周囲のまたは取り巻いている風景から撮影されるかまたは作り出される状態で使用することができ、ソフトウェアはクリップを綴じ合わせて（stitch）、継目なしの映像／音声仮想現実体験を作り出す。これらの非ビデオ・ゲーム実施形態では、少なくとも１つの触覚周辺機器が、触覚フィードバックを受け取るために必要とされる。しかしながら、触覚周辺機器は、仮想環境との対話／接続が許可されていない場合、操作子または操作子・センサを必要としない。本質的に、仮想環境との対話／接続が許可されないかまたは望まれない場合、触覚周辺機器は、触覚効果を出力するための少なくとも１つのアクチュエータを含むことしか必要とされず、本明細書で説明するようなローカル・メモリおよび／またはローカル・プロセッサを含むことができる。

触覚効果の発生源または原因である仮想物体に対する仮想カメラのズーム状態に基づいて触覚効果を変更することは、前の段落で説明した非ビデオ・ゲームの実施形態では非常に望ましい。より詳細には、ユーザまたは視聴者がイベント（すなわち、スポーツ・ゲーム、音楽コンサート、または劇場の演劇）に参加していることを仮想現実環境がシミュレートする例では、触覚周辺機器に出力される触覚効果は、仮想現実環境内のユーザの場所に基づいて変わることになる。ユーザまたは視聴者（したがって、仮想カメラ）がシミュレートされるイベント（すなわち、触覚効果の発生源または原因である仮想物体）のすぐ近くまたは近くに配置される場合、触覚周辺機器に出力される触覚効果は、ユーザまたは視聴者（したがって、仮想カメラ）がシミュレートされるイベントから遠く離れて配置される場合よりも強いことになる。例えば、シミュレートされるイベントがロック・コンサートである場合、ユーザまたは視聴者（したがって、仮想カメラ）がステージから遠く離れた列または区域に位置する場合と比べて、ユーザまたは視聴者（したがって、仮想カメラ）がステージに近い列または区域に位置する場合、より強い振動を触覚周辺機器に出力することができる。同様に、シミュレートされるイベントがバスケットボール・ゲームなどのスポーツ・イベントである場合、ユーザまたは視聴者（したがって、仮想カメラ）がバスケット・コートから遠く離れた列または区域に位置する場合と比べて、ユーザまたは視聴者（したがって、仮想カメラ）がバスケット・コートに近い列または区域に位置する場合、より強い振動を触覚周辺機器に出力することができる。

上述の非ビデオ・ゲーム実施形態では、仮想カメラと仮想物体（すなわち、触覚効果の発生源または原因であるスポーツ・ゲーム、音楽コンサート、または劇場の演劇）との間の仮想距離の検出は、多数の近接センサ、ならびにユーザに結合されるかまたはユーザによって着用される多数の触覚周辺機器を利用することが好ましい。近接センサ１１６に関して上述したように、そのような近接センサは、当技術分野で知られている距離または測定センサ、および／または当技術分野で知られているカメラ・デバイスまたはモーション・センサとすることができる。近接センサはユーザによる実際の動作を検出し、その結果、その動作は仮想現実環境に反映されることになる。ユーザ（およびユーザに関連する仮想カメラ）が移動するにつれて、触覚周辺機器により出力される触覚効果は、ユーザ主動（user-initiated）の位置変化に従って継目なしに自動的に更新されるかまたは変わることができる。各触覚周辺機器は触覚チャネルと見なすことができ、触覚効果を特定の触覚周辺機器に出力することは、触覚チャネル選択と見なすことができる。ホスト・コンピュータはユーザの動作を検出し、それによって、仮想カメラの位置変化がもたらされる。仮想カメラの位置変化およびそれに関連する触覚効果の変化の結果として、ホスト・コンピュータは、順次および／または同時に様々な触覚効果を特定の触覚周辺機器に出力して、継目なしのジェスチャ・ベースの触覚チャネル選択を達成する。そのような触覚チャネル選択は、触覚チャネル選択の補間を含むことができる。より詳細には、補間システムは、触覚混合器の役割をする。３Ｄ環境の多数の物体は、現実または仮想世界の多数の物体が音声放出器であるのと同様に、触覚放出器の役割をすることになる。補間システムは、センサから入手可能なデータ（すなわち、ユーザの位置、方位、対話性の物体、カメラ視界）、および環境の性質（すなわち、効果のタイプおよび強度、視界内にある間対話するとき、カメラ・フレームから外れている間対話するとき、視界内にあるが対話しないときなどに何をすべきかのパラメータ）を使用して、どの触覚感覚を優先すべきか、かつ、もしあれば、どのフィルタまたは変調を効果に適用すべきかを自動的に決定する。

図１２は、本発明の実施形態による、触覚効果を触覚周辺機器のユーザに与える方法を示す流れ図であり、与えられる触覚効果は、上述のように仮想カメラ８５０のズーム状態に応じて変わる。一実施形態では、図１２の流れ図の機能は、ホスト構成要素１０４のホスト・メモリ１１０に格納され、ホスト・プロセッサ１０８によって実行されるソフトウェアによって、かつ／または触覚周辺機器１０２のローカル・メモリ１１４に格納され、ローカル・プロセッサ１１２によって実行されるソフトウェアによって実施される。他の実施形態では、機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、またはハードウェアとソフトウェアとの任意の組合せの使用を通してハードウェアによって実行することができる。

ステップ１２５４において、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２は、触覚効果の発生源または原因である仮想物体８５２に対する仮想カメラ８５０の位置または場所を決定する。仮想カメラ８５０の位置を決定する際に、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２は、仮想カメラ８５０と仮想物体８５２との間の仮想距離を決定する。ステップ１２５６において、仮想カメラ８５０と仮想物体８５２との間の第１の仮想距離Ｄ_１は比較的長く、その結果、ステップ１２５８において、アクチュエータ１１８は弱い触覚効果を生成し適用する。ステップ１２６０において、仮想カメラ８５０と仮想物体８５２との間の第２の仮想距離Ｄ_２は比較的短く、その結果、ステップ１２６２において、アクチュエータ１１８は強い触覚効果を生成し適用する。単なる例証のために、図１２の方法は、第１の仮想距離Ｄ_１（仮想物体８５２が仮想カメラ８５０から比較的遠く離れている）または第２の仮想距離Ｄ_２（仮想物体８５２が仮想カメラ８５０の比較的にすぐ近くまたは近くにある）のいずれかとして仮想距離を説明している。しかしながら、仮想カメラ８５０と仮想物体８５２との間の仮想距離は任意の数のあり得る距離を含むことができ、その各々は触覚効果について関連する強度を有することができることを当業者は理解されよう。

アクチュエータ１１８によって出力される触覚効果は、限定はしないが、様々な程度の振動、様々な程度のデテント、または他のタイプの触覚効果を含むことができる。一例として、ユーザがキャラクタまたは何か他のグラフィカル物体を制御しており、そのとき、仮想環境で爆発に出会う場合、関連触覚効果は振動とすることができる。この場合、ローカル・プロセッサ１１２は、ゲーム中のキャラクタまたは他のグラフィカル物体への爆発の近接度に応じて変わる強度で触覚周辺機器１０２が振動すべきことを示す信号を受け取る。その結果、ローカル・プロセッサ１１２は、適切な触覚効果を与えるようにアクチュエータ１１８に信号を送り、この例では、適切な触覚効果は、仮想カメラ８５０と仮想物体８５２との間の仮想距離に依存する特定の強度をもつ振動である。ユーザに対して実行され与えられるべき触覚効果のタイプを決定する際に、高レベル触覚パラメータまたはストリーミング値がソフトウェア・コードで生成され、触覚エンジン（図示せず）に送られ、そこで処理され、適切な電圧レベルがアクチュエータのために生成される。これにより、触覚周辺機器は、ユーザに適切な触覚フィードバックを与え、アクチュエータのために生成される様々な電圧レベルを通して触覚フィードバックの量またはタイプを変えることができることになる。加えて、ゲーミング・ソフトウェアおよび触覚ソフトウェアは、同じプロセッサまたは多数のプロセッサ上に存在することができる。

図１３は、本発明の実施形態による、ホスト・コンピュータからの触覚信号を決定し送出する方法を示す流れ図であり、与えられる触覚効果は仮想カメラ位置に応じて変わる。一実施形態では、図１３の流れ図の機能は、ホスト構成要素１０４のメモリ１１０に格納され、ホスト・プロセッサ１０８によって実行されるソフトウェアによって、かつ／または触覚周辺機器１０２のメモリ１１４に格納され、ローカル・プロセッサ１１２によって実行されるソフトウェアによって実施される。他の実施形態では、機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、またはハードウェアとソフトウェアとの任意の組合せの使用を通してハードウェアによって実行することができる。

ステップ１３５４において、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２は、触覚効果の発生源または原因である仮想物体８５２に対する仮想カメラ８５０の位置または場所を決定する。仮想カメラ８５０の位置を決定する際に、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２は、仮想カメラ８５０と仮想物体８５２との間の仮想距離を決定する。

ステップ１３６４において、ホスト・プロセッサ１０８は、状態の変化があるかどうかを判断する。１つの実施形態では、この変化は、ゲームまたはシミュレーションのための仮想空間の変化とすることができる。一例として、ユーザは、キャラクタまたは他のグラフィカル物体を移動させていることができ、そのとき、仮想環境で爆発に出会う。キャラクタ移動、および／または爆発（または触覚効果の発生源もしくは原因である他の仮想物体）との出会いは、状態の変化とすることができる。状態の変化は上述の例に限定されないことを当業者は理解されよう。

ステップ１３６６において、次に、ホスト・プロセッサ１０８は、状態の変化を用いて関連触覚効果を決定する。例えば、ユーザが仮想キャラクタを制御し、そのキャラクタが爆発などの仮想物体に出会うシナリオでは、そのような出会いは、関連触覚効果、例えば振動などを有することができる。上述のように、関連触覚効果は仮想カメラ位置に応じて変わる。仮想カメラ８５０と仮想物体８５２との間の距離が比較的長い場合、比較的より弱い触覚効果が出力され、一方、仮想カメラ８５０と仮想物体８５２との間の距離が比較的短い場合、比較的より強い触覚効果が出力される。爆発が遠く離れた位置で起こる場合、そのような関連する振動は、遠く離れた場所からの爆発を経験する感覚をシミュレートするように比較的弱い。爆発がすぐ近くまたは近くの位置で起こる場合、そのような関連する振動は、すぐ近くまたは近くの場所からの爆発を経験する感覚をシミュレートするように比較的強い。

状態の変化に伴う関連触覚効果があるかどうかを決定するプロセスは、多くの方法で行うことができる。状態の変化が関連触覚効果を有すると決定された場合、触覚信号が送られることになる。状態の変化が関連触覚効果を有していないと決定された場合、触覚信号が送られないことになる。１つの実施形態では、ホスト・コンピュータ１０４は、状態の変化および触覚効果の事前定義マッピングにアクセスする。例えば、ホスト・プロセッサは、状態の変化が存在し（すなわち、仮想カメラが仮想物体に近く）、関連触覚効果が仮想物体に関連した効果を強めるべきであると決定することができる。この状態の変化に対する関連触覚効果は、ホスト・プロセッサおよび／またはローカル・プロセッサによって利用される事前定義マッピング・システムにより決定され得る。例えば、事前定義マッピング・システムは、オーサリングされた触覚効果の特定のコンテンツ・トラックまたはシーケンスが、検出された仮想距離に応じてプレーされることを指示する（dictate）ことができる。別の実施形態では、事前定義マッピング・システムは、オーサリングされた触覚効果の現在プレーしているコンテンツ・トラックまたはシーケンスが、検出された仮想距離に応じて変更されるかまたは変えられることを指示することができる。例えば、現在プレーしているコンテンツ・トラックに従って出力される触覚効果は、所定の時間の間、徐々に強くなるか、または所定のレベルに強くなることができる。そのため、仮想カメラと仮想物体との間の検出された近接度に起因して、触覚ボリュームが増加されるか、または仮想物体に触覚強調がかけられる。事前定義マッピング・システムの上述の例は本質的に例示であり、任意の事前定義マッピング・システムが、所望に応じて、仮想環境の開発者によって利用され得ることが当業者には明らかであろう。

ステップ１３６８において、ホスト・コンピュータ１０４は、関連触覚情報をもつ触覚または制御信号を使用して、触覚情報を触覚周辺機器１０２に送出する。触覚情報の送出は、前に説明したように有線または無線通信のいずれかで行うことができる。したがって、触覚周辺機器１０２のローカル・プロセッサ１１２は、ゲーム中のキャラクタまたは他のグラフィカル物体への爆発の近接度に応じて変わる強度で触覚周辺機器１０２が振動すべきであることを示す制御信号を受け取る。

上述の実施形態は、触覚効果の発生源または原因である仮想物体に対する仮想カメラのズーム状態に基づいて触覚効果を変更することに関連する。代替としておよび／または加えて、本明細書の実施形態は、仮想カメラの視野に基づいて触覚効果を変更することを含むことができる。ビデオ・ゲームまたはホスト・コンピュータが一人称の視点または視野および三人称の視点または視野を可能にするビデオ・ゲーム実施形態では、そのとき、触覚効果はユーザの現在の視野または視点に応じて変わることになる。例えば、仮想カメラが一人称の視点または視野中にある場合、トリガ触覚効果が出力されるかまたは強調され、仮想カメラが三人称の視点または視野にある場合、周囲触覚効果が出力されるかまたは強調される。そのため、仮想カメラの検出された視野に起因して、触覚ボリュームが増加されるか、または触覚強調がトリガ効果もしくは周囲効果のいずれかにかけられる。システム３００および触覚周辺機器３０２を参照しながら説明したが、図１〜２の実施形態および図６〜７の実施形態のホスト・プロセッサおよび／またはローカル・プロセッサも、仮想カメラの視野に応じてそれぞれのアクチュエータの制御信号を変えるように構成されることを当業者は理解されよう。

図１４はディスプレイ１０６の図であり、ディスプレイは、その上に三人称の視点または視野で戦闘交戦ビデオ・ゲームを表示している。この例では、ビデオ・ゲームが表示されているが、任意のタイプの仮想現実環境を表示できることを当業者は理解されよう。図１５は、図１４のディスプレイ１０６と対話するためにユーザによって操作される上述のシステム３００の触覚周辺機器３０２の概略図である。本明細書で使用する三人称の視点または視野は、ユーザの仮想キャラクタの後ろでわずかに上方の固定距離から描画されたグラフィカル視野を指す。ユーザは、完全にまたは限定的に意識的に（awareness）仮想環境全体を見ることができる。加えて、ほとんどの三人称視野ビデオ・ゲームでは、ユーザは、仮想キャラクタの全身ならびにその周囲または環境を見ており、したがって、三人称の視点または視野により、ユーザは、より強く特徴づけられた仮想キャラクタを見ることができることになる。本発明の実施形態は一人称および／または三人称の視点に対して説明されているが、触覚効果は、鳥瞰またはトップダウンの視点、サイド・スクローリング（２Ｄ）の視点、等角投影の三人称の視点、および／または他の仮想カメラ視野を含む仮想カメラの他の視野に従って変えるかまたは変更することができる。

逆に、図１６はディスプレイ１０６の図であり、ディスプレイは、その上に一人称の視点または視野で戦闘交戦ビデオ・ゲームを表示している。図１７は、図１６のディスプレイ１０６と対話するためにユーザによって操作される上述のシステム３００の触覚周辺機器３０２の概略図である。本明細書で使用する一人称の視点または視野は、ユーザの仮想キャラクタそれ自身から描画されたグラフィカル視野を指す。一人称の視点または視野は、仮想キャラクタの眼により見られるような仮想環境を示す。例えば、図１６に示した戦闘交戦ビデオ・ゲームでは、ディスプレイ１０６は、まさに、仮想キャラクタの手が武器を保持し連動していることをディスプレイ１０６の下の方で示している。カーレース・ビデオ・ゲームでは、ディスプレイは、まさに、仮想キャラクタの手がハンドルを保持していることをディスプレイの下の方で示し、スポーツ・ビデオ・ゲームでは、ディスプレイは、まさに、仮想キャラクタの手がボールを保持していることをディスプレイの下の方で示す。

本発明の実施形態では、ホスト・プロセッサおよび／またはローカル・プロセッサは、仮想環境内の仮想カメラの視野に応じてアクチュエータ３１８Ａ、３１８Ｂ、３１８Ｃ、３２６、３２８のための制御信号を変えるように構成される。アクチュエータ３１８Ａ、３１８Ｂ、３１８Ｃは図１５および１７に示されていないが、ターゲット触覚効果を生成し、それぞれ、ジョイスティック３２２、ボタン３３０、およびトリガ３３２に適用するために図５に関して上述している。図１６の一人称の視点または視野により、アクチュエータのうちの少なくとも１つが、第１の触覚効果を生成し適用することになり、一方、図１４の三人称の視点または視野により、アクチュエータのうちの少なくとも１つが、第１の触覚効果と異なる第２の触覚効果を生成し適用することになる。例えば、図１６の一人称の視点または視野により、アクチュエータ３１８Ａ、３１８Ｂ、３１８Ｃのうちの少なくとも１つがそれぞれのユーザ入力要素へのターゲット触覚効果（図１７に１５７２として表された）を生成し適用することになる。そのようなターゲット・トリガ効果、すなわち、触覚周辺機器のユーザ入力要素に出力される効果は、フィードバックを本質的に物語形式（narrative）であるかまたはオーサリングされているように調整することによってユーザのための現実性の知覚を生成する。戦闘交戦ビデオ・ゲームの例では、仮想環境の武器は、トリガ連携を強調するためにトリガ・アクチュエータを使用することによって強調される。例えば、トリガ効果は、三人称では存在しないかまたは著しく弱く、しかし、一人称では完全に存在することができる。

図１４の三人称の視点または視野により、全体またはランブル・アクチュエータ３２６、３２８のうちの少なくとも１つが、周囲効果をシミュレートするために触覚周辺機器３０２のハウジング３２４への触覚効果（図１５に１５７０として表された）を生成し適用することになる。そのような周囲効果、すなわち、触覚周辺機器のハウジングに出力される効果により、ユーザは多数の視野の間を区別し、その結果、触覚効果はどの視野が現在利用されているかに応じてユーザに違いを感じさせることができる。追加として、仮想カメラ視野の変化は、多くの場合、ゲームプレーの変化を表し、本発明の実施形態では、与えられる触覚効果は、ゲームプレーのそのような変化を反映する。したがって、本発明の実施形態では、他のすべてのことが同じであって、仮想カメラ視野が異なる場合、同じイベント／仮想物体は異なる触覚効果をトリガすることができる。仮想カメラの視野に基づいて触覚効果を変更することにより、仮想環境内でのより没入した触覚経験が可能になり、異なる仮想カメラ角度からユーザが何を知覚するかの制御を向上させることができる。

仮想カメラ視野は、仮想環境内の状態の変化を検出することにより、ホスト・プロセッサおよび／またはローカル・プロセッサで検出することができる。別の言い方をすれば、この実施形態では、仮想カメラ視野は、視野センサ１１７を使用することなく検出することができる（したがって、視野センサ１１７はこの実施形態では必要とされない）。例えば、ユーザは、仮想カメラ視野を変化させるために触覚周辺機器を操作することができ、または仮想カメラ視野の変化は、記録されたコンテンツ・トラックまたはビデオ・ゲームの所定のシーケンスに従って生じることができる。仮想カメラ視野の変化を状態の変化としてホスト・プロセッサおよび／またはローカル・プロセッサで検出することができ、関連触覚効果を、必要に応じて、変えるかまたは変更することができる。本発明の別の実施形態では、ユーザの動作を検出するように構成され、さらに、ユーザの動作をホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２に送るように構成された、視野センサ１１７によって、仮想カメラ視野を検出することができる。検出または感知されたユーザの動作に基づいて、ホスト・プロセッサ１０８および／またはローカル・プロセッサ１１２は仮想カメラの視野を変化させることができ、それによって、仮想カメラ視野に関連する触覚効果も変化することができる。一実施形態では、視野センサ１１７はヘッドマウント触覚周辺機器に取り付けられる。ヘッドマウント触覚周辺機器に取り付けることができる視野センサ１１７の例には、限定はしないが、加速度計、ＩＲ送信器／受信器の組み合わせ、またはジャイロスコープが含まれる。代替として、別の実施形態では、視野センサ１１７は、物質世界におけるユーザの注視／視野の変化をはっきり示すために顔／眼の認識ができるウェブカメラ・デバイスである。

図１８は、本発明の実施形態による、触覚効果を触覚周辺機器のユーザに与える方法を示す流れ図であり、与えられる触覚効果は、上述のように、仮想カメラ視野に応じて変わる。一実施形態では、図１８の流れ図の機能は、ホスト構成要素１０４のホスト・メモリ１１０に格納され、ホスト・プロセッサ１０８によって実行されるソフトウェアによって、かつ／または触覚周辺機器３０２のローカル・メモリ３１４に格納され、ローカル・プロセッサ３１２によって実行されるソフトウェアによって実施される。他の実施形態では、機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、またはハードウェアとソフトウェアとの任意の組合せの使用を通してハードウェアによって実行することができる。

ステップ１８５４において、ホスト・プロセッサ１０８および／またはローカル・プロセッサ３１２は、仮想カメラ視野を決定する。ステップ１８５６において、一人称の視点または視野により、アクチュエータ３１８Ａ、３１８Ｂ、３１８Ｃのうちの少なくとも１つが、ステップ１８５８において触覚周辺機器３０２のそれぞれのユーザ入力要素へのターゲット触覚効果を生成し適用することになる。ステップ１８６０において、三人称の視点または視野により、全体またはランブル・アクチュエータ３２６、３２８のうちの少なくとも１つが、ステップ１８６２において触覚周辺機器３０２への触覚効果を生成し適用することになる。

触覚効果はユーザ入力要素によって変わることができる。例えば、いくつかの射撃ゲームは、別個のまたは対応するターゲット・アクチュエータを有する２つのトリガを含む。第１の触覚効果制御信号は第１のターゲット・アクチュエータによって第１のトリガに適用することができ、第２の触覚効果制御信号は第２のターゲット・アクチュエータによって第２のトリガに適用することができる。例えば、限定はしないが、Ｔｉｔａｎｆａｌｌなどのいくつかのビデオ・ゲームでは、各トリガ（すなわち、左のトリガおよび右のトリガ）のための触覚効果制御信号は、コンピュータ制御キャラクタまたは物体の左および右の手で保持されている異なるタイプの武器に対応する。別の例では、各トリガ（すなわち、左のトリガおよび右のトリガ）のための触覚効果制御信号は、コンピュータ制御キャラクタまたは物体の左および右の側で生じている方向性イベントに対応する（すなわち、キャラクタの左側はビデオ・ゲームにおいて何かが衝突するかまたは当たる）。

図１９は、本発明の実施形態による、ホスト・コンピュータからの触覚信号を決定し送出する方法を示す流れ図であり、与えられる触覚効果は仮想カメラ位置に応じて変わる。一実施形態では、図１９の流れ図の機能は、ホスト構成要素１０４のメモリ１１０に格納され、ホスト・プロセッサ１０８によって実行されるソフトウェアによって、かつ／または触覚周辺機器３０２のメモリ３１４に格納され、ローカル・プロセッサ３１２によって実行されるソフトウェアによって実施される。他の実施形態では、機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、またはハードウェアとソフトウェアとの任意の組合せの使用を通してハードウェアによって実行することができる。

ステップ１９５４において、ホスト・プロセッサ１０８および／またはローカル・プロセッサ３１２は、仮想カメラ視野を決定する。ステップ１９６４において、ホスト・プロセッサ１０８は、状態の変化があるかどうかを判断する。１つの実施形態では、この変化は、ゲームまたはシミュレーションのための仮想空間の変化とすることができる。一例として、ユーザは、仮想カメラ視野を変化させるために触覚周辺機器３０２を操作することができ、または仮想カメラ視野の変化は、記録されたコンテンツ・トラックまたはビデオ・ゲームの所定のシーケンスに従って生じることができる。仮想カメラ視野の変化は状態の変化である。

ステップ１９６６において、次に、ホスト・プロセッサ１０８は、状態の変化に伴う関連触覚効果を決定する。上述のように、一人称の視点または視野により、アクチュエータのうちの少なくとも１つは第１の触覚効果を生成し適用することになり、一方、三人称の視点または視野により、アクチュエータのうちの少なくとも１つが、第１の触覚効果と異なる第２の触覚効果を生成し適用することになる。例えば、一人称の視点または視野により、アクチュエータのうちの少なくとも１つは、トリガ効果をシミュレートするための触覚効果を生成し適用することになり、一方、三人称の視点または視野により、少なくともアクチュエータは、周囲効果をシミュレートするための触覚効果を生成し適用することになる。図１３に関して上述したように、状態の変化に伴う関連触覚効果があるかどうかを決定するプロセスは、多くの方法で行うことができ、状態の変化および触覚効果の事前定義マッピングにアクセスすることを含むことができる。

ステップ１９６８において、ホスト・コンピュータ１０４は、関連触覚情報をもつ触覚または制御信号を使用して、触覚情報を触覚周辺機器３０２に送出する。触覚情報の送出は、前に説明したように有線または無線通信のいずれかで行うことができる。したがって、触覚周辺機器３０２のローカル・プロセッサ３１２は、触覚周辺機器３０２が、仮想カメラ視野に応じて変わる触覚効果を出力すべきであることを示す制御信号を受け取る。

図２０は、本発明の実施形態による、触覚効果を触覚周辺機器のユーザに与える方法を示す流れ図であり、与えられる触覚効果は、仮想カメラ位置ならびに仮想カメラ視野に応じて変わる。ユーザはどの触覚効果がプレーされるのを期待しているかのメンタル・モデルは、仮想カメラ位置および仮想カメラ視野の両方によって間違いなく影響を受ける。したがって、仮想カメラ位置および仮想カメラ視野の両方に応じて触覚効果を変更するかまたは変えるシステムは、より没入できより楽しい経験をユーザに与えることになる。触覚周辺機器によって出力される触覚効果は、仮想カメラの位置および／または視野のユーザ主動の変化に従って自動的に更新されるかまたは変わり、したがって、動的な触覚効果と見なすことができる。一実施形態では、図２０の流れ図の機能は、ホスト構成要素のホスト・メモリに格納され、ホスト・プロセッサ１０８によって実行されるソフトウェアによって、かつ／または触覚周辺機器のローカル・メモリに格納され、ローカル・プロセッサによって実行されるソフトウェアによって実施される。他の実施形態では、機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、またはハードウェアとソフトウェアとの任意の組合せの使用を通してハードウェアによって実行することができる。

ステップ２０８０において、ホスト・プロセッサおよび／またはローカル・プロセッサは、触覚効果の発生源または原因である仮想物体に対する仮想カメラの位置または場所と、仮想カメラの視野とを決定する。仮想カメラの位置を決定する際に、ホスト・プロセッサおよび／またはローカル・プロセッサは、仮想カメラと仮想物体との間の仮想距離を決定する。

ステップ２０８２において、ホスト・プロセッサおよび／またはローカル・プロセッサは、仮想カメラと仮想物体との間の仮想距離が近くまたはすぐ近くの位置である状態１を決定し、その結果、ステップ２０８４において、アクチュエータは強い触覚効果を生成し適用する。ステップ２０８６において、ホスト・プロセッサおよび／またはローカル・プロセッサは、仮想カメラと仮想物体との間の仮想距離が遠いまたは遠隔の位置である状態２を決定し、その結果、ステップ２０８８において、アクチュエータは弱い触覚効果を生成し適用する。ステップ２０９０において、ホスト・プロセッサおよび／またはローカル・プロセッサは、一人称の視点または視野により、アクチュエータのうちの少なくとも１つがステップ２０９２において触覚周辺機器のユーザ入力要素へのターゲット触覚効果を生成し適用することになる状態３を決定する。ステップ２０９４において、ホスト・プロセッサおよび／またはローカル・プロセッサは、三人称の視点または視野により、全体またはランブル・アクチュエータのうちの少なくとも１つがステップ２０９６において触覚周辺機器への触覚効果を生成し適用することになる状態４を決定する。

本発明の実施形態による図２０の流れ図に従って実行されユーザに与えられる触覚効果のタイプを決定する際に、優先順位システムを利用して、ユーザを圧倒しないように同時にプレーされる効果の数を制限することができる。より詳細には、図２０を参照すると、ホスト・プロセッサおよび／またはローカル・プロセッサは、２つの異なる状態が同時に存在すると決定することができる。単一画面の実施形態では、２つの異なる状態が同じ画面に存在する。分割画面ディスプレイの実施形態では、第１の状態を分割画面の第１の半分に表示することができ、一方、第２の状態を分割画面の第２の半分に表示することができる。ピクチャ・イン・ピクチャ・ディスプレイの実施形態では、第１の状態を主画面に表示することができ、一方、第２の状態を、主画面の一部分の上に重ねられた二次画面に表示することができる。例えば、ホスト・プロセッサおよび／またはローカル・プロセッサは、状態２（仮想カメラが仮想物体から遠く離れている）ならびに状態３（仮想カメラが一人称の視野または視点を有する）が存在すると決定することができる。状態２に対する関連触覚効果は、仮想物体に関連する効果を弱めることであり、一方、状態３に対する関連触覚効果は、トリガ効果を強調するかまたは強くすることである。これらの２つの状態に対する関連触覚効果は、ホスト・プロセッサおよび／またはローカル・プロセッサによって利用される事前定義優先順位システムによって順序づけることができる。例えば、事前定義優先順位システムは、状態３の関連触覚効果が状態２の関連触覚効果と比べて優先権をとり、それにより、トリガ効果がプレーされ、その後、仮想物体に関連する弱められた効果が連続的にプレーされること、または、代替として、トリガ効果がプレーされ、仮想物体に関連する弱められた効果が省略されることを指示することができる。代替として、事前定義優先順位システムは、状態２の関連触覚効果は、状態３の関連触覚効果と比べて優先権をとるが、状態１が決定された場合および状態１が決定されたとき、状態１の関連触覚効果と比べて優先権をとらないことを指示することができる。本発明の別の実施形態では、優先順位システムはユーザの注意または興味に基づくことができる。例えば、分割画面の実施形態またはピクチャ・イン・ピクチャ・ディスプレイの実施形態において、カメラは、どの画面または画面の半分にユーザの眼が向いているかを感知または検出して、どの状態がより適切であるかまたはユーザによって好まれるかを判断することができる。事前定義優先順位システムの上述の例は本質的に例示であり、任意の事前定義優先順位システムが、所望に応じて、仮想環境の開発者によって利用され得ることが当業者には明らかであろう。

本発明の別の実施形態によれば、図２０の流れ図に従って実行されユーザに与えられる触覚効果のタイプを決定する際に、ホスト・プロセッサおよび／またはローカル・プロセッサは、２つの異なる状態が同時に存在すると決定されると、関連触覚効果を組み合わせるかまたは混合することができる。例えば、ホスト・プロセッサおよび／またはローカル・プロセッサは、状態２（仮想カメラが仮想物体から遠く離れている）ならびに状態４（仮想カメラが三人称の視野または視点を有する）が存在すると決定することができる。状態２に対する関連触覚効果は、仮想物体に関連する効果を弱めることであり、一方、状態４に対する関連触覚効果は、周囲効果を出力することである。ホスト・プロセッサおよび／またはローカル・プロセッサが、状態２および状態４の関連触覚効果を組み合わせるかまたは混合する場合、弱められた周囲効果が触覚周辺機器によって出力される。

図２１〜２４は、ホスト・プロセッサおよび／またはローカル・プロセッサが、同時に存在する２つの異なる状態に対する関連触覚効果を組み合わせるかまたは混合する場合、生じ得る触覚効果の概略図である。関連触覚効果がどのように組み合わされる／混合されるかの以下の例は本質的に例示であり、効果を組み合わせる／混合する様々な方法は、所望に応じて、仮想環境の開発者によって利用され得ることが当業者には明らかであろう。図２１は、状態２（仮想カメラ２０５０が、比較的長い仮想距離Ｄ_Ｌによって示されるように仮想物体から遠く離れている）ならびに状態４（仮想カメラ２０５０が三人称の視野または観点を有する）が存在するとホスト・プロセッサおよび／またはローカル・プロセッサが決定するシナリオを示す。三人称視野は、前部座席、または図２２および図２４の仮想カメラ２０５０に対して少し近い視点を有するユーザ（図２１〜２４に星印として表された）と対照的に、後部座席、または図２１および図２３の仮想カメラ２０５０に対して少し離れた視点を有するユーザによって示される。上述のように、状態２に対する関連触覚効果は、仮想物体に関連する効果を弱めることであり、一方、状態４に対する関連触覚効果は、周囲効果を出力することである。ホスト・プロセッサおよび／またはローカル・プロセッサが、状態２および状態４の関連触覚効果を組み合わせるかまたは混合する場合、弱められた周囲効果が触覚周辺機器によって出力される。別の実施形態では、上述のように、事前定義優先順位システムが、一方の状態の関連触覚効果が他方の状態の関連触覚効果に優先すると指示することができる。

図２２は、状態２（仮想カメラ２０５０が、比較的長い仮想距離Ｄ_Ｌによって示されるように仮想物体から遠く離れている）ならびに状態３（仮想カメラ２０５０が一人称の視野または視点を有する）が存在するとホスト・プロセッサおよび／またはローカル・プロセッサが決定するシナリオを示す。状態２に対する関連触覚効果は、仮想物体に関連する効果を弱めることであり、一方、状態３に対する関連触覚効果は、トリガ効果を出力することである。ホスト・プロセッサおよび／またはローカル・プロセッサが、状態２および状態３の関連触覚効果を組み合わせるかまたは混合する場合、弱められたトリガ効果が触覚周辺機器によって出力される。別の実施形態では、上述のように、事前定義優先順位システムが、一方の状態の関連触覚効果が他方の状態の関連触覚効果に優先すると指示することができる。

図２３は、状態１（仮想カメラ２０５０が、比較的短い仮想距離Ｄ_Ｓによって示されるように仮想物体のすぐ近くまたは近くにある）ならびに状態４（仮想カメラ２０５０が三人称の視野または視点を有する）が存在するとホスト・プロセッサおよび／またはローカル・プロセッサが決定するシナリオを示す。上述のように、状態１に対する関連触覚効果は、仮想物体に関連する効果を強めることであり、一方、状態４に対する関連触覚効果は、周囲効果を出力することである。ホスト・プロセッサおよび／またはローカル・プロセッサが、状態１および状態４の関連触覚効果を組み合わせるかまたは混合する場合、より強い周囲効果が触覚周辺機器によって出力される。別の実施形態では、上述のように、事前定義優先順位システムが、一方の状態の関連触覚効果が他方の状態の関連触覚効果に優先すると指示することができる。

図２４は、状態１（仮想カメラ２０５０が、比較的短い仮想距離Ｄ_Ｓによって示されるように仮想物体のすぐ近くまたは近くにある）ならびに状態３（仮想カメラ２０５０が一人称の視野または視点を有する）が存在するとホスト・プロセッサおよび／またはローカル・プロセッサが決定するシナリオを示す。上述のように、状態１に対する関連触覚効果は、仮想物体に関連する効果を強めることであり、一方、状態３に対する関連触覚効果は、トリガ効果を出力することである。ホスト・プロセッサおよび／またはローカル・プロセッサが、状態１および状態３の関連触覚効果を組み合わせるかまたは混合する場合、より強いトリガ効果が触覚周辺機器によって出力される。別の実施形態では、上述のように、事前定義優先順位システムが、一方の状態の関連触覚効果が他方の状態の関連触覚効果に優先することを指示することができる。

上述の実施形態は、触覚効果の発生源または原因である仮想物体に対する仮想カメラのズーム状態に基づいて触覚効果を変更すること、および／または仮想カメラの視野に基づいて触覚効果を変更することに関連する。本発明の別の実施形態では、触覚効果は、仮想カメラのピントの程度に基づいて変更することができる。より詳細には、上述のように、仮想現実プログラム中の仮想カメラを扱う場合、ユーザはパン、ズームのような機能を使用するか、またはピントおよび焦点を変化させることができる。触覚強度またはボリュームは、仮想物体が合焦状態かまたは非合焦状態かに基づいて変わることができる。例えば、仮想物体が仮想カメラに対して非合焦状態である場合、より弱い触覚効果がプレーされまたは出力され、仮想物体が仮想カメラに対して合焦状態である場合、より強い触覚効果がプレーされまたは出力される。

加えて、上述の実施形態は、ユーザへの仮想環境をディスプレイ上に生成するように構成されたコンピュータに関連しているが、仮想カメラのズーム状態に基づいて触覚効果を変更すること、および／または仮想カメラの視野に基づいて触覚効果を変更することを、ユーザへの仮想環境を生成するように構成されていないデバイスを含む他のタイプのデバイスに適用することができる。例えば、メディア・サービスならびにＤＶＤまたはブルーレイ・ディスクなどの記憶媒体は、ユーザの観視経験を向上させるために関連触覚効果を含めて構成することができる。メディア・サービスは、例えば、放送網サービス、ケーブル通信サービス、衛星通信サービス、クラウド・ビデオ・ストリーミング・サービス、ゲーミング・コンソール、またはオーディオ・ビデオ・コンテンツもしくはデータおよび関連する触覚コンテンツもしくはデータの発生源である任意の他のタイプのサービスとすることができる。メディア・サービスまたは記憶媒体を見るユーザは、触覚周辺機器を保持しているか、またはユーザにウェアラブル触覚周辺機器を取り付けていてもよい。触覚周辺機器はアクチュエータを含み、アクチュエータは、メディア・サービスまたは記憶媒体からの制御信号を受け取り、触覚効果を触覚周辺機器に出力するように構成される。触覚効果は、メディア・サービスまたは記憶媒体のコンテンツに関係するかまたは関連する。そのような触覚効果を、メディア・サービスまたは記憶媒体の仮想カメラのズーム状態に基づいて変えるかまたは変更することができ、かつ／またはその仮想カメラの視野に基づいて変えるかまたは変更することができる。さらなる別の例では、限定はしないが、カメラまたは双眼鏡などの現実の観視デバイスは、ユーザの観視経験を向上させるために関連触覚効果を含んで構成することができる。カメラ／双眼鏡を使用するユーザは、触覚周辺機器を保持しているか、またはユーザにウェアラブル触覚周辺機器を取り付けていてもよい。触覚周辺機器はアクチュエータを含み、アクチュエータは、カメラ／双眼鏡からの制御信号を受け取り、触覚効果を触覚周辺機器に出力するように構成される。そのような触覚効果は、カメラ／双眼鏡のズーム状態に基づいて変えるかまたは変更することができる。

本発明による様々な実施形態が上述されたが、それらは限定ではなく、単に例証および例として提示されたことが理解されるべきである。形態および詳細の様々な変更が、本発明の趣旨および範囲から逸脱することなく実施形態において行われ得ることが当業者には明らかであろう。したがって、本発明の広さおよび範囲は上述の例示の実施形態のいずれによっても限定されるべきでなく、添付の特許請求の範囲およびその均等物によってのみ規定されるべきである。本明細書で論じた各実施形態の各特徴、および本明細書で引用された各参考文献は、任意の他の実施形態の特徴と組み合わせて使用され得ることも理解されよう。本明細書で論じたすべての特許および刊行物は参照によりその全体が本明細書に組み込まれる。

Claims (20)

1. ユーザへの仮想環境をディスプレイ上に生成するように構成されたホスト・コンピュータと、
   プロセッサと、
   アクチュエータを含む触覚周辺機器であり、該アクチュエータは、前記プロセッサからの制御信号を受け取り、前記プロセッサからの該制御信号に応答して触覚効果を該触覚周辺機器に出力するように構成される、触覚周辺機器と
   を備えるシステムであって、
   前記プロセッサは、前記仮想環境の仮想カメラのズーム状態に応じて前記アクチュエータのための前記制御信号を変え、その結果、第１のズーム状態により、前記アクチュエータが第１の触覚効果を生成し適用することになり、第２のズーム状態により、前記アクチュエータが第２の触覚効果を生成し適用することになり、仮想物体が該第１のズーム状態におけるよりも該第２のズーム状態においてより近くに現れ、該第１の触覚効果が該第２の触覚効果よりも弱くなるように構成される、システム。
2. 前記仮想カメラの前記ズーム状態は、前記触覚周辺機器と前記ホスト・コンピュータとの間の実際の距離を検出するように構成された近接センサによって検出され、該近接センサは該実際の距離を前記プロセッサに送るように構成される、請求項１に記載のシステム。
3. 前記近接センサは、前記触覚周辺機器に結合されるか、または前記ユーザが着用できる、請求項２に記載のシステム。
4. 前記仮想カメラの前記ズーム状態は、ユーザの動作を検出するように構成された近接センサによって検出され、該近接センサは該ユーザの動作を前記プロセッサに送るように構成される、請求項１に記載のシステム。
5. 前記近接センサはカメラ・デバイスである、請求項４に記載のシステム。
6. 前記プロセッサが前記仮想環境内の状態の変化を検出することによって、前記仮想カメラの前記ズーム状態が検出される、請求項１に記載のシステム。
7. 前記プロセッサは前記ホスト・コンピュータに配設される、請求項１に記載のシステム。
8. 前記プロセッサは前記触覚周辺機器に配設される、請求項１に記載のシステム。
9. 前記プロセッサは、さらに、前記仮想環境内の前記仮想カメラの視野に応じて前記アクチュエータのための前記制御信号を変え、その結果、第１の視野により、前記アクチュエータが第３の触覚効果を生成し適用することになり、第２の視野により、前記アクチュエータが第４の触覚効果を生成し適用することになり、該第３の触覚効果が該第４の触覚効果と異なるように構成される、請求項１に記載のシステム。
10. 前記第１の視野は一人称の視点であり、前記第２の視野は三人称の視点であり、前記第３の触覚効果はトリガ効果に関連し、前記第４の触覚効果は周囲効果に関連する、請求項９に記載のシステム。
11. 前記システムは多数の触覚周辺機器を含み、該多数の触覚周辺機器の各々がアクチュエータを含み、該アクチュエータは、前記プロセッサからの制御信号を受け取り、前記プロセッサからの該制御信号に応答して触覚効果を該触覚周辺機器に出力するように構成され、該アクチュエータによって出力される触覚効果は、前記プロセッサから受け取った制御信号に従って継目なしに自動的に更新されることになる、請求項１に記載のシステム。
12. ユーザへの仮想環境をディスプレイ上に生成するように構成されたホスト・コンピュータと、
    プロセッサと、
    アクチュエータを含む触覚周辺機器であり、該アクチュエータは、前記プロセッサからの制御信号を受け取り、前記プロセッサからの該制御信号に応答して触覚効果を該触覚周辺機器に出力するように構成される、触覚周辺機器と
    を備えるシステムであって、
    前記プロセッサは、前記仮想環境内の仮想カメラの視野に応じて前記アクチュエータのための前記制御信号を変え、その結果、第１の視野により、前記アクチュエータが第１の触覚効果を生成し適用することになり、第２の視野により、前記アクチュエータが第２の触覚効果を生成し適用することになり、該第１の触覚効果が該第２の触覚効果と異なるように構成される、システム。
13. 前記第１の視野は一人称の視点であり、前記第２の視野は三人称の視点であり、前記第１の触覚効果はトリガ効果に関連し、前記第２の触覚効果は周囲効果に関連する、請求項１２に記載のシステム。
14. 前記プロセッサが前記仮想環境内の状態の変化を検出することによって、前記仮想カメラの前記視野が検出される、請求項１２に記載のシステム。
15. 前記仮想カメラの前記視野は、ユーザの動作を検出するように構成された視野センサによって検出され、該視野センサは該ユーザの動作を前記プロセッサに送るように構成される、請求項１２に記載のシステム。
16. 前記プロセッサは、さらに、前記仮想環境の仮想カメラのズーム状態に応じて前記アクチュエータのための前記制御信号を変え、その結果、第１のズーム状態により、前記アクチュエータが第３の触覚効果を生成し適用することになり、第２のズーム状態により、前記アクチュエータが第４の触覚効果を生成し適用することになり、仮想物体が該第１のズーム状態におけるよりも該第２のズーム状態においてより近くに現れ、該第３の触覚効果が該第４の触覚効果よりも弱くなるように構成される、請求項１２に記載のシステム。
17. 前記プロセッサは前記ホスト・コンピュータに配設される、請求項１２に記載のシステム。
18. 前記プロセッサは前記触覚周辺機器に配設される、請求項１２に記載のシステム。
19. ユーザへの仮想環境をディスプレイ上に生成するように構成されたホスト・コンピュータと、
    プロセッサと、
    アクチュエータを含む触覚周辺機器であり、該アクチュエータは、前記プロセッサからの制御信号を受け取り、前記プロセッサからの該制御信号に応答して触覚効果を該触覚周辺機器に出力するように構成される、触覚周辺機器と
    を備えるシステムであって、
    前記プロセッサは、前記仮想環境の仮想カメラのズーム状態に応じて前記アクチュエータのための前記制御信号を変え、その結果、第１のズーム状態により、前記アクチュエータが第１の触覚効果を生成し適用することになり、第２のズーム状態により、前記アクチュエータが第２の触覚効果を生成し適用することになり、仮想物体が該第１のズーム状態におけるよりも該第２のズーム状態においてより近くに現れるように構成され、
    前記プロセッサは、さらに、前記仮想環境内の前記仮想カメラの視野に応じて前記アクチュエータのための前記制御信号を変え、その結果、第１の視野により、前記アクチュエータが第３の触覚効果を生成し適用することになり、第２の視野により、前記アクチュエータが第４の触覚効果を生成し適用することになり、該第１の視野は一人称の視点であり、該第２の視野は三人称の視点であるように構成され、
    前記第１の触覚効果、前記第２の触覚効果、前記第３の触覚効果、および前記第４の触覚効果は互いに異なる、システム。
20. 前記第１の触覚効果は前記第２の触覚効果よりも弱く、前記第３の触覚効果はトリガ効果に関連し、前記第４の触覚効果は周囲効果に関連する、請求項１９に記載のシステム。

Images