JP2003510864A - 頭に装着するディスプレイのための時間／動きを補償する方法およびシステム - Google Patents

Abstract

(57)【要約】 頭に装着するディスプレイで使用する、時間と動きを補償する方法とシステムを開示する。この方法によれば、遠隔カメラは、光景窓を含む頭部装着ディスプレイ（ＨＭＤ）１上で表示する画像をキャプチャする。画像とカメラ位置データはＨＭＤを含むシステムに送信され、ＨＭＤをかぶる人に表示される。ＨＭＤ位置が決定される。ＨＭＤ位置とＨＭＤの知られた位置の間のオフセットは、カメラの位置と知られたカメラの位置の間のオフセットと同じになるように決定される。画像は２つの決定されたオフセットの間の差に基づいて画像の光景窓に対してオフセットされる。

Description

【発明の詳細な説明】

【０００１】 発明の分野 本発明は一般にテレプレゼンスシステムに関し、より具体的にはテレプレゼン
スシステムにおける動きの補償に関する。

【０００２】 発明の背景 遠隔制御の分野は、携帯コントローラの制御の下で飛ぶ模型飛行機を見ていた
日々からずっと進歩している。ロボット工学およびロボットの遠隔操作は、より
遠隔からのよりよい遠隔制御システムを求める強い、差し迫ったニーズを生み出
している。明らかに、遠隔制御の理想的な形態は、固有の危険や移動などがなく
、遠隔ロボットを操作するすべての感覚をオペレータに提供することを必要とす
る。これを実現するためにテレプレゼンスシステムが使用される。

【０００３】 テレプレゼンスシステムは感覚フィードバックシステムであって、遠隔システ
ムを感知し監視することを可能にする。典型的なテレプレゼンスセンサはカメラ
、および、頭に装着するディスプレイである。このシステムは遠隔の場所からの
視覚的なフィードバックをオペレータに提供する。たとえば、自動車用のテレプ
レゼンスシステムではフロントガラスにカメラが備えられている。車両の制御は
自動的に車両を操作するアクチュエータで提供される。オペレータは車のキャビ
ンのコピーを提供される。フロントガラスはディスプレイに置き換えられ、制御
は車両内のアクチュエータとの通信を介してリンクされる。車のキャビン内でス
テアリングホイールを回すと、ステアリングホイールが車両をターンさせる。同
様に、カメラは車の正面の画像をキャプチャし、画像は車のキャビン内のディス
プレイに表示される。

【０００４】 現在、頭部装着ディスプレイ（ＨＭＤ）を使用して視覚的なフィードバックを
提供する傾向がある。頭に装着するディスプレイ（頭部装着デスプレイ）はユー
ザが頭にかぶる小さな１つまたは２つのディスプレイである。有利にも、２つの
ディスプレイを伴うＨＭＤはステレオ映像を提供し、ユーザが視野の深さを認識
できるようになっている。別法としては、このようなＨＭＤは各ディスプレイに
２つの同じ画像を提供する。残念ながら、頭に装着するディスプレイはユーザに
、ユーザのほぼ前方にある情報しか提供しない。したがってユーザが頭を回転す
ると、見える画像と期待される画像は異なる。したがって、カメラは検出された
ＨＭＤの動きにしたがって動く機構の上に搭載されている。こうして、ユーザの
前にある画像はユーザの頭の位置に従う。

【０００５】 一般に、テレプレゼンスシステムの目的は、ロボットの場所における視覚的な
感覚を提供することと、同時に、ロボットを制御する制御システムを提供するこ
とである。このように、テレプレゼンスシステムは異なる状況に適したフィード
バックを提供することを目的とする。

【０００６】 残念なことに、カメラはＨＭＤと完全に同期で動くわけではないので、頭が動
いている間、画像はユーザの期待と完全に一致するわけではない。この不一致に
よって、オペレータの方向感覚が失われ、吐き気がするという結果になる可能性
がある。

【０００７】 タバタの名義で１９９６年１１月２６日に発行された米国特許第５，５７９，
０２６号の開示と、コダマの名義で１９９９年６月２９日に発行された米国特許
第５，９１７，４６０号の開示は、たとえばバーチャルリアリティおよびゲーム
で使用される画像ディスプレイを中心としている。ここには、投影される画像の
位置が制御ユニットに応答して置き代わるか、オペレータの頭の回転する動きに
応答して置き代わることのできる、頭に装着するディスプレイが説明されている
。頭を追跡する実行の本質は、ユーザの視点から見れば、頭の動きと反対に操作
することによって、頭が動いている間画像を空間内のほぼ停止した位置にとどめ
ることができるということである。重要なことに、これらの特許はスレーブ型の
カメラを使用した視覚的なテレプレゼンスには関し述べていない。スレーブ型の
カメラの実行では、カメラはＨＭＤの動きに従っているはずなので、画像は常に
頭が向いている方向であり、ＨＭＤの動きに対する補償は不必要である。

【０００８】 さらに、米国特許５，５７９，０２６号はユーザの前にあるバーチャル空間内
にあるテレビ画面のシミュレーションなどの、シミュレートされた平面画像を表
示することに関し、この特許はＨＭＤを装着している人に対して固定されたフレ
ームを提供する。こうして任意の方向の画像がシミュレートされ、必要に応じて
形成される。残念なことに、テレプレゼンスシステムでは、視野の特定の方向に
関するビデオデータが入手できないことがしばしばある。これはシステムを大幅
に複雑にするので、ビデオデータ表示に関する先行技術は本当に適用可能である
わけではなく、当業者はこのようなものを参照しない。

【０００９】 コダマの名義で１９９９年６月２９日に発行された米国特許第５，９１７，４
６０号では、ＨＭＤの３軸（上／下、左／右、前／後）の移動に対処するシステ
ムが提供されている。移動は外見上線型であり、機械的な機構を介して合わせら
れている。ディスプレイは検出された頭の動きに応答して動かされるので、対象
はユーザの視野からはほぼ静止した位置にとどまる。

【００１０】 これは、カメラがＨＭＤの動きを追跡するテレプレゼンスで使用するには適し
ていない。当業者であれば、カメラが頭の動きに応答して回転するテレプレゼン
スシステムに関しては、あと知恵がなければ、頭が回転した時に視覚的な基準を
維持するためにドロウ（ｄｒａｗ）されないであろう。もちろん、問題が難しけ
れば解決法も難しくなるという結果になる。

【００１１】 たとえばテレプレゼンスシステムでは、カメラの画像のキャプチャと頭の動き
の間の遅延はしばしば不確定である。上記の特許のシステムを実行してこの問題
を解決しようとしても、うまくいかない。カメラの応答時間と通信の遅延から生
じる不明な遅延があるので、解決法はささいなものではない。

【００１２】 米国特許第５，９３３，１２５号では、名目上シミュレーションされた環境内
で、頭の動きの予想を使用してバーチャル画像の生成において期待される遅延を
あらかじめ補償することが開示されている。この手段によって、画像の生成にお
ける時間遅延は、場面をシフトし安定した基準の視覚的なフレームを提供するこ
とによって補償される。この方法は、頭のトラッキング情報を使用して適切な精
度で次の頭の位置を予想できる短い遅延と小さな移動には適用可能である。この
特許は通常の値として１００ｍｓｅｃを開示している。頭の動きの効果的な予想
は、頭の角速度と角加速度が含まれる頭の動きに関する総合的な情報によって補
助される。頭のわずかな動きに関しては、もたらされるエラーは小さい。典型的
にはこれらは短い期間に発生する。この開示された例は時間遅延の知識に依存し
ており、時間遅延は名目的に一定であると考えられている。残念なことに、時間
遅延が大きくなり頭が大きく動く可能性がある時には、予想アルゴリズム内のエ
ラーが不明になりシステムはうまく機能しなくなる。

【００１３】 さらに、米国特許５，９３３，１２５号は、予想されない画像の動きは補償で
きず、オペレータの頭の動きに正しく応答して発生する画像の動きだけを補償す
る。またこの特許は、遠隔のスレーブカメラを使用する視覚的なテレプレゼンス
システムは述べていない。

【００１４】 いかなる形態の補償の予想にも依存せず、画像キャプチャと画像表示の間で遅
延が変化しても機能するシステムを提供すると非常に有利である。

【００１５】 発明の目的 本発明は先行技術のこれらの欠点と他の欠点を克服するために、テレプレゼン
スシステムにおいて頭の動きとカメラの動きの間の時間遅延を補償する方法を提
供することを目的とする。

【００１６】 発明の概要 本発明はＨＭＤを着用する人に、視覚的なキャプチャ／視覚的な表示システム
の中に時間遅延または望ましくない動きがある場合でも安定した視覚基準のフレ
ームを提供する方法と装置に関する。

【００１７】 本発明によれば、頭が動いた時にカメラの動きにおける時間遅延によって生じ
る方向感覚の喪失を部分的に除去するために、カメラの位置がＨＭＤの位置と再
び同期化するまで、頭部装着ディスプレイ（ＨＭＤ）のディスプレイ上に表示さ
れる画像をＨＭＤの視野に対してオフセットする。画像をオフセットすると、画
像情報が入手できないディスプレイの領域が生じる結果となる。これらのディス
プレイの領域には無地のシェーディングまたは視覚的な手掛かりを提供する所定
の特徴の組という形態の埋め草データが提供される。変化された画像が再びディ
スプレイと重なると、埋め草は必要なくなる。

【００１８】 本発明によれば、頭に装着するディスプレイ（頭部装着ディスプレイ）のため
の動きを補償する方法が提供される。この方法は次のステップを含む。すなわち
、画像キャプチャデバイスからの画像を、視野を持つモニタを含む頭部装着ディ
スプレイに提供するステップと；画像に関連づけられたカメラ位置データを提供
するステップと；頭の位置データを提供するステップと；カメラ位置データと頭
の位置データに従ってモニタの視野に対して画像の場所を調整するステップと；
調整された場所において視野にとどまる画像の部分を表示するステップである。

【００１９】 典型的には、位置データは方向データと場所データのうち少なくとも１つを含
む。場所データはまた変位移動（ｄｉｓｐｌａｃｅｍｅｎｔ）データとも呼ばれ
る。典型的には、画像データのない視野の部分は予め定められた埋め草で埋めら
れる。視野の中で表示される画像データがまったくない場合、全視野は予め定め
られた埋め草で埋められる。

【００２０】 たとえば、画像は次のステップで調節される。これらのステップは、頭部装着
ディスプレイの位置とカメラの位置の間のオフセットを決定するステップと；頭
部装着ディスプレイの位置とカメラの位置の間のオフセットと等しい量のオフセ
ットになるように画像をオフセットするステップである。

【００２１】 有利にも、このようなシステムは予想プロセスの精度によって限定されず、画
像キャプチャと画像表示の間の時間遅延によっても限定されない。このようなシ
ステムは反応的であり、ＨＭＤの位置とカメラの位置について感知された情報を
使用してキャプチャされた画像の変化を公式化する。本発明は、必要とされる頭
の位置の情報とカメラ位置の情報が異なる時間に感知され、１つの感知と別の感
知の間に遅延があってもそれを補償することが可能なため、補償が可能であるた
めの時間遅延に限度を有しない。

【００２２】 さらに有利なことに、本発明はシステム内の時間遅延に関する知識を必要とせ
ず、一定でない時間遅延があっても正しく機能する。時間遅延を測定する必要は
なく、時間遅延は画像の変化を決定する際に使用されない。

【００２３】 発明の詳細な説明 頭の動きと、現在の頭の方向に関する画像の表示との間に大幅な時間遅延が発
生するような、長い距離を越えて動作するテレプレゼンスシステムに関して本発
明を説明する。しかし、本発明はカメラ駆動機構が提供する応答レートが不十分
であり、通常の頭の動きでも画像の快適な光景を提供しない時にも等しく適用可
能である。また、カメラが動くプラットフォームに搭載されている時など、カメ
ラが望ましくない、モデル化されない動きをする可能性がある状況でも同様に適
用可能である。

【００２４】 図１を参照すると、テレプレゼンスシステムの簡単なブロック図が示されてい
る。３軸の頭追跡装置３を含む頭部装着ディスプレイ（ＨＭＤ）１をオペレータ
５がかぶっている。ＨＭＤ１は第１のコンピュータ７と結合され、図２に示され
るように、第１のコンピュータ７に、ＨＭＤ１の縦揺れ角２１、偏揺れ角２２、
および横揺れ角２３の形態でＨＭＤの位置に関するＨＭＤ値を提供する。もちろ
ん、ＨＭＤ１はオペレータ５がかぶっているので、これらのＨＭＤ値はオペレー
タ５の頭の位置に関連する。これらの値は好ましくは１秒について１００回より
も多い間隔で第１のコンピュータ７に提供されるが、他の間隔もまた許容できる
。ＨＭＤ値は第１のコンピュータ７によってカメラ１１の位置を制御する制御値
に変換される。制御値は機構１３に送信され、カメラの方向に影響を与えるよう
にカメラが向けられる。図２に見られるように、この機構はカメラ１１の縦揺れ
２４、偏揺れ２５、および横揺れ２６を制御する。制御値に応答して、カメラの
位置はＨＭＤ１の動きにしたがって動く。

【００２５】 カメラを向ける機構１３が物理的に第１のコンピュータ７に結合されている時
、ＨＭＤの動きが検出されるとカメラ１１は動き始める。カメラの動きとＨＭＤ
の動きの間の遅延は、非常に小さい通信遅延、最小である処理遅延、および変化
するポインティング機構の動作によって決定される。これらの遅延によってしば
しば、ＨＭＤ１が動いている時に、カメラ１１から提供される画像が静止してい
るかまたはＨＭＤの動きよりもかなりゆっくり動くという結果になる。もちろん
、オペレータの心は視覚的な枠組みの中での動きを期待しているので、画像の静
止またはゆっくりした動きは混乱させるものであり、しばしば、吐き気をもよお
したり方向感覚を失ってしまうという結果になる。

【００２６】 この問題は、宇宙にあるシステムを地上から制御するために使用する時など、
通信の遅延時間が大きい時にさらに顕著になる。遅延が秒のオーダになると、Ｈ
ＭＤが動いている間のオペレータの方向感覚の喪失が大きくなる。重要なことに
、方向感覚の喪失はオペレータが疲労する原因となり、オペレータのシステム使
用が限定されるか、一日の間のシステムの使用が限定されるという結果になる。

【００２７】 図１を再び参照すると、カメラ１１はビデオデータキャプチャレートで常に画
像を取得している。各画像は第１のコンピュータに送信され、必要であれば処理
されて、ＨＭＤ１に供給される。本発明によれば、遠隔システムはまたカメラの
位置情報と、関連づけられた各画像を第１のコンピュータ７に提供する。このよ
うに、第１のコンピュータ７によって受信される各フレームは、フレームに関連
づけられたカメラ位置情報を有する。カメラ位置情報は好ましくは、知られた方
向に対する位置である。別法としては、カメラ位置情報は第１のコンピュータ７
によって、知られたカメラの方向に対する位置情報に変形され、ＨＭＤ１の座標
空間と似た座標空間内に置かれる。

【００２８】 ＨＭＤの位置の値を使用して、カメラ１１の座標空間に似た座標空間内で現在
のＨＭＤの方向を決定する。こうして、カメラの方向とＨＭＤの方向の間のオフ
セットは決定可能である。ＨＭＤ１はオペレータ５がかぶっているので、ＨＭＤ
の方向はオペレータ５の頭の位置に直接相関している。もちろん、直接の相関は
感知された位置データに関連し、使用に際しては一般に、ＨＭＤ位置センサのリ
フレッシュレートのためにほぼ直接的に相関している。カメラの方向とＨＭＤの
方向の間のオフセットは、ローカルシステムと遠隔システムの間の遅延に関連す
る。

【００２９】 したがって、ゼロではないオフセットが決定されると、第１のコンピュータは
カメラが提供した画像をＨＭＤの視野に対してオフセットし、決定されたオフセ
ットを補償する。図３ａ、図３ｂ、図３ｃ、図３ｄ、図３ｅを参照すると、画像
表示のいくつかの例が示されている。図３ａでは、カメラの方向とＨＭＤの方向
の間のゼロオフセットに関する画像が示されている。ＨＭＤ１はカメラ１１と同
じ方向を向いており、ＨＭＤ１の中のディスプレイに表示される画像はカメラに
よってキャプチャされた画像と同じなので、これはフィードバックシステムの定
常状態である。ＨＭＤの方向がカメラの位置よりも下を向いている時、図３ｂに
示されるように画像は垂直の方向でオフセットされる。カメラの方向が水平にオ
フセットされると、図３ｃに示されるように画像は水平にオフセットされる。図
３ｄと図３ｅでは、カメラの方向が回転しＨＭＤの方向に対してオフセットされ
ているので、画像は回転し視野に対してオフセットされる。

【００３０】 図４ａ、図４ｂ、図４ｃ、図４ｄに説明されているような即時の訂正は簡単に
見えるが、システムの定常状態の性質は、いつも変化している画像の視野と表示
の視野を必要とする。したがって、感知された位置データの２つの動的な組の間
で比較することが必要である。

【００３１】 図４ａ、図４ｂ、図４ｃおよび図４ｄを参照すると、オペレータが頭を左に向
けた時のＨＭＤ１に関する視野が示されている。第１の定常状態では（頭を向け
る前）、カメラ１１によってキャプチャされる正確な画像は図４ａのＨＭＤ１の
ディスプレイの中に示されている。頭を回転すると、画像はオペレータ５の一部
ではなく、視野の中にあるため、オペレータ５は画像が右に動くことを「期待」
する。この期待は意識的である場合もあり無意識的である場合もある。ＨＭＤが
動いても画像が静止していると想像すると、個人は頭が動いている間に視野から
手掛かりをつかむため、方向感覚を失う結果になることが明らかである。

【００３２】 オペレータ５に「期待通りの」画像内の対象の移動を提供するために、画像は
ＨＭＤ１とカメラ１１の間の方向の差とほぼ同じ場所にオフセットされる。たと
えば、図４ｂの画像の中で、頭の回転によって、灯台は視野からシフトして見え
なくなっている。ＨＭＤをα度回転させると、オペレータは灯台など、視野の中
で静止している対象が視野の中でα度シフトすることを期待する。これは、個人
用ビジョンシステムの中にいるオペレレータの居心地のよさを維持するために重
要である（彼らの目と心）。同時に、カメラはカメラ自体の方向をＨＭＤの方向
と一致させるように動き始める。したがって図４ｃの画像に示されたように、オ
ペレータの視野内の画像のより多くの場面がカメラ１１から入手できるようにな
る。カメラの方向がＨＭＤの方向に「追いつく」と、カメラの視野とＨＭＤの視
野はさらに重なる。カメラ１１がＨＭＤの視野に「追いつき終わった」ときに、
再び、図４ｄの画像に示されるように、カメラによってキャプチャされた全画像
を示す。

【００３３】 図５を参照すると、ネットワーク上で使用する本発明の別の実施形態が示され
ている。ここではたとえば、２つのコンピュータ７と１５がネットワーク（また
は複数のネットワーク）１７を介して通信する。第１のコンピュータ７はＨＭＤ
１を周辺機器として含む。第２のコンピュータ１５はカメラ１１とカメラのポイ
ンティング機構１３とを周辺機器として含む。ここで第１のコンピュータ７また
は第２のコンピュータ１５のいずれかの中で処理が実行されるが、画像のオフセ
ットの原因となり、オペレータ５が方向感覚を失う結果になるネットワーク遅延
があるかも知れないので、画像処理は好ましくは第１のコンピュータ７の中で実
行される。もちろん、ネットワーク遅延が大きいことが知られている時は、画像
処理を第１のコンピュータ上で実行することが重要である。

【００３４】 図６を参照すると、本発明を実施する方法の簡単なフロー図が示されている。
画像はカメラ１１によってキャプチャされる。センサは縦揺れ、横揺れ、偏揺れ
に関するカメラの方向の値という形で位置データをキャプチャする。位置データ
は好ましくは画像と同時にキャプチャされる。別法としては、位置データはほぼ
同時にキャプチャされるが、画像キャプチャの直後または直前のいずれかに限定
された量だけオフセットされる。位置データはそこで、画像データと関連づけら
れる。データを関連づける簡単な方法は、ヘッダ情報またはトレーラ情報のいず
れかとして位置データを画像データを伴ってコード化することである。もちろん
、画像データと位置データはまた、画像フレーム番号などの関連する識別子で識
別することもできる。別法としては、２つのデータは同期環境で並列に送信され
る。

【００３５】 画像データと位置データは次いで第１のコンピュータ７に送信される。画像デ
ータと位置データが受信されると、第１のコンピュータ７において処理のための
準備が行われる。ついで、ＨＭＤ１の位置データが第１のコンピュータ７によっ
て取得され、本発明にしたがって画像を変化するために使用される。変化された
画像はディスプレイに提供され、ディスプレイ上でオペレータ５に表示される。
ＨＭＤの位置データは必要となる直前に集められるので、ＨＭＤの位置データの
キャプチャと変化された画像の表示の間の遅延は非常に小さく、オペレータが方
向感覚を失うことはほとんどないかまたはまったくない。

【００３６】 同時に、位置データは間隔を置いて機構１３に提供され、機構は受信された位
置データとカメラ１１の現在の方向にしたがってカメラ１１を動かす。

【００３７】 典型的には、画像データを変化するステップは次のステップを含むが、このう
ちの一部は前もって実行される。角度の動きとディスプレイまたは画像ピクセル
の間の相関関係は、α度のオフセットの結果、第１の方向へＮピクセル、第２の
別の方向へＭピクセルだけ画像が動くように決定される。回転に基づく画像回転
の変化も決定される。好ましくは、変化は高速な画像処理を提供できるために十
分に簡単である。すなわち、小さな画像処理の遅延はほぼデータを表示する際の
遅延になるので、容認できる。

【００３８】 画像データが受信されると、画像データは高速処理のためにメモリに記憶され
る。ＨＭＤ位置データが取得され、カメラ位置データと比較される。差を使用し
て変化を実行し、まだ機構１３が考慮していないＨＭＤの動きがある場合、その
ＨＭＤの動きについて画像の位置を訂正する。また、たとえば慣性位置センサな
どのようにカメラの位置センサが機構１３から独立している時、この方法はカメ
ラ１１の無意識的な動きも訂正する。

【００３９】 上記の実施形態では、汎用プロセッサを使用して画像を変化する。代替の実施
形態ではハードウェア実行による変化が使用される。ハードウェア実行は修正し
にくいが、性能にすばらしい効果を与える。並列ハードウェア変化プロセッサを
使用すると、画像のソフトウェア変化を実行するために必要な時間のうちわずか
な一部の時間で画像を変化することができる。

【００４０】 図７を参照すると、衛星に基づいたテレプレゼンスシステムが示されている。
ここでは、頭の動きと画像表示の間の秒オーダの遅延が結果として生じる。さら
に、遅延はいつも予想可能であるわけではない。ここでＨＭＤ１０１はオペレー
タ５の頭に付けられて示されている。ＨＭＤはＨＭＤに対する位置データを感知
する頭追跡装置１０３を備える。ＨＭＤはまた、表示データをＨＭＤに提供し、
ＨＭＤ位置データを通信リンク１０８に提供するコンピュータ１０７と結合され
る。通信リンク１０８はＨＭＤ位置データを衛星１１７にアップリンクし、ＨＭ
Ｄ位置データは衛星１１７からトランシーバ１１６に送信される。トランシーバ
と通信するコンピュータ１１５はデータをジンバル１１３に提供して、データに
したがってカメラ１１１の位置を訂正する。カメラ１１１は逆の通信パス、すな
わちコンピュータ１１５、トランシーバ１１６、衛星１１７、通信リンク１０８
からコンピュータ１０７という通信パスで提供される画像をキャプチャする。オ
プションとしては、異なる戻りパスが使用される。ここで画像データはＨＭＤ１
０１の中で表示するために処理される。画像と共に、センサ１１４によって感知
されたカメラ位置データも提供される。カメラ位置データは、カメラ１１１が感
知された位置にあった時とほぼ同じ時にキャプチャされた画像（複数可）に関連
づけられる。

【００４１】 コンピュータ１０７はカメラ位置データと画像を、頭追跡装置１０３から受信
されたデータと共に使用して、本発明にしたがって画像を変化する。明らかなよ
うに、ＨＭＤの動きとカメラの動きの間の遅延は秒単位で測定可能である。カメ
ラ画像のキャプチャとコンピュータ１０７における画像受信との間の遅延もまた
秒単位で測定可能である。したがって、本発明の適用がなければ、ユーザの大幅
な方向感覚の喪失が結果として生じる。

【００４２】 図８を参照すると、カメラ１１１によってキャプチャされた画像が示されてい
る。画像はＨＭＤの方向とカメラの方向が並んだ時、画像キャプチャの時のカメ
ラの方向と表示の時のＨＭＤの方向が並んだ時にキャプチャされたものとして表
示されている。方向が１つから別の方向にオフセットされると、図９に示される
ようにオペレータの視野の中で画像がシフトされる。カメラの映像視野を越えた
所には画像データはないので、残りの表示領域はグレーなどの中間的な色で影を
付けられる。別法としては、残りの表示領域は影を付けられて基準ポイントを提
供し、オペレータ１０５の方向感覚の喪失をさらに限定する。さらなる別法とし
ては、画像データが入手不可能な視野の部分は空白のままである。典型的には空
白の領域はオペレータの気を散らさないように黒である。図１０を参照すると、
カメラ１１１の方向がＨＭＤの方向に「追いつき終わった」時、ＨＭＤの視野は
再び、カメラによってキャプチャされた全画像を表示する。

【００４３】 別法としては、カメラは表示できる画像領域よりも大きな画像領域をキャプチ
ャし、画像の一部だけが表示される。この方法は帯域幅の要件を増大し、追加デ
ータはしばしば理由なく表示されないため、それほど好ましくないと考えられる
。

【００４４】 有利には、ＨＭＤ１とカメラ１１の各々に関して独立しており、カメラを動か
す機構１３からも独立した位置インジケータで実行された時、機構１３の不正確
さ、通信によって発生した遅延、機構１３によって発生した遅延、処理遅延、細
かなオペレータの動きなどを含むすべてのタイプの動きが補償される。

【００４５】 処理がＨＭＤにローカルに行われるか、またはＨＭＤと同じ位置にありその間
に最小の遅延しかないコンピュータ上で行われた時、処理とＨＭＤセンサデータ
を読み取る遅延のみに関連する時間遅延エラー内で各画像は正確にディスプレイ
上に並ぶ。

【００４６】 したがって、不連続的な場面の変化は予想される視覚的な結果にしたがって滑
らかな遷移に変換される。

【００４７】 また、表示される画像の中で強調されるか又は示される、画像データ内の特徴
または場所を決定するために、画像データを処理してから表示することも本発明
の範囲内にある。たとえば、全体として明るい画像または暗い画像についてコン
トラストを改善することができる。また、特徴を識別し、ラベルを付けるか強調
することもできる。別法としては、画像を処理せずに、アイコンまたは別の画像
を表示された画像に重ねる。

【００４８】 別法としては、制御値は第１のコンピュータではなくカメラを向けるポインテ
ィング機構内で決定される。このような実施形態では、ＨＭＤ位置データは遠隔
システムに送信され、ＨＭＤの動きに関連するカメラの動きが決定され開始され
る。

【００４９】 上記の実施形態は３つの回転軸のうち任意の軸に関する方向の動きを補償する
。別法としては本発明は軸に沿った移動の線型的な動きを補償する。さらに別法
としては、本発明は線型的な動きと任意の回転軸に関する動きを補償する。移動
と方向は位置の両方の形態であり、１つまたは両方に関するデータは本明細書と
請求項では位置データと呼ばれる。

【００５０】 上記の実施形態は視野のゆがみに関しては画像を訂正しない。視野のゆがみを
補償することは本発明による時間／動きの補償のコンセプトの中で可能であるが
、観察される場面の視野の深さが変化するため、一般には単一のカメラの使用に
は適しない。視野のゆがみの補償は、範囲センサまたは３次元のビジョンシステ
ムを使用した深さデータのキャプチャを必要とするであろう。

【００５１】 上記の実施形態は異なる構成要素間の物理的な通信リンクまたはワイヤレス通
信リンクに関して説明されたが、明らかに、実行可能である限り、どちらも本発
明の中で有用である。また、ＨＭＤはコンピュータの周辺機器として説明された
が、ＨＭＤは内部プロセッサを備えてスタンドアローンのデバイスとして機能す
る場合もある。

【００５２】 本発明の別の実施形態によれば、表示された画像の場所に対応しない視野内の
領域は、これらの場所に関して以前にキャプチャされた画像に関連する現在の画
像データで埋められる。好ましくは、任意の以前にキャプチャされた画像は視野
の中で強調されず、「古い」画像データによるオペレータの混乱を避ける。たと
えば、カメラから受信された各画像は関連づけられた位置データと共にバッファ
される。視野の中の幾つかの領域が画像データによって占められていない時、プ
ロセッサは視野の中のこれらの場所に関して画像データを持つ別の画像を決定し
、その場所は以前にキャプチャされた画像に関連づけられたカメラの位置データ
に基づいて実行された変化と現在のＨＭＤ位置データにしたがって決定される。
ついで画像データは決められた場所（複数可）において「透明な」ように表示さ
れる。たとえば、画像データはほとんどゴーストのように見える、低いコントラ
ストで表示することができる。別法としては色を淡くして画像データをさらにゴ
ーストのような外見にする。さらに別法としては、画像は現在の画像データと同
じように表示される。

【００５３】 上記の説明は例示的なものであり、請求項を限定する意図ではない。

【図面の簡単な説明】

本発明は次の図面に関連して説明される。

【図１】 第１のコンピュータに結合され遠隔カメラと通信するＨＭＤを組み込んだシス
テムの簡単なブロック図である。

【図２】 関連するシステムの動きの軸を示す簡略図である。

【図３ａ】 ＨＭＤの視野内に現れる画像のシミュレートした光景を示す簡略図である。

【図３ｂ】 ユーザの頭が下向きに動いたことに応答して、ＨＭＤの視野内で垂直にオフセ
ットされた図３ａの画像の一部をシミュレートした光景を示す簡略図である。

【図３ｃ】 ユーザの頭が横向きに動いたことに応答して、ＨＭＤの視野内で水平にオフセ
ットされた図３ａの画像の一部をシミュレートした光景を示す簡略図である。

【図３ｄ】 ユーザが頭を傾けたことに応答して、ＨＭＤの視野内で傾けられた図３ａの画
像の一部をシミュレートした光景を示す簡略図である。

【図３ｅ】 ユーザの頭の横向きで水平な動きと傾けた動きの組み合わせに応答して、ＨＭ
Ｄの視野内で垂直と水平にオフセットされ、傾けられた、図３ａの画像の一部を
シミュレートした光景を示す簡略図である。

【図４ａ】 ＨＭＤの視野の中に現れる画像のシミュレートした光景を示す簡略図である。

【図４ｂ】 ユーザの頭の横向きの動きに応答してＨＭＤの視野の中で水平にオフセットさ
れた図４ａの画像の一部をシミュレートした光景を示す簡略図である。

【図４ｃ】 カメラの動きがユーザの頭の横向きの動きに部分的に追いつかれている時に、
図４ａの画像の一部を含むＨＭＤの視野の中で見える画像と、キャプチャされＨ
ＭＤの視野の中で表示される追加の画像データとをシミュレートした光景を示す
簡略図である。

【図４ｄ】 カメラの動きがユーザの頭の横向きの動きに完全に追いつかれた後に、図４ａ
の画像の一部を含むＨＭＤの視野の中で見える画像と、キャプチャされＨＭＤの
視野の中で表示される追加の画像データとをシミュレートした光景を示す簡略図
である。

【図５】 第１のコンピュータに結合され、遠隔カメラに結合された第２のコンピュータ
とネットワーク上で通信するＨＭＤを組み込んだシステムの簡単なブロック図で
ある。

【図６】 本発明による方法の簡単なフロー図である。

【図７】 衛星通信リンクを介して通信するテレプレゼンスシステムの簡単なブロック図
である。

【図８】 遠隔カメラがキャプチャした通りの画像である。

【図９】 エンドレスな画像表示空間内で変化された図８の画像と同じ画像である。

【図１０】 有限な画像表示空間を有するディスプレイ上で表示された図９の画像と同じ画
像である。

Claims (22)

【特許請求の範囲】
1. 【請求項１】 画像キャプチャデバイスからキャプチャされた画像を、視野
   を持つディスプレイを含む頭部装着ディスプレイに提供するステップと； カメラの位置に関連し、前記キャプチャされた画像に関連づけられたカメラ位
   置データを提供するステップと； 前記頭部装着ディスプレイの位置に関連するＨＭＤ位置データを提供するステ
   ップと； 前記カメラ位置データと前記ＨＭＤ位置データにしたがって、画像内の静止し
   た対象の表示場所を視野に対して変えるように前記画像を変化するステップと； 前記表示場所において視野の中にとどまっている、画像の部分を表示するステ
   ップと；を含む頭に装着するディスプレイのための動きを補償する方法。
2. 【請求項２】 ＨＭＤ位置データは頭部装着ディスプレイの現在の位置に関
   連するデータであり、カメラ位置データは、関連づけられた画像がキャプチャさ
   れた時の前記カメラの位置に関連するデータであって、画像を変化するステップ
   は、 前記ＨＭＤ位置と前記カメラ位置の間のオフセットを決定するステップと； 前記ＨＭＤ位置と前記カメラ位置の間のオフセットに比例する量のオフセット
   となるように前記画像をオフセットするステップと；を含む請求項１記載の方法
   。
3. 【請求項３】 画像データが入手できない視野の部分は予め定められた埋め
   草で埋める請求項２記載の方法。
4. 【請求項４】 予め定められた埋め草は頭部装着ディスプレイを着用する人
   の方向を維持する特徴を有する請求項３に記載の方法。
5. 【請求項５】 キャプチャされた画像は頭部装着ディスプレイの視野を埋め
   るために必要な画像よりも大きく、該キャプチャされた画像のうち一部だけが表
   示される請求項１記載の方法。
6. 【請求項６】 システムは２つの頭部装着ディスプレイと２つのカメラを備
   える請求項１記載の方法。
7. 【請求項７】 システムは、カメラの位置を感知し、カメラの位置のデータ
   を提供する独立した位置センサを備える請求項１記載の方法。
8. 【請求項８】 システムは、頭部装着ディスプレイの位置を感知し、そのＨ
   ＭＤ位置データを提供する独立した位置センサを備える請求項７記載の方法。
9. 【請求項９】 システムは、頭部装着ディスプレイの位置を感知し、そのＨ
   ＭＤ位置データを提供する独立した位置センサを備える請求項１記載の方法。
10. 【請求項１０】 システムは、 カメラを動かす機構と； ＨＭＤ位置データをカメラを動かす機構と通信するシステムに送信する手段と
    ；を備え、 前記カメラを動かす機構は前記ＨＭＤ位置データの変化に応答して前記カメラ
    を動かす請求項１記載の方法。
11. 【請求項１１】 ＨＭＤ位置データは方向データを含む請求項１記載の方法
    。
12. 【請求項１２】 カメラ位置データは方向データを含む請求項１１記載の方
    法。
13. 【請求項１３】 カメラ位置データは変位移動データを含む請求項１２記載
    の方法。
14. 【請求項１４】 ＨＭＤ位置データは変位移動データを含む請求項１記載の
    方法。
15. 【請求項１５】 カメラ位置データは変位移動データを含む請求項１４記載
    の方法。
16. 【請求項１６】 カメラ位置データは方向データを含む請求項１５記載の方
    法。
17. 【請求項１７】 画像を変化して視野のゆがみを低減するステップを有し、
    カメラは範囲センサを有している請求項１記載の方法。
18. 【請求項１８】 表示される位置において、視野の中にとどまる画像の部分
    を表示する頭部装着ディスプレイと； キャプチャされた画像を、視野を持つモニタを含む頭部装着ディスプレイに提
    供する画像キャプチャデバイスと； カメラの位置に関連し、前記キャプチャされた画像に関連づけられたカメラ位
    置データを提供するセンサと； 前記頭部装着ディスプレイの位置に関連するＨＭＤ位置データを提供するセン
    サと； 前記カメラ位置データと前記ＨＭＤ位置データにしたがって、画像内の静止し
    た対象の表示された位置を視野に対して変えるように画像を変化するプロセッサ
    と；を備える頭に装着するディスプレイのための動きを補償する装置。
19. 【請求項１９】 画像キャプチャデバイスは範囲センサを備える請求項１８
    記載の頭に装着するディスプレイのための動きを補償する装置。
20. 【請求項２０】 範囲センサはステレオ映像システムを含む請求項１９記載
    の頭に装着するディスプレイのための動きを補償する装置。
21. 【請求項２１】 画像データが入手不可能な視野の部分が検出された時にお
    いて、関連づけられたカメラ位置データとＨＭＤ位置データに依存して変化され
    た時に、その部分の中に表示するための以前にキャプチャされた画像を決定する
    ステップと； これらの視野の部分に、前記変化された以前にキャプチャされた画像データを
    表示するステップと；を含む請求項２記載の方法。
22. 【請求項２２】 変化された以前にキャプチャされた画像データを表示する
    ステップは、変化された以前にキャプチャされた画像データを強調しないステッ
    プを含む請求項２１に記載の方法。