JPH0927971A - 画像表示システム - Google Patents

Abstract

(57)【要約】 【課題】 観察者の頭部の動きに合わせて変化する実写
映像を、時と場所を問わず提供可能な画像表示システム
を提供する。 【解決手段】 観察者２０の頭部に装着される表示部を
有する表示装置７による表示画像よりも広角の画像のデ
ータを記憶装置により記憶する。観察者２０の頭部の動
きを検知手段３０により検知する。その検知された頭部
の動きに対応して、その記憶された画像データから前記
表示装置７による表示画像のデータを切り出す。これに
より、観察者２０の頭部の動きに対応する視野の変化に
同期して変化する画像を、記憶された画像データに基づ
き、観察者２０の目の前に提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、各種アミューズメ
ント会場、観劇場、展示会場等において、観察者の頭部
の動きに応じた映像を提供できる画像表示システムに関
する。

【０００２】

【従来の技術】例えば、劇場のサテライトブースや、旅
行、カヌー、オフロード走行等を疑似体験できる仮想現
実空間の提供ブース等において、その上演劇の撮影画像
や仮想現実空間に対応する画像を提供するため、観察者
の頭部に装着される表示部を有する頭部装着型表示装置
が用いられている。

【０００３】その頭部装着型表示装置による表示画像と
しては、コンピュータグラフィック（ＣＧ）画像や、カ
メラにより撮影された実写映像が用いられている。

【０００４】また、観察者の頭部の動きに対応する視野
の変化に応じて表示画像を変化させることも行われてい
る。すなわち、観察者の頭部の動きを検知するセンサを
設け、そのセンサの出力データに基づき、その頭部の動
きに対応する視野において見える画像を、ＣＧにより三
次元の空間データから計算により作り出している。

【０００５】

【発明が解決しようとする課題】しかし、頭部装着型表
示装置による表示画像としてＣＧ画像を用いる場合、リ
アルな画像を作るにはデータ量が膨大となり、高速で演
算処理ができる計算機が必要になり、コストが増大す
る。また、いくら高速演算処理したとしても、実写映像
に比べると写実性の点では見劣りするものしか得られな
かった。

【０００６】また、頭部装着型表示装置による表示画像
としてカメラにより撮影される実写映像を用いる場合、
観察者の頭部の動きに合わせて映像を変化させるには、
リアルタイムにカメラアングル動かす必要がある。その
ため、実写映像として録画されたものを用いる場合は、
観察者の頭部の動きに合わせて映像を変化させることが
できず、実写映像を遠隔地において任意の時間に提供す
ることができず、観察者が頭部を動かした場合でも映像
を目の前に提供できるという頭部装着型表示装置の機能
を充分に生かすことができなかった。

【０００７】本発明は、上記課題を解決することのでき
る画像表示システムを提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明の画像表示システ
ムは、観察者の頭部に装着される表示部を有する表示装
置と、その表示装置による表示画像よりも広角の画像の
データを記憶する手段と、その観察者の頭部の動きを検
知する手段と、その検知された観察者の頭部の動きに対
応して、その記憶された画像データから前記表示装置に
よる表示画像のデータを切り出す手段とを備えることを
特徴とする。

【０００９】本発明の構成により画像を表示するには、
表示装置による表示画像よりも広角の画像のデータを、
カメラによる実写やＣＧ等により形成し、その画像デー
タを記憶する。次に、その観察者の頭部の動きを検知
し、その検知された観察者の頭部の動きに対応して、そ
の記憶された画像データから前記表示装置による表示画
像のデータを切り出す。その切り出した画像データに対
応する画像を表示装置により表示する。これにより、観
察者の頭部の動きに対応する視野の変化に同期して変化
する画像を、記憶された画像データに基づき、観察者の
目の前に提供することができる。

【００１０】その記憶される画像データ量が多い場合
は、データを圧縮して記憶し、再生時に復元した画像デ
ータから表示画像のデータを切り出してもよい。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００１２】図１に示す画像表示システムは、外界景色
Ａ等を広角で撮影可能なカメラユニット１と、そのカメ
ラユニット１に入出力データ処理ユニット２を介して接
続される制御装置３と、その制御装置３に入出力データ
処理ユニット２を介して接続される頭部装着型表示装置
７とを備える。

【００１３】そのカメラユニット１は、２台の複眼広角
カメラ１０ａ、１０ｂを有し、一方のカメラ１０ａによ
り右目用映像を取り込み、他方のカメラ１０ｂにより左
目用映像を取り込み、各取り込んだ映像に対応する画像
信号を入出力データ処理ユニット２に送信する。各カメ
ラ１０ａ、１０ｂは、その頭部装着型表示装置７による
表示画像よりも広角の画像データを取り込むことが可能
とされている。

【００１４】図２示すように、その頭部装着型表示装置
７は、右目用表示部２１ａと左目用表示部２１ｂと、両
表示部２１ａ、２１ｂを保持する保持部２２とを有す
る。

【００１５】その保持部２２は、例えばヘルメットやバ
ンド形状等とされることで観察者２０の頭部に装着可能
とされ、その装着により両表示部２１ａ、２１ｂは観察
者２０の視野に対し一定の位置に位置決めされる。な
お、観察者２０の頭部とは頭頂部に限定されず、顔面も
含む頸部から上の部分をいう。

【００１６】各表示部２１ａ、２１ｂは、それぞれＣＲ
Ｔや液晶表示パネル等の表示素子２６ａ、２６ｂと、各
表示素子２６ａ、２６ｂの表示制御装置２７ａ、２７ｂ
と、光学系とを有する。各表示制御装置２７ａ、２７ｂ
は画像信号を各表示素子２６ａ、２６ｂに送り、各表示
素子２６ａ、２６ｂに画像信号に対応する画像を表示さ
せる。各光学系は、レンズ系２９ａ、２９ｂと、ミラー
３０ａ、３０ｂと、第１コンバイナ３１ａ、３１ｂと、
第２コンバイナ３２ａ、３２ｂとを有する。各表示素子
２６ａ、２６ｂにより表示される画像の表示光は、レン
ズ系２９ａ、２９ｂを介してミラー３０ａ、３０ｂおよ
び第１コンバイナ３１ａ、３１ｂにより反射され、第２
コンバイナ３２ａ、３２ｂにより反射されると共に集束
され、第１コンバイナ３１ａ、３１ｂを透過し、観察者
２０の目に導かれる。なお、第２コンバイナ３２ａ、３
２ｂの前方において、バイザー３５が保持部２２に図１
において矢印で示すように上下動可能に取り付けられ
る。そのバイザー３５を上方に変位することで、観察者
２０は表示画像だけでなくコンバイナ３１ａ、３１ｂ、
３２ａ、３２ｂを介して前方視野内の実際の物も視認で
き、バイザー３５を下方に変位することで表示画像のみ
を視認できる。

【００１７】その観察者２０の頭部の動きを検知するヘ
ッドモーションセンサ３０が設けられている。そのヘッ
ドモーションセンサ３０は公知のもの、例えば、保持部
２２に取り付けられるコイルと、そのコイルの周りに磁
界を発生させる手段とを有し、磁界の中をコイルが移動
することによる電流の変化に対応する信号を出力するも
のや、超音波の発信機と受信機とを用い、発信機を固定
側に取り付け、保持部２２に受信機を取り付け、受信機
の動きによる超音波の発信機から受信機までの到達時間
の変化に応じた信号を出力するものを用いることができ
る。

【００１８】図３に示すように、上記制御装置３は、コ
ンピュータ４１と、記憶装置インターフェイス４２と、
記憶装置４３とを有する。そのコンピュータ４１は、制
御プログラムを記憶する記憶装置と、その制御プログラ
ムに従い画像データの処理を上記入出力データ処理ユニ
ット２に指示する中央処理装置を有する。その記憶装置
４３は、取り込んだ画像データを保存できる大容量のも
ので、例えば光磁気ディスク装置により構成できる。そ
の記憶装置インターフェイス４２は、制御装置３と入出
力データ処理ユニット２との間のバスライン４４に、そ
の記憶装置４３を接続するための信号変換を行う。その
入出力データ処理ユニット２は、上記右目用カメラ１０
ａとバスライン４４とに接続される右目用画像圧縮ボー
ド４５ａ、上記左目用カメラ１０ｂとバスライン４４と
に接続される左目用画像圧縮ボード４５ｂ、そのバスラ
イン４４に接続される右目用画像復元ボード４６ａ、左
目用画像復元ボード４６ｂ、右目用画像加工ボード４７
ａ、左目用画像加工ボード４７ｂ、その右目用画像復元
ボード４６ａと右目用画像加工ボード４７ａとに接続さ
れる右目用画像フレームバッファメモリ４８ａ、その左
目用画像復元ボード４６ｂと左目用画像加工ボード４７
ｂとに接続される左目用画像フレームバッファメモリ４
８ｂ、及び上記ヘッドモーションセンサ３０とバスライ
ン４４とに接続されるヘッドモーションセンサインター
フェイス４９とを有する。その右目用画像加工ボード４
７ａは上記頭部装着型表示装置７の右目用表示制御装置
２７ａに接続され、左目用画像加工ボード４７ｂは左目
用表示制御装置２７ｂに接続される。

【００１９】上記制御装置３のコンピュータ４１は記憶
したプログラムに従い入出力データ処理ユニット２を制
御する。すなわち、画像データを記憶する場合は、各カ
メラ１０ａ、１０ｂによって取り込んだ外界景色Ａ等の
両眼用画像データのデータ量を、それぞれ画像圧縮ボー
ド４５ａ、４５ｂにより圧縮し、その圧縮された画像デ
ータを記憶装置４３に記憶する。また、画像を表示する
場合は、記憶装置４３に記憶された画像データを画像復
元ボード４６ａ、４６ｂにより圧縮状態から復元可能な
信号に変換し、その信号に基づき画像信号を画像フレー
ムバッファメモリ４８ａ、４８ｂにおいて展開する。次
に、ヘッドモーションセンサ３０からヘッドモーション
センサインターフェイス４９を介し入力される観察者２
０の頭部の動きに対応する信号に基づき、画像加工ボー
ド４７ａ、４７ｂにより画像フレームバッファメモリ４
８ａ、４８ｂにおいて展開された画像データから表示画
像データを切り出し、その表示画像データを頭部装着型
表示装置７の表示制御装置２７ａ、２７ｂに送る。これ
により、頭部装着型表示装置７の右目用表示部２１ａは
一方のカメラ１０ａにより取り込んだ右目用映像を表示
し、その画像表示光を観察者２０の右目に導き、左目用
表示部２１ｂは他方のカメラ１０ｂにより取り込んだ左
目用映像を表示し、その画像表示光を観察者２０の左目
に導き、観察者２０に立体的な映像を視認させる。

【００２０】上記構成によれば、記憶装置４３に記憶さ
れた広角画像のデータから、観察者２０の頭部の動きに
対応する視野の変化に同期して、頭部装着型表示装置７
による表示画像のデータを切り出し、その画像を観察者
２０に視認させることができる。例えば、図４の（１）
において一点鎖線で示す領域Ｂを、カメラ１０ａ、１０
ｂにより撮影した上記外界景色Ａの広角画像とした場
合、頭部の動きに対応する視野の方向が左上方向である
と、その広角画像の中の図中２点鎖線で示す領域Ｃの画
像が切り出され、図４の（２）に示すように各表示部２
１ａ、２１ｂにより表示され、また、頭部の動きに対応
する視野の方向が右下方向であると、その広角画像の中
の図中破線で示す領域Ｄの画像が切り出され、図４の
（３）に示すように各表示部２１ａ、２１ｂにより表示
される。これにより、例えば旅行を疑似体験する仮想現
実空間において、その旅先に対応する外界景色を観察者
２０に提供することができる。なお、その記憶装置４３
に画像データだけでなく文字データやＣＧにより作成し
た画像データ等を併せて記憶させ、その画像データと共
に表示してもよく、例えば、図４の（２）、（３）に示
すように、外界景色を観察者２０に視認させる場合、そ
の外界景色の建造物の名称等の文字データを併せて視認
させるようにしてもよい。

【００２１】なお、本発明は上記実施形態に限定されな
い。例えば、制御装置３の外部に広角の画像データを記
憶する大容量で書き換え可能な記憶装置と、記憶装置イ
ンターフェイスとを配してもよい。また、一つの制御装
置３に複数の入出力データ処理ユニット２と複数の頭部
装着型表示装置７とを接続し、同一の広角画像を記憶装
置４３に記憶することで、仮想的に同じ場所に居る複数
の観察者に、各自の頭部の動きに応じた互いに異なる画
像を視認させることができる。また、記憶装置４３に記
憶される画像を、複数のカメラユニットを用いて外界景
色等を撮影することで取り込んだり、一台のカメラユニ
ットを移動させて撮影対象をスキャンすることで取り込
んでもよい。また、表示画像が遠景のように立体視を必
要としない場合、カメラユニットを単一のカメラにより
構成してもよい。また、記憶装置４３に記憶される画像
データをＣＧにより人工的に作成してもよい。

【００２２】

【本発明の実施態様】本発明による画像表示システムに
おいて、カメラにより取り込んだ右目用映像の画像デー
タと左目用映像の画像データとを広角の画像データとし
て記憶し、表示装置は、右目用映像の画像データを観察
者の右目に視認させる右目用表示部と、左目用映像の画
像データを観察者の左目に視認させる左目用表示部とを
有するのが好ましい。これにより、観察者は立体的な画
像を視認することができる。

【００２３】また、本発明の画像表示システムは、複数
の観察者の頭部に装着される複数の頭部装着型表示装置
と、各頭部装着型表示装置による表示画像よりも広角の
画像のデータを記憶可能な手段と、各観察者の頭部の動
きを検知する手段と、検知された各観察者の頭部の動き
それぞれに対応して、その記憶された画像データから、
前記各頭部装着型表示装置による表示画像のデータそれ
ぞれを切り出す手段とを備えるのが好ましい。これによ
り、仮想的に同じ場所に居る複数の観察者に、各自の頭
部の動きに応じた互いに異なる画像を視認させることが
できる。

【００２４】

【発明の効果】本発明の画像表示システムによれば、観
察者の頭部の動きに対応する視野の変化に応じて変化す
る実写映像を、時と場所を問わず提供できる。

【図面の簡単な説明】

【図１】本発明の実施形態の画像表示システムの構成説
明図

【図２】本発明の実施形態の頭部装着型表示装置の構成
説明図

【図３】本発明の実施形態の画像表示システムのブロッ
ク図

【図４】本発明の実施形態の景観表示システムの（１）
は画像データの切り出し領域を示す図、（２）、（３）
は互いに異なる画像の表示状態を示す図

【符号の説明】

２ 入出力データ処理ユニット ３ 制御装置 ７ 頭部装着型表示装置 ２０ 観察者 ３０ ヘッドモーションセンサ ４３ 記憶装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】 観察者の頭部に装着される表示部を有す
   る表示装置と、 その表示装置による表示画像よりも広角の画像のデータ
   を記憶する手段と、 その観察者の頭部の動きを検知する手段と、 その検知された観察者の頭部の動きに対応して、その記
   憶された画像データから前記表示装置による表示画像の
   データを切り出す手段とを備える画像表示システム。