JP2000348165A

JP2000348165A - 情景表示装置

Info

Publication number: JP2000348165A
Application number: JP11158581A
Authority: JP
Inventors: Katsuyuki Kamei; 克之亀井; Kazuo Seo; 和男瀬尾
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-06-04
Filing date: 1999-06-04
Publication date: 2000-12-15

Abstract

(57)【要約】【課題】並行する撮影経路に沿って撮影した複数のビ
デオ映像データを用いて、仮想視点を自由に移動したと
きの情景を正確に再現する情景表示装置を得る。【解決手段】並列的な撮影経路に沿って撮影した複数
のビデオ映像データおよびその各画像フレームの撮影視
点位置を記憶装置１６に記憶し、仮想視点位置を視点入
力装置１７により入力し、前記視点入力装置１７により
入力した前記仮想視点位置をもとに、前記複数のビデオ
映像データ中から提示する画像フレームをフレーム選択
装置１８により選択し、前記フレーム選択装置１８によ
り選択した画像フレームをもとに、前記仮想視点位置に
合致した情景を提示画像として画像表示装置１９で表示
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、対象空間を移動
しながら撮影したビデオ映像を用い、ユーザが指定する
仮想視点からの情景を再現する情景表示装置に関するも
のである。

【０００２】

【従来の技術】図２１は、例えば特開平９−２２０３０
８号公報に開示された従来の情景表示装置の構成を示す
ブロック図である。図において、１はビデオ映像データ
およびビデオ映像データの各フレームの撮影視点位置を
記憶する記憶装置、２は表示する視点位置を入力する視
点入力装置、３は視点入力装置２によって指定された視
点に対しビデオ映像データの画像フレームを１つ選択す
るフレーム選択装置、４は選択された画像フレームを表
示する画像表示装置である。

【０００３】図２２および図２３は、従来の情景表示装
置の動作を示す説明図である。これらの図において、５
はビデオカメラ、６はビデオカメラ５の撮影経路、７は
ビデオカメラ５により撮影されたビデオ映像データ、８
はユーザが指定する仮想視点位置、９はビデオ映像デー
タ７中の画像フレーム、１０は撮影経路６上での各フレ
ーム撮影時の撮影視点位置、１１は撮影視点位置１０の
中で仮想視点位置８に最も近い近接撮影視点、１２はビ
デオ映像データ７中の近接撮影視点１１で撮影された画
像フレーム、１３は提示画像、１５は空間上の被写体で
ある。

【０００４】従来の情景表示装置は、ビデオカメラ５で
対象となる空間内の撮影経路６上で撮影されたビデオ映
像データ７から、ユーザが指定した仮想視点位置８での
情景画像を随時生成することによって、ビデオ映像デー
タ７を用いて対象空間の情景を表現しようとするもので
あり、図２２に示すように、撮影経路６上で撮影された
ビデオ映像データ７が記憶装置１内に蓄えられている。
さらに図２３に示すように、視点入力装置２により仮想
視点位置８を指定すると、フレーム選択装置３によっ
て、記憶装置１に記憶された撮影視点位置１０の位置情
報を参照し、撮影視点位置１０の中から仮想視点位置８
に一致するか、あるいは経路上越える近接撮影視点１１
を検出する。

【０００５】そして、近接撮影視点１１において撮影さ
れたビデオ映像データ７中の１フレームである画像フレ
ーム１２を記憶装置１から読み出す。読み出された画像
フレーム１２は画像表示装置４によりユーザに提示画像
１３として提示される。

【０００６】

【発明が解決しようとする課題】従来の情景表示装置は
以上のように構成されていたので、ユーザの指定した仮
想視点位置８に対し、撮影経路６上で近接する近接撮影
視点１１の画像フレーム１２を選択し、これを提示画像
１３とするため、情景を再現できる仮想視点位置８が撮
影経路６上に限定されてしまい、空間内を自由に移動す
る情景を再現できない課題があった。

【０００７】この発明は、上記のような課題を解決する
ためになされたものであり、並行する撮影経路を複数設
定し、それぞれの撮影経路に沿って撮影して得た複数の
ビデオ映像データを用いることにより、仮想視点を自由
に移動したときの情景を正確に再現する情景表示装置を
得ることを目的とする。

【０００８】

【課題を解決するための手段】この発明に係る情景表示
装置は、ビデオカメラを並列的な撮影経路に沿って移動
させ撮影した複数のビデオ映像データおよびその各画像
フレームの撮影視点位置を記憶する記憶手段と、仮想視
点位置を入力する視点入力手段と、該視点入力手段によ
り入力された前記仮想視点位置をもとに、前記複数のビ
デオ映像データ中から提示する画像フレームを選択する
フレーム選択手段と、該フレーム選択手段により選択さ
れた画像フレームをもとに、前記仮想視点位置に合致し
た情景を提示画像として表示する画像表示手段とを備え
るようにしたものである。

【０００９】この発明に係る情景表示装置は、一定間隔
で並列的な撮影経路上で移動するビデオカメラで撮影し
たビデオ映像データを記憶するようにしたものである。

【００１０】この発明に係る情景表示装置は、仮想視点
位置に最も近い撮影視点位置をもつ画像フレームをフレ
ーム選択手段が選択するようにしたものである。

【００１１】この発明に係る情景表示装置は、撮影経路
に沿って移動するビデオカメラの進行方向に向けられた
光軸で撮影されたビデオ映像データを記憶するようにし
たものである。

【００１２】この発明に係る情景表示装置は、同一平面
上において一定間隔の並列的な各撮影経路上で移動する
ビデオカメラで撮影したビデオ映像データを記憶するよ
うにしたものである。

【００１３】この発明に係る情景表示装置は、上下左右
に並列的な撮影経路に沿って移動するビデオカメラで撮
影したビデオ映像データを記憶するようにしたものであ
る。

【００１４】この発明に係る情景表示装置は、フレーム
選択手段によって選択された画像フレームをその撮影視
点位置と仮想視点位置との位置関係により画像補正する
画像補正手段を備えるようにしたものである。

【００１５】この発明に係る情景表示装置は、画像の平
行移動により画像補正する画像補正手段を備えるように
したものである。

【００１６】この発明に係る情景表示装置は、画像の拡
大または縮小により画像補正する画像補正手段を備える
ようにしたものである。

【００１７】この発明に係る情景表示装置は、仮想視点
位置をはさむ撮影経路をもつ２つのビデオ映像データそ
れぞれにおいて、前記仮想視点位置に最も近い撮影視点
の画像フレームを選択し、これらを用いて提示画像を合
成する画像合成手段を備えるようにしたものである。

【００１８】この発明に係る情景表示装置は、２つの画
像フレームの撮影視点位置間の仮想視点位置による、２
つの画像フレームの画素値の線形補間で画像合成を行う
画像合成手段を備えるようにしたものである。

【００１９】この発明に係る情景表示装置は、複数のビ
デオカメラを各撮影経路に沿うように並列的に配置した
画像入力手段を備えるようにしたものである。

【００２０】

【発明の実施の形態】以下、この発明の実施の一形態に
ついて説明する。実施の形態１．図１は、この実施の形態１の情景表示装
置の構成を示すブロック図であり、図において、１６は
複数のビデオ映像データおよびビデオ映像データの各フ
レームの撮影視点位置を記憶する記憶装置（記憶手
段）、１７は視点位置を入力する視点入力装置（視点入
力手段）、１８はビデオ映像データの次に提示するフレ
ームを順次選択するフレーム選択装置（フレーム選択手
段）、１９は選択された画像フレームを提示画像として
表示する画像表示装置（画像表示手段）である。

【００２１】図２と図３、および図５と図６はこの実施
の形態１の情景表示装置の動作を示す説明図、図４はこ
の実施の形態１の情景表示装置の動作を示すフローチャ
ートである。図２と図３、および図５と図６において、
１４は提示画像１３を仮想視点位置８の変更に応じて随
時更新することによって表現される生成映像、２０はフ
レーム選択装置１８により選択された画像フレーム、２
１は撮影経路６の始点、２２は撮影経路６に並行する並
行撮影経路、２３はビデオカメラ５の光軸、２４は画像
フレーム２０を含むビデオ映像データ、２５はビデオ映
像データ２４の中の選択された画像フレーム２０の撮影
視点位置である。

【００２２】この情景表示装置においては、対象の情景
を忠実に再現するため撮影経路６に対し、それと並行す
る並行撮影経路２２を複数設定する。それぞれの並行撮
影経路２２においても、同様にビデオカメラ５によりビ
デオ映像データ７を撮影する。

【００２３】空間再現時には、それら複数のビデオ映像
データ２４を用い、その中の仮想視点位置８に最も合致
する撮影視点位置２５をもつ画像フレーム２０を提示画
像１３とすることで生成映像１４を構成する。このた
め、仮想視点位置８が撮影経路６上を左右にはずれて
も、情景はそれに近い並行撮影経路２２上の撮影視点位
置２５で撮影されたビデオ映像データ２４によってより
忠実に追随して再現され、これにより、生成映像１４に
よって表現される空間の現実味が保たれ、高い臨場感が
得られる。

【００２４】説明を簡単にするため以下のように設定す
る。図２に示すように、水平面をｘｙ平面とし、撮影経
路６はｘ軸上の直線とし、始点２１を原点上におき、ｘ
軸正方向に向かうものとする。また、映像撮影時のビデ
オカメラ５の光軸方向もｘ軸正方向に固定として考え
る。ｙ軸はｘ軸正方向に対して左方向を正方向とする。
ｋ番目（ｋ＝１，２，…，Ｋ）の並行撮影経路２２は、
撮影経路６をｙ軸方向に平行移動したものとする。その
ｙ座標値をｙ_kとする。各並行撮影経路２２間の間隔は
一定とし、ｙ_k−ｙ_k-1 は一定値となる。これをΔｙと
する。なお、便宜上、Ｋは３あるいは５などの奇数と
し、並行撮影経路２２は、そのｙ_k値が{ｋ−（Ｋ＋
１）／２｝Δｙとなるように配置する。つまり、撮影経
路６の両側に対称に配置することになる。ただし、これ
に限定するものではない。撮影経路６上では（Ｋ＋１）
／２番目のビデオ映像データ２４が撮影されることにな
る。なお、ビデオ映像データ２４は常にその水平軸を水
平面であるｘｙ平面に平行に撮影されるとして考える。
以下、ｋ個目のビデオ映像データ２４のｎ番目の画像フ
レームをＩ_kn（ｎ＝１，２，…，Ｎ_k）、画像フレーム
Ｉ_knの撮影視点位置２５をｐ_kn（ｘ_kn，ｙ_k）で表す。

【００２５】このとき、図３に示すように、仮想視点位
置８をｘｙ平面上で移動させた際の情景を、上記Ｋ個の
ビデオ映像データ２４から生成する。なお、仮想視点位
置８はｑ、その座標値を（ｘ_q，ｙ_q）で表す。光軸方
向はｘ軸方向として考える。また、提示画像１３をＪと
する。さらに、提示画像１３からなる生成映像１４は、
ビデオ映像データ２４とフレーム速度を同一に生成する
ものとする。

【００２６】仮想視点位置ｑが（ｘ_q，ｙ_q）にあると
き、その座標値に最も視点位置の近い撮影視点位置２５
に対応する画像フレーム２０を提示画像１３として選択
する。これにより、実際の情景に合致した提示画像１３
が得られる。このようにして、撮影経路６上、前後のみ
ならず左右に任意に移動したときの情景映像を生成映像
１４として得ることができる。

【００２７】次に、以上の動作を図４のフローチャート
により説明する。まず初期状態として、Ｋ個のビデオ映
像データ２４と、図５に示す各ビデオ映像データ２４に
対するフレーム数と各画像フレームの視点位置のデータ
が、記憶装置１６に記憶されているとする。ビデオ映像
データ２４はビデオカメラ５によって撮影される。

【００２８】撮影視点位置のｘ_kn座標は、例えば、以下
のように求める。ビデオカメラ５を台車にのせ、その車
輪の回転速度が一定になるようにモータまたは人手によ
り移動させ、撮影経路６の長さをその経路を移動するの
に要した時間で除した平均的な移動速度を求める。この
値をｖとし、映像のフレーム描画速度をＲとすれば、ｘ
座標値はｘ_kn＝ｖ（ｎ−１）／Ｒとなる。

【００２９】また、ビデオカメラ５の位置をＧＰＳ装置
によって計測して入力したり、あるいは、ビデオ映像デ
ータ２４の映像内容から既知の点の画像中の投影位置を
もとに計算によって求めてもよい。あるいは、また、単
に撮影経路６を撮影した画像フレーム数で等分して撮影
視点位置としてもよい。

【００３０】ステップＳＴ１では、提示に用いるビデオ
映像データの番号を示す変数ｋと画像フレームの番号を
示す変数ｎを初期設定する。これは処理開始時の提示映
像と視点位置を指示するもので、例えば、ｋは撮影経路
６上でのビデオ映像データ２４として（Ｋ＋１）／２
に、ｎはその最初のフレームとして１に設定する。同時
に、撮影経路６（ｘ軸上）上に仮想視点位置ｑを配置
し、そのｘ座標ｘ_qを示す変数ｘとｙ座標ｙ_qを示す変
数ｙとをともに０に初期設定する。

【００３１】ステップＳＴ２では、フレーム選択装置１
８により記憶装置１６に格納されたｋ番目のビデオ映像
データからｎ番目の画像フレームＩ_knを読み出す。

【００３２】ステップＳＴ３では、画像フレームＩ_knを
提示画像Ｊとして画像表示装置１９により表示する。た
だし、ここでは映像のフレーム描画速度を同一にするた
め、所定のタイミングで前回描画時の画像から今回の画
像へ描画を切り替える。すなわち、１秒間に３０フレー
ムというフレーム描画速度のビデオ映像データを用いて
いる場合、１／３０秒ごとに新たな画像を描画すること
になる。ここでは、ステップＳＴ２からステップＳＴ８
までの処理サイクルが、十分この１／３０秒内に実行で
きるものとする。

【００３３】ステップＳＴ４では処理を続行するかどう
かを判定する。これには、あらかじめ指定した終了を示
すキーボード入力等がなされているかどうかをチェック
し、なされていれば終了、そうでなければステップＳＴ
５に進むというように構成する。また、ｘが撮影経路６
を越えている場合も処理を終了する。

【００３４】ステップＳＴ５では、仮想視点位置８の移
動入力があるかどうかを判定し、ある場合はステップＳ
Ｔ６に進む。

【００３５】ステップＳＴ６では仮想視点位置８を更新
する。これは、例えば、マウスやキーボードなどの入力
デバイスによって実行される。

【００３６】続くステップＳＴ７では、フレーム選択装
置１８により提示画像１３に用いるビデオ映像データ２
４を選択する。これは、例えば、変数ｙで示される仮想
視点位置ｑのｙ座標ｙ_qと並行撮影経路２２のｙ座標ｙ
_kとの差｜ｙ_q−ｙ_k｜が最小となるものとする。これ
はすべてのｋについて計算する必要はない。ｙ_kはｋと
ともに増加するのでｋを１ずつ増やしていき、ｙ_q−ｙ
_kが負に転じた時点で、そのｋあるいはｋ−１のどちら
かが、求めるｙ_kを与える。また、前回用いたｋから、
ｙ_q−ｙ_kの符号をもとに正ならｋを１増やし、負なら
減らしていくことで探索の時間を節約することもでき
る。そして、そのビデオ映像データ２４を表すように変
数ｋを更新する。

【００３７】さらに、ステップＳＴ８では、選択された
ｋ個めのビデオ映像データ２４から、フレーム選択装置
１８により視点位置が変数ｘで示されるｘ_qに最も近い
画像フレーム２０を選択する。これは、｜ｘ_q−ｘ_kn｜
を最小にするｎ番目の画像フレームである。ただし、添
え字ｋはステップＳＴ７で得たｋの値である。この場合
の前記ｎの探索も、ｘ_knはｎとともに増加するので、ス
テップＳＴ７の動作と同様、｜ｘ_q−ｘ_kn｜をすべての
ｎについて計算する必要はない。この後、ステップＳＴ
２に戻る。

【００３８】このように処理を行うため、指定された仮
想視点位置ｑに合致した撮影視点位置で撮影された画像
フレーム２０を用いて生成映像１４を生成するため、撮
影経路６を前後のみならず左右に仮想視点位置８を移動
させても、正確な情景を再現できる。

【００３９】以上のように、この実施の形態１よれば、
撮影経路６上を仮想視点位置８が左右に移動しながら前
進したとしても、それに追随した生成映像１４を生成す
ることができるので、実際に移動したときの情景を正し
く再現できる。

【００４０】生成映像１４の一例を図６に示す。仮想視
点位置を８ａから８ｂ、８ｃと移動させたとき、それぞ
れ撮影視点位置２５ａ，２５ｂ，２５ｃをもつビデオ映
像データ２４ａ，２４ｂ，２４ｃの画像フレーム２０
ａ，２０ｂ，２０ｃが提示画像１３ａ，１３ｂ，１３ｃ
として選択され、生成映像１４が得られる。この結果、
生成映像１４は、常に仮想視点位置８に合ったビデオ映
像データの画像フレームで構成されることになり、被写
体が正しく再現される。

【００４１】実施の形態２．図７は、この実施の形態２
の情景表示装置の構成を示すブロック図であり、図７に
おいて図１と同一または相当の部分については同一の符
号を付し説明を省略する。図において、２６は画像フレ
ーム２０を補正する画像補正装置（画像補正手段）であ
る。

【００４２】図８は、この実施の形態２の情景表示装置
の動作を示す説明図であり、図において２７は画像補正
装置２６が行う補正の基準となる基準平面、２８は画像
フレーム２０の光軸、２９は提示画像１３の光軸、３０
は光軸２８と基準平面２７との交点、３１は光軸２９と
基準平面２７との交点、３２は交点３１上にあると仮定
する被写体、３４’は画像フレーム２０を補正して得た
補正画像フレーム、４３は画像フレーム２０の画像投影
面である。図９は、この実施の形態２の情景表示装置の
動作を示すフローチャートである。

【００４３】この実施の形態２の情景表示装置において
は、仮想視点位置８と選択された画像フレーム２０の撮
影視点位置２５が一致しない場合、それによる微妙な情
景の視差を、画像フレーム２０に補正を加えることで低
減するようにしたものである。

【００４４】前記実施の形態１と同様に、ビデオ映像デ
ータ２４をＩ_kn（ｋ＝１，２，…，Ｋ，ｎ＝１，２，
…，Ｎ_k）、提示画像１３をＪとする。また、前記実施
の形態１の説明のように、映像生成の過程で、仮想視点
位置ｑ（ｘ_q，ｙ_q）に対しこれに最も近い撮影視点位
置（ｘ_kn ，ｙ_kn）の画像フレーム２０が選択される。
しかしながら、Δｙが十分小さくない場合、両視点間の
ずれにより正しい情景が再現されないことになる。そこ
で、この実施の形態２では、注目する対象があると仮定
する基準平面２７を定義し、提示画像１３の光軸２９と
の交点３１上の対象被写体３２が、提示画像１３におい
て正しい位置、すなわち中央に正しい大きさで描画され
るよう、画像フレーム２０に対し平行移動および拡大縮
小の補正を行う。これで得た補正画像フレーム３４’を
提示画像１３とするように構成する。

【００４５】以下、この実施の形態２の情景表示装置に
おける映像生成の動作を図９のフローチャートにより説
明する。この実施の形態２では前記実施の形態１の動作
を示すフローチャートにステップＳＴ２００とステップ
ＳＴ２０１を追加し、ステップＳＴ３をステップＳＴ２
０２に変更したものである。

【００４６】ステップＳＴ２００では、画像補正装置２
６により、基準平面２７を、例えば、仮想視点位置８の
前方の距離Ｄのｘ軸に垂直な平面と定義する。このＤの
値は、例えば１０ｍというように設定する。この値は、
マウスやキーボードなどによって調整できるようにして
おいてもよい。

【００４７】ステップＳＴ２０１では、やはり画像補正
装置２６により画像フレーム２０に補正を加える。これ
は以下のような手順で実行する。

【００４８】まず、図８に示すように、基準平面２７上
の提示画像１３の光軸２９との交点３１が提示画像１３
上で中央に配置されるよう、画像フレーム２０に水平方
向の平行移動を行う。これは、交点３１のｘｙ座標は
（ｘ_q＋Ｄ，ｙ_q）、交点３０の座標は（ｘ_q＋Ｄ，ｙ
_k）であるから、画像フレームの左方向への移動量Δｉ
は画像フレーム２０の焦点距離をｆとすれば、

【数１】となる。

【００４９】次に、大きさの補正を行う。対象被写体３
２の像の大きさは、視点位置から対象被写体３２までの
距離に反比例するから、正しい大きさで描画するには、
補正画像フレーム３４’をさらに以下に示す倍率ｒで拡
大または縮小すればよい。

【数２】

【００５０】これにより、補正画像フレーム３４’上で
正しい大きさとなる。ただし、通常は、ビデオ映像フレ
ームのフレーム描画速度は十分大きく、撮影経路上、密
に画像フレームが撮影されると期待される。その結果、
ｘ_qと同一、または十分これに近いｘ座標値の撮影視点
位置が存在し、前式２の値は十分１に近くなる。従っ
て、前式２の拡大縮小補正は省略する構成としても構わ
ない。

【００５１】ステップＳＴ２０２では、この補正画像フ
レーム３４’を提示画像Ｊとして画像表示装置１９によ
り表示する。

【００５２】以上のように、この実施の形態２によれ
ば、より正確な情景を再現する情景表示装置を得ること
が可能になる。

【００５３】実施の形態３．図１０は、この実施の形態
３の情景表示装置の構成を示すブロック図であり、図１
０において図１と同一または相当の部分については同一
の符号を付し説明を省略する。図において、３４は２つ
の画像フレームから生成画像を合成する画像合成装置
（画像合成手段）であり、例えば２つの画像フレームの
撮影視点位置間の仮想視点位置による、２つの画像フレ
ームの画素値の線形補間で画像合成を行い、提示画像を
合成するものである。

【００５４】図１１と図１２はこの実施の形態３の動作
を示す説明図であり、図において３５は仮想視点位置に
対し画像フレーム２０が撮影された並行撮影経路２２と
反対側にある並行撮影経路、３６は並行撮影経路３５上
で撮影されたビデオ映像データ、３７はビデオ映像デー
タ３６上で撮影視点位置が最も仮想視点位置８に近い画
像フレーム、３８は画像フレーム２０と画像フレーム３
７を合成して得られる合成画像フレーム、４４は画像フ
レーム３７の撮影視点位置、４５はビデオ映像データに
描かれた被写体、４６は被写体４５の鏡面反射を呈して
いる面である。図１３は本発明の実施の形態３の動作を
示すフローチャートである。

【００５５】前記のように構成された情景表示装置にお
いては、図１１に示すように、仮想視点位置８をはさむ
２つの撮影視点位置２５と撮影視点位置４４で撮影され
た画像フレームを用いて提示画像１３を得ることによ
り、仮想視点位置８での情景に近い提示画像１３を得る
ようにしたものである。例えば、光の鏡面反射成分など
が描画されている場合、図１２に示す画像フレーム２０
と画像フレーム３７で、被写体４５の明るさが極端に異
なる場合がある。仮想視点位置８の移動により画像フレ
ーム２０から画像フレーム３７に提示画像１３を切り替
える場合も想定され、このとき、特定部分の明るさが急
激に変化することになる。そこで、このような不連続を
顕著にさせないため、両画像フレーム２０，３７を用い
て新たな合成画像フレーム３８を合成し、これを提示画
像１３とする。

【００５６】以下、この実施の形態３の動作を図１３の
フローチャートにより説明する。図４に示す前記実施の
形態１の動作を示すフローチャートと同一の処理ステッ
プについては同一の符号を付し説明を省略する。

【００５７】ステップＳＴ３００では、フレーム選択装
置１８により、仮想視点位置８に対し画像フレーム２０
が撮影された並行撮影経路２２と反対側にある並行撮影
経路３５にて撮影されたビデオ映像データ３６を選択す
る。これがｈ番目のビデオ映像データであったとする。
これは、例えば、仮想視点位置ｑのｙ座標ｙ_qと並行撮
影経路２２のｙ座標ｙ_kとの差ｙ_q−ｙ_kが正ならば、
ｈ＝ｋ＋１となり、負ならば、ｈ＝ｋ−１となる。ま
た、ｙ_q−ｙ_kが０ならば、仮想視点位置８は撮影経路
６または並行撮影経路２２上にあるので合成の必要はな
く、便宜上、ｈ＝０とする。

【００５８】ステップＳＴ３０１では、フレーム選択装
置１８により、ビデオ映像データ３６が選択できたかど
うかを判定する。すなわち、ステップＳＴ３００で設定
したｈが、０＜ｈ≦ｋであれば、選択可能であり、ステ
ップＳＴ３０２に進み、そうでなければステップＳＴ３
に進み、合成は行わない。

【００５９】ステップＳＴ３０２では、フレーム選択装
置１８により、選択されたｈ個めのビデオ映像データ３
６から、視点位置が最もｘ_qに近い画像フレーム３７を
選択する。これは、｜ｘ_q−ｘ_hm｜が最小になるｍ番目
の画像フレームである。

【００６０】ステップＳＴ３０３では、記憶装置１６か
ら画像フレーム３７を読み出す。ステップＳＴ３０４で
は、画像合成装置３４により、画像フレーム２０と画像
フレーム３７を合成して一枚の合成画像フレーム３８を
得る。これは、例えば、｜ｙ_q−ｙ_k｜と｜ｙ_q−ｙ_h
｜との比で重みをつけて、

【数３】のようにする。ここでの演算は各画像フレームの画素ご
との積と和を表す。画像がカラー画像であった場合は、
その各色成分ごとに演算を行う。この合成した画像フレ
ーム３８をＪとする。

【００６１】ステップＳＴ３０５では、画像表示装置１
９に前記合成した画像フレームＪを提示画像１３として
表示する。

【００６２】以上の動作の一例を図１２に示す。このよ
うに、（ｘ_kn，ｙ_k）における画像フレーム２０と（ｘ
_hm，ｙ_h）における画像フレーム３７では、反射の具合
によりその輝度が大きく異なる場合でも、以上の動作に
よって（ｘ_q，ｙ_q）における提示画像１３は、それら
を補間するものとなり、仮想視点位置の移動時に急激に
情景が変化することはない。

【００６３】以上、説明したように、この実施の形態３
によれば、提示映像１３を２つの画像フレームにより補
間して得るようにしたので、仮想視点位置の移動の際
に、情景の急激な変化が起きない情景表示装置を構成す
ることができる。

【００６４】実施の形態４．図１４は、この実施の形態
４の情景表示装置の構成を示すブロック図であり、図１
４において図１と同一または相当の部分については同一
の符号を付し説明を省略する。図において、３９は複数
のビデオ映像データを入力するビデオ映像入力装置（画
像入力手段）である。

【００６５】図１５と図１６は、この実施の形態４の動
作を示す説明図であり、図において４０は複数のビデオ
カメラ５を設置するプレート、４１はプレート４０を支
える支柱であり、これらにより、ビデオ映像入力装置３
９を構成する。

【００６６】この実施の形態４では、図１５に示すよう
な構成のビデオ映像入力装置３９の各ビデオカメラ５
が、図１６に示すように撮影経路６および並行撮影経路
２２上に置かれ、その光軸２３がｘ軸方向を向くように
配置される。この状態でｘ軸方向にビデオ映像入力装置
３９を移動させる。このとき、プレート４０に等間隔Δ
ｙで設置されたＫ個のビデオカメラ５によりＫ個のビデ
オ映像データを同時に撮影し取得する。なお、以下の提
示画像１３の生成動作は、前記実施の形態１における動
作と同一である。

【００６７】この実施の形態４においては、撮影経路６
上で、Ｋ個のビデオ映像データを同時に撮影することに
より、その間での時間的な情景の変化をなくすことがで
きる。例えば、仮想視点位置８の左右移動により、提示
画像１３をｋ個目のビデオ映像データの画像フレームか
ら、ｋ＋１番目あるいはｋ−１番目のビデオ映像データ
の画像フレームに切り替えたとしても、それらは、ほぼ
同時に撮影されており、人や車等の移動する事物の位置
や日光の照射方向などは同一であるので、生成映像１４
に不連続を生じさせないようにすることができる。

【００６８】実施の形態５．次に、この実施の形態５の
情景表示装置について説明する。この実施の形態５の情
景表示装置の構成は、図１に示す前記実施の形態１の情
景表示装置の構成と同一である。

【００６９】図１７は、この実施の形態５の動作を示す
説明図である。図１８は、この実施の形態５の情景表示
装置の動作を示すフローチャートである。

【００７０】この実施の形態５の情景表示装置において
は、対象の情景を忠実に再現するため、撮影経路６に対
しそれと並行する並行撮影経路２２を、撮影経路６の上
下左右に複数設定する。それぞれの並行撮影経路２２に
おいても、同様にビデオカメラ５によりビデオ映像デー
タ２４を撮影する。空間再現時には、それら複数のビデ
オ映像データ２４を用い、その中の仮想視点位置８に最
も合致する撮影視点位置２５をもつ画像フレーム２０を
提示画像１３とすることで生成映像１４を構成する。

【００７１】このため、仮想視点位置８を撮影経路６か
ら上下左右に移動させても、情景はそれに近い並行撮影
経路２２上の撮影視点位置２５で撮影されたビデオ映像
データ２４によって忠実に追随して再現され、これによ
り、生成映像１４によって表現される空間の現実味が保
たれ、高い臨場感が得られる。

【００７２】説明を簡単にするため、以下のように設定
する。すなわち、前記実施の形態１における説明と同
様、撮影経路６はｘ軸上の直線とし、始点２１を原点上
におき、ｘ軸正方向に向かうものとする。また、映像撮
影時のビデオカメラ５の光軸方向もｘ軸正方向に固定と
して考える。そして、図１７に示すように、ｙ軸方向に
Ｋ_y個、上方向を正とするｚ軸方向にＫ_z個の並行撮影
経路２２を配置する。図１７では、Ｋ_y＝５、Ｋ_z＝３
としており、ｚ座標値が正のものを点線で、負のものを
破線で示している。便宜上、Ｋ_y、Ｋ_zは奇数とし、
（ｋ_y，ｋ_z）番目の並行撮影経路２２は、そのｙ座標
値がｙ_k＝{ｋ_y−（Ｋ_y＋１）／２｝Δｙ、ｚ座標値
がｚ_k＝｛ｋ_z−（Ｋ_z＋１）／２｝Δｚとなるよう
に、一定間隔で配置する。ｘ軸上の撮影経路６では
｛（Ｋ_y＋１）／２，（Ｋ_z＋１）／２｝番目のビデオ
映像データ２４が撮影されることになる。

【００７３】なお、ビデオ映像データ２４は常にその水
平軸を水平面であるｘｙ平面に平行に撮影されるとして
考える。以下、Ｋ＝Ｋ_y×Ｋ_z，ｋ＝Ｋ_y×ｋ_z＋ｋ_y
とする。ｋ個目のビデオ映像データのｎ番目の画像フレ
ームをＩ_kn（ｎ＝１，２，…，Ｎ_k）、画像フレームＩ
_knの撮影視点位置１０をｐ_kn（ｘ_kn，ｙ_k，ｚ_k）で表
す。

【００７４】このとき、仮想視点位置８を３次元的に移
動させた際の情景を、前記Ｋ個のビデオ映像データ２４
から生成する。なお、仮想視点位置８はｑ、その座標値
を（ｘ_q，ｙ_q，ｚ_q）で表す。光軸方向はｘ軸方向と
して考える。また、提示画像１３をＪとする。さらに、
提示画像１３からなる生成映像１４は、ビデオ映像デー
タ２４とフレーム描画速度を同一に生成するものとす
る。

【００７５】仮想視点位置ｑが（ｘ_q，ｙ_q，ｚ_q）に
あるとき、その座標値に最も視点位置が近い撮影視点位
置２５に対応する画像フレーム２０を提示画像１３とし
て選択する。これにより、実際の情景に合致した提示画
像１３が得られる。このようにして、撮影経路６上、前
後左右、そして上下に任意に移動したときの情景映像を
生成映像１４として得ることができる。

【００７６】以上の動作を、図１８のフローチャートに
より説明する。このフローチャートで示される動作は、
前記実施の形態１の動作を示す図４のフローチャートの
ステップＳＴ１、ステップＳＴ６、ステップＳＴ７を、
それぞれステップＳＴ５００、ステップＳＴ５０１、ス
テップＳＴ５０２に置き換えたものである。従って、図
４と同一または相当の処理ステップについては同一の符
号を付し説明を省略する。

【００７７】ステップＳＴ５００では、ステップＳＴ１
での処理に加え、仮想視点位置８のｚ座標値を示す変数
ｚを０に初期化する。ステップＳＴ５０１では、視点入
力装置１７により、仮想視点位置８を３次元的に移動さ
せ、座標値を示す変数ｘ，ｙ，ｚを更新する。

【００７８】ステップＳＴ５０２では、フレーム選択装
置１８により提示画像１３に用いるビデオ映像データ２
４を選択する。これは、例えば、仮想視点位置ｑと並行
撮影経路２２のｙｚ平面上での距離

【数４】が最小となるものとする。そのビデオ映像データ２４を
表すように変数ｋを更新する。

【００７９】このように処理を行うため、指定された仮
想視点位置ｑに合致した撮影視点位置で撮影された画像
フレーム２０を用いて生成映像１４を生成するため、撮
影経路６を左右、さらに上下に仮想視点位置８を移動さ
せても、正確な情景を再現することができる。

【００８０】実施の形態６．次に、この実施の形態６の
情景表示装置について説明する。この実施の形態６の情
景表示装置の構成は、図７に示す前記実施の形態２の情
景表示装置の構成と同一である。

【００８１】また、図１９は、この実施の形態６の情景
表示装置の動作を示すフローチャートであり、このフロ
ーチャートに示す動作は、図１８の前記実施の形態５の
動作を示すフローチャートに、前記実施の形態２の動作
を示す図９のフローチャートのステップＳＴ２００と新
たなステップＳＴ６００を加えたものである。

【００８２】この実施の形態６の情景表示装置において
は、３次元的に移動する仮想視点位置８と選択された画
像フレーム２０の撮影視点位置２５が一致しない場合、
それによる微妙な情景の視差を、画像フレーム２０に補
正を加えることで低減するものである。

【００８３】この実施の形態６の情景表示装置における
映像生成の動作を図１９のフローチャートにより説明す
る。なお、前記実施の形態２の図９および実施の形態５
の図１８と同一または相当の処理ステップについては同
一の符号を付し説明を省略する。

【００８４】ステップＳＴ６００では、画像補正装置２
６により画像フレーム２０に補正を加える。これは、以
下のような手順で実行する。まず、図８に示す基準平面
２７上の提示画像１３の光軸２９との交点３１が提示画
像１３上で中央に配置されるよう、画像フレーム２０に
平行移動を行う。これは、前記実施の形態２において説
明した画像フレーム２０の水平方向への移動を垂直方向
にも適用するものである。交点３１の３次元の座標は
（ｘ_q＋Ｄ，ｙ_q，ｚ_q）、交点３０の座標は（ｘ_q＋
Ｄ，ｙ_k，ｚ_k）であるから、画像フレームの左方向へ
の移動量Δｉは、

【数５】画像フレームの上方向への移動量Δｊは、

【数６】となる。

【００８５】次に、大きさの補正を行う。これは、前記
実施の形態２において説明した動作と同様である。

【００８６】以上の動作により、交点３１上の被写体３
２が提示画像１３の中央に配置されるようになり、正確
な情景を再現する情景表示装置を得ることが可能にな
る。すなわち、この実施の形態６によれば、画像フレー
ムに対し水平方向および垂直方向に補正することでより
正確な情景を再現する情景表示装置が得られる効果があ
る。

【００８７】実施の形態７．次に、この実施の形態７の
情景表示装置について説明する。この実施の形態７の情
景表示装置の構成は、図１４に示す前記実施の形態４の
情景表示装置の構成と同一である。

【００８８】図２０は、この実施の形態７の動作を示す
説明図であり、図１５と同一または相当の部分について
は同一の符号を付し説明を省略する。図において、４９
はこの実施の形態７のビデオ映像入力装置（画像入力手
段）、４２はΔｙの間隔でビデオカメラ５が配置された
プレート４０間をΔｚの間隔で固定する支柱である。

【００８９】この実施の形態７のビデオ映像入力装置４
９においては、図２０に示すように、直線状のプレート
４０をΔｚ間隔で多段（Ｋｚ段）に配置する。各プレー
ト４０上にはΔｙの間隔でＫ_y個のビデオカメラ５を設
置し、総計Ｋ（＝Ｋ_y×Ｋ_z）個のビデオカメラ５によ
りＫ個のビデオ映像データを同時に撮影、取得する。以
降の提示画像１３の生成動作は、前記実施の形態５にお
ける動作と同一である。

【００９０】この実施の形態７においては、撮影経路６
上で、Ｋ個のビデオ映像データを同時に撮影することに
より、その間での時間的な情景の変化をなくすことがで
きる。例えば、仮想視点位置８の左右および上下の移動
により、提示画像１３をｋ個目のビデオ映像データの画
像フレームから他のビデオ映像データの画像フレームに
切り替えたとしても、それらは、ほぼ同時に撮影されて
おり、人や車等の移動する事物の位置や日光の照射方向
などは同一であるので、生成映像１４に不連続を生じる
ことがない。

【００９１】実施の形態８．なお、以上説明した各実施
の形態における記憶装置１６は、計算機の主記憶装置あ
るいは磁気ディスク装置あるいはビデオテープ装置およ
びビデオテープである。

【００９２】また、以上説明した各実施の形態の情景表
示装置の構成要素において、視点入力装置１７、フレー
ム選択装置１８、画像補正装置２６、画像合成装置３４
は、これらの動作を計算機によりソフトウェアで実現す
るように構成してもよい。

【００９３】また、以上説明した各実施の形態の情景表
示装置では、生成映像１４のフレーム速度をビデオ映像
データ２４と同一としたが、これを異なるように構成し
てもよい。

【００９４】また、以上説明した各実施の形態の情景表
示装置では撮影経路６を直線上としたが、これに限るも
のでなく、曲線に設定しても、その始点２１からの経路
上の距離をｘに、その接線方向に垂直にｙ，ｚをとるこ
とで、同様に実行できる。また、撮影経路６を区分的に
線分で表し、それぞれの線分に対して実行するように構
成してもよい。

【００９５】また、以上説明した各実施の形態では、ビ
デオカメラ５の光軸方向をｘ軸方向として説明したが、
これに限るものでなく、例えば、ｘ軸に直交する方向な
どとしても同様に実行できる。

【００９６】また、以上説明した各実施の形態では、画
像フレーム２０と提示画像１３とのサイズと画角を同一
として説明したが、ビデオ映像データ２４を大きなサイ
ズと画角で撮影し、その一部を適宜抽出して提示画像１
３とすることにより、映像生成時に視線方向の変化にも
対応可能に構成できる。

【００９７】また、以上説明した各実施の形態では、ビ
デオ画像データ２４と提示画像１３の水平軸を水平面に
平行として説明したが、それに限るものではない。

【００９８】また、以上説明した各実施の形態では、提
示画像１３を単独の画像フレーム２０、または、画像フ
レーム２０と画像フレーム３７の合成によって生成した
が、より多くの画像フレームを用いて生成するように構
成してもよい。

【００９９】また、前記実施の形態２の情景表示装置で
は、基準平面２７を導入し、そこに存在する被写体対象
物３２が正しく描かれるように画像の補正を行うように
したが、被写体の存在位置や形状が詳細に判明している
場合には、それを正しく描くような画像補正方式を採用
するように構成してもよい。

【０１００】また、前記実施の形態３の情景表示装置で
は、画像合成装置３４の行う演算を式６に示す画素値の
補間混合として説明したが、合成する２つの変換画像間
で被写体中の同一点を表す特徴点の対応付けを行い、そ
れらが同一画素に置かれるように、互いを移動、変形さ
せてから画素値を混合する、いわゆるモーフィングによ
り行うように構成してもよい。

【０１０１】

【発明の効果】以上のように、この発明によれば、ビデ
オカメラを並列的な撮影経路に沿って移動させ撮影した
複数のビデオ映像データおよびその各画像フレームの撮
影視点位置を記憶手段に記憶し、仮想視点位置を視点入
力手段により入力し、前記視点入力手段により入力した
前記仮想視点位置をもとに、前記複数のビデオ映像デー
タ中から提示する画像フレームをフレーム選択手段によ
り選択し、前記フレーム選択手段により選択した画像フ
レームをもとに、前記仮想視点位置に合致した情景を提
示画像として画像表示手段で表示するように構成したの
で、限られた撮影経路に沿った視点位置からの映像だけ
でなく、前記撮影経路から任意に移動させた視点位置に
対しても正しく再現された映像を生成できる効果があ
る。

【０１０２】この発明によれば、一定間隔で並列的な撮
影経路上で移動するビデオカメラで撮影したビデオ映像
データを記憶するように構成したので、視点位置と画像
フレームの撮影視点位置との差が前記撮影経路の間隔の
１／２以内に収まり、被写体事物を正しく再現する映像
が生成できる効果がある。

【０１０３】この発明によれば、仮想視点位置に最も近
い撮影視点位置をもつ画像フレームをフレーム選択手段
が選択するように構成したので、視点位置からの景観を
正しく再現する映像を生成できる効果がある。

【０１０４】この発明によれば、撮影経路に沿って移動
するビデオカメラの進行方向に向けられた光軸で撮影さ
れたビデオ映像データを記憶するように構成したので、
前方を見ながら前進移動する場面の多い列車や自動車の
運転シミュレータなどに容易に応用でき、このような応
用において視点位置からの景観を正しく再現する映像を
生成できる効果がある。

【０１０５】この発明によれば、同一平面上において一
定間隔の並列的な各撮影経路上で移動するビデオカメラ
で撮影したビデオ映像データを記憶するように構成した
ので、前記同一平面上で移動する視点位置と画像フレー
ムの撮影視点位置との差が前記撮影経路の間隔の１／２
以内に収まり、被写体事物を正しく再現する映像が生成
できる効果がある。

【０１０６】この発明によれば、上下左右に並列的な撮
影経路に沿って移動するビデオカメラで撮影したビデオ
映像データを記憶するように構成したので、視点位置を
特定の撮影経路上のみならず、前記撮影経路から任意に
上下左右に移動させても、被写体事物の情景を正しく再
現する映像を生成できる効果がある。

【０１０７】この発明によれば、フレーム選択手段によ
って選択された画像フレームをその撮影視点位置と仮想
視点位置との位置関係により画像補正手段で画像補正す
るように構成したので、視点位置からの景観を正しく再
現する映像を前記画像補正により生成できる効果があ
る。

【０１０８】この発明によれば、画像の平行移動により
画像補正手段が画像補正するように構成したので、画像
フレームの補正が容易に実行でき、視点位置からの景観
を正しく再現する映像を、前記平行移動による画像補正
により生成できる効果がある。

【０１０９】この発明によれば、画像の拡大または縮小
により画像補正手段が画像補正するように構成したの
で、画像フレームの補正を容易に実行でき、視点位置か
らの景観を正しく再現する映像を、前記拡大または縮小
による画像補正により生成できる効果がある。

【０１１０】この発明によれば、仮想視点位置をはさむ
撮影経路をもつ２つのビデオ映像データそれぞれにおい
て、前記仮想視点位置に最も近い撮影視点の画像フレー
ムを選択し、これらを用いて画像合成手段が提示画像を
合成するように構成したので、ビデオ映像データの変更
による生成映像の不連続の発生を抑制できる効果があ
る。

【０１１１】この発明によれば、２つの画像フレームの
撮影視点位置間の仮想視点位置による、２つの画像フレ
ームの画素値の線形補間で画像合成手段が画像合成を行
うように構成したので、視点位置の移動により滑らかに
遷移する提示画像を生成できる効果がある。

【０１１２】この発明によれば、複数のビデオカメラを
各撮影経路に沿うように並列的に配置した画像入力手段
を備えるように構成したので、同時刻に撮影された画像
フレームを提示画像として順次提示することができるた
め、異なる時刻に撮影された画像フレームを使用する場
合に比べ、時間的な差により生成映像に発生することの
ある不連続を抑制できる効果がある。

【図面の簡単な説明】

【図１】この発明の実施の形態１の情景表示装置の構
成を示すブロック図である。

【図２】この発明の実施の形態１の情景表示装置の動
作を示す説明図である。

【図３】この発明の実施の形態１の情景表示装置の動
作を示す説明図である。

【図４】この発明の実施の形態１の情景表示装置の動
作を示すフローチャートである。

【図５】この発明の実施の形態１における画像フレー
ムについての撮影視点位置のデータを示す説明図であ
る。

【図６】この発明の実施の形態１の情景表示装置の動
作を示す説明図である。

【図７】この発明の実施の形態２の情景表示装置の構
成を示すブロック図である。

【図８】この発明の実施の形態２の情景表示装置の動
作を示す説明図である。

【図９】この発明の実施の形態２の情景表示装置の動
作を示すフローチャートである。

【図１０】この発明の実施の形態３の情景表示装置の
構成を示すブロック図である。

【図１１】この発明の実施の形態３の情景表示装置の
動作を示す説明図である。

【図１２】この発明の実施の形態３の情景表示装置の
動作を示す説明図である。

【図１３】この発明の実施の形態３の情景表示装置の
動作を示すフローチャートである。

【図１４】この発明の実施の形態４の情景表示装置の
構成を示すブロック図である。

【図１５】この発明の実施の形態４における画像入力
手段の構成を示す説明図である。

【図１６】この発明の実施の形態４の情景表示装置に
おける画像入力動作を示す説明図である。

【図１７】この発明の実施の形態５の情景表示装置の
動作を示す説明図である。

【図１８】この発明の実施の形態５の情景表示装置の
動作を示すフローチャートである。

【図１９】この発明の実施の形態６の情景表示装置の
動作を示すフローチャートである。

【図２０】この発明の実施の形態７における画像入力
手段の構成を示す説明図である。

【図２１】従来の情景表示装置の構成を示すブロック
図である。

【図２２】従来の情景表示装置の動作を示す説明図で
ある。

【図２３】従来の情景表示装置の動作を示す説明図で
ある。

【符号の説明】

５ビデオカメラ、１６記憶装置（記憶手段）、１７
視点入力装置（視点入力手段）、１８フレーム選択
装置（フレーム選択手段）、１９画像表示装置（画像
表示手段）、２６画像補正装置（画像補正手段）、３
４画像合成装置（画像合成手段）、３９，４９ビデ
オ映像入力装置（画像入力手段）。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考） // Ｇ０９Ｂ 9/00 Ｈ０４Ｎ 5/92 ＣＦターム(参考） 5B050 BA04 BA07 BA09 BA13 EA03 EA05 EA07 FA02 FA09 FA13 5B057 BA19 CE08 CG03 CH11 CH18 DA08 DA16 DB03 DC08 DC09 5C052 AA02 AB03 AB04 AC01 DD04 DD08 5C053 FA02 FA14 GB40 HA21 JA24 KA04 KA21 KA24 LA01 LA06

Claims

【特許請求の範囲】

【請求項１】ビデオカメラを並列的な撮影経路に沿っ
て移動させ撮影した複数のビデオ映像データおよびその
各画像フレームの撮影視点位置を記憶する記憶手段と、仮想視点位置を入力する視点入力手段と、該視点入力手段により入力された前記仮想視点位置をも
とに、前記複数のビデオ映像データ中から提示する画像
フレームを選択するフレーム選択手段と、該フレーム選択手段により選択された画像フレームをも
とに、前記仮想視点位置に合致した情景を提示画像とし
て表示する画像表示手段と、を備えたことを特徴とする情景表示装置。
【請求項２】複数のビデオ映像データは、一定間隔で並列的な撮影経路上で移動するビデオカメラ
で撮影したビデオ映像データであることを特徴とする請
求項１記載の情景表示装置。
【請求項３】フレーム選択手段は、仮想視点位置に最も近い撮影視点位置をもつ画像フレー
ムを選択することを特徴とする請求項１または請求項２
記載の情景表示装置。
【請求項４】複数の各ビデオ映像データは、撮影経路に沿って移動するビデオカメラの進行方向に向
けられた光軸で撮影されていることを特徴とする請求項
１から請求項３のうちのいずれか１項記載の情景表示装
置。
【請求項５】複数のビデオ映像データは、同一平面上において一定間隔の並列的な各撮影経路上で
移動するビデオカメラで撮影したビデオ映像データであ
ることを特徴とする請求項１から請求項４のうちのいず
れか１項記載の情景表示装置。
【請求項６】複数のビデオ映像データは、上下左右に並列的な撮影経路に沿って移動するビデオカ
メラで撮影したビデオ映像データであることを特徴とす
る請求項１から請求項４のうちのいずれか１項記載の情
景表示装置。
【請求項７】フレーム選択手段によって選択された画
像フレームをその撮影視点位置と仮想視点位置との位置
関係により画像補正する画像補正手段を備えたことを特
徴とする請求項５または請求項６記載の情景表示装置。
【請求項８】画像補正手段は、画像の平行移動により画像補正することを特徴とする請
求項７記載の情景表示装置。
【請求項９】画像補正手段は、画像の拡大または縮小により画像補正することを特徴と
する請求項７または請求項８記載の情景表示装置。
【請求項１０】仮想視点位置をはさむ撮影経路をもつ
２つのビデオ映像データそれぞれにおいて、前記仮想視
点位置に最も近い撮影視点の画像フレームを選択し、こ
れらを用いて提示画像を合成する画像合成手段を備えた
ことを特徴とする請求項５または請求項６記載の情景表
示装置。
【請求項１１】画像合成手段は、２つの画像フレームの撮影視点位置間の仮想視点位置に
よる、２つの画像フレームの画素値の線形補間で画像合
成を行い、提示画像を合成することを特徴とする請求項
１０記載の情景表示装置。
【請求項１２】複数のビデオカメラを各撮影経路に沿
うように並列的に配置した画像入力手段を備えたことを
特徴とする請求項５から請求項９のうちのいずれか１項
記載の情景表示装置。