JP3849481B2 - 信号処理方法と信号処理装置及び信号処理プログラム - Google Patents
信号処理方法と信号処理装置及び信号処理プログラム Download PDFInfo
- Publication number
- JP3849481B2 JP3849481B2 JP2001307956A JP2001307956A JP3849481B2 JP 3849481 B2 JP3849481 B2 JP 3849481B2 JP 2001307956 A JP2001307956 A JP 2001307956A JP 2001307956 A JP2001307956 A JP 2001307956A JP 3849481 B2 JP3849481 B2 JP 3849481B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- layer
- image signal
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000033001 locomotion Effects 0.000 claims description 224
- 238000001514 detection method Methods 0.000 claims description 90
- 230000002093 peripheral effect Effects 0.000 claims description 56
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 description 28
- 239000013256 coordination polymer Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 14
- 238000009825 accumulation Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
この発明は、信号処理方法と信号処理装置及び信号処理プログラムに関する。詳しくは、複数フレームの入力画像信号を用いて、注目フレームの所定位置での画像の動きに関する特徴量を検出し、検出した特徴量に基づいて、画像の動きに関連した付加情報信号を生成すると共に、検出した特徴量と複数フレームの入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号を生成するものである。
【0002】
【従来の技術】
近年、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。ここで、上述のようなディスプレイを用いて臨場感を高めた画像表示を行うためには、例えばコンピュータグラフィックスで3次元の仮想空間を構築することが行われている。また、多数のビデオカメラを用いたり広角レンズをビデオカメラに取り付けて広範囲な空間を撮影し、この撮影画像を多面ディスプレイやヘッドマウントディスプレイなどの平面あるいは曲面に変換して表示することも行われている。
【0003】
また、広範囲な画像を表示するだけでなく、臨場感を高める操作例えば画像に合わせて椅子を揺れ動かすことにより、実際に車等に乗車しているような感覚を与えることも行われている。このように、臨場感を高める操作を行うための付加情報信号は、画像の撮影時に角度や加速度などを検出するセンサを用いて、このセンサにより得られた信号を用いたり、撮影された画像を人が観察して手作業により生成されている。
【0004】
【発明が解決しようとする課題】
ところで、センサを利用して付加情報信号の生成を行う場合、撮影時にセンサから信号を得て、画像信号と共に記憶させておく必要がある。このため、既に撮影が完了している画像信号に基づいて表示を行う場合には、センサからの信号が無いことから、このような方法で付加情報信号を生成することはできない。また、撮影された画像を人が観察して手作業で付加情報信号を生成する場合には、付加情報信号の生成に長い時間を要すると共に費用も高くなってしまう。
【0005】
そこで、この発明では、表示する画像に対応させて臨場感を高めるための付加情報信号を簡単かつ容易に生成できる信号処理装置及び信号処理方法を提供するものである。
【0006】
【課題を解決するための手段】
この発明に係る信号処理方法は、複数フレームの入力画像信号を用いて、入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出し、検出した特徴量と複数フレームの入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号を生成し、検出した特徴量に基づいて、所定位置での画像の動きに関連した付加情報信号を生成するものである。
【0007】
また、信号処理装置は、複数フレームの入力画像信号を用いて、入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出する検出手段と、検出手段で検出した特徴量と複数フレームの入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号を生成する周辺画像信号生成手段と、検出手段で検出した特徴量に基づいて、所定位置での画像の動きに関連した付加情報信号を生成する付加情報信号生成手段とを有するものである。
【0008】
さらに信号処理プログラムは、コンピュータに、複数フレームの入力画像信号を用いて、入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出する手順と、検出した特徴量と複数フレームの入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号を生成する手順と、検出した特徴量に基づいて、所定位置での画像の動きに関連した付加情報信号を生成する手順とを実行させるための信号処理プログラム。
【0009】
この発明においては、複数フレームの入力画像信号から、注目フレームの所定位置での画像の動きに関する特徴量が検出されて、検出した特徴量がレイヤ分けされる。このレイヤ分けされた所定のレイヤの特徴量に基づき、入力画像信号に基づく画像の動きに応じて揺動を発生させるための揺動信号が生成される。また、検出した特徴量と入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号が生成されて、揺動信号の信号レベルが、生成した周辺画像信号に応じて補正される。
【0010】
【発明の実施の形態】
以下、この発明の実施の一形態について詳細に説明する。図1は、この発明に係る信号処理装置を用いたシステムの全体構成を示している。このシステムでは、例えば3つのスクリーンをユーザの前面及び両側面に配置して、各スクリーン10L,10C,10Rに対応したプロジェクタ12L,12C,12Rから画像を投影する。このプロジェクタ12L,12C,12Rは信号処理装置15と接続されている。
【0011】
信号処理装置15には、撮影した画像信号、例えば車載カメラ等で撮影した正面画像の画像信号SDCが蓄積されている。信号処理装置15では、この蓄積している画像信号SDCをプロジェクタ12Cに供給して、図2に示すように画像信号SDCに基づく正面画像を正面に位置するスクリーン10Cに表示させる。また、信号処理装置15では、蓄積している正面画像の画像信号SDCから、車載カメラの視野範囲に含まれていない画角の画像を示す画像信号、例えば正面画像と連続する左右の側面画像(以下「周辺画像」という)を示す画像信号である周辺画像信号SDL,SDRを生成して、周辺画像信号SDLをプロジェクタ12Lに供給すると共に周辺画像信号SDRをプロジェクタ12Rに供給する。このため、左側に位置するスクリーン10Lに正面画像と連続性を有する左側面画像が表示されると共に、右側に位置するスクリーン10Rに正面画像と連続性を有する右側面画像が表示されて、広画角の画像提示を行うことができる。さらに、信号処理装置15では、正面画像の画像信号SDCに基づき画像の動きに関する特徴量を検出して、この特徴量に基づき画像信号SDCに基づく画像の動きに関連した付加情報信号、例えば揺動信号SEを生成してモーションベースプラットフォーム17に供給する。
【0012】
モーションベースプラットフォーム17では、例えば図3に示すように、複数のピストン171を備えたベース駆動部170が設けられている。このベース駆動部170のピストン171により台座172が支えられている。台座172には、椅子173が固定されており、この椅子173に人が座るようになされている。ピストン171は、それぞれの中心軸に沿って伸縮運動ができるようにされており、ピストン171が伸縮運動をすることにより、台座172が揺動し、さらに台座172に固定されている椅子173が揺動する。このピストン171は、揺動信号SEに基づいて駆動される。
【0013】
図4は、信号処理装置15の構成の概略を示している。蓄積部30の正面画像信号蓄積領域31に蓄積されている複数フレームの画像信号SDCは、動き検出ブロック20の1フレーム遅延処理部21と動き検出処理部22及び中間画像情報生成ブロック25の情報生成処理部27に供給される。
【0014】
1フレーム遅延処理部21では、画像信号SDCを1フレーム遅延させて画像信号SDCaとして動き検出処理部22に供給する。動き検出処理部22では、正面画像の側端側に、図5の破線で示すように区切られた複数の検出領域を設定して、この検出領域の注目フレームの画像信号SDCと1フレーム前の画像信号SDCaとの比較を検出領域毎に行い、画像の動きを示す動きベクトルMVを検出領域毎に判別して中間画像情報生成ブロック25のレイヤ分類部26と付加情報信号生成ブロック50に供給する。
【0015】
中間画像情報生成ブロック25は、動きベクトルMVと画像信号SDCを用いて、中間画像情報を生成するものである。ここで、中間画像情報生成ブロック25のレイヤ分類部26では、各検出領域の動きベクトルMVから正面画像の動きパターンを判定して、中間画像情報を生成する際に、例えば離れた被写体を撮影した遠景画像のレイヤ,近接した被写体を撮影した近景画像のレイヤ,遠景画像と近景画像との間に位置する中景画像のレイヤ、及びこれらのレイヤとは異なるレイヤをどのように設けるものとするかを判別してレイヤ設定を行う。例えば、車載カメラで正面画像を撮影する場合、一方向に直進する場合には、正面画像を順次ズームインした画像となる。また、車が後退しているときには、正面画像を順次ズームアウトした画像となる。さらに、追越し車両が撮影されたときには、ズームイン画像に追い越し車両がズームアウト画像として表示されることとなる。また、右折や左折をしたときには、例えば正面画像の上部側が水平方向に移動されると共に下部側はズームイン画像となる。このため、各検出領域の動きベクトルMVから正面画像の動きパターンを判定して、判定した動きパターンに基づいてレイヤ設定を行うものとする。例えば、一方向に直進する動きパターンでと判別されたときには、遠景,中景,近景の各画像のレイヤを生成し、右折や左折の動きパターンであると判別されたときには、遠景,中景,近景の各画像のレイヤだけでなく水平方向に移動される画像が含まれるレイヤも作成する。また、追越し車両がある動きパターンのときには、遠景,中景,近景の各画像のレイヤだけでなくズームアウト画像が含まれるレイヤも作成するようにレイヤ設定を行う。
【0016】
また、レイヤ分類部26では、動き検出処理部22から供給された動きベクトルMVに基づき、正面画像の側端側に設定された各検出領域がいずれのレイヤに属するかレイヤ分類を行う。このレイヤ分類では、動きパターンに応じて設定されたレイヤを用いたレイヤ分類を行う。例えば、遠景,中景,近景の3つのレイヤ分けすると共に、水平方向に移動される画像が含まれるレイヤやズームアウト画像が含まれるレイヤが生成されているときには、これらのレイヤも含めてレイヤ分類を行う。このレイヤ分類によって、いずれの検出領域がいずれのレイヤに属するかを示すレイヤ分類情報LBを生成すると共に、この生成されたレイヤ分類情報LBは情報生成処理部27と付加情報信号生成ブロック50に供給される。
【0017】
情報生成処理部27では、レイヤ分類部26からのレイヤ分類情報LBに基づき正面画像に設定された各検出領域をレイヤ分けして、この検出領域の画像信号をレイヤ毎にフレーム順に用いることでレイヤ毎の中間画像信号を生成する。さらに、レイヤ分けされた検出領域の動きベクトルMVの動き量からレイヤ毎に動き量の平均値を算出する。この情報生成処理部27で生成された中間画像信号GYv及び算出したレイヤ毎の動き量(平均値)MYvは、中間画像情報として蓄積部30の中間画像情報蓄積領域32に蓄積される。
【0018】
スクリーン10C,10R,10Lで画像を表示する場合には、蓄積されている画像信号SDCを読み出して、この画像信号SDCに基づく画像をスクリーン10Cで表示する。また、蓄積部30に接続された周辺画像信号生成ブロック40からの読出制御信号RCによって、中間画像情報蓄積領域32に蓄積されている中間画像情報の読み出しを行い、レイヤ毎の動き量MYvに応じた分だけ各レイヤの中間画像信号GYvを順次使用して、遠景,中景,近景の順に各レイヤの画像を貼り付ける。さらに遠景,中景,近景の3つのレイヤに属しないレイヤが設けられているときには、これらのレイヤの画像貼り付け処理等も行い、画像信号SDCの注目フレームに存在しない画角の画像を示す周辺画像信号SDL,SDRを生成する。この周辺画像信号SDLを正面画像の画像信号SDCに対応させたタイミングでプロジェクタ12Lに供給することで、正面画像に連続させて左側面画像をスクリーン10Lに表示できると共に、周辺画像信号SDRを正面画像の画像信号SDCに対応させたタイミングでプロジェクタ12Rに供給することで、正面画像に連続させて右側面画像をスクリーン10Rに表示できる。
【0019】
付加情報信号生成ブロック50では、動きベクトルMVとレイヤ分類情報LBに基づき付加情報信号である揺動信号SEを生成して、モーションベースプラットフォーム17に供給する。
【0020】
次に、動き検出ブロック20を構成する各部について詳細に説明する。なお、説明を簡単とするため、以下の説明では右側面についてのみ説明するものとし、左側面についての説明は省略する。
【0021】
動き検出ブロック20では、上述したように動きベクトルMVを検出領域毎に判別する。ここで、正面画像に画像の移動中心がある場合、すなわち車載カメラで前方を撮影して正面画像としたとき、図6Aに示す時刻Tの画像は、例えば1フレーム時間が経過した後の時刻T’で図6Bに示すものとなり、あたかも画像が涌き出てくるように見える位置CP(以下「画像基準位置」という)を中心としたズームイン動作画像と略等しくなる。
【0022】
ここで、図6Cに示すように、拡大率Zを設定して注目フレームの検出領域を(1/Z)に縮小すると共に、この縮小された検出領域の位置を移動しながら1フレーム前の画像信号との誤差和を算出する。さらに拡大率Zを変化させて、同様に位置を移動しながら誤差和を算出する。このようにして誤差和が最小値となる位置を検出することで注目フレーム毎に各検出領域の動きベクトルMVを判別できる。また、誤差和が最小値となるときの拡大率Zを動き量とする。
【0023】
ところで、縮小処理を行ったときには、領域内の画素の座標値が整数値とならない画素が生ずる。一方、縮小処理が行われていない1フレーム前の画像では、領域内の画素の座標値が整数値である。このため、縮小された画像に対しては線形補間を行って、座標値が整数値となる位置の信号レベルを算出する。例えば、図7に示すようにKa×Ka画素の画像に対して(1/Z)に縮小処理を行ったことにより画像のサイズがKb×Kb画素のサイズとなったときには、線形補間を行ってKa×Ka画素の信号から画素数を「Kb×Kb」とした画像の信号レベルを算出する。この算出された信号レベルと、縮小された画像と対応する位置の1フレーム前の信号レベルの誤差和を算出することにより、精度良く動き量を判別できる。
【0024】
画像基準位置CPが明らかでないとき、図8に示すように検出領域ARaの中心が位置Pa1から位置Pa2とされたときに誤差和が最小値となり、検出領域ARbの中心が位置Pb1から位置Pb2とされたときに誤差和が最小値となる場合には、検出領域ARaの動きベクトルMVの方向と検出領域ARbの動きベクトルの方向が交差する点を検出することで画像基準位置CPを検出できる。
【0025】
また、右折時や左折時には、正面画像の例えば上部側画像が水平移動することとなる。このため、画像基準位置CPを中心としてズームイン動作を行っても誤差和の最小値が検出されない場合には、検出領域の画像を横方向に移動させて誤差和の最小値を判別する。またこのとき、誤差和が最小値となるまでの検出領域の移動量を動きベクトルMVの動き量として設定することができる。
【0026】
次に、後退時にはあたかも画像が画像基準位置CPに吸い込まれてしまうように見えることから、後退時の画像は画像基準位置CPを中心としたズームアウト動作画像と略等しくなる。このため、拡大率Zを「1」以下とする。すなわち、後退時には画像の動きが前進時とは逆となることから、前フレームの側端側に複数の検出領域を設定して、各検出領域を(1/Z)に縮小すると共に、この縮小された領域の位置を移動しながら注目フレームの画像との誤差和を算出する。あるいは、注目フレームの各検出領域を(1/Z)に縮小すると共に、この縮小された領域の位置を移動しながら1フレーム後の画像との誤差和を算出する。さらに拡大率Zを変化させて、同様に位置を移動しながら誤差和を算出する。このようにして誤差和が最小値となる位置を検出することで後退時の動きベクトルMVも判別できる。
【0027】
以上のようにして動きベクトルMVの判別を行うと、遠景の画像は動きが少ないことから動きベクトルMVの動き量は小さくなり、近景の画像は動きが多いことから動きベクトルMVの動き量は大きくなる。
【0028】
図9は、動き検出処理部22の構成を示しており、画像信号SDCはサイズ変換処理部221に供給されると共に、1フレーム遅延処理部21から供給された画像信号SDCaは誤差和算出部222に供給される。サイズ変換処理部221では、正面画像の側端部分を複数の検出領域、例えば16×16画素サイズの単位で複数の検出領域に分割して検出領域を設定する。さらに、サイズ変換処理部221には、後述する探索制御部225から拡大率Zが設定されて、検出領域の画像を(1/Z)倍した画像信号FEzと、画像基準位置CPを基準として検出領域の画像を(1/Z)倍したことにより変換された座標値Pzを誤差和算出部222に供給する。なお、画像信号FEzは、上述の図7に示すように補間処理によって座標値を整数値に変換したときの信号であり、座標値Pzは補間処理によって座標値を整数値に変換したときの座標値、すなわち図7における「Kb×Kb」の画素位置である。
【0029】
誤差和算出部222では、サイズ変換処理部221からの座標値Pzで示された位置の信号を画像信号SDCaから選択する共に、この選択された信号と画像信号FEzとの誤差和を算出して比較処理部223に通知する。
【0030】
比較処理部223では、誤差和最小値と誤差和算出部222で算出された誤差和とを比較する。ここで誤差和最小値が設定されていないときには、最初に算出された誤差和を誤差和最小値として設定する。この算出された誤差和が誤差和最小値よりも小さいときには、この誤差和を新たな誤差和最小値として設定すると共に、誤差和最小値が更新されたことをデータ保持部224に通知する。また、誤差和最小値と誤差和算出部222で算出された誤差和との比較が完了したことを信号ESによって探索制御部225に通知する。なお、誤差和最小値は算出される誤差和よりも大きい値に予め設定しておくものとしても良い。
【0031】
データ保持部224には、探索制御部225から拡大率Zが通知されており、誤差和最小値が更新されたことが通知されたときには、通知された拡大率Zを記憶する。また、既に拡大率が記憶されているときには、記憶されている拡大率を通知された拡大率Zで更新する。また、探索制御部225から拡大率の変更処理の完了が信号ETによって通知されたときには、記憶している拡大率を動き量とすると共に画像基準位置方向をベクトル方向とした動きベクトルMVをレイヤ分類部26に供給する。
【0032】
探索制御部225では、拡大率の下限値が「1」に設定されていると共に、上限値も予め設定されており、最初に下限値を拡大率Zとしてサイズ変換処理部221とデータ保持部224に通知する。その後、比較処理部223から誤差和最小値と誤差和算出部222で算出された誤差和との比較が完了したことが通知される毎に、拡大率Zを順次増加してサイズ変換処理部221とデータ保持部224に通知する。その後、拡大率Zが上限値に達したときには拡大率の変更処理の完了をデータ保持部224に通知する。
【0033】
また、比較処理部223で得られた誤差和最小値が小さくないとき、すなわち正面画像の側端部分と等しい画像を検出できないとき、探索制御部225では、拡大率Zを「1」としてサイズ変換処理部221に通知して、検出領域の画像信号FEzを誤差和算出部222に供給させる。また、制御信号RPを誤差和算出部222に供給して、画像信号FEzの検出領域を水平方向に所定量移動させた位置の信号を画像信号SDCaから選択させる。その後、制御信号RPによって画像信号SDCaから選択する位置を水平方向に移動させて誤差和最小値を判別することにより、水平方向に移動させる画像の動きベクトルMVも求めることができる。さらに、図示せずも1フレーム後の信号を誤差和算出部222に供給したり、1フレーム前の画像に検出領域を設定して注目フレームの画像の信号を誤差和算出部222に供給することで、画像基準位置CPに吸い込まれるような画像の動き量も判別できる。
【0034】
このように、探索方向を画像基準位置CPの方向や水平方向に移動させて、検出領域の画像と誤差和が最小となる他のフレームの画像位置を検出することで、検出領域の画像が右折や左折したときの画像、前を横切る車や人等の画像、あるいは追越し車両等の画像であっても正しく動きベクトルMVを求めることができる。
【0035】
レイヤ分類部26では、各検出領域の動きベクトルMVから正面画像がどのような動きパターンの画像であるかを判別すると共に、判別した動きパターンに基づいてレイヤを設定して、いずれの領域がいずれのレイヤに属するするかを示すレイヤ分類情報LBを情報生成処理部27に供給する。
【0036】
図10は、レイヤ分類部26の構成を示している。レイヤ分類部26の動きパターン判定部261では、動き検出処理部22から供給された各検出領域の動きベクトルMVをフレーム単位で蓄積すると共に、蓄積された動きベクトルMVに基づき動きパターンを判別する。
【0037】
ここで、各検出領域の動きベクトルMVの方向が、画像基準位置CPから放射方向とされて、全て画像が画像基準位置CPから湧き出すズームイン動作方向であるか否かを判別して、全て画像が画像基準位置CPから湧き出すズームイン動作方向であるときには直進動作と判別する。例えば、図11Aの矢印で示すように動きベクトルMVのベクトル方向が画像基準位置CPから放射方向とされているときには直進動作と判別する。
【0038】
次に、直進動作と判別されないときには、各検出領域の動きベクトルMVの方向が放射方向とは逆方向であり、全て画像が画像基準位置CPに吸い込まれるズームアウト動作方向であるか否かを判別して、全て画像が画像基準位置CPに吸い込まれるズームアウト動作方向であるときには後退動作と判別する。例えば、図11Bの矢印で示すように画像基準位置CPの方向とされて、全て画像が画像基準位置CPに吸い込まれるズームアウト動作方向であることを検出したときには後退動作と判別する。
【0039】
また、直進動作及び後退動作と判別されないときには、一部のみがズームアウト動作方向であるか否かを判別して、一部のみがズームアウト動作方向であるときには、追越し車両があると判別する。例えば、図11Cに示すように左右両側端部の検出領域の動きがズームイン動作方向であると共に、一部のみがズームアウト動作方向であることを検出したときには追越し車両があると判別する。さらに、直進動作,後退動作及び追越し車両があるものと判別されないとき、正面画像の上部側の検出領域で、図11Dに示すように動きベクトルMVのベクトル方向が水平方向とされているときには、ベクトル方向に応じて右折あるいは左折動作と判別する。また検出領域の一部で、図11Eに示すように動きベクトルMVのベクトル方向が水平方向であるときには、横切り動作であると判別する。このようにして判別した動きパターンMPをレイヤ作成判定部262に通知する。
【0040】
レイヤ作成判定部262では、動きパターン判定部261で判別された動きパターンMPに基づき、判別された動きパターンが所定のフレーム数以上連続したか否かを判別する。ここで、動きパターンが所定のフレーム数以上連続したとき判別された動きパターンに応じたレイヤパターン情報LPを生成する。
【0041】
ここで、前進動作のように全画面が拡大する動きパターンであることが連続して所定のフレーム数以上判別されたときには、例えば遠景,中景,近景のレイヤの作成を指示するレイヤパターン情報LPを生成して分類処理部263に通知する。また、右折あるいは左折動作のように上部が水平方向に移動する動きパターンであることが連続して所定のフレーム数以上判別されたときには、遠景,中景,近景のレイヤだけでなく水平方向に移動する画像が含まれるレイヤの作成を指示するレイヤパターン情報LPを生成して分類処理部263に通知する。また、追越し車両や後退時のように時間と共に縮小する画像が含まれている動きパターンであることが連続して所定のフレーム数以上連続して判別されたときには、遠景,中景,近景のレイヤだけでなく縮小する画像が含まれる後退レイヤの作成を指示するレイヤパターン情報LPを生成する。また、横切り物体のように、一部が水平方向に移動する動きパターンであることが連続して所定のフレーム数以上判別されたときには、水平方向に移動する画像が含まれるレイヤの作成を指示するレイヤパターン情報LPを生成する。このように、判別された動きパターンが所定のフレーム数以上連続したときに、判別された動きパターンMPに応じたレイヤパターン情報LPが生成されるので、動きパターンが誤って判別されたフレームが生じても、正しい動きパターンに応じたレイヤパターン情報LPを生成できる。
【0042】
閾値設定部264では、所定時間範囲(例えば注目フレームの前後30フレーム分)の動きベクトルMVを用いて、ベクトル方向が画像基準位置CPから放射方向とされている動きベクトルMVの動き量の平均値Vavgや最大値Vmax,最小値Vminを求めると共に、この平均値Vavgや最大値Vmax,最小値Vminに基づき、レイヤパターン情報LPで示されたレイヤに分類するための閾値Thを設定して分類処理部263に供給する。
【0043】
例えばレイヤパターン情報LPによって遠景,中景,近景のレイヤに分けることが示された場合、遠景レイヤと中景レイヤとの区分位置を示す閾値Th1を式(1)に基づいて算出する。また中景レイヤと近景レイヤの区分位置を示す閾値Th2を式(2)に基づいて算出する。
【0044】
【数1】
【0045】
この閾値の設定では、動き量のヒストグラムを求めて、このヒストグラムの極小値を利用して閾値Th1,Th2を求めるものとしても良い。このように、動き量の分布に応じて閾値Thが動的に変化されるので、画像が1つのレイヤだけに分類されてしまうことがなく、動き量の分布に応じて良好にレイヤ分類を行うことができる。
【0046】
分類処理部263では、閾値設定部264からの閾値Thと動きベクトルMVの動き量に基づいて、各フレームの各検出領域がレイヤパターン情報LPで作成が指示されたレイヤのいずれに属するかを判別してレイヤ分類を行う。また、水平方向に移動する検出領域やズームアウト動作方向の検出領域は、それぞれ対応するレイヤへの割当てを行う。この分類処理部263で注目フレームの各検出領域のレイヤ分類が完了したときには、このレイヤ分類の結果を示すレイヤ分類情報LAを分類補正部265に供給する。
【0047】
ここで、分類処理部263では、遠景,中景,近景の3つのレイヤを作成する際には、動き検出処理部22からの動きベクトルMVを用いて、検出領域毎に前mフレーム分と後nフレーム分の動き量の平均値を算出する。例えば、正面画像の右側端部に設けた検出領域において、動きベクトルMVの動き量が時間の経過と共に図12Aに示すように変化したとき(図の数字は動き量を示すものとする)には、Fpフレームでの検出領域AR1に対して、Fpフレームでの検出領域AR1の動き量と、Fp-1〜Fp-mフレームの検出領域AR1の動き量と、Fp+1〜Fp+nフレームの検出領域AR1の動き量から、動き量の平均値を算出する。さらに、検出領域AR1の動き量として算出された平均値と、上述のようにして設定された閾値Th1,Th2を比較することで、このFpフレームでの検出領域AR1が遠景,中景,近景のいずれのレイヤに属するかを判別する。このように、注目フレームの検出領域AR1について、前フレームや後フレームの動き量も用いて動き量の平均値を算出して、この平均値を用いて検出領域AR1のレイヤ分けを行うので、検出領域AR1の動き量に誤りが生じても、この検出領域AR1のレイヤ分類することができると共に、被写体の大きさの差や被写体までの距離の差によってフレーム毎の動き量の変動が生じても、これらの変動の影響を防止できる。また、他の領域や他のフレームに対しても同様に処理することで、図12Bに示すように各検出領域を遠景,中景,近景のいずれかのレイヤに分類して、レイヤ分類情報LAを分類補正部265に通知する。なお図12Bにおいて、クロスハッチで示す検出領域は近景、斜線で示す検出領域は中景、他の検出領域は遠景として分類されたことを示している。
【0048】
分類補正部265では、各検出領域のレイヤ分類情報LAを参照して、同じレイヤに属する領域の連結数が所定の数よりも少ない領域は周囲に合わせたレイヤに補正する。例えば図12Bでは、Fp+4フレームの領域AR4-gやFp-2フレームの領域AR6-hでは、同じレイヤに属する領域が連結していないので、これらの領域を図12Cに示すように周囲に合わせた領域に補正して、いずれの領域がいずれのレイヤとされているかを示すレイヤ分類情報LBを、情報生成処理部27に供給する。
【0049】
また、追越し車両があるときには、上述の遠景,中景,近景だけでなく、図12Dに示すように追い越し車両の画像が含まれる後退レイヤが生成される。ここで、追越し車両は、遠景や中景及び近景の画像とは動きベクトルMVの方向が逆であることから、後退レイヤの時間軸方向は、他のレイヤとは方向を逆として生成する。
【0050】
図13は情報生成処理部27の構成を示している。レイヤ分類部26から供給されたレイヤ分類情報LBは、動き量平均値算出部271と画像読み込み部272に供給される。
【0051】
動き量平均値算出部271では、各検出領域の動き量を用いて、レイヤ毎の動き量の平均値をフレーム毎に算出する。例えばFeフレームのときに、遠景レイヤとされた検出領域がny個であるときには、このny個の検出領域の動き量を用いて平均値を算出して画像読み込み部272に供給すると共に、この算出した動き量MYvを中間画像情報として蓄積部30の中間画像情報蓄積領域32に記憶させる。
【0052】
画像読み込み部272では、レイヤ分類部26から供給されたレイヤ分類情報LBに基づき、側端部から動き量平均値算出部271で算出された動き量MYvに応じてレイヤ毎に画像信号SDCを抽出してレイヤ毎の中間画像信号GFvを生成して、中間画像信号補間部273に供給する。
【0053】
ここで、各レイヤの動き量MYvに応じた信号量だけ画像信号SDCを側端部から読み出して中間画像信号を生成すると、例えば中間画像信号に基づく画像は図14に示すものとなる。なお、図14Aは遠景レイヤの中間画像信号に基づく画像、図14Bは中景レイヤの中間画像信号に基づく画像、図14Cは近景レイヤの中間画像信号に基づく画像を示している。
【0054】
中間画像信号補間部273では、動き量MYvの異なる各レイヤの画像を遠景,中景,近景の順に貼り付けても、画像のないアンカバード(Uncovered)領域が生ずることがないように中間画像信号GFvの補正を行い、補正された信号を中間画像信号GYvとして中間画像情報蓄積領域32に記憶させる。この中間画像信号の補正では、手前のレイヤに対して全てを補間すると、奥のレイヤが隠れてしまうこととなる。したがって、最も奥のレイヤに対しては隙間全部を補間するものとし、中間に位置するレイヤではこのレイヤよりも手前のレイヤに属する領域によって生成された隙間に対してのみ、水平方向に隣接する信号を用いた補間処理を行い、画像の無い隙間領域の画像信号を作り出して中間画像信号に貼り付ける。このように補間処理を行うことで、図14Aに示す中間画像信号GFvに基づく画像は、画像の無い部分(斜線で塗りつぶした領域)が水平方向に隣接する信号を用いて補間されて、図15Aに示すような画像となる。同様に、図14Bに示す中間画像信号GFvに基づく画像は図15Bに示すように補正された画像となる。なお、最も手前に位置するレイヤが例えば図14Cに示す近景レイヤであるものとしたとき、最も手前に位置するレイヤではアンカバード領域が生じないので、補間処理は不要となり、図15Cに示す近景レイヤは図14Cと等しいものである。
【0055】
蓄積部30の中間画像情報蓄積領域32には、中間画像情報生成ブロック25で生成されたレイヤ毎の動き量MYvとレイヤ毎の中間画像信号GYvをフレーム毎に関係付けて、中間画像情報として記憶される。ここで、中間画像情報蓄積領域32に記憶された遠景レイヤの中間画像信号は、動き量が少ないことから図15Aに示すように画像信号の信号量は少なくなる。また近景レイヤの中間画像信号では、動き量が大きいことから図15Cに示すように信号量も多くなる。また中景レイヤでは図15Bに示すように遠景と中景の中間である信号量となる。なお、後退レイヤでは、動き方向が逆であることから後退レイヤの中間画像信号では、図15A〜図15Cとはフレーム方向が逆となる。
【0056】
レイヤパターン情報LPに基づいて水平移動レイヤを作成するものと指示されたときには、動きベクトルの方向が水平方向とされている検出領域の画像信号を、この水平移動レイヤの中間画像信号に設定する。ここで、水平方向に移動する画像では、正面画像から外に移動する画像と中に入り込む画像が生じる。例えば、右折時には、正面画像の右側端部から画像が入り込み左側端部から画像が出ていく。このため、外に移動する画像の水平移動レイヤは遠景レイヤ等と時間軸方向を等しくすると共に、中に入り込む画像の水平移動レイヤは後退レイヤと同様に、遠景レイヤ等とは時間軸方向を逆方向とする。
【0057】
このようにして、中間画像情報蓄積領域32には、遠景,中景,近景の各レイヤの中間画像信号と後退レイヤや水平移動レイヤの中間画像信号が動き量に応じて生成されて記憶される。また、各レイヤの動き量も上述のように合わせて記憶される。
【0058】
次に、蓄積部30の中間画像情報蓄積領域32に記憶された中間画像情報を用いて右側面の画像の周辺画像信号SDRを生成する場合について説明する。このように、周辺画像信号SDRを生成する場合、中間画像情報蓄積領域32から中間画像情報として記憶されている動き量MYvを読み出して、レイヤ毎の中間画像信号GYvの信号読み出し量を動き量MYvに基づいて決定する。さらに、この動き量MYvに応じた信号量の中間画像信号をレイヤ毎に使用して、遠景レイヤ,中景レイヤ、近景レイヤの順に貼り付ける。また、遠景,中景,近景のレイヤとは異なるレイヤが設けられているときには、このレイヤの画像の貼り付け処理も行い、周辺画像信号SDRを生成できる。この生成した周辺画像信号SDRを正面画像の画像信号SDCの出力タイミングに合わせてプロジェクタ12Rに供給することで、正面画像だけでなく右側面の画像も連続的に表示させることができる。
【0059】
図16は、中間画像情報蓄積領域32に記憶されている中間画像情報を読み出して周辺画像信号を生成する周辺画像信号生成ブロック40の構成を示している。周辺画像信号生成ブロック40の画像生成制御部41では、中間画像情報蓄積領域32に中間画像情報として記憶されているレイヤ毎の動き量MYvをフレーム順に読み出して、この読み出した動き量MYvに基づきレイヤ毎の中間画像信号の読み出し量を判別する。この画像生成制御部41で判別された読み出し量に基づいて、中間画像情報蓄積領域32から中間画像信号GYvをレイヤ毎に読み出して、レイヤ画像生成処理部42に設けられているレイヤ毎の貼り付け部421-1〜421-5に供給する。
【0060】
ここで、右左折時に水平方向に移動する水平移動レイヤの中間画像信号は貼り付け部421-1に供給する。また、遠景レイヤの中間画像信号は貼り付け部421-2に供給すると共に、中景レイヤの中間画像信号及び近景レイヤの中間画像信号は貼り付け部421-3,421-4に供給する。さらに追越し車両の画像が含まれる後退レイヤの中間画像信号は貼り付け部421-5に供給する。
【0061】
貼り付け部421-1には、後述する画像シフト部423-1が接続されており、画像シフト部423-1から供給された画像信号に、中間画像情報蓄積領域32から読み出した対応するレイヤの画像信号を貼り付ける。この貼り付け部421-1によって画像の貼り付けが行われて得られた水平移動レイヤの画像信号は、1フレーム遅延部422-1と画像信号生成部44の遠景貼り付け部441に供給される。
【0062】
1フレーム遅延部422-1では、貼り付け部421-1から供給された画像信号を1フレーム分だけ遅延させて画像シフト部423-1に供給する。画像シフト部423-1では、1フレーム遅延部422-1から供給された画像信号に基づく画像を、画像生成制御部41から供給された水平移動レイヤの動き量MYvに基づいて水平方向に移動させる。さらにこの水平方向に移動させた画像の画像信号を貼り付け部421-1に供給する。
【0063】
このように1フレーム分遅延された画像信号に基づく画像を、画像生成制御部41から供給された動き量MYvに基づいて水平方向に移動させると共に、この水平方向に移動された画像に中間画像情報蓄積領域32から動き量MYv分だけ読み出した水平移動レイヤの中間画像信号GYvを貼り付けることで、移動する画像の画像信号を生成できる。
【0064】
同様に、1フレーム遅延部422-2〜422-5で1フレーム分遅延された画像信号に基づく画像を、画像シフト部423-2〜423-5で画像生成制御部41から供給された各レイヤの動き量MYvに基づいて水平方向に移動させると共に、この水平方向に移動された画像に対して、中間画像情報蓄積領域32から各レイヤの動き量分だけ読み出した中間画像信号GYvを貼り付け部421-2〜421-5に供給して、この読み出した中間画像信号GYvに基づく画像を貼り付けることで、順次画像が移動する画像信号をレイヤ毎に生成できる。
【0065】
また、中間画像信号は、正面画像信号から読み出した信号であることから、この中間画像信号に基づく画像は、スクリーン10Cと同じ面上の画像となる。しかし、周辺画像を表示するスクリーン10Rは正面のスクリーン10Cに対して傾きを持って設けられている。このため、遠景,中景,近景レイヤや後退レイヤのように、動きベクトルの方向が画像基準位置CPの方向あるいは逆方向であるレイヤの画像信号を用いて、各レイヤの画像の貼り付けを行い周辺画像信号SDRを生成して画像表示を行うものとすると、スクリーン10Rに表示される画像は、スクリーン10Cに対するスクリーン10Rの傾きによって正しい形状とならない。このため、動きベクトルの方向が画像基準位置CPの方向あるいは逆方向であるレイヤの画像信号は、射影変換部43の各変換処理部431〜434に供給して、この各レイヤの画像をスクリーン10L,10Rに表示したときに、動きベクトルMVのベクトル方向に画像が正しく移動するように射影変換を行う。また、水平移動レイヤの画像は、動きベクトルMVの方向が水平方向であることから、遠景,中景,近景レイヤ,後退レイヤのような射影変換は行わないものとする。
【0066】
射影変換部43の変換処理部431〜434では、貼り付け部421-2〜421-5から供給された画像信号に対して、画像がスクリーン10Rの向きに対応した形状となるように射影変換を行う。ここで、正面画像から画像信号を順次読み出すと、読み出した画像の表示面10CRとスクリーン10Rは、図17A及び図17Bに示すように同一面でないことから、正面画像から読み出した画像をスクリーン10Rに表示したときには、表示面10CRの画像をそのままスクリーン10Rの面上に投射したものとなり、正しい形状とならない。
【0067】
このため、射影変換を行って、垂直方向は画像のズームインあるいはズームアウトの中心Czmから距離に比例した拡大率で拡大すると共に、水平方向はその速度がズームインあるいはズームアウトの中心Czmからの距離に比例するような拡大率で拡大する。
【0068】
ここで、図17Cに示すように、右側面画像の画面前端から中心Czmまでの長さをL、右側面画像の周辺方向の長さをA、正面画像と右側面画像とが成す角度「θs」に基づいた比例定数をαとすると、正面画面端からそのまま読み出した画像の位置(xa,ya)と右側面画像上に正しく画像表示できるように変換処理した後の位置(Xa,Ya)は、垂直方向については式(3)の関係となり、水平方向については式(4)の関係となる。このため、図17Dに示すように、スクリーン10R上の(Xa,Ya)の画像信号は、式(3),式(4)を満たす位置(xa,ya)の信号を用いることで、図17Eに示すようにスクリーン10R上に正しく右側面画像を表示できる。
【0069】
【数2】
【0070】
この変換処理部431で得られた射影変換後の遠景レイヤの画像信号は、画像信号生成部44の遠景貼り付け部441に供給される。また、変換処理部432で得られた射影変換後の中景レイヤの画像信号は中景貼り付け部442に供給されると共に、変換処理部433で得られた射影変換後の近景レイヤの画像信号は近景貼り付け部443に供給される。さらに、変換処理部434で得られた後退レイヤの画像信号は縮小貼り付け部444に供給される。
【0071】
遠景貼り付け部441では、貼り付け部421と変換処理部431から供給された画像信号に基づいて、水平移動レイヤの画像に遠景レイヤの画像を貼り付けた画像信号を生成して中景貼り付け部442に供給する。
【0072】
中景貼り付け部442では、変換処理部432と遠景貼り付け部441から供給された画像信号に基づいて、遠景レイヤの画像が貼り付けた画像に中景レイヤの画像を貼り付けた画像信号を生成して近景貼り付け部443に供給する。
【0073】
近景貼り付け部443では、変換処理部433と中景貼り付け部442から供給された画像信号に基づいて、中景レイヤの画像が貼り付けた画像に近景レイヤの画像を貼り付けた画像信号を生成して縮小貼り付け部444に供給する。
【0074】
縮小貼り付け部444では、変換処理部434と近景貼り付け部443から供給された画像信号に基づいて、近景レイヤの画像が貼り付けた画像に、時間と共に画像が縮小する後退レイヤの画像を貼り付けた画像信号を生成する。この縮小貼り付け部444で生成された画像信号は、水平移動レイヤから縮小レイヤまでの各レイヤが貼り付けられた側面画像の画像信号となる。
【0075】
このため、縮小貼り付け部444で生成された画像信号を周辺画像信号SDRとしてプロジェクタ12Rに供給することで、正面画像と連続した右側面の画像をスクリーン10Rに表示することができる。
【0076】
また、中間画像情報蓄積領域32に記憶された中間画像信号に対して、画像の無い部分を補間する処理が行われていないとき、あるいは縮小貼り付け部444で生成された画像信号に画像の無い部分が生ずるときには、前補間処理部を設けて、画像の無い部分と隣接する領域でどのようなレイヤの画像が貼り合わされたを判別して、奥行きの深いレイヤの画像を用いて補間処理を行う。例えば、中景レイヤと近景レイヤの画像が貼り合わされている領域と水平方向に隣接する部分で画像の無い部分が生じてときには、奥行きの深い中景レイヤの画像を用いて補間処理を行うことで、画像の欠落のない良好な周辺画像信号SDRを生成できる。
【0077】
また、周辺画像信号SDRと同様にして周辺画像信号SDLを生成してプロジェクタ12Lに供給することで、正面画像と連続した左側面の画像をスクリーン10Lに表示することができる。
【0078】
次に、付加情報信号生成ブロック50では、動き検出ブロック20から供給された各検出領域の動きベクトルMVと中間画像情報生成ブロック25から供給されたレイヤ分類情報LBに基づき付加情報信号である揺動信号SEを生成する。
【0079】
揺動信号SEの生成では、正面画像の左側に設けた検出領域において、レイヤ分類情報LBによって中景レイヤであることが示された検出領域の動きベクトルMVから動き量MSLを生成する。例えば、選択した中景レイヤの各動きベクトルMVの動き量から平均値あるいは最頻値等を算出して動き量MSLとする。また、正面画像の右側についても同様にして動き量MSRを生成する。
【0080】
動き量MSL,MSRは、正面画像から外に出て行く方向を正(+)方向、正面画像から中に入り込む方向を負(−)方向とすると、動き量MSLと動き量MSRの加算値MXは、正面画像を撮影したときの前後方向の速度に関する情報を示すものとなる。また、動き量MSLと動き量MSRの差分値MYは、正面画像を撮影したときの旋回に関する情報を示すものとなる。なお、図18は動きパターンと加算値MX、差分値MYの一例を示しており、図18Aは直進動作の場合、図18Bは左折動作の場合である。直進動作での動き量MSLと動き量MSRが「+10」であるときには、加算値MXは「20」,差分値MYは「0」となる。また、左折動作での動き量MSLが「−8」,動き量MSRが「+10」のときには、加算値MXは「2」,差分値MYは「18」となる。
【0081】
ここで、臨場感を高めるために表示画像に対応して椅子を揺動させる場合、前後方向の速度に関する情報を示す加算値MXの微分が加速度を示すことから、この加算値MXの微分値を算出して加速度情報MXdを生成して、この加速度情報MXdに基づきピッチ角制御用揺動信号SEpを生成する。このピッチ角制御用揺動信号SEpをモーションベースプラットフォーム17に供給する。また、差分値MYは正面画像を撮影したときの旋回に関する情報であることから、この差分値MYに加算値MXを乗算して遠心力情報MXyを生成して、この遠心力情報MXyに基づきロール角制御用揺動信号SErを生成する。このロール角制御用揺動信号SErをモーションベースプラットフォーム17に供給する。
【0082】
モーションベースプラットフォーム17では、ピッチ角制御用揺動信号SEpに基づき椅子173を前後方向に傾ける動作(ピッチング動作)を行うことで、椅子173に座った人に加速度情報MXdに応じた負荷を与える。またロール角制御用揺動信号SErに基づき椅子173を左右方向に傾ける動作(ローリング動作)を行うことで、椅子173に座った人に遠心力情報MXyに応じた負荷を与える。
【0083】
このように、付加情報信号としてピッチ角制御用揺動信号SEpやロール角制御用揺動信号SErを生成して、このピッチ角制御用揺動信号SEpとロール角制御用揺動信号SErをモーションベースプラットフォーム17に供給することにより、加速度情報MXdに応じて椅子173をピッチング動作させると共に遠心力情報MXyに応じて椅子173をローリング動作させることで、椅子173に座った人に対して表示画像に応じた加速度感や遠心力を与えることができる。
【0084】
ところで、周辺画像の提示と揺動を上述したように同時に行う場合、椅子173に座った人は、周辺画像と揺動の双方から加速度感等を感じることとなる。ここで、周辺画像に近景が多いような場合と周辺画像に遠景が多いような場合とを想定すると、周辺画像に近景が多い場合には周辺画像での動きが非常に大きくなるので、周辺画像から得られる加速度感等が大きくなる。また、周辺画像に遠景が多い場合には周辺画像での動きが小さくなるので、周辺画像から得られる加速度感等が小さくなる。このため、中景レイヤの画像に基づいて揺動を行う際に、周辺画像に近景が多く含まれる場合には、周辺画像から十分な加速度感等を得られるので揺動を小さくする。また、周辺画像に遠景が多く含まれる場合には、周辺画像から十分な加速度感等を得られないので揺動を大きくする。
【0085】
周辺画像における遠景,中景,近景の各領域の面積は、周辺画像信号生成ブロック40の画像信号生成部44で貼り付けを行う遠景レイヤの信号と中景レイヤの信号と近景レイヤの信号を用いて算出できる。ここで、変換処理部431から遠景貼り付け部441に供給される遠景レイヤの画像信号と、変換処理部432から中景貼り付け部442に供給される中景レイヤの画像信号と、変換処理部433から近景貼り付け部443に供給される近景レイヤの画像信号を付加情報信号生成ブロック50に供給して、例えば、遠景レイヤの画像信号から、この遠景レイヤの画像上に貼り付けられる中景レイヤと近景レイヤの画像を除いた遠景レイヤの画像の画素数を算出して遠景領域の面積とする。また、中景レイヤの画像信号から、この中景レイヤの画像上に貼り付けられる近景レイヤの画像を除いた中景レイヤの画像の画素数を中景領域の面積とし、近景レイヤの画像信号に基づき近景レイヤの画像の画素数を近景領域の面積とする。
【0086】
このようにして、求めた各画素数を比較することで、遠景,中景,近景の各領域の面積比を判別することができ、この面積比に基づいて揺動の大きさを補正するものとし、図19Aに示すように、遠景領域の面積が大きいときには、ピッチ角制御用揺動信号SEpやロール角制御用揺動信号SErの信号レベルを大きくして、揺動を大きくする。また、図19Bに示すように近景領域の面積が大きいときには、ピッチ角制御用揺動信号SEpやロール角制御用揺動信号SErの信号レベルを小さいものとして、揺動を少なくする。このように、周辺画像に遠景の画像が多く含まれるか近景の画像が多く含まれるかに応じて揺動を補正することにより、周辺画像から得られる加速感等を補うように揺動を行わせることが可能となり、さらに良好な臨場感を得ることができる。
【0087】
また、上述の実施の形態では、蓄積されている正面画像の画像信号を用いてレイヤ毎の中間画像を生成し、この中間画像の信号を用いて周辺画像の画像信号を生成すると共に、中間画像を生成する際の動きベクトルに基づいて揺動信号を生成するものとしたが、正面画像の画像信号は蓄積されている信号に限られるものではない。例えば、直進する車等から撮影した画像のように、画像の動きが正面画像の画像基準位置CPを中心とした放射方向である拘束条件を満たすリアルタイムの正面画像の画像信号を用いて、周辺画像と共に周辺画像に応じた揺動信号を生成できる。
【0088】
この場合には、図5に示すように検出領域を設定すると共に、画像基準位置CPを中心としたズームアウト動作、すなわち拡大率Zを設定して検出領域を(1/Z)に縮小させて、この縮小された領域と1フレーム前の画像における対応位置の画像信号との誤差和を算出して、図7に示すように誤差和が最小値となる拡大率Zを検出することにより、検出領域毎の動き量を算出する。
【0089】
次に、動き量に基づいて各検出領域を例えば遠景,中景,近景のいずれがのレイヤに分割すると共に、レイヤ毎に動き量から画像の移動量が設定されて、レイヤ分けされた検出領域の画像が、対応するレイヤの移動量に応じて抽出されて、この抽出された画像の画像信号を、移動量の少ない遠景レイヤから移動量の大きい近景レイヤへと順に貼り付けることで注目フレームの画角に存在しない周辺画像信号を生成できる。また、上述の場合と同様に検出領域毎に動き量が求められることから、この動き量に基づいて揺動信号SEを生成することで、リアルタイムの画像信号SDCに基づいて広画角の画像提示を行うことができると共に、画像の動きに合わせて揺動を行い臨場感を高めることができる。
【0090】
さらに、臨場感を高める方法は、揺動信号SEに基づいて椅子を前後左右に傾けることで加速感等を与えるものに限られるものではない。例えば、付加情報信号として送風制御信号を生成して送風機に供給し、椅子173に座っている人に対して風を当てると共に、得られた前方向の速度に関する情報に応じて風量制御を行い風圧を可変させるものとしたり、旋回に関する情報に応じて風向制御を行い風向きを可変させることにより、さらに臨場感を高めることができる。また、付加情報信号として音声制御信号を生成してスピーカに供給し、走行音や風切り音,エンジン音等をスピーカから出力させると共に、前方向の速度に関する情報に応じて音量や音色を可変させることでも臨場感を更に高めることができる。このように、正面画像の画像信号から画像の動きに関する特徴量を検出して、この特徴量に基づいて画像の動きに関連した付加情報信号を生成することで、臨場感を高めることができる。
【0091】
さらに、上述の各ブロックで行われる処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図20に示す。
【0092】
コンピュータ90は、図20に示すようにCPU(Central Processing Unit)901を内蔵しており、このCPU901にはバス920を介してROM902,RAM903,ハード・ディスク・ドライブ904,入出力インタフェース905が接続されている。さらに、入出力インタフェース905には入力部911や記録媒体ドライブ912,通信部913,画像入出力部914が接続されている。
【0093】
キーボードやマウス等の操作入力手段あるいはマイク等の音声入力手段等を用いて構成された入力部911から、命令が入力されると、この命令が入出力インタフェース905を介してCPU901に供給される。
【0094】
CPU901では、ROM902やRAM903あるいはハード・ディスク・ドライブ904に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ROM902やRAM903あるいはハード・ディスク・ドライブ904には、上述の各ブロックでの処理を実行するためのプログラムも記憶させて、側面画像の生成も行う。
【0095】
ここで、中間画像情報の生成や中間画像情報から周辺画像信号を生成して出力すると共に付加情報信号を生成する信号処理プログラムは、情報記録媒体であるROM902やハード・ディスク・ドライブ904に予め記憶しておくことができる。
【0096】
あるいは、磁気や光を利用したリムーバブル記録媒体や半導体素子等を用いて構成されたリムーバブルの情報記録伝送媒体、例えばフロッピー(R)ディスクやCD−ROM等の光ディスク、MOディスク等の光磁気ディスク、テープカートリッジ、あるいは半導体メモリ等に信号処理プログラムを記録するものとして、これらのリムーバブル情報記録伝送媒体を記録媒体ドライブ912に装着して記録されている信号処理プログラムを読み出し、読み出したプログラムを入出力インタフェース905やバス920を介してハード・ディスク・ドライブ904等に記憶させることでインストールしても良い。
【0097】
さらに、通信部913を設けて、有線や無線の伝送路、例えばLANやインターネット等のネットワーク、あるいは衛星放送波や地上放送波等を利用して供給された信号処理プログラムを受信して、この受信した信号処理プログラムを、入出力インタフェース905及びバス920を介してハード・ディスク・ドライブ904等にインストールすることもできる。
【0098】
ここで、信号処理プログラムが実行されて中間画像情報の生成が行われたときには、ハード・ディスク・ドライブ904あるいは記録媒体ドライブ912に装着された記録媒体に記録されている正面画像の画像信号SDCが読み出されて、上述のような処理が行われて中間画像情報及び付加情報信号が、例えば画像信号SDCと共にハード・ディスク・ドライブ904や記録媒体ドライブ912に装着された記録媒体に記録される。また、周辺画像の画像信号の出力が要求されたときには、中間画像情報が読み出されて左右側面画像を示す周辺画像信号SDR,SDLが生成されると共に、この周辺画像信号SDR,SDLと付加情報信号SEが正面画像の画像信号SDCとタイミングを合わせて出力される。このため、正面と左右のスクリーンを用いて、広画角の連続した画像を表示することができると共に、画像に対応させて揺動等が行われて臨場感を高めることができる。
【0099】
また、リアルタイムの画像信号が供給されたときには、画像信号SDCから抽出した画像信号を用いて注目フレームに存在しない画角の周辺画像信号SDR,SDLが生成されて出力されると共に、正面画像の動き量から付加情報信号が生成されて出力される。このため、リアルタイムの正面画像の画像信号に基づいても、広画角の連続した画像を表示することができると共に、画像に対応させて揺動等が行われて臨場感を高めることができる。
【0100】
このように、上述の実施の形態によれば、正面画像の動きを判別して、正面画像とは異なる視野の周辺画像を生成できるだけでなく、画像の動きに関連した付加情報信号が生成されるので、広画角で画像を表示できるだけでなく、画像に対応する揺動等が行われて臨場感を高めることができる。また、画像信号から付加情報信号を生成できるので、センサ等を用いなくとも臨場感を高めることができる。さらに、既に撮影された画像信号を用いても、広画角で画像を表示できると共に臨場感を高めることができる。
【0101】
【発明の効果】
この発明によれば、複数フレームの入力画像信号を用いて、入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量が検出されて、この特徴量に基づいて、所定位置での画像の動きに関連した付加情報信号が生成されると共に、特徴量と入力画像信号に基づいて、注目フレームに存在しない画角の周辺画像信号が生成される。このため、入力画像信号に基づいて、入力画像信号に基づく画像よりも広画角の画像表示と、表示された画像に応じた例えば揺動等が行われて、臨場感の高い画像表示を行うことができる。
【0102】
また、検出した特徴量のレイヤ分けを行い、所定のレイヤの特徴量に基づき付加情報信号が生成されるので、表示された画像に応じた適切な揺動等を行うことができる。さらに、付加情報信号は、生成した周辺画像の画像信号に応じて補正されるので、臨場感をより高めることができる。
【図面の簡単な説明】
【図1】表示システムを示す図である。
【図2】画像投影状態を示す図である。
【図3】モーションベースプラットホームを示す図である。
【図4】信号処理装置の構成を示す図である。
【図5】各検出領域の動きベクトルを示す図である。
【図6】動きベクトルの判別方法を示す図である。
【図7】ズーム時の領域サイズの変化を示す図である。
【図8】画像基準位置の判別方法を示す図である。
【図9】動き検出処理部の構成を示す図である。
【図10】レイヤ分類部の構成を示す図である。
【図11】ベクトル方向と動きパターンの関係を示す図である。
【図12】レイヤ分類情報の生成動作を示す図である。
【図13】情報生成処理部の構成を示す図である。
【図14】レイヤ毎の中間画像を示す図である。
【図15】補間処理後のレイヤ毎の中間画像を示す図である。
【図16】周辺画像信号生成ブロックの構成を示す図である。
【図17】画像変換処理を示す図である。
【図18】付加情報信号の生成動作を示す図である。
【図19】揺動信号の補正処理を説明するための図である。
【図20】コンピュータを用いた構成を示す図である。
【符号の説明】
10L,10C,10R・・・スクリーン、12L,12C,12R・・・プロジェクタ、15・・・画像処理装置、17・・・モーションベースプラットフォーム、20・・・動き検出ブロック、21・・・フレーム遅延処理部、22・・・動き検出処理部、25・・・中間画像情報生成ブロック、26・・・レイヤ分類部、27・・・情報生成処理部、30・・・蓄積部、31・・・正面画像信号蓄積領域、32・・・中間画像情報蓄積領域、40・・・周辺画像信号生成ブロック、41・・・画像生成制御部、42・・・レイヤ画像生成処理部、43・・・射影変換部、44・・・画像信号生成部、50・・・付加情報信号生成ブロック、90・・・コンピュータ、221・・・サイズ変換処理部、222・・・誤差和算出部、223・・・比較処理部、224・・・データ保持部、225・・・探索制御部、261・・・パターン判定部、262・・・レイヤ作成判定部、263・・・分類処理部、264・・・閾値設定部、265・・・分類補正部、271・・・動き量平均値算出部、272・・・画像読み込み部、273・・・中間画像信号補間部、421-1〜421-5・・・貼り付け部、422-1〜422-5・・・1フレーム遅延部、423-1〜423-5・・・画像シフト部、431〜434・・・変換処理部、441・・・遠景貼り付け部、442・・・中景貼り付け部、443・・・近景貼り付け部、444・・・縮小貼り付け部、901・・・CPU、902・・・ROM、903・・・RAM、904・・・ハード・ディスク・ドライブ、905・・・入出力インタフェース、911・・・入力部、912・・・記録媒体ドライブ、913・・・通信部、914・・・画像入出力部、920・・・バス
Claims (11)
- 複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出し、
検出した前記特徴量と前記複数フレームの入力画像信号に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成し、
検出した前記特徴量に基づいて、前記所定位置での画像の動きに関連した付加情報信号を生成する
ことを特徴とする信号処理方法。 - 検出した前記特徴量のレイヤ分けを行い、所定のレイヤの特徴量に基づき前記付加情報信号を生成する
ことを特徴とする請求項1記載の信号処理方法。 - 前記付加情報信号を、前記生成した周辺画像信号に応じて補正する
ことを特徴とする請求項1記載の信号処理方法。 - 前記付加情報信号は、前記入力画像信号に基づく画像の動きに応じて揺動を発生させるための揺動信号である
ことを特徴とする請求項1記載の信号処理方法。 - 検出した前記特徴量のレイヤ分けを行い、
検出した前記特徴量と前記複数フレームの入力画像信号に基づいて、前記レイヤ毎に対応する画像領域を集めることで前記レイヤ毎の中間画像情報を生成し、該中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する
ことを特徴とする請求項1記載の信号処理方法。 - 複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出する検出手段と、
前記検出手段で検出した前記特徴量と前記複数フレームの入力画像信号に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する周辺画像信号生成手段と、
前記検出手段で検出した前記特徴量に基づいて、前記所定位置での画像の動きに関連した付加情報信号を生成する付加情報信号生成手段とを有する
ことを特徴とする信号処理装置。 - 前記検出手段で検出した前記特徴量のレイヤ分けを行うレイヤ分類手段を有し、
前記付加情報信号生成手段では、前記レイヤ分類手段によって分類された所定のレイヤの特徴量に基づき前記付加情報信号を生成する
ことを特徴とする請求項6記載の信号処理装置。 - 前記付加情報信号生成手段では、生成した前記付加情報信号を、前記周辺画像信号生成手段で生成した周辺画像信号に応じて補正する
ことを特徴とする請求項6記載の信号処理装置。 - 前記付加情報信号生成手段では、前記付加情報信号として、前記入力画像信号に基づく画像の動きに応じた揺動を制御する揺動信号を生成する
ことを特徴とする請求項6記載の信号処理装置。 - 検出した前記特徴量のレイヤ分けを行い、検出した前記特徴量と前記複数フレームの入力画像信号に基づいて、前記レイヤ毎に対応する画像領域を集めることで前記レイヤ毎の中間画像情報を生成する中間画像情報生成手段を設け、
前記周辺画像信号生成手段では、前記中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する
ことを特徴とする請求項6記載の信号処理装置。 - コンピュータに、
複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置での画像の動きに関する特徴量を検出する手順と、
検出した前記特徴量と前記複数フレームの入力画像信号に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する手順と、
検出した前記特徴量に基づいて、前記所定位置での画像の動きに関連した付加情報信号を生成する手順と
を実行させるための信号処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001307956A JP3849481B2 (ja) | 2001-10-03 | 2001-10-03 | 信号処理方法と信号処理装置及び信号処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001307956A JP3849481B2 (ja) | 2001-10-03 | 2001-10-03 | 信号処理方法と信号処理装置及び信号処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003116126A JP2003116126A (ja) | 2003-04-18 |
JP3849481B2 true JP3849481B2 (ja) | 2006-11-22 |
Family
ID=19127334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001307956A Expired - Fee Related JP3849481B2 (ja) | 2001-10-03 | 2001-10-03 | 信号処理方法と信号処理装置及び信号処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3849481B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006078996A2 (en) * | 2005-01-21 | 2006-07-27 | Gesturetek, Inc. | Motion-based tracking |
CN105324081B (zh) * | 2013-07-03 | 2018-03-20 | 株式会社日立制作所 | 放射线图像生成装置和图像处理方法 |
JP6819036B2 (ja) * | 2015-12-04 | 2021-01-27 | 株式会社豊田中央研究所 | バーチャルリアリティシステム |
-
2001
- 2001-10-03 JP JP2001307956A patent/JP3849481B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003116126A (ja) | 2003-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230334768A1 (en) | Damage detection from multi-view visual data | |
US10911732B2 (en) | Free-viewpoint photorealistic view synthesis from casually captured video | |
US20230017828A1 (en) | Method and apparatus for 3-d auto tagging | |
US8358873B2 (en) | Hybrid system for multi-projector geometry calibration | |
CN103002210B (zh) | 图像处理装置以及图像处理方法 | |
US20230410332A1 (en) | Structuring visual data | |
JP5703448B2 (ja) | 画像表示装置及び画像表示方法 | |
US7146023B2 (en) | Image processor, image signal generating method, information recording medium, and image processing program | |
JP2022523478A (ja) | マルチビュー視覚データからの損傷検出 | |
JP5225313B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
US20230117311A1 (en) | Mobile multi-camera multi-view capture | |
JP3538263B2 (ja) | 画像生成方法 | |
JP3849481B2 (ja) | 信号処理方法と信号処理装置及び信号処理プログラム | |
US11842460B1 (en) | Burst image fusion and denoising using end-to-end deep neural networks | |
JP7427467B2 (ja) | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム | |
JP4599775B2 (ja) | 画像処理装置と画像処理方法と画像処理プログラム及び情報記録媒体 | |
JP2000348165A (ja) | 情景表示装置 | |
JP4058916B2 (ja) | 映像システム設計支援装置、方法及びプログラム | |
JP2003323170A (ja) | 画像表示システムと画像処理装置及び画像表示方法 | |
KR20150031662A (ko) | 동영상 장치 및 그것의 동영상 생성 및 재생 방법 | |
US20210037230A1 (en) | Multiview interactive digital media representation inventory verification | |
JP2006005533A (ja) | 動画像の再生時における画像の動きの速度調整 | |
JP4131113B2 (ja) | 画像処理装置と画像処理方法および画像処理プログラム | |
JP3823818B2 (ja) | 画像処理装置と画像信号生成方法と画像処理プログラム及び情報記録媒体 | |
JPH09231408A (ja) | 動画像合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040908 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060821 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |