JP5183277B2 - 立体画像表示装置 - Google Patents

Description

この発明は、各表示階層に２次元画像を表示させて、立体視コンテンツの奥行き表現を実現する立体画像表示装置に関するものである。

奥行き表現を実現した従来の立体画像表示装置として、例えば特許文献１に開示されたコンテンツ再生装置がある。この装置は、２次元の図形データに対して、基準面である所定の平面からの、相対的な奥行き関係を示す奥行き情報を設定し、奥行き情報に基づいて各表示階層に対応する図形データを表示していた。さらに、このコンテンツから左目用画像と右目用画像とを作成し、３Ｄ液晶に表示していた。すると、左目用画像は視聴者の左目だけに入り、右目用画像は右目だけに入ることにより、コンテンツが立体視される。

特開２００４−１４５８３２号公報

従来の立体画像表示装置は以上のように構成されているので、ディスプレイを正面方向から見た場合の奥行き表現を実現しようとするものであり、上下左右方向から見た場合の奥行き表現については考慮されていなかった。大画面ディスプレイは、視聴者の視点移動の範囲が広いという特徴を有し、ビル、ホール等の壁面に設置された場合には左右方向に加えて上下方向からの見え方が非常に重要となる。そのため、特に大画面ディスプレイにおいて、見る角度によって表示された画像が見にくくなるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、移動する人の視点にあわせた表示を行うことで、奥行き感のある画像をディスプレイの上下左右方向から見やすく表示できる立体画像表示装置を得ることを目的とする。

この発明に係る立体画像表示装置は、３次元空間座標が設定された画面に、３次元空間座標に基づく座標データによって表示階層の位置および大きさを規定する階層座標管理部と、視聴者の視点の位置を検出する視聴者視点認識部と、検出した視点の位置を表示階層上の視点の位置に変換してなる視点座標に基づき、表示階層に表示する２次元画像の表示位置を調整する３Ｄ効果計算部と、表示階層に表示する２次元画像を視点座標にあわせて射影変換により変形する歪み補正処理部と、座標データに基づく順序で、各表示階層に表示する２次元画像を重畳する重畳表示処理部と、表示階層毎に表示する２次元画像のうち、任意の２次元画像の開始フレームと終了フレームをつないだ筒状画像を生成する筒状画像生成部と、視点座標の移動にあわせて筒状画像をスクロールするスクロール表示処理部とを備えるようにしたものである。

この発明によれば、３次元空間座標が設定された画面に、３次元空間座標に基づく座標データによって表示階層の位置および大きさを規定して、視聴者の視点の位置を表示階層上の視点の位置に変換してなる視点座標に基づき、表示階層に表示する２次元画像の表示位置を調整すると共に、表示階層に表示する２次元画像を視点座標にあわせて射影変換により変形して、座標データに基づく順序で各表示階層に表示する２次元画像を重畳するようにしたので、移動する人の視点にあわせた表示を行うことで、奥行き感のある画像をディスプレイの上下左右方向から見やすく表示できる立体画像表示装置を得ることができる。

実施の形態１．
図１は、この発明の実施の形態１に係る立体画像表示装置の全体構成を示すブロック図である。図１に示す立体画像表示装置は、視聴者の視点情報を取得するためのセンサ１、センサ１の出力値を用いて視聴者の視点を検出する視聴者視点認識部２、視聴者の視点移動に対応した３Ｄ効果を算出する３Ｄ効果計算部３、画像を表示する表示階層の座標データを管理する階層座標管理部４、画像を保持する画像記録部５、画面全体をスクロールしても画像が途切れない筒状画像を生成する筒状画像生成部６、画像に対するマスクを生成するマスク自動生成部７、画像を撮像する撮像部８、視聴者の視点方向にあわせて画像を整形する歪み補正処理部９、３Ｄ効果計算部３が算出した３Ｄ効果を画像に対して実行する階層毎画像演出部１０、画像をスクロール表示させるスクロール表示処理部１１、各表示階層の画像を重畳する重畳表示処理部１２、マスク付き画像のマスク境界線の透明度を変化させる画像境界処理部１３、重畳画像を表示する画面表示部１４を備える。本実施の形態で説明する立体画像表示装置は、主に大画面ディスプレイに適用した場合を想定する。

図２は、この発明の実施の形態１に係る立体画像表示装置が表示する画面の１例を示す説明図である。図１に示す画面表示部１４は、３つの表示階層に表示される画像を重畳した重畳画像１８を表示する。この重畳画像１８は、視聴者の位置から最も遠く、画面表面から奥まった表示階層に表示する遠景用画像１５、その手前の表示階層に表示する中景用画像１６、および視聴者の位置に最も近く、画面表面側の表示階層に表示する近景用画像１７を重畳させてなる。本実施の形態では、遠景用画像１５に雲の流れる青空の画像を、中景用画像１６にマスク付き画像で用意された風に吹かれる樹木の画像を、近景用画像１７にマスク付き画像で用意された踊るダンサーの画像を、それぞれ用意した。マスクデータを備えた画像は、重畳表示処理部１２で重畳される際にマスクデータによる指定領域を透かして背景の画像に重畳される。

図１に示すセンサ１は、カメラ、感圧センサ等によって構成される。センサ１をカメラのみ、または感圧センサのみで構成してもよく、カメラと感圧センサを共に用いて構成してもよい。センサ１にカメラを用いる場合、カメラが画面表示部１４と正対する位置を撮影し、取得した画像を検出値として視聴者視点認識部２へ出力する。センサ１に感圧センサを用いる場合には、感圧センサが画面表示部１４の前方床面に配置され、視聴者が加圧する圧力を測定し、検出値を視聴者視点認識部２へ出力する。

視聴者視点認識部２は、センサ１の検出値が入力されると、検出値を用いて視聴者の位置および視点の高さを検出する。センサ１にカメラを用いた場合には、視聴者視点認識部２が顔画像検出プログラムを有し、カメラ画像から顔の座標を検出する。そして、カメラ画像の撮影範囲情報から、画面表示部１４に対して視聴者がいる平面位置および視点の高さ位置を示す３次元相対座標を得る。

また、センサ１に感圧センサを用いた場合には、視聴者視点認識部２が感圧センサの検出値に基づいて視聴者の平面位置を示す２次元相対座標を算出し、さらにその圧力値に基づいて視聴者の身長を推定して視点の高さ位置を示す３次元相対座標を得る。

３Ｄ効果計算部３は、視聴者視点認識部２から３次元相対座標データが入力されると、この３次元相対座標と予め用意されている画面表示部１４の３次元空間座標とから表示階層上の視点が存在する相対座標（視点座標）を表示階層毎に算出する。そして、例えば図３に示すように、相対座標で表される視聴者の視点移動に対応して、画面表示部１４に表示する重畳画像が３Ｄ効果を持つように、各表示階層に表示する画像の大きさ、画像を表示する座標、画像演出等に関する最適なパラメータを算出する。以下では、図３を用いて３Ｄ効果計算部３が算出する３Ｄ効果の１例を説明する。

図３は、この発明の実施の形態１に係る立体画像表示装置による３Ｄ効果計算処理を説明する説明図である。この例では、３Ｄ効果計算部３が遠景用の表示階層に表示する画像の表示位置を固定する。そして、中景および近景用の各表示階層に表示する画像は、画面中心を基準として視点と対向する方向および同じ方向にそれぞれ移動させた。なお、図３に示す中景用および近景用画像は前述した通りマスク付き画像であるので、各画像の外枠は画面に表示されないが、ここでは説明のために便宜的に外枠を図示する。

図３（ａ）は、視聴者が画面表示部１４の正面方向４１ａにいるときに画面表示部１４が表示する重畳画像である。視聴者が正面方向４１ａから見る場合に、遠景用画像２５ａ、中景用画像２６ａおよび近景用画像２７ａが画面中央に重なって表示されるように、３Ｄ効果計算部３が各画像の表示座標を計算する。

次に、視聴者が画面表示部１４に対して左方向４１ｂにいるときに画像表示部１４が表示する重畳画像を図３（ｂ）に示す。視聴者が左方向４１ｂから見る場合に、中景用画像２６ｂは固定された遠景用画像２５ｂに対して右方向にずれて表示し、近景用画像２７ｂは中景用画像２６ｂに対して左方向にずれて表示するように、３Ｄ効果計算部３が各画像の表示座標を計算する。

また、視聴者が画面表示部１４に対して右方向４１ｃにいるときに画面表示部１４が表示する重畳画像を図３（ｃ）に示す。このとき、中景用画像２６ｃは固定された遠景用画像２５ｃに対して左方向にずれて表示し、近景用画像２７ｃは中景用画像２６ｃに対して右方向にずれて表示するように、３Ｄ効果計算部３が各画像の表示座標を計算する。３Ｄ効果計算部３が算出した視聴者の視点が存在する相対座標および各表示階層のパラメータデータは歪み補正処理部９に出力される。

さらに、大画面のディスプレイでは、その前を人が歩きながら視聴することが想定される。人が歩く速度にあわせて３Ｄ効果計算部３が各表示階層における画像の表示座標を変化させることで、歩きながらでも見やすい表示ができる。その場合、３Ｄ効果計算部３は、視聴者視点認識部２から逐次出力される３次元相対座標データに基づいて各表示階層上の視点が存在する相対座標を逐次算出し、相対座標にあわせて各画像を図３（ａ）、図３（ｂ）、図３（ｃ）のように変化させる表示座標を逐次計算する。なお、視点の高さ位置の違いによっても各表示階層に表示する画像の表示座標を上下に移動させるように、３Ｄ効果計算部３がパラメータを計算する。

３Ｄ効果計算部３は上述のような画像の表示座標以外にも、例えば画像演出に関して、表示階層毎の画像の輝度、コントラスト、青バランス等のパラメータを算出する。例えば、３Ｄ効果計算部３は重畳画像の遠近感を増加させるために、近景用画像の青バランスを基準にして、中景から遠景用になるに従って青バランスを強める色調補正を行うパラメータを算出する。このように、より遠景の表示階層に表示する画像に対して青色を強める色調補正を行うことにより、重畳画像の遠近感を増大させることができる。

また、３Ｄ効果計算部３は重畳画像の遠近感を増加させるために、例えば中景用画像のぼかし度合いを基準にして、近景から遠景用になるに従ってぼかし度合いを強める補正を行うパラメータを算出する。このように、より遠景の表示階層に表示するための画像に対してぼかし効果を強く加えることにより、重畳画像の遠近感を増大させることができる。

階層座標管理部４は、遠景用、中景用および近景用の各画像データを表示する各表示階層の座標データを保持する。図２に示すように、立体画像表示装置には画面の３次元空間座標が予め設定され、画面の縦方向と平行なＸ軸と、画面の横方向と平行なＹ軸と、画面の手前から奥へ向かう方向と平行なＺ軸とからなる。各表示階層の座標データは、ＸＹ軸により表示階層の大きさが規定され、Ｚ軸により奥行きが規定される。本実施の形態１では表示階層を遠景、中景および近景の３種類設けた例を示すが、表示階層は３種類以上でも以下でもよく、立体画像表示装置に表示させる画像の数に応じた所望数の表示階層を各座標データで規定すればよい。階層座標管理部４は必要に応じて、座標データを歪み補正処理９、スクロール表示処理部１１および重畳表示処理部１２へ出力する。

画像記録部５は、撮像部８から入力された動画または静止画による遠景用、中景用および近景用の各画像データを記録する。なお、画像記録部５がリアルタイムキャプチャ機能を備える構成であってもよい。リアルタイムキャプチャ機能を設けることで、撮像部８による撮影と略同時に、その画像データを画像記録部５に記録し、立体画像表示装置で表示することが可能となる。

筒状画像生成部６は、画像を途切れずスクロールさせるための筒状の画像を生成する。画像記録部５から必要に応じて画像データが筒状画像生成部６へ送られると、筒状画像生成部６が筒状画像を生成する。

例えば遠景用画像を筒状の画像にするために、画像記録部５が遠景用画像データを筒状画像生成部６へ送る。図４は、この発明の実施の形態１に係る立体画像表示装置の筒状画像生成処理を説明する説明図である。図４（ａ）に、筒状画像生成部６に入力された画像データの最初のフレーム２１と終了フレーム２２とを示す。この遠景用画像では雲が右から左へ流れている。図４（ｂ）に示すつなぎ目用画像２３は、遠景用画像の最初のフレーム２１と終了フレーム２２とのつなぎ目を隠すために、マスク付き画像で用意され、例えば外部から入力された。筒状画像生成部６が、このつなぎ目用画像２３を遠景用画像のつなぎ目に重畳させ、図４（ｃ）に示す筒状画像２４を生成する。このように、筒状画像生成部６は、スクロール表示処理部１１が画像全体を左右にスクロール表示したときに画像がエンドレスになるように、画像フレームの始端と終端とをマージする画像処理を行う。さらにそのつなぎ目につなぎ目用画像を重畳させる画像処理を行う。ただし、つなぎ目用画像２３がない場合には、筒状画像生成部６はマージ処理のみ行う。生成された筒状画像２４は、再び画像記録部５へ出力され、画像記録部５が保持する。

マスク自動生成部７は、中景用および近景用の各画像データの画面表示部分を指定するマスクデータを自動生成する。画像記録部５が必要に応じて画像データをマスク自動生成部７に送り、自動生成部７に画像データのマスクデータを自動生成させる。

例えば、撮像部８が撮影した画像データを近景用または中景用画像として用いるために、これらを遠景用画像と重畳させたときに画面に表示させる部分および透かす部分を指定したマスクデータをマスク自動生成部７が作成する。生成されたマスクデータは、画像データとあわせて、再び画像記録部５へ出力され、画像記録部５が保持する。マスクデータを自動生成する方法として、例えば、画像データをウェーブレット変換して画像輪郭解析を行い、検出された輪郭を境界にしてマスクデータを生成する。検出された輪郭のうちからマスクする画像領域を決定するために、ユーザがマスク作成の輪郭を指定するか、輝度閾値または指定領域等のパラメータを予め設定すればよい。立体画像表示装置がマスク自動生成部７を備えることにより、クロマキー背景以外の自然画像の背景で撮影された画像データを用いて、マスクデータ付きの近景用または中景用画像を生成することが可能となる。

撮像部８は、立体画像表示装置に表示するための遠景用、中景用および近景用の各画像を撮影し、撮影した画像データを画像記録部５へ出力する。画像データは動画像でも静止画像でも構わない。

歪み補正処理部９は、３Ｄ効果計算部３が算出した視聴者の視点が存在する相対座標と階層座標管理部４が管理する座標データとを用いて、射影変換、台形補正等によって、各表示階層に表示する画像を視点が存在する相対座標にあわせて変形する。以下では、図５を用いて歪み補正処理部９が行う補正処理の１例を説明する。

図５は、この発明の実施の形態１に係る立体画像表示装置による歪み補正処理を説明する説明図である。図３同様に、図５に示す中景用および近景用の各画像は便宜的に外枠を図示する。図５（ａ）は、画面表示部１４の正面に視聴者がいる場合に、画像表示部１４に表示される遠景用画像２８ａ、中景用画像２９ａおよび近景用画像３０ａを重畳させた重畳画像を示す。視聴者が正面方向４２ａから画面と同じ高さで視聴している場合には、画像を変形しないが、視聴者の視点が画面より上方向または下方向にある場合は、視点の高さにあわせて歪み補正処理部９が中景用画像２９ａおよび近景用画像３０ａの上下左右の各辺の長さを変更して、台形補正する。例えば視点が画面より上方向にある場合、歪み補正処理部９は、中景用画像２９ａおよび近景用画像３０ａの視点が存在する上辺が短く、視点と逆側の下辺が長くなるように、各辺の長さを変更して、台形補正する。

図５（ｂ）は、視聴者が左方向４２ｂから画面を視聴している場合に歪み補正処理部９が行う画像処理の例を示す。歪み補正処理部９は、視点方向４２ｂに対応した歪みのない自然な画像にするために、中景用画像２９ｂおよび近景用画像３０ｂの視点が存在する左辺を短く、視点と逆側の右辺を長くするように、各辺の長さを変更して、台形補正する。

また、視聴者が右方向４２ｃから画面を視聴している場合に歪み補正処理部９が行う画像処理の例を図５（ｃ）に示す。歪み補正処理部９は、視点方向４２ｃに対応した歪みのない自然な画像にするために、中景用画像２９ｃおよび近景用画像３０ｃの視点が存在する右辺を短く、視点と逆側の左辺を長くするように、各辺の長さを変更して、台形補正する。

歪み補正処理部９による歪み補正処理の効果は、特に大画面ディスプレイで重畳画像を表示した場合に顕著となる。図６は、この発明の実施の形態１に係る立体画像表示装置による歪み補正処理効果を示す説明図である。図６（ａ）から図６（ｅ）に示す例は全て、大画面ディスプレイに画像を表示した場合を想定している。図６（ａ）は、画面表示された重畳画像を正面方向から視聴した例である。歪み補正処理部９による歪み補正処理を行わない場合、左方向または右方向から画面を視聴すると重畳画像は図６（ｂ）または図６（ｃ）に示すようになり、画面に何が表示されているか認識できない程に変形してしまう。

これに対し、歪み補正処理部９による歪み補正処理を行った場合、左方向または右方向から画面を視聴すると重畳画像は図６（ｄ）または図６（ｅ）に示すようになる。遠景用、中景用および近景用の各画像が画面に表示される範囲は減少するが、視聴者の視点方向に正対した画面表示に近い表示を実現することが可能となる。

上記の例では、重畳画像を画面の左右方向から視聴した場合について説明したが、上下方向から視聴した場合についても歪み補正処理部９が同様に歪み補正処理を行う。吹き抜けホールの壁面等に設置した大画面ディスプレイを視聴する視聴者は、例えば画面と対面するエレベータに乗り、上下方向に移動している。このような視聴者に対して歪み補正処理した重畳画像を表示することにより、視聴者が上下方向に移動しているにもかかわらず、常に画面に正対した場合の画面表示に近い画像を提供することができる。

階層毎画像演出部１０は、３Ｄ効果計算部３が算出した画像表示座標、画像演出等のパラメータに基づき、遠景用、中景用、近景用それぞれの画像データに対し、リアルタイムにフィルタ効果を加えて、３Ｄ効果を実現する。

スクロール表示処理部１１は、画像の表示領域を左または右のどちらか一方に移動させる処理を行う。図７は、この発明の実施の形態１に係る立体画像表示装置によるスクロール表示処理を説明する説明図である。図７に示すように、スクロール表示処理部１１は遠景用画像１９を画面表示部１４に表示される画像の範囲２０に対して左右どちらか一方の方向４３に移動させる。移動する方向は、視聴者視点認識部２が検出した視聴者の視点移動にあわせる。即ち、視聴者が画面に対して右から左に移動している場合には、画像の範囲２０を遠景用画像１９の右から左へ移動させて画像をスクロール表示する。

なお、スクロール表示処理部１１によってスクロール表示処理を行う場合には、画面表示部１４に表示される画像の範囲２０に対して十分な大きさを有する画像１９を用いる。この場合の画像の範囲２０は、実際の表示の１フレームとなる。スクロール表示処理により、画像を視聴者の視点にあわせる３Ｄ効果計算部３の処理とは別に、視聴者を飽きさせず、少ない画像データでも変化に富む生きた画面表示を行うことができる。

ここでは主に遠景用の表示階層に表示する画像データに対して行うスクロール表示処理を例にあげたが、その他の表示階層に表示する画像データに対して行ってもよい。また、スクロール表示処理部１１は、筒状画像生成部６によって生成された筒状画像についても、画面に対して左右方向に移動させるようにスクロール表示処理行う。筒状画像を用いた場合には、画像の範囲２０を単に遠景用画像１９の始めから終わりへ移動させるのとは異なり、画像の終わりがないために矢印４４で示すようにエンドレスにスクロール表示できる。

画像境界処理部１３は、マスク付き画像に対して、マスクデータ中の境界部分、即ちエッジ部分の透明度を変更してぼかし処理を行い、各表示階層に重畳する画像が周囲から浮くことを防止し、背景に溶け込ませる。

重畳表示処理部１２は、階層座標管理部４が管理する座標データに基づく順序で、上記各部で処理が施された遠景用、中景用および近景用画像を重畳して、図２に示すような重畳画像を作成する。その際に重畳表示処理部１２は、マスクデータを有する画像について、マスクデータが指定する領域を透かして重畳する。

画面表示部１４は、ディスプレイ等で構成され、重畳表示処理部１２から入力した重畳画像を表示する。

次に、立体画像表示装置の動作を説明する。撮像部８によって撮影された画像データが画像記録部５に入力され、画像記録部５がこれら画像データを記録する。また、各画像データを表示する表示階層の座標データを階層座標管理部４が管理する。

画像記録部５は、中景用および近景用の各画像データをマスク自動生成部７へ出力する。マスク自動生成部７は、画面に表示させる領域と透かす領域とを指定したマスクデータを画像データ毎に生成し、マスクデータを画像データと共に画像記録部５へ出力する。また、画像記録部５は遠景用画像データを筒状画像生成部６へ出力する。筒状画像生成部６は、図４（ｃ）に示す筒状画像２４を生成し、画像記録部５へ出力する。

他方、センサ１によって検出された検出値が視聴者視点認識部２へ出力される。視聴者視点認識部２は、検出値を用いて立体画像表示装置近傍に存在する視聴者の位置および視点方向を示す３次元相対座標を算出する。得られた３次元相対座標データは、３Ｄ効果計算部３へ出力される。

３次元相対座標データが入力されると、３Ｄ効果計算部３はこの３次元相対座標と予め用意されている画面表示部１４の３次元空間座標とから視聴者の視点が存在する相対座標を算出する。そして、視聴者が画面を視聴する方向にあわせて、遠景用、中景用および近景用のそれぞれの画像に関して、図３で示すような表示座標および表示範囲を算出する。また、３Ｄ効果計算部３は、表示座標以外の３Ｄ効果として、各画像の輝度、コントラスト、青バランス、ぼかし効果等の画像演出に関するパラメータも算出する。各パラメータは歪み補正処理部９を介して階層毎画像演出部１０へ出力される。

続いて、歪み補正処理部９が３Ｄ効果計算部３で算出された相対座標の情報を用いて、図５で示すように、視聴者の視点方向にあわせて遠景用、中景用および近景用の各画像を射影変換等により歪み補正処理する。歪み補正処理した各画像データは、階層毎画像演出部１０へ出力される。

次いで階層毎演出部１０が、３Ｄ効果計算部３で算出した各表示階層の大きさ、画像を表示する座標、画像の表示範囲、画像演出等のパラメータに基づき、歪み補正処理部９から入力した遠景用、中景用および近景用の各画像データに対してリアルタイムにフィルタ効果を加えて３Ｄ効果を実現する。

スクロール表示処理部１１は、遠景用画像データである筒状画像を視点方向にあわせてスクロールさせる。さらに、画像境界処理部１３がマスク付き画像である中景用および近景用の各画像データに対して、マスクデータの境界部分にぼかし処理を行う。これらの処理を施した各画像データを重畳表示処理部１２が重畳し、画面表示部１４で表示する。立体画像表示装置は上述した一連の動作を１フレーム処理時間内に行い、視聴者の視点移動にあわせた重畳画像処理を行う。

なお、上述した説明では、立体画像表示装置が筒状画像生成部６、マスク自動生成部７、撮像部８、スクロール表示処理部１１、画像境界処理部１３を全て備える構成を示したが、これに限定されるものではなく、各部を適宜組み合わせたものであっても構わない。

また、立体画像表示装置として大画面ディスプレイを用い、視聴者の視点検出のためにカメラで構成されたセンサ１が広範囲をモニタリングする場合、視聴者が複数検出されることがある。その場合には、センサ１が取得する画像データを用いて、視聴者視点認識部２が複数の視聴者のそれぞれの顔の位置およびその属性（性別、年齢等）を認識し、所定の条件に合致する視聴者の視点を選択すればよい。例えば、視聴者視点認識部２が属性認識データに基づいて、最も人数の多いグループの中心の視聴者を代表の視点とみなして３次元相対座標を算出する。または、立体画像表示装置に表示する画像がＣＭコンテンツ等の場合、例えば女性用のＣＭであれば検出された複数の視聴者のうちから女性の視点を選択して３次元相対座標を算出する等、表示コンテンツにあわせた属性を有する視聴者の視点を選択して３次元相対座標を算出する。

以上のように、実施の形態１によれば、画像をそれぞれ表示する複数の表示階層に、３次元空間における相対的な奥行き関係を座標データにより設定する階層座標管理部４と、センサ１の出力値から視聴者の視点の位置を検出する視聴者視点認識部２と、検出した視点の位置を表示階層上の視点の位置に変換してなる相対座標に基づいて表示階層毎に表示する画像の表示位置を調整する３Ｄ効果計算部３と、表示階層毎に表示する画像を相対座標にあわせて射影変換により変形する歪み補正処理部９と、座標データに基づく奥行き関係の順序で各表示階層に表示する画像を重畳する重畳表示処理部１２とを備えるようにした。そのため、移動する人の視点にあわせた表示を行うことで、奥行き感のある画像をディスプレイの上下左右方向から見やすく表示できる立体画像表示装置を得ることが可能となる。

また、実施の形態１によれば、画像の開始フレームと終了フレームをつないだ筒状画像を生成する筒状画像生成部６と、視点の移動にあわせて筒状画像をスクロールするスクロール表示処理部１１とを備えるようにした。そのため、視聴者を飽きさせず、少ない画像データでも変化に富む生きた画面表示を行うことができる。

また、実施の形態１によれば、画像中の物体の輪郭線を検出して画面に表示しない領域と表示する領域とを指定したマスクデータを作成するマスク自動生成部７を備え、重畳表示処理部１２が画像を重畳するときに、マスクデータが指定した画面に表示しない領域を透過させるようにした。そのため、自動生成したマスクデータを使って、階層化した画像の重畳表示を行うことができる。

また、実施の形態１によれば、マスクデータが指定した、画面に表示する領域の周辺部分の透明度を変更する画像境界処理部１３を備えるようにした。そのため、各表示階層に重畳する画像が周囲から浮くことを防止し、背景に溶け込ませることができる。

また、実施の形態１によれば、画像を撮像する撮像部８を備えるようにした。そのため、撮影と略同時にその映像を画面表示することができると共に、自然風景等の実際の画像を遠景用画像に用いた重畳画像を表示することができる。

また、実施の形態１によれば、３Ｄ効果計算部３は、近景用、中景用、遠景用の表示階層順に画像の青色を強める色調補正を行うようにした。また、近景用、中景用、遠景用の表示階層順に画像のぼかし度合いを強める補正を行うようにした。そのため、遠近感のある画面表示を行うことができる。

この発明の実施の形態１に係る立体画像表示装置の全体構成を示すブロック図である。 この発明の実施の形態１に係る立体画像表示装置が表示する画面の１例を示す説明図である。 この発明の実施の形態１に係る立体画像表示装置による３Ｄ効果計算処理を説明する説明図である。 この発明の実施の形態１に係る立体画像表示装置の筒状画像生成処理を説明する説明図である。 この発明の実施の形態１に係る立体画像表示装置による歪み補正処理を説明する説明図である。 この発明の実施の形態１に係る立体画像表示装置による歪み補正処理効果を示す説明図である。 この発明の実施の形態１に係る立体画像表示装置によるスクロール表示処理を説明する説明図である。

符号の説明

１ センサ、２ 視聴者視点認識、３ ３Ｄ効果計算部、４ 階層座標管理部、５ 画像記録部、６ 筒状画像生成部、７ マスク自動生成部、８ 撮像部、９ 歪み補正処理部、１０ 階層毎画像演出部、１１ スクロール表示処理部、１２ 重畳表示処理部、１３ 画像境界処理部、１４ 画面表示部、１５，１９ 遠景用画像、１６ 中景用画像、１７ 近景用画像、１８ 重畳画像、２０ 画像表示範囲、２１ 最初のフレーム、２２ 終了フレーム、２３ つなぎ目用画像、２４ 筒状画像、２５ａ，２５ｂ，２５ｃ ３Ｄ処理した遠景用画像、２６ａ，２６ｂ，２６ｃ ３Ｄ処理した中景用画像、２７ａ，２７ｂ，２７ｃ ３Ｄ処理した近景用画像、２８ａ，２８ｂ，２８ｃ 歪み補正した遠景用画像、２９ａ，２９ｂ，２９ｃ 歪み補正した中景用画像、３０ａ，３０ｂ，３０ｃ 歪み補正した近景用画像、４１ａ，４２ａ 正面方向にいる視聴者の視点、４１ｂ，４２ｂ 左方向にいる視聴者の視点、４１ｃ，４２ｃ 右方向にいる視聴者の視点、４３ 画像のスクロール移動、４４ 筒状画像のスクロール移動。

Claims (7)

1. ２次元画像をそれぞれ表示する複数の表示階層に、３次元空間における相対的な奥行き関係を設定する階層座標管理部と、
   視聴者の視点の位置を検出する視聴者視点認識部と、
   検出した前記視点の位置を前記表示階層上の視点の位置に変換してなる視点座標に基づき、当該表示階層毎に表示する２次元画像の表示位置を調整する３Ｄ効果計算部と、
   前記表示階層毎に、表示する前記２次元画像を前記視点座標にあわせて射影変換により変形する歪み補正処理部と、
   前記階層座標管理部が設定した奥行き関係の順序で、各表示階層に表示する２次元画像を重畳する重畳表示処理部と、
   前記表示階層毎に表示する２次元画像のうち、任意の２次元画像の開始フレームと終了フレームをつないだ筒状画像を生成する筒状画像生成部と、
   前記視点座標の移動にあわせて前記筒状画像をスクロールするスクロール表示処理部とを備えた立体画像表示装置。
2. ２次元画像中の物体の輪郭線を検出し、当該輪郭線を用いて画面に表示しない領域と表示する領域とを指定したマスクデータを作成するマスク自動生成部を備え、
   重畳表示処理部は、前記マスクデータが指定した前記画面に表示しない領域の２次元画像領域を透過させることを特徴とする請求項１記載の立体画像表示装置。
3. ２次元画像においてマスクデータが指定した、画面に表示する領域の周辺部分の透明度を変更する画像境界処理部を備えたことを特徴とする請求項２記載の立体画像表示装置。
4. ２次元画像に用いる画像を撮像する撮像部を備えたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の立体画像表示装置。
5. ３Ｄ効果計算部は、画面手前側に位置する表示階層から奥側に位置する表示階層にいくに従って２次元画像の青色を強める色調補正を行うことを特徴とする請求項１から請求項４のうちのいずれか１項記載の立体画像表示装置。
6. ３Ｄ効果計算部は、画面手前側に位置する表示階層から奥側に位置する表示階層にいくに従って２次元画像のぼかし度合いを強める補正を行うことを特徴とする請求項１から請求項５のうちのいずれか１項記載の立体画像表示装置。
7. 階層座標管理部は、３つの表示階層に、画面手前側から奥側へ向かって階層化した近景、中景および遠景の奥行き関係を設定することを特徴とする請求項１から請求項６のうちのいずれか１項記載の立体画像表示装置。

Images