JP2013191950A - 立体画像データ生成システム、立体画像データ表示システム、および、立体画像データ表示方法 - Google Patents

Abstract

【課題】複数のスクリーン面に表示された立体映像に対して、各スクリーンの境界面で視差が異なったり、また、画面から手前に飛び出す映像の場合は、画枠張り付き効果が生じて、視角疲労を引き起こす可能性が生じたりするという課題を解消する。
【解決手段】複数のスクリーンを構成する各スクリーンのスクリーン面の配置情報と傾き情報を用いて複数の視点画像データから各スクリーン用の画像データを切り出し、この画像データに対して傾き情報を用いてパースペクティブを補正し、各スクリーン面に表示する立体画像データに対してすべて同じ調整量となるように視差調整を行う。また、配置情報から、各スクリーン面の境界における枠フレームの配置を求め、枠フレームに隣接する領域における視差が、スクリーン面よりも奥に引っ込む方向の視差となるように、視差調整を行う。
【選択図】図１

Description

本発明は、立体画像データ生成システム、立体画像データ表示システム、および、立体画像データ表示方法に関する。

従来、３次元画像を提示するための様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する「２眼式」と呼ばれるものである。この方式は、両眼視差を持った左目用の画像と右目用の画像を用意し、それぞれ独立に左右の目に投影することにより立体視を行うことができる。以下の説明では、前記記載のそれぞれ画像を、左目用画像データ、右目用画像データと称する。また、３Ｄは３次元または立体を、２Ｄは２次元を意味する用語としてそれぞれ用いることとし、立体視用の画像データを３Ｄ画像データ、通常の２次元画像データを２Ｄ画像データと称する。なお、画像とは、静止画像だけではなく、動画像も含んでいるものとする。

ここで、２眼式の代表的な方式としてフレームシーケンシャル方式や視差バリア方式等が提案されており、その概念図に基づいて以下詳述する。
図２９は、フレームシーケンシャル方式を説明するための概念図である。一般的に、フレームシーケンシャル方式は、高速に画像フレームを切り替えて表示するディスプレイと、ディスプレイの表示に同期して、メガネのレンズシャッターを制御し、左右のレンズを交互に開閉することが可能なアクティブ・シャッターメガネから構成されている。

図２９において、ディスプレイ上に、左目用画像データ１００と、右目用画像データ１０１が時間的に交互に高速で表示される。このタイミングに合わせ、アクティブ・シャッターメガネ１０２は、左目用画像データ１００が表示される際は、左目用のレンズシャッター１０３を光が透過するように制御するとともに、右目用のレンズシャッター１０４を光が遮断するように制御する。逆に、右目用画像データ１０１が表示される際は、右目用のレンズシャッター１０４を光が透過するように制御するとともに、左目用のレンズシャッター１０３が光を遮断するように制御する。こうすることにより、時分割で左右の目に、それぞれの目の視差に合わせた画像が提示され、観察者は立体画像データを観察することができる。

また、図３０は、視差バリア方式を説明するための概念図である。図３０（Ａ）は、視差が生じる原理を示す図である。一方、図３０（Ｂ）は、パララクスバリア方式で表示される画面の例を示す図である。図３０（Ａ）に示す構成では、図３０（Ｂ）に示すような左目用画像データと右目用画像データとが水平方向において１画素おきに交互に並んだ構成で配置された画像を、画像表示パネル１０５に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア１０６を画像表示パネル１０５の前面の視点側に設置することにより、左目用画像データは左目１０７のみで、右目用画像データは右目１０８のみで観察することにより、立体視することが可能となる。

更に、特許文献１には、複数のディスプレイ面を備え、各ディスプレイ面に表示する画像として、カメラの撮像面の傾斜角度や、コンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度のパラメータを、各画像提示面の傾斜角度と一致、または略一致させて、撮影または生成された画像を用いた立体画像データ提示装置が開示されている。
また、特許文献１では、ディスプレイ面を地面と平行に設置し、ディスプレイ面に立体画像データを表示して、斜め上方から観察する場合には、観察者の視点位置を想定し、台形補正によってパースペクティブ（Perspective）を変化させる等、適正な立体像が再生されるように視差量を設定する必要があることが述べられている。

また、両眼視差を用いた３Ｄ画像では、立体の前方への飛び出し感、奥（後方）への引っ込み感は視差の調整で制御できるが、ディスプレイ面よりも前に被写体を表示する場合は、その被写体が、画面端の枠フレームにかかる場合、左目用画像データと右目用画像データの対応点がなくなって立体視が破たんしたり、本来の視差から導き出される飛び出し量よりも、ディスプレイ面側に引っ込んで見えたりする、画枠張り付き効果と、一般的に呼ばれる現象が発生することが知られている（特許文献２〜６参照）。

特開２００６−２１１４５３号公報 特開２００４−１７８５７９号公報 特開２００４−１７８５８１号公報 特開２００４−２０６６７２号公報 米国特許第６３８９２３６号明細書 米国特許第６６１４４２７号明細書

しかしながら、従来の複数のスクリーン面を持つ立体画像データ提示システムにおいて、複数のスクリーン面に表示された立体映像に対して視差調整を行う際、各スクリーンで、個別に視差調整を行う場合、スクリーンの境界面で視差が異なり、立体映像の提示位置やサイズの境界面における連続性が保たれないという問題がある。

また、従来の複数のスクリーン面を持つ立体画像データ提示システムにおいて、複数のスクリーン面として、プロジェクターなどで使用する投影型のスクリーンではなく、たとえば液晶パネルや、有機ＥＬ、プラズマディスプレイなどの直視型のパネルを用いた場合は、狭い枠フレームの直視型のパネルであっても枠フレームが無くならない限り、境界部分に枠フレームが存在し、パネルの境界部分が滑らかに接合されないという問題がある。

また、このような境界部分をまたぐ領域に物体を立体表示し、かつその物体が、境界にある枠フレーム位置よりも手前に表示されるような視差をもつ場合は、枠フレームにかかる飛び出し画像の場合と同様、対応点の消失や、画枠張り付き効果等による、立体視の破たんや、視差闘争が起こり、２重に見えたり、ちかちかして見えたりする現象が起こる。この現象は、視覚疲労を引き起こす可能性があり、立体画像データの視聴の安全性が低下するという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、境界部分における枠フレームや、各ディスプレイ面の配置を考慮して画像を切り出し、各ディスプレイ面の傾きに応じてパースペクティブを補正することにより、視聴者が複数のディスプレイに一つの立体画像データを表示した際に、枠フレームの有無やパネルの配置に依存せず、違和感なく立体視をすることができる立体画像データを生成、表示する立体画像データ生成システム、立体画像データ表示システム、および、立体画像データ表示方法を提供することにある。

上記課題を解決するために、本発明の第１の技術手段は、複数の画像表示面に対して、複数の視点画像データから生成した立体視用の画像データを生成する立体画像データ生成システムであって、前記複数の視点画像データを入力する立体画像入力手段と、前記複数の画像表示面の配置情報と傾き情報を用いて、前記複数の視点画像データから各前記複数の画像表示面用の画像データを切り出す画像切り出し手段と、前記傾き情報を用いて、各前記複数の画像表示面用の画像データのパースペクティブを補正する歪み補正手段と、前記配置情報を用いて、前記パースペクティブを補正後の各前記複数の画像表示面用の画像データに対して視差調整を行う視差調整手段とを備えることを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記視差調整手段は、各前記複数の画像表示面用の画像データに対して視差の調整量が同じ値となるように、視差調整を行うことを特徴としたものである。

第３の技術手段は、第１または２の技術手段において、前記視差調整手段は、前記配置情報から各前記画像表示面の境界における非表示領域の配置を求め、該非表示領域に隣接する各前記画像表示面の領域における視差が、各前記画像表示面よりも奥に引っ込む方向の視差となるように、視差調整を行うことを特徴としたものである。

第４の技術手段は、複数の画像表示面を有する画像表示手段を備えた立体画像表示システムであって、前記画像表示手段は、第１から３のいずれか１の技術手段である立体画像データ生成システムから前記立体視用の画像データを受け取り、前記複数の画像表示面に立体画像を表示することを特徴としたものである。

第５の技術手段は、複数の画像表示面に対して、複数の視点画像データから生成した立体視用の画像データを表示する立体画像データ表示方法あって、前記複数の視点画像データを生成または入力する立体画像入力ステップと、前記複数の画像表示面の配置情報と傾き情報を用いて、前記複数の視点画像データから各前記複数の画像表示面用の画像データを切り出す画像切り出しステップと、前記傾き情報を用いて、各前記複数の画像表示面用の画像データのパースペクティブを補正する歪み補正ステップと、前記配置情報を用いて、前記パースペクティブを補正後の各前記複数の画像表示面用の画像データに対して視差調整を行う視差調整ステップを備えることを特徴としたものである。

第６の技術手段は、第５の技術手段において、前記視差調整ステップは、各前記複数の画像表示面用の画像データに対して視差の調整量が同じ値となるように、視差調整を行うことを特徴としたものである。

第７の技術手段は、第５または６の技術手段において、前記視差調整ステップは、前記配置情報から、各前記画像表示面の境界における非表示領域の配置を求め、該非表示領域に隣接する各前記画像表示面の領域における視差が、各前記画像表示面よりも奥に引っ込む方向の視差となるように、視差調整を行うことを特徴としたものである。

この発明によれば、複数の立体ディスプレイに一つの立体画像データを表示した際に、各ディスプレイの、境界部分における枠フレームの有無や、ディスプレイ面の位置に応じて画像を切り出し、各ディスプレイ面と視聴者までの距離と、各ディスプレイ面の傾きに応じてパースペクティブを補正した立体画像データを生成し、表示することにより、視聴者が、複数のディスプレイに一つの立体画像データを表示した際に、枠フレームの有無やパネルの配置に依存せず、違和感なく立体視をすることができ、安全で、疲労も少ない立体視をすることができる。

本発明の実施の形態による立体画像データ表示システムの概略構成を示すブロック図である。 本発明の実施の形態による立体画像データ表示システムの動作を説明するフローチャートである 立体画像データ入力手段２の撮影の様子を説明する図である。 立体画像データ入力手段２の左カメラの撮影の様子を説明する図である。 立体画像データ入力手段２の左カメラの撮影の様子を説明する図である。 左カメラと右カメラによる撮影画像を示す図である。 撮影時のパラメータ情報Ｐを示す図である。 画像切り出し手段において、入力された左目用画像データを切り出す方法について説明する図である。 画像切り出し手段において、入力された右目用画像データを切り出す方法について説明する図である。 左目用画像データに対する歪み補正の方法について説明する図である。 右目用画像データに対する歪み補正の方法について説明する図である。 歪み補正を行った立体画像データの例を示す図である。 立体画像データの視差を説明する図である。 輻輳角について説明する図である。 立体映像が画面よりも手前に表示される場合の視差による輻輳角について説明する図である。 立体映像が画面よりも奥に表示される場合の視差による輻輳角について説明する図である。 観察される立体映像がより前に飛び出す方向となるように、視聴者が視差調整する場合の立体画像データについて説明する図である 観察される立体映像がより奥に引っ込む方向となるように、視聴者が視差調整する場合の立体画像データについて説明する図である。 画像表示手段に表示された立体画像データを視聴者が鑑賞する様子を説明するための図である。 視差調整を行った際の立体映像の提示位置の変化について説明するための図である。 画面の周辺に枠フレームのある２枚のパネルで構成された画像表示手段の構成例である。 画面の周辺に枠フレームのある２枚のパネルで構成された画像表示手段の別の構成例である。 立体画像データ入力手段の左カメラの撮影の様子を説明する図である。 立体画像データ入力手段による撮影画像データの例である。 視差調整手段における視差調整を行うか否かの判定動作に関するフローチャート図である。 歪み補正を行った立体画像データに対して、視差調整を行う方法について説明する図である。 視差調整が行われた際の立体映像の提示位置について説明する図である。 画面の周辺に枠フレームのある２枚のパネルで構成された画像表示手段の別の構成例である。 フレームシーケンシャル方式を説明するための概念図である。 視差バリア方式を説明するための概念図である。

以下に添付図面を参照して、本発明に係る立体画像データ生成システム、立体画像データ表示システム、および、立体画像データ表示方法の好適な実施の形態を詳細に説明する。また、以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。

本発明の実施形態に係る立体画像データ表示システムについて、図面を参照し説明する。以下の説明では、立体画像データが画面より前に飛び出して見えることを飛び出し、立体画像データが画面より奥に引っ込んで見えることを引っ込みと定義する。また、以下では、説明の簡略化のため、視差を求める際、左目用画像データに対して右目用画像データの対応点の検索をすることにより視差を算出しているが、右目用画像データに対して左目用画像データの対応点の検索をすることにより視差を算出しても構わない。

図１は、本発明の実施の形態による立体画像データ表示システムの概略構成を示すブロック図である。立体画像データ表示システム１は、例えば、立体画像データの生成と表示を行うデジタルスチルカメラや、ビデオカメラ、携帯電話、スマートフォン、ＰＣ等があり、立体画像データ表示システム１は、立体画像データ入力手段２と、画像切り出し手段３と、歪み補正手段４と、視差調整手段５と、画像表示手段６と、を含んで構成される。
なお、上記で生成された立体画像データは、テレビジョン受像機、電子フォトフレーム等で表示してもかまわない。また、立体画像データ表示システム１における、立体画像データ入力手段２と、画像切り出し手段３と、歪み補正手段４と、視差調整手段５は、本発明の立体画像データ生成システムを構成する。

立体画像データ入力手段２は、立体画像データを撮影し、本システムに立体画像データを入力するための手段であり、複数のカメラから構成される。以下では、説明を簡易にするため、２台のカメラで構成し、左右２視点の立体画像データを取り扱う場合について説明する。立体画像データ入力手段２は、左右２視点の立体画像データＩＤ１を撮影し、撮影した立体画像データと、撮影時のパラメータ情報Ｐを、画像切り出し手段３に送信する。立体画像データ入力手段２の動作については、後述する。なお、上記の説明では、立体画像データ入力手段２を構成するカメラは複数台としたが、１台のカメラで構成し、カメラをスライドして動かすことにより、立体画像データを撮影しても構わない。

画像切り出し手段３は、立体画像データＩＤ１と、パラメータ情報Ｐを入力とし、パラメータ情報Ｐに基づき、ｎ（ｎは２以上の整数）枚のパネルの配置に合わせて各パネルのスクリーンに表示する領域を切り出し、作成したｎ個の領域立体画像データＩＤ２ｎを出力する。画像切り出し手段３の動作については、後述する。

歪み補正手段４は、ｎ個の領域立体画像データＩＤ２ｎと、パラメータ情報Ｐを入力とし、パラメータ情報Ｐに基づき、ｎ（ｎは２以上の整数）枚のパネルの配置に合わせ、ｎ個の領域立体画像データＩＤ２ｎのパースペクティブをなくすように補正した、ｎ個の立体画像データＩＤ３ｎを作成し、出力する。歪み補正手段４の動作については、後述する。

視差調整手段５は、立体画像データＩＤ３ｎと、パラメータ情報Ｐを入力とし、立体画像データＩＤ３ｎを用いて、各パネルのスクリーンの境界部分の視差を算出し、各パネルの境界部分の視差が、飛び出し方向の視差とならないように視差調整を行って、作成した立体画像データＩＤ４ｎを出力する。視差調整手段５の動作については、後述する。

画像表示手段６は、視差調整手段５から出力された立体画像データＩＤ４ｎの表示用信号を受け取り、該信号に基づき、画像表示手段６が備える、ｎ枚のスクリーン面にそれぞれ対応する立体表示画像を表示する。なお、この画像表示スクリーンは、左目用画像データと、右目用画像データを、液晶ディスプレイや、プラズマディスプレイ、プロジェクターなどに交互に表示し、この表示に同期させて、視聴者が掛けている液晶シャッター付メガネの液晶シャッターを動作させるものであってもよいし、ディスプレイに、ライン毎に偏光の異なるようにした特殊な偏光フィルタを装着し、左右の目で異なる偏光の光のみを透過する偏光メガネを通して立体視を行う偏光メガネ方式であってもよいし、視差バリア方式やレンチキュラ方式などの裸眼立体視可能な液晶ディスプレイであってもよい。

また、２眼式だけではなく、複数の視点の画像データを用いる液晶ディスプレイであってもよい。たとえば、複数の視点を同時に表示して裸眼立体視する液晶ディスプレイや、視聴者の目のトラッキングを行い、視聴者の目の位置に応じて視点を切り替えるタイプの２眼式の立体ディスプレイであってもよい。このように、画像表示スクリーンは、スクリーンやディスプレイなどの画像を表示する機能を有するものであればよく、本発明の表示面に相当する。

次に、本発明の実施の形態による立体画像データ表示システム１の動作について図面を用いて詳細に説明する。なお、以下では、２視点のデータを取り扱う場合、つまり、ｎの範囲が１から２となる場合について説明を行うものとする。図２は、立体画像データ表示システム１の動作を説明するフローチャートである。図２に示すように、ステップＳ１において、立体画像データ入力手段２は、立体画像データＩＤ１を撮影する。

図３は、２台のカメラで構成された立体画像データ入力手段２が、左右２視点の立体画像データを撮影する様子を説明する図である。図３に示すように、水平方向に所定の距離だけ離して並べられた、左目用画像データを撮影する左カメラ７Ｌと、右目用画像データを撮影する右カメラ７Ｒが、被写体８をそれぞれ撮影する。このときの所定の距離は、一般的に基線長と呼ばれるが、この基線長の長さを、人間の両眼間隔と同じ６３ｍｍ程度とする。また、全体の視差量を抑えるために、基線長の長さを３０ｍｍ程度にしてもよいし、逆に遠景を撮影する際に視差を強調する際は、例えば、数ｍなどとしてもよい。またこのとき、各カメラの光軸は交差していても平行であってもかまわないが、ここでは、平行とする。

図３に示すように、被写体８の背面と下面に、２枚のスクリーン面を配置する。例えば、画像表示手段６の画像表示スクリーンを、カメラの光軸方向と垂直に配置された正面パネル上の正面スクリーンと、カメラの光軸方向と水平に配置された床面パネル上の床面スクリーンの２枚のスクリーンで構成している場合、被写体８の背面に正面スクリーンが、被写体８の下面に床面スクリーンがあるものと仮定し、それぞれのスクリーン面がある位置に、想定するスクリーンと同じサイズとなる平面状の被写体をそれぞれ配置する。以下では、被写体８の背面にある正面スクリーンを表す被写体を正面スクリーン９と、被写体８の下面にある床面スクリーンを表す被写体を床面スクリーン１０と呼ぶ。

なお、ここで、正面スクリーン９と、床面スクリーン１０の境界は接しているものとし、正面スクリーン９の４つの頂点を、Ｐ９、Ｐ１０、Ｐ１１、Ｐ１２とし、床面スクリーン１０の４つの頂点をそれぞれ、Ｐ１、Ｐ２、Ｐ９、Ｐ１０とする。また、図３に示すように、床面スクリーン１０を縦方向に４分の１に分割した点線が、点Ｐ１と点Ｐ９を結んだ線分と垂直に交わる点をＰ３、Ｐ５、Ｐ７とし、点Ｐ２と点Ｐ１０を結んだ線分と垂直に交わる点をＰ４、Ｐ６、Ｐ８とする。このとき、左カメラ７Ｌの光軸１１Ｌと、右カメラ７Ｒの光軸１１Ｒがそれぞれ、正面スクリーン９を垂直方向に２分割する線分１２と垂直に交わるように、カメラ７Ｌと７Ｒを配置する。同時に、光軸１１Ｌと光軸１１Ｒが、線分１２と交わる点を、それぞれ点１３Ｌと点１３Ｒ、また、点１３Ｌと点１３Ｒを結ぶ線分の中心を点１４とし、このときの点１４が、正面スクリーン９の中心となるようにカメラ７Ｌと７Ｒを配置するものとする。

次に、上記で説明した配置となるように配置した左カメラ７Ｌの撮影画像について説明する。図４は、立体画像データ入力手段２の左カメラ７Ｌの撮影の様子を説明する図である。図４で示すように、左カメラ７Ｌは、正面スクリーン９と、床面スクリーン１０上に配置された被写体８を撮影する場合、その撮影画像は、図４の投影面１５L上に投影変換された画像となる。

図５は、立体画像データ入力手段２の左カメラ７Ｌの撮影の様子を説明する図である。図５では、左カメラ７Ｌの撮影の様子を右方向から見ており、ここで、図中の点線部１６をカメラの７Ｌの垂直方向の撮影範囲とすると、投影面１５Ｌ上に示す撮影画像には、左カメラ７Ｌからの距離に応じて上下方向にパースペクティブ歪みが発生する。図示しないが、左右方向も同様にして、撮影画像の左右方向にパースペクティブ歪みが発生する。

また、このとき、右カメラ７Ｒも、左カメラ７Ｌと同様にして、右カメラ７Ｒからの距離に応じて、上下左右方向にパースペクティブ歪みが発生する。図６は、左カメラ７Ｌと右カメラ７Ｒによる撮影画像を示す。図６において、左カメラ７Ｌで撮影した左目用画像データ１７Ｌと、右カメラ７Ｒで撮影した右目用画像データ１７Ｒには、それぞれ、上下方向と左右方向にパースペクティブ歪みが発生する。

立体画像データ入力手段２は、撮影した、左目用画像データ１７Ｌと、右目用画像データ１７Ｒを左右２視点の立体画像データＩＤ１として出力すると同時に、図示していないが、撮影時のカメラ情報や、画像表示手段６を構成する２枚のパネルのスクリーンの配置情報が、立体画像データ入力手段２に外部から入力されており、立体画像データ入力手段２は、それらの情報からパラメータ情報Ｐを作成し、出力する。

図７は、このときの撮影時のパラメータ情報Ｐを示す。パラメータ情報Ｐには、撮影で使用したカメラの情報として、撮影時のカメラ台数と、各カメラの個別の情報として、カメラの光軸中心の位置を示す位置情報と、カメラの光軸中心の傾きを示す傾き情報、カメラの画角の大きさを示す画角情報が、撮影に使用したカメラの台数分含まれる。また、パラメータ情報Ｐには、スクリーン情報として、表示で用いるスクリーン数と、各スクリーンの個別の情報として、スクリーンの中心位置を示す中心位置情報と、スクリーンのサイズを示すサイズ情報、スクリーン面の傾きを示すスクリーン面傾斜情報が、表示で用いるスクリーンの数だけ含まれる。
ここで、スクリーン面傾斜情報とは、スクリーン面が垂直面から何度傾いているかを示す情報であり、その範囲は０度以上３６０度未満とする。例えば、正面スクリーン９のスクリーン面傾斜情報は０度、床面スクリーン１０のスクリーン面傾斜情報は９０度とする。

なお、パラメータ情報は、直接、ユーザーが入力してもよいし、カメラや赤外線などで奥行き情報を計測するような３次元計測装置により入力しても構わないし、立体画像データ入力手段２や、画像表示手段６の構成手段に合わせて、あらかじめ決められた所定の値を、デフォルト値として、立体画像データ入力手段２内の図示しない記憶装置に保持しておき、記憶装置から読みだして用いても構わない。
以上のようにして、立体画像データ入力手段２は、左右２視点の立体画像データＩＤ１を撮影し、撮影した立体画像データＩＤ１と、撮影時のパラメータ情報Ｐを、画像切り出し手段３に送信し、図２に示すステップＳ２に進む。

ステップＳ２において、画像切り出し手段３に、立体画像データＩＤ１と、パラメータ情報Ｐが入力される。画像切り出し手段３は、入力されたパラメータ情報Ｐを用いて、立体画像データＩＤ１から、画像表示手段６に表示するための画像を切り出す。ここで、左目用画像データ１７Ｌから、正面スクリーン９用の左目用画像データ１８Ｌと、床面スクリーン１０用の左目用画像データ１９Ｌが、それぞれ切り出される。図８は、画像切り出し手段３において、入力された左目用画像データを切り出す方法について説明する図である。

図８において、画像切り出し手段３は、左目用画像データ１７Ｌの点Ｐ９、点Ｐ１０、点Ｐ１１、および、点Ｐ１２で囲まれた矩形領域を切り出して、正面スクリーン９用の左目用画像データ１８Ｌを生成し、また、左目用画像データ１７Ｌの点Ｐ１、点Ｐ２、点Ｐ９、および、点Ｐ１０で囲まれた台形の領域を切り出して、床面スクリーン１０用の左目用画像データ１９Ｌを生成する。

また、ここで、右目用画像データ１７Ｒから、正面スクリーン９用の右目用画像データ１８Ｒと、床面スクリーン１０用の右目用画像データ１９Ｒが、それぞれ切り出される。図９は、画像切り出し手段３において、入力された右目用画像データを切り出す方法について説明する図である。

図９において、画像切り出し手段３は、右目用画像データ１７Ｒの点Ｐ９、点Ｐ１０、点Ｐ１１、および、点Ｐ１２で囲まれた矩形領域を切り出して、正面スクリーン９用の右目用画像データ１８Ｒを生成し、また、右目用画像データ１７Ｒの点Ｐ１、点Ｐ２、点Ｐ９、および、点Ｐ１０で囲まれた台形の領域を切り出して、床面スクリーン１０用の右目用画像データ１９Ｒを生成する。

画像切り出し手段３は、それぞれ生成した、左目用画像データ１８Ｌと、右目用画像データ１８Ｒを、正面スクリーン９用に切り出した立体画像データＩＤ２１とし、また、左目用画像データ１９Ｌと、右目用画像データ１９Ｒを、床面スクリーン１０用に切り出した立体画像データＩＤ２２として、それぞれ出力する。なお、上記では、切り出し位置を明確にするための指標として用いるため、正面スクリーン９や、床面スクリーン１０として、平面状の被写体を設置する例について説明したが、入力されたパラメータ情報Ｐのスクリーン情報から求めた、スクリーンサイズや、位置、傾きの情報に基づいて、スクリーンのある場所を特定し、切り出す場合は、平面状の被写体を設置しなくても構わない。

以上のようにして、画像切り出し手段３は、パラメータ情報Ｐと、立体画像データＩＤ１から、正面スクリーン９用に切り出した立体画像データＩＤ２１と、床面スクリーン１０用に切り出した立体画像データＩＤ２２をそれぞれ出力し、図２に示す判定ステップＳ３に進む。

判定ステップＳ３において、歪み補正手段４に、立体画像データＩＤ２ｎと、パラメータ情報Ｐが入力され、歪み補正手段４は、入力された立体画像データＩＤ２ｎを順次読み出すと同時に、パラメータ情報Ｐに含まれるスクリーン面傾斜情報から、順次読みだした立体画像データに対応したスクリーン面傾斜情報を参照し、その値が０度、または１８０度である場合は、ステップＳ５に進み、そうでない場合は、判定ステップＳ４に進む。

ステップＳ４において、入力された画像データは、パースペクティブ歪みがあると判定され、パースペクティブ歪みをなくすように補正される。
例えば、ここでは、歪み補正手段４に入力された立体画像データＩＤ２１は、正面スクリーン９用に切り出した立体画像データであり、スクリーン面傾斜情報は０度であるため、歪み補正手段４は、歪補正は行わずにそのまま出力するが、同じく歪み補正手段４に入力された立体画像データＩＤ２２に対しては、床面スクリーン１０用に切り出した立体画像データであり、スクリーン面傾斜情報が９０度となることから、歪み補正手段４は、歪み補正を行い、出力する。

ここで、歪み補正の方法は、図５で説明したように、投影面１５Ｌの画像を、床面スクリーン１０の位置となるように透視投影すればよい。以下に、このときの歪み補正の方法について図面を用いて詳細に説明する。図１０は、立体画像データＩＤ２２を構成する左目用画像データ１９Ｌに対する歪み補正の方法について説明する図である。図１０において、歪み補正手段４は、左目用画像データ１９Ｌの上下左右方向のパースペクティブ歪みを補正するため、左目用画像データ１９Ｌの点Ｐｍ（ｍは１から１０の整数）が、左目用画像データ２０Ｌの点Ａｍとなるように台形補正を行う。例えば、点Ｐ１は点Ａ１に、点Ｐ２は点Ａ２に、点Ｐ３は点Ａ３に、点Ｐ４は点Ａ４に、点Ｐ５は点Ａ５に、点Ｐ６は点Ａ６に、点Ｐ７は点Ａ７に、点Ｐ８は点Ａ８に、点Ｐ９は点Ａ９に、点Ｐ１０は点Ａ１０となるように透視投影を行うことにより、歪み補正を行う。

図１１は、立体画像データＩＤ２２を構成する右目用画像データ１９Ｒに対する歪み補正の方法について説明する図である。図１０の説明と同様に、歪み補正手段４は、右目用画像データ１９Ｒの上下左右方向のパースペクティブ歪みを補正するため、右目用画像データ１９Ｒの点Ｐｍ（ｍは１から１０の整数）が、右目用画像データ２０Ｒの点Ｂｍとなるように台形補正を行う。例えば、点Ｐ１は点Ｂ１に、点Ｐ２は点Ｂ２に、点Ｐ３は点Ｂ３に、点Ｐ４は点Ｂ４に、点Ｐ５は点Ｂ５に、点Ｐ６は点Ｂ６に、点Ｐ７は点Ｂ７に、点Ｐ８は点Ｂ８に、点Ｐ９は点Ｂ９に、点Ｐ１０は点Ｂ１０となるように透視投影を行うことにより、歪み補正を行う。

判定ステップＳ５において、歪み補正手段４で順次読み出された画像が最後の画像である場合、歪み補正手段４は、立体画像データＩＤ３ｎを出力し、判定ステップＳ６に進み、そうでない場合は判定ステップＳ３に戻る。ここで、図１２に立体画像データＩＤ３ｎの例を示す。立体画像データＩＤ３ｎのうち、立体画像データＩＤ３１は、立体画像データＩＤ２１の左目用画像データ１８Ｌと、右目用画像データ１８Ｒと同じ立体画像データから構成される。

一方、立体画像データＩＤ３２は、歪み補正手段４に入力された左目用画像データ１９Ｌと、右目用画像データ１９Ｒに対して、上下左右方向のパースペクティブ歪みがなくなるように、それぞれ歪み補正を行った、左目用画像データ２０Ｌと、右目用画像データ２０Ｒから構成される。以上のようにして、歪み補正手段４は、入力された立体画像データＩＤ２ｎのうち、パースペクティブ歪みのない立体画像データＩＤ２１はそのまま立体画像データＩＤ３１として出力し、パースペクティブ歪みのある立体画像データＩＤ２２のみ、パースペクティブ歪みを補正した後、立体画像データＩＤ３２として出力する。

判定ステップＳ６において、視差調整手段５に、立体画像データＩＤ３ｎとパラメータ情報Ｐが入力され、視差調整手段５は、入力された立体画像データＩＤ３ｎに対して、視差調整を行うか否かを判定し、視差調整を行う場合は、ステップＳ７に、そうでない場合はステップＳ８に進む。ここで、視差調整手段５において、視差調整を行うか否かの判定する方法については、外部からの視聴者による入力を受け付けるようにして、手動で視差調整を行うようにしてもよいし、別途、図示しない、入力された立体画像データＩＤ３ｎの左右画像の対応点を探索するマッチング処理を行う視差調整量算出手段を視差調整手段５内に設け、立体画像データＩＤ３ｎに対して画像全体の視差マップを求め、求めた視差が所定の範囲内に収まるように自動で視差調整を行うようにしてもよい。

なお、このときの視差マップを求める際のマッチング処理の単位はブロック単位となるが、ブロックの大きさに規定は特になく、画素単位としてもよいし、画面全体を１ブロックとしてもよい。また、視差マップを求める際の対応点検索の方法はどのような方法であってもかまわない。また、対応点検索の方法については、通常の一般的な方法であってもかまわず、本発明の主眼とは異なるため、説明は省略するものとする。

以下では、例えば、左目用画像データと、右目用画像データに対して、画素単位でステレオマッチングを行い、画素単位で視差を求めるものとする。なお、このときの視差は画素単位であるが、表示画面サイズ情報を用いて、実際に画面上で表示される際の距離情報に変換して用いてもよいし、画面の水平方向の画素数に対するパーセンテージに変換して用いてもよい。
また、以下では、説明の簡略化のため、視差角を用いて説明するが、視差と視差角の関係は、表示画面サイズ情報と、視聴距離と、両眼間隔の長さから、一意に決まるため、視差角の代わりに視差を使っても構わない。

ここで、視差について説明する。図１３は、立体画像データの視差を説明する図である。図１３（Ａ）は、左目用画像データを示し、立体表示をした際に、最も遠くに見える領域を、最遠点２１とし、最も近くに見える領域を最近点２２とする。また、図１３（Ｂ）は、右目用画像データを示し、このうち、立体表示をした際に、左目用画像データの最遠点２１の対応点であり、かつ、最も遠くに見える領域を最遠点２３とし、左目用画像データの最近点２２の対応点であり、かつ、最も近くに見える領域を最近点２４とする。このとき、左目用画像データの左端から、最遠点２１までの距離をｄｆＬ１、最近点２２までの距離をｄｎＬ１、右目用画像データの左端から、最遠点２３までの距離をｄｆＲ１、左最近点２４までの距離をｄｎＲ１とする。

そして、左目用画像データと、右目用画像データを用いて立体表示をした際に、視聴者から最も遠くに見える部分における視差を最遠景視差とし、その値をｄｆＬ１−ｄｆＲ１と定義する。同じく左目用画像データと、右目用画像データを用いて立体表示をした際に、視聴者から最も近くに見える部分における最近景視差し、その値をｄｎＬ１−ｄｎＲ１と定義する。このとき、最遠景視差と、最近景視差は、画素単位で求まるが、表示画面サイズ情報を用いて、実際に画面上で表示される際の距離情報に変換する。表示画面サイズ情報とは、立体画像データを表示する際の実際の表示エリアの水平方向の画素サイズＷと、水平方向の分解能の情報を示す。

また、視差が画面の水平方向の画素数に対するパーセンテージである場合は、表示画面サイズ情報は、立体画像データを表示する際の実際の表示エリアの水平方向の大きさであっても構わない。ここで、視差の値がマイナスの場合は、表示される領域の位置が、画面よりも奥にあることを示し、プラスの場合は、表示される領域の位置が、画面よりも手前にあることを示す。

次に、視差角について説明する。
図１４は、画面を見た場合の輻輳角について説明する図である。図１４において、視聴者が左目２５と右目２６を通じて、画面２７の１点である点２８を見た場合、点２８から左目２５を線で結んだ際に交わる点を点２９、点２８から右目２６を線で結んだ際に交わる点を点３０、点２９と点３０を結んだ線分に対して点２８から降ろした垂線の交点を点３１とそれぞれ定義する。このとき、点３１の位置は、点２９と点３０で結ばれた線分の中央に位置するものとする。

ここで、点２９と点３０を結んだ線分は左眼と右眼の間の距離である両眼間隔を表し、その長さをＴとし、点２８と点３１を結んだ線分は視聴者から画面までの視聴距離を表し、その長さをＬとし、点２８と点２９を結んだ線分と、点２８と点３０を結んだ線分がなす角を輻輳角αとすると、三角形の相似の関係から、式（１）のような関係が導かれる。

式（１）より、輻輳角αは、式（２）のように表される。

図１５は、立体映像が画面よりも手前に飛び出して表示される場合の視差による輻輳角について説明する図である。図１５において、視聴者が、左目２５で、画面２７にある左目用画像データの１点である点３２を、右目２６で、画面２７にある点３２に対応する、右目用画像データの１点である点３３をそれぞれ見た場合、画面より手前の位置に点３４が立体像として提示される。

ちなみに、図１２に示した立体画像データの場合、左目画像用データ１８Ｌ、２０Ｌの被写体８の位置が右目画像データ１８Ｒ、２０Ｒの被写体８の位置よりも相対的に右側にあるため、左目画像用データ１８Ｌ、２０Ｌの被写体８と右目画像データ１８Ｒ，２０Ｒとを交互に画面に表示した場合は、被写体８を見る視聴者にとっては、両目の視線が画面よりも画面の手前で交差するため、被写体８は画面の手前で結像することになり、視聴者にとっては画面から被写体８が飛び出したように見えることになる。

また、点３１と点３４を結んだ線分は視聴者から立体映像が提示される位置までの距離を表し、その値をｍとし、また、点３２と点３３は視差を表し、その長さをｄ１とする。
このとき、点２９と点３４を結んだ線分と、点３０と点３４を結んだ線分がなす角を輻輳角β１とすると、三角形の相似の関係から、式（３）のような関係が導かれる。

式（３）より、輻輳角β１は、式（４）のように表される。

また同様に、三角形の相似の関係から、式（５）のような関係が導かれる。

式（４）、式（５）より、輻輳角β１は、式（６）のように表される。

ここで、画面より手前に飛出す方向の視差に対する視差角γ１を、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体映像を見た際の輻輳角β１の差分の絶対値と定義すると、式（７）のように表される。

図１６は、立体映像が画面よりも奥に表示される場合の視差による輻輳角について説明する図である。図１６において、視聴者が、左目２５で、画面２７にある左目用画像データの１点である点３５を、右目２６で、画面２７にある点３５に対応する、右目用画像データの１点である点３６をそれぞれ見た場合、画面より奥となる位置に点３７が立体像として提示される。

また、点３１と点３７を結んだ線分は視聴者から立体映像の距離を表し、その長さを（Ｌ＋ｎ）とする。また、点３５と点３６は視差を表し、その長さをｄ２とする。
このとき、点２９と点３７を結んだ線分と、点３０と点３７を結んだ線分がなす角を輻輳角β２とすると、三角形の相似の関係から、式（８）のような関係が導かれる。

式（８）より、輻輳角β２は、式（９）のように表される。

また同様に、三角形の相似の関係から、式（１０）のような関係が導かれる。

式（９）、式（１０）より、輻輳角β２は、式（１１）のように表される。

ここで、画面より奥に引っ込む方向の視差に対する視差角γ２を、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体映像を見た際の輻輳角β２の差分の絶対値と定義すると、式（１２）のように表される。

また、通常、視差角は絶対値で表現されるが、以下では、画面より手前に飛出す方向の視差に対する視差角と、画面より奥に引っ込む方向の視差に対する視差角とを区別するため、画面より奥に引っ込む方向の視差に対する視差角はマイナスの値とする。なお、通常、視差角の値は絶対値となるため、その値が少ないほど立体画像はスクリーンの近くに見え、視差が大きくなるほど立体画像の飛び出しや引っ込みがより大きく見えるようになるが、上記のように、視差角の値に符号をつける場合は、視差角の値を直接参照するのではなく、絶対値の大きさに直して考える点に注意が必要である。

ステップＳ７において、手動視差調整の場合、視差調整手段５は、視聴者が指定した視差調整のずらし幅で、立体画像データＩＤ３ｎの左右画像を左右にずらして、立体画像データＩＤ４ｎを作成する。また、自動視差調整の場合、視差調整手段５は、視差調整手段５内に別途設けられた前記視差調整量算出手段が算出する視差調整のずらし幅で、立体画像データＩＤ３ｎの左右画像を左右にずらして、立体画像データＩＤ４ｎを作成する。

なおこのとき、各スクリーンの表示する立体映像の飛び出し、または引っ込み方向の提示位置の連続性を保つため、視差調整のずらし幅は、正面スクリーンに表示する視差調整立体画像データＩＤ４１と、床面スクリーンに表示する視差調整立体画像データＩＤ４２とで同じ値とする。

図１７は、立体画像がスクリーンよりも手前に飛び出して表示される場合に、観察される立体映像がより飛び出す方向となるように、視聴者が視差調整する場合の立体画像データＩＤ４ｎについて説明する図である。例えば、図１７において、左目用画像データ１８Ｌの被写体８と、左目用画像データ２０Ｌの被写体８は、それぞれ同じ視差量だけ右にずらされるとともに、右目用画像データ１８Ｒの被写体８と、右目用画像データ２０Ｒの被写体８は、それぞれ同じ視差量だけ左にずらされる。すなわち、左目用画像データと右目用画像データの被写体８画面上の位置がより離れる方向にずらされる。これにより、左目用画像データの被写体８と右目用画像データの被写体８の視差の値はより大きくなるため、立体映像がより飛び出して見えるようになる。

図１８は、立体画像がスクリーンよりも手前に飛び出して表示される場合に、観察される立体映像がより引っ込み方向となるように、視聴者が視差調整する場合の立体画像データＩＤ４ｎについて説明する図である。例えば、図１８において、左目用画像データ１８Ｌの被写体８と、左目用画像データ２０Ｌの被写体８は、それぞれ同じ視差量だけ左にずらされるとともに、右目用画像データ１８Ｒの被写体８と、右目用画像データ２０Ｒの被写体８は、それぞれ同じ視差量だけ右にずらされる。これにより、左目用画像データの被写体８と右目用画像データの被写体８の視差の値は小さくなるため、立体映像がより引っ込んで見えるようになる。

さらに、図１８において、左目用画像データ被写体８と右目用画像データの被写体８の位置がずらされ、左目用画像データ被写体８の位置が右目用画像データの被写体８の位置よりも相対的に左側になるまでずらされると、被写体８を見る視聴者にとっては、両目の視線が画面よりも画面の奥で交差するようになる。このため、被写体８は画面の奥で結像し、視聴者にとっては画面から被写体８が奥に引っ込んで見えるようになる。なお、この場合、視差の値はマイナスの値となる。
なお、上記では、左目用画像データ被写体８と右目用画像データの被写体８の位置を同じ量ずらす場合について説明したが、左目用画像データか、右目用画像データのどちらか一方だけをずらすことにより、視差を調整しても構わない。また、左目用画像データのずらし量と右目用画像データのずらし量が、異なる量となるように、視差を調整しても構わない。
以上のようにして、視差調整手段５は、立体画像データＩＤ４ｎを出力し、ステップＳ８に進む。

ステップＳ８において、画像表示手段６に、立体画像データＩＤ４ｎが入力される。画像表示手段６は、入力された立体画像データＩＤ４ｎを、視聴者の正面と床面に設置された２枚のパネルに表示する。
ここで、立体画像データＩＤ４ｎに対して、視差調整を行った場合とそうでない場合に視聴できる立体映像について、以下に図面を用いて説明する。

まず、視差調整を行わない場合に視聴できる立体映像について説明する。図１９は、画像表示手段６に表示された立体画像データを視聴者が鑑賞する様子を説明するための図である。図１９において、視聴者３８は、正面パネル３９と、床面パネル４０により、立体映像の視聴を行うが、ここで表示する立体映像は、視差調整を行わず、例えば図１２で示した立体画像データとする。従って、図１９において、正面パネル３９には、図１２の立体画像データＩＤ３１と同じ視差の立体画像データＩＤ４１が、床面パネル４０には、図１２の立体画像データＩＤ３２と同じ視差の立体画像データＩＤ４２がそれぞれ表示され、視聴者は、左右の目でそれぞれ視差の異なる映像を視ることにより両眼立体視を行って、正面スクリーン４１と、床面スクリーン４２、被写体４３を、それぞれ立体で視聴することができる。

次に、視差調整を行う場合に視聴できる立体映像について説明する。図２０は、視差調整を行った際の立体像の変化について説明するための図である。図２０において、視差調整を行わない場合は、視聴者３８は、正面スクリーン４１と、床面スクリーン４２、被写体４３の位置で立体映像を観察する。ここで、立体画像データＩＤ４ｎに対して視差調整を行うことにより、視聴者は、この立体映像の飛び出し位置を、好みに応じて変更することができる。

例えば、立体画像データＩＤ４ｎを、図１７で示したように視差調整を行って生成し、右目用画像データ１８Ｒ、２０Ｒに映る被写体の画面上の位置と、左目用画像データ１８Ｌ、２０Ｌに映る被写体の画面上の位置が、視聴者から見て、視差調整前よりもさらに離れる位置となるようにずらした上で、正面パネル３９と床面パネル４０に表示した場合は、観察できる立体映像の位置は、より飛び出す方向となり、図２０で示すように、視聴者３８は、正面スクリーン４４と、床面スクリーン４５、被写体４６を、立体映像として観察することができる。

また、例えば、立体画像データＩＤ４ｎを、図１８で示したように視差調整を行って生成し、右目用画像データ１８Ｒ、２０Ｒに映る被写体の画面上の位置に対して、左目用画像データ１８Ｌ、２０Ｌに映る被写体の画面上の相対的な位置が、視聴者から見て、視差調整前よりもさらに左の位置となるようにずらした上で、正面パネル３９と床面パネル４０に表示した場合は、観察できる立体映像の位置は、より奥に引っ込む方向となり、図２０で示すように、視聴者３８は、正面スクリーン４７と、床面スクリーン４８、被写体４９を立体映像として観察することができる。
なお、立体表示後であっても、視聴者は、任意のタイミングで、手動で視差調整を行ってもよい。
以上のようにして、画像表示手段６は、立体画像データＩＤ４ｎを表示して、ステップＳ９に進む。

ステップＳ９において、立体画像データ表示システム１は処理を終了する。以上のようにして、本発明の立体画像データ表示システム１は、カメラで撮影した立体画像データから表示するパネルの数にあわせてそれぞれ切り出した立体画像データに対して、各パネルのスクリーン面の傾斜角度に合わせてパースペクティブ歪みを補正して、スクリーンの境界における視差の連続性を保持したうえで、各スクリーン面に表示する立体画像の視差の調整量が同じ値となるようにして視差調整を行っている。

これにより、複数のスクリーン面に表示された立体映像に対しても、境界面における視差の連続性が保たれる結果、境界面における立体映像の提示位置やサイズの連続性も保たれ、マルチスクリーンを用いた立体映像に対しても、視聴者は、好みに応じた視差で、かつ、安全で、疲労も少なく、違和感もない自然な立体視をすることができる。

なお、上記では、床面スクリーン１０が水平方向と平行な場合について説明したが、水平方向に対して所定の角度傾けていても構わない。その際は、図１０や図１１で説明した透視変換の投影先を、水平方向に対して所定の角度傾けた床面スクリーン１０となるように変換すればよい。また同様に、上記では、正面スクリーン９が垂直方向と平行な場合について述べたが、垂直方向に対して所定の角度傾けていても構わない。その際は、図１０や図１１で説明した透視変換の投影先を、垂直方向に対して所定の角度傾けた正面スクリーン９として変換すればよい。

また、表示手段６を構成する複数のスクリーンを、プロジェクターなどの投影型のスクリーンではなく、液晶ディスプレイやプラズマディスプレイなどの直視型のパネルで構成する場合、パネル上に表示される画面の周辺に枠フレームがあるため、隣り合う画面の境界に不連続領域が発生する。この境界における不連続領域を考慮して、立体映像を表示する場合について、以下に説明する。

このときの２枚のパネルの配置の方法について、図２１から図２３を用いて説明する。
図２１は、画面の周辺に枠フレームのある２枚のパネルで構成された画像表示手段６の構成例である。図２１（Ａ）は画像表示手段６の２枚のパネルの配置を正面から見た図を、図２１（Ｂ）は表示手段６の２枚のパネルの配置を横から見た図をそれぞれ示す。ここで示すように、画面５０と枠フレーム５１から構成された正面パネル５２と、画面５３と枠フレーム５４から構成された床面パネル５５は、それぞれの枠フレームの端が触れ合うように設置されている。

ここで、境界面における不連続領域の面積を少なくするために、どちらか一方の枠フレームを隠すように配置する。
図２２は、画像表示手段６の別の構成例である。図２２（Ａ）は表示手段６の２枚のパネルの配置を正面から見た図を、図２２（Ｂ）は表示手段６の２枚のパネルの配置を横から見た図をそれぞれ示す。ここで示すように、枠フレーム５４の上の境界部分が、枠フレーム５１で隠れるように、床面パネル５５はそのままだが、正面パネル５２のみを、図２１の場合と比べ、手前となるように設置している。この場合、正面スクリーンに相当する部分にのみ、不連続な領域が発生することになる。

次に、このときの立体画像データ表示システム１の動作について、図面を用いて説明する。上記のようにパネルの配置が変わると、立体画像データを撮影する際に生成されるパラメータ情報Ｐのスクリーン情報にある中心位置情報が変化するが、立体画像データ表示システム１を構成する立体画像データ入力手段２と、画像切り出し手段３、歪み補正手段４、視差調整手段５、画像表示手段６の基本的な動作は変わらない。

例えば、立体画像データ入力手段２の動作は、一部の被写体の位置を変更するだけで、基本的に同様である。図２３は、立体画像データ入力手段２の左カメラ７Ｌの撮影の様子を説明する図である。図２３では、左カメラ７Ｌの撮影の様子を右方向から見ており、カメラや、被写体８、床面スクリーン１０の配置は、図５と同様であるが、枠フレーム５２があるため、表示の際に、点線で囲み、斜線を施した領域５６の部分は表示されなくなるため、正面スクリーン９の位置を画面５０の位置に重なるように上方向に配置して撮影する。
図２４は、このときの立体画像入力手段２による撮影画像データの例である。図２４に示すように、左右画像それぞれで、画面の位置に合わせて、正面スクリーン９の位置が上に配置されている。

立体画像入力手段２の撮影画像データに対し、画像切り出し手段３は、上記で説明したのと同様にパラメータ情報Ｐのスクリーン情報を参照して、画像を切り出す。ここで、図８で示した枠フレームがない場合には、左目用画像データ１７Ｌの点Ｐ９、点Ｐ１０、点Ｐ１１、および、点Ｐ１２で囲まれた矩形領域を切り出して、正面スクリーン９用の左目用画像データ１８Ｌを生成し、左目用画像データ１７Ｌの点Ｐ１、点Ｐ２、点Ｐ９、および、点Ｐ１０で囲まれた台形の領域を切り出して、床面スクリーン１０用の左目用画像データ１９Ｌを生成していた。しかし、図２４に示す枠フレーム５２がある場合には、左目用画像データの点Ｐ１、点Ｐ２、点Ｐ９、および、点Ｐ１０で囲まれた台形の領域を切り出し、床面スクリーン１０用の左目用画像データを生成する点は、図８に示す場合と同じであるが、正面スクリーン９用の左目用画像データは、図８の点Ｐ９、点Ｐ１０、点Ｐ１１、および、点Ｐ１２で囲まれた矩形領域よりも上方に位置する、点Ｐ１３、点Ｐ１４、点Ｐ１５、および、点Ｐ１６で囲まれた矩形領域を切り出している。

ここで、点Ｐ９、点Ｐ１０、点Ｐ１３、および、点Ｐ１４点で囲まれた領域が枠フレームがある領域となる。そして、スクリーンとスクリーンの境界において画像が表示されない領域は、本発明のスクリーン間の非表示領域に相当し、枠フレームは非表示領域の一例である。以上の点は、右目用画像データについても同様である。

切り出された画像に対し、歪み補正手段４は、同様にパラメータ情報Ｐのスクリーン情報を参照して、歪み補正を行う。このように、立体画像入力手段２と、画像切り出し手段３、歪み補正手段４は、図２のステップＳ１からＳ５で説明したのと同様の動作を行う。

この場合の視差調整手段５の動作は、図２の判定ステップＳ６における、視差の調整を行うか否かの判定の方法のみが異なるため、視差調整手段５の判定動作についてのみ、以下に説明する。図２５は、視差調整手段５における視差調整を行うか否かの判定動作に関するフローチャート図である。以下では、図２の判定ステップＳ６を、図２５の判定ステップＳ１０と、ステップＳ１１、判定ステップＳ１２、ステップＳ１３に置き換えて、視差調整手段５の動作を説明する。なお、ステップＳ１、ステップＳ２、判定ステップＳ３、ステップＳ４、判定ステップＳ５、ステップＳ７、ステップＳ８、ステップＳ９については、同様の動作を行うため、それらの説明は省略する。

ステップＳ５から判定ステップＳ１０に進み、判定ステップＳ１０において、視差調整手段５に、立体画像データＩＤ３ｎとパラメータ情報Ｐが入力され、視差調整手段５は、入力されたパラメータ情報Ｐに含まれる、各スクリーンの中心位置情報とサイズ情報、スクリーン面傾斜情報を参照し、枠フレームにより、境界において不連続となる領域の面積を算出し、その値が所定の値以上であれば、パネルの境界が不連続であると判定し、ステップＳ１１に進み、そうでない場合は、ステップＳ８に進む。また上記では、面積により判定を行ったが、隣り合うスクリーン間の距離を求め、その値が所定の値以下であれば、不連続であると判定するようにしても構わない。

ステップＳ１１において、視差調整手段５は、入力された立体画像データＩＤ３ｎのうち、境界に隣接する領域の視差を算出し、判定ステップＳ１２に進む。なお、視差の算出の方法は、前述した方法と同様とする。

判定ステップＳ１２において、視差調整手段５は、算出した視差を参照し、境界に隣接する領域において再現される立体映像の提示位置が、スクリーン面よりも手前となるか否かを判定し、手前と判定した場合は、ステップＳ１３に進み、そうでない場合はステップＳ８に進む。なお、立体映像は、その視差の値が、プラスの場合はスクリーン面よりも手前に、０の場合はスクリーン面と同じ位置に、マイナスの場合はスクリーン面よりも奥に、それぞれ提示される。

ステップＳ１３において、境界に隣接する領域において再現される立体映像の提示位置が、スクリーン面か、または、スクリーン面よりも奥となるような視差にするため、視差の調整量を求め、ステップＳ７に進む。ここで、算出する視差の調整量について、具体的に説明する。ステップＳ１１で求めた視差の値が０以下となるように、立体画像データＩＤ３ｎの視差を調整すればよい。

ステップＳ７において、視差調整手段５は、算出された視差調整量に基づき、視差調整を行い、立体画像データＩＤ４ｎを作成する。図２６は、立体画像データＩＤ３ｎに対して、視差調整を行う方法について説明する図である。視差調整手段５は、算出された視差調整量に基づき、立体画像データＩＤ３１の左目用画像データ５７Ｌの被写体８と、立体画像データＩＤ３２の左目用画像データ５８Ｌの被写体８を左方向に、それぞれ同じ視差量だけずらすとともに、立体画像データＩＤ３１の右目用画像データ５７Ｒの被写体８と、立体画像データＩＤ３２の右目用画像データ５８Ｒの被写体８を右方向に、それぞれ同じ視差量だけずらすことにより、視差の値が０以下となるように視差調整を行う。なお、表示手段６は、図２のステップＳ８で説明した場合と同様の動作により、上記視差調整手段５で視差調整された立体画像データＩＤ４ｎを、立体で表示する。

ここで、視差調整手段５で視差調整を行う効果について図面を用いて詳細に説明する。図２７は、視差調整が行われた際の立体映像の提示位置について説明する図である。図２７において、視差調整手段５が視差調整を行わず、立体画像データＩＤ３ｎをそのまま正面パネル５２と床面パネル５５上に表示した場合は、正面スクリーン５９と、床面スクリーン６０、被写体６１の位置に、立体映像が提示される。

この場合、正面パネル５２には枠フレームがあるため、点線領域６２に示すように、表示できない領域が発生し、その結果、被写体６１が枠フレームで遮られるため、対応点の消失や、画枠張り付き効果が発生する。画枠張り付き効果とは、一般的に、両眼立体視において、画面よりも手前に飛び出して立体で提示される対象が、枠フレームなどの画枠で遮られる場合、左右眼への映像部分に違いが生じ、不安定な見えになる視野闘争や、対象が枠フレームに張り付いて立体感が抑えられ、変形したように見える現象であり、額縁効果とも呼ばれている。この現象は、視覚疲労を引き起こす可能性があり、立体画像データの視聴の安全性が低下するという問題がある。

また、図２７において、ステップＳ７において作成された立体画像データＩＤ４ｎを、正面パネル５２と床面パネル５５上に表示した場合は、正面スクリーン６３と、床面スクリーン６４、被写体６５の位置に、立体映像がそれぞれ提示される。
以上のようにして、枠フレームに隣接する領域において、枠フレームよりも手前に立体で提示される被写体がある場合は、隣接領域の視差が枠フレームよりも奥に立体で提示されるように、視差調整を行うことによって、上記で述べた画枠貼り付き効果を解消し、より快適で安全な立体視を実現することができる。

以上のようにして、本発明の立体画像データ表示システム１は、従来の複数のスクリーン面を持つ立体画像データ提示システムにおいて、複数のスクリーン面として、プロジェクターなどで使用する投影型のスクリーンではなく、たとえば液晶パネルや、有機ＥＬ、プラズマディスプレイなどのように、枠フレームが存在し、パネルの境界部分が滑らかに接合されない直視型のパネルを用いた場合であっても、境界部分における枠フレームや、各ディスプレイ面の配置を考慮して画像を切り出し、各ディスプレイ面の傾きに応じてパースペクティブを補正し、かつ、枠フレームよりも奥に立体で提示されるように、視差調整を行っている。これにより、対応点の消失や、画枠張り付き効果等による、立体視の破たんや、視差闘争が起こり、２重に見えたり、ちかちかして見えたりする現象である、画枠張り付き効果をなくし、枠フレームの有無やパネルの配置に依存せず、視覚疲労のない、安全で快適な立体視を実現することができる。

また、図２８は、画像表示手段６の別の構成例である。図２８（Ａ）は表示手段６の２枚のパネルの配置を正面から見た図を、図２８（Ｂ）は表示手段６の２枚のパネルの配置を横から見た図をそれぞれ示す。ここで示すように、枠フレーム５１の下の境界部分が、枠フレーム５４で隠れるように、パネル５５はそのままだが、パネル５２のみ、図２１の場合と比べ、下にさげて設置している。この場合であっても同様にして、枠フレームに隣接する領域において、枠フレームよりも手前に立体で提示される被写体がある場合は、隣接領域の視差が枠フレームよりも奥に立体で提示されるように、視差調整を行うことによって、貼り付き効果を解消し、より快適で安全な立体視を実現することができる。

以上では、立体画像データを撮影する場合について説明したが、平面（２Ｄ）画像を撮影した場合、各手段において処理を行わず、そのまま画像表示手段６に出力し、平面画像を表示するようにしても良い。
または、立体画像データ入力手段２が、撮影した２Ｄ画像に対し、２Ｄの画像から３Ｄの画像を作り出す処理である２Ｄ−３Ｄ変換処理を行うことによって、立体画像データの画像データを新たに作成しても良い。

上記では、立体画像データ入力手段２として、カメラを設置し、立体画像データを撮影する場合について説明したが、立体画像データ入力手段２に、カメラからの撮像画像の代わりに、各種記録メディアや、インターネット配信、放送波の受信等、外部から画像データを直接入力できるようにしてもかまわない。なおこのとき、立体画像データ入力手段２は、受け付けた画像データを、既定の形式の画像データに変換し、画像切り出し手段３に出力する。

また、このときの立体画像データ入力手段２は、カメラの代わりに、例えば、放送波を受信するチューナ、ブルーレイ（Ｂｌｕ−ｒａｙ（登録商標））ディスクプレイヤーなどの外部機器からの画像信号を受け付けるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）レシーバなどで構成しても構わない。ここで、立体画像データの画像データの形式は、例えば、トップアンドボトム形式（左右画像が縦に並ぶように1枠フレームの画像として格納されている形式）やサイドバイサイド形式（左右画像が横に並ぶように１フレームの画像として格納されている形式）、フレームシーケンシャル形式（左画像、右画像が経時的に入力される形式）など、種々の形式が存在する。

また、以上では、左右２視点の画像の場合について説明しているが、例えば、多眼撮像システムによって撮影されたような、多視点の立体画像データであってもよく、各視点画像に、左右の画像それぞれに対して処理を行った際と同様にして、画像の切り出し、パースペクティブの補正、視差の調整等を行えばよい。

また、以上では、上下方向に複数のパネルを並べる場合について説明したが、左右方向に並べるのであっても構わない。この場合、撮影時のカメラと、表示に用いるスクリーン面の位置と、向きに合わせ、上下方向の場合と同様に、切り出しや、パースペクティブ歪みの補正、境界面における視差調整を行ってやればよい。

また、本発明は、上記で説明した立体テレビのような立体画像データ表示システムだけでなく、立体デジタルカメラ、立体デジタルムービー、立体デジタルビデオレコーダー、立体携帯型ムービープレイヤー、立体携帯電話、立体カーナビゲーションシステム、立体携帯型ＤＶＤプレイヤー、立体ＰＣ等において、複数のスクリーンを対象とした立体映像信号を出力し、表示することができるシステムについても広く適用できる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１…立体画像データ表示システム、２…立体画像データ入力手段、３…画像切り出し手段、４…歪み補正手段、５…視差調整手段、６…画像表示手段、７Ｌ…左カメラ、７Ｒ…右カメラ、８，４３，４６，４９，６１，６５…被写体、９，４１，４４，４７，５９，６３…正面スクリーン、１０，４２，４５，４８，６０，６４…床面スクリーン、１１Ｌ…左カメラの光軸、１１Ｒ…右カメラの光軸、１２…線分、１３Ｌ，１３Ｒ，１４，２７，２８，２９，３０，３１，３２，３３，３４，３５，３６，３７…点、１５Ｌ…投影面、１７Ｌ，１８Ｌ，１９Ｌ，２０Ｌ，５７Ｌ，５８Ｌ，１００…左目用画像データ、１７Ｒ，１８Ｒ，１９Ｒ，２０Ｒ，５７Ｒ，５８Ｒ，１０１…右目用画像データ、２０，２２…最遠点、２１，２３…最近点、２４，１０７…左目、２５，１０８…右目、２６，５０，５３…画面、３８…視聴者、３９，５２…正面パネル、４０，５５…床面パネル、５１，５４…枠フレーム、５６，６２…領域、１０２…アクティブ・シャッターメガネ、１０３…左目用のレンズシャッター、１０４…右目用のレンズシャッター、１０５…画像表示パネル、１０６…パララクスバリア。

Claims (7)

1. 複数の画像表示面に対して、複数の視点画像データから生成した立体視用の画像データを生成する立体画像データ生成システムであって、
   前記複数の視点画像データを入力する立体画像入力手段と、
   前記複数の画像表示面の配置情報と傾き情報を用いて、前記複数の視点画像データから各前記複数の画像表示面用の画像データを切り出す画像切り出し手段と、
   前記傾き情報を用いて、各前記複数の画像表示面用の画像データのパースペクティブを補正する歪み補正手段と、
   前記配置情報を用いて、前記パースペクティブを補正後の各前記複数の画像表示面用の画像データに対して視差調整を行う視差調整手段とを備えることを特徴とする立体画像データ生成システム。
2. 請求項１に記載の立体画像データ生成システムにおいて、前記視差調整手段は、各前記複数の画像表示面用の画像データに対して視差の調整量が同じ値となるように、視差調整を行うことを特徴とする立体画像データ生成システム。
3. 請求項１または２に記載の立体画像データ生成システムにおいて、前記視差調整手段は、前記配置情報から各前記画像表示面の境界における非表示領域の配置を求め、該非表示領域に隣接する各前記画像表示面の領域における視差が、各前記画像表示面よりも奥に引っ込む方向の視差となるように、視差調整を行うことを特徴とする立体画像データ生成システム。
4. 複数の画像表示面を有する画像表示手段を備えた立体画像表示システムであって、前記画像表示手段は、請求項１から３のいずれか１に記載の立体画像データ生成システムから前記立体視用の画像データを受け取り、前記複数の画像表示面に立体画像を表示することを特徴とする立体画像データ表示システム。
5. 複数の画像表示面に対して、複数の視点画像データから生成した立体視用の画像データを表示する立体画像データ表示方法あって、
   前記複数の視点画像データを生成または入力する立体画像入力ステップと、
   前記複数の画像表示面の配置情報と傾き情報を用いて、前記複数の視点画像データから各前記複数の画像表示面用の画像データを切り出す画像切り出しステップと、
   前記傾き情報を用いて、各前記複数の画像表示面用の画像データのパースペクティブを補正する歪み補正ステップと、
   前記配置情報を用いて、前記パースペクティブを補正後の各前記複数の画像表示面用の画像データに対して視差調整を行う視差調整ステップを備えることを特徴とする立体画像データ表示方法。
6. 請求項５に記載の立体画像データ表示方法であって、前記視差調整ステップは、各前記複数の画像表示面用の画像データに対して視差の調整量が同じ値となるように、視差調整を行うことを特徴とする立体画像データ表示方法。
7. 請求項５または６に記載の立体画像データ表示方法において、前記視差調整ステップは、前記配置情報から、各前記画像表示面の境界における非表示領域の配置を求め、該非表示領域に隣接する各前記画像表示面の領域における視差が、各前記画像表示面よりも奥に引っ込む方向の視差となるように、視差調整を行うことを特徴とする立体画像データ表示方法。

Images