JP2011055022A - 立体画像表示システム、視差変換装置、視差変換方法およびプログラム - Google Patents

Abstract

【課題】立体表示装置によって立体表示を行う際、視聴者の負担を軽減し、立体像をより自然に快適に見せる。
【解決手段】視差推定部２１０は、入力画像の左右画像から視差を推定して、視差マップを生成する。視差解析部２３０は、視差マップを解析して、適切な視差制御を行うための視差制御パラメータを生成する。視差制御部２４０は、視差制御パラメータに従って画像変換部２５０における処理内容を制御する。画像変換部２５０は、視差制御部２４０による制御に基づいて入力画像に対して画像変換を行って、出力画像を出力する。画像変換部２５０は、２段階の画像変換を行う。第１段階目の画像変換として、例えば入力画像の左右画像の相対位置を水平方向にシフトさせるシフト処理を行う。第２段階目の画像変換として、例えば左右画像の各中心を基準として画面全体の拡大縮小を行うスケーリング処理を行う。
【選択図】図２４

Description

本発明は、立体画像表示システムに関し、特に立体画像における視差を変換する視差変換装置、立体画像表示システム、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、画像表示装置により立体画像を表示する技術が用いられている。このような画像表示装置により表示された立体画像を視聴する際には、実世界と輻輳角が同じであっても焦点距離が異なってくるため、視覚疲労を起こす要因となる。特に、画面内においてある部分が飛び出し過ぎている場合や、動画表示中に不用意に物体が飛び出す場合など、視差の変化が大きいと視聴者に負担になる。

そのため、従来、自然な立体表示を行うために、左画像に対して右画像を右側または左側にずらすオフセットを設定することにより、飛び出し度や奥行き感を調整する技術が提案されている（例えば、特許文献１参照。）。

特許第３９７８３９２号公報（図３、４）

上述の従来技術では、飛び出し度を弱めるためには左画像に対して右画像を右側にずらし、奥行き感を弱めるためには左画像に対して右画像を左側にずらす必要がある。したがって、右画像をずらした方向によって立体像が全体的に移動してしまい、視差の分布のダイナミックレンジを考慮して調整することが困難になってしまう。

本発明はこのような状況に鑑みてなされたものであり、立体表示装置によって立体表示を行う際、視聴者の負担を軽減し、立体像をより自然に快適に見せることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力画像の左画像および右画像のそれぞれについて第１段階目の画像変換を施す第１の画像変換部と、上記第１段階目の画像変換が施された後の左画像および右画像のそれぞれについて第２段階目の画像変換を施して出力画像を生成する第２の画像変換部と、上記入力画像の左画像および右画像から視差を推定して、画素または画素群毎の視差を保持する視差マップを生成する視差推定部と、上記視差マップを解析して、上記入力画像における上記視差の分布が所定の範囲に収まるように視差制御パラメータを生成する視差解析部と、上記視差制御パラメータに基づいて上記第１および第２の画像変換部における画像変換を制御する視差制御部とを具備する視差変換装置、その視差変換方法ならびにプログラムである。これにより、２段階の画像変換によって入力画像における視差の分布が所定の範囲に収まるようになるという作用をもたらす。

また、この第１の側面において、上記第１の画像変換部は、上記第１段階目の画像変換として上記入力画像の左画像および右画像の相対位置を水平方向にシフトさせるシフト処理を行い、上記第２の画像変換部は、上記第１段階目の画像変換が施された後の左画像および右画像の中心を基準として拡大縮小を行うスケーリング処理を行うようにしてもよい。また、上記第１の画像変換部は、上記第１段階目の画像変換として上記入力画像の左画像および右画像の内側位置を基準として拡大縮小を行うスケーリング処理を行い、上記第２の画像変換部は、上記第１段階目の画像変換が施された後の左画像および右画像の中心を基準として拡大縮小を行うスケーリング処理を行うようにしてもよい。また、上記第１の画像変換部は、上記第１段階目の画像変換として上記入力画像の左画像および右画像の外側位置を基準として拡大縮小を行うスケーリング処理を行い、上記第２の画像変換部は、上記第１段階目の画像変換が施された後の左画像および右画像の中心を基準として拡大縮小を行うスケーリング処理を行うようにしてもよい。これら２段階の画像変換により、立体像をより自然に快適に見せるという作用をもたらす。

また、この第１の側面において、上記視差解析部が、上記入力画像の所定のストレス値の総量が最小になるように上記視差制御パラメータを決定するようにしてもよい。これにより、ストレス値を基準とした視差制御を行わせるという作用をもたらす。

また、この第１の側面において、上記入力画像の左画像および右画像における注目領域を推定して、上記入力画像における注目領域の位置および注目度を示す注目領域マップを生成する注目領域推定部をさらに具備し、上記視差解析部が、上記視差マップに加えて上記注目領域マップを考慮して上記視差制御パラメータを生成するようにしてもよい。これにより、注目領域マップを考慮した視差制御を行わせるという作用をもたらす。

また、この第１の側面において、上記出力画像の画枠周辺の領域において視聴者の片目のみに入力され、かつ、表示面よりも手前に飛び出す領域を塗りつぶすように上記出力画像を変換する画枠変換部をさらに具備してもよい。これにより、画枠周辺の不快な領域を塗りつぶすように画像を変換させるという作用をもたらす。

また、本発明の第２の側面は、入力画像の左画像および右画像のそれぞれについて第１段階目の画像変換を施す第１の画像変換部と、上記第１段階目の画像変換が施された後の左画像および右画像のそれぞれについて第２段階目の画像変換を施して出力画像を生成する第２の画像変換部と、上記第１および第２の画像変換部における画像変換に関する操作入力を受け付ける操作受付部と、上記操作入力に従って視差制御パラメータを生成し、上記視差制御パラメータに基づいて上記第１および第２の画像変換部における画像変換を制御する視差制御部とを具備する視差変換装置、その視差変換方法ならびにプログラムである。これにより、２段階の画像変換によって入力画像における視差の分布が所定の範囲に収まるようになるという作用をもたらす。

また、この第２の側面において、上記操作受付部が、予めプリセットされた視差制御パラメータの組合せを示す抽象化視差制御パラメータを上記操作入力として受け付けるようにしてもよい。これにより、視差制御パラメータの指定を容易にさせるという作用をもたらす。

また、本発明の第３の側面は、左画像および右画像を立体画像の対として備える入力画像を供給する入力画像供給部と、上記入力画像の左画像および右画像のそれぞれについて第１段階目の画像変換を施す第１の画像変換部と、上記第１段階目の画像変換が施された後の左画像および右画像のそれぞれについて第２段階目の画像変換を施して出力画像を生成する第２の画像変換部と、上記入力画像の左画像および右画像から視差を推定して、画素または画素群毎の視差を保持する視差マップを生成する視差推定部と、上記視差マップを解析して、上記入力画像における上記視差の分布が所定の範囲に収まるように視差制御パラメータを生成する視差解析部と、上記視差制御パラメータに基づいて上記第１および第２の画像変換部における画像変換を制御する視差制御部と、上記出力画像を表示する画像表示装置とを具備する立体画像表示システムその表示方法ならびにプログラムである。これにより、２段階の画像変換によって入力画像における視差の分布が所定の範囲に収まるように表示させるという作用をもたらす。

本発明によれば、立体表示装置によって立体表示を行う際、視聴者の負担を軽減し、立体像をより自然に快適に見せることができるという優れた効果を奏し得る。

本発明の実施の形態における立体画像表示システムの構成例を示す図である。 本発明の第１の実施の形態における視差変換装置２００の構成例を示す図である。 本発明の実施の形態における画像変換部２５０の構成例を示す図である。 視差と立体像までの距離との関係を説明するための図である。 本発明の実施の形態による画像変換部２５０におけるシフト処理の態様を示す図である。 本発明の実施の形態におけるシフト処理の前後による立体像距離の変化の関係を示すグラフである。 本発明の実施の形態におけるシフト処理による立体感の変化の例を示す図である。 本発明の実施の形態による画像変換部２５０におけるフレーム中心位置を基準としたスケーリング処理の態様を示す図である。 本発明の実施の形態におけるフレーム中心位置を基準としたスケーリング処理の前後による立体像距離の変化の関係を示すグラフである。 本発明の実施の形態におけるシフト処理とスケーリング処理の組合せによる立体感の変化の例を示す図である。 立体視の快適な範囲について説明するための図である。 本発明の実施の形態におけるシフト処理とスケーリング処理の組合せによる立体感の調整の一例を示す図である。 本発明の実施の形態におけるシフト処理とスケーリング処理の組合せによる立体感の調整の他の例を示す図である。 本発明の第１の実施の形態による視差変換処理の手順例を示す流れ図である。 本発明の実施の形態による画像変換部２５０におけるフレーム内側位置を基準としたスケーリング処理の態様を示す図である。 本発明の実施の形態におけるフレーム内側位置を基準としたスケーリング処理の前後による立体像距離の変化の関係を示すグラフである。 本発明の実施の形態による画像変換部２５０におけるフレーム外側位置を基準としたスケーリング処理の態様を示す図である。 本発明の実施の形態におけるフレーム外側位置を基準としたスケーリング処理の前後による立体像距離の変化の関係を示すグラフである。 本発明の実施の形態における２段階のスケーリング処理による第１の具体例を示す図である。 本発明の実施の形態における２段階のスケーリング処理による第２の具体例を示す図である。 本発明の実施の形態においてキュービック補間を行う場合の例を示す図である。 本発明の第１の実施の形態における視差制御パラメータの推奨設定範囲の例を示す図である。 本発明の第１の実施の形態における抽象化視差制御パラメータの例を示す図である。 本発明の第２の実施の形態における視差変換装置２００の構成例を示す図である。 本発明の第２の実施の形態におけるシフト処理と視差ヒストグラムの関係例を示す図である。 本発明の第２の実施の形態におけるスケーリング処理と視差ヒストグラムの関係例を示す図である。 視差とストレス値との関係の一例を示す図である。 本発明の第２の実施の形態による視差変換処理の手順例を示す流れ図である。 本発明の第３の実施の形態における視差変換装置２００の構成例を示す図である。 本発明の第３の実施の形態における視差変換処理の具体例を示す図である。 本発明の第３の実施の形態における視差ヒストグラムの具体例を示す図である。 本発明の第３の実施の形態による視差変換処理の手順例を示す流れ図である。 本発明の第４の実施の形態における視差変換装置２００の構成例を示す図である。 本発明の第４の実施の形態における画枠変換部２８０による処理の前後の状態例を示す図である。 本発明の第４の実施の形態による視差変換処理の手順例を示す流れ図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（パラメータ指定による視差制御）
２．第２の実施の形態（視差解析に基づく視差制御）
３．第３の実施の形態（注目領域を考慮した視差制御）
４．第４の実施の形態（画枠周辺を考慮した視差制御）
５．変形例

＜１．第１の実施の形態＞
［立体画像表示システムの構成例］
図１は、本発明の実施の形態における立体画像表示システムの構成例を示す図である。この立体画像表示システムは、画像記憶装置１００と、視差変換装置２００と、表示制御装置３００と、画像表示装置４００とを備える。

画像記憶装置１００は、立体表示のための画像データを記憶するものである。ここで、画像データは、人間の左眼に知覚される左画像と人間の右眼に知覚される右画像とを対にした立体画像であり、１組の左右画像からなる静止画であってもよく、また、左右画像（フレーム）を時系列に並べた動画であってもよい。なお、画像記憶装置１００は、特許請求の範囲に記載の入力画像供給部の一例である。

視差変換装置２００は、画像記憶装置１００に記憶された画像データにおける立体画像の視差を変換するものである。すなわち、この視差変換装置２００の入力および出力はともに立体画像であり、両眼により把握される視差が異なるように変換される。

表示制御装置３００は、視差変換装置２００から出力された画像データを画像表示装置４００に表示させるように制御するものである。画像表示装置４００は、画像データを立体画像として表示する立体ディスプレイである。立体表示方式としては、走査線毎に左右画像を交互に配置する方式や時分割で左右画像を表示する方式などの任意の方式を適用することができる。この画像表示装置４００の表示方式に対応するように、表示制御装置３００は表示制御を行うことになる。

［視差変換装置の構成例］
図２は、本発明の第１の実施の形態における視差変換装置２００の構成例を示す図である。この視差変換装置２００は、左画像１１および右画像１２からなる立体画像を入力画像１０として受けて、その視差を変換して、左画像３１および右画像３２からなる立体画像を出力画像３０として出力するものである。この視差変換装置２００は、操作受付部２９０と、視差制御部２４０と、画像変換部２５０とを備える。

操作受付部２９０は、ユーザからの操作入力を受け付けるためのユーザインターフェースである。操作入力としては、後述する視差制御パラメータを直接入力するようにしてもよく、また、一定の規則により抽象化したパラメータを入力するようにしてもよい。

視差制御部２４０は、操作受付部２９０により受け付けられた操作入力に基づいて、画像変換部２５０における処理内容を制御することにより、入力画像１０の視差を制御するものである。

画像変換部２５０は、視差制御部２４０による制御に基づいて、入力画像１０に対して画像変換を行って、出力画像３０を出力するものである。後述するように、この画像変換部２５０における画像変換は左右画像それぞれについて２段階の処理が行われるようになっている。

［画像変換部の構成例］
図３は、本発明の実施の形態における画像変換部２５０の構成例を示す図である。この画像変換部２５０は、左画像前変換部２５１と、右画像前変換部２５２と、左画像後変換部２５３と、右画像後変換部２５４とを備える。

左画像前変換部２５１は、左画像１１に対して第１段階目の画像変換を施すものである。右画像前変換部２５２は、右画像１２に対して第１段階目の画像変換を施すものである。左画像後変換部２５３は、左画像１１に対して第２段階目の画像変換を施すものである。右画像後変換部２５４は、右画像１２に対して第２段階目の画像変換を施すものである。これら左画像前変換部２５１、右画像前変換部２５２、左画像後変換部２５３および右画像後変換部２５４は、視差制御部２４０によってそれぞれ独立に制御されるようになっている。なお、左画像前変換部２５１および右画像前変換部２５２は、特許請求の範囲に記載の第１の画像変換部の一例である。また、左画像後変換部２５３および右画像後変換部２５４は、特許請求の範囲に記載の第２の画像変換部の一例である。

この画像変換部２５０における第１段階目の画像変換としては、後述のように、左右画像を移動させるシフト処理を用いることが想定される。ただし、このシフト処理に代えて、左右画像の端を基準として画面全体を水平方向に拡大縮小するスケーリング処理を用いることが可能である。また、画像変換部２５０における第２段階目の画像変換としては、後述のように、左右画像の中心を基準として画面全体を水平方向に拡大縮小するスケーリング処理を用いることが想定される。左右画像のそれぞれについてこのような２段階の画像変換を行うことにより、より自然な立体感を再現することができる。

この画像変換部２５０における画像変換は、以下のように一般化される。ここでは、座標（ｘ，ｙ）の画素をｐ（ｘ，ｙ）とし、左右画像上の注目画素をｐ（ｘ_L，ｙ_L）、ｐ（ｘ_R，ｙ_R）とし、視差制御後の左右画像上の画素をｐ（ｘ'_L，ｙ'_L）、ｐ（ｘ'_R，ｙ'_R）とする。

ここで、（ｘ_Li，ｙ_Li）、（ｘ_Ri，ｙ_Ri）は、左右画像のそれぞれのオフセット項である（ただし、ｉは０または１）。

上述の一般式から、左右画像の相対位置を水平方向にシフトさせるシフト処理は、次式により定義される。

このとき、視差制御パラメータは、シフト量ｓである。

また、左右画像の中心を基準として画面全体を水平方向に拡大縮小するスケーリング処理は、次式により定義される。

このとき、視差制御パラメータは、スケーリング率ｒ、左画像の中心の水平座標ｘ_LC、右画像の中心の水平座標ｘ_RCである。

また、フレーム内側位置を基準として画面全体を水平方向に拡大縮小するスケーリング処理は、次式により定義される。

このとき、視差制御パラメータは、スケーリング率ｒ、左画像の右端の水平座標ｘ_LR、右画像の左端の水平座標ｘ_RLである。

また、フレーム外側位置を基準として画面全体を水平方向に拡大縮小するスケーリング処理は、次式により定義される。

このとき、視差制御パラメータは、スケーリング率ｒ、左画像の左端の水平座標ｘ_LL、右画像の右端の水平座標ｘ_RRである。

［視差と立体像の関係］
図４は、視差と立体像までの距離との関係を説明するための図である。この図では、左右眼の間隔を両眼間隔ｄ_e、左右眼の中心から立体ディスプレイの表示面までの距離を視距離Ｌ_s、左右眼の中心から立体像までの距離を立体像距離Ｌ_d、左画像の表示面上の水平座標をＸ_L、右画像の表示面上の水平座標をＸ_Rとしている。このとき、視差ｄは、Ｘ_LとＸ_Rとの相対的な距離として定義される。
ｄ＝Ｘ_R−Ｘ_L
すなわち、立体像が立体ディスプレイの表示面よりも奥に存在する場合には視差ｄは正の数になり、立体ディスプレイの表示面よりも手前に存在する場合には視差ｄは負の数になる。

また、同図において、
Ｌ_d：Ｌ_s＝ｄ_e：（ｄ_e−ｄ）
となる。両眼間隔ｄ_eは６．５［ｃｍ］程度であり、Ｌ_sは通常の場合、１．５乃至１．７［ｍ］程度と考えられるため、これらは固定値として把握することができる。これにより、視差ｄと立体像距離Ｌ_dとの関係は次式により表され、視差ｄに依存して立体感（立体像距離Ｌ_d）が変化することが理解される。
Ｌ_d＝Ｌ_s・ｄ_e／（ｄ_e−ｄ）

［シフト処理による画像変換］
図５は、本発明の実施の形態による画像変換部２５０におけるシフト処理の態様を示す図である。図５（ａ）は、シフト量ｓ＝０、すなわちシフト処理が行われていない状態の左右画像である。左画像の水平（ｘ）方向の注目画素の座標をｘ_L、右画像の水平方向の注目画素の座標をｘ_Rとしている。

図５（ｂ）は、シフト量ｓ＞０、すなわち左右画像が互いに遠ざかる方向にシフト処理を行った状態を示す図である。左画像の水平方向の注目画素の座標がｘ_Lからｘ'_Lになるように、左画像は左方向へｓ／２画素シフトされている。一方、右画像の水平方向の注目画素の座標がｘ_Rからｘ'_Rになるように、右画像は右方向へｓ／２画素シフトされている。すなわち、左右画像がそれぞれｓ／２画素ずつ、計ｓ画素シフトされたことになる。

図５（ｃ）は、シフト量ｓ＜０、すなわち左右画像が互いに近づく方向にシフト処理を行った状態を示す図である。左画像の水平方向の注目画素の座標がｘ_Lからｘ''_Lになるように、左画像は右方向へｓ／２画素シフトされている。一方、右画像の水平方向の注目画素の座標がｘ_Rからｘ''_Rになるように、右画像は左方向へｓ／２画素シフトされている。すなわち、左右画像がそれぞれｓ／２画素ずつ、計ｓ画素シフトされたことになる。

座標（ｘ，ｙ）の画素をｐ（ｘ，ｙ）とし、左右画像上の注目画素をｐ（ｘ_L，ｙ_L）、ｐ（ｘ_R，ｙ_R）とすると、シフト量ｓによる視差制御後の左右画像上の画素ｐ（ｘ'_L，ｙ'_L）、ｐ（ｘ'_R，ｙ'_R）は、それぞれ以下のようになる。
ｐ（ｘ'_L，ｙ'_L）＝ｐ（ｘ_L−ｓ／２，ｙ_L）
ｐ（ｘ'_R，ｙ'_R）＝ｐ（ｘ_R＋ｓ／２，ｙ_R）

図６は、本発明の実施の形態におけるシフト処理の前後による立体像距離の変化の関係を示すグラフである。縦の太線は立体ディスプレイの表示面の位置を示しており、ここでは１．５［ｍ］を想定している。

シフト量ｓでシフト処理を行った場合、視差はｄ＋ｓに変化するため、シフト処理後の立体像距離Ｌ'_dは次式のようになる。
Ｌ'_d＝Ｌ_s・ｄ_e／（ｄ_e−（ｄ＋ｓ））

すなわち、左右画像が互いに遠ざかる方向にシフト処理を行った場合（ｓ＞０）には、立体像がより奥に移動したように知覚される。このとき、シフト量が増すほど立体像がより奥に移動し、奥にあるものほど奥に移動したように知覚される。一方、左右画像が互いに近づく方向にシフト処理を行った場合（ｓ＜０）には、立体像がより手前に移動したように知覚される。このとき、シフト量の絶対値が増すほど立体像がより手前に移動し、奥にあるものほど手前に移動したように知覚される。

図７は、本発明の実施の形態におけるシフト処理による立体感の変化の例を示す図である。この例では、左右画像が遠ざかる方向にシフト処理を行っており、飛び出しすぎた立体像を奥に移動させることができる。ただし、もともと奥にあった立体感が奥に移動しすぎる場合があり、そのような場合には第２段階目の画像変換により調整されることが望ましい。

［フレーム中心位置を基準としたスケーリング処理による画像変換］
図８は、本発明の実施の形態による画像変換部２５０におけるフレーム中心位置を基準としたスケーリング処理の態様を示す図である。図８（ａ）は、スケーリング率ｒ＝１、すなわちスケーリング処理が行われていない状態の左右画像である。左画像の水平（ｘ）方向の注目画素の座標をｘ_L、中心座標をｘ_LCとしている。また、右画像の水平方向の注目画素の座標をｘ_R、中心座標をｘ_RCとしている。

図８（ｂ）は、スケーリング率ｒ＞１、すなわち左右画像の中心座標ｘ_LCおよびｘ_RCをそれぞれ基準として画面全体を水平方向に拡大処理した状態を示す図である。このとき、左画像の水平方向の注目画素の座標がｘ_Lからｘ'_Lになるように拡大される。同様に、右画像の水平方向の注目画素の座標がｘ_Rからｘ'_Rになるように拡大される。

図８（ｃ）は、スケーリング率ｒ＜１、すなわち左右画像の中心座標を基準として画面全体を水平方向に縮小処理した状態を示す図である。このとき、画枠の部分には元の画像が存在しない状態となるため、黒色や白色などの画像を挿入する処理を行う。

座標（ｘ，ｙ）の画素をｐ（ｘ，ｙ）とし、左右画像上の注目画素をｐ（ｘ_L，ｙ_L）、ｐ（ｘ_R，ｙ_R）とすると、スケーリング率ｒによる視差制御後の左右画像上の画素ｐ（ｘ'_L，ｙ'_L）、ｐ（ｘ'_R，ｙ'_R）は、それぞれ以下のようになる。
ｐ（ｘ'_L，ｙ'_L）＝ｐ（ｒ（ｘ_L−ｘ_LC）＋ｘ_LC，ｙ_L）
ｐ（ｘ'_R，ｙ'_R）＝ｐ（ｒ（ｘ_R−ｘ_RC）＋ｘ_RC，ｙ_R）

図９は、本発明の実施の形態におけるフレーム中心位置を基準としたスケーリング処理の前後による立体像距離の変化の関係を示すグラフである。縦の太線は立体ディスプレイの表示面の位置を示しており、ここでは１．５［ｍ］を想定している。

スケーリング率ｒでスケーリング処理を行った場合、視差はｒ×ｄに変化するため、シフト処理後の立体像距離Ｌ'dは次式のようになる。
Ｌ'_d＝Ｌ_s・ｄ_e／（ｄ_e−ｒ・ｄ）

すなわち、縮小処理を行った場合（ｒ＜１）には、奥行きのダイナミックレンジが縮小され、立体ディスプレイの表示面の位置よりも奥の立体像はより手前に移動し、立体ディスプレイの表示面の位置よりも手前の立体像はより奥に移動したように知覚される。一方、拡大処理を行った場合（ｒ＞１）には、奥行きのダイナミックレンジが拡大され、立体ディスプレイの表示面の位置よりも奥の立体像はより奥に移動し、立体ディスプレイの表示面の位置よりも手前の立体像はより手前に移動したように知覚される。

図１０は、本発明の実施の形態におけるシフト処理とスケーリング処理の組合せによる立体感の変化の例を示す図である。この例では、左右画像が遠ざかる方向にシフト処理を行った後に、縮小のスケーリング処理を行っており、飛び出しすぎた立体像を奥に移動させた後に、さらに快適な範囲に収まるように第２段階目の画像変換として縮小による調整が行われている。

［立体視の快適な範囲］
図１１は、立体視の快適な範囲について説明するための図である。両眼間隔ｄ_e、視距離Ｌ_s、立体像距離Ｌ_dについては、図４と同様の記号により表している。ここでは、３Ｄコンソーシアム安全ガイドライン部会による「３ＤＣ安全ガイドライン」（2008年12月10日改訂版）を参考にして、立体ディスプレイの表示面上の視差角から±１°の視差角を快適な範囲と考える。このとき、立体ディスプレイの表示面上の視差角を視差角βとし、βに対して±１°の視差角をαとして表すと、
｜α−β｜≦１°（＝π／１８０）
α＝β±（π／１８０）
である。

ここで、視距離Ｌ_sとβとの関係は、
（ｄ_e／２）／Ｌ_s＝ｔａｎ（β／２）
β＝２ｔａｎ^-1（ｄ_e／（２Ｌ_s））
となる。また、立体像距離Ｌ_dとαの関係は、
Ｌ_d＝ｄ_e／２ｔａｎ（α／２）
であるから、快適に視聴できる奥行き方向の範囲は以下のようになる。
ｄ_e／２ｔａｎ（α_max／２）〜ｄ_e／２ｔａｎ（α_min／２）
ただし、
α_max＝β＋π／１８０
α_min＝β−π／１８０
である。

［２段階の画像変換による視差制御］
図１２は、本発明の実施の形態におけるシフト処理とスケーリング処理の組合せによる立体感の調整の一例を示す図である。４６Ｖ型テレビにおいて快適に視聴できる範囲は、標準視距離３Ｈ、すなわち１．７［ｍ］においては、ディスプレイの表示面の手前０．５［ｍ］から奥１．５［ｍ］の範囲と考えられる。これは、視差に置き換えると、−５６画素から＋５５画素の範囲である。

この例では、視差として−８０画素から＋３２画素の範囲に立体像が存在するものとする。まず、第１段階目の画像変換として、奥行き方向に２５画素のシフト処理を行うと、立体像は視差として−５５画素から＋５７画素の範囲に移動する。この場合、奥行きの部分において立体像がわずかに快適な範囲からはみ出すような状態となる。そこで、第２段階目の画像変換として、水平方向に０．９５［倍］のスケーリング処理を行う。このスケーリング処理は、上述のとおりフレーム中心位置を基準としたものである。これにより、立体像は視差として−５２画素から＋５４画素の範囲となり、上述の快適な範囲に収まることがわかる。

図１３は、本発明の実施の形態におけるシフト処理とスケーリング処理の組合せによる立体感の調整の他の例を示す図である。視距離を１．５［ｍ］とした場合、４６Ｖ型テレビにおいて快適に視聴できる範囲は、ディスプレイの表示面の手前０．４［ｍ］から奥１．０［ｍ］の範囲と考えられる。これは、視差に置き換えると、−４９画素から＋４９画素の範囲である。

この例においても、視差として−８０画素から＋３２画素の範囲に立体像が存在するものとする。まず、第１段階目の画像変換として、図１２の例と同様に、奥行き方向に２５画素のシフト処理を行うと、立体像は視差として−５５画素から＋５７画素の範囲に移動する。この場合、手前および奥行きの両部分において立体像がわずかに快適な範囲からはみ出すような状態となる。そこで、第２段階目の画像変換として、水平方向に０．９０［倍］のスケーリング処理を行う。このスケーリング処理は、上述のとおりフレーム中心位置を基準としたものである。これにより、立体像は視差として−４９画素から＋４９画素の範囲となり、上述の快適な範囲に収まることがわかる。

このように、第１段階目の画像変換としてシフト処理を行い、第２段階目の画像変換としてフレーム中心位置を基準としたスケーリング処理を行うことにより、画像変換による副作用を抑えながら、快適に視聴できる範囲に立体像を収めることができる。

この場合、第１段階目の画像変換のシフト量をｓ、第２段階目の画像変換のスケーリング率をｒ₁とすると、両者を適用した場合の左右画像上の画素ｐ（ｘ''_L，ｙ''_L）、ｐ（ｘ''_R，ｙ''_R）は、それぞれ以下のようになる。
ｐ（ｘ''_L，ｙ''_L）＝ｐ（ｒ₁（ｘ_L−ｓ／２−ｘ_LC）＋ｘ_LC，ｙ_L）
ｐ（ｘ''_R，ｙ''_R）＝ｐ（ｒ₁（ｘ_R＋ｓ／２−ｘ_RC）＋ｘ_RC，ｙ_R）
上式により多段のスケーリングの座標変換を一括して実行することも可能であり、また、２段階に分けて実行するようにしてもよい。

［視差変換の処理手順］
図１４は、本発明の第１の実施の形態による視差変換処理の手順例を示す流れ図である。まず、操作受付部２９０が、ユーザからの操作入力を受け付ける（ステップＳ９１０）。この受け付けられた操作入力に従って、視差制御部２４０は画像変換部２５０に対する制御を行う。画像変換部２５０では、左画像前変換部２５１および右画像前変換部２５２において第１段階目の画像変換が行われる（ステップＳ９７０）。その後、左画像後変換部２５３および右画像後変換部２５４において第２段階目の画像変換が行われる（ステップＳ９８０）。

上述の実施の形態では、第１段階目の画像変換としてシフト処理を想定して説明したが、シフト処理に代えて、フレーム内側または外側位置を基準としたスケーリング処理を用いるようにしてもよい。以下では、フレーム内側または外側位置を基準としたスケーリング処理について説明する。

［フレーム内側位置を基準としたスケーリング処理による画像変換］
図１５は、本発明の実施の形態による画像変換部２５０におけるフレーム内側位置を基準としたスケーリング処理の態様を示す図である。図１５（ａ）は、スケーリング率ｒ＝１、すなわちスケーリング処理が行われていない状態の左右画像である。左画像の水平（ｘ）方向の注目画素の座標をｘ_L、右端座標をｘ_LRとしている。また、右画像の水平方向の注目画素の座標をｘ_R、左端座標をｘ_RLとしている。

図１５（ｂ）は、スケーリング率ｒ＞１、すなわち左右画像のフレーム内側位置をそれぞれ基準として画面全体を水平方向に拡大処理した状態を示す図である。このとき、左画像の水平方向の注目画素の座標がｘ_Lからｘ'_Lになるように拡大される。同様に、右画像の水平方向の注目画素の座標がｘ_Rからｘ'_Rになるように拡大される。左右画像の基準位置である左画像の右端座標ｘ_LRおよび右画像の左端座標ｘ_RLに変更はない。

図１５（ｃ）は、スケーリング率ｒ＜１、すなわち左右画像のフレーム内側位置を基準として画面全体を水平方向に縮小処理した状態を示す図である。このとき、画枠の部分には元の画像が存在しない状態となるため、黒色や白色などの画像を挿入する処理を行う。左右画像の基準位置である左画像の右端座標ｘ_LRおよび右画像の左端座標ｘ_RLに変更はない。

座標（ｘ，ｙ）の画素をｐ（ｘ，ｙ）とし、左右画像上の注目画素をｐ（ｘ_L，ｙ_L）、ｐ（ｘ_R，ｙ_R）とすると、スケーリング率ｒによる視差制御後の左右画像上の画素ｐ（ｘ'_L，ｙ'_L）、ｐ（ｘ'_R，ｙ'_R）は、それぞれ以下のようになる。
ｐ（ｘ'_L，ｙ'_L）＝ｐ（ｒ（ｘ_L−ｘ_LR）＋ｘ_LR，ｙ_L）
ｐ（ｘ'_R，ｙ'_R）＝ｐ（ｒ（ｘ_R−ｘ_RL）＋ｘ_RL，ｙ_R）

図１６は、本発明の実施の形態におけるフレーム内側位置を基準としたスケーリング処理の前後による立体像距離の変化の関係を示すグラフである。縦の太線は立体ディスプレイの表示面の位置を示しており、ここでは１．５［ｍ］を想定している。

縮小処理を行った場合（ｒ＜１）には、立体像がより手前に移動したように知覚される。このとき、スケーリング率が小さくなるほど立体像がより手前に移動し、奥にあるものほど手前に移動したように知覚される。一方、拡大処理を行った場合（ｒ＞１）には、立体像がより奥に移動したように知覚される。このとき、スケーリング率が増すほど立体像がより奥に移動し、奥にあるものほど奥に移動したように知覚される。

同図と図６とを比較すると分かるように、フレーム内側位置を基準としたスケーリング処理は、立体像距離の変化についてシフト処理の場合と同様の傾向を示す。例えば、スケーリング率ｒ＝１０１％のフレーム内側位置を基準としたスケーリング処理によれば、シフト量ｓ＝２０とした場合のシフト処理と同様の効果を得ることができる。また、スケーリング率ｒ＝９９％のフレーム内側位置を基準としたスケーリング処理によれば、シフト量ｓ＝−２０とした場合のシフト処理と同様の効果を得ることができる。したがって、第１段階目の画像変換としてシフト処理を行う代わりに、フレーム内側位置を基準としたスケーリング処理を行うことができる。

ここで、シフト処理とフレーム中心を基準としたスケーリング処理の枠組みで、フレーム内側位置を基準としたスケーリング処理とフレーム中心を基準としたスケーリング処理を実行する場合を考えるために式変形を行うと次式のようになる。
ｘ''_L＝ｒ₁ｒ₀（ｘ_L−（ｒ₀−１）（ｘ_LR−ｘ_LC）／ｒ₀−ｘ_LC）＋ｘ_LC
ｘ''_R＝ｒ₁ｒ₀（ｘ_R−（ｒ₀−１）（ｘ_RL−ｘ_RC）／ｒ₀−ｘ_RC）＋ｘ_RC
すなわち、左画像に対しては、シフト量（２（ｒ₀−１）（ｘ_LR−ｘ_LC）／ｒ₀）のシフト処理を行い、スケーリング率ｒ₁ｒ₀のフレーム中心を基準としたスケーリング処理を行うのと等価であることになる。また、右画像に対しては、シフト量（−２（ｒ₀−１）（ｘ_RL−ｘ_LC）／ｒ₀）のシフト処理を行い、スケーリング率ｒ₁ｒ₀のフレーム中心を基準としたスケーリング処理を行うのと等価であることになる。

［フレーム外側位置を基準としたスケーリング処理による画像変換］
図１７は、本発明の実施の形態による画像変換部２５０におけるフレーム外側位置を基準としたスケーリング処理の態様を示す図である。図１７（ａ）は、スケーリング率ｒ＝１、すなわちスケーリング処理が行われていない状態の左右画像である。左画像の水平（ｘ）方向の注目画素の座標をｘ_L、左端座標をｘ_LLとしている。また、右画像の水平方向の注目画素の座標をｘ_R、右端座標をｘ_RRとしている。

図１７（ｂ）は、スケーリング率ｒ＞１、すなわち左右画像のフレーム外側位置をそれぞれ基準として水平方向に拡大処理を行った状態を示す図である。このとき、左画像の水平方向の注目画素の座標がｘ_Lからｘ'_Lになるように拡大される。同様に、右画像の水平方向の注目画素の座標がｘ_Rからｘ'_Rになるように拡大される。左右画像の基準位置である左画像の左端座標ｘ_LLおよび右画像の右端座標ｘ_RRに変更はない。

図１７（ｃ）は、スケーリング率ｒ＜１、すなわち左右画像のフレーム外側位置を基準として水平方向に縮小処理を行った状態を示す図である。このとき、画枠の部分には元の画像が存在しない状態となるため、黒色や白色などの画像を挿入する処理を行う。左右画像の基準位置である左画像の左端座標ｘ_LLおよび右画像の右端座標ｘ_RRに変更はない。

座標（ｘ，ｙ）の画素をｐ（ｘ，ｙ）とし、左右画像上の注目画素をｐ（ｘ_L，ｙ_L）、ｐ（ｘ_R，ｙ_R）とすると、スケーリング率ｒによる視差制御後の左右画像上の画素ｐ（ｘ'_L，ｙ'_L）、ｐ（ｘ'_R，ｙ'_R）は、それぞれ以下のようになる。
ｐ（ｘ'_L，ｙ'_L）＝ｐ（ｒ（ｘ_L−ｘ_LL）＋ｘ_LL，ｙ_L）
ｐ（ｘ'_R，ｙ'_R）＝ｐ（ｒ（ｘ_R−ｘ_RR）＋ｘ_RR，ｙ_R）

図１８は、本発明の実施の形態におけるフレーム外側位置を基準としたスケーリング処理の前後による立体像距離の変化の関係を示すグラフである。縦の太線は立体ディスプレイの表示面の位置を示しており、ここでは１．５［ｍ］を想定している。

縮小処理を行った場合（ｒ＜１）には、立体像がより手前に移動したように知覚される。このとき、スケーリング率が小さくなるほど立体像がより手前に移動し、奥にあるものほど手前に移動したように知覚される。一方、拡大処理を行った場合（ｒ＞１）には、立体像がより奥に移動したように知覚される。このとき、スケーリング率が増すほど立体像がより奥に移動し、奥にあるものほど奥に移動したように知覚される。

同図と図６とを比較すると分かるように、フレーム外側位置を基準としたスケーリング処理は、立体像距離の変化についてシフト処理の場合と同様の傾向を示す。例えば、スケーリング率ｒ＝１０１％のフレーム外側位置を基準としたスケーリング処理によれば、シフト量ｓ＝２０とした場合のシフト処理と同様の効果を得ることができる。また、スケーリング率ｒ＝９９％のフレーム外側位置を基準としたスケーリング処理によれば、シフト量ｓ＝−２０とした場合のシフト処理と同様の効果を得ることができる。したがって、第１段階目の画像変換としてシフト処理を行う代わりに、フレーム外側位置を基準としたスケーリング処理を行うことができる。

ここで、シフト処理とフレーム中心を基準としたスケーリング処理の枠組みで、フレーム外側位置を基準としたスケーリング処理とフレーム中心を基準としたスケーリング処理を実行する場合を考えるために式変形を行うと次式のようになる。
ｘ''_L＝ｒ₁ｒ₀（ｘ_L−（ｒ₀−１）（ｘ_LL−ｘ_LC）／ｒ₀−ｘ_LC）＋ｘ_LC
ｘ''_R＝ｒ₁ｒ₀（ｘ_R−（ｒ₀−１）（ｘ_RR−ｘ_RC）／ｒ₀−ｘ_RC）＋ｘ_RC
すなわち、左画像に対しては、シフト量（２（ｒ₀−１）（ｘ_LL−ｘ_LC）／ｒ₀）のシフト処理を行い、スケーリング率ｒ₁ｒ₀のフレーム中心を基準としたスケーリング処理を行うのと等価であることになる。また、右画像に対しては、シフト量（−２（ｒ₀−１）（ｘ_RR−ｘ_LC）／ｒ₀）のシフト処理を行い、スケーリング率ｒ₁ｒ₀のフレーム中心を基準としたスケーリング処理を行うのと等価であることになる。

図１９は、本発明の実施の形態における２段階のスケーリング処理による第１の具体例を示す図である。この例では、第１段階目の画像変換として、フレーム内側位置を基準としたスケーリング処理が行われる。これにより、左画像の水平方向の注目画素の座標がｘ_Lからｘ'_Lになるように拡大され、右画像の水平方向の注目画素の座標がｘ_Rからｘ'_Rになるように拡大される。このとき、左右画像の基準位置である左画像の右端座標ｘ_LRおよび右画像の左端座標ｘ_RLに変更はない。

また、第２段階目の画像変換として、フレーム中心位置を基準としたスケーリング処理が行われる。これにより、左画像の水平方向の注目画素の座標がｘ'_Lからｘ''_Lになるように縮小され、右画像の水平方向の注目画素の座標がｘ'_Rからｘ''_Rになるように縮小される。このとき、画枠の部分には元の画像が存在しない状態となるため、黒色や白色などの画像を挿入する処理が行われる。この挿入処理に必要な画像は、第１段階目の画像変換としてシフト処理を行った場合と比べて、より小さくすることができる。

このように、第１段階目の画像変換としてフレーム内側位置を基準としたスケーリング処理を行い、第２段階目の画像変換としてフレーム中心位置を基準としたスケーリング処理を行うことにより、画枠近辺の黒色などの画像挿入を最小限に抑えることができる。

第１段階目の画像変換のスケーリング率をｒ₀、第２段階目の画像変換のスケーリング率をｒ₁とすると、両者を適用した場合の左右画像上の画素ｐ（ｘ''_L，ｙ''_L）、ｐ（ｘ''_R，ｙ''_R）は、それぞれ以下のようになる。
ｐ（ｘ''_L，ｙ''_L）＝ｐ（ｒ₁（ｒ₀（ｘ_L−ｘ_LR）＋ｘ_LR−ｘ_LC）＋ｘ_LC，ｙ_L）
ｐ（ｘ''_R，ｙ''_R）＝ｐ（ｒ₁（ｒ₀（ｘ_R−ｘ_RL）＋ｘ_RL−ｘ_RC）＋ｘ_RC，ｙ_R）
上式により多段のスケーリングの座標変換を一括して実行することも可能であり、また、２段階に分けて実行するようにしてもよい。

図２０は、本発明の実施の形態における２段階のスケーリング処理による第２の具体例を示す図である。この例では、第１段階目の画像変換として、フレーム外側位置を基準としたスケーリング処理が行われる。これにより、左画像の水平方向の注目画素の座標がｘ_Lからｘ'_Lになるように拡大され、右画像の水平方向の注目画素の座標がｘ_Rからｘ'_Rになるように拡大される。このとき、左右画像の基準位置である左画像の左端座標ｘ_LLおよび右画像の右端座標ｘ_RRに変更はない。

また、第２段階目の画像変換として、フレーム中心位置を基準としたスケーリング処理が行われる。これにより、左画像の水平方向の注目画素の座標がｘ'_Lからｘ''_Lになるように縮小され、右画像の水平方向の注目画素の座標がｘ'_Rからｘ''_Rになるように縮小される。このとき、画枠の部分には元の画像が存在しない状態となるため、黒色や白色などの画像を挿入する処理が行われる。この挿入処理に必要な画像は、第１段階目の画像変換としてシフト処理を行った場合と比べて、より小さくすることができる。

このように、第１段階目の画像変換としてフレーム外側位置を基準としたスケーリング処理を行い、第２段階目の画像変換としてフレーム中心位置を基準としたスケーリング処理を行うことにより、画枠近辺の黒色などの画像挿入を最小限に抑えることができる。

第１段階目の画像変換のスケーリング率をｒ₀、第２段階目の画像変換のスケーリング率をｒ₁とすると、両者を適用した場合の左右画像上の画素ｐ（ｘ''_L，ｙ''_L）、ｐ（ｘ''_R，ｙ''_R）は、それぞれ以下のようになる。
ｐ（ｘ''_L，ｙ''_L）＝ｐ（ｒ₁（ｒ₀（ｘ_L−ｘ_LL）＋ｘ_LL−ｘ_LC）＋ｘ_LC，ｙ_L）
ｐ（ｘ''_R，ｙ''_R）＝ｐ（ｒ₁（ｒ₀（ｘ_R−ｘ_RR）＋ｘ_RR−ｘ_RC）＋ｘ_RC，ｙ_R）
上式により多段のスケーリングの座標変換を一括して実行することも可能であり、また、２段階に分けて実行するようにしてもよい。

［キュービック補間］
図２１は、本発明の実施の形態においてキュービック補間を行う場合の例を示す図である。本発明の実施の形態では、スケーリング率によっては画素単位のみならず、副画素（サブピクセル）単位まで座標が必要になる場合がある。そこで、ここでは、画素以下の座標の画素を取得するための手法として、キュービック（cubic）補間を適用する例について説明する。

生成画素Ｐの周辺４×４タップを利用して画素を求めることを想定する。生成画素Ｐの座標の整数部を（ｘ，ｙ）とし、フィルタのタップをｐ（ｘ＋ｉ，ｙ＋ｊ）、フィルタ係数をＷ_i,jとすると、生成画素Ｐは次式により表される。

ここで、生成画素Ｐとタップとの距離に応じて、次のようにフィルタ係数Ｗを求める。
Ｗ＝１−２ｄ²＋ｄ³ （ｄ＜１）
＝４−８ｄ＋５ｄ²−ｄ³ （１≦ｄ＜２）
＝０ （ｄ≧２）

例えば、（ｘ−１，ｙ−１）の画素に対応する係数の重みＷ_-1,-1は、
水平Ｗ_x＝４−８（１＋△ｘ）＋５（１＋△ｘ）²−（１＋△ｘ）³
水平Ｗ_y＝４−８（１＋△ｙ）＋５（１＋△ｙ）²−（１＋△ｙ）³
として、両者の乗算として表される。
Ｗ_-1,-1＝Ｗ_xＷ_y
ここで、（△ｘ，△ｙ）は、生成画素Ｐの小数部となる。

［視差制御パラメータの推奨設定範囲］
図２２は、本発明の第１の実施の形態における視差制御パラメータの推奨設定範囲の例を示す図である。上述のように、本発明の実施の形態では、画像変換部２５０において２段階の画像変換を行うが、その場合の視差制御パラメータの設定には自由度がある。ここでは、設定の目安として、視差制御パラメータの推奨設定範囲について例示する。

まず、画像変換としてシフト処理を行う場合、シフト量ｓとして−１２８画素から＋１２８画素の値を設定することが推奨される。なお、シフト量ｓ＞０であれば左右画像が互いに遠ざかる方向にシフト処理が行われ、シフト量ｓ＜０であれば左右画像が互いに近づく方向にシフト処理が行われる。このシフト処理は、第１段階目の画像変換として用いられることが想定される。

また、画像変換としてスケーリング処理を行う場合、スケーリング率ｒとして０．８０倍から１．２０倍の値を設定することが推奨される。なお、スケーリング率ｒ＞１であれば拡大するスケーリング処理が行われ、スケーリング率ｒ＜１であれば縮小するスケーリング処理が行われる。また、スケーリング処理の際の基準位置としては、フレーム中心位置（図８等）、フレーム内側位置（図１５等）、フレーム外側位置（図１７等）の何れかを設定することが推奨される。フレーム中心位置を基準としたスケーリング処理は、第２段階目の画像変換として用いられることが想定される。フレーム内側または外側位置を基準としたスケーリング処理は、第１段階目においてシフト処理の代わりに行われることが想定される。

［抽象化視差制御パラメータ］
図２３は、本発明の第１の実施の形態における抽象化視差制御パラメータの例を示す図である。本発明の第１の実施の形態では、操作受付部２９０によって何らかの視差制御パラメータが入力されることを前提としているが、各パラメータの組合せによって得られる効果が異なるため、適正な値を設定することは必ずしも容易ではない。そこで、視差制御パラメータの設定を容易にするための手法の一例として、抽象化視差制御パラメータを用いる例について説明する。

ここでは、視差制御の強度の一例として、「強」、「中」、「弱」、「オフ」の４段階の抽象化視差制御パラメータを想定する。「強」の場合に最も強く視差制御が行われ、「中」から「弱」になるにつれて視差制御の強さが弱くなり、「オフ」の場合には視差制御は行われない。「強」の場合には、第１段階目の画像変換としてシフト量ｓ＝６０画素のシフト処理が行われ、第２段階目の画像変換としてスケーリング率ｒ＝０．８５倍のフレーム中心を基準としたスケーリング処理が行われる。「中」の場合には、第１段階目の画像変換としてシフト量ｓ＝４０画素のシフト処理が行われ、第２段階目の画像変換としてスケーリング率ｒ＝０．９０倍のフレーム中心を基準としたスケーリング処理が行われる。「弱」の場合には、第１段階目の画像変換としてシフト量ｓ＝０画素のシフト処理が行われたものと扱い、すなわち実際の画像変換は行われない。そして、この場合、第２段階目の画像変換としてスケーリング率ｒ＝１．０３倍のフレーム内側を基準としたスケーリング処理が行われる。「オフ」の場合には、第１段階目の画像変換としてシフト量ｓ＝０画素のシフト処理が行われたものと扱い、すなわち実際の画像変換は行われない。また、この場合、第２段階目の画像変換としてスケーリング率ｒ＝１．００倍のスケーリング処理が行われたものと扱い、すなわち実際の画像変換は行われない。

このように、予め適切にプリセットされた４段階の抽象化視差制御パラメータから選択させることにより、視差制御パラメータを簡易に指定することができる。この場合、視差制御部２４０は、抽象化視差制御パラメータに基づいて具体的な視差制御パラメータを生成して、画像変換部２５０を制御する。

＜２．第２の実施の形態＞
［視差変換装置の構成例］
図２４は、本発明の第２の実施の形態における視差変換装置２００の構成例を示す図である。上述の第１の実施の形態では視差制御パラメータの入力を操作受付部２９０において受け付けるように構成していたが、この第２の実施の形態では、左右画像の内容に基づいて視差を推定し、解析することによって視差制御パラメータを生成することを考える。この第２の実施の形態による視差変換装置２００は、第１の実施の形態における操作受付部２９０に代えて、視差推定部２１０および視差解析部２３０を備える。

視差推定部２１０は、入力画像１０の左画像１１および右画像１２から視差を推定して、視差マップを生成するものである。この視差マップは、入力画像１０の画素または画素群毎の視差を保持するものである。この場合、入力画像１０としては左画像１１または右画像１２の何れを基準にしてもよい。視差の推定手法は公知技術であり、例えば、左右画像から背景画像を除いた前景画像についてマッチングを行うことにより、左右画像の視差を推定し、視差マップを生成する技術が知られている（例えば、特開２００６−１１４０２３号公報参照）。

視差解析部２３０は、視差推定部２１０において推定された視差マップを解析して、適切な視差制御を行うための視差制御パラメータを生成するものである。具体的には、視差解析部２３０は、視差マップから視差のヒストグラムを生成し、このヒストグラムの分布が適切な範囲に収まるように視差制御パラメータを決定する。

［シフト処理と視差ヒストグラム］
図２５は、本発明の第２の実施の形態におけるシフト処理と視差ヒストグラムの関係例を示す図である。図２５（ａ）はシフト処理前の視差ヒストグラムの例であり、図２５（ｂ）はシフト処理後の視差ヒストグラムの例である。シフト処理により、視差の分布の平均がディスプレイの表示面の手前から奥側へ移動していることがわかる。

シフト処理におけるシフト量ｓの算出式としては、以下の式を利用することができる。
ｓ［画素］＝α×画像内視差平均［画素］−β×画像内視差偏差［画素］−γ
ここで、α、β、γは任意に設定可能なパラメータ値である。例えば、４２Ｖ型テレビにおいては、α＝１．０、β＝１．５、γ＝２０．０程度に設定することが考えられる。このパラメータ値は、予めデフォルト値を設定しておいて、後にユーザの嗜好に応じて変更するようにしてもよい。なお、α＝１．０、β＝０．０、γ＝２０．０に設定した場合、図２５（ｂ）のシフト処理後の平均は−２０．０になる。

［スケーリング処理と視差ヒストグラム］
図２６は、本発明の第２の実施の形態におけるスケーリング処理と視差ヒストグラムの関係例を示す図である。図２６（ａ）はスケーリング処理前の視差ヒストグラムの例であり、図２６（ｂ）はスケーリング処理後の視差ヒストグラムの例である。スケーリング処理により、視差の分布範囲が圧縮されていることがわかる。

スケーリング処理におけるスケーリング率ｒの算出式としては、以下の式を利用することができる。
ｒ［倍］＝ε×画像内視差偏差［画素］

また、別の式として、以下の式を利用することができる。
ｒ［倍］＝快適視差レンジ［画素］／画像内視差レンジ［画素］
これにより、画像内の視差レンジが快適視差レンジに収まるように、スケーリング処理によって視差を小さくすることができる。ここで、快適視差レンジとしては、上述の「３ＤＣ安全ガイドライン」では、４２Ｖ型テレビの標準視聴距離において約１００画素と定義されている。

このように、本発明の第２の実施の形態によれば、左右画像から生成された視差ヒストグラムに基づいて視差制御パラメータを生成し、この視差制御パラメータにより画像変換を行うことができる。

［ストレス値に基づく視差制御パラメータ］
図２７は、視差とストレス値との関係の一例を示す図である。ここまでの例では、視差ヒストグラムに基づいて視差制御パラメータを生成することを想定したが、ここでは、変形例として、新たに立体画像を鑑賞する際のストレス値を定義して、そのストレス値が最小になるように視差制御パラメータを決定する。

画素ｎの視差をｘ_nとして、画素ｎのストレス値ｅ_nを次式により定義する。
ｅ_n＝ｆ（ｘ_n）
ここで、ｆ（ｘ）は、視差とストレスとの関係を表す関数であり、例えば図２７のような関係を示す。この関数は、−ｘ_conf＜ｘ＜ｘ_confの間では、
ｆ（ｘ）＝λｘ²
であり、ｘ_conf＜ｘでは、
ｆ（ｘ）＝２λｘ_conf（ｘ−ｘ_conf）＋λｘ² _conf
であり、ｘ＜−ｘ_confでは、
ｆ（ｘ）＝ｘ⁴／２ｘ² _conf＋ｘ² _conf／２
である。

この関数は、上方へいくほどストレス値が高いことを示している。すなわち、立体ディスプレイの表示面よりも手前側では、手前になるほど少しずつストレス値が高くなる。一方、立体ディスプレイの表示面よりも奥側では、適度な範囲まではストレス値が低いが、ある一定の位置よりも奥になると急激にストレス値が増加する。これは、快適視差範囲を超えるとストレス値がより大きくなり、さらに奥は両眼距離よりも視差が大きくなるとストレスが非常に大きくなることが知られているからである。また、快適視差範囲を超えた場合に、奥よりも手前の方がストレスは小さいと考えられるからである。ここで、快適視差範囲は、４６Ｖ型の標準視距離において、およそ「±５０画素」である。また、両眼距離よりも視差が大きくなる奥側の位置は、４６Ｖ型の標準視距離において、およそ「−１００画素」に相当する。

シフト処理におけるシフト量をｘ_shift、スケーリング処理によるスケーリング量をａ_scaleとすると、これら処理がされた後のストレス値ｅ'_nは次式のようになる。
ｅ'_n＝ｆ（ａ_scale・ｘ_n−ｘ_shift）
したがって、この変形例によれば、画面全体のストレス値の総量Ｅ'が最小になるようなシフト量ｘ_shiftおよびスケーリング量ａ_scaleを求めることにより、視差制御パラメータを決定することができる。

［視差変換の処理手順］
図２８は、本発明の第２の実施の形態による視差変換処理の手順例を示す流れ図である。まず、視差推定部２１０が、入力画像１０の左画像１１および右画像１２から視差を推定して、視差マップを生成する（ステップＳ９２０）。そして、この生成された視差マップを視差解析部２３０が解析して、適切な視差制御を行うための視差制御パラメータを生成する（ステップＳ９４０）。この視差制御パラメータに従って、視差制御部２４０は画像変換部２５０に対する制御を行う。画像変換部２５０では、左画像前変換部２５１および右画像前変換部２５２において第１段階目の画像変換が行われる（ステップＳ９７０）。その後、左画像後変換部２５３および右画像後変換部２５４において第２段階目の画像変換が行われる（ステップＳ９８０）。

＜３．第３の実施の形態＞
［視差変換装置の構成例］
図２９は、本発明の第３の実施の形態における視差変換装置２００の構成例を示す図である。この第３の実施の形態では、上述の第２の実施の形態に対してさらに注目領域推定部２２０を備える。この注目領域推定部２２０は、入力画像１０の左画像１１および右画像１２における被写体や画枠などの注目領域を推定するものである。視差解析部２３０は、視差推定部２１０によって生成された視差マップと注目領域推定部２２０によって生成された注目領域マップとに基づいて、画枠や被写体の影響を考慮した重み付き視差ヒストグラムを算出する。視差制御部２４０および画像変換部２５０については、上述の第１または第２の実施の形態と同様である。

［注目領域マップと視差ヒストグラム］
図３０は、本発明の第３の実施の形態における視差変換処理の具体例を示す図である。図３０（ａ）は、入力画像のイメージ例であり、実際には左画像および右画像から構成される。図３０（ｂ）は、視差推定部２１０によって生成される視差マップの一例である。図３０（ｃ）は、注目領域推定部２２０によって生成される画枠を考慮した注目領域マップの一例である。図３０（ｄ）は、注目領域推定部２２０によって生成される被写体に着目した注目領域マップの一例である。

注目領域マップは、入力画像における注目領域の位置および注目度を示すものであり、白いほど影響率、すなわち注目度が高いことを示す。すなわち、図３０（ｃ）では、画枠に近い部分が白くなっており、この部分の影響を考慮すべき旨を示している。一方、図３０（ｄ）では、人物に対応する領域が白くなっており、この部分の影響を考慮すべき旨を示している。

図３１は、本発明の第３の実施の形態における視差ヒストグラムの具体例を示す図である。上述の第２の実施の形態では、視差解析部２３０において視差マップがそのまま用いられ、例えば図３１（ａ）のような視差ヒストグラムが生成される。なお、視差ヒストグラムにおいては、左側が立体ディスプレイの表示面よりも奥を表し、右側が立体ディスプレイの表示面よりも手前を表している。

これに対し、この第３の実施の形態では、注目領域推定部２２０によって生成される注目領域マップが加味されるため、例えば図３１（ｂ）のような重み付き視差ヒストグラムが生成される。この重み付き視差ヒストグラムにおいて、最も手前の部分では画枠による影響が加味されている。また、中央付近では人物による影響が加味されている。視差解析部２３０は、このような影響が注目領域における影響が加味された重み付き視差ヒストグラムを生成して、このヒストグラムの分布が適切な範囲に収まるように視差制御パラメータを決定する。

［視差変換の処理手順］
図３２は、本発明の第３の実施の形態による視差変換処理の手順例を示す流れ図である。まず、視差推定部２１０が、入力画像１０の左画像１１および右画像１２から視差を推定して、視差マップを生成する（ステップＳ９２０）。また、注目領域推定部２２０が、被写体や画枠などの注目領域を推定する（ステップＳ９３０）。そして、視差解析部２３０が推定された注目領域における影響を考慮して視差マップを解析して、適切な視差制御を行うための視差制御パラメータを生成する（ステップＳ９４０）。この視差制御パラメータに従って、視差制御部２４０は画像変換部２５０に対する制御を行う。画像変換部２５０では、左画像前変換部２５１および右画像前変換部２５２において第１段階目の画像変換が行われる（ステップＳ９７０）。その後、左画像後変換部２５３および右画像後変換部２５４において第２段階目の画像変換が行われる（ステップＳ９８０）。

このように、本発明の第３の実施の形態によれば、注目領域における影響を考慮して視差制御パラメータを生成し、この視差制御パラメータにより画像変換を行うことができる。

＜４．第４の実施の形態＞
［視差変換装置の構成例］
図３３は、本発明の第４の実施の形態における視差変換装置２００の構成例を示す図である。この第４の実施の形態では、上述の第２の実施の形態に対してさらに画枠変換部２８０を備える。この画枠変換部２８０は、画枠周辺の領域において視聴者の片目だけに表示されて不快な領域を塗りつぶすように画像を変換するものである。

画枠周辺において飛び出たオブジェクトが存在すると視聴者に対して見難いという印象を与えやすい。一方、画枠周辺で引っ込んだオブジェクトは、それほど見難くはならないことが多い。したがって、片目だけに表示されて不快な領域は、画像が視聴者の片目のみに入力され、かつ、ディスプレイの表示面よりも手前に飛び出す領域ということになる。このような不快な領域は、デプスマップを用いることにより判別可能である。この第４の実施の形態では、視差推定部２１０においてデプスマップが生成されるものとし、視差解析部２３０において不快な領域を判断するものとする。視差解析部２３０における判断結果に基づいて、画枠変換部２８０において視聴者の片目だけに表示されて不快な領域を塗りつぶすように画像を変換する。

［画枠周辺と視差制御］
図３４は、本発明の第４の実施の形態における画枠変換部２８０による処理の前後の状態例を示す図である。図３４（ａ）は、画枠変換部２８０による処理前の状態であり、左眼のみに入力され、かつ、ディスプレイの表示面よりも手前に飛び出す領域に木が存在している。この図において、灰色部分は、片目のみに入力され、かつ、ディスプレイの表示面よりも手前に飛び出す領域であり、これが不快な領域である。一方、斜線部分は、片目のみに入力され、かつ、ディスプレイの表示面よりも奥に引っ込んだ領域であり、この領域は不快な領域ではない。上述の木は灰色部分に架かっており不快な領域に存在することになる。

図３４（ｂ）は、画枠変換部２８０による処理後の状態である。ここでは、左画像において不快な領域が黒色により塗りつぶされている。これは、灰色部分を変更することと等価である。これにより、不快な領域に存在する木が画像上から消去され、不快さを低減することができる。

［視差変換の処理手順］
図３５は、本発明の第４の実施の形態による視差変換処理の手順例を示す流れ図である。ステップＳ９２０からＳ９８０までは上述の第２の実施の形態と同様の処理を行う。そして、画像変換部２５０における２段階の画像変換が完了すると（ステップＳ９７０およびＳ９８０）、画枠変換部２８０が画枠周辺において片目だけに表示されて不快な領域を塗りつぶすように画像を変換する（ステップＳ９９０）。

このように、本発明の第４の実施の形態によれば、画枠周辺の片目だけに表示されて不快な領域を塗りつぶすように画像を変換することにより、立体視した際の不快さを低減することができる。

＜５．変形例＞
上述の実施の形態においては、水平方向のみに拡大縮小するスケーリング処理を想定して説明したが、本発明はこれに限定されるものではなく、同時に垂直方向にも拡大縮小するようにしても構わない。この場合、アスペクト比を維持するように制御することが可能となるが、拡大時の画像の溢れや縮小時の画枠部分の画像挿入処理などの水平方向における事情は、垂直方向においても同様に生じ得る。

また、上述の実施の形態においては、第１の実施の形態として２段階の画像変換による立体像の快適な範囲への収束、第２の形態として視差ヒストグラムに基づく視差制御パラメータの生成について説明した。さらに、第３の実施の形態として注目領域への対応、第４の実施の形態として画枠周辺への対応について説明した。これらは適宜組み合わせて実施することができる。例えば、第３の実施の形態の注目領域への対応を行った後に、第４の実施の形態の画枠周辺への対応を行うようにしてもよい。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００ 画像記憶装置
２００ 視差変換装置
２１０ 視差推定部
２２０ 注目領域推定部
２３０ 視差解析部
２４０ 視差制御部
２５０ 画像変換部
２５１ 左画像前変換部
２５２ 右画像前変換部
２５３ 左画像後変換部
２５４ 右画像後変換部
２８０ 画枠変換部
２９０ 操作受付部
３００ 表示制御装置
４００ 画像表示装置

Claims (12)

1. 入力画像の左画像および右画像のそれぞれについて第１段階目の画像変換を施す第１の画像変換部と、
   前記第１段階目の画像変換が施された後の左画像および右画像のそれぞれについて第２段階目の画像変換を施して出力画像を生成する第２の画像変換部と、
   前記入力画像の左画像および右画像から視差を推定して、画素または画素群毎の視差を保持する視差マップを生成する視差推定部と、
   前記視差マップを解析して、前記入力画像における前記視差の分布が所定の範囲に収まるように視差制御パラメータを生成する視差解析部と、
   前記視差制御パラメータに基づいて前記第１および第２の画像変換部における画像変換を制御する視差制御部と
   を具備する視差変換装置。
2. 前記第１の画像変換部は、前記第１段階目の画像変換として前記入力画像の左画像および右画像の相対位置を水平方向にシフトさせるシフト処理を行い、
   前記第２の画像変換部は、前記第１段階目の画像変換が施された後の左画像および右画像の中心を基準として拡大縮小を行うスケーリング処理を行う
   請求項１記載の視差変換装置。
3. 前記第１の画像変換部は、前記第１段階目の画像変換として前記入力画像の左画像および右画像の内側位置を基準として拡大縮小を行うスケーリング処理を行い、
   前記第２の画像変換部は、前記第１段階目の画像変換が施された後の左画像および右画像の中心を基準として拡大縮小を行うスケーリング処理を行う
   請求項１記載の視差変換装置。
4. 前記第１の画像変換部は、前記第１段階目の画像変換として前記入力画像の左画像および右画像の外側位置を基準として拡大縮小を行うスケーリング処理を行い、
   前記第２の画像変換部は、前記第１段階目の画像変換が施された後の左画像および右画像の中心を基準として拡大縮小を行うスケーリング処理を行う
   請求項１記載の視差変換装置。
5. 前記視差解析部は、前記入力画像の所定のストレス値の総量が最小になるように前記視差制御パラメータを決定する
   請求項１記載の視差変換装置。
6. 前記入力画像の左画像および右画像における注目領域を推定して、前記入力画像における注目領域の位置および注目度を示す注目領域マップを生成する注目領域推定部をさらに具備し、
   前記視差解析部は、前記視差マップに加えて前記注目領域マップを考慮して前記視差制御パラメータを生成する
   請求項１記載の視差変換装置。
7. 前記出力画像の画枠周辺の領域において視聴者の片目のみに入力され、かつ、表示面よりも手前に飛び出す領域を塗りつぶすように前記出力画像を変換する画枠変換部をさらに具備する
   請求項１記載の視差変換装置。
8. 入力画像の左画像および右画像のそれぞれについて第１段階目の画像変換を施す第１の画像変換部と、
   前記第１段階目の画像変換が施された後の左画像および右画像のそれぞれについて第２段階目の画像変換を施して出力画像を生成する第２の画像変換部と、
   前記第１および第２の画像変換部における画像変換に関する操作入力を受け付ける操作受付部と、
   前記操作入力に従って視差制御パラメータを生成し、前記視差制御パラメータに基づいて前記第１および第２の画像変換部における画像変換を制御する視差制御部と
   を具備する視差変換装置。
9. 前記操作受付部は、予めプリセットされた視差制御パラメータの組合せを示す抽象化視差制御パラメータを前記操作入力として受け付ける
   請求項８記載の視差変換装置。
10. 左画像および右画像を立体画像の対として備える入力画像を供給する入力画像供給部と、
    前記入力画像の左画像および右画像のそれぞれについて第１段階目の画像変換を施す第１の画像変換部と、
    前記第１段階目の画像変換が施された後の左画像および右画像のそれぞれについて第２段階目の画像変換を施して出力画像を生成する第２の画像変換部と、
    前記入力画像の左画像および右画像から視差を推定して、画素または画素群毎の視差を保持する視差マップを生成する視差推定部と、
    前記視差マップを解析して、前記入力画像における前記視差の分布が所定の範囲に収まるように視差制御パラメータを生成する視差解析部と、
    前記視差制御パラメータに基づいて前記第１および第２の画像変換部における画像変換を制御する視差制御部と、
    前記出力画像を表示する画像表示装置と
    を具備する立体画像表示システム。
11. 入力画像の左画像および右画像から視差を推定して、画素または画素群毎の視差を保持する視差マップを生成する視差推定手順と、
    前記視差マップを解析して、前記入力画像における前記視差の分布が所定の範囲に収まるように視差制御パラメータを生成する視差解析手順と、
    前記視差制御パラメータに基づいて前記入力画像の左画像および右画像のそれぞれについて第１段階目の画像変換を施す第１の画像変換手順と、
    前記第１段階目の画像変換が施された後の左画像および右画像のそれぞれについて第２段階目の画像変換を施して出力画像を生成する第２の画像変換手順と
    を具備する視差変換方法。
12. 入力画像の左画像および右画像から視差を推定して、画素または画素群毎の視差を保持する視差マップを生成する視差推定手順と、
    前記視差マップを解析して、前記入力画像における前記視差の分布が所定の範囲に収まるように視差制御パラメータを生成する視差解析手順と、
    前記視差制御パラメータに基づいて前記入力画像の左画像および右画像のそれぞれについて第１段階目の画像変換を施す第１の画像変換手順と、
    前記第１段階目の画像変換が施された後の左画像および右画像のそれぞれについて第２段階目の画像変換を施して出力画像を生成する第２の画像変換手順と
    をコンピュータに実行させるプログラム。

Images