JP5367846B2 - 画像処理装置、方法およびプログラム、並びに、立体画像表示装置 - Google Patents

Description

本発明の実施形態は、画像処理装置及び方法、並びに、立体画像表示装置に関する。

複数の画素が配列された表示パネルの前面に、各画素からの光線の出射方向を制御する光線制御部を設け、互いに視差を有する複数の視差画像を表示することにより、専用眼鏡を用いずに、視聴者に立体画像を観察させることが可能な立体画像表示装置がある。

このような立体画像表示装置では、或る視差画像を表示する画素からの光線に、他の視差画像を表示する画素からの光線の一部が混ざり込むことによるクロストークが発生し、視聴者が良好な立体画像を観察できない場合が生じる。

しかしながら、このような立体画像表示装置では、精度よくクロストークを低減することができないという課題がある。

特開２００９−２５１０９８号公報 特開２００５−２５８４２１号公報

本発明が解決しようとする課題は、クロストークを精度よく低減することが可能な画像処理装置及び方法、並びに、立体画像表示装置を提供することである。

上記目的を達成するために、実施形態に係る画像処理装置は、指定部と、修正部とを備える。指定部は、互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する。修正部は、指定された前記画素領域の各画素と、所定の視点位置との位置関係に応じて、前記視点位置で観察されるべき画素からの光線が前記視点位置 に届くように、前記画素領域に含まれる画素の割り当てを修正した修正画素領域を得る。

第１の実施形態に係る立体画像表示装置１の概略図。 視域の回転の説明図。 画像処理装置１０を表すブロック図。 画像処理装置１０の処理を表すフローチャート。 輝度プロファイルの一例図。 表示部１５と視点との位置関係の説明図。 第２の実施形態に係る画像処理装置２０を表すブロック図。 第３の実施形態に係る画像処理装置３０を表すブロック図。

（第１の実施形態）
第１の実施形態に係る画像処理装置１０は、視聴者が裸眼で立体画像を観察可能なＴＶ、ＰＣ、スマートフォン、デジタルフォトフレーム等の立体画像表示装置１に用いられ得る。立体画像表示装置１は、互いに視差を有する複数の視差画像を表示することにより、視聴者に立体画像を観察させることが可能なものである。立体画像表示装置１は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用したものであってよい。

図１は、立体画像表示装置１の概略図である。立体画像表示装置１は、画像処理装置１０と、表示装置１５とを備える。表示装置１５は、表示パネル１５１と、光線制御部１５２とを含む。

画像処理装置１０は、取得した複数の視差画像を修正し、修正後の視差画像から立体画像を生成し、表示パネル１５１に供給する。視差画像の修正については後述する。

立体画像は、視聴者の視点位置から、光線制御部１５２を通して表示パネル１５１を観察した場合、視聴者の一方の眼には一の視差画像が観察され、もう一方の眼には他の視差画像が観察されるように、視差画像の各画素を割り当てたものである。すなわち、各視差画像の画素が並べ替えられることにより、立体画像が生成される。なお、視差画像の一画素は複数のサブ画素を含む。

表示パネル１５１は、色成分を有する複数のサブ画素（例えば、Ｒ，Ｇ，Ｂ）が、第１方向（例えば、図１における行方向（左右））と第２方向（例えば、図１における列方向（上下））とに、マトリクス状に配列された液晶パネルである。表示パネル１５１は、有機ＥＬパネルやプラズマパネル等のフラットパネルでも構わない。図１に示す表示パネル１５１は、バックライト等の光源を含んでいるものとする。

光線制御部１５２は、表示パネル１５１と対向して配置され、表示パネル１５１の各サブ画素からの光線の出射方向を制御する。光線制御部１５２は、光線を出射するための光学的開口が直線状に延伸し、当該光学的開口が第１方向に複数配列されたものである。光線制御部１５２は、例えば、シリンドリカルレンズが複数配列されたレンチキュラーシートであってよい。あるいは、光線制御部１５２は、スリットが複数配列されたパララックスバリアであってもよい。表示パネル１５１と光線制御部１５２とは、一定の距離（ギャップ）を有する。

図１に示すように、表示パネル１５１は、同一の色成分のサブ画素が第２方向に配列され、かつ、第１方向に各色成分が繰り返して配列される「縦ストライプ配列」であってよい。この場合、光線制御部１５２は、その光学的開口の延伸方向が表示パネル１５１の第２方向に対して、所定の傾きを有するように設けられる。この表示装置１５の構成を「構成Ａ」と呼ぶこととする。構成Ａの一例は、例えば特許文献２に記載されている。

表示装置１５が構成Ａの場合、視聴者との位置関係によって、視聴者に観察させるべき視差画像を表示する画素と、実際に視聴者が観察する画素とが異なる場合がある。すなわち、構成Ａの場合、第２方向の位置（高さ）に応じて、視域（立体画像を観察可能な領域）が回転する。このため、例えば特許文献１のように、単一の輝度の角度分布を用いて各画素を補正した場合、依然クロストークが残ってしまう。

図２は、表示装置１５が構成Ａの場合における、視域の回転の説明図である。従来の構成Ａの場合、表示パネル１５１は、当該画素のラインと同一の高さにある視点位置から観察されることを想定して、各視差画像を表示する画素を設定している。図２における画素の番号は、視差画像の番号（視差番号）を表す。同一番号の画素は、同一の視差画像を表示する画素である。図２の例での視差数は４視差（視差番号１〜４）であるが、他の視差数（例えば、視差番号１〜９の９視差）であってもよい。

視聴者は、視点位置Ｐと第２方向に同一の高さにある画素については、観察されるべき視差番号の画素を観察する（図２の符号１００）。すなわち、視点位置Ｐと同一の高さにあるラインの画素からは、視聴者に対して想定通りの視域が形成される。

しかし、表示パネル１５１と光線制御部１５２との間にはギャップが存在するため、視聴者は、視点位置Ｐよりも高い高さにある画素については、観察されるべき視差画像の画素よりも高いラインにある画素を観察する（図２の符号１１０）。すなわち、視点位置Ｐよりも高い高さにあるラインの画素からは、想定された視域よりも一の方向（本例の場合は、視聴者から表示装置１５に向かって右方向）に回転した視域が形成されてしまうことが分かった。

また、視聴者は、視点位置Ｐよりも低い高さにある画素については、観察されるべき視差画像の画素よりも低いラインにある画素を観察する（図２の符号１２０）。すなわち、視点位置Ｐよりも低い高さにあるラインの画素からは、想定された視域よりも他の方向（本例の場合は、視聴者から表示装置１５に向かって左方向）に回転した視域が形成されてしまうことが分かった。

以上のように、表示装置１５が構成Ａの場合、上述したような視域の回転が発生するため、単一の輝度の角度分布を用いて各画素を補正した場合、依然クロストークが残ってしまう。

このため、本実施形態では、画像処理装置１０は、取得した複数の視差画像において、少なくとも１つの画素を含む画素領域を視差画像毎に指定し、指定した画素領域の、視差画像における位置に対応する輝度の角度分布（輝度プロファイル）に基づいて、各視差画像の当該画素領域を修正する。これにより、クロストークを精度よく低減することができる。なお、本実施形態における「画像」とは、静止画でも、動画でも構わない。

図３は、画像処理装置１０を表すブロック図である。画像処理装置１０は、取得部１１と、指定部１２と、修正部１３と、生成部１４とを備える。修正部１３は、格納部５１と、抽出部１３１と、割当部１３２とを備える。

取得部１１は、立体画像として表示するための複数の視差画像を取得する。

指定部１２は、取得された各視差画像において、少なくとも１つの画素を含む画素領域を、視差画像毎に指定する。このとき、指定部１２は、各視差画像において、各々の位置が対応する画素領域（例えば、同一位置の画素領域）を指定する。画素領域は、例えば、画素単位、ライン単位、ブロック単位であってよい。

格納部５１は、視差画像中における各画素領域の位置に対応する一又は複数の輝度プロファイルを格納している。各輝度プロファイルは、予め実験やシミュレーション等により求めておいてよい。輝度プロファイルについては後述する。

抽出部１３１は、指定された画素領域の、視差画像中における位置に対応する輝度プロファイルを、格納部５１から抽出する。割当部１３２は、抽出された輝度プロファイルを用いて、指定された画素領域を、視聴者の視点位置から観察されるべき画素を割り当てた修正画素領域に修正する。割当部１３２は、全ての画素領域を修正画素領域に修正した視差画像（修正画像）を生成部１４に供給する。生成部１４は、各修正画像から立体画像を生成し、表示装置１５に出力する。表示装置１５は、立体画像を表示する。

取得部１１と、指定部１２と、修正部１３と、生成部１４とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。格納部５１は、ＣＰＵが用いるメモリや、補助記憶装置等により実現されてよい。

以上、画像処理装置１０の構成について説明した。

図４は、画像処理装置１０の処理を表すフローチャートである。取得部１１は、視差画像を取得する（Ｓ１０１）。指定部１２は、取得された視差画像において、画素領域を指定する（Ｓ１０２）。抽出部１３１は、視差画像中における、指定された画素領域の位置に対応する輝度プロファイルを、格納部５１から抽出する（Ｓ１０３）。割当部１３２は、抽出された輝度プロファイルを用いて、指定された画素領域を、視聴者の視点位置から観察されるべき画素を割り当てた修正画素領域に修正する（Ｓ１０４）。生成部１４は、各修正画像から立体画像を生成し、表示装置１５に出力する（Ｓ１０５）。

ステップＳ１０２からステップＳ１０４までは、各視差画像における全ての画素領域に対する修正が完了するまで繰り返される。

以上、画像処理装置１０の処理について説明した。以下、本実施形態について詳述する。

本実施形態では、取得部１１が取得した視差番号１〜Ｋの視差画像において、指定部１２が、画素領域ｙ（ｉ，ｊ）を指定する。抽出部１３１が、指定された画素領域ｙ（ｉ，ｊ）の、視差画像における位置に対応する輝度プロファイルＨ（ｉ，ｊ）を、格納部５１から抽出する。割当部１３２が、輝度プロファイルＨ（ｉ，ｊ）を用いて画素領域ｙ（ｉ，ｊ）を修正し、修正画素領域ｘ（ｉ，ｊ）を求める。

ここで、（ｉ，ｊ）は、画素領域ｙ（ｉ，ｊ）が視差画像においてどの位置にあるかを示す座標である。ｉは、画素領域の第１方向の座標である（インデックスでもよい）。ｊは、画素領域の第２方向の座標である（インデックスでもよい）。各視差画像において、座標（ｉ，ｊ）は共通であるのが望ましい。

従って、視差番号Ｋの視差画像の画素領域ｙ_Ｋはｙ_Ｋ（ｉ，ｊ）で表すことができ、全ての視差画像（視差番号１〜Ｋ）の画素領域ｙ_１〜ｙ_Ｋは、式１で表すことができる。

ここで、Ｔは転置を表す。すなわち、式１は、取得された全ての視差画像における画素領域をベクトルで表したものである。ｙ_１〜ｙ_Ｋは、各々、画素値を表している。

図４のステップＳ１０２において、指定部１２は、取得された各視差画像において、画素領域ｙ（ｉ，ｊ）を指定する。

図５は、輝度プロファイルの一例図である。図５では、９視差に対応する輝度プロファイルを示す。図５に示す輝度プロファイルは、視差画像を表示する画素領域（例えば、視差番号１〜９の画素）から出射される光線の輝度の角度分布を、視差画像毎に表したものである。横軸は、画素領域に対する角度（例えば、第１方向の角度）を表す。図５における「Ｖｉｅｗ１」〜「Ｖｉｅｗ９」は、各々視差番号１〜９の画素に対応している。図５に示す輝度プロファイルでは、画素領域の真正面の方向を角度０（ｄｅｇ）としている。縦軸は、輝度（光線の強度）を表す。輝度プロファイルは、画素領域毎に、輝度計等を用いて、予め測定しておいてよい。

すなわち、視聴者が角度θの視点位置から表示部１５に表示された画素領域を観察した場合、視聴者の眼には、輝度プロファイルに従って各画素の画素値が重ね合わさった光線（例えば、混色された光線）が届くため、視聴者は多重ボケの立体画像を観察してしまう。

格納部５１は、各画素領域ｙ（ｉ，ｊ）の座標（ｉ，ｊ）に対応する輝度プロファイルＨ（ｉ，ｊ）のデータを格納している。例えば、格納部５１は、画素領域ｙ（ｉ，ｊ）の座標（ｉ，ｊ）と、当該座標における輝度プロファイルとを対応付けて格納してよい。輝度プロファイルＨ（ｉ，ｊ）は、式２で表すことができる。

式２中、ｈ_Ｋ ^{（ｉ，ｊ）}（θ）は、画素領域ｙ（ｉ，ｊ）の座標（ｉ，ｊ）において、視差番号Ｋを表示する画素から出射される光線の、角度θ方向の輝度を表している。角度θ_０〜θ_Ｑは、実験やシミュレーション等で予め定められていてよい。

図４のステップＳ１０３において、抽出部１３１は、指定された画素領域ｙ（ｉ，ｊ）の座標（ｉ，ｊ）に応じた輝度プロファイルＨ（ｉ，ｊ）を、格納部５１から抽出する。

図６は、表示部１５と視点との位置関係の説明図である。図６（ａ）に示すように、表示部１５上に原点（例えば表示部１５の左上点）を設定する。原点を通る第１方向にＸ軸を設定する。原点を通る第２方向にＹ軸を設定する。原点を通り、第１方向と第２方向とに直交する方向にＺ軸を設定する。Ｚは、表示部１５から視点までの距離を表す。

図６（ｂ）に示すように、視聴者の視点位置をＰ_ｍ＝（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）とする。本実施形態では、視点位置Ｐ_ｍを予め定めている。視点位置Ｐ_ｍは複数あっても構わない（ｍ＝１，２，・・・，Ｍ）。視点位置Ｐ_ｍから、座標（ｉ，ｊ）の画素領域ｙ（ｉ，ｊ）を観察した場合、その観察方向とＺ方向とのなす角φ_ｍは、式３により表すことができる。

従って、視点位置Ｐ_ｍから画素領域ｙ（ｉ，ｊ）を観察した場合、画素領域ｙ（ｉ，ｊ）から、角度φ_ｍ方向へ届く光線の輝度ｈ^{（ｉ，ｊ）}（φ_ｍ）は、式４により表すことができる。

割当部１３２は、抽出された輝度プロファイルＨ（ｉ，ｊ）から、角度φ_ｍに相当する（θ＝φ_ｍ）輝度プロファイル成分（式２の行列式における行成分）を抽出する。角度φ_ｍに相当する輝度プロファイル成分がない場合、割当部１３２は、他の輝度プロファイル成分（θ_０〜θ_Ｑ）から補間した輝度プロファイル成分を算出してもよい。あるいは、角度φ_ｍに最も近い角度θにおける輝度プロファイル成分を抽出してもよい。

割当部１３２は、抽出した輝度プロファイル成分を用いて、各視点位置Ｐ_ｍから画素領域ｙ（ｉ，ｊ）を観察した場合における、画素領域ｙ（ｉ，ｊ）の輝度を表す光線輝度Ａ（ｉ，ｊ）を求める。光線輝度Ａ（ｉ，ｊ）は、式５により表すことができる。

図４のステップＳ１０４において、割当部１３２は、画素領域ｙ（ｉ，ｊ）と光線輝度Ａ（ｉ，ｊ）とを用いて、修正画素領域ｘ（ｉ，ｊ）を求める。すなわち、割当部１３２は、画素領域ｙ（ｉ，ｊ）との誤差が最小となるように、式６により、修正画素領域ｘ（ｉ，ｊ）を求め、各画素に割り当てる。

式６中の行列Ｂは、いずれの視差画像（視差番号ｋ）がいずれの視点位置（視点位置Ｐ_ｍ）から観察されるかを指定するものである。例えば、視差数Ｋ＝５、視点位置の数Ｍ＝２の場合、行列Ｂは式７により表すことができる。

式７は、視差番号ｋ＝３の視差画像が視点位置Ｐ_ｍ＝Ｐ_１から観察され、視差番号ｋ＝４の視差画像が視点位置Ｐ_ｍ＝Ｐ_２から観察されることを指定する行列Ｂである。式６で表される行列Ｂ以外でも、列数が視差数であり、行数が視点位置の数である行列であればよい。

割当部１３２は、例えば式８により、修正画素領域ｘ（ｉ，ｊ）＝ｘ´（ｉ，ｊ）を求めてよい。

式８は、（Ｂｙ（ｉ，ｊ）−Ａ（ｉ，ｊ）ｘ（ｉ，ｊ））^Ｔ（Ｂｙ（ｉ，ｊ）−Ａ（ｉ，ｊ）ｘ（ｉ，ｊ））を最小にするｘ（ｉ，ｊ）を求める式である。

割当部１３２は、Ｂｙ（ｉ，ｊ）−Ａ（ｉ，ｊ）ｘ（ｉ，ｊ）＝０を解析的に計算し、修正画素領域ｘ（ｉ，ｊ）を求めてもよい。これ以外にも、割当部１３２は、最急降下法や勾配法等の非線形最適化法を用いて、修正画素領域ｘ（ｉ，ｊ）を求めてもよい。
すなわち、修正画素領域ｘ（ｉ，ｊ）の各画素が各々式８をみたすように、当該画素値を割り当てる。

本実施形態によれば、視差画像における画素領域と、予め定められた視点位置との位置関係を考慮した輝度プロファイルや光線輝度を用いて、各画素領域を修正することにより、クロストークを精度よく低減することができる。

なお、取得部１１は、入力された一の画像から、各視差画像を生成しても構わない。あるいは、入力されたステレオ画像から各視差画像を生成しても構わない。また、各々の視差画像は、互いに視差を有する領域を含んでいればよい。すなわち、同一の視差となる領域を含んでいても構わない。

（変形例１）
表示パネル１５１は、同一の色成分のサブ画素が第１方向に配列され、かつ、第２方向に各色成分が繰り返して配列される「横ストライプ配列」であってよい。この場合、光線制御部１５２は、その光学的開口の延伸方向が表示パネル１５１の第２方向に対して平行に設けられる。この表示装置１５の構成を「構成Ｂ」と呼ぶこととする。

表示装置１５が構成Ｂの場合、製造誤差等により表示パネル１５１と光線制御部１５２とが完全な平行状態にならない場合がある。その場合には、本実施形態の輝度プロファイルを用いて、各画素領域を修正することにより、クロストークを精度よく低減することができる。本変形例によれば、製造誤差に起因するクロストークを低減することができる。

（変形例２）
表示装置１５が構成Ａ、又は構成Ｂのいずれであっても、表示パネル１５１と光線制御部１５２との間のギャップの大きさが、位置により異なる場合がある。この位置によってギャップの大きさが変化している状態を「ギャップムラ」と呼ぶ。その場合には、本実施形態の輝度プロファイルを用いて、各画素領域を修正することにより、クロストークを精度よく低減することができる。本変形例によれば、製造過程で生じたギャップムラに起因するクロストークを低減することができる。

（第２の実施形態）
第２の実施形態に係る画像処理装置２０は、前実施形態の輝度プロファイルに対応するフィルタ係数（輝度フィルタ）を用いて、各視差画像の画素領域の画素値を修正する。これにより、少ない処理コストで、クロストークを精度よく低減することができる。

輝度フィルタとは、予め設定された視点位置から画素領域を観察した場合に、観察されるべき視差画像を表示する画素領域（例えば、画素）からの光線が当該視点位置に届くように、視差画像ｙ（ｉ，ｊ）を変換する係数である。以下、前実施形態と異なる点について説明する。

図７は、画像処理装置２０を表すブロック図である。画像処理装置２０では、画像処理装置１０における修正部１３が、修正部２３に置き換わる。修正部２３は、格納部５２と、抽出部２３１と、割当部２３２とを備える。

格納部５２は、視差画像における各画素領域ｙ（ｉ，ｊ）に対応する一又は複数の輝度フィルタＧ（ｉ，ｊ）を格納している。輝度フィルタＧ（ｉ，ｊ）は、前実施形態の輝度プロファイルＨ（ｉ，ｊ）と等価であるのが望ましい。抽出部２３１は、指定された画素領域ｙ（ｉ，ｊ）に対応する輝度フィルタＧ（ｉ，ｊ）を、格納部５２から抽出する。

割当部２３２は、輝度フィルタＧ（ｉ，ｊ）を用いて、画素領域ｙ（ｉ，ｊ）をフィルタリング処理することにより、修正画素領域ｘ（ｉ，ｊ）を求め、各画素に割り当てる。例えば、割当部２３２は、輝度フィルタＧ（ｉ，ｊ）を画素領域ｙ（ｉ，ｊ）に乗じることにより、修正画素領域ｘ（ｉ，ｊ）を求めてよい。

抽出部２３１と、割当部２３２とは、ＣＰＵ、及びＣＰＵが用いるメモリにより実現されてよい。格納部５２は、ＣＰＵが用いるメモリや、補助記憶装置等により実現されてよい。

本実施形態によれば、少ない処理コストで、クロストークを精度よく低減することができる。

（変形例）
格納部５２は、各画素領域ｙ（ｉ，ｊ）に対応する輝度フィルタＧ（ｉ，ｊ）を全て格納していなくても構わない。この場合、抽出部２３１は、格納部５２に格納されている他の一又は複数の輝度フィルタＧ（ｉ，ｊ）から補間して、各画素領域ｙ（ｉ，ｊ）に対応する輝度フィルタＧ（ｉ，ｊ）を生成してもよい。

例えば、格納部５２に、Ｇ（０，０）、Ｇ（３，０）、Ｇ（０，３）、Ｇ（３，３）の４つの輝度フィルタが格納されているとする。このとき、抽出部２３１は、画素領域ｙ（２，２）に対応する輝度フィルタＧ（２，２）を式９により求めてよい。

式９中の、α、β、γ、λは、各々重み係数であり、座標の内分比によって求められる。
本変形例によれば、格納部５２の記憶容量を抑えることができる。

（第３の実施形態）
第３の実施形態に係る画像処理装置３０は、表示装置１５に対する一又は複数の視聴者の視点位置を検出し、検出した視聴者の視点位置において観察されるべき視差画像となるように、指定した画素領域ｙ（ｉ，ｊ）に含まれる画素の画素値を修正する点が、前実施形態の場合と異なる。以下、前実施形態と異なる点について説明する。

図８は、画像処理装置３０を表すブロック図である。画像処理装置３０は、画像処理装置１０に対して、さらに検出部３１を備える。検出部３１は、表示装置１５に対する一又は複数の視聴者の視点位置を検出する。例えば、検出部３１は、カメラやセンサ等を用いて、実空間上における視聴者の左眼の位置Ｐ_Ｌ＝（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）と、右眼の位置Ｐ_Ｒ＝（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）とを検出する。視聴者が複数の場合、検出部３１は、視聴者毎に左眼の位置Ｐ_Ｌ＝（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）と、右眼の位置Ｐ_Ｒ＝（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）とを検出してよい。検出部３１は、検出した視聴者の視点位置を割当部１３２に供給する。検出部３１は、ＣＰＵ、及びＣＰＵが用いるメモリにより実現されてよい。

割当部１３２は、抽出された輝度プロファイルを用いて、指定された画素領域ｙ（ｉ，ｊ）を、検出された視聴者の視点位置から観察されるべき画素を割り当てた修正画素領域に修正する。

本実施形態によれば、視聴者の位置や視聴者の人数に応じて、適応的な処理が可能となり、クロストークをさらに精度よく低減することができる。

なお、本実施形態では、画像処理装置１０に対する画像処理装置３０の構成を説明したが、画像処理装置２０に対する画像処理装置３０の構成の場合も同様である。

上述した実施形態によれば、クロストークを精度よく低減することができる。

なお、上述の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能であり、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処 理装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。

これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 立体画像表示装置
１０、２０ 画像処理装置
１１ 取得部
１２ 指定部
１３、２３ 修正部
１４ 生成部
１５ 表示装置
５１、５２ 格納部
１３１、２３１ 抽出部
１３２、２３２ 割当部

Claims (11)

1. 互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する指定部と、
   指定された前記画素領域の各画素と、所定の視点位置との位置関係に応じて、前記視点 位置で観察されるべき画素からの光線が前記視点位置に届くように、前記画素領域に含ま れる画素の割り当てを修正した修正画素領域を得る修正部と
   を備える、画像処理装置。
2. 前記修正部は、
   前記視点位置で観察されるべき画素の画素値と、前記視点位置で前記画素領域を観察し た場合に観察されることが想定される画素の画素値との誤差が小さくなるように、前記画 素領域に含まれる画素の割り当てを修正する、
   請求項１記載の画像処理装置。
3. 前記修正部は、
   前記画素領域から射出される光線の輝度分布を保持し、前記位置関係に対応する前記輝 度分布に基づき、前記視点位置から前記画素領域を観察した場合に観察されることが想定 される画素の画素値を特定する、
   請求項２記載の画像処理装置。
4. 前記修正部は、
   前記画素領域から射出される光線の輝度分布を保持し、前記位置関係に対応する前記輝 度分布と相関するフィルタ係数を用いたフィルタリング処理により、前記修正画素領域を 得る、
   請求項１記載の画像処理装置。
5. 前記修正部は、
   前記位置関係に応じて、前記フィルタ係数を補間し、補間した前記フィルタ係数を用いたフィルタリング処理により、前記修正画素領域を得る、
   請求項４記載の画像処理装置。
6. 前記修正部は、
   前記視差画像中における前記画素領域の各画素と視聴者の視点位置との位置関係に対応する前記輝度分布のデータを格納する格納部と、
   指定された前記画素領域の各画素と、所定の視点位置との位置関係に対応する前記輝度分布のデータを前記格納部から抽出する抽出部と、
   抽出された前記輝度分布のデータを用いて、前記修正画素領域に含まれる各画素を割り当てる割当部と
   を備える、請求項４記載の画像処理装置。
7. 前記修正部は、
   前記画素領域の各々の各画素と視聴者の視点位置との位置関係に対応する前記フィルタ係数を記憶する格納部と、
   指定された前記画素領域の各画素と、所定の視点位置との位置関係に対応する前記フィルタ係数を前記格納部から抽出する抽出部と、
   抽出された前記フィルタ係数を用いて、前記修正画素領域に含まれる各画素を割り当てる割当部と
   を備える、請求項４記載の画像処理装置。
8. 視聴者の視点位置を検出する検出部をさらに備え、
   前記修正部は、指定された前記画素領域の各画素と検出された前記視点位置との位置関 係とに基づいて、前記修正画素領域を得る、
   請求項１記載の画像処理装置。
9. 互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定し、
   指定された前記画素領域の各画素と、所定の視点位置との位置関係に応じて、前記視点 位置で観察されるべき画素からの光線が前記視点位置に届くように、前記画素領域に含ま れる画素の割り当てを修正した修正画素領域を得る、
   画像処理方法。
10. 複数の画素が、第１方向と、前記第１方向と交差する第２方向と、に配列された表示パネルと、
    前記表示パネルと対向して設けられ、各々の前記画素からの光線の出射方向を制御する光線制御部と、
    前記表示パネルに表示するための、互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を指定する指定部と、
    指定された前記画素領域の各画素と、所定の視点位置との位置関係に応じて、前記視点 位置で観察されるべき画素からの光線が前記視点位置に届くように、前記画素領域に含ま れる画素の割り当てを修正した修正画素領域を得る修正部と
    を備える立体画像表示装置。
11. コンピュータを、
    互いに視差を有する複数の視差画像の中から、少なくとも１つの画素を含む画素領域を 指定する指定手段と、
    指定された前記画素領域の各画素と、所定の視点位置との位置関係に応じて、前記視点 位置で観察されるべき画素からの光線が前記視点位置に届くように、前記画素領域に含ま れる画素の割り当てを修正した修正画素領域を得る修正手段として機能させる、
    画像処理プログラム。

Images