WO2011036798A1

WO2011036798A1 - 立体画像生成装置

Info

Publication number: WO2011036798A1
Application number: PCT/JP2009/066779
Authority: WO
Inventors: 芳晴桃井; 真弘関根; 理恵子福島; 達夫最首
Original assignee: 株式会社東芝
Priority date: 2009-09-28
Filing date: 2009-09-28
Publication date: 2011-03-31

Abstract

　表示効果特性生成部は、立体画像を表示する際に一部が逆パースとなるような表示効果特性を生成する。パラメータ生成部は、多視点画像を撮影した際の撮影特性、立体画像を表示させる表示装置の表示特性、表示効果特性生成部で生成された表示効果特性に基づき、多視点画像をサンプリングする際のパラメータを生成する。立体画像生成部は、パラメータ生成部から供給されたパラメータに基づき、画像取得部から供給された多視点画像をサンプリングして、立体画像を表示するための画像データを生成する。このとき、対応する画像データが存在しないパラメータについては、補間処理などにより画像データを生成する。

Description

立体画像生成装置

　本発明は、立体画像の生成処理に関する。

　様々な方式の立体画像表示装置が開発されている。例えば、垂直レンチキュラーレンズを用い、光線の集合によって自然でフリッピング（画像の飛び）が抑制された、インテグラルイメージング方式（以下、ＩＩ方式と略称する）と呼ばれる表示方法が行われている（特許文献１）。

　ＩＩ方式によれば、表示系において、画像の１ドットを構成する要素画像を複数の視差画素により構成し、観察する角度に応じて所定の画素の光が選択的に出力される光学的開口部を、各要素画像に対応させて配置する。１の被写体を異なる複数の視差から撮影して得られた視差毎の画像を、視点に対応する視差画素に出力することで、観察者は、被写体が立体表示された立体画像を観察することができる。

　このＩＩ方式において、より広い範囲（視域）で立体画像を観察可能とするためには、角度がより大きい位置からの画像を取得する必要がある。これは、画像を取得するための撮影システムが大規模になり撮影のコストが嵩む。そのため、撮影システムの規模を変えずに視域を拡大する技術が開発されている。ＩＩ方式により立体表示される立体像が観察可能な範囲（視域）を最適に拡げるための技術が記載されている（特許文献２）。

特開２００３－２８８６１２号公報特開２００４－２１２６６６号公報

　しかしながら、特許文献２では、ディスプレイのパラメータによって決まるカメラの設置範囲より狭い範囲で撮影された画像では、適正な表示を得ることができないという問題点があった。これは、視差配置に対して視差を離散的にシフトさせて視域の拡大を行うために、カメラの設置範囲より狭い範囲で撮影された画像に対して、中央の視域の角度より大きい角度の視差情報が必要となるためである。

　本発明は、上記に鑑みてなされたものであって、視差が大きい位置からの画像を取得しなくても視域の拡大が可能な立体画像生成装置を提供することにある。

　上述した課題を解決し、目的を達成するために、本発明は、水平方向に隣接する複数の画素を含む要素画像をマトリクス状に配置する画像表示部と、要素画像に対応した光学的開口部とを備え、要素画像が光学的開口部に対して画面端側に向けて偏倚して配置される立体画像表示装置に表示させる立体画像を生成する立体画像生成装置であって、異なるカメラ位置から同一被写体の撮影を行った多視点画像の、少なくとも撮影距離を含む撮影特性を取得する撮影特性取得部と、立体画像表示装置の表示特性であって、立体画像表示装置に表示される立体画像を観察すると想定される視距離を少なくとも含む表示特性を取得する表示特性取得部と、立体画像表示装置に対する立体画像の表示の少なくとも一部が逆パースとなるように、仮想的なカメラ位置に対応した入射角と、要素画像の光学的開口部に対する配置に対応した仮想的なカメラ位置のシフト量とを、立体画像表示装置の画面位置の変数とする表示効果特性を生成する表示効果特性生成部と、撮影距離、視距離および表示効果特性に基づき、複数の画素に表示させる画像を多視点画像からサンプリングする際のパラメータを生成するパラメータ生成部と、パラメータに従い多視点画像から複数の画素に表示させる画像のサンプリングを行い立体画像を生成する立体画像生成部とを有することを特徴とする。

　本発明に係る立体画像生成装置は、視差が大きい位置からの画像を取得しなくても視域の拡大が可能であるという効果を奏する。

本実施の形態に適用可能な立体画像表示装置の構造。立体画像表示装置の構造。立体画像が観察できる原理。立体画像が観察できる原理。立体画像が観察できる原理。立体画像が観察できる原理。ＩＩ方式における視域の拡大方法。視域の最大化を行う画像データのサンプリング方法。疑似多眼方式による画像データのサンプリング方法。透視投影画像の遠近感。本実施の形態による立体画像生成装置の機能ブロック図。本実施の形態による第１のサンプリングパターン。本実施の形態による第２のサンプリングパターン。本実施の形態による第３のサンプリングパターン。本実施の形態による第４のサンプリングパターン。パースを調整して違和感を低減させることを説明する図。パースを調整して違和感を低減させることを説明する図。パースを調整して違和感を低減させることを説明する図。本実施の形態による立体画像生成装置を実現可能な構成。

　以下に、本発明に係る立体画像生成装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。先ず、本実施の形態に係る、立体画像を表示するための立体画像表示装置について説明する。本実施の形態では、立体画像の表示方式として、指向性を持った光の集合として立体像を表すインテグラルイメージング方式（以下、ＩＩ方式と略称する）を用いる。

　先ず、立体画像表示装置について、概念的に説明する。図１は、本実施の形態に適用可能な立体画像表示装置１００の一例の構造を示すための水平断面図である。図１に例示される立体画像表示装置１００は、バックライト１１０、表示ユニット１２０および開口制御部１１５からなる。バックライト１１０は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を用いて光を発する光源である。観察者は、図内の矢印の方向からこの立体画像表示装置１００を観察することで、表示ユニット１２０に表示される画像を立体的に観察することができる。

　表示ユニット１２０は、図示されない表示駆動回路に駆動され、立体画像の表示に必要な視差画像情報を画素に表示させる。表示ユニット１２０の方式として、透過型と自己発光型とがある。透過型の画像表示装置であれば、図１に例示されるように光源（バックライト１１０）が必要とされる。表示ユニット１２０が自己発光型であれば、光源は不要である。

　透過型および自己発光型を含めて、表示ユニット１２０として、通常の直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、投射型ディスプレイなどを適用することができる。

　図１の例では、表示ユニット１２０としてＬＣＤを用いている。例えば、ガラス基板１１３Ａおよび１１３Ｂ上にマトリクス状に電極が形成される。当該電極に対応して、ガラス基板１１３Ｂ上にさらにＲＧＢ各色のカラーフィルタが形成される。一対の電極と、当該電極に対応するカラーフィルタと、ガラス基板１１３Ａおよび１１３Ｂ間の液晶層とで表示素子が形成される。表示素子がマトリクス状に配置されて表示素子アレイ１１４を構成する。液晶層を通過する光線を偏光板１１２Ａおよび１１２Ｂで偏光させる。偏光により、電極に印加する電圧に応じた明るさの表示を得ることができる。

　開口制御部１１５は、透過する光線を制限して光線を所定方向に向けて出射させる。図１の例では、開口制御部１１５としてレンチキュラーレンズが用いられている。レンチキュラーレンズは、入射および射出光線を制御して光線を所定方向に向けるレンズセグメントを有するセグメントレンズアレイ板である。開口制御部１１５として、光透過領域を適宜設けたスリットアレイなどのアレイ板を用いることもできる。これら光透過領域およびレンズセグメントは、表示ユニット１２０からその前方に向けて発散される光線中のうち特定の光線のみを選択的に出射する機能を有する。以下では、レンズセグメントおよび光透過領域を、纏めて開口部と称する。

　開口制御部１１５は、例えば表示ユニット１２０における画面の垂直方向に母線を有するレンチキュラーレンズを用いる。レンチキュラーレンズの開口部１１６、１１６、…（図２参照）が画素に対応して配置される。開口制御部１１５は、上述したレンチキュラーレンズや光透過領域を設けたアレイ板に限らず、時間と共に光透過領域の位置および形状を変えることができる光シャッタとしてＬＣＤを利用することもできる。

　ここで、図２を用いて、立体画像表示装置１００の構造について、表示ユニット１２０（表示素子アレイ１１４）に注目してより詳細に説明する。

　ここで、１の画素は、ＲＧＢ各色の画素（サブピクセル）から構成される。１の表示素子が１のサブピクセルに対応するものとする。図２の例では、表示素子アレイ１１４には、縦横比が３：１の表示素子（サブピクセル１４０、１４０、…）がマトリクス状に配列される。各サブピクセルは、例えばマトリクスの同一行内で水平方向にＲ（赤）、Ｇ（緑）、Ｂ（青）の順で繰り返し配列される。各サブピクセルは、マトリクスの同一列内で垂直方向にＲ（赤）、Ｂ（青）、Ｇ（緑）の順に繰り返し配列される。列方向に並ぶＲＢＧ各色のサブピクセルが１画素を構成し、隣接する画素を視差の数だけ行方向に並べた画素群に表示される画像を要素画像と呼ぶ。

　図２の例では、画素が、列方向に並ぶＲＢＧサブピクセルの組が２組で構成されている。そして、１８画素で１要素画像１４１（図２内で枠を付して示す）を表示する。図２では、水平方向に１８視差を与える立体表示が可能となる。なお、１実効画素内の水平方向における画素の位置は、開口制御部１１５と対応し、射出される光線の角度と相関を持つ。光線方向を表すアドレスを視差アドレスと呼ぶ。視差アドレスは、１実効画素内の水平方向における画素の位置に対応する。視差アドレスは、画面の右方向に向けて大きくなる。

　開口制御部１１５における開口部１１６、１１６、…は、要素画像の位置に対応して設けられる。図２の例では、開口部１１６の幅Ｐｓと、１要素画像の幅とが一致させられている。

　上述のような構成において、例えば、コンピュータシステムなどから、同一被写体から異なる複数の視差でそれぞれ取得された複数の画像が図示されない表示駆動回路に供給される。複数の画像は、位置が対応する画素毎にそれぞれインターリーブして１の画像データとして供給される。これに限らず、複数の画像データをそれぞれ供給するようにもできる。表示駆動回路は、例えば供給された複数の画像について、位置が対応し視差が異なる画素を視差に応じた順番に配分する。配分により要素画像を構成して表示素子アレイ１１４に供給し、各表示素子を駆動する。

　一方、バックライト１１０から出射した光線は、導光板１１１を介して表示ユニット１２０に入射される。偏光板１１２Ａで偏光され、ガラス基板１１３Ａ、表示素子アレイ１１４および液晶層、ガラス基板１１３Ｂ、ならびに、偏光板１１２Ｂを介して出射される。表示ユニット１２０から出射された光線は、開口制御部１１５に入射される。

　ここで、開口制御部１１５の開口部１１６は、要素画像１４１と対応するように設けられている。そのため、要素画像１４１内の、観察者の視点からの方向に応じた視差の画素からの光線が、選択的に観察者の視点に到達する。観察者の両眼にそれぞれ異なる視差の画素からの光線が到達することで、観察者は、立体的な画像を観察することができる。

　図３および図４を用いて、立体画像表示装置１００により立体画像が観察できる原理について説明する。図３Ａおよび図４Ａは、それぞれ立体画像表示装置１００の開口制御部１１５としてレンチキュラーレンズを用いた場合の、立体画像表示装置１００と観察者の視点との関係を上側から見た例である。

　観察者から見てレンチキュラーレンズの後ろ側に配置される表示ユニット１２０は、上述した開口部１１６と、複数の画素が配列された要素画像とにより、角度に応じて微妙に見え方の違う視差画像群、すなわち多視点画像を表示する。この多視点画像による光線は、開口制御部１１５の何れかの開口部１１６を通って集光されて、立体画像が再生される。

　図３Ａおよび図４Ａは、それぞれ観察者の左目および右目で立体画像表示装置１００で表示される画像を観察する例を概念的に示す。例えば、図３Ａおよび図４Ａに示されるように、観察者１３０が表示ユニット１２０における要素画像１３２を観察するとき、観察者１３０の左目１３１Ａおよび右目１３１Ｂには、要素画像１３２に含まれる異なる要素画像からの光線がそれぞれ到達する。これは、要素画像１３２に含まれる複数の画素から発する光線が、開口部１１６によってそれぞれ指向性を与えられて出射されるからである。

　この結果、観察者１３０は、図３Ｂおよび図４Ｂに例示されるように、開口部１１６により拡大された、要素画像１３２に含まれる異なる画素を、左目１３１Ａおよび右目１３１Ｂでそれぞれ観察することになる。このように、観察者１３０の左目１３１Ａおよび右目１３１Ｂに対し、被写体が同じで視差が異なる画像をそれぞれ表示させることで、観察者１３０に対して立体画像が表示される。

　なお、図１に例示される立体画像表示装置１００においては、透過型の表示ユニット１２０を用い、バックライト１１０、表示ユニット１２０および開口制御部１１５が順次配列されているが、これはこの例に限定されない。例えば、表示ユニット１２０と開口制御部１１５を入れ替える。バックライト１１０、開口制御部１１５および表示ユニット１２０の順に配列されても、同様の視差画像を担う光線を発生することができる。

　次に、ＩＩ方式における視域の拡大方法について、図５を用いて説明する。図５は、表示ユニット１２０における各要素画像から出射される光線の例を、水平方向の断面図として示す。

　ここで、視域とは、立体画像表示装置１００に表示される画像が立体画像として観察可能な範囲をいう。図５に示されるように、立体画像表示装置１００においては、要素画像による画像（以下、要素画像）は、表示ユニット１２０上に配置する際の基準となる視距離Ｌが定められる。また、この視距離Ｌにおける視域基準面１１８が定められる。

　図５において、幅ｈｖａは、視域基準面１１８における水平方向の視域の幅を示す。位置Ｖ₀は、視域の中心を示す。要素画像からの光線Ｒの軌跡が視域基準面１１８における視域に入射するように（水平方向に限っていえば視域の幅ｈｖａ内に入射するように）、要素画像が、後述するように開口制御部１１５の対応する光透過領域（開口部１１６）に対して偏倚して配置される。

　ここで視域とは、立体画像のみが観察される領域である。視域は、立体画像として正画像と共に偽画像が観察される混在領域および偽画像が生ずる偽画像領域を除く領域に相当している。このように、光透過領域（開口部１１６）の中心に対して、対応する要素画像Ｐ１～Ｐｎの配置を変える。要素画像Ｐ１～Ｐｎから発せられ、全ての開口部１１６、１１６、…を通過する全透過光線Ｒ×は、視距離Ｌにおける領域で略重なり、視域の幅ｈｖａが実質的に最大化される。

　このような視域の最大化を行うための、画像データの基本的なサンプリング方法について説明する。図６は、基本的なサンプリング方法における、要素画像における各画素の視差アドレスと開口部１１６の画面内での水平方向の位置を表す３Ｄ画素アドレスとの関係を示す。

　図６において、横軸は、開口部１１６の画面内での水平方向の位置を表す３Ｄ画素アドレスを示す。図６における左右方向が画面の左右方向にそれぞれ対応するものとする。縦軸は、例えば画像データの被写体を撮影して得る場合、被写体からレンズに到達する光線の角度（以下、入射角と呼ぶ）を示す。入射角は、レンズの正面から到達する場合に０°とし、レンズの右側から光線が到達する場合に正（＋）、左側から到達する場合に負（－）とする。

　また、図６において、あるｘ座標に示されるｙ軸のプロットは、当該ｘ座標の位置の要素画像における各画素から射出される光線を示す。すなわち、あるｘ座標におけるｙ軸のプロットのそれぞれは、当該ｘ座標が示す要素画像における各画素の視差アドレスに対応し、当該プロットのｙ座標が示す入射角で撮影された光線が射出されることになる。なお、あるｘ座標について、図内で上に表示されるプロットほど視差アドレスが大きいものとする。

　なお、この図６における各定義は、同様の他の図（図７、図１０～図１３）についても適用される。

　画面の中央部分では、視域射出角θ₀を均等に分割した角度で光線が入射されればよい。一方、画面の両端側では、光線が中央に向けて射出されるため、入射角がより大きい光線が必要となる。図６に示される基本的なサンプリング方法においては、この光線の入射角が離散的にシフトする点では、視差アドレスが１追加されて視差数が１多い要素画像となり、次の３Ｄ画素アドレスより、追加された視差アドレスに対してシフトされる。

　光線を等間隔の視域射出角で射出するような開口部１１６のピッチが、表示ユニット１２０の画素ピッチの略整数倍の場合、水平方向の３Ｄ画素アドレスに関わらず、常に一定の角度で光線がサンプリングされることが理想的である。そのため、図６では、同一の視差アドレスが一直線に並んでいる。このような画像を取得するためには、テレセントリックレンズなどを用いた平行投影カメラなどを用いる。

　次に、視域の拡大を行うための、画像データの他のサンプリング方法について説明する。拡大された視域において、透視投影画像を用いて立体画像を歪み少なく表示する方法として、擬似多眼方式というサンプリング方法がある。通常のカメラを用いて被写体を撮影すると、カメラの結像レンズの主点位置を基準点として、画素位置によって光線の角度が異なる透視投影画像が取得できる。

　疑似多眼方式では、図７に例示されるように画像データのサンプリングを行う。すなわち、視差アドレスのそれぞれにおいて、カメラの画素アドレスに応じて光線の入射角が連続的にシフトするようにサンプリングを行う。このようにサンプリングされた画像データを用いて、開口部１１６のピッチが表示ユニット１２０の画素ピッチの略整数倍であって、且つ、視域を最大化する場合、視差アドレスがシフトする点での画素データが無い。そのため、シフト部分では、同じ画像を重ねるようにする。

　次に、透視投影画像の透視度について、図８を用いて説明する。一般的なカメラレンズでは、結像レンズの画角（焦点距離）によって透視投影の度合が変化する。例えば、上方向に少し傾けた立方体を被写体として、異なる撮影距離から、被写体を撮影した画像の大きさが等しくなるように撮影する場合について考える。画像１５１は、標準的な画角のレンズを用いて所定の撮影距離で被写体を撮影した例である。透視投影画像として撮影されるため、距離の遠い底面の奥側境界は、手前側の境界に比べて短く写る。これに対して、撮影距離をより短くより画角の広いレンズを用いて撮影した画像１５０の場合、遠い底面の奥側境界は、手前側の境界に比べてさらに短く写る。一方、撮影距離を長くより画角の狭いレンズを用いて撮影した画像１５２は、遠い底面の奥側境界は、手前側の境界に比べて短く写るが、画像１５０や画像１５１における遠い底面の奥側境界よりは長くなる。

　このように、同じ奥行きの変化に対する画像の透視投影の度合が撮影方法などにより変化する。その度合を、ここで透視度と呼ぶ。上述の例では、撮影距離を短くより画角の広いレンズを用いた場合に透視度が高く、撮影距離を長くより画角の狭いレンズを用いた場合に透視度が低いとする。

　つまり、透視度が高い場合に遠方の図形はより小さく近景の図形は大きく写る。透視度が低い場合は、この変化率が小さくなる。また、平行投影の場合は、遠景でも近景でも奥行き位置によらず図形の大きさは変わらない状態となる。

　透視度は、例えば図７の如く横軸に３Ｄ画素アドレスを取り、縦軸に入射角を取った場合、図で示される直線の傾きで表すことができる。傾きが大きいと、要素画像内における画素位置変化による入射角の変化が大きく、透視度が高くなる。この場合、撮影距離を短くして広角レンズで撮影したような画像となり、遠近感が強調される。一方、傾きが小さいと、要素画像内における画素位置変化による入射角の変化が小さいことになり、透視度が低くなる。この場合、撮影距離を長くして望遠レンズで撮影したような画像となり、遠近感が圧縮される。

　次に、本実施の形態について説明する。上述したように、視域を最大化するためには、画面の端部においてより入射角のきつい光線が必要となっていた。このような画像を撮影するためには、カメラを被写体に対してより角度がきついところから撮影する必要があり、一度に撮影するマルチカメラアレイの大型化が避けられなかった。

　本実施の形態では、多視点で取得された画像からサンプリングした画素データを、補間する若しくは予め細かく取得するなどの手法を用いて所定の３Ｄ画素アドレスおよび入射角の関係を持つデータに加工して新たなサンプリングデータを生成することで、撮影に必要なマルチカメラアレイの小型化を図る。

　図９は、本実施の形態による立体画像生成装置２００の機能を示す一例の機能ブロック図である。画像取得部２０２は、入力部２０１から入力された、同一の被写体を複数の異なるカメラ位置、すなわち複数の異なる視差から撮影した複数の画像データ（以下、多視点画像）を取得する。取得された多視点画像は、立体画像生成部２０５に供給される。

　撮影特性取得部２０３は、入力部２０１から入力された多視点画像を撮影した際の撮影特性を取得する。撮影特性は、例えば撮影距離、画角、被写体とレンズとの角度（入射角）および撮影した視差数を含む。平行投影画像か、透視投影画像かも、撮影特性に含まれる。撮影特性は、例えばキーボードなどの入力デバイスを用いてユーザにより入力される。記録媒体を介して入力されてもよい。これに限らず、例えば入力部２０１から入力される多視点画像の属性情報として入力するようにしてもよい。撮影特性取得部２０３で取得された撮影特性は、パラメータ生成部２０４に供給される。

　表示装置特性取得部２０７は、この立体画像生成装置２００で生成した立体画像を表示させる表示装置の特性を取得する。表示装置の特性は、例えば要素画像数（３Ｄ画像の画素数）、要素画像内の画素数（視差数）および視距離Ｌを含む。表示特性に、さらに、立体画像表示装置１００が表現可能な奥行き量を含めてもよい。撮影特性は、例えばキーボードなどの入力デバイスを用いてユーザにより入力される。記録媒体を介して入力されてもよい。これに限らず、立体画像表示装置１００から所定の接続線などを介して、表示特性を直接的に取得するようにしてもよい。表示装置特性取得部２０７で取得された表示装置特性は、パラメータ生成部２０４に供給される。

　表示効果特性生成部２０８は、立体画像生成部２０５で生成される立体画像に対して付加する表示効果の特性を生成する。表示効果特性は、例えば透視度を変更する際の度合であって、逆パースの度合、逆パースをかける範囲や滑らかさの度合、視差アドレスに対するシフト量などが含まれる。これらの表示効果特性は、例えばユーザによる入力デバイスの操作に応じて生成される。表示効果特性を、撮影特性や表示装置特性に基づき自動的に設定することも可能である。取得された表示効果特性は、パラメータ生成部２０４に供給される。

　パラメータ生成部２０４は、撮影特性取得部２０３、表示装置特性取得部２０７および表示効果特性生成部２０８からそれぞれ供給された各特性に基づき、多視点画像をサンプリングする際のパラメータを生成する。すなわち、パラメータ生成部２０４は、立体画像表示装置１００における視距離Ｌと、多視点画像の撮影時の撮影距離に基づき多視点画像をサンプリングする際のパラメータを生成する。より具体的には、パラメータ生成部２０４は、供給された各特性に基づき、画面の水平方向の要素画像位置と入射角とを含む座標における、多視点画像をサンプリングする位置を求める。このサンプリングの際のパラメータとしての座標は、立体画像生成部２０５に供給される。

　立体画像生成部２０５は、パラメータ生成部２０４から供給されたパラメータに基づき、上述した画像取得部２０２から供給された多視点画像をサンプリングして、立体画像を表示する画像データを生成する。このとき、対応する画像データが存在しないパラメータについては、補間処理などにより画像データを生成する。これにより、任意のサンプリングパターンに基づく画像データを生成することができる。

　立体画像生成部２０５でサンプリングされた画像データは、例えば図１および図２を用いて説明した立体画像表示装置１００に適合するデータフォーマットに変換されて、提示部２０６に供給される。提示部２０６は、供給された画像データを出力し、例えば立体画像表示装置１００に供給する。これに限らず、出力を記録媒体に記録するようにしてもよい。

　以下に、本実施の形態による画像データのサンプリングの例を示す。パラメータ生成部２０４は、撮影特性取得部２０３、表示装置特性取得部２０７および表示効果特性生成部２０８から供給された各特性に基づき、以下の各例のようなサンプリングパターンを生成する。

　本実施の形態では、サンプリングのベースとなる視差画像において透視度が通常とは逆になる逆パースの部分を含むように、サンプリングパターンを生成する。逆パースは、例えば上述した図６および図７のように、横軸に３Ｄ画素アドレス、縦軸に入射角を取った場合に、傾きが負のサンプリングパターンを生成することで、実現できる。

　視差画像を逆パースとすると、視差画像の中では本来遠方にある被写体が手前側に、被写体に対して大きく写る画像となる。しかし、立体画像として合成したときには、観察される表示は必ずしも逆パースになるとは限らず、殆どの場合において、透視度が理想的な透視度に比べて低くなるだけの影響となる。一方、人間の視覚は、透視度に対する感度は高くないので、例えば自然物や曲面であれば、透視度が低くなっても違和感を感じ難いことが知られている。このように、視差画像に逆パースの部分を含むサンプリングパターンで画像データのサンプリングを行って立体画像を生成することで、視域を最適に拡大しても使用する視差の角度範囲を狭くできるため、狭いカメラ設置範囲で撮影された画像データであっても、立体画像を生成することができる。

　なお、勿論、直方体のような、パースが明確に判別し易い形状の場合は、逆パースの部分を含むサンプリングパターンで表示を行っても逆パースとして観察されるとき、立体画像において違和感が生じる可能性もある。

　図１０は、本実施の形態による第１のサンプリングパターンの例を示す。この第１の例は、視差数が増える位置での視差アドレスのシフト量に対して１未満の少数値を与え、視域の最適化を行う際の離散的なシフト量を緩和した例である。例えばこの第１の例は、視差アドレスを示す視差の角度間隔を、例えば０．５ずつシフトさせたものである。このようなサンプリングパターンで画像データをサンプリングして生成された立体画像は、視差アドレスの入射角に対する範囲が狭くなるので、被写体撮影時のカメラの設置範囲を狭くすることができる。

　また、この図１０に例示される状態は、視差アドレスのシフト位置で、要素画像内の相対的な位置関係を同じくする画像である視差画像として、離散的に逆パースに変化している状態である。この場合は、図１０に例示されるサンプリングパターンで画像データをサンプリングして生成した立体画像において、透視度が緩和されることになる。それと共に、視差画像のサンプリングパターンに逆パースを伴うようににすることで、カメラの設置角度範囲をより狭くすることができる。すなわち、複数の視差で撮影された複数の画像データの角度範囲が不十分である場合にも、カメラ間隔を狭くせずに立体画像が合成できる。同時に、立体感を大きく損なうことなく立体表示を行うことができる。

　なお、この図１０、ならびに、後述する図１１～図１３に例示される３Ｄ画素アドレスに対する各入射角（縦軸）のプロットは、当該３Ｄ画素アドレスにおける要素画像内の各画素に対応してそれぞれカメラが存在すると仮定した場合の入射角に対する仮想的なカメラ位置である。

　図１１は、本実施の形態による第２のサンプリングパターンの例を示す。この第２の例は、３Ｄ画素アドレスに対して視差画像の入射角が透視投影の場合と逆方向となるように生成したサンプリングパターンの例である。すなわち、図１１の例では、サンプリングパターンが全体として逆パースとなっている。この場合、要素画像内の視差画素に表示する画素データの視差アドレスを、３Ｄ画素アドレス毎に、例えば０．０１ずつ、あるいは、０．１ずつといったように、極めて小さくシフトさせることで生成できる。この第２のサンプリングパターンについても、カメラの設置角度範囲をより狭くすることができる。

　図１２は、本実施の形態による第３のサンプリングパターンの例を示す。この第３および後述する第４の例は、それぞれ、逆パースとなるサンプリングパターンと、通常の遠近感を表現する正パースとなるサンプリングパターンとを、画面内の水平位置に対応する３Ｄ画素アドレスに応じて組み合わせた例である。

　第３の例では、図１２に例示されるように、画面の中央部分を正パースとし、画面の端部において逆パースとなるようにサンプリングパターンを生成する。このとき、正パースのサンプリングパターンと逆パースのサンプリングパターンとが滑らかに接続されるように、サンプリングパターンを曲線的に変化させると好ましい。この図１２の例では、次式（１）に示すような３次曲線を用いてサンプリングパターンを生成している。

　式（１）における各変数の意味を下記に記す。
ｘ：画面位置（画面左端を原点とする座標系）
Ｘ：画面全体の長さ
Ａ：振幅の係数（Ａ＜０）
Ｙ：入射角

　この式（１）による曲線を、視差数の増える位置で視差アドレスをシフトさせることで、図１２に例示されるようなサンプリングパターンを生成する。

　図１３は、本実施の形態による第４のサンプリングパターンの例を示す。この第４の例では、画面の中央部で逆パースとし、画面の端部において正パースとなるようにサンプリングパターンを生成している。この図１３の例では、正パースおよび逆パースのサンプリングパターンが滑らかに接続できるように、次式（２）に示すような２次曲線を用いてサンプリングパターンを生成している。なお、式（２）における各変数の意味は、上述した式（１）と同様である。

　この第３および第４の例においても、サンプリングパターンに逆パースを含むため、これらのサンプリングパターンで画像データをサンプリングして生成した立体画像において、透視度が緩和されると共に、カメラの設置角度範囲をより狭くすることができる。

　なお、上述の第３および第４のサンプリングパターンでは、それぞれ３次曲線および２次曲線を用いて逆パースの部分と正パースの部分とを接続しているが、これはこの例に限定されない。すなわち、逆パースの部分と正パースの部分とを、他の関数に基づく曲線を用いて各部を接続してもよいし、接続部の曲線を手書きなどにより作成したパターンを用いることも可能である。

　さらに、上述では、画面の中央部と端部とで正逆パースを切り替えているが、これはこの例に限定されない。正逆パースを画面の左右で切り替えてもよいし、画面をさらに細かい領域に分割して、領域毎に正逆パースを切り替えてもよい。これら正逆パースの切り替え方法は、立体画像として表示させる被写体や画像の性質に応じて選択すると好ましい。

　これらサンプリングパターンの第１～第４の例では、例えば上述した図７のようにして撮影された各視点毎の画像データに対し、より細かい視差情報が必要となる。立体画像生成部２０５は、画像取得部２０２から供給された各視点の画像データを、３Ｄ画素アドレスと入射角を含む２次元平面上にマッピングし、パラメータ生成部２０４から供給されたサンプリングパターンに基づき補間処理を行うことで、各視差アドレス毎の画像データを生成することができる。

　ところで、垂直方向には視差を持たない場合、撮影系の画角によって決まる透視度が立体画像においてそのまま表示され、垂直方向の透視度となる。垂直方向の透視度と水平方向の透視度の違いによる違和感の要因となることが考えられる。例えば、視距離Ｌが５０ｃｍである立体画像表示装置１００に対して、３ｍの撮影距離で撮影された画像データによる立体画像を表示させる場合を考える。この場合、水平方向については、視距離５０ｃｍの透視度を再現できる。一方、垂直方向は、撮影時の透視度（この例では被写体を３ｍ離れて観察したときの透視度）がそのまま表現されることになる。このように、水平方向と垂直方向とで異なる距離感の透視度となるため、立体表示に違和感が生じる。

　そこで、パラメータ生成部２０４は、撮影特性取得部２０３から取得された撮影距離および画角と、表示装置特性取得部２０７から取得された立体画像表示装置１００の視距離Ｌとに基づき、撮影系の画角に適合するように透視度を調整する。上述のように、３Ｄ画素アドレスと入射角とからなる座標平面上での傾きを変えることにより透視度を変化させることができる。パラメータ生成部２０４は、上述したサンプリングパターンを、例えば視距離Ｌと撮影距離および画角とを考慮して生成することで、パースの調整を行い、違和感の低減化を図る。

　例えば、図１４Ａに例示されるような被写体を立体画像表示装置１００に表示させると、図１４Ｂの如く水平方向には透視度が再現され、垂直方向には撮影系の画角に応じた表示となる。垂直方向の画角は、撮影距離および画角と視距離Ｌとに基づき予め求めることができる。この場合、パラメータ生成部２０４は、これらの情報に基づき、図１４Ｂに矢印で示される如く水平方向の透視度を調整するようなサンプリングパターンを生成する。図１４Ｂの例では、透視度を低くする方向に調整することになるため、３Ｄ画素アドレスと入射角とからなる座標平面上での傾きをより小さくするように、サンプリングパターンを生成する。このように調整されたサンプリングパターンに従い画像データをサンプリングして立体画像表示装置１００に対して表示させると、図１４Ｃに例示されるように、透視度が調整され違和感の低減された立体画像を得ることができる。

　撮影された実写画像の角度範囲が立体表示装置の必要とする角度範囲より狭い場合、２つの方法により表示を行うことができる。第１の方法は、正しいカメラ間隔よりも狭いカメラ間隔で再現する方法である。この第１の方法では、奥行き量が潰れて再現される。第２の方法は、本実施の形態による透視度の調整処理を用いる方法である。

　実写画像の奥行き量が立体画像表示装置１００の表現可能な奥行き量よりも大きい場合には、第１の方法によりカメラ間隔を狭くして画像の奥行き量を潰し、表現可能な奥行き量とする処理が有効となる。一方、撮影された実写画像の奥行き量が立体画像表示装置１００の表現可能な奥行き量より小さい場合、第２の方法による透視度を調整する処理が有効である。この場合、立体感が低減されずに立体表示を行うことができる。

　そこで、撮像された画像の奥行き量を、多視点による複数の画像に対するステレオマッチングなどにより推定し、推定された奥行き量と、立体画像表示装置１００の特性としての表現可能な奥行き量とを比較する。パラメータ生成部２０４は、この比較結果に基づき、画像の奥行き量を潰す処理を行うか、透視度を調整する処理を行うかを決める。

　例えば、立体画像表示装置１００の表現可能な奥行き量が実写画像の奥行き量よりも小さい場合、立体画像表示装置１００の奥行き表現量と実写画像の奥行き量とが等しくなるまで立体感を潰す処理が行われ、それでも角度範囲が足りない場合は、透視度を調整する。

　なお、投影透視画像による画像データ群を用いてＩＩ方式の立体表示の違和感を抑えて表示する方法は、例えば特開２００５－３３１８４４号公報に記載されているように、既に行われている。また、カメラ間隔を調整し、表示される立体画像の奥行き量を調整することも、例えば特開２００１－１４８８６９号公報に記載されているように、既に行われている。

　しかしながら、特開２００５－３３１８４４号公報に記載の方法では、サンプリングが不連続に行われるため、表示される立体画像の歪みが大きい。また、特開２００１－１４８８６９号公報に記載の方法では、カメラ間隔を狭めることで立体感を潰すことが可能である一方で立体感が失われてしまう。また、これら特開２００５－３３１８４４号公報や特開２００１－１４８８６９号公報の技術では、透視度を変化させて、立体表示における遠近感の強調や緩和を制御することができなかった。

　これに対して、本実施の形態によれば、上述したように、立体画像表示装置１００に表示される立体画像の一部が逆パースになるようにしている。これにより、両眼視差による立体感を損なわず、表示される立体画像に歪みなどを感じさせずに、多視点画像を撮影する際のマルチカメラの設置角度範囲を小さくすることができる。また、多視点画像をサンプリングするサンプリングパターンを、３Ｄ画素アドレスおよび入射角による座標上で、補間を用いて生成しているため、透視度を変化させて立体表示における遠近感の強調や緩和を制御することができる。

　上述したように、透視度の変更度合、逆パースの度合、逆パースをかける範囲や滑らかさの度合、視差アドレスに対するシフト量といった表示効果特性は、ユーザ操作により表示効果特性生成部２０８に対して入力することができる。このとき、入力されたデータの値によっては、立体画像表示装置１００の視域で表示させるための光線の角度範囲が、画像データの入射角の範囲を超える場合が有り得る。このような場合に、立体画像生成装置２００においてユーザに対して警告を発するようにすると、より好ましい。

　例えばパラメータ生成部２０４は、撮影特性取得部２０３から取得された入射角と、ユーザの指示により表示効果特性生成部２０８で取得された透視度に基づき生成されたサンプリングパターンとを比較する。比較の結果、サンプリングパターンが含まれる入射角範囲が、撮影特性取得部２０３から取得された入射角を超えていると判定されたら、その旨の警告を発する。警告は、所定の表示や音声を用いて発することができる。

　次に、本実施の形態による立体画像生成装置２００を実現可能な構成の例について、図１５を用いて説明する。図１５に例示されるように、本実施の形態による立体画像生成装置２００は、例えば一般的なコンピュータ３００により実現可能である。

　図１５において、バス３０１に対してＣＰＵ３０２、ＲＯＭ３０３、ＲＡＭ３０４および表示制御部３０５が接続される。また、バス３０１に対して、ハードディスク３０７、ドライブ装置３０８、入力部３０９および通信Ｉ／Ｆ３１０が接続される。

　ＣＰＵ３０２は、ＲＯＭ３０３およびハードディスク３０７に記憶されるプログラムに従い、ＲＡＭ３０４をワークメモリとして用いて、このコンピュータ３００の全体を制御する。表示制御部３０５は、ＣＰＵ３０２により生成された表示制御信号を、表示装置３０６が表示可能な信号に変換して出力する。

　ハードディスク３０７は、上述のＣＰＵ３０２が実行するためのプログラムが格納されると共に、画像データや他のデータが格納される。ドライブ装置３０８は、脱着可能な記録媒体３２０が装填可能とされ、当該記録媒体に対するデータの読み書きを行うことができる。ドライブ装置３０８が対応可能な記録媒体３２０としては、ＣＤ、ＤＶＤといったディスク記録媒体や、不揮発性の半導体メモリ（例えばＥＥＰＲＯＭ）が考えられる。

　入力部３０９は、外部からのデータの入力を行う。例えば、入力部３０９は、ＵＳＢやＩＥＥＥ１３９４といった所定のインターフェイスを有し、このインターフェイスにより外部の機器からのデータ入力を行う。また、入力部３０９に対して、キーボードやマウスといった入力デバイスが接続される。ユーザは、例えば表示装置３０６に対する表示に応じてこれら入力デバイスを操作することで、コンピュータ３００に対して指示を出すことができる。

　通信Ｉ／Ｆ３１０は、所定のプロトコルを用いて外部の通信ネットワークと通信を行う。

　上述した立体画像生成装置２００における画像取得部２０２、撮影特性取得部２０３、パラメータ生成部２０４、立体画像生成部２０５、表示装置特性取得部２０７および表示効果特性生成部２０８は、ＣＰＵ３０２上で動作するプログラムによって実現される。入力部２０１は、例えばハードディスク３０７に対応する。入力部３０９は、ドライブ装置３０８に装填された記録媒体３２０や、入力部３０９に接続される他の機器から画像データを入力するようにしてもよい。

　本実施の形態に係る立体画像生成装置２００を実行するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、立体画像生成装置２００を実行するためのプログラムを、ＲＯＭ３０３に予め記憶させて提供してもよい。

　さらに、本実施の形態に係る立体画像生成装置２００を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態に係る立体画像生成装置２００を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。

　本実施の形態に係る立体画像生成装置２００を実行するためのプログラムは、上述した各部（画像取得部２０２、撮影特性取得部２０３、パラメータ生成部２０４、立体画像生成部２０５、表示装置特性取得部２０７および表示効果特性生成部２０８）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ３０２が例えばハードディスク３０７から当該プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

　本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

１００　立体画像表示装置
１１４　表示素子アレイ
１１５　開口制御部
１１６　開口部
１２０　表示ユニット
１４１　要素画像
２００　立体画像生成装置
２０１　入力部
２０２　画像取得部
２０３　撮影特性取得部
２０４　パラメータ生成部
２０５　立体画像生成部
２０７　表示装置特性生成部
２０８　表示効果特性生成部

Claims

　水平方向に隣接する複数の画素を含む要素画像をマトリクス状に配置する画像表示部と、該要素画像に対応した光学的開口部とを備え、該要素画像が該光学的開口部に対して画面端側に向けて偏倚して配置される立体画像表示装置に表示させる立体画像を生成する立体画像生成装置であって、
　異なるカメラ位置から同一被写体の撮影を行った多視点画像の、少なくとも撮影距離を含む撮影特性を取得する撮影特性取得部と、
　前記立体画像表示装置の表示特性であって、該立体画像表示装置に表示される前記立体画像を観察すると想定される視距離を少なくとも含む表示特性を取得する表示特性取得部と、
　前記立体画像表示装置に対する前記立体画像の表示の少なくとも一部が逆パースとなるように、仮想的なカメラ位置に対応した入射角と、前記要素画像の前記光学的開口部に対する配置に対応した該仮想的なカメラ位置のシフト量とを、前記立体画像表示装置の画面位置の変数とする表示効果特性を生成する表示効果特性生成部と、
　前記撮影距離、前記視距離および前記表示効果特性に基づき、前記複数の画素に表示させる画像を前記多視点画像からサンプリングする際のパラメータを生成するパラメータ生成部と、
　前記パラメータに従い前記多視点画像から前記複数の画素に表示させる画像のサンプリングを行い前記立体画像を生成する立体画像生成部と
を有する
ことを特徴とする立体画像生成装置。
　前記表示効果特性生成部は、
　正パースと逆パースとを画面位置に応じて組み合わせたように前記立体画像を表示させる前記表示効果特性を生成する
ことを特徴とする請求項１に記載の立体画像生成装置。
　前記立体画像生成部は、
　前記多視点画像を前記入射角と前記要素画像を含む座標上で補間して前記画像のサンプリングを行う
ことを特徴とする請求項２に記載の立体画像生成装置。
　前記撮影特性は、前記撮影の際の画角をさらに含み、
　前記表示効果特性生成部は、
　前記画角と前記視距離とに基づき前記多視点画像が前記立体画像表示装置に表示される際の垂直方向の画角を求め、該垂直方向の画角に基づき該視距離での水平方向の画角を調整する前記表示効果特性を生成する
ことを特徴とする請求項３に記載の立体画像生成装置。
　前記表示特性は、前記立体画像表示装置が表現可能な第１の奥行き量をさらに含み、
　前記表示効果特性生成部は、
　前記多視点画像における前記被写体の第２の奥行き量を推定し、前記第１の奥行き量と該第２の奥行き量とを比較した比較結果に応じて、
　該第１の奥行き量が該第２の奥行き量よりも小さい場合には、該立体画像の透視投影の度合をより小さくし、
　該第１の奥行き量が該第２の奥行き量よりも大きい場合には、前記立体画像表示装置に表示させる前記多視点画像に基づく前記立体画像の表現される奥行き量の度合をより小さくする
ことを特徴とする請求項３に記載の立体画像生成装置。