JP5522794B2 - 立体像生成装置およびそのプログラム - Google Patents

Description

本発明は、インテグラル方式、レンチキュラ方式等の立体表示方式において、表示対象となる３次元形状モデルから立体像を生成する技術に関する。

近年、立体表示装置の研究開発が進み、インテグラル方式およびレンチキュラ方式等、特殊なメガネを用いなくても観察者に立体像を視認させることが可能な裸眼方式の立体表示装置が開発されている。例えば、インテグラル方式の立体表示装置は、高精細画像表示パネルと、その前面に配置された２次元レンズアレイとを備え、高精細画像表示パネルに要素画像を表示すると立体像が再生される。この要素画像の各画素からの光線は、その画素位置と、レンズアレイの要素レンズの位置とから決まる方向に出射される。つまり、一つの要素レンズから要素画像の画素数だけの光線が出射されることになる。ここで、要素レンズの間隔が要素画像の画素サイズの整数倍という条件を満たす場合には、各要素レンズから出射される光線の方向が有限になるため、同一方向の光線を集めることで正射影画像として表すことができる。すなわち、立体表示装置から出射される光線群は、有限枚の正射影画像で表すことができる。

ここで、コンピュータグラフィックス（ＣＧ）やレンジセンサーで得られる３次元形状モデルをインテグラル方式の立体像に変換する技術が提案されている（例えば、非特許文献１，２）。これら非特許文献１，２に記載の技術は、３次元形状モデルをインテグラル方式の立体像に変換する基本的な手法である。例えば、非特許文献１に記載の技術は、コンピュータグラフィックスの３次元形状モデルを被写体とし、３次元仮想空間内にレンズアレイ、奥行き制御用のレンズを設置し、光線追跡法により、被写体のインテグラル立体像を生成するものである。

つまり、非特許文献１，２に記載の技術において、正射影を用いることができると、レンズアレイの要素レンズ数の光線を１回レンダリングするだけで、３次元形状モデルから表示画像を生成することができる。この場合、非特許文献１，２に記載の技術において、中心射影を用いた場合よりも、少ない演算量で３次元形状モデルから表示画像を生成することができる。

非特許文献３では、光線追跡法を用いて、ＣＧデータから要素画像を生成する技術が提案されている。
非特許文献４では、グラフィックスプロセッシングユニット（ＧＰＵ）を用いて要素画像を生成する技術に関するものであり、Ｚ−ｂｕｆｆｅｒを利用したレンダリング法が提案されている。

非特許文献５では、医療用３Ｄオブジェクトをインテグラル方式で立体表示するために、要素画像を高速で生成する技術が提案されている。この非特許文献５に記載の技術では、分散コンピュータによる高速化を図っており、各ノードが同一の３次元オブジェクトを用いている。
非特許文献６では、レンズアレイに起因する画質劣化の軽減を考慮して、３次元オブジェクトから要素画像を生成する技術が提案されている。

特許文献１では、動部分と静止部分で構成される３次元空間において、要素画像を高速で生成する発明が提案されている。この特許文献１に記載の発明では、動部分のみで要素画像を生成して、計算済みの静止部分の要素画像と合成している。

特許文献２では、汎用のコンピュータグラフィックスによって、自由度の高いインテグラル方式の立体画像を生成する発明が提案されている。
特許文献３では、レンズアレイに起因する画質劣化の軽減を考慮して、３次元オブジェクトから要素画像を生成する発明が提案されている。

特開２００３−１０９０４２号公報 特開２００６−１４６５９７号公報 特開２００９−１７５８６６号公報

Athineos,Spyros S,:"Physical modeling of a microlens array setup for use in computer generated IP"、Proceedings of the SPIE,Volume 5664,pp.472-479(2005). Huy Hoang Tran,et al:"Interactive 3D Navigation System for Image-guided Surgery",Journal of Virtual Reality,8(1),pp.9-16(2009) 中島他，："Integral Photographyの原理を用いた３次元ディスプレイの画像高速生成法"，映像情報メディア学会，Vol.54，No.3，pp.420-425(2000). 小池，："プログラマブルなグラフィックハードウェアを用いたインテグラルフォトグラフィ画像のレンダリング"，情報処理学会 研究報告，2003-CG-113，pp.70-74(2003). N. Sakai，："High Performance Computing for Parallel Rendering in Surgical Autostereoscopic Display and navigation", CARS2003; ICS 1256, pp.403-407(2003). Miwa katayama, Yuichi Iwadate: "A method for converting three-dimensional models into auto-stereoscopic images based on integral photography"、 Proceedings of SPIE, vol.6805, p.68050Z.1-68050Z.8(2008)

しかし、非特許文献１，２に記載の技術では、要素レンズの間隔が要素画像の画素サイズの整数倍という条件を満たさない場合、要素レンズごとに光線の方向が異なるため、その光線群を有限枚の正射影画像で表すことができない。

さらに、非特許文献１，２に記載の技術では、正射影を用いた場合に正射影画像に幾何歪が生じてしまう。この場合、非特許文献１，２に記載の技術では、幾何歪を補正するための計算コストが余分に必要になるという問題がある。
この他、特許文献１〜３に記載の発明、および、非特許文献３〜６に記載技術では、非特許文献１，２に記載の技術の問題点を解決するには至らない。

そこで、本発明は、前記した問題を解決し、要素レンズの間隔が要素画像の画素サイズの整数倍という条件を満たさない場合でも、少ない計算コストで表示画像を生成できる立体像生成装置およびそのプログラムを提供することを目的とする。

前記した課題を解決するため、本願第１発明に係る立体像生成装置は、要素レンズを２次元に配置したレンズアレイと画像表示手段とを備える立体表示装置に表示する表示対象としての３次元形状モデルを仮想的な撮影カメラである仮想カメラで撮影して、前記立体表示装置用の表示画像を生成する立体像生成装置であって、パラメータ入力手段と、正規化画像画素サイズ算出手段と、正規化画像画素位置算出手段と、仮想カメラ位置算出手段と、仮想撮影画像生成手段と、正規化画像生成手段と、表示画像生成手段と、を備えることを特徴とする。

かかる構成によれば、立体像生成装置は、パラメータ入力手段によって、前記要素レンズの焦点距離と、前記要素レンズの間隔と、前記画像表示手段の画素間隔とが入力される。また、立体像生成装置は、正規化画像画素サイズ算出手段によって、前記要素レンズの間隔を前記画像表示手段の画素間隔で除算して予め設定された定数を乗じた値に基づいて前記要素レンズ間の画素数を算出すると共に、前記要素レンズの間隔を前記要素レンズ間の画素数で除算することで、正規化画像の画素サイズを前記要素レンズの間隔に対して整数分の１となる値で算出する。そして、立体像生成装置は、正規化画像画素位置算出手段によって、前記表示画像の画素座標に前記画像表示手段の画素間隔を乗算して前記正規化画像の画素サイズで除算することで、前記正規化画像の画素座標を算出する。このようにして、立体像生成装置は、画素サイズが要素レンズの間隔に対して整数分の１となる正規化画像を用意する。

また、立体像生成装置は、仮想カメラ位置算出手段によって、前記レンズアレイから前記仮想カメラの位置までを示すように予め設定した距離と前記正規化画像の画素サイズとを乗算して前記要素レンズの焦点距離で除算した値に基づいて前記仮想カメラの位置を算出する。そして、立体像生成装置は、仮想撮影画像生成手段によって、前記仮想カメラ位置算出手段が算出した仮想カメラの位置での変換行列によって、前記３次元形状モデルを投影面斜投影することで、前記３次元形状モデルを前記仮想カメラで撮影した仮想撮影画像を生成する。つまり、立体像生成装置は、撮影画像生成手段が斜射影を行うために、仮想撮影画像に幾何歪が生じることがなく、画素が縦横に整列した仮想撮影画像を生成できる。

また、立体像生成装置は、正規化画像生成手段によって、所定の座標変換式により前記仮想撮影画像の画素の画素値を前記正規化画像の画素に割り当てることで、前記正規化画像を生成する。つまり、前記した斜投影によって、正規化画像の画素と、仮想撮影画像の画素とが直線上に並ぶので、立体像生成装置は、この直線に従って仮想撮影画像の画素の画素値を、用意した正規化画像の各画素に割り当てる。従って、立体像生成装置は、正規化画像上に要素画像を形成することになる。
さらに、立体像生成装置は、表示画像生成手段によって、前記正規化画像生成手段が生成した正規化画像から前記表示画像を生成する。

また、本願第２発明に係る立体像生成装置は、前記仮想カメラ位置算出手段が、さらに、前記仮想カメラの位置から前記レンズアレイの中心位置までの方向を前記仮想カメラの撮影方向として算出し、前記仮想撮影画像生成手段が、前記レンズアレイとの垂線上に位置する前記仮想カメラが前記レンズアレイの中心位置を向く第１視点でのモデルビュー行列Ｍ_Ｏについて式（９）で定義され、前記仮想カメラ位置算出手段が算出した仮想カメラの位置で前記仮想カメラが前記撮影方向を向く第２視点でのモデルビュー行列Ｍ_Ｃが式（１０）で定義され、前記第１視点から前記第２視点への変換行列Ｔ_Ｃが式（１１）で定義され、正射影用変換行列ｏｒｔｈｏが式（１２）で定義され、投影座標系内での前記レンズアレイの平行移動距離Ｌ_ｄｉｓｔが式（１５）で定義され、前記投影座標系内での前記レンズアレイの平行移動行列Ｔ_Ｚが式（１６）で定義され、前記投影座標系の第３軸方向の変位に対する第１，２軸方向の変化量Ｓ_Ｘ，Ｓ_Ｙが式（１９）で定義され、斜投影用変換行列Ｏｂｌｉｑｕｅが式（２０）で定義され、前記投影座標系内での前記レンズアレイの平行移動逆行列Ｔ_Ｚ ^−１が式（２１）で定義され、プロジェクション行列Ｐが式（２２）で定義されるときに、式（２３）で定義された前記仮想カメラの位置での変換行列Ｆによって、前記３次元形状モデルを斜投影することを特徴とする。

ここで、ＯｐｅｎＧＬ（登録商標）などの３Ｄグラフィック言語では、仮想カメラの位置での変換行列Ｆが定義されていないことがある。この場合でも、立体像生成装置は、３Ｄグラフィック言語で定義されている正射影用変換行列ｏｒｔｈｏ等から、仮想カメラの位置での変換行列Ｆを導き出すことができる。

また、本願第３発明に係る立体像生成装置は、前記仮想撮影画像生成手段が生成した仮想撮影画像に対して、前記要素レンズの中心位置に対応する画素を結んだ線分の中点で囲われるフィルタ適用領域毎に低域通過フィルタ処理を施す第１の折返し雑音低減手段、をさらに備えることを特徴とする。

ここで、立体表示装置の観察者は、レンズアレイを介して立体像を見る。これは、レンズアレイの要素レンズの間隔に応じて立体像をサンプリングするのと等価である。このため、レンズアレイでは、サンプリングに起因する折返し雑音（折返し歪）が発生してしまう。
そこで、立体像生成装置は、第１の折返し雑音低減手段によって、仮想撮影画像の要素レンズの中心に対応する画素をサンプル点とみなし、そのサンプル点を中心としたフィルタ適用領域毎に低域通過フィルタ処理を施す。これによって、立体像生成装置は、レンズアレイでのサンプリングに起因する折返し雑音を低減することができる。

また、本願第４発明に係る立体像生成装置は、前記正規化画像画素サイズ算出手段が、前記定数として２を超える偶数が予め設定され、前記表示画像生成手段が、前記正規化画像に対して低域通過フィルタ処理を施す第２の折返し雑音低減手段をさらに備えることを特徴とする。

ここで、立体表示装置の観察者は、画像表示手段で再生される立体像を見る。これは、要素画像の間隔に応じて立体像をサンプリングするのと等価である。このため、画像表示手段では、サンプリングに起因する折返し雑音（折返し歪）が発生してしまう。
そこで、立体像生成装置は、画素サイズが画像表示手段の画素サイズの１／２以下、かつ、要素レンズの間隔に対して整数分の１となる正規化画像を用意する。そして、立体像生成装置は、正規化画像に対して、画像表示手段の画素サイズに応じた低域通過フィルタ処理を施す。これによって、立体像生成装置は、画像表示手段でのサンプリングに起因する折返し雑音を低減することができる。

なお、本願第１発明に係る立体像生成装置は、一般的なコンピュータを、パラメータ入力手段、正規化画像画素サイズ算出手段、正規化画像画素位置算出手段、仮想カメラ位置算出手段、仮想撮影画像生成手段、正規化画像生成手段および表示画像生成手段として機能させる立体像生成プログラムによって実現することもできる。

本願発明は、以下のような優れた効果を奏する。
本願第１発明は、画素サイズが要素レンズの間隔に対して整数分の１となる正規化画像を用意する。そして、本願第１発明は、幾何歪が生じていない仮想撮影画像を斜投影によって生成し、この仮想撮影画像の画素の画素値を正規化画像の各画素に割り当てる。従って、本願第１発明は、要素レンズの間隔が要素画像の画素サイズの整数倍という条件を満たさない場合において、正射影のように幾何歪を補正する必要がなく、少ない計算コストで表示画像を生成することができる。

本願第２発明は、仮想カメラの位置での変換行列Ｆが定義されていない３Ｄグラフィック言語を利用できるので、立体像生成装置の汎用性を高くすることができる。
本願第３発明は、レンズアレイでのサンプリングに起因する折返し雑音を低減できるので、表示画像を高品質にすることができる。
本願第４発明は、画像表示手段でのサンプリングに起因する折返し雑音を低減できるので、表示画像を高品質にすることができる。

本発明における立体表示装置の概略を示す概略図である。 本発明の実施形態に係る立体像生成装置の構成を示すブロック図である。 本発明における立体表示装置のモデル化を示す概念図であり、要素画像と、画像表示パネルと、レンズアレイのピンホールとの位置関係を示す図である。 本発明において、正規化画像と、レンズアレイのピンホールとの位置関係を示す図である。 図２の仮想カメラ撮影手段の構成を示すブロック図である。 本発明において、仮想カメラによる撮影を説明する説明図であり、レンズアレイと、正規化画像と、３次元形状モデルとの位置関係を示す図である。 本発明において、仮想カメラによる撮影を説明する説明図であり、レンズアレイ上のサンプル点と、正規化画像との位置関係を示す図である。 本発明において、仮想カメラによる撮影を説明する説明図であり、正規化画像と、レンズアレイと、投影面との位置関係を示す図である。 本発明において、正射影と斜投影とを説明する図であり、（ａ）は正射影の図であり、（ｂ）は斜投影の図である。 本発明において、仮想カメラの視点移動を説明する図である。 本発明において、投影面とレンズアレイとの正対化を説明する図である。 本発明において、投影座標系内でのレンズアレイの平行移動を説明する図であり、（ａ）は平行移動前の図であり、（ｂ）は平行移動後の図である。 本発明において、３次元形状モデルの斜投影を説明する図である。 図２の第１のフィルタによる低域通過フィルタ処理を説明する説明図である。 図２の第２のフィルタによる表示画像の生成を説明する説明図である。 図２の立体表示装置の全体動作を示すフローチャートである。 図５の仮想カメラ撮影手段の動作を示すフローチャートである。 本発明において、動的３次元形状モデルのインテグラル立体映像を生成する立体映像生成システムの構成を示す図である。

［立体表示装置の概略］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

最初に、本発明の実施形態に係る立体像生成装置１（図２参照）の前提として、図１を参照しながら、本発明における立体表示装置２の概略について説明する。

立体表示装置２は、立体像生成装置１（図２参照）が生成した表示画像（複数の要素画像を縦横に配置した画像）をインテグラル方式によって表示するものであり、液晶ディスプレイ等の画像表示パネル（画像表示手段）２１と、要素レンズＬ_Ｐを２次元に配置したレンズアレイＬ_Ａとを備える。

画像表示パネル２１は、レンズアレイＬ_Ａの側に画像表示面２１ａを有しており、表示対象（３次元形状モデル）が発した光線が記録された要素画像を表示する。
レンズアレイＬ_Ａは、微小な凸レンズである要素レンズＬ_Ｐが縦横に並んだ２次元アレイである。

まず、立体表示装置２は、画像表示パネル２１の画像表示面２１ａに、立体像生成装置１が生成した表示対象の表示画像（以下、表示画像Ｉ）を表示する。図１に示すように、要素画像の各画素からの光線は、各画素に対応する要素レンズＬ_Ｐにより方向付けがされる。従って、立体表示装置２は、表示対象が発した光線群を再現して、あたかも表示対象が存在するかのように立体像を形成する。つまり、観察者（不図示）は、レンズアレイＬ_Ａの要素レンズＬ_Ｐを通して、それぞれの要素画像を観視することで、立体像を視認することができる。
このとき、立体表示装置２で表示するための表示映像が必要になる。そこで、本発明の実施形態に係る立体像生成装置１を用いて、この表示映像を生成する。

［立体像生成装置の構成］
以下、図２を参照し、本発明の実施形態に係る立体像生成装置１の構成について説明する。
図２に示すように、立体像生成装置１は、立体表示装置２に表示する表示対象としての３次元形状モデルを仮想カメラで撮影して、立体表示装置２の表示画像Ｉを生成するものであり、立体表示装置モデル化手段（パラメータ入力手段）１１と、正規化画像設定手段（正規化画像画素サイズ算出手段）１２と、フィルタ用パラメータ設定手段（フィルタ適用領域設定手段）１３と、仮想カメラ撮影手段１４と、第１のフィルタ（第１の折返し雑音低減手段）１５と、正規化画像生成手段１６と、表示画像生成手段１７とを備える。

立体表示装置モデル化手段１１は、立体表示装置２をモデル化するためのパラメータ（Ｆ，Ｒ_Ｈ，Ｒ_Ｖ，Ｐ）が入力されると共に、これらパラメータを正規化画像設定手段１２に出力する。これらパラメータは、図３で示すように定義される。

Ｆ：要素レンズＬ_Ｐの焦点距離（画像表示パネル２１とレンズアレイＬ_Ａとの距離）
Ｒ_Ｈ：レンズアレイＬ_Ａにおける要素レンズＬ_Ｐの水平方向の間隔
Ｒ_Ｖ：レンズアレイＬ_Ａにおける要素レンズＬ_Ｐの垂直方向の間隔
Ｐ：画像表示パネル２１の画素間隔

本実施形態では、要素レンズＬ_Ｐが一行毎にオフセットしており、要素レンズＬ_Ｐの垂直方向の間隔Ｒ_Ｖが要素レンズＬ_Ｐの水平方向の間隔Ｒ_Ｈの√３／２倍であるとして説明する。
また、要素レンズＬ_Ｐの水平方向の間隔Ｒ_Ｈおよび要素レンズＬ_Ｐの垂直方向の間隔Ｒ_Ｖが要素画像Ｇの画素間隔の整数倍でないこととして説明する。
また、立体表示装置２において、要素レンズＬ_Ｐの中心位置をピンホールＨとみなしている。つまり、要素レンズＬ_Ｐの中心位置がピンホールＨの位置となる。

ここで、要素レンズＬ_Ｐの水平方向の間隔Ｒ_Ｈおよび要素レンズＬ_Ｐの垂直方向の間隔Ｒ_Ｖが要素画像Ｇの画素間隔の整数倍でないため、仮想カメラ（斜投影カメラ）を用いて撮影しても、要素画像Ｇの画素位置で光線を直接取得することができない。そこで、図４に示すように、仮想カメラで撮影する過程（計算過程）において、要素画像Ｇの画素間隔を定義し、要素レンズＬ_Ｐの水平方向の間隔Ｒ_Ｈおよび要素レンズＬ_Ｐの垂直方向の間隔Ｒ_Ｖが要素画像Ｇの画素間隔の整数倍になるような画像面を用意する。以後、この画像面における画像を正規化画像（正規化要素画像）Ｉ’とする。

また、物理的な位置を示す世界座標を定義する。この世界座標は、レンズアレイＬ_Ａの中央に位置する要素レンズＬ_Ｐのレンズ中心（ピンホール）を原点として、レンズアレイＬ_Ａの横方向をＸ軸、縦方向をＹ軸およびレンズアレイ面の鉛直方向をＺ軸とする。さらに、表示画像Ｉの画素座標、つまり、要素画像Ｇ全体の画像座標として(ｉ，ｊ)を定義する。この画像座標の原点は前記した世界座標の原点に最も近い画素であるとする。

正規化画像設定手段１２は、正規化画像Ｉ’において、下記の式（１）で表されるように、要素レンズＬ_Ｐの水平方向の間隔Ｒ_Ｈおよび要素レンズＬ_Ｐの垂直方向の間隔Ｒ_Ｖを要素レンズＬ_Ｐ間の画素数Ｍで除算することで、正規化画像Ｉ’の水平方向の画素サイズＰ_Ｈおよび正規化画像Ｉ’の垂直方向の画素サイズＰ_Ｖを算出する。

そして、正規化画像設定手段１２は、これらパラメータ（Ｆ，Ｒ_Ｈ，Ｒ_Ｖ，Ｐ，Ｐ_Ｈ，Ｐ_Ｖ）をフィルタ用パラメータ設定手段１３に出力する。このとき、正規化画像設定手段１２は、下記の式（２）で表されるように、要素レンズＬ_Ｐの水平方向の間隔Ｒ_Ｈを画像表示パネル２１の画素間隔Ｐで除算して定数Ｋを乗じた値に基づいて、要素レンズＬ_Ｐ間の画素数Ｍを算出する。

ここで、式（２）において、“＜ａ＞”は、ａを四捨五入して整数化することを意味する。つまり、“＜Ｒ_Ｈ／Ｐ＞”は、図３での要素レンズＬ_Ｐ間の画素数となり、後記する第２のフィルタ１７ａにおける低域通過フィルタ処理のため、その値をＫ倍する。ここで、定数Ｋは任意の値に設定できる。さらに、定数Ｋが２を超えた偶数で設定されると、正規化画像Ｉ’の画素サイズは、画像表示パネル２１の画素サイズの１／２以下、かつ、要素レンズＬ_Ｐの水平方向の間隔Ｒ_Ｈおよび要素レンズＬ_Ｐの垂直方向の間隔Ｒ_Ｖに対して整数分の１となる。これによって、後記する第２のフィルタ１７ａによる低域通過フィルタ処理を容易に適用することができる。

フィルタ用パラメータ設定手段１３は、正規化画像設定手段１２からパラメータ（Ｆ，Ｒ_Ｈ，Ｒ_Ｖ，Ｐ，Ｐ_Ｈ，Ｐ_Ｖ）が入力されると共に、予め設定された定数Ｎが入力される。この定数Ｎは、レンズアレイＬ_Ａのピンホール数を一定倍してサンプリングすることを示す値である。そして、フィルタ用パラメータ設定手段１３は、後記するローカル座標（ｕ，ｖ）の原点（０，０）として、要素レンズＬ_Ｐの中心位置に対応する画素を結んだ線分の中点で囲われるフィルタ適用領域Ａ_Ｒ（図１４参照）を、仮想撮影画像上に設定する。

その後、フィルタ用パラメータ設定手段１３は、パラメータ（Ｆ，Ｒ_Ｈ，Ｒ_Ｖ，Ｐ，Ｐ_Ｈ，Ｐ_Ｖ）を仮想カメラ撮影手段１４に出力すると共に、設定したフィルタ適用領域Ａ_Ｒを第１のフィルタ１５に出力する。
なお、フィルタ適用領域Ａ_Ｒは、後記する第１のフィルタ１５が低域フィルタ処理を行う範囲を示すものであり、その詳細は後記する。

仮想カメラ撮影手段１４は、仮想カメラＶｃ（図６参照）で表示対象を仮想的に撮影することで、仮想撮影画像を生成するものである。このため、図５に示すように、仮想カメラ撮影手段１４は、正規化画像画素位置算出手段１４１と、ピンホール位置算出手段１４２と、仮想カメラ位置算出手段１４３と、仮想撮影画像生成手段１４４とを備える。

正規化画像画素位置算出手段１４１は、フィルタ用パラメータ設定手段１３からパラメータ（Ｆ，Ｒ_Ｈ，Ｒ_Ｖ，Ｐ，Ｐ_Ｈ，Ｐ_Ｖ）が入力される。ここで、前記した式（１）を用いると、正規化画像Ｉ’の世界座標を下記の式（３）で表すことができる。

従って、正規化画像画素位置算出手段１４１は、下記の式（４）で表されるように、表示画像Ｉの画素座標（ｉ，ｊ）に画像表示パネル２１の画素間隔Ｐを乗算して、正規化画像Ｉ’の画素サイズＰ_Ｈ，Ｐ_Ｖを除算することで、正規化画像Ｉ’の画素座標を算出する。つまり、表示画像Ｉの画素座標は、下記の式（４）を用いて、正規化画像Ｉ’の画素位置に変換できる。
なお、式（４）において、（ｉ’，ｊ’）が正規化画像Ｉ’の画素座標を示す。

そして、正規化画像画素位置算出手段１４１は、パラメータ（Ｆ，Ｒ_Ｈ，Ｒ_Ｖ，Ｐ，Ｐ_Ｈ，Ｐ_Ｖ）と、算出した正規化画像Ｉ’の画素座標とをピンホール位置算出手段１４２に出力する。

ピンホール位置算出手段１４２は、正規化画像画素位置算出手段１４１からパラメータ（Ｆ，Ｒ_Ｈ，Ｒ_Ｖ，Ｐ，Ｐ_Ｈ，Ｐ_Ｖ）と、算出した正規化画像Ｉ’の画素座標とが入力される。そして、ピンホール位置算出手段１４２は、下記の式（５）を用いて、水平方向にｎ番目で垂直方向にｍ番目のピンホールＨの位置を算出する。
なお、式（５）において、“％”は剰余演算を示す記号であり、Ｈ（ｎ，ｍ）はピンホールＨの位置である。

そして、ピンホール位置算出手段１４２は、正規化画像Ｉ’の画素座標と、ピンホールＨの位置と、パラメータ（Ｆ，Ｒ_Ｈ，Ｒ_Ｖ，Ｐ，Ｐ_Ｈ，Ｐ_Ｖ）とを仮想カメラ位置算出手段１４３に出力する。

仮想カメラ位置算出手段１４３は、ピンホール位置算出手段１４２から正規化画像Ｉ’の画素座標と、ピンホールＨの位置と、パラメータ（Ｆ，Ｒ_Ｈ，Ｒ_Ｖ，Ｐ，Ｐ_Ｈ，Ｐ_Ｖ）とが入力される。そして、仮想カメラ位置算出手段１４３は、後記する単位ベクトルを生成してから、仮想カメラＶｃの位置を算出する。
ここで、ピンホール位置Ｈ(ｎ，ｍ)に対応する要素画像Ｇの画素をＩ’_ｎ，_ｍ（ｕ，ｖ）として表す。また、この(ｕ，ｖ)は、Ｈ(ｎ，ｍ)を原点とする正規化画像Ｉ’上のローカル画像座標とする。

まず、仮想カメラ位置算出手段１４３は、図６に示すように、正規化画像Ｉ’においてピンホール位置をＨ（０，０）とし、このＨ（０，０）に対応する要素画像Ｇの画素Ｉ’_０，_０（ｕ，ｖ）の画素毎に、下記の式（６）を用いて、当該画素Ｉ’_０，_０（ｕ，ｖ）からピンホールＨ（０，０）の位置までの単位ベクトル（ｉ_ｘ，ｉ_ｙ，ｉ_ｚ）を生成する。
ここで、画素Ｉ’_０，_０（ｕ，ｖ）＝（Ｘ_Ｐ，Ｙ_Ｐ，−Ｆ）＝（ｕＰ_Ｈ，ｖＰ_Ｖ，−Ｆ）となる。また、ピンホール位置Ｈ（０，０）＝(Ｘ_Ｒ，Ｙ_Ｒ，０)＝(０，０，０)となる。
なお、この単位ベクトルは、その延長線上に、画素Ｉ’_０，_０（ｕ，ｖ）が視認される方向を示している。

次に、仮想カメラ位置算出手段１４３は、生成した単位ベクトルと、距離Ｌｅｎｇｔｈ（図８参照）とに基づいて、仮想カメラＶｃの位置を算出する。具体的には、仮想カメラ位置算出手段１４３は、下記の式（７）で表されるように、距離Ｌｅｎｇｔｈと正規化画像Ｉ’の画素サイズ（Ｐ_Ｈ，Ｐ_Ｖ）とを乗算して要素レンズの焦点距離Ｆで除算した値に基づいて仮想カメラＶｃの位置を算出する。

なお、距離Ｌｅｎｇｔｈは、レンズアレイＬ_Ａの原点から仮想カメラＶｃまでの距離である（例えば、２メートル）。
また、仮想カメラＶｃは、表示対象を撮影する仮想的な撮影カメラであり、観察者Ａが立体表示装置２を観視する際の視距離を表すことになる。このとき、仮想カメラＶｃから立体表示装置２までの距離が距離Ｌｅｎｇｔｈと等しいこととする。さらに、仮想カメラＶｃは、レンズアレイＬ_Ａの原点から、表示対象である３次元形状モデルよりも離れているものとする。

そして、仮想カメラ位置算出手段１４３は、生成した単位ベクトルの逆方向ｒ_ｚ（図６参照）を仮想カメラＶｃの撮影方向として算出する。つまり、この仮想カメラＶｃの撮影方向は、式（７）で算出したカメラ位置からレンズアレイＬ_Ａの原点（中心位置）までの方向となる。その後、仮想カメラ位置算出手段１４３は、算出した仮想カメラＶｃの位置を仮想撮影画像生成手段１４４に出力する。

仮想撮影画像生成手段１４４は、仮想カメラ位置算出手段１４３から仮想カメラＶｃの位置が入力されると共に、この仮想カメラＶｃの位置での変換行列Ｆ（後記する式（２３）参照）によって、表示対象を投影面に斜投影することで、表示対象を仮想カメラＶｃで撮影した仮想撮影画像を生成する。

＜仮想カメラによる撮影＞
以下、図６〜図９を参照し、仮想カメラＶｃによる撮影を詳細に説明する（適宜図５参照）。
なお、図６では、説明を簡易にするために、３次元形状モデル（表示対象）Ｏｂｊの一部表面のみを図示した。
また、図７および図８では、“●”と“△”とがサンプル点を示しており、“●”はピンホールＨでのサンプル点であり、“△”は“●”以外で増やしたサンプル点である。また、図７において、“■”は、それぞれの要素画像Ｇの中で、ピンホールＨに対して同じ相対位置となる計算対象の画素である。つまり、仮想撮影画像生成手段１４４は、各要素画像Ｇの画素位置を、ピンホールＨを原点とするローカル座標（ｕ，ｖ）によって表すことができる。
また、図７および図８では、仮想カメラＶｃの画素数は、レンズアレイＬ_Ａの“●”および“△”をあわせたサンプル点と同数としている。また、図８では、光線のそれぞれを矢印で図示している。

具体的には、この仮想撮影画像生成手段１４４は、図６に示すように、単位ベクトルの逆方向ｒ_ｚに存在するピンホールＨ（０，０）を中心に、レンズアレイＬ_Ａ全体のピンホールＨを含んだ画角で、仮想配置された立体表示装置２を仮想的に撮影する。すなわち、この仮想撮影画像生成手段１４４は、単位ベクトルの逆方向ｒ_ｚに存在するピンホールＨ（０，０）の位置を仮想撮影画像の中心として、単位ベクトルの逆方向ｒ_ｚと平行で、かつ、レンズアレイＬ_Ａの各ピンホールＨを通過する直線上に存在する３次元形状モデルＯｂｊの表面の色を仮想カメラＶｃの投影面に斜投影することで、仮想撮影画像を生成する。

このとき、仮想撮影画像生成手段１４４は、図７および図８に示すように、仮想カメラＶｃによる撮影において、レンズアレイＬ_Ａのピンホールを通過する光線を一括してサンプリングする。ここでは、仮想撮影画像生成手段１４４は、後記する第１のフィルタを適用するために、レンズアレイＬ_ＡのピンホールＨの数をＮ倍した数の光線をサンプリングする（例えば、Ｎ＝４）。そして、仮想撮影画像生成手段１４４は、各要素画像Ｇのローカル座標（ｕ，ｖ）に位置する画素に対応する光線を取得する。このように、仮想撮影画像では、要素レンズＬ_Ｐの間隔が要素画像Ｇの画素サイズの整数倍を満たすことになるので、各要素レンズＬ_Ｐから出射される光線の方向が有限になり、同一方向の光線を集めることが可能となる。すなわち、仮想撮影画像生成手段１４４は、出射される光線群を有限枚の仮想撮影画像で表すことができる。

以上のように、仮想撮影画像生成手段１４４は、斜投影を行うので、レンズアレイＬ_Ａと投影面Ｐ_Ｐとを平行に配置でき（図８参照）、画素が縦横に整列した仮想撮影画像を生成できる（図１４参照）。これによって、後記する第１のフィルタ１５では、仮想撮影画像の幾何歪を補正する必要がなく、計算コストを少なくできる。

以下、仮想撮影画像生成手段１４４が、３Ｄグラフィック言語としてＯｐｅｎＧＬ（登録商標）を用いた場合を例に、斜投影を行う手法を具体的に説明する。前記したように、ＯｐｅｎＧＬ（登録商標）では、仮想カメラの位置での変換行列が用意されていない。そこで、本実施形態では、ＯｐｅｎＧＬ（登録商標）で定義されている正射影用変換行列Ｏｒｔｈｏ等から、仮想カメラの位置での変換行列を導き出す。

＜＜正射影・斜投影の説明＞＞。
図９を参照して、正射影および斜投影を比較して説明する。ここで、Ｘ軸（第１軸）−Ｙ軸（第２軸）−Ｚ軸（第３軸）からなる座標系を投影座標系とする。このＺ軸は、レンズアレイＬ_Ａの中心位置を通ることとする。
また、投影面Ｐ_Ｐは、Ｘ軸−Ｙ軸面上に位置することとする。また、仮想カメラＶｃは、Ｚ軸方向を向くこととする。さらに、３次元形状モデルＯｂｊ１，２は、仮想カメラＶｃの視野範囲Ｖ_Ｒ内に位置することとする。

図９（ａ）に示すように、３次元形状モデルＯｂｊ１，２は、仮想カメラＶｃの撮影方向（視線方向）に沿うように、投影面Ｐ_Ｐに対して垂直に投影（正射影）される。このとき、視野範囲Ｖ_Ｒ外にある３次元形状モデル（不図示）は、クリッピング（画像の一部を切り取り）されるため、投影面Ｐ_Ｐに正射影されない。

また、図９（ｂ）に示すように、仮想カメラＶｃの撮影方向が投影面Ｐ_Ｐに対して傾く。このため、３次元形状モデルＯｂｊ１，２は、投影面Ｐ_Ｐに対して斜め方向で投影される。つまり、図９(ａ)の正射影は、投影面Ｐ_Ｐに対して傾きがない斜投影として扱うことができる。

＜＜仮想カメラの視点移動＞＞
図１０を参照して、仮想カメラＶｃの視点移動について説明する。
ここで、レンズアレイＬ_Ａおよび正規化画像Ｉ’は、Ｘ軸（図９参照）−Ｙ軸面と平行に配置されることとする。また、各視点は、Ｘ軸−Ｙ軸面上に位置することとする。また、仮想カメラＶｃは、各視点に関わりなく、常に、レンズアレイＬ_Ａの中心位置である注視点Ｒｅｇを向くこととする。

視点Ｏ（第１視点）は、仮想カメラＶｃが、レンズアレイＬ_Ａの中心位置を通過する垂線上から注視点Ｒｅｇを向いたときの視点である。また、視点Ｃ（第２視点）は、仮想カメラＶｃが、式（７）で算出したカメラ位置から図６の撮影方向（逆方向ｒ_ｚ）を向いたときの視点である。なお、図１０では、仮想カメラＶｃを表す円の中に視点を示す文字（“Ｏ”または“Ｃ”）を図示した。また、図１０では、視点Ｏにおける仮想カメラＶｃおよび視野範囲Ｖ_Ｒを破線で図示すると共に、視点Ｃにおける仮想カメラＶｃおよび視野範囲Ｖ_Ｒを実線で図示した。

３次元形状モデルＯｂｊ１，２は、仮想カメラＶｃが視点Ｏから視点Ｃに移動した場合、図１０のように正射影される。ここで、視点Ｏを基準にすると、視点Ｃでの変換行列Fは、下記の式(８)で表すことができる。

なお、Ｐは、プロジェクション行列であり、カメラ座標系を投影座標系に変換すると共に、視野範囲Ｖ_Ｒを正規化するものである。ここで、プロジェクション行列Ｐは、例えば、４×４の行列となる。

Ｍ_Ｏは、視点Ｏでのモデルビュー行列であり、世界座標系を視点Ｏが原点となるカメラ座標系に変換するものである。ここで、モデルビュー行列Ｍ_Ｏは、下記の式（９）のように、４×４の行列で表され、その各要素ｏ_１１〜ｏ_３４が回転と平行移動とを表す。

Ｍ_Ｃは、視点Ｃでのモデルビュー行列であり、世界座標系を視点Ｃが原点となるカメラ座標系に変換するものである。ここで、モデルビュー行列Ｍ_Ｃは、下記の式（１０）のように、４×４の行列で表され、その各要素ｃ_１１〜ｃ_３４が回転と平行移動とを表す。

Ｔ_Ｃは、視点Ｏから視点Ｃへの変換行列であり、下記の式（１１）で表される。

ｏｒｔｈｏは、正射影によるプロジェクション行列（正射影用変換行列）であり、下記の式（１２）のように、４×４の行列で表される。ここで、本実施形態では、１個の行列で回転と平行移動とを表すために、各座標系を３次元から４次元に拡張にしている。このため、例えば、式（９）〜式（１２）のように、３次元ベクトルに要素を１個追加して、４次元として扱っている。

なお、ｌは視野範囲Ｖ_Ｒの左端位置であり、ｒは視野範囲Ｖ_Ｒの右端位置である。また、ｔは視野範囲Ｖ_Ｒの上端位置であり、ｂは視野範囲Ｖ_Ｒの下端位置である。さらに、ｆは視野範囲Ｖ_Ｒの奥端位置であり、ｎは視野範囲Ｖ_Ｒの手前端位置である。

＜＜投影面とレンズアレイとの正対化＞＞
図１１を参照して、投影面Ｐ_ＰとレンズアレイＬ_Ａとの正対化について説明する。
仮想カメラＶｃを視点Ｏから視点Ｃに移動させた場合（図１０参照）、投影面Ｐ_ＰはレンズアレイＬ_Ａと平行にならなくなる。そこで、図１１に示すように、下記の式（１３）および式（１４）に表すように、正射影用変換行列ｏｒｔｈｏに逆行列Ｔ_Ｃ ^−１を乗じることで、投影面Ｐ_ＰとレンズアレイＬ_Ａとを平行に戻す。
なお、図１１では、視点Ｏにおける仮想カメラＶｃおよび視野範囲Ｖ_Ｒを実線で図示すると共に、視点Ｃにおける仮想カメラＶｃおよび視野範囲Ｖ_Ｒを破線で図示した。

ここで、モデルビュー行列Ｍ_Ｏ，Ｍ_Ｃは、３次元オブジェクトＯｂｊの位置や姿勢、ポリゴンの法線を定義している。このため、モデルビュー行列Ｍ_Ｏ，Ｍ_Ｃを変えてしまうと、３次元オブジェクトＯｂｊのモデルシェーディングを行う時、３次元オブジェクトＯｂｊの頂点と視点との位置関係からシェーディング色を決定する「ＳＰＥＣＬＡＲ Ｃｏｌｏｒ」に悪影響を及ぼしてしまう。言い換えるなら、ＯｐｅｎＧＬ（登録商標）等の３Ｄグラフィック言語では、３次元オブジェクトＯｂｊにおける光の反射が、法線に基づいて計算される。このとき、モデルビュー行列Ｍ_Ｏ，Ｍ_Ｃを変えるとこの法線も変化してしまい、３次元オブジェクトＯｂｊにおける光の反射が、正しい方向からずれてしまう。

このため、本発明では、モデルビュー行列Ｍ_Ｏ，Ｍ_Ｃを変えずに、前記した式（１４）のように、プロジェクション行列Ｐを変えることにした。このとき、仮想カメラＶｃが、視点Ｃに位置したままであり、その撮影方向も変わらない。これによって、仮想撮影画像生成手段１４４は、正しい方向から光の反射がずれるという悪影響を受けることなく、投影面Ｐ_ＰとレンズアレイＬ_Ａとを正対化できる。

＜＜投影座標系内でのレンズアレイの平行移動＞＞
図１２を参照して、レンズアレイＬ_Ａの平行移動について説明する。
なお、図１２（ａ）では、Ｚ軸方向で視野範囲Ｖ_Ｒの奥側の面をｆａｒ面と図示し、Ｚ軸方向で視野範囲Ｖ_Ｒの手前側の面をｎｅａｒ面と図示した。
また、仮想カメラＶｃの位置（視点Ｃ）を原点としたＺ方向の距離で表すと、ｆがｎｅａｒ面までの距離となり、ｎがｆａｒ面までの距離となる。

投影座標系は、式（１４）のプロジェクション行列Ｐおよび式（１０）のモデルビュー行列Ｍ_Ｃによって、図１２（ａ）のような状態となる。この投影座標系に斜投影を適用するため、レンズアレイＬ_Ａは、投影面Ｐ_Ｐに一致するように、Ｚ軸方向に平行移動させる。正射影用変換行列Ｏｒｔｈｏにおいて、視野範囲Ｖ_ＲのＺ軸方向の距離は、ｎｅａｒ面からｆａｒ面までとなる。ここで、ＯｐｅｎＧＬ（登録商標）では、ｎｅａｒ面からｆａｒ面までの距離は、最小値−１から最大値１の範囲で正規化（規格化）される（つまり、Ｚ＝［−１，１］）。従って、投影座標系内でのレンズアレイＬ_Ａの平行移動距離Ｌ_ｄｉｓｔは、下記の式（１５）で求めることができる。

ＯｐｅｎＧＬ（登録商標）では、Ｚ軸方向において、視野範囲Ｖ_Ｒの中央（ｆ＋ｎ）／２に投影面Ｐ_Ｐが位置する。このため、式（１５）では、(Ｌｅｎｇｔｈ−（ｆ＋ｎ）／２)の項がレンズアレイＬ_Ａの平行移動距離を表し、２／（ｆ−ｎ）の項が正規化係数（規格化係数）を表す。従って、投影座標系内でのレンズアレイＬ_Ａの平行移動行列Ｔ_Ｚは、下記の式（１６）で表される。

投影座標系は、レンズアレイＬ_Ａを平行移動させると、図１２（ｂ）のような状態となる。このとき、プロジェクション行列は、下記の式（１７）で表される。

＜＜斜投影の変換行列＞＞
図１２を参照して、斜投影の変換行列について説明する。
斜投影の変換行列を導き出すために、図１２（ｂ）の投影座標系での撮影方向において、Ｚ軸方向の変位に対するＸ，Ｙ軸方向の変化量を求める。前記したように、モデルビュー行列Ｍ_Ｏ，Ｍ_Ｃを適用すると、仮想カメラＶｃのカメラ座標での視点は、座標原点となる。この座標原点を図１２（ｂ）の投影座標系に変換すると、式（１７）のプロジェクション行列における第４列ベクトルが、投影座標系での仮想カメラＶｃの視点になる（式（１８）参照）。

この式（１８）では、Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃが、式（７）で算出した仮想カメラＶｃの位置である。そして、Ｚ軸方向の変位に対するＸ，Ｙ軸方向の変化量Ｓ_Ｘ，Ｓ_Ｙを下記の式（１９）で定義すると、斜投影のための変換行列（斜投影用変換行列）Ｏｂｌｉｑｕｅは、下記の式（２０）で表すことができる。

＜＜クリッピング位置の修正＞＞
ここで、クリッピング位置の修正について説明する。
前記した式（１６）よりレンズアレイＬ_Ａを平行移動させたが、この状態では、Ｚ軸方向における視野範囲Ｖ_Ｒのクリッピングが正しくない。そこで、平行移動距離Ｌ_ｄｉｓｔだけ戻すため、下記の式（２１）に示すように、平行移動逆行列Ｔ_Ｚ ^−１を乗じる。

＜＜仮想カメラの位置での変換行列＞＞
図１３を参照して、仮想カメラの位置での変換行列Ｆについて説明する。
前記した式（１４）、式（１６）、式（２０）、式（２１）を用いると、斜投影によるプロジェクション行列Ｐは、下記の式（２２）で表すことができる。この式（２２）にモデルビュー行列Ｍ_Ｃの項を加えると、仮想カメラの位置での変換行列Ｆは、下記の式（２３）で表すことができる。

以上のように、仮想撮影画像生成手段１４４は、前記した式（２３）を用いることで、図１３に示すように、３次元形状モデルＯｂｊ１，２が投影面Ｐ_Ｐ（Ｘ軸−Ｙ軸面）に斜投影された仮想撮影画像を生成できる。その後、仮想撮影画像生成手段１４４は、生成した仮想撮影画像を第１のフィルタ１５に出力する。

＜レンズアレイでのサンプリングに起因する折返し雑音の低減＞
以下、図１４を参照し、第１のフィルタ１５による、レンズアレイＬ_Ａでのサンプリングに起因する折返し雑音の低減について説明する（適宜図２参照）。
ここで、フィルタ用パラメータ設定手段１３が、仮想撮影画像において、図１４に示すようなフィルタ適用領域Ａ_Ｒを設定した例で説明する。つまり、このフィルタ適用領域Ａ_Ｒは、あるピンホールＨに対応する画素を中心として、そのピンホールＨに隣接する他のピンホールＨに対応する画素を結んだ線分の中点Ｃ_Ｐ１〜４で囲われる領域（例えば、ひし形）となる。また、斜投影を用いたので、“●”の画素は、図１４に示すように、レンズアレイＬ_Ａにおける要素レンズＬ_Ｐの配置に応じて、縦横に整列している。また、仮想撮影画像の画素間隔とレンズアレイＬ_Ａの要素レンズＬ_Ｐの配置とは、整数比（例えば、１対４）になる。

第１のフィルタ１５（図２参照）は、フィルタ用パラメータ設定手段１３からフィルタ適用領域Ａ_Ｒが入力され、仮想カメラ撮影手段１４から仮想撮影画像が入力される。そして、第１のフィルタ１５は、仮想撮影画像においてフィルタ適用領域Ａ_Ｒ内に低域通過フィルタ処理を施す。具体的には、第１のフィルタ１５は、低域通過フィルタ処理として、フィルタ適用領域Ａ_Ｒ内に存在する全ての画素値の平均値を算出し、その平均値をフィルタ適用領域Ａ_Ｒの中央に位置する“●”画素の画素値とする。また、第１のフィルタ１５は、低域通過フィルタ処理として、平均値を求める代わりに、重み付け加算値又はメディアン値を求めてもよい。その後、第１のフィルタ１５は、低域通過フィルタ処理を施した仮想撮影画像を正規化画像生成手段１６に出力する。

これによって、第１のフィルタ１５は、３次元オブジェクトＯｂｊからの光線がレンズアレイＬ_Ａでサンプリングされるために発生する折返し雑音（エイリアシング）を低減することができる。このとき、仮想撮影画像の各画素が縦横に整列しており、仮想撮影画像に幾何歪が発生していないため、第１のフィルタ１５は、幾何歪の補正するための計算コストを少なくすることができる（図１４参照）。

なお、フィルタ用パラメータ設定手段１３は、ピンホールＨ以外の他のピンホールＨに対応する画素ついても、フィルタ適用領域Ａ_Ｒを同様に設定する。そして、第１のフィルタ１５は、そのフィルタ適用領域Ａ_Ｒ毎に低域通過フィルタ処理を施すことは言うまでもない。

図２の正規化画像生成手段１６は、第１のフィルタ１５から仮想撮影画像が入力され、所定の座標変換式によって、この仮想撮影画像の画素の画素値を正規化画像Ｉ’の画素に割り当てることで、正規化画像Ｉ’を生成する。具体的には、正規化画像生成手段１６は、低域通過フィルタ処理を施した仮想撮影画像のサンプル点（図１４の“●”）を、正規化画像Ｉ’の計算対象画素（図７の“■”）に割り当てる。この場合、正規化画像Ｉ’の画素座標は、下記の式（２４）で表される。なお、式（２４）の左辺第１項は、ピンホールＨの位置を示すことになる。

その後、立体像生成装置１では、要素画像Ｇの各画素をローカル座標（ｕ，ｖ）としてそれぞれ指定して、仮想カメラ撮影手段１４による仮想カメラＶｃでの撮影処理、第１のフィルタ１５による低域通過フィルタ処理、および、正規化画像生成手段１６による画素値の割り当て処理を、要素画像Ｇの全ての画素に対して実行する。従って、立体像生成装置１では、要素画像Ｇの画素数だけこれら処理を繰り返せばよく、従来のように画像内に存在する全画素に対して処理を繰り返し行う必要がない。
このようにして、正規化画像生成手段１６は、正規化画像Ｉ’の全画素値を得ることができる。その後、正規化画像生成手段１６は、生成した正規化画像Ｉ’を表示画像生成手段１７に出力する。

表示画像生成手段１７は、正規化画像生成手段１６から正規化画像Ｉ’が入力され、この正規化画像Ｉ’から表示画像Ｉを生成する。このため、図２に示すように、表示画像生成手段１７は、第２のフィルタ（第２の折返し雑音低減手段）１７ａを備える。

＜画像表示パネルでのサンプリングに起因する折返し雑音の低減＞
以下、図１５を参照し、第２のフィルタ１７ａによる、画像表示パネル２１でのサンプリングに起因する折返し雑音の低減について説明する（適宜図２参照）。
第２のフィルタ１７ａは、正規化画像Ｉ’が画像表示パネル２１で表示する表示画像Ｉの縦横にそれぞれＭ倍の画素を持つので、正規化画像Ｉ’に対して低域通過フィルタ処理を施す。具体的には、図１５に示すように、第２のフィルタ１７ａは、低域通過フィルタ処理として、表示画像Ｉの１画素の画素値を、その表示画像Ｉの１画素に対応する領域に含まれる正規化画像Ｉ’の全ての画素の平均値とする処理を行う。さらに、第２のフィルタ１７ａは、低域通過フィルタ処理として、平均値を求める代わりに、重み付け加算値又はメディアン値を求めてもよい。

つまり、第２のフィルタ１７ａは、前記した式（４）で座標変換できることから、下記の式（２５）で表される低域通過フィルタ処理を行うことで、表示画像Ｉを生成する。そして、第２のフィルタ１７ａは、生成した表示画像Ｉを立体表示装置２（図１参照）に出力する。

なお、式（２５）において、Ｉ’（ｉ’＋ｓ，ｊ’＋ｔ）が正規化画像Ｉ’の画素（ｉ’＋ｓ，ｊ’＋ｔ）の画素値を示しており、Ｉ（ｉ，ｊ）が表示画像Ｉの画素（ｉ，ｊ）の画素値を示している。また、Ｄは、Σの条件を満たすＩ（ｉ’＋ｓ，ｊ’＋ｔ）の数であり、総和に寄与した画素の数となる。さらに、ｓおよびｔは、０から要素レンズＬ_Ｐ間の画素数の半分までの整数値である。

［立体像生成装置の動作］
以下、図１６を参照し、図２の立体像生成装置１の全体動作を説明する（適宜図２参照）。
立体像生成装置１は、立体表示装置モデル化手段１１によって、立体表示装置２のパラメータ（Ｆ，Ｒ_Ｈ，Ｒ_Ｖ，Ｐ）が入力される（ステップＳ１）。

また、立体像生成装置１は、正規化画像設定手段１２によって、正規化画像Ｉ’の設定を行う（ステップＳ２）。つまり、立体像生成装置１は、正規化画像設定手段１２によって、前記した式（１）および式（２）を用いて、正規化画像Ｉ’の水平方向の画素サイズＰ_Ｈおよび正規化画像Ｉ’の垂直方向の画素サイズＰ_Ｖを算出する。

また、立体像生成装置１は、フィルタ用パラメータ設定手段１３によって、フィルタ用パラメータを設定する（ステップＳ３）。つまり、立体像生成装置１は、フィルタ用パラメータ設定手段１３において、例えば、ひし形状のフィルタ適用領域Ａ_Ｒを仮想撮影画像上に設定する。

また、立体像生成装置１は、仮想カメラ撮影手段１４によって、仮想カメラＶｃによる撮影を行って、仮想撮影画像を生成する（ステップＳ４）。この仮想カメラ撮影手段１４の動作は、その詳細を後記する。

また、立体像生成装置１は、第１のフィルタ１５によって、仮想撮影画像に対して低域通過フィルタ処理を施す（ステップＳ５）。つまり、立体像生成装置１は、第１のフィルタ１５によって、仮想撮影画像において、フィルタ適用領域Ａ_Ｒ内に存在する全ての画素値の平均値、重み付け加算値、又は、メディアン値を求め、その値をフィルタ適用領域Ａ_Ｒ内に存在する全画素の画素値とする。

また、立体像生成装置１は、正規化画像生成手段１６によって、前記した式（２４）を用いて、仮想撮影画像の画素の画素値を正規化画像Ｉ’の画素に割り当てることで、正規化画像Ｉ’を生成する（ステップＳ６）。

その後、立体像生成装置１は、正規化画像生成手段１６によって、要素画像Ｇの全画素に対して、仮想カメラ撮影手段１４による仮想カメラでの撮影処理、第１のフィルタ１５による低域通過フィルタ処理、および、正規化画像生成手段１６による画素値の割り当て処理を実行したか否かを判定する（ステップＳ７）。

ここで、要素画像Ｇの全画素で処理を実行していない場合（ステップＳ７でＮｏ）、立体像生成装置１は、ステップＳ４の処理に戻る。
一方、要素画像Ｇの全画素で処理を実行した場合（ステップＳ７でＹｅｓ）、立体像生成装置１は、ステップＳ８の処理に進む。

また、立体像生成装置１は、第２のフィルタ１７ａによって、正規化画像Ｉ’に対して低域通過フィルタ処理を施す（ステップＳ８）。つまり、立体像生成装置１は、第２のフィルタ１７ａによって、低域通過フィルタ処理として、表示画像Ｉの画素の画素値を、その画素に対応する正規化画像Ｉ’の全ての画素の平均値、重み付け加算値、又は、メディアン値とする処理を行う。

以下、図１７を参照し、図５の仮想カメラ撮影手段１４の動作を説明する（適宜図５参照）。
仮想カメラ撮影手段１４は、正規化画像画素位置算出手段１４１によって、前記した式（３）および式（４）を用いて、正規化画像Ｉ’の画素位置を算出する（ステップＳ４１）。

また、仮想カメラ撮影手段１４は、ピンホール位置算出手段１４２によって、前記した式（５）を用いて、ピンホールＨの位置を算出する（ステップＳ４２）。

また、仮想カメラ撮影手段１４は、仮想カメラ位置算出手段１４３によって、正規化画像Ｉ’において、画素Ｉ’_０，_０（ｕ，ｖ）からピンホールＨ（０，０）の位置までの単位ベクトルを生成する（式（６）参照）。そして、仮想カメラ撮影手段１４は、仮想カメラ位置算出手段１４３によって、前記した式（７）を用いて、仮想カメラＶｃの位置を算出し、単位ベクトルの逆方向を仮想カメラＶｃの撮影方向として算出する（ステップＳ４３）。

また、仮想カメラ撮影手段１４は、仮想撮影画像生成手段１４４によって、仮想カメラの位置での変換行列Ｆによって（式（２３）参照）、表示対象を投影面Ｐ_Ｐに斜投影することで、表示対象を仮想カメラＶｃで撮影した仮想撮影画像を生成する（ステップＳ４４）。

以上のように、本発明の実施形態に係る立体像生成装置１は、正規化画像設定手段１２によって、画素サイズが要素レンズＬ_Ｐの間隔に対して整数分の１となる正規化画像Ｉ’を用意する。そして、立体像生成装置１は、仮想カメラ撮影手段１４によって、要素レンズＬ_Ｐの中心が仮想撮影画像の画素に対応するような斜投影を行い、仮想撮影画像の画素の画素値を、用意した正規化画像Ｉ’の各画素に割り当てる。これによって、立体像生成装置１は、要素レンズＬ_Ｐの間隔が要素画像Ｇの画素サイズの整数倍という条件を満たさない場合でも、斜投影により表示画像Ｉを生成できる。さらに、立体像生成装置１は、正射影のように幾何歪が発生しないため、幾何歪の補正するための計算コストを少なくできる。具体的には、立体像生成装置１は、画像内に存在する全画素に対して射影変換を行う従来技術と比べて、１／要素レンズＬ_Ｐの数以下に計算コストを抑えることができる。

また、立体像生成装置１は、第１のフィルタ１５によって、レンズアレイＬ_Ａでのサンプリングに起因する折返し雑音を低減するので、表示画像Ｉを高品質にすることができる。このとき、立体像生成装置１は、フィルタ用パラメータ設定手段１３によって、フィルタ適用領域を人手によらずに設定することができ、正確な低域通過フィルタ処理を可能とする。そして、立体像生成装置１は、第２のフィルタ１７ａによって、画像表示パネル２１でのサンプリングに起因する折返し雑音を低減するので、立体画像を高品質にすることができる。

ここで、射影変換を行う従来技術（例えば、特開２００９−１７５８６６号公報）でも、折返し雑音低減フィルタを用いているが、仮想カメラの位置又は撮影方向を変える毎に、要素画像で１画素ずつ演算を行うため、その演算量が多くなってしまう。しかし、立体像生成装置１では、第１のフィルタ１５および第２のフィルタ１７ａが斜投影に適用可能なため、従来の折返し雑音低減フィルタに比べて、折返し雑音の低減に必要な演算量も少なくすることができる。

なお、本発明の実施形態では、立体像生成装置１は、第１のフィルタ１５および第２のフィルタ１７ａを備えることとして説明したが、何れか一方だけを備えてもよく、両方を備えなくともよい。
ここで、第１のフィルタ１５のみを備える場合、立体像生成装置１は、レンズアレイＬ_Ａでのサンプリングに起因する折返し雑音を低減するので、実用上十分な品質の表示画像Ｉを得ることができる。このように第１のフィルタ１５のみを備える場合（つまり、第２のフィルタ１７ａを備えない場合）、立体像生成装置１は、表示画像生成手段１７によって、正規化画像Ｉ’の中心画素を表示画像Ｉの画素とすることで、表示画像Ｉを生成してもよい。
また、第２のフィルタ１７ａのみを備える場合、立体像生成装置１は、画像表示パネル２１でのサンプリングに起因する折返し雑音を低減するので、実用上十分な品質の表示画像Ｉを得ることができる。

なお、本発明の実施形態では、インテグラル方式に適用する例を説明したが、本発明は、これに限定されない。例えば、表示画像Ｉの垂直方向を１画素とすることで、本発明は、レンチキュラ方式にも適用することができる。

なお、本発明において、第２のフィルタ１７ａは、正規化画像Ｉ’における要素画像Ｇの画素サイズと、画像表示パネル２１の画素サイズとの比が整数でない場合、内挿処理を施してサンプリング位置に応じた表示画像Ｉの画素値を計算してもよい。

なお、本発明の実施形態では、本発明に係る立体像生成装置を独立した装置として説明したが、本発明では、一般的なコンピュータを、前記した各手段として機能させる立体像生成プログラムによって実現することもできる。この立体像生成プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

［動的３次元形状モデルへの応用］
以下、図１８を参照して、立体像生成装置１を用いて、動的３次元形状モデルの立体像（インテグラル立体映像）を生成する手法について説明する。

図１８に示すように、立体映像生成システムＳは、３次元モデリング装置３と、立体像生成装置１とを備える。
３次元モデリング装置３は、複数のカメラを、表示対象を取り囲むように配置し、その複数のカメラ画像から動的な３次元形状モデルを生成するものである。この３次元モデリング装置３は、例えば、特許第４０１４１４０号公報で開示されている３次元モデリング装置を用いることができる。

これによって、立体映像生成システムＳは、３次元モデリング装置３において、複数のカメラ画像から映像フレームごとに動的３次元形状モデルを生成し、立体像生成装置１において、動的３次元形状モデルからインテグラル立体像を生成する。このように、立体映像生成システムＳは、映像フレームごとにインテグラル立体像を生成することで、動画像（インテグラル立体映像）を生成することができる。

１ 立体像生成装置
１１ 立体表示装置モデル化手段（パラメータ入力手段）
１２ 正規化画像設定手段（正規化画像画素サイズ算出手段）
１３ フィルタ用パラメータ設定手段（フィルタ適用領域設定手段）
１４ 仮想カメラ撮影手段
１４１ 正規化画像画素位置算出手段
１４２ ピンホール位置算出手段
１４３ 仮想カメラ位置算出手段
１４４ 仮想撮影画像生成手段
１５ 第１のフィルタ（第１の折返し雑音低減手段）
１６ 正規化画像生成手段
１７ 表示画像生成手段
１７ａ 第２のフィルタ（第２の折返し雑音低減手段）
２ 立体表示装置
２１ 画像表示パネル（画像表示手段）
Ｌ_Ａ レンズアレイ
Ｌ_Ｐ 要素レンズ

Claims (5)

1. 要素レンズを２次元に配置したレンズアレイと画像表示手段とを備える立体表示装置に表示する表示対象としての３次元形状モデルを仮想的な撮影カメラである仮想カメラで撮影して、前記立体表示装置用の表示画像を生成する立体像生成装置であって、
   前記要素レンズの焦点距離と、前記要素レンズの間隔と、前記画像表示手段の画素間隔とが入力されるパラメータ入力手段と、
   前記要素レンズの間隔を前記画像表示手段の画素間隔で除算して予め設定された定数を乗じた値に基づいて前記要素レンズ間の画素数を算出すると共に、前記要素レンズの間隔を前記要素レンズ間の画素数で除算することで、正規化画像の画素サイズを前記要素レンズの間隔に対して整数分の１となる値で算出する正規化画像画素サイズ算出手段と、
   前記表示画像の画素座標に前記画像表示手段の画素間隔を乗算して前記正規化画像の画素サイズで除算することで、前記正規化画像の画素座標を算出する正規化画像画素位置算出手段と、
   前記レンズアレイから前記仮想カメラの位置までを示すように予め設定した距離と前記正規化画像の画素サイズとを乗算して前記要素レンズの焦点距離で除算した値に基づいて前記仮想カメラの位置を算出する仮想カメラ位置算出手段と、
   前記仮想カメラ位置算出手段が算出した仮想カメラの位置での変換行列によって、前記３次元形状モデルを投影面に斜投影することで、前記３次元形状モデルを前記仮想カメラで撮影した仮想撮影画像を生成する仮想撮影画像生成手段と、
   所定の座標変換式により前記仮想撮影画像の画素の画素値を前記正規化画像の画素に割り当てることで、前記正規化画像を生成する正規化画像生成手段と、
   前記正規化画像生成手段が生成した正規化画像から前記表示画像を生成する表示画像生成手段と、
   を備えることを特徴とする立体像生成装置。
2. 前記仮想カメラ位置算出手段は、さらに、前記仮想カメラの位置から前記レンズアレイの中心位置までの方向を前記仮想カメラの撮影方向として算出し、
   前記仮想撮影画像生成手段は、前記レンズアレイとの垂線上に位置する前記仮想カメラが前記レンズアレイの中心位置を向く第１視点でのモデルビュー行列Ｍ_Ｏについて下記の式（９）で定義され、前記仮想カメラ位置算出手段が算出した仮想カメラの位置で前記仮想カメラが前記撮影方向を向く第２視点でのモデルビュー行列Ｍ_Ｃが下記の式（１０）で定義され、前記第１視点から前記第２視点への変換行列Ｔ_Ｃが下記の式（１１）で定義され、正射影用変換行列ｏｒｔｈｏが下記の式（１２）で定義され、投影座標系内での前記レンズアレイの平行移動距離Ｌ_ｄｉｓｔが下記の式（１５）で定義され、前記投影座標系内での前記レンズアレイの平行移動行列Ｔ_Ｚが下記の式（１６）で定義され、前記投影座標系の第３軸方向の変位に対する第１，２軸方向の変化量Ｓ_Ｘ，Ｓ_Ｙが下記の式（１９）で定義され、斜投影用変換行列Ｏｂｌｉｑｕｅが下記の式（２０）で定義され、前記投影座標系内での前記レンズアレイの平行移動逆行列Ｔ_Ｚ ^−１が下記の式（２１）で定義され、プロジェクション行列Ｐが下記の式（２２）で定義されるときに、下記の式（２３）で定義された前記仮想カメラの位置での変換行列Ｆによって、前記３次元形状モデルを斜投影することを特徴とする請求項１に記載の立体像生成装置。
   

   

   

   

   

   

   

   

   

   

   

   

   なお、ｏ_１１〜ｏ_３４は回転と平行移動とを表す要素であり、ｃ_１１〜ｃ_３４は回転と平行移動とを表す要素であり、ｌは前記仮想カメラの視野範囲の左端位置であり、ｒは前記視野範囲の右端位置であり、ｔは前記視野範囲の上端位置であり、ｂは前記視野範囲の下端位置であり、ｆは前記視野範囲の奥端位置であり、ｎは前記視野範囲の手前端位置であり、Ｌｅｎｇｔｈは前記仮想カメラから前記レンズアレイまでの距離であり、Ｘ_Ｃは前記第１軸方向での前記第２視点の位置であり、Ｙ_Ｃは前記第２軸方向での前記第２視点の位置であり、Ｚ_Ｃは前記第３軸方向での前記第２視点の位置である。
3. 前記仮想撮影画像生成手段が生成した仮想撮影画像に対して、前記要素レンズの中心位置に対応する画素を結んだ線分の中点で囲われるフィルタ適用領域毎に低域通過フィルタ処理を施す第１の折返し雑音低減手段、
   をさらに備えることを特徴とする請求項１または請求項２に記載の立体像生成装置。
4. 前記正規化画像画素サイズ算出手段は、前記定数として２を超える偶数が予め設定され、
   前記表示画像生成手段は、前記正規化画像に対して低域通過フィルタ処理を施す第２の折返し雑音低減手段、
   をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の立体像生成装置。
5. 要素レンズを２次元に配置したレンズアレイと画像表示手段とを備える立体表示装置に表示する表示対象としての３次元形状モデルを仮想的な撮影カメラである仮想カメラで撮影して、前記立体表示装置用の表示画像を生成するために、コンピュータを、
   前記要素レンズの焦点距離と、前記要素レンズの間隔と、前記画像表示手段の画素間隔とが入力されるパラメータ入力手段、
   前記要素レンズの間隔を前記画像表示手段の画素間隔で除算して予め設定された定数を乗じた値に基づいて前記要素レンズ間の画素数を算出すると共に、前記要素レンズの間隔を前記要素レンズ間の画素数で除算することで、正規化画像の画素サイズを前記要素レンズの間隔に対して整数分の１となる値で算出する正規化画像画素サイズ算出手段、
   前記表示画像の画素座標に前記画像表示手段の画素間隔を乗算して前記正規化画像の画素サイズで除算することで、前記正規化画像の画素座標を算出する正規化画像画素位置算出手段、
   前記レンズアレイから前記仮想カメラの位置までを示すように予め設定した距離と前記正規化画像の画素サイズとを乗算して前記要素レンズの焦点距離で除算した値に基づいて前記仮想カメラの位置を算出する仮想カメラ位置算出手段、
   前記仮想カメラ位置算出手段が算出した仮想カメラの位置での変換行列によって、前記３次元形状モデルを投影面に斜投影することで、前記３次元形状モデルを前記仮想カメラで撮影した仮想撮影画像を生成する仮想撮影画像生成手段、
   所定の座標変換式により前記仮想撮影画像の画素の画素値を前記正規化画像の画素に割り当てることで、前記正規化画像を生成する正規化画像生成手段、
   前記正規化画像生成手段が生成した正規化画像から前記表示画像を生成する表示画像生成手段、
   として機能させることを特徴とする立体像生成プログラム。

Images