JP6543096B2 - 視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステム - Google Patents

Description

本発明は、インテグラル立体をシミュレーションするための視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステムに関する。

従来、立体像を表示する方式として、インテグラル立体方式が知られている。
このインテグラル立体方式は、撮像装置によって、図１０に示すように、二次元配列された複数の要素レンズＬｐからなるレンズアレーＬａを介して、被写体Ｏから出た光を撮像する。このとき、要素レンズＬｐの焦点距離だけ離間した撮像面Ｅにおいて、要素レンズＬｐのレンズ間隔で、要素画像Ｇが撮像されることになる。
そして、インテグラル立体方式は、図１１に示すように、撮像時と同じ仕様のレンズアレーＬａを介して、表示装置（ディスプレイ）の表示面Ｄに図１０で撮像した要素画像Ｇを表示する。このとき、撮像された被写体空間と同様の光線が再生され、観察者Ｍは、被写体Ｏ（図１０参照）を、立体像Ｔとして視認することができる。
このインテグラル立体方式では、実体のある被写体を撮像して要素画像を生成する以外にも、仮想空間中の三次元モデルから要素画像を生成する手法が提案されている（特許文献１、非特許文献１参照）。
この手法は、仮想空間中の三次元モデルから、高精細な表示装置とレンズアレーの仕様に対応して、要素レンズに対応するすべての要素画像を生成している。

また、立体像を表示する他の方式として、レンチキュラ方式等の二眼立体方式が知られている。例えば、レンチキュラ方式は、左右二眼用のそれぞれの画像をストライプ状に交互に配列して表示し、レンチキュラレンズによって、観察者が視点を左右方向に移動させることで、異なる視点から見た立体像を視認できる手法である（特許文献２参照）。なお、特許文献２には、観察者の視点位置を検出し、左右二眼用のそれぞれの画像について、観察方向の画像を生成する発明が開示されている。

特開２０１３−１９６５３２号公報 特開平９−２３８３６９号公報

岩舘、片山、「斜投影によるインテグラル立体像の生成方法」、社団法人映像情報メディア学会技術報告、ｖｏｌ．３４、Ｎｏ．４３、ｐｐ．１７−２０、２０１０年１０月

インテグラル立体方式において、表示装置の画素間隔、レンズアレーのレンズ間隔および焦点距離といったパラメータは、立体像の画質を決める重要な要素となる。そのため、これらのパラメータをさまざまに変えることで、インテグラル方式の立体像（以下、インテグラル立体像）を最適に表示するために必要なパラメータを調べることができる。
しかし、表示装置の画素間隔等は、メーカの設計によって決まるため、調査したいパラメータ仕様に合致した表示装置を揃えることは難しく、インテグラル立体像の画質を調査することは困難である。

一方、インテグラル立体像を表示する実際の表示装置を用いずに、例えば、特許文献１等によって生成された、立体像を表示するための複数の要素画像を、二眼立体の画像に変換してシミュレーションを行うこととしても、予めすべての要素画像を生成し、二眼立体用の画像を生成しなければならない。

この場合、すべての要素画像を生成して主記憶メモリに記憶し、二眼立体用の情報のみをグラフィックメモリに転送することになるため、高解像度の表示装置や要素画像を対象とした場合、大規模の主記憶メモリが必要となってしまうという問題がある。
また、この場合、大容量の要素画像群から表示用の画像を生成するため、表示装置の画面や要素画像が高解像度化すればするほど生成時間を要し、動画像を表示することは困難になる。

なお、特許文献２に記載の発明は、視点位置に応じた左右二眼用の画像を生成し、表示用の画像生成の負荷を軽減しているが、インテグラル立体方式に適用するには、予め立体像を表示するための大容量の要素画像を生成する必要があり、大容量の主記憶メモリが必要となってしまうという問題は解消されない。

本発明は、このような問題に鑑みてなされたものであり、観察者の視点位置に対応する部分的な要素画像を生成して使用するメモリ量を抑え、インテグラル立体像をシミュレーションすることが可能な視点位置用要素画像生成装置およびそのプログラム、ならびに、インテグラル立体シミュレーションシステムを提供することを課題とする。

前記課題を解決するため、本発明に係る視点位置用要素画像生成装置は、インテグラル立体方式のシミュレーション対象となる対象表示装置が表示する立体像を他の表示装置でシミュレーションするために、観察者の視点位置に対応して立体像を表示する部分的な要素画像である視点位置用要素画像を生成する視点位置用要素画像生成装置であって、視点対応位置特定手段と、仮想空間撮影手段と、フィルタリング手段と、要素画像再構成手段と、を備える構成とした。

かかる構成において、視点位置用要素画像生成装置は、視点対応位置特定手段によって、他の表示装置と同じ座標系（三次元座標系）上に対象表示装置を仮想的に配置し、視点位置検出装置で検出された観察者の視点位置から、対象表示装置の各要素レンズのレンズ中心を通過して対象表示装置の表示面に到達する要素レンズごとの視点対応位置を計算する。なお、対象表示装置を仮想的に配置するために必要な対象表示装置の縦横の画素数および画素間隔、レンズアレーの縦横のレンズ数およびレンズ間隔ならびに焦点距離は、外部からパラメータとして入力される。

これによって、視点位置用要素画像生成装置は、対象表示装置が立体像を表示するための要素レンズの要素画像に対応して、観察者の視点位置から視認される画素位置が特定されることになる。なお、観察者の視点位置からは、要素画像の一部しか視認されていないことから、視認された画素位置以外の要素画像を生成する必要はないことになる。

そして、視点位置用要素画像生成装置は、仮想空間撮影手段によって、視点対応位置から、当該視点対応位置に対応する要素レンズのレンズ中心を通過して、観察者までの視距離位置に仮想カメラを配置し、ＣＧ等の三次元空間データを透視投影により予め定めた投影面に仮想撮影し、要素レンズごとの予め定めた範囲でレンダリングする。

そして、視点位置用要素画像生成装置は、フィルタリング手段によって、要素レンズごとにレンダリングされた画像をフィルタリングして、当該要素レンズに対応する画素値を計算する。
このとき、仮想空間撮影手段によってレンダリングされた画像は、視点対応位置の周辺画像を含んでいる。そのため、フィルタリング手段は、理想的な視点位置の周辺の画像を加味して画素値を計算することになり、立体像において、ボケを再現することが可能になる。

そして、視点位置用要素画像生成装置は、要素画像再構成手段によって、フィルタリング手段で計算された要素レンズごとの画素値を、現実に観察者が視認する表示装置の要素レンズごとの視点対応位置に対応する画素に割り当てることで、要素画像の一部分のみを再現した観察者の視点位置用要素画像を生成する。
これによって、視点位置用要素画像生成装置は、観察者の視点位置に対応し、観察者が立体像を視認するために必要となる要素画像の一部のみを生成することができる。

なお、視点位置用要素画像生成装置は、コンピュータを、視点対応位置特定手段、仮想空間撮影手段、フィルタリング手段、要素画像再構成手段として機能させるための視点位置用要素画像生成プログラムで動作させることができる。

また、前記課題を解決するため、本発明に係るインテグラル立体シミュレーションシステムは、インテグラル立体方式のシミュレーション対象となる対象表示装置が表示する立体像をシミュレーションするインテグラル立体シミュレーションシステムであって、視点位置検出装置と、視点位置用要素画像生成装置と、要素画像表示装置と、を備える構成とした。

かかる構成において、インテグラル立体シミュレーションシステムは、視点位置検出装置によって、観察者の視点位置を検出する。
そして、インテグラル立体シミュレーションシステムは、視点位置用要素画像生成装置によって、観察者の視点位置に対応して立体像を表示する部分的な要素画像である視点位置用要素画像を生成する。
そして、インテグラル立体シミュレーションシステムは、要素画像表示装置によって、視点位置用要素画像生成装置で生成された視点位置用要素画像を、レンズアレーを介して表示する。

これによって、要素画像表示装置は、要素画像の一部のみを生成して表示することで、観察者が視点位置で立体像を視認することができる。
このように、インテグラル立体シミュレーションシステムは、すべての要素画像を生成しなくても、観察者の視点位置から視認される要素画像の一部のみを生成することで、使用するメモリ量を抑えて、インテグラル立体方式の表示装置（対象表示装置）が表示する立体像をシミュレーションすることができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明の視点位置用要素画像生成装置および視点位置用要素画像生成プログラムによれば、観察者の視点位置に対応する部分的な要素画像のみを生成するため、すべての要素画像を生成する場合に比べ、高速に、かつ、メモリ使用量を抑えて、立体像を表示するために必要な要素画像を生成することができる。

また、本発明のインテグラル立体シミュレーションシステムは、観察者の視点位置に対応する部分的な要素画像のみを生成して表示するため、すべての要素画像を生成して表示する場合に比べ、高速に、かつ、メモリ使用量を抑えて、立体像を表示することができる。

このように、本発明は、要素画像を生成するためのメモリ使用量を抑えることができるため、要素画像のさらなる高解像度化にも対応することが可能になる。また、本発明は、部分的に要素画像を生成するため、動画像の立体像をシミュレーションすることも可能になる。

本発明の実施形態に係るインテグラル立体シミュレーションシステムの全体構成を示す構成図である。 観察者の視点位置を検出する際の座標系を示し、（ａ）はｘｙ座標、（ｂ）はｙｚ座標を示す。 本発明の実施形態に係る視点位置用要素画像生成装置のブロック構成を示す構成図である。 視点対応位置特定手段における視点対応位置の算出手法を説明するための説明図である。 視点対応位置と画素のサブピクセル中心との対応を説明するための説明図である。 仮想空間撮影手段が透視投影を行う際の投影面の領域構成を説明するための説明図である。 仮想空間撮影手段が透視投影を行う際の仮想カメラの配置を説明するための説明図である。 透視投影行列を説明するための説明図である。 本発明の実施形態に係る視点位置用要素画像生成装置の動作を示すフローチャートである。 従来のインテグラル方式の撮像系を説明するための説明図である。 従来のインテグラル方式の表示系を説明するための説明図である。

以下、本発明の実施形態について図面を参照して説明する。
〔インテグラル立体シミュレーションシステムの構成〕
まず、図１を参照して、本発明の実施形態に係るインテグラル立体シミュレーションシステムＳの構成について説明する。

インテグラル立体シミュレーションシステムＳは、シミュレーション対象となる仮想の表示装置で表示するインテグラル立体方式の立体像（インテグラル立体像）をシミュレーション表示するものである。
このインテグラル立体シミュレーションシステムＳは、図１に示すように、視点位置用要素画像生成装置１と、視点位置検出装置２と、要素画像表示装置３と、を備える。
なお、以下では、シミュレーション対象の仮想の表示装置を対象表示装置と表記し、観察者が現実に視認する表示装置（他の表示装置）である要素画像表示装置３と区別することとする。

視点位置用要素画像生成装置１は、被写体を含むＣＧ等の三次元空間データと、対象表示装置（不図示）のパラメータとから、要素画像表示装置３に表示する、観察者Ｍの視点位置に対応する部分的な要素画像（視点位置用要素画像）を生成するものである。
この視点位置用要素画像生成装置１は、観察者Ｍの視点位置を視点位置検出装置２から入力し、生成した視点位置用要素画像を要素画像表示装置３に出力する。
なお、この視点位置用要素画像生成装置１については、後で詳細に説明する。

視点位置検出装置２は、観察者Ｍの視点位置を検出するものである。この視点位置検出装置２は、例えば、図２に示すような三次元座標系（ｘ，ｙ，ｚ）において、観察者Ｍの左右二眼それぞれの視点位置を求める。この視点位置検出装置２は、検出した視点位置を視点位置用要素画像生成装置１に出力する。なお、要素画像表示装置３と仮想の対象表示装置とは同じ座標系を用いることとする。

この視点位置検出装置２における視点位置の計測は、既知の手法を用いることができる。例えば、視点位置検出装置２は、眼球運動計測に用いられる強膜反射法や角膜・瞳孔反射法によって、三次元空間上の予め定めた位置に設置した２台のカメラで撮影した観察者Ｍのカメラ画像から観察者Ｍの左右の角膜をそれぞれ検出する。そして、視点位置検出装置２は、２台のカメラ画像の三角測量の原理により、左右二眼の三次元の視点位置を求めることができる。

なお、視点位置検出装置２の視点位置検出手法はこの手法に限定されるものではない。例えば、マイクロソフト社のＫｉｎｅｃｔ（キネクト）（登録商標）を用い、Ｋｉｎｅｃｔの「ＦａｃｅＴｒａｃｋｉｎｇ ＳＤＫ」の出力として、顔モデルの「左右目尻位置」の中点（ｍｘ，ｍｙ，ｍｚ）（単位：ｍｍ）が与えられた場合、視点位置検出装置２は、図２の座標系において左眼視点座標（ｍｘ−６．５／２，ｍｙ，ｍｚ）、右目視点座標（ｍｘ＋６．５／２，ｍｘ，ｍｙ）として、左右二眼の視点位置を求めることができる。なお、ここで、６．５ｍｍは、一般的な大人の両眼間隔である。

要素画像表示装置３は、視点位置用要素画像生成装置１で生成された視点位置用要素画像を表示するものである。この要素画像表示装置３は、複数の要素レンズからなるレンズアレーを表示面に備えた一般的なインテグラル立体方式の表示装置である。なお、要素画像表示装置３の画素数、要素レンズの数は、シミュレーション対象である対象表示装置と同じである。また、要素レンズの配置は、対象表示装置の要素レンズの配置と相似とする。例えば、対象表示装置の要素レンズの配置が正方配列であれば、要素画像表示装置３の要素レンズの配置は正方配列とする。

この要素画像表示装置３は、観察者Ｍの視点位置に応じて、視点位置用要素画像生成装置１が生成した部分的な要素画像を表示するため、その視点位置において、観察者Ｍに立体像Ｔを視認させることができる。

このように、インテグラル立体シミュレーションシステムＳは、インテグラル立体像を表示する要素画像をすべて生成することなく、観察者Ｍの視点位置に応じて、部分的に要素画像を生成して表示するため、使用するメモリ量を抑えてシミュレーションを行うことができる。また、これによって、インテグラル立体シミュレーションシステムＳは、高速に立体像を表示することが可能になり、動画像の立体像のシミュレーションにも適用することができる。

〔視点位置用要素画像生成装置の構成〕
次に、図３を参照して、本発明の実施形態に係る視点位置用要素画像生成装置１の構成について説明する。
図３に示すように、視点位置用要素画像生成装置１は、視点対応位置特定手段１０と、仮想空間撮影手段１１と、フィルタリング手段１２と、要素画像再構成手段１３と、を備える。

視点対応位置特定手段１０は、外部から入力される対象表示装置のパラメータに基づいて、対象表示装置の要素レンズごとに、視点位置検出装置２で検出された左右二眼の視点位置のそれぞれから、要素レンズのレンズ中心を通過して、要素画像の表示面に到達する視線の表示面における位置（視点対応位置）を特定するものである。なお、対象表示装置のパラメータは、具体的には、対象表示装置の仕様である縦横の画素数および画素間隔、レンズアレーの縦横のレンズ数およびレンズ間隔ならびに焦点距離等である。
この視点対応位置特定手段１０は、左右二眼のそれぞれの視点位置において、すべての要素レンズに対応する視点対応位置（三次元座標）を計算し、仮想空間撮影手段１１と要素画像再構成手段１３とに出力する。

ここで、図４を参照（適宜図３参照）して、視点対応位置特定手段１０が計算する視点対応位置の三次元座標の算出手法について説明する。
図４に示すように、視点対応位置特定手段１０は、パラメータで指定された画素間隔Ｐｂ、レンズ間隔Ｌｂおよび焦点距離Ｆで、表示面ＤとレンズアレーＬａ（要素レンズＬｐ群）とを、パラメータで指定された画素数およびレンズ数分、仮想空間上に配置し、視点位置Ｖｐから、それぞれの要素レンズＬｐのレンズ中心Ｌｃを通過して、表示面Ｄに到達する視線ｂの表示面Ｄとの交点を視点対応位置Ｒとする。この視点対応位置Ｒは、例えば、視点位置Ｖｐに対して、被写体が表示面Ｄよりも近い位置に存在する場合の視線ｂ上の被写体点Ｏ_１、あるいは、被写体が表示面Ｄより遠い位置に存在する場合の視線ｂ上の被写体点Ｏ_２が対応する表示面Ｄ上の理想位置である。

ここで、視点位置Ｖｐの三次元座標を（ｈｘ，ｈｙ，ｈｚ）とし、視点位置ＶｐとレンズアレーＬａとの距離（視距離）をＬ、要素レンズＬｐの焦点距離をＦとしたとき、視点対応位置特定手段１０は、視点対応位置Ｒの三次元座標を、以下の式（１）で計算する。

図３に戻って、視点位置用要素画像生成装置１の構成について説明を続ける。
仮想空間撮影手段１１は、視点対応位置特定手段１０で特定された視点対応位置に対応する画素を含んだ所定範囲の画像を仮想的に撮影するものである。なお、仮想的に撮影する対象は、外部に予め記憶されているＣＧ等の三次元空間データである。

ここでは、仮想空間撮影手段１１は、画素を予め定めたサブピクセルで区分し、視点対応位置に相当するサブピクセルを中心とした予め定めた範囲の周辺サブピクセルごとに、サブピクセル中心と要素レンズのレンズ中心とを結ぶ線上で、要素レンズから視距離だけ離れた位置に配置した仮想カメラで、仮想空間（三次元空間データ）を仮想的に撮影（透視投影）し、レンダリングを行う。

ここで、サブピクセルは、図５に示すように、画素Ｐを予め定めた数に区分した領域を指す。図５では、画素Ｐを３×３個のサブピクセルｐで区分した例を示しているが、５×５個、７×７個等であっても構わない。以下、９個の例で説明を行う。
また、仮想空間を仮想的に撮影（透視投影）するための対象となるサブピクセルは、図５に示すように、視点対応位置Ｒを含む画素Ｐ内のサブピクセルとする。

すなわち、仮想空間撮影手段１１は、図７に示すように、パラメータで指定された画素間隔Ｐｂ、レンズ間隔Ｌｂおよび焦点距離Ｆで、表示面ＤとレンズアレーＬａ（要素レンズＬｐ群）とを、パラメータで指定された画素数およびレンズ数分、仮想空間上に配置する。そして、仮想空間撮影手段１１は、表示面Ｄ上のサブピクセル中心ｐｃと、要素レンズＬｐのレンズ中心Ｌｃとを結んだ直線上で、レンズアレーＬａから視距離Ｌだけ離間した位置に仮想的に配置した仮想カメラＶｃを視点（サブピクセル中心視点位置）として、透視投影により、仮想空間（三次元空間データ）を予め定めた投影面に投影する。そして、仮想空間撮影手段１１は、９個のサブピクセル中心ｐｃを撮影（透視投影）した画像から、要素レンズに対応する画像をレンダリングする。

このレンダリングは、例えば、９個のサブピクセル中心視点位置で撮影した画像を、それぞれのサブピクセル中心ｐｃと、視点対応位置Ｒ（図５参照）との距離に応じて重み付け加算してもよいし、９個のサブピクセル中心視点位置で撮影した画像の単純平均としてもよい。なお、レンダリング範囲は、図６に示すように、パラメータで指定されるレンズ間隔の割合で要素レンズのレンズ中心Ｌｃを離間した、要素レンズごとの領域（ここでは、ひし形領域）とする。また、仮想空間撮影手段１１が透視投影する投影面Ｊにおけるレンダリング領域（ひし形領域）の大きさ（画素数）は、少なくとも、レンズ中心Ｌｃに対応する画素を含んでいればよく、数画素から数十画素で予め定めておく。図６では、水平４画素、垂直８画素のひし形領域を示している。

透視投影による仮想的な撮影画像は、一般的な透視投影行列を用いて計算することができる。
ここで、図８を参照して、透視投影行列について説明する。図８に示すように、投影対象の範囲をｚ軸方向の−ｎｅａｒ面から−ｆａｒ面とし、−ｎｅａｒ面の投影範囲をｘ座標の最大値をｒｉｇｈｔ、最小値をｌｅｆｔ、ｙ座標の最大値をｔｏｐ、最小値をｂｏｔｔｏｍとする。このとき、三次元空間中の座標点Ｘ（Ｐ_ｘ Ｐ_ｙ Ｐ_ｚ １）^Ｔ（Ｔは転置）が、錐台の−ｎｅａｒ面に投影され、（ｓ_ｘ ｓ_ｙ ｓ_ｚ）^Ｔ（ただし、−１≦ｓ_ｘ，ｓ_ｙ，ｓ_ｚ≦１）へ写像されるとすると、透視投影行列は、同次座標（ｓ_ｘ ｓ_ｙ ｓ_ｚ ｗ）^Ｔを用いて、以下の式（２）で表される。

なお、ここで、−ｎｅａｒ面への投影位置は、“−１”と“１”との範囲で正規化された位置であるため、実際の投影面の画素は、その正規化された位置の割合に応じた画素位置とすればよい。
図３に戻って、視点位置用要素画像生成装置１の構成について説明を続ける。

このように、仮想空間撮影手段１１は、要素レンズの数だけ、レンダリング画像を生成し、そのレンダリング画像で構成される撮影画像を生成する。
これによって、仮想空間撮影手段１１は、左右二眼のそれぞれについて、視点位置から観測される２つの撮影画像を生成する。この仮想空間撮影手段１１は、生成した撮影画像をフィルタリング手段１２に出力する。
このように、仮想空間撮影手段１１は、視点対応位置の近傍の位置まで範囲を広げて透視投影を行うことで、表示する立体像において、ボケを再現することができる。

フィルタリング手段１２は、仮想空間撮影手段１１で生成された左右二眼ごとの撮影画像において、要素レンズに対応する領域をフィルタリングするものである。すなわち、フィルタリング手段１２は、図６に示すように、投影面Ｊ（撮影画像）におけるレンズ中心Ｌｃの水平および垂直の画素間隔で区分されるフィルタ領域（ここでは、ひし形領域）内で、フィルタリングする。
これによって、フィルタリング手段１２は、左右二眼ごとに、要素レンズに対応する要素画像の一部（１画素）の値を計算する。

具体的には、フィルタ領域内の画素数をＩ、フィルタ係数をａ_ｉ（ｉはフィルタ領域内の画素の識別番号）、フィルタ領域内の撮影画像の画素値をｗ_ｉ、フィルタ領域をＳとしたとき、フィルタリング手段１２は、ある要素レンズに対応する画素値Ｒ_ｊ（ｊは要素レンズの識別番号）を、以下の式（３）により算出する。

例えば、フィルタリング手段１２は、フィルタ領域内の画素値を平均化する。なお、その場合、フィルタ係数ａ_ｉは、すべて“１”とする。
また、フィルタリング手段１２は、フィルタ領域内の画素値を、例えば、レンズ中心に近いほど重み（フィルタ係数ａ_ｉ）を大きくして加重平均を行うこととしてもよい。

このように、フィルタリング手段１２は、フィルタ領域内の画素値を平均化することで、要素レンズが離散位置に配置されていることで生じるエイリアジング（折り返し雑音）を抑制することができる。
このフィルタリング手段１２は、左右二眼ごとに、撮影画像をフィルタリングし、そのフィルタリング画像を要素画像再構成手段１３に出力する。

要素画像再構成手段１３は、フィルタリング手段１２でフィルタリングされた左右二眼ごとの撮影画像（フィルタリング画像）から、要素画像表示装置３で表示する観察者の視点位置用の要素画像を再構成するものである。

すなわち、要素画像再構成手段１３は、フィルタリング画像の要素レンズごとの画素値（前記式（３）の画素値Ｒ_ｊ）を、視点対応位置特定手段１０で計算された当該要素レンズの視点対応位置を含む画素の画素値とする。このとき、要素画像再構成手段１３は、左右二眼のフィルタリング画像について、それぞれ、視点対応位置特定手段１０で計算された左右二眼の視点対応位置を含む画素の画素値を特定する。

そして、要素画像再構成手段１３は、要素レンズごとに、左右二眼の視点対応位置の二次元座標位置（ｘｙ座標位置）に、対応するフィルタリング画像の画素値を割り当てた画像信号（視点位置用要素画像）を生成し、要素画像表示装置３に出力する。

以上説明したように視点位置用要素画像生成装置１を構成することで、視点位置用要素画像生成装置１は、観察者Ｍの視点位置に対応する要素画像の一部のみを生成するため、全視点に対応する要素画像を生成する従来の手法に比べて、使用するメモリ容量を抑えて、高速に視点位置用要素画像を生成することができる。また、このように、視点位置用要素画像生成装置１は、高速化を実現することができるため、動画像の立体像をシミュレーションすることが可能になる。

なお、視点位置用要素画像生成装置１は、図示を省略したコンピュータを、前記した各手段として機能させるプログラム（視点位置用要素画像生成プログラム）で動作させることができる。

〔視点位置用要素画像生成装置の動作〕
次に、図９を参照（構成については適宜図３参照）して、本発明の実施形態に係る視点位置用要素画像生成装置１の動作について説明する。

まず、視点位置用要素画像生成装置１は、視点対応位置特定手段１０によって、対象表示装置のパラメータ（縦横の画素数および画素間隔、レンズアレーの縦横のレンズ数およびレンズ間隔ならびに焦点距離）を入力する（ステップＳ１）。
その後、視点位置用要素画像生成装置１は、視点対応位置特定手段１０によって、視点位置検出装置２から出力される左右二眼の視点位置を入力する（ステップＳ２）。

そして、視点位置用要素画像生成装置１は、視点対応位置特定手段１０によって、ステップＳ１で入力されたパラメータに基づいて、ステップＳ２で入力された視点位置に対応する要素画像の表示面の位置（視点対応位置）を計算する（ステップＳ３）。
すなわち、視点対応位置特定手段１０は、図４に示すように、パラメータで指定された対象表示装置の画素間隔Ｐｂ、要素レンズＬｐのレンズ間隔Ｌｂおよび焦点距離Ｆで、要素画像の表示面ＤとレンズアレーＬａとを仮想空間上に配置する。そして、視点対応位置特定手段１０は、視点位置Ｖｐから、要素レンズＬｐのレンズ中心Ｌｃを通過する視線ｂの表示面Ｄとの交点を視点対応位置Ｒとして算出する。ここでは、視点対応位置特定手段１０は、左右二眼のそれぞれの視点位置Ｖｐについて、すべての要素レンズに対応する視点対応位置Ｒを算出する。

そして、視点位置用要素画像生成装置１は、仮想空間撮影手段１１によって、ステップＳ３で特定された視点対応位置に対応するサブピクセルおよび予め定めたその周辺サブピクセルのそれぞれのサブピクセル中心とレンズ中心とを通る線上において、仮想カメラで仮想空間を撮影（透視投影）する（ステップＳ４）。この仮想空間は、外部に予め記憶されている仮想三次元空間データである。

また、視点位置用要素画像生成装置１は、仮想空間撮影手段１１によって、ステップＳ４で撮影されたサブピクセルごとの画像から、要素画像ごとのレンダリング画像（撮影画像）を生成する（ステップＳ５）。これによって、仮想空間撮影手段１１は、左右二眼のそれぞれの撮影画像を生成する。

そして、視点位置用要素画像生成装置１は、フィルタリング手段１２によって、ステップＳ５で生成された左右二眼ごとのレンダリング画像（撮影画像）において、要素レンズに対応するレンダリング領域をフィルタリングする（ステップＳ６）。すなわち、フィルタリング手段１２は、要素レンズごとのレンダリング領域の画像を平均化する。

そして、視点位置用要素画像生成装置１は、要素画像再構成手段１３によって、ステップＳ６で平均化されたフィルタリング画像から、観察者の視点位置用の要素画像を再構成する（ステップＳ７）。すなわち、要素画像再構成手段１３は、要素レンズごとに、ステップＳ２で特定された左右二眼の視点対応位置（ｘｙ座標位置）に、対応するフィルタリング画像の画素値を割り当てた画像信号（視点位置用要素画像）を生成する。

そして、視点位置用要素画像生成装置１は、要素画像再構成手段１３によって、ステップＳ６で生成した画像信号（視点位置用要素画像）を、要素画像表示装置３に出力する（ステップＳ８）。

以上の動作によって、視点位置用要素画像生成装置１は、観察者の視点位置に対応した部分的な要素画像のみを生成し、観察者に提示することができる。
これによって、視点位置用要素画像生成装置１は、従来の手法に比べて、使用するメモリ容量を抑えて、高速に視点位置用要素画像を生成することができる。

以上、本発明の実施形態に係る視点位置用要素画像生成装置１の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、仮想空間撮影手段１１およびフィルタリング手段１２において、レンダリング対象を、図６に示すようなひし形領域としたが、これは、要素レンズの配列に応じた形の領域とすればよい。例えば、要素レンズの水平間隔と垂直間隔が同じであれば、レンダリング対象の領域を正方形領域とすればよい。

Ｓ インテグラル立体シミュレーションシステム
１ 視点位置用要素画像生成装置
１０ 視点対応位置特定手段
１１ 仮想空間撮影手段
１２ フィルタリング手段
１３ 要素画像再構成手段
２ 視点位置検出装置
３ 要素画像表示装置

Claims (5)

1. インテグラル立体方式のシミュレーション対象となる対象表示装置が表示する立体像を他の表示装置でシミュレーションするために、観察者の視点位置に対応して前記立体像を表示する部分的な要素画像である視点位置用要素画像を生成する視点位置用要素画像生成装置であって、
   前記他の表示装置と同じ座標系上に前記対象表示装置を仮想的に配置し、視点位置検出装置で検出された前記観察者の視点位置から、前記対象表示装置における各要素レンズのレンズ中心を通過して前記対象表示装置の表示面に到達する前記要素レンズごとの視点対応位置を計算する視点対応位置特定手段と、
   前記視点対応位置から、当該視点対応位置に対応する前記要素レンズのレンズ中心を通過して、前記観察者までの視距離位置に配置した仮想カメラで、三次元空間データを透視投影により予め定めた投影面に仮想撮影し、前記要素レンズごとの予め定めた範囲でレンダリングする仮想空間撮影手段と、
   この仮想空間撮影手段で前記要素レンズごとにレンダリングされた画像をフィルタリングして、当該要素レンズに対応する画素値を計算するフィルタリング手段と、
   このフィルタリング手段で計算された前記要素レンズごとの画素値を、前記他の表示装置の要素レンズごとの前記視点対応位置に対応する画素に割り当てることで、前記視点位置用要素画像を生成する要素画像再構成手段と、
   を備えることを特徴とする視点位置用要素画像生成装置。
2. 前記仮想空間撮影手段は、前記視点対応位置を含んだ予め定めた視点近接領域内の複数の位置から、当該視点対応位置に対応する要素レンズのレンズ中心を通過して、前記観察者までの視距離位置に配置した仮想カメラで、前記三次元空間データを複数撮影し、前記視点対応位置と前記複数の位置との距離に応じて重み付け加算することでレンダリングすることを特徴とする請求項１に記載の視点位置用要素画像生成装置。
3. 前記フィルタリング手段は、前記対象表示装置の要素レンズごとにレンダリングされた画像をそのレンダリング範囲内で平均化することで当該要素レンズに対応する画素値を計算することを特徴とする請求項１または請求項２に記載の視点位置用要素画像生成装置。
4. コンピュータを、請求項１から請求項３のいずれか一項に記載の視点位置用要素画像生成装置として機能させるための視点位置用要素画像生成プログラム。
5. インテグラル立体方式のシミュレーション対象となる対象表示装置が表示する立体像を他の表示装置でシミュレーションするインテグラル立体シミュレーションシステムであって、
   観察者の視点位置を検出する視点位置検出装置と、
   前記観察者の視点位置に対応して立体像を表示する視点位置用要素画像を生成する請求項１から請求項３のいずれか一項に記載の視点位置用要素画像生成装置と、
   この視点位置用要素画像生成装置で生成された視点位置用要素画像を表示する前記他の表示装置である要素画像表示装置と、
   を備えることを特徴とするインテグラル立体シミュレーションシステム。

Images