JP5313187B2 - 立体画像補正装置および立体画像補正方法 - Google Patents

Description

本発明は、立体画像補正装置および立体画像補正方法に関する。

立体画像表示技術の一方式として、多数の要素レンズを配列して構成した複眼レンズを撮影側と表示側との両方に用いて立体画像を再現するインテグラル・フォトグラフィ方式が知られている。このインテグラル・フォトグラフィ方式では、撮影時においては、撮影装置が撮影系複眼レンズを介してとらえた被写体像を撮像する。１個の要素レンズから得られる画像を要素画像という。よって、撮影系複眼レンズを通して得られる撮像画像には、互いに視差を有する多数の要素画像が含まれる。そして、表示時においては、表示装置の表示面側に表示系複眼レンズを配置して、その表示装置が上記の撮像画像を表示する。これにより、観察者は、多数の要素画像が表示系複眼レンズを通して結像される被写体像を立体的に観察することができる。

インテグラル・フォトグラフィ方式により表示される立体画像において、十分な視域および解像度を確保して再現画像の品質を高くするためには、要素画像の数を多くし且つ各要素画像の解像度を高くする必要がある。したがって、複眼レンズは、高精度に微細加工された要素レンズの配列であることが望ましい。
また、それとともに、撮影装置に対する撮影系複眼レンズの配置位置と、表示装置に対する表示系複眼レンズの配置位置とは、互いに要素画像を正しく結像させる位置関係にあることが必要である。

従来、撮影系複眼レンズと表示系複眼レンズとの間に位置誤差が生じている場合に、撮影系複眼レンズおよび表示系複眼レンズにおける各要素レンズの位置を検出して、撮影装置で撮影された映像の各要素画像の位置を、表示系の複眼レンズの要素レンズの位置に適合させるように補正する立体映像補正装置が知られている（例えば、特許文献１参照）。
また、複数の要素レンズにより構成された要素レンズブロックを複数接合して構成した撮影用複眼レンズを用いる立体画像撮影装置において、要素レンズブロックの接合部により欠けた要素画像を補間することによって、立体画像の画質劣化を防ぐ画像補間処理技術が知られている（例えば、特許文献２参照）。

特開２００４−３３６２３９号公報 特開２００３−５３１５号公報

上記特許文献１に記載された立体映像補正装置によって、撮影装置で撮影された映像の各要素画像の位置を、表示系複眼レンズの要素レンズの位置に適合させるように補正するためには、撮影系複眼レンズおよび表示系複眼レンズにおける各要素レンズの位置を正確に検出することが必要である。しかしながら、要素レンズに傷、欠損、レンズ自体の欠落、汚損、塵埃の付着等（これらを“傷等”と呼ぶ。）があったりすると、その傷等がある要素レンズの中心位置を正しく検出できないため、要素レンズの位置を正確に検出することができない。
上記特許文献２に記載された画像補間処理技術は、要素レンズブロックを単位として接合部により欠けた要素画像や、接合部のずれによって位置ずれを起こした要素画像を補間するものであり、この技術によっては、傷等によって中心位置を検出できない要素レンズに対応する要素画像を補間することができない。

そこで、本発明は、上記問題に鑑みてなされたものであり、複眼レンズの要素レンズに傷等がある場合であっても、当該要素レンズに対応する要素画像を補間し、撮影系複眼レンズおよび表示系複眼レンズの位置誤差を補正することができる立体画像補正装置および立体画像補正方法を提供することを目的とする。

［１］上記の課題を解決するため、本発明の一態様である立体画像補正装置は、撮影系複眼レンズに含まれる複数の要素レンズそれぞれの位置情報である撮影系レンズ位置情報を取得する撮影系レンズ位置情報取得部と、前記複数の要素レンズそれぞれに対応する要素画像の画質に関する情報である撮影系レンズ画質情報を取得する撮影系レンズ画質情報取得部と、表示系複眼レンズに含まれる複数の要素レンズそれぞれの位置情報である表示系レンズ位置情報を取得する表示系レンズ位置情報取得部と、前記複数の要素レンズそれぞれに対応する要素画像の画質に関する情報である表示系レンズ画質情報を取得する表示系レンズ画質情報取得部と、前記撮影系レンズ位置情報取得部が取得した撮影系レンズ位置情報と前記表示系レンズ位置情報取得部が取得した表示系レンズ位置情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対における位置誤差を計算し、この位置誤差に基づいて位置補正量データを生成する位置補正情報生成部と、前記位置補正情報生成部が生成した位置補正量データに基づいて、前記表示系複眼レンズの要素レンズの位置を基準に、補正前画像に含まれる要素画像の位置を補正する要素画像位置補正部と、前記撮影系レンズ画質情報取得部が取得した撮影系レンズ画質情報と前記表示系レンズ画質情報取得部が取得した表示系レンズ画質情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対それぞれについて要素画像の画質を比較し、その比較結果に基づいて画質補正情報を生成する画質補正情報生成部と、前記画質補正情報生成部が生成した画質補正情報に基づいて、前記表示系複眼レンズの要素レンズに対応する要素画像の画質を基準に、前記位置補正した要素画像の画質を補正する要素画像画質補正部と、を備えることを特徴とする。

［２］また、上記の課題を解決するため、本発明の一態様である立体画像補正装置は、撮影系複眼レンズが撮像された撮影系複眼レンズ画像の供給を受けて、その撮影系複眼レンズ画像から要素レンズ画像を抽出して前記要素レンズ画像の中心位置を検出する撮影系レンズ位置情報演算部と、前記撮影系レンズ位置情報演算部が抽出した要素レンズ画像から、要素画像の画質に関する情報である撮影系レンズ画質情報を生成する撮影系レンズ画質情報演算部と、表示系複眼レンズが撮像された表示系複眼レンズ画像の供給を受けて、その表示系複眼レンズ画像から要素レンズ画像を抽出して前記要素レンズ画像の中心位置を検出する表示系レンズ位置情報演算部と、前記表示系レンズ位置情報演算部が抽出した要素レンズ画像から、要素画像の画質に関する情報である表示系レンズ画質情報を生成する表示系レンズ画質情報演算部と、前記撮影系レンズ位置情報演算部が検出した要素レンズ画像の中心位置と前記表示系レンズ位置情報演算部が検出した要素レンズ画像の中心位置とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対における位置誤差を計算し、この位置誤差に基づいて位置補正量データを生成する位置補正情報生成部と、前記位置補正情報生成部が生成した位置補正量データに基づいて、前記表示系複眼レンズの要素レンズの位置を基準に、補正前画像に含まれる要素画像の位置を補正する要素画像位置補正部と、前記撮影系レンズ画質情報演算部が生成した撮影系レンズ画質情報と前記表示系レンズ画質情報演算部が生成した表示系レンズ画質情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対ごとに要素画像の画質を比較し、その比較結果に基づいて画質補正情報を生成する画質補正情報生成部と、前記画質補正情報生成部が生成した画質補正情報に基づいて、前記表示系複眼レンズの要素レンズに対応する要素画像の画質を基準に、前記位置補正した要素画像の画質を補正する要素画像画質補正部と、を備えることを特徴とする。

［３］また、上記の課題を解決するため、上記［１］または［２］記載の立体画像補正装置において、前記撮影系レンズ画質情報は、前記撮影系複眼レンズに含まれる要素レンズごとの物理的エラーの場所を示す情報を含むとともに、前記表示系レンズ画質情報は、前記表示系複眼レンズに含まれる要素レンズごとの物理的エラーの場所を示す情報を含み、前記画質補正情報生成部は、前記撮影系レンズ画質情報と前記表示系レンズ画質情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対それぞれについて要素画像の物理的エラーの場所を比較し、その比較結果に基づいて画質補正情報を生成することを特徴とする。

［４］また、上記の課題を解決するため、本発明の一態様である立体画像補正装置は、撮影系複眼レンズが撮像された撮影系複眼レンズ画像の供給を受けて、その撮影系複眼レンズ画像から要素レンズ画像を抽出し、この要素レンズ画像から互いに方向の異なる少なくとも２方向のサンプリング画像を生成し、これらサンプリング画像に基づいて物理的エラーの有無を推定するとともに要素レンズ画像の中心位置を検出する撮影系レンズ位置情報演算部と、物理的エラーが有ると前記撮影系レンズ位置情報演算部が判定した場合に、前記生成した各サンプリング画像に基づいて前記物理的エラーの場所を推定し、要素画像の画質に関する情報である撮影系レンズ画質情報を生成する撮影系レンズ画質情報演算部と、表示系複眼レンズが撮像された表示系複眼レンズ画像の供給を受けて、その表示系複眼レンズ画像から要素レンズ画像を抽出し、この要素レンズ画像から互いに方向の異なる少なくとも２方向のサンプリング画像を生成し、これらサンプリング画像に基づいて物理的エラーの有無を推定するとともに要素レンズ画像の中心位置を検出する表示系レンズ位置情報演算部と、物理的エラーが有ると前記表示系レンズ位置情報演算部が判定した場合に、前記生成した各サンプリング画像に基づいて前記物理的エラーの場所を推定し、要素画像の画質に関する情報である表示系レンズ画質情報を生成する表示系レンズ画質情報演算部と、前記撮影系レンズ位置情報演算部が検出した要素レンズ画像の中心位置と前記表示系レンズ位置情報演算部が検出した要素レンズ画像の中心位置とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対における位置誤差を計算し、この位置誤差に基づいて位置補正量データを生成する位置補正情報生成部と、前記位置補正情報生成部が生成した位置補正量データに基づいて、前記表示系複眼レンズの要素レンズの位置を基準に、補正前画像に含まれる要素画像の位置を補正する要素画像位置補正部と、前記撮影系レンズ画質情報演算部が推定した撮影系レンズ画質情報と前記表示系レンズ画質情報演算部が推定した表示系レンズ画質情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対それぞれについて要素画像の画質を比較し、その比較結果に基づいて画質補正情報を生成する画質補正情報生成部と、前記画質補正情報生成部が生成した画質補正情報に基づいて、前記表示系複眼レンズの要素レンズに対応する要素画像の画質を基準に、前記位置補正した要素画像の画質を補正する要素画像画質補正部と、を備えることを特徴とする。

［５］また、上記の課題を解決するため、上記［４］記載の立体画像補正装置において、前記撮影系レンズ位置情報演算部と前記表示系レンズ位置情報演算部とのそれぞれは、物理的エラーが無いと推定されたサンプリング画像のみを用いて要素レンズ画像の中心位置を検出することを特徴とする。

［６］また、上記の課題を解決するため、本発明の一態様である立体画像補正方法は、撮影系複眼レンズに含まれる複数の要素レンズそれぞれの位置情報である撮影系レンズ位置情報を取得する撮影系レンズ位置情報取得ステップと、前記複数の要素レンズそれぞれに対応する要素画像の画質に関する情報である撮影系レンズ画質情報を取得する撮影系レンズ画質情報取得ステップと、表示系複眼レンズに含まれる複数の要素レンズそれぞれの位置情報である表示系レンズ位置情報を取得する表示系レンズ位置情報取得ステップと、前記複数の要素レンズそれぞれに対応する要素画像の画質に関する情報である表示系レンズ画質情報を取得する表示系レンズ画質情報取得ステップと、前記撮影系レンズ位置情報取得ステップにおいて取得した撮影系レンズ位置情報と前記表示系レンズ位置情報取得ステップにおいて取得した表示系レンズ位置情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対における位置誤差を計算し、この位置誤差に基づいて位置補正量データを生成する位置補正情報生成ステップと、前記位置補正情報生成ステップにおいて生成した位置補正量データに基づいて、前記表示系複眼レンズの要素レンズの位置を基準に、補正前画像に含まれる要素画像の位置を補正する要素画像位置補正ステップと、前記撮影系レンズ画質情報取得ステップにおいて取得した撮影系レンズ画質情報と前記表示系レンズ画質情報取得ステップにおいて取得した表示系レンズ画質情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対それぞれについて要素画像の画質を比較し、その比較結果に基づいて画質補正情報を生成する画質補正情報生成ステップと、前記画質補正情報生成ステップにおいて生成した画質補正情報に基づいて、前記表示系複眼レンズの要素レンズに対応する要素画像の画質を基準に、前記位置補正した要素画像の画質を補正する要素画像画質補正ステップと、を有することを特徴とする。

複眼レンズの要素レンズに傷等の物理的エラーが存在する場合であっても、当該要素レンズに対応する要素画像を補間し、撮影系複眼レンズおよび表示系複眼レンズの位置誤差を補正することができる。これにより、歪みがなく高精細な立体画像を表示装置に供給することができる。

本発明の第１実施形態である立体画像補正装置を適用した立体画像撮影表示システムの概略のシステム構成を示す図である。 撮影系複眼レンズの要素レンズと表示系複眼レンズの要素レンズとの位置ずれを表す図である。 同実施形態における立体画像補正装置の機能構成を示すブロック図である。 要素画像位置補正部によって撮影系複眼レンズの要素レンズの要素画像の位置が補正される様子を模式的に示す図である。 同実施形態における、立体画像補正装置の補正情報設定処理の手順を示すフローチャートである。 同実施形態における、立体画像補正装置の立体画像補正処理の手順を示すフローチャートである。 同実施形態の変形例である立体画像補正装置を適用した立体画像撮影表示システムの概略のシステム構成を示す図である。 本発明の第２実施形態である立体画像補正装置を適用した補正情報生成システムの概略のシステム構成を示す図である。 同実施形態である立体画像補正装置を適用した立体画像撮影表示システムの概略のシステム構成を示す図である。 同実施形態における立体画像補正装置の機能構成を示すブロック図である。 撮影系レンズ位置情報演算部が取り込んだ複眼レンズ画像情報の画像を模式的に表した図である。 撮影系レンズ位置情報演算部が取り込んだ複眼レンズ画像情報の、別の配列パターンの画像を模式的に表した図である。 要素レンズ画像情報から生成される垂直サンプリング画像情報を模式的に表した図である。 要素レンズ画像情報から生成される水平サンプリング画像情報を模式的に表した図である。 撮影系複眼レンズの要素レンズに物理的エラーが含まれている場合の要素レンズ画像情報に含まれる垂直サンプリング画像情報と水平サンプリング画像情報とを模式的に示す図である。 エラー含有垂直サンプリング画像情報とエラー含有水平サンプリング画像情報との重複画像領域が検出された様子を模式的に示す図である。 要素レンズのみに係る重複画像領域が検出された様子を模式的に示す図である。 同実施形態において、立体画像補正装置が選択した１つの要素レンズ画像情報について行う撮影系レンズ位置情報計算処理の手順を示すフローチャートである。 同実施形態において、立体画像補正装置が選択した１つの要素レンズ画像情報について行う撮影系レンズ位置情報計算処理の手順を示すフローチャートである。 同実施形態において、立体画像補正装置が選択した１つの要素レンズ画像情報について行う撮影系レンズ画質情報計算処理の手順を示すフローチャートである。 本発明の第３実施形態による立体画像補正装置の機能構成を示すブロック図である。 識別対象の要素レンズとこれの近傍の要素レンズとの対応関係を示す図である。 本発明の第４実施形態である立体画像補正装置を適用した補正情報生成システムの概略のシステム構成を示す図である。 本発明の第５実施形態である立体画像補正装置を適用した補正情報生成システムの概略のシステム構成を示す図である。 測定対象複眼レンズの要素レンズ配列と、撮像装置群に含まれる４個のカメラ装置による撮像画像との関係を示す図である。 その他の実施形態における、要素レンズ画像情報から生成される重複した垂直サンプリング画像情報を模式的に表した図である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１実施形態である立体画像補正装置を適用した立体画像撮影表示システムの概略のシステム構成を示す図である。同図に示すように、立体画像撮影表示システム１は、撮影装置１００と、表示出力装置２００と、立体画像補正装置３００とを含む。

撮影装置１００は、インテグラル・フォトグラフィ方式により被写体Ｓを撮影してその撮影画像情報を出力する立体画像撮影装置である。撮影装置１００は、その機能構成として、撮影系複眼レンズ１１０と、撮像部１２０と、撮影系レンズ情報記憶部１３０とを備える。
撮影系複眼レンズ１１０は、複数の要素レンズを二次元的に配列した要素レンズ配列である。各要素レンズは、平行光束を入射すると収束する作用を有する収束レンズであり、例えば凸レンズ、球面レンズである。撮影系複眼レンズ１１０は、各要素レンズを不図示のホルダで保持したり、光透過性を有する樹脂部材やガラス部材等により一体的に形成したりして構成される。撮影系複眼レンズ１１０は、例えばマイクロレンズアレイである。
撮像部１２０は、撮影系複眼レンズ１１０の各要素レンズを通してそれぞれ結像される被写体Ｓの実像を撮像して撮影画像情報を生成する。撮像部１２０は、例えばデジタルカメラ、放送用テレビカメラ、家庭用ビデオカメラである。なお、撮像部１２０が１個の要素レンズを通して結像される被写体像を撮像して得る画像を要素画像という。

撮影系レンズ情報記憶部１３０は、撮影系複眼レンズ１１０に含まれる複数の要素レンズそれぞれの位置情報である撮影系レンズ位置情報と、各要素レンズに対応する要素画像の画質に関する情報である撮影系レンズ画質情報とを記憶する記憶部である。撮影系レンズ情報記憶部１３０は、例えば、ＥＥＰＲＯＭやフラッシュＲＯＭ等の再書き込み可能な不揮発性メモリや磁気ハードディスク記憶装置である。
撮影系レンズ位置情報は、撮影系複眼レンズ１１０における、二次元配列された各要素レンズのレンズ中心位置の二次元座標値である。二次元座標系の原点は、その二次元平面における撮影系複眼レンズ１１０の内側もしくは外側、または境界線上の任意の位置にある。
撮影系レンズ画質情報は、例えば、一定の輝度レベルの拡散光を撮影系複眼レンズ１１０の一方の面から照射して他方の面で得られる各要素レンズの輝度値である。または、撮影系レンズ画質情報は、例えば、要素レンズの傷、欠損、変形、要素レンズ自体の欠落、付着した塵埃や油等による汚れである物理的エラーの有無を示す情報や、物理的エラーがある場合は、当該要素レンズにおける物理的エラーの場所および範囲またはいずれか一方を示す情報である。

撮影系レンズ位置情報および撮影系レンズ画質情報は、撮影装置１００の製造組立て時や工程検査時において精密光学測定装置による測定によって得られ、撮影系レンズ情報記憶部１３０に記憶される。
なお、撮影系レンズ情報記憶部１３０は、撮影系レンズ位置情報および撮影系レンズ画質情報またはいずれか一方の情報を外部から書き込むことによって更新可能である。

表示出力装置２００は、立体画像補正装置３００から出力される補正後画像情報の供給を受けて、インテグラル・フォトグラフィ方式により被写体像ＳＩを立体表示する立体画像表示装置である。表示出力装置２００は、その機能構成として、表示部２１０と、表示系複眼レンズ２２０と、表示系レンズ情報記憶部２３０とを備える。
表示部２１０は、補正後画像情報の供給を受けてその画像を表示する表示装置であり、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ、エレクトロ・ルミネッセンス）ディスプレイ、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ、プラズマ・ディスプレイ・パネル）等の直視型のパネルディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線管）ディスプレイ、投射型表示装置等である。
表示系複眼レンズ２２０は、撮影系複眼レンズ１１０と同一仕様の要素レンズ配列である。表示系複眼レンズ２２０は、撮影系複眼レンズ１１０と同様に、例えばマイクロレンズアレイである。なお、表示系複眼レンズ２２０は、ピンホールを二次元的に複数配列したピンホール群でも構成することができる。

表示系レンズ情報記憶部２３０は、表示系複眼レンズ２２０に含まれる複数の要素レンズそれぞれの位置情報である表示系レンズ位置情報と、各要素レンズに対応する要素画像の画質に関する情報である表示系レンズ画質情報とを記憶する記憶部である。表示系レンズ情報記憶部２３０は、例えば、ＥＥＰＲＯＭやフラッシュＲＯＭ等の再書き込み可能な不揮発性メモリや磁気ハードディスク記憶装置である。
表示系レンズ位置情報は、表示系複眼レンズ２２０における二次元配列された各要素レンズのレンズ中心位置の二次元座標値である。二次元座標系の原点は、その二次元平面における表示系複眼レンズ２２０の内側もしくは外側、または境界線上の任意の位置にある。
表示系レンズ画質情報は、例えば、一定の輝度レベルの拡散光を表示系複眼レンズ２２０の一方の面から照射して他方の面で得られる各要素レンズの輝度値である。または、表示系レンズ画質情報は、例えば、要素レンズの傷、欠損、変形、要素レンズ自体の欠落、付着した塵埃や油等による汚れである物理的エラーの有無を示す情報や、物理的エラーがある場合は、当該要素レンズにおける物理的エラーの場所および範囲またはいずれか一方を示す情報である。

表示系レンズ位置情報および表示系レンズ画質情報は、表示出力装置２００の製造組立て時や工程検査時において精密光学測定装置による測定によって得られ、表示系レンズ情報記憶部２３０に記憶される。
なお、表示系レンズ情報記憶部２３０は、表示系レンズ位置情報および表示系レンズ画質情報またはいずれか一方の情報を外部から書き込むことによって更新可能である。

立体画像補正装置３００は、撮影装置１００から供給される撮影画像情報を補正前画像情報として取り込み、その補正前画像情報における各要素画像の位置を表示系複眼レンズ２２０の各要素レンズの位置に適合する位置に補正する。また、立体画像補正装置３００は、補正前画像情報における各要素画像の画質を表示系複眼レンズ２２０の各要素レンズに対応する各要素画像の画質に適合するように補正する。

図２は、撮影系複眼レンズ１１０の要素レンズと表示系複眼レンズ２２０の要素レンズとの位置ずれを表す図である。同図（ａ）は、撮影系複眼レンズ１１０に含まれるｎ（ｎは１以上の整数）番目の要素レンズ２１ｎを示し、同図（ｂ）は、表示系複眼レンズ２２０に含まれるｎ番目の要素レンズ２２ｎを示す。なお、ｎ番目の要素レンズは、要素レンズ配列の一のコーナから順次数えてｎ番目に位置するものである。数える順序は、例えば、要素レンズ配列の左上角に位置する要素レンズから横方向に順次数え、右端の要素レンズまで数えたら次の行の左端から順次数えるという順序である。同図（ａ）において、撮影系複眼レンズ１１０の内側に二次元座標系の原点Ｏが存在する場合の要素レンズ２１ｎの撮影系レンズ位置情報は、二次元座標値（ｘ，ｙ）である。また、同図（ｂ）において、表示系複眼レンズ２２０についても撮影系複眼レンズ１１０と同一座標である原点Ｏが存在する場合の要素レンズ２２ｎの表示系レンズ位置情報は、二次元座標値（ｘ’，ｙ’）である。
よって、表示系複眼レンズ２２０の要素レンズ２２ｎの位置は、撮影系複眼レンズ１１０の要素レンズ２１ｎの位置からδ（ボールド体）＝（ｘ’−ｘ，ｙ’−ｙ）分の位置誤差がある。なお、“（ボールド体）”との記載は、その直前の文字がボールド体で表されることを示し、当該文字がベクトルを表わすことを示す。

次に、立体画像補正装置３００の構成についてさらに詳しく説明する。図３は、立体画像補正装置３００の機能構成を示すブロック図である。同図に示すように、立体画像補正装置３００は、撮影系レンズ位置情報取得部３１０と、撮影系レンズ画質情報取得部３２０と、表示系レンズ位置情報取得部３３０と、表示系レンズ画質情報取得部３４０と、位置補正情報生成部３５０と、要素画像位置補正部３６０と、画質補正情報生成部３７０と、要素画像画質補正部３８０とを備える。

撮影系レンズ位置情報取得部３１０は、撮影装置１００の撮影系レンズ情報記憶部１３０から撮影系レンズ位置情報を読み出して取り込み、それを位置補正情報生成部３５０に供給する。撮影系レンズ画質情報取得部３２０は、撮影系レンズ情報記憶部１３０から撮影系レンズ画質情報を読み出して取り込み、それを画質補正情報生成部３７０に供給する。
表示系レンズ位置情報取得部３３０は、表示出力装置２００の表示系レンズ情報記憶部２３０から表示系レンズ位置情報を読み出して取り込み、それを位置補正情報生成部３５０に供給する。表示系レンズ画質情報取得部３４０は、表示系レンズ情報記憶部２３０から表示系レンズ画質情報を読み出して取り込み、それを画質補正情報生成部３７０に供給する。

位置補正情報生成部３５０は、撮影系レンズ位置情報と表示系レンズ位置情報との供給を受けて、撮影系と表示系との間で対応する要素レンズの対それぞれについて位置誤差を計算し、表示系複眼レンズ２２０の位置を基準にして、撮像部１２０から供給される補正前画像情報に含まれる要素画像の位置を補正するための位置補正情報を生成し、これを要素画像位置補正部３６０に供給する。この位置補正情報は、例えば、位置誤差を補正するための位置補正量データである。
要素画像位置補正部３６０は、位置補正情報生成部３５０から供給された位置補正情報に基づいて、撮像部１２０から供給された補正前画像情報に含まれる要素画像の位置を補正し、この位置補正された画像情報を出力する。

画質補正情報生成部３７０は、撮影系レンズ画質情報と表示系レンズ画質情報との供給を受けて、撮影系と表示系との間で対応する要素レンズの対それぞれについて、要素画像の画質を比較する。そして、画質補正情報生成部３７０は、その比較結果に応じて、要素画像位置補正部３６０から供給される位置補正された画像情報に含まれる要素画像の画質を表示系複眼レンズ２２０の画質を基準にして補正するための画質補正情報を生成し、これを要素画像画質補正部３８０に供給する。この画質補正情報は、例えば、要素画像の輝度値のレベル調整割合、または要素画像複製コマンドであり、詳細については後述する。
要素画像画質補正部３８０は、要素画像位置補正部３６０から供給された位置補正された画像情報に含まれる要素画像の画質を、画質補正情報生成部３７０から供給された画質補正情報に基づいて補正し、これを補正後画像情報として出力する。

図４は、要素画像位置補正部３６０によって撮影系複眼レンズ１１０の要素レンズの要素画像の位置が補正される様子を模式的に示す図である。同図（ａ）は、要素画像位置補正部３６０によって補正されない場合の、表示系複眼レンズ２２０の要素レンズによる表示の例であり、同図（ｂ）は、要素画像位置補正部３６０が要素画像の位置を補正した場合の表示の例である。同図（ａ）において、表示系複眼レンズ２２０のｎ番目の要素レンズ４２ｎは、撮影系複眼レンズ１１０のｎ番目の要素レンズ４１ｎに対してδ（ボールド体）分の位置誤差があることが示されている。この撮影系のｎ番目の要素レンズ４１ｎを通して撮像された要素画像は、要素画像位置補正部３６０によって補正されない状態では、表示面４４上の要素画像４３ｎの位置に表示される。要素画像４３ｎにおける一点４３ｎＧからの光線は、表示系のｎ番目の要素レンズ４２ｎを通して表示されるため、要素レンズ４２ｎの中心を通る光軸４２ｎＪは、撮像系を基準とした場合のずれのない正確な光軸４１ｎＪに対してずれることとなる。

本実施形態では、位置補正情報生成部３５０が、撮影系の要素レンズ４１ｎについての撮影系レンズ位置情報である二次元座標値（ｘ，ｙ）と、表示系の要素レンズ４２ｎについての表示形レンズ位置情報である二次元座標値（ｘ’，ｙ’）とに基づいて、撮影系の要素レンズ４１ｎの要素画像の位置の補正値である位置補正情報を（ｘ’−ｘ，ｙ’−ｙ）により計算する。つまり、位置補正情報生成部３５０は、撮影系の要素レンズ４１ｎの要素画像の位置補正情報を、要素レンズの位置誤差δ（ボールド体）から求める。
そして、図４（ｂ）に示すように、要素画像位置補正部３６０は、位置補正情報に基づいて要素画像４３ｎの位置を要素画像４３ｎ’の位置に補正する。つまり、要素画像４３ｎ’は、要素画像４３ｎの位置から位置誤差δ（ボールド体）に相当する分だけ移動される。この状態において、要素画像４３ｎ’における一点４３ｎＧ’から要素レンズ４２ｎの中心を通る光軸４２ｎＪ’は、同図（ａ）の光軸４２ｎＪよりも光軸４１ｎＪに近づいた状態に補正される。

次に、立体画像補正装置３００における画質補正の処理について説明する。例えば、撮影系レンズ画質情報および表示系レンズ画質情報が要素画像ごとの輝度値を含む場合、画質補正情報生成部３７０は、撮影系と表示系との間で対応する要素レンズの対それぞれについて、輝度値を比較する。そして、画質補正情報生成部３７０は、撮影系のｎ番目の要素画像の輝度値が表示系のｎ番目の要素画像の輝度値未満であると判定した場合、撮影系のｎ番目の要素画像の輝度を表示系のｎ番目の要素画像の輝度に合わせるための画質補正情報を生成する。つまり、画質補正情報生成部３７０は、撮影系のｎ番目の要素画像の輝度値と表示系のｎ番目の要素画像の輝度値とに基づいて、撮影系のｎ番目の要素画像の輝度値のレベル調整割合を計算して画質補正情報とする。
そして、要素画像画質補正部３８０は、要素画像位置補正部３６０から供給された位置補正された画像情報に含まれるｎ番目の要素画像の輝度値を、画質補正情報生成部３７０から供給された画質補正情報にしたがって調整する。つまり、要素画像画質補正部３８０は、撮影系のｎ番目の要素画像の輝度値を、画質補正情報であるレベル調整割合に基づいて変更する。

また、例えば、撮影系レンズ画質情報および表示系レンズ画質情報が要素レンズごとの物理的エラーの有無を示す情報を含む場合、画質補正情報生成部３７０は、撮影系と表示系との間で対応する要素レンズの対それぞれについて、物理的エラーの有無を示す情報を比較する。そして、画質補正情報生成部３７０は、撮影系のｎ番目の要素レンズに物理的エラーがあり、表示系のｎ番目の要素レンズに物理的エラーがないと判定した場合、撮影系のｎ番目の要素レンズの番号（ｎ，複製先番号）と、その要素レンズに隣接するいずれか１つの要素レンズの番号（複製元番号）とをパラメータとして有する要素画像複製コマンドを画質補正情報として生成する。
そして、要素画像画質補正部３８０は、画質補正情報生成部３７０が生成した要素画像複製コマンドにしたがって、要素画像位置補正部３６０から供給された位置補正された画像情報に含まれる複製先番号に対応する要素レンズの要素画像を、複製元番号に対応する要素レンズの要素画像で置換する。

また、例えば、撮影系レンズ画質情報および表示系レンズ画質情報が、要素レンズごとの物理的エラーの有無を示す情報と、物理的エラーがある場合に当該要素レンズにおける物理的エラーの場所および範囲またはいずれか一方を示す情報とを含む場合、画質補正情報生成部３７０は、撮影系と表示系との間で対応する要素レンズの対それぞれについて、物理的エラーの有無を示す情報を比較する。そして、画質補正情報生成部３７０は、撮影系のｎ番目の要素レンズに物理的エラーがあり、表示系のｎ番目の要素レンズに物理的エラーがないと判定した場合、撮影系のｎ番目の要素レンズの番号（ｎ，複製先番号）と、その要素レンズに隣接するいずれか１つの要素レンズの番号（複製元番号）と、物理的エラーの場所および範囲またはいずれか一方を示す情報とをパラメータとして有する要素画像複製コマンドを生成する。
そして、要素画像画質補正部３８０は、画質補正情報生成部３７０が生成した要素画像複製コマンドにしたがって、要素画像位置補正部３６０から供給された位置補正された画像情報に含まれる複製先番号に対応する要素レンズの要素画像について、複製元番号に対応する要素レンズの要素画像における物理的エラーの場所および範囲またはいずれか一方に該当する部分要素画像のみを複製する。

次に、立体画像補正装置３００の全体的な動作について、補正情報設定処理と立体画像補正処理とに分けて説明する。図５は、立体画像補正装置３００の補正情報設定処理の手順を示すフローチャートである。ステップＳ１において、撮影系レンズ位置情報取得部３１０は、撮影装置１００の撮影系レンズ情報記憶部１３０から撮影系レンズ位置情報を読み出して取り込み、これを位置補正情報生成部３５０に供給する。そして、撮影系レンズ画質情報取得部３２０は、撮影系レンズ情報記憶部１３０から撮影系レンズ画質情報を読み出して取り込み、これを画質補正情報生成部３７０に供給する。
次に、ステップＳ２において、表示系レンズ位置情報取得部３３０は、表示出力装置２００の表示系レンズ情報記憶部２３０から表示系レンズ位置情報を読み出して取り込み、これを位置補正情報生成部３５０に供給する。そして、表示系レンズ画質情報取得部３４０は、表示系レンズ情報記憶部２３０から表示系レンズ画質情報を読み出して取り込み、これを画質補正情報生成部３７０に供給する。

次に、ステップＳ３において、位置補正情報生成部３５０は、供給された撮影系レンズ位置情報と表示系レンズ位置情報とに基づいて、撮影系と表示系との間で対応する要素レンズの対それぞれについて位置誤差を計算し、撮影系複眼レンズ１１０に含まれる要素レンズの要素画像の位置を表示系複眼レンズ２２０の位置を基準にして補正するための位置補正情報である位置補正量データを生成し、これを要素画像位置補正部３６０に供給する。
次に、ステップＳ４において、画質補正情報生成部３７０は、供給された撮影系レンズ画質情報と表示系レンズ画質情報とに基づいて、撮影系と表示系との間で対応する要素レンズの対それぞれについて、要素画像の画質を比較する。そして、画質補正情報生成部３７０は、要素画像位置補正部３６０から供給される位置補正された画像情報に含まれる要素画像の画質を表示系複眼レンズ２２０の画質を基準にして補正するための画質補正情報を生成し、これを要素画像画質補正部３８０に供給する。

図６は、立体画像補正装置３００の立体画像補正処理の手順を示すフローチャートである。ステップＳ１１において、立体画像補正装置３００に含まれる不図示の制御部は、撮影装置１００の撮像部１２０から補正前画像情報の供給を受けているか否かを確認し、補正前画像情報が供給されていると判定した場合は、ステップＳ１２の処理に移る。一方、制御部は、補正前画像情報が供給されていないと判定した場合は、本フローチャートによる処理を終了する。
ステップＳ１２において、要素画像位置補正部３６０は、撮像部１２０から供給された補正前画像情報の１フレームを取り込み、この１フレーム分の補正前画像情報に含まれる要素画像の位置を位置補正情報に基づいて補正し、この位置補正された画像情報を出力する。
次に、ステップＳ１３において、要素画像画質補正部３８０は、要素画像位置補正部３６０から出力された位置補正された画像情報を取り込み、これに含まれる要素画像の画質を画質補正情報に基づいて補正し、補正後画像情報として出力する。

本実施形態による立体画像補正装置３００は、撮影装置１００から供給される補正前画像情報に含まれる各要素画像の位置を、表示系複眼レンズ２２０の各要素レンズの位置に適合した状態に補正する。したがって、本実施形態によれば、立体画像撮影表示システム１における撮影系と表示系との間で対応する要素レンズの対の位置誤差によって生じる再現画像の歪みや画質劣化を表示系複眼レンズ２２０に適合させて改善することができ、各要素画像を、光線再現誤差の良好な状態で表示することができる。これにより、再生像の歪みや解像度の低下を軽減させた高品質な立体像を再現することができる。
立体画像撮影表示システム１において、撮影系複眼レンズ１１０と表示系複眼レンズ２２０とは、これらの製造時における成形の精度、経年変化、温度や湿度等の環境条件、機械的な圧力等によって位置誤差が生じ易いが、本実施形態によれば、容易に且つ高精度に位置を補正することができる。

［第１の実施の形態の変形例］
図７は、第１実施形態の変形例である立体画像補正装置を適用した立体画像撮影表示システムの概略のシステム構成を示す図である。同図において、第１実施形態における構成と同一の構成のブロックについては同一の符号を付してその説明を省略する。同図に示すように、立体画像撮影表示システム１ａは、撮影装置１００と、表示出力装置２００ａと、中継装置４００とを含む。
中継装置４００は、撮影装置１００から表示出力装置２００ａに対して補正前画像情報と撮影系レンズ位置情報と撮影系レンズ画質情報とを受け渡すための媒体としての機能を有する装置である。中継装置４００は、例えば、磁気ハードディスク装置、ＤＶＤや光磁気ディスク等のディスク記録再生装置、ＶＴＲ装置、ＵＳＢメモリ等の可搬型の記憶媒体である。また、撮影装置１００と表示出力装置２００ａとをネットワークを介して接続するようにした場合には、中継装置４００はサーバ装置やゲートウェイ装置であってよい。
表示出力装置２００ａは、第１実施形態における表示出力装置２００に立体画像補正装置３００を含めた構成を有し、自装置内で立体画像の補正処理を実行する。

［第２の実施の形態］
前述した第１実施形態では、撮影系レンズ位置情報および撮影系レンズ画質情報は予め撮影装置１００に記憶され、表示系レンズ位置情報および表示系レンズ画質情報は予め表示出力装置２００に記憶されていた。本発明の第２実施形態では、撮影系レンズ位置情報と、撮影系レンズ画質情報と、表示系レンズ位置情報と、表示系レンズ画質情報とを、撮影系複眼レンズおよび表示系複眼レンズの撮像画像から求める。
なお、本実施形態では、第１実施形態における構成と同一の構成のブロックについては同一の符号を付してその説明を省略する。

図８は、本発明の第２実施形態である立体画像補正装置を適用した補正情報生成システムの概略のシステム構成を示す図である。この補正情報生成システムは、立体画像補正装置に位置補正情報および画質補正情報を生成する処理を実行させるものである。同図に示すように、補正情報生成システム８は、光源部８１０と、ディフューザ８２０と、測定対象複眼レンズ８３０と、撮像装置８４０と、位置調整装置８５０と、立体画像補正装置３００ｂとを含む。

光源部８１０は、一定輝度値の白色光を発光する光源である。光源部８１０は、発光輝度レベルを調整するレベル調整部を備えていてもよい。ディフューザ８２０は、光源部８１０から発光された白色光から拡散光を得るための拡散板である。測定対象複眼レンズ８３０は、測定対象の複眼レンズであり、本実施形態では、不図示である撮影系複眼レンズ１１０および表示系複眼レンズ２２０が選択的に適用される。撮像装置８４０は、測定対象複眼レンズ８３０の全体画像を撮像してその撮像データである複眼レンズ画像情報を出力するカメラ装置である。この複眼レンズ画像情報は、測定対象複眼レンズ８３０が撮影系複眼レンズ１１０である場合は撮影系複眼レンズ画像情報であり、測定対象複眼レンズ８３０が表示系複眼レンズ２２０である場合は表示系複眼レンズ画像情報である。撮像装置８４０は可動支持される。位置調整装置８５０は、可動支持された撮像装置８４０を三次元的に移動させるアクチュエータであり、例えばステッピングモータである。なお、位置調整装置８５０は、撮像装置８４０側ではなく測定対象複眼レンズ８３０側に設けられてもよいし、撮像装置８４０側と測定対象複眼レンズ８３０側との両方に設けられてもよい。立体画像補正装置３００ｂは、撮像装置８４０から複眼レンズ画像情報の供給を受け、位置補正情報および画質補正情報を生成する。

図９は、本実施形態による立体画像補正装置３００ｂを適用した立体画像撮影表示システムの概略のシステム構成を示す図である。この立体画像撮影表示システムは、位置補正情報および画質補正情報が生成された後の、立体画像補正処理を実行する場合のシステム構成例である。同図に示すように、立体画像撮影表示システム２は、撮影装置１００ｂと、表示出力装置２００ｂと、立体画像補正装置３００ｂとを含む。
撮影装置１００ｂは、第１実施形態における撮影装置１００から撮影系レンズ情報記憶部１３０を除いた構成を有する。また、表示出力装置２００ｂは、第１実施形態における表示出力装置２００から表示系レンズ情報記憶部２３０を除いた構成を有する。
立体画像補正装置３００ｂは、撮影装置１００ｂから供給される補正前画像情報を受けて位置補正および画質補正を行い、補正後画像情報を生成して表示出力装置２００ｂに供給する。

次に、立体画像補正装置３００ｂの構成についてさらに詳しく説明する。図１０は、立体画像補正装置３００ｂの機能構成を示すブロック図である。同図に示すように、立体画像補正装置３００ｂは、撮影系レンズ位置情報演算部５１０と、表示系レンズ位置情報演算部５２０と、撮影系レンズ画質情報演算部５３０と、表示系レンズ画質情報演算部５４０と、位置補正情報生成部５５０と、画質補正情報生成部５６０と、補正情報記憶部５７０と、要素画像位置補正部５８０と、要素画像画質補正部５９０とを備える。

これら機能ブロックのうち、撮影系レンズ位置情報演算部５１０と、表示系レンズ位置情報演算部５２０と、撮影系レンズ画質情報演算部５３０と、表示系レンズ画質情報演算部５４０と、位置補正情報生成部５５０と、画質補正情報生成部５６０と、補正情報記憶部５７０とは、立体画像補正装置３００ｂが補正情報生成システム８に用いられた場合に機能する機能ブロックである。また、補正情報記憶部５７０と、要素画像位置補正部５８０と、要素画像画質補正部５９０とは、立体画像補正装置３００ｂが立体画像撮影表示システム２に用いられた場合に機能する機能ブロックである。

立体画像補正装置３００ｂにおいて、撮影系レンズ位置情報演算部５１０は、補正情報生成システム８において撮影系複眼レンズ１１０が測定対象複眼レンズ８３０として設置された場合に、撮像装置８４０から供給される複眼レンズ画像情報（撮影系複眼レンズ画像情報）を取り込む。そして、撮影系レンズ位置情報演算部５１０は、取り込んだ複眼レンズ画像情報から要素レンズ画像情報を抽出して、この要素レンズ画像情報について物理的エラーの有無を推定するとともに要素レンズ画像の中心位置を検出し、この中心位置を示す撮影系レンズ位置情報を生成して位置補正情報生成部５５０に供給する。また、撮影系レンズ位置情報演算部５１０は、取り込んだ複眼レンズ画像情報を撮影系レンズ画質情報演算部５３０に供給する。さらに、撮影系レンズ位置情報演算部５１０は、要素レンズ画像情報に物理的エラーがあると推定した場合は、その物理的エラーがあると推定された場所を含む垂直サンプリング画像情報と水平サンプリング画像情報とを撮影系レンズ画質情報演算部５３０に供給する。

表示系レンズ位置情報演算部５２０は、補正情報生成システム８において表示系複眼レンズ２２０が測定対象複眼レンズ８３０として設置された場合に、撮像装置８４０から供給される複眼レンズ画像情報（表示系複眼レンズ画像情報）を取り込む。そして、表示系レンズ位置情報演算部５２０は、取り込んだ複眼レンズ画像情報から要素レンズ画像情報を抽出して、この要素レンズ画像情報について物理的エラーの有無を推定するとともに要素レンズ画像の中心位置を検出し、この中心位置を示す表示系レンズ位置情報を生成して位置補正情報生成部５５０に供給する。また、表示系レンズ位置情報演算部５２０は、取り込んだ複眼レンズ画像情報を表示系レンズ画質情報演算部５４０に供給する。さらに、表示系レンズ位置情報演算部５２０は、要素レンズ画像情報に物理的エラーがあると推定した場合は、その物理的エラーがあると推定された場所を含む垂直サンプリング画像情報と水平サンプリング画像情報とを表示系レンズ画質情報演算部５４０に供給する。

撮影系レンズ画質情報演算部５３０は、撮影系レンズ位置情報演算部５１０から供給された撮影系複眼レンズ１１０の複眼レンズ画像情報を取り込んで画質補正情報生成部５６０に供給する。また、撮影系レンズ画質情報演算部５３０は、撮影系レンズ位置情報演算部５１０から供給された垂直サンプリング画像情報と水平サンプリング画像情報とに基づいて、撮影系複眼レンズ１１０の要素レンズ画像における物理的エラーの場所および範囲を推定し、この推定結果を含めた撮影系レンズ画質情報を画質補正情報生成部５６０に供給する。
表示系レンズ画質情報演算部５４０は、表示系レンズ位置情報演算部５２０から供給された表示系複眼レンズ２２０の複眼レンズ画像情報を取り込んで画質補正情報生成部５６０に供給する。また、表示系レンズ画質情報演算部５４０は、表示系レンズ位置情報演算部５２０から供給された垂直サンプリング画像情報と水平サンプリング画像情報とに基づいて、表示系複眼レンズ２２０の要素レンズ画像における物理的エラーの場所および範囲を推定し、この推定結果を含めた表示系レンズ画質情報を画質補正情報生成部５６０に供給する。

位置補正情報生成部５５０は、撮影系レンズ位置情報と表示系レンズ位置情報との供給を受けて、撮影系と表示系との間で対応する要素レンズの対それぞれについて位置誤差を計算し、立体画像撮影表示システム２における撮像部１２０から供給される補正前画像情報に含まれる要素画像の位置を表示系複眼レンズ２２０の位置を基準にして補正するための位置補正情報を生成し、これを補正情報記憶部５７０に記憶する。
なお、具体的な位置補正情報生成部５５０の位置補正情報の生成処理は、前述した第１実施形態における位置補正情報生成部３５０の処理と同様であるため、その詳細な説明を省略する。

画質補正情報生成部５６０は、撮影系レンズ画質情報と表示系レンズ画質情報との供給を受けて、撮影系と表示系との間で対応する要素レンズの対それぞれについて、要素画像の画質を比較する。そして、画質補正情報生成部５６０は、その比較結果に応じて、要素画像位置補正部５８０から供給される位置補正された画像情報に含まれる要素画像の画質を表示系複眼レンズ２２０の画質を基準にして補正するための画質補正情報を生成し、これを補正情報記憶部５７０に記憶する。
なお、具体的な画質補正情報生成部５６０の位置補正情報の生成処理は、前述した第１実施形態における画質補正情報生成部５６０の処理と同様であるため、その詳細な説明を省略する。

補正情報記憶部５７０は、位置補正情報生成部５５０から供給される位置補正情報と、画質補正情報生成部５６０から供給される画質補正情報とを記憶する。補正情報記憶部５７０は、例えば、ＥＥＰＲＯＭやフラッシュＲＯＭ等の再書き込み可能な不揮発性メモリや磁気ハードディスク記憶装置である。

要素画像位置補正部５８０は、当該立体画像補正装置３００ｂが立体画像撮影表示システム２に用いられた場合に、撮像部１２０から供給された補正前画像情報に含まれる要素画像の位置を、補正情報記憶部５７０から読み出した位置補正情報に基づいて補正し、この位置補正された画像情報を出力する。
要素画像画質補正部５９０は、要素画像位置補正部５８０から供給された位置補正された画像情報に含まれる要素画像の画質を、補正情報記憶部５７０から読み出した画質補正情報に基づいて補正し、これを補正後画像情報として出力する。

次に、補正情報生成システム８の動作について説明する。光源部８１０が発光した白色光はディフューザ８２０を通して拡散光になり、この拡散光は測定対象複眼レンズ８３０の一方の面に照射される。一方、位置調整装置８５０は、撮像装置８４０が、測定対象複眼レンズ８３０の他方の面全体を被写体としてとらえることができる位置に撮像装置８４０の位置を調整する。つまり、位置調整装置８５０は、撮像装置８４０の撮像レンズの光軸に沿う方向と、その光軸に直交する面内における任意の方向とのうち少なくとも一方向に撮像装置８４０を移動させる。次に、撮像装置８４０は、測定対象複眼レンズ８３０の他方の面全体に拡散光が透過した状態を撮像し、複眼レンズ画像情報として立体画像補正装置３００ｂに供給する。

次に、立体画像補正装置３００ｂが補正情報生成システム８に用いられ、撮影系複眼レンズ１１０が測定対象複眼レンズ８３０に適用された場合の、撮影系レンズ位置情報演算部５１０の処理について説明する。

図１１は、撮影系レンズ位置情報演算部５１０が取り込んだ複眼レンズ画像情報の画像を模式的に表した図である。同図（ａ）は、複眼レンズ画像の一部分を抜き出して表した図であり、同図（ｂ）は、撮影系レンズ位置情報演算部５１０が複眼レンズ画像から１個の要素レンズ画像を抽出して得られる要素レンズ画像を表した図である。なお、同図（ｂ）は、要素レンズ画像の細部を明りょうに図示するために、同図（ａ）に対して拡大して図示してある。同図（ａ）に示される複眼レンズ画像の要素レンズは正方格子状に配列されている。この格子状配列における要素レンズのピッチをＤとすると、同図（ｂ）における要素レンズ画像の一辺の長さはＤである。

また、図１２は、撮影系レンズ位置情報演算部５１０が取り込んだ複眼レンズ画像情報の、別の配列パターンの画像を模式的に表した図である。同図（ａ）は、複眼レンズ画像情報の一部分を抜き出して表した図であり、同図（ｂ）は、撮影系レンズ位置情報演算部５１０が複眼レンズ画像から１個の要素レンズ画像を抽出して得られる要素レンズ画像を表した図である。なお、同図（ｂ）は、要素レンズ画像の細部を明りょうに図示するために、同図（ａ）に対して拡大して図示してある。同図（ａ）に示される複眼レンズ画像の要素レンズは俵積み状に配列されている。この配列はデルタ配列とも呼ばれる。この俵積み状配列のＸ方向のピッチをＤとすると、Ｙ方向のピッチは√（３）×Ｄ／２となる。また、同図（ｂ）における要素レンズ画像の一辺の長さはＤである。

撮影系レンズ位置情報演算部５１０は、撮影系複眼レンズ１１０および表示系複眼レンズ２２０それぞれについての、要素レンズの配列パターンの種類と１辺あたりの要素レンズの個数との情報を含む複眼レンズ属性情報を予め記憶している。配列パターンの種類は、例えば、正方格子状配列および俵積み状配列である。撮影系レンズ位置情報演算部５１０は、複眼レンズ画像情報から測定対象複眼レンズ８３０の全体画像を抽出し、その全体画像と複眼レンズ属性情報とに基づき、配列パターンの種類に応じて、全体画像の一辺あたりの画素数と要素レンズの個数とから各要素レンズの中心位置と直径と要素レンズ間のピッチとを計算する。撮影系レンズ位置情報演算部５１０は、得られた各要素レンズの中心位置と直径と要素レンズ間のピッチとに基づいて、複眼レンズ画像情報から各要素レンズの要素レンズ画像情報を抽出する。

撮影系レンズ位置情報演算部５１０は、複眼レンズ画像情報から要素レンズごとの要素レンズ画像情報を抽出し、例えば、垂直方向（Ｙ方向）に分割した垂直サンプリング画像情報と、水平方向（Ｘ方向）に分割した水平サンプリング画像情報とを生成する。サンプリング画像幅は、垂直サンプリングと水平サンプリングとについて別個に設定可能であり、物理的エラーの場所や範囲の推定精度、推定分解能、および推定処理にかける計算時間に応じて任意に設定可能である。例えば、要素レンズ画像情報のサイズがＮ画素×Ｎ画素で、垂直および水平のサンプリング画像幅がＮ／６となる等間隔である場合、物理的エラーの推定分解能は、サンプリング画像の個数に依存し（Ｎ／６）^２である。したがって、サンプリング画像幅が狭いほど推定分解能は向上するが、サンプリング数が多くなるため計算時間が増大する。よって、撮影系レンズ位置情報演算部５１０は、推定分解能と計算処理時間とのトレードオフの関係を考慮したサンプリング数を用いる。

図１３は、要素レンズ画像情報から生成される垂直サンプリング画像情報を模式的に表した図である。同図は、要素レンズ画像情報１３が垂直方向（Ｙ方向）にｎ＝６等分に分割されて垂直サンプリング画像情報ｖ１〜ｖ６が生成された状態を示す。
撮影系レンズ位置情報演算部５１０は、同図のように要素レンズ画像情報１３を垂直方向に６等分に分割して垂直サンプリング画像情報ｖ１〜ｖ６を生成し、各垂直サンプリング画像の重心座標値を計算する。なお、サンプリング画像の重心座標値とは、当該サンプリング画像における画素値の重心の座標値である。

図１４は、要素レンズ画像情報から生成される水平サンプリング画像情報を模式的に表した図である。同図は、要素レンズ画像情報１３が水平方向（Ｘ方向）にｎ＝６等分に分割されて水平サンプリング画像情報ｈ１〜ｈ６が生成された状態を示す。
撮影系レンズ位置情報演算部５１０は、同図のように要素レンズ画像情報１３を水平方向に６等分に分割して水平サンプリング画像情報ｈ１〜ｈ６を生成し、各水平サンプリング画像の重心座標値を計算する。

撮影系レンズ位置情報演算部５１０は、６個の垂直サンプリング画像情報ｖ１〜ｖ６からそれぞれ求めた重心のＸ座標値の平均値を計算するとともに、水平方向の中心位置算出許容範囲を計算する。つまり、撮影系レンズ位置情報演算部５１０は、ｎ（ｎは２以上の整数）個の垂直サンプリング画像情報それぞれの重心のＸ座標値の平均値を式（１）により計算する。式（１）において、ｘ_ｉは重心のＸ座標値である。

そして、撮影系レンズ位置情報演算部５１０は、重心のＸ座標値の平均値の標準偏差を式（２）により計算する。

よって、撮影系レンズ位置情報演算部５１０は、水平方向の中心位置算出許容範囲を例えばＸ（バー）±σ_ｘにすることにより、垂直サンプリング画像情報ｖ１〜ｖ６から得られる中心位置のＸ座標を約６８．３％の精度で求めることができる。

また、撮影系レンズ位置情報演算部５１０は、上記の式（１）および式（２）と同様の計算より、６個の水平サンプリング画像情報ｈ１〜ｈ６からそれぞれ求めた重心のＹ座標値の平均値Ｙ（バー）とそれの標準偏差σ_ｙを求める。
よって、撮影系レンズ位置情報演算部５１０は、垂直方向の中心位置算出許容範囲を例えばＹ（バー）±σ_ｙにすることにより、水平ンプリング画像情報ｈ１〜ｈ６から得られる中心位置のＹ座標を約６８．３％の精度で求めることができる。

撮影系レンズ位置情報演算部５１０は、垂直サンプリング画像情報ｖ１〜ｖ６から得た重心のＸ座標値が水平方向の中心位置算出許容範囲外にある場合、その垂直サンプリング画像情報に対応する要素レンズの表面には物理的エラーがあると推定し、その垂直サンプリング画像情報をエラー含有垂直サンプリング画像情報として撮影系レンズ画質情報演算部５３０に供給する。
そして、撮影系レンズ位置情報演算部５１０は、水平方向の中心位置算出許容範囲以内にある重心のＸ座標値のみを用いて再度平均値を計算し、これを要素レンズの中心位置のＸ座標として検出する。このようにして検出することにより、要素レンズの中心位置のＸ座標値を、物理的エラーの影響を無くして求めることができる。

また、撮影系レンズ位置情報演算部５１０は、水平サンプリング画像情報ｈ１〜ｈ６から得た重心のＹ座標値が垂直方向の中心位置算出許容範囲外にある場合、その水平サンプリング画像情報に対応する要素レンズの表面には物理的エラーがあると推定し、その水平サンプリング画像情報をエラー含有水平サンプリング画像情報として撮影系レンズ画質情報演算部５３０に供給する。
そして、撮影系レンズ位置情報演算部５１０は、垂直方向の中心位置算出許容範囲以内にある重心のＹ座標値のみを用いて再度平均値を計算し、これを要素レンズの中心位置のＹ座標として検出する。このようにして検出することにより、要素レンズの中心位置のＹ座標値を、物理的エラーの影響を無くして求めることができる。

撮影系レンズ位置情報演算部５１０は、上述した処理によって要素レンズ画像情報の要素レンズ画像の中心位置を推定し、この推定処理を複眼レンズ画像情報に含まれる全ての要素レンズ画像情報について行って撮影系レンズ位置情報を生成する。そして、撮影系レンズ位置情報演算部５１０は、この撮影系レンズ位置情報を位置補正情報生成部５５０に供給する。

立体画像補正装置３００ｂが補正情報生成システム８に用いられ、表示系複眼レンズ２２０が測定対象複眼レンズ８３０に適用された場合の、表示系レンズ位置情報演算部５２０の処理については、上述した撮影系レンズ位置情報演算部５１０の処理と同様であるため、その詳細説明を省略する。

次に、立体画像補正装置３００ｂが補正情報生成システム８に用いられ、撮影系複眼レンズ１１０が測定対象複眼レンズ８３０に適用された場合の、撮影系レンズ画質情報演算部５３０の処理について説明する。

撮影系レンズ画質情報演算部５３０は、撮影系レンズ位置情報演算部５１０からエラー含有垂直サンプリング画像情報およびエラー含有水平サンプリング画像情報の供給を受けるとこれらを記憶する。撮影系レンズ画質情報演算部５３０は、記憶されたエラー含有垂直サンプリング画像情報およびエラー含有水平サンプリング画像情報がある場合は、これらを読み出して重複画像領域を検出し、この重複画像領域の位置情報と重複画像領域情報とを物理的エラーの場所および範囲の推定値として抽出する。また、撮影系レンズ画質情報演算部５３０は、記憶されたエラー含有垂直サンプリング画像情報およびエラー含有水平サンプリング画像情報がない場合は、物理的エラーはないと推定する。そして、撮影系レンズ画質情報演算部５３０は、推定値を撮影系レンズ画質情報として画質補正情報生成部５６０に供給する。

図１５は、撮影系複眼レンズ１１０の要素レンズに物理的エラーが含まれている場合の要素レンズ画像情報に含まれる垂直サンプリング画像情報と水平サンプリング画像情報とを模式的に示す図である。同図において、同図（ａ）は、垂直サンプリング画像情報ｖ１〜ｖ６を含む要素レンズ画像１５を表した図であり、物理的エラー１５ａが垂直サンプリング画像情報ｖ５，ｖ６に含まれている。また、同図（ｂ）は、水平サンプリング画像情報ｈ１〜ｈ６を含む要素レンズ画像１５を表した図であり、物理的エラー１５ａが水平サンプリング画像情報ｈ１〜ｈ３に含まれている。同図に示す要素レンズ画像については、撮影系レンズ画質情報演算部５３０は、エラー含有垂直サンプリング画像情報として垂直サンプリング画像情報ｖ５，ｖ６を記憶し、エラー含有水平サンプリング画像情報として水平サンプリング画像情報ｈ１〜ｈ３を記憶する。

また、図１６は、エラー含有垂直サンプリング画像情報とエラー含有水平サンプリング画像情報との重複画像領域が検出された様子を模式的に示す図である。撮影系レンズ画質情報演算部５３０は、記憶されたエラー含有垂直サンプリング画像情報およびエラー含有水平サンプリング画像情報を読み出して、垂直サンプリング画像情報ｖ５，ｖ６と水平サンプリング画像情報ｈ１〜ｈ３とが重複する画像領域１５ｂを検出する。

なお、撮影系レンズ画質情報演算部５３０は、撮影系レンズ位置情報演算部５１０が複眼レンズ画像情報から当該要素レンズ画像情報を抽出した際に用いた、要素レンズの中心位置および直径の計算値を撮影系レンズ位置情報演算部５１０から取得して要素レンズの形状を表す形状画像を生成し、要素レンズ画像情報からその形状画像以外の画像を除外するようにしてもよい。これにより、撮影系レンズ画質情報演算部５３０は、要素レンズ画像情報から要素レンズ画像をほぼ抽出することができる。
図１７は、要素レンズのみに係る重複画像領域が検出された様子を模式的に示す図である。同図に示すように、撮影系レンズ画質情報演算部５３０は、記憶されたエラー含有垂直サンプリング画像情報およびエラー含有水平サンプリング画像情報を読み出して、これらが重複して且つ要素レンズ以外の画像情報を除外した画像領域１５ｃを検出する。これにより、例えば、撮影系複眼レンズ１１０の要素レンズ配列が俵積み状配列である場合、要素レンズ間の隙間および隣接する要素レンズの影響を抑えて、中心位置の検出精度をさらに向上させることができる。

立体画像補正装置３００ｂが補正情報生成システム８に用いられ、表示系複眼レンズ２２０が測定対象複眼レンズ８３０に適用された場合の、表示系レンズ画質情報演算部５４０の処理については、上述した撮影系レンズ画質情報演算部５３０の処理と同様であるため、その詳細説明を省略する。

次に、立体画像補正装置３００ｂが補正情報生成システム８に用いられ、撮影系複眼レンズ１１０が測定対象複眼レンズ８３０に適用された場合に、立体画像補正装置３００ｂが要素レンズ画像情報について行う撮影系レンズ位置情報計算処理についての動作を説明する。図１８および図１９は、立体画像補正装置３００ｂが選択した１つの要素レンズ画像情報について行う撮影系レンズ位置情報計算処理の手順を示すフローチャートである。立体画像補正装置３００ｂは、撮影系レンズ位置情報演算部５１０が撮影装置１００ｂの撮像部１２０から複眼レンズ画像情報の供給を受けて１つの要素レンズ画像情報を抽出すると、図１８のフローチャートの処理を実行する。

ステップＳ２１において、撮影系レンズ位置情報演算部５１０は、要素レンズ画像情報をｎ個の垂直サンプリング画像情報に分割する。次に、ステップＳ２２において、撮影系レンズ位置情報演算部５１０は、ｎ個の垂直サンプリング画像情報それぞれの画像の重心座標値を計算する。次に、ステップＳ２３において、撮影系レンズ位置情報演算部５１０は、重心座標値のうち水平方向成分であるＸ座標値の平均値Ｘ（バー）を計算する。次に、ステップＳ２４において、撮影系レンズ位置情報演算部５１０は、平均値Ｘ（バー）の標準偏差σ_ｘを計算し、これに基づいて水平方向の中心位置算出許容範囲Ｘ（バー）±σ_ｘを求める。

次に、ステップＳ２５において、撮影系レンズ位置情報演算部５１０は、ｎ個の垂直サンプリング画像情報のうち１個を選択し、その重心座標のＸ座標値が水平方向の中心位置算出許容範囲内にあるか否かを判定する。そして、撮影系レンズ位置情報演算部５１０は、その重心座標のＸ座標値が水平方向の中心位置算出許容範囲内にあると判定した場合（ステップＳ２６：ＹＥＳ）はステップＳ２７の処理に移行し、その重心座標のＸ座標値が水平方向の中心位置算出許容範囲内にないと判定した場合（ステップＳ２６：ＮＯ）はステップＳ２８の処理に移行する。

ステップＳ２７において、撮影系レンズ位置情報演算部５１０は、重心座標のＸ座標値を記憶しステップＳ２９の処理に移行する。一方、ステップＳ２８において、撮影系レンズ位置情報演算部５１０は、選択している垂直サンプリング画像情報をエラー含有垂直サンプリング画像情報として撮影系レンズ画質情報演算部５３０に供給する。そして、撮影系レンズ画質情報演算部５３０は、エラー含有垂直サンプリング画像情報を取り込んで記憶しステップＳ２９の処理に移行する。

ステップＳ２９において、撮影系レンズ位置情報演算部５１０は、ｎ個全ての垂直サンプリング画像情報についての判定処理を実行したか否かを判定し、ｎ個全ての判定処理が完了したと判定した場合はステップＳ３０の処理に移行し、ｎ個全ての判定処理が完了していないと判定した場合はステップＳ２５の処理に戻る。ステップＳ３０において、撮影系レンズ位置情報演算部５１０は、水平方向の中心位置算出許容範囲内にある重心のＸ座標値のみを用いて平均値Ｘ（バー）を計算する。

次に、図１９に移り、ステップＳ３１において、撮影系レンズ位置情報演算部５１０は、要素レンズ画像情報をｎ個の水平サンプリング画像情報に分割する。次に、ステップＳ３２において、撮影系レンズ位置情報演算部５１０は、ｎ個の水平サンプリング画像情報それぞれの画像の重心座標値を計算する。次に、ステップＳ３３において、撮影系レンズ位置情報演算部５１０は、重心座標値のうち垂直方向成分であるＹ座標値の平均値Ｙ（バー）を計算する。次に、ステップＳ３４において、撮影系レンズ位置情報演算部５１０は、平均値Ｙ（バー）の標準偏差σ_ｙを計算し、これに基づいて垂直方向の中心位置算出許容範囲Ｙ（バー）±σ_ｙを求める。

次に、ステップＳ３５において、撮影系レンズ位置情報演算部５１０は、ｎ個の水平サンプリング画像情報のうち１個を選択し、その重心座標のＹ座標値が垂直平方向の中心位置算出許容範囲内にあるか否かを判定する。そして、撮影系レンズ位置情報演算部５１０は、その重心座標のＹ座標値が垂直方向の中心位置算出許容範囲内にあると判定した場合（ステップＳ３６：ＹＥＳ）はステップＳ３７の処理に移行し、その重心座標のＹ座標値が垂直方向の中心位置算出許容範囲内にないと判定した場合（ステップＳ３６：ＮＯ）はステップＳ３８の処理に移行する。

ステップＳ３７において、撮影系レンズ位置情報演算部５１０は、重心座標のＹ座標値を記憶しステップＳ３９の処理に移行する。一方、ステップＳ３８において、撮影系レンズ位置情報演算部５１０は、選択している水平サンプリング画像情報をエラー含有水平サンプリング画像情報として撮影系レンズ画質情報演算部５３０に供給する。そして、撮影系レンズ画質情報演算部５３０は、エラー含有水平サンプリング画像情報を取り込んで記憶しステップＳ３９の処理に移行する。

ステップＳ３９において、撮影系レンズ位置情報演算部５１０は、ｎ個全ての水平サンプリング画像情報についての判定処理を実行したか否かを判定し、ｎ個全ての判定処理が完了したと判定した場合はステップＳ４０の処理に移行し、ｎ個全ての判定処理が完了していないと判定した場合はステップＳ３５の処理に戻る。ステップＳ４０において、撮影系レンズ位置情報演算部５１０は、垂直方向の中心位置算出許容範囲内にある重心のＹ座標値のみを用いて平均値Ｙ（バー）を計算する。

次に、ステップＳ４１において、撮影系レンズ位置情報演算部５１０は、ステップＳ３０の処理において得た水平方向の中心位置算出許容範囲内にある重心のＸ座標値の平均値Ｘ（バー）と、ステップＳ４０の処理において得た垂直方向の中心位置算出許容範囲内にある重心のＹ座標値の平均値Ｙ（バー）とを、現在選択している要素レンズ画像の要素レンズの中心座標値として決定し、撮影系レンズ位置情報として位置補正情報生成部５５０に供給する。

次に、立体画像補正装置３００ｂが要素レンズ画像情報について行う撮影系レンズ画質情報計算処理の動作を説明する。図２０は、立体画像補正装置３００ｂが選択した１つの要素レンズ画像情報について行う撮影系レンズ画質情報計算処理の手順を示すフローチャートである。この撮影系レンズ画質情報計算処理は、図１８および図１９に示した撮影系レンズ位置情報計算処理の後に実行される処理である。

ステップＳ５１において、撮影系レンズ画質情報演算部５３０は、記憶されたエラー含有垂直サンプリング画像情報およびエラー含有水平サンプリング画像情報があるか否かをチェックし、エラー含有垂直サンプリング画像情報およびエラー含有水平サンプリング画像情報が記憶されていると判定した場合はステップＳ５２の処理に移行し、記憶されていないと判定した場合はステップＳ５３の処理に移行する。

ステップＳ５２において、撮影系レンズ画質情報演算部５３０は、記憶されたエラー含有垂直サンプリング画像情報およびエラー含有水平サンプリング画像情報を読み出して、エラー含有垂直サンプリング画像とエラー含有水平サンプリング画像とが重複する重複画像領域を検出し、この重複画像領域の位置情報と重複画像領域情報とを物理的エラーの場所および範囲の推定値として抽出する。なお、重複画像領域の位置情報とは、例えば、当該領域を囲む境界線を表わす座標値の集合である。
一方、ステップ５３において、撮影系レンズ画質情報演算部５３０は、現在選択されている要素レンズ画像情報には物理的エラーはないとの推定結果を取得する。
そして、ステップＳ５４において、撮影系レンズ画質情報演算部５３０は、推定値を撮影系レンズ画質情報として画質補正情報生成部５６０に供給する。

なお、立体画像補正装置３００ｂが要素レンズ画像情報について行う表示系レンズ画質情報計算処理については、撮影系レンズ画質情報計算処理と同様の処理であるため、その説明を省略する。

本実施形態による立体画像補正装置３００ｂは、撮影装置１００ｂから供給される補正前画像情報に含まれる各要素画像の位置を、表示系複眼レンズ２２０の各要素レンズの位置に適合した状態に補正する。したがって、本実施形態によれば、立体画像撮影表示システム２における撮影系と表示系との間で対応する要素レンズの対の位置誤差によって生じる再現画像の歪みや画質劣化を表示系複眼レンズ２２０に適合させて改善することができ、各要素画像を、光線再現誤差の良好な状態で表示することができる。これにより、再生像の歪みや解像度の低下を軽減させた高品質な立体像を再現することができる。

［第２の実施の形態の変形例］
第２実施形態では、撮影系レンズ位置情報演算部５１０が複眼レンズ属性情報を予め記憶しており、取り込んだ複眼レンズ画像情報から測定対象複眼レンズ８３０の全体画像を抽出し、その全体画像と複眼レンズ属性情報とに基づいて各要素レンズの中心位置と直径と要素レンズ間のピッチとを計算する例について説明した。第２実施形態の変形例は、各要素レンズの中心位置を求める別の例である。

撮影系レンズ位置情報演算部５１０は、取り込んだ複眼レンズ画像情報から測定対象複眼レンズ８３０の全体画像を抽出し、任意にサイズを変更可能な円形テンプレート画像でパターンマッチングを行う。具体的には、撮影系レンズ位置情報演算部５１０は、例えば、まず３画素分に相当するサイズである直径の円形テンプレート画像を測定対象複眼レンズ８３０の全体画像の中心位置に設定する。そして、撮影系レンズ位置情報演算部５１０は、その中心位置を基準点として、円形テンプレート画像を、当該円形テンプレート画像の半径の距離から直径の距離までの間の一定距離を半径とした円内を移動させて要素レンズの画像とのパターンマッチングを行う。このパターンマッチングは、一例としては、円形テンプレート画像と全体画像との間の輝度の相互相関値のピークを検出することによって行う。撮影系レンズ位置情報演算部５１０は、当該円内の探索によってパターンマッチングができなかった場合は、円形テンプレート画像の径サイズを所定増分（例えば１画素分）だけ大きくして再度パターンマッチングを行う。撮影系レンズ位置情報演算部５１０は、このような探索処理をパターンマッチングが成功するまで繰り返す。

撮影系レンズ位置情報演算部５１０が、測定対象複眼レンズ８３０の全体画像の中心位置付近の要素レンズ画像情報とのテンプレートマッチングを最初に行うことにより、撮像部１２０のレンズ歪みやシェーディングの影響を軽減してマッチングを取ることができる。そして、最初にマッチングのとれた円形テンプレート画像またはその前後の大きさの円形テンプレート画像を用いて探索を続行することにより、各要素レンズ画像情報の参照中心位置を求めることができる。

ただし、要素レンズに物理的エラーがあり、その輪郭を円形として認知できない場合には、撮影系レンズ位置情報演算部５１０は、その他の要素レンズ画像情報に対してパターンマッチングを取った後にピッチを計算し、隣り合う要素レンズ画像の間隔が例えばピッチの１．５倍以上ある場合にはその隙間に要素レンズ画像があると推定し、隙間部分にも参照中心位置を設定する。

［第３の実施の形態］
本発明の第３実施形態は、物理的エラーのある要素画像をエラーの種類や程度に応じて補間する例である。測定対象複眼レンズ８３０の要素レンズによって得られる要素画像の画質を劣化させる要因には、主に、前述したとおり、要素レンズの傷、欠損、変形、要素レンズ自体の欠落、または塵埃や油等による汚れ等によるものがある。要素レンズに比較的大きな傷、欠損、変形、または要素レンズの欠落がある場合（以下、“傷による重度欠陥”と呼ぶ。）、その要素レンズから得られる要素画像には傷による重度欠陥部分に対応する画像がない状態となる。一方、要素レンズに比較的小さな傷、欠損、または変形がある場合（以下、“傷による軽度欠陥”と呼ぶ。）、その要素レンズからは、通常よりも輝度レベルが低下した要素画像が得られる。
また、要素レンズに比較的広範囲の汚れが付着している場合（以下、“汚れによる重度欠陥”と呼ぶ。）は、その要素レンズからは、傷による重度欠陥と同様の要素画像が得られる。また、要素レンズに比較的少量の汚れが付着している場合（以下、“汚れによる軽度欠陥”と呼ぶ。）は、その要素レンズからは、傷による軽度欠陥と同様の要素画像が得られる。
ここで、傷による重度欠陥と汚れによる重度欠陥とを“重度欠陥”と呼び、傷による軽度欠陥と汚れによる軽度欠陥とを“軽度欠陥”と呼ぶ。重度欠陥と軽度欠陥とは、欠陥を含む要素画像の輝度値と所定の閾値との比較によって区分することができる。例えば、要素画像の輝度値が所定の閾値未満である場合、その要素画像には重度欠陥が含まれる。

図２１は、本発明の第３実施形態による立体画像補正装置の機能構成を示すブロック図である。前述した第２実施形態における立体画像補正装置３００ｂと同一の構成については、同一の符号を付してその説明を省略する。同図に示すように、立体画像補正装置３００ｃは、立体画像補正装置３００ｂから、画質補正情報生成部５６０を画質補正情報生成部５６０ａに変更し、要素画像画質補正部５９０を要素画像画質補正部５９０ａに変更した構成を有する。画質補正情報生成部５６０ａが生成する画質補正情報は、例えば、画像補間コマンドまたは輝度補正コマンドであり、詳細については後述する。

画質補正情報生成部５６０ａは、取得した要素レンズ画像情報について軽度欠陥と重度欠陥とを識別する。インテグラル・フォトグラフィ方式では、測定対象複眼レンズ８３０に含まれる要素レンズ配列における隣接する要素レンズの要素画像は相関度が高いという性質がある。また、物理的エラーがある要素レンズから得られる要素画像の輝度値は、隣接する要素レンズから得られる要素画像の輝度値よりも低い場合が多い。これは、物理的エラーによって輝度値が下がるためである。本実施形態による画質補正情報生成部５６０ａは、これらの性質を利用して要素レンズ画像情報を軽度欠陥または重度欠陥に識別する。

具体的には、画質補正情報生成部５６０ａは、識別対象の要素レンズの要素レンズ画像情報の輝度値Ｌを求め、この要素レンズ画像情報に隣接する要素レンズ画像情報それぞれの輝度値の平均値Ｍ（バー）を求め、δ１＞δ２となる任意の閾値を用いて、式（３）から式（５）の不等号式を計算して評価し、要素レンズ画像情報を識別する。ここで、閾値δ１は誤判定を抑制するための閾値であり、閾値δ２は軽度欠陥と重度欠陥とを区分するための閾値である。

画質補正情報生成部５６０ａは、式（３）が成立すると判定した場合は、要素レンズ画像情報には欠陥が含まれないと識別し、式（４）が成立すると判定した場合は、要素レンズ画像情報は軽度欠陥であると識別し、式（５）が成立すると判定した場合は、要素レンズ画像情報は重度欠陥であると識別する。

図２２は、識別対象の要素レンズとこれに隣接する要素レンズとの対応関係を示す図である。同図（ａ）は、測定対象複眼レンズ８３０が正方格子配列型の複眼レンズである場合の対応関係図であり、同図（ｂ）は、測定対象複眼レンズ８３０が俵積み配列型の複眼レンズである場合の対応関係図である。同図（ａ）に示すように、要素レンズ配列２２ａが正方格子配列である場合は、識別対象の要素レンズ２２１ａに対して隣接する要素レンズは８個の要素レンズ２２２ａである。また、同図（ｂ）に示すように、要素レンズ配列２２ｂが俵積み配列である場合は、識別対象の要素レンズ２２１ｂに対して隣接する要素レンズは６個の要素レンズ２２２ｂである。なお、識別対象の要素レンズ２２１ｂに対する近傍の要素レンズとして、例えば、水平方向に同ピッチであって最も近傍の要素レンズである２個の要素レンズ２２３を用いてもよい。

次に、画質補正情報生成部５６０ａの画質補正情報の生成処理について説明する。画質補正情報生成部５６０ａは、要素レンズ画像情報が軽度欠陥であると識別した場合、さらに、その軽度欠陥が傷による軽度欠陥であるか、汚れによる軽度欠陥であるかについて識別する。具体的には、画質補正情報生成部５６０ａは、撮影系レンズ画質情報演算部５３０から供給される撮影系レンズ画質情報を例とした場合に、撮影系レンズ画質情報に含まれる物理的エラーの場所および範囲の推定値に基づいて、要素レンズ画像情報内のその推定箇所の輝度値Ｌを計算し、その要素レンズ画像に隣接する要素レンズ画像それぞれの輝度値の平均値Ｍ（バー）を計算し、上記の式（５）を計算して評価する。

つまり、画質補正情報生成部５６０ａは、式（５）が成立すると判定した場合は、要素レンズ画像情報の軽度欠陥は傷による軽度欠陥であると推定する。そして、画質補正情報生成部５６０ａは、当該要素レンズ画像に隣接する要素レンズ画像を用いて推定箇所の画像を補間するための画質補正情報を生成して補正情報記憶部５７０に記憶する。
具体的には、画質補正情報生成部５６０ａは、物理的エラーの範囲を表わす位置情報（座標値の集合）と、当該物理的エラーを有する要素画像に隣接する要素レンズそれぞれにおいて上記物理的エラーの範囲に対応する位置情報とをパラメータとして有する画像補間コマンドを画質補正情報として生成する。

一方、画質補正情報生成部５６０ａは、式（５）が成立しないと判定した場合は、要素レンズ画像情報の軽度欠陥は汚れによる軽度欠陥であると推定する。そして、画質補正情報生成部５６０ａは、当該要素レンズ画像に隣接する要素レンズ画像の輝度値を用いた補正を行うための画質補正情報を生成して補正情報記憶部５７０に記憶する。
具体的には、画質補正情報生成部５６０ａは、物理的エラーの範囲を表わす位置情報（座標値の集合）と、当該物理的エラーを有する要素画像に隣接する要素レンズそれぞれにおいて上記物理的エラーの範囲に対応する位置情報とをパラメータとして有する輝度補正コマンドを画質補正情報として生成する。

また、画質補正情報生成部５６０ａは、要素レンズ画像情報が重度欠陥であると識別した場合、当該要素レンズ画像に隣接する要素レンズ画像を用いて推定箇所の画像を補間するための画質補正情報を生成して補正情報記憶部５７０に記憶する。

次に、要素画像画質補正部５９０ａの補正処理について説明する。要素画像画質補正部５９０ａは、補正情報記憶部５７０から画質補正情報を読出し、これが画像補間コマンドである場合は、要素画像位置補正部５８０から供給される位置補正された画像情報から補間元の要素レンズ画像情報における推定箇所の画像を抽出して、要素レンズ画像情報ごとの視差に応じた被写体の変位量を求めて補間画像を生成する。
また、要素画像画質補正部５９０ａは、補正情報記憶部５７０から画質補正情報を読出し、これが輝度補正コマンドである場合は、要素画像位置補正部５８０から供給される位置補正された画像情報から補間元の要素レンズ画像情報の輝度値を求めて平均値を計算し、補正対象の要素レンズ画像情報の輝度値をその平均値に合わせて変更する。

なお、軽度欠陥と重度欠陥とのいずれにおいても当該要素レンズ画像に隣接する要素レンズ画像を用いて補間してもよい。また、画像補間においては、物理的エラーの推定箇所部分のみを補間してもよいし、要素レンズ画像ごと補間してもよい。

［第３の実施の形態の変形例］
第３実施形態の変形例は、要素レンズ画像情報を用いた画像補間の別の例である。
［第１の変形例］
この変形例による画質補正情報生成部５６０ａは、要素レンズ画像情報が重度欠陥であると識別した場合、当該要素レンズ画像情報に対応する要素レンズの番号をパラメータとして有する画像補間コマンドを画質補正情報として生成して補正情報記憶部５７０に記憶する。
要素画像画質補正部５９０ａは、要素画像位置補正部５８０から供給された位置補正された画像情報に基づいて被写体Ｓの三次元モデルデータを生成する。この三次元モデルデータは、被写体Ｓの形状やテクスチャを三次元座標値に関連付けて保持するデータである。そして、要素画像画質補正部５９０ａは、補正情報記憶部５７０から画質補正情報を読み出して、パラメータである要素レンズの番号に対応する要素レンズ画像情報を検出し、生成した三次元モデルデータに基づいて、その重度欠陥を有する要素レンズの位置に仮想要素レンズを設けた場合に得られる要素画像をレンダリングする処理を行う。そして、要素画像画質補正部５９０ａは、このようにして生成した要素画像を補間画像とする。

［第２の変形例］
この変形例による画質補正情報生成部５６０ａは、要素レンズ画像情報が軽度欠陥と重度欠陥とのいずれにおいても、要素レンズ画像情報に対応する要素レンズの番号をパラメータとして有する画像補間コマンドを画質補正情報として生成して補正情報記憶部５７０に記憶する。
要素画像画質補正部５９０ａは、要素画像位置補正部５８０から供給された位置補正された画像情報を、仮想複眼レンズを通して被写体Ｓの被写体像ＳＩである立体像を再現する。そして、要素画像画質補正部５９０ａは、補正情報記憶部５７０から画質補正情報を読み出し、パラメータである要素レンズの番号に対応する仮想要素レンズをマスクした仮想複眼レンズを設け、再現した立体像をこの仮想複眼レンズに通して補正後画像情報を生成する。

この第２の変形例によれば、立体画像補正装置３００ｃは、物理的エラーのある要素レンズに対応する要素レンズ画像情報をマスクして補正後画像情報を得ることができるので、エラーの目立たない均一な画質の立体像を再現することができる。

［第４の実施の形態］
前述した第２実施形態では、撮像装置８４０が測定対象複眼レンズ８３０の全体画像を撮像してその撮像データである複眼レンズ画像情報を立体画像補正装置３００ｂに供給する例について説明した。本発明の第４実施形態では、撮像装置が測定対象複眼レンズの１個の要素レンズを被写体としてとらえて撮像し、その撮像データである要素レンズ画像情報を立体画像補正装置に供給する例について説明する。

図２３は、本発明の第４実施形態である立体画像補正装置を適用した補正情報生成システムの概略のシステム構成を示す図である。前述した第２実施形態における補正情報生成システム８と同一の構成については、同一の符号を付してその説明を省略する。同図に示すように、補正情報生成システム８ａは、測定対象複眼レンズ８３０と、撮像装置８４０ａと、位置調整装置８５０ａと、レーザ光射出部８６０と、支持部８７０と、立体画像補正装置３００ｄとを含む。

レーザ光射出部８６０は、例えば可視光レーザを射出するレーザ光源である。レーザ光射出部８６０は、レーザ光出力レベルを調整するレベル調整部を備えていてもよい。撮像装置８４０ａは、測定対象複眼レンズ８３０の要素レンズ配列のうち１個の要素レンズを撮像してその撮像データである要素レンズ画像情報を出力するカメラ装置である。レーザ光射出部８６０と撮像装置８４０ａとは、レーザ光射出部８６０と撮像装置８４０ａの撮影レンズ（不図示）とが向き合い、且つレーザ光射出部８６０からの射出光軸と撮影レンズの入射光軸とが一軸上に重なるように位置調整されて支持部８７０に固定支持される。位置調整装置８５０ａは、支持部８７０を三次元的に移動させるアクチュエータであり、例えばステッピングモータである。なお、位置調整装置８５０ａは、支持部８７０側ではなく測定対象複眼レンズ８３０側に設けられてもよい。立体画像補正装置３００ｄは、撮像装置８４０ａから要素レンズ画像情報の供給を受け、位置補正情報および画質補正情報を生成する。

測定対象複眼レンズ８３０の要素レンズ配列のうち所望の１個の要素レンズの光軸中心と撮像装置８４０ａが撮像して得る撮像画像の中心とをほぼ合わせるための粗調整について説明する。まず、撮像装置８４０ａは、測定対象複眼レンズ８３０の全体画像を取得しておく。測定対象複眼レンズ８３０の縦方向および横方向それぞれの要素レンズの個数と、撮像装置８４０ａの撮像画像の画素数と、測定対象複眼レンズ８３０の全体を被写体としてとらえる位置から１個の要素レンズを被写体としてとらえる位置までズームアップするための撮像倍率と、位置調整装置８５０ａの移動単位あたりの移動画素数とのパラメータは、測定または仕様等により予め分かっている。

測定者は、これらのパラメータを用いて、測定用複眼レンズ８３０の要素レンズ配列のうち所望の１個の要素レンズの画像を撮像装置８４０ａに撮像させるために、位置調整装置８５０ａと撮像装置８４０ａのズーム機能とを調整して、撮像画像に所望の１個の要素レンズの画像が入るように粗調整することができる。

粗調整の後、レーザ光射出部８６０は、測定対象複眼レンズ８３０の一方の面に向けて可視光レーザを出射する。レーザ光射出部８６０から射出された可視光レーザが測定対象複眼レンズ８３０の一方の面に到達すると、そこからの反射光と透過光とに別れる。そして、透過光が測定対象複眼レンズ８３０の他方の面から出射して撮像装置８４０ａの撮影レンズに到達するとそこからの反射光が生じる。そして、この反射光は再び測定対象複眼レンズ８３０を透過してレーザ光射出部８６０側に到達する。そこで、位置調整装置８５０ａは、測定対象複眼レンズ８３０からの反射光と撮影レンズからの反射光とがレーザ光射出部８６０の射出光軸に一致するように調整する。これにより、所望の１個の要素レンズと撮像装置８４０ａとを正確に正対させることができる。

この状態で、立体画像補正装置３００ｄは、前述した第２実施形態に示した手順によって要素レンズ画像情報の中心位置の検出と物理的エラーの抽出との処理を行う。このとき、立体画像補正装置３００ｄは、測定対象複眼レンズ８３０の全体画像における要素レンズ画像情報の中心位置を決定する必要がある。そこで、立体画像補正装置３００ｄは、予め取得した測定対象複眼レンズ８３０の全体画像と、位置調整装置８５０ａの変位量とに基づいて、要素レンズ画像情報の中心位置の検出結果を全体画像にマッピングする。

本実施形態によれば、第２実施形態に対して１個の要素レンズ画像情報に必要な画素数が多いため、さらに中心位置の検出精度を向上させることができる。

［第５の実施の形態］
前述した第４実施形態では、撮像装置８４０ａが測定対象複眼レンズ８３０の１個の要素レンズを被写体としてとらえて撮像し、その撮像データである要素レンズ画像情報を立体画像補正装置３００ｄに供給する例について説明した。本発明の第５実施形態では、複数の撮像装置が測定対象複眼レンズを撮像し、各撮像装置の撮像データを姿勢制御記録装置で管理して立体画像補正装置に供給する例について説明する。

図２４は、本発明の第５実施形態である立体画像補正装置を適用した補正情報生成システムの概略のシステム構成を示す図である。前述した第４実施形態における補正情報生成システム８ａと同一の構成については、同一の符号を付してその説明を省略する。同図に示すように、補正情報生成システム８ｂは、測定対象複眼レンズ８３０と、撮像装置群８４０ｂと、位置調整装置群８５０ｂと、レーザ光射出部群８６０ａと、支持部８７０と、姿勢制御記録装置８８０と、立体画像補正装置３００ｅとを含む。

レーザ光射出部群８６０ａは、例えば可視光レーザを射出する複数のレーザ光源を備える。レーザ光射出部群８６０ａは、レーザ光源ごとにレーザ光出力レベルを調整するレベル調整部を備えていてもよい。撮像装置群８４０ｂは独立に制御可能な複数のカメラ装置である。レーザ光射出部群８６０ａと撮像装置群８４０ｂとは、レーザ光源とカメラ装置との対において、レーザ光源とカメラ装置の撮影レンズ（不図示）とが向き合い、且つレーザ光源からの射出光軸と撮影レンズの入射光軸とが一軸上に重なるように位置調整されて支持部８７０に支持される。位置調整装置群８５０ｂは、レーザ光源とカメラ装置との複数の対をそれぞれ独立して三次元的に移動させる複数のアクチュエータであり、それぞれが例えばステッピングモータである。

姿勢制御記録装置８８０は、位置調整装置群８５０ｂによって制御された複数のカメラ装置それぞれの三次元位置と、複数の要素レンズ画像情報と、複数の要素レンズ画像情報それぞれの中心位置の情報とを管理する。また、姿勢制御記録装置８８０は、複数の要素レンズ画像情報に基づいて測定対象複眼レンズ８３０の要素レンズ配列の全体画像を生成し、各要素レンズ画像情報の中心位置の情報を全体画像の情報に統合し、統合後の全体画像情報を立体画像補正装置３００ｅに供給する。立体画像補正装置３００ｅは、姿勢制御記録装置８８０から統合後の全体画像情報の供給を受けて、位置補正情報および画質補正情報を生成する。

測定対象複眼レンズ８３０の要素レンズ配列のうち所望の１個の要素レンズの光軸中心と撮像装置群８４０ｂの各カメラ装置が撮像して得る撮像画像の中心とをほぼ合わせるための粗調整について説明する。まず、撮像装置群８４０ｂの各カメラ装置は、測定対象複眼レンズ８３０の全体画像を取得しておく。測定対象複眼レンズ８３０の縦方向および横方向それぞれの要素レンズの個数と、カメラ装置の撮像画像の画素数と、測定対象複眼レンズ８３０の全体を被写体としてとらえる位置から所定数の要素レンズを被写体としてとらえる位置までズームアップするための撮像倍率と、位置調整装置８５０ａの移動単位あたりの移動画素数とのパラメータは、測定または仕様等により予め分かっている。

測定者は、これらのパラメータを用いて、カメラ装置ごとに、測定用複眼レンズ８３０の要素レンズ配列のうち所定数の要素レンズの画像を当該カメラ装置に撮像させるために、位置調整装置群８５０ｂとカメラ装置のズーム機能とを調整して、撮像画像に所定数の要素レンズの画像が入るように粗調整することができる。

図２５は、測定対象複眼レンズ８３０の要素レンズ配列と、撮像装置群８４０ｂに含まれる４個のカメラ装置による撮像画像との関係を示す図である。同図（ａ）は、測定対象複眼レンズ８３０が正方格子配列型の要素レンズ配列である場合の関係図であり、同図（ｂ）は、測定対象複眼レンズ８３０が俵積み配列型の要素レンズ配列である場合の関係図である。同図（ａ）には、測定対象複眼レンズ８３０の要素レンズ配列２５ａにおいて、要素レンズ２５１ａが画像中心となるように第１のカメラ装置によってとらえられた領域Ｆ１ａと、要素レンズ２５２ａが画像中心となるように第２のカメラ装置によってとらえられた領域Ｆ２ａと、要素レンズ２５３ａが画像中心となるように第３のカメラ装置によってとらえられた領域Ｆ３ａと、要素レンズ２５４ａが画像中心となるように第４のカメラ装置によってとらえられた領域Ｆ４ａとが図示されている。
同図（ａ）の場合には、位置調整装置群８５０ｂは、要素レンズ配列２５ａの垂直方向および水平方向それぞれに２つおきとなる要素レンズが画像中心となるように、撮像装置群８４０ｂに含まれる第１〜第４のカメラ装置の位置を調整する。

図２５（ｂ）には、測定対象複眼レンズ８３０の要素レンズ配列２５ｂにおいて、要素レンズ２５１ｂが画像中心となるように第１のカメラ装置によってとらえられた領域Ｆ１ｂと、要素レンズ２５２ｂが画像中心となるように第２のカメラ装置によってとらえられた領域Ｆ２ｂと、要素レンズ２５３ｂが画像中心となるように第３のカメラ装置によってとらえられた領域Ｆ３ｂと、要素レンズ２５４ｂが画像中心となるように第４のカメラ装置によってとらえられた領域Ｆ４ｂとが図示されている。
同図（ｂ）の場合には、位置調整装置群８５０ｂは、要素レンズ配列２５ｂの垂直方向および水平方向それぞれに１つおきとなる要素レンズが画像中心となるように、撮像装置群８４０ｂに含まれる第１〜第４のカメラ装置の位置を調整する。

粗調整の後、レーザ光射出部群８６０ａは、測定対象複眼レンズ８３０の一方の面に向けて可視光レーザを出射する。レーザ光射出部群８６０ａから射出された可視光レーザが測定対象複眼レンズ８３０の一方の面に到達すると、そこからの反射光と透過光とに別れる。そして、透過光が測定対象複眼レンズ８３０の他方の面から出射して撮像装置群８４０ｂの撮影レンズに到達するとそこからの反射光が生じる。そして、これらの反射光は再び測定対象複眼レンズ８３０を透過してレーザ光射出部群８６０ａ側に到達する。そこで、位置調整装置群８５０ｂは、測定対象複眼レンズ８３０からの反射光と撮影レンズからの反射光とがレーザ光射出部群８６０ａの各射出光軸に一致するように調整する。これにより、所定数の要素レンズと撮像装置群８４０ｂとを正確に正対させることができる。

［その他の実施形態］
上述した各実施形態は、撮影系レンズ位置情報演算部５１０および表示系レンズ位置情報演算部５２０が、測定対象複眼レンズ８３０に含まれる各要素レンズ画像の中心位置を検出する際に、要素レンズ画像ごとに中心位置算出許容範囲を設定し、その範囲外に重心位置があるサンプリング画像情報を除外して中心位置を検出する例である。この方法以外に、以下のようにして中心位置算出許容範囲を設定してもよい。

つまり、撮影系レンズ位置情報演算部５１０および表示系レンズ位置情報演算部５２０は、要素レンズ画像情報から垂直サンプリング画像情報と水平サンプリング画像情報とを生成してそれぞれの中心位置を検出する。そして、垂直サンプリング画像情報から得られた中心位置におけるＸ座標の平均値と、水平サンプリング画像情報から得られた中心位置におけるＹ座標の平均値とを計算し、Ｘ座標平均値とＹ座標平均値とを当該要素レンズ画像情報における中心位置として記憶する。撮影系レンズ位置情報演算部５１０および表示系レンズ位置情報演算部５２０は、測定対象複眼レンズ８３０の全ての要素レンズについて同様な処理を行って全ての要素レンズごとの中心位置を求める。

次に、撮影系レンズ位置情報演算部５１０および表示系レンズ位置情報演算部５２０は、全要素レンズ画像情報についての中心位置の情報に対して、まず水平方向に１列に並んだ要素レンズ画像情報に対して、Ｙ座標の平均値を求める。このＹ座標平均値を測定対象複眼レンズ８３０の要素レンズの１行目のＹ座標平均値とし、これと同様な処理を全ての行について行って各行におけるＹ座標平均値を求める。また、垂直方向に１列に並んだ要素レンズ画像情報に対して、Ｘ座標の平均値を求める。そして、このＸ座標平均値を測定対象複眼レンズ８３０の要素レンズの１列目のＸ座標平均値とし、これと同様な処理を全ての列について行って各列におけるＸ座標平均値を求める。
次に、各行におけるＹ座標平均値の標準偏差σ_ｙと各列におけるＸ座標平均値の標準偏差σ_ｘとをそれぞれ求め、垂直方向の中心位置算出許容範囲をＹ座標平均値±標準偏差σ_ｙ、水平方向の中心位置算出許容範囲をＸ座標平均値±標準偏差σ_ｘとする。

このようにして中心位置算出許容範囲を設定するようにすれば、１個の要素レンズに対する中心位置算出許容範囲の決定の依存性を低くすることができる。

また、前述した各実施形態では、撮影系レンズ画質情報演算部５３０および表示系レンズ画質情報演算部５４０が、要素レンズ画像情報から垂直サンプリング画像情報と水平サンプリング画像情報とを生成する例について説明した。サンプリングの方向は、垂直方向および水平方向に限定されることなく、互いに異なる２方向にサンプリングするサンプリング画像情報を用いるようにしてもよい。
また、撮影系レンズ画質情報演算部５３０および表示系レンズ画質情報演算部５４０は、２方向だけでなく３方向以上のサンプリング画像情報を用いて中心位置を検出するようにしてもよい。例えば、第１から第３までの方向それぞれについて６分割したサンプリング画像情報を生成する。そして、これらのサンプリング画像情報を用いて要素レンズ画像情報の中心位置を検出する場合、第１から第３までの各方向のサンプリング画像によって求められた６個の中心位置から、例えば最小二乗和が最も小さくなる近似直線を各方向において求め、これら求めた３つの直線の交点から等しい距離にある点を求めて、この求めた点を要素レンズ画像情報の中心位置として検出する。このとき、一方向の近似直線を求める際に求めた距離が所定の閾値を超える場合のサンプリング画像を除外して再度近似直線を求めるようにすれば、更に測定精度を向上させることができる。

また、前述した各実施形態は、撮影系レンズ画質情報演算部５３０および表示系レンズ画質情報演算部５４０が、垂直方向および水平方向に等間隔に画像を分割してサンプリング画像を生成する例について説明した。これ以外にも、画像領域が重複するようサンプリング画像情報を生成するようにしてもよい。図２６は、要素レンズ画像情報から生成される重複した垂直サンプリング画像情報を模式的に表した図である。同図は、要素レンズ画像情報２６が垂直方向（Ｙ方向）にｎ＝５等分に分割されて画像領域に重なりのある垂直サンプリング画像情報Ｏｌｖ１〜Ｏｌｖ５が生成された状態を示す。

撮影系レンズ位置情報演算部５１０は、図２６のように要素レンズ画像情報２６を垂直方向に画像領域を重複させて５等分に分割し各サンプリング画像の重心座標値を計算する際に、例えば、垂直サンプリング画像情報Ｏｌｖ３と垂直サンプリング画像情報Ｏｌｖ４との両方に物理的エラーが含まれていると推定されても、これら２つのサンプリング画像情報を挟む垂直サンプリング画像情報Ｏｌｖ２と垂直サンプリング画像情報Ｏｌｖ５には物理的エラーが含まれていないと推定された場合、物理的エラーの場所は垂直サンプリング画像情報Ｏｌｖ３と垂直サンプリング画像情報Ｏｌｖ４との重複部分にあると推定できる。なお、重複させる画像領域の枚数は２枚のみならず３枚以上であってもよい。
このようにサンプリング画像の画像領域を重複させることにより、要素レンズ画像の中心部付近における検出精度を向上させることができる。

また、撮影系レンズ位置情報演算部５１０は、要素レンズ画像情報から複数の方向のサンプリング画像情報を生成して要素レンズ画像の中心位置を検出しようとすると、サンプリング画像の数の増加に伴って計算時間や処理負荷が増大する。そこで、撮影系レンズ位置情報演算部５１０は、パターンマッチング等の簡易的な検出方法によって中心位置を検出した後、各要素画像の輝度値の比較を行う。そして、要素画像の輝度値が、これに隣接する要素画像の輝度値の平均値に対して低い場合にのみ、サンプリング画像を生成して詳細な中心位置の検出を行うようにしてもよい。

なお、上述した実施形態である立体画像補正装置の一部の機能をコンピュータで実現するようにしてもよい。この場合、その制御機能を実現するための立体画像補正プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された立体画像補正プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１，１ａ，２ 立体画像撮影表示システム
８，８ａ，８ｂ 補正情報生成システム
１００，１００ｂ 撮影装置
１１０ 撮影系複眼レンズ
１２０ 撮像部
１３０ 撮影系レンズ情報記憶部
２００，２００ａ，２００ｂ 表示出力装置
２１０ 表示部
２２０ 表示系複眼レンズ
２３０ 表示系レンズ情報記憶部
３００，３００ｂ，３００ｃ，３００ｄ，３００ｅ 立体画像補正装置
３１０ 撮影系レンズ位置情報取得部
３２０ 撮影系レンズ画質情報取得部
３３０ 表示系レンズ位置情報取得部
３４０ 表示系レンズ画質情報取得部
３５０，５５０ 位置補正情報生成部
３６０，５８０ 要素画像位置補正部
３７０，５６０，５６０ａ 画質補正情報生成部
３８０，５９０，５９０ａ 要素画像画質補正部
４００ 中継装置
５１０ 撮影系レンズ位置情報演算部
５２０ 表示系レンズ位置情報演算部
５３０ 撮影系レンズ画質情報演算部
５４０ 表示系レンズ画質情報演算部
５７０ 補正情報記憶部
８１０ 光源部
８２０ ディフューザ
８３０ 測定対象複眼レンズ
８４０，８４０ａ，８４０ｂ 撮像装置
８５０，８５０ａ 位置調整装置
８５０ｂ 位置調整装置群
８６０ レーザ光射出部
８６０ｂ レーザ光射出部群
８７０ 支持部
８８０ 姿勢制御記録装置
Ｓ 被写体
ＳＩ 被写体像

Claims (6)

1. 撮影系複眼レンズに含まれる複数の要素レンズそれぞれの位置情報である撮影系レンズ位置情報を取得する撮影系レンズ位置情報取得部と、
   前記複数の要素レンズそれぞれに対応する要素画像の画質に関する情報である撮影系レンズ画質情報を取得する撮影系レンズ画質情報取得部と、
   表示系複眼レンズに含まれる複数の要素レンズそれぞれの位置情報である表示系レンズ位置情報を取得する表示系レンズ位置情報取得部と、
   前記複数の要素レンズそれぞれに対応する要素画像の画質に関する情報である表示系レンズ画質情報を取得する表示系レンズ画質情報取得部と、
   前記撮影系レンズ位置情報取得部が取得した撮影系レンズ位置情報と前記表示系レンズ位置情報取得部が取得した表示系レンズ位置情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対における位置誤差を計算し、この位置誤差に基づいて位置補正量データを生成する位置補正情報生成部と、
   前記位置補正情報生成部が生成した位置補正量データに基づいて、前記表示系複眼レンズの要素レンズの位置を基準に、補正前画像に含まれる要素画像の位置を補正する要素画像位置補正部と、
   前記撮影系レンズ画質情報取得部が取得した撮影系レンズ画質情報と前記表示系レンズ画質情報取得部が取得した表示系レンズ画質情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対それぞれについて要素画像の画質を比較し、その比較結果に基づいて画質補正情報を生成する画質補正情報生成部と、
   前記画質補正情報生成部が生成した画質補正情報に基づいて、前記表示系複眼レンズの要素レンズに対応する要素画像の画質を基準に、前記位置補正した要素画像の画質を補正する要素画像画質補正部と、
   を備えることを特徴とする立体画像補正装置。
2. 撮影系複眼レンズが撮像された撮影系複眼レンズ画像の供給を受けて、その撮影系複眼レンズ画像から要素レンズ画像を抽出して前記要素レンズ画像の中心位置を検出する撮影系レンズ位置情報演算部と、
   前記撮影系レンズ位置情報演算部が抽出した要素レンズ画像から、要素画像の画質に関する情報である撮影系レンズ画質情報を生成する撮影系レンズ画質情報演算部と、
   表示系複眼レンズが撮像された表示系複眼レンズ画像の供給を受けて、その表示系複眼レンズ画像から要素レンズ画像を抽出して前記要素レンズ画像の中心位置を検出する表示系レンズ位置情報演算部と、
   前記表示系レンズ位置情報演算部が抽出した要素レンズ画像から、要素画像の画質に関する情報である表示系レンズ画質情報を生成する表示系レンズ画質情報演算部と、
   前記撮影系レンズ位置情報演算部が検出した要素レンズ画像の中心位置と前記表示系レンズ位置情報演算部が検出した要素レンズ画像の中心位置とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対における位置誤差を計算し、この位置誤差に基づいて位置補正量データを生成する位置補正情報生成部と、
   前記位置補正情報生成部が生成した位置補正量データに基づいて、前記表示系複眼レンズの要素レンズの位置を基準に、補正前画像に含まれる要素画像の位置を補正する要素画像位置補正部と、
   前記撮影系レンズ画質情報演算部が生成した撮影系レンズ画質情報と前記表示系レンズ画質情報演算部が生成した表示系レンズ画質情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対ごとに要素画像の画質を比較し、その比較結果に基づいて画質補正情報を生成する画質補正情報生成部と、
   前記画質補正情報生成部が生成した画質補正情報に基づいて、前記表示系複眼レンズの要素レンズに対応する要素画像の画質を基準に、前記位置補正した要素画像の画質を補正する要素画像画質補正部と、
   を備えることを特徴とする立体画像補正装置。
3. 請求項１または２記載の立体画像補正装置において、
   前記撮影系レンズ画質情報は、前記撮影系複眼レンズに含まれる要素レンズごとの物理的エラーの場所を示す情報を含むとともに、前記表示系レンズ画質情報は、前記表示系複眼レンズに含まれる要素レンズごとの物理的エラーの場所を示す情報を含み、
   前記画質補正情報生成部は、前記撮影系レンズ画質情報と前記表示系レンズ画質情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対それぞれについて要素画像の物理的エラーの場所を比較し、その比較結果に基づいて画質補正情報を生成する
   ことを特徴とする立体画像補正装置。
4. 撮影系複眼レンズが撮像された撮影系複眼レンズ画像の供給を受けて、その撮影系複眼レンズ画像から要素レンズ画像を抽出し、この要素レンズ画像から互いに方向の異なる少なくとも２方向のサンプリング画像を生成し、これらサンプリング画像に基づいて物理的エラーの有無を推定するとともに要素レンズ画像の中心位置を検出する撮影系レンズ位置情報演算部と、
   物理的エラーが有ると前記撮影系レンズ位置情報演算部が判定した場合に、前記生成した各サンプリング画像に基づいて前記物理的エラーの場所を推定し、要素画像の画質に関する情報である撮影系レンズ画質情報を生成する撮影系レンズ画質情報演算部と、
   表示系複眼レンズが撮像された表示系複眼レンズ画像の供給を受けて、その表示系複眼レンズ画像から要素レンズ画像を抽出し、この要素レンズ画像から互いに方向の異なる少なくとも２方向のサンプリング画像を生成し、これらサンプリング画像に基づいて物理的エラーの有無を推定するとともに要素レンズ画像の中心位置を検出する表示系レンズ位置情報演算部と、
   物理的エラーが有ると前記表示系レンズ位置情報演算部が判定した場合に、前記生成した各サンプリング画像に基づいて前記物理的エラーの場所を推定し、要素画像の画質に関する情報である表示系レンズ画質情報を生成する表示系レンズ画質情報演算部と、
   前記撮影系レンズ位置情報演算部が検出した要素レンズ画像の中心位置と前記表示系レンズ位置情報演算部が検出した要素レンズ画像の中心位置とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対における位置誤差を計算し、この位置誤差に基づいて位置補正量データを生成する位置補正情報生成部と、
   前記位置補正情報生成部が生成した位置補正量データに基づいて、前記表示系複眼レンズの要素レンズの位置を基準に、補正前画像に含まれる要素画像の位置を補正する要素画像位置補正部と、
   前記撮影系レンズ画質情報演算部が推定した撮影系レンズ画質情報と前記表示系レンズ画質情報演算部が推定した表示系レンズ画質情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対それぞれについて要素画像の画質を比較し、その比較結果に基づいて画質補正情報を生成する画質補正情報生成部と、
   前記画質補正情報生成部が生成した画質補正情報に基づいて、前記表示系複眼レンズの要素レンズに対応する要素画像の画質を基準に、前記位置補正した要素画像の画質を補正する要素画像画質補正部と、
   を備えることを特徴とする立体画像補正装置。
5. 請求項４記載の立体画像補正装置において、
   前記撮影系レンズ位置情報演算部と前記表示系レンズ位置情報演算部とのそれぞれは、
   物理的エラーが無いと推定されたサンプリング画像のみを用いて要素レンズ画像の中心位置を検出することを特徴とする立体画像補正装置。
6. 撮影系複眼レンズに含まれる複数の要素レンズそれぞれの位置情報である撮影系レンズ位置情報を取得する撮影系レンズ位置情報取得ステップと、
   前記複数の要素レンズそれぞれに対応する要素画像の画質に関する情報である撮影系レンズ画質情報を取得する撮影系レンズ画質情報取得ステップと、
   表示系複眼レンズに含まれる複数の要素レンズそれぞれの位置情報である表示系レンズ位置情報を取得する表示系レンズ位置情報取得ステップと、
   前記複数の要素レンズそれぞれに対応する要素画像の画質に関する情報である表示系レンズ画質情報を取得する表示系レンズ画質情報取得ステップと、
   前記撮影系レンズ位置情報取得ステップにおいて取得した撮影系レンズ位置情報と前記表示系レンズ位置情報取得ステップにおいて取得した表示系レンズ位置情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対における位置誤差を計算し、この位置誤差に基づいて位置補正量データを生成する位置補正情報生成ステップと、
   前記位置補正情報生成ステップにおいて生成した位置補正量データに基づいて、前記表示系複眼レンズの要素レンズの位置を基準に、補正前画像に含まれる要素画像の位置を補正する要素画像位置補正ステップと、
   前記撮影系レンズ画質情報取得ステップにおいて取得した撮影系レンズ画質情報と前記表示系レンズ画質情報取得ステップにおいて取得した表示系レンズ画質情報とに基づいて、前記撮影系複眼レンズと前記表示系複眼レンズとの間で対応する要素レンズの対それぞれについて要素画像の画質を比較し、その比較結果に基づいて画質補正情報を生成する画質補正情報生成ステップと、
   前記画質補正情報生成ステップにおいて生成した画質補正情報に基づいて、前記表示系複眼レンズの要素レンズに対応する要素画像の画質を基準に、前記位置補正した要素画像の画質を補正する要素画像画質補正ステップと、
   を有することを特徴とする立体画像補正方法。

Images