JP2011044828A - 立体画像生成装置、立体画像プリント装置、及び立体画像生成方法 - Google Patents

Abstract

【課題】３Ｄ歪みの少ない良好な立体画像を生成する。
【解決手段】左右のステレオ画像のオクルージョン領域を抽出し、左右視点画像のオクルージョン領域のうち、どちらの画像の領域の方が大きいかを判定する（ステップＳ５、７）。画素数が同じ場合は、左右視点画像に均等に重み付けをして中間視点画像を生成する（ステップＳ６）。左視点画像の方がオクルージョン領域の画素数が多い場合は、右視点画像をベースとして中間画像を生成する（ステップＳ８）。右視点画像の方がオクルージョン領域の画素数が多い場合は、左視点画像をベースとして中間画像を生成する（ステップＳ９）。このように生成された中間視点画像を用いて、立体写真を生成する（ステップＳ１０）。
【選択図】 図１

Description

本発明は立体画像生成装置、立体画像プリント装置、及び立体画像生成方法に係り、特にオクルージョン歪を補正する立体画像生成装置、立体画像プリント装置、及び立体画像生成方法に関する。

複数の撮像手段を備えた複眼撮像装置が知られている。複眼撮像装置は、複数の撮像手段において撮影された画像を合成することで、パノラマ撮影やステレオ撮影のような高機能撮像を実現している。

このような複眼撮像装置において撮影した２視点画像を立体写真にする場合、装置の小型液晶では立体に見えても、プリントして立体写真にするときに、オクルージョン（死角）部分が多いと正しく立体写真を生成することができない。オクルージョン部分は、視差算出ができないために視差調整や視点補完ができず、３Ｄプリントのための画像処理ができないからである。

このような課題に対し、特許文献１には、複眼撮像装置の各々の撮像系から出力される画像の合成処理を行う際に、オクルージョン部を検出し、仮想的に設定した投影面に、オクルージョン部に対応する画像信号を投影する技術が記載されている。これによれば、オクルージョン領域の画像を考慮した画像を得ることができる。

特開平７−１５６７４号公報

しかしながら、特許文献１の技術には、オクルージョン部を仮想投影面にそのまま投影するため、合成画像とのズレが発生するという欠点があった。

本発明はこのような事情に鑑みてなされたもので、３Ｄ歪の少ない良好な立体画像を生成する立体画像生成装置、立体画像プリント装置、及び立体画像生成方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の立体画像生成装置は、視差のある左視点画像及び右視点画像を入力する入力手段と、前記左視点画像から前記右視点画像に対応点がない第１のオクルージョン領域を抽出する第１の抽出手段と、前記右視点画像から前記左視点画像に対応点がない第２のオクルージョン領域を抽出する第２の抽出手段と、前記第１のオクルージョン領域の面積と第２のオクルージョン領域の面積とを比較し、面積が小さい方のオクルージョン領域を有する視点画像をベース画像に設定する設定手段と、前記ベース画像に基づいて、立体視用の中間視点画像を生成する中間視点画像生成手段と、前記中間視点画像に基づいて、立体画像を生成する立体画像生成手段とを備えたことを特徴とする。

請求項１に記載の発明によれば、左視点画像と右視点画像のうち、オクルージョン領域の面積が小さい方の視点画像をベース画像として立体視用の中間視点画像を生成するようにしたので、画像内のオクルージョンが少なくなり、３Ｄ歪の少ない良好な立体画像を生成することができる。

請求項２に示すように請求項１に記載の立体画像生成装置において、前記設定手段は、前記第１のオクルージョン領域の面積と前記第２のオクルージョン領域の面積との差が所定値以下である場合には左視点画像及び右視点画像をベース画像に設定し、前記中間視点画像生成手段は、左視点画像及び右視点画像を均等に重み付けして中間視点画像を生成することを特徴とする。

これにより、左視点画像と右視点画像のうち、オクルージョン領域の面積が同程度である場合には通常の中間視点画像を生成するので、自然な視差の立体画像を得ることができる。

前記目的を達成するために請求項３に記載の立体画像生成装置は、視差のある左視点画像及び右視点画像を入力する入力手段と、前記左視点画像から前記右視点画像に対応点がない第１のオクルージョン領域を抽出する第１の抽出手段と、前記右視点画像から前記左視点画像に対応点がない第２のオクルージョン領域を抽出する第２の抽出手段と、前記第１のオクルージョン領域の面積と第２のオクルージョン領域の面積とに応じた中間視点画像を生成する中間視点画像生成手段と、前記中間視点画像に基づいて、立体画像を生成する立体画像生成手段とを備えたことを特徴とする。

請求項３に記載の発明によれば、左視点画像と右視点画像のオクルージョン領域の面積に応じて中間視点画像を生成するようにしたので、画像内のオクルージョンが多い場合にはオクルージョンが目立たなくなるような中間視点画像を生成することができ、３Ｄ歪の少ない良好な立体画像を生成することができる。

請求項４に示すように請求項３に記載の立体画像生成装置において、前記中間視点画像生成手段は、前記第１のオクルージョン領域の面積と前記第２のオクルージョン領域の面積とが大きいほど視差の小さい中間視点画像を生成することを特徴とする。

これにより、画像内のオクルージョンが多い場合には、視差を少なくしてオクルージョンを減らすことができる。

請求項５に示すように請求項３又は４に記載の立体画像生成装置において、前記中間視点画像生成手段は、前記第１のオクルージョン領域の面積と前記第２のオクルージョン領域の面積とが大きいほど彩度、コントラスト、シャープネスのうち少なくとも１つを下げる画像処理を行い中間視点画像を生成することを特徴とする。

これにより、画像内のオクルージョンが多い場合には、彩度、コントラスト、シャープネスの少なくとも１つを下げることにより、オクルージョンを目立たなくすることができる。

請求項６に示すように請求項３から５のいずれかに記載の立体画像生成装置において、前記中間視点画像生成手段は、前記第１のオクルージョン領域の面積と前記第２のオクルージョン領域の面積とが大きいほどハイライト部の階調を軟調にする画像処理を行い中間視点画像を生成することを特徴とする。

これにより、画像内のオクルージョンが多い場合には、ハイライト部の階調を軟調にすることにより、オクルージョンを目立たなくすることができる。

請求項７に示すように請求項５又は６に記載の立体画像生成装置において、前記中間視点画像生成手段は、前記第１のオクルージョン領域と前記第２のオクルージョン領域とについて、前記画像処理を行うことを特徴とする。

これにより、オクルージョン領域について画像処理を行うことにより、オクルージョンを目立たなくすることができる。

請求項８に示すように請求項１から７のいずれかに記載の立体画像生成装置において、前記第１の抽出手段及び前記第２の抽出手段は、それぞれ左視点画像及び右視点画像の全画素の対応点を探索することにより画像全体からオクルージョン領域を抽出することを特徴とする。

これにより、適切にオクルージョン領域を抽出することができる。

請求項９に示すように請求項１から８のいずれかに記載の立体画像生成装置を用いた立体画像プリント装置において、生成した立体画像をプリントするプリント手段を備えたことを特徴とする。

これにより、立体画像をプリントすることができる。

前記目的を達成するために請求項１０に記載の立体画像生成方法は、視差のある左視点画像及び右視点画像を入力する入力工程と、前記左視点画像から前記右視点画像に対応点がない第１のオクルージョン領域を抽出する第１の抽出工程と、前記右視点画像から前記左視点画像に対応点がない第２のオクルージョン領域を抽出する第２の抽出工程と、前記第１のオクルージョン領域の面積と第２のオクルージョン領域の面積とを比較し、面積が小さい方のオクルージョン領域を有する視点画像をベース画像に設定する設定工程と、前記ベース画像に基づいて、立体視用の中間視点画像を生成する中間視点画像生成工程と、前記中間視点画像に基づいて、立体画像を生成する立体画像生成工程とを備えたことを特徴とする。

前記目的を達成するために請求項１１に記載の立体画像生成方法は、視差のある左視点画像及び右視点画像を入力する入力工程と、前記左視点画像から前記右視点画像に対応点がない第１のオクルージョン領域を抽出する第１の抽出工程と、前記右視点画像から前記左視点画像に対応点がない第２のオクルージョン領域を抽出する第２の抽出工程と、前記第１のオクルージョン領域の面積と第２のオクルージョン領域の面積に応じた中間視点画像を生成する中間視点画像生成工程と、前記中間視点画像に基づいて、立体画像を生成する立体画像生成工程とを備えたことを特徴とする。

本発明によれば、３Ｄ歪の少ない良好な立体画像を生成することができる。

画像処理を示すフローチャート 左視点画像及び右視点画像の一例を示す図 左視点画像及び右視点画像から生成された中間視点画像を示す図 画像処理を示すフローチャート 左視点画像、右視点画像、及び中間視点画像の各視点を示す図 左視点画像、右視点画像、及び中間視点画像の各視点を示す図 左視点画像、右視点画像、及び中間視点画像の各視点を示す図 画像処理を示すフローチャート ３Ｄプリント装置の電気的構成を示す図

以下、添付図面に従って本発明を実施するための形態について説明する。

＜第１の実施形態＞
本実施形態の画像処理は、左右のステレオ画像から複数視点を持つ立体画像を生成するものである。例えば３視点のレンチキュラープリント用の画像を生成する場合、通常は左視点画像と右視点画像からちょうど中間の視点に相当する中間視点画像を生成し、これら３視点画像を合成して立体写真を生成している。本実施形態では、立体画像の基となる３視点画像を、左右のステレオ画像のオクルージョン領域の大きさに応じて生成する。

図１は、本実施形態の画像処理を示すフローチャートである。

最初に、左右２枚のステレオ画像が入力され、画像処理を開始する（ステップＳ１）。図２（ａ）は入力された左視点画像１０１Ｌ、図２（ｂ）は入力された右視点画像１０１Ｒの一例を示す図である。まず、これらの左右の視点画像から被写体が共通する領域（オーバーラップ領域）１０２Ｌ及び１０２Ｒを抽出し、画像処理に用いる左視点画像１０２Ｌ及び右視点画像１０２Ｒとする。

次に、左右視点画像について、他方の画像における対応点をそれぞれ探索する（ステップＳ２）。即ち、左視点画像１０２Ｌの各画素について、右視点画像１０２Ｒにおける被写体が対応する画素（対応点）を探索し、右視点画像１０２Ｒの各画素について、左視点画像１０２Ｌにおける被写体が対応する画素を探索する。この対応点の探索は、公知の技術を用いて行なえばよい。

この対応点の探索を、左右画像の全画素について行う（ステップＳ３）。

全画素の探索が終了したら、対応点の探索結果からオクルージョン領域を判別する（ステップＳ４）。オクルージョン領域とは、画像中の各画素のうち、他方の画像中に対応点が存在しない画素からなる領域をいう。したがって、ステップＳ２の対応点の探索結果から、左右画像それぞれのオクルージョン領域を抽出することができる。図２（ａ）の１０３Ｌ、図２（ｂ）の１０３Ｒは、抽出されたオクルージョン領域を示している。

次に、左視点画像１０２Ｌのオクルージョン領域１０３Ｌの画素数と、右視点画像１０２Ｒのオクルージョン領域１０３Ｒの画素数とを比較し、画素数が同じか否かを判定する（ステップＳ５）。

画素数が同じ場合は、左右視点画像に均等に重み付けをして中間視点画像を生成する（ステップＳ６）。画素数が同じでない場合であっても、画素数の差が所定の閾値以下の場合や、左右画像にオクルージョン領域がほとんど存在しない場合においても、左右視点画像に均等に重み付けをして中間視点画像を生成するようにしてもよい。図３（ｄ）は、図３（ａ）に示す左視点画像１０２Ｌ及び図３（ｂ）に示す右視点画像１０２Ｒに均等に重み付けをして生成した、中間視点画像１０４Ｍを示している。

この場合は、左視点画像１０２Ｌ、右視点画像１０２Ｒ、及び中間視点画像１０４Ｍの３視点画像を合成して、立体写真を生成する（ステップＳ１０）。

ステップＳ５において、画素数が異なると判断された場合は、右視点画像１０２Ｒよりも左視点画像１０２Ｌの方がオクルージョン領域の画素数が多いか否かを判定する。

左視点画像１０２Ｌの方がオクルージョン領域の画素数が多い場合は、右視点画像１０２Ｒをベースとして中間画像を生成する（ステップＳ８）。図３（ｅ）は、左視点画像１０２Ｌよりも右視点画像１０２Ｒに重みを付けて生成された中間視点画像１０４Ｒを示している。

この場合は、中間視点画像１０４Ｍ、中間視点画像１０４Ｒ、及び右視点画像１０２Ｒの３視点画像を合成して、立体写真を生成する（ステップＳ１０）。このように、オクルージョン領域が大きい左視点画像１０２Ｌを使用せずに、立体写真を生成する。

さらに、ステップＳ７において左視点画像１０２Ｌよりも右視点画像１０２Ｒの方がオクルージョン領域の画素数が多いと判断された場合は、左視点画像１０２Ｌをベースとして中間画像を生成する（ステップＳ９）。図３（ｃ）は、右視点画像１０２Ｒよりも左視点画像１０２Ｌに重みを付けて生成された中間視点画像１０４Ｌを示している。

この場合は、左視点画像１０２Ｌ、中間視点画像１０４Ｌ、及び中間視点画像１０４Ｍの３視点画像を合成して、立体写真を生成する（ステップＳ１０）。即ち、オクルージョン領域が大きい右視点画像１０２Ｒを使用せずに立体写真を生成する。

このように、立体写真用に多視点化する際に、多視点化に不可欠な対応点情報を利用してオクルージョン部分を判別し、よりオクルージョンの少ない画像をベースに多視点化する事で、３Ｄ歪の少ない良好な立体写真を生成することが可能になる。

＜第２の実施形態＞
図４は、第２の実施形態の画像処理を示すフローチャートである。第２の実施形態の画像処理は、左右画像におけるオクルージョン領域が画像内に占める割合に応じて、中間視点画像を生成する。

入力された左右の視点画像から、それぞれのオクルージョン領域を抽出するところまでは、第１の実施形態と同様である（ステップＳ１〜Ｓ４）。

次に、左視点画像１０２Ｌのオクルージョン領域１０３Ｌの画素数と、右視点画像１０２Ｒのオクルージョン領域１０３Ｒの画素数とに基づいて、オクルージョン領域が画像内に占める割合が、左右視点画像の平均で５％以下であるか否かを判定する（ステップＳ１１）。

５％以下である場合は、オクルージョン領域が少ないために立体視への影響が少ないと判断し、左視点画像１０２Ｌ及び右視点画像１０２Ｒに基づいて、１枚の中間視点画像１０５を生成する（ステップＳ１２）。図５は、左視点画像１０２Ｌ、右視点画像１０２Ｒ、及び中間視点画像１０５の各視点を示す図である。同図に示すように、中間視点画像１０５は、左視点画像１０２Ｌの視点と右視点画像１０２Ｒの視点との差の中央の視点を有している。（即ち、第１の実施形態の中間視点画像１０４Ｍと同様の画像となる。）
この場合は、この左視点画像１０２Ｌ、右視点画像１０２Ｒ、及び中間視点画像１０５の３視点画像を合成して、立体写真を生成する（ステップＳ１６）。

ステップＳ１１において５％以上と判断された場合は、オクルージョン領域が画像内に占める割合が、左右視点画像の平均で１０％以下であるか否かを判定する（ステップＳ１３）。

１０％以下である場合は、左視点画像１０２Ｌ及び右視点画像１０２Ｒに基づいて、５枚の中間視点画像１０６−１〜１０６−５を生成する（ステップＳ１４）。図６は、左視点画像１０２Ｌ、右視点画像１０２Ｒ、及び中間視点画像１０６−１〜１０６−５の各視点を示す図である。同図に示すように、中間視点画像１０６−１〜１０６−５の各視点は、それぞれ左視点画像１０２Ｌの視点と右視点画像１０２Ｒの視点との差分を６つに等分する視点となっている。

この場合は、これら５枚の中間視点画像のうち、中央付近の視点を持つ３枚の中間視点画像１０６−２、１０６−３、１０６−４の３視点画像を合成して、立体写真を生成する（ステップＳ１６）。

また、ステップＳ１３において１０％以上と判断された場合は、左視点画像１０２Ｌ及び右視点画像１０２Ｒに基づいて、１０枚の中間視点画像１０７−１〜１０７−１０を生成する（ステップＳ１５）。図７は、左視点画像１０２Ｌ、右視点画像１０２Ｒ、及び中間視点画像１０７−１〜１０７−１０の各視点を示す図である。同図に示すように、中間視点画像１０７−１〜１０７−１０の各視点は、それぞれ左視点画像１０２Ｌの視点と右視点画像１０２Ｒの視点との差分を１１等分する視点となっている。

この場合は、これら１０枚の中間視点画像のうち、中央付近の視点を持つ３枚の中間視点画像１０７−４、１０７−５、１０７−６の３視点画像を合成して、立体写真を生成する（ステップＳ１６）。

このように、立体写真用に多視点化する際に、多視点化に不可欠な対応点情報を利用してオクルージョン部分を判別し、オクルージョン部分が多いほど中央の視点に近い視点画像をベースに多視点化する事で、３Ｄ歪の少ない良好な立体写真を生成することが可能になる。

なお、本実施形態では、オクルージョン領域が占める割合の５％と１０％を閾値としているが、この値に限定されるものではなく、最終的にプリントを行うレンチキュラーシートが有するレンチキュラーレンズの光学特性に応じて適宜決めればよい。また、生成する中間視点画像の数も同様に適宜決定すればよい。

＜第３の実施形態＞
図８は、第３の実施形態の画像処理を示すフローチャートである。第３の実施形態の画像処理は、左右画像におけるオクルージョン領域が画像内に占める割合に応じて、彩度やコントラストの処理の程度を変更する。

入力された左右の視点画像から、それぞれのオクルージョン領域を抽出するところまでは、第１の実施形態と同様である（ステップＳ１〜Ｓ４）。

次に、左視点画像１０２Ｌのオクルージョン領域１０３Ｌの画素数と、右視点画像１０２Ｒのオクルージョン領域１０３Ｒの画素数とに基づいて、オクルージョン領域が画像内に占める割合が、左右視点画像の平均で５％以下であるか否かを判定する（ステップＳ２１）。

５％以下である場合は、オクルージョン領域が少ないために立体視への影響が少ないと判断し、左視点画像１０２Ｌ及び右視点画像１０２Ｒの原画像のまま、これら２視点画像を合成して、立体写真を生成する（ステップＳ２６）。

ステップＳ２１において５％以上と判断された場合は、続いてオクルージョン領域が画像内に占める割合が、左右視点画像の平均で１０％以下であるか否かを判定する（ステップＳ２３）。

１０％以下である場合は、左視点画像１０２Ｌ及び右視点画像１０２Ｒの彩度とコントラストを２％落とすように画像処理を行い（ステップＳ２４）、この２視点画像を合成して、立体写真を生成する（ステップＳ２６）。

また、ステップＳ２３において１０％以上と判断された場合は、左視点画像１０２Ｌ及び右視点画像１０２Ｒの彩度とコントラストを４％落とすように画像処理を行い（ステップＳ２５）、この２視点画像を合成して、立体写真を生成する（ステップＳ２６）。

立体写真は、視差部分の彩度、コントラストが高いと立体感が強調されるため、彩度、コントラストが低いと同じ視差でも立体感が少なくなる。また、オクルージョン部分に発生する３Ｄ歪もコントラストが高いとより強調され、コントラストが低いとあまり目立たない。したがって、本実施形態のように、オクルージョン領域が多い画像ほど彩度、コントラストを落とすことで３Ｄ歪を目立たなくする事が可能になる。

なお、本実施形態では、オクルージョン領域が占める割合の５％と１０％を閾値としているが、この値に限定されるものではなく、最終的にプリントを行うレンチキュラーシートが有するレンチキュラーレンズの光学特性に応じて適宜決めればよい。また、彩度やコントラストを落とす程度についても同様に適宜決定すればよい。

本実施形態では、彩度とコントラストを変更する例について説明しているが、この他に、シャープネス処理の程度を変更する処理も有効である。この場合は、オクルージョン領域が多いほどシャープネスを落とすことで、３Ｄ歪を目立たなくすることができる。

また、オクルージョン領域が占める割合に応じて階調特性を変更してもよい。この場合は、オクルージョン領域が多いほどハイライト部の階調を軟調にすることで、３Ｄ歪を目立たなくすることができる。

さらに、オクルージョン領域が占める割合に応じて、これらの彩度、コントラスト、シャープネス、階調特性の変更を組み合わせて画像処理してもよい。また、これらの程度を変更する画像処理を、オクルージョン部分に限定して行なってもよい。

＜画像処理装置の構成＞
次に、前述した３Ｄ歪を補正する画像処理装置の具体的な適用例としての３Ｄプリント装置１０について説明する。

図９は、本発明の一実施形態に係る３Ｄプリント装置１０の電気的構成を示す図である。同図に示すように、３Ｄプリント装置１０は、複眼撮像部１１、画像入力コントローラ１５、ＣＰＵ１６、操作部１７、バス１８、メモリ制御部１９、メモリ２０、デジタル信号処理部２１、圧縮伸張処理部２２、記録媒体制御部２３、記録媒体２４、表示制御部２５、表示部２６、プリント制御部２７、及びプリント部２８等から構成される。

各部はＣＰＵ１６に制御されて動作し、ＣＰＵ１６は、操作部１７からの入力に基づき所定の制御プログラムを実行することにより、３Ｄプリント装置１０の各部を制御する。また、ＣＰＵ１６は、前述した対応点探索やオクルージョン領域の抽出等を行う。操作部１７は、ユーザが３Ｄプリント装置１０に各種の指令を入力するための操作部材であり、シャッターボタン、モード切換スイッチ等から構成される。

複眼撮像部１１は、右撮像部１１Ｒ及び左撮像部１１Ｌから構成されており、それぞれ撮像レンズ１２Ｒ、１２Ｌ、及び撮像素子１３Ｒ、１３Ｌから構成される。

撮像レンズ１２は、ズームレンズ、フォーカスレンズを含み、各レンズ駆動部に駆動されて、ズーミング、フォーカシングを行う。

撮像素子１３は、撮像レンズ１２の後段に配置されており、レンズ１２を透過した被写体光を受光する。撮像素子１３の受光面には多数の受光素子が二次元的に配列されており、各受光素子に対応して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。受光面上に結像された被写体光は、各受光素子によって電気信号に変換され、蓄積される。

各受光素子に蓄積された電気信号は、垂直転送路に読み出される。垂直転送路は、この信号をタイミングジェネレータから供給されるクロックに同期して、１ラインずつ水平転送路に転送する。さらに水平転送路は、垂直転送路から転送された１ライン分の信号を、タイミングジェネレータから供給されるクロックに同期して信号処理部１４へ出力する。

信号処理部１４Ｒ及び１４Ｌには、それぞれ撮像部１１Ｒ及び１１Ｌから出力される画像信号が入力される。信号処理部１４は、画像信号に含まれるリセットノイズを除去するための相関２重サンプリング回路と、設定された撮影感度（ＩＳＯ感度）に応じた所定のゲインで画像信号をアナログ的に増幅するための可変ゲインアンプ回路とを含み、撮像素子１３から出力された画像信号のリセットノイズを除去して増幅する。さらに、信号処理部１４はＡ／Ｄ変換器を備えており、所要の信号処理が施されたアナログの画像信号は、Ａ／Ｄ変換部において所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるＲＡＷデータであり、画素毎にＲ、Ｇ、Ｂの濃度を示す階調値を有している。

信号処理部１４Ｒ及び１４Ｌから出力されたＲＡＷデータは、画像入力コントローラ１５に入力される。画像入力コントローラ１５は、所定容量のラインバッファを内蔵しており、信号処理部１４から出力された画像信号を蓄積する。これらの画像信号は、バス１８、メモリ制御部１９を介してメモリ２０に格納される。

デジタル信号処理部２１は、ＡＷＢゲイン算出部、ＡＷＢ処理部、光源推定部、ＲＧＢ／ＹＣ変換部、コントラスト補正部、彩度補正部等を含んで構成されており、メモリ２０に格納されたＲ、Ｇ、ＢのＲＡＷデータを読み出し、これらに光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うとともに、ガンマ（階調特性）処理及びシャープネス処理を行ってＲ、Ｇ、Ｂ信号を生成し、更にＹＣ信号処理して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）を生成し、そのＹＣ信号を再びメモリ２０に格納する。また、コントラスト補正部、彩度補正部は、必要に応じてＹＣ信号を処理することにより画像のコントラストや彩度の補正を行う。

圧縮伸張処理部２２は、ＣＰＵ１６からの圧縮指令に従い、入力されたＹＣ信号に所定形式（たとえば、ＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１６からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。

記録媒体制御部２３は、ＣＰＵ１６からの指令に従い、記録媒体２４に対してデータの読み／書きを制御する。前述の３Ｄ歪を補正して生成された立体写真データも、記録媒体２４に記録される。なお、記録媒体２４は、メモリカードのようにカメラ本体に対して着脱自在なものでもよいし、また、カメラ本体に内蔵されたものでもよい。着脱自在とする場合は、カメラ本体にカードスロットを設け、このカードスロットに装填して使用する。

表示制御部２５は、ＣＰＵ１６からの指令に従い、表示部２６への表示を制御する。表示部２６は、撮像部１１Ｒ及び１１Ｌにおいて撮影された画像信号に基づいた立体画像を表示することが可能なパララックスバリア方式やレンチキュラーレンズ方式の３Ｄモニタである。さらに、記録媒体２４に記録された撮影済み画像を、圧縮伸張処理部２２による伸張処理後に表示することも可能である。

プリント制御部２７は、ＣＰＵ１６からの指令に従い、プリント部２８へのプリント出力を制御する。プリント部２８は、レンチキュラーシートに立体写真プリントを行うプリンタであり、プリント制御部２７を介して入力された多視点画像の立体写真プリントを行う。

以上のように構成することで、図１、図４、及び図８に示すフローチャートを実行可能な画像処理装置を実現することができる。

なお、上記の３Ｄプリント装置１０は撮像部及びプリント部を備えているが、本発明に係る画像処理装置はこれらを必ずしも備えている必要は無く、ステレオ撮影された画像が入力される入力部と、３Ｄ歪を補正した立体画像を出力する出力部とを備えていればよい。

１０…３Ｄプリント装置、１１…複眼撮像部、１２…撮像レンズ、１３…撮像素子、１６…ＣＰＵ、２７…プリント制御部、２８…プリント部、１０２Ｌ…左視点画像、１０２Ｒ…右視点画像、１０３…オクルージョン領域、１０４、１０５、１０６、１０７…中間視点画像

Claims (11)

1. 視差のある左視点画像及び右視点画像を入力する入力手段と、
   前記左視点画像から前記右視点画像に対応点がない第１のオクルージョン領域を抽出する第１の抽出手段と、
   前記右視点画像から前記左視点画像に対応点がない第２のオクルージョン領域を抽出する第２の抽出手段と、
   前記第１のオクルージョン領域の面積と第２のオクルージョン領域の面積とを比較し、面積が小さい方のオクルージョン領域を有する視点画像をベース画像に設定する設定手段と、
   前記ベース画像に基づいて、立体視用の中間視点画像を生成する中間視点画像生成手段と、
   前記中間視点画像に基づいて、立体画像を生成する立体画像生成手段と、
   を備えたことを特徴とする立体画像生成装置。
2. 前記設定手段は、前記第１のオクルージョン領域の面積と前記第２のオクルージョン領域の面積との差が所定値以下である場合には左視点画像及び右視点画像をベース画像に設定し、
   前記中間視点画像生成手段は、左視点画像及び右視点画像を均等に重み付けして中間視点画像を生成することを特徴とする請求項１に記載の立体画像生成装置。
3. 視差のある左視点画像及び右視点画像を入力する入力手段と、
   前記左視点画像から前記右視点画像に対応点がない第１のオクルージョン領域を抽出する第１の抽出手段と、
   前記右視点画像から前記左視点画像に対応点がない第２のオクルージョン領域を抽出する第２の抽出手段と、
   前記第１のオクルージョン領域の面積と第２のオクルージョン領域の面積とに応じた中間視点画像を生成する中間視点画像生成手段と、
   前記中間視点画像に基づいて、立体画像を生成する立体画像生成手段と、
   を備えたことを特徴とする立体画像生成装置。
4. 前記中間視点画像生成手段は、前記第１のオクルージョン領域の面積と前記第２のオクルージョン領域の面積とが大きいほど視差の小さい中間視点画像を生成することを特徴とする請求項３に記載の立体画像生成装置。
5. 前記中間視点画像生成手段は、前記第１のオクルージョン領域の面積と前記第２のオクルージョン領域の面積とが大きいほど彩度、コントラスト、シャープネスのうち少なくとも１つを下げる画像処理を行って中間視点画像を生成することを特徴とする請求項３又は４に記載の立体画像生成装置。
6. 前記中間視点画像生成手段は、前記第１のオクルージョン領域の面積と前記第２のオクルージョン領域の面積とが大きいほどハイライト部の階調を軟調にする画像処理を行って中間視点画像を生成することを特徴とする請求項３から５のいずれかに記載の立体画像生成装置。
7. 前記中間視点画像生成手段は、前記第１のオクルージョン領域と前記第２のオクルージョン領域とについて、前記画像処理を行うことを特徴とする請求項５又は６に記載の立体画像生成装置。
8. 前記第１の抽出手段及び前記第２の抽出手段は、それぞれ左視点画像及び右視点画像の全画素の対応点を探索することにより画像全体からオクルージョン領域を抽出することを特徴とする請求項１から７のいずれかに記載の立体画像生成装置。
9. 請求項１から８のいずれかに記載の立体画像生成装置を用いた立体画像プリント装置において、
   生成した立体画像をプリントするプリント手段を備えたことを特徴とする立体画像プリント装置。
10. 視差のある左視点画像及び右視点画像を入力する入力工程と、
    前記左視点画像から前記右視点画像に対応点がない第１のオクルージョン領域を抽出する第１の抽出工程と、
    前記右視点画像から前記左視点画像に対応点がない第２のオクルージョン領域を抽出する第２の抽出工程と、
    前記第１のオクルージョン領域の面積と第２のオクルージョン領域の面積とを比較し、面積が小さい方のオクルージョン領域を有する視点画像をベース画像に設定する設定工程と、
    前記ベース画像に基づいて、立体視用の中間視点画像を生成する中間視点画像生成工程と、
    前記中間視点画像に基づいて、立体画像を生成する立体画像生成工程と、
    を備えたことを特徴とする立体画像生成方法。
11. 視差のある左視点画像及び右視点画像を入力する入力工程と、
    前記左視点画像から前記右視点画像に対応点がない第１のオクルージョン領域を抽出する第１の抽出工程と、
    前記右視点画像から前記左視点画像に対応点がない第２のオクルージョン領域を抽出する第２の抽出工程と、
    前記第１のオクルージョン領域の面積と第２のオクルージョン領域の面積に応じた中間視点画像を生成する中間視点画像生成工程と、
    前記中間視点画像に基づいて、立体画像を生成する立体画像生成工程と、
    を備えたことを特徴とする立体画像生成方法。

Images