JP5540942B2 - 処理装置 - Google Patents

Description

本発明は、立体画像用の視差画像を生成する処理装置に関する。

互いに視差を有する左眼用の画像（以下、左眼画像）と右眼用の画像（以下、右眼画像）とからなる視差画像を用いて、立体画像を生成する方法が知られている。特許文献１〜４には、視差画像に関連した記載がある。

視差画像生成方法のひとつとして、視差を有する二系統の撮像手段、たとえば視差を設けて設定された２つのデジタルスチルカメラや二眼のデジタルスチルカメラにより、同じ被写体の左眼画像と右眼画像を別々に撮像する方法が提案されている。また、ほかの方法として、単眼のデジタルスチルカメラによる撮像画像から、画像処理により視差画像を生成する方法が提案されている。この方法では、たとえば、単眼の撮像手段によりまず左眼画像の撮像を行い、左眼画像から抽出した被写体画像を視差量だけシフトさせることで、右眼画像が生成される。

特開平５−７３７３号公報 特開平９−１１６９３２号公報 特開２００２−１２５２４６号公報 特開２００７−１２９４３６号公報

単眼の撮像手段を用いる方法は、簡易かつ小型な構成で実現できる一方、次のような工数、手順が必要となる。たとえば、撮像部からの距離が異なる複数の被写体を撮像する場合に、それぞれの被写体に対する視差量を求めるためには、各被写体の距離情報が必要となる。そこで、測距手段を設ける代わりに、合焦被写体距離を変化させながら複数の画像の撮像が行われる。そして、それぞれの撮像画像データから合焦した被写体画像データを抽出することにより、抽出した被写体画像データと撮像時の合焦被写体距離が対応付けられる。そして、抽出した被写体画像データをそれぞれの合焦被写体距離に応じた視差量だけシフトさせて合成することで、右眼画像データが生成される。

このような方法では、必然的にある程度の撮像工数が必要になる。よって、スループット低下を防止するために、効率的な撮像動作が求められる。また、抽出した被写体画像データをシフトさせて合成する際に、被写体の自然な明暗や遠近感を再現できるような画像処理が求められる。

そこで、本発明の目的は、単眼式の撮像手段により撮像を行う場合に、スループットを向上させ、自然な立体画像の生成を可能にする処理装置を提供することにある。

上記の目的を達成するために、本発明の第１の側面によれば、合焦被写体距離を変化させて撮像を行う撮像部に、第１の合焦被写体距離のときには第１の変化幅で前記合焦被写体距離を変化させ、前記第１の合焦被写体距離より小さい第２の合焦被写体距離のときには前記第１の変化幅より小さい第２の変化幅で前記合焦被写体距離を変化させる撮像制御部と、前記合焦被写体距離ごとの撮像画像データから、合焦された被写体画像データを抽出し、前記抽出された被写体画像データをそれぞれの前記合焦被写体距離に対応する視差量だけシフトさせて合成した画像データを生成する画像処理部とを有する処理装置が提供される。

上記第１の側面によれば、単眼式の撮像手段により視差画像を生成する場合に、スループットを向上させ、自然な立体画像の生成が可能となる。

本実施形態の処理装置が適用される、撮像装置の構成を説明する図である。 撮像制御部４１と画像処理部４２の基本的な動作について説明する図である。 撮像装置２の動作手順を説明するフローチャート図である。 撮像動作の第１の制御モードについて説明する図である。 合焦被写体距離の変化幅と視差の関係を説明する図である。 撮像動作の第２の制御モードについて説明する図である。 第２の制御モードの対比例を説明する図である。 合焦被写体画像データの変形処理について説明する図である。 図８の例における被写体の位置を示す平面図である。 第１の輝度補正処理について説明する図である。 第２の輝度補正処理について説明する図である。 第２の輝度補正処理の手順を示すフローチャート図である。 輝度補正用のマップデータの一例を説明する図である。 ぼかし処理について説明する図である。 補完処理について説明する図である。 補完処理の手順を説明するフローチャート図である。 補完処理の変形例について説明する図である。

以下、図面にしたがって本発明の実施の形態について説明する。但し、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。

図１は、本実施形態の処理装置が適用される、撮像装置の構成を説明する図である。この撮像装置２は、たとえば単眼のデジタルスチルカメラである。撮像装置２では、処理装置４の撮像制御部４１が、撮像部７に合焦被写体距離を変化させて被写体Ｏｂの撮像を行わせる。そして、画像処理部４２が、合焦被写体距離ごとの撮像画像データに対し画像処理を行い、視差画像データ（左眼画像データと右眼画像データ）を生成する。

撮像部７は、単眼のレンズ部６と撮像素子８とを有する。被写体Ｏｂからの光は、レンズ部６を通して撮像素子８に被写体象として結像する。レンズ部６は、たとえば複数の単焦点レンズを組み合わせたズームレンズを有し、合焦被写体距離が変更可能に構成される。撮像素子８は、たとえばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサで構成され、受光した光をアナログ電気信号に変換する。

アナログ・デジタル変換器１０は、撮像素子８から出力されるアナログ電気信号をデジタル信号に変換する。画像メモリ１２は、アナログ・デジタル変換器１０から出力されるデジタル信号を撮像画像データとして格納する。撮像画像データは、処理装置４に読み込まれて画像処理部４２により処理され、視差画像データが生成される。生成された視差画像データは、画像メモリ１２に格納され、表示装置１６や記憶装置１４に転送される。表示装置１６は、たとえば左右の眼の視差に対応する偏光フィルタを備えたＬＣＤ（Liquid Crystal Display）で構成され、視差画像データに基づいて立体画像を表示する。記憶装置１４は、ＩＣメモリ、ＳＤカード、メモリスティック、ハードディスク、フロッピー（登録商標）ディスクなどの記憶メディアへの視差画像データの書込みや読出しを行う。

処理装置４は、たとえばマイクロコンピュータやＡＳＩＣ（Application Specific Integrated Circuit）により構成される。処理装置４は、撮像部７、ＡＤ変換器１０、画像メモリ１２、記憶装置１４、及び表示装置１６等の同期制御を行うことで、撮像装置２の動作を統合的に制御する。ここで、撮像制御部４１が、合焦被写体距離の変化幅を示す制御信号を撮像部７のレンズ部６に出力する。これにより、撮像部７が撮像を行うときの合焦被写体距離が制御される。また、処理装置４では、画像制御部４２が、撮像画像データに対しホワイトバランス、ガンマ補正、ノイズフィルタなどの画像フィルタ、画像圧縮復元などの処理を行う。さらに、後に詳述するように、第１の画像処理部４２ａが撮像画像データから合焦被写体画像データを抽出し、第２の画像処理部４２ｂが合焦被写体画像データから視差画像データを生成する。

本実施形態は、撮像制御部４１による撮像部７の撮像動作の制御と、第１の画像処理部４２ａと第２の画像処理部４２ｂによる画像処理に関する。

図２は、撮像制御部４１と画像処理部４２の基本的な動作について説明する図である。図２には、レンズ部６の正面を左眼の方向として撮像を行い、撮像画像データから視差画像データを生成する例が示される。ここで、視差画像データは、左眼画像データと、仮想の右眼における視差を有する右眼画像データとからなる。

まず、図２（Ａ）に示すように、撮像制御部７の制御のもと、レンズ部６の合焦被写体距離を変化させながら、複数の合焦被写体距離Ｄ１〜３で撮像が行われる。そして、画像処理部４２の第１の画像処理部４２ａは、合焦被写体距離Ｄ１〜３ごとに得られる撮像画像データＰ１〜３から、合焦された被写体部（以下、合焦被写体部）Ｏｂ１〜３を検出する。このとき、画像処理部４２ａは、撮像画像データＰ１〜３のそれぞれにおいて、撮像画像データ全体の高周波成分量を計測し、高周波成分量が多い場合、たとえば所定の閾値を上回る場合に、合焦被写体部Ｏｂ１〜３があると判定する。そして、高周波成分を検出することで、合焦被写体部Ｏｂ１〜３が検出される。たとえば、最遠の合焦被写体距離Ｄ１のときの撮像画像データＰ１では、遠距離の雲や山などに対応する合焦被写体部Ｏｂ１が検出される。また、中間の合焦被写体距離Ｄ２のときの撮像データＰ２では、中距離の家屋に対応する合焦被写体部Ｏｂ２が検出される。そして、最近の合焦被写体距離Ｄ３のときの撮像データＰ３では、近距離のバスに対応する合焦被写体部Ｏｂ３が検出される。

次に、図２（Ｂ）に示すように、第１の画像処理部４２ａは、検出された合焦被写体部Ｏｂ１〜３を残してほかの画像を消去することで、各合焦被写体部Ｏｂ１〜３に対応する被写体画像データ（以下、合焦被写体画像データという）ＯＤ１〜３を抽出する。ここにおいて、合焦被写体画像データＯＤ１〜３と、距離情報としての合焦被写体距離Ｄ１〜３とが対応付けられる。

そして、図２（Ｃ）に示すように、第２の画像処理部４２ｂは、合焦被写体画像データＯＤ１〜３を視差量だけ左方向にシフトさせ（矢印Ａｒ２１〜２３）、被写体画像データ（以下、右眼被写体画像データという）ｒＯＤ１〜２を生成する。ここで、合焦被写体画像データＯＤ１〜３をシフトさせるときの視差量は、図２（Ａ）に示す、右眼に対応する仮想レンズ部６ｒを想定したときのレンズ部６とレンズ部６ｒの間の距離ｄと、合焦被写体距離Ｄ１〜３とに基づいて求められる。

そして、第２の画像処理部４２ｂは、右眼被写体画像データｒＯＤ１〜３を合成し、右眼画像データＰＲｍを生成する。第２の画像処理部４２ｂは、一方で、撮像画像データＰ１〜３のいずれかを左眼画像データとして採用するか、あるいは合焦被写体画像データＯＤ１〜３を合成することにより、左眼画像データを生成する。このようにして、右眼画像データＰＲｍと左眼画像データとからなる視差画像データが生成される。なお、ここでは左眼を基準として右眼画像データを生成する場合を例示しているが、左右を逆転させる処理も可能である。

図３は、撮像装置２の動作手順を説明するフローチャート図である。ステップＳ１〜Ｓ４は、撮像制御部４１の制御のもとで行われる撮像部７による撮像動作に関する。ステップＳ１で、撮像部７のレンズ部６は、撮像制御部４１からの制御信号に応答して、撮像開始のための合焦被写体距離に合わせる。ステップＳ２で、撮像部７は撮像を行い、撮像画像データを処理装置４に取り込む。ステップＳ３で、撮像制御部４１は、予め設定された撮像回数、撮像を完了したかを判定する。完了していない場合（ステップＳ３のＮｏ）、ステップＳ４で撮像制御部４１は、撮像部７に次の合焦被写体距離を示す制御信号を出力し、撮像部７はこれに応答して制御信号が示す合焦被写体距離に合わせる。そして、ステップＳ２へ戻る。このような手順が、設定回数の撮像を完了するまで繰り返される。

撮像を完了した場合（ステップＳ３のＹｅｓ）、ステップＳ５で、第１の画像処理部４２ａは、各撮像画像データで合焦被写体部を検出し、他の画像を消去して合焦被写体画像データを抽出する。

ステップＳ６〜Ｓ１２は、第２の画像処理部４２ｂによる画像処理に関する。それぞれの処理の詳細は、後述する。第２の画像処理部４２ｂは、ステップＳ６で、合焦被写体画像データを変形する処理を行う。変形処理は被写体画像の大きさの拡大縮小を含む。次いで、ステップＳ７で、第２の画像処理部４２ｂは、合焦被写体画像データの輝度補正処理を行う。次いで、ステップＳ８で、第２の画像処理部４２ｂは、合焦被写体画像データの彩度補正処理を行う。次いで、ステップＳ９で、第２の画像処理部４２ｂは、合焦被写体画像データに対するぼかし処理を行う。次いで、ステップＳ１０で、第２の画像処理部４２ｂは、合焦被写体画像データを合成し、左眼画像データを生成する。あるいは、ステップＳ１０を、撮影画像データの１つを左眼画像データとして採用する手順としてもよい。次いで、ステップＳ１１で、第２の画像処理部４２ｂは、合焦被写体画像データを視差量だけシフトさせて合成し、一時的な右眼画像データを生成する。そして、ステップＳ１２で、第２の画像処理部４２ｂは、一時的な右眼画像データに対し、被写体の陰になる部分の補完処理を行う。このような手順により、視差画像データが生成される。

以下では、ステップＳ１〜Ｓ４での撮像動作と、ステップＳ６以降での画像処理に分けて説明する。

［撮像動作］
本実施形態では、撮像部７が合焦被写体距離を変化させながら撮像を行う際、撮像制御部４１が合焦被写体距離の変化幅を示す制御信号を撮像部７のレンズ部６に出力し、その変化幅で合焦被写体距離を変化させる。撮像制御部４１は、次の２つの制御モードにより、変化幅を制御する。

まず、第１の制御モードでは、撮像制御部４１は、撮像部７に、合焦被写体距離が大きいとき、つまり遠距離の被写体を撮像するときには大きい変化幅、合焦被写体距離が小さいとき、つまり近距離の被写体を撮像するときには、小さい変化幅で合焦被写体距離を変化させる。そして、第２の制御モードでは、撮像制御部４１は、撮像部７に、各合焦被写体距離の被写界深度に対応する合焦距離範囲ができるだけ重複せず、より好ましくは連続するような変化幅で、合焦被写体距離を変化させる。第１、第２の制御モードについて、図４〜７を用いて具体的に説明する。

図４は、第１の制御モードについて説明する図である。第１の制御モードでは、レンズ部６が合焦可能な距離範囲Ｌ０においてｎ回（ｎ＞１）の撮像が行われる。図４（Ａ）〜（Ｃ）には、３とおりの合焦被写体距離Ｄ１〜３での、レンズ部６、撮像素子８、および、合焦被写体距離にある被写体Ｏｂ１〜３が示される。図４（Ａ）は最遠の合焦被写体距離Ｄ＝Ｌ０に、図４（Ｂ）は２番目に遠い合焦被写体距離Ｄ＝Ｌ／２に、そして、図４（Ｃ）は最近の合焦被写体距離Ｄ＝Ｌ／ｎに対応する。

撮像制御部４１は、たとえば図３のステップＳ１で、レンズ部６の合焦被写体距離Ｄを、たとえば最遠の合焦被写体距離Ｌ０に合わせるような制御信号を出力する。そして、ステップＳ２〜Ｓ４が実行され、撮像制御部４１が撮像部７に合焦被写体距離を変化させる。このとき、撮像制御部４１は、合焦被写体距離が大きいほど大きい変化幅、合焦被写体距離が小さいほど小さい変化幅で合焦被写体距離を変化させる。具体的には、合焦被写体距離を、Ｌ０（図４（Ａ））→Ｌ０/２（図４（Ｂ）） → Ｌ０/３ → Ｌ０/４・・・ → Ｌ０/（ｎ-２） → Ｌ０/（ｎ-１） → Ｌ０/ｎ（図４（Ｃ）） (ｎは撮影回数とし、１より大きい値とする。) というように徐々に小さくするような制御が行われる。あるいは、合焦被写体距離Ｄを、Ｌ０／ｎからＬ０まで徐々に大きくしてもよい。このとき、合焦被写体距離Ｄ、最遠距離Ｌ０、撮影回数ｎには次のような関係が成り立つ。

Ｄ = Ｌ０ / ｎ （ｎ＞１）
また、ここで、ｎの代わりに、２のｍ乗（ｍは整数）としてもよい。

図５は、合焦被写体距離の変化幅と視差の関係を説明する図である。図５は、レンズ部６の正面方向に等間隔で位置する被写体Ｏｂ１１、Ｏｂ１２、・・・、Ｏｂ１３、Ｏｂ１４を示す。被写体Ｏｂ１１、１２は比較的遠距離に位置し、被写体Ｏｂ１３、１４は比較的近距離に位置する。また、右眼の仮想レンズ部６ｒにおける被写体Ｏｂ１１、１２の視差をθ１、２とし、視差の差分をΔθ１とする。一方、被写体Ｏｂ１３、１４の視差をθ３、４とし、その差分をΔθ２とする。

ここで、視差の差分Δθ１とΔθ２を比較すると、差分Δθ２の方が差分Δθ１より大きい。すなわち、遠距離での被写体間の距離差が視差の差分に与える影響より、近距離での被写体間の距離差が視差の差分に与える影響の方が大きい。換言すれば、肉眼で観察したときに、遠距離の物体の距離差は視差として知覚されにくく、近距離の物体の距離差は視差として知覚されやすい。

ここで、たとえば遠距離の被写体Ｏｂ１１、１２を、同じ合焦被写体距離の被写界深度内で撮像し、それぞれに距離情報として同じ合焦被写体距離が対応づけられたとする。このとき、合焦被写体距離に対応する同じ視差量で被写体Ｏｂ１１、１２の合焦被写体画像データをそれぞれシフトさせたとしても、本来の視差視差θ１、２の差分Δθ１が小さいので、それほど違和感を生じさせない。一方、近距離の被写体Ｏｂ１３、１４を同じ合焦被写体距離の被写界深度内で撮像し、それぞれに距離情報として同じ合焦被写体距離が対応づけられたとする。このとき、合焦被写体距離に対応する同じ視差量でそれぞれをシフトさせると、本来の視差θ３、４の差分Δθ２が大きいので、大きい違和感を生じさせる。

この点、本実施形態における第１の制御モードでは、合焦被写体距離が小さいほど小さい変化幅で合焦被写体距離を変化させることで、近距離の被写体Ｏｂ１３、１４をそれぞれ異なる合焦被写体距離で撮像できる。よって、被写体Ｏｂ１３、１４それぞれの被写体画像データをそれぞれの合焦被写体距離に応じた視差量でシフトすることができる。よって、より違和感が小さい、自然な右眼画像を生成することが可能となる。

図６は、第２の制御モードについて説明する図である。図６（Ａ）〜（Ｃ）は、撮像部７が合焦被写体距離Ｄ１〜３で撮像を行うときの、レンズ部６、撮像素子８、および、合焦被写体距離にある被写体Ｏｂ１〜３を示す。また、図６（Ａ）〜（Ｃ）では、合焦被写体距離Ｄ１〜３ごとの被写界深度に対応する合焦距離範囲Ｍ１〜３が示される。

撮像制御部４１は、たとえば図３のステップＳ１で、レンズ部６に、合焦被写体距離を図６（Ａ）に示す最遠の合焦被写体距離Ｄ１に合わさせる。そして、ステップＳ２〜Ｓ４が実行される。このとき、撮像制御部４１は、撮像部７に、各合焦被写体距離での合焦距離範囲Ｍ１〜３ができるだけ重複しないような、より好ましくは、図６（Ａ）〜（Ｃ）に示すように、合焦距離範囲Ｍ１〜３が連続するような変化幅Ｄ１−Ｄ２、Ｄ２−Ｄ３で、合焦被写体距離Ｄ１〜３を変化させる。ここで、合焦被写体距離ごとの被写界深度は、合焦被写体距離が大きくなるほど深く（距離が長く）、合焦被写体距離が小さくなるほど浅く（距離が短く）なるので、合焦被写体距離Ｄ１〜３（ここでは、Ｄ１＞Ｄ２＞Ｄ３）に対応する合焦距離範囲Ｍ１〜３には、Ｍ１＞Ｍ２＞Ｍ３の関係が成り立つ。よって、合焦距離範囲Ｍ１〜３ができるだけ重複しないように、より好ましくは合焦距離範囲Ｍ１〜３が連続するようにするためには、撮像制御部４１は、撮像部７に、徐々に小さくなるような変化幅Ｄ１−Ｄ２、Ｄ２―Ｄ３で合焦被写体距離を変化させる。あるいは、合焦被写体距離をＤ３、Ｄ２、Ｄ１と逆順に変化させてもよいが、その場合は、徐々に大きくなるような変化幅で制御がなされる。

ここで、合焦被写体距離を変化させるピッチ幅が固定されており、合焦距離範囲Ｍ１〜３が連続するような変化幅での制御が困難であって合焦距離範囲Ｍ１とＭ２、またはＭ２とＭ３に重複が生じるような場合には、撮像制御部４１は、合焦距離範囲の方を調整することで合焦距離範囲が連続するようにしてもよい。たとえば、撮像制御部４１は、レンズ部６におけるレンズの有効口径を制御することで、合焦距離範囲を変化させることができる。なお、この場合、有効口径を変化させることによる光量の不足や超過は、露光時間を調整したり、撮像画像データに対応する電気信号のアナログゲインやデジタルゲインを調節することで、補正できる。

ここで、第２の制御モードと対比するために、合焦被写体距離を均等な変化幅で変化させる場合を図７に示す。図７は、撮像部７が均等な変化幅ΔＤで合焦被写体距離Ｄ１〜３（Ｄ１＞Ｄ２＞Ｄ３）を変化させるときの、合焦被写体距離Ｄ１〜３それぞれの合焦距離範囲Ｍ１〜３を示す。

合焦距離範囲は合焦被写体距離に対応して深くなるところ、変化幅ΔＤが合焦距離範囲に比べて小さいと、図７に示すように、合焦距離範囲Ｍ１、Ｍ２、Ｍ３が重複する範囲が大きくなる。特に、距離範囲Ｍ４では、２つの変化幅分変化する前と後とで、合焦距離範囲Ｍ１とＭ３とが重複する。このとき、合焦距離範囲Ｍ２は、その全域において、合焦距離範囲Ｍ１、Ｍ３のいずれかまたは両方と重複する。よって、合焦距離範囲Ｍ２で得られる合焦被写体画像データは、合焦距離範囲Ｍ１、Ｍ３でも重複して得られる。このような場合、合焦被写体距離Ｄ２での撮像は無駄な工数となる。また、重複する撮像画像データが多くなると、処理の無駄も増加する。

この点、本実施形態における第２の制御モードによれば、合焦距離範囲Ｍ１〜３ができるだけ重複せず、より好ましくは連続するような変化幅で合焦被写体距離Ｄ１〜３が変化される。ただし、隣接する合焦被写体距離での合焦距離範囲が多少重複してもよい。合焦距離範囲Ｍ１とＭ２、あるいはＭ２とＭ３がそれぞれ重複する部分を有する場合であっても、少なくとも２つの変化幅分の合焦被距離範囲Ｍ１とＭ３とが重複せず離間していれば、図７で示したような合焦被写体距離Ｄ２での無駄な撮像工数や無駄な画像処理が発生することは回避できる。よって、その分スループットが向上する。

なお、２つの合焦距離範囲が部分的に重複することで同じ被写体が２つの撮像画像に含まれ、したがって図３のステップＳ５で重複する合焦被写体画像データが抽出されるような場合であっても、第１の画像処理部４２ａは、たとえば近距離の合焦距離範囲における合焦被写体画像データを残し、遠距離の合焦距離範囲における被写体画像データを消去する（またはその逆）ことで、重複を排除できる。

さらに、第２の制御モードにおいても、合焦被写体距離が小さいほど変化幅が小さくなるので、図５で示したように、視差量が大きい近距離の被写体を、それぞれ異なる合焦被写体距離で撮像できる。よって、合焦被写体画像データをそれぞれ異なる視差量でシフトでき、より自然な右眼画像データを生成することができる。

次に、図３のステップＳ６以降の画像処理について説明する。なお、以下で説明する各画像処理は、それぞれ単独で、あるいは２以上の組み合わせにより実施することが可能である。

［変形処理］
図８は、合焦被写体画像データの変形処理について説明する図である。まず、第１の画像処理部４２ａは、図８（Ａ）に示すように、レンズ部６の合焦被写体距離Ｄ１〜３（Ｄ１＞Ｄ２＞Ｄ３）での撮像画像データＰ８１〜８３から、合焦被写体部を検出する。たとえば、撮像画像データＰ８１では遠距離の被写体に対応する合焦被写体部Ｏｂ８１１、８１２が、撮像画像データＰ８２では中距離の被写体に対応する合焦被写体部Ｏｂ８２１、８２２が、撮像画像データＰ８３では近距離の被写体に対応する合焦被写体部Ｏｂ８３１、８３２がそれぞれ検出される。

そして、第１の画像処理部４２ａは、図８（Ｂ）に示すように、撮像画像データＰ８１から合焦被写体部Ｏｂ８１１、８１２に対応する合焦被写体画像データＯＤ８１１、ＯＤ８１２を、撮像画像データＰ８２から合焦被写体部Ｏｂ８２１、８２２に対応する合焦被写体画像データＯＤ８２１、ＯＤ８２２を、撮像画像データＰ８３から被写体Ｏｂ８３１、８３２に対応する合焦被写体画像データＯＤ８３１、ＯＤ８３２をそれぞれ抽出する。

次に、第２の画像処理部４２ｂは、図８（Ｃ）に示すように、合焦被写体画像データＯＤ８１１、ＯＤ８１２、ＯＤ８２１、ＯＤ８２２、ＯＤ８３１、ＯＤ８３２を、対応する合焦被写体距離Ｄ１〜Ｄ３に応じて変形する。そして、第２の画像処理部４２ｂは、合焦被写体画像データＯＤ８１１、ＯＤ８１２、ＯＤ８２１、ＯＤ８２２、ＯＤ８３１、ＯＤ８３２を、合焦被写体距離Ｄ１〜３に応じて仮想レンズ部６ｒにおける視差量だけシフトさせ、右眼合焦被写体データｒＯＤ８１１、ｒＯＤ８１２、ｒＯＤ８２１、ｒＯＤ８２２、ｒＯＤ８３１、ｒＯＤ８３２を生成する。

変形処理では、合焦被写体距離に応じた程度で、左側の画像が小さく、右側の画像が大きくなるような変形が行われる。つまり、視差方向（ｘ軸）と交差する方向（ｙ軸）における大きさが、左側の画像ほど小さく、右側の画像ほど大きくなるように変形される。たとえば、各フレームの横方向をＸ軸、縦方向をＹ軸、画像の中心座標を（０，０）としたときに、変形前の座標位置（ｘ，ｙ）が、次式により変形後の座標位置(Ｘ,Ｙ)に変換される。

X = α・x
Y = y・f(x)
f(x) = β・x + γ
ここで、αとβは変形の度合いを示す係数であり、αは合焦被写体距離に応じて増加し、βは合焦被写体距離に応じて減少し、そしてγは合焦被写体距離に応じて減少する。なお、ここで、α、β、γはいずれも正の値である。このような処理によれば、フレームの左右中心を境界に、左側の画像がｘ軸方向、ｙ軸方向ともに縮小され、右側の画像がｘ軸方向に縮小される一方でｙ軸方向に拡大されるように、合焦被写体画像データが変形される。

よって、たとえば最遠の合焦被写体距離Ｄ１での合焦被写体画像データＯＤ８１１、ＯＤ８１２は、ほとんど変形されないが、中間の合焦被写体距離Ｄ２での合焦被写体画像データＯＤ８２１、ＯＤ８２２については、左側の合焦被写体画像データＯＤ８２１がある程度小さくなるように変形され、右側の合焦被写体画像データＯＤ８２２がある程度大きくなるように変形される。そして、最近の合焦被写体距離Ｄ３での合焦被写体画像データＯＤ８３１、ＯＤ８３２については、左側の合焦被写体画像データＯＤ８３１がさらに小さくなるように変形され、右側の合焦被写体画像データＯＤ８３２がさらに大きくなるように変形される。このような変形処理を行う手順が、図３のステップＳ６に対応する。

上記のような変形処理は、同じ合焦被写体距離に位置する被写体であっても、右眼からの距離に応じて、左側の被写体ほど小さく、右側の被写体ほど大きく見えることに基づくものである。このことを、図９により説明する。

図９は、図８の例における被写体の位置を示す平面図である。ここでは、各被写体に、図８の合焦被写体部と同じ符号を付す。図９では、レンズ部６の合焦被写体距離Ｄ１に被写体Ｏｂ８１１、８１２が、合焦被写体距離Ｄ２に被写体Ｏｂ８２１、８２２が、合焦被写体距離Ｄ３に被写体Ｏｂ８３１、８３２が示される。また、左眼のレンズ部６と右眼の仮想レンズ部６ｒとを結ぶ方向を横方向としたときに、Ｏｂ８１１、８１２の横方向の距離差と、Ｏｂ８２１、８２２の横方向の距離差と、Ｏｂ８３１、８３２の横方向の距離差はいずれも等しい。

ここで、右眼の仮想レンズ部６ｒから各被写体までの距離をみてみると、同じ合焦被写体距離では、左側の被写体の視差量の方が右側の被写体の視差量より大きいので、これに応じて、左側の被写体までの距離の方が右側の被写体までの距離より大きくなる。よって、最遠の合焦被写体距離Ｄ１では、被写体Ｏｂ８１１までの距離ｄ１１は、被写体Ｏｂ８１２までの距離ｄ１２より距離差Δｄ３１だけ大きい。次に、中間の合焦被写体距離Ｄ２では、被写体Ｏｂ８２１までの距離ｄ２１の方が、被写体Ｏｂ８２２までの距離ｄ２２より距離差Δｄ３２（＞Δｄ３１）だけ大きい。そして、最近の合焦被写体距離Ｄ３では、被写体Ｏｂ８３１までの距離ｄ３１の方が、被写体Ｏｂ８３２までの距離ｄ３２より、距離差Δｄ３３（＞Δｄ３２）だけ大きい。

このように、まず、同じ合焦被写体距離にある被写体であっても、右眼の仮想レンズ部６ｒから見ると、左側の被写体の方が距離が大きく、右側の被写体ほど距離が小さい。よって、左側の被写体の方が大きく、右側の被写体の方が小さく見える。そして、右眼の仮想レンズ部６ｒから左右の被写体までの距離差は、合焦被写体距離が大きくなるほど小さく、合焦被写体距離が小さくなるほど大きさの差が大きくなる。よって、遠距離ほど左右の被写体の見かけ上の大きさの差が小さく、近距離ほど左右の被写体の見かけ上の大きさの差が大きくなる。

よって、図８のような変形処理がされた右眼合焦被写体データｒＯＤ８１１、ｒＯＤ８１２、ｒＯＤ８２１、ｒＯＤ８２２、ｒＯＤ８３１、ｒＯＤ８３２を合成することにより、自然な遠近感を表現した右眼画像データが生成される。よって、これに基づいて、より自然な立体画像が生成される。

なお、図８、図９では、左右の被写体画像データが別々の被写体に対応する場合を例として説明した。しかし、単一の被写体を示す被写体画像データにも、図８、図９の説明は適用できる。その場合、単一の被写体画像データの各部それぞれが被写体画像データに対応する。そして、各被写体画像データに対し、１フレーム内の座標に応じて上記の変形処理を行う。これにより、たとえば単一の被写体であっても、左側が小さく、右側が大きく変形された遠近感のある立体画像が生成される。

［第１の輝度補正処理］
図１０は、合焦被写体画像データの第１の輝度補正処理について説明する図である。ここで、輝度は、たとえば撮像画像データのＲＧＢ（Red、Green、Blue）画素値をＹＣｂＣｒ変換したときの、Ｙ値に対応する。

第１の画像処理部４２ａは、図１０（Ａ）に示すように、レンズ部６の合焦被写体距離Ｄ９１〜９５における撮像画像データＰ９１〜９５のそれぞれで、合焦被写体部Ｏｂ９１〜９５を検出する。ここでは、合焦被写体部Ｏｂ９１に対応する被写体「１」、合焦被写体部Ｏｂ９２に対応する被写体「２」、合焦被写体部Ｏｂ９３に対応する被写体「３」、合焦被写体部Ｏｂ９４に対応する被写体「４」、合焦被写体部Ｏｂ９５に対応する被写体「５」は、この順番で、レンズ部６からの距離が大きくなる。すると、合焦被写体距離Ｄ９１〜９５は、この順番に大きくなるので、合焦被写体距離Ｄ１での撮像画像データＰ９１では合焦被写体部Ｏｂ９１が、合焦被写体距離Ｄ２での撮像画像データＰ９２では合焦被写体部Ｏｂ９２が、合焦被写体距離Ｄ３での撮像画像データＰ９３で合焦被写体部Ｏｂ９３が、合焦被写体距離Ｄ４での撮像画像データＰ９４で合焦被写体部Ｏｂ９４が、そして合焦被写体距離Ｄ５での撮像画像データＰ９５で合焦被写体部Ｏｂ９５がそれぞれ検出される。次に、第１の画像処理部４２ａは、図１０（Ｂ）に示すように、撮像画像データＰ９１〜９５から、合焦被写体部Ｏｂ９１〜９５に対応する合焦被写体画像データＯＤ９１〜９５を抽出する。

ここで、撮像時に各被写体にある程度均一な光量が与えられるとすると、自動露光制御が行われることで、撮像画像データＰ９１〜９５における合焦被写体部Ｏｂ９１〜９５は同等の輝度になる。すると、その状態で合成された右眼画像データでは、遠距離も近距離も同じ輝度になる。しかしながら、自然な撮像画像では、レンズ部６からの距離が大きいほど輝度が低い、つまり暗い画像になり、一方、距離が小さいほど輝度が高い、つまり明るい画像になる。

そこで、第２の画像処理部４２ｂは、合焦被写体画像データＯＤ９１〜９５の輝度を、合焦被写体距離Ｄ９１〜９５に応じた輝度になるように補正する。具体的には、第２の画像処理部４２ｂは、図１０（Ｅ）に示すように、撮像画像データＰ９１〜９５のうちいずれか、たとえば中間の合焦撮像距離Ｄ９３の撮像画像データＰ９３を参考撮像画像データＰｒｅｆとして選択する。ここで、参考撮像画像データＰｒｅｆ（撮像画像データＰ９３）では、合焦被写体部Ｏｂ９３のみが合焦されており、他は合焦されていない。よって、第２の画像処理部４２ｂは、合焦被写体画像データＯＤ９１〜９５それぞれの座標を取得し、参考撮像画像データＰｒｅｆ（撮像画像データＰ３）における対応する座標領域ｒ１〜５から輝度Ｃ１〜５を検出する。このとき、たとえば座標領域における輝度の平均値や中央値、あるいは中間値などの代表値が検出される。

そして、第２の画像処理部４２ｂは、図１０（Ｃ）に示すように、合焦被写体画像データＯＤ９１〜９５の輝度が検出した輝度Ｃ１〜５になるように補正する。このような輝度補正処理を行う手順が、図３のステップＳ７に対応する。

そして、上記のような輝度補正処理の後、第２の画像処理部４２ｂは、図１０（Ｄ）に示すように、合焦被写体画像データＯＤ９１〜９５を仮想レンズ部６ｒにおける視差量に応じてシフトさせ（矢印Ａｒ１〜５）、右眼被写体画像データｒＯＤ９１〜９５を生成する。そして、第２の画像処理部４２ｂは、右眼被写体画像データｒＯＤ９１〜９５を合成して、右眼画像データＰＲｍ１０を生成する。一方、第２の画像処理部４２ｂは、参考撮像画像データＰｒｅｆとして選択した撮像画像データＰ９３を左眼画像データとして採用する。あるいは、第２の画像処理部４２ｂは、輝度補正された合焦被写体画像データを合成して、左眼撮像画像データを生成する。

このような処理により、撮像画像データＰ９１〜９５を撮像するときに自動露光調整機能などにより各合焦被写体部が同等の輝度に補正されるような場合であっても、被写体の遠近に対応した自然な輝度を再現できる右眼画像データを生成することができる。よって、これに基づいて、より自然な立体画像が生成される。

［第２の輝度補正処理］
図１１は、第２の輝度補正処理について説明する図である。図１１では、図１０（Ｅ）に対応する図がなく、図１１（Ｃ）が図１０（Ｃ）と異なるが、その他の部分は図１０と同じである。第２の輝度補正処理では、第２の画像処理部４２ｂは、参考撮像画像データを用いる代わりに、合焦被写体距離Ｐ９１〜９５に応じて被写体画像データＯＤ９１〜９５の輝度を補正する。たとえば、合焦被写体距離Ｄ９１〜９５はこの順番で大きくなるので、対応する合焦被写体画像データＯＤ９１〜９５の輝度は、この順番で小さくなる。よって、第２の画像処理部４２ｂは、図１１（Ｃ）に示すように、たとえば、合焦被写体画像データＯＤ９１、ＯＤ９２、ＯＤ９３、ＯＤ９４、ＯＤ９５の輝度を、それぞれ−２０％、−１０％、±０％、＋１０％、＋２０％の輝度になるように補正する。

このような第２の輝度補正処理によれば、撮像画像データＰ９１〜９５を撮像するときに自動露光調整機能などにより各合焦被写体部が一旦同等の輝度に補正されるような場合であっても、増加あるいは減少された輝度を合焦被写体距離に応じて元にもどすことができる。よって、被写体の遠近に対応した自然な輝度を再現できる左眼画像データと右眼画像データとを生成することができる。そして、これに基づいて、より自然な立体画像が生成される。

図１２は、第２の輝度補正処理の手順を示すフローチャート図である。第１の画像処理部４２ａは、ステップＳ５２において、合焦被写体距離Ｄ９１での撮像画像データＰ９１から、合焦被写体画像データＯＤ９１を抽出する。そして、第２の画像処理部４２ｂは、ステップＳ５４において、合焦被写体画像データＯＤ９１の輝度を２０％ 上げる。次いで、第１の画像処理部４２ａは、ステップＳ５６において、合焦被写体距離Ｄ９２での撮像画像データＰ９２から、合焦被写体画像データＯＤ９２を抽出する。そして、第２の画像処理部４２ｂは、ステップＳ５８において、合焦被写体画像データＯＤ９２の輝度を１０％ 上げる。次いで、第１の画像処理部４２ａは、ステップＳ６０において、合焦被写体距離Ｄ９３での撮像画像データＰ９３から、合焦被写体画像データＯＤ９３を抽出する。この場合、合焦被写体画像データＯＤ９３の輝度はそのままにする。次いで、第１の画像処理部４２ａは、ステップＳ６２において、合焦被写体距離Ｄ９４での撮像画像データＰ９４から、合焦被写体画像データＯＤ９４を抽出する。そして、第２の画像処理部４２ｂは、ステップＳ６４において、合焦被写体画像データＯＤ９４の輝度を１０％ 下げる。次いで、第１の画像処理部４２ａは、ステップＳ６６において、合焦被写体距離Ｄ９５での撮像画像データＰ９５から、合焦被写体画像データＯＤ９５を抽出する。そして、第２の画像処理部４２ｂは、ステップＳ６８において、合焦被写体画像データＯＤ９５の輝度を２０％ 下げる。そして、第２の画像処理部４２ｂは、ステップＳ７０において、合焦被写体画像データＯＤ９１〜９５をシフトして右眼被写体画像データｒＯＤ９１〜９５を生成し、これらを合成する。

第２の輝度補正処理の変形例では、画像処理部４２に合焦被写体距離と輝度とが対応づけられたマップデータを予め備え、これに基づいて第２の画像処理部４２ｂが各合焦被写体画像データの輝度を補正する。図１３には、マップデータの一例として、合焦被写体距離に応じて線型あるいは非線形に変化する輝度が対応づけられたマップデータが示される。第２の画像処理部４２ｂは、このようなマップデータから各合焦被写体画像データの合焦被写体距離に対応する輝度を読み出し、その輝度になるように補正を行う。この方法によれば、レンズ部６の光学特性や、光量に応じて撮像素子８により生成される電荷量、あるいは表示装置１６の出力特性などを考慮した、より精度のよい輝度補正が可能になる。

［彩度補正処理］
第２の画像処理部４２ｂは、合焦被写体画像データの彩度の補正を行う。ここで、彩度は、撮像画像データのＲＧＢ画素値をＹＣｂＣｒ変換したときの、ＣｂＣｒ（色差）空間における無彩色軸からの距離であり、（Ｃｂ^２+Ｃｒ^２）の平方根に対応する。

彩度補正処理には、図１０〜１３で説明した処理と同様の処理が適用される。たとえば、図１０で示したように、第２の画像処理部４２ｂは、撮像画像データＰ９１〜９５から参考撮像画像データＰｒｅｆを選択し、参考撮像画像データＰｒｅｆにおいて合焦被写体画像データＯＤ９１〜９５が対応する座標領域の代表的な彩度になるように、合焦被写体画像データＯＤ９１〜９５それぞれの彩度を補正する。あるいは、第２の画像処理部４２ｂは、図１１〜１２に示したように、合焦被写体距離Ｄ９１〜９５に応じて、各合焦被写体画像データＯＤ９１〜９５の彩度を増減させる補正を行う。このとき、遠距離の被写体ほど彩度が小さく、近距離の被写体ほど彩度が大きくなるように補正する。さらに、画像処理部４２が、合焦被写体距離と彩度とを対応付けた図１３に示したようなマップデータを備え、第２の画像処理部４２ｂがこれを参照して合焦被写体距離に応じた彩度になるように、合焦被写体画像データＯＤ９１〜９５それぞれの彩度を補正する。このように彩度補正を行う手順が、図３のステップＳ８に対応する。

このような処理を行うことで、被写体の遠近に対応した自然な彩度を再現できる右眼画像データを生成することができる。そして、これに基づいて、より自然な立体画像が生成される。

［ぼかし処理］
図１４は、ぼかし処理について説明する図である。ここでは、図２で示した撮像画像データＰ１〜３を例として説明する。第１の画像処理部４２ａは、撮像画像Ｐ１〜３から合焦被写体部Ｏｂ１〜３を検出し（図１４（Ａ））、合焦被写体画像データＯＤ１〜３を抽出する（図１４（Ｂ））。すると、第２の画像処理部４２ｂは、合焦被写体画像データＯＤ１〜３それぞれに対し、対応する合焦被写体距離Ｄ１〜３に応じた程度でぼかし処理を行う。ぼかし処理では、被写体画像の高周波成分を除去するような、たとえば、移動平均フィルタ、コンボリューション演算による低域通過フィルタ、ガウスフィルタなどのフィルタリング処理が行われる。ここで、ぼかし処理の程度は、残される高周波成分の量に対応する。たとえば、高周波成分の量が小さくなるようなフィルタリングを行うことで、輪郭がより不鮮明な画像が得られるような強い程度のぼかし処理が行われる。一方、高周波成分の量が大きくなるようなフィルタリングを行うことで、輪郭が有る程度鮮明な画像が得られるような弱い程度のぼかし処理が行われる。

第２の画像処理部４２ｂは、図１４（Ｃ）に示すように、たとえば、最遠の合焦被写体距離Ｄ１に対応する合焦被写体画像データＯＤ１に対しては強い程度でぼかし処理を行い、視差量分シフトさせて（矢印Ａｒ２１）右眼被写体画像データｒＯＤ１´を生成する。また、第２の画像処理部４２ｂは、中間の合焦被写体距離Ｄ２に対応する合焦被写体画像データＯＤ２に対しては、合焦被写体画像データＯＤ１に対するぼかし処理の程度より弱い程度でぼかし処理を行い、視差量分シフトさせて（矢印Ａｒ２２）右眼被写体画像データｒＯＤ２´を生成する。そして、第２の画像処理部４２ｂは、最近の合焦被写体距離Ｄ３に対応する合焦被写体画像データＯＤ３に対しては、ぼかし処理をほとんどあるいは全く行わず、視差量分シフトさせて（矢印Ａｒ２３）右眼被写体画像データｒＯＤ３´を生成する。そして、第２の画像処理部４２ｂは、右眼被写体画像データｒＯＤ１´、ｒＯＤ２´、ｒＯＤ３´を合成して右眼画像データＰＲｍ´を生成する。また、第２の画像処理部４２ｂは、ぼかし処理された合焦被写体画像データを合成することで、左眼画像データを生成することもできる。なおここで、合焦被写体画像データＯＤ１〜３に対しぼかし処理を行う手順が、図３のステップＳ９に対応する。

このようにして、遠方の被写体画像ほど輪郭が不鮮明になるような左眼画像データと右眼画像データとを生成することができる。よって、自然な遠近感を再現できる左眼画像データと右眼画像データを生成することができ、これに基づいて、より自然な立体画像が生成される。

なお、上述した第１、第２の輝度補正処理、彩度補正処理、及びぼかし処理において、たとえばユーザ操作により任意の合焦被写体距離が指定され、指定された合焦被写体距離に対応する合焦被写体画像データのみを指定されたまたは所定の輝度、彩度、あるいはぼかし量に補正し、ほかの合焦被写体画像データをより小さい輝度、彩度、あるいはぼかし量に補正することも可能である。この場合、ユーザの好みにより、特定の被写体、たとえばスポットライトがあたった部分だけを強調するような視覚効果を施した画像を生成することができる。

［補完処理］
図１５は、補完処理について説明する図である。図１５（Ａ）は、被写体の形状と位置を示す図である。図１５（Ａ）上段には、レンズ部６に対向する方向を正面とする、被写体１４１、１４２、１４３の四面図が示される。ここに示すように、被写体１４１の右側には、レンズ部６の方向に突出する柱状体１４２が存在する。そして、被写体１４１は合焦被写体距離Ｄ１４１に位置し、柱状体１４２の先端部１４３は、合焦被写体距離Ｄ１４３（＜Ｄ１４１）に位置する。

第１の画像処理部４２ａは、図１５（Ｂ）に示すように、まず合焦被写体距離Ｄ１４１での撮像画像データＰ１４１から、被写体１４１に対応する合焦被写体部Ｏｂ１４１を検出し、合焦被写体距離Ｄ１４３での撮像画像データＰ１４３から、柱状体１４２の先端部１４３に対応する合焦被写体部Ｏｂ１４３を検出する。ここで、柱状体１４２の側面は、左眼のレンズ部６の角度からは撮像されていないので、合焦被写体部として検出されない。

次に、第１の画像処理部４２ａは、図１５（Ｃ）に示すように、撮像画像データＰ１４１から合焦被写体部Ｏｂ１４１に対応する合焦被写体画像データＯＤ１４１を、撮像画像データＰ１４３から合焦被写体部Ｏｂ１４３に対応する合焦被写体画像データＯＤ１４３をそれぞれ抽出する。次いで、第２の画像処理部４２ｂは、図１５（Ｄ）に示すように、合焦被写体画像データＯＤ１４１、１４３を、対応する合焦被写体距離Ｄ１４１、１４３に応じた視差量だけシフトさせ（矢印Ａｒ１４１、１４３）、右眼合焦被写体データｒＯＤ１４１、ｒＯＤ１４３を生成する。

ここで、右眼被写体画像データｒＯＤ１４１、ｒＯＤ１４３をそのまま合成すると、図１５（Ｅ）のような右眼画像が生成される。すなわち、柱状体１４２の先端部１４３に近接して被写体１４１の画像が生成される。しかし、図１５（Ａ）に示すように、右眼の仮想レンズ部６ｒからは、視差により柱状体１４２の側面が観察され（Ｌ１４１）、柱状体１４２の側面の陰になることで被写体１４１は観察されない。よって、図１５（Ｅ）のような右眼画像は、実際に観察される状態とは異なるので、不自然である。

そこで、本実施形態では、第２の画像処理部４２ｂは、図１５（Ｄ）に示すように合焦被写体画像データＯＤ１４１、１４３を視差量だけシフトするときに、シフト前の合焦被写体画像データＯＤ１４１、１４３とシフト後の右眼被写体画像データｒＯＤ１４１、１４３の間の中間領域Ｍ１４１、１４３を、所定の色、たとえば、グレーなどの単色でそれぞれ補完する。なお、補完に用いる色は任意に設定できるが、グレーなどの無彩色が、画像に与える影響を抑えてできるだけ自然な立体画像を生成するうえで好適に用いられる。

そして、第２の画像処理部４２ｂは、右眼被写体画像データｒＯＤ１４１及び補完された中間領域Ｍ１４１と、右眼被写体画像データｒＯＤ１４３及び補完された中間領域Ｍ１４３とを合成する。このとき、第２の画像処理部４２ｂは、合焦被写体距離が大きい順に、つまり遠距離のものから順に、右眼被写体画像データを画像メモリ１２上にレンダリングする。そして、画像データが重複する領域においては、合焦被写体距離が小さい右眼被写体画像データにより上書きする。そうすることで、合焦被写体距離が大きい右眼被写体画像データｒＯＤ１４１と補完された中間領域Ｍ１４１は、合焦被写体距離が小さい右眼被写体画像データｒＯＤ１４３と補完された中間領域Ｍ１４３の画像データにより上書きされる。これにより、図１５（Ｆ）に示すような右眼画像データＰＲｍ１５が生成される。ここでは、補完された中間領域Ｍ１４３により柱状体１４２の側面の画像１４２ｂが表示され、柱状体１４２の側面の陰に隠れて本来見えない被写体１４１が表示されない。つまり、近距離の被写体の陰になる遠距離の被写体が見えないような画像が生成される。よって、実際に観察される状態により近い、自然な右眼画像データが生成される。このような右眼画像データに基づいて、より自然な立体画像が生成される。

図１６は、補完処理を含む、視差画像生成のための画像処理手順を説明するフローチャート図である。第１の画像処理部４２ａは、ステップＳ８２において、合焦被写体距離Ｄ１４１、１４３での撮像画像データＰ１４１、１４３から合焦被写体画像データＯＤ１４１、１４３を抽出する。次いで、第２の画像処理部４２ｂは、ステップＳ８４において、抽出した合焦被写体画像データＯＤ１４１、１４３を合成して左眼画像データを生成する。次いで、第２の画像処理部４２ｂは、ステップＳ８６において、抽出した合焦被写体画像データＯＤ１４１、１４３を視差量だけシフトさせ、右眼被写体画像データｒＯＤ１４１、１４３を生成する。次いで、第２の画像処理部４２ｂは、ステップＳ８８において、合焦被写体画像データＯＤ１４１、１４３と右眼被写体画像データｒＯＤ１４１、１４３の間の中間領域を、単色で補完する。そして、第２の画像処理部４２ｂは、ステップＳ９０において、右眼被写体画像データｒＯＤ１４１、１４３とそれぞれの補間された中間領域を合成し、右眼画像データを生成する。

図１７は、補完処理の変形例について説明する図である。ここでは、図１５（Ｄ）で示した右眼被写体画像データｒＯＤ１４３と、補完対象の中間領域Ｍ１４３とが示される。第１の変形例では、第２の画像処理部４２ｂは、中間領域Ｍ１４３をグレーなどの所定の色で補完する代わりに、右眼被写体画像データｒＯＤ１４３において中間領域Ｍ１４３に近接する、つまり輪郭線の内側の画素Ｇ１４３の色（画素値Ｇａ）で補完する。

また、第２の変形例では、第２の画像処理部４２ｂは、背景領域において中間領域Ｍ１４３に近接する、つまり中間領域の輪郭線の外側、あるいはシフトされる前の合焦被写体画像データＯＤ１４３の輪郭線の外側の画素Ｇ１４５の色（画素値Ｇｂ）で、中間領域Ｍ１４３を補完する。

さらに、第３の変形例では、第２の画像処理部４２ｂは、画素Ｇ１４３と画素Ｇ１４５のそれぞれからの距離に応じて、画素Ｇ１４３と画素Ｇ１４５の色で補間した色で補完する。具体的には、中間領域Ｍ１４３における補完対象画素Ｍｘの画素値をＧｘ、画素Ｍｘの画素Ｇ１４５からの距離をＬｘとしたときに、次式に基づいて画素値Ｇｘを決定する。

Ｇｘ＝（Ｇａ−Ｇｂ）／Ｌｘ ＋ Ｇｂ
（ただし、Ｌｘは画素Ｇ１４３とＧ１４５との距離以下とする）
これにより、柱状体１４２の背景領域の色を基準に、レンズ部６への距離に応じて先端部１４３に近くなるようなグラデーション色により、中間領域Ｍ１４３を補完することができる。また、上記の式において、Ｇａ、Ｇｂを入れ替えることで、先端部１４３の色を基準としてもよい。第３の変形例によれば、単色で補完する場合より、さらに自然な立体画像が生成される。

上述のとおり、本実施形態によれば、単眼式の撮像手段により撮像を行う場合に、スループットを向上させ、自然な立体画像の生成が可能となる。

以上の実施の形態をまとめると、次の付記のとおりである。

（付記１）
合焦被写体距離を変化させて撮像を行う撮像部に、第１の合焦被写体距離のときには第１の変化幅で前記合焦被写体距離を変化させ、前記第１の合焦被写体距離より小さい第２の合焦被写体距離のときには前記第１の変化幅より小さい第２の変化幅で前記合焦被写体距離を変化させる撮像制御部と、
前記合焦被写体距離ごとの撮像画像データから、合焦された被写体画像データを抽出し、前記抽出された被写体画像データをそれぞれの前記合焦被写体距離に対応する視差量だけシフトさせて合成した画像データを生成する画像処理部とを有する処理装置。

（付記２）
合焦被写体距離を変化させて撮像を行う撮像部に、第１の合焦被写体距離における合焦距離範囲と前記第１の合焦被写体距離から２つの変化幅だけ変化した第２の合焦被写体距離における合焦距離範囲とが重複しないような不均等な変化幅で前記合焦被写体距離を変化させる撮像制御部と、
前記合焦被写体距離ごとの撮像画像データから、合焦された被写体画像データを抽出し、前記抽出された被写体画像データをそれぞれの前記合焦被写体距離に対応する視差量だけシフトさせて合成した画像データを生成する画像処理部とを有する処理装置。

（付記３）
付記２において、
前記撮像制御部は、前記撮像部に、複数の前記合焦距離範囲が連続するような変化幅で前記合焦被写体距離を変化させる処理装置。

（付記４）
異なる合焦被写体距離ごとに撮像された撮像画像データから、合焦被写体距離ごとに合焦された被写体画像データを抽出する第１の画像処理部と、
第１の合焦被写体距離に対応する前記抽出された被写体画像データの輝度が第１の輝度になるように、前記第１の合焦被写体距離より小さい第２の合焦被写体距離に対応する前記抽出された被写体画像データの輝度が前記第１の輝度より大きい第２の輝度になるようにそれぞれ輝度補正を行い、前記抽出された被写体画像データをそれぞれの前記合焦被写体距離に対応する視差量だけシフトして合成する第２の画像処理部とを有する処理装置。

（付記５）
付記４において、
前記第２の画像処理部は、前記抽出された被写体画像データの輝度が、前記異なる合焦被写体距離ごとに撮像された撮像画像データのいずれかにおける当該被写体画像データに対応する領域の輝度になるように前記輝度補正を行う処理装置。

（付記６）
異なる合焦被写体距離ごとに撮像された撮像画像データから、合焦被写体距離ごとに合焦された被写体画像データを抽出する第１の画像処理部と、
第１の合焦被写体距離に対応する前記抽出された被写体画像データの彩度が第１の彩度になるように、前記第１の合焦被写体距離より小さい第２の合焦被写体距離に対応する前記抽出された被写体画像データの彩度が前記第１の彩度より大きい第２の彩度になるようにそれぞれ彩度補正を行い、前記抽出された被写体画像データをそれぞれの前記合焦被写体距離に対応する視差量だけシフトして合成する第２の画像処理部とを有する処理装置。

（付記７）
付記６において、
前記第２の画像処理部は、前記抽出された被写体画像データの彩度が、前記異なる合焦被写体距離ごとに撮像された撮像画像データのいずれかにおける当該被写体画像データに対応する領域の彩度になるように前記輝度補正を行う処理装置。

（付記８）
異なる合焦被写体距離ごとに撮像された撮像画像データから、合焦被写体距離ごとに合焦された被写体画像データを抽出する第１の画像処理部と、
前記抽出された被写体画像データをそれぞれの前記合焦被写体距離に対応する視差量だけシフトして合成し、シフトされた前記被写体画像とシフトされる前の前記被写体画像の間の中間領域を所定の色で補完する第２の画像処理部とを有する処理装置。

（付記９）
付記８において、
前記所定の色は、シフトされた前記被写体画像データにおける前記中間領域付近の第１の領域の色、またはシフトされる前の前記被写体画像データの周辺付近の第２の領域における色である処理装置。

（付記１０）
付記８において、
前記所定の色は、シフトされた前記被写体画像データにおける前記中間領域付近の第１の領域の色と、シフトされる前の前記被写体画像データの周辺付近の領域における第２の領域の色により、前記第１、第２の領域からの距離に応じて補間された色である処理装置。

（付記１１）
異なる合焦被写体距離ごとに撮像された撮像画像データから、合焦被写体距離ごとに合焦された被写体画像データを抽出する第１の画像処理部と、
単一の前記撮像画像データから抽出された前記被写体画像データのうち、第１の視差量に対応する第１の被写体画像データが小さくなるように、前記第１の視差量より小さい第２の視差量に対応する第２の被写体画像データが大きくなるように前記第１、第２の被写体画像データを変形し、前記抽出された被写体画像データをそれぞれの前記合焦被写体距離に対応する視差量だけシフトして合成する第２の画像処理部とを有する処理装置。

（付記１２）
付記４乃至１１のいずれかにおいて、
前記第２の画像処理部は、第１の合焦被写体距離に対応する前記抽出された被写体画像データが第１の量の高周波成分を有し、前記第１の合焦被写体距離より小さい第２の合焦被写体距離に対応する前記抽出された被写体画像データが前記第１の量より大きい第２の量の高周波成分を有するようにぼかし処理を行う処理装置。

２：撮像装置、４：処理装置、６：レンズ部、７：撮像部、４１：撮像制御部、
４２：画像処理部、４２ａ：第１の画像処理部、４２ｂ：第２の画像処理部、
Ｄ１：合焦被写体距離、Ｍ１：合焦距離範囲、ＯＤ１：合焦被写体画像データ

Claims (5)

1. 異なる合焦被写体距離ごとに撮像された複数の撮像画像データそれぞれから、前記撮像画像データに含まれている被写体のうちで合焦されている被写体の画像データを有する合焦被写体画像データを前記異なる合焦被写体距離それぞれに対して抽出する第１の画像処理部と、
   前記第１の画像処理部で抽出されたそれぞれの合焦被写体画像データのうちで第１の合焦被写体距離に対応する第１の合焦被写体画像データの輝度が第１の輝度になるように、かつ、前記第１の合焦被写体距離より短い第２の合焦被写体距離に対応する第２の合焦被写体画像データの輝度が前記第１の輝度より大きい第２の輝度になるようにそれぞれ輝度補正を行い、前記輝度補正して生成された補正被写体画像データの被写体の位置をそれぞれの前記合焦被写体距離に対応する視差量に応じてシフトして生成された複数のシフト補正済被写体画像データを合成して画像データを生成する第２の画像処理部とを有する処理装置。
2. 前記第２の画像処理部は、前記第１の画像処理部で抽出されたそれぞれの合焦被写体画像データの輝度を補正する際に、前記抽出されたそれぞれの合焦被写体画像データの輝度を、前記異なる合焦被写体距離でそれぞれ撮像された複数の撮像画像データのいずれかの合焦被写体距離での撮像画像データにおける前記合焦被写体画像データに対応する領域の被写体画像データの輝度に補正する請求項１に記載の処理装置。
3. 異なる合焦被写体距離ごとに撮像された複数の撮像画像データそれぞれから、前記撮像画像データに含まれている被写体のうちで合焦されている被写体の画像データを有する合焦被写体画像データを前記異なる合焦被写体距離それぞれに対して抽出する第１の画像処理部と、
   前記第１の画像処理部で抽出されたそれぞれの合焦被写体画像データのうちで第１の合焦被写体距離に対応する第１の合焦被写体画像データの彩度が第１の彩度になるように、かつ、前記第１の合焦被写体距離より短い第２の合焦被写体距離に対応する第２の合焦被写体画像データの彩度が前記第１の彩度より大きい第２の彩度になるようにそれぞれ彩度補正を行い、前記彩度補正して生成された補正被写体画像データの被写体の位置をそれぞれの前記合焦被写体距離に対応する視差量に応じてシフトして生成された複数のシフト補正済被写体画像データを合成して画像データを生成する第２の画像処理部とを有する処理装置。
4. 前記第２の画像処理部は、前記第１の画像処理部で抽出されたそれぞれの合焦被写体画像データの彩度を補正する際に、前記抽出されたそれぞれの合焦被写体画像データの彩度を、前記異なる合焦被写体距離でそれぞれ撮像された複数の撮像画像データのいずれかの合焦被写体距離での撮像画像データにおける前記合焦被写体画像データに対応する領域の被写体画像データの彩度に補正する請求項３に記載の処理装置。
5. 前記第２の画像処理部は、前記第１の合焦被写体画像データが第１の量の高周波成分を有し、前記第２の合焦被写体画像データが前記第１の量の高周波成分より大きい第２の量の高周波成分を有するようにぼかし処理を行う請求項１乃至４のいずれか１項に記載の処理装置。

Images