JP6190119B2 - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に出力データから任意の被写体距離に合焦した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光場の情報、即ち光の強度分布と進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。このような撮像装置では、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法等が用いられている（特許文献１、２）。

一方、撮像素子に１つの画素についてフルカラーの画像信号を取得するためには、例えばＲＧＢの各色のフィルタが適用された光電変換素子が１画素内に設けられる必要がある。しかしながら、１画素内に光電変換素子を複数設ける場合、使用される光電変換素子の数が増大してしまう。このため、光電変換素子の数の低減を目的として、一般的には所謂ベイヤ配列のような、撮像素子の隣り合う画素に異なる色のフィルタが使用される。そして、１つの画素について取得されなかった色成分については、周辺の画素の出力信号から補間することで生成し、全画素についてフルカラーの画像信号を生成する方法（デモザイキング）が用いられている。

特開２００７−００４４７１号公報 特開２００９−１２４２１３号公報

上述した特許文献１及び２においても、最終的な出力画像のためにデモザイキング処理が行われている。具体的には特許文献１では、１つのマイクロレンズに割り当てられた画素群内で隣り合う画素に異なる色のフィルタが適用され、該画素群内でデモザイキング処理が行われる。また特許文献２では、１つのマイクロレンズに割り当てられた画素群には同一色のフィルタが適用され、マイクロレンズアレイにおいて隣り合うマイクロレンズについて、割り当てられた画素群に異なる色のフィルタが適用されている。そして特許文献２では、各マイクロレンズに割り当てられた画素群から同一画素位置の画素の信号を位置関係に合わせて結合した際に生成されるベイヤ配列の画像についてデモザイキング処理が行われる。

しかしながら、特許文献１及び２においてデモザイキング処理により得られる画像は、その補間方法に起因して、好適な画質とならないことがあった。

特許文献１において適用されるデモザイキング処理では、１つのマイクロレンズに割り当てられた画素群の画素について、周辺画素の信号から補間により不足している色成分の信号が生成される。しかし、上述したように１つのマイクロレンズを介して割り当てられた画素群に結像される光束は、それぞれ異なる瞳領域を通過した光束である。つまり、１つのマイクロレンズに割り当てられた画素群の各々が出力する画像信号は、光線方向が異なるため厳密に対応しておらず、補間を行う画素とは異なる被写体に対応する隣接画素の信号を用いて補間が行われる可能性があった。

また特許文献２において適用されるデモザイキング処理では、各マイクロレンズに割り当てられた画素群から、マイクロレンズとの相対的な位置関係が同一の画素の信号を結合して生成された画像において、周辺画素の信号から不足している色成分の信号を補間する。この場合、特許文献１とは異なり、生成される画像の画素は全て同一の瞳領域を通過した光束で生成される。しかし、生成された画像において、１つの画素に存在しない色成分の信号を生成するために周辺画素の信号を使用する場合、特にエッジや固定パターンが存在する領域で異なる被写体に対応する信号が参照され、偽色やモアレが発生する可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、好適に色再現した画像を再構成可能なＬＦデータを生成する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、同一時間に同一被写体を異なる視点につき撮像して得られた複数の画像信号であって、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す画像信号を取得する取得手段と、取得手段により取得された複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定する特定手段と、特定手段により特定された対応する画素の各々について、画素に存在しない色成分の信号強度を対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する生成手段と、を有し、特定手段は、複数の画像信号間の像の位相差を検出することで、同一被写体距離に存在する同一の被写体像に対応する画素を特定することを特徴とする。

このような構成により本発明によれば、好適に色再現した画像を再構成可能なＬＦデータを生成することが可能となる。

本発明の実施形態に係るカメラシステムに含まれるデジタルカメラ１００及びレンズ２００の機能構成を示したブロック図 本発明の実施形態に係る撮像部１０２の詳細構成を説明するための図 本発明の実施形態に係るデジタルカメラ１００において実行されるＬＦデータ生成処理を例示したフローチャート 本発明の実施形態に係る輝度画像間の位相差検出を実現するハードウェア構成を示した図 再構成画像の生成原理を説明するための図 本発明の実施形態に係る撮像素子１０９において適用される色フィルタの分布を例示した図 本発明の実施形態に係るデモザイキング処理の原理を説明するための図 本発明を適用可能な他の光学系を説明するための図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を取得可能な撮像装置を有するカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を取得可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。

・「ＲＡＷ−ＬＦデータ」
本実施形態のデジタルカメラ１００が有する撮像部１０２から出力される原画像信号。画像信号の画素の各々は、通過した撮像光学系２０２の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示す。また画像信号の各画素は、後述するように予め定められた複数の色成分のうちのいずれか１つの色成分についての信号強度を示す。ＲＡＷ−ＬＦデータは、光線空間情報とも呼ばれる。

・「ＬＦデータ」
ＲＡＷ−ＬＦデータに対してデモザイキング処理を適用することにより得られる画像信号。ＬＦデータの各画素は、予め定められた複数の色成分の全てについての信号強度の情報を有する。ＬＦデータの各画素は、ＲＡＷ−ＬＦデータの対応画素と瞳領域及び入射方向の組み合わせが同一の光束に対応しており、ＬＦデータを光線空間情報と呼んでもよい。

・「再構成画像」
ＬＦデータから生成される、任意の焦点面の位置に合焦した画像。具体的にはＬＦデータから同一の瞳領域を通過した画素で生成される複数（瞳分割数）の画像について、生成する被写体距離に存在する被写体の像が一致するように位置合わせを行い、対応する画素の画素値を合算（重ね合わせ）することで得られる画像。

《カメラシステムの構成》
図１は、本発明の実施形態に係るカメラシステムに含まれる、デジタルカメラ１００及びレンズ２００の機能構成を示すブロック図である。

〈デジタルカメラ１００の構成〉
カメラ制御部１０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。カメラ制御部１０１は、デジタルカメラ１００が有する各ブロックの動作プログラムをＲＯＭから読み出し、ＲＡＭに展開して実行することにより、デジタルカメラ１００が有する各ブロックの動作制御を行う。またカメラ制御部１０１は、撮像部１０２から出力される画像信号の解析により決定した焦点位置の情報や、決定した露出設定に対応する絞り値等の情報を、電気接点１０７を介してレンズ２００に送信する。

撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０２は、設定された露出設定に基づいて、カメラ制御部１０１により生成されたタイミング信号に基づいて撮像素子が有する各光電変換素子（画素）の露光及び読み出しを行う。そして撮像部１０２は、得られたＲＡＷ−ＬＦデータのアナログ画像信号を画像処理部１０３に出力する。具体的には撮像部１０２は、レンズ２００の撮像光学系２０２により撮像素子の受光面に結像された光学像を光電変換し、アナログ画像信号を出力する。

また本実施形態のデジタルカメラ１００では、撮像素子１０９の表面には、図２（ａ）に示されるようにマイクロレンズ２０が格子状に配列されたマイクロレンズアレイ１０８が配設される。マイクロレンズアレイ１０８の１つのマイクロレンズ２０は、図２（ｂ）に示されるように撮像素子１０９の複数の光電変換素子（画素）に対応付けられる。レンズ２００の撮像光学系２０２を介して入射した光束は、各マイクロレンズ２０により、対応付けられた撮像素子１０９の画素に結像されることで瞳分割される。即ち、対応付けられた撮像素子１０９の各画素には、対応付けられた画素位置に対応する撮像光学系２０２の瞳領域を通過した光束が結像される。図２（ｂ）の例では、１つのマイクロレンズ２０には５×５＝２５個の画素が対応付けられており、撮像光学系２０２の瞳分割数は２５となる。

図２（ｃ）は、１つのマイクロレンズに対応付けられた画素と、各画素に結像される光束が通過する撮像光学系２０２の射出瞳の瞳領域の対応関係を示した図である。なお、図２（ｃ）の例では簡単のため、１つのマイクロレンズ２０に対して水平方向５つの画素２１乃至２５がマイクロレンズ２０の中心を通る水平線上に並んで配置されているものとする。このとき、マイクロレンズ２０により各画素は、射出瞳面上における瞳領域３１乃至３５と共役関係になるように設計される。図２（ｃ）の例では、画素２１は瞳領域３１、画素２２は瞳領域３２、画素２３は瞳領域３３、画素２４は瞳領域３４、そして画素２５は瞳領域３５と共役関係にある。

また、本実施形態の撮像素子１０９では、撮像素子の各光電変換素子には予め定められた複数の色成分のフィルタのうち、いずれか１つの色成分のフィルタが適用されているものとする。例えば所謂ベイヤ配列に用いられるＲ、Ｇ、Ｂのフィルタが適用される場合、撮像素子全体においてＲ成分とＢ成分のフィルタは同数の画素に適用され、Ｇ成分のフィルタはそれらの２倍の数の画素に適用される。なお、各色成分のフィルタの配置については後述のデモザイキング処理の説明において詳述する。

画像処理部１０３は、撮像部１０２から出力されたＲＡＷ−ＬＦデータのアナログ画像信号に対して、所定の画像処理を実行する。具体的には画像処理部１０３は、入力されたアナログ画像信号に対するＡ／Ｄ変換処理、ホワイトバランス調整処理、ガンマ補正処理、デモザイキング処理等を行う。なお、本実施形態では画像処理部１０３は、得られたＬＦデータから再構成画像を生成する処理も行う。また画像処理部１０３は、上述した各工程で生成されるＲＡＷ−ＬＦデータ、ＬＦデータ、再構成画像や音声等のデータなどに、予め定められた符号化方式に応じて圧縮処理を実行する。また画像処理部１０３は、上述した各工程で生成されるＲＡＷ−ＬＦデータ、ＬＦデータ、再構成画像や音声等のデータをモードやユーザ指示に応じてメモリや記録媒体に記録するか、あるいは所定の形式に変換して外部に出力する。各種画像処理は、専用回路等により実現されてよい。

メモリ１０４は、記憶素子及び該記憶素子への読み書きを行う処理回路を有する。メモリ１０４は、記憶素子への出力を行うとともに、表示部１０５に出力する画像を保存する。またメモリ１０４は、符号化された画像、動画、音声データ等を保存する。

表示部１０５は、例えばＬＣＤ等のデジタルカメラ１００が備える表示装置である。表示部１０５には、撮像により得られたＬＦデータから生成された再構成画像等が表示される。

操作検出部１０６は、デジタルカメラ１００が有するレリーズボタン等のユーザインタフェースになされた操作を検出する。具体的には操作検出部１０６は、ユーザにより例えばレリーズボタンが操作されたことを検出すると、該操作に対応する制御信号をカメラ制御部１０１に出力する。

〈レンズ２００の構成〉
レンズ制御部２０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。レンズ制御部２０１は、ＲＯＭに格納されているレンズ２００が有する各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより、各ブロックの動作を制御する。レンズ制御部２０１は、電気接点１０７を介してカメラ制御部１０１より焦点位置や絞り値の情報を受信すると、該情報をレンズ駆動部２０３に伝送し、撮像光学系２０２の対応する光学部材を駆動させる。

撮像光学系２０２は、レンズ２００が有するレンズ群や絞り等で構成される。本実施形態では撮像光学系２０２は、少なくともフォーカスレンズ、シフトレンズ、及び絞りを含む。レンズ駆動部２０３は、レンズ制御部２０１から入力された情報に従い、撮像光学系２０２のフォーカスレンズ、シフトレンズ、及び絞りの駆動制御を行う。なお、本実施形態のレンズ制御部２０１には不図示の手振れ検出センサが接続されており、レンズ駆動部２０３はレンズ制御部２０１より入力された該センサの出力に応じてシフトレンズを駆動する。

《ＬＦデータ生成処理》
このような構成をもつ本実施形態のデジタルカメラ１００で行われるＬＦデータ生成処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、カメラ制御部１０１が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本ＬＦデータ生成処理は、例えばデジタルカメラ１００を用いて撮影が行われた際に開始されるものとして説明する。

Ｓ３０１で、画像処理部１０３はカメラ制御部１０１の制御の下、撮影により撮像部１０２から出力されたＲＡＷ−ＬＦデータのアナログ画像信号に対して、Ａ／Ｄ変換処理を適用し、ＲＡＷ−ＬＦデータのデジタル画像信号を生成する。

Ｓ３０２で、画像処理部１０３はカメラ制御部１０１の制御の下、ＲＡＷ−ＬＦデータを同一の瞳領域を通過した画素を位置関係に応じて結合し、瞳分割数のＲＡＷ画像を生成する。即ち、本実施形態において画像処理部１０３は、マイクロレンズアレイ１０８の各マイクロレンズに対応付けられた撮像素子の画素から、マイクロレンズとの相対的な位置関係が同一の画素が出力した画像信号を各々結合することで瞳分割数のＲＡＷ画像を生成する。具体的には図２（ｂ）の例では、各マイクロレンズ２０ａ、ｂ、ｃ、ｄに対応付けられた５×５の画素を、（１，１）、（１，２）、・・・、（５，５）の座標ごとに分類し、ＲＡＷ−ＬＦデータから同一の座標に分類された画素のみを用いて各画像を生成する。つまり、図２（ｂ）の例では、２５種類の画像が生成される。このようにして生成された画像は、それぞれ異なる瞳領域を通過した画像に対応しているため、同一時間に同一被写体をそれぞれ異なる位置で撮影して得られたＲＡＷ画像となっている。

Ｓ３０３で、画像処理部１０３はカメラ制御部１０１の制御の下、生成した瞳分割数のＲＡＷ画像の各々に対応する輝度画像を生成する。輝度画像は、例えば各画素について近傍のＲ、Ｇ、及びＢ成分の画素の画素値を重み付け加算することにより生成されてもよいし、Ｇ成分の画素のみが代表値として使用されて生成されてもよい。

なお、各画素に適用されるフィルタの分布によっては、輝度画像を生成不可能な色成分の組み合わせとなる場合がある。この場合、本ステップで生成される輝度画像の数は瞳分割数より少なくてもよい。

Ｓ３０４で、カメラ制御部１０１は、Ｓ３０２において生成された瞳分割数の輝度画像から輝度画像（注目輝度画像）を選択し、該画像を分割した各領域について他の輝度画像との画像信号間の位相差を検出する。即ち、本ステップにおいてカメラ制御部１０１は、注目輝度画像を分割した各領域に存在する被写体像について、注目輝度画像と他の輝度画像とのデフォーカス量を位相差検出方式で取得する。被写体が強い鏡面反射成分を有さないランバート面とみなせる場合、輝度画像において該被写体に対応する像は、光束が通過する分割瞳領域に依らず、即ち光束の入射方向に依らず同じ輝度値を示す。このためカメラ制御部１０１は、同一の被写体距離に存在する被写体が各ＲＡＷ画像においてどの位置に存在するかを把握することができる。

図４は、本ステップの処理をハードウェアとして実現する場合の例を示している。図４（ａ）に示されるように、比較対象となる注目輝度画像４０１と他の輝度画像４０２とが、位相差を検出する比較器４０３に入力される。そして比較器４０３は、注目輝度画像４０１を分割した各領域が他の輝度画像４０２においていずれの位置に存在するかを、位相を変更しながら、即ち比較対象とする領域を移動させながら探索する。図４（ｂ）、（ｃ）、及び（ｄ）はそれぞれ位相を変更しながら探索を行っている際の、探索方向のラインにおける注目輝度画像４０１と他の輝度画像４０２との信号レベル分布のずれを示している。ここで、図４（ｃ）は探索対象の領域について、ノイズの影響により多少のばらつきは生じるが、注目輝度画像４０１と他の輝度画像４０２の位相が一致したと判断する場合の例を示している。

なお、瞳分割数の輝度画像の中から位相差検出を行う画像の組み合わせは、光束が通過した瞳領域が同一の水平座標あるいは垂直座標を有する画像に限定してもよい。即ち、図２（ｂ）の分類における座標（１，１）と（１，５）に分類された画像、あるいは座標（１，１）と（５，１）に分類された画像を比較対象としてもよい。これらの画像はそれぞれ水平視差と垂直視差を有する関係にある画像である。

またこのように選択された視差を有する関係にある画像間ではエピポーラ拘束が生じるため、探索方向を限定することができる。即ち、水平視差を有する関係にある画像間では、注目輝度画像４０１の探索対象の領域４１１と同一の垂直座標を有する他の輝度画像４０２内の領域４１２について位相差検出を行えばよい。また垂直視差を有する関係にある画像間では、注目輝度画像４０１の探索対象の領域４１１と同一の水平座標を有する他の輝度画像４０２内の領域４１２について位相差検出を行えばよい。

比較器４０３は、例えば図４（ａ）に示されるように、注目輝度画像４０１の領域４１１について、他の輝度画像４０２の同一位置からｘ方向に領域４１２を移動させながら位相差が最も小さくなる位置を探索する。位相差が最も小さくなる位置の探索は、例えば差分絶対値の積分値ＳＡＤ（Sum of Absolute Difference）が最小となる箇所を探索することにより行われてよい。ＳＡＤは、注目輝度画像４０１の領域４１１内の画素をＡ（ｉ，ｊ）、他の輝度画像４０２において領域４１１の座標からｘ方向にΔｘだけ移動した位置に設定される探索対象の領域４１２内の画素をＢ（ｉ＋Δｘ，ｊ）とすると、
で算出することができる。このとき、ＳＡＤが最小となるΔｘが、最小となる位相差に相当する。なお、探索は画素単位で行われる必要はない。

また本実施形態では、各マイクロレンズ２０に割り当てられた画素群から１つずつ画素を抽出して輝度画像を生成している。このようにして生成された輝度画像は、撮像光学系２０２をマイクロレンズ２０に割り当てられた画素の数に分割した限定的な瞳領域を通過する、所謂絞り状態で得られた光束に対応している。即ち、被写界深度が深いため、様々な被写体距離に存在する被写体像について位相差が検出できる。しかしながら、本発明の実施において各被写体の位相差検出のために生成される輝度画像はこれに限られず、少なくとも２種類の瞳領域に対応する輝度画像が位相差検出のために用いられればよい。

Ｓ３０５で、カメラ制御部１０１は、Ｓ３０４において検出した位相差を考慮して画像処理部１０３にデモザイキング処理を行わせる。

（再構成画像の生成原理）
ここで、まず本実施形態のデモザイキング処理の説明を行う前に、デモザイキング処理後に得られるＬＦデータから再構成画像を生成する際の概要について、図５を参照して説明する。図５は、マイクロレンズアレイ１０８において水平方向に並んだマイクロレンズ２０について、図２（ｂ）に示した画素２１乃至２５の各々に対応する画素を連結させてＬＦデータから生成された画像の画素列（水平１ライン×５種類）を示している。

図において横軸はマイクロレンズアレイ１０８におけるマイクロレンズ２０の水平座標に対応しており、分割瞳領域に対応する画像における水平方向に並ぶ画素を座標順に示している。即ち、図示されるライン５０１は、１つの瞳領域を通過した光束で形成される画像の水平１ラインを示している。また図において縦軸は１つのマイクロレンズ２０に対応する画素群における水平方向の画素位置、即ち瞳領域の空間座標に対応している。なお、本例示では再構成画像の水平１ラインの生成について説明するが、他の水平ラインや垂直方向についても同様に処理すればよいことは容易に理解されよう。

再構成画像の水平１ラインの各画素は、このような５種類の水平ラインから適切な画素の画素値を積算することで生成される。積算に用いられる画素は、生成する再構成画像が対応する被写体距離（再構成画像において合焦する被写体に対応する距離）に応じて異なる。

例えば、ＬＦデータの撮影時に合焦していた被写体距離に存在する被写体については、光束が通過する撮像光学系２０２の瞳領域によらず、各マイクロレンズ２０に対応する画素群において同一の座標に結像される。即ち、該被写体については合焦しているため、瞳領域ごとに画像を生成したとしても該被写体の像に位相差は生じない。このため、撮影時に設定されていた被写体距離に合焦した再構成画像を生成する場合、各画素はマイクロレンズ２０に対応する画素群のうちの同一位置関係にある画素を足し合わせる、即ち図５において縦方向に並んだ画素群５０２が１画素の生成のために積算される。つまり、画素群５０２は、撮像時の焦点位置において合焦している被写体像の同一部分に対応する光束が通過する画素群である。図では画素群５０２についてのみ枠を用いて示したが、撮影時に設定された焦点位置に合焦した再構成画像の水平１ラインを生成するためには、横軸に並んだ他の画素についても同様に縦方向に並んだ画素群を積算すればよい。

一方、図２（ｂ）の画素２１に対応して生成された水平ラインと画素２５に対応して生成された水平ラインとにおいて、２画素分の位相差が生じている被写体に合焦した再構成画像を生成する場合、図５に示した画素群５０３が１画素の生成のために積算される。即ち、該被写体について合焦する被写体距離においては位相差がなくなるため、図示されたように画素群５０３の画素５０４と画素５０５は、該被写体距離に合焦した再構成画像において合焦する同一の被写体像についての光束に対応している。図では画素群５０３についてのみ枠を用いて示したが、撮影時に設定された焦点位置に合焦した再構成画像の水平１ラインを生成するためには、各画素について設定された同様の傾き（画像の位相差によって決まる）を有する枠に含まれる画素群を積算すればよい。

なお、再構成画像の生成において積算される画素群を示す枠の傾きは、生成する再構成画像に対応する焦点面の位置が、ＬＦデータの撮影時に設定されていた焦点位置から遠いか小さいかによって正負が異なる。

（デモザイキング処理の原理）
次に、本実施形態のデジタルカメラ１００の画像処理部１０３で行われるデモザイキング処理について図を参照して説明する。

本実施形態の撮像部１０２において撮像素子１０９の各画素に適用される色フィルタの分布は、例えば図６のようにされる。図６の（ａ）及び（ｂ）は各々、図２（ｂ）と同様に各マイクロレンズ２０に対して５×５の画素が割り当てられているものとする。

図６（ａ）の例では、撮像素子１０９の各画素には隣接する画素と異なる色フィルタが、所謂ベイヤ配列に従って適用されている。即ち、図示されるように撮像素子１０９において、行方向にＧ成分のフィルタとＲ成分のフィルタとが繰り返し適用される行と、行方向にＢ成分のフィルタとＧ成分のフィルタとが繰り返し適用される行とが、列方向に繰り返し設けられている。適用する色フィルタの配置をこのようにすることで、各分割瞳領域についてのＲＡＷ画像において、ベイヤ配列が形成される。即ち、図６（ａ）に示されるように、図２（ｂ）における画素２１に対応する位置に分類された画素を各マイクロレンズ２０から抽出して生成されたＲＡＷ画像において２×２の画素群に注目すると、画素群６０１のようにベイヤ配列となる。また同様に、図２（ｂ）における画素２５に対応する位置に分類された画素を各マイクロレンズ２０から抽出して生成されたＲＡＷ画像において２×２の画素群に注目すると、画素群６０２のようにベイヤ配列となる。

なお、図６（ａ）の例については、マイクロレンズ２０について割り当てられる撮像素子１０９の画素が、奇数行×奇数列となっていることが必要である。即ち、瞳領域が奇数行×奇数列の領域に分割される場合にのみ、各分割瞳領域についてのＲＡＷ画像をベイヤ配列とすることができる。

一方、図６（ｂ）の例では、レンズ２００について割り当てられる撮像素子１０９の画素についての条件はない。図６（ｂ）の例では、隣接するマイクロレンズ２０について異なる色フィルタが、あるいは隣接するマイクロレンズ２０に割り当てられた画素について異なる色フィルタが適用されている例を示している。図示されるように、マイクロレンズ２０に対応する画素群ごとに適用される色フィルタをベイヤ配列に従って規定することで、各分割瞳領域についてのＲＡＷ画像において注目した２×２の画素群は、画素群６１１及び６１２のようにベイヤ配列となる。

なお、以下の説明において撮像素子１０９の各画素に適用される色フィルタは、図６（ａ）や図６（ｂ）のように設定されるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、撮像素子１０９における各色成分のフィルタの分布は、同一の瞳領域に対応するＲＡＷ画像を生成した際に異なる色成分の信号強度を示す画素が隣接していればよい。

このような各分割瞳領域についてのベイヤ配列を有するＲＡＷ画像を用いて、画像処理部１０３は各画素について不足する色成分の信号強度を取得する。

例えば図７（ａ）及び（ｂ）に示されるように、撮影時にデジタルカメラ１００からの距離が異なる被写体７０１及び７０２が画角に含まれる場合について考える。また、該状況についてのＲＡＷ−ＬＦデータが、被写体７０１と被写体７０２の中間にある任意の距離７０３の被写体に合焦する設定で取得されたとする。このとき、ＲＡＷ−ＬＦデータから生成した各分割瞳領域についてのＲＡＷ画像は、再構成画像を生成する際と同様に、特定の被写体距離で位相差がなくなる被写体に注目することで、各画素に不足している色成分の信号強度を補間することができる。

図７（ｃ）及び（ｄ）は、図５と同様に、図２（ｂ）の画素２１乃至２５に対応する分割瞳領域についてのＲＡＷ画像の水平１ラインを、Ｇ成分に注目して示している。

例えば被写体７０１について、画素２１に対応して生成された水平ラインと画素２５に対応して生成された水平ラインにおいて４画素分の位相差が検出されたとする。このとき図７（ｃ）に示されるような画素群７１０が、被写体７０１の像の同一部分に対応している場合、画素群７１０に含まれる画素７１１乃至７１５は、原理的に同一のＧ成分を有することになる。即ち、例えばＧ成分の信号強度を示さない画素７１２及び７１４のそれぞれについて、画素７１１と７１３、画素７１３と７１５のＧ成分の信号から補間してＧ成分の信号を生成することで、不自然な色補間の発生を回避することができる。つまり、少なくとも被写体７０１については、該被写体に焦点があった再構成画像を生成した場合に、再構成画像において該被写体の像の偽色やモアレの発生を低減することができる。このとき、補間に用いられる画素は視点位置が近い、即ち光束が通過した瞳領域が近い画素を用いることで、遮蔽等の影響を受けない、より自然な色補間とすることができる。

また例えば被写体７０２について、画素２１に対応して生成された水平ラインと画素２５に対応して生成された水平ラインにおいて被写体７０１とは逆方向に４画素分の位相差が検出されたとする。このとき図７（ｄ）に示されるような画素群７２０が、被写体７０２の像の同一部分に対応している場合、画素群７２０に含まれる画素７２１乃至７２５は、原理的に同一のＧ成分を有することになる。即ち、例えばＧ成分の信号強度を示さない画素７２２及び７２４のそれぞれについて、画素７２１と７２３、画素７２３と７２５のＧ成分の信号から補間してＧ成分の信号を生成することで、不自然な色補間の発生を回避することができる。つまり、少なくとも被写体７０２については、該被写体に焦点があった再構成画像を生成した場合に、再構成画像において該被写体の像の偽色やモアレの発生を低減することができる。

このように、本実施形態の画像処理部１０３では、位相差が検出できた被写体については、該被写体像に対応する画素において不足している色成分の信号強度を、同一の像についての光束が結像された、他の画素の信号を利用して補間することができる。

なお、本実施形態では特定の画素について不足している色成分の信号強度を、同一の像についての光束が結像された複数の画素の信号から生成するものとして説明した。しかしながら、原理的にはこれらの画素は同一の信号強度を示すはずであるので、不足している色成分の信号強度については、同一の像に対応するいずれかの画素の該色成分の信号強度を代入してもよい。

また位相差が検出できなかった被写体については従来の手法と同様に、分割瞳領域の各々についてのＲＡＷ画像内で、該被写体に対応する画素の周囲の画素を用いて不足している色成分の信号強度を補間すればよい。この際、位相差が検出できた被写体についての色成分を先行して補間しておくことで、偽色やモアレの発生をある程度低減することが可能である。

Ｓ３０５におけるデモザイキング処理が完了した後、カメラ制御部１０１は出力されたＬＦデータを不図示の記録媒体に記録し、本ＬＦデータ生成処理を完了する。

なお、本実施形態ではデモザイキング処理において、被写体の位相差が検出可能か否かに応じて不足している色成分の補間を同一の分割瞳領域についてのＲＡＷ画像内で行うか否かを分けるものとして説明した。しかしながら、他の分割瞳領域についてのＲＡＷ画像の画素を用いて補間を行う場合は上述したように、少なくとも位相差の検出対象とする２つの輝度画像において検出対象の被写体がランバート面であることが条件となる。このため、位相差検出を行う際にＳＡＤの極小値が予め定められた値よりも大きく、ランバート面とみなすことができない類似度である場合は、該被写体については同一の分割瞳領域についてのＲＡＷ画像内の周辺画素を用いて補間を行うようにしてもよい。

また、本発明は図８に示すような他の光学系についても適用可能である。図８は物体（被写体）からの光束が撮像素子１０９上に結像する状態を模式的に示した図である。図８（ａ）は図２で説明した光学系と対応しており、撮像光学系２０２の結像面近傍にマイクロレンズアレイ１０８を配置した例である。図８（ｂ）は撮像光学系２０２の結像面よりも物体寄りにマイクロレンズアレイ１０８を配置した例である。図８（ｃ）は撮像光学系２０２の結像面よりも物体から遠い側にマイクロレンズアレイ１０８を配置した例である。

図８において、図２と共通する構成については同じ参照数字を付し、重複する説明を省略する。５１は物体平面であり、５１ａ、５１ｂは物体平面上の任意の点である。５２は撮像光学系２０２の瞳平面を、６１、６２、７１、７２、７３、８１、８２、８３、８４はマイクロレンズアレイ１０８上の特定のマイクロレンズをそれぞれ示している。

また、図８（ｂ）および（ｃ）においては、図８（ａ）との対応関係を明確にするために、仮想的な撮像素子１０９ａ及び仮想的なマイクロレンズアレイ１０８ａを示した。また、物体平面上の点５１ａから瞳平面５２の瞳領域３１および３３を通過する光束を実線で、物体平面上の点５１ｂから瞳平面５２の瞳領域３１および３３を通過する光束を破線で図示した。

図８（ａ）の例では、図３でも説明したように、撮像光学系２０２の結像面近傍にマイクロレンズアレイ１０８を配置することで、撮像素子１０９と撮影光学系の瞳平面５２が共役の関係にある。さらに、物体平面５１とマイクロレンズアレイ１０８が共役の関係にある。このため物体平面５１上の点５１ａからの光束はマイクロレンズ６１に、点５１ｂからの光束はマイクロレンズ６２に到達し、瞳領域３１から３５それぞれを通過した光束はマイクロレンズに対応するように設けられた画素に到達する。

図８（ｂ）の例では、マイクロレンズアレイ１０８によって撮像光学系２０２からの光束を結像させ、その結像面に撮像素子１０９を設けている。このように配置することで、物体平面５１と撮像素子１０９とは共役の関係になる。物体平面５１上の点５１ａから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ７１に到達し、点５１ａから瞳平面上の瞳領域３３を通過した光束はマイクロレンズ７２に到達する。また、物体平面５１上の点５１ｂから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ７２に到達し、点５１ｂから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。このように、物体平面からの光束は、その出射位置と、通過する瞳領域に応じて撮像素子１０９の撮像面における異なる位置に結像する。これらを、仮想的な撮像面５０における位置に並べなおせば、図８（ａ）の撮像面で得られる情報と同様の情報を得ることができる。即ち、通過した瞳領域（入射角度）と撮像素子１０９上の位置の情報を得ることができる。

図８（ｃ）の例では、マイクロレンズアレイ１０８で撮像光学系２０２からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼ぶ）、その再結像面に撮像素子１０９の撮像面を配置する。このように配置することで、物体平面５１と撮像素子１０９は共役の関係となる。物体平面５１上の点５１ａから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ８２に到達し、点５１ａから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ８１に到達する。また、物体平面５１の点５１ｂから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ８４に到達し、点５１ｂから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。

図８（ｂ）の場合と同様に、撮像素子１０９で得られた画素の信号を、仮想的な撮像面５０における位置に並び替えれば、図８（ａ）の撮像面で得られる情報と同様の情報を得ることができる。即ち、通過した瞳領域（入射角度）と撮像素子１０９上の位置の情報を得ることができる。

なお、図８ではマイクロレンズアレイ１０８（位相変調素子）を用いて瞳分割を行い、光束の位置情報と角度情報を取得する構成例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の構成も利用可能である。例えば、基本パターンの繰り返しから構成されるパターンマスク（ゲイン変調素子）をマイクロレンズアレイ１０８の代わりに用いる構成であってもよい。また図８（ｄ）に示すような多眼光学系（カメラアレイ）にも、本発明は適用可能である。図８（ｄ）において、各多眼光学系の各カメラは、図８（ａ）乃至（ｃ）における瞳領域３１乃至３５に対応する位置に撮像光学系を配置し、各撮像素子１０９ａ乃至ｃに像を結像させる。このようにして各撮像素子から得られる画像は、撮影位置が異なっており、上述した各分割瞳領域についてのＲＡＷ画像に対応している。このため、各カメラの位置関係に応じて同一の被写体像が結像される画素を特定することで、各画素について不足している色成分の信号強度を好適に補間することができる。

以上説明したように、本実施形態の画像処理装置は、好適に色再現した画像を再構成可能なＬＦデータを生成することができる。具体的には画像処理装置は、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号であって、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す画像信号を取得する。そして取得した複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定し、該対応する画素の各々について、画素に存在しない色成分の信号強度を対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 同一時間に同一被写体を異なる視点につき撮像して得られた複数の画像信号であって、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す画像信号を取得する取得手段と、
   前記取得手段により取得された前記複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定する特定手段と、
   前記特定手段により特定された前記対応する画素の各々について、画素に存在しない色成分の信号強度を前記対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する生成手段と、を有し、
   前記特定手段は、前記複数の画像信号間の像の位相差を検出することで、前記同一被写体距離に存在する同一の被写体像に対応する画素を特定することを特徴とする画像処理装置。
2. 前記生成手段は、前記画素に存在しない色成分の信号強度として、前記他の画素の該色成分の信号強度を使用することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記画素に存在しない色成分の信号強度を、前記他の画素の該色成分の信号強度を用いて補間することを特徴とする請求項１に記載の画像処理装置。
4. 前記生成手段は、前記対応する画素のうちの１つの前記画像信号に含まれる画素について、該１つの画像信号の撮影位置の近傍で撮影された前記画像信号から前記特定手段により特定された画素の信号強度を用いて補間することを特徴とする請求項３に記載の画像処理装置。
5. 前記複数の画像信号は、撮像装置により撮像された原画像信号であって、画素の各々が、前記撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応した、前記複数の色成分のうちのいずれか１つの色成分の信号強度を示す原画像信号から、同一の瞳領域を通過した光束に対応する画素を結合させることで各々得られることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成手段により前記画素に存在しない色成分の信号強度が生成された画像信号を記録する記録手段をさらに有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 同一時間に同一被写体を異なる視点につき撮像し、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す複数の画像信号を出力する撮像手段と、
   前記撮像手段により出力された前記複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定する特定手段と、
   前記特定手段により特定された前記対応する画素の各々について、画素に存在しない色成分の信号強度を前記対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する生成手段と、を有し、
   前記特定手段は、前記複数の画像信号間の像の位相差を検出することで、前記同一被写体距離に存在する同一の被写体像に対応する画素を特定する
   ことを特徴とする撮像装置。
8. 画像処理装置の取得手段が、同一時間に同一被写体を異なる視点につき撮像して得られた複数の画像信号であって、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す画像信号を取得する取得工程と、
   前記画像処理装置の特定手段が、前記取得工程において取得された前記複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定する特定工程と、
   前記画像処理装置の生成手段が、前記特定工程において特定された前記対応する画素の各々について、画素に存在しない色成分の信号強度を前記対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する生成工程と、を有し、
   前記特定工程において、前記複数の画像信号間の像の位相差を検出することで、前記同一被写体距離に存在する同一の被写体像に対応する画素が特定される
   ことを特徴とする画像処理装置の制御方法。
9. 撮像装置の撮像手段が、同一時間に同一被写体を異なる視点につき撮像し、各画素が予め定められた複数の色成分のうちのいずれか１つの色成分の信号強度を示す複数の画像信号を出力する撮像工程と、
   前記撮像装置の特定手段が、前記撮像工程において出力された前記複数の画像信号のうち、同一被写体距離に存在する同一の被写体像に対応する画素を特定する特定工程と、
   前記撮像装置の生成手段が、前記特定工程において特定された前記対応する画素の各々について、画素に存在しない色成分の信号強度を前記対応する画素のうちの他の画素の該色成分の信号強度を用いて生成する生成工程と、を有し、
   前記特定工程において、前記複数の画像信号間の像の位相差を検出することで、前記同一被写体距離に存在する同一の被写体像に対応する画素が特定される
   ことを特徴とする撮像装置の制御方法。
10. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
11. コンピュータに、請求項９に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。