JP6003983B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００３−７９９４号公報

左右の視差に関する情報を生成する場合には、左右の視差画像におけるぼけ領域をパターンマッチングする必要がある。パターンマッチングは、視差画像におけるエッジ部分を利用して行われる。しかしながら、ぼけ領域ではエッジ部分が抑制されるので、パターンマッチングの精度が悪いという問題があった。

本発明の第１の態様における画像処理装置は、１つの光学系を通して撮像された被写体像の第１視点方向の画像と第２視点方向の画像の少なくとも２つの視差画像を入力する手段と、各画素で第１視点方向の画像と第２視点方向の画像の間の相加平均と相乗平均を算出する手段と、各画素で相加平均と相乗平均の比を算出する手段と、比に基づいて第１視点方向の画像と第２視点方向の画像の間の視差量を各々の画素について算出する手段とを備える。

本発明の第２の態様における画像処理装置は、１つの光学系を通して撮像された被写体像の第１視点方向の画像と第２視点方向の画像の少なくとも２つの視差画像を入力する手段と、各画素で第２視点方向の画像と第１視点方向の画像の間の差分を算出する手段と、第１視点方向の画像と第２視点方向の画像の平均値からなる中間視点の画像に対して、視点が変化する方向に成分をもつ一次微分を各々の画素について算出する手段と、差分の符号と一次微分の符号の積に基づいて、光学系の合焦位置より手前にある被写体像か奥にある被写体像かを区別する手段とを備える。

本発明の第３の態様における画像処理装置は、少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１画像データと、第２視点に対応する第２画像データを取得する画像データ取得部と、第１画像データと第２画像データの対応するそれぞれの画素値を加算演算した値と積算演算した値の比を算出して、第１視点と第２視点の視差に関する評価データを第１画像データおよび第２画像データに対応させて生成する評価データ生成部とを備える。

本発明の第４の態様における撮像装置は、撮像素子と、上記の画像処理装置とを備える撮像装置であって、第１画像データおよび第２画像データは、撮像素子の出力に基づいて生成される。

本発明の第５の態様における画像処理プログラムは、少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１画像データと、第２視点に対応する第２画像データを取得する画像データ取得ステップと、第１画像データと第２画像データの対応するそれぞれの画素値を加算演算した値と積算演算した値の比を算出して、第１視点と第２視点の視差に関する評価データを第１画像データおよび第２画像データに対応させて生成する評価データ生成ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラ１０の構成を説明する図である。 撮像素子１００の断面の構成を説明する図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。 非合焦領域に存在する物点の点像分布を示す図である。 画素配列の一例を示す図である。 撮影状況および撮影画像を説明するための図である。 正の値の強度分布を視差マップとした場合を説明する図である。 正の値の強度分布を視差マップとした場合を説明する図である。 正負の値の強度分布を視差マップとした場合を説明する図である。 画素配列のバリエーションを示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて左視点および右視点の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、およびＬＣＤ駆動回路２１０を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向を＋Ｘ軸方向、紙面上方向＋Ｙ軸と定める。撮影における構図との関係は、Ｘ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が画素として配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換し、Ａ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２へ出力される画像信号は、左視点および右視点の画像信号を含む。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、左視点に対応する画像データと右視点に対応する画像データを生成する。画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。

画像処理部２０５はさらに、左視点と右視点の視差に関する評価データを生成する。詳しくは後述するが、評価データは、合焦位置に対する被写体の奥行きに関する位置情報を示す視差マップデータと捉えることができる。

画像処理部２０５によって生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。評価データも表示部２０９に表示されてもよい。また、生成された画像データおよび評価データは、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、評価データを解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子１００の断面を表す概略図である。

撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられ、二次元的に繰り返し配列された開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列すると良い。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭｇの補色フィルタの組合せであっても良い。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。

また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担っても良い。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されても良い。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。

次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する図である。図３は、視差なし画素におけるデフォーカスの概念を説明する図である。図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

一方、図３（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

図３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

図３（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。

図４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。

図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図４（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ぼけ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。

また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ぼけ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。

図４（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図４（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。

図３で説明した光強度分布の変化と、図４で説明した光強度分布の変化をそれぞれグラフ化すると、図５のように表される。図５は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークと同様であるので、省略している。

図５（ａ）は、図３で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図３（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図３（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図３（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

図５（ｂ）は、図４で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）に対して同等のデフォーカス状態である図３（ｂ）の分布曲線１８０２と相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）に対して同等のデフォーカス状態である図３（ｃ）の分布曲線１８０３と相似形状を示す。なお、図４（ｄ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布は、図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線１８０８と分布曲線１８０７に相当する。

図６は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図６（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図６（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。本実施形態においては、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。

図６（ｂ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。また、曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りとしての機能を発揮する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のぼけ幅は、図５（ｂ）の合成分布曲線１８０６で示される、Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のぼけ幅と同程度となる。

図６（ｃ）は、図６（ａ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。図６（ｃ）の曲線Ｌｔ、曲線Ｒｔは、開口部１０４ｎを有する視差なし画素のぼけ幅がＬｔ画素と視差Ｒｔ画素を足し合わせた曲線のぼけ幅と同程度となるという関係を維持しつつ、図６（ｂ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。

次に、視差の検出方法の考え方について述べる。詳しくは後述するが、単眼瞳分割撮像方式では、被写体像のぼけ幅を推定すれば等価的に視差量を検知したことになる。

図７は、非合焦領域に存在する物点の点像分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は、画素値を表す。図７（ａ）、（ｂ）では、左視点の点像分布Ｌｔと右視点の点像分布Ｒｔは、図６で示した左右の視差画素の開口部が半開口である場合における、水平方向のぼけ幅を示している。

図７（ａ）の左視点の点像分布Ｌｔと右視点の点像分布Ｒｔは、画素位置ｘの関数で表される。左視点の点像分布Ｌｔと右視点の点像分布Ｒｔの相加平均も画素位置ｘの関数で表される。例えば、画素位置ｘ１においては、ＬｔもＲｔも画素値を持つので、演算結果は正の値となる。画素位置ｘ２においては、Ｌｔは画素値を持たないものの、Ｒｔは画素値を持つので、演算結果はやはり正の値となる。以上のように、相加平均を算出する場合には、ＬｔとＲｔのいずれかが画素値を持てば、その演算結果は正の値となる。したがって、各画素位置における点像分布Ｌｔと点像分布Ｒｔの相加平均は、全体としてみると、図７（ａ）に示すように、点像分布ＬｔおよびＲｔの広がり幅の和となる。これは、図６で示した全開口の開口部を有する視差なし画素に対応したぼけ幅に相当する。

なお、相加平均は、点像分布ＬｔおよびＲｔの広がり幅の和を捉えるための演算の一例である。点像分布ＬｔおよびＲｔの広がり幅の和を捉えることができるのであれば、他の演算を利用してもよい。

左視点の点像分布Ｌｔと右視点の点像分布Ｒｔの相乗平均も画素位置ｘの関数で表される。例えば、画素位置ｘ１においては、ＬｔもＲｔも画素値を持つので、演算結果は正の値となる。一方、画素位置ｘ２においては、Ｒｔは画素値を持つものの、Ｌｔは画素値を持たないので、演算結果は０となる。以上のように、相乗平均を算出する場合には、ＬｔとＲｔのいずれもが画素値を持つ場合に、その演算結果は正の値となる。したがって、各画素位置における点像分布Ｌｔと点像分布Ｒｔの相乗平均は、全体としてみると、図７（ｂ）に示すように、点像分布ＬｔおよびＲｔの広がり幅の積となる。相乗平均の広がり幅は、相加平均に比べて狭くなり、視差量が増えると相対的に更に小さくなるので、視差量に相関を持つといえる。

なお、相乗平均は、点像分布ＬｔおよびＲｔの広がり幅の積を捉えるための演算の一例である。点像分布ＬｔおよびＲｔの広がり幅の積を捉えることができるのであれば、他の演算を利用してもよい。なお、一般的に、被写体は物点の集合と考えることができるので、画像は各物点に対する点像の積分ということができる。よって、画像のぼけは、上述した点像分布のぼけと同様に考えることができる。

また、被写体像のぼけ幅、視差量は、光学的な条件に影響される。例えば、絞り値をＦ１．４で撮影した場合は、Ｆ８で撮影した場合よりぼけ幅は広くなる。つまり、ぼけ幅は、撮影時の絞り値に影響される。また、絞り値をＦ１．４で撮影した場合は、Ｆ８で撮影した場合より視差量は大きくなる。つまり、視差量も撮影時の絞り値に影響される。したがって、ぼけ幅および視差量のそれぞれは、絞り値によって差が生じる。各画素において相加平均と相乗平均の比を取ると、絞り値に応じた視差量が算出される。被写体像のぼけ幅の比に関する情報は、図４に示した関係を用いると、焦点面からの距離情報を表現することになる。

単眼瞳分割撮像方式に固有の特性である、ぼけ幅が大きくなるほど視差が大きくなる性質を考えると、視差が大きくなるほど相加平均と相乗平均の比が大きくなるといえる。相加平均と相乗平均は、和と積の関係に相当するからである。合焦位置の被写体では、左視差の点像分布と右視差の点像分布が一致するので、相加平均と相乗平均の結果も一致する。したがって、相加平均と相乗平均の比の値は、１以上となる。相加平均と相乗平均の比の値が１になるのは合焦位置であり、合焦位置から離れた被写体になるほど、その値は大きくなる。実験的に、視差が最も大きくなるレンズの絞りを開放位置に持ってきた条件で求めてみると、最大でもその比の値は、２程度の範囲に収まる。

したがって、下記の（式２）を定義すると、合焦位置では視差がゼロで、非合焦位置では視差の値が大きくなる指標が得られる。ここでは、合焦位置における相加平均と相乗平均の比の値（基準値）が０となるよう、相加平均と相乗平均の比の値を−１している。

（式２）は、各画素の２次元マップを表すので、そのまま視差マップとして定義することができる。（式２）の右辺における第１項の分子は、全開口の画素のぼけ幅を表し、分母は半開口の画素のぼけ幅を表していると考えると、以下のような２つの比もぼけ幅の比を捉えていると考えることができる。

ただし、式（３）、（４）では、画像構造に関する情報は完全に排除されていない。なぜなら、分母と分子の間で視差が存在するため同じ画素位置で異なる被写体の画像構造の比をとっている。そこで、画像構造に関する情報を排除するために、以下のような２つの共役な式を定義する。

（式５）と（式６）は、（式２）を用いて表すことができる。

（式７）の右辺に着目すると、相加平均と相乗平均のぼけ幅の比を二乗したようなスケールで変化する視差マップを抽出している。（式８）の右辺に着目すると、第２項で相加平均と相乗平均のぼけ幅の比を捉えつつ、第１項では画像構造に関する要因を分母で排除しながら、左視差画像と右視差画像の信号変化に起因した何らかの符号要因を分子で捉えている。

一般に、立体撮像光学系において、光学系の焦点位置に位置する被写体像に対して、それより手前にある被写体像は、左視差画像においては右側に、右視差画像においては左側に像がぶれる。一方、それより奥にある被写体像は、左視差画像においては左側に、右視差画像においては右側に像がぶれる。（式８）には、その変化方向を捉えた情報が含まれている。

実験的に、（式８）が表す意味を分析した結果、次の事実が判明した。すなわち、合焦域より前に存在する被写体領域（前ピン領域）では、被写体像が右側に行くほど明るくなる領域では正の符号となり、被写体像が右側に行くほど暗くなる領域では負の符号となる。それとは反対に、合焦域より後ろに存在する被写体領域（後ピン領域）では、被写体像が右側に行くほど明るくなる領域では負の符号となり、被写体像が右側に行くほど暗くなる領域では正の符号となる。

したがって、右側に行くほど暗くなる被写体領域の符号を反転する操作を加えれば、合焦点より手前にある被写体なのか奥にある被写体なのかを判別することが可能になる。すなわち、（式８）の右辺の第１項の符号から、被写体の画像構造に起因する符号要因を排除することができれば、（式８）は、合焦点から前後の位置関係を符号として捉え、かつ、合焦点からの距離に比例して視差量が増える符号付き視差情報を捉えることできるようになる。

（式８）の符号から画像構造要因の符号を排除するには、被写体像の水平方向の一次微分の符号を掛け合わせるとうまく排除することができる。被写体像の代表として、視差のない画像を参照することにする。左視差画像と右視差画像の相加平均画像をＮで表すと以下の（式９）となる。

したがって、新たに以下の量を定義すると符号付き視差マップを得ることできる。

（式１０）の右辺に示すように、一次微分の符号を視差画像間の差分と相乗平均の比に乗算することによって、当該比の値の正負を補正することができる。ここで、ｓｉｇｎ（ｘ）は、以下の（式１１）で示す通りである。

（式１１）を一般化して、閾値Ｔｈに対して以下のように定義することもできる。閾値Ｔｈの大きさは、画像データのノイズの揺らぎを基準に設定される。

このように、単眼瞳分割撮像方式においては、ぼけの中に視差が含まれることに着目して、極めて単純な平均操作をするだけの演算でぼけ幅を推定し、各点の視差情報を得ることが可能になる。

なお、得られる視差情報は、平坦部領域ではゼロとなる視差情報である。すなわち、被写体のエッジ部領域で検出されるぼけ幅が同定される。したがって、画像のエッジ部領域に着眼した視差マップ情報となる。これは、画像の領域単位の視差マップ情報ではない。ゆえに、被写体像がエッジ領域から平坦部領域に移行するにしたがって、視差が消滅するような視差の分布情報が得られる。

＜実施形態１＞
画像処理の手順は、およそ以下の通りである。
１）モノクロ・視差多重化モザイク画像データ入力
２）左右の視差画像の生成
３）視差マップの生成
以下、順に説明する。

１）モノクロ・視差多重化モザイク画像データ入力
図８は、画素配列の一例を示す図である。撮像素子１００は、図の太線で示す２×２画素のパターン１１０を基本格子とする。パターン１１０において、左上の画素および右下の画素に視差Ｌｔ画素が割り当てられている。左下の画素および右上の画素に視差Ｒｔ画素が割り当てられている。

図８の画素配列の画像データを入力する。視差の多重化された単板式モザイク画像データをＭ（ｘ，ｙ）で表す。これをＲＡＷデータと呼ぶこともある。

２）左右の視差画像の生成
画像処理部２０５は、モザイク画像データＭ（ｘ，ｙ）から左視差画素のみの画素データを取り出した左視差画像データと、右視差画素のみの画素データを取り出した右視差画像データとを作成する。左視差画像データおよび右視差画像データのそれぞれの空格子点に相当する画素値を周辺の画素値を用いて補間処理を行う。最も単純には、上下左右に存在する４点の単純平均値を採用する。あるいは、縦方向と横方向の間で方向判定を行って、相関の高い方向から補間値を算出するようにしてもよい。このようにして全画素に画素値を有するよう生成された左視差画像データと右視差画像データをそれぞれＬｔ（ｘ，ｙ）、Ｒｔ（ｘ，ｙ）で表す。

３）視差マップの生成
画像処理部２０５は、左視差画像データＬｔ（ｘ，ｙ）と右視差画像データＲｔ（ｘ，ｙ）を生成すると、左視差画像データＬｔ（ｘ，ｙ）および右視差画像データＲｔ（ｘ，ｙ）の対応するそれぞれの画素値を用いて、相加平均と相乗平均の比による符号なし視差マップを生成する。すなわち、（式２）の０以上の正の値の強度分布を視差マップとする。もう一度、定義式を書くと、（式２）は以下の通りである。

次に、視差マップの表示の具体例について説明する。図９は、撮影状況および撮影画像を説明するための図である。図９（ａ）は、デジタルカメラ１０と各被写体との距離を示す概念図である。手前から順に四角形３０１、三角形３０２および円３０３が存在している。図９（ｂ）は、表示部２０９に表示される撮影画像を示す図である。ここでは、四角形３０１、三角形３０２および円３０３のうち、三角形３０２にピントが合った状態で撮影されたものとする。また、四角形３０１、三角形３０２および円３０３は黒色であり、背景領域は白色である。

図１０は、正の値の強度分布を視差マップとした場合を説明する図である。図１０は、（式２）を利用した場合の視差マップの表示例を示す。四角形３０１および円３０３は非合焦位置に存在するので、（式２）においてＤ（ｘ、ｙ）の値は０より大きくなる。したがって、図１０に示すように、四角形３０１および円３０３のエッジ部分がＤ（ｘ、ｙ）の値に応じた強度で現れる。一方、三角形３０２は合焦位置に存在するので、Ｄ（ｘ、ｙ）の値は０となる。したがって、三角形３０２のエッジ部分は現れない。

＜実施形態２＞
実施形態１では、画像処理部２０５は、（式２）を用いて視差マップを生成したが、ここでは、（式５）を用いて符号なし視差マップを生成する。すなわち、（式５）の０以上の正の値の強度分布を視差マップとする。もう一度、定義式を書くと、（式５）は以下の通りである。

図１１は、（式５）を利用した場合の視差マップの表示例を示す。上述したように、（式５）では、相加平均と相乗平均のぼけ幅の比を二乗したようなスケールで変化する視差マップを抽出する。したがって、図１０に示す四角形３０１および円３０３のエッジ部分に比べて、図１１に示す四角形３０１および円３０３のエッジ部分がより強調される。

＜実施形態３＞
画像処理部２０５は、（式１０）を用いて符号付き視差マップを生成する。すなわち、（式１０）の正負の値の強度分布を視差マップとする。もう一度、定義式を書くと、（式１０）は以下の通りである。

ここに、水平方向の微分は次のように定義する。

図１２は、正負の値の強度分布を視差マップとした場合を説明する図である。図１２（ａ）は、（式８）を利用した場合の視差マップの表示例を示す。エッジ部分において、正の値の領域を右斜め下方向のハッチング、負の値の領域を左斜め下方向のハッチングで表している。

四角形３０１は前ピン領域に存在している。前ピン領域では、水平方向右側に移るにつれて背景領域の白色から四角形３０１の黒色に変わる領域、すなわち右側に行くほど暗くなる領域において、負の符号となる。一方、水平方向右側に移るにつれて四角形３０１の黒色から背景領域の白色に変わる領域、すなわち右側に行くほど明るくなる領域において、正の符号となる。

円３０３は後ピン領域に存在している。後ピン領域では、水平方向右側に移るにつれて背景領域の白色から四角形３０１の黒色に変わる領域において、正の符号となる。一方、水平方向右側に移るにつれて四角形３０１の黒色から背景領域の白色に変わる領域において、負の符号となる。以上のように、前ピン領域および後ピン領域のそれぞれにおいて、正の値と負の値が混在している。

図１２（ｂ）は、（式１０）を利用した場合の視差マップの表示例を示す。前ピン領域では、水平方向右側に移るにつれて背景領域の白色から四角形３０１の黒色に変わる領域、すなわち右側に行くほど暗くなる領域において、正の符号となる。同様に、水平方向右側に移るにつれて四角形３０１の黒色から背景領域の白色に変わる領域、すなわち右側に行くほど明るくなる領域において、正の符号となる。

後ピン領域では、水平方向右側に移るにつれて背景領域の白色から四角形３０１の黒色に変わる領域において、負の符号となる。同様に、水平方向右側に移るにつれて四角形３０１の黒色から背景領域の白色に変わる領域において、負の符号となる。以上のように、前ピン領域においては正の値のみが、後ピン領域においては負の値のみが得られる。合焦位置に対する被写体の前後関係が比の値の正負として表れるので、被写体の位置を判別することができる。したがって、視差マップを撮影時のガイドのための情報として利用することもできる。

なお、水平方向の微分は、左右の対称性を考えて次のように定義することもできる。

左視差画像と右視差画像で捉える被写体像の分布の内、視差情報を捉えることができるのは、縦線の被写体像のみならず、斜め線の縦方向に僅かでも成分をもつ被写体像も左右にぼけ幅が分離する。視差情報が全く発生しないのは、完全に横線の被写体像だけである。したがって、被写体像の水平方向の微分として、視差の検知が可能な斜め方向にも拡張を行うことができる。すなわち、水平方向の微分を次のように定義することもできる。

（式１５）の右辺の分子３項はいずれも水平方向に微分の成分を持つ。

水平方向の一次微分の分母の区間の取り方として、単眼瞳分割撮像方式では視差が増えるほど被写体像のぼけが増えることに対応して、ぼけ幅が大きいほど微分区間を広くとるようにすると微分値がより安定化する。そのとき、各画素のぼけ幅の情報として、実施形態１で示したＤ（ｘ，ｙ）を参照するのがよい。すなわち、式１４をそのように拡張すると、下記の（式１６）となる。 ただし、ｄｘは整数値とする。

ここに、ＮＸは単眼瞳分割撮像方式の水平方向の最大視差量の半分程度の大きさにとり、画像全体の水平画素数に対して２．５％程度の画素幅にとる。例えば、水平画素数が２０００画素程度の場合は、ＮＸ＝５０程度の値をとる。（式１５）の場合は、次のようになる。

＜実施形態４＞
画像処理部２０５は、（式１８）を用いて符号付き視差マップを生成する。すなわち、（式１０）の符号だけを取り出し、その符号を（式２）に乗算する。つまり、下記の（式１８）の正負の値の強度分布を視差マップとする。

本実施形態においても、前ピン領域においては正の値のみが、後ピン領域においては負の値のみが得られる。合焦位置に対する被写体の前後関係が比の値の正負として表れるので、被写体の位置を判別することができる。本実施形態では、実施形態１に符号を拡張した視差マップが得られる。

＜実施形態５＞
画像処理部２０５は、（式１９）を用いて符号付き視差マップを生成する。すなわち、（式１０）の符号だけを取り出し、その符号を（式５）に乗算する。つまり、下記の（式１９）の正負の値の強度分布を視差マップとする。

本実施形態においても、前ピン領域においては正の値のみが、後ピン領域においては負の値のみが得られる。合焦位置に対する被写体の前後関係が比の値の正負として表れるので、被写体の位置を判別することができる。さらに（式１９）では、Ｄ_１（ｘ、ｙ）＋Ｄ_２（ｘ、ｙ）が存在するので、実施形態１に比べて、相加平均と相乗平均のぼけ幅の比を二乗したようなスケールで変化する視差マップを抽出できる。すなわち、エッジ部分をより強調することができる。

なお、上記の第１〜第５の実施形態では、モノクロ・視差多重化の単板撮像方式の例を示した。しかし、撮像素子として以下のような変形例も考えられる。

１）モノクロ・片側視差画像データの二板式撮像のとき
・単眼レンズの入射光をプリズムで半々に光強度が２方向に分離するようにし、各々に片側視差画素のみを敷き詰めた左視差撮像素子と右視差撮像素子によって二板式撮像を行う。この場合には、各画素に右視差画素値と左視差画素値の２つの情報をもっているので、実施形態１における２）左右の視差画像の生成時の補間処理は不要となる。
・単眼レンズの構造として、図４の仮想瞳に相当する絞りを右側と左側に交互に挿入できる場合、通常の視差なし画素のモノクロ撮像素子に対して、２回露光で順に左視差画像と右視差画像を取得する場合も、実施形態１において２）左右の視差画像の生成時の補間処理は不要となる。

２）色・視差多重化モザイク画像データの単板式撮像のとき
ａ）Ｂａｙｅｒ面のＧ画素が視差画素になっている場合
・Ｇ視差画素を実施形態１のモノクロ視差画素と同じ扱いをし、補間処理を施す。
ｂ）特許文献１で示した撮像装置における視差画素配列がＲＧＢ全てにある場合
・ＲＧＢの各色成分毎に視差マップを作成することができる。

・輝度面のみの視差マップを生成するときは、各色面の視差マップをＹ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂで合成する。
・あるいは、先に輝度面をこの比で生成した後、実施形態１と同じ方法を用いる。

また、以下に説明する撮像素子を用いることもできる。図１３は、画素配列のバリエーションを示す図である。撮像素子２００、３００は、図の太線で示す２×２画素のパターン１２０、１３０を基本格子とする。図１３（ａ）に示すように、撮像素子２００では、パターン１２０において、左上の画素および右下の画素に視差なし画素が割り当てられている。また、左下の画素に視差Ｌｔ画素が割り当てられ、右上の画素に視差Ｒｔ画素が割り当てられている。

図１３（ｂ）に示すように、撮像素子３００では、ベイヤー配列が採用されている。具体的には、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられている。また、パターン１３０において左上の画素に視差Ｌｔ画素が、右下の画素に視差Ｒｔ画素が割り当てられている。

以上の説明では、「左視点の点像分布Ｌｔ＋右視点の点像分布Ｒｔ＝視差なし画素の点像分布Ｎ」であることを前提とした。しかしながら、この関係が成立しない場合であっても、点像分布の広がりがどのような状況にあるかを判定することができる。具体的には、上記の関係が成立しない場合には、ＬｔとＲｔの相乗平均の値は０になるので、Ｄ（ｘ、ｙ）の値は発散する。したがって、Ｄ（ｘ、ｙ）の値が発散することによって、ＬｔとＲｔの重なりがないことがわかる。

以上の説明では、視差マップは、オートフォーカスおよび撮影時のガイドとして使用されるとしたが、視差マップを距離情報として使用することによって奥行き方向に被写体を分離し、各被写体にホワイトバランス等の処理を行ってもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０４ｌ 開口部、１０４ｒ 開口部、１０４ｎ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ パターン、１２０ パターン、１３０ パターン、２００ 撮像素子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２２０ メモリカード、３００ 撮像素子、３２２ 中心線、３０１ 四角形、３０２ 三角形、３０３ 円、１８０１ 分布曲線、１８０２ 分布曲線、１８０３ 分布曲線、１８０４ 分布曲線、１８０５ 分布曲線、１８０６ 合成分布曲線、１８０７ 分布曲線、１８０８ 分布曲線、１８０９ 合成分布曲線

Claims (11)

1. １つの光学系を通して撮像された被写体像の第１視点方向の画像と第２視点方向の画像の少なくとも２つの視差画像を入力する手段と、
   各画素で前記第１視点方向の画像と前記第２視点方向の画像の間の相加平均と相乗平均を算出する手段と、
   各画素で前記相加平均と前記相乗平均の比を算出する手段と、
   前記比に基づいて前記第１視点方向の画像と前記第２視点方向の画像の間の視差量を各々の画素について算出する手段と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   各画素で前記第２視点方向の画像と前記第１視点方向の画像の間の差分を算出する手段と、
   前記第１視点方向の画像と前記第２視点方向の画像の平均値からなる中間視点の画像に対して、視差が生じる方向に成分をもつ一次微分を各々の画素について算出する手段と、
   前記差分の符号と前記一次微分の符号の積に基づいて、前記光学系の合焦位置より手前にある被写体像か奥にある被写体像かを区別する符号を前記視差量に付ける手段と
   を更に備えたことを特徴とする。
3. １つの光学系を通して撮像された被写体像の第１視点方向の画像と第２視点方向の画像の少なくとも２つの視差画像を入力する手段と、
   各画素で前記第２視点方向の画像と前記第１視点方向の画像の間の差分を算出する手段と、
   前記第１視点方向の画像と前記第２視点方向の画像の平均値からなる中間視点の画像に対して、視差が生じる方向に成分をもつ一次微分を各々の画素について算出する手段と、
   前記差分の符号と前記一次微分の符号の積に基づいて、前記光学系の合焦位置より手前にある被写体像か奥にある被写体像かを区別する手段と
   を備えたことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記第１視点方向の画像が左視点の画像に、前記第２視点方向の画像が右視点の画像に対応し、前記一次微分を左から右へ変化する方向にとるとき、
   前記差分の符号と前記一次微分の符号の積が正の値を示すとき、前記光学系の合焦位置より手前にある被写体像と判断し、負の値を示すとき、前記光学系の合焦位置より奥にある被写体像と判断することを特徴とする。
5. 請求項１または３に記載の画像処理装置において、
   前記第１視点方向の画像と前記第２視点方向の画像は、前記１つの光学系を通して１つの撮像面に入射する入射光束のうち、第１視点方向の部分光束を通過させる開口マスクを有する第１視差画素と、第２視点方向の部分光束を通過させる開口マスクを有する第２視差画素の少なくとも２種類の画素が１つの撮像面上に周期的に配置された撮像素子を用いて撮像された画像であることを特徴とする。
6. 少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１画像データと、第２視点に対応する第２画像データを取得する画像データ取得部と、
   前記第１画像データと前記第２画像データの対応するそれぞれの画素値を加算演算した値と積算演算した値の比を算出して、前記第１視点と前記第２視点の視差に関する評価データを前記第１画像データおよび前記第２画像データに対応させて生成する評価データ生成部と
   を備える画像処理装置。
7. 前記評価データ生成部は、前記加算演算した値として前記それぞれの画素値の相加平均を算出し、前記積算演算した値として前記それぞれの画素値の相乗平均を算出する請求項６に記載の画像処理装置。
8. 前記評価データ生成部は、前記光学系の合焦位置に対する被写体の前後関係が、前記比の値の正負として表れるように演算する請求項６または７に記載の画像処理装置。
9. 前記評価データ生成部は、前記比に、前記それぞれの画素値の差分値と、前記加算演算した値の視差方向における微分値とを乗じて演算する請求項８に記載の画像処理装置。
10. 撮像素子と、
    請求項６から９のいずれか１項に記載の画像処理装置と
    を備える撮像装置であって、
    前記第１画像データおよび第２画像データは、前記撮像素子の出力に基づいて生成される撮像装置。
11. 少なくとも一部が共通する光学系を通して取得された第１視点に対応する第１画像データと、第２視点に対応する第２画像データを取得する画像データ取得ステップと、
    前記第１画像データと前記第２画像データの対応するそれぞれの画素値を加算演算した値と積算演算した値の比を算出して、前記第１視点と前記第２視点の視差に関する評価データを前記第１画像データおよび前記第２画像データに対応させて生成する評価データ生成ステップと
    をコンピュータに実行させる画像処理プログラム。

Images