JP5697433B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、撮像素子の欠陥画素を補間して画像処理を行う画像処理装置に関する。

撮像素子のマイクロレンズ１つにつき複数のフォトダイオードを配置して瞳分割を行い、位相差に基づいてデフォーカス量を計算して焦点検出を行う画像処理装置がある。特許文献１には、このような構成において、瞳分割したそれぞれの画素群に投影された被写体の投影位置のずれ量と方向からデフォーカス量とデフォーカス方向を計算して焦点検出を行う技術が開示されている。また特許文献１では、同一マイクロレンズに対応するフォトダイオードの信号を加算して通常の映像信号を得ている。

特許文献２には、瞳分割された画素に欠陥があった場合の補間方法に関する技術が開示されている。特許文献２では、通常画素の間に離散的に瞳分割された画素を配置することにより、焦点検出信号と映像信号を得ている。映像信号処理においては瞳分割画素を欠陥画素として取り扱い、近傍通常画素の情報を用いて欠陥画素補間を行う。一方、離散的に配置された瞳分割画素についても、欠陥が存在する場合には近傍の瞳分割画素の情報を用いて欠陥画素補間を行う。

特開２００１−０８３４０７号公報 特開２００９−１６３２２９号公報

しかしながら、特許文献２に開示された技術では、瞳分割画素の欠陥を補間するために用いられる近傍の瞳分割画素までの空間的距離が長い。このため、画像の鮮鋭度が高い場合に補間誤差が大きくなる。一方特許文献１には、欠陥画素を補間する方法に関して言及されていない。

そこで本発明は、瞳分割された撮像信号を処理する際に、鮮鋭度が高い場合でも欠陥画素を良好に補間可能な画像処理装置及び画像処理方法を提供する。

本発明の一側面としての画像処理装置は、撮像光学系の異なる瞳領域を通過した第一光束及び第二光束をそれぞれ光電変換する第一画素及び第二画素を含む撮像素子を用いて得られた画像を処理する画像処理装置であって、特定の前記第一画素が欠陥画素である場合には該特定の第一画素の近傍であって前記第一画素と同色の前記第一画素の画素値を用いて、また、特定の前記第二画素が欠陥画素である場合には該特定の第二画素の近傍であって前記第二画素と同色の前記第二画素の画素値を用いて該欠陥画素を補間する第一欠陥補間手段と、特定の前記第一画素が欠陥画素である場合には該特定の第一画素の近傍の同一マイクロレンズ内の前記第一画素及び前記第二画素の画素値の比を前記特定の第一画素と同一マイクロレンズ内の前記第二画素に掛けることによって該欠陥画素を補間し、特定の前記第二画素が欠陥画素である場合には該特定の第二画素の近傍の同一マイクロレンズ内の前記第一画素及び前記第二画素の画素値の比を前記特定の第二画素と同一マイクロレンズ内の前記第一画素に掛けることによって該欠陥画素を補間する第二欠陥補間手段と、複数の前記第一画素及び複数の前記第二画素の出力を用いて合焦度を評価する合焦度評価手段と、前記合焦度評価手段により評価された前記合焦度に基づいて、前記第一欠陥補間手段の出力と前記第二欠陥補間手段の出力の合成比を変える合成比変更手段と、前記合成比変更手段の出力を用いて撮影画像を生成する信号処理手段と、を有する。

本発明の他の側面としての画像処理方法は、撮像光学系の異なる瞳領域を通過した第一光束及び第二光束をそれぞれ光電変換する第一画素及び第二画素を含む撮像素子を用いて得られた画像を処理する画像処理方法であって、特定の前記第一画素が欠陥画素である場合には該特定の第一画素の近傍であって前記第一画素と同色の前記第一画素の画素値を用いて、また、特定の前記第二画素が欠陥画素である場合には該特定の第二画素の近傍であって前記第二画素と同色の前記第二画素の画素値を用いて該欠陥画素を補間する第一欠陥補間ステップと、複数の前記第一画素及び複数の前記第二画素の出力を用いて合焦度を評価する合焦度評価ステップと、特定の前記第一画素が欠陥画素である場合には該特定の第一画素の近傍の同一マイクロレンズ内の前記第一画素及び前記第二画素の画素値の比を前記特定の第一画素と同一マイクロレンズ内の前記第二画素に掛けることによって該欠陥画素を補間し、特定の前記第二画素が欠陥画素である場合には該特定の第二画素の近傍の同一マイクロレンズ内の前記第一画素及び前記第二画素の画素値の比を前記特定の第二画素と同一マイクロレンズ内の前記第一画素に掛けることによって該欠陥画素を補間する第二欠陥補間ステップと、前記合焦度評価ステップにより評価された前記合焦度に基づいて、前記第一欠陥補間ステップで得られた出力と前記第二欠陥補間ステップで得られた出力の合成比を変える合成比変更ステップと、前記合成比変更ステップで得られた出力を用いて撮影画像を生成する信号処理ステップと、を有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、瞳分割された撮像信号を処理する際に、鮮鋭度が高い場合でも欠陥画素を良好に補間可能な画像処理装置及び画像処理方法を提供することができる。

実施例１における画像処理装置のブロック図である。 実施例１における撮像素子の画素構造を示す図である。 実施例１における撮像素子の画素配列を示す図である。 実施例１における第二の欠陥補間回路のサブブロック図である。 実施例１における第一の欠陥補間回路の回路図である。 実施例１における平均化回路のブロック図である。 実施例１におけるシーディング原理の説明図である。 実施例１において、シェーディングによるＡ画素及びＢ画素の比の説明図である。 実施例１における合焦度評価部の回路図である。 実施例１において、第一の欠陥補間回路による欠陥画素と参照画素の関係図である。 実施例１において、第二の欠陥補間回路による欠陥画素と参照画素の関係図である。 実施例１において、欠陥画素補間と空間周波数との関係図である。 実施例１において、画面の位置とケラレ形状の関係図である。 実施例１における第二の欠陥補間回路と画素位置の関係図である。 実施例１における切替回路のブロック図である。 実施例２における画像処理方法のフローチャートである。 実施例３におけるシステムの光学的構造図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本発明の実施例１について説明する。図１は、本実施例における画像処理装置１００のブロック図である。画像処理装置１００は、撮像光学系（レンズ１０１）からの光束を瞳分割して第一光束及び第二光束を得て、第一光束を光電変換する複数の第一画素及び第二光束を光電変換する複数の第二画素を含む撮像素子１０２を用いて得られた画像を処理する。

図１において、１０１はレンズ、１０２は撮像素子、１０３は撮像素子１０２の信号をデジタル信号に変換するＡＤ変換器である。１０４は第一の欠陥補間回路（第一欠陥補間手段）、１０５は欠陥位置を記憶した欠陥位置記憶メモリである。１０６は合焦度評価部（合焦度評価手段）であり、瞳分割された第一光束及び第二光束の位相差を利用して合焦度を評価する。１０７は第二の欠陥補間回路（第二欠陥補間手段）、１０８はマイクロコンピュータ、１１２は第一の欠陥補間回路１０４の出力と第二の欠陥補間回路１０７の出力のタイミングを合わせる同期用遅延回路である。１０９は、同期用遅延回路１１２の出力と第二の欠陥補間回路１０７の出力をミックスするミキシング回路（合成比切替手段）である。１１０は、ミキシング回路１０９の出力を加算してベイヤー配列信号に変換する加算ベイヤー化回路である。１１１は、加算ベイヤー化回路１１０の出力であるベイヤー配列信号から色差や輝度等の映像信号を生成する映像信号処理回路（信号処理手段）である。映像信号処理回路１１１は、ミキシング回路１０９の出力を用いて撮影画像を生成する。

レンズ１０１を介して撮像素子１０２に結像された像は、アナログ信号として読み出され、ＡＤ変換器１０３によりデジタル信号に変換される。ＡＤ変換器１０３の出力は、第一の欠陥補間回路１０４により補間される。第一の欠陥補間回路１０４は、欠陥位置記憶メモリ１０５に格納された欠陥位置の画素（欠陥画素）に対して補間処理を行う。第一の欠陥補間回路１０４で補間処理された信号は、同期用遅延回路１１２、第二の欠陥補間回路１０７、及び、合焦度評価部１０６に入力される。第二の欠陥補間回路１０７も、欠陥位置記憶メモリ１０５に格納された欠陥位置の画素に対して補間を行う。第一の欠陥補間回路１０４と第二の欠陥補間回路１０７の詳細については後述する。

第一の欠陥補間回路１０４の出力は、合焦度評価部１０６にも入力され、合焦度の算出に利用される。同期用遅延回路１１２は、第一の欠陥補間回路１０４の出力と第二の欠陥補間回路１０７の出力のタイミング（出力タイミング）を揃える。ミキシング回路１０９は、同期用遅延回路１１２の出力と第二の欠陥補間回路１０７の出力をミックスする。このときのミックス比は、合焦度評価部１０６からの入力である合焦度によって制御される。ミキシング回路１０９は、第一の欠陥補間回路１０４の結果（同期用遅延回路１１２の出力）と第二の欠陥補間回路１０７の結果をミックスし、ミックスした信号を加算ベイヤー化回路１１０に出力する。加算ベイヤー化回路１１０は、Ａ画素とＢ画素とを加算して得られた通常のベイヤー配列信号を映像信号処理回路１１１に出力する。映像信号処理回路１１１は、そのベイヤー配列信号を処理して映像信号を生成する。

続いて、図２を参照して、撮像素子１０２の画素構造について説明する。図２（ａ）は、撮像素子１０２の画素の正面図を示し、図２（ｂ）は画素の断面図を示す。図２において、２０１はマイクロレンズであり、２０２及び２０３はそれぞれフォトダイオードである。１つのマイクロレンズに対して２つのフォトダイオードを用いて画像を読み出すことにより、図中の左右に瞳分割を行っている。以下、左右の画素をそれぞれＡ画素（第一画素）及びＢ画素（第二画素）、また、左右の画素（Ａ画素及びＢ画素）を集めて形成される像をそれぞれＡ像、Ｂ像という。図３は、本実施例における撮像素子の画素配列（カラーフィルタの配列）を示す図である。図３に示されるように、カラーフィルタの配列は、マイクロレンズ２０１ごとに加算することにより、通常のベイヤー配列となる。

図１に示されるように、撮像素子１０２からの出力信号はＡＤ変換器１０３によりデジタル変換され、第一の欠陥補間回路１０４に入力される。第一の欠陥補間回路１０４には、欠陥位置記憶メモリ１０５から画像に同期して欠陥位置を示す信号が出力される。欠陥位置記憶メモリ１０５は、ワンタイムＲＯＭやフラッシュＲＯＭで構成され、製造工程において検出された画素の欠陥位置を記憶している。

続いて、図５を参照して、第一の欠陥補間回路１０４の回路構成について説明する。図５は、第一の欠陥補間回路１０４の回路図である。図５において、５０１は信号を入力する端子、５０５及び５０６は２ライン遅延回路である。端子５０１から入力された信号は、２ライン遅延回路５０５、５０６により遅延する。このような構成により、端子５０１における入力信号、及び、２ライン遅延回路５０５、５０６の出力のタイミングが上下ラインで揃う。遅延素子５０２、５０３、５０４によって遅延した信号はそれぞれ、上下左右の瞳分割の同じ開口を有する同色画素の信号となる。

次に、図１０を参照して、画素の位置関係について説明する。図１０は、第一の欠陥補間回路１０４による参照画素を示す図である。図１０において、欠陥画素が中央のマイクロレンズの右側画素（特定の第二画素）であるとすると、同色上下左右の右側画素（近傍の第二画素）の信号が、それぞれ、遅延素子５０２、５０３、５０４、２ライン遅延回路５０５の出力である。これらの出力値は、加算回路５０７、５０８、５０９により加算され、シフト回路５１０で４分の一となり、出力の平均値が端子５１１に出力される。このように、第一の欠陥補間回路１０４は、近傍同一開口瞳側の画素値を参照して欠陥画素の補間を行う。すなわち第一の欠陥補間回路１０４は、特定の第二画素が欠陥画素である場合には、特定の第二画素の近傍の第二画素の画素値を用いて欠陥画素を補間する。仮に、特定の第一画素（中央のマイクロレンズの左側画素）が欠陥画素である場合には、特定の第一画素の近傍の第一画素（同色上下左右の左側画素）の画素値を用いて欠陥画素を補間する。

続いて、図１２を参照して、第一の欠陥補間回路１０４により補間を行った場合の問題点について説明する。図１２は、瞳分割された左右のそれぞれで形成されるＡ像、Ｂ像とそれを加算して生成される信号を示している。図１２（ａ）は、信号に高周波成分が含まれていない場合であり、矢印で示された部分が第一の欠陥補間回路１０４により補間された部分である。補間後の位置は、本来のあるべき信号の位置と重なっており、この補間が良好であることがわかる。一方、図１２（ｂ）は信号に高周波成分が含まれている場合を示し、補間後の位置（矢印で示された部分）が本来あるべき信号と重なっておらず、誤差が生じていることがわかる。なお、図１２には第二の欠陥補間回路１０７による補間の結果も示されているが、図１２（ａ）、（ｂ）ともに良好に補間されている。

以下、第二の欠陥補間回路１０７による補間方法に関して、原理から順に詳述する。左右に瞳分割したＡ像とＢ像によって得られる像は、合焦状態の場合にほぼ一致し、非焦点状態の場合に左右に像の投影位置がずれる性質を有する。この性質を利用して焦点検出を行う方法が知られている。ただし、合焦状態においてもＡ像とＢ像は異なるシェーディング特性を有するため、若干のレベル差が発生する。レンズに対して中心から遠くなると、すなわち像高が高くなると、レベル差も大きくなる。

続いて、図７を参照して、シェーディングの原理について詳述する。図７（ａ）はレンズの断面図であり、撮像素子７０４上における光軸中心に位置する点ｘと像高の高い位置の点ｙが矢印で示されている。図７（ｂ）は、点ｘと点ｙの位置からレンズを見た場合に投影される枠の位置関係を示している。図７において、７０１、７０２、７０３はそれぞれ、被写体側のレンズ、絞り、撮像素子７０４側のレンズにより形成される枠である。撮像素子７０４上の点ｘから見ると、枠７０１、７０２、７０３は、同心円に設けられており、光が通過できる形状が絞り７０２によって決定づけられる。撮像素子７０４上の点ｙから見ると、上側が枠７０３によって削られ、下側が枠７０１によって削られ、側面は枠７０２によって削られる。図７（ｂ）は、３つの枠により削られた光の通過できる場所の形状を示している。一般にこの形状のことを口径食、またはケラレ形状と呼ぶ。

図８は、シェーディングによるＡ画素及びＢ画素の比の説明図であり、ケラレ形状に対して２つに瞳分割されたフォトダイオードを重ねた図である。フォトダイオードに対して光が届くのは、図８中の斜線部のみである。図８の状態において、フォトダイオード２０２には、フォトダイオード２０３よりも多くの面積に対して光が到達する。このため、合焦状態でＡ像とＢ像が一致していても、口径食（ケラレ形状）の影響によりレベル差が発生する。

図１３は、撮像素子上の場所（画面の位置）とケラレ形状の関係図（特性図）である。像高が高くなるとケラレ形状もいびつとなり、場所により形状に違いが生じる。しかし、いずれの場所においても、近傍画素同士のケラレ形状は非常に類似している。このことから、図８のように、フォトダイオード２０２、２０３のレベル差は発生するが、近傍画素では同じ特性でレベル差が発生していることになる。

本実施例における第二の欠陥補間回路１０７は、次の２つの原理を利用する。
（１）合焦時はＡ像及びＢ像が重なって同じ像となるため、Ａ画素とＢ画素のレベル差はケラレ形状によるものが支配的となる。
（２）近傍画素同士のケラレ形状は極めて類似している。
この２つの原理から、本実施例では、欠陥画素位置の値を以下のように求める。すなわち、欠陥画素の近傍に位置する近傍画素であるＡ画素とＢ画素の画素値の比（レベル比）を、欠陥画素と同じマイクロレンズの対面する側の画素値に掛けることで第二の補間値とする。そして、焦点状態（合焦度）に応じて第一の補間値と第二の補間値をなだらかに切り替える。

図１１は、第二の欠陥補間回路１０７による欠陥画素と参照画素の関係図である。図１１において、欠陥画素を画素Ｂ０（特定の第二画素）とする。このとき、画素Ｂ０の上下左右に位置するマイクロレンズのＡ画素（Ａ１〜Ａ４）とＢ画素（Ｂ１〜Ｂ４）の比を求める。そしてこの比を欠陥画素（画素Ｂ０）と同じマイクロレンズの対面する側の画素Ａ０（特定の第一画素）に掛けることにより、欠陥画素の補間値が求められる。このように、第二の欠陥補間回路１０７は、特定の第一画素及び特定の第二画素の近傍の同一マイクロレンズ内の第一画素及び第二画素の画素比を用いて欠陥画素を補間する。すなわち、比の参照画素として隣接する画素を参照し、値の参照画素として同一マイクロレンズ内の画素を参照しており、これらの画素の空間的距離は極めて近い。なお、参照画素としては隣接する画素に限定されるものではなく、近傍に位置する画素を参照画素としてもよい。

それに対して、第一の欠陥補間回路１０４は、図１０に示されるように同色の画素を参照するため空間的距離が離れた位置の画素の値を参照している。このため、第一の欠陥補間回路１０４では空間周波数が高くなると誤差が大きくなり、第二の欠陥補間回路１０７では空間周波数が高くても良好な補間が可能となる。

次に、第二の欠陥補間回路１０７について詳述する。図４は、第二の欠陥補間回路１０７のサブブロック図である。図４において、４０１は第一の欠陥補間回路１０４からの信号を入力する端子であり、４０２〜４０５は入力信号を遅延させる遅延素子である。４１１は、Ａ画素のサイクルとＢ画素のサイクルの区別をつけるための信号を入力する端子である。端子４１１から入力された信号は、各サイクルトグルで動作する。４０８は、演算結果としての信号を出力する端子である。

端子４０８に出力される信号は、遅延素子４０４によって遅延した出力タイミングに相当する遅延を有する補間信号である。ここで、遅延素子４０４の出力タイミングをｘ［ｎ］とすると、遅延素子４０５の出力タイミングはｘ［ｎ−１］、遅延素子４０３の出力タイミングはｘ［ｎ＋１］と考えることができる。また、遅延素子４０２の出力タイミングはｘ［ｎ＋２］、端子４０１からの入力信号のタイミングはｘ［ｎ＋３］となる。この回路は、各サイクルにおいて端子４０８に対して基準値を出力する。端子４１１からの入力信号によりスイッチ４０６、４０９が切り替わり、除算器４１０と乗算器４０７に対する入力が切り替わる。その結果、端子４０８に出力される信号の演算式は、端子４１１からの入力信号が１のサイクルと０のサイクルで切り替わる。端子４１１からの入力信号が１のサイクルがＯＤＤ、０のサイクルがＥＶＥＮとすると、演算式は以下のように表される。

ＥＶＥＮ：基準値ｘ［ｎ］＝（ｘ［ｎ＋２］／ｘ［ｎ＋３］）＊ｘ［ｎ＋１］
ＯＤＤ：基準値ｘ［ｎ］＝（ｘ［ｎ＋１］／ｘ［ｎ＋３］）＊ｘ［ｎ−１］
図１４を参照して、上記の演算式と画素位置の対応を説明する。ＥＶＥＮのタイミングでは、ｘ［ｎ］がＢ画素、対応するＡ画素がｘ［ｎ＋１］、隣のＡ画素がｘ［ｎ＋３］、Ｂ画素がｘ［ｎ＋２］となる。一方、ＯＤＤのサイクルでは、ｘ［ｎ］がＡ画素となり、対応するＢ画素がｘ［ｎ−１］となる。また、隣のＡ画素がｘ［ｎ＋２］、Ｂ画素がｘ［ｎ＋１］となる。このように回路２００５は、Ａ画素とＢ画素が交互に配置されているため、サイクル毎に演算式が変化するように構成されている。図４に示される回路だけでも本実施例として機能するが、隣の画素が低輝度である場合やノイズが多い場合には、影響を受ける可能性がある。このため、本実施例では後段の回路において上下左右から算出した値の平均値が用いられる。

図６は、第二の欠陥補間回路１０７における平均化回路のブロック図である。４つの端子６０１〜６０４に入力される信号はそれぞれ、上下左右画素の比を用いて補間した信号（補間結果）である。これらの信号は、加算器６０５、６０６、６０７により加算され、シフト回路６０８により平均化されて端子６０９に出力される。図４に示される回路は、端子６０１に接続された回路であり、比の参照画素として左側の画素を参照している。また、端子６０２〜６０４に接続された回路はそれぞれ、上下右側の画素を参照している点を除いて図４の回路と同様である。

上述のとおり、図４及び図６を参照して第二の欠陥補間回路１０７を説明し、図５を参照して第一の欠陥補間回路１０４を説明したが、いずれの回路も全てのサイクルにおいて補間値を算出している。本実施例では、第一の欠陥補間回路１０４と第二の欠陥補間回路１０７の両方の回路の後段に、図１５に示される切替回路が挿入されている。この切替回路は、欠陥位置記憶メモリ１０５からの欠陥位置信号に応じて、補間前の信号（未補間信号）と補間後の信号（欠陥補間信号）をスイッチ１５０１により切り替えて、欠陥補間済み信号を出力する。この切替回路により、欠陥位置記憶メモリ１０５に欠陥位置として記憶されている位置以外は、補間前の信号が出力され、欠陥位置のみ補間値に置き変えられる。

次に、図９を参照して、合焦度評価部１０６の回路構成について説明する。図９は、合焦度評価部１０６の回路図であり、説明を簡単にするため実際よりも少ない回路規模で記載されている。合焦度評価部１０６は、複数の第一画素（Ａ画素）及び複数の第二画素（Ｂ画素）の出力を用いて合焦度（焦点状態）を評価する。図９において、端子９０１に入力される信号は、第一の欠陥補間回路１０４の出力である。９０２は、同一サイクルで異なる位置の画素を参照するための遅延素子群である。本実施例では、隣接した６個の画素を同時に取り出す。遅延素子群９０２に対して遅延素子９０３〜９０７に供給されるクロックは、端子９１５から入力されるＥＶＥＮ／ＯＤＤ信号でゲートされて２分の１になり、見かけ上Ａ画素及びＢ画素の２画素が入力される毎に１サイクル処理される。遅延素子９０３〜９０７は、互いに同じ回路構成を有し、入力される２つの画素位置が異なるだけである。遅延素子９０３〜９０７からは、２つの画素値の差を二乗して７サイクル分加算した信号が出力される。

この回路は、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）演算法による相関量を算出している。遅延素子９０５の入力は、Ａ画素とＢ画素が同じマイクロレンズに対応したものとなっている。それに対して、遅延素子９０４の入力は、Ａ画素に対して隣のマイクロレンズのＢ画素、遅延素子９０３はさらに隣のマイクロレンズのＢ画素、遅延素子９０６、９０７は遅延素子９０５と同じＢ画素に対してＡ画素をずらしたものが入力されている。遅延素子９０３〜９０７により、Ａ像とＢ像が±２のシフト量の範囲における一致度を示す相関量が出力される。ＳＳＤ演算法では、像の一致度が高い程、評価値が小さくなる。９０９は、評価値が低く像の一致度が高いシフトに対応したビットが１つだけ１となり他のビットが０となる回路である。９０８は、２入力のコンパレータで比較した結果、予期した大小関係の場合には１を、そうでない場合には０を出力する。それらの組合せを後段の論理回路で予期した組合せになっていると１が出力される。合焦している部分であればシフト量０を示す出力（端子９１２）が１となり、合焦度が下がるとシフト量の大きな場所に対応した出力（端子９１０、９１１、９１３、９１４の出力）が１となる。

図９においては、説明を簡単にするために遅延素子群９０２での遅延量を６、遅延素子９０３〜９０７での積算幅を７に設定しており、それぞれ、シフト量と一致度評価幅に対応している。シフト量としては、レンズの光学的特性で決定されるＡ像とＢ像の基線長と最大デフォーカス量に依存した最大シフト量をカバーできるだけの幅が必要である。合焦度評価部１０６の結果は、マイクロコンピュータ１１３により読み出され、オートフォーカスにも利用される。また、合焦度評価部１０６の出力は、ミキシング回路１０９にも入力される。

ミキシング回路１０９は、第一の欠陥補間回路１０４の出力と第二の欠陥補間回路１０７の出力との合成比を、合焦度評価部１０６により判定された合焦度（焦点状態）に応じてなだらかに切り替える。具体的には、合焦度評価部１０６の出力である合焦度が高くなるにつれて第二の欠陥補間回路１０７の出力の比を大きくする。一方、合焦度が低くなるにつれて第一の欠陥補間回路１０４の出力の比を大きくする。なお、同期用遅延回路１１２は、第一の欠陥補間回路１０４の出力と第二の欠陥補間回路１０７の出力タイミングを揃える遅延回路である。

本実施例において、合焦度はデフォーカス量（ピント面と像面との間の距離）として表現される。位相差方式の場合には、デフォーカス量は、基線長で決定されるＫ値に像ずれ量を掛けて求められる。像ずれ量（デフォーカス量）がゼロの場合に合焦度は最大（合焦状態）となり、ミキシング回路１０９における合成比として、第二の欠陥補間回路１０７の出力を１００％とする。そして、像ずれ量が大きくなるにつれて合焦度は低下し、像ずれ量（デフォーカス量）が所定値以上の場合に非合焦状態となり、ミキシング回路１０９における合成比として、第一の欠陥補間回路１０４の出力を１００％とする。なお、ミキシング回路１０９における合成比は線形に変化させることができる。ただし、一方の出力が他方の出力に混ざり始まる領域（各出力の０％／１００％付近）でのノイズ成分の増幅を抑制するため、一部又は全てが曲線になるように合成比を変化させてもよい。

なお、デフォーカス量はコントラスト方式でも算出可能であり、位相差方式とコントラスト方式のハイブリッド化により焦点検出精度は向上する。この場合、デフォーカス量をＫ値で除した値がゼロの場合に合焦度は最大（合焦状態）となり、ミキシング回路１０９における合成比として、第二の欠陥補間回路１０７の出力を１００％とする。そして、デフォーカス量をＫ値で除した値が大きくなるにつれて合焦度は低下し、この値が所定値まで大きくなった場合に非合焦状態となり、ミキシング回路１０９における合成比として、第一の欠陥補間回路１０４の出力を１００％とする。

このようにミキシング回路１０９は、第一の欠陥補間回路１０４の出力と第二の欠陥補間回路１０７の出力の合成比をなだらかに切り替える。具体的には、ミキシング回路１０９は、合焦度評価部１０６により評価された合焦度が高くなるにつれて第二の欠陥補間回路１０７の出力の比を大きくし、合焦度が低くなるにつれて第一の欠陥補間回路１０４の出力の比を大きくする。

また、被写界深度には被写体側の指標が含まれる（像面のデフォーカス量に対して対数になっている）。したがって、絞り値だけでなく被写体距離も考慮して被写界深度を求める。このとき、好ましくは、被写界深度が浅い場合には、第二の欠陥補間回路１０７の出力に切り替わりにくくする（第二の欠陥補間回路１０７の出力の比を小さくする）。一方、被写界深度が深い場合には、第二の欠陥補間回路１０７の出力に切り替わりやすくする（第二の欠陥補間回路１０７の出力の比を大きくする）。すなわちミキシング回路１０９は、被写界深度が浅くなるにつれて第一の欠陥補間回路１０４の比を大きくし、被写界深度が深くなるにつれて第二の欠陥補間回路１０７の出力の比を大きくするように、合成比を切り替えることが好ましい。

合焦度に応じた合成比で生成された信号を出力するミキシング回路１０９の出力は、加算ベイヤー化回路１１０でＡ画素、Ｂ画素が加算され、映像信号処理回路１１１に送られる。マイクロコンピュータ１０８は、合焦度評価部１０６の出力を読み取り、焦点検出に利用する。なお、本実施例は欠陥補間に関する技術であるため、マイクロコンピュータ１０８の動作や焦点検出の詳細に関しては説明を省略する。

以上のとおり、本実施例では、マイクロレンズ１つにつき２つのフォトダイオードを配置して瞳分割を行う。そして、近傍の同色同一瞳の画素値を用いて補間値を求める第一の欠陥補間回路の出力と、近傍同一マイクロレンズ内の画素値の比を利用した第二の欠陥補間回路の出力の合成比を合焦度に応じてなだらかに切り替える。

次に、図１６を参照して、本発明の実施例２について説明する。図１６は、本実施例における画像処理方法のフローチャートである。近年のデジタルカメラにおいては、撮影時には撮像素子の出力をそのままファイルとして記録しておき、後でパーソナルコンピュータ等のソフトウェアを用いて信号処理（画像処理）を行う方法がある。このような処理を行うソフトウェアは、ＲＡＷ現像ソフトと呼ばれる。画像処理は、実施例１では撮像装置に組み込まれた画像処理回路によって実施されているが、本実施例ではこのＲＡＷ現像ソフトで実施される。図１６のフローチャートにおける各ステップは、パーソナルコンピュータ等のＣＰＵ（マイクロコンピュータ）の指示に基づいて実行される。

図１６において、まずステップＳ１６０１で処理をスタートし、ステップＳ１６０２でＲＡＷファイルを読み込む。ＲＡＷファイルには、欠陥画素の画素値としての値をゼロに設定して記録されている。このような欠陥画素位置を示す値は、傷マークと呼ばれる。続いてステップＳ１６０３において、傷マーク（欠陥位置）を検索する。傷マークが存在しない場合にはステップＳ１６０８に進む。一方、傷マークが存在する場合には、その欠陥画素に対応した処理をするためにステップＳ１６０４に進む。

傷マークが存在する場合には、ステップＳ１６０４において第一の欠陥画素補間が行われる（第一欠陥補間ステップ）。第一の欠陥画素補間は、実施例１の第一の欠陥補間回路１０４の機能に相当し、例えば図１０に示されるように、上下左右の同色同一瞳の画素値を用いて行われる。続いてステップＳ１６０５において、合焦度を判定する（合焦度評価ステップ）。ここでの合焦度判定は、実施例１の合焦度評価部１０６の機能に相当する。ステップＳ１６０５において合焦度が所定のしきい値よりも高い場合には、ステップＳ１６０６に進む。一方、合焦度が所定のしきい値よりも低い場合には、ステップＳ１６０３に戻る。

ステップＳ１６０５において合焦度が所定のしきい値よりも高い場合には、ステップＳ１６０６において第二の欠陥画素補間が行われる（第二欠陥補間ステップ）。第二の欠陥画素補間は、実施例１の第二の欠陥補間回路１０７の機能に相当する。このためステップＳ１６０６では、図１１に示されるように、近傍画素の同一マイクロレンズ内画素値比を求め、その比を欠陥画素に対面する画素値に掛けて補間値とする。続いてステップＳ１６０７では、ステップＳ１６０５で算出された合焦度に応じた合成比で、ステップＳ１６０４で算出された補間値とステップＳ１６０６で算出された補間値とをミックスする（合成比切替ステップ）。実施例１では、合焦度としてＡ像とＢ像の一致するシフト量をピクセル単位で計算していたが、本実施例では、パラボラフィッティングという手法を用いてサブピクセル単位まで計算することでより、なだらかにミックス比を制御する。

ステップＳ１６０４で傷マーク（欠陥位置）が補間値に置き換えられるため、次にＳ１６０３を実行する際に、その位置に傷マークが存在する（欠陥位置である）と検出されることはない。ステップＳ１６０３からステップＳ１６０７を繰り返すことにより、全ての傷マークが補間値に置き換わり、傷マークが無くなると、ステップＳ１６０８に進む。ステップＳ１６０８では、Ａ画素とＢ画素を加算して通常の信号処理が行われ、ＲＡＷファイルが画像ファイルに変換される（信号処理ステップ）。信号処理の詳細に関しては本実施例の本質と関連しないため、ここでの説明を省略する。

次に、図１７を参照して、本発明の実施例３について説明する。図１７は、リレーレンズにおける平行光領域（物体側焦点位置の点光源から広がる光が平行になる領域）で、入射光を同時に左右の画像に分離し、Ａ像とＢ像を別の撮像素子を用いて露光するシステムの光学的構造図である。１７０１はミラー、１７０２は絞り、１７０３はリレーレンズである。リレーレンズ１７０３により平行領域になった光をミラー１７０１により左右に分割する。ミラー１７０１で分割された光は、ミラー１７０５、１７０４においてそれぞれ反射する。反射光は、結像レンズ１７０６、１７０７に導かれ、撮像素子１７０８、１７０９にそれぞれ結像する。これにより、Ａ像とＢ像を同時に２つの撮像素子で得ることができる。なお、本実施例において、Ａ像とＢ像を時分割で露光してもよい。以上のような構成に対しても、上記各実施例で説明した欠陥画素の補間技術を適用することが可能である。

上記各実施例によれば、瞳分割された撮像信号を処理する際に、鮮鋭度が高い場合でも欠陥画素を良好に補間可能な画像処理装置及び画像処理方法を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、実施例１及び実施例２において、１つのマイクロレンズに対して複数のフォトダイオードで瞳分割をした例を示したが、瞳分割されている信号であれば、マイクロレンズとフォトダイオードの間で遮光して瞳分割した信号でも同様の効果がある。また、実施例１及び実施例２では、単板撮像素子による画像を想定しているが、各実施例は２板、３板撮像素子にも適用可能である。このとき、瞳分割はマイクロレンズとフォトダイオードの間でなくてもよい。また、実施例１及び実施例２では、合焦度を算出する方法として瞳分割された像の一致度を元に算出したが、コントラスト法や、コントラスト法とのハイブリッドにより合焦度を算出してもよい。

１００…画像処理装置
１０４…第一の欠陥補間回路
１０７…第二の欠陥補間回路
１０６…合焦度評価部
１０９…ミキシング回路

Claims (9)

1. 撮像光学系の異なる瞳領域を通過した第一光束及び第二光束をそれぞれ光電変換する第一画素及び第二画素を含む撮像素子を用いて得られた画像を処理する画像処理装置であって、
   特定の前記第一画素が欠陥画素である場合には該特定の第一画素の近傍であって前記第一画素と同色の前記第一画素の画素値を用いて、また、特定の前記第二画素が欠陥画素である場合には該特定の第二画素の近傍であって前記第二画素と同色の前記第二画素の画素値を用いて該欠陥画素を補間する第一欠陥補間手段と、
   特定の前記第一画素が欠陥画素である場合には該特定の第一画素の近傍の同一マイクロレンズ内の前記第一画素及び前記第二画素の画素値の比を前記特定の第一画素と同一マイクロレンズ内の前記第二画素に掛けることによって該欠陥画素を補間し、特定の前記第二画素が欠陥画素である場合には該特定の第二画素の近傍の同一マイクロレンズ内の前記第一画素及び前記第二画素の画素値の比を前記特定の第二画素と同一マイクロレンズ内の前記第一画素に掛けることによって該欠陥画素を補間する第二欠陥補間手段と、
   複数の前記第一画素及び複数の前記第二画素の出力を用いて合焦度を評価する合焦度評価手段と、
   前記合焦度評価手段により評価された前記合焦度に基づいて、前記第一欠陥補間手段の出力と前記第二欠陥補間手段の出力の合成比を変える合成比変更手段と、
   前記合成比変更手段の出力を用いて撮影画像を生成する信号処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記合成比変更手段は、前記合焦度評価手段により評価された前記合焦度が第一の合焦度の場合には、前記第二欠陥補間手段の出力の比を第一の値とし、前記合焦度が前記第一の合焦度よりも大きい第二の合焦度の場合には、前記第二欠陥補間手段の出力の比を前記第一の値よりも大きい第二の値とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記合成比変更手段は、前記合焦度評価手段により評価された前記合焦度が高くなるにつれて前記第二欠陥補間手段の出力の比を大きくし、該合焦度が低くなるにつれて前記第一欠陥補間手段の出力の比を大きくするように、第一欠陥補間手段の出力と第二欠陥補間手段の出力の合成比をなだらかに変えることを特徴とする請求項１に記載の画像処理装置。
4. 前記合焦度はデフォーカス量であり、
   前記合成比変更手段は、前記デフォーカス量がゼロの場合に前記第二欠陥補間手段の出力を１００％とし、該デフォーカス量が所定値以上の場合に前記第一欠陥補間手段の出力を１００％とするように前記合成比を変えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記合成比変更手段は、被写界深度が第一の深度の場合には、前記第二欠陥補間手段の出力の比を第一の値とし、被写界深度が前記第一の深度よりも深い第二の深度の場合には、前記第二欠陥補間手段の出力の比を前記第一の値よりも大きい第二の値とすることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記合成比変更手段は、被写界深度が浅くなるにつれて前記第一欠陥補間手段の比を大きくし、該被写界深度が深くなるにつれて前記第二欠陥補間手段の比を大きくするように、該第一欠陥補間手段の出力と該第二欠陥補間手段の出力の前記合成比を変えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記合焦度評価手段は、前記第一光束及び前記第二光束の位相差を利用して前記合焦度を評価することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記合焦度評価手段は、前記第一欠陥補間手段の出力を利用して前記合焦度を評価することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 撮像光学系の異なる瞳領域を通過した第一光束及び第二光束をそれぞれ光電変換する第一画素及び第二画素を含む撮像素子を用いて得られた画像を処理する画像処理方法であって、
   特定の前記第一画素が欠陥画素である場合には該特定の第一画素の近傍であって前記第一画素と同色の前記第一画素の画素値を用いて、また、特定の前記第二画素が欠陥画素である場合には該特定の第二画素の近傍であって前記第二画素と同色の前記第二画素の画素値を用いて該欠陥画素を補間する第一欠陥補間ステップと、
   複数の前記第一画素及び複数の前記第二画素の出力を用いて合焦度を評価する合焦度評価ステップと、
   特定の前記第一画素が欠陥画素である場合には該特定の第一画素の近傍の同一マイクロレンズ内の前記第一画素及び前記第二画素の画素値の比を前記特定の第一画素と同一マイクロレンズ内の前記第二画素に掛けることによって該欠陥画素を補間し、特定の前記第二画素が欠陥画素である場合には該特定の第二画素の近傍の同一マイクロレンズ内の前記第一画素及び前記第二画素の画素値の比を前記特定の第二画素と同一マイクロレンズ内の前記第一画素に掛けることによって該欠陥画素を補間する第二欠陥補間ステップと、
   前記合焦度評価ステップにより評価された前記合焦度に基づいて、前記第一欠陥補間ステップで得られた出力と前記第二欠陥補間ステップで得られた出力の合成比を変える合成比変更ステップと、
   前記合成比変更ステップで得られた出力を用いて撮影画像を生成する信号処理ステップと、
   を有することを特徴とする画像処理方法。