JP6547645B2 - 画像処理方法 - Google Patents

Description

本発明は、デジタルスチルカメラ等に搭載される撮像素子において、機能画素位置から出力される撮像用信号の画像処理方法に関する。

デジタルスチルカメラは、レンズ系から入射された光線を光電変換するために、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー等の撮像素子を内部に有している。撮像素子は、一般的に撮像用画素を二次元状に配列されることで構成されるが、加えて特定の機能を有する機能画素を搭載する技術が広く知られている。ここで、本文献における機能画素とは、撮像用画素に対して異なる感度を有する画素を指すものとする。

例えば特許文献１では、機能画素として瞳分割機能を有する焦点検出画素を有する撮像素子が開示されている。焦点検出画素は、受光部の感度領域を偏心させた２種類の画素があり、それぞれの画素から出力される信号から像ズレ量を検出することで焦点検出を行う。

焦点検出画素のような機能画素の光電変換特性として、光量に対する信号値の応答性が撮像用画素に比べて線形的に低くなるという特徴がある。また、信号減衰率はレンズと撮像素子の特性の組み合わせによって大きく異なる。従って、機能画素から出力される信号を撮像用信号として画像データ生成に取り扱うためには、適切な補正を行う必要がある。

機能画素に対する補正方法の１つとして、信号増幅を行うゲイン補正が知られている。ゲイン補正は機能画素から得られる信号値が線形性を持つ範囲であれば、適切な補正として機能する。

しかし一方で、レンズの状態や撮影時の環境など何らかの要因によってゲイン量に誤差があった場合には、好適な信号値を取得できない。また、撮像素子や電子回路によるノイズが発生した場合についても、信頼できる信号値が得られないためゲイン補正では好適な信号値を取得できない。このような場合、周囲に位置する画素が平坦な信号値を出力するときほど、機能画素の推定信号値が持つ推定誤差が目立ってしまう。

このような場合にはゲイン補正ではなく、補間補正が有効となる。補間補正は機能画素の周辺に位置する撮像用画素の信号値を参照して行う補正であり、多くの場合に適切な補正として機能する。

しかし、補間補正は平均化処理の一種であることから特徴的な情報は失われる。よって、全ての機能画素に対して補間補正を行うと画像データの解像感が損なわれてしまう。

例えば、大きくコントラストが変化するような被写体のエッジ上に機能画素が位置していた場合、得られるべき信号値が周囲の撮像用画素の信号値と大きく異なることが考えられる。その場合には、周囲の画素からの補間は好適に作用せず、エッジ部分の鮮鋭度が低下してしまう可能性が有る。

すなわちゲイン補正と補間補正とを状況に応じて好適に選択し、適用させる機能画素の補正方法が求められている。

機能画素の補正方法として、例えば特許文献１が挙げられる。特許文献１に開示された発明によれば、ボケの大きい撮影条件では機能画素信号値の推定誤差を認識しづらくするよう、画像処理装置がレンズから絞り値の条件を受け取ることで、補間処理に用いられる係数を好適に選択することができる。

これによって、補間処理により生成された画像信号による画質劣化を低減することが可能となる、としている。

また、特許文献２に開示された発明によれば、ゲイン処理を行う補正手段と周辺画素の信号値から補間演算を行う補正手段とを有し、それぞれの補正手段の結果から、好ましい結果を選択する。

これによって、焦点検出画素の位置の画像データ生成に伴う画像品質の劣化の低減を達成できる画像処理装置を提供する、としている。

特開２００７−２８２１０８号公報 特開２０１１−１２４７０４号公報

しかし特許文献１記載の発明は、撮像用画素から出力される信号値を参照せずに補正方法を決定するため、ゲイン補正を行う領域の判別を行わない。その結果、最終的な画像データは不適正なゲイン補正に由来する特異点の発生、解像感の悪化等の問題が生じる恐れがある。

また、ゲイン処理による補正結果は装着したレンズや撮影状況に大きく依存する。しかし、特許文献２記載の発明は、レンズ毎の固有情報によるゲイン修正が想定されておらず、不適正なゲイン処理となってしまう恐れがある。また、全ての機能画素に対してゲイン補正、補間演算による補正の両者を行う必要があるため画像処理の工程が多くなり、画像処理に要する時間が増大してしまう。

上記課題から本発明は、画像処理時間を抑制しながら、機能画素に対して適切な補正を行うことで良好な画像データを取得可能な画像処理方法を提供することを目的とする。

請求項１に示す発明は、２次元状に配置された複数の撮像用画素と、撮像用画素とは異なる感度を持つ複数の機能画素と、を有する撮像手段の画像処理方法であって、複数の前記機能画素は複数の機能画素群を構成し、前記機能画素群に含まれる前記機能画素から出力されるそれぞれの信号値から概算値を算出する概算値算出ステップと、前記概算値が、前記機能画素群の周辺画素から出力される信号値から設定される信号値信頼区間の範囲内である場合には前記機能画素から出力された信号値にゲイン補正を行い、それ以外の場合には前記機能画素の信号値を前記周辺画素の信号値を基に推定補正する、信号値補正ステップとを有することを特徴とする画像処理方法である。

請求項２に示す発明は、前記機能画素群は、複数の前記機能画素が隣接して配置されることを特徴とする請求項１に記載の画像処理方法である。

請求項３に示す発明は、前記ゲイン補正は、前記撮像手段に装着された光学手段の光学情報に応じて選択されたゲインテーブルを適用することで行われることを特徴とする、請求項１及び請求項２のいずれかに記載の画像処理方法である。

請求項４に示す発明は、前記光学情報は、前記撮像手段に装着された光学手段の周辺減光値及び入射光線角であることを特徴とする、請求項３に記載の画像処理方法である。

請求項５に示す発明は、前記光学手段の前記光学情報が取得できない場合、前記機能画素から出力された信号値に前記推定補正を行うことを特徴とする請求項３及び請求項４のいずれかに記載の画像処理方法である。

請求項６に示す発明は、前記信号値信頼区間は、前記周辺画素の最大信号値を上限とし、最小信号値を下限とすることを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理方法である。

請求項７に示す発明は、前記推定補正は、前記概算値が前記周辺画素の最大信号値より大となる場合、前記機能画素の信号値を隣接する前記撮像用画素の最大信号値と置換し、前記周辺画素の最小信号値より小となる場合、前記機能画素の信号値を隣接する前記撮像用画素の最小信号値と置換することを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理方法である。

請求項８に示す発明は、前記周辺画素に欠陥画素が含まれる場合、前記信号値信頼区間の設定には前記欠陥画素を使用しないことを特徴とする請求項１乃至請求項７のいずれかに記載の画像処理方法である。

請求項９に示す発明は、前記周辺画素に欠陥画素が含まれる場合、前記機能画素を欠陥画素とし、前記欠陥画素及び前記機能画素を欠陥画素補正処理によって補正することを特徴とする請求項１乃至請求項７のいずれかに記載の画像処理方法である。

請求項１０に示す発明は、前記機能画素は、撮像光学系からの光束のうち分割された光束を光電変換する焦点検出画素であることを特徴とする請求項１乃至請求項９のいずれかに記載の画像処理方法である。

請求項１１に示す発明は、前記機能画素は、前記撮像用画素に対し異なる構造を取る又はフィルタを有することで、異なる感度を持つ飽和防止画素であることを特徴とする請求項１乃至請求項９のいずれかに記載の画像処理方法である。

請求項１２に示す発明は、前記撮像手段は、深さ方向に積層された複数の層の受光部を有する複数の受光素子が半導体基板上に配置された積層型固体撮像素子であることを特徴とする請求項１乃至請求項１１のいずれかに記載の画像処理方法である。

本発明によれば、画像処理時間を抑制しながら、機能画素に対して適切な補正を行うことで良好な画像データを取得可能な画像処理方法を得ることができる。

本発明の一実施形態であるカメラシステムの主要な構成を示したブロック図である。 図１に示した撮像装置に実装される撮像素子の単一画素を単純化した断面図である。 焦点検出画素を配置した撮像素子の画素配置列を示した模式図である。 焦点検出画素の構造を示した模式図である。 図３に示した撮像素子の画素配置列から、焦点検出画素群を中心として３×４個の画素を抽出した模式図である。 ゲイン係数算出を示すためのチャート図である。 焦点検出画素の信号値補正処理のチャート図である。 飽和防止用画素を配置した撮像素子の画素配置列を示した模式図である。 図８に示した撮像素子の画素配置列から、飽和防止画素群を中心として４×４個の画素を抽出した模式図である。

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

図１に示すブロック図には、本発明の一実施形態であるカメラシステムの主要な構成が示されている。本図に示すカメラシステムは、撮像装置１００と、光学装置１０１と、撮影光学系１１０と、撮像素子２００と、信号処理部１５０と、補正処理部１５２と、画像処理部１５４と、メモリ部１６０と、カメラＣＰＵ１７０と、ユーザインターフェイス（Ｉ／Ｆ）１７１と、記録媒体インターフェイス（Ｉ／Ｆ）１７２と、画像表示部１９０と、を備えている。

光学装置１０１は撮像装置１００に対して交換可能であり、不図示のレンズＣＰＵを備えている。また、撮影光学系１１０は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、簡単のために１枚のレンズのみ記載している。

撮像素子２００は、撮影光学系により集光された光線を受光して光電変換し、信号値として出力する。本実施形態の撮像素子２００としては、ＣＭＯＳイメージセンサが用いられている。

この撮像素子２００の受光面は多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各色成分信号を出力可能な垂直色分離型のイメージセンサである。垂直色分離型のイメージセンサについて詳しくは後述する。

撮像素子２００の最上面に位置するフォトダイオード２１０には焦点検出画素が周期的に配置されている。焦点検出画素について詳しくは後述する。

本実施形態の撮像素子２００には、画素から読み出した色成分信号を増幅するゲイン可変アンプやゲイン値を補正するためのゲイン補正回路、アナログ画像信号をデジタル変換するＡ／Ｄコンバータが内蔵されている。

信号処理部１５０は、撮像素子２００から出力された信号に対して通常の信号処理を行う。通常の信号処理とはダーク処理、線形化などであり、公知技術と同様であるため説明を省略する。撮像素子２００から出力された信号は、各種信号処理が施された後、Ｒａｗデータとして一旦メモリ部１６０に記録される。メモリ部１６０は、このほかにも各種データのバッファとして機能する。

補正処理部１５２は、メモリ部１６０から読み出されたＲａｗデータに対して機能画素から出力された信号値を補正する処理を行う。機能画素の信号値補正処理について詳しくは後述する。

画像処理部１５４は、補正処理部１５２によって補正された画像データに対して通常の画像処理を行う。通常の画像処理とはホワイトバランス調整、色調補正処理、階調変換処理などであり、公知技術と同様であるため説明を省略する。

カメラＣＰＵ１６０は、撮像装置１００全体の包括的な制御を行う。特に、カメラＣＰＵ１７０は、信号処理部１５０、補正処理部１５２及び画像処理部１５４の制御を行う。

ユーザＩ／Ｆ１７１は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラＣＰＵは所定の動作を行う指示を出す。

記録媒体Ｉ／Ｆ１７２は、不図示の記録媒体との間でＲＡＷデータや現像後の画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。

画像表示部１９０は、画像処理部１５４で処理された画像データや、不図示の記録媒体から読み出された画像データ等を表示する。

なお、上述したゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを内蔵していない撮像素子２００を採用する場合には、これらのデバイスを個別に搭載すればよい。

図２は、撮像装置１００に実装される撮像素子２００の単一画素を単純化して示した断面図である。上述したように、本実施形態の撮像素子２００はいわゆる垂直色分離型のイメージセンサであり、各画素には、深さ方向に３つのフォトダイオードが積層して形成されている。

ある画素に光が入射すると、入射光中の青色（Ｂ）成分は主に最上面に位置するフォトダイオード２１０で光電変換される。同様に、入射光中の緑色（Ｇ）成分は主に中間深さに位置するフォトダイオード２３０で光電変換され、赤色（Ｒ）成分は主に最下層に位置するフォトダイオード２５０で光電変換される。これらの、垂直方向の色分離は撮像素子２００の材料として用いるシリコン（Ｓｉ）の特性を利用したものである。

これら３つのフォトダイオードは、Ｓｉ基板の内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、Ｂ成分用フォトダイオード２１０は、約０．２〜０．５μｍの間の深さに形成され、Ｇ成分用フォトダイオード２３０は、約０．５〜１．５μｍの間の深さに形成され、Ｒ成分用フォトダイオード２５０は、約１．５〜３．０μｍの間の深さに形成される。

従って、本実施形態の撮像素子２００はベイヤー型イメージセンサに必須のカラーフィルタが不要でありながら、１つの画素でＲＧＢ３色の色成分信号を取得することが可能である。各画素が３色全ての波長成分を光電変換できるため、ベイヤー型イメージセンサにおいては必須の画素補間を行う必要がないというメリットもある。

なお、上記の構成に限らず、有機物や無機物等により形成された特定の吸収特性を有する光電変換膜を複数積層させた構成としてもよい。

また、単層からなるセンサーにベイヤー配列のカラーフィルタを搭載した、標準的な構造のイメージセンサを使用した構成としても良い。

（実施例１）
図３は、最上面に位置するフォトダイオード行列のうち一部に焦点検出画素を配置した撮像素子２００の画素配置列を示した模式図である。以降の実施例では、撮像用画素とは焦点検出画素ではない画素を指すものとする。Ｌｎ、Ｒｎは互いに対を成す左目及び右目の焦点検出画素であり、互いに隣接するように周期的に配置されている。

例えば、左目焦点検出画素Ｌ１は右目検出画素Ｒ１と互いに対を成し焦点検出画素群Ｓ１を構成する。以下同様に、左目焦点検出画素Ｌｎは右目検出画素Ｒｎと互いに対を成し焦点検出画素群Ｓｎを構成する。ここでｎは任意の自然数であり、撮像素子の必要に応じて設定される。

次に焦点検出画素について説明する。焦点検出画素は、デジタルカメラにおけるオートフォーカス（ＡＦ）のための測距データを読み出すために配置される画素である。撮像素子２００から出力される信号を用いて位相差検出を行うことで、高精度のＡＦが可能となる。

図４を用いて左目検出画素Ｌｎと右目検出画素Ｒｎの構造を説明する。図４（ａ）は左目検出画素Ｌｎの構造を示した模式図である。左目検出画素Ｌｎの光入射側にはマイクロレンズ２７０が形成されている。左目検出画素Ｌｎは偏心した開口部２９０を有し、画素の略半分の領域を遮光されることで入射光量が制限された構造となっている。

また、図４（ｂ）は右目検出画素Ｒｎの構造を示した模式図である。右目検出画素Ｒｎは左目検出画素Ｌｎと比較し、各マイクロレンズ２７０の光軸を挟んだ対称な位置に開口部２９０を持つ構造をとる。

焦点検出画素による焦点検出プロセスは、例えば特許文献１に開示されている公知の技術であり、本実施例での説明は省略する。

焦点検出画素から出力される信号は焦点検出に用いられるが、同時に画像信号として画像データ生成にも使用される。ここで焦点検出画素は画素全体から略半分を遮光された入射光量の制限された構造のため、撮像用画素と比較して略半分の感度しか持たず、撮像用画素と比べて同一光量に対して信号値が低下してしまう。従って、焦点検出画素から出力される信号値を画像データへと使用するには信号値に対して補正処理を行う必要がある。

そこで本実施例における補正処理部は、焦点検出画素に対し、周囲にある撮像用画素の信号値を用いた信号補間により、焦点検出画素の信号値を補正する推定補正処理と、焦点検出画素の出力信号にゲインを乗じて増幅することで、焦点検出画素の信号値を補正するゲイン補正処理とのいずれかを行う。

図５は、図３に示した撮像素子の画素配置列から、焦点検出画素群Ｓ１を中心として３×４個の画素を抽出した図である。

まず、ゲイン補正処理と推定補正処理とに共通する処理について説明する。補正処理部１５２は焦点検出画素群Ｓ１に対して補正処理を行う場合、焦点検出画素群Ｓ１を構成する焦点検出画素全てから出力される信号値を合算することで、右目焦点検出画素Ｒ１及び左目焦点検出画素Ｌ１から出力される信号値の概算値を算出する。本実施例においては右目焦点検出画素Ｒ１から出力される信号値と、左目焦点検出画素Ｌ１から出力される信号値とを合算することで、概算値は算出される。

続いて補正処理部１５２は、Ｌ１の周辺画素であるＴＬ、ＴＣ、ＴＲ及びＲ１の周辺画素であるＢＬ、ＢＣ、ＢＲから、焦点検出画素群Ｓ１の信頼区間を設定する。信頼区間とは、ＴＬ、ＴＣ、ＴＲ、ＢＬ、ＢＣ、ＢＲから出力される信号の最大値及び最小値をそれぞれ上限値及び下限値とする区間である。信頼区間の上限値をＭ、信頼区間の下限値をｍと定義すると、Ｍ及びｍは次の式で表される。

ただし、ｓ＿ＴＬ、ｓ＿ＴＣ、ｓ＿ＴＲ、ｓ＿ＢＬ、ｓ＿ＢＣ、ｓ＿ＢＲは各画素から出力される信号値である。

なお信頼区間の算出において周辺画素に欠陥画素が含まれた場合、信頼できない信号値が含まれることで信頼区間の精度が低下してしまう。従って、信頼区間を算出する際には欠陥画素から出力される信号値について除外して求めることが好ましい。

その一方で、周辺画素に欠陥画素が多く存在する場合、前述の通りに欠陥画素を除外してしまうと、周辺画素の情報が減少するため信頼区間の精度が低下してしまう。このような際には周辺画素及び焦点検出画素群の全てを欠陥画素として登録し、補正処理後に欠陥画素補正を施すなどすればよい。

焦点検出画素は、その構造に由来して撮像用画素と比べ略半分の感度を持つ。従って概算値は、右目焦点検出画素Ｒ１と左目焦点検出画素Ｌ１から出力される信号値を加算していることから、同一光量に対して撮像用画素で得られる信号値と略同等の値を持つはずである。

補正処理部１５２は焦点検出画素群Ｓ１に対してゲイン補正処理を行うか、若しくは推定補正処理を行うかについて判定を行う。概算値が周辺画素の信号値と略同等であれば、概算値は信頼できる値であるとしてゲイン補正処理が好適に作用する。一方、概算値が周辺画素の信号値と乖離するようであれば、概算値は信頼できない値であるのでゲイン補正処理は適さないため、周辺からの推定補正処理を行う。

すなわち、補正処理部は概算値が信頼区間内に存在するかを判定する。概算値が信頼区間内に存在する場合、焦点検出画素から出力される信号値にゲイン補正処理が行われ、第１推定値が算出される。一方、概算値が信頼区間内に存在しない場合、焦点検出画素から出力される信号値に推定補正処理が行われ、第２推定値が算出される。

ここで第１推定値或いは第２推定値は、焦点検出画素群を構成する全ての焦点検出画素に対して算出される。例えば焦点検出画素群Ｓ１の場合、右目焦点検出画素Ｒ１と左目焦点検出画素Ｌ１との両者について第１推定値或いは第２推定値が算出される。

次に第１推定値を算出するゲイン補正処理について説明を行う。ゲイン補正処理は焦点検出画素から取得された信号値にゲイン係数を乗ずることによって行われる。

焦点検出画素の感度比は、撮像素子２００の特性及び撮影時の光学情報に依存して変化する。従って、各画素座標に応じたゲイン係数は、撮像素子２００の特性及び撮影時の光学情報によって決定される。

ここで焦点検出画素の感度比とは左目検出画素Ｌｎまたは右目検出画素Ｒｎと周辺撮像用画素に対し同じ光量をあてた際の出力信号値の比を指す。また光学情報とは、光学装置１０１のイメージサークルにおける周辺減光値及び入射光線角のパラメータを指す。これらは、Ｆ値、ズーム値、スケール値からなる撮影時の条件によって画素座標毎に決定されるパラメータである。

撮影時の条件に対する画素座標毎の光学情報の数値対応は光学装置１０１の設計段階で規定されており、光学装置１０１は上記撮影時の条件の全ての組み合わせに対して画素座標毎の光学情報を保持している。

光学装置１０１の撮影時の画素座標毎の光学情報が決定されることで、各画素座標における焦点検出画素の感度比が一意的に決定されるので、各画素座標に対する適切なゲイン係数も同様に一意的に決定される。

本実施例において、ゲイン係数はゲインテーブルとしてメモリ部１６０に保存されている。ゲインテーブルは撮像素子２００の各画素座標に応じたゲイン係数によって構成された数値群であり、撮像装置１００の製造段階で撮像素子毎に測定・保存される。

前述したように、焦点検出画素の感度比は、光学装置１０１の撮影時の光学情報によって異なる。従ってゲイン補正を行う際には、光学装置１０１の撮影時の光学情報に応じて適切なゲインテーブルを選択する必要がある。メモリ部１６０には複数の条件に対応するために、複数のゲインテーブルが測定・保存されている。

図６はゲイン補正処理のフローチャートである。以下、図に従って本実施例のゲイン補正処理について説明する。

ステップＳ００１でカメラＣＰＵ１７０からゲイン補正処理命令が発信されると、ステップＳ００２では、ゲインテーブルを選択するために必要な撮影時の光学情報がレンズＣＰＵから取得される。上記光学情報は撮影時の条件に依存する固有のパラメータであり、光学装置１０１の製造時に保存される情報である。本実施例では画素座標毎の周辺減光値及び入射光線角を使用する。

ステップＳ００３では、ステップＳ００２で取得されたデータを基に、ゲインテーブルの選択及び補間が行われる。本実施例では、データ量を抑制するため、全ての撮影時の光学情報に対してゲインテーブルを撮像装置１００に保持させるのではなく、ある程度間引いて保持をさせる。

ゲインテーブルは撮影時の光学情報について間引かれて保持しているので、撮影時の光学情報の条件によっては補間処理を行い、適切なゲインテーブルを算出する必要がある。この際の補間処理は例えば加重平均を用いればよい。また補間処理が必要ない条件の場合には、条件に対応するゲインテーブルが選択される。以上のようにして、ステップＳ００３では装着された光学装置１０１及び光学情報に最適なゲインテーブルが算出される。

ステップＳ００４では、ゲイン係数の空間的な補間が行われる。ゲインテーブルは画素座標毎のゲイン係数群であるが、データ量を抑制するため、ある程度間引いてゲイン係数を保持している。従って、画素座標毎に適切に作用するゲイン係数を算出するため、補間処理が行われる。この際の補間処理はステップＳ００３と同様に、例えば加重平均を用いればよい。

ステップＳ００５では、算出されたゲインテーブルを参照し、焦点検出画素から出力される信号値に画素座標に応じたゲイン係数を乗算する。以上のようにして、ゲイン補正処理は行われる。

なお光学装置１０１の光学情報は予め撮像装置に保持しておいてもよい。また、代表する画素座標における光学情報のみを用いてゲインテーブルを選択し、各ゲイン係数を補間してもよい。

また撮影時の光学情報について、本実施例ではレンズＣＰＵから送られることで取得したが、これはその他の手段で取得しても良い。例えば撮影時の条件について、カメラＣＰＵにユーザＩ／Ｆ１７１を介して直接入力してもよい。ただしその場合、光学情報はカメラ側で推定をする必要がある。

続いて第２推定値を算出する推定補正処理について説明を行う。推定補正処理は焦点検出画素から出力される信号値を、周辺画素から出力される信号値と置換することによって行われる。

概算値が信頼区間の上限値を上回っている場合には、焦点検出画素から出力される信号値は周辺画素の最大値と置換される。また、信頼区間の下限値を下回っている場合には、焦点検出画素から出力される信号値は周辺画素の最小値と置換される。左目焦点検出画素Ｌ１の第２推定値をｅ＿Ｌ１、置換された右目焦点検出画素Ｒ１の第２推定値をｅ＿Ｒ１とすると、ｅ＿Ｌ１及びｅ＿Ｒ１は次の式で表される。

ただし、ｓ＿Ｌ１は左目焦点検出画素Ｌ１から出力される信号値であり、ｓ＿Ｒ１は右目焦点検出画素Ｒ１から出力される信号値であり、Ｍ＿Ｌ１、ｍ＿Ｌ１、Ｍ＿Ｒ１、ｍ＿Ｒ１は以下の式で表される値である。

また推定補正処理が行われるのは概算値が信頼区間内に存在しない場合であるので、概算値は数９もしくは数１０のどちらかの条件に適合する。

ここで、本実施例におけるゲイン補正処理及び推定補正処理は、焦点検出画素の全てのフォトダイオードから出力される信号値に対して行われる。すなわち、最上面に位置するフォトダイオード２１０、中間深さに位置するフォトダイオード２３０、最下層に位置するフォトダイオード２５０は異なる信号値を出力するので、そのそれぞれに対して補正処理は行われる。

図７は本実施例における焦点検出画素の信号値補正処理のチャート図を示している。以下、図に従って本実施例の信号値補正処理について説明する。

ステップＳ１０１でカメラＣＰＵ１７０から信号値補正処理命令が発信されると、ステップＳ１０２でメモリ部１６０から補正処理部１５２にＲａｗデータが読み出される。

ステップＳ１０３では、メモリ部１６０から読み出されたＲａｗデータに撮影時の光学情報が存在するかについて判断を行う。Ｒａｗデータに撮影時の光学情報が存在しない場合、ステップＳ１０８において、全ての焦点検出画素の出力信号に対して推定補正処理を行い、第２推定値を算出する。算出された第２推定値は全ての焦点検出画素の信号値と置換され、信号値補正処理は終了する。

ステップＳ１０３でＲａｗデータに撮影時の光学情報が存在すると判定された場合、ステップＳ１０４でゲインテーブルの計算が行われる。

ステップＳ１０５では補正を行う対象の焦点検出画素に対して概算値と信頼区間を算出する。

ステップＳ１０６では概算値が信頼区間の範囲内に存在するか判定を行う。概算値が信頼区間の範囲内に存在する場合、ステップＳ１０７において、補正を行う対象の焦点検出画素に対してゲイン処理補正を行い、第１推定値を算出する。算出された第１推定値は補正を行う対象の焦点検出画素の信号値と置換され、信号値補正処理は終了する。

ステップＳ１０６で概算値が信頼区間の範囲内に存在しないと判定された場合、ステップＳ１０８において、補正を行う対象の焦点検出画素の出力信号に対して推定補正処理を行い、第２推定値を算出する。算出された第２推定値は補正を行う対象の焦点検出画素の信号値と置換され、信号値補正処理は終了する。

なお、本実施例では焦点検出画素の感度が撮像画素の略半分としたが、このような条件を満たさない焦点検出画素を使用する際には、感度が撮像画素の略半分となるようにゲイン処理を行えばよい。

以上の様に本実施例の撮像装置１００は、焦点検出画素から出力される信号値の信頼性を判定することで、ゲイン補正処理による推定誤差の影響を事前に判別し、好適な補正処理方法の選択が可能である。

また、概算値は焦点検出画素上にあるエッジ情報を平均化する特徴を持っている。つまり、焦点検出画素に横方向のエッジが面するなどの対を成す焦点検出画素の値同士が大きく異なるような場合には、概算値は信頼区間内に収まる。従って、ゲイン処理補正が選択されることから、エッジの鮮鋭度を失わない補正処理が可能となる。

また、撮影時の周辺減光値及び入射光線角を参照することで、画素座標毎に適切なゲイン係数を用いてゲイン処理補正が可能となる。

また、本実施例の撮像装置１００は補正処理方法を判定し、選択することでどちらかの補正処理のみを行う。従って必要のない処理を行わないため、処理速度の短縮を望むことができる。

（実施例２）
実施例１では機能画素として焦点検出画素を配置したが、本発明はそれ以外の機能画素に適用することも可能である。実施例２における発明は、飽和防止画素を機能画素とする撮像素子２００を備えた撮像装置１００の画像処理方法である。

飽和防止画素は画素の一部を遮蔽する、若しくは入射光量の透過率を抑制するフィルタを画素に設置する、などの方法で撮像用画素と比較して低い感度を有する機能画素である。撮像用画素よりも低い感度を有することで、撮像用画素の信号値が飽和するような場合にも飽和せずに適切な信号値を出力可能であることから、画像の白飛びに対して有効な補正を行うために設置される。

図８は最上面に位置するフォトダイオード行列のうち一部に飽和防止画素を配置した撮像素子の画素配置列を示した模式図である。ＬＴｎ、ＲＴｎ、ＬＢｎ、ＲＢｎは飽和防止画素であり、各画素が別の飽和防止画素２つと隣接するようにして配置されている。ここでｎは任意の自然数であり、撮像素子の必要に応じて設定される。

例えば、左上飽和防止画素ＬＴ１と右上飽和防止画素ＲＴ１と左下飽和防止画素ＬＢ１と右下飽和防止画素ＲＢ１は、飽和防止画素群Ｕ１を構成する。

本実施例における飽和防止画素は、画素の周辺部を遮光されることで入射光量が制限された構造となっている。画素の中央部は開口部となっており、開口部は撮像用画素の開口部の略４分の１の面積を有している。また、撮像素子中の飽和防止画素は全て同様の構造となる。

飽和防止画素から出力される信号値は、周辺画素が飽和を起こした際には飽和防止のための信号処理に寄与する。一方、周辺画素が飽和を起こしていない場合においては、画像信号として画像データ生成のみに使用される。ここで飽和防止画素は入射光量の制限された構造のため、撮像用画素と比較して略４分の１の感度しか持たず、撮像用画素と比べて同一光量に対して信号値が低下してしまう。従って、飽和防止画素から出力される信号値を画像データへと使用するには実施例１と同様に信号値に対して補正処理を行う必要がある。

信号値補正処理について、手法は実施例１と同様であるが、概算値、信頼区間及び第２推定値の算出方法が異なるためその点について記述する。

図９は、図８に示した撮像素子の画素配置列から、飽和防止画素群Ｕ１を中心として４×４個の画素を抽出した図である。

補正処理部１５２はＵ１に対して概算値を算出する。Ｕ１の概算値は、左上飽和防止画素ＬＴ１から出力される信号値と、右上飽和防止画素ＲＴ１から出力される信号値と、左下飽和防止画素ＬＢ１から出力される信号値と、右下飽和防止画素ＲＢ１とを合算することで算出される。

また、補正処理部１５２は、ＬＴ１の周辺画素であるＬＴＴ、ＬＴＬ、及びＲＴ１の周辺画素であるＲＴＴ、ＲＴＲ、及びＬＢ１の周辺画素であるＬＢＬ、ＬＢＢ、及びＲＢ１の周辺画素であるＲＢＲ、ＲＢＢから、飽和防止画素群Ｕ１の信頼区間を設定する。信頼区間の上限値をＮ、信頼区間の下限値をｎと定義すると、Ｎ及びｎは次の式で表される。

ただし、ｓ＿ＬＴＴ、ｓ＿ＬＴＬ、ｓ＿ＲＴＴ、ｓ＿ＲＴＲ、ｓ＿ＬＢＬ、ｓ＿ＬＢＢ、ｓ＿ＲＢＲ、ｓ＿ＲＢＢは各画素から出力される信号値である。

推定補正処理が行われる場合、左上飽和防止画素ＬＴ１の第２推定値をｅ＿ＬＴ１とすると、ｅ＿ＬＴ１は以下の式で表される値である。その他の飽和防止画素の第２推定値については省略するが、同様の方法で算出される。

ただし、Ｍ＿ＬＴ１、ｍ＿ＬＴ１は以下の式であわされる値である。

また推定補正処理が行われるのは概算値が信頼区間内に存在しない場合であるので、概算値は数１６もしくは数１７のどちらかの条件に適合する。

以上の様にして概算値、信頼区間及び第２推定値は算出される。第１推定値を算出するためのゲイン補正処理等、その他の処理は実施例１と同様に行えばよい。

なお、本実施例では飽和防止画素の感度が撮像画素の略４分の１としたが、このような条件を満たさない飽和防止画素を使用する際には、感度が撮像画素の略４分の１となるようにゲイン処理を行えばよい。

本実施例によれば、飽和防止画素に対して好適な信号値補正を行うことが可能である。

以上で説明したように、本発明に記載の画像処理方法によれば、画像処理時間を抑制しながら、機能画素に対して適切な補正を行うことが可能となる。

１００ 撮像装置
１０１ 光学装置
１１０ 撮影光学系
１５０ 信号処理部
１５２ 補正処理部
１５４ 画像処理部
１６０ メモリ部
１７０ カメラＣＰＵ
１７１ ユーザインターフェース（Ｉ／Ｆ）
１７２ 記録媒体インターフェース（Ｉ／Ｆ）
１９０ 画像表示部
２００ 撮像素子
２１０ 最上面に位置するフォトダイオード
２３０ 中間深さに位置するフォトダイオード
２５０ 最下層に位置するフォトダイオード
２７０ マイクロレンズ
２９０ 開口部

Claims (12)

1. ２次元状に配置された複数の撮像用画素と、
   撮像用画素とは異なる感度を持つ複数の機能画素と、を有する撮像手段の画像処理方法であって、
   複数の前記機能画素は複数の機能画素群を構成し、
   前記機能画素群に含まれる前記機能画素から出力されるそれぞれの信号値から概算値を算出する概算値算出ステップと、
   前記概算値が、前記機能画素群の周辺画素から出力される信号値から設定される信号値信頼区間の範囲内である場合には前記機能画素から出力された信号値にゲイン補正を行い、それ以外の場合には前記機能画素の信号値を前記周辺画素の信号値を基に推定補正する、信号値補正ステップと
   を有することを特徴とする画像処理方法。
2. 前記機能画素群は、複数の前記機能画素が隣接して配置されることを特徴とする請求項１に記載の画像処理方法。
3. 前記ゲイン補正は、
   前記撮像手段に装着された光学手段の光学情報に応じて選択されたゲインテーブルを適用することで行われることを特徴とする、請求項１及び請求項２のいずれかに記載の画像処理方法。
4. 前記光学情報は、
   前記撮像手段に装着された光学手段の周辺減光値及び入射光線角であることを特徴とする、請求項３に記載の画像処理方法。
5. 前記光学手段の前記光学情報が取得できない場合、
   前記機能画素から出力された信号値に前記推定補正を行うことを特徴とする請求項３及び請求項４のいずれかに記載の画像処理方法。
6. 前記信号値信頼区間は、
   前記周辺画素の最大信号値を上限とし、最小信号値を下限とすることを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理方法。
7. 前記推定補正は、前記概算値が
   前記周辺画素の最大信号値より大となる場合、前記機能画素の信号値を隣接する前記撮像用画素の最大信号値と置換し、
   前記周辺画素の最小信号値より小となる場合、前記機能画素の信号値を隣接する前記撮像用画素の最小信号値と置換することを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理方法。
8. 前記周辺画素に欠陥画素が含まれる場合、
   前記信号値信頼区間の設定には前記欠陥画素を使用しないことを特徴とする請求項１乃至請求項７のいずれかに記載の画像処理方法。
9. 前記周辺画素に欠陥画素が含まれる場合、
   前記機能画素を欠陥画素とし、
   前記欠陥画素及び前記機能画素を欠陥画素補正処理によって補正することを特徴とする請求項１乃至請求項７のいずれかに記載の画像処理方法。
10. 前記機能画素は、撮像光学系からの光束のうち分割された光束を光電変換する焦点検出画素であることを特徴とする請求項１乃至請求項９のいずれかに記載の画像処理方法。
11. 前記機能画素は、前記撮像用画素に対し異なる構造を取る又はフィルタを有することで、異なる感度を持つ飽和防止画素であることを特徴とする請求項１乃至請求項９のいずれかに記載の画像処理方法。
12. 前記撮像手段は、深さ方向に積層された複数の層の受光部を有する複数の受光素子が半導体基板上に配置された積層型固体撮像素子であることを特徴とする請求項１乃至請求項１１のいずれかに記載の画像処理方法。

Images