JP2017158018A - 画像処理装置およびその制御方法、撮像装置 - Google Patents

Abstract

【課題】シェーディングが発生した場合でも欠陥画素検出を精度良く行うこと。
【解決手段】撮像装置の撮像素子１０７は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する。複数の光電変換部からそれぞれ信号を取得することで視差を有する視差画像が生成される。ＣＰＵ１２１は、検出画素の出力値である第１出力値と、当該画素と近接する画素から決定される第２出力値から評価値を算出し、当該評価値を所定の閾値と比較することにより欠陥画素検出を行う。ＣＰＵ１２１は、第１出力値および第２出力値を用いて導出した第１評価値と、第２出力値とを用いて第２評価値を算出し、第２評価値が閾値より大きい場合に画素を欠陥画素として検出する。
【選択図】 図１

Description

本発明は、撮像素子の欠陥画素検出に関する。

撮像素子内の欠陥画素を検出するために、着目画素に近接した画素の情報を用いて欠陥画素検出を行う撮像装置が提案されている。特許文献１では、同色の２つ以上の隣接画素情報を用いて欠陥画素検出を行う技術が開示されている。特許文献２では、同色と異色の画素情報を用いて欠陥画素検出を行う技術が開示されている。

特開２０１０−１３０２３６号公報 特開２０１１−９７５４２号公報

しかしながら、撮像光学系を通過して撮像素子に到達し、フォトセンサで受光されたときの画像信号の出力値は、シェーディングの影響で均一の値にならない可能性がある。つまり、シェーディングの発生により、フォトセンサの受光領域に応じて輝度が変化するので、撮像素子の欠陥画素検出を適切に行うことが難しい。
本発明は、シェーディングが発生した場合でも欠陥画素検出を精度良く行うことを目的とする。

本発明の一実施形態に係る装置は、複数の画素の出力値を取得して画像信号を処理する画像処理装置であって、前記画素から第１出力値を取得し、当該画素に近接する画素から決定される第２出力値を取得する取得手段と、前記第１出力値と前記第２出力値から前記画素の評価値を算出し、当該評価値を閾値と比較することにより欠陥画素検出を行う検出手段を備える。前記検出手段は、前記第１出力値および前記第２出力値から導出される第１評価値と前記第２出力値とを用いて第２評価値を算出し、該第２評価値が前記閾値より大きい場合、前記画素を欠陥画素として検出する。

本発明によれば、シェーディングが発生した場合でも欠陥画素検出を精度良く行える。

本発明の実施形態における撮像装置の概略構成図である。 本発明の実施形態における画素配列の概略図である。 本発明の実施形態における画素の概略平面図と概略断面図である。 本発明の実施形態における画素と瞳分割の概略説明図である。 本発明の実施形態における撮像画素と瞳分割の概略説明図である。 本発明の実施形態における視差画像のシェーディングの説明図である。 本発明の実施形態における欠陥画素検出の説明図である。 本発明の実施形態における欠陥画素検出から画像表示までのフローチャートである。

以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。各実施形態では、本発明に係る画像処理装置をデジタルカメラ等の撮像装置に適用した例を説明するが、以下の画像処理を実行する情報処理装置や電子機器等に幅広く適用可能である。

図１は本発明の実施形態に係る撮像素子を有する撮像装置の構成例を示すブロック図である。撮像光学系（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路からなり、撮像光学系の結像面に配置される。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

被写体照明用の電子フラッシュ１１５は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。カメラ本体部の制御部を構成するＣＰＵ（中央演算処理装置）１２１は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリ・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。ＣＰＵ１２１は本実施形態の欠陥画素検出、欠陥画素補正、シェーディング補正の制御を行う。

電子フラッシュ制御回路１２２はＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３はＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５はＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。画像処理回路１２５は、撮像素子１０７により取得した撮像画像や視差画像の生成処理を行う。撮像画像の画像信号は記録処理や表示処理が行われる。また視差画像は焦点検出、視点変更処理、立体視表示、リフォーカス処理、ゴースト除去処理等に使用される。

フォーカス駆動回路１２６はＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８はＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９はＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

表示部１３１はＬＣＤ（液晶表示装置）等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。

次に図２を参照して本実施形態における撮像素子の画素配列を説明する。図２は、本実施形態における撮像素子の画素部と副画素の配列を示す概略図である。図２の左右方向をｘ軸方向とし、上下方向をｙ軸方向とし、ｘ軸方向およびｙ軸方向に直交する方向（紙面に垂直な方向）をｚ軸方向と定義する。２次元ＣＭＯＳセンサ（撮像素子）の撮像画素配列を４列×４行の範囲で例示し、焦点検出画素配列を８列×４行の範囲で例示する。撮像画素は撮像信号を出力する撮像用画素であり、複数に分割された副画素から構成される。本実施形態では、所定方向に２分割された副画素を例示する。

２列×２行の画素群２００は、１組の画素２００Ｒ，２００Ｇ，２００Ｂを備える。画素２００Ｒ（左上の位置参照）はＲ（赤）色の分光感度を有する画素であり、画素２００Ｇ（右上と左下の位置参照）はＧ（緑）色の分光感度を有する画素である。画素２００Ｂ（右下の位置参照）はＢ（青）色の分光感度を有する画素である。さらに、各画素は２列×１行に配列された第１副画素２０１と第２副画素２０２により構成されている。副画素はそれぞれ、焦点検出信号を出力する焦点検出画素としての機能を有する。図２に示す例では、４列×４行の画素（８列×４行の副画素）を平面上に多数配置することで、撮像画像信号および焦点検出信号が取得可能である。撮像素子にて、画素の周期Ｐを４μｍ（マイクロメートル）とし、画素数Ｎを横５５７５列×縦３７２５行（約２０７５万画素）とする。また、副画素の配列方向周期Ｐ_Ｓを２μｍとし、副画素数Ｎ_Ｓを横１１１５０列×縦３７２５行（約４１５０万画素）とする。

図２に示す撮像素子における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。画素２００Ｇは、各画素の受光面側（＋ｚ方向）にて入射光を集光するためのマイクロレンズ３０５が形成され、分割された複数の光電変換部を備える。例えば、ｘ方向における分割数をＮ_Ｈとし、ｙ方向における分割数をＮ_Ｖとする。図３には、瞳領域を水平方向にて２分割した例、すなわち、Ｎ_Ｈ＝２，Ｎ_Ｖ＝１の場合を例示し、副画素としての光電変換部３０１と光電変換部３０２が形成されている。光電変換部３０１は第１の焦点検出画素である第１副画素２０１に対応し、光電変換部３０２は第２の焦点検出画素である第２副画素２０２に対応する。

光電変換部３０１と光電変換部３０２は、例えばｐ型層３００とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとして形成される。または必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、副画素ごとにカラーフィルタ３０６の分光透過率を変えてもよいし、カラーフィルタを省略しても構わない。

画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルタ３０６で分光された後に、光電変換部３０１と光電変換部３０２がそれぞれ受光する。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、負電荷をもつ電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子の外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

図４は、画素構造と瞳分割との対応関係を示す概略的な説明図である。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面（射出瞳４００参照）を、−ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。

第１副画素２０１に対応する第１瞳部分領域５０１は、−ｘ方向に重心が偏倚している光電変換部３０１の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。つまり、第１瞳部分領域５０１は第１副画素２０１で受光可能な瞳領域を表し、瞳面上で＋X方向に重心が偏倚している。また、第２副画素２０２に対応する第２瞳部分領域５０２は、重心が＋ｘ方向に偏倚している光電変換部３０２の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。第２瞳部分領域５０２は第２副画素２０２で受光可能な瞳領域を表し、瞳面上で−X方向に重心が偏倚している。また、図４に示す瞳領域５００は、光電変換部３０１と光電変換部３０２、つまり副画素２０１と２０２を全て併せた場合の、画素２００Ｇ全体で受光可能な瞳領域である。

入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折暈けのため、明瞭に瞳分割されず、受光率分布（瞳強度分布）となる。

撮像素子と瞳分割との対応関係を図５の概略図に示す。第１瞳部分領域５０１と第２瞳部分領域５０２という、異なる瞳部分領域をそれぞれ通過した光束は、撮像素子の各画素に異なる角度で入射する。入射光は、Ｎ_Ｈ（＝２）×Ｎ_Ｖ（＝１）に分割された第１副画素２０１の光電変換部３０１と、第２副画素２０２の光電変換部３０２がそれぞれ受光して光電変換する。本実施形態では、瞳領域が水平方向に２分割されている例を示すが、必要に応じて、垂直方向に瞳分割を行ってもよい。

以上のように本実施形態の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の副画素が設けられた画素部を、複数配列させた構造を有する。例えば、撮像素子の画素ごとに、副画素２０１と副画素２０２の信号を加算して読み出すことで、ＣＰＵ１２１および画像処理回路１２５は有効画素数の解像度の撮像画像を生成する。この場合、撮像画像は、画素ごとに複数の副画素の受光信号を合成することで生成される。また、別の方法では、撮像素子の各画素部の副画素２０１の受光信号を集めて第１の視差画像が生成される。撮像画像から第１の視差画像を減算して第２の視差画像が生成される。必要に応じてＣＰＵ１２１および画像処理回路１２５は、撮像素子の各画素部の副画素２０１の受光信号を集めて第１の視差画像を生成し、各画素部の副画素２０２の受光信号を集めて第２の視差画像を生成する。異なる瞳部分領域ごとに、副画素の受光信号から、１つ以上の視差画像を生成することができる。

視差画像は、撮像画像とは視点の異なる画像であり、以下に説明するシェーディング補正が行われ、複数の視点での画像を同時に取得可能である。本実施形態では、撮像画像、第１視差画像、第２視差画像はそれぞれ、ベイヤー配列の画像となる。必要に応じて、ベイヤー配列の撮像画像、第１視差画像、第２視差画像に、デモザイキング処理を行ってもよい。

図６を参照して、シェーディングについて説明する。図６は、視差画像のシェーディングの発生原理とシェーディングの説明図である。以下では、撮像素子の各画素部における第１の光電変換部から取得される像信号を像信号Ａとし、第２の光電変換部から取得される像信号を像信号Ｂとする。図６（Ａ）は、像信号Ａの入射角受光特性６０１ａと、像信号Ｂの入射角受光特性６０１ｂを例示する。横軸に位置座標Ｘを示し、縦軸（Ｚ軸）に受光感度を示している。図６（Ａ）には併せて、射出瞳枠（射出瞳形状）６０２と、各像高の撮像画素６０３を示す。＋ｘ１の位置は瞳座標上で−ｘ２の位置に対応し、−ｘ１の位置は瞳座標上で＋ｘ２の位置に対応している。図６（Ｂ）は、図６（Ａ）の状態における像信号Ａのシェーディングを示すグラフ線６０４ａ、および像信号Ｂのシェーディングを示すグラフ線６０４ｂをそれぞれ示している。横軸に位置座標Ｘを示し、縦軸に光量を示す。

図６（Ａ）において、像高が−ｘ１である撮像画素６０３は、射出瞳枠６０２を通して瞳座標上の＋ｘ２の位置の瞳からの光を受光する。そのため、入射角受光特性６０１ａと入射角受光特性６０１ｂからわかるように、像信号Ａと像信号Ｂの感度を比較した場合、像信号Ｂの方が像信号Ａよりも感度が高い。他方、像高が＋ｘ１である撮像画素６０３は、射出瞳枠６０２を通して瞳座標上の−ｘ２の位置の瞳からのを受光する。そのため、像信号Ａと像信号Ｂの感度を比較した場合、像信号Ａの方が像信号Ｂよりも感度が高い。この理由により、図６（Ａ）の状態におけるシェーディングは図６（Ｂ）のグラフ線６０４ａ（像信号Ａ）、６０４ｂ（像信号Ｂ）に示すように発生している。シェーディングは、射出瞳枠６０２の位置や大きさに応じて変化するという性質があるため、射出瞳距離と絞り値が変わるとシェーディングの様相も変化する。実際の撮像光学系ではケラレが発生するため、撮像光学系に応じて撮像画素の像高による射出瞳距離と絞り値の変化は異なる。よって、高精度なシェーディング補正を実現するためには、撮像光学系の撮影条件ごとにケラレの影響を加味して補正を行う必要がある。

レンズ交換式の撮像装置の場合、撮像装置の本体部に装着されるレンズ装置に対応したシェーディング補正が行われる。つまり、画像記録時にシェーディング補正を行うためには、レンズ装置の撮像光学系情報に応じたシェーディング補正値を撮像装置の本体部内部に予め記憶しておく必要がある。これは、撮像装置の連写性能を損なわないように画像記録を高速に行うためである。しかしながら、レンズ装置ごとの撮像光学系情報に応じたシェーディング補正値を全てメモリに記憶する方法は膨大なデータ記憶領域が必要となり、現実的ではない。そこで、画像取得後のシェーディング補正の高速性が求められない画像再生時に、シェーディング補正に必要なデータを取得してシェーディング補正が行われる。シェーディング補正に使用する補正値については、入射光の撮像光学系によるケラレに関する情報と、入射光の角度変化に応じた画素の感度特性に基づいて、それらの情報を組み合わせて算出することが可能である。

次に図７を参照して、欠陥画素検出について説明する。図７は、欠陥画素検出を行う際、検出画素の出力値（第１出力値）と、検出画素に近接した周辺画素の出力値（第２出力値）との差分値を算出して評価する方法の説明図である。第２出力値については、第１出力値、画素のカラーフィルタ、受光する光束が通過する瞳領域、および画素加算数のうち、１つ以上を同じ条件として算出することで決定される。図７（Ａ）は近接する５×５画素の領域を用いて欠陥画素検出を行う場合を例示する。図７（Ｂ）は近接する±３行の領域（７×７画素の領域）を用いて欠陥画素検出を行う場合を例示する。整数の変数ｉとｊを用いて、各画素の位置を表現している。図７では縦方向の画素位置を変数ｉで表し、横方向の画素位置を変数ｊで表しており、画素位置ｉ，ｊと表記する。

画素の出力値をＳと表記すると、Ｓは信号成分Ｓ_ｔｙｐとノイズ成分Ｎからなる。更に、ノイズ成分Ｎは、固定ノイズ成分Ｎ_{ｆｉｘｅｄ}とランダムノイズ成分Ｎ_{ｒａｎｄｏｍ}からなる。よって出力値Ｓは下記式（１）で表される。

固定ノイズ成分Ｎ_{ｆｉｘｅｄ}は常に一定値の誤差として出力される。ランダムノイズ成分Ｎ_{ｒａｎｄｏｍ}は信号成分Ｓ_ｔｙｐの大きさに応じて変動する誤差として出力される。固定ノイズ成分Ｎ_{ｆｉｘｅｄ}が大きいと、常に画像の色味が変化して現れてしまうため、欠陥画素検出では固定ノイズ成分Ｎ_{ｆｉｘｅｄ}の大きい画素を精度良く検出する必要がある。

固定ノイズ成分Ｎ_{ｆｉｘｅｄ}は、下記式（２）に示すように信号成分Ｓ_ｔｙｐに対してゲイン（αと記す）で影響される成分であり、欠陥画素検出は主にこの成分を検出するために行う。

一方、ランダムノイズ成分Ｎ_{ｒａｎｄｏｍ}は、下記式（３）に示すように信号成分Ｓ_ｔｙｐに対してその平方根に比例してポアソン分布に基づいて変動する成分である。

欠陥画素検出では主に固定ノイズ成分Ｎ_{ｆｉｘｅｄ}を検出して欠陥画素であるか否かを判定するために、シェーディングが極力ない条件で検出が行われ、ランダムノイズ成分Ｎ_{ｒａｎｄｏｍ}を低減して測定が行われる。しかしながら、ランダムノイズ成分Ｎ_{ｒａｎｄｏｍ}を全て除去することは難しい。そのため、固定ノイズ成分Ｎ_{ｆｉｘｅｄ}とランダムノイズ成分Ｎ_{ｒａｎｄｏｍ}のそれぞれの許容値を設定する処理が行われ、それらの加算値に基づいて閾値が決定される。

欠陥画素検出の一般的な方法の１つとして、検出対象の画素に近接した周辺画素を選定した代表値、または、近接した周辺画素を用いて算出した代表値と、欠陥検出画素の出力値との差分値を用いる方法がある。ノイズ成分を含まない場合の信号成分は実際には分からないため、信号成分として代表値を用いる。代表値を基準とする差分値が許容できるかどうかを評価する処理が行われる。

図７（Ａ）に画素位置ｉ，ｊで示す個所が、欠陥画素検出を行う対象画素を示している。その出力値をＳ（ｉ，ｊ）と表記する。図７（Ａ）で示された領域での代表値、つまり５×５画素の出力値のメディアン値を代表値とする場合、これをＳ_ｔｙｐ（ｉ，ｊ）と表記する。メディアン値に代えて、平均値等を用いてもよく、代表値の設定方法については任意である。

一般的な欠陥画素検出の評価値（第１評価値）を、画素位置ｉ，ｊと撮影時ｔの関数Ｅ（ｉ，ｊ，ｔ）と表記し、画素の出力値をＳ（ｉ，ｊ，ｔ）と表記する。第１評価値は、第１出力値と第２出力値との差分の絶対値を第２出力値で除算することで算出される。所定閾値Ｅｅｒｒｏｒを用いた下記式（４）が使用される。

ある基準出力値（Ｓ_ｓｔｄと記す）における所定閾値をＥｅｒｒｏｒ_０とし、許容画素ばらつき誤差をα_０と定義すると、式（４）より所定閾値Ｅｅｒｒｏｒ_０は、下記式（５）となる。

欠陥画素検出では、評価値Ｅが所定閾値Ｅｅｒｒｏｒ_０を超えた場合に対象画素が欠陥画素であると判定される。つまり下記式（６）を用いて欠陥画素検出が行われる。

式（６）は輝度で正規化されている。つまり評価値Ｅは正規化された輝度評価値である。輝度の変化が数％の範囲内であれば、Ｓ_ｔｙｐ（ｉ，ｊ）の変化が微小と見なせるので、精度良く欠陥画素検出を行うことができる。しかしながら、Ｒ，Ｇ，Ｂといった画素のカラーフィルタの透過率の違いや、図６で示したシェーディングの違いは数％のオーダーでは収まらない。特に、シェーディングの影響がある状態で式（６）を用いた場合、Ｓ_ｔｙｐ（ｉ，ｊ）が領域ごとに変化するため検出精度を保証することは難しい。

レンズ交換式カメラ等にて様々な射出瞳距離で撮影を行う場合、欠陥画素検出をリアルタイムで行わねばならない。この場合、図６のようなシェーディングが発生した状態であっても画像領域ごとに同程度の検出精度を維持する必要がある。

出力値が変化した場合の欠陥画素検出の条件式は、下記式（７）となる。

式（７）全体に√Ｓ_ｔｙｐ（ｉ，ｊ）／√Ｓ_ｓｔｄを乗算すると、下記式（８）が得られる。

式（５）を式（８）に代入して整理すると、下記式（９）となる。

式（９）と式（６）を比較すると、第１評価値ＥがＳ_ｔｙｐとＳ_ｓｔｄを用いて補正されていること、また、固有ノイズに関連し、式（９）の右辺第２項が追加されていることが分かる。つまり、第２評価値は、第１評価値に、第２出力値と基準出力値との比の平方根からなる項を乗算することで算出される。式（９）の右辺第２項は、Ｓ_ｔｙｐのＳ_ｓｔｄに対する変動が大きくなると寄与率が増加する項である。これにより、Ｓ_ｔｙｐに応じて判定閾値を変化させて評価することができる。また、求められる欠陥画素検出精度と演算規模のバランスを鑑みて、式（９）の右辺にて√Ｓ_ｔｙｐ（ｉ，ｊ）／√Ｓ_ｓｔｄが必ず１未満になるようにＳ_ｓｔｄを設定してもよい。下記式（１０）は、Ｓ_ｔｙｐの想定される最低値Ｓ_{ｔｙｐ＿ｍｉｎ}と判定閾値Ｅｅｒｒｏｒ_０ ^＊を示す不等式である。式（９）の右辺に、式（１０）で導出したＥｅｒｒｏｒ_０ ^＊を用いることで、一定の判定閾値で評価することができる。

この例では１画素に着目した欠陥画素検出を説明したが、図７（Ｂ）で示した線状の欠陥画素検出の場合においても同様の考え方で適用可能であり、適用範囲は図７で示した限りではない。また、評価値を算出する時に用いる代表値Ｓ_ｔｙｐは、正規化の精度および欠陥画素検出精度を向上させるために、欠陥検出画素と処理条件に応じて設定される。処理条件とは、例えば画素上に配置されているカラーフィルタ、画素の受光する光束が通過する瞳部分領域、画素加算等である。

欠陥画素補正処理では、欠陥画素検出にて検出された画素に対し、周辺画素の画素信号を用いて、バイリニア法やバイキュービック法等で補正が行われる。欠陥画素を適切に検出して補正することにより、高画質な画像を提供できる。欠陥画素補正は撮像光学系の情報を用いずに、所定の演算方法で行うことが可能である。しかも画像処理装置内でハードウェア処理を行う方が、外部機器（ＰＣ等）でソフトウェア処理を行うよりも高速に欠陥画素補正を行える。このため、欠陥画素の抽出後、撮像装置内で欠陥画素補正処理が実行される。

図８を参照して、視差画像の生成処理について説明する。図８は、シェーディングが発生した場合の画素データを用いて、画像生成および画像記録、画像表示を行う処理を例示するフローチャートである。図８（Ａ）は撮像から画像記録までの処理を示すフローチャートである。図８（Ｂ）は記録画像データを読み出して画像を表示する処理を示すフローチャートである。

図２で説明したように、副画素のデータのみを用いて画像を生成することで、撮像画像とは異なる視点の視差画像を生成可能である。ただし、シェーディングが発生した場合、その影響を低減して高画質な画像を生成するためには、適切な手順で欠陥画素検出、欠陥画素補正、シェーディング補正を行う必要がある。

図８（Ａ）のＳ８０１では、撮像素子１０７の各画素部の副画素から画素データを取得する処理が行われる。次のＳ８０２でＣＰＵ１２１は、既述の条件式を用いて欠陥画素検出を行う。算出した評価値が所定の判定閾値を超える画素が欠陥画素として検出される。Ｓ８０３でＣＰＵ１２１は欠陥画素補正を行う。Ｓ８０２で検出された欠陥画素に対して、欠陥画素に近接する画素データを用いた線形補間等の処理が行われる。例えば孤立点での欠陥画素補正は、欠陥画素に隣接した画素情報を用いてバイリニア法やバイキュービック法等で行われる。また欠陥画素同士が隣接している場合には隣接欠陥画素補正が行われる。Ｓ８０４でＣＰＵ１２１は、Ｓ８０３で補正された画素を含む各画素から取得される画素データを記録する制御を行う。例えば視差画像の画像信号は装置内部のメモリ、または外部メモリに記憶される。

図８（Ｂ）のＳ８０５でＣＰＵ１２１は、画素データをメモリから読み出す処理を実行して、Ｓ８０６に処理を進める。Ｓ８０６でＣＰＵ１２１は、シェーディング補正に必要なデータを取得し、Ｓ８０５で取得した画像データのシェーディング補正を行う。シェーディング補正では、所定の補正値テーブルを用いて画像データが補正される。例えば撮像素子にて画素部ごとの複数の光電変換部からそれぞれ出力される画素信号に基づいて画像処理回路１２５が像信号Ａから第１の視差画像を生成し、像信号Ｂから第２の視差画像を生成する場合を想定する。この場合、像信号Ａに対応する補正値Ａと、像信号Ｂに対応する補正値Ｂが使用される。つまり、シェーディング補正値は、像信号Ａと像信号Ｂでそれぞれ異なるので、別個に使用する必要がある。また像高によって補正値が変化することから、異なる像高にそれぞれ対応する補正値が各別に使用される。さらには、シェーディング補正値はＦ値（絞り値）や、レンズ部の射出瞳距離値によっても変わるので、それらに応じた補正値が使用される。レンズ交換式カメラシステムでは、カメラ本体部に装着されるレンズ装置に応じてシェーディング補正値が選択される。各種条件に応じて選択される補正値により視差画像のシェーディング補正が行われる。Ｓ８０７で表示部１３１は、Ｓ８０６でシェーディング補正が行われた画像信号にしがって画像を表示する。

本実施形態では、シェーディングが発生した場合に正規化された輝度評価値に基づいて欠陥画素検出を適切に行うことができる。よって欠陥画素補正およびシェーディング補正が行われた画素信号に基づいて高画質な画像を提供できる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０７ 撮像素子
１２１ ＣＰＵ
１２５ 画像処理回路

Claims (22)

1. 複数の画素の出力値を取得して画像信号を処理する画像処理装置であって、
   前記画素から第１出力値を取得し、当該画素に近接する画素から決定される第２出力値を取得する取得手段と、
   前記第１出力値と前記第２出力値から前記画素の評価値を算出し、当該評価値を閾値と比較することにより欠陥画素検出を行う検出手段を備え、
   前記検出手段は、前記第１出力値および前記第２出力値から導出される第１評価値と前記第２出力値とを用いて第２評価値を算出し、該第２評価値が前記閾値より大きい場合、前記画素を欠陥画素として検出することを特徴とする画像処理装置。
2. 前記検出手段は、欠陥画素検出の基準出力値を含む関数で前記第１評価値を補正して前記第２評価値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２出力値は対象画素に近接した画素の出力値から決定されるメディアン値または平均値であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出手段は、前記第１出力値、前記画素のカラーフィルタ、受光する光束が通過する瞳領域、および画素加算数のうち、１つ以上を同じ条件として前記第２出力値を決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画素は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する撮像素子の画素であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第１評価値は、前記第１出力値と前記第２出力値との差分を前記第２出力値で除算して算出され、前記第２評価値は、前記基準出力値に対して前記第２出力値が大きくなるにつれて増加する項を前記第１評価値に乗算して算出されることを特徴とする請求項２に記載の画像処理装置。
7. 前記第１評価値を画素位置ｉ，ｊおよび撮影時ｔの関数であるＥ（ｉ，ｊ，ｔ）とし、
   前記基準出力値を画素位置ｉ，ｊの関数であるＳ_ｓｔｄ（ｉ，ｊ）とし、
   前記第２出力値をＳ_ｔｙｐとし、
   前記閾値をＥｅｒｒｏｒ_０とし、
   許容画素ばらつき値をα_０とするとき、
   前記検出手段は、前記画素が下記式を満たす場合に欠陥画素として検出することを特徴とする請求項６に記載の画像処理装置。
   

   
8. 前記検出手段により検出された欠陥画素の画素信号を補正する画素補正手段を備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記画素補正手段により補正された画素信号を用いてシェーディング補正を行うシェーディング補正手段を備えることを特徴とする請求項８に記載の画像処理装置。
10. 前記シェーディング補正手段は視差画像のシェーディング補正を行うことを特徴とする請求項９に記載の画像処理装置。
11. 前記第１評価値は、輝度で正規化された輝度評価値であることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 複数の画素の出力値を取得して画像信号を処理する画像処理装置であって、
    前記画素から第１出力値を取得し、当該画素に近接する画素から決定される第２出力値を取得する取得手段と、
    前記第１出力値と前記第２出力値から輝度で正規化された前記画素の輝度評価値を算出し、前記輝度評価値が閾値より大きい場合、前記画素を欠陥画素として検出する検出手段を備えることを特徴とする画像処理装置。
13. 複数の画素の出力値を取得して画像信号を処理する画像処理装置であって、
    前記画素から第１出力値を取得し、当該画素に近接する画素から決定される第２出力値を取得する取得手段と、
    前記第１出力値と前記第２出力値から前記画素の第１評価値を算出し、前記第１評価値と前記第２出力値から算出した第２評価値と閾値を比較することにより欠陥画素検出を行う検出手段と、
    前記検出手段により検出された欠陥画素の画素信号を補正する画素補正手段と、
    前記画素補正手段により補正された画素信号を用いてシェーディング補正を行うシェーディング補正手段と、を備えることを特徴とする画像処理装置。
14. 前記シェーディング補正手段は、像高に対応する補正値、または絞り値もしくはレンズ部の射出瞳距離値に対応する補正値を記憶手段から取得して、画像再生時にシェーディング補正を行うことを特徴とする請求項１３に記載の画像処理装置。
15. 前記第１評価値は、輝度で正規化された輝度評価値であることを特徴とする請求項１３または１４に記載の画像処理装置。
16. 請求項１から１５のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
17. 複数のマイクロレンズおよび各マイクロレンズに対応する複数の光電変換部を有する撮像素子と、
    前記複数の光電変換部からそれぞれ取得される信号により視差を有する複数の画像信号を生成する画像処理手段を備えることを特徴とする請求項１６に記載の撮像装置。
18. 前記画像処理手段は、前記複数の光電変換部のうち、第１の光電変換部から取得される信号により第１の視差画像を生成し、第２の光電変換部から取得される信号により第２の視差画像を生成することを特徴とする請求項１７に記載の撮像装置。
19. 前記画像処理手段は、前記複数の光電変換部のうち、第１および第２の光電変換部から取得される信号により撮像画像を生成し、第１または第２の光電変換部から取得される信号により視差画像を生成することを特徴とする請求項１７に記載の撮像装置。
20. 複数の画素の出力値を取得して画像信号を処理する画像処理装置にて実行される制御方法であって、
    前記画素から第１出力値を取得し、当該画素に近接する画素から決定される第２出力値を取得するステップと、
    検出手段が前記第１出力値と前記第２出力値から前記画素の評価値を算出し、当該評価値を閾値と比較することにより欠陥画素検出を行う検出ステップを有し、
    前記検出ステップでは、前記検出手段が前記第１出力値および前記第２出力値から導出される第１評価値と前記第２出力値とを用いて第２評価値を算出し、該第２評価値が前記閾値より大きい場合、前記画素を欠陥画素として検出することを特徴とする画像処理装置の制御方法。
21. 複数の画素の出力値を取得して画像信号を処理する画像処理装置にて実行される制御方法であって、
    前記画素から第１出力値を取得し、当該画素に近接する画素から決定される第２出力値を取得するステップと、
    検出手段が前記第１出力値と前記第２出力値から輝度で正規化された前記画素の輝度評価値を算出し、前記輝度評価値が閾値より大きい場合、前記画素を欠陥画素として検出するステップを有することを特徴とする画像処理装置の制御方法。
22. 複数の画素の出力値を取得して画像信号を処理する画像処理装置にて実行される制御方法であって、
    前記画素から第１出力値を取得し、当該画素に近接する画素から決定される第２出力値を取得する取得ステップと、
    検出手段が前記第１出力値と前記第２出力値から前記画素の第１評価値を算出し、前記第１評価値と前記第２出力値から算出した第２評価値と閾値を比較することにより欠陥画素検出を行うステップと、
    検出された欠陥画素の画素信号を画素補正手段が補正するステップと、
    シェーディング補正手段が前記画素補正手段により補正された画素信号を用いてシェーディング補正を行うステップと、を有することを特徴とする画像処理装置の制御方法。
    
    

Images