JP2018186317A - 撮像装置 - Google Patents

Abstract

【課題】 画像の白飛びを高精度に補正可能することが可能な信号処理装置を提供する。【解決手段】 低感度画素出力信号に基づいて通常感度画素出力信号を補正する信号処理装置であって、低感度画素出力信号にゲイン補正を行い第１の出力信号を得るゲイン補正手段と、複数の低感度画素に対して、通常感度画素との距離に関する第１の重み付け係数と、通常感度画素出力信号と第１の出力信号の間の信号差に関する第２の重み付け係数とを算出し、各重み付け係数により決定される第３の重み付け係数に基づいて第１の出力信号に対して補間処理を行うことにより、通常感度画素位置における補間信号値を算出する補間処理手段と、所定の合成係数に基づいて補間信号値と通常感度画素の合成した合成信号値を算出し、合成信号値で通常感度画素出力信号を置換する合成処理手段とを有する。【選択図】 図４

Description

本発明は、画像の白飛びを高精度に補正可能な信号処理装置に関する。

従来より、通常画素と通常画素よりも低感度に設定された低感度画素とを撮像素子に配置し、低感度画素の出力を用いることで取得した画像の白飛びを補正することが可能な撮像装置が提案されている。

例えば、特許文献１に開示の発明では、第１の光感度を有する第１の複数の画素センサと、前記第１の光感度よりも低い第２の光感度を有する第２の複数の画素センサとを有する画像センサアレイによって取り込まれた画像において、前記第２の画素センサによって取り込まれた飽和画素データを補正する方法であって、ａ）前記第２の複数の画素センサの画素値に画素利得を適用する段階と、ｂ）前記第１の複数の画素センサにおいて少なくとも１つの飽和色成分をもつ画素を選択する段階と、ｃ）前記選択された第１の画素センサの局所近傍における前記第２の複数の画素センサのうちの少なくとも１つを識別する段階と、ｄ）前記第１の複数の画素センサにおける前記選択された画素の前記飽和色成分を、前記第１の複数の画素センサにおける前記選択された画素の前記不飽和色成分と、前記第２の複数の画素センサにおいて識別された前記局所的に利用可能な画素の不飽和色チャネルからの画素データと飽和色チャネルからの画素データとの間の対応する平均または加重平均の差との和と取り替える段階と、ｅ）少なくとも１つの飽和色チャネルを有するすべての画素センサからの画素データが処理されるまで、段階ｂ）から段階ｄ）を繰り返す段階とを含む画像復元方法が開示されている。

また、特許文献２に開示の発明では、基準色差生成部１３４０は、Ｒ画素におけるＲ成分値とＢ画素におけるＢ成分値とＧ画素におけるＧ成分値とに基づいてＲ画素およびＢ画素における基準色差ＣｒおよびＣｂを生成し、Ｒ画素およびＢ画素における基準色差ＣｒおよびＣｂに基づいてＧ画素における基準色差ＣｒおよびＣｂを生成する。基準色差生成部１３４０は、Ｒ画素およびＢ画素の近傍のＤ画素における感度補正後のＧ成分値が飽和レベル以上である場合、かつ基準色差生成部１３４０によるＲ画素およびＢ画素における基準色差ＣｒおよびＣｂの生成に用いられたＧ成分値がすべて飽和レベルに達している場合、Ｒ画素およびＢ画素の近傍のＤ画素における感度補正後のＧ成分値と飽和レベルとの差に基づいて、Ｒ画素およびＢ画素における基準色差ＣｒおよびＣｂを補正する。画像生成部１３８０は、Ｇ画素、Ｒ画素およびＢ画素の各画素におけるＲ成分値およびＢ成分値を、Ｇ画素、Ｒ画素およびＢ画素の各画素におけるＧ成分値ならびに基準色差ＣｒおよびＣｂに基づいて生成することを特徴とする撮像素子が開示されている。

特開2013-081154号公報 特許2015-032870号公報

しかしながら、上述した従来技術では以下のような問題点があった。すなわち、特許文献１に開示の発明では、飽和している第２の画素センサと、その飽和画素データの補正に用いる第１の画素センサの位置とが異なっているので、第１の画素センサと第２の画素センサが異なる被写体の情報を持っていた場合には、第２の画素センサが持つべきものとは異なる画像データを推定してしまうおそれがある。更に、飽和色チャンネルに対してのみ推定された画像データとの置換を行うので、不飽和色チャンネルとの整合が崩れて不自然な色が生じるおそれがある。

特許文献２に開示の発明では、Ｇ画素の一部をＤ画素とし、色差信号Ｃｒ、Ｃｂを用いる仕組みのため、Ｒ画素、Ｂ画素のいずれかが飽和してしまった場合は正しい色差を得ることができない。また、通常画素が飽和していた場合に最近傍のＤ画素を参照するので、Ｄ画素の配置密度が低下するにつれて画素間の距離が長くなり特許文献１と同様の理由により補間精度が悪化するおそれがある。

本発明はこのような状況に鑑みてなされたものであり、画像の白飛びを高精度に補正可能な信号処理装置を提供することを目的とする。

上記目的を達成するために、本発明を実施の信号処理装置は、低感度画素出力信号に所定のゲイン補正を行い、第１の出力信号を得るゲイン補正手段と、通常感度画素を含む所定の領域内に位置する複数の低感度画素に対して、通常感度画素と低感度画素との距離に関する第１の重み付け係数と、通常感度画素の出力信号と第１の出力信号の間の信号差に関する第２の重み付け係数とを算出し、各重み付け係数により決定される第３の重み付け係数に基づいて第１の出力信号に対して補間処理を行うことにより、通常感度画素位置における補間信号値を算出する補間処理手段と、所定の合成係数に基づいて、補間信号値と通常感度画素の出力信号とを合成した合成信号値を算出し、合成信号値で通常感度画素の出力信号を置換する合成処理手段と、を有すること特徴とする。

さらに本発明を実施の信号処理装置は、上記発明において、通常感度画素は少なくとも３つの色成分の出力信号を出力可能であり、低感度画素は少なくとも３つの色成分のうち、少なくとも１つの色成分の出力信号を出力可能であり、補間処理手段及び合成処理手段は、低感度画素が出力可能な色成分に対して補間処理及び合成処理を行うことを特徴とする。

さらに本発明を実施の信号処理装置は、上記発明において、補間処理手段は、通常感度画素の少なくとも１つの色成分の出力信号が第１の閾値以上であった場合に通常感度画素を補正対象とし、補正対象である通常感度画素において、第１の閾値との大小関係に関わらず、全ての色成分に対して補間処理及び合成処理を行うことを特徴とする。

さらに本発明を実施の信号処理装置は、上記発明において、第１の重み付け係数は、通常感度画素と低感度画素との距離が離れるほど小さい値をとることを特徴とする。

さらに本発明を実施の信号処理装置は、上記発明において、第２の重み付け係数は、通常感度画素の出力信号と第１の出力信号の同一色成分間の差分値において、差分値が負値のときは差分値が小さいほど小さい値をとり、差分値が非負値のときは差分値が大きいほど大きい値をとることを特徴とする。

さらに本発明を実施の信号処理装置は、上記発明において、第２の重み付け係数は、差分値の絶対値が増加するに従い差分値が負値のときにより早く減少することを特徴とする。

さらに本発明を実施の信号処理装置は、上記発明において、合成係数は、通常感度画素の全ての色成分が第１の閾値を下回るときには０をとり、通常感度画素のいずれかの色成分が第２の閾値以上のときには１をとることを特徴とする。

本発明を実施の信号処理装置によれば、白飛びした通常画素の信号補間のために周辺の白飛び補正画素の全ての色成分を参照するようにしたので、より精度の高い補正を行うことが可能となる。

本発明の一実施形態である撮像装置の主要な構成を示したブロック図である。 図１に示した撮像装置に実装される撮像素子の単一画素を単純化した断面図である。 撮像素子を簡易的に説明するための被写体側から見た上面図である。 白飛び補正処理ブロックの内部処理を説明するためのブロック図である。 白飛び補正処理の流れを示したフローチャートである。 白飛び補正処理の重み付け係数算出に係るフローチャートである。 所定の条件としたときの重み付け係数ｗｖと信号差Ｈ−Ｒの関係を示すグラフである。

図１に示すブロック図には、本発明の一実施形態である撮像装置の主要な構成が示されている。撮影レンズ１００はカメラ本体２００に着脱可能な交換レンズであり、カメラ本体２００と共に撮像装置３００を構成している。

撮影レンズ１００は、ズームレンズ１１１と、フォーカスレンズ１２１と、絞りユニット１３１と、ズーム制御部１１０と、フォーカス制御部１２０と、絞り制御部１３０と、レンズＣＰＵ１４０と、を備えている。

ズームレンズ１１１及びフォーカスレンズ１２１は図中において簡単のためにそれぞれ１枚のレンズで描写しているが、これに限らない。ズームレンズ１１１及びフォーカスレンズ１２１はズーム制御部１１０とフォーカス制御部１２０とにそれぞれ接続されており、レンズの駆動や位置検出等の制御が行われる。

絞りユニット１３１は、絞り制御部１３０に接続されている。絞り制御部１３０は絞りユニット１３１の絞り値（Ｆ値）を制御する。

レンズＣＰＵ１４０は、後述するメインＣＰＵ２４０と協働して上述した各種制御部の制御内容を決定し、指示を出す。また、レンズＣＰＵ１４０は撮影レンズ１００のズーム位置、フォーカス位置、Ｆ値等の撮影条件を各種制御部から取得し、メインＣＰＵ２４０に出力する。また、不図示のメモリ部に格納されたレンズＩＤを必要に応じてメインＣＰＵ２４０に出力する。

カメラ本体２００は、撮像素子２１０と、信号処理部２２０と、画像処理部２３０と、メインＣＰＵ２４０と、記録媒体インターフェース（Ｉ／Ｆ）２４１と、ユーザインターフェース（Ｉ／Ｆ）２４２と、画像表示部２５０と、を備えている。

撮像素子２１０は、撮影レンズ１００により集光された光線を受光して光電変換し、画像信号を出力する。本実施形態の撮像素子２１０としては、ＣＭＯＳイメージセンサが用いられている。撮像素子２１０の受光面は多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各色成分信号を出力可能な垂直色分離型のイメージセンサである。垂直色分離型のイメージセンサについて詳しくは後述する。撮像素子２１０は内部に不図示のゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを備えており、画像信号はデジタルデータとして出力される。

撮像素子２１０には通常感度を有する通常画素と、通常画素と比較して低い感度を有する低感度画素とがそれぞれ複数含まれており、それらは所定の配列をもって撮像素子２１０を構成している。それぞれの画素に同量の光が入射した場合、低感度画素では光電変換により生成される信号値が通常画素と比べて低下する。低感度画素は、画像データにいわゆる白飛びが発生した場合に、発生した白飛びを修正するための補正に使用される画素である。以降では、この低感度画素を指して白飛び補正画素と呼ぶ場合もある。低感度画素についても詳しくは後述する。

信号処理部２２０は撮像素子２１０から読み出された色成分信号に対して各種の信号処理を施す。信号処理としては、例えば、画素受光量と出力値との間の線形性を確保するためのガンマ補正処理や、読み出した色成分信号を増幅するための増幅処理がある。

この信号処理部２２０は撮像素子２１０の出力に対して前段処理を行うフロントエンド装置である。例えばＦＰＧＡやＡＳＩＣといった画像処理を実行するＩＣ（半導体）で構成され、所定のハードウェア処理（専用ハードウェアによる特定のデータ処理）を行うロジック回路である。

画像処理部２３０は、信号処理部２２０から送られてきた色成分信号に対して各種の画像処理を施す。低感度画素を用いた白飛び補正処理も、この画像処理部２３０で行われる。白飛び補正処理について詳しくは後述する。その他の画像処理として、例えば、ホワイトバランス処理、色再現処理、ＲＡＷデータ生成、ＪＰＥＧ形式やＴＩＦＦ形式の画像データへの現像処理等がある。

この画像処理部２３０は信号処理部２２０から出力された信号に対して後段処理を行うバックエンド装置である。例えばＤＳＰといった、ソフトウェアによってプログラミングされた所定のデータ処理を実行するプロセッサである。

メインＣＰＵ２４０は、撮像装置１００全体の包括的な制御を行う。例えば、撮像素子２１０の読み出し制御を行う。メインＣＰＵ２４０が撮像素子２１０の駆動タイミングを決定する信号を出力することで、画素毎の水平駆動並びに垂直駆動が制御され、各画素からＲＧＢの各色成分信号が読み出される。さらに、メインＣＰＵ２４０はレンズＣＰＵ１４０と電気的に接続されており、協働して撮影レンズ１００の制御を行う。

記録媒体Ｉ／Ｆ２４１は、不図示の記録媒体との間でＲＡＷデータや現像後の画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。

ユーザＩ／Ｆ２４２は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、メインＣＰＵ２４０は所定の動作を行う指示を出す。

画像表示部２５０は、撮影画像や不図示の記録媒体から読み出された画像等を表示する。

なお、上述したゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを内蔵していない撮像素子２１０を採用する場合には、これらのデバイスを個別に搭載すればよい。

図２は、撮像装置３００に実装される垂直色分離型の撮像素子２１０を単純化して示した断面図である。上述したように、本実施形態の撮像素子２１０はいわゆる垂直色分離型のイメージセンサであり、簡単には、光電変換層であるところのフォトダイオードが深さ方向に３つ積層されて構成されている。ある画素に光が入射すると、入射光中の青色（Ｂ）成分は主に最上層に位置するＢフォトダイオード２１１で光電変換される。同様に、入射光中の緑色（Ｇ）成分は主に中間層に位置するＧフォトダイオード２１２で光電変換され、赤色（Ｒ）成分は主に最下層に位置するＲフォトダイオード２１３で光電変換される。これらの垂直方向の色分離は、撮像素子２１０の材料として用いるシリコン（Ｓｉ）の特性を利用したものである。

３層のフォトダイオードは、Ｓｉ基板内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、Ｂフォトダイオー２１１は約０．２〜０．５μｍの間の深さに形成され、Ｇフォトダイオード２１２は約０．５〜１．５μｍの間の深さに形成され、Ｒフォトダイオード２１３は約１．５〜３．０μｍの間の深さに形成される。従って、本実施形態の撮像素子２１０はベイヤー型イメージセンサに必須のカラーフィルタが不要でありながら、１つの画素でＲＧＢ３色の色成分信号を取得することが可能である。各画素が３色全ての波長成分を光電変換できるため、ベイヤー型イメージセンサにおいては必須の画素補間を行う必要がないというメリットもある。

なお、フォトダイオードに換えて、有機物や無機物等により形成され特定の吸収特性を有する光電変換膜を光電変換層として複数積層させた構成としてもよい。

上述したように本実施形態の撮像素子２１０は通常画素と低感度画素とを有しており、どちらも上述した垂直色分離構造を有している。低感度画素とは、通常画素に比べて各フォトダイオードが低感度となるように構成された画素であり、それ以外の構造は通常画素と同様であるとする。

低感度画素を得る方法としては複数考えられる。例えば、金属等を画素上面にエッチングしてマスクとなる遮光部を形成し、これによって開口面積が制限されることで画素中のフォトダイオードに届く光量を減少させればよい。また、画素位置に応じて露光時間を制御可能な撮像素子であれば、低感度画素として機能させたい画素についてのみ露光時間を短くするように制御すればよい。

本実施形態の低感度画素については、最上層であるＢフォトダイオード２１１に対応する不図示のメタルマスクを各フォトダイオード上方に設ける構成としている。この構成とすることで、Ｂフォトダイオード２１１の入射光量を減少させられるだけでなく、それよりも下層に位置するＧフォトダイオード２１２及びＲフォトダイオード２１３についても同様に入射する光量を減らすことが可能となる。これにより、低感度画素の各フォトダイオードはそれぞれ通常画素の各フォトダイオードよりも低感度となる。本実施例の低感度画素では、理想的には通常画素と比べて感度が１／４に減少しているものとする。

図３は、撮像素子２１０上方から見た各画素の配置を模式的に表した図であり、各矩形がそれぞれ画素を表している。白い矩形が通常画素を、濃い色の矩形が低感度画素を表している。本図に示すように、低感度画素は２次元状に配置された通常画素の中に離散的に分布する構成となっていることがわかる。

上記撮像素子２１０に対して、上述したようにメインＣＰＵ２４０が画素信号の読み出し制御を行う。詳しくは、水平駆動信号によってある行が選択され読み出しが開始されると、まず、その行内の全ての画素のＢフォトダイオード２１１からの信号が端から順番に読み出される。Ｂ信号の読み出しが完了すると、続いて同一行から中間層のＧフォトダイオード２１２の信号を端から順に読み出し、最後に最下層のＲフォトダイオード２１３の信号を端から順に読み出す。これにより１行の全ての画素からＢＧＲ全ての色成分信号の読み出しが完了する。

そして、以上の読み出しを撮像素子２１０上の全ての行に対して行うことで、画像１フレーム分の信号読み出しが完了する。撮像素子２１０から読み出された各色成分信号は、順次信号処理部２２０に送られる。

次に、本実施形態の撮像装置で行われる白飛び補正処理について説明する。図４は、画像処理部２３０で行われる白飛び補正に係る処理を示した模式図である。また、図５は、この白飛び補正処理を説明するためのフローチャートである。

上述したように、白飛び補正処理は画像処理部２３０において行われる。図４に示すように、画像処理部２３０内には、この白飛び補正処理を行う白飛び補正処理ブロック２３１が設けられている。この他にも、所定の画像処理を実行する不図示の処理ブロックも設けられている。

信号処理部２２０において所定の信号処理を施された画素出力信号は、画像処理部２３０に入力されて白飛び補正処理ブロック２３１に送られる。白飛び補正処理ブロック２３１は本図に示すように、ゲイン補正部２３２と、白飛び判定部２３３と、補間処理部２３４と、合成処理部２３５と、エラー判定部２３６と、を有している。

ゲイン補正部２３２では、入力された白飛び補正画素の信号値に対して所定のゲイン補正を行い、通常画素との間の感度差を補償する。白飛び判定部２３３では、通常画素の信号値が所定の条件を満たすか否かを検証し、当該通常画素に対する白飛び補正処理の要否を判定する。補間処理部２３４では、白飛び補正画素の信号値に対して所定の補間処理を施し、通常画素による画像データと同等のサイズとなるよう空間的な補間を行う。合成処理部２３５では、補間処理で得られた補間値と補正対象である通常画素の信号値とを合成し、通常画素の新たな信号値とする置換を行う。エラー判定部２３６では、合成処理部２３５で得られた新たな信号値が適切であるか否かの判定を行い、エラーと判定された場合には信号値に対して所定の補間処理を施す。

図５に示すフローチャートを用いて、白飛び補正処理について具体的に説明する。

ステップＳ１０１では、ゲイン補正部２３２において、白飛び補正画素からの信号値に対する公知のゲイン補正が行なわれ、白飛び補正画素のゲイン補正後の信号値Ｈが算出される。これにより、白飛び補正画素と通常画素との間の感度差が補償される。この処理に用いるゲイン値は、例えば、撮像装置３００の生産工程においてあらかじめ取得しておいた値を、撮像装置３００内の不図示のメモリ部に格納しておく。

また、装着されている交換レンズ１００から受信するレンズデータを用いて、カメラ本体２００内でより高精度のゲイン値算出を行うことも可能である。算出に用いるレンズデータとしては、フォーカスポジション、ズームポジション、Ｆ値等が考えられる。

ステップＳ１０２では、白飛び判定部２３３において、座標（ｘ，ｙ）に位置する通常画素信号に対して白飛び補正処理が必要か否か、すなわち通常画素からの出力信号Ｒ（ｘ，ｙ）が飽和して白飛び状態となっているか否かが判定される。本処理では、白飛び要否判定に２つの閾値Ｔ１，Ｔ２を用いる。Ｔ１は白飛び補正を開始する信号値、Ｔ２は入力画像データの飽和値を意味する。よって、以降通常画素の信号値はＴ２を越えないものとする。詳しくは、白飛び判定部２３３は読み出された通常画素の３つの色成分信号値Ｒ（ｘ，ｙ，ｃ）をそれぞれ所定の閾値Ｔ１と比較する。そして、そのうち１つでも閾値Ｔ１よりも大きい信号値Ｒ（ｘ，ｙ，ｃ）があれば当該通常画素に対して白飛び補正処理が必要と判定し、白飛び補正フラグを立てる。

いずれの信号値Ｒ（ｘ，ｙ，ｃ）も閾値Ｔ１未満であれば当該通常画素は白飛び補正処理が不要であると判定し、本フローチャートを終了する。なお、この白飛び補正処理の要否判定は、全ての通常画素に対して行ってもよいし、所定の領域に対してのみ行ってもよい。

ステップＳ１０３からＳ１０４では白飛び補正画素による補間処理を行う。本実施例において白飛び補正画素による補間処理とは、白飛び補正フラグの立った通常画素（ｘ，ｙ）に対して定まる所定の領域Ｄ（ｘ，ｙ）に含まれる白飛び補正画素によって、通常画素位置（ｘ，ｙ）における信号値を推定するものである。通常画素の周囲の白飛び補正画素との間の距離及び信号差と、当該通常画素自身の飽和レベルとに基づいて、補間処理に用いる重み付け係数を算出する。

ここで、補間処理に利用される重み付け係数の算出について詳しく説明する。重み付け係数は、上述したステップＳ１０２において補正フラグの立った通常画素に対して算出される。図６は、この重み付け係数算出に係るフローチャートである。

本発明において白飛び補正処理に用いる重み付け係数は、白飛び補正フラグの立った通常画素（ｘ，ｙ）と補間処理の参照先である白飛び補正画素（ｘＨＬＰ，ｙＨＬＰ）との間の距離に関する要素と、上記２画素の信号差に関する要素と、から成る。以降では、この距離に関する重み付け係数をｗｄ、信号差に関する重み付け係数をｗｖと呼ぶこととする。本図のフローチャートにより、これらの係数ｗｄと係数ｗｖとからなる重み付け係数ｗが得られる。

ステップＳ２０１では、補間処理部２３４において、距離に関する重み付け係数ｗｄを算出する。具体的には、以下の数式１により求められる。

ここで、ｓｄは任意のスケーリング係数である。

この式によれば、補正対象通常画素と白飛び補正画素との間の距離が近いほど大きい値となり、補正対象通常画素と白飛び補正画素との間の距離が離れるほど小さい値となることがわかる。また、スケーリング係数ｓｄを適切に選択することで、ある距離に位置する白飛び補正画素による白飛び補正への寄与の大小を制御することが可能となる。すなわち、係数ｓｄを大きくするほど関数ｗｄの減衰が早くなるので、通常画素から離れた位置にある白飛び補正画素の白飛び補正への寄与をより小さくすることができる。実際には、スケーリング係数ｓｄは補正効果を検証する中で良好だと思われる値が決定される。

領域Ｄとしては例えば、補正対象の通常画素を含み、その周囲の低感度画素を８×８個含むような矩形領域を考える。補間処理部２３４は、あらかじめ保存してある各画素の座標を用いて領域Ｄ内の画素間距離を算出する。そして、得られた各距離情報を用いて、参照する白飛び補正画素にそれぞれ対応する重み付け係数ｗｄを算出する。

次に、信号差に関する重み付け係数ｗｖを算出する。上述したように距離に関する重み付け係数ｗｄは、１組の白飛び補正画素・通常画素に対して１つ算出した。これに対して信号差に関する重み付け係数ｗｖは、１組の白飛び補正画素・通常画素に対して３つ算出する。これは、本実施例の撮像素子２１０が垂直色分離構造を有しており、１画素でＲＧＢ３つの色成分信号を出力可能なためである。そのため、１組の画素の信号差としてＲ信号差、Ｇ信号差、Ｂ信号差の３つが定義される。

ステップＳ１０２で行った白飛び補正の要否判定では、通常画素の３つの色成分信号値Ｒ（ｘ，ｙ，ｃ）を閾値Ｔ１と比較し、これよりも大きい色成分信号を１つでも有する通常画素に対して白飛び補正フラグを立てていた。ステップＳ２０２では、再度各色成分信号値を閾値Ｔ１と比較する。

この比較を行うことで、通常画素の色成分毎に、各色成分信号値Ｒ（ｘ，ｙ，ｃ）が２つの範囲に分類される。すなわち、補正対象通常画素の色成分信号値Ｒ（ｘ，ｙ，ｃ）が、不飽和状態、飽和付近状態のいずれの領域に含まれるかが判別される。

本発明の白飛び補正では、飽和付近にある色成分信号値Ｒ（ｘ，ｙ，ｃ）だけでなく、飽和していない色成分信号値Ｒ（ｘ，ｙ，ｃ）についても補正の際に参照することができる。そして、色成分信号値Ｒ（ｘ，ｙ，ｃ）が含まれる領域に応じて、信号差に関する重み付け係数ｗｖの算出方法を異ならせている。

上述したようにステップＳ２０２では、補間処理部２３４において、通常画素の各色成分信号値Ｒ（ｘ，ｙ，ｃ）と閾値Ｔ１とを比較する。比較の結果、色成分信号値Ｒ（ｘ，ｙ，ｃ）の値が閾値Ｔ１未満、すなわち不飽和状態であった場合にはステップＳ２０３に進む。一方、色成分信号値Ｒ（ｘ，ｙ，ｃ）の値が閾値Ｔ１以上、すなわち飽和付近状態であった場合にはステップＳ２０４に進む。

数式２は信号差に関する重み付け係数ｗｖを求めるための式である。

ここで、ｓｃ,＋及びｓｃ,−は共にスケーリング係数である。

上述したように、信号差に関する重み付け係数ｗｖは補正対象通常画素の色成分信号値Ｒ（ｘ，ｙ，ｃ）が含まれる領域に応じて算出方法が異なる。これは、本式に含まれる各スケーリング係数を場合分けして設定することで達成される。具体的なスケーリング係数の設定はそれぞれステップＳ２０３及びＳ２０４で行なわれる。

ステップＳ２０３では、補間処理部２３４において、前ステップにて不飽和状態（Ｔ１未満）であると判定された色成分信号値Ｒ（ｘ，ｙ，ｃ）に対応するスケーリング係数を設定する。不飽和状態である色成分信号値Ｒ（ｘ，ｙ，ｃ）に対してはスケーリング係数を定数としている。具体的には、以下の数式３により設定する。

ここで、ｓはスケーリング係数であり任意の定数である。

一方ステップＳ２０４では、補間処理部２３４において、ステップＳ２０２にて飽和付近状態（Ｔ１〜Ｔ２）であると判定された色成分信号値Ｒ（ｘ，ｙ，ｃ）に対応するスケーリング係数を設定する。具体的には、以下の数式４により設定する。

ここで、ｓ＋及びｓ−は、共にスケーリング係数であり任意の定数である。また、ｔｃは飽和度であり、補正対象である色成分信号値Ｒ（ｘ，ｙ，ｃ）が所定の範囲（Ｔ１〜Ｔ２）の間のどの辺りに位置するかを表す値である。

この式によれば、スケーリング係数ｓｃ,＋、ｓｃ,−それぞれが、上述した飽和度ｔｃを合成係数として、定数ｓ＋又はｓ−とｓとから決定されることがわかる。

飽和度ｔｃは、具体的には、以下の数式５により求められる。

この式によれば、所定範囲の下限をＴ１、上限をＴ２としたとき、色成分信号値Ｒ（ｘ，ｙ，ｃ）が閾値Ｔ１に近いほど飽和度ｔｃはゼロに近づき、色成分信号値Ｒ（ｘ，ｙ，ｃ）が閾値Ｔ２に近いほど飽和度ｔｃは１に近づく値を取る。

色成分信号値Ｒ（ｘ，ｙ，ｃ）が閾値Ｔ１とＴ２の中間域にあった場合のスケーリング係数を算出するには、数式５から色成分信号値Ｒ（ｘ，ｙ，ｃ）の飽和度ｔｃを算出し、得られた飽和度ｔｃと数式４を用いて２つのスケーリング係数を算出すればよい。

例えば、色成分信号値Ｒ（ｘ，ｙ，ｃ）が上限値である閾値Ｔ２と同等であった場合には、上記式に当てはめて飽和度ｔｃは１となることがわかる。その結果、このときのスケーリング係数として以下のものが得られる（数式６）。

以上で説明した色成分信号値Ｒ（ｘ，ｙ，ｃ）に対応するスケーリング係数の設定を、白飛び補正処理において参照する全ての白飛び補正画素との組み合わせについて行う。

ステップＳ２０５では、補間処理部２３４において、上記各ステップで得られたスケーリング係数を用いて、各白飛び補正画素について信号差に関する重み付け係数ｗｖを算出する。具体的には、上述した数式２により求められる。

上述したように、重み付け係数ｗｖは、通常画素の色成分信号値Ｒ（ｘ，ｙ，ｃ）とゲイン補正後の白飛び補正画素の色成分信号値Ｈ（ｘＨＬＰ，ｙＨＬＰ，ｃ）の大小関係により異なるスケーリング係数を用いている。すなわち、縦軸を係数ｗｖ、横軸をＨ−Ｒとしたときに、横軸が正であるか負であるかによって関数ｗｖの減衰に仕方が異なることを意味している。

Ｈ−Ｒは同一色成分における各画素間の信号差である。補間処理部２３４は、読み出し済みの補正対象である通常画素信号値Ｒ（ｘ，ｙ）から領域Ｄ内のゲイン補正後の白飛び補正画素信号値Ｈ（ｘＨＬＰ，ｙＨＬＰ）を同一色成分毎にそれぞれ減算して、各白飛び補正画素に対応する信号差Ｈ−Ｒを算出する。例えば、白飛び補正画素信号値ＨのＢ成分Ｈ（ｘＨＬＰ，ｙＨＬＰ，ｂ）と通常画素信号値ＲのＢ成分Ｒ（ｘ，ｙ，ｂ）とが比較されて信号差が算出される。

以上で、補正対象である通常画素と参照対象である白飛び補正画素との組み合わせに対して、信号差とスケーリング係数とが得られたので、補間処理部２３４はそれぞれの重み付け係数ｗｖを算出する。

図７は、各種スケーリング係数を所定の値としたときの、重み付け係数ｗｖと信号差Ｈ−Ｒの関数を示すグラフである。（ａ）は補正対象である通常画素の色成分信号値Ｒ（ｘ，ｙ）が不飽和状態である場合、（ｂ）は補正対象である通常画素の色成分信号値Ｒ（ｘ，ｙ）が飽和付近状態である場合をそれぞれ示している。

これらのグラフ形状は、上述した任意の定数である３つのスケーリング係数ｓ、ｓ＋、ｓ−により決定される。本図（ａ）に示した不飽和状態の色成分信号値Ｒ（ｘ，ｙ）についての関数では、重み付けの減少の仕方がマイナス領域（Ｈ−Ｒが負）とプラス領域（Ｈ−Ｒが正）とで同じであり、左右対称になっている。また、本図（ｂ）に示した飽和付近状態の色成分信号値Ｒ（ｘ，ｙ）についての関数では、マイナス領域（Ｈ−Ｒが負）における重み付けが不飽和状態の関数と比較して信号差の絶対値の増加に伴って急激に小さくなる。一方で、プラス領域（Ｈ−Ｒが正）における重み付けは不飽和状態の関数と比較して信号差の絶対値の増加に伴って緩やかに小さくなっており、全体として左右非対称になっていることがわかる。

上述したようなグラフ形状を実現するには、各スケーリング係数を以下の数式７に示す大小関係を満たすように設定すればよい。

これらのスケーリング係数は、上述したスケーリング係数ｓｄと同様に任意の定数であるが、実際には白飛び補正処理の効果を検証する中で良好だと思われる値が決定される。

次に、本図で示した重み付けの特徴について説明する。

不飽和状態の色成分信号値Ｒ（ｘ，ｙ，ｃ）に対する重み付け係数ｗｖの関数は、上述したように左右対称の凸形状をしている。通常画素と白飛び補正画素の色成分信号値差Ｈ−Ｒの絶対値が小さいことは、通常画素と白飛び補正画素が同じ被写体の情報を持っているであろうことを意味するので、そのような場合には関数ｗｖの凸性により大きい重み付けがなされる。一方、信号差が大きい組み合わせに対しては重み付けを小さくしている。

飽和付近状態の色成分信号値Ｒ（ｘ，ｙ，ｃ）に対する重み付け係数ｗｖの関数は、上述したように左右非対称の凸形状をしている。信号差Ｈ−Ｒが負値の領域では、白飛び補正画素の信号値が閾値Ｔ１よりも低いことから、白飛び補正画素の信号値が小さいほど通常画素と白飛び補正画素が違う被写体の情報を持っているであろうことを意味するため、信号差Ｈ−Ｒの絶対値が大きいほど小さい重み付けを行う。一方、信号差Ｈ−Ｒが非負値の領域では、白飛び補正画素の信号値が閾値Ｔ１以上であることから、閾値Ｔ１と白飛び補正画素の信号値の比較によって同じ被写体の情報を持っているかどうかを推測することができない。このような場合は、信号差Ｈ−Ｒが大きいときの重み付けを信号差が負値の場合に比べて緩やかに減衰させる。

以上で説明したように、本発明の白飛び補正処理においては、補正対象である通常画素信号の色成分信号値Ｒ（ｘ，ｙ，ｃ）が飽和しているか否かによって、重み付け係数ｗｖの決定に用いる関数を異ならせている。そして、中間域に含まれる信号値Ｒ（ｘ，ｙ，ｃ）については、これらの関数から得られた重み付け係数ｗｖをリニア補間することで決定している。これにより、信号差が負値の場合と非負値の場合の２状態の間を滑らかに推移させることが可能となる。

以上で、補正対象である通常画素の色成分信号値Ｒ（ｘ，ｙ，ｃ）の信号差に関する重み付け係数ｗｖの算出が完了する。

ステップＳ２０８では、補間処理部２３４において、ステップＳ２０１及びＳ２０７で得られた各重み付け係数から、各白飛び補正画素の補間処理時に適用する最終的な重み付け係数ｗを算出する。すなわち、単一の白飛び補正画素・通常画素の組み合わせに対応した１つの重み付け係数ｗｄ及び３つの重み付け係数ｗｖが得られているので、それらから１つの重み付け係数ｗを算出する。具体的には、以下の数式８により求められる。

ここで、ｃ∈｛ｒ，ｇ，ｂ｝は出力信号に含まれる３つの色成分ＲＧＢを意味する。

この重み付け係数ｗの算出を、上記ステップで得られた各重み付け係数の全ての組み合わせに対して行う。これにより、領域Ｄ内の全ての参照白飛び補正画素を補間処理するための重み付け係数ｗが得られる。全ての係数ｗの算出が完了すると本詳細フローは終了し、図５のフローチャートに戻る。

なお、上述したステップＳ２０１の処理についてはこの位置に限られるものではなく、適宜後段のステップと順番が入れ替わっても何ら問題はない。例えば、ステップＳ２０２〜Ｓ２０４で各スケーリング係数が決定されてから重み付け係数ｗｄを算出するようにしてもいいし、ステップＳ２０５で重み付け係数ｗｖが算出されてから重み付け係数ｗｄを算出するようにしてもいい。

また、上述したステップＳ２０６において、重み付け係数ｗを算出する際に、各色成分信号に対応した信号差に関する重み付け係数ｗｖは色成分毎に計算したものを乗算していたが、これに限られるものではない。すなわち、３つの係数ｗｖの合計値を算出して係数ｗｄと乗算してもいいし、３つの係数ｗｖの最小値のみを選択して係数ｗｄと乗算してもいい。

図５のフローチャートに戻って説明を続ける。ステップＳ１０４では、補間処理部２３４において、上述したステップＳ１０３で得られた重み付け係数ｗを用いて、色成分毎に参照する領域Ｄ内の白飛び補正画素を補間処理した補間信号値Ｕ（ｘ，ｙ，ｃ）を算出する。具体的には、白飛び補正画素による当該通常画素位置における補間信号値Ｕ（ｘ，ｙ，ｃ）は、以下の数式９により求められる。

ここで、Ｄ（ｘ，ｙ）は補間処理において参照する領域である。

この式によれば、補間信号値Ｕ（ｘ，ｙ，ｃ）は、領域Ｄに含まれる複数の白飛び補正画素それぞれについて、対応する重み付け係数ｗと白飛び補正画素の信号値Ｈとの積を全て加算した値を、対応する重み付け係数ｗを全て加算した値で除算することで得られる。

ステップＳ１０５では、合成処理部２３５において、上述したステップＳ１０４で得られた補間信号値Ｕ（ｘ，ｙ，ｃ）と補正対象である通常画素の信号値Ｒ（ｘ，ｙ，ｃ）とを用いて、色成分毎に合成信号値Ｂ（ｘ，ｙ，ｃ）を算出する。具体的には、合成信号値Ｂ（ｘ，ｙ，ｃ）は以下の数式１０により求められる。

ここで、ｔｎは補間信号値Ｕと通常画素信号値Ｒとの混合割合を決定する合成係数である。具体的には、以下の数式１１により求められる。

合成処理部２３５は、白飛び補正フラグの立った全ての通常画素に対応する合成信号値Ｂを算出する。

本実施例の白飛び補正処理においては、念のため、上記ステップにて算出された合成信号値Ｂに対して補正エラー判定ステップを設けている。本エラー判定に係るステップは省略可能である。ステップＳ１０６では、エラー判定部２３６において、上述したステップＳ１０５で得られた合成信号値Ｂ（ｘ，ｙ，ｃ）が適切に算出されたか否かの判定を行う。エラー判定には、例えば以下の数式１２を用いる。

ここで、Ｖ（ｘ，ｙ）は３つの補間信号値Ｕ（ｘ，ｙ，ｃ）のうちの最大値である。

Ｖ（ｘ，ｙ）がこの式を満たしている場合に、エラー判定部２３６は当該合成信号値Ｂに対して補正エラーフラグを立てる。これは、参照対象の白飛び補正画素から補間処理により得られた補間信号値Ｕ（ｘ，ｙ，ｃ）が飽和値Ｔ２の１／２以下になることが考えにくいからである。なお、ここでは１／２倍としたがこれには限られず、実際の補正処理結果から良好な値を見出して設定すればよい。

補正エラーフラグの立った合成信号値Ｂ（ｘ，ｙ，ｃ）については、ステップＳ１０７に進む。補正エラーフラグの立たなかった合成信号値Ｂ（ｘ，ｙ，ｃ）については、ステップＳ１０８に進む。

ステップＳ１０７では、エラー判定部２３６において、上述したステップＳ１０６で補正エラーフラグの立った合成信号値Ｂ（ｘ，ｙ，ｃ）に対して補間処理を行う。すなわち、補正エラーフラグの立った合成信号値Ｂ（ｘ，ｙ，ｃ）を持つ補正対象通常画素の周囲に位置し、補正エラーフラグの立たなかった補正対象の通常画素位置における合成信号値Ｂ（ｘ，ｙ，ｃ）を用いて信号値の補間を行う。補間方法としては、例えばニアレストネイバー法やバイリニア法を用いることができる。

ステップＳ１０８では、合成処理部２３５において、白飛び補正対象である通常画素信号値を得られた合成信号値Ｂ（ｘ，ｙ，ｃ）で置換する。この合成信号値Ｂ（ｘ，ｙ，ｃ）は、上述したステップＳ１０６において補正エラーフラグが立たなかった合成信号値、又は、ステップＳ１０７において補間処理を施された合成信号値である。以上により、白飛び補正処理に係る本フローチャートが終了する。

なお、上述した実施例においては垂直色分離型の撮像素子を用いていたが、利用可能な撮像素子はこれに限らない。例えば、カラーフィルタアレイにより赤（Ｒ）、緑（Ｇｒ，Ｇｂ）、青（Ｂ）の４つの色成分を出力可能ないわゆるベイヤー型撮像素子に対して本発明を適用することも可能である。この場合、補間信号値Ｕを得るための重み付け係数ｗを求める式は以下のように記述される（数式１３）。

また、例えば１つの色成分のみ出力可能なモノクロセンサにおいても本発明は適用可能である。このようにして、本発明は撮像素子が出力可能な色成分の数によらず、適切に白飛び補正処理を行うことができる。

以上で説明したように、白飛びした通常画素の信号補間のために周辺の白飛び補正画素の全ての色成分を参照するようにしたので、より精度の高い補正を行うことが可能となる。

Claims (7)

1. 低感度画素の出力信号に基づいて補正対象である通常感度画素の出力信号を補正する信号処理装置であって、
   前記信号処理装置は、
   前記低感度画素出力信号に所定のゲイン補正を行い、第１の出力信号を得るゲイン補正手段と、
   前記通常感度画素を含む所定の領域内に位置する複数の前記低感度画素に対して、前記通常感度画素と前記低感度画素との距離に関する第１の重み付け係数と、前記通常感度画素の出力信号と前記第１の出力信号の間の信号差に関する第２の重み付け係数とを算出し、前記各重み付け係数により決定される第３の重み付け係数に基づいて前記第１の出力信号に対して補間処理を行うことにより、前記通常感度画素位置における補間信号値を算出する補間処理手段と、
   所定の合成係数に基づいて、前記補間信号値と前記通常感度画素の出力信号とを合成した合成信号値を算出し、前記合成信号値で前記通常感度画素の出力信号を置換する合成処理手段と、
   を有することを特徴とする信号処理装置。
2. 前記通常感度画素は少なくとも３つの色成分の出力信号を出力可能であり、
   前記低感度画素は前記少なくとも３つの色成分のうち、少なくとも１つの色成分の出力信号を出力可能であり、
   前記補間処理手段及び前記合成処理手段は、前記低感度画素が出力可能な色成分に対して補間処理及び合成処理を行う
   ことを特徴とする請求項１に記載の信号処理装置。
3. 前記補間処理手段は、前記通常感度画素の少なくとも１つの色成分の出力信号が第１の閾値以上であった場合に前記通常感度画素を補正対象とし、補正対象である前記通常感度画素において、前記第１の閾値との大小関係に関わらず、全ての色成分に対して補間処理及び合成処理を行う
   ことを特徴とする請求項２に記載の信号処理装置。
4. 前記第１の重み付け係数は、前記通常感度画素と前記低感度画素との距離が離れるほど小さい値をとる
   ことを特徴とする請求項１乃至３のいずれかに記載の信号処理装置。
5. 前記第２の重み付け係数は、前記通常感度画素の出力信号と前記第１の出力信号の同一色成分間の差分値において、前記差分値が負値のときは前記差分値が小さいほど小さい値をとり、前記差分値が非負値のときは前記差分値が大きいほど大きい値をとる
   ことを特徴とする請求項２乃至４のいずれかに記載の信号処理装置。
6. 前記第２の重み付け係数は、前記差分値の絶対値が増加するに従い前記差分値が負値のときにより早く減少する
   ことを特徴とする請求項５に記載の信号処理装置。
7. 前記合成係数は、前記通常感度画素の全ての色成分が前記第１の閾値を下回るときには０をとり、前記通常感度画素のいずれかの色成分が第２の閾値以上のときには１をとる
   ことを特徴とする請求項２乃至５のいずれかに記載の信号処理装置。

Images