JP2008312169A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 高輝度被写体を撮影した場合に、黒沈みが生じないようにすること。
【解決手段】 光電変換により得られた電荷を蓄積する容量をそれぞれ有する複数の画素を含む撮像素子の各画素から読み出された、容量に蓄積された電荷に応じた画像信号と、各画素の容量以外に蓄積された電荷に応じた基準信号とを各画素毎に差分して差分信号を出力するＣＤＳ回路（１０８）と、該差分信号の内、容量の飽和レベルを示す差分信号が連続する第１の領域と、前記飽和レベルよりも予め設定されたレベルだけ低い黒沈みレベルを示す差分信号が連続する第２の領域を検出し、検出された第１の領域及び第２の領域から、前記差分信号が前記飽和レベルから前記黒沈みレベルまでの間のレベルを示す補正対象領域を決定する黒沈み検出部（１１０）と、補正対象領域の画素の差分信号を、飽和レベルの差分信号に置き換える黒沈み補正部（１１３）とを有する。
【選択図】 図１

Description

本発明は光電変換により得られた画像信号を処理する画像処理装置及び方法、及び撮像装置に関する。

近年、消費電力が低くかつＣＣＤセンサと同等の高いＳＮ比が得られ、かつ信号処理回路を光電変換部と同じ半導体プロセスで製造できるため、ＣＭＯＳセンサが注目を集めている。

図１１は、従来の複数の画素を含むＣＭＯＳセンサにおける１画素の信号の読み出し経路及び読み出した信号を処理する構成を示す概略図である。ＣＭＯＳセンサの露光を開始してから予め設定された電荷蓄積時間の経過後、まずＳＷ１をＯＮとして、読出手段としてのアンプ１０の入力部のフローティング・デフュージョン部（ＦＤ）５０２を主とする領域に蓄積されている電荷をリセットする。そして、このリセットレベルの信号を容量ＣＮに読み出す（基準レベル）。この時、次にＳＷ１をＯＦＦ、ＳＷ２をＯＮとしてフォトダイオード（ＰＤ）５０１内に蓄積されている光電変換により得られた電荷をＦＤ５０２に転送し、次いでＳＷ２をＯＦＦ、ＳＷ１をＯＮにして、容量ＣＳに読み出す（信号レベル）。容量ＣＳに保持された信号レベルと容量ＣＮに保持された基準レベルは、二重相関サンプリング（ＣＤＳ）回路５０４で差分をとることにより、ノイズ成分が除去された信号レベルを出力する。更にＡ／Ｄ変換器５０５でデジタル信号に変換されて、信号処理回路５０６により信号処理が行われる。

上述したような構成を有するＣＭＯＳセンサでは、非常に大きな光が入ると、突然、出力信号が無くなり、あたかも光がはいっていないようにその部分が黒く見える、高輝度黒沈みという現象が生じることが知られている。

この高輝度黒沈みは、非常に大きな光が画素のＰＤ５０１に入射したとき、ＰＤ５０１で保持しきれなくなった電荷がＦＤ５０２に漏れ込むことが原因と考えられている。このようにＦＤ５０２に電荷が漏れ込むと、読み出される基準レベルが急激に大きくなるため、信号レベルと基準レベルとの差分（出力信号）が小さくなってしまう。

この高輝度黒沈みを緩和するために、特許文献１ではこの基準レベルを閾値と比較することにより急激な立ち上がりを検出し、基準レベルを所定の値にクリップすることが開示されている。

特開２０００−２８７１３１号公報

しかしながら、基準レベルをクリップするとしても、黒沈みか否かの判断に用いられる閾値あるいは、クリップをするレベルに誤差が生じれば、黒沈みが残存してしまう。以下に、この点について説明する。

図１２は、図１１に示すＣＭＯＳセンサの経路中の各ポイントにおいて、太陽のような高輝度の被写体を撮影した場合に、ＣＭＯＳセンサを１ライン走査して得られた信号レベルの推移を示している。

図１２（ａ）は、太陽のような高輝度の被写体を撮影した場合にＣＭＯＳセンサの各画素に蓄積される電荷量を表す概念図である。図１２（ｂ）は図１１のPoint1における１ライン分の基準レベルＮと信号レベルＳを示した図であり、縦軸は信号のレベル、横軸は水平方向の画素の位置を表している。信号レベルＳは、ＰＤ５０１で光電変換により得られた電荷量（入射レベル）が飽和レベルを越えているので、飽和レベルが連続することになる。基準レベルＮは、入射レベルが飽和レベルをさらに大きく越えた過飽和レベルに達すると、ＰＤ５０１からＦＤ５０２への電荷の漏れこみが発生し、周辺よりも大きな値になる。このままＣＤＳ回路５０４へ入力されて信号レベルＳとの差分処理（Ｓ−Ｎ）が行われると、過飽和レベルを越えた画素の出力は周辺に比べ、大きくレベルが下がってしまう。

これに対してクリップ回路５０３を設け、基準レベルＮが閾値レベル（クリップレベル）を越えた場合に閾値レベルにクリップすると（図１２（ｃ））、過飽和領域のレベルの落ち込みを緩和することが可能となる（図１２（ｄ））。

しかし、この閾値レベルの設定を低くすれば黒沈みを無くすことができるが、通常のノイズ成分もクリップしてしまう可能性が高くなり、画質の劣化につながる。逆に、閾値レベルを高く設定すると、黒沈みを完全に抑えきれない可能性がある。また、画素には個体差があるため、全ての画素について適切な値を設定するのは困難である。図１２（ｃ）、図１２（ｄ）はそれぞれPoint2、Point3において閾値レベルの設定で完全に黒沈みがとりきれない場合のＣＤＳ回路５０４の入力、出力を示している。画素毎の飽和レベルのばらつきを解決するためにＡ／Ｄ変換器５０５でも所定レベルの上限にクリップされる（図１２（ｅ））。ここでクリップするレンジも小さくすれば黒沈みの影響は除去できるが、画質の劣化を招く。結果として、Ａ／Ｄ変換器５０５の出力は、飽和レベルの画素の領域の内側に、飽和レベルよりも低いレベルの画素の領域が生成される可能性がある。例えば太陽を撮影した際に、太陽の周辺部よりも中央のレベルの方が低くなってしまうことがある。

本発明は上記問題点を鑑みてなされたものであり、本発明の画像処理装置は、光電変換により得られた電荷を蓄積する容量をそれぞれ有する複数の画素を含む撮像素子の各画素から読み出された、前記容量に蓄積された電荷に応じた画像信号と、前記画素の前記容量以外に蓄積された電荷に応じた基準信号とを各画素毎に差分して差分信号を出力する差分手段と、前記差分手段により得られた差分信号の内、前記容量の飽和レベルを示す差分信号が連続する前記画素の第１の領域を検出すると共に、前記差分手段により得られた差分信号の内、前記飽和レベルよりも予め設定されたレベルだけ低い黒沈みレベルを示す差分信号が連続する前記画素の第２の領域を検出し、検出した前記第１の領域及び第２の領域から、前記差分手段により得られた差分信号が前記飽和レベルから前記黒沈みレベルまでの間のレベルを示す前記画素の補正対象領域を検出する検出手段と、前記決定手段により決定された補正対象領域の画素の差分信号を、前記飽和レベルの差分信号に置き換える補正手段とを有する。

また、本発明の画像処理方法は、光電変換により得られた電荷を蓄積する容量をそれぞれ有する複数の画素を含む撮像素子の各画素から読み出された、前記容量に蓄積された電荷に応じた画像信号と、前記画素の前記容量以外に蓄積された電荷に応じた基準信号とを各画素毎に差分して差分信号を出力する差分工程と、前記差分工程で得られた差分信号の内、前記容量の飽和レベルを示す差分信号が連続する前記画素の第１の領域を検出する第１の検出工程と、前記差分工程で得られた差分信号の内、前記飽和レベルよりも予め設定されたレベルだけ低い黒沈みレベルを示す差分信号が連続する前記画素の第２の領域を検出する第２の検出工程と、前記第１及び第２の検出工程で検出された第１の領域及び第２の領域から、前記差分工程で得られた差分信号が前記飽和レベルから前記黒沈みレベルまでの間のレベルを示す前記画素の補正対象領域を決定する決定工程と、前記決定工程で決定された補正対象領域の画素の差分信号を、前記飽和レベルの差分信号に置き換える補正工程とを有する。

また、本発明の撮像装置は、撮像素子と、上述した画像処理装置とを含む。

本発明によれば、高輝度被写体を撮影した場合に、黒沈みが生じないようにすることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態におけるＣＭＯＳセンサ（撮像素子）の１画素分の構成と、光学系及び信号処理部の概略構成を示すブロック図である。レンズ１０１を介して入射した光は、絞り１０２によりその光量が調節され、ＣＭＯＳセンサ１０７上に結像される。１０４は絞り１０２を制御する絞り駆動回路であり、絞り駆動モータ１０３を介して絞り１０２を駆動する。１０５はＣＭＯＳセンサ１０７の蓄積動作、読み出し動作、リセット動作を制御するＣＭＯＳセンサ駆動回路である。ＣＰＵ１０６は絞り駆動回路１０４、ＣＭＯＳセンサ１０７を制御する。

ＣＭＯＳセンサ１０７は複数の画素と読み出し回路から構成されるが、図１では１画素の転送経路に着目して説明する。

ＣＭＯＳセンサ１０７の露光を開始してから予め設定された電荷蓄積時間の経過後、まずＳＷ１をＯＮとする。これにより、読出手段としてのアンプ１０の入力部のフローティング・デフュージョン部（ＦＤ）２を主とする、フォトダイオード（ＰＤ）１の内部容量以外に蓄積されている電荷（基準信号）がリセットされる。そして、このリセットレベルの信号を容量ＣＮに読み出す（基準レベル）。次にＳＷ１をＯＦＦ、ＳＷ２をＯＮとして、ＰＤ１により光電変換され、ＰＤ１の内部容量に蓄積された電荷（画像信号）をＦＤ２に転送し、次いでＳＷ２をＯＦＦ、ＳＷ１をＯＮにして、容量ＣＳに読み出す（信号レベル）。

この読み出し動作は各画素ごとに行われ、順次二重相関サンプリング（ＣＤＳ）回路１０８へ入力される。ＣＤＳ回路１０８では、信号レベルと基準レベルとの差分をとることにより、ノイズ成分が除去された信号（差分信号）を出力する。即ち、ＣＤＳ回路１０８は差分手段に対応する。ＣＤＳ回路１０８から出力された差分信号（アナログ信号）は、更にＡ／Ｄ変換器１０９でデジタル画像データへ変換されると共に、各画素の飽和レベルのばらつきを抑圧するために上限値を制限するためのクリップが行われる。

Ａ／Ｄ変換器１０９から出力されるデジタル画像データに対しては、黒沈み検出部１１０で後述する黒沈み領域の検出が行われる。黒沈み領域の検出は、順次入力されるＣＭＯＳセンサ１０７の１ライン分の画像信号に対して行われ、１ライン処理後に、検出領域の有無及び位置を含む検出情報を、第２メモリ部１１２に保存する。なお、黒沈み補正部１１３での同期をとるために、第１メモリ部１１１には画像データが保存される。黒沈み補正部１１３では、第２メモリ部１１２に保存された検出情報から、第１メモリ部１１１が出力する画像データに対して黒沈み補正部１１３で補正をするか否かを決定する。そして、補正する場合は、補正対象の画像データを補正レベルに置換する処理を行う。黒沈み補正後のデータは信号処理部１１４へ出力され、信号処理が行われる。

図２は、図１に示す構成の各ポイントにおいて、太陽のような高輝度の被写体を撮影した場合に、ＣＭＯＳセンサ１０７を１ライン走査して得られた信号レベルの推移を示す図である。

図２（ａ）は、太陽のような高輝度の被写体を撮影した場合にＣＭＯＳセンサ１０７の各画素に蓄積される電荷量を表す概念図である。図２（ｂ）は図１のPoint1における１ライン分の基準レベルＮと信号レベルＳを示した図であり、縦軸は信号のレベル、横軸は水平方向の画素の位置を表している。信号レベルＳはＰＤ１で光電変換により得られた電荷量（入射レベル）が飽和レベルを越えているので、飽和レベルが連続することになる。基準レベルＮは、入射レベルが飽和レベルよりさらに高い過飽和レベルに達すると、ＰＤ１からＦＤ２への電荷の漏れ込みが発生し、周辺よりも大きな値になる。

図２（ｃ）は図１のPoint2における基準レベルＮと信号レベルＳの推移を表した図であり、基準レベルＮはクリップ回路３により閾値（クリップレベル）でクリップされる。図２（ｄ）は図１のPoint3においてＣＤＳ回路１０８から出力される基準レベルＮと信号レベルＳとの差分の推移を表した図である。クリップ回路３でＦＤ２への電荷の漏れこみが完全に除去できない場合、ＣＤＳ回路１０８で差分すると、過飽和領域部分のレベルが低下する。

図２（ｅ）は図１のPoint4におけるレベル推移を表した図である。各画素の飽和レベルばらつき防止のためにＡ／Ｄ変換器１０９で出力の上限をクリップするため、飽和レベルの画素値はＡ／Ｄ変換の上限値のレベル（以下、「Ａ／Ｄ飽和レベル」と呼ぶ。）に抑えられる。この時点でまだ過飽和レベルの黒沈みは残存している。この時、図２（ｃ）で説明したように、黒沈みが発生する領域では、信号レベルＳは飽和レベル、基準レベルＮはクリップレベルにそれぞれ固定される。従って、ＣＤＳ回路１０８により差分され、Ａ／Ｄ変換器１０９によりＡ／Ｄ変換された信号レベルは、一定の信号レベルとなる。以下、この信号レベルを「黒沈みレベル」と呼ぶ。図２（ｆ）は図１のPoint5における信号のレベル推移を示し、黒沈みの検出、補正後で黒沈みが除去された様子を示している。

図３は黒沈み検出部１１０で行われる、黒沈みの補正対象領域の検出処理を示すフローチャートである。また、図４〜図６はそれぞれ、高輝度の被写体が画面内に収まっている場合、左端で切れている場合、右端で切れている場合の黒沈みの補正対象領域の検出例を示す図である。

まず、ＣＭＯＳセンサ１０７の水平走査が開始されたか否かを判断し（ステップＳ３０１）、水平走査が開始されると、黒沈み領域の検出処理を開始する。水平走査開始直後に、黒沈み検出用のアドレス１、アドレス２をリセットすると共に、カウント値をリセットし、カウントを開始する（ステップＳ３０２）。ステップＳ３０３の検出０では、先頭の画素から黒沈みレベルが連続しているか否かを検出する。

先頭の画素から黒沈みレベルが連続している状態とは、例えば、図５（ａ）に示すように、高輝度の被写体の画像がＣＭＯＳセンサ１０７の左端で切れているような場合である。図５（ａ）に示す走査ラインで電荷が読み出された場合、図５（ｂ）に示すように、先頭の信号レベルが黒沈みレベルとなる。

黒沈みレベルが連続していれば（ステップＳ３０４でＹＥＳ）、その先頭画素のカウント値をアドレス１として第２メモリ部１１２に記憶し（ステップＳ３１７）、検出４（ステップＳ３１８）に進む。先頭の画素から黒沈みレベルが連続していなければ（ステップＳ３０４でＮＯ）、検出１（ステップＳ３０５）に進む。

検出１（ステップＳ３０５）では、Ａ／Ｄ飽和レベルの画素が連続するか否かを検出する。連続を検出せずに（ステップＳ３０７でＮＯ）水平走査が終了すれば（ステップＳ３０６でＹＥＳ）、そのラインには高輝度の被写体が無いと判断してステップＳ３０１に戻り、次のラインの処理に入る。一方、水平走査中にＡ／Ｄ飽和レベルの画素の連続（第１の領域）を検出をした場合（ステップＳ３０７でＹＥＳ）、連続画素中の最終画素のカウント値をアドレス１として第２メモリ部１１２に記憶する（ステップＳ３０８）。記憶した後、検出２（ステップＳ３０９）に進む。

先に黒沈みレベルが検出されず、Ａ／Ｄ飽和レベルの画素が連続している状態とは、例えば、図４（ａ）や図６（ａ）に示すような場合である。図４（ａ）では、高輝度の被写体の画像がＣＭＯＳセンサ１０７内に収まっており、図６（ａ）では、高輝度の被写体の画像がＣＭＯＳセンサ１０７の左端で切れている。図４（ａ）及び図６（ａ）に示す走査ラインで電荷が読み出された場合、図４（ｂ）及び図６（ｂ）に示すように、黒沈みレベルが検出されるより先に、Ａ／Ｄ飽和レベルが検出されることになる。

検出２（ステップＳ３０９）ではＡ／Ｄ飽和レベルの画素が連続している場合に、更に黒沈みレベルの画素が連続するか否かを検出する。連続を検出せずに（ステップＳ３１２でＮＯ）水平走査が終了した場合（ステップＳ３１０でＮＯ）、黒沈みが発生していないので、検出１（ステップＳ３０５）で保持したアドレス１をリセットし、次のラインの処理に入る。一方、水平走査中に黒沈みレベルの連続（第２の領域）を検出した場合（ステップＳ３１２でＹＥＳ）、検出３（ステップＳ３１３）に進む。

なお、上述した図４及び図６に示す場合では共に、黒沈みレベルが連続している。

検出３（ステップＳ３１３）では、再びＡ／Ｄ飽和レベルの画素が連続するか否かを検出する。検出せずに（ステップＳ３１５でＮＯ）水平走査を終了した場合（ステップＳ３１４でＹＥＳ）、最後の画素のカウント値をアドレス２として第２メモリ部１１２に記憶し（ステップＳ３１６）、ステップＳ３０１に戻って次のラインの検出動作を開始に入る。

先に黒沈みレベルの画素の連続（第２の領域）が検出され、且つ、その後、Ａ／Ｄ飽和レベルの画素の連続（第１の領域）が検出されない状態とは、例えば、図６（ａ）に示すような状態である。即ち、高輝度の被写体の画像がＣＭＯＳセンサ１０７の右端で切れているような場合である。図６（ａ）に示す走査ラインで電荷が読み出された場合、図６（ｂ）に示すように、黒沈みレベル後、Ａ／Ｄ飽和レベルは検出されない。

一方、検出３（ステップＳ３１３）で、Ａ／Ｄ飽和レベルの画素の連続（第１の領域）を検出した場合には（ステップＳ３１５でＹＥＳ）、ステップＳ３１６に進む。ステップＳ３１６では、連続画素（第１の領域）の先頭画素のカウント値をアドレス２として第２メモリ部１１２に設定する。その後、ステップＳ３０１に戻って次のラインの検出動作に移る。

先に黒沈みレベルの画素の連続（第２の領域）が検出され、且つ、その後、Ａ／Ｄ飽和レベルの画素の連続（第１の領域）が検出された状態とは、例えば、図４（ａ）に示すような状態である。即ち、高輝度の被写体の画像がＣＭＯＳセンサ１０７内に収まっているような場合である。図４（ａ）に示す走査ラインで電荷が読み出された場合、図４（ｂ）に示すように、黒沈みレベル後、Ａ／Ｄ飽和レベルが検出される。

一方、先頭の画素から黒沈みレベルが連続した場合（ステップＳ３０４でＹＥＳ）、検出４（ステップＳ３１８）では、Ａ／Ｄ飽和レベルの画素が連続するか否かを検出する。検出せずに（ステップＳ３２０でＮＯ）水平走査が終了した場合（ステップＳ３１９でＹＥＳ）、ステップＳ３１７）で設定したアドレス１をリセットし（ステップＳ３２２）、ステップＳ３０１に戻って次のラインの処理に入る。また、Ａ／Ｄ飽和レベルの画素の連続（第１の領域）を検出した場合（ステップＳ３２０でＹＥＳ）、連続画素（第１の領域）の先頭画素のカウント値をアドレス２として第２メモリ部１１２に設定する（ステップＳ３２１）。その後、ステップＳ３０１に戻って次のラインの検出動作に移る。

上述したように、図４に示すように高輝度の被写体全体が、ＣＭＯＳセンサ１０７の画角内に収まっている場合には、以下のように黒沈み領域（第２の領域）が検出される。まず、検出１（ステップＳ３０５）で検出されたＡ／Ｄ飽和レベルの連続画素（第１の領域）の最後の画素をアドレス１として記憶する。引き続き検出２（ステップＳ３０９）で黒沈みレベルの画素（第２の領域）を連続して検出した後に、検出３（ステップＳ３１３で）で検出されたＡ／Ｄ飽和レベルの連続画素（第１の領域）の最初の画素がアドレス２として記憶される。このようにアドレス１及び２を設定することで、第１の領域の終わりから第２の領域を経た次の第１の領域開始までの間が、黒沈みの補正対象領域として設定されることになる。

また、図５に示すように高輝度の被写体が、ＣＭＯＳセンサ１０７の画角中の左端に存在し、走査開始直後から過飽和領域となっている場合には、以下のように黒沈み領域（第２の領域）が検出される。先ず、検出０（ステップＳ３０３）で検出された黒沈みレベルの連続画素（第２の領域）の最後の画素をアドレス１として記憶する。引き続き検出４（ステップＳ３１３）で検出されたＡ／Ｄ飽和レベルの連続画素（第１の領域）の最初の画素がアドレス２として記憶される。このようにアドレス１及び２を設定することで、先頭の画素、即ち第２の領域最初から、次の第１の領域開始までの間が、黒沈みの補正対象領域として設定されることになる。

また、図６に示すように高輝度の被写体が、ＣＭＯＳセンサ１０７の画角中の右端に存在し、黒沈みレベルの画素で走査が完了する場合には、以下のように黒沈み領域（第２の領域）が検出される。先ず、検出１（ステップＳ３０５）で検出されたＡ／Ｄ飽和レベルの連続画素（第１の領域）の最後の画素をアドレス１として記憶する。引き続き検出２（ステップＳ３０９）で黒沈みレベルの画素を連続して検出（第２の領域を検出）する。この後、検出３（ステップＳ３１３で）でＡ／Ｄ飽和レベルの連続画素（第１の領域）が検出されなければ、ＣＭＯＳセンサ１０７の最後の画素がアドレス２として記憶される。このようにアドレス１及び２を設定することで、第１の領域の終わりから、最後の画素、即ち第２の領域の最後までの間が、黒沈みの補正対象領域として設定されることになる。

上述したように、黒沈み検出部１１０は、第１の領域を検出する（第１の検出手段）と共に第２の領域を検出し（第２の検出手段）、検出した第１の領域及び第２の領域とから、アドレス１及び２によって規定される補正対象領域を決定する処理を行う。

黒沈み補正部１１３では、アドレス１及びアドレス２が共に第２メモリ部１１２に記憶されていれば、黒沈み補正を行うと判断する。そして、第１メモリ部１１１に記憶されたＡ／Ｄ変換後の画像データに対して、アドレス１からアドレス２まで（補正対象領域）の画素をＡ／Ｄ飽和レベルに置換することにより、黒沈みを除去する。なお、アドレス１及び２のいずれか一方でも第２メモリ部１１２に記憶されていなければ、黒沈み領域が検出されなかったか、または検出に失敗したものと判断して、黒沈み補正を行わないようにする。

上記のように本第１の実施形態によれば、黒沈みの補正対象領域を精度良く検出し、黒沈みレベルを補正することが可能となる。また、上述したようにしてアドレス１、アドレス２を設定することにより、Ａ／Ｄ飽和レベル、黒沈みレベル境界の遷移領域の画素も補正されるので、境界画素での補正漏れも防止することができる。

なお、上記説明では、水平方向に黒沈みの補正対象領域を検出する処理を行う場合について説明したが、垂直方向に行うことも可能である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

上述した第１の実施形態で説明した黒沈みの補正対象領域の検出方法では、例えば得図４に示す黒沈み領域の左右にある遷移領域は補正対象領域として検出することができたが、上下にある遷移領域の内、補正対象領域として検出できない領域が存在する。例えば、図４（ａ）と同じ被写体を図７（ａ）の走査ラインで走査した場合、Ａ／Ｄ飽和レベル後に黒沈みレベルの画素を検出することができないため、図７（ｂ）に示すようにこの遷移領域は黒沈みの補正対象領域とならない。

図８は、本発明の第２の実施形態におけるＣＭＯＳセンサの１画素分の構成と、光学系及び信号処理部の概略構成を示すブロック図である。図８において、第１の実施形態で説明した図１の構成と同様の構成には同じ参照番号を付し、ここでは説明を省略する。

図１に示す構成と、本第２の実施形態の図８に示す構成との差は、以下の点である。先ず、第１メモリ部１１１にはフレーム毎に画像データを保持する。そして、水平方向に黒沈みの補正対象領域を検出する水平黒沈み検出部２１０と、垂直方向に黒沈みの補正対象領域を検出する垂直黒沈み検出部２１１とを有する点である。更に、水平黒沈み検出部２１０及び垂直黒沈み検出部２１１の検出結果を統合して、２次元に黒沈み補正対象領域を判別する判別部２１５を有し、黒沈み補正部２１６では判別部２１５による判別結果に基づいて、黒沈みを補正する。

本第２の実施形態において、フレーム毎に第１メモリ部１１１に保持された画像データを、水平黒沈み検出部２１０は水平方向に順次走査し、各水平方向１ライン毎に黒沈みの補正対象領域を検出する。検出方法は、図３を参照して上述した方法と同様である。検出結果、得られるアドレス１及び２を第２メモリ部１１２に記憶する。更に、垂直黒沈み検出部２１１は第１メモリ部１１１に保持された画像データを垂直方向に順次走査し、各垂直方向１ライン毎に黒沈みの補正対象領域を検出する。ここでも、図３を参照して上述した方法と同様の方法で、黒沈み領域を示すアドレス３及び４を検出し、第３メモリ部２１４に記憶する。

図９は、太陽のような高輝度の被写体を撮影した場合に、水平方向に走査した場合における、図８中での各ポイントでのレベルの推移を示している。第１の実施形態で図３のフローチャートを参照して説明した手順と同様の手順により、図９（ｅ）に示すアドレス１及びアドレス２を取得する。

また、図１０は、図９（ａ）と同じ画面を垂直方向に走査した場合の、図８中での各ポイントでのレベルの推移を示しており、図９と同様にして図１０（ｅ）に示すアドレス３及びアドレス４を取得する。

判別部２１５は、水平黒沈み検出部２１０及び垂直黒沈み検出部２１１により水平方向、垂直方向双方で検出された画素のアドレス１〜４に基づいて２次元的に黒沈みの補正対象領域を判別する。

黒沈み補正部２１６は、この検出位置情報に基づいて、第１メモリ部１１１が出力する画像データに対して、黒沈み補正を行うか否かを決定する。補正する場合は、補正対象領域の画素の信号レベルをＡ／Ｄ飽和レベル補正値に置き換える。補正処理後のデータは信号処理部１１４へ出力され、信号処理が行われる。

上記の通り本第２の実施形態によれば、このように水平、垂直方向で検出されたアドレス１〜４を用いることにより、いずれか一方の方向の検出のみでは検出しきれなかった黒沈みの補正対象領域を、補正対象領域として検出することが可能になる。

なお、上記例では、水平黒沈み検出部２１０と垂直黒沈み検出部２１１を有する場合について説明したが、本発明はこれに限るものではなく、水平に走査したデータと垂直に走査したデータを１つの黒沈み検出部に順次に入力するようにしてもよい。

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の黒沈み検出部及び黒沈み補正部の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の第１の実施形態におけるＣＭＯＳセンサの１画素分の構成と、光学系及び信号処理部の概略構成を示すブロック図である。 本発明の第１の実施形態における黒沈み発生時の各処理段階における画素のレベル推移を示す図である。 本発明の第１の実施形態における黒沈み領域の検出処理を示すフローチャートである。 本発明の第１の実施形態において、高輝度な被写体の画像が画面内に収まっている場合の検出例を説明するための図である。 本発明の第１の実施形態において、高輝度な被写体の画像が画面左端で切れている場合の検出例を説明するための図である。 本発明の第１の実施形態において、高輝度な被写体の画像が画面右端で切れている場合の検出例を説明するための図である。 黒沈みの補正対象領域としての検出されない領域を説明する為の図である。 本発明の第２の実施形態におけるＣＭＯＳセンサの１画素分の構成と、光学系及び信号処理部の概略構成を示すブロック図である。 本発明の第２の実施形態における黒沈み発生時の各処理段階における画素の水平方向のレベル推移を示す図である。 本発明の第２の実施形態における黒沈み発生時の各処理段階における画素の垂直方向のレベル推移を示す図である。 従来のＣＭＯＳセンサの１画素分の構成と、信号処理部の概略構成を示すブロック図である。 黒沈み発生時の各処理段階における従来の画素のレベル推移を示す図である。

符号の説明

１ フォトダイオード（ＰＤ）
２ フローティング・デフュージョン部（ＦＤ）
３ クリップ回路
１０１ レンズ
１０２ 絞り
１０３ 絞り駆動モータ
１０４ 絞り駆動回路
１０５ ＣＭＯＳセンサ駆動回路
１０６ ＣＰＵ
１０７ ＣＭＯＳセンサ
１０８ 二重相関サンプリング（ＣＤＳ）回路
１０９ Ａ／Ｄ変換器
１１０ 黒沈み検出部
１１１ 第１メモリ部
１１２ 第２メモリ部
１１３、２１６ 黒沈み補正部
１１４ 信号処理部
２１０ 水平黒沈み検出部
２１１ 垂直黒沈み検出部
２１４ 第３メモリ部
２１５ 判別部

Claims (8)

1. 光電変換により得られた電荷を蓄積する容量をそれぞれ有する複数の画素を含む撮像素子の各画素から読み出された、前記容量に蓄積された電荷に応じた画像信号と、前記画素の前記容量以外に蓄積された電荷に応じた基準信号とを各画素毎に差分して差分信号を出力する差分手段と、
   前記差分手段により得られた差分信号の内、前記容量の飽和レベルを示す差分信号が連続する前記画素の第１の領域を検出すると共に、前記差分手段により得られた差分信号の内、前記飽和レベルよりも予め設定されたレベルだけ低い黒沈みレベルを示す差分信号が連続する前記画素の第２の領域を検出し、検出した前記第１の領域及び第２の領域から、前記差分手段により得られた差分信号が前記飽和レベルから前記黒沈みレベルまでの間のレベルを示す前記画素の補正対象領域を検出する検出手段と、
   前記決定手段により決定された補正対象領域の画素の差分信号を、前記飽和レベルの差分信号に置き換える補正手段と
   を有することを特徴とする画像処理装置。
2. 前記基準信号が予め設定されたクリップレベルを超える場合に、前記クリップレベルにクリップするクリップ手段を更に有し、
   前記黒沈みレベルは、前記飽和レベルと前記クリップレベルとを差分したレベルであることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１及び第２の検出手段は、前記複数の画素の水平または垂直方向に、１ラインずつ検出を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１及び第２の検出手段は、前記複数の画素の水平及び垂直方向に、１ラインずつ検出を行い、
   前記決定手段は、水平及び垂直方向にそれぞれ検出された第１の領域及び第２の領域から、前記補正対象領域を決定することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記撮像素子と、
   請求項１乃至４のいずれか１項に記載の画像処理装置と
   を含むことを特徴とする撮像装置。
6. 光電変換により得られた電荷を蓄積する容量をそれぞれ有する複数の画素を含む撮像素子の各画素から読み出された、前記容量に蓄積された電荷に応じた画像信号と、前記画素の前記容量以外に蓄積された電荷に応じた基準信号とを各画素毎に差分して差分信号を出力する差分工程と、
   前記差分工程で得られた差分信号の内、前記容量の飽和レベルを示す差分信号が連続する前記画素の第１の領域を検出する第１の検出工程と、
   前記差分工程で得られた差分信号の内、前記飽和レベルよりも予め設定されたレベルだけ低い黒沈みレベルを示す差分信号が連続する前記画素の第２の領域を検出する第２の検出工程と、
   前記第１及び第２の検出工程で検出された第１の領域及び第２の領域から、前記差分工程で得られた差分信号が前記飽和レベルから前記黒沈みレベルまでの間のレベルを示す前記画素の補正対象領域を決定する決定工程と、
   前記決定工程で決定された補正対象領域の画素の差分信号を、前記飽和レベルの差分信号に置き換える補正工程と
   を有することを特徴とする画像処理方法。
7. コンピュータに、請求項６に記載の画像処理方法の各工程を実行させるためのプログラム。
8. 請求項７に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images