JP2007174032A - 撮像装置 - Google Patents

Abstract

【課題】有効画素領域の画素からの輝度信号値が飽和している場合でも過補正による垂直方向の黒筋を発生させないでスミアを低減させる撮像装置を提供する。
【解決手段】固体撮像素子の信号処理部で、黒基準となる画素の輝度信号値及びスミアが発生した画素の輝度信号値を検出する黒基準検出部１４と、有効画素領域の各画素の輝度信号値を検出する輝度信号検出部１５と、検出される画素に対して水平方向に連続して所定数の画素を選択してその平均値の輝度信号値を検出する直交領域平均値検出部１８と、黒基準検出部１４、輝度信号検出部１５、及び直交領域平均値検出部１８で検出された輝度信号値からスミアが発生した画素の輝度信号値に対応する補正値を生成する補正値生成部１６と、補正値生成部１６で生成された補正値からスミアが発生した画素の輝度信号値を補正する補正部１７とを備える。
【選択図】図３

Description

本発明は固体撮像素子を用いる撮像装置に関し、特に、スミアと称されるような垂直方向又は水平方向のような撮像素子における縦横の一方向に相関が高く発生するノイズ成分を除去する機能を有する撮像装置に関する。

例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子は、受光した光の強度に対応する電荷を出力する複数の光電変換素子が画素として複数行及び複数列のマトリクス状に配置される光電変換部と、各光電変換素子から出力された電荷を垂直方向に転送する垂直転送部（以下、垂直転送路、ＶＣＣＤとも記載する）と、垂直転送部から出力された電荷を水平方向に転送する水平転送部（以下、水平転送路、ＨＣＣＤとも記載する）を備えて構成されている。又、一般的に、光電変換部における撮像に用いられる有効画素領域の上下の外周辺縁領域の少なくとも何れか一方には、その辺縁領域の数行の各光電変換素子に入力される外光を遮光することで黒基準となる輝度信号値を出力する遮光領域が形成されている。

ＣＣＤ撮像素子では、撮像条件によっては、垂直（ＶＣＣＤ）方向、或いは、水平（ＨＣＣＤ）方向に相関の高いノイズ成分が発生する場合がある。ＶＣＣＤ方向或いはＨＣＣＤ方向のような一方向に相関の高いノイズの一例として、例えばスミアと称される垂直（縦）方向に発生するノイズ成分が知られている。

以下に、スミアの発生原理について簡単に説明する。ＣＣＤ撮像素子で、例えば太陽光や強力な照明光等の強い光（＝非常に明るい光）を撮像する場合、撮像素子上のその強い光の領域の光電変換素子（以下、フォトダイオード、ＰＤとも記載する）は、撮像信号に必要となる電荷を発生させるだけにとどまらず、余分に多くの電荷を発生させる。その余分に発生された多くの電荷は、高レベルのノイズ信号となって、ＣＣＤ撮像素子の光電変換部におけるＶＣＣＤ方向に形成されている弱い光を受光している領域（＝暗い領域）の光電変換素子に漏れ出す。そして、その暗い領域の光電変換素子では、元々の低レベルの撮像信号に対して、漏れ出した高レベルのノイズ信号が重畳されることになる。このようにしてＶＣＣＤ方向の暗い領域の光電変換素子にスミアが発生する。

このＣＣＤ撮像素子に発生したスミアは、撮像画像の視感上の品位を著しく低下させるという問題がある。又、例えば、個人認証のために生体の指紋パターンや静脈パターン等の身体固有のデータを認識するバイオメトリクスに用いる撮像装置においてスミアが発生した場合には、認識に必要となる特徴点がその高レベルのノイズ成分に埋もれてしまい、その特徴点の認識率を低下させる場合がある。

また、スミア以外の一方向に相関の高いノイズとしては、例えばＨＣＣＤを複数備える撮像素子におけるＨＣＣＤ感度のばらつきに起因するノイズが知られている。複数のＨＣＣＤを備えるＣＣＤ撮像素子は、例えば高画素で、高速にフレーム転送を実現するために使用される。しかし、複数のＨＣＣＤを備える場合には、電荷出力部の増幅特性がばらつくことから、各ＨＣＣＤ間の輝度信号値に差値（変化量）が発生して視感上の品位を低下させる場合があり、特に撮像画面の暗部では顕著に視感上の品位が低下するという問題がある。

従来の撮像装置では、上記したようなＣＣＤ撮像素子における一方向に相関の高いノイズを除去するために、様々な方法が提案されている。例えば、遮光領域から出力された黒基準となる画素の輝度信号値とノイズが発生した画素の輝度信号値との差値を演算して、有効画素領域から出力されたノイズが発生した画素とその輝度信号値を検出し、その有効画素領域のノイズ発生画素の輝度信号値から遮光領域から得られた差値を一律に減算する信号処理部を設ける方法が知られている。

より具体的には、固体撮像素子における黒基準画素領域のさらに上下の外周側にノイズ成分のみが発生される複数ラインのダミー領域を設けると共に、信号処理部にダミー領域の各画素からの信号をダミー信号として記憶するラインメモリと、複数ラインのダミー信号を加算平均して加算平均した１ラインのダミー信号（＝補正信号）を生成する加算器と、固体撮像素子における有効画素領域の１ライン各画素の出力信号値から加算平均した１ラインのダミー信号（＝補正信号）値を減算する減算器とを設けることで、有効画素領域の１ライン各画素の出力信号値からノイズ（スミア）の値を除去するものが知られている（例えば、特許文献１参照）。

また、黒基準となる画素の輝度信号値自体を補正する方法も知られている。具体的には、固体撮像素子における有効画素領域の上下の外周側に水平黒基準画素領域を設けると共に左右の外周側にも垂直黒基準画素領域を設けると共に、信号処理部では、水平黒基準画素領域の各画素の出力の積算値から平均値を求め、その平均値がノイズ（スミア）が発生したと判断できる所定値を超えた場合に、黒基準となる画素の輝度信号値を、水平黒基準画素領域の出力から垂直黒基準画素領域の出力に切り替える。このようにして、スミアが発生した場合の黒基準の輝度信号値が異常に増加する事態を避けることができる（例えば、特許文献２参照）。

特開２０００−０５０１６５号公報 （第９−１２頁、第１図） 特開２０００−１３８８６９号公報 （第２−８頁、第２図）

しかしながら、特許文献１の場合には、加算平均した１ラインのダミー信号中にはスミアが発生していない画素の出力に垂直方向のランダムノイズ成分が重畳されている影響がある。そのため、固体撮像素子における有効画素領域の１ライン各画素の出力信号値から加算平均した１ラインのダミー信号値を減算すると、スミアの発生する画素の位置についてはスミアの影響を低減させることができるものの、スミアが発生していない画素の位置では、ダミー領域のランダムノイズ成分の影響による垂直方向のノイズが発生してしまうという問題があった。

また、有効画素領域は、上記した数行の黒基準画素領域（又はダミー領域）と比較して数百行や数千行と画素のライン数が非常に多くなっており、有効画素領域の上下方向で輝度信号値のレベルが大きく相違する。例えば、有効画素領域の上の方に太陽や高照度の照明装置が有って、下の方に暗い色の植物等が有る場合には、上の太陽の近辺の輝度信号値のレベルは非常に高くなり光電変換素子の出力の飽和点に達するか、飽和点の近傍になり、下の植物の近辺の輝度信号値のレベルは比較的低くなる。それに対して黒基準画素領域又はダミー領域からは１種類のダミー信号（＝補正信号）が生成される。従って、有効画素領域のスミアが発生した画素で、その上下方向の全ての画素において輝度信号値のレベルが線形に変化する場合に限っては、上記したダミー領域からの１種類のダミー信号により補正が可能になると考えられる。

しかし、実際には、例えば、太陽や高照度の照明装置を撮像する画素の輝度信号値の出力は線形に増加する前に飽和（サチレーション）している場合が多い。これから、暗い色の植物等を撮像する画素の輝度信号値の増加量に対して、太陽や高照度の照明装置を撮像する画素の輝度信号値の増加量は少なくなる。従って、有効画素領域においてスミアが発生した縦列の各画素の輝度信号値を、上記した１種類のダミー信号により補正すると、太陽や高照度の照明装置等の画素の飽和した輝度信号値については過補正してしまうことになり、本来輝度が高い（明るい）垂直方向に並ぶ各画素が、黒筋状に暗くなる現象が発生するという問題があった。

本発明は上述したような課題を解決するためになされたもので、一方向に相関の高いノイズ以外のランダムノイズ等の影響による垂直方向のノイズの発生を抑制し、有効画素領域の画素からの輝度信号値が飽和している場合でも過補正による垂直方向の黒筋を発生させないで、一方向に相関の高いノイズを低減させる撮像装置を提供することを目的とする。

上記した目的を達成するために、本発明の撮像装置は、
受光した光の強度に対応する電荷を出力する複数の光電変換素子が画素として複数行及び複数列のマトリクス状に配置される光電変換部、
各光電変換素子から出力された電荷を垂直方向に転送する垂直転送部、
及び垂直転送部から出力された電荷を水平方向に転送する水平転送部が設けられ、
前記光電変換部における撮像に用いられる有効画素領域の上下左右の外周辺縁領域の少なくとも何れかには、該辺縁領域の複数行の各光電変換素子に入力される外光を遮光することで黒基準となる輝度信号値を出力する遮光領域が形成された固体撮像素子と、
前記有効画素領域内の一方向に相関の高いノイズが発生した画素の輝度信号値から、前記遮光領域の出力から検出された前記黒基準となる画素の輝度信号値と一方向に相関の高いノイズが発生した画素の輝度信号値との差を減算する機能を少なくとも有する信号処理部とを備えた撮像装置であって、
前記信号処理部は、
前記遮光領域の各画素の輝度信号から、少なくとも黒基準となる画素の輝度信号値及び一方向に相関の高いノイズが発生した画素の輝度信号値を検出する黒基準検出部と、
前記有効画素領域の各画素の輝度信号値を検出する輝度信号検出部と、
該輝度信号検出部で輝度信号値が検出される画素に対し、前記一方向に相関の高いノイズが発生した画素が並ぶ垂直方向と直交する水平方向に連続して所定数の画素を選択してその各画素の平均値の輝度信号値を検出する直交領域平均値検出部と、
前記黒基準検出部、前記輝度信号検出部、及び前記直交領域平均値検出部で検出された輝度信号値が入力され、前記有効画素領域の一方向に相関の高いノイズが発生した画素の輝度信号値に対応する補正値を生成する補正値生成部と、
前記補正値生成部で生成された補正値が入力されて、前記有効画素領域の一方向に相関の高いノイズが発生した画素の輝度信号値を補正する補正部とを備える。

本発明によれば、一方向に相関の高いノイズ以外のランダムノイズ等の影響による垂直方向のノイズの発生を抑制し、有効画素領域の画素からの輝度信号値が飽和している場合でも過補正による垂直方向の黒沈みを発生させないで、一方向に相関の高いノイズを低減させることができる。

実施の形態１．
本実施の形態１では、固体撮像素子の有効画素領域内に発生する一方向に相関の高いノイズが、垂直(縦）方向に連続する各画素に発生するスミアの場合について説明する。

図１は、本発明の実施の形態１の撮像装置の基本的な構成を示すブロック図である。
レンズ１は、被写体から出射された光を被写体の位置にかかわらず固体撮像素子２で撮像できるように光学的に集光（合焦）させる焦点調整機能機能を有している。尚、本実施の形態のレンズ１は、例えば自動で焦点調整機能を実施する構成として以下の説明を続けるが、撮像装置の用途に応じて、複数の固定焦点を手動で切換える構成、又は、パンフォーカスにより調整を不要とした構成等を用いてもよい。さらに、複数枚のレンズを組み合わせてレンズ間距離を調整することで広角側から望遠側にかけて画角を連続的に変更するズーム機能を供えていてもよい。

固体撮像素子２は、その表面に複数のフォトダイオード等の光電変換素子が各々画素として２次元的に配置され、各画素毎にレンズ１により合焦された光（被写体からの入射光）が受光される。そして、受光された光が、その光の強度に対応して電荷（以下、撮像電荷、電気信号とも記載する）に光電変換される。その光電変換された電気信号の出力は、タイミング制御部６から入力される固体撮像素子駆動パルスＰＡにより所定の駆動方法で読み出され、撮像信号出力ＳＡとして出力される。

アナログ信号処理部３は、入力された撮像信号出力ＳＡに対して、タイミング制御部６からのサンプルホールドパルスＰＢ及び制御部７からのアナログ信号処理制御信号ＣＣを用いて相関二重サンプリング（ＣＤＳ）処理を実施すると共に、増幅利得を自動的に制御する自動信号増幅（ＡＧＣ）処理を実施し、アナログの増幅信号出力ＳＢとして出力する。

Ａ／Ｄ変換部４は、入力されたアナログの増幅信号出力ＳＢに対して、タイミング制御部６からのＡ／ＤクロックＰＣを用いてデジタル信号に変換し、デジタル信号出力ＳＣとして出力する。Ａ／Ｄ変換部４の分解能としては、一般的な表示機器用では８ビットの分解能を有していればよい。しかし、例えば後段の信号処理による色分解能を改善する目的がある場合、階調特性を改善する目的がある場合、微少なコントラストまで検出する目的が有る場合、ダイナミックレンジを拡大する目的が有る場合等の種々の目的に応じて多ビット化される場合が増加して一般的になっており、１０ビットや１４ビット等の分解能としてもよい。尚、本実施の形態ではデジタル信号出力ＳＣの最大値をＡ／Ｄ変換出力ｍａｘと記載する。Ａ／Ｄ変換出力ｍａｘは、Ａ／Ｄ変換部４が８ビットの分解能を有する場合は２５５であり、Ａ／Ｄ変換部４が１０ビットの分解能を有する場合は１０２３となる。本実施の形態では、Ａ／Ｄ変換部４が８ビットの分解能を有する場合について説明する。

デジタル信号処理部５は、例えばスミア等のように表示画面縦方向又は横方向のうちの一方向に相関の高いノイズを補正する処理手段（図３を用いて後述）、階調を変換する処理手段、各画素間の値を補間する処理手段、フィルタ処理手段を有する。さらに、後段の表示装置（表示デバイス）で表示できるよう又は表示回路で処理しやすいように、例えばＲＧＢ信号から色差値（変化量）信号（ＹＣｂＣｒ）に変換する処理手段、ホワイトバランスを補正する処理手段、デジタル的に増幅する処理手段、γ（ガンマ）補正する処理手段、色補間処理手段及び輪郭強調補正部等の映像信号を加工する処理手段を有する。入力されたデジタル信号出力ＳＣに対して、ノイズ補正処理を含む上記各種処理を施し、デジタル映像信号出力ＳＥとして出力する。

デジタル信号処理部５から出力されたデジタル映像信号出力ＳＥは、図示されないＬＣＤなどの表示装置に入力されて映像を表示させる。又、デジタル信号処理部５から制御部７へは統計処理信号ＳＦが出力される。統計処理信号ＳＦとは、例えば一枚の撮像画像を水平および垂直方向へ複数ブロックに分割して各ブロック毎のデジタル信号出力ＳＣを積算した結果、１フレーム内のデジタル信号出力ＳＣにおける最大値又は最小値、デジタル映像信号出力ＳＥに対して例えばヒストグラム等の統計的な処理を実施した結果の信号である。

タイミング制御部６は、上記した固体撮像素子２の駆動タイミングを制御するための垂直転送パルス、水平転送パルス、電子シャッタパルス、及びリセットパルス等を含む固体撮像素子駆動パルスＰＡと、アナログ信号処理部３で撮像信号出力ＳＡの信号と黒基準信号をサンプルホールドするタイミングを制御するためのサンプルホールドパルスＰＢと、Ａ／Ｄ変換部４のタイミングを制御するためのＡ／ＤクロックＰＣを生成して各処理手段に供給する。

制御部７は、例えば汎用バスを通信媒体として用いたシリアル通信により、デジタル信号処理部５から入力する統計処理信号ＳＦが入力され、その統計処理信号ＳＦに応じて、タイミング制御部６を制御するためのタイミング制御信号ＣＡと、アナログ信号処理部３を制御するためのアナログ信号処理制御信号ＣＣと、デジタル信号処理部５を制御するためのデジタル信号処理制御信号ＣＢを生成して各手段に出力する。

タイミング制御信号ＣＡは、タイミング制御部６で生成する上記各パルスの位相や出力のタイミングを制御するための信号であり、例えば固体撮像素子駆動パルスＰＡの場合には、全画素撮像モード又はモニター撮像モード等の固体撮像素子２の駆動モードを切り替える場合の各パルスの制御や、露出を制御するためのシャッタースピードに関係する電荷吐き出しパルスのタイミングを制御することができる。

デジタル信号処理制御信号ＣＢは、例えばＡ／Ｄ変換部４から出力されたデジタル信号出力ＳＣに対してデジタル信号処理部５で実施されるホワイトバランスを補正する処理や、デジタル的に増幅する処理の利得を制御することができる信号である。アナログ信号処理制御信号ＣＣは、例えば固体撮像素子２から出力された撮像信号出力ＳＡに対してアナログ信号処理部３で実施される自動信号増幅処理の増幅量（増幅信号出力ＳＢ）をシャッタースピードと同期させて制御することができるので、露出を制御することができる信号である。

図２は、図１の固体撮像素子２の概略構成を示す図である。
フォトダイオード８（ＰＤ）は、固体撮像素子２の表面に複数個が２次元的に配置され、レンズ１で合焦された被写体からの入射光を受光する素子である。また、その受光した光の強さに対応したレベルの輝度信号値を示す電気信号（撮像電荷）に光電変換して出力する。フォトダイオード８で変換された撮像電荷は、不図示のトランスファーゲート部からトランスファーゲートパルスによって読み出されて後述する垂直電荷転送部９に出力される。

垂直電荷転送部９は、フォトダイオード８から入力された撮像電荷を、垂直電荷転送パルスφＶ１からφＶ４の駆動波形により、撮像素子の垂直（Ｖ）方向（図２に示した下向の矢印方向）に転送する。水平電荷転送部１０は、垂直電荷転送部９から入力された撮像電荷を、水平電荷転送パルスφＨ１からφＨ２の駆動波形により、撮像素子の水平（Ｈ）方向（図２に示した左向の矢印方向）に転送する。撮像信号出力部１１は、水平電荷転送部１０から入力された撮像電荷を撮像信号出力ＳＡとして出力させる。有効画素領域１２は、固体撮像素子２において、被写体からの入射光を受光して光電変換し撮像電荷を出力させる画素が配置される領域である。

黒基準画素領域１３（下端領域１３ａ、上端領域１３ｂ、左端領域１３ｃ、右端領域１３ｄ）は、遮光領域とも記載され、固体撮像素子２において、光学的な黒基準信号の基準を得るために、有効画素領域１２の上下左右の外周端部をレンズ１からの光が遮光された状態にした画素が配置される領域である。黒基準画素は、一般的にオプティカルブラックと称される。黒基準画素を遮光する手段としては、黒基準画素の領域を遮光できればよく、例えば固体撮像素子２の画素又はレンズ１の前にアルミ等の材料で遮光効果が得られるように形成したメカニカルシャッター又は遮光物を配置すればよい。

固体撮像素子２は、タイミング制御部６より２層の水平ＣＣＤを駆動するための水平転送パルス（φＨ１、φＨ２）と、４層の垂直ＣＣＤを駆動するための垂直転送パルス（φＶ１、φＶ２、φＶ３、φＶ４）と、画素電荷をリセットするためのリセットゲートパルス（φＲＧ）、ＣＣＤの基板電位から蓄積した画素電荷を排出する機能で電子シャッタを実現するための電子シャッタ制御パルス（φＳＵＢ）を所定の手順にしたがって駆動することで、蓄積手段に蓄積された電荷を撮像信号出力ＳＡとして読み出すことができる。

固体撮像素子２としては、黒基準信号を検出することができる黒基準画素を有して電荷を転送する型式であれば上記した他の転送型式を用いたものでもよく、例えばフレームトランスファー型、フレームインターライントランスファー型、又はインターライントランスファー型の撮像素子を用いてもよい。

また、固体撮像素子２としては、例えば色フィルタが配置されないモノクロの固体撮像素子、原色や補色型の色フィルタを配置したカラーの固体撮像素子、さらにライン型の固体撮像素子を用いてもよい。さらに、固体撮像素子２の駆動方法は、前出の２層の水平ＣＣＤを駆動するための水平転送パルスと４層の垂直ＣＣＤを駆動するための垂直転送パルスを用いる構成のみに限らず、例えば、３層の垂直ＣＣＤを駆動するための垂直転送パルスを用いる固体撮像素子２を用いてもよい。

図３は、図１のデジタル信号処理部５内に設けられるノイズ補正部の概略構成を示すブロック図である。
図３に示したノイズ補正部は、固体撮像素子２の有効画素領域１２内の各画素に発生するスミア等の一方向に相関の高いノイズを補正（除去）するために以下の構成を備える。

黒基準検出部１４は、ＡＤ変換部４から出力されるデジタル信号出力ＳＣから、黒基準信号を生成するために固体撮像素子２内に設けられた黒基準画素領域１３の輝度信号出力から黒の基準信号レベルを検出すると共に、その黒基準画素領域１３における隣接する各画素間の輝度信号値の差値（変化量）とその画素の位置情報を検出する。特に、輝度信号値の変化量が所定値を超えて変化した画素の水平方向の位置を検出する。ここで、所定値は、例えば、黒基準画素の信号が熱雑音によりランダムで変化することで分散σを持つが、このσを超えた値に設定する。このように所定値を設定することにより、スミアのような一方向に相関の高いノイズの信号を検出することができる。この機能により、黒基準画素領域１３の通常の画素の黒基準信号レベルと、その画素に隣接してスミアが発生した画素の信号レベルとの差値（変化量）を検出することができる。

黒基準検出部１４は、黒基準画素領域１３内の隣接する各画素間の輝度信号値の差値（変化量）が所定値以下の場合は、それまでの各隣接する画素の信号の平均値を出力し、隣接する画素間の輝度信号値の差値（変化量）が所定値を超える場合は、変化後の各隣接する画素の信号の平均値を隣接する画素の輝度信号値の変化量の検出結果として出力する。例えば、一方向に相関の高いノイズがスミアの場合には、黒基準画素領域１３の中でも下端領域１３ａ及び上端領域１３ｂの出力から黒の基準信号レベルが検出され、水平（Ｈ）方向に隣接する各画素間の輝度信号値の変化量とその画素の位置情報が検出される。

この通常の画素の黒基準信号レベルとスミアが発生した画素の信号レベルとの差値は、第一の補正値として、有効画素領域内のスミアが発生した画素の輝度信号値で、その値が飽和（サチレーション）していない線形変化領域であるものを補正するために用いられる。又、黒基準検出部１４は、隣接する画素間の輝度信号値の差値（変化量）を検出する処理手段として、例えば非線形フィルタを用いて構成してもよい。その隣接する画素を選択する際には、隣接する前の画素の輝度信号値との差値がスミアが発生したと判断される所定値以下の場合には、差値が所定値以下と検出された画素までの隣接する各画素から選択し、隣接する前の画素の輝度信号値との差値がスミアが発生したと判断される所定値を超える場合は、差値が所定値を超えると検出された画素から後の隣接する各画素から選択する。このように隣接する画素のうちで差値が所定値未満のもののみを選択することにより、有効領域の垂直（縦）方向にスミアが発生して黒基準画素領域まで及ぶ場合に、黒基準画素領域の水平(横）方向の各画素の輝度信号値の平均値から黒クランプ（黒基準）信号ＳＣｃｌｐ及びスミア量の値△Ｓｍ１（ｎ）を得ることができる。

輝度信号検出部１５は、固体撮像素子２の有効画素領域１２内の各画素ごとに、その各画素から出力される撮像信号出力ＳＡに比例する補正前の輝度信号のレベルをデジタル値で示すデジタル信号出力ＳＣを検出する。

補正値生成部１６は、輝度信号検出部１５の検出結果出力と、黒基準検出部１４の検出結果出力と、直交領域平均値検出部１８の検出結果出力に基づいて、一方向に相関性の高いノイズの補正値を生成する。その際に、補正値生成部１６は、輝度信号検出部１５の出力と黒基準検出部１４の出力に応じて、黒基準検出部１４の出力用いた第一の補正値と、輝度信号検出部１５の飽和した信号値から直交領域平均値検出部１８の出力を減算した値を用いた第二の補正値を選択的に切替える。尚、第二の補正値については、図４〜図２３を用いて後に詳述する。

補正値生成部１６が第一の補正値と第二の補正値を切替える場合は、まず、黒基準検出部１４の隣接する画素間の輝度信号値の変化量の出力がスミアの発生を示す所定値を超え、輝度信号検出部１５の出力が、例えば８ビットの分解能の場合の２５５に達していない状態、つまり、飽和していない状態では、第一の補正値を出力する。それに対して、黒基準検出部１４の隣接する画素間の輝度信号値の変化量出力が所定値を超え、輝度信号検出部１５の出力が飽和した状態では、第二の補正値を出力する。

又、本実施の形態の補正値生成部１６は、第一の補正値と第二の補正値に基づいて線形演算を実施して第三の補正値を算出する処理手段を有しており、輝度信号検出部１５の補正前の輝度信号レベルと、黒基準検出部１４の隣接する画素間の輝度信号値の変化量の出力に応じて、第一の補正値と第二の補正値と第三の補正値を選択的に出力する。尚、この第三の補正値については図１７を用いて後述する。

補正部１７は、固体撮像素子２から出力される撮像信号出力ＳＡに比例したデジタル信号出力ＳＣに対して、補正値生成部１６で生成された補正値を減算することで補正したデジタル信号出力ＳＤを出力する。

直交領域平均値検出部１８は、固体撮像素子２の有効画素領域における、相関性が高いノイズが発生する一方向に並ぶ各画素に対して、その各画素と直交する方向に一ラインの領域中で例えば２又は４等の隣接する数画素を選択し、選択した数画素分の輝度信号を平均化処理し、その結果を平均値として検出して補正値生成部１６に出力する。

ここで、第二の補正値について説明する前に、まず、固体撮像素子２の撮像画像にスミアが発生する場合の、有効画素領域１２の縦方向と横方向に１ラインの領域における輝度信号の出力の変化について説明する。

図４は、左側にスミアが発生した場合との比較のためにスミアが発生しない場合の撮像画面の一例を示し、右側にはその撮像画面中でスミアが発生する可能性はある（が発生していない）水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣのレベルを示す図である。図５は、図４の右側のデジタル信号出力ＳＣのレベルを示す図を見やすくするために反時計回りに９０度回転させて縦方向画素位置を横軸にとって示す図である。

図４の撮像画面中には、強い光（＝非常に明るい光）を出力する太陽、比較的暗い反射光を出力する樹木、及び比較的暗い反射光を出力する人物が撮像されている。図４の場合には、撮像素子上の太陽付近の強い光の垂直方向画素領域（Ａ領域）の光電変換素子では、出力される電荷が多く撮像した輝度信号値も高くなり飽和領域であるが、溢れて他の弱い光を受光している暗い領域の光電変換素子に漏れ出すほどではない場合を示している。つまり、この場合の太陽付近の光電変換素子は、撮像信号に必要となる電荷を多く発生させるが、その輝度信号値は飽和値近傍ではあるものの飽和値未満である。

樹木付近の垂直方向画素領域（Ｂ領域）の光電変換素子は、比較的暗い反射光から撮像信号に必要となる電荷を発生させており輝度信号値も低い。そのため、水平位置Ｐｈの垂直(縦）方向の２点鎖線ＶＬｐに沿う各画素のデジタル信号出力ＳＣは、図４の右側及び図５に特性線Ｌｖ１に示したように垂直方向画素が、Ａ領域では飽和していないものの比較的高い値となり、Ｂ領域では垂直方向画素が低い値となる。

図６は、図４の画像における太陽の強い光でスミア２０が発生した場合の撮像画面の一例を示す図である。図７は、図６の撮像画面中でスミア２０が発生した水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣの特性線Ｌｖ２（実線）を縦方向画素位置を横軸にとって示す図である。尚、図７中には、比較のため図５のスミアが発生しない場合のデジタル信号出力ＳＣの特性線を破線Ｌｖ１で示している。

図６では、水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ太陽の部分（Ａ領域）の各画素では、強い光により飽和レベルよりも余分に多くの電荷を発生させており、その余分に発生された多くの電荷は、高レベルのノイズ信号となって、ＣＣＤ撮像素子の光電変換部における垂直（縦）方向の線ＶＬｐ方向（ＶＣＣＤ方向）に形成されている例えばＢ領域を含んで弱い光を受光している領域（＝暗い領域）の光電変換素子に漏れ出す。そして、その暗い領域の光電変換素子では、元々の低レベルの輝度信号に対して、漏れ出した高レベルのノイズ信号が重畳されることになる。このようにして垂直（縦）方向の線ＶＬｐ方向の暗い領域の光電変換素子にスミア２０が発生する。

このＣＣＤ撮像素子に発生したスミア２０は、図６に示したように撮像画像の視感上の品位を著しく低下させている。そのため、通常のデジタルカメラ等に使用する場合も問題であるが、特に、個人認証のために生体の指紋パターンや静脈パターン等の身体固有のデータを認識するバイオメトリクスに用いる撮像装置においてスミア２０が発生した場合には、認識に必要となる特徴点がその高レベルのノイズ成分に埋もれてしまい、その特徴点の認識率を低下させてしまうことから、その認識性能に重大な障害となる可能性がある。

図７のデジタル信号出力ＳＣの特性線Ｌｖ２（実線）で示されたＡ／Ｄ変換部４の信号レベルは、図５の特性線Ｌｖ１（破線）の形状と比べて、スミア２０の影響により全体的に上昇している。しかし、Ａ領域の近傍では飽和値でクリップ（８ビットのＡ／Ｄ変換部では、２５５の出力）されており、上昇できずに扁平になってしまう。それに対してＢ領域では、クリップされること無くスミア２０の影響により全体的にＡ／Ｄ変換部４の信号が重畳されてそのレベルが上昇している。尚、このスミア２０により増加するＡ／Ｄ変換部４の信号レベルは、図６には示されていないが、黒基準画素が配置される遮蔽領域（例えば、図２の１３ａ、１３ｂ）にまで達して増加している。これについては、図２０を用いて後述する。

図８は、図６のスミアが発生した画素の輝度信号値を従来方法の単純に一括減算処理する場合の撮像画面の一例を示した図である。
図９は、図８の撮像画面中でスミア２０が発生した水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣを一括減算処理で補正した特性線Ｌｖ３（実線）を縦方向画素位置を横軸にとって示す図である。尚、図９中には、比較のため図７のスミア２０が発生した場合のデジタル信号出力ＳＣの特性線を破線Ｌｖ２で示している。

図８及び図９の一括減算処理には、黒基準画素が配置される遮蔽領域で検出されたスミア２０の輝度信号値が、有効画素領域におけるスミア２０が発生した水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ各画素の輝度信号値から一括して減算される。

図５と図９を比較した場合、図９のスミア２０により増加した輝度信号のレベルから、遮蔽領域の黒基準画素で得られたスミア２０の輝度信号のレベルを単純に減算することで、Ｂ領域については、そのスミア２０により増加した輝度信号レベルを図５に示した元の輝度信号レベルに補正することができる。しかし、太陽を含むＡ領域部分は、スミア２０が発生している場合は、デジタル信号出力ＳＣの値がクリップして上昇しなくなってから、遮蔽領域の黒基準画素で検出されたスミア発生画素の輝度信号値を減算するので、輝度信号は、図５に示された元の輝度信号レベルよりも小さくなり、図８の補正部２１に示したように周囲の太陽部分よりも暗い太陽部分を含む画像となってしまう。

図１０は、図１の固体撮像素子２がフレームトランスファー型である場合で、スミア２２が発生した場合の撮像画面の一例を示した図である。
図１０では、水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ太陽の部分（Ａ領域）の各画素では、強い光により飽和レベルよりも余分に多くの電荷を発生させており、その余分に発生された多くの電荷は、高レベルのノイズ信号となって、ＣＣＤ撮像素子の光電変換部における垂直（縦）方向の線ＶＬｐ方向（ＶＣＣＤ方向）で下側に形成されている弱い光を受光している領域（＝暗い領域）の光電変換素子に漏れ出す。Ａ領域の上側には電荷は漏れ出さない。そして、その暗い領域の光電変換素子では、元々の低レベルの輝度信号に対して、漏れ出した高レベルのノイズ信号が重畳されることになる。このようにして垂直（縦）方向の線ＶＬｐ方向で下側の暗い領域の光電変換素子にスミア２２が発生する。Ａ領域の上側の光電変換素子にはスミア２２は発生しない。つまり、図１０のようなフレームトランスファー型の固体撮像素子では、太陽から片側（下側）の画素のみにその輝度信号値にスミア２２が発生するが、上側の画素にはスミア２２は発生しない。

図１１は、図１０のフレームトランスファー型の個体撮像素子にスミア発生画素の輝度信号値に対して単純減算処理を実施した場合の撮像画面の一例を示した図である。
図１０では、太陽部分（Ａ領域）の下側にのみスミア２２が発生し、Ａ領域のさらに上側にはスミア２２は発生しないため、図８の場合と同様に黒基準画素で検出されたスミア発生画素の輝度信号値を単純に減算した場合、図８と同様のＡ領域を含み、その太陽より上空の空までの補正領域２３における輝度信号レベルが減少する。この場合は、図１１に示したように、水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ各画素のＡ領域に加えてその上の領域も含む補正領域２３の輝度信号値が少なくなり、暗い画像となる。

図４〜図１１までを用いて説明したように、遮蔽領域の黒基準画素で検出されたスミア発生画素の輝度信号値を、有効画素領域のスミア発生領域の輝度信号値から一括して減算する従来のスミア補正方法では、太陽部分（Ａ領域）が過補正で暗くなるという問題を有しており、さらにフレームトランスファー型の個体撮像素子の場合には、太陽部分（Ａ領域）に加えてその上の領域も暗くなるという問題を有している。

次に、本実施の形態の一方向に相関の高いノイズの補正で、特徴となる太陽部分（Ａ領域）が過補正で暗くならない制御を実現するために、デジタル信号処理部５内に設けられる図３に示したノイズ補正部のさらに詳しい動作内容について図１２から図２５ａを用いて説明する。

まず、黒基準検出部１４の動作を図１２から図１４を用いて説明する。
図１２は、図３の黒基準検出部１４を説明するために、図６の撮像画面のスミア２０が発生した水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ遮光領域の各画素近傍の撮像画像の一部を切り出して一例として示す図である。
図１２には、例えば、図２に示した黒基準画素領域１３ａのような遮光領域（Ｅ領域）と、スミアによるノイズを補正する有効画素領域１２の一部が示されている。水平（Ｈ）画素位置１から８までと１７から２０までは、スミア２０が発生しておらず、有効画素領域１２では比較的暗い画像が撮像され、黒基準画素領域１３ａでは遮光されて黒基準が検出可能な状態を示している。一方、水平（Ｈ）画素位置８から１５までは、スミア２０が発生することで、輝度信号値が増加しており、撮像画像が白く浮きあがった状態を示している。

図１３は、図１２に示した各画素に対応する黒基準検出部１４のデジタル信号出力ＳＣの一例を示す図である。
図１３の信号値ＳＣｌｖ１〜ＳＣｌｖ３は、ランダムノイズの影響を受けている。そのため、水平（Ｈ）画素位置Ｈ＝０から８の遮光された暗い領域のデジタル信号値ＳＣｌｖ１は、ＳＣ１からＳＣ２の振幅（範囲）で変化するノイズ成分を含んでいる。同様に、水平（Ｈ）画素位置Ｈ＝９から１５のスミア２０が発生している領域のデジタル信号値ＳＣｌｖ２は、ＳＣ５からＳＣ６の振幅で変化するノイズ成分を含んでおり、水平（Ｈ）画素位置Ｈ＝１６から２０の遮光された暗い領域のデジタル信号値ＳＣｌｖ３は、再びＳＣ１からＳＣ２の振幅で変化するノイズ成分を含んでいる。

図１４は、図１３に示した黒基準検出部１４のデジタル信号出力ＳＣに非線形フィルタを用いて平均化処理を行った平均値の一例を示す図である。又、黒基準検出部１４は、隣接する各画素の輝度信号値の差値を検出するために非線形フィルタを備えている。非線形フィルタについては図１５を用いて後述する。

上記したように、黒基準検出部１４は、遮光領域で隣接する各画素の輝度信号値の差値も検出し、各値が検出された各画素の位置情報と共に出力するが、さらに黒基準検出部１４が、黒基準検出を行う画素のデータを水平画素方向に平均を求め、スミア発生画素の輝度信号値として出力する構成としてもよい。

隣接する各画素の輝度信号値の差値が所定値以下の場合には、差値が所定値以下と検出された画素までの隣接する各画素の輝度信号値の平均値を黒基準検出結果として出力し、隣接する各画素の輝度信号値の差値が所定値を超える場合は、差値が所定値を超えると検出された画素から後の隣接する各画素の輝度信号値の平均値をノイズ成分値として出力する。

例えば、図１３の水平（Ｈ）画素位置Ｈ＝０から８の遮光された暗い領域のデジタル信号値ＳＣｌｖ１におけるＳＣ１からＳＣ２の振幅（範囲）で変化するノイズ成分は、平滑化されて平均値ＡＶＳＣ１となる。同様に、水平（Ｈ）画素位置Ｈ＝１６から２０の遮光された暗い領域のデジタル信号値ＳＣｌｖ３におけるＳＣ１からＳＣ２の振幅で変化するノイズ成分は、平滑化されて平均値ＡＶＳＣ１と同様なレベルの平均値ＡＶＳＣ３となる。この平均値ＡＶＳＣ１及び平均値ＡＶＳＣ３が黒基準の値として黒基準検出部１４から出力される。

それに対して、図１３の水平（Ｈ）画素位置Ｈ＝９から１５のスミア２０が発生している領域のデジタル信号値ＳＣｌｖ２におけるＳＣ５からＳＣ６の振幅で変化するノイズ成分は、平滑化されて平均値ＡＶＳＣ２となる。この平均値ＡＶＳＣ２がスミア量の値等のノイズ成分値として黒基準検出部１４から出力される。本実施の形態の第１の補正値は、このスミア量の値の平均値を用いる。

図１５は、黒基準検出部１４に設けられるεフィルタの区間線形関数を示す図である。
本実施の形態では、非線形フィルタとして、ｘ軸値でーε未満とεを超える値のｆ（ｘ）軸値が０であり、ｘ軸値でーε以上ε以下の値のｆ（ｘ）軸値が線形に増加するεフィルタを用いるが、本発明の黒基準検出部１４に用いられる非線形フィルタとしてはεフィルタに限定されるものではなく、黒基準画素領域のスミア発生画素の輝度信号値の発生位置とスミア発生画素の輝度信号値を検出することが可能なフィルタであればよく、例えばメジアンフィルタ、スタックフィルタなどの非線形フィルタを用いた構成でも、線形フィルタを用いた構成でも良い。

一般的に一次のεフィルタは、以下の式（１）、（２）により定義される。

ｘ（ｎ）： 画素位置ｎのＡＤ変換部４からのデジタル信号出力ＳＣ（ｎ）の値
ｙ（ｎ）： 画素位置ｎのフィルタ出力値
ａｋ： フィルタ係数
ｎ： 水平（Ｈ）画素位置（正の整数）
又、上記（１）式のｆ（ ）は、区間線形関数であり、以下の式（３）により定義される。

で与えられる。
尚、図１５の場合は、α＝０と定義した場合の区間線形関数を示している。

又、黒基準検出部１４のスミアが発生した水平（Ｈ）画素位置ｎの画素における輝度信号値は、以下の式（４）により定義される。

△Ｓｍ１（ｎ）： 画素位置ｎのスミア量の値
ＳＣｃｌｐ： 黒クランプ（黒基準）信号量の値

式（４）から図１４における水平（Ｈ）画素位置０から８までの位置のデジタル信号値ＳＣｎの平均値ＡＶＳＣ１は、例えば、デジタル信号値が比較的安定すると考えられる水平画素位置ｎが３の場合のスミア量の値と黒クランプ信号量の値との和を求めればよいので、その平均値ＡＶＳＣ１は△Ｓｍ１（３）＋ＳＣｃｌｐであるが、水平（Ｈ）画素位置０から８までの位置ではスミアは発生していないので、△Ｓｍ１（３）＝０であることから、ＡＶＳＣ１＝ＳＣｃｌｐとなる。

同様に、水平（Ｈ）画素位置１６から２０までの位置でも、水平画素位置ｎが１９の場合のスミア量の値と黒クランプ信号量の値との和を求めればよいので、その平均値ＡＶＳＣ３は△Ｓｍ１（１９）＋ＳＣｃｌｐであるが、水平（Ｈ）画素位置１６から２０までの位置でもスミアは発生していないので、△Ｓｍ１（１９）＝０であることから、ＡＶＳＣ３＝ＳＣｃｌｐとなる。

それに対して、水平（Ｈ）画素位置９から１５までの位置では、水平画素位置ｎが１０の場合のスミア量の値と黒クランプ信号量の値との和を求めればよいので、その平均値ＡＶＳＣ２は△Ｓｍ１（１０）＋ＳＣｃｌｐであるが、水平（Ｈ）画素位置９から１５までの位置ではスミアが発生しているため、△Ｓｍ１（１０）は０にならないことからそのまま残り、ＡＶＳＣ２＝△Ｓｍ１（１０）＋ＳＣｃｌｐとなる。

この黒基準検出部１４からは、黒クランプ（黒基準）信号ＳＣｃｌｐを出力するだけでなく、各水平（Ｈ）画素位置ｎと、スミア発生画素のスミア量の値△Ｓｍ１（ｎ）を出力することができる。例えば図１２〜図１４の例に示したように、スミア量の値△Ｓｍ１（ｎ）の値が０である各画素の出力の平均値ＡＶＳＣ１及びＡＶＳＣ３が黒クランプ（黒基準）信号ＳＣｃｌｐとして出力され、スミア量の値△Ｓｍ１（ｎ）の値が０ではない各画素（９＜ｎ＜１５）の出力の平均値ＡＶＳＣ２が第一の補正値として出力される。

ここで、所定値を超えない水平（Ｈ）画素位置０から８では、△Ｓｍ（０）から△Ｓｍ（８）を出力する代わりに、０を出力する構成としてもよい。０を出力することで、補正を行ないたい有効画素へ、平均値に残るランダム成分の影響を与えることが無くなる。
つまり、スミアが発生した領域のみ補正を行なうことができ、スミアが発生しない領域では、デジタル信号出力ＳＣをそのまま用いることができる。

次に、輝度信号検出部１５は、補正前のデジタル信号出力ＳＣの信号値を検出する処理手段であり、例えば、図１３の水平（Ｈ）画素位置ｎ＝７ではデジタル信号出力ＳＣ２を検出し、位置ｎ＝１２ではデジタル信号出力ＳＣ５を検出し、その検出した信号のレベルを補正前の輝度信号の値として出力する。

直交領域平均値検出部１８は、上記したように、例えば有効画素領域内でスミアが発生する一方向に並ぶ各画素、すなわち補正を行なう対象となる各画素について、水平（Ｈ）画素位置を検出し、その画素のスミアと直交方向（水平方向）に隣接する数画素を選択し、その数画素分の輝度信号の平均値を検出する。

また、直交領域平均値検出部１８を用いることで、有効領域におけるスミアの発生領域及びその画素位置が明確になり、スミアの発生領域のデジタル信号値の分布を検出できる。そのため、有効領域における有効画像の量を検出することが可能となる。また、スミアの発生領域のデジタル信号値を補正する場合、スミアの発生領域、その画素位置、及びそのデジタル信号値（平均値）が明確になることから、各画素位置で撮像された被写体に対して最適なスミア補正の補正値を生成することが可能になる。また、平均値を用いることで、信号を検出する際に演算されるスミアの項を少なくできるため、信号の検出精度を向上させることが可能である。

例えば、スミアにより太陽等の光源近傍の輝度信号値が飽和しているが、その垂直方向の各画素の輝度信号値はスミアが発生しているが飽和していない場合、飽和していない画素の輝度信号値に対しては前述の第一の補正値を用い、飽和した画素の輝度信号値に対しては後述する第二の補正値を用いて補正することができる。このようにして、各画素位置で撮像された被写体に対して最適なスミア補正の補正値を生成することが可能になる。

尚、本実施の形態では、黒基準画素領域の水平(横）方向のみの隣接する各画素の輝度信号値の平均値を用いたが、それに限らず、信号を検出する画素に水平方向に隣接する画素位置の各画素のさらに垂直方向に隣接する位置の画素信号を用いることも可能である。
ただし、垂直方向に隣接する画素を選択する場合には、黒基準の信号値を得る場合には前述の差値によりスミアが発生していない画素を選択する必要があり、スミア量の値（第一の補正値）を得る場合にはスミアが発生している画素を選択する必要がある。

補正値生成部１６は、黒基準検出部１４で検出されたスミア発生画素位置及びスミア発生画素の輝度信号値と、輝度信号検出部１５で検出された補正前の輝度信号出力と、直交領域平均値検出部１８で検出された水平方向の黒基準画素又はスミア信号の検出出力をもとに、スミア発生画素の輝度信号値を演算してその輝度信号値が飽和値に達しているか否かを判断し、輝度信号値が飽和値に達していない場合には第一の補正値を出力し、輝度信号値が飽和値に達している場合には後述する第二の補正値を生成して出力する。

補正部１７では、Ａ／Ｄ変換部４から出力されたデジタル信号出力ＳＣに対して、補正値生成部１６で判断された補正値（第一の補正値又は第二の補正値の何れか）の出力を減算して出力する。その結果、スミアのために輝度信号値が飽和値に達している画素からの出力に対しては飽和値を考慮した補正が実施され、輝度信号値が飽和値に達していない画素からの出力に対しては、黒基準画素領域で検出されたスミアのレベルによる補正が実施される。つまり、各画素位置で撮像された被写体に対して最適なスミア補正の補正値を生成することが可能になる。

補正部１７は、固体撮像素子２から出力される撮像信号出力ＳＡに比例したデジタル信号出力ＳＣに対して、補正値生成部１６で生成された補正値を減算することで補正したデジタル信号出力ＳＤを出力する。

次に、第二の補正値の生成方法、及び第一と第二の補正値を用いた補正方法について概略的に説明する。
図１６は、本実施の形態で用いる固体撮像素子２の一部の画素域を切り出して拡大して示した図である。
図１６において、Ｃａ領域は、スミアが発生したと判断されたＣ画素から水平方向に隣接しており、同様にスミアが発生していると判断された複数の隣接画素からなる領域を示す。一方、Ｄａ領域は、スミアが発生していないと判断されたＤ画素から水平方向に隣接しており、同様にスミアが発生していないと判断された複数の隣接画素からなる領域を示す。

この場合のＣａ及びＤａの各領域でその隣接する数画素を選択する際には、上記した黒基準画素とスミアの発生画素の判定時のように、隣接する前の画素の輝度信号値との差値が所定値以上か以下かにより、それより前の画素を選択するか、それより後の画素を選択するかという処理は実施せず、処理順序に従って隣接する画素を順次入れ替えるように選択していく。

図１７は、本実施の形態の補正値生成部１６の動作原理を説明するために、図１６に示したＣａ領域とＤａ領域の入射光量に対するデジタル信号出力ＳＣの光電変換特性を示した図である。
図１７の縦軸は、ＡＤ変換部４からのデジタル信号出力ＳＣ、横軸は固体撮像素子２の各画素を構成するフォトダイオードへの入射光量を示す。Ｄａ領域の平均値の特性Ｄは、入射光量が０からＡ４まで変化した場合に、黒クランプ（黒基準）信号ＳＣｃｌｐ（入射光量が０）からＡ／Ｄ変換部４の最大値（＝飽和値）である２５５（入射光量がＡ４）まで、線形的にデジタル信号出力が変化する特性が示されている。

それに対してＣａ領域の平均値の特性Ｃは、スミアが発生した場合のデジタル信号出力ＳＣの特性であり、入射光量が０からＡ２までは、特性Ｄと比較してスミアによって各入射光量に対する信号出力がＳＣａ−ＳＣｃｌｐの差値だけ増加した特性を示している。又、特性Ｃでは、入射光量がＡ２でＡ／Ｄ変換部４のデジタル信号出力ＳＣが、そのＡ／Ｄ変換出力の最大値ｍａｘ＝２５５に達している。

見方を変えると、図１７には、図１６に示したスミアが発生したＣａ領域のＡ／Ｄ変換出力の平均値の特性Ｃが、スミアが発生していないＤａ領域のＡ／Ｄ変換出力の平均値の特性Ｄに比べて、暗い入射光量で（Ａ２）でＡ／Ｄ変換部４のダイナミックレンジいっぱいのｍａｘ＝２５５になって飽和することが示されている。従って、特性Ｃでは、入射光量がＡ２からＡ４の間の変化はＡＤ変換出力に反映されず、一定値のｍａｘ＝２５５が出力されることになる。

この特性Ｃにおける、入射光量が一定値であるＡ２以上になっても、Ａ／Ｄ変換部４のＡ／Ｄ変換出力はダイナミックレンジが最大のｍａｘ＝２５５で飽和して増加しないことは、考え方を変えると、入射光量が一定値であるＡ２以上になった場合に、デジタル信号出力ＳＣに占めるスミア発生画素の輝度信号値をそれまでの特性Ｃにおける増加率と同様の線形比率で逆に減少させることと等価と考えられる。本実施の形態では、この入射光量がＡ２からＡ４の間の特性Ｃと特性Ｄとの差値を第二の補正値とする。つまりスミアが発生した場合の入射光量がＡ２からＡ４の間では、スミア値△Ｓｍ（Ａ３）＝２５５−ＳＣｄである。

従って、スミアが発生した場合のＡ／Ｄ変換部４のＡ／Ｄ変換出力を示す図１７の特性Ｃでは、入射光量Ａ２までは、第一の補正値であるスミア発生画素の輝度信号値△Ｓｍ（０）＝ＳＣａ−ＳＣｃｌｐを用いて補正すればよいが、入射光量がＡ２よりも多い場合、例えば入射光量Ａ３では、第二の補正値であるスミア量△Ｓｍ（Ａ３）＝２５５−ＳＣｄを用いてスミア発生画素のデジタル信号出力を補正すればよい。△Ｓｍ（０）と△Ｓｍ（Ａ３）の大小関係については、△Ｓｍ（０）＞△Ｓｍ（Ａ３）であり、△Ｓｍ（Ａ３）は、最大値２５５から特性Ｄの値を減算した値となる。

仮に、図１７の入射光量がＡ２からＡ４の場合に、単純にそのスミアが発生した画素の輝度信号値から、補正値として第一の補正値を減算した場合には、図８又は図１１に示したＡ領域の太陽部分のように画素本来の信号値以上に過度にスミア発生画素の輝度信号値を補正してしまうので、その画素が暗くなってしまう可能性がある。つまり、入射光量がＡ２からＡ４の場合に、補正値として第一の補正値を用いると過補正となり、例えば図８のＡ領域のような太陽部分には黒沈みが発生してしまい、視感上の品位を劣化させてしまう。その黒沈みの発生を避けるためには、図１７の入射光量がＡ２からＡ４の場合のスミアが発生した画素の場合の補正値として、第二の補正値であるスミア量△Ｓｍ（Ａ３）＝２５５−ＳＣｄを用いればよい。

この第二の補正値を生成するために、直交領域平均値検出部１８では、図１６に示すようにノイズの相関性の高い方向（Ｖ方向）と直交する水平方向（Ｈ方向）に、Ｃ画素及びＤ画素を中心として±２画素の範囲（Ｃａ領域、Ｄａ領域）の平均値を求め、領域としてとらえた輝度信号値の変化量を検出する。Ｃ画素及びＤ画素を中心として隣接する画素データ（あるいは近接する画素データ）は、各々輝度信号の相関値が高いため、数画素分の領域（Ｃａ領域、Ｄａ領域）としてとらえた輝度信号値の変化を用いることができる。

ここで、直交領域平均値検出部１８の動作について、さらに説明する。
図１８は、図１６と同様に本実施の形態で用いる固体撮像素子２の一部の画素域を切り出して拡大して示した図であるが、図１６よりもスミアが発生している水平（横）方向の幅（画素数）が１画素分に減少している。

図１８において、Ｅａ領域は、スミアが発生したと判断されたＥ画素と水平方向に数個の隣接画素を含んだ領域を示している。Ｅ画素を含んで垂直方向に隣接する各画素では、スミアの影響を受けているためデジタル信号出力ＳＣの値は大きくなっている。それに対してＤａ領域は、図１６に示したものと同様に、スミアの影響を受けていないＤ画素と水平方向にやはりスミアの影響を受けない数個の隣接画素を含んだ領域を示している。

図１９は、図１８のＥａ領域の入射光量に対するデジタル信号出力ＳＣの光電変換特性を示した図である。
図１９の縦軸、横軸、特性Ｃ、特性Ｄは、図１７と同様であり、それに対して、Ｅａ領域のＡ／Ｄ変換出力の平均値の特性Ｅが追加されている。

図１９の特性Ｅの直線は、特性Ｄの直線と比較して、図１８のＥ画素に発生したスミアの影響を受けているが、Ｅａ領域の５画素のＡ／Ｄ変換出力の平均値となるため、わずかに上を平行する直線となっている。つまり、特性Ｅの値は、特性Ｄよりも１画素のスミア分を５画素で分割した分だけ、わずかに大きくなるのみである。

このようにスミアが発生したＥ画素の、そのスミアの発生方向と直交方向に複数画素を選択して、それらの選択された各画素のＡ／Ｄ変換出力信号値の平均値を検出することにより、スミア発生前の本来のＥ画素のＡ／Ｄ変換出力信号値の近似値を検出できる。言い換えれば、スミア発生前の本来のＥ画素のＡ／Ｄ変換出力信号値は、スミアの発生方向と直交方向に複数画素の平均値を得ることで、その本来の値の近似値が得られるので、そこから推定することができる。

これは、通常の撮像状態では特定の画素とその特定の画素を囲む周辺画素のＡ／Ｄ変換出力信号値は相関が高いことを利用して、その平均値を検出することで、特定の画素のみに発生するスミアの影響を少なくして、本来のスミアが無い値を平均値（＝近似値）から推測できるようにしたものである。特性ＥのＡ／Ｄ変換出力信号値を、特性ＤのＡ／Ｄ変換出力信号値とより近似させるためには、平均値を求めるための画素からの出力データ数を増加させればよい。以上から、特性ＥのＡ／Ｄ変換出力信号値は、特性ＤのＡ／Ｄ変換出力信号値と近似しており、充分なデータ数の特性ＥのＡ／Ｄ変換出力信号値が得られれば、その近似値から特性ＤのＡ／Ｄ変換出力信号値と同等の値を得られることが理解できる。

また、例えば、黒基準検出部１４において、スミアの発生した画素の位置（図２０のＥ画素の水平方向画素位置）と、その画素位置におけるスミアの信号値が検出された場合に、Ｅ画素のＡ／Ｄ変換出力信号値から黒基準検出部１４で検出されたスミアの信号値を減算してからＥａ領域内の他の画素との平均値を検出するようにすると、特性ＤのＡ／Ｄ変換出力信号値にさらに近似させることができる。これにより、スミアの補正精度をさらに向上させることも可能となる。

尚、図１８では、垂直方向に１列に並んだ画素のみにスミアの発生した場合を示したが、垂直方向に複数ラインの画素にまたがってスミアが発生する場合には、例えば上記した平均値を求めるための各領域について、その領域内の水平画素数を増加させることで対応することができる。

以下に、図２０から図２３を用いて、この直交領域平均値検出部１８の出力を用いて補正値生成部１６で第二の補正値を生成することにより、第一の補正値による過補正を防ぐことができることについて説明する。

図２０は、補正値生成部１６の動作を説明するために、図６に示したスミアが発生した場合の撮像画面（有効画素領域のスミアは記載を省略している）の一例を下側の黒基準画素領域と共に示した図である。図２０の黒基準画素領域には、スミア２４が発生している。
図４、図６、図８、図１０、図１１では、撮像画像の水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣのレベルについて説明したが、図２０では、撮像画像の水平（横）方向の領域を示す線Ｆｈ、Ｇｈ、Ｈｈ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣのレベルについて、図２１〜図２３を用いて説明する。

図２０の水平方向の領域Ｆおよび領域Ｇのデジタル信号出力ＳＣを図２１と図２２へ示す。
図２１は、図２０の撮像画像の水平（横）方向の領域を示す線Ｆｈ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣのレベルを示す図である。図中の実線Ｌｈ１は、水平（横）方向の領域を示す線Ｆｈに沿った各画素についてのデジタル信号出力ＳＣのレベルを示す線であり、破線Ｌｈａｖ１は、その各画素についてのデジタル信号出力ＳＣに対応して直交領域平均値検出部１８から出力される平均値を示す線である。

破線Ｌｈａｖ１は、平均値であることから実線Ｌｈ１よりも立ち上がり及び立下りの変化が急峻ではなくなっているが、スミアが発生した水平方向の画素数と比較して、太陽等による輝度信号が高い出力レベルである水平方向の画素数は多いため、平均値の破線Ｌｈａｖ１のレベルＳＣＬ１も高い出力レベルになっている。

一方、図２２は、図２０の撮像画像の水平（横）方向の領域を示す線Ｇｈ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣのレベルを示す図である。図中の実線Ｌｈ２は、水平（横）方向の領域を示す線Ｇｈに沿った各画素についてのデジタル信号出力ＳＣのレベルを示す線であり、破線Ｌｈａｖ２は、その各画素についてのデジタル信号出力ＳＣに対応して直交領域平均値検出部１８から出力される平均値を示す線である。

この場合も破線Ｌｈａｖ２は、平均値であることから実線Ｌｈ１よりも立ち上がり及び立下りの変化が急峻ではなくなっているが、スミアが発生した水平方向の画素数は、図２１の太陽等による輝度信号が高い出力レベルである水平方向の画素数と比べて少ないため、平均値の破線Ｌｈａｖ２のレベルＳＣＬ２は、図２１のレベルＳＣＬ１と比べて低い出力レベルまでしか達しない。

図２１及び図２２に基づいて、以下のような判断をすることができる。
（判断一）
図２１に示されたように、太陽のような明るい被写体を撮像するために水平方向に並ぶ画素数は、スミアが発生している部分を撮像するために水平方向に並ぶ画素数に比べて多く、従って水平方向の撮像領域が広くなり、検出される輝度信号の数も多くなる。そのため、デジタル信号出力ＳＣに比べて比較的なだらかに立ち上がる水平方向の平均値Ｌｈａｖ１も十分な立ち上がり時間が得られるため大きな値を示す。

（判断二）
図２２に示されたように、比較的暗い状況下の被写体画像にスミアが発生している場合、スミアが発生している部分を撮像するために水平方向に並ぶ画素数は太陽等の明るい被写体に比べて少なく、スミアの部分のデジタル信号出力ＳＣのみが高いレベルで、その他の部分のデジタル信号出力ＳＣは低いレベルである。そのため、デジタル信号出力ＳＣに比べて比較的なだらかに立ち上がる水平方向の平均値Ｌｈａｖ２は十分な立ち上がり時間が得られないため小さな値を示す。

（判断三）
図２０に示した領域を示す線Ｆｈにおける太陽を撮像したことから大きな輝度信号値となっている水平（Ｈ）方向の画素位置においては、図２１に示したように上記判断一に示した状況になる場合が多いが、その上記判断一に示した状況である場合には、上記第二の補正値を使用することとする。
一方、図２０に示した領域を示す線Ｇｈにおけるスミアが発生したことから大きな輝度信号値となっている水平（Ｈ）方向の画素位置においては、図２２に示したように上記判断二に示した状況になる場合が多いが、その上記判断二に示した状況である場合には、上記第一の補正値を使用することとする。

図２３は、図２０の撮像画像の黒画素検出領域の水平（横）方向の領域を示す線Ｈｈ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣのレベルを示す図である。図中の実線Ｌｈ３は、水平（横）方向の領域を示す線Ｈｈに沿った各画素についてのデジタル信号出力ＳＣのレベルを示す線である。
このようにして、補正値生成部１６で補正値を生成する際に上記判断三を用いることにより、補正部１７でデジタル信号出力ＳＣを補正する場合の過補正を防ぐことができる。尚、判断二の場合に用いる第一の補正値としては、上記した式（４）の黒基準検出部１４のスミアが発生した水平（Ｈ）画素位置ｎの画素における輝度信号値（スミア量の値）△Ｓｍ１を用いるようにする。

判断一の場合に用いる第二の補正値としては、過補正を防ぐために、直交領域平均値検出部１８の平均値の出力を、Ａ／Ｄ変換部４から出力されるデジタル信号出力ＳＣの最大値ｍａｘから減算したスミア量の値△Ｓｍ２を以下の式（５）のように定義する。

ここで、ＡＤｍａｘは、Ａ／Ｄ変換部４から出力されるデジタル信号出力ＳＣの最大値ｍａｘであり、８ビットの場合には２５５となり、１０ビットの場合には１０２３となる。ａｍは係数である。

なお、図１０及び図１１に示したような図１の固体撮像素子２がフレームトランスファー型である場合の、太陽から片側（下側）の画素のみにその輝度信号値にスミア２２が発生するが、上側の画素にはスミア２２は発生しない場合は、上記に加えて、上側のスミア２２が発生しない画素に、輝度信号検出部１５の信号を用いることで補正することができる。

（判断４）
輝度信号検出部１５の出力が、黒基準検出部１４の信号以下の場合は、補正処理は実施しないこととする。

ここで、図１７を用いてスミア量の値△Ｓｍ２についてさらに説明する。
図１７の細実線の特性Ｄを直交方向の平均値とすると、入射光量がＡ２以上の領域では、その光量が増大するほどスミア発生画素の輝度信号値の影響が徐々に小さくなることは、上記したとおりである。そこで、太陽のような高い輝度信号を出力する画素が多い領域では、デジタル信号出力ＳＣの最大値ｍａｘから細実線の特性Ｄを減算した値を用いる。
補正部１７では、Ａ／Ｄ変換部４のデジタル信号出力ＳＣから、補正値生成部１６で判断されて生成された補正値（第一の補正値または第二の補正値）を減算することで補正を行なう。

補正値生成部１６で判断されて生成される補正値を、汎用の式で示す場合、以下の式（７）となる。

但し、入射光量≧Ａ２のとき、ａ＝１，ｂ＝０
入射光量＜Ａ２のとき、 ａ＝０，ｂ＝１

ここで、例えば図１７の入射光量がＡ２付近では、補正値の変化点になるため、第一の補正値及び第二の補正値の中間的な補正値が必要になる場合がある。その場合には、統計的処理や実験データに基づいて、上記式（７）の入射光量に対するａとｂ の値を、例えばａ＝ｂ＝０．５等として第三の補正値を定義し、その第三の補正値を用いることで最適化することもできる。

これまで説明した処理の流れの概要を図２４、図２５のフローチャートに示す。尚、図２５のＳ１０３（記録処理）示した内容は、従来の手段と同様な処理で実現できる。また、図２４、図２５の各信号処理は、ＣＰＵ（μプロセッサ）、ＰＣ（パーソナルコンピュータ）等で用いられるソフトウェアで対応することができる。

図２４は、本実施の形態のデジタル信号処理部５における本発明に関する処理を示すフローチャートであり、図２５は、図２４のステップ１中の隣接する画素のデジタル信号出力ＳＣの変化量（差値）を検出する処理をさらに詳しく示したフローチャートである。

まず、図２４の処理では、デジタル信号処理部５の黒基準検出部１４で、黒基準検出領域から黒基準を検出すると共に隣接する画素のデジタル信号出力ＳＣの変化量（差値）を検出する処理を開始し（Ｓ１）、有効画素領域内の水平方向の画素位置番号ｊと垂直方向の画素位置番号ｋを０にリセットする（Ｓ２）。

輝度信号検出部１５では、有効画素領域からの補正前の輝度値（デジタル信号出力ＳＣ）を検出し（Ｓ３）、直交領域平均値検出部１８では、有効画素領域内でスミアが発生する一方向に並ぶ各画素の水平（Ｈ）画素位置を検出して、その画素のスミアと直交方向（水平方向）に隣接する数画素を選択し、その数画素分の輝度信号の平均値を検出する（Ｓ４）。

補正値生成部１６では、黒基準検出部１４の出力、輝度信号検出部１５の出力、及び直交領域平均値検出部１８の出力が各々入力されて、その入力内容から判断して第一の補正値、第二の補正値、及び入射光量によっては第三の補正値から一つの補正値を選択して生成する（Ｓ５）。補正部１７では、ＡＤ編幹部４から入力した補正前の輝度値（デジタル信号出力ＳＣ）に対して、補正値生成部１６で選択された補正値を減算することで補正を実施する（Ｓ６）。

有効画素領域内の水平方向の画素位置番号ｊの輝度値の補正が終わったところで、画素位置番号ｊが水平方向の最大値Ｈｍａｘ、つまり有効画素領域内の水平方向における右端の画素まで達したか否かが判断される（Ｓ７）。
画素位置番号ｊがＨｍａｘではない場合（Ｓ７：Ｎｏ）には、画素位置番号ｊに１を加えて（ｊ＋１）ステップ３に戻る。
画素位置番号ｊがＨｍａｘである場合（Ｓ７：Ｙｅｓ）には、画素位置番号ｋが垂直方向の最大値Ｖｍａｘ、つまり有効画素領域内の垂直方向における下端の画素まで達したか否かが判断される（Ｓ８）。

画素位置番号ｋがＶｍａｘではない場合（Ｓ８：Ｎｏ）には、画素位置番号ｋに１を加えて（ｋ＋１）ステップ３に戻る。
画素位置番号ｋがＶｍａｘである場合（Ｓ８：Ｙｅｓ）には、処理を終了する。

図２５の処理では、黒基準検出部１４でデジタル信号出力（ＳＣ）の変化量が検出される場合、黒基準検出領域内の水平方向の画素位置番号ｉを０にリセットする（Ｓ１０１）。

黒基準検出部１４では、入力したデジタル信号出力（ＳＣ）に対してεフィルタ等の非線形フィルタを用いてフィルタリング処理を実施してその結果、フィルタ出力Ｆ（ｉ）を得る（Ｓ１０２）。フィルタ出力Ｆ（ｉ）を黒基準検出部１４内部の記憶装置にＭＥＭ（ｉ）として記録する（Ｓ１０３）。

黒基準検出領域内の水平方向の画素位置番号ｉのフィルタリングが終わったところで、画素位置番号ｉが水平方向の最大値Ｈｍａｘ、つまり有効画素領域内の水平方向における右端の画素まで達したか否かが判断される（Ｓ１０４）。
画素位置番号ｉがＨｍａｘではない場合（Ｓ１０４：Ｎｏ）には、画素位置番号ｉに１を加えて（ｉ＋１）ステップ１０２に戻る。
画素位置番号ｉがＨｍａｘである場合（Ｓ１０４：Ｙｅｓ）には、黒基準検出部１４の処理を終了して図２４のステップＳ２に進む。

このように本実施の形態では、直交領域平均値検出部１８を用いることで、スミアの発生領域、その画素位置、及びそのデジタル信号値（平均値）が明確になり、有効領域におけるスミアと高輝度の被写体との判別が可能になることから、スミアの発生領域のデジタル信号値の分布を検出できる。そのため、スミアの発生領域のデジタル信号値を補正する場合に、各画素位置で撮像された被写体に対して最適なスミア補正の補正値を生成することが可能になる。結果的に有効領域における有効画像の輝度値（デジタル信号出力ＳＣ）を、高輝度画像部分についても黒沈み等を発生させずに検出することができる。また、平均値を用いることで、信号を検出する際に演算されるスミアの項を少なくできるため、信号の検出精度を向上させることができる。

また、本実施の形態のデジタル信号処理部５内に設けられるスミアを補正するためのノイズ補正部は、簡単な演算のみで処理の負荷を増加させないので、例えばラインメモリ、コンパレータ、条件判別ロジックといった比較的小さなゲート規模のハードウェアで構成でき、追加のラインメモリや特殊な機構部品は必要としないので、安価（低コスト）にでき、回路規模を小さくできるので小形化できる。

また、上記したスミア補正では、スミア発生画素の輝度信号値を検出した後の処理時間は、ゲート信号の遅延のみで済むため、例えば水平ブランキング期間内にスミアの補正値を求めて補正することにより、スミア補正の処理時間を長くとれない動画像にも適用することができる。

実施の形態２．
実施の形態１では、固体撮像素子の有効画素領域内に発生する一方向に相関の高いノイズがスミアである場合について説明したが、上記したように一方向に相関の高いノイズとしては、ＨＣＣＤを複数備える撮像素子における電荷出力部の増幅特性（感度）がばらつくこと起因する各ＨＣＣＤ間の輝度信号値に差（ばらつき）が発生するノイズの場合もある。本実施の形態２では、その複数ＨＣＣＤの撮像素子の各ＨＣＣＤ間の輝度信号値がばらつく場合について説明する。

尚、複数のＨＣＣＤを備えるＣＣＤ撮像素子は、例えば有効画素数が多い撮像素子において、高速に電荷を読み出してフレーム転送をする必要があるために使用される。しかし、複数のＨＣＣＤを備える場合には、電荷出力部の増幅特性がばらつくことから、各ＨＣＣＤ間の輝度信号値に差値（オフセット）が発生して視感上の品位を低下させる場合があり、特に撮像画面の暗部では顕著に視感上の品位が低下するという問題がある。

図２６は、本実施の形態の２チャンネルの水平電荷転送路（ＨＣＣＤ）を備える個体撮像素子の構成を示す図である。
図２６においては、撮像領域が左側の撮像領域１９と右側の撮像領域２２に２分割されており、その分割された各撮像領域にはフォトダイオードと垂直電荷転送部が含まれている。

撮像領域１９の下側には、左側の水平電荷転送部２０が設けられ、その左端には左側の撮像電荷出力部２１が設けられている。同様にして、撮像領域２２の下側には、右側の水平電荷転送部２３が設けられ、その右端には右側の撮像電荷出力部２４が設けられている。

図２６に示したフォトダイオード、垂直電荷転送部、水平電荷転送部２０、２３、及び撮像電荷出力部２１、２４の基本的な機能は、実施の形態１の図２に示したフォトダイオード８、垂直電荷転送部９、水平電荷転送部１０、及び撮像信号出力部１１の機能と同様であるので詳細な説明は省略するが、撮像領域が左右に２分割されており、水平電荷転送部２０、２３の各々にける電荷の転送方向が左右の逆方向の２チャンネルになっている点で異なっている。

図２７は、本実施の形態の２チャンネルの水平電荷転送路が設けられた個体撮像素子のデジタル信号出力ＳＣを示す図である。
図２６に示したように固体撮像素子２が左右２分割されて出力が２チャンネルであるＨＣＣＤが設けられ、その左右の出力特性に図２７に示したような△ＳＣＧの差値（ばらつき）がある場合、左右の信号に差値が発生するので、撮像画像が左右で輝度に段差を有するように表示されることになる。

実施の形態１に示したノイズ補正部の構成およびその処理内容は、このような２チャンネルの水平電荷転送路が設けられた個体撮像素子にも適用することができ、左右の差値に対して最適な補正値を生成することが可能になる。結果的に有効領域における有効画像の輝度値（デジタル信号出力ＳＣ）を、左右で輝度に段差を発生させずに出力することができる。

上記した実施の形態１に示したノイズ補正部の構成およびその処理内容は、さらに、長時間露光を行なった場合に、ＶＣＣＤの欠陥と熱雑音の起因する垂直方向のノイズについても適用することが可能である。

本発明の実施の形態１の撮像装置の基本的な構成を示すブロック図である。 図１の固体撮像素子２の概略構成を示す図である。 図１のデジタル信号処理部５内に設けられるノイズ補正部の概略構成を示すブロック図である。 左側にスミアが発生した場合との比較のためにスミアが発生しない場合の撮像画面の一例を示し、右側にはその撮像画面中でスミアが発生する可能性はある（が発生していない）水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣのレベルを示す図である。 図４の右側のデジタル信号出力ＳＣのレベルを示す図を見やすくするために反時計回りに９０度回転させて縦方向画素位置を横軸にとって示す図である。 図４の画像における太陽の強い光でスミア２０が発生した場合の撮像画面の一例を示す図である。 図６の撮像画面中でスミア２０が発生した水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣの特性線Ｌｖ２（実線）を縦方向画素位置を横軸にとって示す図である。 図６のスミアが発生した画素の輝度信号値を従来方法の単純に一括減算処理する場合の撮像画面の一例を示した図である。 図８の撮像画面中でスミア２０が発生した水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣを一括減算処理で補正した特性線Ｌｖ３（実線）を縦方向画素位置を横軸にとって示す図である。 図１の固体撮像素子２がフレームトランスファー型である場合で、スミア２２が発生した場合の撮像画面の一例を示した図である。 図１０のフレームトランスファー型の個体撮像素子にスミア発生画素の輝度信号値に対して単純減算処理を実施した場合の撮像画面の一例を示した図である。 図３の黒基準検出部１４を説明するために、図６の撮像画面のスミア２０が発生した水平（横）位置Ｐｈで垂直（縦）方向の線ＶＬｐ上に並ぶ遮光領域の各画素近傍の撮像画像の一部を切り出して一例として示す図である。 図１２に示した各画素に対応する黒基準検出部１４のデジタル信号出力ＳＣの一例を示す図である。 図１３に示した黒基準検出部１４のデジタル信号出力ＳＣに非線形フィルタを用いて平均化処理を行った平均値の一例を示す図である。 黒基準検出部１４に設けられるεフィルタの区間線形関数を示す図である。 実施の形態１で用いる固体撮像素子２の一部の画素域を切り出して拡大して示した図である。 実施の形態１の補正値生成部１６の動作原理を説明するために、図１６に示したＣ画素とＤ画素の入射光量に対するデジタル信号出力ＳＣの光電変換特性を示した図である。 図１６と同様に本実施の形態で用いる固体撮像素子２の一部の画素域を切り出して拡大して示した図である 図１８のＥａ領域の入射光量に対するデジタル信号出力ＳＣの光電変換特性を示した図である。 補正値生成部１６の動作を説明するために、図６に示したスミアが発生した場合の撮像画面（有効画素領域のスミアは記載を省略している）の一例を下側の黒基準画素領域と共に示した図である。 図２０の撮像画像の水平（横）方向の領域を示す線Ｆｈ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣのレベルを示す図である。 図２０の撮像画像の水平（横）方向の領域を示す線Ｇｈ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣのレベルを示す図である。 図２０の撮像画像の黒画素検出領域の水平（横）方向の領域を示す線Ｈｈ上に並ぶ各画素についてのＡＤ変換部４からのデジタル信号出力ＳＣのレベルを示す図である。 本実施の形態のデジタル信号処理部５における本発明に関する処理を示すフローチャートであり、 図２４のステップ１中の隣接する画素のデジタル信号出力ＳＣの変化量（差値）を検出する処理をさらに詳しく示したフローチャートである。 実施の形態２の２チャンネルの水平電荷転送路（ＨＣＣＤ）を備える個体撮像素子の構成を示す図である。 実施の形態２の２チャンネルの水平電荷転送路が設けられた個体撮像素子のデジタル信号出力ＳＣを示す図である。

符号の説明

１ レンズ、 ２ 固体撮像素子、 ３ アナログ信号処理部、 ４ Ａ／Ｄ変換部、 ５ デジタル信号処理部、 ６ タイミング制御部、 ７ 制御部、 ８ フォトダイオード、 ９ 垂直電荷転送部、 １０ 水平電荷転送部、 １１ 電荷出力手段、 １２ 有効画素領域、 １３ 黒基準画素領域、 １４ 黒基準検出部、 １５ 輝度信号検出部、 １６ 直交領域平均値検出部、 １７ 補正部、 １８ 補正値生成部。

Claims (7)

1. 受光した光の強度に対応する電荷を出力する複数の光電変換素子が画素として複数行及び複数列のマトリクス状に配置される光電変換部、
   各光電変換素子から出力された電荷を垂直方向に転送する垂直転送部、
   及び垂直転送部から出力された電荷を水平方向に転送する水平転送部が設けられ、
   前記光電変換部における撮像に用いられる有効画素領域の上下左右の外周辺縁領域の少なくとも何れかには、該辺縁領域の複数行の各光電変換素子に入力される外光を遮光することで黒基準となる輝度信号値を出力する遮光領域が形成された固体撮像素子と、
   前記有効画素領域内の一方向に相関の高いノイズが発生した画素の輝度信号値から、前記遮光領域の出力から検出された前記黒基準となる画素の輝度信号値と一方向に相関の高いノイズが発生した画素の輝度信号値との差を減算する機能を少なくとも有する信号処理部とを備えた撮像装置であって、
   前記信号処理部は、
   前記遮光領域の各画素の輝度信号から、少なくとも黒基準となる画素の輝度信号値及び一方向に相関の高いノイズが発生した画素の輝度信号値を検出する黒基準検出部と、
   前記有効画素領域の各画素の輝度信号値を検出する輝度信号検出部と、
   該輝度信号検出部で輝度信号値が検出される画素に対し、前記一方向に相関の高いノイズが発生した画素が並ぶ垂直方向と直交する水平方向に連続して所定数の画素を選択してその各画素の平均値の輝度信号値を検出する直交領域平均値検出部と、
   前記黒基準検出部、前記輝度信号検出部、及び前記直交領域平均値検出部で検出された輝度信号値が入力され、前記有効画素領域の一方向に相関の高いノイズが発生した画素の輝度信号値に対応する補正値を生成する補正値生成部と、
   前記補正値生成部で生成された補正値が入力されて、前記有効画素領域の一方向に相関の高いノイズが発生した画素の輝度信号値を補正する補正部と
   を備えることを特徴とする撮像装置。
2. 前記補正値生成部は、
   前記黒基準検出部で検出された一方向に相関の高いノイズが発生した画素の輝度信号値と、前記輝度信号検出部で検出された画素の輝度信号値に基づいて、
   前記黒基準検出部の黒基準となる画素の輝度信号値と一方向に相関の高いノイズが発生した画素の輝度信号値の差値である第一の補正値と、
   前記飽和した輝度信号値と前記飽和した画素に対応する前記直交領域平均値検出部の平均値の差値である第二の補正値と
   から選択して出力する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記補正値生成部の出力の選択は、
   前記黒基準検出部の一方向に相関の高いノイズが発生した画素の輝度信号値が所定値を超えた場合で、該画素に対応する前記輝度信号検出部の輝度信号値が飽和していない場合には、前記第一の補正値を選択し、
   前記黒基準検出部の一方向に相関の高いノイズが発生した画素の輝度信号値が所定値を超えた場合で、該画素に対応する前記輝度信号検出部の輝度信号値が飽和している場合には、前記第二の補正値を選択する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記補正値生成部は、
   前記第一の補正値と前記第二の補正値とを線形に変化する所定の比率で組み合わせて第三の補正値を算出し、
   前記黒基準検出部の一方向に相関の高いノイズが発生した画素の輝度信号値が所定値を超えた場合で、該画素に対応する前記輝度信号検出部の輝度信号値が飽和する変化点近傍である場合には、前記第三の補正値を選択して出力する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記黒基準検出部は、前記輝度信号値に加えてさらに、
   前記遮光領域で隣接する各画素の輝度信号値の差値も検出し、前記各値が検出された各画素の位置情報と共に出力する
   ことを特徴とする請求項１〜４の何れかに記載の撮像装置。
6. 前記黒基準検出部は、
   前記隣接する各画素の輝度信号値の差値が所定値以下の場合には、
   差値が所定値以下と検出された画素までの隣接する各画素の輝度信号値の平均値を出力し、
   前記隣接する各画素の輝度信号値の差値が所定値を超える場合は、
   差値が所定値を超えると検出された画素から後の隣接する各画素の輝度信号値の平均値を黒基準検出結果として出力する処理手段を有することを特徴とした請求項５記載の撮像装置。
7. 前記黒基準検出部は、
   前記隣接する各画素の輝度信号値の差値を検出するために非線形フィルタを備える
   ことを特徴とした請求項５又は６に記載の撮像装置。

Images