JP4367910B2

JP4367910B2 - 固体撮像装置

Info

Publication number: JP4367910B2
Application number: JP2003344373A
Authority: JP
Inventors: 秀行蓮覚寺; 敏和柳井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-10-02
Filing date: 2003-10-02
Publication date: 2009-11-18
Anticipated expiration: 2023-10-02
Also published as: US20050073597A1; US7443430B2; JP2005110178A

Description

本発明は例えばＣＣＤ等の固体撮像素子を使用した固体撮像装置に関する。

ＣＣＤ撮像素子を使用した固体撮像装置においては、ＣＣＤ撮像素子特有の現象として、強烈な光が入射したときに発生するスミア現象による画質劣化が問題となっている。

このスミア現象による画質の劣化は、ＣＣＤ撮像素子の特性に依存しているが、最近では小型化および多画素化による単位画素サイズの縮小化と高感度化により、このＣＣＤ撮像素子の特性改善が困難になりつつある。

このスミア現象を抑制するために、固体撮像素子の垂直方向における光学的黒の画素部分の出力信号からスミア成分を抽出して、それをラインメモリに記憶し、続く映像期間の信号から前記ラインメモリから読み出した信号を減算する方法が、例えば特公平３−３５８７０号公報に開示されている。
特公平３−３５８７０号公報特開２０００−２７８６０９号公報

しかしながら、デジタルカメラ等で使用する多画素な固体撮像装置においては、電子ビューファインダ表示等においてフレームレートを向上させるために垂直方向に間引く駆動を行うことが多い。このような間引き駆動としては、例えば特開２０００−２７８６０９号公報に開示されているような方法が知られている。この方法において、例えば垂直方向を１／５に間引く際には、奇数ラインと偶数ラインで垂直転送段数が異なり、この結果、奇数ラインと偶数ラインにおけるスミア成分の量が異なる。このような駆動に対しては上記従来例ではスミアを十分に抑制できないという問題があった。

また、強烈な光の照射によって固体撮像素子の垂直方向における光学的黒の画素部分の映像信号にブルーミングが発生した際に、スミア成分を誤って検出し、過度に補正を行ってしまうという問題があった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、固体撮像素子を用いた撮像装置において、スミアの発生を極力抑制することである。

上述した課題を解決し、目的を達成するために、本発明に係わる固体撮像装置は、固体撮像素子と、前記固体撮像素子の光学的黒画素の出力信号から、前記固体撮像素子の奇数ライン目の出力信号と偶数ライン目の出力信号の垂直転送段数に応じて、前記固体撮像素子の奇数ライン目の出力信号に対する第１の補正量と偶数ライン目の出力信号に対する第２の補正量を算出する算出手段と、前記算出手段にて算出された前記第１の補正量と前記第２の補正量が入力され、該入力された第１の補正量と第２の補正量を制限して出力する補正量制限手段と、固体撮像素子の奇数ライン目の出力信号から前記補正量制限手段から出力された前記第１の補正量を減算するとともに、固体撮像素子の偶数ライン目の出力信号から前記補正量制限手段から出力された前記第２の補正量を減算することで、前記固体撮像素子の出力信号を補正する減算手段とを有し、前記補正量制限手段は、前記入力された第１の補正量が閾値を超えた場合には、前記入力された第１の補正量が大きくなるほど該第１の補正量を小さな値に制限して出力するとともに、前記入力された第２の補正量が前記閾値を超えた場合には、前記入力された第２の補正量が大きくなるほど該第２の補正量を小さな値に制限して出力することを特徴とする。

また、この発明に係わる固体撮像装置において、前記補正量制限手段は、前記入力された第１の補正量が前記閾値以下である場合には、前記入力された第１の補正量を制限せずに出力するとともに、前記入力された第２の補正量が前記閾値以下である場合には、前記入力された第２の補正量を制限せずに出力することを特徴とする。

また、この発明に係わる固体撮像装置において、前記補正量制限手段は、前記入力された第１の補正量が前記閾値以下であってかつ第２の閾値を超えた場合には、前記入力された第１の補正量を一定値に制限して出力し、前記第２の閾値以下である場合には、前記入力された第１の補正量を制限せずに出力するとともに、前記入力された第２の補正量が前記閾値以下であってかつ前記第２の閾値を超えた場合には、前記入力された第２の補正量を一定値に制限して出力し、前記第２の閾値以下である場合には、前記入力された第２の補正量を制限せずに出力することを特徴とする。

以上のように構成される本発明によれば、固体撮像素子の出力から固定ラインノイズ成分を抽出し、それにより映像信号を補正する際にブルーミングによって誤って抽出されたノイズ成分を補正から除外することができる。

また、固体撮像素子の出力信号から得られた信号補正量を制限することにより、より良好な補正が行われた画像を得ることができる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の実施形態に係わるスミア補正回路を備えた固体撮像装置のブロック図である。

図１に示したように、撮影レンズ等からなる光学ブロック２０１を通った光線は、ＣＣＤ（固体撮像素子）２０２の受光面に導かれる。これにより、ＣＣＤ２０２の受光面を構成するフォトダイオードには被写体像に対応した画像信号が発生する。

ＣＣＤ２０２はＴＧ（タイミングジェネレータ）２０９によって駆動され、ＣＣＤ２０２から画像信号が出力され、ＣＤＳ（相関二重サンプリング・ホールド）回路２０３に入力される。そして、画像信号は、ＴＧ２０９によって定められたタイミング信号に従ってＣＤＳ回路２０３において、リセット雑音の除去等の所定の信号処理を施され、またサンプルホールドされてＡ／Ｄ変換器２０４に出力される。

Ａ／Ｄ変換器２０４は、ＴＧ２０９から供給されるクロック信号に応じてＡ／Ｄ変換を行う。

Ａ／Ｄ変換器２０４においてデジタル信号に変換された画素信号は、スミア補正回路２０５において、スミア補正が施されて出力される。スミア補正回路２０５の動作に関しては後述する。

スミア補正回路２０５の出力は信号処理回路２０６に入力され、色変換、ホワイトバランス、ガンマ補正等の処理を施されてYCｒCｂの輝度と色差信号に変換される。

信号処理回路２０６の出力は、記録回路２０７において圧縮等の処理が施された後に所定のフォーマットへ変換され、着脱可能な記録媒体２０８に記録される。

また、信号処理回路２０６の出力は、表示回路２１０において、縮小・拡大処理やスーパーインポーズ等の処理が施された後に、例えばＮＴＳＣ方式のアナログ信号等に変換され、ディスプレイ２１１で表示される。

次に、スミア補正回路２０５の動作について説明する。

図２は、本発明の第１の実施形態のスミア補正回路の構成を示すブロック図である。

ライン積分回路１０１は、入力映像信号のうち、図３に示したＣＣＤ２０２の垂直方向の光学的黒画素ラインの領域３０１、及び３０２をラインメモリ１１０を使用してライン積分すると共に、積分結果を出力する。すなわち、ラインメモリ１１０には１ライン分の信号として固定パターンノイズ信号が記憶される。

ＯＢ積分回路１０２は、ライン積分回路１０１で積分する領域における水平方向の光学的黒画素部分に対応する領域３０２を積分し、その積分結果を出力する。

領域３０２においては、垂直方向に続く領域３０３も光学的黒画素であるため、スミアの信号が含まれることはない。

ＯＢ積分回路１０２の出力には、乗算器１０３において、係数Gain_h_aveが乗算される。Gain_h_aveは、水平方向に対して平均を取るための係数である。

例えば、領域３０２が水平１０画素である場合は、Gain_h_aveとして１／１０を使用する。

減算器１０４は、ライン積分回路１０１の出力結果から乗算器１０３の出力を減算する。

すなわち、減算器１０４の出力は、固定パターンノイズ信号に光学的黒クランプを施した信号となる。

選択回路１０７はＴＧ２０９から供給されるeven_odd_flagに従って、Gain_evenとGain_oddを選択して出力する。even_odd_flagは入力映像信号が偶数ライン目の出力なのか、奇数ライン目の出力なのかを示す信号であり、選択回路１０７はeven_odd_flagが偶数ライン目であることを示している場合にはGain_evenを選択し、even_odd_flagが奇数ライン目であることを示している場合にはGain_oddを選択する。

Gain_even、Gain_oddはそれぞれ入力映像信号に対してスミア補正を行う補正量を減算器１０４の出力から演算する係数である。

乗算器１０５において減算器１０４の出力に選択回路１０７で選択された係数を乗算することにより、奇数ライン目と偶数ライン目のそれぞれの入力映像信号に対する異なる補正量を演算する。

補正量制限回路１０６は、乗算器１０５から出力される補正量に対して、図４に示すように、所定のk_limit値より大きな補正量になった場合には、補正を行わないように補正量に対して制限を加える。

補正量制限回路１０６の出力は、減算器１０８において、入力映像信号から減算され、リミッタ１０９において所定の信号の範囲に収まるようにリミットを掛けた後に出力される。

例えば、ＣＣＤ２０２をＴＧ２０９によって、特開２０００−２７８６０９号公報に示されているように１／５間引きで駆動すると、偶数ライン目の入力映像信号は、垂直に２ライン転送が行われた信号であり、奇数ライン目の入力映像信号は、垂直に３ライン転送が行われた信号である。

このような駆動において、ライン積分回路１０１において領域３０１及び領域３０２として奇数ライン目を１ライン積分した場合には、
Gain_even＝２／３
Gain_odd ＝１
とすることによって、奇数ライン目から検出した固定パターンノイズから偶数ライン目の補正量を算出する。

ライン積分回路１０１において領域３０１及び領域３０２として偶数ライン目を１ライン積分した場合には、
Gain_even＝１
Gain_odd ＝３／２
とすることによって、偶数ライン目から検出した固定パターンノイズから奇数ライン目の補正量を算出する。

ライン積分回路１０１において領域３０１及び領域３０２として偶数ライン目を１ラインと奇数ライン目を１ライン積分した場合には、
Gain_even＝２／（２＋３）
Gain_odd ＝３／（２＋３）
とすることによって、検出した固定パターンノイズの垂直方向の平均化と同時に偶数ライン目と奇数ライン目の補正量をそれぞれ算出する。

更に、例えばＣＣＤ２０２をＴＧ２０９によって１／７間引きで駆動すると、偶数ライン目の入力映像信号は、垂直に３ライン転送が行われた信号であり、奇数ライン目の入力映像信号は、垂直に４ライン転送が行われた信号である。このような駆動において、ライン積分回路１０１において領域３０１及び領域３０２として奇数ライン目を１ライン積分した場合には、
Gain_even＝３／４
Gain_odd ＝１
とすることによって、奇数ライン目から検出した固定パターンノイズから偶数ライン目の補正量を算出する。

ライン積分回路１０１において領域３０１及び領域３０２として偶数ライン目を１ライン積分した場合には、
Gain_even＝１
Gain_odd ＝４／３
とすることによって、偶数ライン目から検出した固定パターンノイズから奇数ライン目の補正量を算出する。

ライン積分回路１０１において領域３０１及び領域３０２として偶数ライン目を１ラインと奇数ライン目を１ライン積分した場合には、
Gain_even＝３／（３＋４）
Gain_odd ＝４／（３＋４）
とすることによって、検出した固定パターンノイズの垂直方向の平均化と同時に偶数ライン目と奇数ライン目の補正量をそれぞれ算出する。

また、上記演算で求めた結果に対して所定の係数を更に乗算してGain_evenとGain_oddの係数を求めることにより補正度の制御を行う。

すなわち、乗算器１０５は、奇数ライン目と偶数ライン目の補正量演算と、ライン積分回路１０１の出力の垂直方向の平均化および、補正度の調整と３つの目的の演算を同時に行う。

これにより、入力映像信号の偶数ライン目と奇数ライン目とでスミア成分の量が異なる場合でも、適切なスミア補正を行うことができる。

更に、補正量制限回路１０６の特性として、図６（ａ）に示すように、ｋ_limitを超えると徐々に補正量を抑制する特性や、図６（ｂ）に示すようにk_limitからk_limit２は補正量の上限を一定にし、k_limit２以降は補正量を抑制する特性でも良い。

図７に図６（ａ）に示す補正量制限回路の構成例を示す。図７において、比較器７０１は入力値とk_limitを比較する、選択回路７０５は比較器７０１の出力に応じて、入力値がk_limitより小さい場合は入力値を選択し、逆の場合は減算器７０４の出力を選択する。

減算器７０２は入力値からk_limitを減算し、この出力は乗算器７０３でｇが乗算され、減算器７０４で入力値から減算される。

比較器７０６は選択回路７０５の出力と０を比較する。選択回路７０７は比較器７０６の出力に応じて、選択回路７０５の出力が負の時は０を選択して出力し、選択回路７０５の出力が０以上の時は選択回路７０５の出力を選択して出力する。

図８に図６（ｂ）に示す補正量制限回路の構成例を示す。

図８において、比較器８０１は入力値とk_limitを比較する。選択回路８０２は比較器８０１の出力に応じて、入力値がk_limitより小さいときは入力値を選択して出力し、入力値がk_limit以上の時はk_limitを選択して出力する。

比較器８０３は入力値とk_limit２を比較する。選択回路８０７は比較器８０３の出力に応じて、入力値がk_limit２より小さいときは選択回路８０２の出力を選択して出力し、入力値がk_limit２以上の時は減算器８０６の出力を選択して出力する。

減算器８０４は入力値からk_limit２を減算し、この出力は乗算器８０５でｇが乗算され、減算器８０６で選択回路８０２の出力から減算される。

比較器８０８は選択回路８０７の出力と０を比較する。選択回路８０９は比較器８０８の出力に応じて、選択回路８０７の出力が負のときは０を選択して出力し、選択回路８０７の出力が０以上の場合は選択回路８０７の出力を選択して出力する。

（第２の実施形態）
図５は、本発明の第２の実施形態のスミア補正回路の構成を示すブロック図である。

第１の実施形態とは、ライン積分回路１０１、ＯＢ積分回路１０２の構成およびGain_even、Gain_oddの係数の定め方が異なる。

この第１の実施形態と異なる部分を中心に説明する。

ＥＶＥＮライン積分回路５０１は図３に示した光学的黒である領域３０１及び領域３０２に対して、even_odd_flagが偶数ライン目を示すときの入力映像信号を積分する回路であり、ラインメモリ５０２に偶数ライン目の固定ノイズパターン信号を蓄える。

ＯＤＤライン積分回路５０３は図３に示した光学的黒である領域３０１及び領域３０２に対して、even_odd_flagが奇数ライン目を示すときの入力映像信号を積分する回路であり、ラインメモリ５０４に奇数ライン目の固定ノイズパターン信号を蓄える。

ＥＶＥＮ用ＯＢ積分回路５０７は図３に示した光学的黒である領域３０２に対して、even_odd_flagが偶数ライン目を示す時の入力映像信号を積分する。

ＯＤＤ用ＯＢ積分回路５０６は図３に示した光学的黒である領域３０２に対して、even_odd_flagが奇数ライン目を示す時の入力映像信号を積分する。

ライン積分出力切替回路５０５およびＯＢ積分出力切替回路５０８は、even_odd_flagに従って、偶数ライン目はそれぞれＥＶＥＮライン積分回路５０３の出力、ＥＶＥＮ用ＯＢ積分回路の出力を選択し、奇数ライン目はそれぞれＯＤＤライン積分回路５０３の出力、ＯＤＤ用ＯＢ積分回路の出力を選択する。

従って、減算器１０４では、even_odd_flagが偶数ライン目の場合は、偶数ライン目の固定パターンノイズ信号に偶数ライン目の光学的黒クランプが施され、奇数ライン目の場合は、奇数ライン目の固定パターンノイズ信号に奇数ライン目の光学的黒クランプが施される。

Gain_evenには、ＥＶＥＮライン積分回路５０１で積分された垂直方向のライン数に応じて平均化するための係数が定められ、Gain_oddにはＯＤＤライン積分回路５０３で積分された垂直方向のライン数に応じて平均化するための係数が定められる。

例えば、ＥＶＥＮライン積分回路５０１で２ラインの偶数ライン目を積分した場合は、 Gain_even＝１／２
となる。

例えば、ＯＤＤライン積分回路５０３で３ラインの奇数ライン目を積分した場合は
Gain_odd = １／３
となる。

これにより、第１の実施形態と同様に、入力映像信号の偶数ライン目と奇数ライン目とでスミア成分の量が異なる場合でも、適切なスミア補正を行うことができる。

上記説明においては、固定パターンノイズを光学的黒の領域を積分することによって検出したが、露光した映像信号が含まれていないラインの領域を積分することによって検出してもよい。

また、上記説明においては、Gain_evenとGain_oddが異なる係数を使用しているが、ＣＣＤ２０２を偶数ライン目と奇数ライン目の垂直転送段数が同じである駆動を行った場合にはGain_evenとGain_oddを同じ値の係数にすることによって補正を行えばよい。

以上説明したように、上記の実施形態によれば、奇数ラインと偶数ラインで垂直転送段数が異なる駆動を行う固体撮像装置において、固体撮像素子の出力から固定ラインノイズ成分を抽出し、偶数ライン目における補正量と奇数ライン目における補正量を独立に調整し補正を施すことができるので、周期性クロックノイズや垂直転送レジスタの欠陥による白線等による画質の劣化、スミア現象による画質の劣化を良好に改善することができる効果がある。

また、補正を行う固定ラインノイズ成分の上限を制限できるのでブルーミング等により過度にノイズ成分を抽出した場合に補正を行わないようにすることができるので、スミア補正による画質の劣化を良好に改善することができる効果がある。

更に、補正量のリミッタを図６のような特性にすることにより、補正が徐々に弱まり、連続した自然な補正量制限を掛けることができる。

本発明の実施形態に係わるスミア補正回路を備えた固体撮像装置のブロック図である。本発明の第１の実施形態のスミア補正回路の構成を示すブロック図である。ＣＣＤ２０２の領域を示す図である。補正量制限回路の入出力特性を示す図である。。本発明の第２の実施形態のスミア補正回路の構成を示すブロック図である。補正量制限回路の入出力特性を示す図である。図６（ａ）の補正量制限回路の一構成例を示す図である。図６（ｂ）の補正量制限回路の一構成例を示す図である。

符号の説明

１０１ライン積分回路
１０２ＯＢ積分回路
１０３乗算器
１０４減算器
１０５乗算器
１０６補正量制限回路
１０７選択回路
１０８減算器
１０９リミッタ
１１０ラインメモリ
２０１光学系
２０２固体撮像素子
２０３ＣＤＳ
２０４Ａ／Ｄ変換器
２０５スミア補正回路
２０６信号処理回路
２０７記録回路
２０８記録媒体
２０９ＴＧ
２１０表示回路
２１１ディスプレイ
３０１垂直方向の光学的黒領域
３０２垂直かつ水平方向の光学的黒領域
３０３水平方向の光学的黒領域
５０１ＥＶＥＮライン積分回路
５０２ラインメモリ
５０３ＯＤＤライン積分回路
５０４ラインメモリ
５０５ライン積分出力切替回路
５０６ＯＤＤ用ＯＢ積分回路
５０７ＥＶＥＮ用ＯＢ積分回路
５０８ＯＢ積分出力切替回路

Claims

固体撮像素子と、
前記固体撮像素子の光学的黒画素の出力信号から、前記固体撮像素子の奇数ライン目の出力信号と偶数ライン目の出力信号の垂直転送段数に応じて、前記固体撮像素子の奇数ライン目の出力信号に対する第１の補正量と偶数ライン目の出力信号に対する第２の補正量を算出する算出手段と、
前記算出手段にて算出された前記第１の補正量と前記第２の補正量が入力され、該入力された第１の補正量と第２の補正量を制限して出力する補正量制限手段と、
固体撮像素子の奇数ライン目の出力信号から前記補正量制限手段から出力された前記第１の補正量を減算するとともに、固体撮像素子の偶数ライン目の出力信号から前記補正量制限手段から出力された前記第２の補正量を減算することで、前記固体撮像素子の出力信号を補正する減算手段とを有し、
前記補正量制限手段は、前記入力された第１の補正量が閾値を超えた場合には、前記入力された第１の補正量が大きくなるほど該第１の補正量を小さな値に制限して出力するとともに、前記入力された第２の補正量が前記閾値を超えた場合には、前記入力された第２の補正量が大きくなるほど該第２の補正量を小さな値に制限して出力することを特徴とする固体撮像装置。
前記補正量制限手段は、前記入力された第１の補正量が前記閾値以下である場合には、前記入力された第１の補正量を制限せずに出力するとともに、前記入力された第２の補正量が前記閾値以下である場合には、前記入力された第２の補正量を制限せずに出力することを特徴とする請求項１に記載の固体撮像装置。
前記補正量制限手段は、前記入力された第１の補正量が前記閾値以下であってかつ第２の閾値を超えた場合には、前記入力された第１の補正量を一定値に制限して出力し、前記第２の閾値以下である場合には、前記入力された第１の補正量を制限せずに出力するとともに、前記入力された第２の補正量が前記閾値以下であってかつ前記第２の閾値を超えた場合には、前記入力された第２の補正量を一定値に制限して出力し、前記第２の閾値以下である場合には、前記入力された第２の補正量を制限せずに出力することを特徴とする請求項１に記載の固体撮像装置。