JP2009027241A - 撮像装置 - Google Patents

Abstract

【課題】 高い連写速度を維持しつつ高画質な画像を取得可能な撮像装置を提供することを目的とする。
【解決手段】 被写体からの光をカラム回路を有する撮像素子で光電変換して被写体画像デ−タを取得する撮像装置において、撮像素子の水平方向第一の所望ライン分のノイズ読み出しデ−タからカラムノイズの低周波成分を算出するカラムノイズ低周波成分算出部と、撮像素子の水平方向第二の所望ライン分のノイズ読み出しデ−タに対し、カラムノイズの低周波成分を基準として所望の閾値でクリップ処理をするクリップ処理部と、クリップ処理された第二の所望ライン分のノイズデ−タを垂直方向に平均化してカラムノイズ補正デ−タを算出するカラムノイズ補正デ−タ算出部とを備える撮像装置とする。
【選択図】 図１

Description

本発明は、カラム回路を有する撮像素子により被写体光を光電変換して取り込む撮像装置に関し、特にＣＭＯＳ等の増幅型固体撮像素子による撮像画像から、迅速にノイズ低減をして高画質な被写体画像を取得可能な撮像装置に関する。

被写体画像を撮像素子で撮像し、撮像素子から被写体画像デ−タを読み出す際にはランダムなノイズと共に、固定パタ−ンノイズ等が重畳されることが知られている。

このため、高画質な被写体画像を得るためには、正確な固定パタ−ンノイズを算出する等により被写体画像デ−タから、その固定パタ−ンノイズを減算処理等することで、固定パタ−ンノイズの影響を低減した被写体画像を取得することが必要となる。

正確な固定パタ−ンノイズを算出する方法として、例えばいわゆるダ−ク画像の全画素読み出しをする等多数の水平ラインデ−タを、加算平均処理等することが知られている。多数の水平ラインデ−タを処理することで、局所的に生じるランダムノイズの影響を極力分散し、平均化された画像となる。

しかし、多数の水平ラインデ−タを読み出し処理等するには、相当の時間がかかることから、高速連写時や迅速な画像取得への要求に十分対応することは困難である。

このような撮像画像中のノイズを低減する方法の一例が、例えば特開２００６−２８７３７８等に提案されている。
特開２００６−２８７３７８

高速での連写や、迅速な画像取得とするために、処理する水平ラインデ−タを低減化しつつ、いかに少ない水平ラインデ−タでいかに正確に固定パタ−ンノイズを低減化できるかが問題となる。

上記問題点に鑑み本発明は、高い連写速度を維持しつつ高画質な画像を取得可能な撮像装置を提供することを目的とする。

この発明にかかる撮像装置は、被写体からの光をカラム回路を有する撮像素子で光電変換して被写体画像デ−タを取得する撮像装置において、撮像素子の水平方向第一の所望ライン分のノイズ読み出しデ−タからカラムノイズの低周波成分を算出するカラムノイズ低周波成分算出部と、撮像素子の水平方向第二の所望ライン分のノイズ読み出しデ−タに対し、カラムノイズの低周波成分を基準として所望の閾値でクリップ処理をするクリップ処理部と、クリップ処理された第二の所望ライン分のノイズデ−タを垂直方向に平均化してカラムノイズ補正デ−タを算出するカラムノイズ補正デ−タ算出部とを備えることを特徴とする。

また、この発明にかかる撮像装置は、好ましくはカラムノイズ低周波成分算出部が、水平方向第一の所望ライン分のノイズ読み出しデ−タを、少なくとも垂直方向に平均化処理及びロ−パスフィルタ処理をすることにより、カラムノイズの低周波成分を算出することを特徴とする。

また、この発明にかかる撮像装置は、さらに好ましくはカラムノイズが、被写体画像の所定の位置に出現するオフセット性カラム固定ノイズであることを特徴とする。

また、この発明にかかる撮像装置は、さらに好ましくは撮像装置が、撮像素子から出力される画像デ−タを増幅するＡＧＣ部と、撮像素子の温度を検出する温度検出部とを備え、所望の閾値は、ＡＧＣ部に設定される撮像装置の増幅感度又は温度検出部が検出する撮像素子の温度の少なくともいずれか一方に対応して設定される値であることを特徴とする。

この発明により、高い連写速度の撮像時においても高画質な画像とすることが可能となる。また、迅速に高画質な画像の取得が可能となる。

図１は、実施形態にかかる撮像装置１の構成について、電子カメラの一例を示す概念図である。

撮像装置１には、撮像光学系のレンズ１０が装着される。レンズ１０の間隙には、絞り２が設けられる。

また、レンズ１０の像空間には、レンズ１０を透過した被写体光をファインダ−光学系へと光軸変更するクイックリターンミラ−６、被写体光を光電変換して画像デ−タを出力する撮像素子１１、および被写体光を遮光するシャッタ３が配置される。レンズ１０は、撮像者の用途に応じて着脱交換可能に構成してもよい。

クイックリタ−ンミラ−６は、半透過性のミラ−であり不図示のサブミラ−を有する。サブミラ−により下方に反射された被写体光の一部を用いて、ＣＰＵ１７が、レンズ１０の一部を光軸方向に駆動することにより、自動焦点動作を行うことができる。

撮像素子１１は、不図示のタイミングジェネレ−タの出力パルスによって動作が制御される。また、背面モニタ−１５ａやビュ−ファインダ−１５ｂは、撮像画像やスル−画像等を表示することができる。

クイックリタ−ンミラ−６で反射された被写体光は、撮像素子１１と光学的に共役な位置に設けられたファインダスクリ−ン８上に結像する。ファインダ−スクリ−ン８上に結像された被写体像は、ペンタプリズム５及び接眼レンズ４を介してビュ−ファインダ−１５ｂより観察できる。ビュ−ファインダ−１５ｂは、いわゆるＥＶＦ（Electro View Finder）として構成してもよい。

撮像装置１が撮像動作をする際には、クイックリタ−ンミラ−６が被写体からの光路外へと退避し、シャッタ３を開放することで、撮像素子１１上に被写体像が結像する。そして、ＣＰＵ１７からの指示により、撮像素子１１が画像デ−タを出力する。

ノイズ読み出し部７は、撮像素子１１のオプティカルブラック部のノイズ等を、被写体の画像デ−タ読み出しに応じて読み出すことができる。ＣＰＵ１７は、ノイズ読み出し部７が読み出すノイズを用いた演算処理により、適切な固定パタ−ンノイズ（Fixed Pattern Noise）を算出する。また、ＣＰＵ１７は、画像処理部１４に、撮像した被写体画像デ−タに対して適切な固定パタ−ンノイズの減算処理を行わせる。

また、撮像装置１は、撮像素子１１の温度を検出する温度検出部１３を備える。ＣＰＵ１７は、固定パタ−ンノイズの算出処理をするに際し、温度検出部１３が検出する温度等に対応した算出を行う。固定パタ−ンノイズの大きさは、撮像素子１１の温度にも依存するが、上述のようにＣＰＵ１７は、固定パタ−ンノイズの温度依存性を考慮した演算が行える。

ノイズ読み出し部７は、撮像素子１１の辺縁部に設けられる所望のオプティカルブラック部のノイズを読み出すこととできる。また、ノイズ読み出し部７は、撮像素子１１の画素読み出しにかかる所望のカラムアンプを空読みすることとできる。また、ノイズ読み出し部７は、シャッタ３を閉じて遮光した状態で、被写体光の画像情報を含まない所望の画素に対応するダ−ク画像を読み出すこととできる。

次に、撮像装置１の動作処理についての典型例を詳細に説明する。

図２は、撮像装置１の全体構成について概念的に説明するブロック図である。撮像装置１のレンズ１０は、その焦点距離を連続的に変更可能な不図示のズ−ムレンズ、ピントを調整するフォ−カシングレンズ、撮像時の手振れを補正するＶＲ（Vibration Reduction）レンズから構成される。

レンズ１０は、ＣＰＵ１７からの指示により、不図示のレンズ駆動装置を駆動することにより制御され調整される。また、レンズ１０の位置は、不図示のレンズ位置検出器によりその位置が検出され、ＣＰＵ１７によりフィ−ドバック制御される。

レンズ１０は、撮像素子１１の撮像面に被写体像を結像させる。撮像素子１１は、撮像面上に結像された被写体像の光強度に応じて光電変換した電気信号を出力する。撮像素子１１は、ＣＭＯＳやＣＣＤ等の固体撮像素子を用いる。

また、撮像素子１１は、ＣＰＵ１７が有する不図示のタイミングジェネレ−タ等のクロック生成器からのトリガ−入力により、光電変換した電気信号を順次出力する。

また、レンズ１０と撮像素子１１との間には、不図示の絞りが設けられ、ＣＰＵ１７により演算された適切な露出（自動露出ＡＥ：Auto Exposure）が指示され、調整される。

撮像素子１１から出力される電気信号は、アナログ信号のままアナログフロントエンド１２のＣＤＳ部１２ａに入力され、ＣＤＳ（Correlated Double Sampling）処理によりノイズの低減処理がされる。ＣＤＳ部１２ａでのノイズ低減処理の後、ＡＧＣ部１２ｂで、ＩＳＯ等に対応したゲインの調整がなされる。ゲインの調整は、例えば信号増幅による感度増大を目的として行う。また、Ａ／Ｄ変換部１２ｃでは、アナログ信号からディジタル信号へと変換処理される。

ディジタル変換処理された画像デ−タは、画像処理部１４に入力される。撮像素子１１にＣＭＯＳを用いる場合には、ＣＤＳ部１２ａとＡＧＣ部１２ｂとＡ／Ｄ変換部１２ｃ等から構成されるアナログフロントエンド１２は、撮像素子１１に組み込まれる場合もある。

また、画像処理部１４での画像処理を円滑に行うため、Ａ／Ｄ変換部１２ｃにてディジタル信号へと変換処理された信号を不図示のラインメモリ等に一時記憶し、画像デ−タの転送順序を整える構成としてもよい。

画像処理部１４は、マイクロプロセッサ等で構成されるＣＰＵ１７からの指示に従い、Ａ／Ｄ変換部１２ｃから得られたディジタル画像デ−タに、ホワイトバランス処理、ハイパスフィルタ処理や各種ノイズ低減処理、エッジ処理、階調処理（ガンマ補正）等の様々な画像処理の演算を行う。

また、画像処理部１４が備えるＡＷＢ（Auto White Balance）演算部１４ａでは、最適なホワイトバランス処理となるパラメ−タ値の演算と処理が行われる。

画像処理部１４で行われる種々の画像処理に必要なアルゴリズムやパラメ−タは、フラッシュメモリ１９等に予め記録されており、ＣＰＵ１７からの指示により必要に応じてそれぞれ最適なものが読み出され、適用される。

また、画像処理部１４は、ＣＰＵ１７で算出された固定パタ−ンノイズを、被写体光を撮像して得た画像デ−タから減算処理する減算部１４ｂを備える。減算部１４ｂが減算処理する固定パタ−ンノイズは、例えば撮像素子１１のオプティカルブラック部のノイズデ−タやダ−ク画像のノイズデ−タからＣＰＵ１７が算出するカラム固定パタ−ンノイズである。

また、画像処理部１４は、撮像素子１１から取得するノイズデ−タのうち、所望の閾値を超える値のノイズをクリップ処理するクリップ処理部１４ｃを備える。クリップ処理部１４ｃが行う処理は、典型的にはランダムノイズによる突出したノイズ値を所望の閾値で、いわゆる足切りするものである。

画像処理部１４で演算処理された画像デ−タは、ＲＡＭ１６等に一時記録することができる。ＲＡＭ１６は外付けのメモリとして構成してもよい。ＲＡＭ１６に記録しておくことで、画像デ−タを読み出して別途加工することも可能となる。

また、画像処理部１４は、ＲＡＭ１６や不図示のレジスタをバッファメモリとして用い、撮像された複数フレ−ム分の画像デ−タを一時記憶するフレ−ムメモリとして用いてもよい。画像処理部１４は、フレ−ムメモリから画像デ−タを適宜読み出し、画像処理後に適宜書き込みすることにより、所定の画像処理を行う。

撮像装置１全体の撮像動作シ−ケンスについての制御はＣＰＵ１７からの指示にかかり、図示しないレリ−ズスイッチや各種設定処理等の操作を行う操作部１８からの操作信号も、ＣＰＵ１７に入力され処理される。

操作部１８は、撮像装置１の電源をオンオフする電源スイッチの他、レリ−ズ釦の全押しや半押し、さらには再生画像等を更新するためのアップダウン釦等を備える。

さらに、カ−ドインタ−フェ−ス１ａを介して、メモリカ−ド１ｂ等に画像デ−タや画像処理にかかる様々な電子情報等を保存することも可能である。また、外部インタ−フェ−ス１ｃを介して、撮像装置１内の画像デ−タや処理プログラム等を外部媒体へ読み出し、又は書き込み、又は演算処理等を行うことができる。

表示部１５には、処理した画像を表示して撮像装置１のオペレ−タが画像の確認を行い、また必要な処理情報やメニュ−等の各種案内を表示できるように構成されている。

また、表示部１５にタッチパネル等を用いることで、入力操作が可能な構成とすることもできる。タッチパネル方式とする場合には、表示部１５は操作部１８の一部としても機能する。

表示部１５は、ＬＣＤや有機ＥＬ、無機ＥＬ等の各種表示デバイスで構成できる。表示部１５は、ＲＡＭ１６やメモリカ−ド１ｂに記録されている画像デ−タや、外部インタ−フェ−ス１ｃ等を通じて外部の撮像装置や演算処理装置等から転送されてきた画像デ−タ等を再生表示する際にも用いられる。

撮像装置１のＣＰＵ１７は、ＡＦ演算部１７ｂを備え、被写体から得られる画像デ−タ等を用いて最適な自動焦点調整を行うように演算し、レンズ１０を制御する。

また、ＡＦ演算部１７ｂが行う自動焦点の演算は、撮像画像の中の所定の５個所又は９個所について行う。

また、ＣＰＵ１７は、撮像素子１１から取得する固定パタ−ンノイズの低周波成分を算出するカラムノイズ低周波成分算出部１７ｃを備える。固定パタ−ンノイズは、例えば撮像素子１１の辺縁部に設けられるオプティカルブラック部等から、被写体画像デ−タの読み出しタイミングに応じて読み出される。

カラムノイズ低周波成分算出部１７ｃが算出する低周波成分は、オプティカルブラック部の可能な限り多くのノイズデ−タを用いることが、算出値の安定性や信頼性の観点からは好ましい。

しかし、ノイズデ−タの読み出しには相応の読み出し時間を必要とすることから、例えば連写時など迅速な撮像動作が必要とされる場合には、読み出すノイズデ−タ数に制約がかかる場合がある。カラムノイズ低周波成分算出部１７ｃは、オプティカルブラック部の一部分のデ−タ（例えば１０ライン相当分等）を用いて、その低周波成分を算出してもよい。

カラムノイズ低周波成分算出部１７ｃが行う処理は、例えば１０ライン相当分のノイズデ−タを垂直方向に平均化（加算平均処理）してランダムノイズを低減し、ロ−パスフィルタによりカラム固定パタ−ンノイズの低周波成分のみを抽出する処理である。

また、ＣＰＵ１７は、カラムノイズ低周波成分算出部１７ｃが算出するカラム固定パタ−ンノイズの低周波成分を用いて、クリップ処理部１４ｃでクリップ処理されたノイズデ−タから、減算部１４ｂが減算処理するための補正デ−タを算出するカラムノイズ補正デ−タ算出部１７ｄを備える。

減算部１４ｂは、ＣＰＵ１７の指示により、カラムノイズ補正デ−タ算出部１７ｄが算出するカラムノイズ補正デ−タを、被写体を撮像して得た画像デ−タから減算する処理を行う。

ここで、いわゆるダ−ク画像は、典型的には被写体の撮像時と同一の露光時間で、シャッタ３を閉じた状態（遮光状態）で撮像素子１１から取得する画像デ−タである。例えば、露光時間を一分として被写体像を撮像した場合、それに対応してダ−ク画像も一分間の露光相当の取得とする。しかし、これに限られず、読み出し処理のみにより、カラム固定パタ−ンノイズを読み出すようにしてもよい。

図３は、撮像素子１１の受光面３１を模式的に説明する図である。受光面３１には、マトリクス状に配列された複数のホトダイオ−ドが配される。ホトダイオ−ドは、画素（pixel）を構成し、例えば縦（垂直）２０００画素、横（水平）３０００画素等の画素構成となる。

また、受光面３１上には、被写体の撮像にかかり被写体像の光電変換を行う部分３２とは別に、その辺縁部に遮光されたいわゆるオプティカルブラック部３３が設けられる。オプティカルブラック部３３は、光電変換を行う部分３２の上下左右の全て又は一部の所望の辺縁部に設けてもよい。

オプティカルブラック部３３は、ホトダイオ−ドを有する部分３３ａとホトダイオ−ドを有さない部分３３ｂとから構成される。ホトダイオ−ドを有する部分３３ａは、例えば２０画素×２０００画素程度とし、ホトダイオ−ドを有さない部分３３ｂは、例えば４０画素×２０００画素程度としてもよい。

ＣＰＵ１７は、ホトダイオ−ドを有する部分３３ａの暗電流の値からホトダイオ−ドを有さない部分３３ｂの暗電流の値を垂直方向にて減算し、より適切な暗電流の値を得ることとしてもよい。

ＣＰＵ１７は、この暗電流の値をホトダイオ−ドを有する部分３３ａの暗電流の値から垂直方向に減算して、暗電流を除去したノイズデ−タを求めてもよい。なお、ノイズ読み出し部７は、特別な読み出し回路を構成しなくてもよく、被写体像の画像デ−タ読み出し動作等に対応した読み出し動作とすることができる。オプティカルブラック部３３のデ−タは、いわゆるＯＢクランプに用いることができる。

次に、アナログフロントエンド１２の一部を含む撮像素子１１の周辺部４０の動作の一例について、図４を用いて説明する。撮像素子１１の周辺部４０は、複数の画素４１がマトリクス状に配置されて構成される。

図４は、説明の簡便のために４×４画素の構成を示しているが、実際には５００〜１０００万画素等の多数の画素４１で構成される。画素４１には、オプティカルブラック部３３に対応する画素を含む構成として、被写体の画像デ−タと共に読み出し動作を行ってもよい。

画素４１には、垂直走査回路４２から選択用駆動信号線４７、リセット用駆動信号線４８および転送用駆動信号線４９が配線され、各画素４１で光電変換された信号電荷は電圧に変換されて、定電流源回路４４によってソースフォロワ回路を構成する各列の垂直信号線４５に読み出される。

例えば、画素４１で光電変換された信号電荷は電圧に変換されて、垂直走査回路４２によって一行分の信号が垂直信号線４５に読み出される。

また、ＣＤＳ部１２ａにより、相関二重サンプリングによる固定パタ−ンノイズの低減化が図られる。各列の垂直信号線４５に読み出された各画素４１の信号は、読み出し回路４３で水平方向に一行分の信号が、順次読み出され、出力アンプ４６から出力される。なお、読み出し回路４３は、水平走査回路と水平信号線を有する。

カラム４ａは、各垂直信号線４５ごとに個別に設けられ、カラム４ａごとの個々の固有の特性変動分等がカラム固定パタ−ンノイズ（ＦＰＮ）として、信号出力に重畳されることとなる。

次に、撮像素子１１として増幅型固体撮像素子を用いる場合の駆動回路の一例について、図５の回路概念図を用いて詳述する。図５は、説明の簡便のため３層構造を有する２画素相当分について示している。

ここに示す画素の電荷読み出し動作は、上述のようにオプティカルブラック部３３の画素に対しても同様とすることができる。また、画素の電荷をいわゆる空読みする場合にも、対応する画素の電荷を転送しないこと等を除き、同様の読み出し動作としてもよい。これにより、被写体光の情報を含まない、カラム４ａのノイズの読み出しが可能となる。また、シャッタ３を閉じた状態で、いわゆるダ−ク画像を読み出しする動作を行う場合も、同様の読み出し動作としてもよい。

図５に示すように、選択トランジスタ５４と増幅トランジスタ５５とリセットトランジスタ５６が、各画素に対応して配置される。各画素で蓄えられた電荷は、ＦＤ部５７に転送された後、同じ電流経路にて処理される。このため、各画素は三つの電荷蓄積部（ホトダイオ−ドに相当）５ｂ，５ｃ，５ｄを有するものの、ＦＤ部５７と電流経路の三つのトランジスタ５４，５５，５６を共用としているので、小型、省電力とすることが可能である。

ここに示す駆動回路は、水平走査回路５２と垂直走査回路４２とＣＤＳ部１２ａ等とから構成される。垂直走査回路４２は、リセット信号ΦＲｓｎ、選択信号ΦＳＬｎ、各転送トランジスタ信号ΦＴｇ１ｎ〜ΦＴｇ３ｎの駆動パルスを所定のトランジスタのゲ−ト電極に出力する。

この回路での制御タイミングについて、図６のタイミングチャ−ト概念図を用いて詳述する。

まず、選択信号ΦＳＬｎがハイレベルとされる。これにより、読み出し該当画素のｎ行目の行選択トランジスタ５４がオン状態となり、ソ−スフォロア読み出しが開始される。その他の行は、非選択状態である。

ΦＳＬｎがハイレベルにされるのと同時に、リセット信号ΦＲｓｎがハイレベルとされ読み出し該当画素のｎ行目のリセットトランジスタ５６が期間Ｔ１の間オン状態となる。これにより、ＦＤ部５７及び増幅トランジスタ５５のゲ−ト電極は初期状態にリセットされ、暗レベルとなる。

Ｔ１の期間終了時にリセットトランジスタ５６はオフ状態に戻るが、ＦＤ部５７と増幅トランジスタ５５のゲ−ト電極は、そのまま暗レベルを保持する。また、この動作と並行して、Ｔ２の期間にΦＳＨがハイレベルにされてクランプトランジスタ５３がオン状態となる。

これにより、ソ−スフォロア読み出しが行われ、ｎ行目の選択トランジスタ５４を介して増幅トランジスタから、上述のリセット電圧に対応する暗レベルが垂直信号線４５に出力される。

期間Ｔ２の終了時において、クランプトランジスタ５３がオフ状態とされると、暗レベルがクランプ容量に保持されたまま、クランプ容量の出力側の電極がフロ−ティング状態となり、サンプルホ−ルド回路にて暗レベルの保持動作が行われる。

期間Ｔ３において、第一の転送トランジスタ５８の転送信号ΦＴｇ１ｎがハイレベルとされ、第一の転送トランジスタ５８がオン状態となる。これにより、第一の電荷蓄積部５ｂに蓄積されていた入射光により生成された電荷が、ＦＤ部５７へと転送される。

そして、この行の選択トランジスタ５４がオン状態であるため、暗レベルと入射光により生成された電荷との重畳された電圧に相当する電圧信号が、垂直信号線４５に出力される。期間Ｔ３の終了時に第一の転送トランジスタ５ｂはオフ状態とされる。なお、出力された電圧信号は、水平走査期間の始まるまでの間、サンプルホ−ルド回路の前段における垂直信号線４５に保持される。

また、期間Ｔ４は水平走査期間を示す。ΦＨ１がハイレベルとされて水平スイッチトランジスタ５１がオン状態とされる。これにより、サンプルホ−ルド回路にて暗レベルが相殺されて、入射光により生成された光電荷に対応する真の被写体情報が、電圧信号として順次各列の垂直信号線４５から水平信号線に読み出される。

このようにして、第一の電荷蓄積部５ｂに蓄積された電荷は、被写体光の情報として電圧信号に変換されて読み出される。同様に、期間Ｔ５〜Ｔ８で第二の電荷蓄積部５ｃの読み出しを行い、期間Ｔ９〜Ｔ１２で第三の電荷蓄積部５ｄの読み出しを行う。

この動作を各画素ごとに繰り返すことにより、各画素の被写体光等の画像デ−タを読み出すことが可能となる。読み出しに際しては、必然的にカラム４ａを経由したデ−タとなるので、上述のカラム固定パタ−ンノイズ等が重畳された画像デ−タとなって画像処理部１４に転送される。また、ここではＣＤＳ部１２ａを設けない回路構成としても、ＣＰＵ１７等の処理により固定パタ−ンノイズの低減を行うこととできる。

次にカラム固定パタ−ンノイズについて、図７に示すカラム固定パタ−ンノイズの説明図を用いて説明する。７１は、撮像素子１１から取得した被写体像やダ−ク画像の画像デ−タを、表示部１５に表示した画面を示すものである。

画面７１において、白または黒の縦線状に観察されるものが、いわゆるカラム固定パタ−ンノイズに由来する画面の乱れである。カラム４ａは、撮像素子１１の垂直信号線４５ごとに一つ備えられるので、その固有のカラム４ａの特性が画面に反映される。従って、カラム固定パタ−ンノイズは、画面７１のように縦線状（縦筋状）となって観察される。

７２は、カラム固定パタ−ンノイズの低周波成分を示し、７３は、カラム固定パタ−ンノイズの高周波成分を示すものである。

カラム４ａは、撮像素子１１の作製プロセスにおいて、ワンチップデバイスとして同一基板上に形成される。このため、隣接するカラム同士では、ある程度特性が連続して類似するものとなる。画面７１中央部付近がやや白く、画面７１の端部分がやや黒く見えるのは、低周波成分７２の特性を反映した結果である。

また、撮像素子１１の端に位置するカラムと他の端に位置するカラムとでは、相応の距離があるので、図７に示す低周波成分７２のようにゆったりとした特性の変動が、固定パタ−ンとして生じることとなる。

一方、高周波成分７３は、特定のカラムに生じる軽微なディフェクトやコンタミ等に起因して生じる場合がある。軽微なディフェクト等は、撮像素子１１自体の特性に大きな影響はなく使用できるものであっても、高周波成分７３として顕在化する場合もあり、低減化の必要が生じる。

次に、ＣＰＵ１７及び画像処理部１４で処理するカラム固定パタ−ンノイズの低減化処理について、図８を用いて説明する。

図８において、８１は、撮像素子１１から順次読み出してきた画像デ−タ等を、その転送順序等の調整のために一時記憶するラインメモリを示すものである。ラインメモリ８１の水平方向一ライン分は、撮像素子１１の所望の水平方向一ライン分に対応する。

ラインメモリ８１の画像デ−タは、撮像素子１１のオプティカルブラック部３３や撮像素子１１の中央部近辺など所望のラインのダ−ク画像デ−タ、又は空読みデ−タに対応する。また、ラインメモリ８１のデ−タは、撮像素子１１の同一の行を複数回読み出したものに対応する画像デ−タであってもよい。

８２は、カラム固定パタ−ンノイズの低周波成分８５を抽出するために用い、例えば１０ライン分程度の画像デ−タに相当する。また、８３は、ランダムノイズを除くカラム固定パタ−ンノイズのオフセット成分を抽出するために用い、例えば任意の２００ライン分程度の画像デ−タに相当する。すなわち、この例においては約２１０本相当に対応する読み出し時間で、カラム固定パタ−ンノイズを安定的かつ正確に算出できることとなる。

なお、２１０本相当の画像デ−タ等は、撮像素子１１の中央部付近に対応するデ−タであることが好ましい。中央部付近は、カラム４ａまでの伝送距離がほぼ均等であり、安定したデ−タ取得とできる。また、読み出す水平ラインの本数は、例えばカメラの機種ごとに設定してもよい。ノイズの多い撮像素子やカメラに対しては読み出す水平ラインの本数を多く設定し、ノイズの少ない撮像素子やカメラに対しては読み出す水平ラインの本数を少なく設定してもよい。

図８（ａ）は、ＣＰＵ１７の指示により、撮像素子１１が出力したオプティカルブラック部３３等からのラインメモリ８１の１０ライン分程度の画像デ−タ８２を示すものである。画像デ−タ８２には、図８（ａ）に示すようにカラム固定パタ−ンノイズの低周波成分８５と、カラム固定パタ−ンノイズの高周波成分とランダムノイズが重畳されたノイズ成分８４とが混在する。

カラムノイズ低周波成分算出部１７ｃは、画像デ−タ８２を垂直方向に平均化することでランダムノイズを低減させ、かつロ−パスフィルタ等により高周波成分を除去し、図８（ｂ）に示すようにカラムノイズの低周波成分８５を抽出する。なお、この場合にカラムノイズ低周波成分算出部１７ｃは、メディアンフィルタ等を用いてもよい。

垂直方向に平均化すると、同じカラムアンプを経由した画像デ−タ同士で加算平均処理されることとなるので、ランダムノイズは相殺されカラム由来の固定パタ−ンノイズを顕在化させることが可能となる。

クリップ処理部１４ｃは、図８（ｃ）に示すように、画像デ−タ８３に対して、算出されたカラムノイズの低周波成分８５を基準として所望の閾値８６の範囲外にあるノイズを、所望の閾値８６に対応する値８７でクリップ処理する。

これにより、突出するランダムノイズが重畳されていても、所望の閾値８６のばらつき範囲内にクリップすることで、その影響を低減できる。所望の閾値８６は、カラム固定パタ−ンノイズの許容ばらつき範囲（例えば、規格値数ミリボルト相当以内等）よりも、やや大きめな値として設定してもよい。

例えば、１０ｍＶ相当のカラム固定パタ−ンノイズのばらつきに対し、２０ｍＶ相当の閾値としてもよい。この場合、クリップ処理部１４ｃは、カラムノイズの低周波成分８５を基準として、水平方向の各画素ごとに対応して±２０ｍＶ相当の値でクリップ処理をする。

カラムノイズ補正デ−タ算出部１７ｄは、図８（ｃ）に示すクリップ処理されたデ−タを、所望のライン相当分について垂直方向に順次、加算平均処理し、図８（ｄ）に示すように精度の高いカラム固定パタ−ンノイズを算出する。従って、８８は、ランダムノイズが除去されたカラム固定パタ−ンノイズの高周波成分となる。

平均化処理に用いるライン数が多いほど安定した算出とできるが、一方で処理時間の短縮との兼ね合いから、画像デ−タ８３を数百本程度としてもよい。クリップ処理により、突出したランダムノイズ等のいわゆる特異点は除去されるので、少ないライン数の場合でも、適切なカラム固定パタ−ンノイズを算出可能である。

減算部１４ｂは、撮像素子１１から取得する被写体画像デ−タから、図８（ｄ）に示す算出されたカラム固定パタ−ンノイズを減算処理する。これにより、被写体画像は、カラム固定パタ−ンノイズが低減された画像となる。

ノイズを所望の閾値８６に対応する値８７でクリップ処理することで、高温時のダ−ク画像に含まれる白点や画素欠陥等の影響を低減可能となる。

次に、図９を用いて撮像装置１の動作フロ−を説明する。図９は、カラム固定パタ−ンノイズの低減処理を示す処理フロ−概念図である。

（ステップ９１）撮像装置１のオペレ−タが撮像準備として電源をオンする。

（ステップ９２）ＣＰＵ１７は、レリ−ズ釦が半押しされたかどうかを判断する。レリ−ズ釦が半押しされれば、ステップ９３へと進む。このステップは、図１０（ａ）に示す動作チャ−トのレリ−ズ動作１０１に相当する。

（ステップ９３）ＣＰＵ１７は、被写体のデ−タが重畳されないノイズ画像を撮像素子１１に出力させる。このノイズ画像は、オプティカルブラック部のノイズ読み出し、又はシャッタ３を閉じて遮光した状態でのダ−ク画像、又は画素４１の空読み等として取得できる。

（ステップ９４）撮像素子１１から出力されたノイズ画像のデ−タは、ＡＧＣ部１２ｂとＡ／Ｄ変換部１２ｃ等を経由して増幅され、ディジタル信号として画像処理部１４等に入力される。ここでは、上述のＣＤＳ部１２ａの処理をスル−してもよい。

（ステップ９５）カラムノイズ低周波成分算出部１７ｃは、所望のライン相当分のノイズの画像デ−タ８２から、メディアンフィルタ処理等により低周波成分の抽出を行う。

（ステップ９６）ＣＰＵ１７は、閾値の設定があるかどうかを判断する。閾値の設定があれば、ステップ９７へと進む。閾値の設定がなければステップ９ｄへと進む。ここでは、閾値の設定がない場合について、以下続けて説明する。

（ステップ９ｄ）ＣＰＵ１７の指示により、温度検出部１３は、撮像素子１１の温度検出を行う。

（ステップ９ｅ）ＣＰＵ１７は、ＡＧＣ部１２ｂに設定される増幅率（例えばＩＳＯ値）とステップ９ｄで検出した温度とから、例えば図１０（ｂ）に示すように、閾値を決定する。閾値は、温度が高くまたＩＳＯ感度が高い程、大きく設定する傾向とする。しかし、閾値はこれに限られず、操作部１８から任意に設定できる構成としてもよい。閾値が設定されれば、ステップ９７へと進む。

（ステップ９７）クリップ処理部１４ｃは、ステップ９ｅ等で設定された閾値で、ノイズ画像デ−タのクリップ処理を行う。

（ステップ９８）カラムノイズ補正デ−タ算出部１７ｄは、カラム固定パタ−ンノイズのオフセット成分を算出する。典型的には、カラムノイズ補正デ−タ算出部１７ｄは、ステップ９７でクリップ処理されたノイズ画像デ−タを平均化処理する。これにより、迅速にカラム固定パタ−ンノイズのオフセット成分を算出できることとなる。

ここまでの処理が、図１０（ａ）のＦＰＮ処理１０２に相当する。ＦＰＮ処理１０２は、いわゆるレリ−ズタイムラグの間に行うこととできる。

（ステップ９９）ＣＰＵ１７は、レリ−ズ全押しかどうかを判断する。レリ−ズ全押しであれば、露光による被写体画像の取得を行うのでステップ９ａへと進む。

（ステップ９ａ）被写体画像の取得をするため、ＣＰＵ１７は、シャッタ３を開放し撮像素子１１を露光させた後、撮像素子１１から被写体画像デ−タを出力させる。このステップは、図１０（ａ）の露光・撮像１０３に相当する。

（ステップ９ｂ）減算部１４ｂは、ステップ９８で抽出したカラム固定パタ−ンノイズのオフセット成分を、ステップ９ａで取得した被写体画像デ−タから垂直方向に減算処理する。このステップは、図１０（ａ）の撮像素子読み出し動作１０４に相当する。読み出しと同時に、又は画像処理部１４のできるだけ前工程で上述の減算処理をすることで、その後の後工程において、カラム固定パタ−ンノイズのオフセット成分を除去した画像デ−タとして扱えることとなり好ましい。

（ステップ９ｃ）カラム固定パタ−ンノイズを減算処理された被写体画像デ−タは、画像処理部１４でその他の画像処理がされた後、ＣＰＵ１７の指示により、表示部１５へ表示され、メモリ−カ−ド１ｂ等へ保存される。

撮像装置１のＣＰＵ１７での処理と画像処理部１４での処理は、適宜、機能分担を変更し、フレキシブルに分担させることとしてもよい。例えば、カラムノイズ低周波成分算出部１７ｃとカラムノイズ補正デ−タ算出部１７ｄの演算処理は、ＣＰＵ１７ではなく画像処理部１４に行わせることとしてもよい。また、撮像装置１は、ＣＤＳ部１２ａを設けずにアナログフロントエンド１２を構成してもよい。

実施形態で説明する撮像装置１は、その構成と動作を自明な範囲で適宜変更し利用することができる。例えば、被写体を撮像して取得した画像デ−タをロ−デ−タのままメモリカ−ド１ｂ等に記録しておき、またカラムノイズ補正デ−タ算出部１７ｄで算出した補正デ−タもメモリカ−ド１ｂ等に記録しておき、別途画像処理装置等にて両者を減算処理をさせてもよい。すなわち、ＣＰＵ１７と画像処理部１４の機能の一部を、撮像装置１とは別体の画像処理装置等に担わせることとしてもよい。この場合には、画像デ−タ等の各種デ−タは、外部インタ−フェ−ス１ｃやバス接続された通信装置、メモリカ−ド１ｂ等を介してやり取り可能とできる。

本発明は、カラムを有する固体撮像素子により被写体光を撮像し、被写体画像を取得する撮像装置等に広く適用することができる。

撮像装置の構成概念図 撮像装置の動作ブロック図 撮像素子の受光面を説明する図 撮像素子の周辺部の動作説明図 撮像素子の読み出し回路概念図 撮像素子の読み出しシ−ケンス カラム固定パタ−ンノイズの説明図 カラム固定パタ−ンノイズの低減化処理説明図 カラム固定パタ−ンノイズの処理フロ−概念図 （ａ）動作チャ−ト、（ｂ）温度と感度と閾値との関係の一例を示す図

符号の説明

１・・撮像装置、１０・・レンズ、１１・・撮像素子、１２・・アナログフロントエンド、１２ａ・・ＣＤＳ部、１２ｂ・・ＡＧＣ、１２ｃ・・Ａ／Ｄ変換部、１３・・温度検出部、１４・・画像処理部、１４ａ・・ＡＷＢ演算部、１４ｂ・・減算部、１４ｃ・・クリップ処理部、１５・・表示部、１６・・ＲＡＭ、１７・・ＣＰＵ、１７ｂ・・ＡＦ演算部、１７ｃ・・カラムノイズ低周波成分算出部、１７ｄ・・カラムノイズ補正デ−タ算出部、１８・・操作部、１９・・フラッシュメモリ、１ａ・・カ−ドインタ−フェ−ス、１ｂ・・メモリカ−ド、１ｃ・・外部インタ−フェ−ス

Claims (4)

1. 被写体からの光をカラム回路を有する撮像素子で光電変換して被写体画像デ−タを取得する撮像装置において、
   前記撮像素子の水平方向第一の所望ライン分のノイズ読み出しデ−タからカラムノイズの低周波成分を算出するカラムノイズ低周波成分算出部と、
   前記撮像素子の水平方向第二の所望ライン分のノイズ読み出しデ−タに対し、前記カラムノイズの低周波成分を基準として所望の閾値でクリップ処理をするクリップ処理部と、
   前記クリップ処理された前記第二の所望ライン分のノイズデ−タを垂直方向に平均化してカラムノイズ補正デ−タを算出するカラムノイズ補正デ−タ算出部とを備える
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記カラムノイズ低周波成分算出部は、前記水平方向第一の所望ライン分のノイズ読み出しデ−タを、少なくとも垂直方向に平均化処理及びロ−パスフィルタ処理をすることにより、カラムノイズの低周波成分を算出する
   ことを特徴とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置において、
   前記カラムノイズは、被写体画像の所定の位置に出現するオフセット性カラム固定ノイズである
   ことを特徴とする撮像装置。
4. 請求項１乃至請求項３のいずれか一項に記載の撮像装置において、
   前記撮像装置は、前記撮像素子から出力される画像デ−タを増幅するＡＧＣ部と前記撮像素子の温度を検出する温度検出部とを備え、
   前記所望の閾値は、前記ＡＧＣ部に設定される撮像装置の増幅感度又は前記温度検出部が検出する撮像素子の温度の少なくともいずれか一方に対応して設定される値である
   ことを特徴とする撮像装置。

Images