JP5094252B2

JP5094252B2 - 撮像装置及びその制御方法

Info

Publication number: JP5094252B2
Application number: JP2007182560A
Authority: JP
Inventors: 栄一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-07-11
Filing date: 2007-07-11
Publication date: 2012-12-12
Anticipated expiration: 2027-07-11
Also published as: JP2009021815A; US20090015691A1; US8026965B2

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、ダークシェーディング補正を行う撮像装置及びその制御方法に関する。

従来から、デジタルカメラなどの撮像装置に用いられるＣＣＤセンサやＣＭＯＳセンサ等の撮像素子において、暗電流ノイズを補正するために、様々なダークシェーディング補正方法が提案されている。

図１０は、従来のダークシェーディング補正を行うデジタルカメラの機能構成の一例を示す概略ブロック図である。図１０に示すカメラにおいて、露出制御動作で決定された撮影条件（絞り、シャッタースピード、感度）で撮像素子１００１により被写体を撮影して、撮像素子１００１から蓄積された電荷信号を読み出す。読み出された電荷信号はＡ／Ｄ変換器１００２でデジタル信号に変換され、バッファメモリ１００３に画像信号（以下、「被写体画像信号」と呼ぶ。）として記録される。次に、同じ撮影条件で、撮像素子１００１を遮光した状態で撮影を行い、得られた電荷信号をＡ／Ｄ変換器１００２でデジタル信号に変換する。このようにして得られた画像信号を、以下、「黒画像信号」と呼ぶ。

Ａ／Ｄ変換器１００２から黒画像信号が出力されるのと同時に、バッファメモリ１００３に蓄積された被写体画像信号が読み出し、減算回路１００４において被写体画像信号から黒画像信号を減算することにより、ダークシェーディング補正を行う。ダークシェーディング補正された被写体画像信号は、オフセット回路１００５にて任意のオフセット値（例えば１０ビット信号で３２ＬＳＢ程度）が加算されてから信号処理回路１００６に送られ、１枚の画像の画像信号が生成される。このようにして生成された画像信号は、ＳＤカードなどの汎用の記憶媒体１００７に蓄積される。

しかしながら上述したダークシェーディング補正方法では、２枚の画像の画像信号（被写体画像信号、黒画像信号）を用いるため、ダークシェーディング補正を行わない場合と比較して、ランダムノイズが√２倍増えてしまう。また２枚の画像の撮影動作及び読み出しを行うため、撮影終了までに時間がかかってしまう。

特許文献１に記載された発明では、黒画像信号を複数ブロックに分割して、ブロック毎に信号を積算し、積算した信号を被写体画像の解像度に応じて拡大してから、被写体画像から差し引くことが提案されている。この方法によれば、黒画像信号のランダムノイズが低減されるため、ダークシェーディング補正後の画像信号におけるノイズ劣化をほぼ無くすことができる。

特開平１１−２８９４９４号公報

しかしながら、特許文献１に記載された方法でも、１枚の被写体画像の画像信号を得るために、画像信号の撮影動作及び読み出し動作は、図１０を参照して上述した方法と同様に２回ずつ実施される。そのため、撮影終了までに時間がかかり、連写撮影時には、連写スピードが大幅に落ちてしまうという問題点があった。

上記課題を解決するために、本発明の撮像装置は、光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子と、前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記複数フィールドの内の一部のフィールドの第２の画像信号を読み出すように制御する制御手段と、前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均し、該平均したブロック毎の画像信号を、前記第１の画像信号の解像度に変換して第３の画像信号を生成する黒画像生成手段と、前記第３の画像信号を、前記第１の画像信号から減算する減算手段と、黒浮き量を取得する取得手段と、前記取得した黒浮き量の大きさに応じて、前記撮像素子の露光量を減らすように露出を制御する露出制御手段と、前記露出制御手段により減らされた露光量を補償するように、前記減算手段から出力される画像信号を増幅する増幅手段とを有することを特徴とする。

また、別の構成によれば、本発明の撮像装置は、光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子と、撮影感度に応じて予め設定された、前記撮像素子から読み出すフィールド数を決定する決定手段と、前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記決定手段により決定されたフィールド数の第２の画像信号を読み出すように制御する制御手段と、前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均し、該平均したブロック毎の画像信号を、前記第１の画像信号の解像度に変換して第３の画像信号を生成する黒画像生成手段と、前記第３の画像信号を、前記第１の画像信号から減算する減算手段とを有する。

更に別の構成によれば、本発明の撮像装置は、光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子と、撮影感度に応じて予め設定された、前記撮像素子から読み出すフィールド数を決定する決定手段と、前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記決定手段により決定されたフィールド数の第２の画像信号を読み出すように制御する制御手段と、前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均して第３の画像信号を生成し、前記第３の画像信号を複数ブロックずつ加算平均して前記ブロック毎に第４の画像信号を生成し、前記第３の画像信号と前記第４の画像信号とを補正テーブルに基づいて前記ブロック毎に加重加算して第５の画像信号を生成し、該第５の画像信号を前記第１の画像信号の解像度に変換して前記第６の画像信号を生成する黒画像生成手段と、前記第６の画像信号を、前記第１の画像信号から減算する減算手段とを有する。

また、光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子を有する撮像装置の本発明の制御方法は、制御手段が、前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記複数フィールドの内の一部のフィールドの第２の画像信号を読み出すように制御する制御工程と、黒画像生成手段が、前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均し、該平均したブロック毎の画像信号を、前記第１の画像信号の解像度に変換して第３の画像信号を生成する黒画像生成工程と、減算手段が、前記第３の画像信号を、前記第１の画像信号から減算する減算工程と、取得手段が、黒浮き量を取得する取得工程と、露出制御手段が、前記取得した黒浮き量の大きさに応じて、前記撮像素子の露光量を減らすように露出を制御する露出制御工程と、増幅手段が、前記露出制御工程において減らされた露光量を補償するように、前記減算工程により減算された画像信号を増幅する増幅工程とを有することを特徴とする。
また、別の構成によれば、光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子を有する撮像装置の本発明の制御方法、決定手段が、撮影感度に応じて予め設定された、前記撮像素子から読み出すフィールド数を決定する決定工程と、制御手段が、前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記決定工程で決定されたフィールド数の第２の画像信号を読み出すように制御する制御工程と、黒画像生成手段が、前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均し、該平均したブロック毎の画像信号を、前記第１の画像信号の解像度に変換して第３の画像信号を生成する黒画像生成工程と、減算手段が、前記第３の画像信号を、前記第１の画像信号から減算する減算工程とを有する。
更に別の構成によれば、光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子を有する撮像装置の制御方法であって、決定手段が、撮影感度に応じて予め設定された、前記撮像素子から読み出すフィールド数を決定する決定工程と、制御手段が、前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記決定工程で決定されたフィールド数の第２の画像信号を読み出すように制御する制御工程と、黒画像生成手段が、前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均して第３の画像信号を生成し、前記第３の画像信号を複数ブロックずつ加算平均して前記ブロック毎に第４の画像信号を生成し、前記第３の画像信号と前記第４の画像信号とを補正テーブルに基づいて前記ブロック毎に加重加算して第５の画像信号を生成し、該第５の画像信号を前記第１の画像信号の解像度に変換して第６の画像信号を生成する黒画像生成工程と、減算手段が、前記第６の画像信号を、前記第１の画像信号から減算する減算工程とを有する。

本発明によれば、より高速にダークシェーディング補正を行うことができると共に、黒画像に含まれるランダムノイズを低減することが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本第１の実施形態におけるダークシェーディング補正を行う撮像装置の概略構成を示すブロック図である。

図１において、１２０は撮像装置全体を制御するシステム制御回路、５０は撮影レンズである。なお、図１では、撮影レンズ５０を１つのレンズとして表しているが、実際にはフォーカスレンズやズームレンズ等、複数のレンズから構成されている。１２３はシステム制御回路１２０による制御に基づいて、撮影レンズ５０のフォーカスレンズを制御する焦点制御部である。５１は絞り機能を備えるメカニカルシャッター、１２２はシステム制御回路１２０による制御に基づいて、シャッター５１を制御する露出制御部である。

１０１は、光電変換により入射光量に応じた電荷を生成して出力するＣＣＤセンサやＣＭＯＳセンサに代表される撮像素子であり、１行または複数行おきに、複数フィールドに分けて電荷を読み出すことができる。本第１の実施形態では、図３（ａ）に示すように５フィールドに分割して１フレーム分の電荷を読み出すことができるものとする。

１２１は、システム制御回路１２０による制御に基づいて撮像素子１０１を駆動する駆動回路である。即ち、システム制御回路１２０及び駆動回路１２１は、制御手段を構成する。

１０２は撮像素子１０１から出力される電荷信号をデジタル信号に変換するＡ／Ｄ変換器、１０３は、Ａ／Ｄ変換器１０２から出力されるデジタル信号を記憶するメモリである。システム制御回路１２０は、Ａ／Ｄ変換器１０２から出力されるデジタル信号を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行う。

１００は、黒画像信号を生成する黒画像生成部であり、ブロック積分回路１０４、メモリ１０５、リサイズ部１０６を含む。ブロック積分回路１０４は、Ａ／Ｄ変換器１０２から出力されるデジタル信号をブロック毎に積分すると共に、積分した画素数で平均し、ブロック平均信号を取得する。メモリ１０５はブロック積分回路１０４からの平均信号を記憶する。また、リサイズ部１０６はメモリ１０５に記憶されたブロック平均信号を指定された解像度にリサイズする。

１０７は、メモリ１０３に記憶されたデジタル信号から、リサイズ部１０６によりリサイズされた信号を減算する減算回路、１０８はデジタルゲイン回路、１０９はオフセット回路、１１０は信号処理回路、１１１は記憶媒体である。

また、１２４は、例えば、シャッター釦やモード切り換えダイヤルなど、撮影者が撮像装置に指示を入力するための操作部であり、入力内容はシステム制御回路１２０に通知される。

図２は本実施の形態における撮像装置の撮影時の動作を示すフローチャートである。以下、図１及び図２を参照しながら、本実施の形態におけるダークシェーディング補正方法について説明する。

先ず、ステップＳ１１において、操作部１２４に含まれるシャッター釦の、例えば途中操作（例えば半押し）によりＯＮとなるスイッチＳＷ１がＯＮされるのを待ち、ＯＮされるとステップＳ１２に進んで、露出制御を行う。露出制御では、システム制御回路１２０は撮影に用いる露出条件（絞り、シャッタースピード、感度）を決定する。

次に、ステップＳ１３において、システム制御回路１２０は、ステップＳ１２で決定した感度に応じて、ダークシェーディング補正用の黒撮影時にブロック積分回路１０４に入力する、撮像素子１０１から読み出すフィールド数ｋを決定する。なお、ステップＳ１３における処理については、詳細に後述する。

次に、ステップＳ１４において、焦点調節制御を行う。焦点調節制御では、システム制御回路１２０は焦点制御部１２３を介して撮影レンズ５０のフォーカスレンズを制御して、焦点を被写体に合わせる。そしてステップＳ１５において、シャッター釦の、例えば全押し操作によりＯＮとなるスイッチＳＷ２がＯＮされたかどうかを判断し、ＯＦＦであればステップＳ１１に戻って上記処理を繰り返し、ＯＮであればステップＳ１６に進む。

ステップＳ１６では、ステップＳ１２で決定された露出条件に基づいて露出制御部１２２、駆動回路１２１を制御して被写体の撮影を行い、撮影が終了すると、ステップＳ１７において、撮像素子１０１に蓄積された電荷信号を全て読み出す。即ち、ステップＳ１６及びＳ１７の処理は、第１の読み出し工程に対応する。読み出された電荷信号はＡ／Ｄ変換器１０２でデジタル信号に変換され、メモリ１０３に画像信号（以下、「被写体画像信号」と呼ぶ。）として記憶される。なお、被写体画像信号は、第１の画像信号に対応する。

次に、同じ撮影条件で撮像素子１０１をシャッター５１により遮光した状態で撮影（黒撮影）を行う（ステップＳ１８）。続くステップＳ２０からＳ２２において、撮像素子１０１から電荷信号（第２の画像信号）の読み出しを行うが、この時、フィールド毎に読み出しを行っていく。即ち、ステップＳ２０〜Ｓ２２の処理は、第２の読み出し工程に対応する。

上述したように、本実施の形態では、図３（ａ）に示すように撮像素子１０１から４行おきに５フィールドに分割して１フレーム分の電荷信号を読み出すことができる。また、黒画像生成部１００では、撮像素子１０１の有効領域の画素を水平方向ｍ、垂直方向ｎの２次元のブロックに分割し、後述するようにブロックを利用して黒画像を生成する。なお、垂直方向には、各ブロックがそれぞれ５（＝フィールド数）の整数倍の行数を含むように分割する。

ステップＳ１９では、ステップＳ１３で設定したｋフィールド分の電荷信号を読み出したかどうかを判断するが、黒撮影直後はまだ読み出しが行われていない状態なので、必ずＮＯとなり、ステップＳ２０に進む。

ステップＳ２０では１フィールド分の電荷信号を読み出してＡ／Ｄ変換し、ステップＳ２１において、ブロック積分回路１０４は、変換した各画素のデジタル信号をｍ×ｎの各ブロック毎に積分し、更に、各ブロック毎の積分値を積分した画素数で平均する。この各ブロックごとの平均値（以下、「フィールドブロック平均信号」と呼ぶ。）をステップＳ２２でメモリ１０５に記憶する。記憶が済むとステップＳ１９に戻って、ｋフィールド分の電荷信号を読み出したかどうかを判断し、終えていなければ、次のフィールドについて上述したステップＳ２０からＳ２２までの処理を繰り返す。

ステップＳ１９で、ｋフィールド分の電荷信号の読み出しから記憶を終えたと判断すると、ステップＳ２３に進む。ステップＳ２３では、ブロック積分回路１０４はメモリ１０５に記憶したｋフィールド分それぞれ（即ちｋ個）のフィールドブロック平均信号をブロック毎に積分し、更にｋで平均する。例えば、５フィールド分の読み出しを行った場合、各フィールドブロック平均信号を
AveBlock1(x,y)：第１フィールドのフィールドブロック平均信号
AveBlock2(x,y)：第２フィールドのフィールドブロック平均信号
AveBlock3(x,y)：第３フィールドのフィールドブロック平均信号
AveBlock4(x,y)：第４フィールドのフィールドブロック平均信号
AveBlock5(x,y)：第５フィールドのフィールドブロック平均信号

とすると、
AveBlock(x,y) = ( AveBlock1(x,y)+AveBlock2(x,y)+AveBlock3(x,y)
+AveBlock4(x,y)+AveBlock5(x,y) ) /5
となる。なお、ｘ、ｙはブロックの水平方向及び垂直方向の番号を示し、ｘ＝０〜ｍ−１、ｙ＝０〜ｎー１である。このようにすることで、ｍ×ｎブロックそれぞれの平均を得ることができる。以下、各ブロック毎の平均AveBlock(x,y)を「ブロック平均信号」と呼ぶ。
ステップＳ２３にて算出されたブロック平均信号（第２の領域のブロックの平均信号）は、リサイズ部１０６により被写体画像信号の解像度に変換（拡大）する。ここで得られる信号を、以下、「黒画像信号」と呼ぶ。なお、黒画像信号は、第３の画像信号または第７の画像信号に対応する。

続いて、ステップＳ２５で、減算回路１０７にて、ステップＳ１７で得られた被写体画像信号からステップＳ２４で得られた黒画像信号を減算することにより、被写体画像信号がダークシェーディング補正される。このようにして補正された被写体画像信号に、デジタルゲイン回路１０８にてゲインをかけ（ステップＳ２６）、オフセット回路１０９にて予め設定されたオフセット値を加える（ステップＳ２７）。その後、信号処理回路１１０に転送され、汎用の画像信号（例えば、ＪＰＥＧ画像信号）に変換され（ステップＳ２８）、ＳＤカードなどの記憶媒体１１１に記録される（ステップＳ２９）。

次に、ステップＳ１３で行われる、読み出すフィールド数ｋを決定する方法について説明する。なお、フィールド数ｋの決定は、システム制御回路１２０により行われる（決定手段）。

読み出すフィールド数を少なくすることにより、撮像素子１０１から電荷を読み出す時間を短縮することができる一方、読み出すフィールド数を少なくすると、積分される１ブロックあたりの画素数が減少するためにＳ／Ｎ比が劣化する。よって、本第１の実施形態では、設定感度毎に読み出しフィールド数ｋを変更する。低感度時にはセンサーノイズ（ランダムノイズ）が小さいため、フィールド数ｋを少なくすることによって高速処理を実現し、高感度時にはフィールド数ｋを多くすることで処理時間は若干遅くなるが、Ｓ／Ｎ比を劣化させずダークシェーディング画像を作成する。

以下に、ｋの算出方法について具体例を挙げて説明する。

ノイズ値をＮ、画素平均する画素数をｎとし、ＩＳＯ１００の時に１画素を読み出した場合のノイズ値をＮ₁₀₀とすると
Ｎ＞Ｎ₁₀₀/√ｎ …（１）

となる。式（１）をｎについて解くと、
ｎ＞（Ｎ₁₀₀／Ｎ）² …（２）
となる。１画素を読み出した場合のノイズ値Ｎ₁₀₀に対し、ノイズ値Ｎを０．５以下にすれば、複数画素の平均を取った場合に画像信号に影響を及ぼさない。ノイズ値Ｎ₁₀₀を基準（１００％、即ち＝１）とすると、ＩＳＯ１００の場合には、式（２）からｎ＝４となり、４画素以上読み出せばノイズ値Ｎが０．５以下になり、ノイズの影響を受けなくなる。
Ｓ／Ｎ比を電圧比較のデシベル（ｄＢ）で表すと、20*log(N/S)で表すことができる。例えばＩＳＯ１００、Ａ／Ｄ変換後のデジタル画像信号値Ｓが２００、ノイズ値Ｎが１の場合、Ｓ／Ｎ比は、
S/N(ISO100) = 20*log(1/200) ≒ -46dB

である。これに対し、４画の平均を取った場合のＳ／Ｎ比は、
S/N(ISO100) = 20*log(0.5/200) ≒ -52dB
となる。
ＩＳＯ２００のときに、１画素を読み出した場合のノイズ値Ｎ₂₀₀は、ノイズ値Ｎ₁₀₀の２倍（２００％）となる。従って、ノイズレベルをＩＳＯ１００同様のＮ＝０．５にするためには、式（２）から
ｎ＞（２／０．５）²
ｎ＞１６

となる。このようにノイズレベルをＩＳＯ１００同様のＮ＝０．５にするために必要な最低画素加算数ｎは１６画素であることが分かる。
同様にして、最低画素加算数ｎは、ＩＳＯ４００では６４画素、ＩＳＯ８００では２５６画素、ＩＳＯ１６００では１０２４画素であることがわかる。

図４（ｂ）は、７M（3072×2310）画素、５フィールド読み出しの撮像素子における、読み出しフィールド数別の読み出し時間及び、ブロック分割数を水平方向６４分割、垂直方向６４分割とした場合の読み出し画素数を示している。この場合、各ブロックには水平方向４８列、垂直方向３５行（最終ブロックは、１０５行）分の画素が含まれる。

１フィールド読み出しにより読み出される電荷を各ブロック毎に積分する場合、１ブロックの画素数は水平方向４８画素、垂直方向７画素となり、合計４８×７=３３６画素となる。２フィールド分用いる場合の１ブロックの画素数は水平方向４８画素、垂直方向１４画素となり、合計６７２画素となる。同様に、３フィールドでは１００８画素、４フィールドは１３４４画素、５フィールドは１７２８画素となる。１フィールドで読み出される１ブロックあたりの画素数は３３６画素であるから、ＩＳＯ８００までは、１フィールド（ｋ＝１）読み出せば、十分にノイズを少なくすることができる。また、ＩＳＯ１６００の場合、４フィールド（ｋ＝４）分読み出せば、ノイズの影響を受けないことになる。

図４（ａ）は、上述したようにして得られた、ＩＳＯ１００、２００、４００、８００、１６００それぞれについて、Ｓ／Ｎ比を劣化させないための最低加算画素数ｎ及び、最低加算画素数ｎを読み出すために必要なフィールド数ｋを感度毎に示した表である。なお、上記説明から分かるように、最低加算画素数ｎ及びフィールド数ｋは、撮像素子１０１の解像度や特性等の条件が変化すると、それに応じて変化する。

上述したように読み出すフィールド数を制御することで、黒撮影した電荷信号の読み出し時間を減らすことが可能となり、処理の大幅な高速化が実現できる。例えば撮像素子１０１が５フィールド読み出しの７メガ画素センサーの場合、駆動周波数にもよるが、全画素読み出すための読み出し時間はおおよそ２５０ｍｓかかるが、１フィールドのみの読み出しに係る時間は約５０ｍｓとなり、大幅に高速化できる。

上記の通り本第１の実施形態によれば、予め設定感度毎のノイズ値を測定し、ダークシェーディング補正に必要な撮像素子の読み出しフィールド数ｋを決定することで、処理時間の高速化と、黒画像信号におけるノイズの軽減を実現することができる。以上の説明では、ＩＳＯ感度に応じて、ダークシェーディング補正に必要な撮像素子の読み出しフィールド数ｋを決定する動作を説明した。しかしながら、本実施の形態では、ＩＳＯ感度に関わらず、ダークシェーディング補正に必要なフィールド数を固定にする構成であっても良い。例えば、黒撮影時に、1フィールドの画像を読み出し、ダークシェーディング補正に用いるようにしても良い。

＜第２の実施形態＞
次の、本発明の第２の実施形態について説明する。

本第２の実施形態は、ダークシェーディング補正に必要な最低ブロック分割数を、ノイズ量と、発生するシェーディングの幾何学パターンによって可変とすることを特徴としている。図６（ａ）のように部分的に黒が浮いているようなケース（第１の領域のブロックを有するケース）は、例えば図６（ｂ）のような６４×６４分割程度の分割数では補正残りが生じてしまう。そこで、本第２の実施形態では、下記のような処理により、ダークシェーディング補正に用いる黒画像信号を作成することで、補正残りの低減を実現する。

なお、本第２の実施形態における撮像装置の構成は、上記第１の実施形態で図１を参照して説明したものと同様であるため、ここでは説明を省略する。

本第２の実施形態では、上述した第１の実施形態と同様に、撮像素子１０１は７M（3072×2310）画素、５フィールド読み出しとし、ブロック分割数を水平方向１２８分割、垂直方向１２８分割とする。従って、１ブロック当たり、水平２４列、垂直１５行（最終ブロックは、３９０行）分の画素が含まれることになる。

本第２の実施形態における撮像装置の撮影時の動作は基本的に図２のフローチャートに示す動作と同様であるが、ステップＳ２４においてリサイズ部１０６で行われる処理が上述した第１の実施形態と異なる。従って、以下、この処理について図５のフローチャートを参照して詳しく説明する。上述したように、本第２の実施形態においては図２のステップＳ２３における処理において１２８×１２８分割の細かい単位でブロック積分を実施しており、この処理により得られたブロック平均信号を、「第１のブロック積分信号」と呼ぶ。なお、第１のブロック積分信号は、第３の画像信号に対応する。

先ず、ステップＳ１０１において、第１のブロック積分信号を４ブロック単位で加算平均し６４×６４分割のブロック平均信号（以下、「第２のブロック積分信号」と呼ぶ。）を得る。第１のブロック積分信号が例えば、図６（ａ）のような信号の場合、以下のようにして取得する。
Block2(0,0) = (Block1(0,0)+Block1(1,0)+Block(0,1)+Block(1,1))/4
= (50+55+52+60)/4
= 54
Block2(1,0) = (Block1(2,0)+Block1(3,0)+Block(2,1)+Block(3,1))/4
= (57+59+60+62)/4
= 59

図６（ｂ）は、第２のブロック積分信号を示す図である。

ステップＳ１０２において、各ブロックの第２のブロック積分信号を４ブロックに拡大し、１２８×１２８分割のブロックのブロック平均信号（以下、「第３のブロック積分信号」と呼ぶ。）を得る。この第３のブロック積分信号は、第４の画像信号に対応する。図６（ｃ）は、第３のブロック積分信号を示す図である。

ステップＳ１０３において、図７（ａ）のような予め設定した１２８×１２８個の加重加算係数を用いて、第１のブロック積分信号と第３ブロック積分信号とをブロック毎に加重加算し、第４のブロック積分信号を作成する。この第４のブロック積分信号は、第５の画像信号に対応する。なお、図７（ａ）に示す加重加算係数は、補正テーブルとして不図示のメモリに予め保持しておく。
Block4(x,y) = Block1(x,y)×α + Block3(x,y)×(1-α)

以上のようにして生成した第４のブロック積分画像を、更に、被写体画像信号の解像度に変換（拡大）することにより、黒画像信号を生成する。この黒画像信号は、第６の画像信号に対応する。このようにして得られた黒画像信号を、図２のステップＳ２５にて、減算回路１０７により、ステップＳ１７で得られた被写体画像信号から減算することにより、被写体画像信号がダークシェーディング補正される。そして、図７（ａ）のように、左上付近は、細かく分割しているので、部分的に黒が浮いているようなケースに有効である。

なお、以上のような手法で、ダークシェーディング画像を作成するブロック分割数を多くすると、１ブロックの画素積分数が減るため、黒画像信号のランダムノイズ成分を除去しきれない場合が生じる。つまり、７Ｍ画素の撮像素子を１２８×１２８分割にブロック分割すると、１ブロックあたりの画素積分数が最大３６０画素（＝２４×１５）となり、ＩＳＯ１６００の時に必要なノイズ低減画素積分数である１０２４画素より不足してしまう。そこで、ＩＳＯ１６００の場合には、図７（ｂ）のように、細かい分割が必要なエリアについて、第１のブロック積分画像を使用する加重加算係数を減らす。それにより、、補正残り（細かく分割することにより、補正残りを無くす）とノイズ抑圧（一つのブロックの画素数を多くすることにより、ランダムノイズの影響を少なくする）のバランスをとった設定とすることも可能である。

更に、ダークシェーディングによる黒浮き量が大きいと、高輝度部の信号値が低くなるという弊害が発生する。そこで、本第２の実施形態の撮像装置では、予め黒浮き量を測定し、測定した黒浮き量に応じて露光量を適正露出よりアンダー目に撮影し、デジタルゲインによって飽和レベルを保つように工夫する。以下に、動作を説明する。

図８は、例えば感度ＩＳＯ１００とＩＳＯ１６００における、撮像素子の温度とシャッタースピード（Ｔｖ）に対応して起こる黒浮き量の例を示した図である。例えばＩＳＯ１００でＴｖ＝１／４５秒、撮像素子の温度が４５度であった場合の黒浮き量は、図８（ａ）の例では、Ａ／Ｄ変換後のデジタル値で２となる。

例えば、Ａ／Ｄ変換器１０２が１０ビットのデジタル信号に変換する場合、飽和信号の画素値は１０２３である。ここで、ＩＳＯ１６００で撮像素子の温度が６２度、シャッタースピードが１／１５秒である場合、図８（ｂ）より黒浮き量が１２８とする。この場合、飽和信号のＡ／Ｄ変換後の値は、
画素値+黒浮き量
= 1023+128
= 1151

となる必要があるが、１０ビットのＡ／Ｄ変換であるため、１０２３にリミットされてしまう。１０２３から、上述したダークシェーディング補正のための黒画像信号を引くことにより、黒浮き量の１２８ＬＳＢが引かれると
カメラ出力値 − 黒浮き量
= 1023-128
= 895
となる。このように、飽和信号の画素値が１０２３にならない。これが黒浮きに起因する飽和不足の現象である。
本第２の実施形態では、黒浮き量に応じて、被写体撮影時の露光量を適正よりアンダーに設定して被写体を撮影し、被写体画像信号にダークシェーディング補正を実施した後でデジタルゲインをかけることで、飽和レベルを保つ。以下に、詳細な制御方法について記述する。この処理は、図２のステップＳ１２における露出制御時に行えばよい。

先ず、ステップＳ２０１において、撮像素子１０１の黒浮き量を取得する。黒浮き量は撮像素子１０１の感度、温度、及びシャッタースピードに依存するため、各感度毎に予め任意の温度とシャッタースピードで、例えば、図８に示すように黒浮き量を測定しておき、この測定データより撮影時における黒浮き量を推測する。

次に、ステップＳ２０２において、推測した黒浮き量に基づいて露光量を決定する。例えば、黒浮き量が１０ビットの１２８であった場合、ダークシェーディング補正後の飽和画素の信号値Satは以下の通りである。
Sat = 1023-128
= 895

従って、飽和信号値が１０２３でなく、８９５以下になるように露光量をアンダー気味に制御することで、Ａ／Ｄ変換後の飽和信号値を１０２３のリミット以下にすることができる。そして、ダークシェーディング補正により黒浮き量１２８分、信号値が小さくなった値に、１０２３になるように（即ち、露光量の低下を補償するように）デジタルゲインをかければ、飽和信号値を保つことができる。飽和信号値を８９５以下にするには、以下のゲイン以下の露光量を設定すればよい。
Gain = 895/1023
= 0.87

Gain値より、適正露光量より約１／４段アンダー気味に露光量を設定し、被写体の画像を撮影する。この場合、飽和信号の信号値は、
1023×0.8
= 818

となり、黒浮き量が１２８でも、Ａ／Ｄ変換後の信号値は818+128=946となるため、１０ビット以内のレンジに収めることができる。
なお、上記処理により約１／４段アンダー気味にして得られた信号値を適正露光に戻すために、図２のステップＳ２６において、デジタルゲイン回路１０８（増幅手段）により増幅される。この時、上述した露光量の低下を補償するためのゲインとして、１．２５（＝１／０．８）をかければよい。

上記の通り、本第２の実施形態によれば、第１の実施形態の効果に加え、撮像素子に黒浮きが起こった場合であっても、補正残りを低減することが可能となる。

本発明の実施形態における撮像装置の機能構成を示すブロック図である。本発明の第１の実施形態における撮影時の動作を示すフローチャートである。本発明の第１の実施形態の撮像素子における５フィールド読み出し及びブロック分割の一例を説明する為の図である。本発明の第１の実施形態における感度、最低加算画素数、フィールド数の関係を説明する為の図である。本発明の第２の実施形態における黒画像信号の生成手順を示すフローチャートである。本発明の第２の実施形態における黒画像信号の生成手順を説明するための図である。本発明の第２の実施形態における黒画像信号の生成手順を説明するための図である。本発明の第２の実施形態におけるＩＳＯ１００とＩＳＯ１６００での、撮像素子の温度とシャッタースピード（Ｔｖ）に対する黒浮き量の例を示した図である。本発明の第２の実施形態における露光量の設定方法を示すフローチャートである。従来の撮像装置の機能構成を示す概略ブロック図である。

符号の説明

１００黒画像生成部
１０１撮像素子
１０２Ａ／Ｄ変換器
１０３メモリ
１０４ブロック積分回路
１０５メモリ
１０６リサイズ部
１０７減算回路
１０８デジタルゲイン回路
１２０システム制御回路
１２１駆動回路

Claims

光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子と、
前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記複数フィールドの内の一部のフィールドの第２の画像信号を読み出すように制御する制御手段と、
前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均し、該平均したブロック毎の画像信号を、前記第１の画像信号の解像度に変換して第３の画像信号を生成する黒画像生成手段と、
前記第３の画像信号を、前記第１の画像信号から減算する減算手段と、
黒浮き量を取得する取得手段と、
前記取得した黒浮き量の大きさに応じて、前記撮像素子の露光量を減らすように露出を制御する露出制御手段と、
前記露出制御手段により減らされた露光量を補償するように、前記減算手段から出力される画像信号を増幅する増幅手段と
を有することを特徴とする撮像装置。
光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子と、
撮影感度に応じて予め設定された、前記撮像素子から読み出すフィールド数を決定する決定手段と、
前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記決定手段により決定されたフィールド数の第２の画像信号を読み出すように制御する制御手段と、
前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均し、該平均したブロック毎の画像信号を、前記第１の画像信号の解像度に変換して第３の画像信号を生成する黒画像生成手段と、
前記第３の画像信号を、前記第１の画像信号から減算する減算手段と
を有することを特徴とする撮像装置。
光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子と、
撮影感度に応じて予め設定された、前記撮像素子から読み出すフィールド数を決定する決定手段と、
前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記決定手段により決定されたフィールド数の第２の画像信号を読み出すように制御する制御手段と、
前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均して第３の画像信号を生成し、前記第３の画像信号を複数ブロックずつ加算平均して前記ブロック毎に第４の画像信号を生成し、前記第３の画像信号と前記第４の画像信号とを補正テーブルに基づいて前記ブロック毎に加重加算して第５の画像信号を生成し、該第５の画像信号を前記第１の画像信号の解像度に変換して第６の画像信号を生成する黒画像生成手段と、
前記第６の画像信号を、前記第１の画像信号から減算する減算手段と
を有することを特徴とする撮像装置。
前記黒画像生成手段は、前記複数のブロックの内、第１の領域のブロックについて前記第６の画像信号を生成し、前記第１の領域と異なる第２の領域のブロックについて前記第３の画像信号を前記第１の画像信号の解像度に変換した第７の画像信号を出力し、
前記減算手段は、前記第７の画像信号が出力されていれば、前記第１の画像信号から前記第７の画像信号を減算することを特徴とする請求項３に記載の撮像装置。
前記フィールド数は、前記各ブロックについて、感度毎に予め設定された数の画素から前記第２の画像信号が読み出されるように設定されており、
前記予め設定された数は、前記黒画像生成手段により前記第２の画像信号を前記各ブロック毎に平均したときに、該平均した画像信号のランダムノイズが予め設定されたノイズ値よりも低くなる画素数であることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
黒浮き量を取得する取得手段と、
前記取得した黒浮き量の大きさに応じて、前記撮像素子の露光量を減らすように露出を制御する露出制御手段と、
前記露出制御手段により減らされた露光量を補償するように、前記減算手段から出力される画像信号を増幅する増幅手段と
を更に有することを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子を有する撮像装置の制御方法であって、
制御手段が、前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記複数フィールドの内の一部のフィールドの第２の画像信号を読み出すように制御する制御工程と、
黒画像生成手段が、前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均し、該平均したブロック毎の画像信号を、前記第１の画像信号の解像度に変換して第３の画像信号を生成する黒画像生成工程と、
減算手段が、前記第３の画像信号を、前記第１の画像信号から減算する減算工程と、
取得手段が、黒浮き量を取得する取得工程と、
露出制御手段が、前記取得した黒浮き量の大きさに応じて、前記撮像素子の露光量を減らすように露出を制御する露出制御工程と、
増幅手段が、前記露出制御工程において減らされた露光量を補償するように、前記減算工程により減算された画像信号を増幅する増幅工程と
を有することを特徴とする撮像装置の制御方法。
光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子を有する撮像装置の制御方法であって、
決定手段が、撮影感度に応じて予め設定された、前記撮像素子から読み出すフィールド数を決定する決定工程と、
制御手段が、前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記決定工程で決定されたフィールド数の第２の画像信号を読み出すように制御する制御工程と、
黒画像生成手段が、前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均し、該平均したブロック毎の画像信号を、前記第１の画像信号の解像度に変換して第３の画像信号を生成する黒画像生成工程と、
減算手段が、前記第３の画像信号を、前記第１の画像信号から減算する減算工程と
を有することを特徴とする撮像装置の制御方法。
光電変換により得られた１フレーム分の画像信号を複数フィールドに分けて読み出し可能な撮像素子を有する撮像装置の制御方法であって、
決定手段が、撮影感度に応じて予め設定された、前記撮像素子から読み出すフィールド数を決定する決定工程と、
制御手段が、前記撮像素子を露光して１フレーム分の第１の画像信号を読み出すと共に、前記撮像素子を遮光して、前記決定工程で決定されたフィールド数の第２の画像信号を読み出すように制御する制御工程と、
黒画像生成手段が、前記第２の画像信号を、前記１フレームを２次元に分割した複数のブロックのブロック毎に平均して第３の画像信号を生成し、前記第３の画像信号を複数ブロックずつ加算平均して前記ブロック毎に第４の画像信号を生成し、前記第３の画像信号と前記第４の画像信号とを補正テーブルに基づいて前記ブロック毎に加重加算して第５の画像信号を生成し、該第５の画像信号を前記第１の画像信号の解像度に変換して第６の画像信号を生成する黒画像生成工程と、
減算手段が、前記第６の画像信号を、前記第１の画像信号から減算する減算工程と
を有することを特徴とする撮像装置の制御方法。