JP4769634B2 - 撮像装置および撮像装置におけるノイズ除去方法 - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置で主に低輝度の被写体を撮影する際に生じるノイズや手ぶれを軽減する技術に関する。

一般的に、イメージセンサを用いて静止画像を得るディジタルカメラにおいて、被写体輝度が低く、フラッシュ等を使用せずに撮影を行う場合、イメージセンサの電荷蓄積時間を長く（即ちシャッター速度を遅く）したり、イメージセンサからの出力信号の増幅率（一般にＩＳＯ感度）を高くする等して撮影画像の輝度を調節している。

しかし、シャッター速度を遅くすると、撮像中に撮影者の動きによりイメージセンサ上に結像されている像の位置が相対的に動き、いわゆる手ぶれが発生する。反対に感度を高くすると、元々イメージセンサの各画素に蓄積された電荷量が少なく、Ｓ／Ｎが小さい出力信号を高い増幅率で増幅するのでノイズが顕著になるといった問題を有している。

これらの対策として、通常撮影時のｎ倍のシャッター速度、ｎ倍の感度でｎ回露光し（ｎは２以上の整数）、ｎ枚の露光データから手ぶれを電子的に補正し、ノイズを平均化により軽減した１枚の静止画像を得る手法（特許文献１）や、シャッター速度だけをｎ倍し、同様にｎ回露光し、得られたｎ枚の露光データをぶれ量を考慮しながら加算合成して、Ｓ／Ｎを悪化させずにｎ倍の露光量の静止画像を得る手法（特許文献２）などが試みられている。

またそれらの対策とは別に、感度のみをｎ倍にして単一の露光を行い、発生したノイズをノイズ除去処理により軽減する方法も試みられている。
特開２００４−２６６６４８号公報（第４−８頁、第１−７図） 特開２０００−２２４４７０号公報（第５−８頁、第２−７図）

しかしながら、前記の複数回露光を行う手法ではｎ倍の露光量を得るのにｎ回の露光を行うため、露光データの転送量および記憶容量もｎ倍に増加するといった問題がある。

また、感度をｎ倍にした単一の露光の後にノイズ除去処理を行う手法では、露光データのＳ／Ｎが著しく悪化した場合に、ノイズと信号の分離が困難となり、十分なノイズ除去効果が得られないといった問題がある。

本発明は、上記の問題点を解決するためになされたものであり、被写体輝度が低い場合にも、フラッシュや手ぶれ検出センサを必要とせずに、手ぶれやノイズの発生を抑制しつつ、最適な露光量の静止画を得ることができ、記憶容量も削減できる撮像装置を提供することを目的としている。また、撮像装置におけるノイズ除去方法を提供することを目的としている。

本発明による撮像装置は、受光した光を電気信号に変換するイメージセンサと、前記電気信号を増幅する増幅器と、増幅された信号をデジタル信号に変換するＡ／Ｄ変換器と、前記イメージセンサおよび前記増幅器を制御し前記Ａ／Ｄ変換器による前記デジタル信号を処理する信号処理部とを備え、前記信号処理部は、
前記イメージセンサの露光時間を相対的に短くかつ前記増幅器の増幅率を相対的に高く設定するＡ露光で撮像を行ってＡ露光データを取得する手段と、
前記イメージセンサの露光時間を相対的に長くかつ前記増幅器の増幅率を相対的に低く設定するＢ露光で撮像を行ってＢ露光データを取得する手段と、
前記Ｂ露光データを用いた補正により前記Ａ露光データに対してノイズ除去を行う手段とを備えた構成とされている。この構成において、前記信号処理部としては、ＤＳＰ（Digital Signal Processor）または画像処理ＬＳＩが好ましい。

イメージセンサにおける露光時間を短く設定し、イメージセンサ後段の増幅器における増幅率を高く設定して撮像を行うのがＡ露光である。Ａ露光は、シャッター速度が速く、感度も高い。Ａ露光は、シャッター速度が速いので手ぶれは少ないが、低輝度時には画像が暗く、ノイズが増加する傾向をもつ。

一方、イメージセンサにおける露光時間を長く設定し、増幅器における増幅率を低く設定して撮像を行うのがＢ露光である。Ｂ露光は、シャッター速度が遅く、感度は低い。Ｂ露光は、露光時間が長いので低輝度時でも画像は明るく、また、Ｓ／Ｎが良好であるが、シャッター速度が遅いことから手ぶれが大きくなる傾向をもつ。

静止画像のデータを生成するに際して、Ａ露光とＢ露光との両方を行い、Ｂ露光データの画素値を用いてＡ露光データの画素値を補正し、Ａ露光データに対するノイズ除去を行う。その結果、手ぶれが小さくＳ／Ｎが良好な静止画を得ることができる。被写体輝度が低い場合にも、フラッシュや手ぶれ検出センサを必要とせずに、２回以下の露光で手ぶれおよびノイズを抑制しつつ、最適な露光量の静止画を得ることができる。露光回数が少ないので、露光データのデータ量が少なく、高速処理に適しているとともに、記憶容量が少なくてすむ。

上記構成の撮像装置において、前記信号処理部は、さらに、前記ノイズ除去の処理において、前記Ｂ露光データの前記Ａ露光データに対する類似度を小領域毎に算出する手段を備え、前記類似度に応じて前記Ｂ露光データによる前記Ａ露光データに対する補正への寄与度を調整するという態様がある。

ノイズ除去のためのＢ露光データによるＡ露光データに対する補正の度合いつまり寄与度は、画素値のＳ／Ｎによらず、類似度によって異なる。そこで、類似度が高いほど寄与度を高く設定し、逆に、類似度が低いほど寄与度を低く設定する。これにより、Ｂ露光データからのＡ露光データへの補正つまりはＡ露光データに対するノイズ除去の効果を高めることができる。

また、上記構成における前記信号処理部は、前記ノイズ除去の処理において、前記Ａ露光データに基づいて前記Ｂ露光データのぶれ補正を行った後、前記類似度を算出することが好ましい。

シャッター速度が速いＡ露光データに対してシャッター速度が遅いＢ露光データは手ぶれの要素をより多く含んでいると考えられる。そこで、Ｂ露光データによるＡ露光データに対する補正を行うのに先立って、Ａ露光データに基づいてＢ露光データのぶれ補正を行い、類似度を補正する。この補正された類似度に応じてＢ露光データからのＡ露光データへの補正の寄与度が調整されることになる。その結果として、Ｂ露光データによるＡ露光データのノイズ除去の効果をさらに高めることができる。

また、上記構成の前記信号処理部は、前記Ａ露光データに基づく前記Ｂ露光データのぶれ補正を、前記Ｂ露光データの前記Ａ露光データに対する類似度が所定値以下の条件下でのみ行うという態様がある。

Ｂ露光データが手ぶれの要素をより多く含んでいる可能性が高くても、常にそうであるとは限らない。状況によっては、Ｂ露光データに手ぶれが充分に少ない場合も起こり得る。そこで、Ｂ露光データのＡ露光データに対する類似度を調べ、類似度が所定値以下の場合に限ってＡ露光データに基づくＢ露光データのぶれ補正を行うこととしたものである。類似度が相対的に高い場合には、ぶれ補正を省略するので、その分の高速化を図ることができる。

また、上記構成の前記信号処理部は、前記Ａ露光データに基づく前記Ｂ露光データのぶれ補正において、前記Ａ露光データによるぶれ補正への寄与度を、前記Ａ露光データの画素値または小領域の平均輝度に応じて調整するという態様がある。

このように構成すれば、暗電流ノイズが顕著になる低輝度領域ほどぶれ補正の寄与度を小さくするなどして、Ａ露光データに基づくＢ露光データのぶれ補正への悪影響を低減することができる。

また上記構成において、前記イメージセンサが単一であり、前記信号処理部は、前記単一のイメージセンサを用いて、前記Ａ露光を行った後に前記Ｂ露光を行うという態様がある。あるいは、前記イメージセンサが複数であり、前記信号処理部は、前記複数のイメージセンサを用いて、前記Ａ露光と前記Ｂ露光を同時に行うという態様もある。複数のイメージセンサを搭載してＡ露光とＢ露光を同時に行う場合には、信号処理部による信号処理をシャッター速度の遅いＢ露光の終了後にすぐに開始することができ、処理時間の短縮が可能になる。

また上記構成において、前記イメージセンサは、Ｘ−Ｙアドレス型に構成され蓄積電荷のリセットタイミングがライン単位で制御可能な撮像素子のアレイと、前記撮像素子のアレイからの信号を増幅し、その増幅率がライン単位で変更可能な増幅部とを有するものに構成され、ライン毎に露光時間と増幅率を調整しながら前記Ａ露光と前記Ｂ露光を同時に行うという態様がある。

この構成においては、イメージセンサを単一としながら、Ａ露光とＢ露光とを同時に実行することができ、処理時間の短縮が可能になる。

また上記構成において、前記信号処理部は、前記Ａ露光および前記Ｂ露光によるデータを所要のライン数分だけ格納するラインメモリを有し、前記ラインメモリ上で前記ノイズ除去の処理を行うという態様がある。このように構成することにより、ノイズ除去処理のために必要なメモリ容量を大幅に削減することができる。

また、本発明による撮像装置におけるノイズ除去方法は、
イメージセンサから得られる露光データについて、前記イメージセンサのシャッター速度を高速かつ感度を高く設定するＡ露光で撮像を行ってＡ露光データを取得するステップと、
前記イメージセンサのシャッター速度を低速かつ感度を低く設定するＢ露光で撮像を行ってＢ露光データを取得するステップと、
前記Ｂ露光データを用いた補正により前記Ａ露光データに対してノイズ除去を行うステップと、
前記ノイズ除去の処理において、前記Ｂ露光データの前記Ａ露光データに対する類似度を小領域毎に算出するステップとを含み、
前記ノイズ除去の処理において、前記Ａ露光データに基づいて前記Ｂ露光データのぶれ補正を行った後、前記類似度を算出し、前記類似度に応じて前記Ｂ露光データによる前記Ａ露光データに対する補正への寄与度を調整するものである。

上記の撮像装置におけるノイズ除去方法において、前記感度については、これを前記イメージセンサからの信号を増幅する増幅器の増幅率とすることが好ましい。

本発明によれば、被写体輝度が低い場合にも、フラッシュや手ぶれ検出センサを必要とせずに、２回以下の露光で手ぶれやノイズを抑制しつつ、最適な露光量の静止画を得ることができる。

以下、本発明の実施の形態における撮像装置について図面を参照しながら説明する。

（実施の形態１）
図１は本発明の実施の形態１における撮像装置の概略構成を示すブロック図である。図１において、１は撮像装置外部からの光を取り込むためのレンズ、２はレンズ１から入射した光を指定の期間（１／シャッター速度）だけ通過させるためのメカシャッター、３は入射した光を光電変換により電荷として蓄積し、アナログ信号として出力するためのイメージセンサ、４はアナログ信号を指定倍率（感度）だけ増幅するための増幅器、５はアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器、６はデジタル信号にさまざまな信号処理を施すための信号処理部（ＤＳＰまたは信号処理ＬＳＩ）、７はイメージセンサ３に対して電荷の転送を行わせる転送パルスや、電荷の蓄積時間を決定する電子シャッターパルスなどの駆動パルスを与えるためのタイミングジェネレータ（ＴＧ）、８は信号処理部６により処理されたデジタル信号をデータとして一時的に記憶するためのフレームメモリ、９はフレームメモリ８上のデータを最終的に保存するための記録メディアである。

次に、上記のように構成された本実施の形態の撮像装置の動作を図２のフローチャートに従って説明する。

まず、ステップＳ１において、Ａ露光を実行してＡ露光データＥａを取得する。すなわち、Ａ露光おいて、信号処理部６はメカシャッター２とタイミングジェネレータ７に対し高速シャッター（短い露光時間）を指定し、さらにタイミングジェネレータ７はイメージセンサ３に対して電荷の蓄積時間が短くなるよう電子シャッターパルスを与える。また、信号処理部６は増幅器４に対して高感度（高い増幅率）を指定する。これにより高速シャッター、高感度による露光が行われ、信号処理部６はＡ露光データＥａを得てフレームメモリ８に格納する。

次いでステップＳ２において、Ｂ露光を実行してＢ露光データＥｂを取得する。すなわち、Ｂ露光おいて、信号処理部６はメカシャッター２とタイミングジェネレータ７に対し低速シャッター（長い露光時間）を指定し、さらにタイミングジェネレータ７はイメージセンサ３に対して電荷の蓄積時間が長くなるよう電子シャッターパルスを与える。また、信号処理部６は増幅器４に対して低感度（低い増幅率）を指定する。これにより低速シャッター、低感度による露光が行われ、信号処理部６はＢ露光データＥｂを得てフレームメモリ８に格納する。

なお、Ａ露光、Ｂ露光の順序については、図９（ａ）に示すように、まずシャッター速度の速いＡ露光を行った後に、シャッター速度の遅いＢ露光を行うものとする。これは、最終的に記録メディア９に保存される画像がＡ露光データＥａに対してノイズ除去を行ったものであり、撮影者の意図したタイミングの静止画を得るには、Ａ露光データＥａを先に露光することが望ましいためである。

ただし、イメージセンサ３を複数用いた場合は、図９（ｂ）に示すように、Ａ露光、Ｂ露光を同時に行うことが可能である。この場合、信号処理部６による信号処理はシャッター速度の遅いＢ露光の終了後にすぐに開始することができ、撮影時間の短縮が可能になる。

次いでステップＳ３において、信号処理部６はフレームメモリ８上の露光データＥａ，Ｂ露光データＥｂを図３の（ａ），（ｂ）のように小領域に分割する。

次いでステップＳ４において、Ａ露光データＥａ、Ｂ露光データＥｂの各小領域についてループ処理の設定を行う。

そして、ステップＳ５において、小領域毎にＡ露光データＥａ、Ｂ露光データＥｂの類似度Ｓを求める。それにはまず、小領域毎に、Ａ露光データＥａの画素値の平均値Ｍ_E1、Ｂ露光データＥｂの画素値の平均値Ｍ_E2を求める。そして、類似度Ｓは、Ｍ_E1，Ｍ_E2の差が小さい領域ほど高くなるように定義する。以下に、類似度Ｓの計算式を示す。

Ｓ＝（２n −１）−｜Ｍ_E1−Ｍ_E2｜， （ｎは露光データのビット数）
これにより、Ａ露光データＥａに対してＢ露光データＥｂは、手ぶれ等により類似度Ｓがやや低い領域Ｑ１、被写体ぶれや新たな被写体が画面に進入することにより類似度Ｓが著しく低い領域Ｑ２、ぶれの影響があまり目立たず類似度Ｓが高い領域Ｑ３に分けられる。仮に類似度Ｓを画像として表現すると、図３（ｃ）のようになる。なお、類似度Ｓは小領域毎に参照できればよいので、露光データ全体に対応する類似度Ｓを記憶するためのフレームメモリは不要である。

次いでステップＳ６において、上記で求めた類似度Ｓが閾値ＴＨｓ未満であるか否かを判断する。この判断結果がＮｏで、類似度Ｓが閾値ＴＨｓ以上である場合、Ｂ露光データＥｂをＡ露光データＥａに対するノイズ除去処理の基準にしても問題ないものとして、信号処理部６はステップＳ９に進んで、以下のノイズ除去処理を行う。

図４（ａ），（ｂ）はフレームメモリ８上のＡ露光データＥａ、Ｂ露光データＥｂとその一部を拡大したものである。まず、Ａ露光データＥａ上の処理対象の画素ｐ１の画素値をＰａ、Ｂ露光データＥｂ上の対応する座標の画素ｐ２の画素値をＰｂとして、画素値Ｐａと画素値Ｐｂの差分ΔＰを以下の式により求める。

ΔＰ＝｜Ｐａ−Ｐｂ｜
次に、画素値Ｐａとその周辺８画素ｐｃの加算平均値Ｐｍを以下の式により求める。

Ｐｍ＝Σ｛Ｐａ，Ｐｃ｝／９
ここで、露光条件から通常、画素値Ｐｂは画素値ＰａよりもＳ／Ｎが良いので、差分ΔＰが大のときは、画素値Ｐａはノイズである可能性が高く、反対に差分ΔＰが小のときは、画素値Ｐａは正常な値である可能性が高い。したがって、ノイズ除去後の画素値Ｐａ′については、図５のグラフのように、差分ΔＰが閾値ＴＨ未満においては、画素値Ｐａの値をそのまま使用する。一方、差分ΔＰが閾値ＴＨ以上においては、画素値Ｐａ′は加算平均値Ｐｍの値に補正傾きＧで近づきノイズが平滑化されるように処理される。これを式で表すと以下のようになる。

Ｐａ′＝Ｐａ＋Ｇ（ΔＰ−ＴＨ），
（ただし、Ｐａ≦Ｐａ′≦Ｐｍもしくは Ｐｍ≦Ｐａ′≦Ｐａ）
Ｇ＝Ｇ′（Ｐｍ−Ｐａ）， （Ｇ′は補正傾きゲイン）
ただし、３本の斜線で示すように、画素値ＰａのＳ／Ｎによらず、類似度Ｓが低い（画素値Ｐｂが画素値Ｐａに対してぶれている）ほど差分ΔＰが大きく、類似度Ｓが高いほど差分ΔＰが小さくなり、理想の補正傾きに対してズレが生じる。そのため、補正傾きゲインＧ′を以下のように定義し、ズレを補正する。

Ｇ′＝αＳ， （αは定数）
これにより、類似度Ｓが高い領域ほど補正傾きＧが大きくなり、画素値Ｐｂからなる差分ΔＰの項の画素値Ｐａ′に対する寄与度が大きく、つまりはＢ露光データＥｂのノイズ除去に対する寄与度が高くなる。つまり、類似度Ｓが高いほどノイズ除去効果が大きい。そして、画素値Ｐａ′を小領域の先頭から終端まで座標をずらしつつ計算し、ノイズ除去後データＥａ′を得てフレームメモリ８に格納する。

以上のステップＳ６→ステップＳ９のノイズ除去処理を行うことで、Ｓ／Ｎが著しく悪く、単一の露光データからではノイズであるか信号であるか判別できないような場合においても、類似度Ｓが比較的大きい場合には、ステップＳ７→Ｓ８を経ることなく、十分なノイズ除去効果を得ることができる。なお、Ｐｍとしては、単純な加算平均以外に、メディアンフィルタや、最近値フィルタなどの結果を使用しても良い。

一方、類似度Ｓが閾値ＴＨｓ未満である場合は、Ｂ露光データＥｂによるＡ露光データＥａに対する補正を行ってノイズ除去を行う前に、ステップＳ７に進んで、Ａ露光データＥａに基づいてＢ露光データＥｂのぶれ補正を行い、次いでステップＳ８において、類似度Ｓを再度算出する。以下、図６にＡ露光データＥａに基づくＢ露光データＥｂのぶれ補正の手順を示す。

まずステップＳ１１において、図７のように、ＨＰＦ（ハイパスフィルタ）によって、Ａ露光データＥａ、Ｂ露光データＥｂからＡエッジ成分Ｄ１、Ｂエッジ成分Ｄ２を小領域毎に抽出する。なお、エッジ成分の抽出については、ソーベルフィルタやラプラシアンフィルタなど特に限定はしない。また、エッジ成分は小領域毎に参照できればよいので、露光データ全体に対応するエッジ成分を記憶するためのフレームメモリは不要である。

次いでステップＳ１２において、Ａエッジ成分Ｄ１のピーク位置ｄ１を基準とした、Ｂエッジ成分Ｄ２のピーク位置ｄ２の差分から、Ｂ露光データＥｂのＡ露光データＥａに対する動きベクトルＶを求める。Ａエッジ成分Ｄ１のピーク位置ｄ１を（ｘａ,ｙａ）、Ｂエッジ成分Ｄ２のピーク位置ｄ２を（ｘｂ，ｙｂ）とすると、動きベクトルＶは以下のように定義される。

Ｖ＝（ｘｂ−ｘａ，ｙｂ−ｙａ）
ただし、動きベクトルＶは、Ａ露光データＥａのノイズレベルが高い領域では精度が低下する可能性がある。また、一般に露光データのノイズレベルは輝度によって変化する。

よって、ステップＳ１３において、Ａ露光データＥａの小領域における平均輝度Ｙに応じて動きベクトルＶの補正を行うことでＡ露光データＥａによるＢ露光データＥｂのぶれ補正への寄与度を調整する。

以下に補正後の動きベクトルＶ′の計算式を示す。

Ｖ′＝ｇ０Ｖ＋（ｇ１Ｖ−ｇ０Ｖ）・Ｙ／Ｙ１ （Ｙ＜Ｙ１のとき）
Ｖ′＝ｇ１Ｖ＋（ｇ２Ｖ−ｇ１Ｖ）・（Ｙ−Ｙ１）／（Ｙ２−Ｙ１） （Ｙ１≦Ｙ＜Ｙ２のとき）
Ｖ′＝ｇ２Ｖ＋（ｇ３Ｖ−ｇ２Ｖ）・（Ｙ−Ｙ２）／（Ｙ３−Ｙ２） （Ｙ２≦Ｙ＜Ｙ３のとき）
Ｖ′＝ｇ３Ｖ （Ｙ３≦Ｙのとき）
ただし、ｇ０，ｇ１，ｇ２，ｇ３は１以下の定数である。

これにより、補正後の動きベクトルＶ′は図８のグラフのように平均輝度Ｙに応じて大きさを変化させることができ、暗電流ノイズが顕著になる低輝度領域ほど補正後の動きベクトルＶ′を小さくするなどして、Ａ露光データＥａに基づくＢ露光データＥｂのぶれ補正への悪影響を低減することができる。

次いでステップＳ１４において、以上で求めた補正後の動きベクトルＶ′から回復フィルタを算出する。

次いでステップＳ１５において、Ｂ露光データＥｂに対して回復フィルタを適用することによりぶれ補正を行い、ぶれ補正後のＢ露光データＥｂ′を求める。

そして、ステップＳ８において、ぶれ補正後のＢ露光データＥｂ′に対して類似度Ｓを再度算出する。

なお、回復フィルタの算出は、ＭＰＥＧ等で用いられる動きベクトル補正を行った後、画像の相関を基に生成する方法などについては、特に限定はしない。また、エッジ成分を抽出せずに、露光データに対して直接動きベクトルを求めても良いし、逆フィルタやウイナーフィルタを用いてぶれ補正を行っても良い。

最後にステップＳ９に進んで、更新された類似度Ｓに基づいて、類似度ＳがＴＨｓ以上のときと同様にノイズ除去処理を行い、Ａ露光データＥａ′を得てフレームメモリ８に書き込む。

以上の処理を、対象とする小領域を切替えながら露光データ全体について実行し、最終的にフレームメモリ８に蓄積された露光データ全体に相当するＡ露光データＥａ′を記録メディア９に保存する。これにより、手ぶれやノイズの発生を抑制しつつ、最適な露光量の静止画を得ることができる。

（実施の形態２）
本発明の実施の形態２における撮像装置は、イメージセンサを単一としながら、Ａ露光とＢ露光を同時に行うようにしたものである。

イメージセンサ３として、Ｘ−Ｙアドレス型に構成され蓄積電荷のリセットタイミングがライン単位で制御可能な撮像素子のアレイと、撮像素子のアレイからの信号を増幅し、その増幅率がライン単位で変更可能な増幅部とを有するものに構成されたイメージセンサが採用されている。そして、ライン毎に露光時間（シャッター速度）と増幅率（感度）を調整しながらＡ露光とＢ露光を同時に行うようになっている。

図１０は本発明の実施の形態２におけるイメージセンサ３の構造を示したものである。複数の撮像素子５１からエリアセンサ５２が構成されている。垂直シフトレジスタ５３は、電荷読出しタイミング基準信号ＲＤが与えられると、時間経過に従って順次シフトすることで、エリアセンサ５２の各ラインに対する電荷読出しタイミング信号ＲＤ０，ＲＤ１，…を電荷読出し制御部５６に送出するように構成されている。

リセット用シフトレジスタ５４は、電荷リセットタイミング基準信号ＲＴが与えられると、時間経過に従って順次シフトすることで、エリアセンサ５２の各ラインに対する電荷リセットタイミング信号ＲＴ０，ＲＴ１，…を電荷読出し制御部５６に送出するように構成されている。

リセットマスク制御部５５は、リセット用シフトレジスタ５４からの電荷リセットタイミング信号ＲＴ０，ＲＴ１，…を個別にマスクし、電荷読出し制御部５６に送出することを許可または禁止する制御を行う。

電荷読出し制御部５６は、電荷読出しタイミング信号と電荷リセットタイミング信号を入力とし、エリアセンサ５２の各ラインに対して電荷の読出しおよび掃出し（撮像素子の蓄積電荷をゼロにする）の制御を行い、電荷リセットタイミング信号が入力されているときは、電荷リセットタイミング信号から電荷読出しタイミング信号までの期間を露光時間として撮像素子に電荷を蓄積させ、電荷リセットタイミング信号が入力されていないときは、電荷読出しタイミング信号から次の電荷読出しタイミング信号までを露光時間として電荷を蓄積させるように制御を行う。その後、ライン単位に露光し蓄積された電荷は水平シフトレジスタ５７に垂直転送される。

水平シフトレジスタ５７は転送されてきた電荷を１画素分ずつ水平に転送し、転送された電荷は増幅部５９で増幅され電圧信号に変換される。

増幅率制御部５８は、高増幅率ＡＧｈ、低増幅率ＡＧｌを入力とし、電荷読出し制御部５６から転送中のライン番号を受け取り、ライン番号をもとに増幅部５９に対して増幅率ＡＧ（ＡＧｈ、ＡＧｌのいずれか）を設定する。

以上の構成のイメージセンサ３を使用して、Ａ露光、Ｂ露光をライン単位で同時に行う方法を以下に示す。

まず、図１１に示すように、一般に原色イメージセンサはＲ，Ｇｒ，Ｇｂ，Ｂの色別の撮像素子からなるベイヤー配列を構成しているため、Ａ露光、Ｂ露光は２ライン毎に切り替えて行うこととする。そして、リセットマスク制御部５５は４ｎ，４ｎ＋１ライン目（ｎは整数）では電荷リセットタイミング信号の送出を許可し、４ｎ＋２，４ｎ＋３ライン目では、電荷リセットタイミング信号の送出を禁止するように設定を行う。また、増幅率制御部５８は４ｎ，４ｎ＋１ライン目では増幅率ＡＧ＝ＡＧｈ、４ｎ＋２，４ｎ＋３ライン目では増幅率ＡＧ＝ＡＧｌとするように設定を行う。

以上により、図１２のように、露光時間はライン０，１では電荷リセットタイミング基準信号ＲＴ０，ＲＴ１から電荷読出しタイミング基準信号ＲＤ０，ＲＤ１までのＴ_S となり、ライン２，３ではＲＴ２，ＲＴ３からＲＤ２，ＲＤ３までのＴ_L となる。このとき、メカシャッター２は長い方の露光時間Ｔ_L に合わせて動作させればよい。また、増幅率はライン０，１ではＡＧ＝ＡＧｈ、ライン２，３ではＡＧ＝ＡＧｌとなる。

したがって、図９（ｃ）のようにＡ露光、Ｂ露光を４ライン単位で同時に行うことが可能となる。ただし、各ラインの露光開始タイミングは、ライン単位で電荷を転送することにより転送時間だけずれるため、完全に同時ではない。しかしながら、転送時間分のずれを加味しても、実施の形態１で単一のイメージセンサ３を使用する場合より撮影時間を短くすることが可能である。

また、２ライン毎にＡ露光、Ｂ露光を切り替えているため、当然ながら得られる静止画像の垂直解像度は実施の形態１に対して半分となる。しかしながら本実施の形態は、製造コストや消費電力においては複数のイメージセンサ３を使用する場合よりも抑えることができる。

なお、Ａ露光、Ｂ露光の垂直位相が２画素分ずれるため、そのままでは類似度Ｓの算出や、ぶれ補正、ノイズ除去処理が行えないが、図１３のように補間処理を行うことで対処する。ベイヤー配列中のＲに注目して、ノイズ除去処理におけるＡ露光での画素値Ｐａ、Ｂ露光での画素値Ｐｂに対して、ノイズ除去の処理範囲が６１、類似度Ｓ算出およびぶれ補正における小領域が６２となり、それぞれの処理に必要になる図中太字の画素は上下の画素の平均により求められる。

さらに、Ａ露光データＥａ、Ｂ露光データＥｂをノイズ除去処理（前処理の類似度Ｓ算出、ぶれ補正も含む）に最低限必要なライン数分だけ格納するラインメモリを備え、ラインメモリ上でノイズ除去処理を行うことでフレームメモリ８の使用量を削減することが可能である。

実施の形態１ではＡ露光データＥａ、Ｂ露光データＥｂはフレーム単位（１画面分）かつ時系列で得られるため、露光データを格納するメモリもフレーム単位で持たなければならない。しかし本実施の形態では、２ライン毎にＡ露光データＥａ、Ｂ露光データＥｂが交互に得られるため、露光データを格納するメモリも２ライン単位で持つことができる。例えば、図１３に示した処理の場合は、Ａ露光データＥａ、Ｂ露光データＥｂの合計１４ライン×９画素のデータを格納なラインメモリを有し、ノイズ除去の処理範囲６１、類似度Ｓ算出およびぶれ補正における小領域６２を、処理の進捗に伴い画素値Ｐａを中心として移動させることで、図１４のタイミング図のように露光からノイズ除去までの処理を１４ライン単位でパイプライン化することが可能である。よって、本実施の形態は実施の形態１よりも必要とするメモリ量を大幅に削減することが可能である。

本発明は、低輝度の被写体を撮影する際に生じるノイズや手ぶれを軽減する技術に関し、フラッシュ等を用いずにＳ／Ｎが高く、手ぶれのない静止画像を得ることができるため、デジタルカメラ等の小型化、高画質化等において有用である。

本発明の実施の形態１における撮像装置の概略構成を示すブロック図 本発明の実施の形態１における撮像装置の動作を示すフローチャート 本発明の実施の形態１における類似度の概念図 本発明の実施の形態１におけるノイズ除去処理範囲の概念図 本発明の実施の形態１におけるノイズ除去処理に関する特性図 本発明の実施の形態１におけるぶれ補正のフローチャート 本発明の実施の形態１における動きベクトルの概念図 本発明の実施の形態１における動きベクトルの補正に関する特性図 本発明の実施の形態１，２における処理のタイミングチャート 本発明の実施の形態２において使用するイメージセンサの構成を示すブロック図 本発明の実施の形態２におけるベイヤー配列とＡ露光、Ｂ露光の対応図 本発明の実施の形態２におけるライン毎の露光時間と増幅率の関係図 本発明の実施の形態２における画素補間の概念図 本発明の実施の形態２におけるパイプライン処理のタイミングチャート

符号の説明

１ レンズ
２ メカシャッター
３ イメージセンサ
４ 増幅器
５ Ａ／Ｄ変換器
６ 信号処理部
７ タイミングジェネレータ（ＴＧ）
８ フレームメモリ
９ 記録メディア
５１ 撮像素子
５２ エリアセンサ
５３ 垂直シフトレジスタ
５４ リセット用シフトレジスタ
５５ リセットマスク制御部
５６ 電荷読出し制御部
５７ 水平シフトレジスタ
５８ 増幅率制御部
５９ 増幅部
Ｑ１ 類似度Ｓがやや低い領域
Ｑ２ 類似度Ｓが著しく低い領域
Ｑ３ 類似度Ｓが高い領域

Claims (9)

1. 受光した光を電気信号に変換するイメージセンサと、
   前記電気信号を増幅する増幅器と、
   増幅された信号をデジタル信号に変換するＡ／Ｄ変換器と、
   前記イメージセンサおよび前記増幅器を制御し前記Ａ／Ｄ変換器による前記デジタル信号を処理する信号処理部とを備え、
   前記信号処理部は、
   前記イメージセンサの露光時間を相対的に短くかつ前記増幅器の増幅率を相対的に高く設定するＡ露光で撮像を行ってＡ露光データを取得する手段と、
   前記イメージセンサの露光時間を相対的に長くかつ前記増幅器の増幅率を相対的に低く設定するＢ露光で撮像を行ってＢ露光データを取得する手段と、
   前記Ｂ露光データを用いた補正により前記Ａ露光データに対してノイズ除去を行う手段と、
   前記ノイズ除去の処理において、前記Ｂ露光データの前記Ａ露光データに対する類似度を小領域毎に算出する手段とを備え、
   前記ノイズ除去の処理において、前記Ａ露光データに基づいて前記Ｂ露光データのぶれ補正を行った後、前記類似度を算出し、前記類似度に応じて前記Ｂ露光データによる前記Ａ露光データに対する補正への寄与度を調整する撮像装置。
2. 前記信号処理部は、前記Ａ露光データに基づく前記Ｂ露光データのぶれ補正を、前記Ｂ露光データの前記Ａ露光データに対する類似度が所定値以下の条件下でのみ行う請求項１に記載の撮像装置。
3. 前記信号処理部は、前記Ａ露光データに基づく前記Ｂ露光データのぶれ補正において、前記Ａ露光データによるぶれ補正への寄与度を、前記Ａ露光データの画素値または小領域の平均輝度に応じて調整する請求項１または請求項２に記載の撮像装置。
4. 前記イメージセンサが単一であり、前記信号処理部は、前記単一のイメージセンサを用いて、前記Ａ露光を行った後に前記Ｂ露光を行う請求項１から請求項３までのいずれかに記載の撮像装置。
5. 前記イメージセンサが複数であり、前記信号処理部は、前記複数のイメージセンサを用いて、前記Ａ露光と前記Ｂ露光を同時に行う請求項１から請求項３までのいずれかに記載の撮像装置。
6. 前記イメージセンサは、Ｘ−Ｙアドレス型に構成され蓄積電荷のリセットタイミングがライン単位で制御可能な撮像素子のアレイと、前記撮像素子のアレイからの信号を増幅し、その増幅率がライン単位で変更可能な増幅部とを有するものに構成され、ライン毎に露光時間と増幅率を調整しながら前記Ａ露光と前記Ｂ露光を同時に行う請求項１から請求項３までのいずれかに記載の撮像装置。
7. 前記信号処理部は、前記Ａ露光および前記Ｂ露光によるデータを所要のライン数分だけ格納するラインメモリを有し、前記ラインメモリ上で前記ノイズ除去の処理を行う請求項６に記載の撮像装置。
8. イメージセンサから得られる露光データについて、前記イメージセンサのシャッター速度を高速かつ感度を高く設定するＡ露光で撮像を行ってＡ露光データを取得するステップと、
   前記イメージセンサのシャッター速度を低速かつ感度を低く設定するＢ露光で撮像を行ってＢ露光データを取得するステップと、
   前記Ｂ露光データを用いた補正により前記Ａ露光データに対してノイズ除去を行うステップと、
   前記ノイズ除去の処理において、前記Ｂ露光データの前記Ａ露光データに対する類似度を小領域毎に算出するステップとを含み、
   前記ノイズ除去の処理において、前記Ａ露光データに基づいて前記Ｂ露光データのぶれ補正を行った後、前記類似度を算出し、前記類似度に応じて前記Ｂ露光データによる前記Ａ露光データに対する補正への寄与度を調整する撮像装置におけるノイズ除去方法。
9. 前記感度を前記イメージセンサからの信号を増幅する増幅器の増幅率とする請求項８に記載の撮像装置におけるノイズ除去方法。

Images