JP6501619B2 - 撮像装置、撮像方法 - Google Patents

Description

本発明は、複数コマの画像データに画像合成処理を行って１コマの合成画像データを算出する撮像装置、撮像方法に関する。

従来より、一眼レフレックス式の撮像装置においては、被写体像の観察を光学式ファインダにより行っている。これに対して近年では、光学式ファインダを廃してライブビュー表示により被写体像を観察する撮像装置が普及してきている。ここに、ライブビューは、イメージセンサから読み出した画像を液晶モニタ等にリアルタイムに表示する方式である。また、液晶モニタに加えて、さらに電子ビューファインダを備える撮像装置も販売されており、こうした撮像装置では液晶モニタを介した観察と電子ビューファインダを介した観察とが切り換え可能となっている。そして、電子ビューファインダを介してライブビュー画像を観察すると、液晶モニタを介してライブビュー画像を観察するよりも、光学ファインダに近い感覚での観察が可能である。

しかし従来は、光学ファインダを用いる場合と、電子ビューファインダを用いる場合との何れであっても、バルブ撮影のような長時間露出を行っている最中にイメージセンサから画像信号を読み出すことができなかったために、撮影の途中で被写体の露出状態を確認することができず、画像の確認は撮影が終了してからであった。このために、撮影者は、被写体の明るさなどに基づいて撮影者自身で露出時間等の露出設定を推定して、露出を開始し、露出を終了することとなっていた。このために、露出不足や露出過多による撮影失敗をすることなく、所望の撮影画像を得ることは容易ではなかった。

そこで、例えば特開２００５−１１７３９５号公報には、所定の時間間隔でイメージセンサから画素信号を読み出し、この画像信号をイメージセンサから読み出す毎に単純に累積加算して得られた画像を液晶モニタに表示する撮像装置が記載されている。このような撮像装置によれば、バルブ撮影等の長時間撮影時に途中経過が表示されるために、撮影の失敗を減らすことができる。

また、特許第４１４８５８６号公報には、連続的にイメージセンサから画像信号を読み出して、読み出した画像信号を比較明合成処理することにより、バルブ撮影画像を生成する撮像装置が記載されている。ここに、比較明合成処理は、画像データを構成する画素の画素値を画素毎に比較して、大きい方の画素値を選択して合成後の画素値とする画像合成処理である。

ところで、イメージセンサの特性として、種々のノイズが発生する。例えば、イメージセンサの各画素に設けられているフォトダイオードでは、暗電流に起因する暗電流ノイズ、暗電流ノイズに起因する暗電流ショットノイズ、入射した光を光電変換するときに発生する光ショットノイズなどが発生する。さらに、読出回路においてもリセットノイズやアンプノイズなどの回路ノイズが発生する。これらのノイズが、ランダムノイズや固定パターンノイズとして画素毎、ライン毎、行毎に画素値をバラつかせ、画像面内の画素値ムラ（シェーディング）として画像に表れる。

これらのノイズは、撮影条件に応じてノイズ量が変化し、さらに画像合成を行う場合にはどのような画像合成処理を用いるかに応じてノイズ量が変化する。例えば、暗電流ノイズについては、イメージセンサの温度が高いほど、そして露出時間（シャッタ速度）が長いほど、ノイズ量が大きくなる傾向がある。さらに、上述した各ノイズは、撮像装置のＩＳＯ感度設定が高いほど大きくなる。

また、画像合成処理に関して、加算合成を用いる場合には、画像の合成枚数が多くなるほどノイズが積算されて行くために、ノイズ量は大きくなって行く。また、加算平均合成を用いる場合には、合成対象の各画像に含まれている固定パターンノイズは、画像合成後もノイズ量が基本的に変化しない。一方、ランダムノイズは、加算平均合成における画像の合成枚数が多くなるほど平均化されて行くために、ノイズ量が小さくなって行く。さらに、比較明合成または比較暗合成を用いる場合には、固体パターンノイズは加算平均合成と同様に基本的に変化しない。これに対して、ランダムノイズは、比較明合成の場合にはランダムに変化する画素値の内の一番大きい値に、比較暗合成の場合にはランダムに変化する画素値の内の一番小さい値に、各画素の画素値が収束して行くために、画素毎の画素値のばらつきが小さくなる傾向にある。

さらに、バルブ撮影においては、暗電流による固定パターンノイズを補正するために、ＦＰＮ（Fixed Pattern Noise：固定パターンノイズ）キャンセル処理を行うことがある。このＦＰＮキャンセル処理は、光学シャッタを開けて明時画像を撮影した後に、光学シャッタを閉じて明時画像と同じ露出時間で暗時画像を自動撮影し、イメージセンサの後段に設けられている画像処理回路によって明時画像データから暗時画像データを減算することにより、固定パターンノイズを補正する処理である。このＦＰＮキャンセル処理を行う場合には、固定パターンノイズは補正されるが、ランダムノイズは明時画像のノイズと暗時画像のノイズとが累積されることになるために増加する。

そして、撮影条件の異なる（つまり、ノイズ量の異なる）画像同士を合成する場合においては、ランダムノイズだけでなく、固定パターンノイズ量も画像毎に変動するために、ノイズ量がより複雑に変化することになる。

このように撮影条件や画像合成処理に応じて、合成画像のノイズ量は異なる。

一方、撮影者は、撮影を行う際に、合成画像の画質に関係するノイズ感を官能的に判断する。例えば、上記特開２００５−１１７３９５号公報に記載の技術では、画像合成の経過を液晶モニタなどに表示するために合成中の画像の画質を確認することが原理的に可能であるが、実際には、撮像装置に付属する液晶モニタ、あるいは撮像装置と例えば無線接続されたスマートフォンなどでは、画面が小型であるために画素毎のノイズを詳細に確認することは困難である。また、バルブ撮影の主な被写体は、例えば、星空、花火、ホタルなどであるために、バルブ撮影が行われる場所は夜の暗い場所が多い。こうした撮影時の暗い場所は、撮影後に昼間や明るい部屋で画像を鑑賞するときとはノイズの視認性が異なるために、撮影者が満足するノイズ量であるか否かを正確に判断することが難しい。

合成画像のノイズ量を重要視している撮影者は、合成後のノイズ量がどの程度であるかに応じて撮影を終了するタイミングを判断することがあると考えられるが、上述したように、画像を撮影中にノイズ量を把握することができないために、撮影終了のタイミングを正確に判断することが難しい。

ところで、特開２００５−２０５６２号公報には、イメージセンサのＯＢ（オプティカルブラック）画素から出力された画素値に基づいて算出したノイズ量に応じて、ノイズ補正処理を変更する技術が記載されている。しかし、該公報に記載の技術では撮影者が撮影中にノイズ量を把握することはできず、該公報では上述したような様々な画像合成処理を行った場合のノイズ量を正確に算出することは考慮されていない。

特開２００５−１１７３９５号公報 特許第４１４８５８６号公報 特開２００５−２０５６２号公報

こうして、従来の技術では、複数コマの画像データを画像合成処理して算出される１コマの合成画像データのノイズ量を、撮影中に正確に把握することは困難であった。

本発明は上記事情に鑑みてなされたものであり、複数コマの画像データを画像合成処理して算出される１コマの合成画像データのノイズ量を、撮影中に正確に把握することができる撮像装置、撮像方法を提供することを目的としている。

本発明のある態様による撮像装置は、被写体の光学像に係る画像データを生成するための有効画素群と、該有効画素群の周辺に遮光して配置され遮光画素データを生成するための遮光画素群と、を有する撮像素子と、上記有効画素群から順次に読み出された複数コマの上記画像データに画像合成処理を行って１コマの合成画像データを算出するとともに、上記遮光画素群から順次に読み出された複数コマの上記遮光画素データに対して上記画像データに行ったのと同じ画像合成処理を行う画像合成部と、上記画像合成処理が行われた上記遮光画素データに基づきノイズ量を算出するノイズ量算出部と、を備え、上記画像合成部および上記ノイズ量算出部は、上記撮像素子から１コマの上記画像データおよび上記遮光画素データが読み出される毎に上記処理を行う。

本発明のある態様による撮像方法は、有効画素群から被写体の光学像に係る画像データを読み出すとともに、該有効画素群の周辺に遮光して配置された遮光画素群から遮光画素データを読み出すステップと、１コマの上記画像データおよび上記遮光画素データが読み出される毎に、上記有効画素群から順次に読み出された複数コマの上記画像データに画像合成処理を行って１コマの合成画像データを算出するとともに、上記遮光画素群から順次に読み出された複数コマの上記遮光画素データに対して上記画像データに行ったのと同じ画像合成処理を行うステップと、１コマの上記画像データおよび上記遮光画素データが読み出される毎に、上記画像合成処理が行われた上記遮光画素データに基づきノイズ量を算出するステップと、を有する。

本発明の撮像装置、撮像方法によれば、複数コマの画像データを画像合成処理して算出される１コマの合成画像データのノイズ量を、撮影中に正確に把握することが可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１におけるイメージセンサの画素構成を示す図。 上記実施形態１の撮像装置において、複数コマの画像を撮影して合成する処理の流れを示すフローチャート。 上記実施形態１において、撮影開始時のノイズ量に対する現在のノイズ量の割合を画質指標として表示する例を示す図。 上記実施形態１において、撮影開始時のＩＳＯ感度から現在のＩＳＯ感度がどれだけに相当する値に変化したかを画質指標として表示する例を示す図。 上記実施形態１において、撮影開始時のＩＳＯ感度から現在のＩＳＯ感度への変化に基づき、ノイズ量がＥＶ値として何段改善されたかを画質指標として表示する例を示す図。 上記実施形態１において、撮影開始時のダイナミックレンジから現在のダイナミックレンジがどれだけ変化したかを画質指標として表示する例を示す図。 本発明の実施形態２における撮像装置の構成を示すブロック図。 上記実施形態２の撮像装置において、複数コマの画像を撮影して合成する処理の流れを示すフローチャート。 上記実施形態２において、目標画質をＩＳＯ感度により設定したときの表示例を示す図。 上記実施形態２において、目標画質をノイズ改善量により設定したときの表示例を示す図。 上記実施形態２において、目標画質をダイナミックレンジの改善量の段数により設定したときの表示例を示す図。 本発明の実施形態３の撮像装置において、複数コマの画像を撮影して合成する処理の流れを示すフローチャート。 本発明の実施形態４の撮像装置における各部の動作を示すタイミングチャート。 上記実施形態４の撮像装置において、複数コマの画像を撮影して合成する処理の流れを示すフローチャート。 上記実施形態４の撮像装置におけるＦＰＮキャンセル後ノイズ量算出処理を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図７は本発明の実施形態１を示したものであり、図１は撮像装置１の構成を示すブロック図である。なお、図１には、撮像装置１の電気的な構成を主に示している。

本実施形態の撮像装置１は、撮像部２と、バス３と、内部メモリ４と、画像処理部５と、ノイズ量算出部６と、表示部７と、入力ＩＦ（インターフェース：Interface）８と、システム制御部１０と、を備えている。なお、図１に示す撮像装置１には外部メモリ９が記載されているが、この外部メモリ９は、後述するように撮像装置１に着脱可能なメモリカード等であっても構わないために、撮像装置１に固有の構成である必要はない。

本実施形態においては、撮像装置１が例えばデジタルカメラ（コンパクトデジタルカメラ、あるいはデジタル一眼カメラ等）であることを想定して適宜説明するが、撮像装置１としては、ビデオカメラ、ムービーカメラのような動画用のカメラでも良いし、携帯電話、スマートフォンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラであっても構わない。さらにこれらに限らず、撮像装置１は、長時間露光（ここに、「露光」は「露出」ともいう）が可能な撮影のための機器であれば広く適用することができる。

撮像部２は、レンズ１１と、メカニカルシャッタ１２と、イメージセンサ１３と、を有している。

レンズ１１は、被写体の光学像をイメージセンサ１３に結像する。このレンズ１１は、一般的には、焦点調節を行うためのフォーカスレンズと、イメージセンサ１３に到達する光量を調節するための絞りと、を備えている。ここに、絞りを調節すると、露出量に係る絞り値が変化する。なお、本実施形態においては、レンズ１１が撮像装置本体と一体に構成されていることを想定して説明するが、撮像装置本体と着脱可能な交換レンズとして構成されていても勿論かまわない。

メカニカルシャッタ１２は、レンズ１１からイメージセンサ１３への被写体の光学像の到達と非到達とを、開閉により制御する光学シャッタであり、露出時間（シャッタ速度）の制御も行う。

イメージセンサ１３は、複数の画素が２次元状に配列されていて、レンズ１１により結像された被写体の光学像を画素毎に電気信号に変換して画像データを生成する撮像素子であり、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等として構成されている。このイメージセンサ１３により生成された画像データは、画像処理部５およびバス３へ出力される。

ここで、図２はイメージセンサ１３の画素構成を示す図である。

イメージセンサ１３は、被写体の光学像に係る画像データを生成するための有効画素１３ａを構成要素とする有効画素群と、この有効画素群の周辺に遮光して配置され遮光画素データを生成するための遮光画素であるＯＢ画素１３ｂを構成要素とする遮光画素群と、を有している。

遮光画素群は、図２に示すように、有効画素１３ａの例えば左辺に沿って、有効画素群の各水平ラインと同一の水平ラインに（水平）ＯＢ（Optical Black：オプティカルブラック）画素１３ｂが各配置されている水平遮光画素群と、有効画素１３ａの例えば上辺に沿って、有効画素群の各垂直ラインと同一の垂直ラインに（垂直）ＯＢ画素１３ｂが各配置されている垂直遮光画素群と、を備えている。

ここに、有効画素１３ａとＯＢ画素１３ｂとは、何れも、光を電気信号に変換するＰＤ（フォトダイオード）を備えているが、メカニカルシャッタ１２が開いた状態となっているときには、有効画素１３ａにはレンズ１１により結像される被写体像の光が到達するのに対して、遮光画素であるＯＢ画素１３ｂ上には遮光膜が設けられているためにレンズ１１により結像される被写体像の光は到達しない。従って、ＯＢ画素１３ｂは、メカニカルシャッタ１２の開閉に関わらず、常に遮光画素データを出力するようになっている。

有効画素１３ａから出力される画像データにおける黒の基準信号レベルは、イメージセンサ１３の温度、露出時間（電荷蓄積時間）、周辺回路の電圧変動などによって変動する。このために、有効画素１３ａからの画像データと同時に出力されるＯＢ画素１３ｂからの遮光画素データを、有効画素１３ａからの画像データの黒の基準信号レベルとして使用する。

バス３は、撮像装置１内の各部が信号の送受信を行うための信号線である。このバス３には、例えば、撮像部２、内部メモリ４、画像処理部５、ノイズ量算出部６、表示部７、入力ＩＦ８、外部メモリ９、システム制御部１０の各部が接続されている。

内部メモリ４は、撮像装置１に係る情報を記憶するものであり、フラッシュメモリ等の不揮発性メモリ、あるいはＳＤＲＡＭ等の揮発性メモリを備えている。ここに、不揮発性メモリには、例えば、システム制御部１０が撮像装置１を制御する処理を行うための処理プログラム、あるいは撮像装置１の動作に必要な各種の設定情報などが記憶される。また、揮発性メモリには、画像処理を行っている途中の画像データなどが一時的に記憶される。

画像処理部５は、イメージセンサ１３から出力され、必要に応じて内部メモリ４に記憶された画像データに各種の画像処理を施すものであり、画像合成部１５と、ＦＰＮ（Fixed Pattern Noise：固定パターンノイズ）キャンセル処理部１６と、画素欠陥補正部１７と、現像処理部１８と、を有している。

画像合成部１５は、有効画素群から順次に（「時系列的に」または「連続的に」とも表現される）読み出された複数コマの画像データに画像合成処理を行って１コマの合成画像データを算出するとともに、遮光画素群から順次に読み出された複数コマの遮光画素データに対して画像データに行ったのと同じ画像合成処理を行うことを、イメージセンサ１３から１コマの画像データおよび遮光画素データが読み出される毎に行う。ここに、画像合成部１５が行う画像合成処理は、対応する画素位置毎に画素値を合成する処理となっている。

ここでは具体例として、画像合成部１５が、比較明合成部２１と、比較暗合成部２２と、加算合成部２３と、平均合成部２４と、を有する構成について説明するが、これらに加えて、あるいはこれらの内の幾つかに代えて、その他の画像合成処理を行う部を備えていても構わない。以下では、比較明合成部２１と、比較暗合成部２２と、加算合成部２３と、平均合成部２４とが、主として有効画素１３ａから読み出された画像データに対してそれぞれ行う処理を説明するが、上述したように、ＯＢ画素１３ｂから読み出された遮光画素データに対しても同様の処理を行うようになっている。

比較明合成部２１は、以下のような累積的な比較明合成処理を行う。最初にイメージセンサ１３から読み出された画像データを基に生成された画像データ（この「イメージセンサ１３から読み出された画像データを基に生成された画像データ」は、本実施形態においてはイメージセンサ１３から読み出されたいわゆるＲＡＷ画像データを想定しているが、これに限るものではなく、ＦＰＮキャンセル処理部１６、画素欠陥補正部１７、現像処理部１８等による処理が行われた画像データであっても構わない、以下同様）が、まず、比較明合成画像データとして内部メモリ４に記憶される。

次に、イメージセンサ１３から画像データが読み出されると、比較明合成部２１は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ４に記憶されている比較明合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に比較する。そして、比較した結果の何れか大きい方（つまり、明るい方）の画素データを該当画素位置の画素データとすることにより、比較明合成画像データを再構成する。

このような処理を、イメージセンサ１３から画像データが読み出される毎に繰り返し行うことで、最新の比較明合成画像データが内部メモリ４に記憶される。こうした比較明合成処理を、例えば、天体写真を撮影する場合に行えば、夜空の星の光跡の画像を得ることができる。このときには、露出時間によらず背景の明るさは一定となり、さらに露出時間に応じて光跡の長さを調整することが可能である。

比較暗合成部２２は、以下のような累積的な比較暗合成処理を行う。最初にイメージセンサ１３から読み出された画像データを基に生成された画像データが、まず、比較暗合成画像データとして内部メモリ４に記憶される。

次に、イメージセンサ１３から画像データが読み出されると、比較暗合成部２２は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ４に記憶されている比較暗合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に比較する。そして、比較した結果の何れか小さい方（つまり、暗い方）の画素データを該当画素位置の画素データとすることにより比較暗合成画像データを再構成する。

このような処理を、イメージセンサ１３から画像データが読み出される毎に繰り返し行うことで、最新の比較暗合成画像データが内部メモリ４に記憶される。こうした比較暗合成処理を、例えば、天体写真を撮影する場合に行えば、夜空において移動する星の光跡を消去した、背景のみの画像を得ることができる。

加算合成部２３は、以下のような累積的な加算合成処理を行う。最初にイメージセンサ１３から読み出された画像データを基に生成された画像データが、まず、加算合成画像データとして内部メモリ４に記憶される。

次に、イメージセンサ１３から画像データが読み出されると、加算合成部２３は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ４に記憶されている加算合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に加算する。そして、加算した画素データを該当位置の画素データとすることにより加算合成画像データを再構成する。

このような処理を、イメージセンサ１３から画像データが読み出される毎に繰り返し行うことで、最新の加算合成画像データが内部メモリ４に記憶される。こうした加算合成処理を、例えば、天体写真を撮影する場合に行えば、１回加算する毎に画像の明るさが増して行くために、最新の加算合成画像データを随時、表示部７に表示することで、バルブ撮影時に画像が変化して行く経過を目視で確認することが可能となる。

平均合成部２４は、以下のような累積的な加算平均合成処理を行う。最初にイメージセンサ１３から読み出された画像データを基に生成された画像データが、まず、平均合成画像データとして内部メモリ４に記憶される。

次に、イメージセンサ１３から画像データが読み出されると、平均合成部２４は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ４に記憶されている平均合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に加算平均する。そして、加算平均した画素データを該当位置の画素データとすることにより平均合成画像データを再構成する。

このときの加算平均は、単純に加算して平均してしまうと、イメージセンサ１３から後の時点で読み出された画像データほど重みが大きくなってしまうために、内部メモリ４に記憶されている平均合成画像データがｎ（ｎは１以上の整数）枚の画像を合成した結果であるとすると、内部メモリ４に記憶されている平均合成画像データにｎ／（ｎ＋１）の重みを付け、イメージセンサ１３から新たに読み出された画像データに１／（ｎ＋１）の重みを付ける重み付け平均処理を行うと良い。

このような処理を、イメージセンサ１３から画像データが読み出される毎に繰り返し行うことで、最新の平均合成画像データが内部メモリ４に記憶される。そして、加算平均した画素データを該当位置の画素データとすることにより平均合成画像データを再構成する。こうした加算平均合成処理を、例えば、天体写真を撮影する場合に行えば、ランダムノイズが平均化されて低減されるために、低ノイズで高画質な画像を得ることができる。

ＦＰＮキャンセル処理部１６は、明時画像データ（メカニカルシャッタ１２を開いて撮影して得た画像データ）から暗時画像データ（メカニカルシャッタ１２を閉じて撮影して得た画像データ）を減算処理することで、固定パターンノイズを補正する。

画素欠陥補正部１７は、欠陥画素（通常画素とは異なる異常な画素値を出力をする画素）の画素値を、欠陥画素の近傍にある複数の画素の画素値の平均値などで置き換えることにより、欠陥画素が画像に現れないように補正する。ここに、欠陥画素は、撮像装置１の生産時などに予め検査を行って、内部メモリ４に欠陥画素アドレスとして事前に登録されている。あるいは撮像装置１を出荷後であっても、撮影して得た画像データにおける各画素の周辺画素との相関性を算出して、相関性がなく欠陥画素であると判定される画素を、後発の欠陥画素として追加登録しても良い。

現像処理部１８は、撮像部２から得られたＲＡＷ画像データ、または撮像部２から得られたＲＡＷ画像データを画像合成部１５により合成して得られた合成ＲＡＷ画像データに対する現像処理として、デモザイキング、ホワイトバランス調整、ノイズリダクション、ガンマ補正、ＹＣ信号生成、リサイズなどの各画像処理を行う。ここに、リサイズ処理は、イメージセンサ１３から読み出された画像データの画素数を、表示部７の表示画素数に合わせるための処理である。なお、この現像処理部１８において、さらに、画像圧縮処理等を行うようにしても構わない。

ノイズ量算出部６は、画像合成処理が行われた遮光画素データに基づきノイズ量を算出することを、イメージセンサ１３から１コマの画像データおよび遮光画素データが読み出される毎に行うものである。具体的にノイズ量算出部６は、遮光画素群に属する複数のＯＢ画素１３ｂの画素値の分散または標準偏差をノイズ量として算出する。ノイズ量算出部６は、さらに、算出したノイズ量から、合成画像データの画質を表す画質指標を算出する指標算出部として機能するようになっている。この画質指標は、撮影者が合成画像データの画質を判断するのに有用な指標となっており、後で図４〜図７を参照して幾つかの具体例を説明する。

表示部７は、現像処理部１８によって現像処理された画像や、撮像装置１に係る各種の情報を表示するものであり、例えば、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬ（Electro Luminescence）などの表示装置を備えている。この表示部７の具体的な構成例としては、撮像装置１の背面表示部、あるいはＥＶＦ（電子ビューファインダ）などが挙げられる。イメージセンサ１３から新たな画像データが読み出される毎に画像合成部１５により得られる最新の合成画像を、現像処理部１８によって現像処理した後に、この表示部７に表示することで、撮影中の画像の経過観察を行うことができる。また、上述したノイズ量算出部６により算出された画質指標も、この表示部７に表示され、撮影者が画質の判断に用いることができる。

入力ＩＦ８は、撮影者がこの撮像装置１に対する入力操作を行うための操作部であり、撮像装置１の電源をオン／オフするための電源釦、撮影開始および終了を操作するためのレリーズ釦等の操作部材、あるいは背面表示部等に付随して設けられたタッチ入力操作を行うためのタッチパネル等を有している。撮影者は、この入力ＩＦ８を操作することにより、撮像装置１の各種のモード設定や、レリーズ等の撮影動作指示を行うようになっている。

外部メモリ９は、撮像装置１に着脱可能な、または撮像装置１の内部に固定された、不揮発性の記憶媒体である。撮像装置１に着脱可能な外部メモリ９としては、例えば、ＳＤメモリカードやＣＦカード等のメモリカードが挙げられる。現像処理部１８により現像処理された画像データ（現像処理された合成画像データを含む）あるいはＲＡＷ画像データ（合成ＲＡＷ画像データを含む）は、この外部メモリ９に記録され、また再生時にはこの外部メモリ９から記録済みの画像データが読み出される。

システム制御部１０は、例えばＣＰＵ（Central Processing Unit）を有し、内部メモリ４に記憶された処理プログラムに従って各部を制御することにより、撮像装置１の全体を制御する制御部である。システム制御部１０は、例えば、入力ＩＦ８を介して撮影者からの指示を受けると、イメージセンサ１３の電荷蓄積開始および信号読出等のタイミング制御、メカニカルシャッタ１２の開閉タイミング制御、レンズ１１の絞り制御やオートフォーカス制御、などを行う。また、システム制御部１０は、画像処理部５から画像データを受け取って、表示部７に画像表示を行わせる制御、外部メモリ９に画像データを保存させる制御、等も行う。

次に、図３は、撮像装置１において複数コマの画像を撮影して合成する処理の流れを示すフローチャートである。この図３に示す処理は、内部メモリ４に記憶された処理プログラムに従って、システム制御部１０が各部を制御することにより実行される。

この図３に示す合成処理は、撮影者が入力ＩＦ８によりバルブ撮影モードを選択し、かつバルブ撮影モード中の合成モード（露光中の経過表示を行うモード）を選択している場合に、図示しないメイン処理からサブルーチン等として実行される。

従って、バルブ撮影モードが選択されていても、露光中の経過表示を行わない通常のバルブ撮影が選択されている場合についての説明は省略する。この図３を参照して説明するのは、コマ単位で時系列的に読み出した画像データを順次に画像合成して、最新の合成画像を撮影経過として表示する経過表示動作についてである。

撮影者は、合成モードを選択した場合には、より詳細な合成モードとして、比較明合成モード、比較暗合成モード、加算平均合成モード、加算合成モードの内の１つ以上をさらに選択することができるようになっている。ここに、合成モードは２つ以上を同時に選択することが可能であり、２つ以上が選択された場合には撮像装置１の内部で並列処理が行われる。

図３に示す処理を開始すると、まず、メカニカルシャッタ１２を開状態にして、イメージセンサ１３から所定のフレームレートで読み出された画像データを画像処理部５により順次処理して、表示部７にリアルタイムで表示するライブビュー表示を行う（ステップＳ１）。

このライブビュー表示がなされると、焦点位置は例えば自動調節される。そして、撮影者はライブビュー画像を確認して（もし光学ファインダをさらに備えている場合には、光学ファインダにより被写体像を確認しても構わない）、撮影したい被写体を撮影できるように、撮像装置１の向きやレンズ１１の焦点距離（ズーム）を調整して構図を決める。また、このライブビューを行っているときにも、撮影者は、必要に応じて、入力ＩＦ８の操作釦やタッチパネル等を介して、合成モードの設定や、より詳細な合成モードの設定を行うことができる。

次に、システム制御部１０は、レリーズ釦が半押しされたときにオンになる１ｓｔレリーズスイッチの状態を判定して、オンになるまではステップＳ１のライブビュー表示を引き続き行い、オンになったと判定した場合には、１ｓｔレリーズがなされた場合の処理を行う（ステップＳ２）。

ここでは、１ｓｔレリーズがなされた場合の処理として、例えば、ＡＦ（自動焦点制御）およびＡＥ（自動露出制御）を行う。ここに、ＡＦとして例えばコントラストＡＦを用いる場合には、イメージセンサ１３から繰り返し読み出される画像データからコントラストを抽出して、抽出したコントラストが最大値になるようにレンズ１１中のフォーカスレンズを駆動制御して焦点位置を合わせる。また、ＡＥは、イメージセンサ１３から繰り返し読み出される画像が適正露出になるように、絞り値、ＩＳＯ感度、露出時間Ｔを自動制御する処理である。なお、撮像装置１の設定によっては、ＡＦとＡＥとの一方または両方をオフにして、撮影者が入力ＩＦ８等を介して手動でフォーカスレンズの位置（焦点位置）、絞り値、ＩＳＯ感度、露出時間Ｔ等を設定することもある。

１ｓｔレリーズ処理を行った後に、システム制御部１０は、レリーズ釦が全押しされたときにオンになる２ｎｄレリーズスイッチの状態を検出して、２ｎｄレリーズスイッチがオンであるか否かを判定する（ステップＳ３）。

ここで、２ｎｄレリーズスイッチがオンでないと判定された場合には、ステップＳ１へ戻って上述したような処理を繰り返して行う。

また、２ｎｄレリーズスイッチがオンであると判定された場合には、システム制御部１０は、メカニカルシャッタ１２を開いてイメージセンサ１３により１コマ目の画像の電荷蓄積（つまり、露出）を開始し、さらにシステム制御部１０に内蔵されたタイマをリセットして露出時間Ｔの計時動作を開始する（ステップＳ４）。

その後、システム制御部１０は、タイマの計時結果から露出時間Ｔが経過したか否かを判定する（ステップＳ５）。この露出時間Ｔは、イメージセンサ１３から１コマの画像を読み出す周期（露出時間）であって、ステップＳ２においてＡＥにより自動で設定されるか、または撮影者により手動で予め設定される。そして、露出時間Ｔが経過していない場合には、露出を続行しながら、露出時間Ｔが経過するのを待機する。

システム制御部１０は、露出時間Ｔが経過したと判定した場合には、イメージセンサ１３から画像信号を読み出して、画像信号の読み出し終了直後に（つまり、電荷蓄積を行わない空白時間が最小となるように）次のコマの露出を開始し、さらにタイマをリセットして露出時間Ｔの計時動作を開始する（ステップＳ６）。このときには、メカニカルシャッタ１２は開いたままとし、イメージセンサ１３の電子シャッタ制御によって、次のコマの電荷蓄積開始を行う。

このために、連続して取り込む画像同士の露光抜けを最小限に抑制することができ、最終的に合成される画像に写り込む被写体の移動軌跡が途切れるのを最小限に止めることができる。デジタルカメラのイメージセンサ１３として一般的に用いられているＣＭＯＳイメージセンサでは、読み出しおよび露光開始を１ライン毎に順次制御することができるために、連続するコマとコマの間の露光抜けの時間は１ラインの読み出し時間程度となる。この時間は、例えば数１０〜１００μ秒程度と非常に短いために、最終的な合成画像が、移動軌跡が途切れた画像として視認されることはほぼない。

また、システム制御部１０は、イメージセンサ１３から読み出された画像信号を、デジタルの画像データとして内部メモリ４に記憶させる（ステップＳ７）。この際には、図１に示したイメージセンサ１３の有効画素１３ａから読み出された画像データに加えて、ＯＢ画素１３ｂから読み出された遮光画素データも内部メモリ４に記憶される。

画像データを内部メモリ４に記憶すると、次に、システム制御部１０は、処理対象の画像データが１コマ目の画像データであるか否かを判定する（ステップＳ８）。

ここで、１コマ目の画像データでないと判定された場合（すなわち、２コマ目、もしくはそれ以降の画像データであると判定された場合）には、イメージセンサ１３から読み出されステップＳ７において内部メモリ４に記憶された画像データと、既に内部メモリ４に記憶されている合成画像と、を画像合成部１５により画像合成処理する（ステップＳ９）。

例えば、今、２コマ目の画像データが読み出された直後であるとすると、内部メモリ４には、１コマ目の画像データが合成画像として記憶され、さらにステップＳ７において２コマ目の画像データが記憶されているために、これらの画像データを画像合成部１５が画像合成処理する。ｎ（ｎ≧３）コマ目以降を処理する場合にも、１〜（ｎ−１）コマ目までの合成画像と、ｎコマ目として取得された画像と、を同様に画像合成処理することになる。ここで、画像合成部１５は、有効画素１３ａでなる有効画素群から読み出した画像データと、ＯＢ画素１３ｂでなる遮光画素群から読み出した画像データと、の両方に対して、同一画素位置の画素値同士を合成する画像合成処理を同じように行う。

その後、ステップＳ９の画像合成処理を行った場合には画像合成処理の結果の画像データを、また、ステップＳ８において１コマ目の画像データであると判定された場合には１コマ目として取得された画像データを、合成画像データとして内部メモリ４に記憶する（ステップＳ１０）。

続いて、内部メモリ４に記憶した合成画像データに対して、画素欠陥補正部１７により画素欠陥補正処理を行い、処理後の合成画像データを、元の合成画像データとは別個に（つまり、ステップＳ９の画像合成処理で得られた元の合成画像データは残したまま）内部メモリ４に記憶する（ステップＳ１１）。この画素欠陥補正処理についても、有効画素群から読み出した画像データと、遮光画素群から読み出した画像データと、の両方に対して同じように行う。

さらに、現像処理部１８により、画素欠陥補正された合成画像データに対して上述したような現像処理を行い、内部メモリ４に記憶する（ステップＳ１２）。この現像処理についても、有効画素群から読み出した画像データと、遮光画素群から読み出した画像データと、の両方に対して同じように行う。また、現像処理された合成画像データは、上述した元の合成画像データとは別個に保存されるが、画素欠陥補正処理後の合成画像データに対しては上書きしても構わない。

そして、ノイズ量算出部６が、現像処理された合成画像データのＯＢ画素１３ｂの数値解析を行うことにより、ノイズ量を算出する（ステップＳ１３）。具体的に、ノイズ量算出部６は、遮光画素群に含まれる複数のＯＢ画素１３ｂの画素値の、例えば標準偏差（あるいは分散）を算出する。この標準偏差は、ＯＢ画素１３ｂの画素値のばらつきを表し、ＯＢ画素１３ｂは遮光されているためにノイズ量を表す。従って、算出した標準偏差は、値が小さいほどノイズ量が小さいことを示し、値が大きいほどノイズ量が大きいことを示す。

なお、ここでは、現像処理された合成画像データのノイズ量を算出する例を説明したが、現像処理を行う前のＲＡＷ合成画像データのノイズ量を算出しても良い。外部メモリ９に画像データを保存する際に、現像処理された画像データを保存する場合と、ＲＡＷ画像データを保存する場合と、現像処理された画像データおよびＲＡＷ画像データを保存する場合と、がある。現像処理を行うか否かによってノイズ量が異なるために、どの保存設定が選択されているかに応じて、保存される画像データのノイズ量を算出するようにすると良い。

例えば、撮影に精通した撮影者は、ＲＡＷ画像の記録を選択して、外部メモリ９に保存したＲＡＷ画像を、後でＰＣ（パーソナルコンピュータ）等を用いて、例えば市販の画像処理ソフトにより自分の好みに応じて現像処理することがある。こうした撮影者にとっては、ＲＡＷ画像データに対するノイズ量を算出して、算出されたノイズ量に基づく画質指標（この画質指標については後述する）を表示するのは有用である。

一方、ＲＡＷ画像を保存しない一般の撮影者にとっては、現像後の画像のノイズ量を計算して画質指標を表示すれば十分である。

さらに、現像処理後の画像データ（一般的には、例えばＪＰＥＧデータ）とＲＡＷ画像データとの両方を外部メモリ９に保存する場合には、両方のノイズ量を算出して、両方の画質指標を表示しても良いし、保存する２つの画像データの内の撮影者が画質指標を表示する対象として選択した画像データに対する画質指標のみを表示するようにしても構わない。

その後、ノイズ量算出部６が、数値解析して得たノイズ量に基づき、画質指標を算出して（ステップＳ１４）、表示部７が、現像された合成画像に重畳して、画質指標を表示する（ステップＳ１５）。なお、ここで現像された合成画像を表示する際に、現像処理前のＲＡＷ合成画像データと現像処理された画像データとの何れか一方または両方を、途中経過の画像データとして外部メモリ９に保存するようにしても良い。

ここで、図４〜図７を参照して、撮影中の合成画像と共に表示される画質指標の幾つかの例を説明する。

まず、図４は、撮影開始時のノイズ量に対する現在のノイズ量の割合を画質指標として表示する例を示す図である。

この場合に、ノイズ量算出部６は、画質指標として、撮影開始時のノイズ量と現在の合成画像のノイズ量とを比較したノイズ量の変化量を示す数値を算出する。

そして、表示部７の画面７ａには、現像処理された撮影中の合成画像が表示されると共に、画質指標が表示されている。この図４に示す画質指標は、撮影開始したときのノイズ量に対する現在のノイズ量の割合がどれだけであるかを、数字で表示するものとなっている。従って、撮影者は、ノイズ量が例えば半分になったことを直接に判断することができる。

次に、図５は、撮影開始時のＩＳＯ感度から現在のＩＳＯ感度がどれだけに相当する値に変化したかを画質指標として表示する例を示す図である。

ＩＳＯ感度は、画素のデジタル出力に対するゲインに相当し、撮影に精通した撮影者は、一般的に、ＩＳＯ感度が２倍になるとノイズも２倍に増幅され、つまりノイズ量が２倍になると把握している。

そこで、ノイズ量算出部６は、撮影開始時の画質指標としてＩＳＯ感度と、現在の合成画像の画質指標としてＩＳＯ感度と、を算出する。

具体的に、この図５に示す画質指標は、撮影開始時のＩＳＯ感度を基準として、現在のＩＳＯ感度がどれだけに相当する値に変化したかを示すものとなっている。

図５に示す例では、撮影開始時のＩＳＯ感度は１６００である。そして、複数コマの画像を合成して得た合成画像の現在ノイズ量が、撮影開始時の１／４に改善したものとする。この場合に、撮影開始時のＩＳＯ感度にノイズ変化量を乗算した１６００／４＝４００を、現在のＩＳＯ感度の相当値として表示することで、撮影者はノイズ量を直感的に把握することができる。

さらに、図６は、撮影開始時のＩＳＯ感度から現在のＩＳＯ感度への変化に基づき、ノイズ量がＥＶ値として何段改善されたかを画質指標として表示する例を示す図である。

ここに段数は、ＡＰＥＸ（Additive system of Photographic EXposure）における、シャッタ速度をＴｖ（Time Value）、絞り値をＡｖ（Aperture Value）、輝度をＢｖ（Brightness Value）、ＩＳＯ感度をＳｖ（Speed Value）として表したときのＥＶ値
ＥＶ＝Ｂｖ＋Ｓｖ＝Ｔｖ＋Ａｖ
の単位である。記号「^」をべき乗を表す記号として用いるとすると、ＥＶ値で表す段数が＋ｎ段変化すると露出に関係する量（シャッタ速度、絞り値、輝度、ＩＳＯ感度）が２^n倍になり、ＥＶ値で表す段数が−ｎ段変化すると露出に関係する量が２^(−n)倍になる。

図６に示す例では、撮影開始時のＩＳＯ１６００が、現在、ＩＳＯ４００相当のノイズ量に改善されている。つまり、ＩＳＯ感度が１／４＝２^(−2)倍になっていて、ＩＳＯ感度が−２段変化したことになるために、画質指標として「−２．０段」と表示されている。これにより撮影者は、ＩＳＯ感度に換算したときに、画質が２段分改善したことを把握することができる。

従って、ノイズ量算出部６は、画質指標として、撮影開始時のノイズ量と現在の合成画像のノイズ量とを比較したノイズ量の変化量を段数で示す数値を算出すると共に、撮影開始時の画質指標であるＩＳＯ感度と、現在の合成画像の画質指標であるＩＳＯ感度と、を算出している。

そして、図７は、撮影開始時のダイナミックレンジから現在のダイナミックレンジがどれだけ変化したかを画質指標として表示する例を示す図である。

ここにダイナミックレンジは、被写体を判別可能な、画素値の最低値から最大値までの範囲（被写体の暗い部分から明るい部分までを正確に撮影できる画素値範囲）を示している。このダイナミックレンジが広いほど被写体情報が損なわれることなく撮影されていることになり、画質が高く画像として好ましい。

ここで、ノイズ量が大きい場合には、被写体情報として得られた画素値の最低値付近は、ノイズレベルに埋もれてしまうために、何が写っているのかが判別できなくなってしまう。つまり、ノイズ量が大きいほどダイナミックレンジが狭くなる。

従って、画像合成処理を行うときに、ダイナミックレンジの変化に着目して撮影を行う撮影者の場合には、ノイズ量の大きさを画質指標とするのに代えて、この図７に示すように、撮影開始時のダイナミックレンジから現在のダイナミックレンジがどれだけ変化したかを画質指標として表示すると良い。この場合には、ノイズ量算出部６は、画質指標として、ノイズ量から求められた画像データのダイナミックレンジを示す数値を算出する。

ここに、ダイナミックレンジは、２を底とする対数「ｌｏｇ2」を用いた次の計算式により、段数を単位とした数値として表すことができる。
ダイナミックレンジ＝ｌｏｇ2｛デジタル最大値／判別可能最低画素値｝

ここに、デジタル最大値は、アナログ信号をｎビットのデジタル信号にＡ／Ｄ変換した場合に２^nである（なお、ダイナミックレンジは、デジタルで算出するに限るものではなく、アナログで算出することも可能であるが、ここではデジタルを例に挙げている）。また、判別可能最低画素値は、特に規定はないが、例えば暗部（つまり、ＯＢ画素１３ｂ）のノイズの標準偏差の値以上であればノイズに埋もれることなく信号を判別可能であると規定することにすれば、判別可能最低画素値としてノイズの標準偏差を用いることができる。

具体例として、デジタル信号が１２ビットである場合には、デジタル最大値は４０９６（＝２^12）となる。

また、撮影開始時のＯＢ画素１３ｂのノイズの標準偏差が８であったものとする。この場合には、
撮影開始時ダイナミックレンジ＝ｌｏｇ2｛４０９６／８｝＝９（段）
となる。

そして、複数の画像を合成した結果の現在の合成画像のＯＢ画素１３ｂのノイズの標準偏差が２（つまり、ノイズ量が撮影開始時の１／４）になったものとする。この場合には、
現在ダイナミックレンジ＝ｌｏｇ2｛４０９６／２｝＝１１（段）
となる。従って、撮影者は、撮影開始時よりも２段分広いダイナミックレンジの画像になっていることを把握することができる。

こうして、ステップＳ１５の処理を行ったら、システム制御部１０は、２ｎｄレリーズスイッチの状態を検出して、２ｎｄレリーズスイッチがオフであるか否かを判定する（ステップＳ１６）。撮影者は、レリーズ釦を押圧することによりバルブ撮影を開始した後に、バルブ撮影を終了する場合には、レリーズ釦の押圧を解除するようになっている。従って、２ｎｄレリーズスイッチがオフであるか否かを判定することにより、撮影者がバルブ撮影を終了する入力操作を行ったか否かを判定することができる。

ここで、２ｎｄレリーズスイッチがオフでない（オンのままである）と判定された場合には、ステップＳ５へ行って、次のコマの撮影を上述したように繰り返して行う。こうして、露出時間Ｔが経過する毎に、最新の合成画像が露光経過を示す画像として表示部７に表示されるために、撮影者は、バルブ露光において露光が次第に進んで行く様子を、実際の画像として確認することができる。

一方、ステップＳ１６において、２ｎｄレリーズスイッチがオフであると判定された場合には、露出時間Ｔが経過したか否かに関わらず、２ｎｄレリーズスイッチのオフを判定したタイミングでバルブ撮影の露光を終了する。従って、イメージセンサ１３に電荷蓄積されている途中の画像データは読み出されず、適宜、リセット等が行われる。

そして、２ｎｄレリーズスイッチのオフを判定した時点で内部メモリ４に記憶されている合成画像データ（保存設定に応じて、ＲＡＷ合成画像データと、現像処理された合成画像データとの一方または両方）を、外部メモリ９に保存する（ステップＳ１７）。

さらに、内部メモリ４に記憶されている現像処理された合成画像データを、最終的な記録画像として表示部７に表示し（ステップＳ１８）、この合成処理から図示しないメイン処理へリターンする。

このような実施形態１によれば、画像合成処理を行う際に、イメージセンサ１３のＯＢ画素１３ｂについても有効画素１３ａと同様の画像合成処理を行うようにしたために、ＯＢ画素１３ｂにおけるノイズ量は、有効画素１３ａに含まれるノイズ量と同様であることになり、有効画素１３ａのノイズ量を正確に推定することが可能となる。

そして、ＯＢ画素１３ｂの画素値の分散または標準偏差を合成画像のノイズ量として算出する場合には、処理が容易である利点がある。

また、ノイズ量算出部６で算出したノイズ量に基づいて様々な形式の画質指標を算出し、合成画像に重畳して表示部７に表示するようにしたために、どのような合成方法を選択してどのような撮影条件で撮影したとしても、撮影者は、現在の合成画像のノイズ量に関連する画質を正確に把握することができ、撮影を終了するタイミングを判断する基準に用いることができる。

比較明合成、比較暗合成、加算平均合成ではランダムノイズの平均化効果があるために、合成するコマ数が増えるほどノイズが減少して行く。ノイズ改善を狙ってこれらの合成方法を選択して撮影を行う場合には、どこまでノイズを改善させたいかの意図に応じて、撮影する（合成する）コマ数が異なるために、撮影者は、現在のノイズ量またはノイズの改善量を把握しながら、自分の好みのタイミングで撮影を終了することができる。

一方、加算合成においては１コマ毎に発生するノイズが積算されて行くために、合成するコマ数が増えるほどノイズが増大する。撮影者によって許容できるノイズ量が異なるために、撮影者は、現在のノイズ量を把握しながら、許容できないノイズ量に達する前の所望のタイミングで撮影を終了することが可能となる。
［実施形態２］

図８から図１２は本発明の実施形態２を示したものであり、図８は撮像装置１の構成を示すブロック図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１は、画質指標を見た撮影者が、所望のタイミングで手動により撮影を終了していた。これに対して本実施形態は、撮影者が所望とする目標の画質を予め設定して、現在撮影中の画像の画質が目標の画質に達したところで撮影を自動で終了させることができるようにしたものとなっている。

まず、図８に示すように、本実施形態の撮像装置１は、上述した実施形態１の図１に示した撮像装置１の構成に、さらにノイズ量判定部２６を追加したものとなっている。このノイズ量判定部２６は、システム制御部１０およびバス３と接続されている。なお、ここではノイズ量判定部２６をシステム制御部１０と別構成としたが、システム制御部１０がノイズ量判定部２６を兼ねるようにしても構わない。

次に、図９は、撮像装置１において複数コマの画像を撮影して合成する処理の流れを示すフローチャートである。

まず、撮影者は、バルブ撮影を開始する前に、入力ＩＦ８を介して目標とする画質を設定する。従って、本実施形態における入力ＩＦ８は、目標ノイズ量を設定する目標ノイズ量設定部として機能する。

例えば、選択されている合成方法が加算平均合成である場合には、合成するコマ数が増えるほどノイズが改善するために、撮影者は、撮影開始時の設定ＩＳＯ感度（例えば、ＩＳＯ１６００）よりも低いＩＳＯ感度（例えば、ＩＳＯ４００相当）を目標画質として設定する。ここで設定された目標画質は、ノイズ量に換算されて、目標ノイズ量として内部メモリ４等に記憶される。

そして、図９に示す処理を開始して、ステップＳ１〜Ｓ１３の処理を、上述した実施形態１の図３に示した処理と同様に行う。

次に、ステップＳ１３において算出したノイズ量が、目標画質に対応する目標ノイズ量に到達したか否かを、ノイズ量判定部２６が判定する（ステップＳ２１）。

ここで、目標ノイズ量に到達していないと判定された場合には、ステップＳ１４の処理を行った後に、最新の合成画像と現在の画質指標とともに、目標画質の画質指標を表示する（ステップＳ１５Ａ）。

ここに、図１０は、目標画質をＩＳＯ感度により設定したときの表示例を示す図である。

この図１０に示す表示部７の画面７ａは、撮影開始時のＩＳＯ感度が１６００であり、目標画質がＩＳＯ感度２００相当に設定されているが、現在のＩＳＯ感度が４００相当であることを表示する例となっている。

また、図１１は、目標画質をノイズ改善量により設定したときの表示例を示す図である。

この図１１に示す例は、目標画質である目標ノイズ改善量が−３．０段に設定されているが、現在のノイズ改善量が−２．０段に止まっていることを表示している。

さらに、図１２は、目標画質をダイナミックレンジの改善量の段数により設定したときの表示例を示す図である。

この図１２に示す例は、撮影開始時のダイナミックレンジが９ＥＶであり、目標画質である目標ダイナミックレンジ改善量が＋３ＥＶに設定されているが、現在のダイナミックレンジが１１ＥＶであり、つまりダイナミックレンジ改善量が＋２ＥＶに止まっていることを表示している。

これらの例に示すような表示を行うことで、目標画質に対する達成度合いを撮影者が把握することができる。

その後は、ステップＳ１６へ行って、上述した実施形態１と同様に、システム制御部１０が、２ｎｄレリーズスイッチの状態を検出して、２ｎｄレリーズスイッチがオフであるか否かを判定する。

すなわち、目標画質に到達しない場合であっても、撮影途中で撮影を終了したくなる場合が十分に想定される。例えば、目標画質に対する達成度合いが遅々として進展せず、達成完了を待てない場合、あるいは何らかの事情で途中で撮影を終了したい場合などである。そこで、上述した実施形態１と同様に２ｎｄレリーズスイッチのオフ判定を行い、撮影者の意図によって撮影を終了できるようにしている。

こうして、ステップＳ２１において目標ノイズ量に到達していると判定された場合、または、ステップＳ１６において２ｎｄレリーズスイッチがオフであると判定された場合には、ステップＳ１７およびステップＳ１８の処理を行ってから、図示しないメイン処理へリターンする。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、設定された目標画質に達したところで撮影を自動的に終了するようにしたために、撮影者の意図を反映した撮影を自動で行うことが可能となる。従って、撮影者が画質指標を常時監視している必要がなくなり、バルブ撮影が長時間にわたる際の撮影者の負担を軽減することができる。

こうして、最適なタイミングで撮影を終了することができ、撮影の失敗を抑制することが可能となる。
［実施形態３］

図１３は本発明の実施形態３を示したものであり、撮像装置１において複数コマの画像を撮影して合成する処理の流れを示すフローチャートである。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

露出時間が長くなること（長時間露光）と、イメージセンサ１３の温度が高くなることと、の少なくとも一方が発生すると、イメージセンサ１３のＰＤ（フォトダイオード）で発生する暗電流ノイズの影響が増大する。この暗電流ノイズは、シェーディングまたは欠陥状のＦＰＮとして画像暗部に現れ、画質の低下を招く。

これに対して、デジタルカメラ等の撮像装置１においては、長時間露光のとき、またはイメージセンサ１３の温度が高いときに、メカニカルシャッタ１２を開いて撮影した明時画像の露出時間と同じ時間だけ、メカニカルシャッタ１２を閉じて暗時画像の撮影を行い、同一画素位置毎に明時画像から暗時画像を減算することにより、ＦＰＮを補正するＦＰＮキャンセル処理が一般的に行われている。

そこで、本実施形態では、システム制御部１０が、メカニカルシャッタ１２を開状態にして複数コマの明時画像データをイメージセンサ１３に生成させるに先だって、メカニカルシャッタ１２を閉状態にして暗時画像データをイメージセンサ１３に生成させる。さらに、ＦＰＮキャンセル処理部１６が、画像合成部１５により算出された明時画像データに係る合成画像データから、暗時画像データを減算するＦＰＮキャンセル処理を行う。そして、ノイズ量算出部６は、画像合成処理が行われＦＰＮキャンセル処理が行われた遮光画素データに基づきノイズ量を算出する。

つまり、本実施形態のＦＰＮキャンセル処理部１６は、明時画像データが画像合成部１５により得られた合成画像データである場合にも、暗時画像データを用いて、合成画像データ中の固定パターンノイズを補正するものとなっている。

ここに、本実施形態においては、各コマの露出時間Ｔが一定であって、合成方法が比較明合成、比較暗合成、または加算平均合成である場合を想定して、これらの合成方法に適したＦＰＮキャンセル処理を説明する。

なお、加算合成の場合には、合成するコマ数が増えるほどＦＰＮだけでなくランダムノイズも増加して行くために、露出時間Ｔで撮影した１コマの暗時画像を用いるだけでは、ＦＰＮの改善は期待できるもののランダムノイズの改善は難しく、つまり露光経過を示す画像の画質改善はそれほど期待できない。従って、ここでは画像合成処理として、比較明合成、比較暗合成、または加算平均合成を想定している。

上述した各コマの露出時間Ｔが一定であるという想定の下では、各コマに含まれるＦＰＮは概ね等しいと考えて良いために、明時画像を撮影する直前に露出時間Ｔの暗時画像を撮影しておき、途中経過として表示する画像にもＦＰＮキャンセル処理を行っておくことで、露光経過を示す画像の画質を改善することができる。

図１３に示す処理を開始すると、ステップＳ１〜Ｓ３の処理を行う。

そして、ステップＳ３において、２ｎｄレリーズスイッチがオンであると判定された場合には、システム制御部１０は、まず、メカニカルシャッタ１２を閉じてイメージセンサ１３により露出時間Ｔの暗時画像を撮影し（ステップＳ３１）、撮影した暗時画像を内部メモリ４に記憶する（ステップＳ３２）。

その後は、メカニカルシャッタ１２を開いてステップＳ６〜Ｓ１０の処理を行い、明時画像を撮影して合成画像を算出し内部メモリ４に記憶する。

続いて、明時画像を合成して得られた合成画像から暗時画像を減算することを、同一画素位置毎に行ってＦＰＮキャンセル処理を実施する（ステップＳ３３）。このＦＰＮキャンセル処理は、有効画素１３ａでなる有効画素群に対して行うだけでなく、ＯＢ画素１３ｂでなる遮光画素群に対しても同様に行う。ここでＦＰＮキャンセル処理された合成画像は、元の合成画像とは別途に内部メモリ４に記憶される。そして、ステップＳ９において算出される合成画像は、ＦＰＮキャンセル処理がなされていない合成画像と、新たに撮影された画像と、を合成した画像である。

次に、ＦＰＮキャンセル処理された合成画像に対して、ステップＳ１１の画素欠陥補正処理、およびステップＳ１２の現像処理を行う。

さらに、ノイズ量算出部６が、ＦＰＮキャンセル処理後に現像処理された合成画像データのノイズ量を、ＯＢ画素１３ｂの数値解析を行うことにより算出し（ステップＳ１３Ａ）、ノイズ量に基づき画質指標を算出する（ステップＳ１４Ａ）。

その後、ステップＳ１５およびステップＳ１６の処理を行い、ステップＳ１６において２ｎｄレリーズスイッチがオフであると判定された場合には、２ｎｄレリーズスイッチのオフを判定した時点で内部メモリ４に記憶されている合成画像データ（ＦＰＮキャンセル処理がまだなされていない合成画像データ）にＦＰＮキャンセル処理を行い（ステップＳ３４）、外部メモリ９に保存する（ステップＳ１７Ａ）。

続いて、ステップＳ１８の処理を行い、この合成処理から図示しないメイン処理へリターンする。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、明時画像を撮影する直前に撮影した暗時画像を用いて、各コマを取得した時点の合成画像のＦＰＮキャンセル処理を行い、ＦＰＮキャンセル処理後の合成画像のＯＢ画素１３ｂからノイズ量を算出して画質指標を生成し、ＦＰＮキャンセル処理後の合成画像と共に表示するようにしたために、ノイズ量に係る画質をより正確に把握しながら撮影を行うことができる。
［実施形態４］

図１４から図１６は本発明の実施形態４を示したものであり、図１４は撮像装置１における各部の動作を示すタイミングチャート、図１５は撮像装置１において複数コマの画像を撮影して合成する処理の流れを示すフローチャート、図１６は撮像装置１におけるＦＰＮキャンセル後ノイズ量算出処理を示すフローチャートである。

この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態３においては、バルブ撮影を開始する直前に暗時画像を撮影したが、本実施形態は、バルブ撮影を終了した直後に暗時画像を撮影するものとなっている。さらに、実施形態３では取得済みの暗時画像を用いて撮影途中の各時点における合成画像のＦＰＮキャンセル処理を行い、ＦＰＮキャンセル処理後の合成画像のノイズ量を算出して画質指標を表示したが、本実施形態は、撮影途中の各時点におけるＦＰＮキャンセル処理前の合成画像からＦＰＮキャンセル処理をされた場合の残存ノイズ（ランダムノイズ）を推定してノイズ量とし、画質指標を表示するようにしたものである。

まず、図１４および図１５を参照しながら、本実施形態における合成処理の流れを説明する。

この処理を開始すると、ステップＳ１〜Ｓ１２の処理を上述したように行う。これにより、ステップＳ５において露出時間Ｔが経過する毎に明時画像が読み出され、図１４に示すように、１コマ目から順に第１明時画像，第２明時画像，第３明時画像，第４明時画像，…などが得られる。新たな明時画像が撮影される毎に、ステップＳ９において合成処理が行われ、さらに、ステップＳ１１の画素欠陥補正処理、およびステップＳ１２の現像処理が行われる。

次に、ノイズ量算出部６が、現像処理が行われた合成画像の、ＦＰＮキャンセル処理を行った後のノイズ量を推定して算出する（ステップＳ４１）。

すなわち、ノイズ量算出部６は、合成画像データの遮光画素データに基づき算出したノイズ量と、イメージセンサ１３から順次に読み出される各コマの遮光画素データに基づき算出したノイズ量と、順序が隣接する２つのコマの遮光画素データを各画素位置毎に減算した減算画像データに基づき算出したノイズ量と、を用いて、イメージセンサ１３から１コマの明時画像データが読み出される毎に、ＦＰＮキャンセル処理が行われたとした場合の合成画像データのノイズ量を算出する。このＦＰＮキャンセル後ノイズ量算出処理については、後で図１６を参照して詳しく説明する。

続いて、ステップＳ１５において、現像処理された合成画像が、図１４に示すように、表示部７に表示画像として表示される。

さらに、ステップＳ１６の処理を行い、ステップＳ１６において２ｎｄレリーズスイッチがオフであると判定された場合には、システム制御部１０は、メカニカルシャッタ１２を閉じてイメージセンサ１３により露出時間Ｔの暗時画像を撮影し（ステップＳ４２）、撮影した暗時画像を内部メモリ４に記憶する（ステップＳ４３）。

さらに、ステップＳ３４において、内部メモリ４に記憶されている合成画像データに対して、ステップＳ４３で内部メモリ４に記憶した暗時画像を用いてＦＰＮキャンセル処理を行い、ステップＳ１７Ａにおいて、処理後の合成画像データ（図１４に示す最終記録画像）を外部メモリ９に保存する。

その後は、ステップＳ１８の処理を行い、この合成処理から図示しないメイン処理へリターンする。

次に、上述したステップＳ４１のＦＰＮキャンセル後ノイズ量算出処理の原理について説明する。

まず、一般的に、１枚の画像に含まれるノイズ量を示す標準偏差σは、次の数式１に示すように、ランダムノイズ量（標準偏差：σrとする）とＦＰＮ量（標準偏差：σfとする）との２乗和の平方根で表される。
［数１］
σ＝｛σr^2＋σf^2｝^(1/2)

従って、何コマ目であるかを示すコマ数を正の整数ｎで表し、ｎコマ目の画像のランダムノイズ量をσr_n、ＦＰＮ量をσf_nとすると、ｎコマ目の画像（１コマ分の画像）に含まれるノイズ量σnは、次の数式２により表される。
［数２］
σn＝｛σr_n^2＋σf_n^2｝^(1/2)

一方、１〜ｎコマ目の画像を画像合成処理して得られる合成画像のノイズ量σ合nも、合成画像のランダムノイズ量をσr_合n、ＦＰＮ量をσf_合nとすると、数式１に従って、次の数式３により表される。
［数３］
σ合n＝｛σr_合n^2＋σf_合n^2｝^(1/2)

今求めたい量は、ＦＰＮキャンセル処理を行った後の合成画像のノイズ量であり、つまり、σr_合nである。そこで、数式３をσr_合nを求める式に変形すれば、次の数式４になる。
［数４］
σr_合n＝｛σ合n^2−σf_合n^2｝^(1/2)

この数式４の右辺における合成画像のノイズ量σ合nは、合成画像のＯＢ画素１３ｂの画素値の標準偏差から算出される。

一方、数式４の右辺における合成画像のＦＰＮ量σf_合nは、各コマのＦＰＮ量σf_1，σf_2，σf_3，…，σf_nが分かれば、合成方法に応じて次のように算出される（さらに、幾つかの合成方法に応じた合成画像のランダムノイズ量σr_合nも、各コマのランダムノイズ量σr_1，σr_2，σr_3，…，σr_nが分かれば、次のように算出される）。

まず、加算合成を用いる場合には、次の数式５，５Ａに示すようになる。
［数５］
σf_合n＝σf_1＋σf_2＋σf_3＋…＋σf_n
［数５Ａ］
σr_合n＝｛σr_1^2＋σr_2^2＋σr_3^2＋…＋σr_n^2｝^(1/2)

次に、加算平均合成を用いる場合には、次の数式６，６Ａに示すようになる。
［数６］
σf_合n＝｛σf_1＋σf_2＋σf_3＋…＋σf_n｝／ｎ
［数６Ａ］
σr_合n＝｛（σr_1^2＋σr_2^2＋σr_3^2＋…＋σr_n^2）／２｝^(1/2)

続いて、比較明合成を用いる場合には、最大値を与える関数ｍａｘを用いれば、次の数式７に示すようになる。
［数７］
σf_合n＝ｍａｘ｛σf_1，σf_2，σf_3，…，σf_n｝

さらに、比較暗合成を用いる場合には、最小値を与える関数ｍｉｎを用いれば、次の数式８に示すようになる。
［数８］
σf_合n＝ｍｉｎ｛σf_1，σf_2，σf_3，…，σf_n｝

従って、各コマのＦＰＮ量σf_1，σf_2，σf_3，…，σf_nが分かれば、合成方法に応じた数式５，６，７，８の何れかを用いることにより、合成画像のＦＰＮ量σf_合nが分かることになる。

そこで、ｎコマ目の画像のＦＰＮ量σf_nを、（ｎ−１）コマ目の画像とｎコマ目の画像とに基づいて算出することを考える。

ここに、ｎコマ目の画像のノイズ量σnは上述した数式２により表され、（ｎ−１）コマ目の画像のノイズ量σn-1は、数式１に従って、次の数式９に示すように表される。
［数９］
σn-1＝｛σr_n-1^2＋σf_n-1^2｝^(1/2)

ここで、各コマの画像を撮影する際の露出時間ＴおよびＩＳＯ感度が同一であるものとする。さらに、（ｎ−１）コマ目の画像を撮影する時点とｎコマ目の画像を撮影する時点とで、イメージセンサ１３の温度がほぼ変化しないものとする。このときには、次の数式１０，１０Ａに示すような近似を行うことができる。
［数１０］
σr_n-1≒σr_n
［数１０Ａ］
σf_n-1≒σf_n

なお、ここで述べているのは、順序（コマ番号）が隣接するコマ同士ではランダムノイズ量およびＦＰＮ量が近似するということだけであるので、例えば、σr_n-1≒σr_nであり、かつσr_n-2≒σr_n-1であるからといって、σr_n-2≒σr_nが成り立つとは限らないことに注意を要する。

そして、順序が隣接する（ｎ−１）コマ目の画像とｎコマ目の画像のＯＢ画素１３ｂに関して、同一画素位置の画素値同士を減算処理して、減算画像におけるＯＢ画素１３ｂの画素値の標準偏差から、減算画像に含まれるノイズ量σn-1〜nを算出する。この減算処理を行うと、ＦＰＮはキャンセルされるために、減算画像に含まれるノイズ量σn-1〜nは、ランダムノイズのみのノイズ量であると考えることができる。

ここに、ランダムノイズは、＋，−方向に無関係に発生するノイズであるために、減算処理を行った場合のノイズ量は、加算合成時と同様に、（ｎ−１）コマのランダムノイズ量σr_n-1とｎコマのランダムノイズ量σr_nの２乗和の平方根で表すことができる。従って、減算画像に含まれるノイズ量σn-1〜nは、次の数式１１に示すように表される。
［数１１］
σn-1〜n＝｛σr_n^2＋σr_n-1^2｝^(1/2)

この数式１１に数式１０の近似を適用すれば、次の数式１２を得る。
［数１２］
σn-1〜n＝｛σr_n^2＋σr_n-1^2｝^(1/2)
≒｛σr_n^2＋σr_n^2｝^(1/2)
＝２^(1/2)×σr_n

この数式１２をσr_nを求める式に書き直せば、次の数式１３となる。
［数１３］
σr_n≒（σn-1〜n）／（２^(1/2)）

従って、数式２をσf_nを求める式に書き直した上で、数式１３を適用すれば、次の数式１４を得る。
［数１４］
σf_n＝｛σn^2−σr_n^2｝^(1/2)＝｛σn^2−（σn-1〜n^2）／２｝^(1/2)

このようにして各コマのＦＰＮ量σf_nの値が算出されれば、上述した数式５，６，７，８の何れかを用いることにより、合成画像のＦＰＮ量σf_合nを算出することができ、ひいては数式４により、ＦＰＮキャンセル処理を行った後の合成画像のノイズ量σr_合nを求めることができる。

このような原理に基づく、ステップＳ４１のＦＰＮキャンセル後ノイズ量算出の処理の詳細を、図１６を参照して説明する。

この処理を開始すると、イメージセンサ１３から読み出されたｎコマ目の画像のＯＢ画素１３ｂのノイズ量σnを例えば標準偏差として算出すると共に、１〜ｎコマ目の各画像を合成処理して得られた合成画像のノイズ量σ合nを例えば標準偏差として算出する（ステップＳ５１）。

次に、各画素位置毎に、ｎコマ目の画像のＯＢ画素１３ｂの画素値から、（ｎ−１）コマ目の画像のＯＢ画素１３ｂの画素値を減算する画像演算を行う（ステップＳ５２）。

続いて、減算画像のＯＢ画素１３ｂのノイズ量σn-1〜nを例えば標準偏差として算出する（ステップＳ５３）。

さらに、ステップＳ５１で算出したノイズ量σnと、ステップＳ５３で算出したノイズ量σn-1〜nとを用いて、ｎコマ目の画像のＦＰＮ量σf_nを数式１４により算出する（ステップＳ５４）。

ここで算出したＦＰＮ量σf_nを、内部メモリ４に保存しておく（ステップＳ５５）。これにより、各コマのＦＰＮ量が内部メモリ４に順次蓄積される。

そして、１〜ｎコマ目のＦＰＮ量σf_1，σf_2，σf_3，…，σf_nを用いて、合成方法に応じた数式５，６，７，８の何れかに基づき、合成画像のＦＰＮ量σf_合nを算出する（ステップＳ５６）。

その後、ステップＳ５１で算出したノイズ量σ合nと、ステップＳ５６で算出したＦＰＮ量σf_合nとを用いて、ＦＰＮキャンセル処理を行った後の合成画像のノイズ量σr_合nを、数式４により算出し（ステップＳ５７）、この処理からリターンする。

上述した実施形態３のように明時画像の撮影を開始する直前に暗時画像を撮影する場合には、レリーズ釦により２ｎｄレリーズスイッチがオンされてから明時画像が実際に撮影開始されるまでのタイムラグが長くなるために、例えば花火などを撮影している場合に、写したい花火が写らない場合が生じていた。

これに対して、このような実施形態４によれば、上述した実施形態１〜３とほぼ同様の効果を奏するとともに、明時画像の撮影を終了した直後に暗時画像を撮影するようにしたために、シャッタチャンスを逃すケースを低減することが可能となる。

なお、上述では、レリーズ釦を押圧することによりバルブ撮影を開始し、押圧を解除することによりバルブ撮影を停止していたが、これに限るものではない。例えば、レリーズ釦を押圧することによりバルブ撮影を開始し、一旦バルブ撮影を開始した後は押圧を解除してもバルブ撮影が続行され、再度、レリーズ釦を押圧するとバルブ撮影を停止するようにしても良い。

また、上述したように、比較明合成、比較暗合成、加算平均合成、加算合成の内の何れか１つが設定可能であるに限るものではなく、２つ以上の組み合わせを同時に設定可能としても良い。そして、バルブ撮影時の途中経過を示す合成画像の表示は、比較明合成画像のみ、比較暗合成画像のみ、または平均合成画像のみでも構わず、あるいは、単純に加算画像を表示するようにしても良い。

さらに、上述では主として撮像装置１について説明したが、撮像装置１と同様の処理を行う撮像方法であっても良いし、コンピュータに撮像装置１と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

具体的に、上述では、撮像装置１についての処理を説明したが、これに限らず、撮像装置１により複数コマの画像データを取得しておき、取得した複数コマの画像データに対して上述したような画像処理を施すようにしても構わない。

また、本明細書において説明した技術の内の、主にフローチャートで説明した制御に関しては、処理プログラムで実行可能であることが多く、この処理プログラムは記録媒体または記録部に収められる場合もある。この記録媒体または記録部への記録の仕方は、製品出荷時に記録しても良く、配布された記録媒体を利用しても良く、インターネット等の通信回線を介してダウンロードしたものでも良い。

さらに、特許請求の範囲、明細書、および図面（フローチャート等）中の動作説明に関して、便宜上「まず」、「次に」、「続いて」、「その後」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像装置
２…撮像部
３…バス
４…内部メモリ
５…画像処理部
６…ノイズ量算出部
７…表示部
７ａ…画面
８…入力ＩＦ
９…外部メモリ
１０…システム制御部
１１…レンズ
１２…メカニカルシャッタ
１３…イメージセンサ
１３ａ…有効画素
１３ｂ…ＯＢ画素
１５…画像合成部
１６…ＦＰＮキャンセル処理部
１７…画素欠陥補正部
１８…現像処理部
２１…比較明合成部
２２…比較暗合成部
２３…加算合成部
２４…平均合成部
２６…ノイズ量判定部

Claims (13)

1. 被写体の光学像に係る画像データを生成するための有効画素群と、該有効画素群の周辺に遮光して配置され遮光画素データを生成するための遮光画素群と、を有する撮像素子と、
   上記有効画素群から順次に読み出された複数コマの上記画像データに画像合成処理を行って１コマの合成画像データを算出するとともに、上記遮光画素群から順次に読み出された複数コマの上記遮光画素データに対して上記画像データに行ったのと同じ画像合成処理を行う画像合成部と、
   上記画像合成処理が行われた上記遮光画素データに基づきノイズ量を算出するノイズ量算出部と、
   を備え、
   上記画像合成部および上記ノイズ量算出部は、上記撮像素子から１コマの上記画像データおよび上記遮光画素データが読み出される毎に上記処理を行うことを特徴とする撮像装置。
2. 上記ノイズ量算出部により算出されたノイズ量から、上記合成画像データの画質を表す画質指標を算出する指標算出部と、
   上記画質指標を表示する表示部と、
   をさらに備えたことを特徴とする請求項１に記載の撮像装置。
3. 上記画像合成部は、上記画像合成処理として加算平均合成処理を行うことを特徴とする請求項１に記載の撮像装置。
4. 上記画像合成部は、上記画像合成処理として、比較明合成処理、または比較暗合成処理を行うことを特徴とする請求項１に記載の撮像装置。
5. 上記画像合成部は、上記画像合成処理として、加算合成処理を行うことを特徴とする請求項１に記載の撮像装置。
6. 上記撮像素子への被写体の光学像の到達と非到達とを、開閉により制御する光学シャッタと、
   上記光学シャッタを開状態にして複数コマの明時画像データを生成させるに先だって、上記光学シャッタを閉状態にして上記撮像素子に暗時画像データを生成させる制御部と、
   上記画像合成部により算出された上記明時画像データに係る上記合成画像データから、上記暗時画像データを減算するＦＰＮキャンセル処理を行うＦＰＮキャンセル処理部と、
   をさらに備え、
   上記ノイズ量算出部は、上記画像合成処理が行われ上記ＦＰＮキャンセル処理が行われた上記遮光画素データに基づきノイズ量を算出することを特徴とする請求項１に記載の撮像装置。
7. 上記撮像素子への被写体の光学像の到達と非到達とを、開閉により制御する光学シャッタと、
   上記光学シャッタを開状態にして上記撮像素子に複数コマの明時画像データを全て生成させ終えた後に、上記光学シャッタを閉状態にして上記撮像素子に暗時画像データを生成させる制御部と、
   上記複数コマの明時画像データの生成が全て終わった後に、上記画像合成部により算出された上記明時画像データに係る上記合成画像データから、上記暗時画像データを減算するＦＰＮキャンセル処理を行うＦＰＮキャンセル処理部と、
   をさらに備え、
   上記ノイズ量算出部は、上記合成画像データの遮光画素データに基づき算出したノイズ量と、上記撮像素子から順次に読み出される各コマの上記遮光画素データに基づき算出したノイズ量と、順序が隣接する２つのコマの遮光画素データを各画素位置毎に減算した減算画像データに基づき算出したノイズ量と、を用いて、上記撮像素子から１コマの上記明時画像データが読み出される毎に、上記ＦＰＮキャンセル処理が行われたとした場合の上記合成画像データのノイズ量を算出することを特徴とする請求項１に記載の撮像装置。
8. 目標ノイズ量を設定する目標ノイズ量設定部と、
   上記ノイズ量算出部で算出した上記画像合成処理が行われた上記遮光画素データのノイズ量が、上記目標ノイズ量に到達したか否かを判定するノイズ量判定部と、
   上記ノイズ量判定部により上記目標ノイズ量に到達したと判定されたところで、上記撮像素子に上記画像データの読み出しを終了させる制御部と、
   をさらに備えることを特徴とする請求項１に記載の撮像装置。
9. 上記指標算出部は、撮影開始時の上記画質指標と、現在の合成画像の上記画質指標と、を算出することを特徴とする請求項２に記載の撮像装置。
10. 上記指標算出部は、上記画質指標としてＩＳＯ感度を算出することを特徴とする請求項２に記載の撮像装置。
11. 上記指標算出部は、画質指標として、撮影開始時のノイズ量と現在の合成画像のノイズ量とを比較したノイズ量の変化量を示す数値を算出することを特徴とする請求項２に記載の撮像装置。
12. 上記指標算出部は、画質指標として、ノイズ量から求められた画像データのダイナミックレンジを示す数値を算出することを特徴とする請求項２に記載の撮像装置。
13. 有効画素群から被写体の光学像に係る画像データを読み出すとともに、該有効画素群の周辺に遮光して配置された遮光画素群から遮光画素データを読み出すステップと、
    １コマの上記画像データおよび上記遮光画素データが読み出される毎に、上記有効画素群から順次に読み出された複数コマの上記画像データに画像合成処理を行って１コマの合成画像データを算出するとともに、上記遮光画素群から順次に読み出された複数コマの上記遮光画素データに対して上記画像データに行ったのと同じ画像合成処理を行うステップと、
    １コマの上記画像データおよび上記遮光画素データが読み出される毎に、上記画像合成処理が行われた上記遮光画素データに基づきノイズ量を算出するステップと、
    を有することを特徴とする撮像方法。

Images