以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図7は本発明の実施形態1を示したものであり、図1は撮像装置1の構成を示すブロック図である。なお、図1には、撮像装置1の電気的な構成を主に示している。
本実施形態の撮像装置1は、撮像部2と、バス3と、内部メモリ4と、画像処理部5と、ノイズ量算出部6と、表示部7と、入力IF(インターフェース:Interface)8と、システム制御部10と、を備えている。なお、図1に示す撮像装置1には外部メモリ9が記載されているが、この外部メモリ9は、後述するように撮像装置1に着脱可能なメモリカード等であっても構わないために、撮像装置1に固有の構成である必要はない。
本実施形態においては、撮像装置1が例えばデジタルカメラ(コンパクトデジタルカメラ、あるいはデジタル一眼カメラ等)であることを想定して適宜説明するが、撮像装置1としては、ビデオカメラ、ムービーカメラのような動画用のカメラでも良いし、携帯電話、スマートフォンや携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラであっても構わない。さらにこれらに限らず、撮像装置1は、長時間露光(ここに、「露光」は「露出」ともいう)が可能な撮影のための機器であれば広く適用することができる。
撮像部2は、レンズ11と、メカニカルシャッタ12と、イメージセンサ13と、を有している。
レンズ11は、被写体の光学像をイメージセンサ13に結像する。このレンズ11は、一般的には、焦点調節を行うためのフォーカスレンズと、イメージセンサ13に到達する光量を調節するための絞りと、を備えている。ここに、絞りを調節すると、露出量に係る絞り値が変化する。なお、本実施形態においては、レンズ11が撮像装置本体と一体に構成されていることを想定して説明するが、撮像装置本体と着脱可能な交換レンズとして構成されていても勿論かまわない。
メカニカルシャッタ12は、レンズ11からイメージセンサ13への被写体の光学像の到達と非到達とを、開閉により制御する光学シャッタであり、露出時間(シャッタ速度)の制御も行う。
イメージセンサ13は、複数の画素が2次元状に配列されていて、レンズ11により結像された被写体の光学像を画素毎に電気信号に変換して画像データを生成する撮像素子であり、例えば、CMOSイメージセンサ、CCDイメージセンサ等として構成されている。このイメージセンサ13により生成された画像データは、画像処理部5およびバス3へ出力される。
ここで、図2はイメージセンサ13の画素構成を示す図である。
イメージセンサ13は、被写体の光学像に係る画像データを生成するための有効画素13aを構成要素とする有効画素群と、この有効画素群の周辺に遮光して配置され遮光画素データを生成するための遮光画素であるOB画素13bを構成要素とする遮光画素群と、を有している。
遮光画素群は、図2に示すように、有効画素13aの例えば左辺に沿って、有効画素群の各水平ラインと同一の水平ラインに(水平)OB(Optical Black:オプティカルブラック)画素13bが各配置されている水平遮光画素群と、有効画素13aの例えば上辺に沿って、有効画素群の各垂直ラインと同一の垂直ラインに(垂直)OB画素13bが各配置されている垂直遮光画素群と、を備えている。
ここに、有効画素13aとOB画素13bとは、何れも、光を電気信号に変換するPD(フォトダイオード)を備えているが、メカニカルシャッタ12が開いた状態となっているときには、有効画素13aにはレンズ11により結像される被写体像の光が到達するのに対して、遮光画素であるOB画素13b上には遮光膜が設けられているためにレンズ11により結像される被写体像の光は到達しない。従って、OB画素13bは、メカニカルシャッタ12の開閉に関わらず、常に遮光画素データを出力するようになっている。
有効画素13aから出力される画像データにおける黒の基準信号レベルは、イメージセンサ13の温度、露出時間(電荷蓄積時間)、周辺回路の電圧変動などによって変動する。このために、有効画素13aからの画像データと同時に出力されるOB画素13bからの遮光画素データを、有効画素13aからの画像データの黒の基準信号レベルとして使用する。
バス3は、撮像装置1内の各部が信号の送受信を行うための信号線である。このバス3には、例えば、撮像部2、内部メモリ4、画像処理部5、ノイズ量算出部6、表示部7、入力IF8、外部メモリ9、システム制御部10の各部が接続されている。
内部メモリ4は、撮像装置1に係る情報を記憶するものであり、フラッシュメモリ等の不揮発性メモリ、あるいはSDRAM等の揮発性メモリを備えている。ここに、不揮発性メモリには、例えば、システム制御部10が撮像装置1を制御する処理を行うための処理プログラム、あるいは撮像装置1の動作に必要な各種の設定情報などが記憶される。また、揮発性メモリには、画像処理を行っている途中の画像データなどが一時的に記憶される。
画像処理部5は、イメージセンサ13から出力され、必要に応じて内部メモリ4に記憶された画像データに各種の画像処理を施すものであり、画像合成部15と、FPN(Fixed Pattern Noise:固定パターンノイズ)キャンセル処理部16と、画素欠陥補正部17と、現像処理部18と、を有している。
画像合成部15は、有効画素群から順次に(「時系列的に」または「連続的に」とも表現される)読み出された複数コマの画像データに画像合成処理を行って1コマの合成画像データを算出するとともに、遮光画素群から順次に読み出された複数コマの遮光画素データに対して画像データに行ったのと同じ画像合成処理を行うことを、イメージセンサ13から1コマの画像データおよび遮光画素データが読み出される毎に行う。ここに、画像合成部15が行う画像合成処理は、対応する画素位置毎に画素値を合成する処理となっている。
ここでは具体例として、画像合成部15が、比較明合成部21と、比較暗合成部22と、加算合成部23と、平均合成部24と、を有する構成について説明するが、これらに加えて、あるいはこれらの内の幾つかに代えて、その他の画像合成処理を行う部を備えていても構わない。以下では、比較明合成部21と、比較暗合成部22と、加算合成部23と、平均合成部24とが、主として有効画素13aから読み出された画像データに対してそれぞれ行う処理を説明するが、上述したように、OB画素13bから読み出された遮光画素データに対しても同様の処理を行うようになっている。
比較明合成部21は、以下のような累積的な比較明合成処理を行う。最初にイメージセンサ13から読み出された画像データを基に生成された画像データ(この「イメージセンサ13から読み出された画像データを基に生成された画像データ」は、本実施形態においてはイメージセンサ13から読み出されたいわゆるRAW画像データを想定しているが、これに限るものではなく、FPNキャンセル処理部16、画素欠陥補正部17、現像処理部18等による処理が行われた画像データであっても構わない、以下同様)が、まず、比較明合成画像データとして内部メモリ4に記憶される。
次に、イメージセンサ13から画像データが読み出されると、比較明合成部21は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ4に記憶されている比較明合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に比較する。そして、比較した結果の何れか大きい方(つまり、明るい方)の画素データを該当画素位置の画素データとすることにより、比較明合成画像データを再構成する。
このような処理を、イメージセンサ13から画像データが読み出される毎に繰り返し行うことで、最新の比較明合成画像データが内部メモリ4に記憶される。こうした比較明合成処理を、例えば、天体写真を撮影する場合に行えば、夜空の星の光跡の画像を得ることができる。このときには、露出時間によらず背景の明るさは一定となり、さらに露出時間に応じて光跡の長さを調整することが可能である。
比較暗合成部22は、以下のような累積的な比較暗合成処理を行う。最初にイメージセンサ13から読み出された画像データを基に生成された画像データが、まず、比較暗合成画像データとして内部メモリ4に記憶される。
次に、イメージセンサ13から画像データが読み出されると、比較暗合成部22は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ4に記憶されている比較暗合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に比較する。そして、比較した結果の何れか小さい方(つまり、暗い方)の画素データを該当画素位置の画素データとすることにより比較暗合成画像データを再構成する。
このような処理を、イメージセンサ13から画像データが読み出される毎に繰り返し行うことで、最新の比較暗合成画像データが内部メモリ4に記憶される。こうした比較暗合成処理を、例えば、天体写真を撮影する場合に行えば、夜空において移動する星の光跡を消去した、背景のみの画像を得ることができる。
加算合成部23は、以下のような累積的な加算合成処理を行う。最初にイメージセンサ13から読み出された画像データを基に生成された画像データが、まず、加算合成画像データとして内部メモリ4に記憶される。
次に、イメージセンサ13から画像データが読み出されると、加算合成部23は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ4に記憶されている加算合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に加算する。そして、加算した画素データを該当位置の画素データとすることにより加算合成画像データを再構成する。
このような処理を、イメージセンサ13から画像データが読み出される毎に繰り返し行うことで、最新の加算合成画像データが内部メモリ4に記憶される。こうした加算合成処理を、例えば、天体写真を撮影する場合に行えば、1回加算する毎に画像の明るさが増して行くために、最新の加算合成画像データを随時、表示部7に表示することで、バルブ撮影時に画像が変化して行く経過を目視で確認することが可能となる。
平均合成部24は、以下のような累積的な加算平均合成処理を行う。最初にイメージセンサ13から読み出された画像データを基に生成された画像データが、まず、平均合成画像データとして内部メモリ4に記憶される。
次に、イメージセンサ13から画像データが読み出されると、平均合成部24は、読み出された画像データを基に生成された画像データを構成する画素データと、内部メモリ4に記憶されている平均合成画像データを構成する画素データとを、それぞれ対応する画素位置毎に加算平均する。そして、加算平均した画素データを該当位置の画素データとすることにより平均合成画像データを再構成する。
このときの加算平均は、単純に加算して平均してしまうと、イメージセンサ13から後の時点で読み出された画像データほど重みが大きくなってしまうために、内部メモリ4に記憶されている平均合成画像データがn(nは1以上の整数)枚の画像を合成した結果であるとすると、内部メモリ4に記憶されている平均合成画像データにn/(n+1)の重みを付け、イメージセンサ13から新たに読み出された画像データに1/(n+1)の重みを付ける重み付け平均処理を行うと良い。
このような処理を、イメージセンサ13から画像データが読み出される毎に繰り返し行うことで、最新の平均合成画像データが内部メモリ4に記憶される。そして、加算平均した画素データを該当位置の画素データとすることにより平均合成画像データを再構成する。こうした加算平均合成処理を、例えば、天体写真を撮影する場合に行えば、ランダムノイズが平均化されて低減されるために、低ノイズで高画質な画像を得ることができる。
FPNキャンセル処理部16は、明時画像データ(メカニカルシャッタ12を開いて撮影して得た画像データ)から暗時画像データ(メカニカルシャッタ12を閉じて撮影して得た画像データ)を減算処理することで、固定パターンノイズを補正する。
画素欠陥補正部17は、欠陥画素(通常画素とは異なる異常な画素値を出力をする画素)の画素値を、欠陥画素の近傍にある複数の画素の画素値の平均値などで置き換えることにより、欠陥画素が画像に現れないように補正する。ここに、欠陥画素は、撮像装置1の生産時などに予め検査を行って、内部メモリ4に欠陥画素アドレスとして事前に登録されている。あるいは撮像装置1を出荷後であっても、撮影して得た画像データにおける各画素の周辺画素との相関性を算出して、相関性がなく欠陥画素であると判定される画素を、後発の欠陥画素として追加登録しても良い。
現像処理部18は、撮像部2から得られたRAW画像データ、または撮像部2から得られたRAW画像データを画像合成部15により合成して得られた合成RAW画像データに対する現像処理として、デモザイキング、ホワイトバランス調整、ノイズリダクション、ガンマ補正、YC信号生成、リサイズなどの各画像処理を行う。ここに、リサイズ処理は、イメージセンサ13から読み出された画像データの画素数を、表示部7の表示画素数に合わせるための処理である。なお、この現像処理部18において、さらに、画像圧縮処理等を行うようにしても構わない。
ノイズ量算出部6は、画像合成処理が行われた遮光画素データに基づきノイズ量を算出することを、イメージセンサ13から1コマの画像データおよび遮光画素データが読み出される毎に行うものである。具体的にノイズ量算出部6は、遮光画素群に属する複数のOB画素13bの画素値の分散または標準偏差をノイズ量として算出する。ノイズ量算出部6は、さらに、算出したノイズ量から、合成画像データの画質を表す画質指標を算出する指標算出部として機能するようになっている。この画質指標は、撮影者が合成画像データの画質を判断するのに有用な指標となっており、後で図4〜図7を参照して幾つかの具体例を説明する。
表示部7は、現像処理部18によって現像処理された画像や、撮像装置1に係る各種の情報を表示するものであり、例えば、TFT(Thin Film Transistor)液晶や有機EL(Electro Luminescence)などの表示装置を備えている。この表示部7の具体的な構成例としては、撮像装置1の背面表示部、あるいはEVF(電子ビューファインダ)などが挙げられる。イメージセンサ13から新たな画像データが読み出される毎に画像合成部15により得られる最新の合成画像を、現像処理部18によって現像処理した後に、この表示部7に表示することで、撮影中の画像の経過観察を行うことができる。また、上述したノイズ量算出部6により算出された画質指標も、この表示部7に表示され、撮影者が画質の判断に用いることができる。
入力IF8は、撮影者がこの撮像装置1に対する入力操作を行うための操作部であり、撮像装置1の電源をオン/オフするための電源釦、撮影開始および終了を操作するためのレリーズ釦等の操作部材、あるいは背面表示部等に付随して設けられたタッチ入力操作を行うためのタッチパネル等を有している。撮影者は、この入力IF8を操作することにより、撮像装置1の各種のモード設定や、レリーズ等の撮影動作指示を行うようになっている。
外部メモリ9は、撮像装置1に着脱可能な、または撮像装置1の内部に固定された、不揮発性の記憶媒体である。撮像装置1に着脱可能な外部メモリ9としては、例えば、SDメモリカードやCFカード等のメモリカードが挙げられる。現像処理部18により現像処理された画像データ(現像処理された合成画像データを含む)あるいはRAW画像データ(合成RAW画像データを含む)は、この外部メモリ9に記録され、また再生時にはこの外部メモリ9から記録済みの画像データが読み出される。
システム制御部10は、例えばCPU(Central Processing Unit)を有し、内部メモリ4に記憶された処理プログラムに従って各部を制御することにより、撮像装置1の全体を制御する制御部である。システム制御部10は、例えば、入力IF8を介して撮影者からの指示を受けると、イメージセンサ13の電荷蓄積開始および信号読出等のタイミング制御、メカニカルシャッタ12の開閉タイミング制御、レンズ11の絞り制御やオートフォーカス制御、などを行う。また、システム制御部10は、画像処理部5から画像データを受け取って、表示部7に画像表示を行わせる制御、外部メモリ9に画像データを保存させる制御、等も行う。
次に、図3は、撮像装置1において複数コマの画像を撮影して合成する処理の流れを示すフローチャートである。この図3に示す処理は、内部メモリ4に記憶された処理プログラムに従って、システム制御部10が各部を制御することにより実行される。
この図3に示す合成処理は、撮影者が入力IF8によりバルブ撮影モードを選択し、かつバルブ撮影モード中の合成モード(露光中の経過表示を行うモード)を選択している場合に、図示しないメイン処理からサブルーチン等として実行される。
従って、バルブ撮影モードが選択されていても、露光中の経過表示を行わない通常のバルブ撮影が選択されている場合についての説明は省略する。この図3を参照して説明するのは、コマ単位で時系列的に読み出した画像データを順次に画像合成して、最新の合成画像を撮影経過として表示する経過表示動作についてである。
撮影者は、合成モードを選択した場合には、より詳細な合成モードとして、比較明合成モード、比較暗合成モード、加算平均合成モード、加算合成モードの内の1つ以上をさらに選択することができるようになっている。ここに、合成モードは2つ以上を同時に選択することが可能であり、2つ以上が選択された場合には撮像装置1の内部で並列処理が行われる。
図3に示す処理を開始すると、まず、メカニカルシャッタ12を開状態にして、イメージセンサ13から所定のフレームレートで読み出された画像データを画像処理部5により順次処理して、表示部7にリアルタイムで表示するライブビュー表示を行う(ステップS1)。
このライブビュー表示がなされると、焦点位置は例えば自動調節される。そして、撮影者はライブビュー画像を確認して(もし光学ファインダをさらに備えている場合には、光学ファインダにより被写体像を確認しても構わない)、撮影したい被写体を撮影できるように、撮像装置1の向きやレンズ11の焦点距離(ズーム)を調整して構図を決める。また、このライブビューを行っているときにも、撮影者は、必要に応じて、入力IF8の操作釦やタッチパネル等を介して、合成モードの設定や、より詳細な合成モードの設定を行うことができる。
次に、システム制御部10は、レリーズ釦が半押しされたときにオンになる1stレリーズスイッチの状態を判定して、オンになるまではステップS1のライブビュー表示を引き続き行い、オンになったと判定した場合には、1stレリーズがなされた場合の処理を行う(ステップS2)。
ここでは、1stレリーズがなされた場合の処理として、例えば、AF(自動焦点制御)およびAE(自動露出制御)を行う。ここに、AFとして例えばコントラストAFを用いる場合には、イメージセンサ13から繰り返し読み出される画像データからコントラストを抽出して、抽出したコントラストが最大値になるようにレンズ11中のフォーカスレンズを駆動制御して焦点位置を合わせる。また、AEは、イメージセンサ13から繰り返し読み出される画像が適正露出になるように、絞り値、ISO感度、露出時間Tを自動制御する処理である。なお、撮像装置1の設定によっては、AFとAEとの一方または両方をオフにして、撮影者が入力IF8等を介して手動でフォーカスレンズの位置(焦点位置)、絞り値、ISO感度、露出時間T等を設定することもある。
1stレリーズ処理を行った後に、システム制御部10は、レリーズ釦が全押しされたときにオンになる2ndレリーズスイッチの状態を検出して、2ndレリーズスイッチがオンであるか否かを判定する(ステップS3)。
ここで、2ndレリーズスイッチがオンでないと判定された場合には、ステップS1へ戻って上述したような処理を繰り返して行う。
また、2ndレリーズスイッチがオンであると判定された場合には、システム制御部10は、メカニカルシャッタ12を開いてイメージセンサ13により1コマ目の画像の電荷蓄積(つまり、露出)を開始し、さらにシステム制御部10に内蔵されたタイマをリセットして露出時間Tの計時動作を開始する(ステップS4)。
その後、システム制御部10は、タイマの計時結果から露出時間Tが経過したか否かを判定する(ステップS5)。この露出時間Tは、イメージセンサ13から1コマの画像を読み出す周期(露出時間)であって、ステップS2においてAEにより自動で設定されるか、または撮影者により手動で予め設定される。そして、露出時間Tが経過していない場合には、露出を続行しながら、露出時間Tが経過するのを待機する。
システム制御部10は、露出時間Tが経過したと判定した場合には、イメージセンサ13から画像信号を読み出して、画像信号の読み出し終了直後に(つまり、電荷蓄積を行わない空白時間が最小となるように)次のコマの露出を開始し、さらにタイマをリセットして露出時間Tの計時動作を開始する(ステップS6)。このときには、メカニカルシャッタ12は開いたままとし、イメージセンサ13の電子シャッタ制御によって、次のコマの電荷蓄積開始を行う。
このために、連続して取り込む画像同士の露光抜けを最小限に抑制することができ、最終的に合成される画像に写り込む被写体の移動軌跡が途切れるのを最小限に止めることができる。デジタルカメラのイメージセンサ13として一般的に用いられているCMOSイメージセンサでは、読み出しおよび露光開始を1ライン毎に順次制御することができるために、連続するコマとコマの間の露光抜けの時間は1ラインの読み出し時間程度となる。この時間は、例えば数10〜100μ秒程度と非常に短いために、最終的な合成画像が、移動軌跡が途切れた画像として視認されることはほぼない。
また、システム制御部10は、イメージセンサ13から読み出された画像信号を、デジタルの画像データとして内部メモリ4に記憶させる(ステップS7)。この際には、図1に示したイメージセンサ13の有効画素13aから読み出された画像データに加えて、OB画素13bから読み出された遮光画素データも内部メモリ4に記憶される。
画像データを内部メモリ4に記憶すると、次に、システム制御部10は、処理対象の画像データが1コマ目の画像データであるか否かを判定する(ステップS8)。
ここで、1コマ目の画像データでないと判定された場合(すなわち、2コマ目、もしくはそれ以降の画像データであると判定された場合)には、イメージセンサ13から読み出されステップS7において内部メモリ4に記憶された画像データと、既に内部メモリ4に記憶されている合成画像と、を画像合成部15により画像合成処理する(ステップS9)。
例えば、今、2コマ目の画像データが読み出された直後であるとすると、内部メモリ4には、1コマ目の画像データが合成画像として記憶され、さらにステップS7において2コマ目の画像データが記憶されているために、これらの画像データを画像合成部15が画像合成処理する。n(n≧3)コマ目以降を処理する場合にも、1〜(n−1)コマ目までの合成画像と、nコマ目として取得された画像と、を同様に画像合成処理することになる。ここで、画像合成部15は、有効画素13aでなる有効画素群から読み出した画像データと、OB画素13bでなる遮光画素群から読み出した画像データと、の両方に対して、同一画素位置の画素値同士を合成する画像合成処理を同じように行う。
その後、ステップS9の画像合成処理を行った場合には画像合成処理の結果の画像データを、また、ステップS8において1コマ目の画像データであると判定された場合には1コマ目として取得された画像データを、合成画像データとして内部メモリ4に記憶する(ステップS10)。
続いて、内部メモリ4に記憶した合成画像データに対して、画素欠陥補正部17により画素欠陥補正処理を行い、処理後の合成画像データを、元の合成画像データとは別個に(つまり、ステップS9の画像合成処理で得られた元の合成画像データは残したまま)内部メモリ4に記憶する(ステップS11)。この画素欠陥補正処理についても、有効画素群から読み出した画像データと、遮光画素群から読み出した画像データと、の両方に対して同じように行う。
さらに、現像処理部18により、画素欠陥補正された合成画像データに対して上述したような現像処理を行い、内部メモリ4に記憶する(ステップS12)。この現像処理についても、有効画素群から読み出した画像データと、遮光画素群から読み出した画像データと、の両方に対して同じように行う。また、現像処理された合成画像データは、上述した元の合成画像データとは別個に保存されるが、画素欠陥補正処理後の合成画像データに対しては上書きしても構わない。
そして、ノイズ量算出部6が、現像処理された合成画像データのOB画素13bの数値解析を行うことにより、ノイズ量を算出する(ステップS13)。具体的に、ノイズ量算出部6は、遮光画素群に含まれる複数のOB画素13bの画素値の、例えば標準偏差(あるいは分散)を算出する。この標準偏差は、OB画素13bの画素値のばらつきを表し、OB画素13bは遮光されているためにノイズ量を表す。従って、算出した標準偏差は、値が小さいほどノイズ量が小さいことを示し、値が大きいほどノイズ量が大きいことを示す。
なお、ここでは、現像処理された合成画像データのノイズ量を算出する例を説明したが、現像処理を行う前のRAW合成画像データのノイズ量を算出しても良い。外部メモリ9に画像データを保存する際に、現像処理された画像データを保存する場合と、RAW画像データを保存する場合と、現像処理された画像データおよびRAW画像データを保存する場合と、がある。現像処理を行うか否かによってノイズ量が異なるために、どの保存設定が選択されているかに応じて、保存される画像データのノイズ量を算出するようにすると良い。
例えば、撮影に精通した撮影者は、RAW画像の記録を選択して、外部メモリ9に保存したRAW画像を、後でPC(パーソナルコンピュータ)等を用いて、例えば市販の画像処理ソフトにより自分の好みに応じて現像処理することがある。こうした撮影者にとっては、RAW画像データに対するノイズ量を算出して、算出されたノイズ量に基づく画質指標(この画質指標については後述する)を表示するのは有用である。
一方、RAW画像を保存しない一般の撮影者にとっては、現像後の画像のノイズ量を計算して画質指標を表示すれば十分である。
さらに、現像処理後の画像データ(一般的には、例えばJPEGデータ)とRAW画像データとの両方を外部メモリ9に保存する場合には、両方のノイズ量を算出して、両方の画質指標を表示しても良いし、保存する2つの画像データの内の撮影者が画質指標を表示する対象として選択した画像データに対する画質指標のみを表示するようにしても構わない。
その後、ノイズ量算出部6が、数値解析して得たノイズ量に基づき、画質指標を算出して(ステップS14)、表示部7が、現像された合成画像に重畳して、画質指標を表示する(ステップS15)。なお、ここで現像された合成画像を表示する際に、現像処理前のRAW合成画像データと現像処理された画像データとの何れか一方または両方を、途中経過の画像データとして外部メモリ9に保存するようにしても良い。
ここで、図4〜図7を参照して、撮影中の合成画像と共に表示される画質指標の幾つかの例を説明する。
まず、図4は、撮影開始時のノイズ量に対する現在のノイズ量の割合を画質指標として表示する例を示す図である。
この場合に、ノイズ量算出部6は、画質指標として、撮影開始時のノイズ量と現在の合成画像のノイズ量とを比較したノイズ量の変化量を示す数値を算出する。
そして、表示部7の画面7aには、現像処理された撮影中の合成画像が表示されると共に、画質指標が表示されている。この図4に示す画質指標は、撮影開始したときのノイズ量に対する現在のノイズ量の割合がどれだけであるかを、数字で表示するものとなっている。従って、撮影者は、ノイズ量が例えば半分になったことを直接に判断することができる。
次に、図5は、撮影開始時のISO感度から現在のISO感度がどれだけに相当する値に変化したかを画質指標として表示する例を示す図である。
ISO感度は、画素のデジタル出力に対するゲインに相当し、撮影に精通した撮影者は、一般的に、ISO感度が2倍になるとノイズも2倍に増幅され、つまりノイズ量が2倍になると把握している。
そこで、ノイズ量算出部6は、撮影開始時の画質指標としてISO感度と、現在の合成画像の画質指標としてISO感度と、を算出する。
具体的に、この図5に示す画質指標は、撮影開始時のISO感度を基準として、現在のISO感度がどれだけに相当する値に変化したかを示すものとなっている。
図5に示す例では、撮影開始時のISO感度は1600である。そして、複数コマの画像を合成して得た合成画像の現在ノイズ量が、撮影開始時の1/4に改善したものとする。この場合に、撮影開始時のISO感度にノイズ変化量を乗算した1600/4=400を、現在のISO感度の相当値として表示することで、撮影者はノイズ量を直感的に把握することができる。
さらに、図6は、撮影開始時のISO感度から現在のISO感度への変化に基づき、ノイズ量がEV値として何段改善されたかを画質指標として表示する例を示す図である。
ここに段数は、APEX(Additive system of Photographic EXposure)における、シャッタ速度をTv(Time Value)、絞り値をAv(Aperture Value)、輝度をBv(Brightness Value)、ISO感度をSv(Speed Value)として表したときのEV値
EV=Bv+Sv=Tv+Av
の単位である。記号「^」をべき乗を表す記号として用いるとすると、EV値で表す段数が+n段変化すると露出に関係する量(シャッタ速度、絞り値、輝度、ISO感度)が2^n倍になり、EV値で表す段数が−n段変化すると露出に関係する量が2^(−n)倍になる。
図6に示す例では、撮影開始時のISO1600が、現在、ISO400相当のノイズ量に改善されている。つまり、ISO感度が1/4=2^(−2)倍になっていて、ISO感度が−2段変化したことになるために、画質指標として「−2.0段」と表示されている。これにより撮影者は、ISO感度に換算したときに、画質が2段分改善したことを把握することができる。
従って、ノイズ量算出部6は、画質指標として、撮影開始時のノイズ量と現在の合成画像のノイズ量とを比較したノイズ量の変化量を段数で示す数値を算出すると共に、撮影開始時の画質指標であるISO感度と、現在の合成画像の画質指標であるISO感度と、を算出している。
そして、図7は、撮影開始時のダイナミックレンジから現在のダイナミックレンジがどれだけ変化したかを画質指標として表示する例を示す図である。
ここにダイナミックレンジは、被写体を判別可能な、画素値の最低値から最大値までの範囲(被写体の暗い部分から明るい部分までを正確に撮影できる画素値範囲)を示している。このダイナミックレンジが広いほど被写体情報が損なわれることなく撮影されていることになり、画質が高く画像として好ましい。
ここで、ノイズ量が大きい場合には、被写体情報として得られた画素値の最低値付近は、ノイズレベルに埋もれてしまうために、何が写っているのかが判別できなくなってしまう。つまり、ノイズ量が大きいほどダイナミックレンジが狭くなる。
従って、画像合成処理を行うときに、ダイナミックレンジの変化に着目して撮影を行う撮影者の場合には、ノイズ量の大きさを画質指標とするのに代えて、この図7に示すように、撮影開始時のダイナミックレンジから現在のダイナミックレンジがどれだけ変化したかを画質指標として表示すると良い。この場合には、ノイズ量算出部6は、画質指標として、ノイズ量から求められた画像データのダイナミックレンジを示す数値を算出する。
ここに、ダイナミックレンジは、2を底とする対数「log2」を用いた次の計算式により、段数を単位とした数値として表すことができる。
ダイナミックレンジ=log2{デジタル最大値/判別可能最低画素値}
ここに、デジタル最大値は、アナログ信号をnビットのデジタル信号にA/D変換した場合に2^nである(なお、ダイナミックレンジは、デジタルで算出するに限るものではなく、アナログで算出することも可能であるが、ここではデジタルを例に挙げている)。また、判別可能最低画素値は、特に規定はないが、例えば暗部(つまり、OB画素13b)のノイズの標準偏差の値以上であればノイズに埋もれることなく信号を判別可能であると規定することにすれば、判別可能最低画素値としてノイズの標準偏差を用いることができる。
具体例として、デジタル信号が12ビットである場合には、デジタル最大値は4096(=2^12)となる。
また、撮影開始時のOB画素13bのノイズの標準偏差が8であったものとする。この場合には、
撮影開始時ダイナミックレンジ=log2{4096/8}=9(段)
となる。
そして、複数の画像を合成した結果の現在の合成画像のOB画素13bのノイズの標準偏差が2(つまり、ノイズ量が撮影開始時の1/4)になったものとする。この場合には、
現在ダイナミックレンジ=log2{4096/2}=11(段)
となる。従って、撮影者は、撮影開始時よりも2段分広いダイナミックレンジの画像になっていることを把握することができる。
こうして、ステップS15の処理を行ったら、システム制御部10は、2ndレリーズスイッチの状態を検出して、2ndレリーズスイッチがオフであるか否かを判定する(ステップS16)。撮影者は、レリーズ釦を押圧することによりバルブ撮影を開始した後に、バルブ撮影を終了する場合には、レリーズ釦の押圧を解除するようになっている。従って、2ndレリーズスイッチがオフであるか否かを判定することにより、撮影者がバルブ撮影を終了する入力操作を行ったか否かを判定することができる。
ここで、2ndレリーズスイッチがオフでない(オンのままである)と判定された場合には、ステップS5へ行って、次のコマの撮影を上述したように繰り返して行う。こうして、露出時間Tが経過する毎に、最新の合成画像が露光経過を示す画像として表示部7に表示されるために、撮影者は、バルブ露光において露光が次第に進んで行く様子を、実際の画像として確認することができる。
一方、ステップS16において、2ndレリーズスイッチがオフであると判定された場合には、露出時間Tが経過したか否かに関わらず、2ndレリーズスイッチのオフを判定したタイミングでバルブ撮影の露光を終了する。従って、イメージセンサ13に電荷蓄積されている途中の画像データは読み出されず、適宜、リセット等が行われる。
そして、2ndレリーズスイッチのオフを判定した時点で内部メモリ4に記憶されている合成画像データ(保存設定に応じて、RAW合成画像データと、現像処理された合成画像データとの一方または両方)を、外部メモリ9に保存する(ステップS17)。
さらに、内部メモリ4に記憶されている現像処理された合成画像データを、最終的な記録画像として表示部7に表示し(ステップS18)、この合成処理から図示しないメイン処理へリターンする。
このような実施形態1によれば、画像合成処理を行う際に、イメージセンサ13のOB画素13bについても有効画素13aと同様の画像合成処理を行うようにしたために、OB画素13bにおけるノイズ量は、有効画素13aに含まれるノイズ量と同様であることになり、有効画素13aのノイズ量を正確に推定することが可能となる。
そして、OB画素13bの画素値の分散または標準偏差を合成画像のノイズ量として算出する場合には、処理が容易である利点がある。
また、ノイズ量算出部6で算出したノイズ量に基づいて様々な形式の画質指標を算出し、合成画像に重畳して表示部7に表示するようにしたために、どのような合成方法を選択してどのような撮影条件で撮影したとしても、撮影者は、現在の合成画像のノイズ量に関連する画質を正確に把握することができ、撮影を終了するタイミングを判断する基準に用いることができる。
比較明合成、比較暗合成、加算平均合成ではランダムノイズの平均化効果があるために、合成するコマ数が増えるほどノイズが減少して行く。ノイズ改善を狙ってこれらの合成方法を選択して撮影を行う場合には、どこまでノイズを改善させたいかの意図に応じて、撮影する(合成する)コマ数が異なるために、撮影者は、現在のノイズ量またはノイズの改善量を把握しながら、自分の好みのタイミングで撮影を終了することができる。
一方、加算合成においては1コマ毎に発生するノイズが積算されて行くために、合成するコマ数が増えるほどノイズが増大する。撮影者によって許容できるノイズ量が異なるために、撮影者は、現在のノイズ量を把握しながら、許容できないノイズ量に達する前の所望のタイミングで撮影を終了することが可能となる。
[実施形態2]
図8から図12は本発明の実施形態2を示したものであり、図8は撮像装置1の構成を示すブロック図である。
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
上述した実施形態1は、画質指標を見た撮影者が、所望のタイミングで手動により撮影を終了していた。これに対して本実施形態は、撮影者が所望とする目標の画質を予め設定して、現在撮影中の画像の画質が目標の画質に達したところで撮影を自動で終了させることができるようにしたものとなっている。
まず、図8に示すように、本実施形態の撮像装置1は、上述した実施形態1の図1に示した撮像装置1の構成に、さらにノイズ量判定部26を追加したものとなっている。このノイズ量判定部26は、システム制御部10およびバス3と接続されている。なお、ここではノイズ量判定部26をシステム制御部10と別構成としたが、システム制御部10がノイズ量判定部26を兼ねるようにしても構わない。
次に、図9は、撮像装置1において複数コマの画像を撮影して合成する処理の流れを示すフローチャートである。
まず、撮影者は、バルブ撮影を開始する前に、入力IF8を介して目標とする画質を設定する。従って、本実施形態における入力IF8は、目標ノイズ量を設定する目標ノイズ量設定部として機能する。
例えば、選択されている合成方法が加算平均合成である場合には、合成するコマ数が増えるほどノイズが改善するために、撮影者は、撮影開始時の設定ISO感度(例えば、ISO1600)よりも低いISO感度(例えば、ISO400相当)を目標画質として設定する。ここで設定された目標画質は、ノイズ量に換算されて、目標ノイズ量として内部メモリ4等に記憶される。
そして、図9に示す処理を開始して、ステップS1〜S13の処理を、上述した実施形態1の図3に示した処理と同様に行う。
次に、ステップS13において算出したノイズ量が、目標画質に対応する目標ノイズ量に到達したか否かを、ノイズ量判定部26が判定する(ステップS21)。
ここで、目標ノイズ量に到達していないと判定された場合には、ステップS14の処理を行った後に、最新の合成画像と現在の画質指標とともに、目標画質の画質指標を表示する(ステップS15A)。
ここに、図10は、目標画質をISO感度により設定したときの表示例を示す図である。
この図10に示す表示部7の画面7aは、撮影開始時のISO感度が1600であり、目標画質がISO感度200相当に設定されているが、現在のISO感度が400相当であることを表示する例となっている。
また、図11は、目標画質をノイズ改善量により設定したときの表示例を示す図である。
この図11に示す例は、目標画質である目標ノイズ改善量が−3.0段に設定されているが、現在のノイズ改善量が−2.0段に止まっていることを表示している。
さらに、図12は、目標画質をダイナミックレンジの改善量の段数により設定したときの表示例を示す図である。
この図12に示す例は、撮影開始時のダイナミックレンジが9EVであり、目標画質である目標ダイナミックレンジ改善量が+3EVに設定されているが、現在のダイナミックレンジが11EVであり、つまりダイナミックレンジ改善量が+2EVに止まっていることを表示している。
これらの例に示すような表示を行うことで、目標画質に対する達成度合いを撮影者が把握することができる。
その後は、ステップS16へ行って、上述した実施形態1と同様に、システム制御部10が、2ndレリーズスイッチの状態を検出して、2ndレリーズスイッチがオフであるか否かを判定する。
すなわち、目標画質に到達しない場合であっても、撮影途中で撮影を終了したくなる場合が十分に想定される。例えば、目標画質に対する達成度合いが遅々として進展せず、達成完了を待てない場合、あるいは何らかの事情で途中で撮影を終了したい場合などである。そこで、上述した実施形態1と同様に2ndレリーズスイッチのオフ判定を行い、撮影者の意図によって撮影を終了できるようにしている。
こうして、ステップS21において目標ノイズ量に到達していると判定された場合、または、ステップS16において2ndレリーズスイッチがオフであると判定された場合には、ステップS17およびステップS18の処理を行ってから、図示しないメイン処理へリターンする。
このような実施形態2によれば、上述した実施形態1とほぼ同様の効果を奏するとともに、設定された目標画質に達したところで撮影を自動的に終了するようにしたために、撮影者の意図を反映した撮影を自動で行うことが可能となる。従って、撮影者が画質指標を常時監視している必要がなくなり、バルブ撮影が長時間にわたる際の撮影者の負担を軽減することができる。
こうして、最適なタイミングで撮影を終了することができ、撮影の失敗を抑制することが可能となる。
[実施形態3]
図13は本発明の実施形態3を示したものであり、撮像装置1において複数コマの画像を撮影して合成する処理の流れを示すフローチャートである。
この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
露出時間が長くなること(長時間露光)と、イメージセンサ13の温度が高くなることと、の少なくとも一方が発生すると、イメージセンサ13のPD(フォトダイオード)で発生する暗電流ノイズの影響が増大する。この暗電流ノイズは、シェーディングまたは欠陥状のFPNとして画像暗部に現れ、画質の低下を招く。
これに対して、デジタルカメラ等の撮像装置1においては、長時間露光のとき、またはイメージセンサ13の温度が高いときに、メカニカルシャッタ12を開いて撮影した明時画像の露出時間と同じ時間だけ、メカニカルシャッタ12を閉じて暗時画像の撮影を行い、同一画素位置毎に明時画像から暗時画像を減算することにより、FPNを補正するFPNキャンセル処理が一般的に行われている。
そこで、本実施形態では、システム制御部10が、メカニカルシャッタ12を開状態にして複数コマの明時画像データをイメージセンサ13に生成させるに先だって、メカニカルシャッタ12を閉状態にして暗時画像データをイメージセンサ13に生成させる。さらに、FPNキャンセル処理部16が、画像合成部15により算出された明時画像データに係る合成画像データから、暗時画像データを減算するFPNキャンセル処理を行う。そして、ノイズ量算出部6は、画像合成処理が行われFPNキャンセル処理が行われた遮光画素データに基づきノイズ量を算出する。
つまり、本実施形態のFPNキャンセル処理部16は、明時画像データが画像合成部15により得られた合成画像データである場合にも、暗時画像データを用いて、合成画像データ中の固定パターンノイズを補正するものとなっている。
ここに、本実施形態においては、各コマの露出時間Tが一定であって、合成方法が比較明合成、比較暗合成、または加算平均合成である場合を想定して、これらの合成方法に適したFPNキャンセル処理を説明する。
なお、加算合成の場合には、合成するコマ数が増えるほどFPNだけでなくランダムノイズも増加して行くために、露出時間Tで撮影した1コマの暗時画像を用いるだけでは、FPNの改善は期待できるもののランダムノイズの改善は難しく、つまり露光経過を示す画像の画質改善はそれほど期待できない。従って、ここでは画像合成処理として、比較明合成、比較暗合成、または加算平均合成を想定している。
上述した各コマの露出時間Tが一定であるという想定の下では、各コマに含まれるFPNは概ね等しいと考えて良いために、明時画像を撮影する直前に露出時間Tの暗時画像を撮影しておき、途中経過として表示する画像にもFPNキャンセル処理を行っておくことで、露光経過を示す画像の画質を改善することができる。
図13に示す処理を開始すると、ステップS1〜S3の処理を行う。
そして、ステップS3において、2ndレリーズスイッチがオンであると判定された場合には、システム制御部10は、まず、メカニカルシャッタ12を閉じてイメージセンサ13により露出時間Tの暗時画像を撮影し(ステップS31)、撮影した暗時画像を内部メモリ4に記憶する(ステップS32)。
その後は、メカニカルシャッタ12を開いてステップS6〜S10の処理を行い、明時画像を撮影して合成画像を算出し内部メモリ4に記憶する。
続いて、明時画像を合成して得られた合成画像から暗時画像を減算することを、同一画素位置毎に行ってFPNキャンセル処理を実施する(ステップS33)。このFPNキャンセル処理は、有効画素13aでなる有効画素群に対して行うだけでなく、OB画素13bでなる遮光画素群に対しても同様に行う。ここでFPNキャンセル処理された合成画像は、元の合成画像とは別途に内部メモリ4に記憶される。そして、ステップS9において算出される合成画像は、FPNキャンセル処理がなされていない合成画像と、新たに撮影された画像と、を合成した画像である。
次に、FPNキャンセル処理された合成画像に対して、ステップS11の画素欠陥補正処理、およびステップS12の現像処理を行う。
さらに、ノイズ量算出部6が、FPNキャンセル処理後に現像処理された合成画像データのノイズ量を、OB画素13bの数値解析を行うことにより算出し(ステップS13A)、ノイズ量に基づき画質指標を算出する(ステップS14A)。
その後、ステップS15およびステップS16の処理を行い、ステップS16において2ndレリーズスイッチがオフであると判定された場合には、2ndレリーズスイッチのオフを判定した時点で内部メモリ4に記憶されている合成画像データ(FPNキャンセル処理がまだなされていない合成画像データ)にFPNキャンセル処理を行い(ステップS34)、外部メモリ9に保存する(ステップS17A)。
続いて、ステップS18の処理を行い、この合成処理から図示しないメイン処理へリターンする。
このような実施形態3によれば、上述した実施形態1,2とほぼ同様の効果を奏するとともに、明時画像を撮影する直前に撮影した暗時画像を用いて、各コマを取得した時点の合成画像のFPNキャンセル処理を行い、FPNキャンセル処理後の合成画像のOB画素13bからノイズ量を算出して画質指標を生成し、FPNキャンセル処理後の合成画像と共に表示するようにしたために、ノイズ量に係る画質をより正確に把握しながら撮影を行うことができる。
[実施形態4]
図14から図16は本発明の実施形態4を示したものであり、図14は撮像装置1における各部の動作を示すタイミングチャート、図15は撮像装置1において複数コマの画像を撮影して合成する処理の流れを示すフローチャート、図16は撮像装置1におけるFPNキャンセル後ノイズ量算出処理を示すフローチャートである。
この実施形態4において、上述の実施形態1〜3と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
上述した実施形態3においては、バルブ撮影を開始する直前に暗時画像を撮影したが、本実施形態は、バルブ撮影を終了した直後に暗時画像を撮影するものとなっている。さらに、実施形態3では取得済みの暗時画像を用いて撮影途中の各時点における合成画像のFPNキャンセル処理を行い、FPNキャンセル処理後の合成画像のノイズ量を算出して画質指標を表示したが、本実施形態は、撮影途中の各時点におけるFPNキャンセル処理前の合成画像からFPNキャンセル処理をされた場合の残存ノイズ(ランダムノイズ)を推定してノイズ量とし、画質指標を表示するようにしたものである。
まず、図14および図15を参照しながら、本実施形態における合成処理の流れを説明する。
この処理を開始すると、ステップS1〜S12の処理を上述したように行う。これにより、ステップS5において露出時間Tが経過する毎に明時画像が読み出され、図14に示すように、1コマ目から順に第1明時画像,第2明時画像,第3明時画像,第4明時画像,…などが得られる。新たな明時画像が撮影される毎に、ステップS9において合成処理が行われ、さらに、ステップS11の画素欠陥補正処理、およびステップS12の現像処理が行われる。
次に、ノイズ量算出部6が、現像処理が行われた合成画像の、FPNキャンセル処理を行った後のノイズ量を推定して算出する(ステップS41)。
すなわち、ノイズ量算出部6は、合成画像データの遮光画素データに基づき算出したノイズ量と、イメージセンサ13から順次に読み出される各コマの遮光画素データに基づき算出したノイズ量と、順序が隣接する2つのコマの遮光画素データを各画素位置毎に減算した減算画像データに基づき算出したノイズ量と、を用いて、イメージセンサ13から1コマの明時画像データが読み出される毎に、FPNキャンセル処理が行われたとした場合の合成画像データのノイズ量を算出する。このFPNキャンセル後ノイズ量算出処理については、後で図16を参照して詳しく説明する。
続いて、ステップS15において、現像処理された合成画像が、図14に示すように、表示部7に表示画像として表示される。
さらに、ステップS16の処理を行い、ステップS16において2ndレリーズスイッチがオフであると判定された場合には、システム制御部10は、メカニカルシャッタ12を閉じてイメージセンサ13により露出時間Tの暗時画像を撮影し(ステップS42)、撮影した暗時画像を内部メモリ4に記憶する(ステップS43)。
さらに、ステップS34において、内部メモリ4に記憶されている合成画像データに対して、ステップS43で内部メモリ4に記憶した暗時画像を用いてFPNキャンセル処理を行い、ステップS17Aにおいて、処理後の合成画像データ(図14に示す最終記録画像)を外部メモリ9に保存する。
その後は、ステップS18の処理を行い、この合成処理から図示しないメイン処理へリターンする。
次に、上述したステップS41のFPNキャンセル後ノイズ量算出処理の原理について説明する。
まず、一般的に、1枚の画像に含まれるノイズ量を示す標準偏差σは、次の数式1に示すように、ランダムノイズ量(標準偏差:σrとする)とFPN量(標準偏差:σfとする)との2乗和の平方根で表される。
[数1]
σ={σr^2+σf^2}^(1/2)
従って、何コマ目であるかを示すコマ数を正の整数nで表し、nコマ目の画像のランダムノイズ量をσr_n、FPN量をσf_nとすると、nコマ目の画像(1コマ分の画像)に含まれるノイズ量σnは、次の数式2により表される。
[数2]
σn={σr_n^2+σf_n^2}^(1/2)
一方、1〜nコマ目の画像を画像合成処理して得られる合成画像のノイズ量σ合nも、合成画像のランダムノイズ量をσr_合n、FPN量をσf_合nとすると、数式1に従って、次の数式3により表される。
[数3]
σ合n={σr_合n^2+σf_合n^2}^(1/2)
今求めたい量は、FPNキャンセル処理を行った後の合成画像のノイズ量であり、つまり、σr_合nである。そこで、数式3をσr_合nを求める式に変形すれば、次の数式4になる。
[数4]
σr_合n={σ合n^2−σf_合n^2}^(1/2)
この数式4の右辺における合成画像のノイズ量σ合nは、合成画像のOB画素13bの画素値の標準偏差から算出される。
一方、数式4の右辺における合成画像のFPN量σf_合nは、各コマのFPN量σf_1,σf_2,σf_3,…,σf_nが分かれば、合成方法に応じて次のように算出される(さらに、幾つかの合成方法に応じた合成画像のランダムノイズ量σr_合nも、各コマのランダムノイズ量σr_1,σr_2,σr_3,…,σr_nが分かれば、次のように算出される)。
まず、加算合成を用いる場合には、次の数式5,5Aに示すようになる。
[数5]
σf_合n=σf_1+σf_2+σf_3+…+σf_n
[数5A]
σr_合n={σr_1^2+σr_2^2+σr_3^2+…+σr_n^2}^(1/2)
次に、加算平均合成を用いる場合には、次の数式6,6Aに示すようになる。
[数6]
σf_合n={σf_1+σf_2+σf_3+…+σf_n}/n
[数6A]
σr_合n={(σr_1^2+σr_2^2+σr_3^2+…+σr_n^2)/2}^(1/2)
続いて、比較明合成を用いる場合には、最大値を与える関数maxを用いれば、次の数式7に示すようになる。
[数7]
σf_合n=max{σf_1,σf_2,σf_3,…,σf_n}
さらに、比較暗合成を用いる場合には、最小値を与える関数minを用いれば、次の数式8に示すようになる。
[数8]
σf_合n=min{σf_1,σf_2,σf_3,…,σf_n}
従って、各コマのFPN量σf_1,σf_2,σf_3,…,σf_nが分かれば、合成方法に応じた数式5,6,7,8の何れかを用いることにより、合成画像のFPN量σf_合nが分かることになる。
そこで、nコマ目の画像のFPN量σf_nを、(n−1)コマ目の画像とnコマ目の画像とに基づいて算出することを考える。
ここに、nコマ目の画像のノイズ量σnは上述した数式2により表され、(n−1)コマ目の画像のノイズ量σn-1は、数式1に従って、次の数式9に示すように表される。
[数9]
σn-1={σr_n-1^2+σf_n-1^2}^(1/2)
ここで、各コマの画像を撮影する際の露出時間TおよびISO感度が同一であるものとする。さらに、(n−1)コマ目の画像を撮影する時点とnコマ目の画像を撮影する時点とで、イメージセンサ13の温度がほぼ変化しないものとする。このときには、次の数式10,10Aに示すような近似を行うことができる。
[数10]
σr_n-1≒σr_n
[数10A]
σf_n-1≒σf_n
なお、ここで述べているのは、順序(コマ番号)が隣接するコマ同士ではランダムノイズ量およびFPN量が近似するということだけであるので、例えば、σr_n-1≒σr_nであり、かつσr_n-2≒σr_n-1であるからといって、σr_n-2≒σr_nが成り立つとは限らないことに注意を要する。
そして、順序が隣接する(n−1)コマ目の画像とnコマ目の画像のOB画素13bに関して、同一画素位置の画素値同士を減算処理して、減算画像におけるOB画素13bの画素値の標準偏差から、減算画像に含まれるノイズ量σn-1〜nを算出する。この減算処理を行うと、FPNはキャンセルされるために、減算画像に含まれるノイズ量σn-1〜nは、ランダムノイズのみのノイズ量であると考えることができる。
ここに、ランダムノイズは、+,−方向に無関係に発生するノイズであるために、減算処理を行った場合のノイズ量は、加算合成時と同様に、(n−1)コマのランダムノイズ量σr_n-1とnコマのランダムノイズ量σr_nの2乗和の平方根で表すことができる。従って、減算画像に含まれるノイズ量σn-1〜nは、次の数式11に示すように表される。
[数11]
σn-1〜n={σr_n^2+σr_n-1^2}^(1/2)
この数式11に数式10の近似を適用すれば、次の数式12を得る。
[数12]
σn-1〜n={σr_n^2+σr_n-1^2}^(1/2)
≒{σr_n^2+σr_n^2}^(1/2)
=2^(1/2)×σr_n
この数式12をσr_nを求める式に書き直せば、次の数式13となる。
[数13]
σr_n≒(σn-1〜n)/(2^(1/2))
従って、数式2をσf_nを求める式に書き直した上で、数式13を適用すれば、次の数式14を得る。
[数14]
σf_n={σn^2−σr_n^2}^(1/2)={σn^2−(σn-1〜n^2)/2}^(1/2)
このようにして各コマのFPN量σf_nの値が算出されれば、上述した数式5,6,7,8の何れかを用いることにより、合成画像のFPN量σf_合nを算出することができ、ひいては数式4により、FPNキャンセル処理を行った後の合成画像のノイズ量σr_合nを求めることができる。
このような原理に基づく、ステップS41のFPNキャンセル後ノイズ量算出の処理の詳細を、図16を参照して説明する。
この処理を開始すると、イメージセンサ13から読み出されたnコマ目の画像のOB画素13bのノイズ量σnを例えば標準偏差として算出すると共に、1〜nコマ目の各画像を合成処理して得られた合成画像のノイズ量σ合nを例えば標準偏差として算出する(ステップS51)。
次に、各画素位置毎に、nコマ目の画像のOB画素13bの画素値から、(n−1)コマ目の画像のOB画素13bの画素値を減算する画像演算を行う(ステップS52)。
続いて、減算画像のOB画素13bのノイズ量σn-1〜nを例えば標準偏差として算出する(ステップS53)。
さらに、ステップS51で算出したノイズ量σnと、ステップS53で算出したノイズ量σn-1〜nとを用いて、nコマ目の画像のFPN量σf_nを数式14により算出する(ステップS54)。
ここで算出したFPN量σf_nを、内部メモリ4に保存しておく(ステップS55)。これにより、各コマのFPN量が内部メモリ4に順次蓄積される。
そして、1〜nコマ目のFPN量σf_1,σf_2,σf_3,…,σf_nを用いて、合成方法に応じた数式5,6,7,8の何れかに基づき、合成画像のFPN量σf_合nを算出する(ステップS56)。
その後、ステップS51で算出したノイズ量σ合nと、ステップS56で算出したFPN量σf_合nとを用いて、FPNキャンセル処理を行った後の合成画像のノイズ量σr_合nを、数式4により算出し(ステップS57)、この処理からリターンする。
上述した実施形態3のように明時画像の撮影を開始する直前に暗時画像を撮影する場合には、レリーズ釦により2ndレリーズスイッチがオンされてから明時画像が実際に撮影開始されるまでのタイムラグが長くなるために、例えば花火などを撮影している場合に、写したい花火が写らない場合が生じていた。
これに対して、このような実施形態4によれば、上述した実施形態1〜3とほぼ同様の効果を奏するとともに、明時画像の撮影を終了した直後に暗時画像を撮影するようにしたために、シャッタチャンスを逃すケースを低減することが可能となる。
なお、上述では、レリーズ釦を押圧することによりバルブ撮影を開始し、押圧を解除することによりバルブ撮影を停止していたが、これに限るものではない。例えば、レリーズ釦を押圧することによりバルブ撮影を開始し、一旦バルブ撮影を開始した後は押圧を解除してもバルブ撮影が続行され、再度、レリーズ釦を押圧するとバルブ撮影を停止するようにしても良い。
また、上述したように、比較明合成、比較暗合成、加算平均合成、加算合成の内の何れか1つが設定可能であるに限るものではなく、2つ以上の組み合わせを同時に設定可能としても良い。そして、バルブ撮影時の途中経過を示す合成画像の表示は、比較明合成画像のみ、比較暗合成画像のみ、または平均合成画像のみでも構わず、あるいは、単純に加算画像を表示するようにしても良い。
さらに、上述では主として撮像装置1について説明したが、撮像装置1と同様の処理を行う撮像方法であっても良いし、コンピュータに撮像装置1と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
具体的に、上述では、撮像装置1についての処理を説明したが、これに限らず、撮像装置1により複数コマの画像データを取得しておき、取得した複数コマの画像データに対して上述したような画像処理を施すようにしても構わない。
また、本明細書において説明した技術の内の、主にフローチャートで説明した制御に関しては、処理プログラムで実行可能であることが多く、この処理プログラムは記録媒体または記録部に収められる場合もある。この記録媒体または記録部への記録の仕方は、製品出荷時に記録しても良く、配布された記録媒体を利用しても良く、インターネット等の通信回線を介してダウンロードしたものでも良い。
さらに、特許請求の範囲、明細書、および図面(フローチャート等)中の動作説明に関して、便宜上「まず」、「次に」、「続いて」、「その後」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。