JP5050256B1 - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】複数回の露光によって得られた複数の画像データを合成して高画質の画像データを生成することが可能な撮像装置及び撮像方法を提供すること。
【解決手段】撮像素子２０２を複数の異なる露光時間で連続して複数回露光させて得られた露光量の異なる複数の画像データのうちで、最も露光時間が短い露光時に得られた画像データを基準画像データとして決定する。第１の合成処理部２２０は、基準画像データに従って、参照画像データの位置合わせをして第１の合成処理を行う。第２のノイズ低減処理部２２３は、第１の合成処理により得られた第１の合成画像データに対して第２のノイズ低減処理を施し、第１のノイズ低減処理部２２２は、基準画像データに対して第１のノイズ低減処理を施す。第２の合成処理部２２１は、第１の合成処理の結果に従って、基準画像データと第１の合成画像データと合成する第２の合成処理を行う。
【選択図】図２

Description

本発明は、撮像装置及び撮像方法に関する。

従来、複数回の露光によって得られた複数の画像データを合成することでノイズの低減やダイナミックレンジの拡大を図るようにした技術が知られている。複数の画像データを合成するに当たり、手ブレや被写体ブレが発生していると、複数の画像データを正しく合成することができない。手ブレや被写体ブレが発生している場合であっても複数の画像データを合成する手法として、複数の画像データの中のある画像データを基準画像データとし、この基準画像データを基準として画像データ間の位置合わせをしてから合成する手法が知られている（例えば、特許文献１参照）。

特開２００９−１９４７００号公報

ここで、特許文献１等の従来の技術においては、基準画像データの決め方については特に言及されていない。しかしながら、基準画像データの決め方によって合成後の画像データの画質は大きく変化する。したがって、複数の画像データの中から、最適な基準画像データを決定して合成を行うことが望ましい。

本発明は、前記の事情に鑑みてなされたもので、複数回の露光によって得られた複数の画像データを合成して高画質の画像データを生成することが可能な撮像装置及び撮像方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像レンズを通して受光した光を光電変換して画像データを得る撮像部と、前記撮像部を複数の異なる露光時間で連続して複数回露光させて露光量の異なる複数の画像データを前記撮像部において得るように制御する撮像制御部と、前記露光量の異なる複数の画像データのうちの１枚を基準画像データとして決定する基準画像決定部と、前記基準画像データと前記露光量の異なる複数の画像データのうちの前記基準画像データを除く画像データとの相関量を検出する相関量検出部と、前記相関量検出部で検出された相関量に従って、前記基準画像決定部において決定された前記基準画像データを基準として前記露光量の異なる複数の画像データを合成して第１の合成画像データを生成する第１の合成処理部と、前記基準画像データと前記第１の合成画像データとを合成する第２の合成処理部と、を具備し、前記基準画像決定部は、前記露光量の異なる複数の画像データのうち、最も露光時間の短い画像データを前記基準画像データとして決定することを特徴とする。

また、前記の目的を達成するために、本発明の第２の態様の撮像方法は、撮像制御部により、撮像部を複数の異なる露光時間で連続して複数回露光させて露光量の異なる複数の画像データを得て、基準画像決定部により、前記撮像部で得られた露光量の異なる複数の画像データのうちの最も露光時間の短い画像データを基準画像データとして決定し、相関量検出部により、前記基準画像データと前記露光量の異なる複数の画像データのうちの前記基準画像データを除く画像データとの相関量を検出し、第１の合成処理部により、前記相関量検出部で検出された相関量に従って、前記基準画像決定部において決定された前記基準画像データを基準として前記露光量の異なる複数の画像データを合成して第１の合成画像データを生成し、第２の合成処理部により、前記基準画像データと前記第１の合成画像データとを合成する、ことを特徴とする。

本発明によれば、複数回の露光によって得られた複数の画像データを合成して高画質の画像データを生成することが可能な撮像装置及び撮像方法を提供することができる。

本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 本発明の第１の実施形態に係る撮像方法の一例としてのデジタルカメラの撮影動作について示したフローチャートである。 基準画像データの決定処理について示すフローチャートである。 本発明の第２の実施形態に係る撮像方法としてのデジタルカメラの撮影動作の第１の例について示したフローチャートである。 本発明の第２の実施形態に係る撮像方法としてのデジタルカメラの撮影動作の第２の例について示したフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
図１は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ１０は、レンズ交換式のデジタルカメラである。しかしながら、必ずしもレンズ交換式のデジタルカメラである必要はなく、レンズ一体式のデジタルカメラであっても良い。

図１に示すデジタルカメラ１０は、交換式レンズ１００と、カメラ本体２００と、を有している。交換式レンズ１００は、カメラ本体２００に対して着脱自在に構成されている。カメラ本体２００に交換式レンズ１００が装着された場合に、交換式レンズ１００は、カメラ本体２００と通信自在に接続される。これにより、交換式レンズ１００は、カメラ本体２００の制御に従って動作可能な状態となる。

交換式レンズ１００は、撮像レンズ１０１と、絞り１０２と、ドライバ１０３と、レンズマイクロコンピュータ１０４と、Ｆｌａｓｈメモリ１０５と、を有している。
撮像レンズ１０１は、図示しない被写体からの光束をカメラ本体２００内の撮像素子２０２に集光するための光学系である。この撮像レンズ１０１は、フォーカスレンズ及びズームレンズ等の複数のレンズを有している。

絞り１０２は、開閉自在に構成され、撮像レンズ１０１を介して入射する光束の量を調整する。ドライバ１０３は、モータ等を有している。このドライバ１０３は、レンズマイクロコンピュータ１０４の制御に従って、撮像レンズ１０１内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞り１０２を開閉駆動させたりする。

レンズマイクロコンピュータ１０４は、交換式レンズ１００がカメラ本体２００に装着された際にインターフェイス（Ｉ/Ｆ）１０６を介してカメラ本体２００内のマイクロコンピュータ２１５と通信自在に接続される。このレンズマイクロコンピュータ１０４は、マイクロコンピュータ２１５からの制御に従ってドライバ１０３を駆動させる。また、レンズマイクロコンピュータ１０４は、Ｆｌａｓｈメモリ１０５に記憶されている交換式レンズ１００のレンズ情報等を、Ｉ/Ｆ１０６を介してマイクロコンピュータ２１５に通信する。
Ｆｌａｓｈメモリ１０５は、撮像レンズ１０１の収差情報等のレンズ情報や交換式レンズ１００の動作を実行するために必要なプログラム等を記憶している。

カメラ本体２００は、メカシャッタ２０１と、撮像素子２０２と、アナログ処理部２０３と、アナログ/デジタル（Ａ/Ｄ）変換部２０４と、バス２０５と、フレームメモリ２０６と、ＡＥ処理部２０７と、ＡＦ処理部２０８と、画像処理部２０９と、画像圧縮展開部２１０と、メモリインターフェイス（Ｉ/Ｆ）２１１と、記録媒体２１２と、表示ドライバ２１３と、表示部２１４と、マイクロコンピュータ２１５と、操作部２１６と、Ｆｌａｓｈメモリ２１７と、動きベクトル算出部２１８と、振動センサ２１９と、第１の合成処理部２２０と、第２の合成処理部２２１と、第１のノイズ低減処理（ＮＲ）部２２２と、第２のノイズ低減処理（ＮＲ）部２２３と、を有している。

メカシャッタ２０１は、撮像素子２０２の光電変換面を遮光状態又は露出状態とするように移動自在に構成されている。このメカシャッタ２０１を移動させることにより撮像素子２０２の露光時間が調整される。
撮像素子２０２は、撮像レンズ１０１を介して集光された被写体からの光束が結像される光電変換面を有している。光電変換面は、複数の画素が２次元状に配置されて構成されている。また、光電変換面の光入射側には、カラーフィルタが設けられている。このような撮像素子２０２は、光電変換面に結像された光束に対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換して出力する。

ここで、撮像素子２０２は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子２０２の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。

アナログ処理部２０３は、撮像素子２０２により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。Ａ/Ｄ変換部２０４は、アナログ処理部２０３においてアナログ処理された画像信号をデジタル信号（以下、画像データという）に変換する。
ここで、撮像素子２０２、アナログ処理部２０３、Ａ/Ｄ変換部２０４が、撮像部の一例として機能する。

バス２０５は、カメラ本体２００の内部で発生した各種のデータを転送するための転送路である。フレームメモリ２０６は、カメラ本体２００内部で発生した各種のデータを一時的に記憶するための記憶部である。ここで、フレームメモリ２０６は、例えばＳＤＲＡＭである。

ＡＥ処理部２０７は、画像データを用いて被写体輝度を算出する。なお、被写体輝度は、画像データから算出するだけでなく、例えば専用の測光センサで測定するようにしても良い。ＡＦ処理部２０８は、画像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ用の合焦評価値を取得する。

画像処理部２０９は、画像データに対する各種の画像処理を行う。画像処理部２０９は、ホワイトバランス（ＷＢ）補正部２０９１、同時化処理部２０９２、色再現処理部２０９３等を有している。
ＷＢ補正部２０９１は、画像データの色バランスを補正するためのゲインを乗じるホワイトバランス補正処理を画像データに対して施す。同時化処理部２０９２は、ベイヤ配列等の１つの画素が１つの色成分に対応している画像データを、１つの画素が複数の色成分に対応している画像データに変換する同時化処理を画像データに対して施す。色再現処理部２０９３は、色相や彩度の調整を行うためのマトリクス演算等の画像の色再現に関する処理を画像データに対して施す。

画像圧縮展開部２１０は、画像の記録時においては、画像処理部２０９における画像処理によって得られた画像データに対してＪＰＥＧ方式等の圧縮処理を施す。また、画像圧縮展開部２１０は、画像の再生時においては、圧縮処理が施された画像データに対して展開（デコード）処理を施す。

メモリＩ/Ｆ２１１は、マイクロコンピュータ２１５等が記録媒体２１２にアクセスするためのインターフェイスである。記録媒体２１２は、例えばカメラ本体２００に着脱自在になされたメモリカードである。この記録媒体２１２は、画像ファイル等を記録する。

表示ドライバ２１３は、画像処理部２０９で得られた画像データ又は画像圧縮展開部２１０で伸張された画像データを映像信号に変換して表示部２１４に出力する。表示部２１４は、例えば液晶ディスプレイ（ＬＣＤ）である。この表示部２１４は、表示ドライバ２１３から入力された映像信号に基づく画像を表示する。

マイクロコンピュータ２１５は、撮像制御部としての機能を有し、メカシャッタ２０１や撮像素子２０２の動作を制御する。この他、マイクロコンピュータ２１５は、画像処理部２０９や表示ドライバ２１３等のカメラ本体２００の各部の動作を制御する。また、マイクロコンピュータ２１５は、ＡＥ処理部２０７で演算された被写体輝度を用いてＡＥ処理を行ったり、ＡＦ処理部２０８で演算されたＡＦ評価値を用いてＡＦ処理を行ったりもする。また、マイクロコンピュータ２１５は、交換式レンズ１００の装着時には、交換式レンズ１００の動作も制御する。さらに、本実施形態におけるマイクロコンピュータ２１５は、基準画像決定部としての機能も有している。具体的には、マイクロコンピュータ２１５は、後述の複数回の露光の結果として得られる複数の画像データの中から基準画像データを決定する。

操作部２１６は、ユーザによって操作される各種の操作部材である。操作部２１６としては、例えば、レリーズボタンや電源ボタン、選択キー等が含まれる。レリーズボタンは、撮影動作の実行を指示するための操作部である。電源ボタンは、カメラ本体２００の電源のオン又はオフを指示するための操作部である。なお、これらのボタンは、一部又は全部をタッチパネルによって操作される仮想的な操作部として構成しても良い。

Ｆｌａｓｈメモリ２１７は、例えばホワイトバランス補正用のホワイトバランスゲインや色再現の処理に用いられるカラーマトリクス等の画像処理部２０９の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。ここで、本実施形態においては、Ｆｌａｓｈメモリ２１７は、後述の第１のノイズ低減処理に用いられる第１のノイズ低減パラメータ及び第２のノイズ低減処理に用いられる第２のノイズ低減パラメータも記憶している。さらに、Ｆｌａｓｈメモリ２１７は、マイクロコンピュータ２１５が実行する種々のプログラムも記憶している。

相関量検出部としての動きベクトル算出部２１８は、後述の複数回の露光によって得られた複数の画像データの中の、基準画像データと基準画像データを除く画像データのそれぞれ（以下、参照画像データという）との間の相関量を示す動きベクトルを算出する。動きベクトルは、基準画像データと参照画像データとの間での画像マッチングを利用した手法等の周知の手法を用いて算出可能である。
振動センサ２１９は、例えば角速度センサであり、手ブレ等によってカメラ本体２００に発生した振動を検出する。振動センサ２１９の出力からも、基準画像データと参照画像データとの間の相関量を検出することが可能である。

第１の合成処理部２２０は、後述の撮影動作の際の複数回の露光によって得られた複数の画像データを合成する。第２の合成処理部２２１は、基準画像データと第１の合成処理部２２０による合成によって得られた第１の合成画像データとを合成する。
第１のＮＲ処理部２２２は、Ｆｌａｓｈメモリ２１７に記憶されている第１のノイズ低減パラメータに従って、第１の合成処理部２２０で得られた合成画像データに重畳されているノイズを低減する処理を施す。第２のＮＲ処理部２２３は、Ｆｌａｓｈメモリ２１７に記憶されている第２のノイズ低減パラメータに従って、基準画像データに重畳されているノイズを低減する処理を施す。ここで、第１のＮＲ処理部２２２と第２のＮＲ処理部２２３は、汎用のノイズ低減処理部で構成することができる。また、第１のＮＲ処理部２２２と第２のＮＲ処理部２２３とは、必ずしも同一の処理によってノイズ低減をするものである必要はない。しかしながら、両者を同一の処理によってノイズ低減をするものとすれば、同一の処理ブロックを時分割で使用する等の手法により装置規模を抑えることが可能である。

次に、図１に示すデジタルカメラの動作について図２を参照して説明する。図２は、本発明の第１の実施形態に係る撮像方法の一例としてのデジタルカメラの撮影動作について示したフローチャートである。本実施形態に係る撮像装置の一例としてのデジタルカメラは、撮影動作の際に複数回の露光を行い、複数回の露光により得られた複数の画像データを１つの画像データに合成することによって、ダイナミックレンジが広い画像データを生成することが可能である。ここで、図２の撮影動作を実行するためのプログラムは、例えばＦｌａｓｈメモリ２１７に記憶されている。マイクロコンピュータ２１５は、このプログラムを読み込んで、図２の撮影動作を制御する。

ユーザによって操作部２１６のレリーズボタンが操作されることにより、図２の撮影動作が開始される。まず、マイクロコンピュータ２１５は、初期設定を行う（ステップＳ２０１）。この初期設定において、マイクロコンピュータ２１５は、自身が有する図示しないレジスタに設定されるパラメータｉの値を０に初期化する。パラメータｉは、画像データの枚数をカウントするためのパラメータである。

続いて、マイクロコンピュータ２１５は、合成する画像データの枚数を示すパラメータｍの値を読み込む（ステップＳ２０２）。パラメータｍは、例えば固定値としてＦｌａｓｈメモリ２１７に記憶させておいても良いし、また、ユーザが操作部２１６を操作して適宜設定できるようにしても良い。パラメータｍの読み込み後、マイクロコンピュータ２１５は、ＡＥ処理及びＡＦ処理を行う（ステップＳ２０３）。
ＡＥ処理に際し、マイクロコンピュータ２１５は、ＡＥ処理部２０７によって被写体輝度を算出させる。その後、マイクロコンピュータ２１５は、ＡＥ処理部２０７によって算出された被写体輝度に応じて、露光時における露光量が所定の適正値（適正露光量）となる露光条件、例えばＩＳＯ感度Ｓｖ、絞り値Ａｖ、シャッタ速Ｔｖを決定する。カメラ本体２００に顏検出部を設けるようにすれば、ＡＥ処理において、特定の顔部の輝度が適正となるようにＩＳＯ感度、絞り値、シャッタ速を決定するように構成すること可能である。
ＡＦ処理に際し、マイクロコンピュータ２１５は、ＡＦ処理部２０８によって合焦評価値を取得させる。そして、マイクロコンピュータ２１５は、ＡＦ処理部２０８で取得された合焦評価値により、画像データにおけるコントラストを評価しつつ、撮像レンズ１０１のフォーカスレンズを微少量ずつ駆動させるようにレンズマイクロコンピュータ１０４に指示する。その後、マイクロコンピュータ２１５は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにレンズマイクロコンピュータ１０４に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしても良い。カメラ本体２００に顏検出部を設けるようにすれば、ＡＦ処理において、特定の顔範囲に対して合焦するようにフォーカスレンズを駆動させるようにすることも可能である。

ＡＥ処理及びＡＦ処理の後、マイクロコンピュータ２１５は、露光動作を行う（ステップＳ２０４）。この際、マイクロコンピュータ２１５は、露光動作前に決定した露光条件に従って露光動作を行う。具体的には、マイクロコンピュータ２１５は、ＩＳＯ感度に応じてアナログ処理部２０３におけるゲイン制御量（増幅率）を設定するとともに、露光動作前に決定した絞り値をレンズマイクロコンピュータ１０４に送信する。その後、マイクロコンピュータ２１５は、レンズマイクロコンピュータ１０４の制御による絞り１０２の駆動と同期して、露光動作前に決定したシャッタ速に応じてメカシャッタ２０１を動作させて撮像素子２０２の露光量を制御する。露光動作の結果として、撮像素子２０２から出力された画像信号は、アナログ処理部２０３とＡ/Ｄ変換部２０４とを介してデジタル信号としての画像データに変換される。画像データは、フレームメモリ２０６に記憶される（ステップＳ２０５）。また、このとき、マイクロコンピュータ２１５は、露光条件（ＩＳＯ感度Ｓｖ、絞り値Ａｖ、シャッタ速Ｔｖ）を例えばフレームメモリ２０６に記憶させておく。

露光動作の終了後、マイクロコンピュータ２１５は、ｉに１を加える（ステップＳ２０６）。続いて、マイクロコンピュータ２１５は、ｉがｍより大きいか否かを判定する（ステップＳ２０７）。
ステップＳ２０７の判定において、ｉがｍ以下であると判定した場合、言い換えれば設定された合成枚数の画像データがまだ得られていないと判定した場合に、マイクロコンピュータ２１５は、露光条件を変更する（ステップＳ２０８）。その後、マイクロコンピュータ２１５は、処理をステップＳ２０４に戻し、変更後の露光条件に従って、次の露光動作を実行する。後述の合成処理によって、広いダイナミックレンジの画像データを得るためには、露光量の異なる複数の画像データを合成する必要がある。露光量を変えるためには、ＩＳＯ感度、絞り値、シャッタ速の少なくとも何れかを変えれば良い。ここで、絞り値を変化させた場合には、撮像レンズ１０１の焦点距離、即ち撮影画角も変化してしまう。また、ＩＳＯ感度を増加させるとノイズ量も増加してしまう。このため、露光条件を変更する際には、シャッタ速を変化させることが望ましい。ここで、１回の露光毎の露光量（シャッタ速）の変化量は、任意として良い。一般に、シャッタ速が遅くなるほど、即ち露光時間が長くなるほど、カメラ本体２００の手ブレや被写体ブレが大きくなる。このような手ブレや被写体ブレによる画像ブレの影響を、後述の合成処理における位置合わせによって低減する。

また、ステップＳ２０７の判定において、ｉがｍを超えたと判定した場合に、マイクロコンピュータ２１５は、露光動作を終了させ、ｍ回の露光の結果としてフレームメモリ２０６に記憶されたｍ枚の画像データの中から、基準画像データを決定する（ステップＳ２０９）。基準画像データの決定処理の詳細については後述する。

基準画像データを決定した後、マイクロコンピュータ２１５は、第１の合成処理を実行する（ステップＳ２１０）。
第１の合成処理に際し、マイクロコンピュータ２１５は、動きベクトル算出部２１８により、基準画像データとそれぞれの参照画像データとの間の動きベクトルを検出する。動きベクトルは、振動センサ２１９によって検出されるカメラ本体２００の振動量から検出するようにしても良い。動きベクトルを検出した後、マイクロコンピュータ２１５は、検出した動きベクトルを第１の合成処理部２２０に入力して第１の合成処理を指示する。この指示を受けて、第１の合成処理部２２０は、動きベクトルを用いて、フレームメモリ２０６に記憶された複数枚の画像データの画素の位置を合わせた後で合成する。この際、例えば、基準画像データに参照画像データを順次合成していく。合成としては、例えば第１の合成処理部２２０は、複数枚の画像データの対応する画素のデータ同士を加算する。この際、第１の合成処理部２２０は、基準画像データのそれぞれの画素のデータと、参照画像データの対応する画素のデータとの差分を算出する。そして、第１の合成処理部２２０は、算出した差分の絶対値が所定値以下となる画素のデータを加算し、差分の絶対値が所定値よりも大きくなる画素のデータを加算しない。差分の絶対値が所定値よりも大きくなる画素は、基準画像データの対応する画素に対する位置のずれの大きい画素である。このような画素を加算してしまうと２重像が発生したりしてしまうので、加算には用いないようにする。
加算の後、第１の合成処理部２２０は、各画素位置において加算した画像データの枚数に応じて合成結果を正規化し、正規化して得られた第１の合成画像データをフレームメモリ２０６に記憶させる。第１の合成処理部２２０は、画素位置毎の加算した画像データの枚数を示す情報を第２の合成処理部２２１に出力する。

第１の合成処理の後、マイクロコンピュータ２１５は、Ｆｌａｓｈメモリ２１７から第２のノイズ低減パラメータを読み込む（ステップＳ２１１）。第２のノイズ低減パラメータは、第１の合成画像データに対して適用されることを前提として調整されたノイズ低減パラメータであり、露光条件（ＩＳＯ感度等）に応じて選択される。第２のノイズ低減パラメータは、第１のノイズ低減パラメータよりもノイズ低減強度が弱く設定されている。典型的には、第２のノイズ低減パラメータは、第１の合成処理において全ての画像データが合成されたと想定した場合のノイズ量の減少に応じて設定されている。

第２のノイズ低減パラメータの読み込み後、マイクロコンピュータ２１５は、第２のノイズ低減処理を実行する（ステップＳ２１２）。第２のノイズ低減処理において、マイクロコンピュータ２１５は、Ｆｌａｓｈメモリ２１７から読み込んだ第２のノイズ低減パラメータを第２のＮＲ処理部２２３に出力する。第２のノイズ低減パラメータの入力を受けて、第２のＮＲ処理部２２３は、フレームメモリ２０６から読み込んだ第１の合成画像データに対し、第２のノイズ低減パラメータを用いてのノイズ低減処理を施す。

第２のノイズ低減処理と並行して、マイクロコンピュータ２１５は、Ｆｌａｓｈメモリ２１７から第１のノイズ低減パラメータを読み込む（ステップＳ２１３）。第１のノイズ低減パラメータは、１枚の画像データに対して適用することを前提として調整されたノイズ低減パラメータであり、第２のノイズ低減パラメータと同様に露光条件（ＩＳＯ感度等）に応じて選択される。

第１のノイズ低減パラメータの読み込み後、マイクロコンピュータ２１５は、第１のノイズ低減処理を実行する（ステップＳ２１４）。第１のノイズ低減処理において、マイクロコンピュータ２１５は、Ｆｌａｓｈメモリ２１７から読み込んだ第１のノイズ低減パラメータを第１のＮＲ処理部２２２に出力する。第１のノイズ低減パラメータの入力を受けて、第１のＮＲ処理部２２２は、フレームメモリ２０６から読み込んだ基準画像データに対し、第１のノイズ低減パラメータを用いてのノイズ低減処理を施す。

第１のノイズ低減処理と第２のノイズ低減処理が終了した後、マイクロコンピュータ２１５は、第２の合成処理を実行する（ステップＳ２１５）。
第２の合成処理に際し、マイクロコンピュータ２１５は、第２の合成処理部２２１に対して第２の合成処理を指示する。この指示を受けて、第２の合成処理部２２１は、第１の合成画像データにおいて加算された画像データの枚数を画素位置毎に示す情報に従って、基準画像データと第１の合成画像データとの合成比率を画素毎に決定する。第１の合成画像データの中の合成枚数の少ない画素、即ちノイズ低減の強度が相対的に弱い画素については、基準画像データのほうの合成比率を高くし、第１の合成画像データの中の画像データの合成枚数が多い画素、即ちノイズ低減の強度が相対的に強い画素については、第１の合成画像データのほうの合成比率を高くする。
このようにして合成比率を決定した後、第２の合成処理部２２１は、基準画像データのそれぞれの画素のデータと第１の合成画像データのそれぞれの画素のデータとを合成（加重平均）することによって第２の合成画像データを得て、この第２の合成画像データをフレームメモリ２０６に記憶させる。このようにして第２の合成画像データを得ることにより、第２の合成画像データの各画素は、ほぼ同じ強度でノイズ低減処理が施された状態となる。

第２の合成処理の後、マイクロコンピュータ２１５は、画像処理部２０９により、フレームメモリ２０６に記憶された第２の合成画像データに対する画像処理を施す（ステップＳ２１６）。その後、マイクロコンピュータ２１５は、画像処理部２０９によって処理された第２の合成画像データを記録媒体２１２に記録するか、第２の合成画像データに対応した画像を表示部２１４に表示させる（ステップＳ２１７）。画像の記録又は表示の後、マイクロコンピュータ２１５は、図２のフローチャートの処理を終了させる。

図３は、基準画像データの決定処理について示すフローチャートである。本実施形態においては、複数回の露光によって得られた複数の画像データの中で、最も露光時間の短い、即ちシャッタ速が最も速い画像データを基準画像データとする。
図３において、マイクロコンピュータ２１５は、初期設定を行う（ステップＳ３０１）。この初期設定において、マイクロコンピュータ２１５は、自身が有する図示しないレジスタに設定されるパラメータｉの値を１に、ＴＶ_ｍａｘの値を０に、Ｓｔｄ_ｆｒａｍｅの値を１にそれぞれ初期化する。パラメータｉは、画像データの枚数を示すパラメータである。ＴＶ_ｍａｘは、シャッタ速の最大値を示すパラメータである。Ｓｔｄ_ｆｒａｍｅは、基準画像データの駒数を示すためのパラメータである。

初期設定の後、マイクロコンピュータ２１５は、フレームメモリ２０６に記憶されている複数の画像データの中の１枚目の画像データ（例えば、最初の露光で得られた画像データ）のシャッタ速ｔｖ_１を例えばフレームメモリ２０６から読み込む（ステップＳ３０２）。そして、マイクロコンピュータ２１５は、ＴＶ_ｍａｘの値をｔｖ_１に設定するとともに、ｉに１を加える（ステップＳ３０３）。

ＴＶ_ｍａｘの値を設定した後、マイクロコンピュータ２１５は、フレームメモリ２０６に記憶されている複数の画像データの中のｉ枚目の画像データ（例えば、ｉ回目の露光で得られた画像データ）のシャッタ速ｔｖ_ｉを例えばフレームメモリ２０６から読み込む（ステップＳ３０４）。そして、マイクロコンピュータ２１５は、ＴＶ_ｍａｘの値とｔｖ_ｉの値とを比較して、ＴＶ_ｍａｘの値がｔｖ_ｉよりも小さいか否かを判定する（ステップＳ３０５）。ステップＳ３０５の判定において、ＴＶ_ｍａｘの値がｔｖ_ｉよりも小さいと判定した場合に、マイクロコンピュータ２１５は、ＴＶ_ｍａｘの値をｔｖ_ｉとするとともに、Ｓｔｄ_ｆｒａｍｅの値をｉとする（ステップＳ３０６）。また、ステップＳ３０５の判定において、ＴＶ_ｍａｘの値がｔｖ_ｉ以上であると判定した場合に、マイクロコンピュータ２１５は、ステップＳ３０６の処理をスキップする。

ステップＳ３０５の判定においてＴＶ_ｍａｘの値がｔｖ_ｉ以上であると判定した場合又はＳ３０６の後、マイクロコンピュータ２１５は、ｉに１を加える（ステップＳ３０７）。続いて、マイクロコンピュータ２１５は、ｉがｍより大きいか否かを判定する（ステップＳ３０８）。ステップＳ３０８の判定において、ｉがｍ以下であると判定した場合に、マイクロコンピュータ２１５は、処理をステップＳ３０４に戻す。

また、ステップＳ３０８の判定において、ｉがｍを超えたと判定した場合には、マイクロコンピュータ２１５は、その時点でのＳｔｄ_ｆｒａｍｅの値によって示される駒の画像データを基準画像データに決定する（ステップＳ３０９）。その後、マイクロコンピュータ２１５は、図３のフローチャートの処理を終了させる。

以上説明したように、本実施形態においては、合成処理の際の位置合わせの基準とする基準画像データを、最も露光時間の短い露光によって得られた画像データとしている。露光時間が最も短ければ、手ブレや被写体ブレの影響も最低であると考えられる。このような画像データを基準画像データとすることにより、手ブレや被写体ブレによる画像ブレの影響が少なく、高画質且つ広ダイナミックレンジの画像をユーザに提供することが可能である。

ここで、図２においては、複数枚の画像データの合成に際してノイズ低減処理を施すようにしている。しかしながら、本実施形態においては、ノイズ低減処理は必須のものではない。
また、画像データの合成手法も前述した手法に限るものではない。例えば、図２の例では、画像処理部２０９における画像処理の前に合成処理を行うようにしているが、例えば画像処理部２０９における画像処理の後、例えば同時化処理の後に合成処理を行うようにしても良い。この他、本実施形態の技術は、複数回の露光によって得られた複数の画像データの中から基準画像データを決定し、この基準画像データを基準にして位置合わせを行う各種の合成処理に対して適用可能である。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態においては、複数回の露光を行ってから基準画像データを決定している。これに対し、第２の実施形態は、露光量の変化に所定の順序を持たせることにより、基準画像データの決定処理を不要とする例である。なお、第２の実施形態における撮像装置の一例としてのデジタルカメラの構成は、図１と同様で良い。したがって、詳細については説明を省略する。

図４は、本発明の第２の実施形態に係る撮像方法としてのデジタルカメラの撮影動作の第１の例について示したフローチャートである。図４において、マイクロコンピュータ２１５は、第１の実施形態と同様の初期設定を行う（ステップＳ４０１）。この初期設定において、マイクロコンピュータ２１５は、自身が有する図示しないレジスタに設定されるパラメータｉの値を０に初期化する。

続いて、マイクロコンピュータ２１５は、合成する画像データの枚数を示すパラメータｍの値を読み込む（ステップＳ４０２）。パラメータｍの読み込み後、マイクロコンピュータ２１５は、複数回の露光のそれぞれの露光量を決定するためのパラメータΔｅｖ、ｓｔａｒｔ_ｅｖを取得する（ステップＳ４０３）。Δｅｖは、露光量の変化量を示すパラメータである。ｓｔａｒｔ_ｅｖは、１回目の露光時における露光量と適正露光量との差分を示すパラメータである。本例においては、１回目の露光量が、複数回の露光の中の最小の露光量となるように設定する。ここで、Δｅｖ、ｓｔａｒｔ_ｅｖの値は、固定値としてＦｌａｓｈメモリ２１７に記憶させておいても良いし、ユーザが操作部２１６を操作して設定するようにしても良い。

Δｅｖ、ｓｔａｒｔ_ｅｖを取得した後、マイクロコンピュータ２１５は、ＡＥ処理及びＡＦ処理を行う（ステップＳ４０４）。ＡＥ処理及びＡＦ処理は、第１の実施形態と同様で良い。
ＡＥ処理及びＡＦ処理の後、マイクロコンピュータ２１５は、露光条件を変更する（ステップＳ４０５）。本例においては、初回の露光時における露光量を最小にする。前述したように、露光量は、シャッタ速を変更することによって変更する。このため、ステップＳ４０５においては、適正露光量に対して算出されたＩＳＯ感度、絞り値については固定としつつ、シャッタ速を変更することで露光量を（適正露光量−ｓｔａｒｔ_ｅｖ）とする。このように変更された露光条件で得られる画像データは、露光時間が最短の画像データとなる。このため、本例では、最初の露光時に得られた画像データを基準画像データとして用いる。

ステップＳ４０５において、露光条件を変更した後、マイクロコンピュータ２１５は、ステップＳ４０５において決定した露光条件に従って露光動作を行う（ステップＳ４０６）。露光動作の結果として、撮像素子２０２から出力された画像信号は、アナログ処理部２０３とＡ/Ｄ変換部２０４とを介してデジタル信号としての画像データに変換される。この画像データは、基準画像データとして、フレームメモリ２０６に記憶される（ステップＳ４０７）。また、このとき、マイクロコンピュータ２１５は、露光条件（ＩＳＯ感度Ｓｖ、絞り値Ａｖ、シャッタ速Ｔｖ）を例えばフレームメモリ２０６に記憶させておく。

基準画像データの取得後、マイクロコンピュータ２１５は、Ｆｌａｓｈメモリ２１７から第１のノイズ低減パラメータを読み込む（ステップＳ４０８）。第１のノイズ低減パラメータの読み込み後、マイクロコンピュータ２１５は、第１のノイズ低減処理を実行する（ステップＳ４０９）。

第１のノイズ低減処理が終了した後、マイクロコンピュータ２１５は、露光条件を変更する（ステップＳ４１０）。この処理において、マイクロコンピュータ２１５は、変更後の露光量を、（もとの露光量＋Δｅｖ）とするように、シャッタ速の値を変更する。即ち、シャッタ速の値をもとの値からΔｅｖだけ遅くする。続いて、マイクロコンピュータ２１５は、変更後の露光条件に従って露光動作を行う（ステップＳ４１１）。

参照画像データ用の露光動作の終了後、マイクロコンピュータ２１５は、第１の合成処理を実行する（ステップＳ４１２）。第１の合成処理によって合成された合成画像データは、フレームメモリ２０６に記憶される（ステップＳ４１３）。
第１の合成処理の終了後、マイクロコンピュータ２１５は、ｉに１を加える（ステップＳ４１４）。続いて、マイクロコンピュータ２１５は、ｉがｍより大きいか否かを判定する（ステップＳ４１５）。ステップＳ４１５の判定において、ｉがｍ以下であると判定した場合に、マイクロコンピュータ２１５は、処理をステップＳ４１０に戻して露光条件を変更し、次の参照画像データに関する露光動作を行う。

このように、本例では、１回の参照画像データ用の露光が終了する毎に第１の合成処理を行うようにしている。この場合、参照画像データが１枚ずつ、順次合成される。これに対し、第１の実施形態と同様に、設定された合成枚数の分の参照画像データをすべて得てから第１の合成処理を行うようにしても良い。

また、ステップＳ４１５の判定において、ｉがｍを超えたと判定した場合に、マイクロコンピュータ２１５は、Ｆｌａｓｈメモリ２１７から第２のノイズ低減パラメータを読み込む（ステップＳ４１６）。その後、マイクロコンピュータ２１５は、第２のノイズ低減処理を実行する（ステップＳ４１７）。

第２のノイズ低減処理が終了した後、マイクロコンピュータ２１５は、第２の合成処理を実行する（ステップＳ４１８）。第２の合成処理の後、マイクロコンピュータ２１５は、画像処理部２０９により、フレームメモリ２０６に記憶された第２の合成画像データに対する画像処理を施す（ステップＳ４１９）。その後、マイクロコンピュータ２１５は、画像処理部２０９によって処理された第２の合成画像データを記録媒体２１２に記録するか、第２の合成画像データに対応した画像を表示部２１４に再生する（ステップＳ４２０）。画像の記録又は表示の後、マイクロコンピュータ２１５は、図４のフローチャートの処理を終了させる。

以上説明したように、本例においては、合成処理のための複数回の露光のうちの最初の露光における露光時間を最短としている。この場合、基準画像データとすべき画像データが固定されるので、第１の実施形態のような基準画像データの決定処理が不要である。また、最初の露光によって得られた画像データを基準画像データとすることにより、レリーズタイムラグを最小とすることが可能である。

図５は、本発明の第２の実施形態に係る撮像方法としてのデジタルカメラの撮影動作の第２の例について示したフローチャートである。図５において、マイクロコンピュータ２１５は、第１の実施形態と同様の初期設定を行う（ステップＳ５０１）。この初期設定において、マイクロコンピュータ２１５は、自身が有する図示しないレジスタに設定されるパラメータｉの値を０に初期化する。

続いて、マイクロコンピュータ２１５は、合成する画像データの枚数を示すパラメータｍの値を読み込む（ステップＳ５０２）。パラメータｍの読み込み後、マイクロコンピュータ２１５は、複数回の露光のそれぞれの露光量を決定するためのパラメータΔｅｖ、ｓｔａｒｔ_ｅｖを取得する（ステップＳ５０３）。Δｅｖは、露光量の変化量を示すパラメータである。ｓｔａｒｔ_ｅｖは、１回目の露光時における露光量と適正露光量との差分を示すパラメータである。本例においては、１回目の露光量が、複数回の露光の中の最大の露光量となるように設定する。ここで、Δｅｖ、ｓｔａｒｔ_ｅｖの値は、固定値としてＦｌａｓｈメモリ２１７に記憶させておいても良いし、ユーザが操作部２１６を操作して設定するようにしても良い。

Δｅｖ、ｓｔａｒｔ_ｅｖを取得した後、マイクロコンピュータ２１５は、ＡＥ処理及びＡＦ処理を行う（ステップＳ５０４）。ＡＥ処理及びＡＦ処理は、第１の実施形態と同様で良い。
ＡＥ処理及びＡＦ処理の後、マイクロコンピュータ２１５は、露光条件を変更する（ステップＳ５０５）。本例においては、初回の露光時における露光量を最大にする。前述したように、露光量は、シャッタ速を変更することによって変更する。このため、ステップＳ５０５においては、適正露光量に対して算出されたＩＳＯ感度、絞り値については固定としつつ、シャッタ速を変更することで露光量を（適正露光量＋ｓｔａｒｔ_ｅｖ）とする。

ステップＳ５０５において、露光条件を変更した後、マイクロコンピュータ２１５は、ステップＳ５０５において決定した露光条件に従って露光動作を行う（ステップＳ５０６）。露光動作の結果として、撮像素子２０２から出力された画像信号は、アナログ処理部２０３とＡ/Ｄ変換部２０４とを介してデジタル信号としての画像データに変換される。この画像データは、参照画像データとして、フレームメモリ２０６に記憶される（ステップＳ５０７）。また、このとき、マイクロコンピュータ２１５は、露光条件（ＩＳＯ感度Ｓｖ、絞り値Ａｖ、シャッタ速Ｔｖ）を例えばフレームメモリ２０６に記憶させておく。

参照画像データ用の露光動作の終了後、マイクロコンピュータ２１５は、ｉに１を加える（ステップＳ５０８）。続いて、マイクロコンピュータ２１５は、露光条件を変更する（ステップＳ５０９）。この処理において、マイクロコンピュータ２１５は、変更後の露光量を、（もとの露光量−Δｅｖ）とするように、シャッタ速の値を変更する。即ち、シャッタ速の値をもとの値からΔｅｖだけ速くする。続いて、マイクロコンピュータ２１５は、ｉがｍより大きいか否かを判定する（ステップＳ５１０）。ステップＳ５１０の判定において、ｉがｍ以下であると判定した場合に、マイクロコンピュータ２１５は、処理をステップＳ５０６に戻して露光条件を変更し、次の画像データに関する露光動作を行う（ステップＳ５１１）。第２の例においては、この最後の露光動作において得られる画像データが、露光時間が最短の画像データとなる。このため、本例では、最後の露光時に得られた画像データを基準画像データとして用いる。

基準画像データの取得後、マイクロコンピュータ２１５は、Ｆｌａｓｈメモリ２１７から第１のノイズ低減パラメータを読み込む（ステップＳ５１２）。第１のノイズ低減パラメータの読み込み後、マイクロコンピュータ２１５は、第１のノイズ低減処理を実行する（ステップＳ５１３）。

第１のノイズ低減処理を実行した後、マイクロコンピュータ２１５は、第１の合成処理を実行する（ステップＳ５１４）。第１の合成処理の後、マイクロコンピュータ２１５は、Ｆｌａｓｈメモリ２１７から第２のノイズ低減パラメータを読み込む（ステップＳ５１５）。第２のノイズ低減パラメータの読み込み後、マイクロコンピュータ２１５は、第２のノイズ低減処理を実行する（ステップＳ５１６）。

第１のノイズ低減処理と第２のノイズ低減処理が終了した後、マイクロコンピュータ２１５は、第２の合成処理を実行する（ステップＳ５１７）。第２の合成処理の後、マイクロコンピュータ２１５は、画像処理部２０９により、フレームメモリ２０６に記憶された第２の合成画像データに対する画像処理を施す（ステップＳ５１８）。その後、マイクロコンピュータ２１５は、画像処理部２０９によって処理された第２の合成画像データを記録媒体２１２に記録するか、第２の合成画像データに対応した画像を表示部２１４に再生する（ステップＳ５１９）。画像の記録又は表示の後、マイクロコンピュータ２１５は、図５のフローチャートの処理を終了させる。

以上説明したように、本例においては、合成処理のための複数回の露光のうちの最後の露光における露光時間を最短としている。この場合、基準画像データとすべき画像データが固定されるので、第１の実施形態のような基準画像データの決定処理が不要である。また、最後の露光によって得られた画像データを基準画像データとすることにより、所謂後幕シンクロ撮影を行ったかのような、自然な描写の画像を生成することが可能である。

ここで、上述した各実施形態における第２の合成処理においては、基準画像データに対するブレが多い画素については合成に用いないようにすることで２重像の発生を抑制している。そして、画素毎の合成枚数の差によるノイズ低減処理の強度差に基づく画質の差を、ノイズ低減処理済みの基準画像データとノイズ低減処理済みの第１の合成画像データとの合成比率を画素毎に変えて合成することによって補償している。ただし、実際には多少の画質差が発生してしまう。この画質差を完全になくすためには、第１の合成画像データの各画素の合成枚数を等しくする、言い換えれば画像ブレを無視する方法が考えられる。第２の例は、このような画像ブレを無視して合成を行う場合に特に有効である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。また、上述した実施形態の説明では、画像処理部が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１０…デジタルカメラ、１００…交換式レンズ、１０１…撮像レンズ、１０２…絞り、１０３…ドライバ、１０４…レンズマイクロコンピュータ、１０５…Ｆｌａｓｈメモリ、１０６…インターフェイス、２００…カメラ本体、２０１…メカシャッタ、２０２…撮像素子、２０３…アナログ処理部、２０４…アナログ/デジタル（Ａ/Ｄ）変換部、２０５…バス、２０６…フレームメモリ、２０７…ＡＥ処理部、２０８…ＡＦ処理部、２０９…画像処理部、２１０…画像圧縮展開部、２１１…メモリインターフェイス、２１２…記録媒体、２１３…表示ドライバ、２１４…表示部、２１５…マイクロコンピュータ、２１６…操作部、２１７…Ｆｌａｓｈメモリ、２１８…動きベクトル算出部、２１９…振動センサ、２２０…第１の合成処理部、２２１…第２の合成処理部、２２２…第１のノイズ低減（ＮＲ）処理部、２２３…第２のノイズ低減（ＮＲ）処理部、２０９１…ホワイトバランス（ＷＢ）補正部、２０９２…同時化処理部、２０９３…色再現処理部

Claims (4)

1. 撮像レンズを通して受光した光を光電変換して画像データを得る撮像部と、
   前記撮像部を複数の異なる露光時間で連続して複数回露光させて露光量の異なる複数の画像データを前記撮像部において得るように制御する撮像制御部と、
   前記露光量の異なる複数の画像データのうちの１枚を基準画像データとして決定する基準画像決定部と、
   前記基準画像データと前記露光量の異なる複数の画像データのうちの前記基準画像データを除く画像データとの相関量を検出する相関量検出部と、
   前記相関量検出部で検出された相関量に従って、前記基準画像決定部において決定された前記基準画像データを基準として前記露光量の異なる複数の画像データを合成して第１の合成画像データを生成する第１の合成処理部と、
   前記基準画像データと前記第１の合成画像データとを合成する第２の合成処理部と、
   を具備し、
   前記基準画像決定部は、前記露光量の異なる複数の画像データのうち、最も露光時間の短い画像データを前記基準画像データとして決定することを特徴とする撮像装置。
2. 前記撮像制御部は、露光時間の短い順に前記撮像部を複数回露光させるように制御し、
   前記基準画像決定部は、最初の露光によって前記撮像部で得られた画像データを前記基準画像データとして決定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像制御部は、露光時間の長い順に前記撮像部を複数回露光させるように制御し、
   前記基準画像決定部は、最後の露光によって前記撮像部で得られた画像データを前記基準画像データとして決定することを特徴とする請求項１に記載の撮像装置。
4. 撮像制御部により、撮像部を複数の異なる露光時間で連続して複数回露光させて露光量の異なる複数の画像データを得て、
   基準画像決定部により、前記撮像部で得られた露光量の異なる複数の画像データのうちの最も露光時間の短い画像データを基準画像データとして決定し、
   相関量検出部により、前記基準画像データと前記露光量の異なる複数の画像データのうちの前記基準画像データを除く画像データとの相関量を検出し、
   第１の合成処理部により、前記相関量検出部で検出された相関量に従って、前記基準画像決定部において決定された前記基準画像データを基準として前記露光量の異なる複数の画像データを合成して第１の合成画像データを生成し、
   第２の合成処理部により、前記基準画像データと前記第１の合成画像データとを合成する、
   ことを特徴とする撮像方法。

Images