JP2012195660A - 画像処理装置および電子カメラ、並びに画像処理プログラム - Google Patents

Abstract

【課題】
従来、輝度が大きく異なる被写体の位置合わせを行って合成することが難しかった。
【解決手段】
本発明では、補助光源を発光させて撮影した画像を含む時間的に連続して撮影された複数枚の画像を入力する画像入力部と、前記補助光源を発光させて撮影した発光撮影画像を第１基準画像、前記補助光源を発光させずに撮影した複数枚の非発光撮影画像の中で前記第１基準画像に時間的に最も近い非発光撮影画像を第２基準画像、としてそれぞれ選択する基準画像選択部と、前記複数枚の非発光撮影画像を前記第２基準画像に合成する第１合成処理と、前記第１合成処理後の画像を前記第１基準画像に合成する第２合成処理とを行う画像合成部とを有することを特徴とする。
【選択図】図４

Description

本発明は、画像処理技術に関する。

従来、電子カメラで撮影可能なダイナミックレンジを越える画像を撮影する場合、明るい部分の白飛びや暗い部分の黒潰れが生じるため、明るい部分を適正露光で撮影した画像と、暗い部分を適正露光で撮影した画像とを合成する方法が用いられている。この場合、画像を重ね合わせる処理を行う必要があり、正確に被写体が重なるように被写体の位置を合わせる画像処理が行われる。例えば、画像を分割して特徴検出を行った後、画像位置を合わせる技術が検討されている（例えば、特許文献１参照）。

特許第４１３６０４４号公報

ところが、従来の合成方法は、輝度が大きく異なる画像の重ね合せを行う場合、被写体の位置合わせを正確に行うことが難しく、複雑な演算処理や高価な処理装置が求められ、処理時間が長くなるという問題があった。

本発明の目的は、輝度が大きく異なる画像の重ね合せを行う場合に、被写体の位置合わせを正確に行うことができる画像処理装置および電子カメラ、並びに画像処理プログラムを提供することである。

本発明に係る画像処理装置は、補助光源を発光させて撮影した画像を含む時間的に連続して撮影された複数枚の画像を入力する画像入力部と、前記補助光源を発光させて撮影した発光撮影画像を第１基準画像、前記補助光源を発光させずに撮影した複数枚の非発光撮影画像の中で前記第１基準画像に時間的に最も近い非発光撮影画像を第２基準画像、としてそれぞれ選択する基準画像選択部と、前記複数枚の非発光撮影画像を前記第２基準画像に合成する第１合成処理と、前記第１合成処理後の画像を前記第１基準画像に合成する第２合成処理とを行う画像合成部とを有することを特徴とする。

また、前記第１合成処理は、前記複数枚の非発光撮影画像毎に予め設定された主要被写体の位置検出を行い、前記第２基準画像の前記主要被写体の位置に合うように前記非発光撮影画像の前記主要被写体の位置を調整して合成し、前記第２合成処理は、前記第１合成処理により合成された画像に前記第１基準画像を同一画素位置で合成することを特徴とする。

また、前記複数枚の非発光撮影画像は、前記主要被写体に対してアンダー露光で撮影され、前記発光撮影画像は、前記主要被写体に対して適正露光で撮影されることを特徴とする。

特に、前記補助光源を発光させて撮影した第１基準画像は、前記時間的に連続して撮影された画像のうち最初または最後の画像であることを特徴とする。

或いは、前記補助光源を発光させて撮影した第１基準画像は、前記時間的に連続して撮影された画像のうち最初または最後の画像以外の画像であり、前記基準画像選択部は、前記複数枚の非発光撮影画像の中で前記第１基準画像に時間的に前後する２枚の前記非発光撮影画像をそれぞれ前側第２基準画像および後側第２基準画像として選択し、前記画像合成部は、前記第１合成処理として、前記第１基準画像より時間的に前の前記複数枚の非発光撮影画像を前記前側第２基準画像に、前記第１基準画像より時間的に後の前記複数枚の非発光撮影画像を前記後側第２基準画像に、それぞれ合成し、前記第２合成処理は、前記第１基準画像に対して、前記第１合成処理により合成された前記前側第２基準画像と前記後側第２基準画像とをそれぞれ同一画素位置で合成することを特徴とする。

本発明に係る電子カメラは、前記画像処理装置を有する電子カメラであって、前記画像入力部を、時間的に連続して複数枚の画像を撮影する撮像部と、前記複数枚の画像のうち予め設定した時間位置の画像を撮影する時に補助光源を発光させる発光部とで構成し、前記画像合成部が合成後の画像を記憶媒体に記録する記録部を更に設けたことを特徴とする。

本発明に係る画像処理プログラムは、前記画像処理装置の機能をコンピュータに実行させるための画像処理プログラムであることを特徴とする。

本発明に係る画像処理装置および電子カメラ、並びに画像処理プログラムは、輝度が大きく異なる画像の重ね合せを行う場合に、画像を合成する順序を変えることにより、被写体の位置合わせを正確に行うことができる。

本実施形態に係る電子カメラ１０１の構成例を示す図である。 合成処理の概要を示す図である。 合成順序の一例を示す図である。 制御部１０８および画像処理部１０７の構成例を示す図である。 第１合成処理の様子を示す図である。 第２合成処理の様子を示す図である。 「合成撮影モード」での撮影処理を示すフローチャートである。 「合成撮影モード」での合成処理を示すフローチャートである。 合成順序の変形例１を示す図である。 合成順序の変形例２を示す図である。

以下、本発明に係る画像処理装置および電子カメラ、並びに画像処理プログラムの実施形態について図面を用いて詳しく説明する。尚、以下の実施形態では、本発明に係る画像処理装置を含み、本発明に係る画像処理プログラムを利用する電子カメラの例について説明する。

［電子カメラ１０１の構成例］
図１は、本実施形態に係る電子カメラ１０１の構成例を示す図である。図１において、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、制御部１０８と、メモリ１０９と、表示部１１０と、操作部１１１と、メモリカードＩＦ（インターフェース）１１２と、補助光源１１３とで構成される。

図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞り機構などを有し、制御部１０８によって、ズームレンズ位置、フォーカスレンズ位置、絞り値などが制御される。

撮像素子１０４は、例えばＣＭＯＳ型固体撮像素子で構成され、受光面に二次元状に配置された画素の光電変換部により受光量に応じた画像信号を出力する。

Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値の画像データに変換し、画像バッファ１０６に取り込む。

画像バッファ１０６は、例えば揮発性の高速メモリで構成される。画像バッファ１０６は、Ａ／Ｄ変換部１０５が出力する画像データを一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う時のバッファメモリとしても使用される。或いは撮影時の画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を読み出して表示部１１０に表示する時の表示メモリとしても使用される。

画像処理部１０７は、画像バッファ１０６に取り込まれた画像データに対して、ホワイトバランス処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭輪郭強調処理などの画像処理を行う。また、画像処理部１０７は、画像処理後の画像データに対してＪＰＥＧ規格などに準拠した画像圧縮方法を用いて圧縮処理を行う。さらに本実施形態に係る電子カメラ１０１では、後に説明するように、画像処理部１０７は連写された複数枚の画像を合成する画像合成処理を行う。

制御部１０８は、例えば内部に記憶されたプログラムに従って動作するＣＰＵで構成される。制御部１０８は電子カメラ１０１の動作を制御し、例えば操作部１１１の撮影モード選択ダイヤル１１１ａで電子カメラ１０１の撮影モードを設定したり、レリーズボタン１１１ｂの押下時には光学系１０２のレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉し、撮像素子１０４で被写体画像を撮像する。そして、制御部１０８は、撮像素子１０４から予め設定された解像度で画像信号を読み出し、Ａ／Ｄ変換部１０５でデジタル値に変換された画像データを画像バッファ１０６に取り込む制御を行う。さらに、制御部１０８は、画像バッファ１０６に取り込まれた画像データに対して所定の画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像データ（例えばＪＰＥＧデータ）に所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存する。或いは、画像バッファ１０６に取り込まれた画像データを表示部１１０に撮影画像として表示する。特に、本実施形態に係る電子カメラ１０１では、撮影モード選択ダイヤル１１１ａで「合成撮影モード」が選択されている場合に、制御部１０８は、撮像素子１０４で予め設定された複数枚の画像を連写して画像バッファ１０６に取り込む。ここで、制御部１０８は、複数枚の画像を連写する時に予め設定された位置の画像だけ補助光源１１３を発光させて撮影する。そして、制御部１０８は、画像処理部１０７に指令して、取り込まれた複数枚の画像を合成する。尚、画像処理部１０７の画像合成処理については後で詳しく説明する。

メモリ１０９は、例えばフラッシュメモリなどの不揮発性の半導体メモリで構成される。電子カメラ１０１の撮影モードや露出情報、フォーカス情報などのパラメータが記憶される。制御部１０８は、これらのパラメータを参照して電子カメラ１０１の動作を制御する。特に本実施形態に係る電子カメラ１０１では、後に説明するように、「合成撮影モード」に関するパラメータがメモリ１０９に記憶される。尚、これらのパラメータは、操作部１１１を介して行われるユーザー操作に応じて適宜更新される。

表示部１１０は、液晶モニタなどで構成される。そして、制御部１０８によって、撮影画像や電子カメラ１０１の操作に必要な設定メニューなどが表示される。特に本実施形態に係る電子カメラ１０１では、操作部１１１の設定メニューボタン１１１ｃが押下された時に表示部１１０にメニュー画面を表示し、使用者は十字キー１１１ｄで「合成撮影モード」のパラメータ設定項目を選択して設定内容を変更することができる。

操作部１１１は、撮影モード選択ダイヤル１１１ａ、レリーズボタン１１１ｂ、設定メニューボタン１１１ｃ、十字キー１１１ｄなどで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を使用する。例えば撮影モード選択ダイヤル１１１ａでは、「オート撮影モード」、「高感度撮影モード」、「合成撮影モード」などを行う。尚、これらの操作部１１１の操作情報は制御部１０８に出力され、制御部１０８は操作部１１１から入力する操作情報に応じて電子カメラ１０１の動作を制御する。

メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースである。そして、制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａに画像データを読み書きする。特に本実施形態に係る電子カメラ１０１では、「合成撮影モード」で合成された画像を保存する。尚、「合成撮影モード」で合成する前の複数枚の画像をメモリカード１１２ａに保存するように、「合成撮影モード」の設定メニュー画面で設定できるようにしてもよい。この場合は、「合成撮影モード」でレリーズボタン１１１ｂが押下された場合に、連写された複数枚の画像を合成せずにメモリカード１１２ａに保存する。或いは、合成処理を行った画像と連写された複数枚の画像の両方をメモリカード１１２ａに保存するようにしてもよい。さらに、連写された複数枚の画像をまとめて管理できるように、例えば連写枚数が３枚の場合は、ｇｏｕｓｅｉ−１．ｊｐｇ、ｇｏｕｓｅｉ−２．ｊｐｇ、ｇｏｕｓｅｉ−３．ｊｐｇとして、同一名称で関連付けて末尾に撮影順序を示す番号を付加してメモリカード１１２ａに保存する。或いは、「合成撮影モード」で連写撮影する毎にフォルダを作成し、連写された複数枚の画像を１つのフォルダにまとめて保存するようにしてもよい。または、画像ファイルのヘッダ情報として、複数枚の画像を関連付ける独自の情報を付加してもよい。さらに、この場合、補助光源１１３を発光して撮影された画像であるか否かの情報も付加するようにしてもよい。これにより、発光して撮影する画像の順番を固定にしておく必要がなくなり、発光して撮影する画像の順番を撮影毎に変えた場合でも、メモリカード１１２ａから読み出した複数枚の画像から発光して撮影した画像を特定できる。

補助光源１１３は、一般的なカメラに搭載されているフラッシュに相当し、撮影時に被写体に対して閃光を発する発光素子で構成される。そして、制御部１０８が指令するタイミングで閃光を発する。

以上が電子カメラ１０１の構成および基本動作である。尚、電子カメラ１０１ではなく、本発明に係る単体の画像処理装置を構成する場合は、図１において、光学系１０２，メカニカルシャッタ１０３，撮像素子１０４、Ａ／Ｄ変換部１０５および補助光源１１３で構成される撮像に必要なブロックを取り除いた装置に対応し、メモリカード１１２ａから画像バッファ１０６に画像データを読み出す制御部１０８の処理が画像処理装置の画像入力部の処理に対応する。そして、制御部１０８（画像処理装置の制御部に相当）は、撮影済みの画像データをメモリカード１１２ａから画像バッファ１０６に読み出し、画像処理部１０７で画像処理を行って表示部１１０に表示する。或いは、画像処理後の画像データを再びメモリカード１１２ａに保存する。ここで、画像処理装置の場合は、操作部１１１は、レリーズボタン１１１ｂの代わりにメモリカード１１２ａから撮影済みの画像を画像バッファ１０６に読み出すための再生ボタンを設け、表示部１１０に表示された撮影済みの画像の中から画像処理を行う画像を十字キー１１１ｄで選択する。また、撮影モード選択ダイヤル１１１ａの代わりに画像処理内容を選択するための画像処理選択ダイヤルを設け、十字キー１１１ｄで選択された画像に対して、画像処理選択ダイヤルで選択された画像処理を行う。例えば、画像処理選択ダイヤルで「合成処理モード」を選択すると、十字キー１１１ｄで選択された画像に対応する連写撮影された複数枚の画像データをメモリカード１１２ａから画像バッファ１０６に読み出す。そして、画像バッファ１０６に読み出された連写された複数枚の画像データを画像処理部１０７で合成する処理は、電子カメラ１０１の場合と同じである。このように、電子カメラ１０１の「合成撮影モード」で撮影された複数枚の画像が記憶されたメモリカード１１２ａから画像データを読み出して合成処理を行う専用の画像処理装置としても実現可能である。

尚、画像処理装置をパソコンで実現しても構わない。この場合、制御部１０８はパソコンのＣＰＵに相当し、パソコンのメモリカードＩＦに接続されたメモリカード１１２ａから画像データを読み込んで表示部１１０の代わりにモニタに表示する。尚、画像合成プログラムがパソコンにインストールされているものとする。

［合成撮影モード］
次に、本実施形態に係る電子カメラ１０１の「合成撮影モード」について説明する。一般に、電子カメラで撮影可能なダイナミックレンジを越える被写体を撮影する場合、明るい部分の白飛びや暗い部分の黒潰れが生じる。そこで、明るい部分を適正露光で撮影した画像と、暗い部分を適正露光で撮影した画像とを合成して、明るい部分も暗い部分もきれいに撮影された画像を作成することが行われている。

例えば図２において、被写体１５１の例に示すように、夜景を背景として人物を撮影する場合（撮影構図１５２）、フラッシュ有りで撮影した画像１５３とフラッシュ無しで撮影した画像１５４とを合成して、人物と背景の両方を良好な露出（適正または適正に近い露出）になるように合成した画像１５５を得ることができる。

ところが、画像１５３と画像１５４とを重ね合わせる合成処理では、重ね合わせの基準となる主要被写体（人物など撮影者が最もきれいに写したい被写体）の位置合わせが必要であるが、画像１５３と画像１５４とでは主要被写体の明るさが大きく異なるため、色の比較や輪郭の比較などによる主要被写体の位置検出や同じ被写体であるか否かの判別を正確に行うことができず、重ね合わせる２つの画像の主要被写体の位置合わせが難しくなる。

特に連写された複数枚（例えば５枚など）の画像を合成する場合、時間的に隣接する画像間での主要被写体の位置ずれは小さいが、１枚目の画像と５枚目の画像との間では主要被写体の位置が手振れなどの原因により大きくずれている可能性がある。このため、２つの画像の同じ画素位置の信号を加算または平均して合成する処理（単純合成と称する）を行った場合、主要被写体の位置が大きくブレて合成される可能性がある。

そこで、本実施形態に係る電子カメラ１０１では、合成する順番や合成方法を変えることにより、連写された複数枚の画像の中に輝度が大きく異なる画像がある場合でも、主要被写体の位置ずれが少なくなるように合成することができる。

［画像合成方法］
次に、本実施形態に係る電子カメラ１０１における画像合成方法について説明する。図３は、連写された複数枚の画像例として、連写枚数が５枚の場合の撮影画像例を示してある。図３において、撮影順に、画像１６１は１枚目（最初）に撮影される画像、画像１６２は２枚目に撮影される画像、画像１６３は３枚目に撮影される画像、画像１６４は４枚目に撮影される画像、画像１６５は５枚目（最後）に撮影される画像である。また、画像１６１、画像１６２、画像１６３および画像１６４の４枚はフラッシュ無しで撮影した画像、画像１６５はフラッシュ有りで撮影した画像である。ここで、通常のフラッシュ無しの撮影では、被写体の明るさに応じて適正露出になるように絞り値やシャッタ速度が制御されるが、本実施形態に係る電子カメラ１０１の「合成撮影モード」では、フラッシュ無しで撮影される画像は通常撮影よりもアンダー露光（露光不足）で撮影される。

図３の例では、手ぶれなどにより人物（ここでの主要被写体とする）の位置が左側に少しずつずれる様子を誇張して描いてある。実際には、時間的に隣接する画像間（例えば画像１６１と画像１６２）での主要被写体のずれは殆ど目立たないが、最初に撮影される画像１６１と最後に撮影される画像１６５との間では主要被写体の位置ずれは大きくなり、単純合成を行った場合に主要被写体が大きくぶれて合成されてしまうという問題が生じる。このような場合は画像１６１と画像１６５との間で主要被写体の位置合わせを行う必要があるが、色の比較や輝度の比較などによる主要被写体の位置検出や同じ被写体であるか否かの判別を正確に行うことができないので、２つの画像の主要被写体の位置合わせは難しい。

そこで、本実施形態に係る電子カメラ１０１では、図３の例のように連写された複数枚の画像を合成する時の合成順序や合成方法を工夫している。先ず、主要被写体が適正露出でフラッシュ撮影された画像１６５を基準画像（第１基準画像）とする。次に、画像１６５に時間的に最も近い画像１６４を最初に行う合成処理（第１合成処理）の基準画像（第２基準画像）とする。

第１合成処理では、画像１６４に対して、フラッシュ撮影された画像１６１から画像１６３までの３枚の画像をそれぞれ合成する。この時、画像１６４の主要被写体の位置と画像１６１の主要被写体の位置と間に位置ずれがあるので、画像１６４の主要被写体の位置を基準にして画像１６１の主要被写体の位置が合うように画像１６１を左にずらして画像１６４に合成する。尚、合成処理方法は、位置合わせ後の同じ画素位置の信号を加算または平均する。また、カラー画像の場合は、各色毎に同様の処理を行う。

次に、画像１６１を合成後の画像１６４に対して画像１６２を合成する。この場合も画像１６４の主要被写体の位置を基準にして画像１６１の主要被写体の位置合わせを行った後、画像１６２を画像１６４に合成する。

同様に、画像１６１と画像１６２を合成後の画像１６４に対して画像１６３を合成する。この場合も画像１６４の主要被写体の位置を基準にして画像１６３の主要被写体の位置合わせを行った後、画像１６３を画像１６４に合成する。

このようにして、画像１６４の主要被写体の位置を基準にして、画像１６１から画像１６３の３つの画像をそれぞれ合成することができる。尚、画像１６１から画像１６４までの４枚の画像は、何れもフラッシュ無しで撮影された画像なので、主要被写体の露出条件が類似しており、色の比較や輝度の比較などによる主要被写体の位置検出が行い易く、同じ被写体であるか否かの判別を正確に行うことができる。

次に、画像１６１から画像１６３までの３つの画像が合成された後の画像１６４と、主要被写体が適正露出で撮影されているフラッシュ撮影された画像１６５とを合成する処理（第２合成処理）を行う。

第２合成処理では、画像１６１から画像１６３までの３つの画像が合成された後の画像１６４と画像１６５とを主要被写体の位置合わせを行わずに同じ画素位置の信号を加算または平均するだけの単純合成を行う。この場合、先に説明したように、画像１６４と画像１６５とは時間的に連続しているので位置ずれは少ない。また、画像１６１から画像１６４までの４つの画像はフラッシュ無しで且つアンダー露光で撮影されているので主要被写体が暗く、合成後の画像における主要被写体の僅かな位置ずれは殆ど目立たない。尚、補助光源１１３を発光して撮影された画像と、補助光源１１３を非発光で撮影された画像に撮影されている主要被写体の位置合わせして合成する処理は、色調や輝度などの特徴量が異なるので処理が難しく、実現しようとすると複雑な演算処理や高価な処理装置が必要となる。これに対して、本実施形態のように、発光して撮影された画像に対して時間的に隣接する位置ずれの少ない非発光画像を第２基準画像として残りの非発光画像を合成した後で、発光画像に単純合成することにより、安価で位置ずれの目立たない合成画像を生成することができる。尚、明るさが類似している画像（非発光画像）間での主要被写体の検出や位置合わせを行う処理は、明るさが大きく異なる画像間での位置合わせ処理に比べれば処理負荷が低減され、性能の劣る安価なＣＰＵでも比較的簡単に行うことができる。

このようにして、画像１６１から画像１６５までの５つの画像を合成した画像１６６を得ることができる。尚、合成後の画像１６６は、手ぶれなどの影響により画角がずれているので合成後の画像に違和感が生じる場合がある。そこで、合成後の処理として、画像１６１から画像１６５までの画角の重複する部分を切り取るトリミング処理を行い、トリミング後の画像１６７を最終画像としてメモリカード１１２ａに保存するようにしてもよい。

尚、「合成撮影モード」では、フラッシュ無し画像をアンダー露光で撮影する。この場合、「合成撮影モード」のパラメータとしてアンダー露光の数値をメモリ１０９に予め設定しておく。ここで、アンダー露光の数値は、適正露光の絞り値やシャッタ速度に対する調整段数で、例えば適正露光の絞り値から１段絞ったり、シャッタ速度を１段速くしてアンダー露光にする。或いは、フラッシュ無しで撮影される画像の枚数に応じてアンダー露光の数値を自動的に設定するようにしてもよい。例えば、フラッシュ無し撮影画像の枚数が４枚の場合、加算後の画像の明るさは４倍になるので、適正露光の絞り値から２段絞ったり、シャッタ速度を２段速くする。これにより、４枚のフラッシュ無し撮影画像を合成した後の画像が適正露光に近い明るさになる。さらに、ノイズは合成処理によって平均化されるのでノイズ除去の効果も得られる。また、フラッシュ無しで画像を撮影する時のシャッタ速度を速くできるので、手振れを防ぐことができる。これにより、主要被写体の検出や位置合わせなども容易になり、合成後の画質も向上する。

このように、本実施形態に係る電子カメラ１０１は、アンダー露光で撮影した複数枚のフラッシュ無し画像を合成することでノイズの少ない背景画像（夜景など）を得ることができる（第１合成処理）。さらに、このフラッシュ無し撮影画像の合成画像（第１合成画像）に、主要被写体が適正露光で撮影されたフラッシュ撮影画像を合成することにより（第２合成処理）、主要被写体と夜景の両方がきれいに撮影された合成画像（第２合成画像）を得ることができる。

［画像処理部１０７の構成例］
次に、画像処理部１０７の構成例について図４を用いて説明する。尚、図４において、図１と同符号のものは同じものを示す。図４において、画像処理部１０７は、基準画像選択部２０１と、合成部２０２とを有する。さらに、合成部２０２は、合成順序決定部２５１と、第１合成部２５２と、第２合成部２５３とで構成される。また、制御部１０８は、操作部１１１で「合成撮影モード」が選択された場合に、合成画像を生成する処理を実行する合成画像撮影制御部３０１を有する。

先ず撮影者は、操作部１１１の撮影モード選択ダイヤル１１１ａで「合成撮影モード」を選択する。そして、撮影者がレリーズボタン１１１ｂを押下すると、制御部１０８の合成画像撮影制御部３０１は、メモリ１０９に予め記憶された「合成撮影モード」のパラメータを参照して撮影を開始する。ここで、メモリ１０９に記憶された「合成撮影モード」のパラメータは、連写枚数：５枚、フラッシュ撮影位置：５枚目とする。また、アンダー露光の数値も「合成撮影モード」のパラメータとする場合は、例えばシャッタ速度を２段上げたアンダー露光に設定されているものとする。

そして、レリーズボタン１１１ｂの押下により、合成画像撮影制御部３０１は、撮像部１０４に指令して連写を開始する。ここでは、時間的に連続する４枚の画像を画像バッファ１０６に取り込んだ後、補助光源１１３を発光させて最後の５枚目の画像を撮影して画像バッファ１０６に取り込む。尚、この段階で、画像バッファ１０６に取り込まれた５枚の撮影画像をメモリカード１１２ａに保存するようにしてもよい。

次に、合成画像撮影制御部３０１は、画像処理部１０７に指令して、画像バッファ１０６に取り込まれた５枚の撮影画像を合成する処理を画像処理部１０７に指令する。画像処理部１０７の基準画像選択部２０１は、画像バッファ１０６に取り込まれた５枚の撮影画像の中からフラッシュ撮影された画像（第１基準画像）に時間的に最も近いフラッシュ撮影無しの画像を第２基準画像として選択する。尚、フラッシュ撮影された画像がどの画像であるかはメモリ１０９に記憶されている「合成撮影モード」のパラメータを参照することにより知ることができる。或いは、メモリカード１１２ａに記憶された「合成撮影モード」で撮影済みの複数枚の画像を読み出して処理する場合は、複数枚の画像の中から平均輝度レベルが相対的に大きく異なる画像（或いは相対的に最も平均輝度レベルが大きい画像）をフラッシュ撮影された画像であると判断するようにしてもよい。

合成部２０２の合成順序決定部２５１は、基準画像選択部２０１で第２基準画像が選択されると、図３で説明したように、連写された複数枚の画像を合成する順序を決定する。合成順序決定部２５１は、先ず第２基準画像を除く複数枚のフラッシュ無しの画像を第２基準画像に合成する処理において、例えば複数枚のフラッシュ無しの画像を時系列順、逆時系列順、或いはランダムのいずれかに決定する。尚、時系列順、逆時系列順、或いはランダム順に合成するかは、予め決められているものとする。或いは、「合成撮影モード」のパラメータとしてメモリ１０９に記憶し、設定メニューで変更できるようにしてもよい。

図３の例では、５枚目の画像１６５が第１基準画像、４枚目の画像１６４が第２基準画像なので、合成順序決定部２５１は画像１６１から画像１６３の３枚の画像を画像１６４に合成する順序を決定する。例えば合成順序が時系列順の場合は、先ず画像１６４を基準として画像１６１を合成し、次に合成後の画像１６４を基準として画像１６２を合成し、この合成後の画像１６４を基準として画像１６３を合成するよう第１合成部２５２に出力する。尚、逆時系列順の場合は、先ず画像１６４を基準として画像１６３を合成し、次に合成後の画像１６４を基準として画像１６２を合成し、この合成後の画像１６４を基準として画像１６１を合成するよう第１合成部２５２に出力する。或いは、ランダム順の場合は、例えば、先ず画像１６４を基準として画像１６２を合成し、次に合成後の画像１６４を基準として画像１６１を合成し、この合成後の画像１６４を基準として画像１６３を合成するよう第１合成部２５２に出力する。

第１合成部２５２は、第２基準画像に対して第２基準画像を除くフラッシュ無し撮影画像を合成する処理を行う（第１合成処理）。第１合成処理では、合成する２枚の画像から予め設定された主要被写体をそれぞれ検出して、両方の画像の主要被写体の位置合わせを行う。ここで、連写された画像の中で時間的に隣接する２枚の画像間における主要被写体の位置ずれは連写間隔が短ければ殆ど無視できるが、時間的に離れて撮影された画像間での主要被写体の位置ずれは合成する際に無視できない。例えば図３の例において、画像１６４と画像１６３、或いは画像１６４と画像１６５との間の主要被写体の位置ずれは殆ど無視できるが、画像１６４と画像１６１との間の主要被写体の位置ずれは大きくなり、合成時に問題となる。そこで、第１合成部２５２は、合成時に主要被写体の検出および検出した主要被写体の位置ずれ検出を行い、合成する２つの画像の主要被写体の位置ずれを合わせる処理を行ってから合成を行う。この様子を図５に示す。尚、ここでは主要被写体を人物とする。また、主要被写体の検出方法については、既に顔検出機能が付いた電子カメラで実現されている周知の技術なので詳しい説明は省略するが、人物の場合は顔の輪郭や目、鼻、口の配置などの予め設定された特徴量を用いて検出することができる。また、フラッシュ無しで撮影された画像間では、被写体の色調や輝度などが類似しているので主要被写体が同じ被写体であるか否かや主要被写***置などについても画像間のばらつきが少なく、確実に検出することができる。尚、先に説明したように、フラッシュ撮影された画像１６５とフラッシュ無しで撮影された画像１６４との間で検出された主要被写体は、色調や輝度が大きく異なるので、同じ主要被写体であるか否かや主要被写体の位置検出を正確に行うことは難しい。

図５は、図３に示した画像１６１と画像１６４とを合成する時の主要被写体の位置合わせを行う様子を示した図である。図５において、画像１６１で検出された主要被写体１７１を画像１６４で検出された主要被写体１７４の位置に合わせる処理を行う。この場合、先ず画像１６１の主要被写体１７１の中心部分（図５の例では人物の顔の中心にある鼻の位置）の画素座標と、画像１６４の主要被写体１７４の中心部分（同様に鼻の位置）の画素座標との位置ズレ量ｄを求める。そして、画像１６１を位置ズレ量ｄだけずらした位置で第２基準画像の画像１６４に単純合成する。これにより、画像１６１の主要被写体１７１と画像１６４の主要被写体１７４の水平方向の中心軸１８０を合わせることができる。尚、図５の例では水平方向に位置ズレした場合の例を示してあるが、垂直方法に位置ズレした場合でも同様に、画像１６１の垂直方向の中心軸１８１と画像１６４の垂直方向の中心軸１８４との位置ズレ量を求め、画像１６１を垂直方向にずらして画像１６４に合成する。さらに水平方向と垂直方向の両方に位置ズレがある場合でも、上記の２つの位置合わせを組み合わせて合成することができる。

ここで、上記の例では画像１６４に画像１６１を合成する場合について説明したが、画像１６２や画像１６３を画像１６４に合成する処理も同様に行うことができる。

このようにして、第１合成部２５２は、第２基準画像である画像１６４の主要被写体の位置を基準にして、第２基準画像を除くフラッシュ無しで撮影した画像（画像１６１から画像１６３の３つの画像）を合成することができる（第１合成処理）。

尚、画像１６１から画像１６４までの４枚の画像は、何れもフラッシュ無しで撮影された画像なので、主要被写体の露出条件が類似しており、色の比較や輝度の比較などによる主要被写体の位置検出や同じ被写体であるか否かの判別を正確に行うことができる。

次に、第２合成部２５３は、第１合成処理で合成された画像に第１基準画像を合成する処理を行う（第２合成処理）。第２合成処理では、位置合わせを行わずに２つの画像の同じ画素位置の信号を単純合成する。

図６は、図３に示した画像１６５と第１合成部２５２で第１合成処理後の画像１６４とを合成する時の様子を示した図である。図６の例では、画像１６５と第１合成処理後の画像１６４’とを同じ画素位置でそのまま単純合成する。

ここで、第１基準画像（画像１６５）と第２基準画像（画像１６４）は時間的に連続する画像なので連写間隔が短い場合は殆ど位置ズレは無いと見なせるので、先に説明したような単純合成でも合成後の主要被写体の位置ズレは殆ど目立たない。

このようにして、第２合成部２５３は、フラッシュ撮影された第１基準画像の画像１６５と、フラッシュ無しの複数の画像を第２基準画像に合成後の画像１６４’とを合成する第２合成処理を行うことができる。これにより、主要被写体と夜景の両方がきれいに撮影された合成画像（第２合成画像）を得ることができる。

次に、「合成撮影モード」で画像を撮影する時の処理および撮影された画像を合成する時の処理についてそれぞれ説明する。

図７は、「合成撮影モード」で画像を撮影する時の処理を示したフローチャートである。尚、図７の処理は、制御部１０８の合成画像撮影制御部３０１が行う。

（ステップＳ１０１）撮影者は、撮影を開始する前に、操作部１１１の撮影モード選択ダイヤル１１１ａで「合成撮影モード」を選択する。

（ステップＳ１０２）合成画像撮影制御部３０１は、撮影者が操作部１１１のレリーズボタン１１１ｂを押下したか否かを判別し、レリーズボタン１１１ｂが押下されると次のステップに進む。尚、この時点で、合成画像撮影制御部３０１は、連写中に次に撮影する画像が何枚目であるかを示すカウンタのカウント値を１（１枚目）に設定する。また、カウンタは、制御部１０８で実行される画像処理プログラムのソフト的な変数である。

（ステップＳ１０３）合成画像撮影制御部３０１は、メモリ１０９に記憶されている「合成撮影モード」のパラメータを参照して、カウンタのカウント値がフラッシュ撮影する画像位置（ここでの例では５枚目）であるか否かを判別する。そして、フラッシュ撮影する画像位置である場合はステップＳ１０４に進み、フラッシュ撮影する画像位置ではない場合はステップＳ１０５に進む。

（ステップＳ１０４）合成画像撮影制御部３０１は、光学系１０２の絞り値およびメカニカルシャッタ１０３のシャッタ速度を制御して補助光源１１３を発光させ、撮像素子１０４で撮像した画像をＡ／Ｄ変換部１０５を介して画像バッファ１０６に取り込む（フラッシュ有り撮影）。そして、合成画像撮影制御部３０１は、次に撮影する画像が何枚目であるかを示すカウンタのカウント値を１つ増やす。尚、このフラッシュ撮影では、適正露出になるように制御される。

（ステップＳ１０５）合成画像撮影制御部３０１は、光学系１０２の絞り値およびメカニカルシャッタ１０３のシャッタ速度を制御して、撮像素子１０４で撮像した画像をＡ／Ｄ変換部１０５を介して画像バッファ１０６に取り込む（フラッシュ無し撮影）。そして、合成画像撮影制御部３０１は、次に撮影する画像が何枚目であるかを示すカウンタのカウント値を１つ増やす。尚、この撮影では、合成画像撮影制御部３０１は、メモリ１０９に記憶されている「合成撮影モード」のパラメータを参照して、アンダー露光の数値だけ適正露出よりも下げて撮影する。また、フラッシュ無し撮影での適正露出は、レリーズボタン１１１ｂ押下時の測光値（例えば撮像素子１０４の出力から測光）により求められているものとする。

（ステップＳ１０６）合成画像撮影制御部３０１は、カウンタのカウント値が示す撮影済の画像枚数（カウント値は次の撮影画像の枚数なので撮影済みの枚数より１枚多くなっているため１つ減らした枚数とする）がメモリ１０９に記憶されている「合成撮影モード」の連写枚数に一致するか否かを判別する。そして、連写枚数の撮影が終了している場合は「合成撮影モード」を終了し、連写枚数の撮影が終了していない場合はステップＳ１０３に戻って同様の撮影処理を繰り返す。例えば、「合成撮影モード」のパラメータの連写枚数が５枚で、次に撮影する画像が何枚目であるかを示すカウンタのカウント値が６（枚目）である場合は撮影を終了し、カウント値が５枚目以下である場合はステップＳ１０３に戻る。

このようにして、「合成撮影モード」が撮影モード選択ダイヤル１１１ａで選択されている場合にレリーズボタン１１１ｂが押下されると、メモリ１０９に記憶されている「合成撮影モード」のパラメータに従って、所定の画像位置でフラッシュ撮影が行って連写された所定枚数の画像が画像バッファ１０６に取り込まれる。

（ステップＳ１０７）合成画像撮影制御部３０１は、ステップＳ１０６で画像バッファ１０６に取り込まれた連写画像をメモリカードＩＦ１１２を介してメモリカード１１２ａに保存する。或いは、表示部１１０に合成画像を表示する。

尚、メモリカード１１２ａをパソコンや専用の画像処理装置などに接続して「合成撮影モード」で撮影された複数枚の画像の合成処理をパソコンや画像処理装置で行うことができる。そして、この場合、パソコンや画像処理装置は、次に説明するような画像合成処理を実行する画像処理プログラムが搭載されている。

次に、「合成撮影モード」で連写撮影された複数枚の画像を合成する処理について、図８のフローチャートを用いて説明する。尚、図８の処理は、制御部１０８の合成画像撮影制御部３０１の指令により、画像処理部１０７が行う。尚、画像処理部１０７は、図４で説明した処理ブロックを有する。

（ステップＳ２０１）基準画像選択部２０１は、画像バッファ１０６から「合成撮影モード」で撮影された複数枚の画像を読み出す。尚、パソコンや画像処理装置の場合は、メモリカード１１２ａから「合成撮影モード」で撮影された複数枚の画像を読み出す。

（ステップＳ２０２）基準画像選択部２０１は、ステップＳ２０１で読み出した複数枚の画像の中から基準画像を選択する。尚、基準画像選択部２０１が選択する基準画像は、先に説明したように、フラッシュ撮影された第１基準画像と、フラッシュ撮影無しの画像の中で第１基準画像に時間的に最も近い第２基準画像の２つである。

（ステップＳ２０３）合成順序決定部２５１は、連写された複数枚の画像を合成する順序を決定する。尚、フラッシュ有り撮影画像は最後に合成するので、ここでの処理は、第２基準画像を除く複数枚のフラッシュ無しの画像を第２基準画像に合成する順序を決定する。合成する順序を決定する方法は、先に説明したように、例えば複数枚のフラッシュ無しの画像を時系列順、逆時系列順、或いはランダムのいずれかである。

（ステップＳ２０４）第１合成部２５２は、ステップＳ２０３で決定された合成順序に従って、複数枚のフラッシュ無し撮影画像を合成する。尚、合成方法は、先に説明したように、主要被写体の位置合わせを行って合成する第１合成処理を実行する。

（ステップＳ２０５）第２合成部２５３は、ステップＳ２０４で複数枚のフラッシュ無し撮影画像が合成された画像と、フラッシュ撮影された画像（第１基準画像）とを合成する。尚、合成方法は、先に説明したように、同じ位置の画素主要被写体の位置合わせを行って合成する第２合成処理を実行する。

（ステップＳ２０６）画像処理部１０７は、第２合成部２５３が合成後の画像を出力する。尚、合成後の画像は、次の撮影が行われるまで、一旦、画像バッファ１０６に保持される。そして、制御部１０８は、画像バッファ１０６に保持されている合成後の画像を表示部１１０に表示したり、合成後の画像の画像データに予め決められたファイル名（例えば通し番号や撮影日時など）を自動的に付加してメモリカードＩＦ１１２を介してメモリカード１１２ａに保存する。

このようにして、本実施形態に係る電子カメラ１０１は、「合成撮影モード」で連写撮影された複数枚の画像を合成することができる。特に、フラッシュ無しで撮影された画像の合成画像に、主要被写体が適正露光で撮影されたフラッシュ撮影画像を合成することにより、主要被写体と夜景の両方がきれいに撮影された合成画像を得ることができる。また、本変形例に係る電子カメラ１０１では、補助光源１１３を発光して撮影したフラッシュ有り撮影画像を基準として合成順序を決めるので、複雑な処理を行うことなく、主要被写体の位置ずれが少ない合成画像を生成することができる。さらに、本実施形態に係る電子カメラ１０１は、アンダー露光で撮影した複数枚のフラッシュ無し画像を合成するので、ノイズ成分が相殺されてＳＮ比の高い背景画像（特に夜景など）を得ることができる。

（合成順序の変形例１）
次に、先に説明した実施形態の合成順序の変形例について、図９を用いて説明する。図３の例では、フラッシュ撮影する画像位置を連写の最後の画像としたが、本変形例では図９に示すように、最初の画像２６１をフラッシュ撮影し、残りの４枚の画像（画像２６２から画像２６５まで）をフラッシュ無し撮影する。

図９において、画像処理部１０７の基準画像選択部２０１は、画像２６１を第１基準画像とし、第１基準画像に時間的に最も近い画像２６２を第２基準画像として選択する。

そして、合成順序決定部２５１は、先ず、第２基準画像を除くフラッシュ無し撮影画像を第２基準画像に合成する順序を決める。ここで、合成順序は、先に説明したように、例えば複数枚のフラッシュ無しの画像を時系列順、逆時系列順、或いはランダムのいずれかである。

図９の例では、１枚目の画像２６１が第１基準画像、２枚目の画像２６２が第２基準画像なので、合成順序決定部２５１は画像２６３から画像２６５の３枚の画像を画像２６２に合成する順序を決定する。例えば合成順序が時系列順の場合は、先ず画像２６２を基準として画像２６３を合成し、次に合成後の画像２６２を基準として画像２６４を合成し、この合成後の画像２６２を基準として画像２６５を合成するよう順序を決定して、第１合成部２５１に出力する。尚、フラッシュ有り撮影画像２６１の合成順序は、フラッシュ撮影される画像位置に依らず最後に合成される。

第１合成部２５２は、合成順序決定部２５１が決定した合成順序に従って第２基準画像を除くフラッシュ無し撮影された複数枚の画像を第２基準画像に合成する。尚、合成する２枚の画像の主要被写体の位置合わせを行って合成する。

そして、第２合成部２５３は、第１合成部２５２が合成後の画像にフラッシュ撮影された画像２６１を単純合成する。

このように、本変形例に係る電子カメラ１０１は、フラッシュ撮影する画像位置が連写の最初の画像であっても、図３の場合と同様に合成処理を行うことができ、フラッシュ無しで撮影された画像の合成画像に、主要被写体が適正露光で撮影されたフラッシュ撮影画像を合成することにより、主要被写体と夜景の両方がきれいに撮影された合成画像を得ることができる。特に、本変形例に係る電子カメラ１０１では、合成順序を補助光源１１３を発光して撮影したフラッシュ有り撮影画像を基準として合成する順序を決めるので、被写体の位置ずれが少ない合成画像を生成することができる。

（合成順序の変形例２）
次に、合成順序の変形例２について、図１０を用いて説明する。図３および図９の例では、フラッシュ撮影する画像位置を連写の最初または最後の画像としたが、本変形例では図１０に示すように、連写途中の画像（例えば画像３６３）をフラッシュ撮影し、残りの前後の画像（例えば画像３６１、画像３６２、画像３６４および画像３６５）をフラッシュ無し撮影する。

図１０において、画像処理部１０７の基準画像選択部２０１は、画像３６３を第１基準画像とし、第１基準画像に時間的に最も近い前後の２枚の画像（図１０の例では画像３６２と画像３６４）を第２基準画像として選択する。ここで、先の実施形態と異なるのは、第１基準画像の撮影時間よりも前に撮影されたフラッシュ無し撮影の画像の中から時間的に最も近い画像を選択することと、第１基準画像の撮影時間よりも後に撮影されたフラッシュ無し撮影の画像の中から時間的に最も近い画像を選択することとである。そして、第１合成部２５２は、第１基準画像の撮影時間より前の部分のフラッシュ無し撮影画像の合成処理と、第１基準画像の撮影時間より後の部分のフラッシュ無し撮影画像の合成処理とに分けて合成処理を行う。つまり、先の実施形態で説明した第１合成処理を２段階に分けて実行する。ここで、便宜上、第１基準画像の撮影時間より前の部分のフラッシュ無し撮影画像の合成処理を第１合成処理Ａ、第１基準画像の撮影時間より後の部分のフラッシュ無し撮影画像の合成処理を第１合成処理Ｂと称する。

図１０において、第１合成部２５２は、第１合成処理Ａにおける第２基準画像の画像３６２に画像３６１を合成する。この場合の合成は、画像３６２の主要被写体の位置に画像３６１の主要被写体の位置を合わせる処理を行って合成する。尚、図１０の例では合成する画像が２枚しかないが、図３の例のように時間的に離れた複数枚の画像がある場合は、合成順序決定部２５１が合成する順序を決め、合成する画像間の主要被写体の位置合わせ後に合成する。このようにして、第１合成処理Ａでは、第２基準画像３６２の主要被写体の位置に合うように画像３６１が合成された画像Ａが得られる。

同様に、第１合成部２５２は、第１合成処理Ｂにおける第２基準画像の画像３６４に画像３６５を合成する。この場合の合成は、画像３６４の主要被写体の位置に画像３６５の主要被写体の位置を合わせ後に合成する。尚、この場合も合成する画像が２枚しかないが、図３の例のように時間的に離れた複数枚の画像がある場合は、合成順序決定部２５１が合成する順序を決め、合成する画像間の主要被写体の位置合わせ後に合成する。このようにして、第１合成処理Ｂでは、第２基準画像３６４の主要被写体の位置に合うように画像３６５が合成された画像Ｂが得られる。

そして、第２合成部２５３は、フラッシュ無し撮影された複数枚の画像を合成後の画像Ａおよび画像Ｂと、フラッシュ撮影された画像３６３とを合成する処理を行う。この場合も、先の実施形態で説明した第２合成処理を２段階に分けて実行する。ここで、便宜上、第１基準画像に画像Ａを合成する処理を第２合成処理Ａ、第１基準画像に画像Ｂを合成する処理を第２合成処理Ｂと称する。尚、第２合成処理Ａおよび第２合成処理Ｂの合成方法は、先に説明したように、同じ画素位置の信号を合成する単純合成である。このようにして、フラッシュ無し撮影された複数枚の画像の合成画像Ａおよび画像Ｂと、フラッシュ撮影された画像３６３とを合成した画像を得ることができる。

このように、本変形例に係る電子カメラ１０１は、フラッシュ撮影する画像位置が連写途中の画像であっても、図３の場合と同様に合成処理を行うことができ、フラッシュ無しで撮影された画像の合成画像に、主要被写体が適正露光で撮影されたフラッシュ撮影画像を合成することにより、主要被写体と夜景の両方がきれいに撮影された合成画像を得ることができる。特に、本変形例に係る電子カメラ１０１では、合成順序を補助光源１１３を発光して撮影したフラッシュ有り撮影画像を基準として合成する順序を決めるので、被写体の位置ずれが少ない合成画像を生成することができる。

以上、本発明に係る画像処理装置および電子カメラ、並びに画像処理プログラムについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・電子カメラ；１０２・・・光学系；１０３・・・メカニカルシャッタ；１０４・・・撮像素子；１０５・・・Ａ／Ｄ変換部；１０６・・・画像バッファ；１０７・・・画像処理部；１０８・・・制御部；１０９・・・メモリ；１１０・・・表示部；１１１・・・操作部；１１１ａ・・・撮影モード選択ダイヤル；１１１ｂ・・・レリーズボタン；１１１ｃ・・・設定メニューボタン；１１１ｄ・・・十字キー；１１２・・・メモリカードＩＦ；１１２ａ・・・メモリカード；１１３・・・発光部；２０１・・・基準画像選択部；２０２・・・合成部；２５１・・・合成順序決定部；２５２・・・第１合成部；２５３・・・第２合成部；３０１・・・合成画像撮影制御部

Claims (7)

1. 補助光源を発光させて撮影した画像を含む時間的に連続して撮影された複数枚の画像を入力する画像入力部と、
   前記補助光源を発光させて撮影した発光撮影画像を第１基準画像、前記補助光源を発光させずに撮影した複数枚の非発光撮影画像の中で前記第１基準画像に時間的に最も近い非発光撮影画像を第２基準画像、としてそれぞれ選択する基準画像選択部と、
   前記複数枚の非発光撮影画像を前記第２基準画像に合成する第１合成処理と、前記第１合成処理後の画像を前記第１基準画像に合成する第２合成処理とを行う画像合成部と
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１合成処理は、前記複数枚の非発光撮影画像毎に予め設定された主要被写体の位置検出を行い、前記第２基準画像の前記主要被写体の位置に合うように前記非発光撮影画像の前記主要被写体の位置を調整して合成し、
   前記第２合成処理は、前記第１合成処理により合成された画像に前記第１基準画像を同一画素位置で合成する
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記複数枚の非発光撮影画像は、前記主要被写体に対してアンダー露光で撮影され、前記発光撮影画像は、前記主要被写体に対して適正露光で撮影される
   ことを特徴とする画像処理装置。
4. 請求項１から３のいずれか一項に記載の画像処理装置において、
   前記補助光源を発光させて撮影した第１基準画像は、前記時間的に連続して撮影された画像のうち最初または最後の画像である
   ことを特徴とする画像処理装置。
5. 請求項１から３のいずれか一項に記載の画像処理装置において、
   前記補助光源を発光させて撮影した第１基準画像は、前記時間的に連続して撮影された画像のうち最初または最後の画像以外の画像であり、
   前記基準画像選択部は、前記複数枚の非発光撮影画像の中で前記第１基準画像に時間的に前後する２枚の前記非発光撮影画像をそれぞれ前側第２基準画像および後側第２基準画像として選択し、
   前記画像合成部は、前記第１合成処理として、前記第１基準画像より時間的に前の前記複数枚の非発光撮影画像を前記前側第２基準画像に、前記第１基準画像より時間的に後の前記複数枚の非発光撮影画像を前記後側第２基準画像に、それぞれ合成し、
   前記第２合成処理は、前記第１基準画像に対して、前記第１合成処理により合成された前記前側第２基準画像と前記後側第２基準画像とをそれぞれ同一画素位置で合成する
   ことを特徴とする画像処理装置。
6. 請求項１から５のいずれか一項に記載の画像処理装置を有する電子カメラであって、
   前記画像入力部を、時間的に連続して複数枚の画像を撮影する撮像部と、前記複数枚の画像のうち予め設定した時間位置の画像を撮影する時に補助光源を発光させる発光部とで構成し、
   前記画像合成部が合成後の画像を記憶媒体に記録する記録部を更に設けたことを特徴とする電子カメラ。
7. 請求項１から５のいずれか一項に記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。

Images