JP2017108309A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】複数の画像を明るさに応じ合成して合成画像を得る際に、よりランダムノイズを抑制して、光線の軌跡を綺麗に残すことができる撮像装置および撮像方法を提供する。
【解決手段】被写体像を撮像して画像データを生成するための撮像素子４と、画像データを記憶するＤＲＡＭと、生成された画像データとＤＲＡＭに記憶されている画像データを画素毎に加算平均して画素データを更新する加算平均合成部と、生成された画像データとＤＲＡＭに記憶されている画像データを画素毎に比較明合成して画素データを更新する比較明合成部と、生成された画像データを構成する各画素データのレベルが所定スレッシュレベル以上か否かを判定する画素比較部１９と、画素比較部１９の判定結果に応じて、生成された画像データを構成する各画素データに対して、加算平均合成又は比較明合成を行うかを選択するための制御を行う選択制御部３３を備える。
【選択図】 図１Ａ

Description

本発明は、比較的長時間に亘って撮影を行う際に、撮影途中において順次取得した複数フレームの画像データから合成画像データを生成する撮像装置および撮像方法に関する。

デジタルカメラ等の撮像装置に加算合成や比較明合成等の画像処理機能を搭載することにより、初心者でも簡単に天体写真や花火、ライトアート等の光線の軌跡をライブビューで確認しながら、綺麗にかつ簡単に撮影できるようになっている。多重露出で光線の軌跡を残して撮影する場合は、主に加算合成や比較明合成機能が使用される。

比較明合成は、複数の画像を合成する際に、同一画素位置のピクセルの画素レベル（明るさレベル）を比較し、明るいピクセルを採用することにより合成画像データを生成する。たとえば特許文献１では、ユーザが、撮影時の経過画像をライブビューで視認しながら、綺麗に光線の軌跡を残した撮影ができるようにした撮像装置が提案されている。

また、特許文献２には、より失敗が少なくなるよう、１枚目とそれ以降の撮影画像の平均輝度差によって合成処理を変更するような撮像装置も提案されている。一般的にランダムノイズを抑制する方法として加算平均合成が知られている。特許文献３には、加算平均合成を用いた動体撮影方法が提案されている。特許文献４には、比較明合成と比較暗合成を組み合わせることにより、背景や光跡の明るさをそれぞれ独立して調整可能する撮像装置が提案されている。

特開２０１３−０６２７４０号公報 特開２０１３−１７２３７２号公報 特許第５４４６８４７号公報 特開２０１４−２１２４１５号公報

特許文献２、４において提案されてきた撮影方法を用いることにより、光線の軌跡を撮影することは容易になった。しかし、光跡の撮影にあたっては、比較明合成を基本としているため、１枚目に撮影された画像にノイズレベルが左右されてしまう（特許文献１でも同様である）。このため、画像ノイズを低減した合成画像を得るために、最初の１枚目を如何に低ノイズで撮影するかがポイントとなり、ＩＳＯ感度を上げて撮影することが難しい。逆にノイズを抑制しようとして加算平均合成を基本とすると、背景が暗い場所では、加算平均処理を施すたびに、光線の軌跡が徐々に薄くってしまう。

本発明は、上記事情に鑑みてなされたものであり、複数の画像を明るさに応じ合成して合成画像を得る際に、よりランダムノイズを抑制して、光線の軌跡を綺麗に残すことができる撮像装置および撮像方法を提供することを目的としている。

上記目的を達成するため第１の発明に係る撮像装置は、被写体像を撮像して画像データを生成する撮像部と、画像データを記憶する画像データ記憶部と、上記撮像部で生成された画像データと上記画像データ記憶部に記憶された画像データを画素毎に加算平均して、上記画像データ記憶部に記憶された画像データのうち該加算平均した画素データを更新する加算平均合成部と、上記撮像部で生成された画像データと上記画像データ記憶部に記憶されている画像データを画素毎に比較明合成して、上記画像データ記憶部に記憶された画像データのうち該比較明合成した画素データを更新する比較明合成部と、上記撮像部で生成された画像データを構成する各画素データのレベルが所定のスレッシュレベル以上か否かを判定する画素比較部と、上記画素比較部の判定結果に応じて、上記撮像部で生成された画像データを構成する各画素データに対して、上記加算平均合成部により加算平均を行うか又は上記比較明合成部により比較明合成を行うかを選択するための制御を行う選択制御部と、を備える。

第２の発明に係る撮像装置は、上記第１の発明において、上記選択制御部は、上記撮像部で生成された画像データを構成する各画素データのレベルが上記所定のスレッシュレベル以上と判定されたときは、上記撮像部で生成された画像データを構成する各画素データに対して上記比較明合成を行うように制御し、上記撮像部で生成された上記画像データを構成する各画素データのレベルが上記所定のスレッシュレベルより低いときは、上記撮像部で生成された画像データを構成する各画素データに対して上記加算平均を行うように制御する。

第３の発明に係る撮像装置は、上記第１の発明において、上記撮像部で生成された第１画像データとその直前に生成された第２画像データのそれぞれを構成する各画素データのうち、同じ画素位置の画素データの差分を比較する画素差分比較部を更に備え、上記選択制御部は、上記第１画像データを構成する各画素データのレベルが上記所定のスレッシュレベル以上であって、且つ上記画素差分比較部による比較の結果、上記同じ画素位置の画素データの差分値が所定値の絶対値以上のとき、上記撮像部で生成された画像データを構成する各画素データに対して上記比較明合成を行うように制御し、上記加算平均合成部により加算平均された上記画像データを構成する各画素データのレベルが上記所定のスレッシュレベル以上であって、且つ上記画素差分比較部の比較の結果、上記同じ画素位置の画素データの差分値の絶対値が所定値より小さいとき、上記撮像部で生成された画像データを構成する各画素データに対して上記加算平均合成を行うように制御する。

第４の発明に係る撮像装置は、上記第１ないし第３の発明において、上記撮像部を構成する撮像素子の撮像面にはカラーフィルタが配置されており、上記所定のスレッシュレベルを、該カラーフィルタの色毎に個別に設定する。
第５の発明に係る撮像装置は、上記第１ないし第３の発明において、上記撮像部は、波長毎に分光して複数の撮像素子が配置されており、上記所定のスレッシュレベルを、上記撮像部から読み出される色毎に個別に設定する。

第６の発明に係る撮像装置は、上記第４または第５の発明において、上記撮像部で生成された画像データがＲＡＷ画像データである場合は、上記所定のスレッシュレベルを、上記撮像部から読み出される色毎の感度比に応じて個別に設定する。
第７の発明に係る撮像装置は、上記第４または第５の発明において、上記撮像部で生成された画像データがホワイトバランス処理された画像データである場合は、上記所定のスレッシュレベルを、上記ホワイトバランスに応じて撮像部から読み出される色毎に個別に設定する。

第８の発明に係る撮像方法は、被写体像を撮像して画像データを生成する第１ステップと、画像データを記憶する第２ステップと、上記第１ステップにおいて生成された画像データと上記第２ステップにおいて記憶された画像データを画素毎に加算平均して、上記第２ステップにおいて記憶された画像データのうち該加算平均した画素データを更新する第３ステップと、上記第１ステップにおいて生成された画像データと上記第２ステップにおいて記憶された画像データを画素毎に比較明合成して、上記第２ステップにおいて記憶された画像データのうち該比較明合成した画像データを更新する第４ステップと、上記第１ステップにおいて生成された画像データを構成する各画素データのレベルが所定のスレッシュレベル以上か否かを判定する第５ステップと、上記第５ステップにおける判定結果に応じて、上記第１ステップにおいて生成された画像データを構成する各画素データに対して、上記第３ステップにおける加算平均を行うか又は上記第４ステップにおける比較明合成を選択するための制御を行う第６ステップと、を含む。

本発明によれば、複数の画像を明るさに応じ合成して合成画像を得る際に、よりランダムノイズを抑制して、光線の軌跡を綺麗に残すことができる撮像装置および撮像方法を提供することができる。

本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係るカメラの撮像素子のカラーフィルタの構成を示す平面図である。 本発明の第１実施形態に係るカメラの変形例であって、撮像素子が３センサ方式の構成を示す図である。 本発明の第１実施形態に係るカメラの撮影動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの画素スレッシュ設定の動作を示すフローチャートである 本発明の第１実施形態に係るカメラにおいて、画素スレッシュレベルの設定を示す図である。 本発明の第１実施形態に係るカメラにおいて、画素スレッシュレベルの設定の変形例を示す図である。 本発明の第１実施形態に係るカメラの色毎の感度差の例を示すグラフである。 本発明の第２実施形態に係るカメラの撮影動作を示すフローチャートである。 本発明の第２実施形態に係るカメラの画素スレッシュ設定の動作を示すフローチャートである 本発明の第１及び第２実施形態に係るカメラにおいて、比較明合成と比較暗合成によって生成される途中経過画像を示す図である。 本発明の第１及び第２実施形態に係るカメラにおいて、画素レベル等によって比較明合成と比較暗合成を選択的に切り替えることによって生成される途中経過画像を示す図である。

以下、本発明の第１実施形態としてデジタルカメラに適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、このカメラは、累積合成モード（例えば、ライブバルブ等の長時間露光モード）等のモードを選択すると、ユーザの露光開始の指示から露光終了の指示までの間、所定時間間隔で撮像部から画像データを読出し、この読み出した画像データを用いて、比較明合成または加算平均合成を行い、撮影終了指示がなされると、合成処理された画像データを外部メモリに記録する。被写体が星等の場合には、光跡等が記録された画像となる。

さらに、このカメラは、画素レベルのスレッシュを自動または手動で設定可能であり、画素毎にスレッシュより明るいか暗いかを判定し、この判定結果に基づいて、比較明合成を行うか、加算平均合成を行うかを選択する。この処理により、画像のノイズを低減させることが可能となる。

図１Ａおよび図１Ｂは、第１実施形態に係るカメラの主として電気的構成を示すブロック図である。レンズ鏡筒部１内には、レンズユニット２、シャッタユニット３、撮像素子４、レンズ駆動モータ５、シャッタ駆動モータ６、モータ制御部７、ストロボ発光部８、ストロボ制御部９を有する。なお、レンズ鏡筒部１は、カメラ本体と一体に構成してもよく、またカメラ本体に着脱自在に構成してもよい。

レンズユニット２は、単焦点レンズまたはズームレンズを有し、撮像素子４上に被写体像を結像させる。レンズユニット２内のフォーカスレンズは、レンズ駆動モータ５によって、光軸方向に沿って移動可能である。シャッタユニット３は、レンズユニット２の光軸上に配置され、フォーカルプレーンシャッタ等のメカニカルシャッタである。このシャッタユニット３は、シャッタ駆動モータ６によって、開放および閉鎖される。シャッタユニット３が開放されると、レンズユニット２からの被写体光束が撮像素子４に集光され、シャッタユニット３が閉鎖されると被写体光束が遮光される。

モータ制御部７は、後述する測距・測光部１７からの制御信号に基づいて、レンズ駆動モータ５とシャッタ駆動モータ６の駆動制御を行う。すなわち、測距・測光部１７における測距結果に基づいて、レンズユニット２のフォーカスレンズが合焦状態となるように自動焦点調節を行う。また、測距・測光部１７における測光結果に基づいて、適正露光となるように、シャッタユニット３によるシャッタ速度制御が行われる。なお、累積合成モードが設定されている場合には、ユーザの撮影開始指示に応じて、シャッタユニット３を開放状態とし、ユーザの撮影終了指示に応じて、シャッタユニット３を閉鎖する。また、図１Ａには、絞りおよび絞り駆動モータを図示していないが、測距・測光部１７からの制御信号に基づいて適正露光となるように絞り制御をするようにしてもよい。

撮像素子４は、例えばＣＭＯＳイメージセンサ等の固体撮像素子であり、複数の画素（ピクセル）が２次元状に配列され、光学像を撮像して画像データを生成する。すなわち、レンズユニット２によって結像された被写体の光学像を光電変換し、Ａ／Ｄ変換して画像データを生成し、信号処理部１３に出力する。

本実施形態においては、撮像素子４の撮像面にはカラーフィルタ、例えば、図２に示すようなＲＧＢベイヤ配列カラーフィルタが配置された単板式ＣＭＯＳ撮像素子が用いられる。しかし、この単板式に限らず、図３に示すような３板式の撮像素子を用いる方式、複数板の撮像素子を用いる方式等、他の撮像方式を用いてもよい。すなわち、波長毎に分光して複数の撮像素子を配置するようにしてもよい。図３に示す例では、３つのプリズムを用いて、被写体光束を３色（ＲＧＢ）に分解し、青色光（Ｂ）を撮像素子４ａで受光して光電変換し、緑色光（Ｇ）を撮像素子４ｂで受光して光電変換し、赤色光（Ｒ）を撮像素子４ｃで受光して光電変換し、それぞれ画像データを生成して信号処理部１３に出力する。

また、撮像素子４は、素子シャッタを有し、露光時間を電子的に制御することができる。素子シャッタを用いることで、複数の画像を連続して撮影する時の画像間の間隔をできるだけ小さくすることができる。また、撮影された画像に基づき合成処理を行うことにより、高速に移動する被写体の軌跡を、連続させて現像することができる。撮像素子４における露光開始タイミングや露光終了タイミングは、この素子シャッタを用いても良く、また前述のメシャッタユニット３と素子シャッタを組み合わせた構成であっても構わない。累積合成モードが設定されている場合には、ユーザの撮影開始指示から撮影終了指示までの間、所定時間毎の露光は、素子シャッタによって制御する。

レンズユニット２、シャッタユニット３、撮像素子４、および後述する信号処理部１３をまとめて撮像部とする。この撮像部は、被写体像を撮像して画像データを生成する。

ストロボ発光部８は、キセノン管等の発光部を有し、被写体に対して補助光を照射する。ストロボ制御部９は、システム制御部１１からの制御信号に応じて、補助光の発光タイミングや発光量を制御する。なお、ストロボ発光部８としては、キセノン管の他、ＬＥＤ等の他の発光素子等を用いてもよい。

制御プロセッサ１０は、ＣＰＵ（Central Processing Unit）や、ＤＳＰ（Digital Signal Processor）等を有するＡＳＩＣ（Application Specific Integrated Circuit）で構成される。なお、後述するように、制御プロセッサ１０は、種々の機能を有しており、１つの回路基板に限らず、複数の回路基板で構成するようにしても勿論かまわない。また、種々の機能（例えば、画素比較部、スレッシュ設定部等）は、ハードウエア回路に限らず、ＣＰＵがフラッシュメモリ８３に記憶された制御プログラムによって実現されるものがあり、またＤＳＰのプログラムによって実現されるものもある。

制御プロセッサ１０内には、システム制御部１１、信号処理部１３、撮像制御部１５、測距・測光部１７、画素比較部１９、スレッシュ設定部２５、保存方式選択部３１、選択制御部３３、画像処理部３５、表示制御部５１、Ｉ／Ｆ制御部５３、メモリカード制御部５５、入力制御部５７を有する。

撮像制御部１５は、システム制御部１１からの制御信号に基づいて、撮像素子４に対して、撮像制御を行う。撮像制御としては、露光開始、露光終了、各画素から画素データの読み出しを行う。

信号処理部１３は、撮像素子４から出力された画像データに対して、信号増幅や相関二重サンプリングによるノイズ低減処理、Ａ／Ｄ変換などの処理を行い、主としてハードウエア回路によって構成される。なお、信号処理部１３は撮像素子４内部において同様の処理を行う構成としてもよい。信号処理部１３によって処理された画像データは、画素比較部１９およびシステム制御部１１に出力される。

測距・測光部１７は、システム制御部１１からの制御信号に基づいて、レンズユニット２内のフォーカスレンズを合焦位置に駆動するための制御信号や、適正露光とするためのシャッタ速度等の露出制御信号を生成する。すなわち、システム制御部１１は、信号処理部１３からの画像データに基づいて、例えば、コントラスト法によって自動焦点調節のための制御信号を出力し、また画像データに基づいて被写体輝度値を算出し、この被写体輝度値に基づいて、シャッタ速度、ＩＳＯ感度等、適正露光とするための露出制御値を演算し、制御信号を出力する。また、図１Ａには、位相差センサおよび写体照度センサを図示していないが、位相差検出センサおよび被写体照度センサの出力結果から、システム制御部１１で自動焦点調節のモータ制御量や露出制御値を演算し、測距・測光部１７へ制御信号を出力するようにしても良い。

システム制御部１１は、カメラ全体を統括的に制御するものであり、例えばＣＰＵなどを含んで構成される。システム制御部１１は、撮像制御部１５を通して、図示しない撮像駆動回路を制御し、撮像素子４の制御を行う。システム制御部１１は、累積合成モードが設定され、かつ撮影操作がなされると、一連の画像データ群を撮像素子に順次生成させるように制御する。

保存方式選択部３１は、撮影により取得した画像データ（累積合成モードで処理された画像データを含む）を、メモリカード７３に記録する際の保存方式を選択する。保存方式は、メニュー画面表示時にユーザが操作釦ユニット７５を操作することにより、設定される。この設定された保存方式は、フラッシュメモリ８３に記憶されるので、保存方式選択部３１、フラッシュメモリ８３に記憶された保存方式を読み出して使用する。

スレッシュ設定部２５は、システム制御部１１からの制御信号に基づいて、色毎の判定スレッシュレベルを設定する。画素スレッシュ設定部２７は、画素毎に画素データの値に応じて、比較明合成を行うか加算平均合成を行うかを決定する際に使用する画素スレッシュを設定する（図４のＳ７、図９のＳ８参照）。差分スレッシュ設定部２９は、第２実施形態においては使用され、合成画像の画素レベルと今回取得画像の画素レベルの差分に応じて、比較明合成を行うか加算平均合成を行うかを決定する際に使用する差分スレッシュを設定する（図９のＳ８参照）。また、画素スレッシュと差分スレッシュは、画像の保存方式選択の結果によっては、ホワイトバランス決定部４７の出力結果も考慮して設定する（図５のＳ５１、Ｓ５７、Ｓ５９、図１０のＳ５１、Ｓ５７、Ｓ５９、Ｓ６０参照）。

画素比較部１９は、画素レベル比較部２１と画素差分比較部２３を有する。画素レベル比較部２１は、画素スレッシュ設定部２７において設定された画素スレッシュと、撮像素子４から読み出された画素（ピクセル）データのレベルを比較し、その結果を選択制御部３３に出力する。画素比較部１９は、撮像部で生成された画像データを構成する各画素データのレベルが所定スレッシュレベル以上か否かを判定する画素比較部として機能する（図４のＳ１９参照）。

選択制御部３３は、画素比較部１９の比較結果に基づいて、加算平均合成を行うか、比較明合成処理を行うかを選択し、画像合成部３７に出力する（図４のＳ１５、Ｓ１７、Ｓ１９、Ｓ２１参照）。選択制御部３３は、画素比較部の判定結果に応じて、撮像部で生成された画像データを構成する各画素データに対して、加算平均合成により加算平均を行うか又は比較明合成部により比較明合成を行うかを選択するための制御を行う選択制御部として機能する。

また、選択制御部３３は、撮像部で生成された画像データを構成する各画素データのレベルが設定されたスレッシュレベル以上と判定されたときは、撮像部で生成された画像データを構成する各画素データに対して比較明合成を行うように制御し、撮像部で生成された画像データを構成する各画素データのレベルが所定のスレッシュレベルより低いときは、撮像部で生成された画像データを構成する各画素データに対して加算平均を行うように制御する選択制御部として機能する（図４のＳ１５、Ｓ１７、Ｓ１９参照）。

画素差分比較部２３は、後述する第２実施形態において使用され、合成画像の画素レベルと今回取得画像の画素レベルの差分と、差分スレッシュ設定部２９において設定されたスレッシュを比較し、その結果を選択制御部３３に出力する。選択制御部３３は、画素比較部１９の比較結果に基づいて、加算平均合成を行うか、比較明合成処理を行うかを選択し、画像合成部３７に出力する（図９のＳ１６、Ｓ１７、Ｓ１９、Ｓ２１参照）。

画像処理部３５は、複数の画像データを合成するための画像合成部３７と、撮像素子４からのＲＡＷデータに対して現像処理等の画像処理を施す現像処理部４５を有する。

画像合成部３７は、加算平均合成処理を行う加算平均合成部３９、比較明合成処理を行う比較明合成部４１、および加算合成処理を行う加算合成部４３を有する。なお、本実施形態においては、これらの３つの合成部を備えているが、これに限らず、加算平均合成部３９と比較明合成部４１、あるいは加算平均合成部３９と加算合成部４３など２つの組合せでも構わない。

加算平均合成部３９は、２つの画像データのそれぞれ対応する画素毎に画素データを加算し２で除算し、この演算結果（加算平均値）に画素データを置き換える合成処理を行う。この加算平均合成部３９は、撮像部で生成された画像データと画像データ記憶部（例えば、ＤＲＡＭ８５参照）に記憶された画像データを画素毎に加算平均して、画像データ記憶部に記憶された画像データのうち加算平均した画素データを更新する加算平均合成部として機能する。

比較明合成処理部４１は、２つの画像データのそれぞれ対応する画素毎に画素データを比較し、明るい方の画素データに置き換える合成処理を行う。比較明合成処理部４１は、撮像部で生成された画像データと画像データ記憶部に記憶されている画像データを画素毎に比較明合成して、画像データ記憶部に記憶された画像データのうち比較明合成した画素データを更新する比較明合成部として機能する。加算合成部４３は、２つの画像データのそれぞれ対応する画素毎に画素データを加算し、この演算結果（加算値）に画素データを置き換える合成処理を行う。

画像合成部３７は、選択制御部３３からの指示に基づいて、加算平均合成か、比較明合成または加算合成を実行する。画像合成部３７は、撮像部から合成対象の画像データが生成される毎に（例えば、図４のＳ１３において、２枚目以降の画像の読み出しが行われる毎に）、選択制御部３３の指示に応じた合成処理を繰り返し行う。

現像処理部４５は、ホワイトバランス決定部４７および変換処理部４９を有し、システム制御部１１からの指示に従い、設定された情報をもとに画像合成部３７で合成された画像データに対して現像処理を施す。変換処理部４９では、詳細は図示しないがシェーディング補正、ガンマ補正、歪み補正、欠陥補正などの各種補正処理やデモザイキング処理などの処理を行う。

また、ホワイトバランス決定部４７は、画像データに対して公知のホワイトバランス処理を施す。ホワイトバランス処理は、Ｇ画素のレベルを基準に、白が白で表示されるように、Ｒ画素およびＢ画素の画素データに対して、所定の比率で乗算演算を行う。このホワイトバランス（所定の比率）は、スレッシュ設定部２５に出力され、保存形式が現像データの場合に、色毎の画素スレッシュ値の算出の際に使用される。

現像処理部４５による現像処理後の画像データを保存するか、撮像部からのＲＡＷデータを記録するかは、保存方式選択部３１における選択結果によって決定される。この決定に従い、システム制御部１１の指示によりフラッシュメモリ８３や外部メモリ（メモリカード７３）などの記憶装置に保存される。なお、現像処理後のデータとＲＡＷデータの両方を保存することも可能である。

表示制御部５１は、現像処理部４５における現像処理後の画像データや、カメラの各種設定情報などを外部モニタ６５などや背面ＬＣＤ（液晶ディスプレイ：Liquid Crystal Display）、モニタ６１、ＥＶＦ（電子ビューファインダ：Electronic View Finder）などに表示するための制御を行う。外部モニタ６５には、映像用コネクタ６３を介して接続する。図示しないが、カメラにＷｉＦｉ（Wireless Fidelity）などの無線インターフェースが搭載されている場合は、無線インターフェースを通してユーザのスマートフォンやノートＰＣ（Personal Computer）に表示しても良い。

Ｉ／Ｆ（Interface）制御部５３は、カメラに接続する外部機器のインターフェースを制御する。接続される外部機器によって、ＵＳＢインターフェースや、ＷｉＦｉ、Bluetooth（登録商標）などの各種規格があり、Ｉ／Ｆ制御部５３は、これらの規格に対応して外部機器と接続可能にする。

メモリカード制御部５５は、外部メモリコネクタ７１を介して、メモリカード７３に画像データ等のデータの記録・読出制御を行う。画像データは、前述したように、現像処理後の画像データまたはＲＡＷデータが記録される。

操作釦ユニット７５は、ユーザがカメラの各種設定を行い、また実際に撮影をするための物理的な押し釦や回転ダイヤルなどを有する。操作釦ユニット７５における操作状態は、入力制御部５７を介してシステム制御部１１に入力される。図示しないが、カメラにＷｉＦｉなどの無線インターフェースが搭載されている場合は、無線インターフェースを通してユーザのスマートフォンやノートＰＣなどから遠隔で操作するようにしてもよい。

ＤＲＡＭ（Dynamic Random Access Memory）８５は、電気的に書き換え可能な揮発性メモリであり、種々のデータを一時的に格納する。ＤＲＡＭ８５は画像データ記憶部として、画像データを一時的に格納し、合成画像保存領域８５ａや単一フレーム画像保存領域８５ｂを有する。なお、単一フレーム画像保存領域８５ｂは単一フレームに限らず、数フレーム分の保存領域を持つようにしてもよい。また、画像データを一時的に保存できればＤＲＡＭでなくてもよく、その他のメモリや、複数種のメモリの組合せを使用するなども良い。さらに、図示しないが、他の画像処理に使用される条件やカメラの条件などに使用する領域も含んでいる。

フラッシュメモリ８３は、電気的に書き換え可能な不揮発性メモリであり、感度比記憶部８３ａ、制御プログラム８３ｂ等の領域を有する。フラッシュメモリ８３は、システム制御部１１からの要求に応じて記憶されたデータやプログラムを読み出し出力する。フラッシュメモリ８３には、図示しないがカメラの初期状態、ユーザ設定、保存方式選択結果などが記憶されていてもよい。

バス８１は、システム制御部１１、フラッシュメモリ８３、ＤＲＡＭ８３等と接続し、データや制御信号等の通信経路である。画像データ等のデータや、システム制御部１１からの制御信号（指示）は、バス８１を介して通信される。

次に、図４および図５に示すフローチャートを用いて、本実施形態における動作について説明する。これらのフローチャート（後述する図９、図１０も含む）は、制御部１１内のＣＰＵがフラッシュメモリ８３内の制御プログラム８３ｂに従って、カメラ内の各部を制御することにより実行する。

カメラが、夜景撮影モードなどの累積合成モードに設定されている状態において、レリーズ釦が押下されると、図４、図５のフローチャートに示される画像合成処理が開始される。まず、ＤＲＡＭの初期化を行う（Ｓ１）。ここでは、ＤＲＡＭ８５等のメモリ部を初期化し、合成画像保存領域８５ａと、単一フレーム画像保存領域８５ｂを確保する。

次に、１枚目の露光を実施し、撮像素子４から撮影画像データを読み出す（Ｓ３）。この１枚目の露光における撮影条件がオートモードの時はカメラのプログラム線図に則って撮影され、マニュアルモードの時はユーザに指定された撮影条件で撮影される。

１枚目露光・読出しを行うと、次に、基準画像データを合成画像保存領域へ保存する（Ｓ５）。撮像素子４から読み出された１枚目の画像データ（以降、基準画像データという）はシステム制御部１１を介してＤＲＡＭ８５の合成画像保存領域８５ａへ一時記憶される。

基準画像を合成画像保存領域に保存すると、次に、画素スレッシュ設定を行う（Ｓ７）。本実施形態においては、画素毎に画素データと画素スレッシュを比較し、この比較結果に基づいて比較明合成を行うか加算平均合成を行うかを選択している。このステップにおいては、この画素スレッシュの設定を行う。また、画素スレッシュの設定にあたっては、ＲＧＢの色毎に異なる値を設定するようにしている。画素スレッシュの設定の詳しい動作については、図５を用いて、後述する。

画素スレッシュを設定すると、次に、基準画像データ取得後一定時間以上経過しかた否かを判定する（Ｓ９）。前述したように、基準画像データを取得してから、ステップＳ７において、画素スレッシュを設定する。この設定は手動で行うことが可能であり、ユーザが設定に時間がかかり、相当の時間が経過してしまうことがある。この場合に、そのまま２枚目移行の撮影を開始してしまうと、ステップＳ３で露光した画像と異なる画像を撮像している場合がある。そこで、このステップでは、一定時間が経過したかを判定し、経過した場合には、ステップＳ１１において基準画像データを再取得するようにしている。

ステップＳ９における判定の結果、基準画像データ取得後、一定時間以上経過した場合には、基準画像データを再取得する（Ｓ１１）。ここでは、再度、撮像素子４から画像データを取得し、合成画像保存領域に保存する。

ステップＳ１１において、基準画像データを再取得すると、またはステップＳ９における判定の結果、基準画像データ取得後一定以上の時間が経過していない場合には、次に、２枚目以降の画像を露光し、読み出す（Ｓ１３）。このステップでは、２枚目以降の単一フレーム画像の撮影画像を撮像素子４から読み出す。すなわち、撮像素子４の素子シャッタを用いて、所定の露光時間で露光を行うと、撮像素子４から画像データを読み出す。この読み出された２枚目以降の単一フレーム画像データは、単一フレーム画像保存領域８５ｂへ一時保存される。また、画像データを読み出すと、撮像素子４は次の露光を開始する。

２枚目以降の画像を露光・読出すと、次に、画素レベル判定を行う（Ｓ１５）。すなわち、所定時間の露光を行うたびに、読み出された画像データ（単一フレーム画像保存領域８５ｂに一時保存されている）の各画素データと画素スレッシュとを比較し、画素データが画素スレッシュよりも大きいか小さいかを判定する。この画素スレッシュはステップＳ７（詳しくは、図５のＳ６１参照）において決定された値を使用する。画素スレッシュ値を超えたか否かの画素スレッシュ比較結果フラグを設定し、選択制御部３３へ伝達する。

ステップＳ１５における判定の結果、画素レベルが画素スレッシュ以下であった場合には、合成画像データと現フレーム画像データを加算平均合成する（Ｓ１７）。この場合は、画素スレッシュ比較結果フラグが画素スレッシュ値を超えていないと設定された時であり、選択制御部３３は、画像合成部３７のうちの加算平均合成部３９を選択し、合成画像の同一アドレスの画素データと加算平均合成処理を行う。

一方、ステップＳ１５における判定の結果、画素レベルが画素スレッシュ以上であった場合には、合成画像データと現フレーム画像データを比較明合成する（Ｓ１９）。この場合は、画素スレッシュ比較結果フラグが画素スレッシュ値を超えたと設定された時であり、選択制御部３３は、画像合成部３７のうちの比較明合成部４１を選択し、合成画像の同一アドレスの画素データを比較し、明るい方の画素データを選択する。

ステップＳ１７において加算平均合成を行うと、またはステップＳ１９において比較明合成を行うと、次に、合成画像保存領域画素データを置換する（Ｓ２１）。このステップでは、合成画像保存領域８５ａに一時保存されている画像データについて、ステップＳ１５において判定された画素を、ステップＳ１７またはＳ１９における合成処理の結果に基づく画素データに置き換える。

合成画像保存領域画素データの置換を行うと、次に、全画素の判定が終了したか否かを判定する（Ｓ２３）。ここでは、ステップＳ１３において読出した画像データの全画素について、ステップＳ１５における画素判定が終了したか否かを判定する。この判定の結果、全画素の判定が終了していなければ、ステップＳ１５に戻り、予め決められた順番に従って、次の画素について画素レベル判定を行い、画像合成を行い、合成画像保存領域の画素データの置き換えを行う。

ステップＳ２３における判定の結果、全画素の判定が終了した場合には、撮影終了指示が有ったか否かの判定を行う（Ｓ２５）。ユーザが撮影を終了する場合には、レリーズ釦を再度、押し下げる等、撮影終了指示を行うので、このステップでは、操作釦ユニット７５の操作状態に基づいて判定する。なお、図示していないが、全画素の判定が終了した時点で、背面ＬＣＤモニタ６１等の表示部に表示する合成画像の更新を行ってもよい。

ステップＳ２５における判定の結果、撮影終了指示がない場合には、ステップＳ１３に戻る。そして、次の画像の露光終了を待ち、露光が終了すると、前述したようにステップＳ１５以下において、合成画像データの生成を行う。撮影終了指示があるまでは、所定時間間隔で露光・画像データ読み出しを繰り返し、画像データが読み出される毎に、画素レベル判定を行い、判定結果に応じて、画素毎に加算平均合成か比較明合成を選択して合成画像データを生成する。

ステップＳ２５における判定の結果、撮影終了指示がなされると、次に、画像データ保存形式判定を行う（Ｓ２７）。ここでは、保存方式選択部３１に設定されている保存方式（現像処理された画像データを保存するか、ＲＡＷデータを保存するか）に基づいて判定する。

ステップＳ２７における判定の結果、ＲＡＷデータを保存する場合には、合成画像データを外部記憶装置へ保存する（Ｓ２９）。ここでは、撮像素子４から読み出され、ステップＳ１５〜Ｓ２３において生成された合成画像データ（ＲＡＷデータのままで合成されている）をメモリカード７３等の外部記憶装置に記録する。

一方、ステップＳ２７における判定の結果、現像データを保存する場合には、合成画像データを現像処理する（Ｓ３１）。ここでは、撮像素子４から読み出され、ステップＳ１５〜Ｓ２３において生成された合成画像データ（ＲＡＷデータのままで合成されている）に対して、現像処理部４５において現像処理を施す。

続いて、現像処理した画像データを外部記憶装置へ保存する（Ｓ３３）。ここでは、ステップＳ３１において現像処理された画像データを、メモリカード７３等の外部記憶装置に記録する。

ステップＳ２９またはＳ３３において画像データを外部記憶装置へ保存すると、撮影動作のフローを終了する。

次に、図５に示すフローチャートを用いて、ステップＳ７の画素スレッシュ設定の詳しい動作について説明する。このフローでは、基準画像が撮影された状態（図４のＳ３参照）で、画素スレッシュ設定部２７においてスレッシュ値の設定を行う。

画素スレッシュ設定のフローに入ると、まず、１枚目（基準画像）の撮影条件の確認を行う（Ｓ４１）。ここでは、画素スレッシュ設定部２７は、基準画像の撮影条件、例えばＩＳＯ感度やＡＥ評価値、画像の平均輝度などを確認する。

続いて、スレッシュ設定が自動か手動かを判定する（Ｓ４３）。ユーザは、メニュー画面表示時に操作釦ユニット７５を操作することにより、スレッシュ設定を自動で行うか、手動で行うかを設定できる。このステップでは、この設定状態に基づいて判定する。

ステップＳ４３における判定の結果、自動が設定されている場合には、基準（Ｇ）画素のスレッシュ値を算出する（Ｓ４５）。ここでは、基準画像の撮影条件をもとに、スレッシュ値を設定する。なお、ＲＧＢ画素のうち、ここでは、Ｇ画素の値を用いてスレッシュ値を算出し、他の画素については、ステップＳ５５において算出する。

一方、ステップＳ４３における判定の結果、手動が設定されている場合には、１枚目（基準画像）を表示する（Ｓ４７）。ここでは、基準画像データを現像処理し、ユーザが視認できるように、表示制御部５１が背面ＬＣＤ６１等に表示させる。

続いて、基準（Ｇ）画素スレッシュ値をユーザが選択する（Ｓ４９）。すなわち、画像の任意の位置をユーザが指定することで、指定位置の画素レベルから基準スレッシュ値を設定することができる。

図６を用いて、ユーザによる画素スレッシュ値設定のための操作について説明する。図６は、カメラの背面側から見た図であり、カメラの上部にはレリーズ釦７５ａ、ズーム釦７５ｂ、上下左右釦７５ｃ、決定釦７５ｄが配置されている。

累積画像モードが設定されている場合に、基準画像の撮影が終わると（ステップＳ３参照）、背面ＬＣＤモニタ６１には、基準画像にアドバイス画像９２（ここでは、「画素スレッシュレベルを決めてください」）が重畳して表示される。また、ユーザが画素スレッシュを指定するためのポインタ９１も基準画像に重畳して表示される。このポインタ９１は、上下左右釦７５ｃを操作することにより、その位置を上下左右に移動させることができる。

画素スレッシュ値より明るい被写体は比較明合成により画像に残り、一方、画素スレッシュ値より暗い被写体は加算平均合成により次第に薄くなる。そこで、ユーザは、光跡として残したい被写体の中で一番暗い被写体に、ポインタ９１を合せ、決定釦７５ｄを操作することにより、画素スレッシュを設定することができる。例えば、ポインタ９１を被写体９３ｃに合せると、比較的明るい被写体のみの光跡のみとなり、被写体９３ｂに合せると中位以上の明るさの被写体の光跡となり、被写体９３ａに合せると比較的暗い被写体も含めた光跡を撮影することができる。なお、ここで選択される画素スレッシュ値は、Ｇ画素に対する画素スレッシュ値である。Ｒ画素およびＢ画素については、ステップＳ５５、Ｓ５９において算出される。

なお、手動での設定は、上下左右釦７５ｃの操作によって行うことに限られない。例えば、図７に示すように、タッチ操作によって設定するようにしてもよい。この場合には、背面ＬＣＤモニタ６１にタッチパネルを設けておく。図７に示す例では、ユーザは、基準画像の撮影後に、基準画像を見ながら、基準としたい明るさの被写体を指９５でタッチするだけで、画素スレッシュ値が設定される。

図５に示すフローチャートに戻り、ステップＳ４５においてＧ画素スレッシュ値を算出すると、またはステップＳ４９においてＧ画素スレッシュ値を選択すると、次に、ステップＳ５１以下において、色毎の画素スレッシュ値の算出を行う。ステップＳ５１以下のステップでの処理を説明する前に、色毎に画素スレッシュ値を算出することについて説明する。

画像合成処理方法を選択するための画素スレッシュ値を、全色で同じ値にしてしまうと、撮像素子４の感度が色毎に異なるため、感度の高い色（例えばＧ）はスレッシュを超え易いのに対し、感度の低い色（例えばＲやＢ）はスレッシュを超える頻度が少なくなり易い。例えば、同じ明るさの被写体光が、ＲＧＢベイヤ配列の撮像素子上を通過した時、被写体光のうちのＧではスレッシュを超えるが、ＲとＢではスレッシュを超えないという現象が発生することがある。この場合に、現像処理を行うと被写体の軌跡に色付きが発生する。

また、撮影した被写体に応じてホワイトバランスを決定するため、現像処理時にかかるゲインが色毎に異なり、現像後の画像が色付いてしまうという現象も発生する。そのため、画素スレッシュ設定部２７にて、色毎にスレッシュ値を最適化する処理を行う。例えば、保存方式でＲＡＷデータが選択されていた場合には、フラッシュメモリ８３の感度比記憶部８３ａに格納されている撮像素子４の感度比応じて色毎のスレッシュ値を決定する。

保存方式が現像画像のみを選択している場合は、処理の簡素化の観点から、基準画像データで決定されたホワイトバランスゲイン値をもとに、色毎の画素スレッシュ値を決定する。一方、保存方式がＲＡＷ画像と現像画像の両方が選択されている場合は、ＲＡＷ画像でスレッシュ値を設定しておき、後で現像しても良い。また、これに限らず、例えばＲＡＷ保存用合成画像保存領域と現像保存用合成画像保存領域を設け、撮像素子４からの読出し画像データに対して、画素スレッシュ値を２種類設定することで、ＲＡＷ保存用合成画像と、現像保存用合成画像を両方作成することも構わない。

図８に、一例として、撮像素子４をシリコンベースで作成し、ＲＧＢベイヤ方式のカラーフィルタを採用したときの色毎の感度差を示す。一般的にはＧ画素に比べＲ画素とＢ画素の感度は低い。そのため、基準スレッシュ値としてはＧ画素の値を設定し、感度が低いＲ画素とＢ画素の色毎のスレッシュ値の設定は、Ｇ画素がスレッシュを超えたと判断する光量を受光したときに、Ｒ画素やＢ画素もスレッシュを超えたと判断されるように算出される。

なお、フラッシュメモリ８３の感度比記憶部８３ａには標準的な感度比のみが記憶されており、ここで設定される色毎のスレッシュ値は、基準画像の撮影条件（例えばＩＳＯ感度など）に応じて自動的に再計算するような方式も考えられる。画素スレッシュ設定部２７は、最終的に算出した色毎のスレッシュ値を画素比較部１９へ伝達する。

色毎スレッシュが設定された後、基準画像データの再取得を実施するようにしてもよい（図４のＳ９、Ｓ１１参照）。これは、特に画素スレッシュ値を手動設定した場合、ユーザが設定するのにどのくらい時間がかかったかによっては、累積合成する単一フレーム画像データの連続性が、基準画像データのみ時間的に著しく離れることがあるためである。従って、画素スレッシュ値を自動モードで設定し、かつ基準画像データと単一フレームデータの時間的な連続性が確保される条件であれば、基準画像データの再取得は実施しなくても良い。

図５のステップＳ５１に戻り、このステップで画像データ保存形式の判定を行う（Ｓ５１）。ここでは、ステップＳ２７と同様に、保存方式選択部３１に設定されている保存方式（現像処理された画像データを保存するか、ＲＡＷデータを保存するか）に基づいて判定する。

ステップＳ５１における判定の結果、画像データ保存形式がＲＡＷデータの場合には、撮像素子４の感度比を読み出す（Ｓ５３）。ここでは、フラッシュメモリ８３の感度比記憶部８３ａに記憶されている、撮像素子４のＲＧＢの感度比を読み出す。

続いて、色毎の画素スレッシュ値を算出する（Ｓ５５）。ここでは、ステップＳ４５において算出されたＧ画素に対するスレッシュ値、またはステップＳ４９で選択されたＧ画素に対するスレッシュ値に対して、ステップＳ５３で読み出したＲＧＢの感度比を用いて、Ｒ画素およびＢ画素の画素スレッシュ値を算出する。

一方、ステップＳ５１における判定の結果、画像データ保存形式が現像データの場合には、１枚目（基準画像）からホワイトバランスを決定する（Ｓ５７）。ここでは、ホワイトバランス決定部４７が、基準画像データに対するホワイトバランスを決定する。

続いて、色毎の画素スレッシュ値を算出する（Ｓ５９）。ここでは、ステップＳ４５において算出されたＧ画素に対するスレッシュ値、またはステップＳ４９で選択されたＧ画素に対するスレッシュ値に対して、ステップＳ５７において取得したホワイトバランスを用いて、Ｒ画素およびＢ画素の画素スレッシュ値を算出する。

ステップＳ５５またはＳ５９において色毎の画素スレッシュ値を算出すると、次に、画素スレッシュ値を設定する（Ｓ６１）。ここでは、画素スレッシュ設定部２７が各ＲＧＢ画素に対する画素スレッシュ値を決定し、記憶する。この記憶された画素スレッシュ値は、画素レベル比較部２１における比較の際に使用される（図４のＳ１５参照）。画素スレッシュ値の設定を行うと、元のフローに戻る。

このように、本発明の第１実施形態においては、撮像部で生成された画像データを構成する各画素データのレベルが所定のスレッシュレベル以上か否かを判定する画素レベル比較部２１を有し、選択制御部３３が、画素レベル比較部２１の判定結果に応じて、撮像部で生成された画像データを構成する各画素データに対して、加算平均合成部３９により加算平均を行うか又は比較明合成部４１により比較明合成を行うかを選択するための制御を行っている。

画素スレッシュで設定された明るさを超えるか超えないかに応じて、加算平均と比較明合成を選択的に適用するようにしているので、ランダムノイズを抑制して、光線の軌跡を綺麗に残すことができる。

特に、設定された画素スレッシュを超えない暗い画素に対して、加算平均合成処理を施しているので、合成を繰り返すたびに背景に埋もれて目立たなくなる。また画素スレッシュを超えた明るい画素に対して、比較明合成処理を施しているので、光跡を写し込むことができる。

また、本実施形態においては、撮像素子の撮像面にはカラーフィルタが配置されており、スレッシュレベルを、カラーフィルタの色毎に個別に設定するようにしている。このため、累積合成処理した場合に、合成画像に色付きが発生することを防止することができる。なお、図３に示すように、波長毎に分光して複数の撮像素子が配置する場合には、スレッシュレベルを、撮像部から読み出される色毎に個別に設定すればよい。

また、本実施形態においては、撮像部で生成された画像データがＲＡＷ画像データである場合は、スレッシュレベルを、撮像部から読み出される色毎の感度比に応じて個別に設定している（図５のＳ５１、Ｓ５３、Ｓ５５参照）。このため、保存形式がＲＡＷ画像データであっても、累積合成処理した場合に、合成画像に色付きが発生することを防止することができる。

また、本実施形態においては、撮像部で生成された画像データがホワイトバランス処理された画像データである場合は、スレッシュレベルを、ホワイトバランスに応じて撮像部から読み出される色毎に個別に設定している（図５のＳ５１、Ｓ５７、Ｓ５９参照）。このため、保存形式が現像データであっても、累積合成処理した場合に、合成画像に色付きが発生することを防止することができる。

次に、図９および図１０を用いて、本発明の第２実施形態について説明する。第１実施形態においては、暗部のランダムノイズの抑制を目的に合成処理を実施した。これに対して、第２実施形態においては、画素スレッシュ設定部にて設定されたレベルよりも明るい画素においても、一定の範囲のゆらぎはランダムノイズと判断し加算平均処理を実施するようにしている。これにより、明部においてもランダムノイズが少ない合成画像を提供する事が可能となる。

第２実施形態に係る電気的な構成は、図１Ａおよび図１Ｂと同様であることから、詳しい説明は省略する。また、本実施形態における動作は、第１実施形態に係る図４および図５に示すフローチャートを図９および図１０に示すフローチャートに置き換えればよい。

なお、第２実施形態においては、画素差分比較部２３は、撮像部で生成された第１画像データとその直前に生成された第２画像データのそれぞれを構成する各画素データのうち、同じ画素位置の画素データの差分を比較する画素差分比較部として機能する。

また、選択制御部３３は、第１画像データを構成する各画素データのレベルが所定のスレッシュレベル以上であって、且つ画素差分比較部２３による比較の結果、同じ画素位置の画素データの差分値が所定値の絶対値以上のとき、撮像部で生成された画像データを構成する各画素データに対して比較明合成を行うように制御し（図９のＳ１５、Ｓ１７参照）、加算平均合成部により加算平均された画像データを構成する各画素データのレベルが所定のスレッシュレベル以上であって、且つ画素差分比較部２３の比較の結果、同じ画素位置の画素データの差分値の絶対値が所定値より小さいとき、撮像部で生成された画像データを構成する各画素データに対して加算平均合成を行うように制御する（図９のＳ１５、Ｓ１６、Ｓ１９参照）選択制御部として機能する。

図９に示すフローチャートは、図４に示したフローチャートと比較し、ステップＳ７の画像スレッシュ設定をステップＳ８の画像スレッシュ設定に置き換え、またステップＳ１６を追加している以外は、図４に示したフローチャートと同じである。そこで、相違点を中心に説明し、同一の処理については同一のステップ番号を付して説明を簡略化する。

累積画像合成モードが設定されている状態で、撮影が開始すると、第１実施形態と同様に、ＤＲＡＭの初期化（Ｓ１）、１枚目（基準画像）の露光・読出し（Ｓ３）、基準画像データを合成画像保存領域へ保存する（Ｓ５）。

基準画像データの保存を行うと、次に、画素スレッシュ設定を行う（Ｓ８）。画素スレッシュ設定は、第１実施形態においては、読み出された画像の画素レベルが画素スレッシュを超えるか否かを判定（画素レベル判定）していた。第２実施形態においては、画素レベル判定に加えて、差分レベル判定を行うので、この差分レベル判定用のスレッシュも設定する。画素スレッシュ設定の詳しい動作については、図１０を用いて後述する。

画素スレッシュ設定を行うと、第１実施形態と同様に、ステップＳ９、Ｓ１１、Ｓ１３における処理を実行する。ステップＳ１３において、２枚目以降の画像を露光・読出しを行うと、次に、画素レベル判定を行う（Ｓ１５）。この判定結果は、画素スレッシュ比較結果フラグとして、選択制御部３３に伝達される。

ステップＳ１５における判定の結果、画素レベルが画素スレッシュ以上の場合には、差分レベル判定を行う（Ｓ１６）。ステップＳ１６における差分レベル判定では、直前フレームまでに累積合成された合成画像データと、今回読み出された画像データの２つの画像データの対応する画素データ（同一アドレスの画素データ）の差分値が、差分スレッシュを超えるか否かを判定する。この判定のために、差分スレッシュ設定部２９に差分レベル判定用の差分スレッシュが設定される。また、画素差分比較部２３が、合成画像保存領域８５ａに記憶された合成画像と撮像素子４からの今回の読み出し画像データの画素毎の差分値と、差分スレッシュとを比較することにより、差分レベル判定を行う。ステップＳ１６における差分レベル判定結果は、差分スレッシュ比較結果フラグとして、選択制御部３３に伝達される。

ステップＳ１６における差分レベル判定の結果、差分スレッシュ以上と判定された場合には、合成画像データと現フレーム画像データを比較明合成し（Ｓ１９）、一方、ステップＳ１６における判定の結果、差分スレッシュ以下と判定された場合、またステップＳ１５における判定の結果、画素スレッシュ以下と判定された場合には、合成画像データと現フレーム画像データを加算平均合成する（Ｓ１７）。

すなわち、選択制御部３３では、伝達された画素スレッシュ比較結果フラグと、差分スレッシュ比較結果フラグをもとに、画像合成部３７で行う合成方法を選択する。画素スレッシュ比較結果フラグが画素スレッシュ値を超えていないと設定された時は（Ｓ１５において画素スレッシュ以下）、合成画像データの同一アドレスの画素データと加算平均合成処理をするように画像合成部３７の内の加算平均合成処理部３９を選択する。

また、選択制御部３３では、画素スレッシュ値を超えたと設定された時は（Ｓ１５において画素スレッシュ以上）、差分スレッシュ比較結果フラグをチェックし、差分スレッシュ比較結果フラグが差分スレッシュを超えていないと判定された時は（Ｓ１６において差分スレッシュ以下）、加算平均合成をするように画像合成部３７の内の加算平均合成処理部３９を選択し、一方、差分スレッシュを超えると判定された時は（Ｓ１６において差分スレッシュ以上）、比較明合成処理をするように合成画像部３７の内の比較明合成処理部４１を選択する。画像合成部３７では、選択制御部３３によって選択された合成方法に則って合成処理を実施する。

ステップＳ１７またはＳ１９において合成処理を選択すると、第１実施形態と同様の処理が実行される。以下の処理は第１実施形態と同様であることから詳しい説明は省略する。

次に、図１０に示すフローチャートを用いて、ステップ８の画素スレッシュ設定の詳しい動作について説明する。図１０に示すフローチャートは、図５に示すフローチャートと比較し、ステップＳ４６、Ｓ５０、Ｓ５６、Ｓ６０、Ｓ６２を追加しただけであるので、この相違点を中心に説明する。

画素スレッシュ設定のフローに入ると、まず、１枚目（基準画像）の撮影条件を確認し（Ｓ４１）、スレッシュ設定が自動か手動かを判定する（Ｓ４３）。この判定の結果、スレッシュ設定が自動であった場合には、基準（Ｇ）画素のスレッシュ値を算出し（Ｓ４５）、基準（Ｇ）差分スレッシュ値を算出する（Ｓ４６）。

ステップＳ４６における差分スレッシュ値は、スレッシュ設定部２５内の差分スレッシュ設定部２９で算出される。この差分スレッシュ値も、画素スレッシュ値の場合と同様に、基準画像の撮影条件をもとに設定すればよい。

また、ステップＳ４３における判定の結果、スレッシュ設定が手動であった場合には、基準（Ｇ）画素のスレッシュ値をユーザが選択し（Ｓ４９）、基準（Ｇ）差分スレッシュ値をユーザが選択する（Ｓ５０）。手動の場合の差分スレッシュ値は、ユーザが図６、図７で示すような基準画像の中から２か所の被写体を選択し、この選択された２つの位置のＧ画素の差分データに基づいて設定する。

ステップＳ４６またはＳ５０において差分スレッシュ値を算出または選択すると、ステップＳ５１以下において、色毎の画素スレッシュ値と差分スレッシュの算出を行う。差分スレッシュ値も、画素スレッシュ値と同様に色毎にスレッシュ値を変えないと、現像後の画像が色づく。

そこで、フラッシュメモリ８３上に各色の差分スレッシュ値を記憶させておいても良く、また基準差分スレッシュ値のみ記憶させておき、色毎差分スレッシュ値は、画素スレッシュ値の時と同様に撮像素子の感度比や現像時のホワイトバランスゲインを考慮して算出しても良い。

ステップＳ５１における判定の結果、画像データ保存形式がＲＡＷデータの場合には、撮像素子感度比を読出し（Ｓ５３）、色毎画素スレッシュ値を算出し（Ｓ５５）、色毎差分スレッシュ値を算出する（Ｓ５６）。一方、画像データ保存形式が現像データの場合には、１枚目（基準画像）からホワイトバランスを決定し（Ｓ５７）、色毎画素スレッシュ値を算出し（Ｓ５９）、色毎差分スレッシュ値を算出する（Ｓ６０）。

ステップＳ５６、Ｓ６０において色毎差分スレッシュ値を算出すると、画素スレッシュ値を設定し（Ｓ６１）、差分スレッシュ値を設定する（Ｓ６２）。ここで、差分スレッシュ設定部２９は、差分スレッシュ値を、Ｇ画素についてステップＳ４６、Ｓ５０において設定し、Ｒ画素およびＢ画素についてステップＳ５６、Ｓ６０において設定するので、これで全差分スレッシュが設定される。差分スレッシュ値が設定されると、元のフローに戻る。

このように、本発明の第２実施形態においては、画素スレッシュ値に加えて、差分スレッシュ値も設定しておき、これらのスレッシュ値と画素データ（差分値も含めて）を比較することにより、比較明合成と加算平均合成のいずれかを選択している。第１実施形態においては、合成画像データと今回取得画像データについて、各画素データの差が僅かであっても、比較明合成され、ノイズが目立ってしまう場合があった。しかし、第２実施形態においては、差分スレッシュ判定を行うことにより、各画素の差が僅かな場合には、加算平均合成が行われるので、ノイズが目立たなくなる。

次に、図１１及び図１２を用いて、第１及び第２実施形態において生成される合成画像について説明する。図１１の上段（ａ）の画像Ｐ１１、Ｐ１２、Ｐ１３は、時刻毎に単露光で撮影された画像であり、合成される前の画像である。図１１の中段（ｂ）は、上段（ａ）に示す画像Ｐ１１、Ｐ１２、Ｐ１３を、比較明合成によって合成した画像である。図１１の下段（ｃ）は、画像Ｐ１１、Ｐ１２、Ｐ１３を、加算平均合成によって合成した画像である。

図１２の上段（ａ）は、画像Ｐ１１、Ｐ１２、Ｐ１３を、第１実施形態に示す画素スレッシュを用いて合成した画像である。図１２の中段（ｂ）は、画像Ｐ１１、Ｐ１２、Ｐ１３を、第２実施形態に示す画素スレッシュ及び差分スレッシュを用いて合成した画像である。図１２の下段（ｃ）は、画像中のノイズレベルとスレッシュを示す図である。

まず、図１２の下段（ｃ）を用いて、画像中のノイズレベルについて説明する。画像Ｐ６は、１枚目に撮影された画像Ｐ１１と同じである。画素位置１００は、家の壁にあり、ここの明るさを画素スレッシュレベルとして設定している。画素位置９６には、画素スレッシュよりもレベルの低いランダムノイズが発生している。このランダムノイズは、加算平均合成を繰り返していくうちに合成画像から消失する。画素位置９７には、画素スレッシュよりもレベルが高く、上差分スレッシュよりもレベルの高いランダムノイズが発生している。このレベルのノイズは、比較明合成の対象となり、合成画像に残る。

画素位置９８には、画素スレッシュよりもレベルが高く、かつ上差分スレッシュよりもレベルの低いランダムノイズが発生している。このレベルのノイズは、第１実施形態においては比較明合成の対象となり、第２実施形態においては加算平均合成の対象となる。画素位置９９には、１枚目に撮影された画像Ｐ１１では、画素スレッシュよりもレベルの低いランダムノイズが発生しているが、２枚目に撮影された画像Ｐ１２では、画素スレッシュよりもレベルが高く、下差分スレッシュよりもレベルの高いランダムノイズが発生している。このレベルのノイズは、第１実施形態においては比較明合成の対象となり、第２実施形態においては加算平均合成の対象となる。

図１１の中段（ｂ）は、前述したように、比較明合成を行った場合の合成画像の時間的変化を示す。画像Ｐ２１は画像Ｐ１１と同じであり、画像Ｐ２２は画像Ｐ１１と画像Ｐ１２を比較明合成した画像であり、画像Ｐ２３は画像Ｐ２２と画像Ｐ１３を比較明合成した画像である。画像Ｐ２３中の符号Ａ付近の合成画像から分かるように、比較明合成を行うことにより、光線の軌跡は残るが、ランダムノイズも残っている。

図１１の下段（ｃ）は、前述したように、加算平均合成を行った場合の合成画像の時間的変化を示す。画像Ｐ３１は、画像Ｐ１１と同じであり、画像Ｐ３２は画像Ｐ１１と画像Ｐ１２を加算平均合成した画像であり、画像Ｐ３３は画像Ｐ３２と画像Ｐ１３を加算平均合成した画像である。画像Ｐ３３中の符号Ｂ付近の合成画像から分かるように、加算平均合成を行うことによって、ランダムノイズは薄くなるが、光線の軌跡も次第に薄くなっていく。

図１２の上段（ａ）は、前述したように、本発明の第１実施形態を適用した場合の合成画像の時間的変化を示す。上段（ａ）の左側に画素スレッシュの輝度を示す。この例では、画素レベル毎に、画素データと画素スレッシュを比較し、加算平均合成か比較明合成のいずれかを選択し処理を実行する。画像Ｐ４３中の符号Ｃ、Ｄ付近の合成画像から分かるように、一定輝度以上のランダムノイズは、比較明合成のために消失せずに残る（下段（ｃ）の画素位置９７、９８、９９参照）。

図１２の中段（ｂ）は、前述したように、本発明の第２実施形態を適用した場合の合成画像の時間的変化を示す。中段（ｂ）の左側に画素スレッシュの輝度、上差分スレッシュの輝度、下差分スレッシュの輝度を示す。この例では、画素レベル毎に、画素スレッシュと差分スレッシュを比較し、加算平均合成か比較明合成のいずれかを選択し処理を実行する。一定輝度以上のランダムノイズであっても、差分スレッシュよりも小さい場合には、加算平均合成が行われるために、多くのランダムノイズが消失する（下段（ｃ）の画素位置９７、９８、９９参照）。但し、あまりにもレベルが高いランダムノイズは消失しない。

以上説明したように、本発明の各実施形態においては、被写体像を撮像して画像データを生成し（例えば、図４のＳ３、Ｓ１３）、画像データを記憶し（例えば、図４のＳ５、Ｓ２１）、撮像によって生成された画像データと記憶された画像データを画素毎に加算平均して、記憶された画像データのうち加算平均した画素データを更新し（例えば、図４のＳ１７、Ｓ２１）、撮像によって生成された画像データと記憶された画像データを画素毎に比較明合成して、記憶された画像データのうち比較明合成した画像データを更新し（例えば、図４のＳ１９、Ｓ２１）、撮像によって生成された画像データを構成する各画素データのレベルが所定のスレッシュレベル以上か否かを判定し（例えば、図４のＳ１５）、この判定結果に応じて、撮像によって生成された画像データを構成する各画素データに対して、加算平均を行うか又は比較明合成を選択するための制御を行っている（例えば、図４のＳ１５、Ｓ１７、Ｓ１９）。

このため、複数の画像データを明るさに応じ合成して合成画像データを得る際に、よりランダムノイズを抑制して、光線の軌跡を綺麗に残すことができる。すなわち、各画素データのレベルが所定のスレッシュレベル以上か否かに応じて、加算平均を行うか比較明合成を行うかを選択しているので、個々の明るさに応じた最適な画像処理を選択でき、ラインダムノイズを抑制することができる。

なお、本発明の各実施形態においては、画素レベルの判定の結果、スレッシュより低いか高いかに応じて、比較明合成処理または加算平均合成処理を選択していたが、これに限らず加算合成処理、比較暗合成処理等、他の合成処理を用いるようにしてもよい。

また、本発明の各実施形態においては、測距・測光部１７、画素比較部１９、スレッシュ設定部２５、保存方式選択部３１、選択制御部３３、画像処理部３５等を、システム制御部１１とはとは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、制御部１内のＣＰＵによって実行するようにしても勿論かまわない。また、信号処理部１３、撮像制御部１４、表示制御部５１、Ｉ／Ｆ制御部５３、メモリカード制御部５５、入力制御部５７、画像合成部、現像処理部４５等は、ハードウエア回路や部品単体で構成してもよく、また、ＣＰＵとプログラムによってソフトウエア的に構成してもよく、またＤＳＰ（Digital Signal Processor）を利用して構成してもよい。これらは適宜組み合わせてもよいことは勿論である。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、複数枚の画像データを合成して画像を生成するための機器であれば、本発明を適用することができる。さらに、撮像部を有さない機器であっても、複数の画像データを合成して画像を生成するための画像処理を行うための機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・レンズ鏡筒部、２・・・レンズユニット、３・・・シャッタユニット、４・・・撮像素子、５・・・レンズ駆動モータ、６・・・シャッタ駆動モータ、７・・・モータ制御部、８・・・ストロボ発光部、９・・・ストロボ制御部、１０・・・制御プロセッサ、１１・・・システム制御部、１３・・・信号処理部、１５・・・撮像制御部、１７・・・測距・測光部、１９・・・画素比較部、２１・・・画素レベル比較部、２３・・・画素差分比較部、２５・・・スレッシュ設定部、２７・・・画素スレッシュ設定部、２９・・・差分スレッシュ部、３１・・・保存形式選択部、３３・・・選択制御部、３５・・・画像処理部、３７・・・画像合成部、３９・・・加算平均合成部、４１・・・比較明合成部、４３・・・加算合成部、４５・・・現像処理部、４７・・・ホワイトバランス決定部、４９・・・変換処理部、５１・・・表示制御部、５３・・・Ｉ／Ｆ制御部、５５・・・メモリカード制御部、５７・・・入力制御部、６１・・・背面ＬＣＤモニタ、６３・・・映像用コネクタ、６５・・・外部モニタ、６７・・・外部Ｉ／Ｆコネクタ、６９・・・ＰＣ／プリンタ、７１・・・外部メモリコネクタ、７３・・・メモリカード、７５・・・操作釦ユニット、７５ａ・・・レリーズ釦、７５ｂ・・・ズーム釦、７５ｃ・・・上下左右釦、７５ｄ・・・決定釦、８１・・・バス、８３・・・フラッシュメモリ、８３ａ・・・感度比記憶部、８３ｂ・・・制御プログラム、８５・・・ＤＲＡＭ、８５ａ・・・合成画像保存領域、８５ｂ・・・単一フレーム画像保存領域、９１・・・ポインタ、９２・・・アドバイス画像、９３ａ〜９３ｃ・・・被写体、９５・・・指

Claims (8)

1. 被写体像を撮像して画像データを生成する撮像部と、
   画像データを記憶する画像データ記憶部と、
   上記撮像部で生成された画像データと上記画像データ記憶部に記憶された画像データを画素毎に加算平均して、上記画像データ記憶部に記憶された画像データのうち該加算平均した画素データを更新する加算平均合成部と、
   上記撮像部で生成された画像データと上記画像データ記憶部に記憶されている画像データを画素毎に比較明合成して、上記画像データ記憶部に記憶された画像データのうち該比較明合成した画素データを更新する比較明合成部と、
   上記撮像部で生成された画像データを構成する各画素データのレベルが所定のスレッシュレベル以上か否かを判定する画素比較部と、
   上記画素比較部の判定結果に応じて、上記撮像部で生成された画像データを構成する各画素データに対して、上記加算平均合成部により加算平均を行うか又は上記比較明合成部により比較明合成を行うかを選択するための制御を行う選択制御部と、
   を備えたことを特徴とする撮像装置。
2. 上記選択制御部は、上記撮像部で生成された画像データを構成する各画素データのレベルが上記所定のスレッシュレベル以上と判定されたときは、上記撮像部で生成された画像データを構成する各画素データに対して上記比較明合成を行うように制御し、上記撮像部で生成された上記画像データを構成する各画素データのレベルが上記所定のスレッシュレベルより低いときは、上記撮像部で生成された画像データを構成する各画素データに対して上記加算平均を行うように制御することを特徴とする請求項１に記載の撮像装置。
3. 上記撮像部で生成された第１画像データとその直前に生成された第２画像データのそれぞれを構成する各画素データのうち、同じ画素位置の画素データの差分を比較する画素差分比較部を更に備え、上記選択制御部は、
   上記第１画像データを構成する各画素データのレベルが上記所定のスレッシュレベル以上であって、且つ上記画素差分比較部による比較の結果、上記同じ画素位置の画素データの差分値が所定値の絶対値以上のとき、上記撮像部で生成された画像データを構成する各画素データに対して上記比較明合成を行うように制御し、
   上記加算平均合成部により加算平均された上記画像データを構成する各画素データのレベルが上記所定のスレッシュレベル以上であって、且つ上記画素差分比較部の比較の結果、上記同じ画素位置の画素データの差分値の絶対値が所定値より小さいとき、上記撮像部で生成された画像データを構成する各画素データに対して上記加算平均合成を行うように制御する、
   ことを特徴とする請求項１に記載の撮像装置。
4. 上記撮像部を構成する撮像素子の撮像面にはカラーフィルタが配置されており、上記所定のスレッシュレベルを、該カラーフィルタの色毎に個別に設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 上記撮像部は、波長毎に分光して複数の撮像素子が配置されており、上記所定のスレッシュレベルを、上記撮像部から読み出される色毎に個別に設定することを特徴とする請求項１乃至３のいずれか１項に記載に撮像装置。
6. 上記撮像部で生成された画像データがＲＡＷ画像データである場合は、上記所定のスレッシュレベルを、上記撮像部から読み出される色毎の感度比に応じて個別に設定することを特徴とする請求項４又は５に記載の撮像装置。
7. 上記撮像部で生成された画像データがホワイトバランス処理された画像データである場合は、上記所定のスレッシュレベルを、上記ホワイトバランスに応じて撮像部から読み出される色毎に個別に設定することを特徴とする請求項４又は５に記載の撮像装置。
8. 被写体像を撮像して画像データを生成する第１ステップと、
   画像データを記憶する第２ステップと、
   上記第１ステップにおいて生成された画像データと上記第２ステップにおいて記憶された画像データを画素毎に加算平均して、上記第２ステップにおいて記憶された画像データのうち該加算平均した画素データを更新する第３ステップと、
   上記第１ステップにおいて生成された画像データと上記第２ステップにおいて記憶された画像データを画素毎に比較明合成して、上記第２ステップにおいて記憶された画像データのうち該比較明合成した画像データを更新する第４ステップと、
   上記第１ステップにおいて生成された画像データを構成する各画素データのレベルが所定のスレッシュレベル以上か否かを判定する第５ステップと、
   上記第５ステップにおける判定結果に応じて、上記第１ステップにおいて生成された画像データを構成する各画素データに対して、上記第３ステップにおける加算平均を行うか又は上記第４ステップにおける比較明合成を選択するための制御を行う第６ステップと、
   を含むことを特徴とする撮像方法。