JP5990004B2 - 撮像装置 - Google Patents

Description

本発明は、複数枚の撮影画像を合成する多重露出撮影機能を備える撮像装置に関するものである。

デジタルカメラでの多重露出撮影においては、複数回撮影後の撮像素子からのデータを加算処理して、その加算された画像データを現像処理して、記録媒体に記録する単純加算方式がある。

この他に、撮影された撮像素子からのデータに対して、加算処理する撮影枚数だけ露出を下げる除算処理をしてから加算処理して、その加算された画像データを現像処理して、記録媒体に記録する自動露出補正加算方式がある。

後者の方式は、撮影した画像を何枚加算しても、露光状態が飽和しないで画像が破綻しない長所があり、デジタルカメラでの多重撮影の方法として普及しつつある。

この自動露出補正加算方式の公知発明に関するものとしては、例えば、特開２００６−１２８７４０で開示されている方法があり、以下、図５を用いて従来例の概要を説明する。

デジタルカメラで１回目に撮影された画像データＲＡＷ１（５０１）は、ホワイトバランス処理部１（５０２）でホワイトバランス処理された後、一旦メモリ１（５０３）に蓄積される。

このホワイトバランス１処理された画像データは、多重露出の合成に用いられるために、多重撮影枚数によって負ゲインが掛けられる。ここでは、２回分の撮影の合成を行なうので、１／２のゲインを（５０４）で掛けるものとする。

同様に、２回目の撮影で得られたデジタル化された画像データＲＡＷ２（５１１）は、ホワイトバランス処理部２（５１２）においてホワイトバランス処理された後、一旦メモリ２（５１３）に蓄積され、次に（５１４）において１／２の負ゲインが掛けられる。

その後、これら２回撮影した画像データは、加算部（５４１）において２画面間の同じ位置同士の画素ごとに加算処理される。

この加算された合成画像に対して、プレフィルタ（５６２）においてデモザイク処理を行なう。

例えば、図９（ａ）のように、ＲＧＢの３色のカラーフィルタが配置されたベイヤー配列の撮像素子から得られたＲＡＷ画像データで考えるとする。

（ａ）の配列で撮像されたデータは、Ｒ画素、Ｇ画素、Ｂ画素同士の３プレーン（ｂ）、（ｃ）、（ｄ）に分けられる。データの無い画素のところは０を挿入する。

そして、それぞれのプレーン毎に、水平方向、垂直方向に（５６２）においてタップフィルタを掛けて、（ｂ）は（ｅ）、（ｃ）は（ｆ）、（ｄ）は（ｇ）のように０を埋める。例えば、３タップフィルタなら「１−２−１」、５タップフィルタなら「１−４−６−４−１」のように低域通過フィルタの特性を持たせるとよい。

以上のように得られたＲＧＢの３プレーンの画像データに対して、マトリックス変換処理（５６３）を行い、（ｅ）（ｆ）（ｇ）の各画素ごとにＲａｂＧａｂＢａｂから、（ｈ）のように輝度信号Ｙａｂ色差信号Ｃｒ ａｂ色差信号Ｃｂ ａｂ の１画面の画像データにマトリックス変換する。

そして、このＹＣｒＣｂデータに対して、現像処理（５６４）において、ガンマ処理やシャープネス処理や色変換処理などの各種画像処理が行なわれて、多重撮影された最終画像データとして出力されて、記録媒体（５６５）に記録される。

以上で、１回目、２回目に撮影された画像データの多重加算処理は完了する。

以下、１回目２回目の多重画像にさらに３回目の撮影結果を多重する場合を、１点鎖線（５８０）で区切り、この線以下のブロック図で説明する。

ハードウェアは１回目２回目の多重加算処理に使用したハードウェアと共通部分を使用するため、一点鎖線の下側の説明では、メモリや加算処理や現像処理などの画像処理は共通番号で示す。

３回目の撮影結果を多重するときは、１回目と２回目のＲＡＷデータが加算された（５４１）の出力をあらかじめメモリ１（５０３）に蓄積しておく。

３回目の撮影が行なわれたら、３回目の撮像画像ＲＡＷ３（５３１）をホワイトバランス処理部３（５３２）においてホワイトバランス処理し、その後一旦メモリ２（５１３）に蓄積する。

ここで、メモリ１（５０３）から読みだされた１、２回目の撮影画像が加算されている画像データと、メモリ２（５１３）から読みだされた３回目の撮影された画像データを加算するとき、１、２回目の２度の撮影分と３回目の１度の撮影分で明るさを分配する。

１、２回目の画像データには２／３の負ゲインを掛け（５２４）、３回目の画像データには１／３の負ゲインを掛け（５３４）、（５４１）において画素ごとに加算する。

そして、加算されたデータは１、２回目の加算結果を現像処理したときと同様に、図９（ａ）の配列の画像データに対して、プレフィルタ（５６２）においてデモザイク処理及びフィルタ処理を行う。その後、マトリックス処理（５６３）、現像処理（５６４）を経て、３回撮影分の多重加算画像の最終データを記録媒体（５６５）に記録する。

以上のようにして、何枚多重しても多重枚数分だけ平均的に負ゲインが掛けられて、画像が飽和して破綻することがない自動露出補正多重撮影を行なうことができる。

特開２００６−１２８７４０号公報

しかしながら、上述の特許文献に開示された従来技術では、例えば、図１０（ａ）の夜の山の上に月が出ている写真と、（ｂ）の昼間の山の上に雲が出ている写真を多重撮影して合成するときに望む画像が得られない場合がある。本来（ｄ）のように月や雲の明るさが元のままに写るのが自然に見えるが、従来の加算あるいは平均加算の多重撮影の画像処理方法だと、（ｃ）のように月と空、空と雲と山が混ざりあった明るさになり、暗めの不自然な画像になってしまう。

そこで、本発明の目的は、多重露出撮影において複数の画像が合成の際に適切に重ね合わせられる多重撮影機能を持つ撮像装置を提供することである。

上記目的を達成するために、本発明にかかる撮像装置は、複数の色成分のカラーフィルタで構成される撮像素子を有し、前記撮像素子で被写体像を撮像し、画像データを出力する撮像手段と、前記撮像手段から出力される第１の画像データと第２の画像データの夫々について、前記カラーフィルタの複数の色成分に対応する各色画素を何れも含むように領域に分割し、各色画素の画素値を用いて算出される領域の明度成分、彩度成分、色相成分の少なくとも何れか１つの成分の大小関係を画像データ同士で対応する領域ごとに比較する比較手段と、比較結果に基づいて、領域ごとに前記第１の画像データ及び前記第２の画像データのいずれか１つの画像データを選択的に出力することで合成画像データを生成する生成手段と、を有することを特徴とする。

また、本発明にかかる撮像装置の制御方法は、複数の色成分のカラーフィルタで構成される撮像素子を有し、前記撮像素子で被写体像を撮像し、画像データを出力する撮像手段を有する撮像装置の制御方法であって、前記撮像手段から出力される第１の画像データと第２の画像データの夫々について、前記カラーフィルタの複数の色成分に対応する各色画素を何れも含むように領域に分割し、各色画素の画素値を用いて算出される領域の明度成分、彩度成分、色相成分の少なくとも何れか１つの成分の大小関係を画像データ同士で比較する比較ステップと、比較結果に基づいて、領域ごとに前記第１の画像データ及び前記第２の画像データのいずれか１つの画像データを選択的に出力することで合成画像データを生成する生成ステップと、を有することを特徴とする。

本発明によれば、多重露出撮影において複数の画像が合成の際に適切に重ね合わせられる。

本発明の第１の実施形態であるデジタルカメラの多重撮影での処理の流れを示すブロック図である。 本発明の第２の実施形態であるデジタルカメラの多重撮影での処理の流れを示すブロック図である。 本発明の第３の実施形態であるデジタルカメラの多重撮影での処理の流れを示すブロック図である。 本実施形態における多重撮影機能を備えたデジタルカメラの各処理部の構成を示すブロック図である。 従来の多重処理の流れを示す図である。 図１の画像処理に対応したフローチャートである。 図２の画像処理に対応したフローチャートである。 図３の画像処理に対応したフローチャートである。 本発明の実施形態の画像データの各画素の色成分の構成を示す図である。 フィルタ処理やマトリックス処理された後の各画素のデータを示す図である。 多重撮影の結果の画像を説明する図である。 多重撮影の結果の画像を説明する図である。 画素ごとの大小比較を行って出力された画素を説明する図である。

（第１の実施形態）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の実施形態にかかわる第１の実施形態の画像処理の流れを表すブロック図であり、図６は図１の処理を説明するフローチャートである。

また、図４は多重撮影機能を備えるデジタルカメラの各画像処理部に関わる構成図である。

以下、図１、図４、図６を参照して、本発明の第１の実施形態による、多重撮影機能を備えたデジタルカメラについて説明する。

第１の実施形態は、撮影した２枚の画像を合成するとき、各画像をそれぞれ複数画素からなる領域に分割して、領域内のＲ、Ｇ、Ｂ画素の平均値から明度（Ｂｒ）、彩度（Ｓ）、色相（Ｈ）を求める。得られたＢｒ、Ｓ、Ｈを同じ位置の領域同士で比較して、それらの数値の大きい方の領域の画素を出力画像として残して、その置き換えによって得られた１画面全体を画像処理して出力することを特徴とする。

図４は、本実施形態における多重撮影機能を備える撮像装置の一例としてのデジタルカメラの画像処理に関わる構成図である。

不図示のレンズを透過した被写体の光線はシャッター部分を通じて撮像素子（４０１）に結像される。撮像素子（４０１）は撮影指示に従って被写体像を撮像する。

撮像素子（４０１）で光電変換されて出力されたアナログ信号をＡＤ変換部（４０２）においてデジタル画像データ（以下ＲＡＷデータと呼ぶ）（４２０）にデジタル変換する。

撮像素子（４０１）は、図９（ａ）に示されるようなＲ（赤）、Ｇ（緑）、Ｂ（青）の複数色成分のカラーフィルタを有して各帯域の光線を受光する画素がベイヤー配列によって構成されており、ＲＡＷデータ（４２０）は、Ｒ、Ｇ、Ｂの画素データから成っている。図９のＲＧＢに添付している数値は、ＲＧＢの行列の位置を表すもので、例えば、Ｒ２４は、画面内の３行目、５列目に位置するＲ画素を表している。

ＲＡＷデータ（４２０）は、ホワイトバランス（ＷＢ）処理部（４０３）においてホワイトバランス処理される。ホワイトバランスを掛けるためのホワイトバランス制御値は、ＣＰＵ（４０４）から供給される。

ＣＰＵ（４０４）は、ＲＡＷデータを解析して最適なホワイトバランス制御値を算出したり、あらかじめ色々な光源の色に最適なホワイトバランス制御値のテーブルを不図示のＲＡＭに準備しておいて、ユーザの指定したテーブルを選んで供給したりする。自動ホワイトバランスや各光源に適したプリセットホワイトバランスは、各撮影前に使用者が自由に切り替えて、ホワイトバランス制御値を出力することを可能としている。

ホワイトバランス処理されたＲＡＷデータは、メモリ（４０５）に一旦記憶される。

メモリ（４０５）は、複数回の撮影でのＲＡＷデータが記憶できる領域が確保されていて、撮影ごとに別の領域に画像データを書き加えていくことができる。

メモリ（４０５）は、メモリ制御部（４０６）より制御され、メモリ（４０５）へのデータの書き込み、読み出しについて、「何回目の撮影の画像データであるか」、「画面の中のどの位置（アドレス）の画素であるか」などを制御できる。

次の比較処理部（４０７）は、メモリ（４０５）から、複数の画面のそれぞれから、メモリ制御部（４０６）より指定された位置情報（アドレス）により画素を読み出し、それらの大小関係を判定するものである。

比較処理部（４０７）から出力される比較結果は、どの画面のどの画素が大小関係の比較結果として選ばれたか、選ばれた画面の画素のアドレスを出力する。

この出力される比較結果は、メモリ制御部（４０６）にフィードバックされる。

この比較処理部（４０７）は、本発明のポイントとなるところであるので、詳細を後述する。

メモリ制御部（４０６）に入力された比較結果の示すアドレスに応じて、メモリ（４０５）より１画面分の画素を読み出す。

読み出された１画面分の画素からなる画像データは、低周波帯域通過フィルタ（ＬＰＦ）処理部（１６１）に送られ、後述する読み出された画面間の境界をスムージング処理する。

次にＬＰＦ処理された画像データは、プレフィルタ処理部（１６２）に送られる。ここで、ＲＧＢ画素から構成される図９（ａ）に示されるようなベイヤー配列の画像データは、
Ｒ画素、Ｇ画素、Ｂ画素同士の３つの仮想平面図９（ｂ）、（ｃ）、（ｄ）に分けられる。各平面内で画素が存在しない位置は０を埋める。

そして、それぞれの平面ごとに、水平方向、垂直方向にタップフィルタを掛けて、（ｂ）は（ｅ）、（ｃ）は（ｆ）、（ｄ）は（ｇ）のように０を補間する処理を行なう。例えば、３タップフィルタなら「１−２−１」、５タップフィルタなら「１−４−６−４−１」のように低域通過フィルタの特性を持たせるとよい。

以上のようにプレフィルタ処理部（４６２）より得られた、ＲＧＢの３平面の画像データに対して、マトリックス変換処理部（４６３）においてマトリックス変換処理を行なう。

（ｅ）（ｆ）（ｇ）の同じ位置の各画素ごとにＲａｂ−Ｇａｂ−Ｂａｂから、図１０（ａ）、（ｂ）、（ｃ）に示される輝度信号Ｙａｂ−色差信号Ｃｒ ａｂ−色差信号Ｃｂ ａｂ の画像データにマトリックス変換する。

そして、このＹＣｒＣｂの３次元画像データに対して、現像処理部（４６４）において、ガンマ処理やシャープネス処理や色変換処理などの各種画像処理が行われる。その後、最終画像データとして出力され、記録メディア（４６５）にＹＣｒＣｂから構成されるＪＰＥＧ画像データとして記録される。

次に、本発明のポイントである、本カメラを用いて複数枚撮影した画像を多重する方法を図１の処理の流れを元に、図６のフローチャートの各ステップを参照しながら説明する。

撮影されたＲＡＷデータ（４２０）のうち１枚目に撮影されたＲＡＷデータをＲＡＷ１（１０１）（第１の画像データ）、２枚目に撮影されたＲＡＷデータをＲＡＷ２（１１１）（第２の画像データ）、３枚目に撮影されたＲＡＷデータをＲＡＷ３（１３１）とする。

撮影１回目と撮影２回目によって得られたＲＡＷ１（１０１）およびＲＡＷ２（１１１）のそれぞれは、ＷＢ処理部（４０３）において、ホワイトバランス処理１（１０２）、ホワイトバランス処理２（１１２）がなされる（ステップ６０３）（ステップ６０６）。

ホワイトバランス処理１（１０２）、ホワイトバランス処理２（１１２）で制御値は、撮影ごとに使用者が変更して異なっても構わない。

ホワイトバランス処理されたＲＡＷ１、ＲＡＷ２は、一旦、メモリ（４０５）内に確保された空間メモリ１（１０３）、メモリ２（１１３）にそれぞれ記憶される（ステップ６０４）（ステップ６０７）。

メモリから読み出された画像データは、画像を多重するときに画素の明暗の判定するために用いられる画像データ（１０４）（１１４）と、最終画像を得るための本画像の多重処理をするための画像データ（１０５）（１１５）とに分岐させている。

明暗の判定用の画像データ（１０４）、（１１４）に、画面内で均等な大きさのブロック領域に分割する領域分割処理（１４１）（１４４）をそれぞれ行う（ステップ６０８）。

例えば、Ｒ：４画素、Ｇ：８画素、Ｂ：４画素から構成される縦４画素×横４画素の１６画素単位を１ブロックとして、画面内を区切ったとする。

この領域分割された各ブロックごとにＲ、Ｇ、Ｂの平均値を色成分別に算出する平均値算出処理（１４２）（１４５）をそれぞれ行う（ステップ６０９）。このとき、Ｒ、Ｇ、Ｂの寄与率を変える目的などで必要に応じて加重平均などを行っても良い。

図９（ａ）は、１画面内の左上端の位置を表しているが、このブロック（００）内では、次のように計算される。
Ｒａｖｅ００＝（Ｒ００＋Ｒ０２＋Ｒ２０＋Ｒ２２）／４ （１）
Ｇａｖｅ００＝（Ｇ０１＋Ｇ０３＋Ｇ１０＋Ｇ１２＋Ｇ２１＋Ｇ２３＋Ｇ３０＋Ｇ３２）／８ （２）
Ｂａｖｅ００＝（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）／４ （３）
上記の式を他のブロックにも同様に適用して、図１０（ａ）、（ｂ）、（ｃ）に示されるようなＲａｖｅＧａｖｅＢａｖｅの３平面のデータを、３×３のマトリックス１を用いて、図１０（ｄ）、（ｅ）、（ｆ）に示されるようなＢｒＳＨの要素に変換する。これをマトリックス１変換処理（１４３）（１４６）とする（ステップ６１０）。ここで、マトリックス１変換処理（１４３）（１４６）でのマトリックス係数は同じ係数を用いている。

この求められた明度成分について、１枚目の画面と２枚目の画面の同じ位置のブロック同士で比較する明度比較処理（１４７）を行い、同じ明度でなかったとき、ステップ６１２に進む（ステップ６１１）。ステップ６１２では、さらに撮影１回目のメモリ１（１０３）からのブロック（００）の明度が、撮影２回目のメモリ２（１１３）からブロック（００）の明度よりも大きかった時、ステップ６１３に進む。ステップ６１３では、ブロック（００）内の画素のそれぞれのアドレスとそれに同期させて撮影１回目である情報を比較結果（１５０）として出力する。

ステップ６１２において撮影１回目のメモリ１（１０３）からのブロック（００）の明度が、撮影２回目のメモリ２（１１３）からブロック（００）の明度よりも小さかった時、ステップ６１４に進む。ステップ６１４では、ブロック（００）内の画素のそれぞれのアドレスとそれに同期させて撮影２回目である情報を比較結果（１５０）として出力する。

ステップ６１１において撮影１回目のメモリ１（１０３）からのブロック（００）の明度と、撮影２回目のメモリ２（１１３）からブロック（００）の明度が等しかった時、次にブロック同士の彩度成分を比較する彩度比較処理（１４８）を行う（ステップ６１５）。

この比較で同じ彩度でなかったとき、ステップ６１６に進む。さらに、ステップ６１６では、撮影１回目のメモリ１（１０３）からのブロック（００）の彩度が、撮影２回目のメモリ２（１１３）からブロック（００）の彩度よりも大きかった時、ステップ６１７に進む。ステップ６１７では、ブロック（００）内の画素のそれぞれのアドレスとそれに同期させて撮影１回目である情報を比較結果（１５０）として出力する。

ステップ６１６で撮影１回目のメモリ１（１０３）からのブロック（００）の明度が、撮影２回目のメモリ２（１１３）からブロック（００）の彩度よりも小さかった時、ステップ６１８に進む。ステップ６１８では、ブロック（００）内の画素のそれぞれのアドレスとそれに同期させて撮影２回目である情報を比較結果（１５０）として出力する。

ステップ６１５において撮影１回目のメモリ１（１０３）からのブロック（００）の彩度と、撮影２回目のメモリ２（１１３）からブロック（００）の彩度が等しかった時、ステップ６１９に進む。ステップ６１９では、同じ位置のブロック同士で色相成分を比較する色相比較処理（１４９）を行う。

ステップ６１９において撮影１回目のメモリ１（１０３）からのブロック（００）の色相が、撮影２回目のメモリ２（１１３）からブロック（００）の色相と等しいか、より大きかった時、ステップ６２０に進む。ステップ６２０では、ブロック（００）内の画素のそれぞれのアドレスとそれに同期させて撮影１回目である情報を比較結果（１５０）として出力する。

ステップ６１９において撮影１回目のメモリ１（１０３）からのブロック（００）の色相が、撮影２回目のメモリ２（１１３）からブロック（００）の色相よりも小さかった時、ステップ６２１へ進む。ステップ６２１では、ブロック（００）内の画素のそれぞれのアドレスとそれに同期させて撮影２回目である情報を比較結果（１５０）として出力する。

以上のようにして求められた各画素のアドレスと撮影何回目かの情報の組み合わせた情報は、メモリ制御部（４０６）においてアドレス管理が行なわれる（１４０）（ステップ６２２）。

そして、全ブロックの比較結果が出力されたら（ステップ６２３）、メモリ制御部（４０６）によってアドレス管理処理（１４０）として、１画面分の画像データが画素ごとにメモリから読み出される。このとき、読み出す画素と同期している情報が撮影１回目を示すときはメモリ１（１０３）から、撮影２回目を示すときはメモリ２（１１３）からの画素データが、スイッチ（１５１）で切り換えられて、メモリ部（４０５）より出力される（ステップ６２４）。

ここで、３回目以降の撮影を行って撮影１、２回目の多重結果画像に多重する場合は、カメラ内の各処理部は、図４で示される撮影１、２回目と同じ処理部を用いる。

処理の流れを説明する図１では、処理の流れの説明を判り易くするために、撮影３回目以降での多重処理を、一点鎖線（１８０）で区切って、下側に上側の一部と同じ流れを示している。

ここで、メモリ部（４０５）より出力される撮影１、２回目の多重結果の画像データを、再びメモリ１（１０３）に記憶する（ステップ６３０）。

次に３回目の撮影を行ったときの前述の画像データＲＡＷ３（１３１）は、撮影１、２回目と同様にＷＢ処理部（４０３）において、ＷＢ制御値を用いてＷＢ処理３（１３２）を行う（ステップ６３１）（ステップ６３２）。

その後、撮影３回目の画像データは、メモリ２（１１３）に記憶される（ステップ６３３）。

以降、メモリ１（１０３）とメモリ２（１１３）の画像データの多重処理は、前記撮影１回目と２回目の多重の（ステップ６０８）〜（ステップ６２４）と同じ処理である。

多重撮影を終了して、次の撮影を行うかどうか判断するところで（ステップ６２９）、多重撮影を終了すると判断したとき、ステップ６３０へ進む。ステップ６３０では、メモリ１（１０３）、メモリ２（１１３）からＳＷ（１５１）で画素ごとに切り替えられて出力された多重画像データは、低周波帯域通過フィルタ（ＬＰＦ）処理部（４６１）に送られ、ＬＰＦ処理（１６１）される。このＬＰＦによって、隣接するブロック間での撮影１回目と２回目の違いの境界が明確に見えにくくなるように処理する。例えば、図９（ａ）のベイヤー配列の画素データを（ｂ）（ｃ）（ｄ）のＲＧＢ３平面に展開して、水平・垂直とも［１−４−６−４−１］の５タップフィルタなどを用いて、Ｒ、Ｇ、Ｂそれぞれ同画素間で、この低周波帯域特性のフィルタを掛けるとよい。

次に、プレフィルタ２処理部（４６２）において、適応補間処理（１６２）を行って図９（ｅ）（ｆ）（ｇ）の各画素のＲＧＢ値を求めることで、撮影１回目と２回目の違いの境界をより見えにくくすることができる。（ステップ６３１）
例えば、図９（ｆ）のＧ３３の画素値を求めるとき、縦方向、横方向の画素間の差分を調べる次式による。
Ｙ＝｜−Ｒ１３＋２・Ｒ３３−Ｒ５３｜＋｜Ｇ２３−Ｇ４３｜ （縦方向）（４）
Ｘ＝｜−Ｒ３１＋２・Ｒ３３−Ｒ３５｜＋｜Ｇ３２−Ｇ３４｜ （横方向）（５）
ここでのＸとＹの大小関係によって、縦横方向判別して方向性を見て補間画素値を求める。
Ｇ３３＝（Ｇ２３＋Ｇ４３）／２ （Ｘ＞Ｙ） （６）
Ｇ３３＝（Ｇ３２＋Ｇ３４）／２ （Ｘ＜Ｙ） （７）
Ｇ３３＝（Ｇ２３＋Ｇ４３＋Ｇ３２＋Ｇ３４）／４ （Ｘ＝Ｙ） （８）
以上のようにして、プレフィルタ２処理によって平滑化されたＲＧＢの３平面からなる多重画像データは、マトリックス２変換処理部（４６３）に送られる。ステップ６３２では、マトリックス２変換処理（１６３）によって、図９（ｅ）（ｆ）（ｇ）の各画素ごとのＲａｂＧａｂＢａｂから、図１０（ａ）（ｂ）（ｃ）のようにＹａｂＣｒ ａｂＣｂ ａｂ の画像データにマトリックス変換する（ステップ６３２）。

マトリックス２変換処理（１６３）の変換係数は、比較処理部（４０７）のマトリックス１変換処理（１６３）の変換係数と違うものであっても構わない。現像処理結果の画質が好ましくなる係数で構わない。

そして、このＹＣｒＣｂデータに対して、現像処理部（４６４）において、ガンマ処理やシャープネス処理や色変換処理などを含む現像処理（１６４）が行われる（ステップ６３３）。現像処理後の画像データが最終合成画像データとして出力されて、記録媒体記録部（４６５）において記録媒体に記録される（１６５）（ステップ６３４）。

以上のように、本実施形態では、複数回撮影された画像データを、各画面内を領域分割して同色同士で平均値を求めて、それをマトリックス変換した同じ位置のデータ同士で比較した結果を元に、画素データをどちらの撮影画像の画素にするかを選択する。これにより、図１１（ｃ）ではなく、図１１（ｄ）のように多重撮影された複数画像を混ざることなく重ねることが可能となる。

また、本実施形態では画面内の領域分割を行い、Ｍ画素×Ｎ画素の複数画素から構成される領域ごとに平均値を計算した。しかし、この領域分割の方法を代えて、各画素ごとに、該当画素を中心にＭ画素ｘＮ画素の領域を設定して、その領域内の同色の隣接画素の平均値を求めてもよい。

例えば、図９（ａ）において、Ｒ２２を着目画素として、この画素を中心に５画素ｘ３画素の領域内で同色画素同士の平均値を取るとすると、（Ｒ２２）中心のブロック内では、次のように計算される。
Ｒａｖｅ（Ｒ２２）＝（Ｒ２０＋Ｒ２２＋Ｒ２４）／３ （９）
Ｇａｖｅ（Ｒ２２）＝（Ｇ１０＋Ｇ１２＋Ｇ１４＋Ｇ２１＋Ｇ２３＋Ｇ３０＋Ｇ３２＋Ｇ３４）／８ （１０）
Ｂａｖｅ（Ｒ２２）＝（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）／４ （１１）
上記のような計算式で得られる平均値Ｒａｖｅ（Ｒ）Ｇａｖｅ（Ｒ）Ｂａｖｅ（Ｒ）を、図１０（ｄ）、（ｅ）、（ｆ）に示されるようなＢｒＳＨの要素にマトリックス変換する（１４３）（１４６）（ステップ６１０）。

これを画素位置（００）から（０１）、（０２）、（０３）、・・・と１画素ずつ順番に、明度、彩度、色相の優先順で、同じ画素の位置同士でどちらが大きい値かを比較し、この画素の位置の出力を撮影１回目の画素か２回目の画素か決定する。

この場合は、１画素ごとに撮影１回目か２回目かの画素が選択されるので、ブロックごとの境界をスムーズに見せるＬＰＦ処理（１６１）（ステップ６３０）を省略してもよい。

また、本実施形態では、２画面の比較でＢｒＳＨの数値がより大きい方を選択して多重画像を出力する例を説明した。しかし、逆によりＢｒ、Ｓ、Ｈの優先順により小さい方を選択することで、暗い（あるいは色の薄い、あるいは色相値のより小さい）方の画像を優先して重ねることも可能である。この場合は、図１１の月や雲の画像とは逆に、図１２に示すように、（ａ）と（ｂ）の撮影画像から、（ｃ）のように暗い方の画素を選択して、多重結果を出力するような処理が可能となる。このように、スキー場などの明るい雪景色を背景に人物を重ねて撮影するような場合に有効である。

また、本実施形態では、ブロックごとの（画素ごとでも良い）比較を明度、彩度、色相の優先順で行い、比較結果を基に画素の出力を決定する例を示した。しかし、比較を行うのは必ずしも明度、彩度、色相全てにおいて行う必要はなく、少なくともいずれか１つでの比較を行えばよい。また、撮影モードや撮影条件、画像解析結果などによって優先順位を変えたり、明度、彩度、色相の比較を選択的に行うなどしても良い。

（第２の実施形態）
以下、図２、図４、図７を参照して、本発明の第２の実施形態による、多重撮影機能を備えたデジタルカメラについて説明する。

第２の実施形態は、第１の実施形態の複数の画素から構成されるブロック領域分割単位の最小単位領域として、１画素を１ブロック領域単位と考えて、撮影１回目と２回目の比較を行う方法を説明する。

カメラ内の各処理部の構成は、第１の実施形態で説明した図４と同じである。

また、各処理の流れを示すブロック図は図２、それに対応するフローチャートは図７に示されている。

メモリ（４０５）のメモリ１（１０３）、メモリ２（１１３）の領域に、撮影１回目の画像データＲＡＷ１（１０１）、ＲＡＷ２（１１１）がＷＢ１処理（１０２）、ＷＢ２処理（１１２）されて書き込まれるまでは、第１の実施形態と同様である。

次に、アドレス管理（１４０）によって、メモリ１（１０３）、メモリ２（１１３）から比較処理部（４０７）に（１０４）、（１１４）の画像データを送る制御の説明をする。

画面左上の端の画素位置（００）から（０１）、（０２）、（０３）、・・・と１画素ずつ順番に比較処理をする。１画素単位が比較処理部（４０７）に送られる時、同時に水平・垂直方向の隣接画素も同時に送られ、プレフィルタ１処理（２４１）、（２４４）において水平・垂直方向のタップフィルタが掛けられる。（ステップ７０９）

例えば図９（ａ）の画素配置に対して、（ｂ）、（ｃ）、（ｄ）のようにＲＧＢの０を埋めて３平面に展開して、３平面の同位置の各画素で、水平・垂直方向に画像の連続性を見る方向判別を含んだ画素補間を行なう。

例えば図９（ｆ）のＧ３３の画素値を求めるとき、縦方向、横方向の画素間の差分を調べる次式による。
Ｙ＝｜−Ｒ１３＋２・Ｒ３３−Ｒ５３｜＋｜Ｇ２３−Ｇ４３｜ （縦方向） （１２）
Ｘ＝｜−Ｒ３１＋２・Ｒ３３−Ｒ３５｜＋｜Ｇ３２−Ｇ３４｜ （横方向） （１３）
ここでのＸとＹの大小関係によって、縦横方向判別して補間画素値を求める。
Ｇ３３＝（Ｇ２３＋Ｇ４３）／２ （Ｘ＞Ｙ） （１４）
Ｇ３３＝（Ｇ３２＋Ｇ３４）／２ （Ｘ＜Ｙ） （１５）
Ｇ３３＝（Ｇ２３＋Ｇ４３＋Ｇ３２＋Ｇ３４）／４ （Ｘ＝Ｙ） （１６）
以上のように、プレフィルタ１処理（２４１）（２４４）によって平滑化されたＲＧＢの多重画像データを第１の実施形態と同様に、図９（ｅ）（ｆ）（ｇ）のＲＧＢから図１０（ｄ）（ｅ）（ｆ）のＢｒＳＨのデータにマトリックス変換する（ステップ６１０）。

以下は、第１の実施形態と同様にして、撮影１回目と２回目のＢｒ、Ｓ、Ｈ結果を比較する。

この比較処理を、画素位置（００）から（０１）、（０２）、（０３）、・・・と１画素ずつ順番に、明度、彩度、色相の優先順で、同じ画素の位置同士でどちらが大きい値かを比較し、この画素の位置の出力を撮影１回目の画素か２回目の画素か決定する。

さらに以下第１の実施形態と同様にして、選択された画素に基づいて１画面分の画像処理を行って多重露出結果として、記録媒体に記録処理（１６５）を行う。

撮影３回目以降の処理も、第１の実施形態に準ずる。

本実施形態では、プレフィルタ１処理によって、画像の連続性を水平・垂直方向に判別していて、１画素ずつ比較判別を行っているので、第１の実施形態で示したＬＰＦ処理（１６１）は省略できる。

また、プレフィルタ１処理（２４１）、（２４４）の特性を定義する各係数は、最終的に多重結果を出力するために行なう画像処理のプレフィルタ２処理（１６２）とは、異なる係数にしても構わない。

例えば、最終出力の画像処理に関わるプレフィルタ２処理（１６２）よりもプレフィルタ１処理（２４１）（２４４）の方がよりＬＰＦ効果の強いタップ係数（タップ数を長くするなど）にしてもよい。こうすることで、Ｂｒ、Ｓ、Ｈの比較時に周辺画素の影響力を増やして、比較結果において、撮影１回目の画素に１画素だけ２回目の撮影結果が残るような孤立点を除去することができ、１回目あるいは２回目の画像の連続性を保つことができる。

以上のように、本実施形態では、複数回撮影された画像データを、各画面の画素ごとに同じ位置同士で明度Ｂｒ、彩度Ｓ、色相Ｈに展開した画素データを比較した結果を元に、画素データをどちらの撮影画像の画素にするかを選択する。これにより、多重撮影された複数画像が混ざることなく重ねることが可能となる。

（第３の実施形態）
第３の実施形態は、特に第２の実施形態のハードウェア構成を極力簡易にし、処理の高速化を考えた構成である。

以下、図３、図４、図８を参照して、本発明の第３の実施形態による、多重撮影機能を備えたデジタルカメラについて説明する。

第３の実施形態は、第２の実施形態の１画素を１ブロック領域単位と考えて、撮影１回目と２回目の比較を行うことは同様であるが、比較を行うときに、周辺画素を参照しないで、当該位置の画素のみでレベルの大小比較を行うものである。

カメラ内の各処理部の構成は、第１の実施形態で説明した図４と同じである。

また、各処理の流れを示すブロック図は図３、それに対応するフローチャートは図８に示されている。

メモリ（４０５）のメモリ１（１０３）、メモリ２（１１３）の領域に、ＲＡＷ１（１０１）、ＲＡＷ２（１１１）がＷＢ１処理（１０２）、ＷＢ２処理（１１２）されて書き込まれるまでは、第１及び第２の実施形態と同様である（ステップ６０１〜６０７）。

次に、アドレス管理（１４０）によって、メモリ１（１０３）、メモリ２（１１３）から比較処理部（４０７）に画像データを、図９（ａ）の画面左上の端の画素位置（００）から（０１）、（０２）、（０３）、・・・と１画素ずつ順番に送る。

それらは比較処理部（４０７）に送られて、撮影１回目の画素データ（１０４）と撮影２回目の画素データは、同じ位置同士で画素のレベルの大小の比較処理（３４７）が行われる（ステップ６１２〜６１４）。

そして、その比較結果（１５０）によって、撮影１回目か２回目かの画素の採用が決定される（ステップ６２２）。

以下、最終多重画像の出力処理や撮影３回目以降の動作は、第１および第２の実施形態と同様である。

以上の多重撮影での画像処理の方法で、図１３に示されるように、１回目の撮影での赤い被写体部分と２回目の撮影での青い被写体部分が同じ場所に位置していると色が混ざり合うシチュエーションが生じる場合がある。すなわち、Ｒ画素は１回目の撮影Ｒ１＞２回目の撮影Ｒ２、Ｂ画素は１回目の撮影Ｂ１＜２回目の撮影Ｂ２となり、１回目の撮影でのＲ１画素と２回目の撮影でのＢ２画素が組み合わされて現像処理されることになり、色が混ざり合う場合がある。

しかし、処理の流れを見て明らかなように、第１および第２の実施形態に対して、大幅に簡素な処理の規模で実現することができ、処理速度も大幅に高速化できるメリットがある。

したがって、第３の実施形態を用いることによっても、画像の明暗の比較を行って重ね合わせる多重撮影を実現することが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

４０１ 撮像素子
４０２ ＡＤ変換部
４０３ ＷＢ処理部
４０４ ＣＰＵ
４０５ メモリ
４０６ メモリ制御部
４０７ 比較処理部
４０８ ＬＰＦ処理部
４６４ 現像処理部
４６５ 記録媒体記録部

Claims (8)

1. 複数の色成分のカラーフィルタで構成される撮像素子を有し、前記撮像素子で被写体像を撮像し、画像データを出力する撮像手段と、
   前記撮像手段から出力される第１の画像データと第２の画像データの夫々について、前記カラーフィルタの複数の色成分に対応する各色画素を何れも含むように領域に分割し、各色画素の画素値を用いて算出される領域の明度成分、彩度成分、色相成分の少なくとも何れか１つの成分の大小関係を画像データ同士で対応する領域ごとに比較する比較手段と、
   比較結果に基づいて、領域ごとに前記第１の画像データ及び前記第２の画像データのいずれか１つの画像データを選択的に出力することで合成画像データを生成する生成手段と、を有することを特徴とする撮像装置。
2. 前記撮像手段から出力された画像データにホワイトバランス処理を行うホワイトバランス処理手段を備え、
   前記比較手段は、前記ホワイトバランス処理手段によってホワイトバランス処理された第１画像データと第２画像データを用いて比較することを特徴とする請求項１に記載の撮像装置。
3. 前記生成手段によって生成された合成画像データにローパスフィルタ処理を行うフィルタ処理手段を有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記生成手段は、領域ごとに、前記比較手段による比較で大きい方の値の画像データをそれぞれ出力することを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
5. 前記生成手段は、領域ごとに、前記比較手段による比較で小さい方の値の画像データをそれぞれ出力することを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
6. 前記比較手段は、明度成分、彩度成分、色相成分の優先順で比較を行うことを特徴とする請求項１から５のいずれか１つに記載の撮像装置。
7. 前記比較手段は、画像内の全領域について比較を行うことを特徴とする請求項１から６のいずれか１つに記載の撮像装置。
8. 複数の色成分のカラーフィルタで構成される撮像素子を有し、前記撮像素子で被写体像を撮像し、画像データを出力する撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段から出力される第１の画像データと第２の画像データの夫々について、前記カラーフィルタの複数の色成分に対応する各色画素を何れも含むように領域に分割し、各色画素の画素値を用いて算出される領域の明度成分、彩度成分、色相成分の少なくとも何れか１つの成分の大小関係を画像データ同士で比較する比較ステップと、
   比較結果に基づいて、領域ごとに前記第１の画像データ及び前記第２の画像データのいずれか１つの画像データを選択的に出力することで合成画像データを生成する生成ステップと、を有することを特徴とする撮像装置の制御方法。