JP2012044377A - 画像合成装置、画像合成方法、及びプログラム - Google Patents

Abstract

【課題】撮影画角に動体が存在する場合においても、白飛びや黒潰れの少ない合成画像を得ることができるようにする。
【解決手段】シャッターキーの押下が検出されたならば、適正露出を検出するとともに、この適正露出の０ＥＶを「１」減少させた−１ＥＶで撮影を実行して露出アンダー画像を取得し（ステップＳ１０２）、０ＥＶを「１」増加させた＋１ＥＶで撮影を実行して露出オーバー画像を取得する（ステップＳ１０３）。露出オーバー画像と露光条件が等しくなるように、露出アンダー画像のゲインをアップさせることにより、この疑似露出オーバー画像を生成する（ステップＳ１０４）。疑似露出オーバー画像と露出オーバー画像とを用いて動体判定・αブレンディング処理を実行して、ブレンディング画像を生成し（ステップＳ１０５）、このブレンディング画像と前記露出アンダー画像とを画素加算合成する（ステップＳ１０７）。
【選択図】図２

Description

本発明は、画像合成装置、画像合成方法、及びプログラムに関する。

従来より、撮像に関する技術分野において、撮影画像における白飛びや黒潰れなどの階調不足を解消する技術が考案されている。
例えば、下記特許文献においては、異なる露光量で連続的に撮影し、これらを適宜選択して合成処理することで、白飛びや黒潰れといった問題を解消し、ダイナミックレンジを拡大させる考案がなされている。

特開２００３−２６４７３８号公報

しかしながら上記の画像合成技術の場合、効果を奏するのは撮影画角に対し主要被写体が動いていない、つまり動体が存在しないケースに限られる。撮影画角に動体が存在すると連続的に撮影した際に、主要被写体に位置ずれが生ずることにより、異なる露光量で連続的に撮影した画像を合成することが困難となる。
したがってそのような場合にはおいては、合成処理によるダイナミックレンジの拡大ができないという問題がある。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮影画角に動体が存在する場合においても、白飛びや黒潰れの少ない合成画像を得ることができるようにすることを目的とするものである。

前記課題を解決するために請求項１記載の発明は、略同一の撮影画角で且つ露光条件が夫々異なる複数の画像を取得する画像取得手段と、前記複数の画像における他の露光条件の画像と露光条件が等しくなるように、前記画像取得手段によって取得された複数の画像のうち露光量が低い方の画像の明るさのゲインを上げるよう制御するゲイン制御手段と、このゲイン制御手段によってゲインが上げられた画像と、このゲインが上げられた画像と露光条件が等しい画像とを比較することにより、前記撮影画角における動体領域を検出する動体領域検出手段と、前記ゲインが上げられた画像と露光条件が等しい画像における前記動体領域検出手段によって検出された動体領域の画像を、前記ゲインが上げられた画像における同領域の画像に置換する置換手段と、前記動体領域検出手段によって検出された動体領域について、前記ゲインが上げられた画像と前記ゲインが上げられた画像と露光条件が等しい画像との画素毎の差分の最大値を取得する差分取得手段と、この差分取得手段によって取得された情報を平均化し、これを透過強度の情報として前記置換手段による置換後の画像にブレンディングするブレンディング手段と、このブレンディング手段によってブレンディングされた画像と前記露光量の低い方の画像との画素加算合成画像を生成する生成手段と、を備えたことを特徴とする。

また、請求項２記載の発明は、請求項１記載の発明において、前記ブレンディング手段は、前記差分取得手段によって取得された情報を平均化し、この平均化された情報について更にコントラストを上げる処理を実行することを特徴とする。

また、請求項３記載の発明は、請求項１又は２記載の発明において、前記ブレンディング手段は、前記差分取得手段によって取得された情報を平均化し、これ平均化された情報について更に平滑化処理を実行することを特徴とする。

また、請求項４記載の発明は、請求項１乃至３の何れか記載の発明において、前記画像取得手段は、撮像手段を含むことを特徴とする。

また、請求項５記載の発明は、請求項１乃至４の何れか記載の発明において、前記画像とは、略同じ撮像画角で取得されたものであることを特徴とする。

また、請求項６記載の発明は、略同一の撮影画角で且つ露光条件が夫々異なる複数の画像を取得する画像取得ステップと、前記複数の画像における他の露光条件の画像と露光条件が等しくなるように、前記画像取得ステップによって取得された複数の画像のうち露光量が低い方の画像の明るさのゲインを上げるよう制御するゲイン制御ステップと、このゲイン制御ステップによってゲインが上げられた画像と、このゲインが上げられた画像と露光条件が等しい画像とを比較することにより、前記撮影画角における動体領域を検出する動体領域検出ステップと、前記ゲインが上げられた画像と露光条件が等しい画像における前記動体領域検出ステップによって検出された動体領域の画像を、前記ゲインが上げられた画像における同領域の画像に置換する置換ステップと、前記動体領域検出ステップによって検出された動体領域について、前記ゲインが上げられた画像と前記ゲインが上げられた画像と露光条件が等しい画像との画素毎の差分の最大値を取得する差分取得ステップと、この差分取得ステップによって取得された情報を平均化し、これを透過強度の情報として前記置換ステップによる置換後の画像にブレンディングするブレンディングステップと、このブレンディングステップによってブレンディングされた画像と前記露光量の低い方の画像との画素加算合成画像を生成する生成ステップと、を含むことを特徴とする。

また、請求項６記載の発明は、装置が有するコンピュータを、略同一の撮影画角で且つ露光条件が夫々異なる複数の画像を取得する画像取得手段、前記複数の画像における他の露光条件の画像と露光条件が等しくなるように、前記画像取得手段によって取得された複数の画像のうち露光量が低い方の画像の明るさのゲインを上げるよう制御するゲイン制御手段、このゲイン制御手段によってゲインが上げられた画像と、このゲインが上げられた画像と露光条件が等しい画像とを比較することにより、前記撮影画角における動体領域を検出する動体領域検出手段、前記ゲインが上げられた画像と露光条件が等しい画像における前記動体領域検出手段によって検出された動体領域の画像を、前記ゲインが上げられた画像における同領域の画像に置換する置換手段、前記動体領域検出手段によって検出された動体領域について、前記ゲインが上げられた画像と前記ゲインが上げられた画像と露光条件が等しい画像との画素毎の差分の最大値を取得する差分取得手段、この差分取得手段によって取得された情報を平均化し、これを透過強度の情報として前記置換手段による置換後の画像にブレンディングするブレンディング手段、このブレンディング手段によってブレンディングされた画像と前記露光量の低い方の画像との画素加算合成画像を生成する生成手段、として機能させることを特徴とする。

本発明によれば、撮影画角に動体が存在する場合においても、白飛びや黒潰れの少ない合成画像を得ることができる。

本発明の一実施の形態を適用した撮像装置の回路ブロック図である。 同撮像装置における処理手順を示すフローチャートである。 動体判定・ブレンディング処理の処理手順を示すフローチャートである。 連写された画像の一例を示す図である。 （ａ）は平滑化処理による処理結果を示す図であり、（ｂ）は強調処理により処理結果を示す図である。 （ａ）は加算合成による合成画像を示す図であり、（ｂ）は本実施の形態による合成画像を示す図である。 本発明の他の実施の形態における処理手順を示すフローチャートである。

以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係る画像合成装置を備える撮像装置の回路構成図である。この撮像装置は、撮像部１、駆動制御部２、ＣＤＳ／ＡＤＣ３、キー入力部４、表示部５、画像記録部６、プログラムメモリ７、ＲＡＭ８、制御部９、画像処理部１０を有している。これらは、バスラインを介して接続されている。キー入力部４は撮影者の記録指示を検出するためのシャッターキー４１を備え、画像処理部１０は合成部１１を備える。

同図において撮像部１は、ＣＭＯＳ等のイメージセンサ、このイメージセンサ上に設けられたＲＧＢのカラーフィルタ、及び、駆動制御部２からの制御により、光の強度を電荷の蓄積として一定時間保持し、ＣＤＳ／ＡＤＣ３にアナログの撮像信号としてこれらを出力するドライバを内蔵する。そして、シャッターキー４１、制御部９、駆動制御部２を経由した撮影者の撮影指示を検出することで、露光条件（シャッタースピード、若しくは絞り値）を変えながら、露出アンダー、適正露出、露出オーバーを含む複数の画像（カラー画像）を取得する。

ＣＤＳ／ＡＤＣ３は、撮像部１から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成される。尚、ゲイン調整アンプの調整に関わる制御についても、駆動制御部２からの指示に基づき行われる。このため、露光条件（シャッタースピード、若しくは絞り値）を同じくして複数枚の画像を取得しても、ＲＧＢのゲイン調整アンプや画像の色味を順次変えることによる条件の異なる複数の画像を生成することができる。

尚、本実施の形態においては、駆動制御部２がゲイン調整アンプに関わる制御を行なうようにしたが、これに限らない。例えば上記の制御は制御部９で行なうようにしてもよい。

キー入力部４は、上述のシャッターキー４１の他、本発明に係る画像の取得・記録を目的すとする撮影モードへの切り換え、表示の切り換え等を検出するための各種キーを備える。

表示部５は、合成された画像を表示する機能を有する。画像記録部６は、本発明に係る合成処理が実行された後、ＪＰＥＧ方式で符号化された画像データ（画像ファイル）を記憶・格納する。プログラムメモリ７は、制御部９、画像処理部１０にて実行されるプログラムを記憶し、このプログラムは必要に応じて制御部９が読み出す。ＲＡＭ８は、各処理により発生する処理中のデータを一時的に保持する機能を有する。制御部９は、この撮像装置全体の処理動作を制御する。画像処理部１０は、画像データの符号化／復号化処理の他、本発明の特徴的構成に対応する合成部１１を備える。

すなわち合成部１１は、後述する露出オーバー画像と疑似露出オーバー画像との合成を実行するとともに、この合成画像について後述する動体判定マップを差分領域に対応する透過強度マップ（αマップ）として用いて動体による残像を少なくさせるものである。また、前記合成画像と露出アンダー画像とを画素加算合成することにより、ダイナミックレンジを拡大させるものである。

次に、本実施の形態の動作について説明する。ユーザがキー入力部４に設けられているモードボタンを操作して、本実施形態に係る撮影モードを設定すると、制御部９がプログラムメモリ７からプログラムを読み出して、図２のフローチャートに示すように、処理を開始する。

すなわち、制御部９はシャッターキー４１の押下が検出されたか否かを判断する（ステップＳ１０１）。シャッターキー４１の押下が検出されたならば、適正露出を検出するとともに、この適正露出の露出値０ＥＶを「１」減少させた−１ＥＶで駆動制御部２に指示して撮影を実行させ、この−１ＥＶでの撮影により得られた露出アンダー画像をＲＡＭ８に一旦保存する（ステップＳ１０２）。引き続き、適正露出の露出値０ＥＶを「１」増加させた＋１ＥＶで駆動制御部２に指示して撮影を実行させ、この＋１ＥＶでの撮影により得られた露出オーバー画像をＲＡＭ８に一旦保存する（ステップＳ１０３）。

したがって、このステップＳ１０２及びステップＳ１０３での処理により、図４（ａ）に示すＹＵＶ画像からなる露出アンダー画像Ｕと、同図（ｂ）に示すＹＵＶ画像からなる露出オーバー画像ＯとがＲＡＭ８に保存される。図４において矢印ｔは、時間軸であり、連写された露出アンダー画像Ｕと露出オーバー画像Ｏとは、撮像画角全体を示す背景Ｂ内において動体としての手Ｈを上下に振っている状態で、略同じ撮像画角で連写したものである。両画像Ｕ、Ｏにおいて、背景Ｂは同一であるが、時間ｔが進むに従って手Ｈの像は背景Ｂ内において相対的に下方に変位し、露出オーバー画像Ｏの手Ｈの像は、露出アンダー画像Ｕの手Ｈの像よりも下に位置する。

尚、これら連写画像Ｕ、Ｏの連写に際しては、手ブレによる画像のブレは公知の技術（ＣＣＤシフトやレンズシフトによる画角補正技術）により補正されているものとする。しかし、各連写画像Ｕ、Ｏ中の手Ｈの像は動体ブレの要因とされる。

次に、露出オーバー画像Ｏと露光条件が等しくなるように、露出アンダー画像Ｕのゲインをアップさせることにより、この疑似露出オーバー画像を生成して、ＲＡＭ８に一旦保存する（ステップＳ１０４）。つまり、−１ＥＶで撮影された露出アンダー画像Ｕと、＋１ＥＶで撮影された露出オーバー画像Ｏとは、画像の明るさが４倍異なり、露出オーバー画像Ｏは、露出アンダー画像Ｕよりも４倍明るい。したがって、露出アンダー画像Ｕをデジタルゲイン４倍で処理することにより、露出オーバー画像Ｏと擬似的に露出条件が同一となる疑似露出オーバー画像を生成する。

次いで、動体判定・αブレンディング処理を行う（ステップＳ１０５）。図３は、動体判定・αブレンディング処理（ステップＳ１０５）の処理手順を示すフローチャートである。尚、この図３に示すフローチャートの説明に際しては、下記の式、符号あるいは関数を用いる。
Y_Under_4, U_ Under_4, V_ Under_4 ：疑似露出オーバー画像YUV
Y_Over, U_Over, V_Over ：露出オーバー画像 YUV
fMax() ：最大値算出関数
fLpf() ：平滑化関数
fEmphasis() ：マップ強調関数

図３のフローチャートにおいて、制御部９は疑似露出オーバー画像と露出オーバー画像との差分絶対値を、下記式［１］〜［３］に示すように、両画像の画素毎に求める（ステップＳ２０１）。
つまり、
Diff_Y = |Y_Under_4 − Y_Mid | ・・・式［１］ // Yの差分絶対値
Diff_U = |U_Under_4 − U_Mid | ・・・式［２］ // Uの差分絶対値
Diff_V = |V_Under_4 − V_Mid | ・・・式［３］ // Vの差分絶対値
を前記両画像の画素毎に求める。

そして、差分が大きいほど、被写体が動いた可能性が高い領域であるといえるから、下記式［４］に示すように差分が最大のもの（両画像の対応する画素毎に差分が最大のもの）を選択する（ステップＳ２０２）。
Diff = fMax(Diff_Y, Diff_U, Diff_V) ・・・式［４］

次に、下記式［５］で示すように、両画像の最大差分を平均化する処理を実行する（ステップＳ２０３）。
Ave_Diff = (Diff[0] + Diff[1] + ・・・ + Diff[N]) / N-1 ・・・式［５］

更に、下記式［６］で示すように、平滑化処理を実行する（ステップＳ２０４）。

Diff_Lpf = fLpf(Diff) ・・・式［６］
このステップＳ２０４での平滑化処理により、図５（ａ）に示すように、動体判定マップＭが生成されることとなる。この動体判定マップＭにおいて、斜線で示した部分は、α＝０であって全透過させる領域であり、白抜き部分は、α＝２５５であって不透過とする領域である。

引き続き、下記式［７］で示すように、強調処理を行って前記動体判定マップＭのコントラストをアップさせる（ステップＳ１０５）。
Map_Move = fEmphasis (Diff_Lpf) ・・・式［７］
このステップＳ２０５での平滑化処理により、図５（ｂ）に示すように、動体判定マップＭにおいて動体である手Ｈの像の領域におけるコントラストがアップされる。

しかる後に、この図５（ｂ）に示した動体判定マップＭ（(Map_ Move [0 ~ 255]： 0＝動体なし)をαマップとして用いて、前述した疑似露出オーバー画像と露出オーバー画像とを合成する（ステップＳ２０６）。
合成された画像（以下、ブレンディング画像という）各画素のＹＵＶの各パラメータ（Y_result_Over，U_result_Over，V_result_Over）は下記式［８］〜［１０］で表現される。
Y_result_Over = (Y_Over ×(255 − Map_Move) + Y_Under_4 × Map_Move) / 255
・・・式［８］
U_result_Over = (U_Over ×(255 − Map_Move) + U_Under _4 × Map_Move) / 255
・・・式［９］
V_result_Over = (V_Over ×(255 − Map_Move) + V_Under _4 × Map_Move) / 255
・・・式［１０］

そして、図２のフローチャートにおけるステップＳ１０５に続くステップＳ１０６においては、このブレンディング画像をＲＡＭ８に一旦保存する。引き続き、このＲＡＭ８に一旦保存したブレンディング画像と前記露出アンダー画像Ｕとを画素加算合成する（ステップＳ１０７）。 これにより、図６（ｂ）に示すように、背景Ｂと手Ｈとからなる合成画像ＰＭを表すＹＵＶ画像データが生成されることとなる。

ここで、図６（ａ）は、露出アンダー画像Ｕと露出オーバー画像Ｏとを単に平均加算処理した合成画像ＰＮである。このように、連写された画像を単に平均加算処理した合成画像ＰＮにあっては、動体像である手Ｈの像に大きなブレが生じてしまう。これに対し、本実施の形態によれば、手Ｈの像が動いている場合においても、図６（ｂ）に示すように、動体ブレの少ない合成画像ＰＭを得ることができる。
また、撮影画角に動体が存在する場合においても、白飛びや黒潰れの少ない合成画像ＰＭを得ることができる。

しかも前述のように、ステップＳ２０４で平滑化処理を行うことから、合成による動体（手Ｈ）と背景との境界線をより自然なものにすることができる。

また、前述のステップＳ２０５では、マップＭのコントラストを上げる処理を実行したことから、合成処理における被写体ブレの残像（ゴースト）を減少させることもできる。

以上のようにして、合成画像ＰＭを表すＹＵＶ画像データを生成したならば、完成画像である合成画像ＰＭのＹＵＶ画像データを、ＪＰＥＧ方式で符号化しファイル化して、画像記録部６に記録保存し（ステップＳ１１０）、処理を終了する。

尚、本実施の形態においては、ＹＵＶ画像データを用いた場合を示したが、ＲＧＢ画像データを用いるようにしてもよい。この場合、ＲＧＢそれぞれについて、同様に差分二乗を算出する。

図７は、本発明の他の実施の形態における処理手順を示すフローチャートであり、略同一画角で撮影した三枚の画像、露出アンダー画像、露出ノーマル画像、露出オーバー画像を用いるようにしたものである。ユーザがキー入力部４に設けられているモードボタンを操作して、本実施形態に係る撮影モードを設定すると、制御部９がプログラムメモリ７からプログラムを読み出して、このフローチャートに示すように、処理を開始する。

すなわち、制御部９はシャッターキー４１の押下が検出されたか否かを判断する（ステップＳ３０１）。シャッターキー４１の押下が検出されたならば、適正露出を検出するとともに、この適正露出の露出値０ＥＶを「２」減少させた−２ＥＶで駆動制御部２に指示して撮影を実行させ、この−２ＥＶでの撮影により得られた露出アンダー画像をＲＡＭ８に一旦保存する（ステップＳ３０２）。

また、適正露出の露出値０ＥＶで駆動制御部２に指示して撮影を実行させ、この０ＥＶでの撮影により得られた露出ノーマル画像をＲＡＭ８に一旦保存する（ステップＳ３０３）。さらに、適正露出の露出値０ＥＶを「２」増加させた＋２ＥＶで駆動制御部２に指示して撮影を実行させ、この＋２ＥＶでの撮影により得られた露出オーバー画像をＲＡＭ８に一旦保存する（ステップＳ３０４）。

したがって、このステップＳ３０２及びステップＳ３０３での処理により、ＹＵＶ画像からなる露出アンダー画像、露出ノーマル画像、及び、露出オーバー画像がＲＡＭ８に保存される。

次に、露出ノーマル画像と露光条件が等しくなるように、露出アンダー画像のゲインをアップさせることにより、第１の疑似露出オーバー画像を生成し、且つ露出オーバー画像と露光条件が等しくなるように、露出アンダー画像のゲインをアップさせることにより、第２の疑似露出オーバー画像を生成して、ＲＡＭ８に一旦保存する（ステップＳ３０５）。つまり、−２ＥＶで撮影された露出アンダー画像と、０ＥＶで撮影された露ノーマル画像とは、画像の明るさが８倍異なり、露出ノーマル画像は、露出アンダー画像よりも８倍明るい。したがって、露出アンダー画像をデジタルゲイン８倍で処理することにより、露出ノーマル画像と擬似的に露出条件が同一となる第１疑似露出オーバー画像を生成する。

また、−２ＥＶで撮影された露出アンダー画像と、＋２ＥＶで撮影された露オーバー画像とは、画像の明るさが１６倍異なり、露出オーバー画像は、露出アンダー画像よりも１６倍明るい。したがって、露出アンダー画像をデジタルゲイン１６倍で処理することにより、露出オーバー画像と擬似的に露出条件が同一となる第２疑似露出オーバー画像を生成する。そして、これら第１疑似露出オーバー画像と、第２疑似露出オーバー画像とをＲＡＭ８に一旦保存する。

次いで、１回目の動体判定・ブレンディング処理が終了しているか否かを判断する（ステップＳ３０６）。未だ動体判定・ブレンディング処理が実行されておらず、今回が１回目の処理であるならば、ステップＳ３０６の判断がＮＯとなって、ステップＳ３０７に進む。そして、擬似的に露出値が等しい第１疑似露出オーバー画像と露出ノーマル画像とを用いて、動体判定・αブレンディング処理を行う。この動体判定・αブレンディング処理（ステップＳ３０７）の処理手順は、図３のフローチャートに基づいて説明した前記実施の形態と同様である。この第１疑似露出オーバー画像と露出ノーマル画像とを用いた動体判定・αブレンディング処理が終了したならば、これにより得られた第１ブレンディング画像をＲＡＭ８に一旦保存し（ステップＳ３０８）、ステップＳ３０６に戻る。

すると、１回目の動体判定・αブレンド処理が終了したことから、ステップＳ３０６の判断がＹＥＳとなる。したがって、ステップＳ３０９に進み、擬似的に露出値が等しい第２疑似露出オーバー画像と露出オーバー画像とを用いて、動体判定・αブレンディング処理を行う。この動体判定・αブレンディング処理（ステップＳ３０９）の処理手順も、図３のフローチャートに基づいて説明した前記実施の形態と同様である。この第２疑似露出オーバー画像と露出オーバー画像とを用いた動体判定・αブレンディング処理が終了したならば、これにより得られた第２ブレンディング画像をＲＡＭ８に一旦保存する（ステップＳ３１０）。

引き続き、これらＲＡＭ８に一旦保存した第１ブレンディング画像及び第２ブレンディング画像と前記露出アンダー画像とを画素加算合成し、この合成画像を表すＹＵＶ画像データを生成する（ステップＳ３１１）。 しかる後に、完成画像である合成画像ＰＭのＹＵＶ画像データを、ＪＰＥＧ方式で符号化しファイル化して、画像記録部６に記録保存し（ステップＳ３１２）、処理を終了する。

尚、この本実施の形態においては、ステップＳ３１１において、第１ブレンディング画像、第２ブレンディング画像、及び、露出アンダー画像を画素加算合成して、完成画像を得るようにした。しかし、第１ブレンディング画像と露出アンダー画像とのみを画素加算合成して完成画像を得るようにし、あるいは第２ブレンディング画像と露出アンダー画像とを画素加算合成し完成画像を得るようにしてもよい。

１ 撮像部
２ 駆動制御部
３ ＣＤＳ／ＡＤＣ
４ キー入力部
５ 表示部
６ 画像記録部
７ プログラムメモリ
８ ＲＡＭ
９ 制御部
１０ 画像処理部
１１ 合成部
４１ シャッターキー

Claims (7)

1. 略同一の撮影画角で且つ露光条件が夫々異なる複数の画像を取得する画像取得手段と、
   前記複数の画像における他の露光条件の画像と露光条件が等しくなるように、前記画像取得手段によって取得された複数の画像のうち露光量が低い方の画像の明るさのゲインを上げるよう制御するゲイン制御手段と、
   このゲイン制御手段によってゲインが上げられた画像と、このゲインが上げられた画像と露光条件が等しい画像とを比較することにより、前記撮影画角における動体領域を検出する動体領域検出手段と、
   前記ゲインが上げられた画像と露光条件が等しい画像における前記動体領域検出手段によって検出された動体領域の画像を、前記ゲインが上げられた画像における同領域の画像に置換する置換手段と、
   前記動体領域検出手段によって検出された動体領域について、前記ゲインが上げられた画像と前記ゲインが上げられた画像と露光条件が等しい画像との画素毎の差分の最大値を取得する差分取得手段と、
   この差分取得手段によって取得された情報を平均化し、これを透過強度の情報として前記置換手段による置換後の画像にブレンディングするブレンディング手段と、
   このブレンディング手段によってブレンディングされた画像と前記露光量の低い方の画像との画素加算合成画像を生成する生成手段と、
   を備えたことを特徴とする画像合成装置。
2. 前記ブレンディング手段は、前記差分取得手段によって取得された情報を平均化し、この平均化された情報について更にコントラストを上げる処理を実行することを特徴とする請求項１記載の画像合成装置。
3. 前記ブレンディング手段は、前記差分取得手段によって取得された情報を平均化し、これ平均化された情報について更に平滑化処理を実行することを特徴とする請求項１又は２記載の画像合成装置。
4. 前記画像取得手段は、撮像手段を含むことを特徴とする請求項１乃至３の何れか記載の画像合成装置。
5. 前記画像とは、略同じ撮像画角で取得されたものであることを特徴とする請求項１乃至４の何れか記載の画像合成装置。
6. 略同一の撮影画角で且つ露光条件が夫々異なる複数の画像を取得する画像取得ステップと、
   前記複数の画像における他の露光条件の画像と露光条件が等しくなるように、前記画像取得ステップによって取得された複数の画像のうち露光量が低い方の画像の明るさのゲインを上げるよう制御するゲイン制御ステップと、
   このゲイン制御ステップによってゲインが上げられた画像と、このゲインが上げられた画像と露光条件が等しい画像とを比較することにより、前記撮影画角における動体領域を検出する動体領域検出ステップと、
   前記ゲインが上げられた画像と露光条件が等しい画像における前記動体領域検出ステップによって検出された動体領域の画像を、前記ゲインが上げられた画像における同領域の画像に置換する置換ステップと、
   前記動体領域検出ステップによって検出された動体領域について、前記ゲインが上げられた画像と前記ゲインが上げられた画像と露光条件が等しい画像との画素毎の差分の最大値を取得する差分取得ステップと、
   この差分取得ステップによって取得された情報を平均化し、これを透過強度の情報として前記置換ステップによる置換後の画像にブレンディングするブレンディングステップと、
   このブレンディングステップによってブレンディングされた画像と前記露光量の低い方の画像との画素加算合成画像を生成する生成ステップと、
   を含むことを特徴とする画像合成方法。
7. 装置が有するコンピュータを、
   略同一の撮影画角で且つ露光条件が夫々異なる複数の画像を取得する画像取得手段、
   前記複数の画像における他の露光条件の画像と露光条件が等しくなるように、前記画像取得手段によって取得された複数の画像のうち露光量が低い方の画像の明るさのゲインを上げるよう制御するゲイン制御手段、
   このゲイン制御手段によってゲインが上げられた画像と、このゲインが上げられた画像と露光条件が等しい画像とを比較することにより、前記撮影画角における動体領域を検出する動体領域検出手段、
   前記ゲインが上げられた画像と露光条件が等しい画像における前記動体領域検出手段によって検出された動体領域の画像を、前記ゲインが上げられた画像における同領域の画像に置換する置換手段、
   前記動体領域検出手段によって検出された動体領域について、前記ゲインが上げられた画像と前記ゲインが上げられた画像と露光条件が等しい画像との画素毎の差分の最大値を取得する差分取得手段、
   この差分取得手段によって取得された情報を平均化し、これを透過強度の情報として前記置換手段による置換後の画像にブレンディングするブレンディング手段、
   このブレンディング手段によってブレンディングされた画像と前記露光量の低い方の画像との画素加算合成画像を生成する生成手段、
   として機能させることを特徴とするプログラム。

Images