JP2015231118A - 画像合成装置、画像合成システム及び画像合成方法 - Google Patents

Abstract

【課題】少ない処理量で注目被写体が高画質な合成画像を得ることができるようにする。
【解決手段】まず、３段階の露出で画像を撮影し、低露出画像及び中露出画像の画素レベルを増幅し、高露出画像に合わせる。次に、明るさを合わせた低露出画像に基づいて各画像の明るさ合成比率を算出する。そして、注目領域で明るさ合成比率が０％でない画像を選択し、注目領域においては、この選択された画像のみを用いて合成画像を生成し、注目画像以外の領域では、例えば低露出画像で代用するようにする。
【選択図】図１

Description

本発明は、特に、ハイダイナミックレンジ機能に用いて好適な画像合成装置、画像合成システム、画像合成方法及びプログラムに関する。

近年、撮像装置として、複数枚の画像を合成し、合成画像を記録することが可能なデジタルカメラが数多く製品化されている。これらの撮像装置の中には、被写体の明るさが適正となる露出よりも低い露出で撮像した画像と高い露出で撮像した画像とを合成することにより、白飛びや暗部のノイズを改善する機能を持つ撮像装置が知られている。このような機能は、ハイダイナミックレンジ（ＨＤＲ）機能と呼ばれている。

一般的に、撮像素子のダイナミックレンジは、自然界のダイナミックレンジよりも狭く、例えば、逆光シーンで撮影すると、白飛びが発生してしまう場合がある。より低い露出で撮影すると、全体的に暗く撮像されるため、白飛びは抑制することが可能となるが、暗部のノイズ感が悪化してしまう。また、より高い露出で撮影すると、全体的に明るく撮像されるため、白飛びは発生してしまうが、暗部のノイズ感は改善する。ＨＤＲ機能では、低い露出及び高い露出といった複数の画像を用い、明るい領域（白飛び等）は、低露出画像に重みを掛け、逆に、暗い領域は、高露出画像に重みを掛けて合成することにより、白飛びや暗部のノイズ感を改善することができる。

また、前述のような低露出画像と高露出画像との２枚の画像だけではなく、さらに露出が高い画像とさらに露出が低い画像とを用いて合成することにより、さらに白飛びやノイズを改善することができる。つまり、より多くの異なる露出の画像を合成することにより、よりダイナミックレンジの高い合成画像を得ることができる。特許文献１には、低露出画像と複数の高露出画像の中から選択した高露出画像とを合成し、ダイナミックレンジの高い合成画像を得る技術について開示されている。

特開２００８−２７７８９６号公報

一般的に、このようなＨＤＲ機能は、複数枚の画像を生成して画像処理を行うため、処理量が大きい。また、より高い（広い）ダイナミックレンジを持つ合成画像を得るために、合成に用いる画像を増やした場合は、処理量がさらに大きくなってしまう。そのため、処理時間が長くかかってしまい、次のシャッターチャンスを逃してしまうといった課題がある。一方、処理時間を減らすために合成に用いる画像を減らした場合は、ダイナミックレンジが低く（狭く）なってしまい、例えば、被写体が白飛びしてしまう可能性がある。

本発明は前述の問題点に鑑み、少ない処理量で注目被写体が高画質な合成画像を得ることができるようにすることを目的としている。

本発明に係る画像合成装置は、異なる撮像条件で被写体を撮像して複数の画像を生成する撮像手段と、前記撮像手段により生成された画像から前記被写体を含む注目領域を検出する検出手段と、前記検出手段によって検出された注目領域において、前記複数の画像の合成比率を算出する算出手段と、前記算出手段によって算出された合成比率に基づいて、前記複数の画像の中から画像合成に用いる画像を選択する選択手段と、前記選択手段によって選択された画像を用いて、前記注目領域及び前記注目領域以外の領域を含む領域に対応する合成画像を生成する合成手段とを備えることを特徴とする。

本発明によれば、少ない処理量で注目領域が高画質な合成画像を得ることができる。

第１の実施形態に係る撮像装置の構成例を示すブロック図である。 注目被写体が静止しているシーンを異なる露出で撮像した３枚の画像の例を示す図である。 図２（ａ）の低露出画像から検出した注目領域情報の例を示す図である。 図１に示す画像簡易合成部の詳細な構成例を示すブロック図である。 第１の実施形態における合成処理手順の一例を示すフローチャートである。 撮像部において入射する光量と信号レベルとの関係を示す図である。 異なる露出の画像毎の明るさ合成比率の算出式を説明するための図である。 第２の実施形態に係る撮像装置の構成例を示すブロック図である。 注目被写体が動いているシーンを異なる露出で撮像した３枚の画像の例を示す図である。 図９（ａ）の低露出画像から検出した注目領域情報の例を示す図である。 図８に示す画像簡易合成部の詳細な構成例を示すブロック図である。 第２の実施形態における合成処理手順の一例を示すフローチャートである。 動きの合成比率の算出式を説明するための図である。 第３の実施形態に係る撮像装置の構成例を示すブロック図である。 第３の実施形態における一連の撮影処理手順の一例を示すフローチャートである。 図１４に示す画像本合成部の詳細な構成例を示すブロック図である。 第３の実施形態における本合成の処理手順の一例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。本実施形態における撮像装置１００は、画像合成機能を備えており、注目領域情報に応じて合成用画像を選択し、合成処理を行う。以下、本実施形態の撮像装置１００の各構成について図１を参照しながら説明する。

図１において、レンズ１０１は、ズームレンズ、及びフォーカスレンズを含むレンズ群であり、シャッター１０２は絞り機能を備えている。撮像部１０３は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成されている。Ａ／Ｄ変換器１０４は、撮像部１０３が出力するアナログ信号をデジタル信号に変換する。ＡＦセンサー１０５は、ＡＦ制御のために光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成されるセンサーである。ＡＦ用Ａ／Ｄ変換器１０６は、ＡＦセンサー１０５が出力するアナログ信号をデジタル信号に変換する変換器である。

画像処理部１０７は、Ａ／Ｄ変換器１０４から出力される画像データに対し、ノイズ低減処理、ホワイトバランス処理、γ処理、解像度変換処理などの各種画像処理を行う。メモリ制御部１０９は、画像メモリ１０８を制御するための制御部であり、Ｄ／Ａ変換器１１０は、入力デジタル信号をアナログ信号に変換する。表示部１１１は、例えばＬＣＤ等である。記録媒体１１２は、画像データを記録するメモリカードやハードディスク等である。記録Ｉ／Ｆ１１３は、記録媒体１１２とのインタフェースである。

本実施形態に係る撮像装置１００は、注目領域検出部１１４及び画像簡易合成部１１５を備えている。注目領域検出部１１４は、画像データ内に存在する被写体のうち、注目される被写体領域を検出し、画像簡易合成部１１５は、複数枚の画像を合成する。

システム制御部５０は、撮像装置１００のシステム全体を制御する。操作部１２０は、各種のユーザーからの操作指示を入力する。電源スイッチ１２１は、電源部１２２の電源のＯＮ／ＯＦＦを切り替えるためのスイッチである。不揮発性メモリ１２３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。システムタイマ１２４は、各種制御に用いる時間や、内蔵された時計の時間を計測する。また、システムメモリ１２５は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２３から読みだしたプログラム等を展開するためのメモリである。

次に、上記のように構成された撮像装置１００における撮影時の基本的な処理の流れについて説明する。
まず、撮像部１０３は、レンズ１０１及びシャッター１０２を介して入射した光を光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。また、撮像部１０３は、露出などの撮像条件を変えて複数の画像信号を生成する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し、画像処理部１０７に出力する。ＡＦセンサー１０５は、レンズ１０１及びシャッター１０２を介して入射した光を複数の対となるラインセンサーで受光し、ＡＦ用Ａ／Ｄ変換器１０６へ出力する。ＡＦ用Ａ／Ｄ変換器１０６はＡＦセンサー１０５から出力されるアナログ信号をデジタル信号に変換し、システム制御部５０に出力する。システム制御部５０は、一対のラインセンサーが出力した像信号に基づいて、被写体からの光束の分割方向における相対的位置ずれ量を検出し、いわゆる位相差ＡＦ制御を行う。

画像処理部１０７は、Ａ／Ｄ変換器１０４から入力された画像データに対し、ノイズ低減処理、ホワイトバランス処理、解像度変換処理などの第一の画像処理を行う。また、画像処理部１０７は、メモリ制御部１０９を介して画像メモリ１０８から読み出した画像データに対し、γ処理、色補正処理などの第二の画像処理を行う。画像処理部１０７から出力された画像データは、メモリ制御部１０９を介して画像メモリ１０８に書き込まれる。

本実施形態では、合成処理を行う場合には、まず、画像処理部１０７が複数の画像に対して第一の画像処理を行い、次に、画像簡易合成部１１５が、第一の画像処理が施された複数の画像を用いて画像簡易合成処理を行う。その後、合成画像に対して第二の画像処理が施されるように動作する。また、画像処理部１０７では、撮像部１０３が生成した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＡＥ（自動露出）処理、コントラストＡＦ（オートフォーカス）処理などを行う。

画像メモリ１０８には、撮像部１０３から出力された画像データ、画像処理部１０７から出力された画像データや表示部１１１に表示するための画像データ等が格納される。
また、Ｄ／Ａ変換器１１０は、画像メモリ１０８に格納されている表示用の画像データをアナログ信号に変換して表示部１１１に供給する。表示部１１１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１０からのアナログ信号に応じた画像を表示する。

注目領域検出部１１４は、画像内に存在する被写体のうち、注目される被写体領域を検出し、注目領域情報としてシステム制御部５０に出力する。画像簡易合成部１１５は、注目領域情報に基づき、画像処理部１０７が第一の画像処理を行った複数の画像の中から画像簡易合成に用いる画像を選択し、画像簡易合成処理を行う。なお、注目領域検出部１１４及び画像簡易合成部１１５による処理の詳細については後述する。

また、上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２３に記録されたプログラムを実行することにより、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２３から読み出したプログラム等をシステムメモリ１２５に展開する。

次に、注目領域検出部１１４及び画像簡易合成部１１５の処理について詳しく説明する。なお、本実施形態では、例として注目被写体が静止しているシーンについて説明する。

まず、注目領域検出部１１４について、図２及び図３を参照しながら詳しく説明する。
図２は、撮像装置１００により異なる露出で撮像した３枚の画像の例を示す図である。図２（ａ）は低い露出で撮像した画像の一例を示し、図２（ｂ）は中程度の露出で撮像した画像の一例を示し、図２（ｃ）は高い露出で撮像した画像の一例を示し、いずれも車２０１が静止しているシーンを表している。

低い露出の場合は被写体が暗く撮像され、高い露出の場合は被写体が明るく撮像される。そのため、図２に示す車２０１の例では、低露出画像及び中露出画像では、白飛びせずに車２０１が撮像されているが、高露出画像では、露出が高過ぎるため、車２０１が白飛びしている。ハイダイナミックレンジ機能では、異なる露出の複数の画像を用い、明るい領域（白飛び等）は、低露出画像に重みを掛け、逆に、暗い領域は、高露出画像に重みを掛けて合成することにより、白飛びや暗部のノイズ感を改善することができる。

注目領域検出部１１４は、異なる露出の複数の画像のうち、少なくとも一枚の画像から注目領域を検出する。図３は、図２（ａ）の低露出画像から検出した注目領域情報の例を示す図である。図３に示す例は、車を注目領域として検出した例を表しており、白塗り領域が注目領域を示している。ここで、注目領域を検出する方法としては、既知の技術を用いるものとし、詳細な説明は省略する。既知の技術とは、例えば、顔検出技術、人体検出技術等が挙げられる。また、追尾対象の被写体や合焦対象の被写体を注目領域としてもよく、撮影者が頻繁に撮影する被写体を認識し、注目領域としてもよい。また、撮影者が操作部１２０を操作し、注目被写体を注目領域として選択できるようにしてもよい。

注目領域検出部１１４は、以上のような処理により、図３に示すような注目領域情報を算出し、システム制御部５０に出力する。なお、注目領域を検出する対象となる画像は、低露出画像に限ったものではなく、中露出画像でもよく、高露出画像でもよい。

次に、画像簡易合成部１１５について、詳しく説明する。
図４は、画像簡易合成部１１５の詳細な構成例を示すブロック図である。図４に示すように、画像簡易合成部１１５は、画素レベル合わせ部４０１、明るさ合成比率算出部４０２、合成用画像選択部４０３及び合成処理部４０４より構成されている。

図５は、画像簡易合成部１１５による合成処理手順の一例を示すフローチャートである。以下、図５のフローチャートに従って画像簡易合成部１１５の動作について説明する。

まず、ステップＳ５０１において、画素レベル合わせ部４０１は、画像処理部１０７が第一の画像処理を行った複数の画像の画素レベルを合わせる。本実施形態では、低露出画像及び中露出画像の画素レベルを増幅し、高露出画像に合わせる例について説明する。

図６は、撮像部１０３において入射する光量と信号レベルとの関係を示す図であり、低露出画像Ｅ_L、中露出画像Ｅ_M、及び高露出画像Ｅ_Hの関係を示している。撮像部１０３は、図６に示すような入射光量と信号レベルとが線形特性を持つ撮像素子を有しており、入射光量が２倍になると信号レベルも２倍となる特性がある。なお、画素レベル合わせ部４０１に入力される画像は、画像処理部１０７により第一の画像処理のみが行われた画像であり、ガンマ処理が行われていないため、図６に示すように線形特性を持つ。

撮像部１０３が露光時間を変えて異なる露出の画像を生成する場合、図６に示す例では、高露出画像Ｅ_Hの露光時間は、中露出画像Ｅ_Mの２倍の時間となる。また、高露出画像Ｅ_Hの露光時間は、低露出画像Ｅ_Lの４倍の時間となる。そのため、高露出画像Ｅ_H及び中露出画像Ｅ_Mの明るさを合わせるためには、中露出画像Ｅ_Mの信号レベルを２倍にすればよい（図６のＥ_M'）。また、高露出画像Ｅ_H及び低露出画像Ｅ_Lの明るさを合わせるためには、低露出画像Ｅ_Lの信号レベルを４倍にすればよい。

なお、画素レベルを合わせる方法としては、図６に示す例のように、必ずしも信号レベルを増幅する方式でなくてもよい。また、低露出画像及び中露出画像の画素レベルを高露出画像に合わせる方式でなくてもよい。例えば、高露出画像Ｅ_Hの信号レベルを小さくし、中露出画像Ｅ_Mと画素レベルを合わせてもよい。

次に、ステップＳ５０２において、明るさ合成比率算出部４０２は、注目領域情報と明るさを合わせた３枚の異なる露出の画像のうち、いずれかの画像に基づいて明るさ合成比率を算出する。本実施形態では、明るさを合わせた低露出画像に基づいて明るさ合成比率を算出する例について説明する。

明るさ合成比率算出部４０２は、例えば図３に示したような明るさを合わせた低露出画像の注目領域における輝度値に基づき、それぞれ図７に示すように異なる算出式にて異なる露出の画像毎に明るさ合成比率を算出する。つまり、明るさ合成比率は、注目領域の１画素ごとに算出することになる。

図７は、異なる露出の画像毎の明るさ合成比率の算出式を説明するための図であり、横軸が明るさを合わせた低露出画像の輝度値を示し、縦軸が各画像に対する明るさ合成比率を示す。図７（ａ）に、低露出画像の明るさ合成比率の算出式を示す。低露出画像は、他の露出の画像と比べ、明部は最も白飛びし難いが、暗部は最もノイズ感が大きい。そのため、低露出画像は、図７（ａ）に示すように明部の合成比率を高く制御する。また、図７（ｃ）に、高露出画像の明るさ合成比率の算出式を示す。高露出画像は、他の露出の画像と比べ、暗部は最もノイズ感が小さいが、明部は最も白飛びし易い。そのため、高露出画像は、図７（ｃ）に示すように暗部の合成比率を高く制御する。さらに図７（ｂ）に、中露出画像の明るさ合成比率の算出式を示す。中露出画像は、他の露出の画像と比べ、暗部は中程度のノイズ感、明部は中程度の白飛び具合となる。そのため、中露出画像は、図７（ｂ）に示すように中間輝度部の合成比率を高く制御する。以上のように、明るさ合成比率を制御することにより、各画像の画質の良い輝度範囲の合成比率を高くすることができる。

次に、ステップＳ５０３において、合成用画像選択部４０３は、注目領域の全ての画素で、各画像について明るさ合成比率が０％であるか否かを判定する。注目領域の全ての画素で、明るさ合成比率が０％であれば、その画像は注目領域を合成するためには不要である。例えば、図２に示すような例では、注目領域である車の輝度値は、高輝度範囲に分布し、図７に示すような輝度範囲に分布している。このような注目領域の輝度範囲では、図７（ｃ）に示すように、高露出画像の明るさ合成比率は、注目領域の全画素において０％である。そのため、高露出画像は、注目領域を合成するためには不要な画像である。

一方、図７（ａ）及び図７（ｂ）に示すように、低露出画像及び中露出画像は、注目領域の輝度範囲を鑑みると明るさ合成比率が０％よりも大きい画素が存在する。そのため、低露出画像及び中露出画像は注目領域を合成するためには必要な画像である。このように、合成用画像選択部４０３は、注目領域の明るさ合成比率に基づき、注目領域を合成するために必要な画像か否かを判定し、合成するために必要な画像を合成処理部４０４に出力する。

次に、ステップＳ５０４において、合成処理部４０４は、合成用画像選択部４０３によって選択された画像の注目領域を、明るさ合成比率算出部４０２が算出した明るさ合成比率に従って加重加算する。また、注目領域以外の領域は、加重加算処理は行わず、合成用画像選択部４０３が選択した画像のうち、例えば、低い方の露出の画像で代用するようにする。以上のように本実施形態によれば、注目領域を合成するために必要な画像に限定して合成処理を行うことにより、少ない処理量で、且つ、注目領域が高画質な合成画像を得ることができる。

なお、前述の説明では、注目領域以外は加重加算処理を行わない例について説明したが、注目領域以外も加重加算処理を行ってもよい。この場合、中露出画像の明るさ合成比率は、高露出画像の明るさ合成比率と加算した比率を用いる。このようにすることにより、本来であれば、高露出画像を出力したい画素を中露出画像の画素に置き換えて出力することができる。そのため、低露出画像及び中露出画像のみで注目領域以外の加重加算が可能となる。

また、前述の説明では、合成用画像選択部４０３は、注目領域の全画素において、明るさ合成比率が０％である場合に、その画像は注目領域を合成するために不要であると判定したが、判定基準はこれに限ったものではない。例えば、注目領域の全画素において、明るさ合成比率が所定値（例えば、１％）以下であれば、注目領域を合成するために不要であると判定してもよい。

また、本実施形態では、例えば注目領域のダイナミックレンジ（輝度範囲）が広く、注目領域の全画素において明るさ合成比率が０％になる画像がない場合は、注目領域を合成するためには異なる露出の全画像が必要となる。このような場合に、合成用画像選択部４０３は、注目領域において画像毎に明るさ合成比率を積算し、明るさ合成比率の積算値が所定値よりも小さい画像は、注目領域を合成するためには不要であると判定してもよい。また、合成用画像選択部４０３は、明るさ合成比率の積算値が大きい方から順に所定枚数の画像を選択してもよい。つまり、合成画像に対して寄与度が高い画像を優先して選択し、合成処理を行うことにより、少ない処理量で、且つ、注目領域は可能な限り高画質である合成画像を得ることができる。また、合成比率によらず、露出の低い画像から順に所定枚数を選択するようにしてもよい。

一方、注目領域の明るさ合成比率が０％を超える画像が１枚しかなかった場合は、合成処理部４０４は、加重加算処理を行わず、注目領域においてはその１枚の画像を出力するようにしてもよい。また、前述の説明では、異なる露出の画像３枚を生成し、合成する例について説明したが、撮像及び合成のシーケンスは、これに限ったものではない。例えば、異なる露出の画像３枚の撮像と合成とを１セットとし、この１セットを連続的に繰り返すことにより、動画としての合成画像を得ることができる。つまり、本実施形態は、動画としての合成画像を得る場合にも適応可能である。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態では、注目被写体が移動しているシーンで合成画像を生成する例について説明する。
図８は、本実施形態に係る撮像装置８００の構成例を示すブロック図である。以下、本実施形態に係る撮像装置８００の各構成について図８を参照しながら説明する。なお、図１と同じ符号のものは第１の実施形態と同様の処理を行うため、説明は省略する。

本実施形態では、画像簡易合成部８０１の構成及び動作が、図１における画像簡易合成部１１５と異なっている。その他の構成及び動作は、第１の実施形態と同様のため、説明は省略する。以下、本実施形態における画像簡易合成部８０１について、詳しく説明する。

まず、シーンの説明及び注目領域の検出処理について説明する。
図９は、撮像装置２００により異なる露出で撮像した３枚の画像の例を示す図である。図９（ａ）は低い露出で撮像した画像の一例を示し、図９（ｂ）は中程度の露出で撮像した画像の一例を示し、図９（ｃ）は高い露出で撮像した画像の一例を示し、いずれも車９０１が向かって右から左へ移動しているシーンを表している。なお、図９に示す例は、被写体である車９０１の位置が各画像で異なっており、それ以外は図２に示した例と同様である。

注目領域検出部１１４は、第１の実施形態と同様に、異なる露出の複数の画像のうち、少なくとも一枚の画像から注目領域を検出する。図１０は、図９（ａ）の低露出画像から検出した注目領域情報の例を示す図である。図１０に示す例は、図３と同様に、車を注目領域として検出した例を表しており、白塗り領域が注目領域を示している。注目領域を検出する方法については第１の実施形態と同様である。

注目領域検出部１１４は、以上のような処理により、図１０に示すような注目領域情報を算出し、システム制御部５０に出力する。本実施形態では、注目領域の位置が各画像で異なっているが、注目領域を検出する対象となる画像は低露出画像に限ったものではなく、中露出画像でもよく、高露出画像でもよい。例えば、最初に撮像した画像で注目領域を検出すれば、シャッターボタンを押下したタイミングに最も近い画像で検出することができる。そのため、移動している被写体を含む画像では、ユーザーの所望の位置として注目領域を検出することができる。図９に示す例では、低露出画像が最初に生成されているため、低露出画像から注目領域情報を検出するものとする。

次に、画像簡易合成部８０１について、詳しく説明する。
図１１は、画像簡易合成部８０１の詳細な構成例を示すブロック図である。図１１に示すように、画像簡易合成部８０１は、画素レベル合わせ部４０１、明るさ合成比率算出部４０２、合成用画像選択部４０３、動き合成比率算出部１１０１、最終合成比率算出部１１０２、及び合成処理部４０４より構成されている。なお、画素レベル合わせ部４０１、明るさ合成比率算出部４０２、合成用画像選択部４０３、及び合成処理部４０４は、それぞれ図４に示したものと同様である。

図１２は、画像簡易合成部８０１による処理手順の一例を示すフローチャートである。以下、図１２のフローチャートに従って画像簡易合成部８０１の動作について説明する。ここで、ステップＳ５０１、ステップＳ５０２及びステップＳ５０３の処理は、図５に示した処理と同様であるため、説明は省略する。

ステップＳ１２０１においては、動き合成比率算出部１１０１は、注目領域情報と合成用画像選択部４０３が選択した合成用画像とを入力し、選択された合成用画像間の画素の差分絶対値を算出する。そして、図１３に示すように、画像間の画素の差分絶対値に基づき、注目領域の１画素毎に動き合成比率を算出する。

図１３は、動きの合成比率の算出式を示しており、横軸が画像間の差分絶対値を示し、縦軸が各画像に対する動き合成比率を示す。図１３に示す例は、合成用画像選択部４０３が、低露出画像と中露出画像とを選択した場合の例である。図１３（ａ）には、低露出画像の動き合成比率の算出式を示す。低露出画像においては、図１３（ａ）に示すように、動きのある差分絶対値が大きい範囲では、動きの合成比率を高く制御する。一方、図１３（ｂ）には、中露出画像の動き合成比率の算出式を示す。中露出画像においては、図１３（ｂ）に示すように、差分絶対値が大きい範囲では動きの合成比率を低く制御する。

以上のように、動き合成比率を制御することにより、移動している被写体（すなわち、差分絶対値の大きい領域）は加重加算（合成）を行わずに、最も白飛びし難い低露出画像を出力する合成比率を算出することができる。そのため、移動している被写体が多重像にならず、且つ、被写体が白飛びしない合成画像を得ることができる。

次に、ステップＳ１２０２において、最終合成比率算出部１１０２は、注目領域の１画素毎に、選択された中で最も露出が低い画像の明るさ合成比率の値と動き合成比率の値とを比較する。そして、値が大きい方の合成比率を選択し、最も露出が低い画像の最終合成比率として合成処理部４０４に出力する。例えば、明るさ合成比率が８０％、動き合成比率が４０％の場合、明るさ合成比率８０％を最終合成比率として出力する。他の画像の最終合成比率は、最も露出が低い画像の合成比率の比較結果に従い、明るさ合成比率または動き合成比率を選択し、最終合成比率として合成処理部４０４に出力する。

次に、ステップＳ５０４において、合成処理部４０４は、合成用画像選択部４０３が選択した画像の注目領域を、最終合成比率算出部１１０２が算出した最終合成比率に従って加重加算する。また、注目領域以外の領域は、加重加算処理は行わず、合成用画像選択部４０３が選択した画像のうち、例えば、低い方の露出の画像で代用する。以上のように、注目領域を合成するために必要な画像に限定して合成処理を行うことにより、少ない処理量で、且つ、注目領域は高画質な合成画像を得ることができる。特に動きのある被写体については、低い露出の画像のみが選択されやすくなるため、移動している被写体が多重像にならず、且つ、被写体が白飛びしない合成画像を得ることができる。

（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態では、第２の実施形態で示した簡易合成処理を行うとともに、本合成処理を行う例について説明する。
図１４は、本実施形態に係る撮像装置１４００の構成例を示すブロック図である。なお、図１または図８と同じ符号のものは第１または第２の実施形態と同様の処理を行うため、説明は省略する。

本実施形態に係る撮像装置１４００は、図８に示した撮像装置８００と比較して、画像本合成部１４０１をさらに備えら構成となっている。その他の構成及び動作は、第１または第２の実施形態と同様のため、説明は省略する。

図１５は、本実施形態の撮像装置１４００による一連の撮影処理手順の一例を示すフローチャートである。以下、図１５のフローチャートに従って本実施形態に係る撮像装置１４００の動作について説明する。
システム制御部５０は、ユーザーから操作部１２０を介して露出の異なる複数の画像の撮影開始指示を受け付けると処理を開始し、ステップＳ１５０１において、撮影を開始する。このとき、撮像部１０３は、異なる露出の複数の画像を生成するものとする。また、このように生成された複数の画像は、画像処理部１０７により第一の画像処理が施され、画像メモリ１０８に格納されるものとする。

続いてステップＳ１５０２において、画像簡易合成部８０１は、第２の実施形態で説明した手順により異なる露出の複数の画像を簡易合成し、メモリ制御部１０９を介して画像メモリ１０８に記録する。さらに、画像メモリ１０８に記録した簡易合成画像を、メモリ制御部１０９を介して、表示部１１１に表示する。このとき、簡易合成画像のデータに対して、画像処理部１０７により第二の画像処理を施し、システム制御部５０により、第二の画像処理が施された簡易合成画像を記録媒体１１２に記録してもよい。

次に、ステップＳ１５０３において、システム制御部５０は、撮像部１０３で生成した異なる露出の複数の画像のデータを記録Ｉ／Ｆ１１３を介して、記録媒体１１２に記録する。なお、画像メモリ１０８に格納されている、画像処理部１０７が第一の画像処理を行った画像データをそのまま記録媒体１１２に記録してもよい。

ステップＳ１５０４において、システム制御部５０は、ユーザーから操作部１２０を介して撮影終了指示を受け付けたか否かを判定する。この判定の結果、撮影終了指示を受け付けていない場合はステップＳ１５０１に戻り、引き続き撮影を行う。一方、撮影終了指示を受け付けた場合は撮影を終了し、次のステップＳ１５０５に進む。

次に、ステップＳ１５０５において、画像本合成部１４０１は、記録媒体１１２から異なる露出の複数の画像のデータを入力し、本合成処理を行う。画像本合成部１４０１の動作の詳細については後述する。そして、ステップＳ１５０５において、画像本合成部１４０１は、本合成処理を行った本合成画像のデータを、記録Ｉ／Ｆ１１３を介して記録媒体１１２に記録する。

次に、本実施形態における画像本合成部１４０１について、詳しく説明する。
図１６は、画像本合成部１４０１の詳細な構成例を示すブロック図である。図１６に示すように、画像本合成部１４０１は、画像簡易合成部８０１と同様に、画素レベル合わせ部４０１を備えている。さらに、明るさ合成比率算出部１６０１、第一動き合成比率算出部１６０２、第一最終合成比率算出部１６０３、第一合成処理部１６０４、第二動き合成比率算出部１６０５、第二最終合成比率算出部１６０６及び第二合成処理部１６０７を備えている。

図１７は、画像本合成部１４０１による処理手順の一例を示すフローチャートである。以下、図１７のフローチャートに従って画像本合成部１４０１の動作について説明する。ここで、ステップＳ５０１の処理は、図５に示した処理と同様であるため、説明は省略する。

次に、ステップＳ１７０１において、明るさ合成比率算出部１６０１は、明るさを合わせた３枚の異なる露出画像のうち、いずれか１つの画像に基づいて明るさ合成比率を算出する。本実施形態では、明るさを合わせた低露出画像に基づき明るさ合成比率を算出する例について説明する。明るさ合成比率算出部１６０１は、明るさを合わせた低露出画像における輝度値に基づき、それぞれ図７に示すように異なる算出式にて異なる露出の画像毎に明るさ合成比率を算出する。つまり、明るさ合成比率は、画像全体領域の１画素ごとに算出することになる。この点が、画像簡易合成部８０１の明るさ合成比率算出部４０２の処理と異なっている。図７に示した明るさ合成比率の算出式については、第１の実施形態と同様のため説明を省略する。

次に、ステップＳ１７０２において、第一動き合成比率算出部１６０２は、明るさを合わせた低露出画像と中露出画像とを入力し、これらの画像間の画素の差分絶対値を算出する。そして、図１３に示すように、画像間の画素の差分絶対値に基づき、画像全体領域の１画素毎に第一動き合成比率を算出する。なお、図１３に示した動き合成比率の算出式については、第２の実施形態と同様のため、説明を省略する。

続いてステップＳ１７０３において、第一最終合成比率算出部１６０３は、低露出画像の画像全体領域に対し、１画素毎に明るさ合成比率と第一動き合成比率とを比較する。そして、値が大きい方の合成比率を選択し、低露出画像の第一最終合成比率として第一合成処理部１６０４に出力する。そして、中露出画像の合成比率は、低露出画像の合成比率の比較結果に従い、明るさ合成比率若しくは第一動き合成比率のいずれかを選択し、第一最終合成比率として第一合成処理部１６０４に出力する。

次に、ステップＳ１７０４において、第一合成処理部１６０４は、低露出画像及び中露出画像の画像全体を、第一最終合成比率算出部１６０３によって選択された第一最終合成比率に従って加重加算し、第一合成画像を生成する。

次に、ステップＳ１７０５において、第二動き合成比率算出部１６０５は、高露出画像と第一合成処理部１６０４によって合成された第一合成画像とを入力し、これらの画像間の画素の差分絶対値を算出する。そして、図１３に示すように画像間の画素の差分絶対値に基づき、画像全体領域の１画素毎に第二動き合成比率を算出する。図１３に示した動き合成比率の算出式については、第２の実施形態と同様のため説明を省略する。

そして、ステップＳ１７０６において、第二最終合成比率算出部１６０６は、低露出画像の画像全体領域の１画素毎に明るさ合成比率とステップＳ１７０５で算出された第二動き合成比率とを比較する。そして、値が大きい方の合成比率を選択し、第一合成画像の第二最終合成比率として第二合成処理部１６０７に出力する。そして、高露出画像の合成比率は、第一合成画像の合成比率の比較結果に従い、明るさ合成比率若しくは動き合成比率のいずれかを選択し、第二最終合成比率として第二合成処理部１６０７に出力する。

そして、ステップＳ１７０７において、第二合成処理部１６０７は、第一合成画像と高露出画像との画像全体領域を、第二最終合成比率算出部１６０６が算出した第二最終合成比率に従って加重加算し、最終的な合成画像を生成する。以上のように本実施形態によれば、撮影処理が終了した後に本合成処理を行うようにしたので、シャッターチャンスを逃さずに、より高画質な合成画像を得ることができる。本実施形態では、３つの露出の異なる画像を合成する例について説明したが、４つ以上の異なる画像を合成する場合には、さらに第三、第四、というように多段階で合成すればよい。

なお、画像簡易合成部８０１及び画像本合成部１４０１が合成に用いる画像の解像度は、互いに異なっていてもよい。つまり、画像簡易合成部８０１が合成に用いる画像は、表示部１１１に表示するための解像度の小さい画像とすることにより、より処理量を少なくすることができる。

また、本実施形態では、撮像装置１４００が、画像簡易合成部８０１と画像本合成部１４０１との両方を含む構成の例を説明したが、構成はこれに限ったものではない。例えば、撮像装置１４００は、画像簡易合成部８０１のみ含む構成とし、画像本合成部１４０１は、撮像装置１４００とは別の外部の画像処理装置が持つ構成にしてもよい。この場合、撮像装置１４００は、記録媒体１１２に記録される画像データを不図示の通信部から外部の画像処理装置に転送し、外部の画像処理装置が本合成処理を行う画像合成システムを構成することになる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

５０ システム制御部
１０３ 撮像部
１１４ 注目領域検出部
１１５ 画像簡易合成部

Claims (18)

1. 異なる撮像条件で被写体を撮像して複数の画像を生成する撮像手段と、
   前記撮像手段により生成された画像から前記被写体を含む注目領域を検出する検出手段と、
   前記検出手段によって検出された注目領域において、前記複数の画像の合成比率を算出する算出手段と、
   前記算出手段によって算出された合成比率に基づいて、前記複数の画像の中から画像合成に用いる画像を選択する選択手段と、
   前記選択手段によって選択された画像を用いて、前記注目領域及び前記注目領域以外の領域を含む領域に対応する合成画像を生成する合成手段とを備えることを特徴とする画像合成装置。
2. 前記撮像手段は、異なる露出で複数の画像を生成することを特徴とする請求項１に記載の画像合成装置。
3. 前記算出手段は、画像の明るさに基づいて合成比率を算出することを特徴とする請求項１又は２に記載の画像合成装置。
4. 前記算出手段は、さらに画像間の動きに基づいて合成比率を算出することを特徴とする請求項３に記載の画像合成装置。
5. 前記算出手段は、前記選択手段によって選択された画像間の動きに基づいて合成比率を算出することを特徴とする請求項４に記載の画像合成装置。
6. 前記合成手段は、前記画像の明るさに基づく合成比率または前記画像間の動きに基づく合成比率に基づいて合成することを特徴とする請求項４又は５に記載の画像合成装置。
7. 前記算出手段は、前記画像の明るさに基づく合成比率については、前記注目領域における輝度値が大きいほど露出の低い画像の合成比率を高く算出することを特徴とする請求項３〜６の何れか１項に記載の画像合成装置。
8. 前記算出手段は、前記画像間の動きに基づく合成比率については、画素の差分絶対値が大きいほど露出の低い画像の合成比率を高く算出することを特徴とする請求項４〜６の何れか１項に記載の画像合成装置。
9. 前記選択手段は、前記合成比率が０％よりも大きい画像を選択することを特徴とする請求項１〜８の何れか１項に記載の画像合成装置。
10. 前記選択手段は、前記合成比率が０％よりも大きい画像が所定の枚数を超える場合は、前記合成比率が０％よりも大きい画像の中から前記所定の枚数を選択することを特徴とする請求項９に記載の画像合成装置。
11. 前記選択手段は、前記注目領域において明るさに基づく合成比率を各画像で積算し、前記積算した値が大きい方から順に前記所定の枚数を選択することを特徴とする請求項１０に記載の画像合成装置。
12. 前記選択手段は、露出の低い画像から順に前記所定の枚数を選択することを特徴とする請求項１０に記載の画像合成装置。
13. 前記合成手段は、前記注目領域においては前記合成比率に基づいて合成し、前記注目領域以外の領域においては、前記複数の画像のうちの１つの画像で代用することを特徴とする請求項１〜１２の何れか１項に記載の画像合成装置。
14. 異なる撮像条件で被写体を撮像して複数の画像を生成する撮像手段と、
    前記撮像手段により生成された画像から前記被写体を含む注目領域を検出する検出手段と、
    前記検出手段によって検出された注目領域において、前記複数の画像の合成比率を算出する算出手段と、
    前記算出手段によって算出された合成比率に基づいて、前記複数の画像の中から画像合成に用いる画像を選択する選択手段と、
    前記選択手段によって選択された画像を用いて、前記注目領域及び前記注目領域以外の領域を含む領域に対応する合成画像を生成する第１の合成手段と、
    前記撮像手段によって生成された複数の画像を記録媒体に記録する記録手段と、
    前記記録媒体に記録された複数の画像に対して画像全体で合成比率を算出して合成する第２の合成手段とを備えることを特徴とする画像合成システム。
15. 異なる撮像条件で被写体を撮像して複数の画像を生成する撮像工程と、
    前記撮像工程において生成された画像から前記被写体を含む注目領域を検出する検出工程と、
    前記検出工程において検出された注目領域において、前記複数の画像の合成比率を算出する算出工程と、
    前記算出工程において算出された合成比率に基づいて、前記複数の画像の中から画像合成に用いる画像を選択する選択工程と、
    前記選択工程において選択された画像を用いて、前記注目領域及び前記注目領域以外の領域を含む領域に対応する合成画像を生成する合成工程とを備えることを特徴とする画像合成方法。
16. 異なる撮像条件で被写体を撮像して複数の画像を生成する撮像工程と、
    前記撮像工程において生成された画像から前記被写体を含む注目領域を検出する検出工程と、
    前記検出工程において検出された注目領域において、前記複数の画像の合成比率を算出する算出工程と、
    前記算出工程において算出された合成比率に基づいて、前記複数の画像の中から画像合成に用いる画像を選択する選択工程と、
    前記選択工程において選択された画像を用いて、前記注目領域及び前記注目領域以外の領域を含む領域に対応する合成画像を生成する第１の合成工程と、
    前記撮像工程において生成された複数の画像を記録媒体に記録する記録工程と、
    前記記録媒体に記録された複数の画像に対して画像全体で合成比率を算出して合成する第２の合成工程とを備えることを特徴とする画像合成方法。
17. 異なる撮像条件で被写体を撮像して複数の画像を生成する撮像工程と、
    前記撮像工程において生成された画像から前記被写体を含む注目領域を検出する検出工程と、
    前記検出工程において検出された注目領域において、前記複数の画像の合成比率を算出する算出工程と、
    前記算出工程において算出された合成比率に基づいて、前記複数の画像の中から画像合成に用いる画像を選択する選択工程と、
    前記選択工程において選択された画像を用いて、前記注目領域及び前記注目領域以外の領域を含む領域に対応する合成画像を生成する合成工程とをコンピュータに実行させることを特徴とするプログラム。
18. 異なる撮像条件で被写体を撮像して複数の画像を生成する撮像工程と、
    前記撮像工程において生成された画像から前記被写体を含む注目領域を検出する検出工程と、
    前記検出工程において検出された注目領域において、前記複数の画像の合成比率を算出する算出工程と、
    前記算出工程において算出された合成比率に基づいて、前記複数の画像の中から画像合成に用いる画像を選択する選択工程と、
    前記選択工程において選択された画像を用いて、前記注目領域及び前記注目領域以外の領域を含む領域に対応する合成画像を生成する第１の合成工程と、
    前記撮像工程において生成された複数の画像を記録媒体に記録する記録工程と、
    前記記録媒体に記録された複数の画像に対して画像全体で合成比率を算出して合成する第２の合成工程とをコンピュータに実行させることを特徴とするプログラム。