JP6046966B2 - 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、露出を変えて撮影した複数枚の画像を合成することで幅広いダイナミックレンジを持つ画像を生成する技術に関する。

白飛びが少ない画像と黒潰れが少ない画像を、露光条件を変えて複数枚撮影し、これらを合成することで幅広いダイナミックレンジを持つ画像を生成する手法がある。これはハイダイナミックレンジ（ＨＤＲ）合成と呼ばれている。このＨＤＲ合成処理は、複数枚の画像間に撮影タイミングのズレが生じるため、移動被写体を撮影するには不向きとされ、移動被写体の位置に応じて輝度が異なっている非常に違和感のある合成画像が生成されてしまう。

このような課題を解決する方法が、例えば、特許文献１、２に記載されている。

特許文献１では、異なる露光量で撮像された複数の画像を比較して動きベクトルを算出し、算出した動きベクトルの大きさが所定の閾値を超える場合に、合成不適合部を有すると判定する。そして、合成不適合部の画素信号を、合成不適合部ではない画素信号に基づいて補正する。

また、特許文献２には、異なる露出で撮影された複数の画像間の位置ずれを検出・補正し、位置ずれ補正後に画像間の個々の部分の類似性を評価し、類似性評価に応じて画像合成方法を変更する方法が記載されている。これにより、カメラが動いたことによる位置ずれや、被写体が動いたことによる被写体ぶれが少ない画像を作成することができる。さらに、特許文献２では、類似性に応じて合成するか否かを決定するため、処理負荷を軽減して、被写体ぶれが少ない画像を作成できることが記載されている。

特許第４２８２１１３号公報 特許第４５５３９４２号公報

上記特許文献１及び２はいずれも、移動被写体の領域を基本的には他の画像１枚で置き換える処理であり、移動被写体の位置に応じて輝度が異なることのない自然な画像を得ることを狙っている。しかしながら、これらの手法は移動被写体の領域を間違えることなく正確に抽出できていることが前提となっている。２枚の画像間で移動被写体領域を抽出する方法は幾つか考えられるが、カメラにはメモリや処理速度の制約があるため、複雑な処理は現実的ではない。

そこで、２枚の画像の差分を求め、差分がある領域を移動被写体であると判定する方法も知られており、差分として輝度差分や色差差分などが利用される。ところが、どちらの差分の場合であっても移動被写体の色と背景色が似通ったシーンでは移動しているにも関わらず移動していないと誤検出されてしまい領域が移動被写体に部分的に出現してしまう可能性がある。このような誤検出領域は、移動被写体領域として扱われないため、周辺の領域と色、輝度、ノイズ感などが異なってしまい、非常に違和感のある合成画像となってしまう。

本発明は、上記課題に鑑みてなされ、その目的は、移動被写体であっても違和感のない自然な画像を生成することができるハイダイナミックレンジ合成処理を実現することである。

上記課題を解決し、目的を達成するために、本発明は、露出を変えて撮像される複数枚の画像を合成する画像処理装置において、前記複数枚の画像間の位置ずれ量を検出する位置ずれ検出手段と、前記位置ずれ検出手段により検出された位置ずれ量から画像間の位置ずれを補正する補正手段と、露出がアンダーの画像と露出が適正な画像の検出結果と、露出がアンダーの画像とオーバーの画像の検出結果とを合成することによって、前記複数枚の画像から移動体領域を検出する移動体領域検出手段と、前記位置ずれが補正された複数枚の画像を合成する画像合成手段と、前記画像合成手段により合成された合成画像の前記移動体領域に対応する領域を前記複数枚の画像を重みづけして加算した画像に置き換える移動体処理手段と、を有する。

本発明によれば、移動被写体であっても違和感のない自然な画像を生成することができる。

本発明に係る実施形態の撮像装置の構成を示すブロック図。 本実施形態の現像処理部の構成を示すブロック図。 本実施形態のＨＤＲ合成処理を示すフローチャート。 ガンマ特性を例示する図。 図３の位置ずれ検出処理を示すフローチャート。 位置ずれ検出結果を例示する図。 本実施形態の移動体領域検出部の構成を示すブロック図。 移動体領域検出結果を例示する図。 本実施形態の移動体領域合成部の構成を示すブロック図。 ＨＤＲ合成割合を示す図。 本実施形態のＨＤＲ合成処理結果を例示する図。 実施形態３の移動体表現方法の選択処理を説明する図。 実施形態３の移動体表現方法の選択画面を例示する図。 実施形態４の移動体表現方法の選択処理を示すフローチャート。 実施形態６の移動体処理部での画像合成順序を例示する図。 加重加算ＨＤＲ１合成割合を示す図。 加重加算ＨＤＲ２合成割合を示す図。 加重加算ＨＤＲ３合成割合を示す図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明の画像処理装置を、例えば、画を撮影するデジタルカメラなどの撮像装置に適用した実施形態について説明する。なお、本発明は、撮影レンズを介して撮影された、複数の色プレーンからなる画像に対し適用できるため、本発明の対象となる画像は、ＲＡＷデータや、現像処理後のＪＰＥＧなどに限定されるものではない。

＜装置構成＞図１乃至図３を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、１２１０は撮像装置全体の制御を司る制御部である。制御部１２１０は後述する各部を制御して、ユーザの設定と操作に応じてＨＤＲ合成処理を行う。１２００はユーザ操作や外部入力などを受け付けるＩＦ（インタフェース）部である。１２２０は後述するＨＤＲ合成処理に関するプログラムやパラメータ、処理対象の画像データを保持するメモリ部である。図３で後述するＨＤＲ合成処理は、制御部１２１０が、メモリ部１２２０に格納されたプログラムを、ＲＡＭ等のワークエリアに展開し、実行することで実現される。

撮像部１０００では、結像光学系（レンズ）を介して入射する被写体像を撮像素子上に結像して光電変換し、撮像素子から出力されるアナログ信号を、後述する画像処理に適するデジタルデータへと変換する（Ｓ１）。撮像素子は、例えば、一般的な原色カラーフィルタを備えるＣＭＯＳなどから構成される単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つＲ（赤）、Ｇ（緑）、Ｂ（青）の３種類の色フィルタからなり、Ｒ、Ｇ、Ｂの各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、これらの色フィルタを画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける強度を得ることしかできない。このため撮像素子からは色モザイク画像が出力される。Ａ／Ｄ変換部は撮像素子からアナログ信号として出力される色モザイク画像を、画像処理に適するデジタル画像データへと変換する。

アンダー、適正、オーバーの各現像処理部１０１０〜１０３０は入力信号が異なるためパラメータなどを各々最適化する必要があるが基本的な処理としては同様である（Ｓ２Ａ〜Ｓ２Ｃ）。

ホワイトバランス部１０１１では、ホワイトバランス処理が施される。具体的には、白色であるべき領域のＲ、Ｇ、Ｂが同じ信号値になるようなゲインがＲＧＢ各々にかけられる。ノイズ低減部１０１２では入力画像データの被写体像に由来しないセンサ起因のノイズなどを低減する。色補間部１０１３では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部１０１４及びガンマ変換部１０１５によって基本的なカラー画像が生成される。その後、色調整部１０１６でカラー画像の見栄えを改善するための処理が施され、例えば、彩度強調、色相補正、エッジ強調といった画像補正が行われる。

ハイダイナミックレンジ（ＨＤＲ）合成を行う際には、異なる露出で撮影した画像の各々の適正露出付近の信号を使用するために予めゲインをかけて輝度レベルを揃えておく必要がある。ゲインは白飛びや黒潰れをしないように設定する必要があるため一律なゲインではなく、図４に例示するようなガンマ値で補正を行う。ここで実線（ｉ）は適正画像用のガンマ値、一点鎖線（ｉｉ）はアンダー画像用のガンマ値、点線（ｉｉｉ）はオーバー画像用のガンマ値をそれぞれ例示している。ガンマ変換部１０１５はこれらガンマ値を用いてガンマ補正を行う。また、ガンマ値については、露光量比から算出されるゲインをかけたときに、例えば±３ＥＶの撮影露出差の場合は、アンダーに対して８倍のゲイン、オーバーに対して１／８倍のゲインをかけたときに、ガンマ特性が同じになるように設定する。こうすることで、後に、輝度域に応じて複数枚の画像を切り替えたときに、境界を滑らかにすることができる。そして、図４に示すガンマ特性を見てわかるように、アンダー画像に対しては適正よりも大きいゲインがかかるため、現像処理後のアンダー画像はノイズが増大されることが懸念される。一方、オーバー画像に対しては適正露出よりも小さいゲインがかかり、現像処理後のオーバー画像はノイズの低減が見込めるため、必要以上に強いノイズ低減処理をかけることは相応しくない。そこで、ノイズ低減部１０１２では入力画像に応じて適切なノイズ低減を行うためノイズ低減処理の強度を画像毎に切り替える。ノイズ低減処理の具体的な方法は、適当なカーネルサイズにおける平滑化処理などの一般的な方法や、εフィルタやエッジ保存型のバイラテラルフィルタといったフィルタによる方法などが考えられる。本実施形態では、システムの処理速度やメモリといったリソースとのバランスを考慮して適宜適切な方法を適用すればよい。

位置ずれ検出部１０４０は、制御部１２１０の指示に従い、現像処理を行ったアンダー画像と適正画像の位置ずれの検出、並びにアンダー画像とオーバー画像の位置ずれの検出を行う（Ｓ３Ａ、Ｓ３Ｂ）。ここでは、まず各画像を複数個のブロック領域に分割して、それぞれのブロック毎にエッジ検出処理を行う（図５のステップＳ４１）。エッジ検出方法として、入力画像にローパスフィルタをかけることで大ボケ画像を作成し、入力画像から大ボケ画像を減算することでエッジを検出する。もしくは、公知の微分フィルタやプリューウィットフィルタなどを用いる方法が考えられる。エッジ検出では、センサ起因のノイズではなく、被写体像のエッジのみを検出した方が位置ずれ検出精度を向上することができる。

次に、位置ずれ検出部１０４０は、画像のブロック領域の中でエッジ検出ができたブロック領域に対してずれ量検出を行う（図５のステップＳ４２）。エッジ検出ができたブロック領域に対してのみずれ量を検出することで、位置ずれ検出精度を向上することができる。ずれ量検出方法としては、ブロック領域内の全画素の位置基準用画像の画素値（輝度）と位置ずれ検出画像の画素値（輝度）の差の絶対値の総和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出し、この総和が最も小さくなるような移動量と移動方向をそのブロックの動きベクトルとする方法がある。図６はずれ量検出方法を例示している。図６（ａ）は、位置基準画像の対象ブロック領域の画素値を示している。

一方、図６（ｂ）は、位置ずれ検出画像の画素値を示している。図６の場合、画素値の差の絶対値が最も小さくなる移動量は、（ｘ、ｙ）＝（１、２）と求まる。同様の処理を画像の全ブロック領域に対して行い、全てのブロック領域の動きベクトルを求める。ずれ量検出では、位置基準用画像と位置ずれ検出画像の同じ被写体領域が同じ明るさである方が位置ずれ検出精度を向上することができる。

最後に、位置ずれ検出部１０４０は、幾何変換係数を算出する（図５のステップＳ４３）。幾何変換係数としてはアフィン係数を用いる。アフィン係数とは線形変換と平行移動を組み合わせたアフィン変換に用いる行列であり、以下の式１で表される。

ここで、補正前画像の座標を（ｘ、ｙ）、補正後画像の座標を（ｘ’、ｙ’）とし、３×３行列をアフィン係数と呼ぶ。各ブロック領域から求めた動きベクトルを用いて、アフィン係数を求める。

以上が、位置ずれ検出部１０４０における位置ずれ検出方法であるが、本発明は、これに限定するものではない。位置ずれ検出方法としては、周波数解析から２枚の画像のずれ量を検出するなど、他にもさまざまな方法があるが、位置ずれ検出精度や検出処理負荷、処理速度など、デジタルカメラに適した方法であれば適用可能である。

図３の説明に戻り、位置ずれ補正部１０５０は、上記位置ずれ検出処理で算出したアフィン係数に基づいて、適正画像及びオーバー画像を補正（アフィン変換）する（Ｓ４Ａ、Ｓ４Ｂ）。

移動体領域検出部１０６０は、アンダー画像及び、位置合わせ後の適正画像、オーバー画像を用いて移動被写体領域の検出を行う（Ｓ５Ａ、Ｓ５Ｂ）。図７は移動体領域検出部１０６０の構成を示している。図７において、基準画像１０６１はアンダー画像であり、図８（ａ）のようなシーンであるとする。一方、位置合わせ済み画像１０６２は位置合わせ済み適正画像もしくは位置合わせ済みオーバー画像であり、図８（ｂ）のように（ａ）に対して少しだけ右側に移動したシーンとする。動体検出部１０６３は、基準画像１０６１と位置合わせ済み画像１０６２から動体領域を検出する。動体領域を検出する方法としては幾つか考えられるが、例えば２つの画像間の差分を取る方法が考えられる。差分Ｄｉｆｆは色及び輝度信号を用いて以下の式２で算出する。

ここでＹは輝度信号、Ｕ、Ｖは色信号を表わす。従って差分Ｄｉｆｆは色差を意味する。

次に、白飛び黒潰れ領域除外部１０６４は、差分Ｄｉｆｆに対して、アンダー画像や適正画像の黒潰れ輝度域及び、適正画像やオーバー画像の白飛び輝度域を除外する。これは白飛びや黒潰れ領域が動体検出部１０６３の検出結果に差分として現れ、移動体領域と誤判定されることを防止する目的で行う。基準画像１０６１から黒潰れ輝度ｔｈ１以下の信号の領域と位置合わせ済み画像１０６２の白飛び輝度ｔｈ２以上の信号の領域を差分Ｄｉｆｆから除外（信号値を０にする）する。結果は図８（ｃ）のようになる。

その後、差分Ｄｉｆｆの結果を参照しながら移動体領域を補正する処理に移行するが、それに先立って差分Ｄｉｆｆから誤検出による、極小な移動体や移動体内の非移動体などの孤立領域を孤立領域除去部１０６５により除去しておく。これにより移動体領域の境界を滑らかで自然な描写にすることができる。孤立領域を除去する方法は幾つか考えられるが、例えば差分Ｄｉｆｆを縮小及び拡大することを考える。縮小の段階で移動体と誤判定された小さな領域を除去することができ、元のサイズに拡大する段階で、移動体領域の内部に存在する非移動体領域を収縮することができる。他にも周辺画素を使ったフィルタ処理などで高精度な孤立領域除去する方法はあるが、縮小・拡大は処理負荷があまりかからないためリソースの限られているカメラ内での処理としては有効な手段である。以上の移動体領域検出処理により抽出された移動体領域は図８（ｄ）のようになる。画像信号は非移動体領域が０として表わされ、移動体領域が２５５（８ｂｉｔの場合）として表わされる。移動体領域と非移動体領域の境界については、１〜２５４の間で表わされる。

次に、移動体領域合成部１０７０は、移動体領域検出部１０６０から出力される、アンダー画像と適正画像の移動体領域と、アンダー画像とオーバー画像の移動体領域とを合成する（Ｓ６）。図９は移動体領域合成部１０７０の構成を示している。図９において、アンダー画像と適正画像の移動体検出画像１（１０７１）と、アンダー画像とオーバー画像の移動体検出画像２（１０７２）を大値選択部１０７３にて大値選択する。移動体領域は１以上の信号で表わされているため大値選択をすることで、全ての移動体領域を検出した画像を得ることができる。

一方、画像合成部１０８０は、アンダー画像と位置合わせ済みの適正画像・オーバー画像を用いて別途、図１０に示す合成割合に従って輝度別合成処理を行い、ＨＤＲ合成画像を生成する（Ｓ７）。ＨＤＲ合成画像を取得するためには、合成基準輝度閾値Ｙ１より暗い領域はオーバー画像を使用し、合成基準輝度閾値Ｙ２〜Ｙ３の輝度域は適正画像を使用し、合成基準輝度閾値Ｙ４より明るい領域はアンダー画像を使用する。また、合成基準輝度閾値付近の境界Ｙ１〜Ｙ２及びＹ３〜Ｙ４の中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。

最後に、移動体処理部１０９０は、移動体領域検出画像を参照しながらＨＤＲ合成画像内の移動体領域を修正する（Ｓ８）。前述したように、移動体領域を正確に抽出しアンダー画像のみで置き換える処理は、リソースの限られたカメラ内で行うことは難しい。そこで、移動体領域はアンダー画像、適正画像、オーバー画像を加重加算した画像で置き換えることを考える。基本的には白飛びの程度が最も少ないアンダー画像を優先的に使うが、アンダー画像の色曲がりやノイズといった画質劣化の程度に応じて適正画像及びオーバー画像を少しミックスする。そこで、ハイダイナミックレンジにおけるアンダーとオーバーの撮影露出幅に着目する。アンダー画像の画質は画像処理の過程でかかるゲインの量に関連する。例えばＨＤＲ合成において、撮影露出幅が狭め（±１ＥＶ）、標準（±２ＥＶ）、広め（±３ＥＶ）のようにユーザ設定の選択肢がある場合、狭めのアンダー露出（−１ＥＶ）にかかるゲインと比較して広めのアンダー露出（−３ＥＶ）にかかるゲインの方が大きい。このため、色曲がりやノイズは広めのアンダー露出の方が悪い。従って、移動体領域の最終的な画像信号Ｓは次の式で算出される。
Ｓ＝αＬｏｗ＋βＭｉｄ＋γＨｉ
α＋β＋γ＝１
アンダー（Ｌｏｗ）と適正（Ｍｉｄ）とオーバー（Ｈｉ）の加重加算の割合を下記に例示する。

上記撮影露出幅設定に対応した移動体の描写例を図１１に示す。±１ＥＶは（ａ）、±２ＥＶは（ｂ）、±３ＥＶは（ｃ）のように描写される。なお、ユーザ設定情報は、制御部１２１０が図１のＩ／Ｆ部１２００から取得する。

上述した実施形態１では、移動体領域をアンダー画像１枚で置き換えるのではなく、アンダー画像、適正画像、オーバー画像を加重加算した多重画像で置き換えるため、移動体領域の検出精度に依らず自然な描写を得ることができる。さらに、アンダー画像の画質を考慮することでなるべく白飛びリスクの低いアンダー画像を優先的に使用することが可能となる。

また、実施形態１では、位置ずれ検出や移動体領域検出の基準画像をアンダー画像としたが、検出精度が適正画像やオーバー画像を基準画像とした方が適切な場合は適正画像やオーバー画像でも構わない。同様に、合成基準画像をアンダー画像としたが、ＨＤＲ合成画像の画質に応じて適正画像やオーバー画像を合成基準画像としても良い。

［実施形態２］上述した実施形態１ではＨＤＲ合成でのユーザ設定項目である撮影露出幅に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定した。これに対して、実施形態２では、適正のＩＳＯ感度に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定する。

なお、実施形態２における撮像装置の構成は、図１と同様であるため説明を省略し、実施形態１と異なる点について説明する。実施形態２では移動体処理部１０９０が実施形態１と異なっている。

ＨＤＲ合成で対象とするシーンは、逆光のような日中のシーンだけに限らず、夜景のネオンなど暗いシーンもありうる。暗いシーンでは撮影時のＩＳＯ感度を上げなければならないため、アンダー、適正、オーバーの各画像に乗るノイズ量も増大してしまう。ノイズに対しては図２のノイズ低減部１０１２にて適切なノイズ低減処理を行うが、高ＩＳＯ感度ではそれだけでは不十分である。そこで、以下の表のようにＩＳＯ感度に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定する。

以上の実施形態２では、ＩＳＯ感度に応じて、移動体領域を構成するアンダー画像、適正画像、オーバー画像の加重加算割合を決定するため、高いＩＳＯ感度になっても、アンダーの画質の劣化が目立たなくなる。なお、ＩＳＯ感度情報は撮影時情報として撮影直後にメモリ部１２２０に格納しておき、制御部１２１０により読み出される。

［実施形態３］上述した実施形態１では、ＨＤＲ合成でのユーザ設定項目である撮影露出幅設定に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定していた。また、上述した実施形態２では、適正のＩＳＯ感に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定していた。これに対して、本実施形態では、ＨＤＲ合成でのユーザ設定項目である移動体表現方法に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定する。

なお、実施形態３における撮像装置の構成は、図１と同様であるため説明を省略し、実施形態１、２と異なる点について説明する。実施形態３では移動体処理部１０９０が実施形態１、２と異なっている。

まず、図１２を参照して、本実施形態のユーザ設定項目である移動体表現方法について説明する。図１２（ａ）の１２０１〜１２０３は、移動している被写体を順に撮影した１枚目（適正画像）と２枚目（アンダー画像）と３枚目（オーバー画像）の画像をそれぞれ示している。また、図１２（ｂ）〜（ｆ）は、アンダー画像、適正画像、オーバー画像の加重加算割合を変更することで実現できる移動体表現方法を例示している。

本実施形態では、図１２（ｂ）のような、撮影を始めた瞬間（撮影時刻が最も早い１枚目）の移動体を最もはっきりと写す、長時間露光中にストロボを先幕シンクロ撮影したような表現方法を、先幕シンクロ風と呼ぶ。また、図１２（ｃ）のような、撮影を終えた瞬間（撮影時刻が最も遅い３枚目）の移動体を最もはっきりと写す、長時間露光中にストロボを後幕シンクロ撮影したような表現方法を、後幕シンクロ風と呼ぶ。また、図１２（ｄ）のような、撮影中（１枚目〜３枚目）の移動体をどの瞬間も均等に写す、長時間露光中にストロボをマルチ発光撮影したような表現方法を、マルチ発光風Ａと呼ぶ。また、図１２（ｅ）のような、撮影の中間地点（２枚目）の移動体を最もはっきりと写す表現方法を、マルチ発光風Ｂと呼ぶ。また、図１２（ｆ）のような、撮影の中間地点（２枚目）の移動体だけを写す表現方法を、ブレ軽減と呼ぶ。これらの移動体表現方法から、ユーザが所望の表現方法を、移動体の大きさや移動速度、移動方向などの特徴情報から選択できるようにすることで、ユーザによる移動体表現方法の選択の幅を広げることができる。

そこで、表３のようにユーザが選択した移動体表現方法に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定する。

なお、移動体表現方法のバリエーションは、アンダー画像、適正画像、オーバー画像の加重加算割合を変更することで他にもいくつか考えられるので、上述の５種類に限定されるものではない。

上述した実施形態３では、ＨＤＲ合成でのユーザ設定項目である移動体表現方法に応じて、移動体領域を構成するアンダー画像、適正画像、オーバー画像の加重加算割合を決定する。このため、ユーザの移動体表現方法をＨＤＲ合成画像に反映することができる。なお、ユーザ設定情報は、Ｉ／Ｆ部１２００がユーザによる選択操作を受け付けることで制御部１２１０が取得する。また、ユーザ設定情報を取得するタイミングは、撮影前でも構わないが、撮影後のＨＤＲ合成画像を確認しながらユーザが情報を入力したタイミングでも良い。

図１３は、本実施形態のユーザが移動体表現方法を選択するためのＵＩ画面を例示している。このＵＩ画面は、制御部１２１０によりＩ／Ｆ部１２００を介して表示部などに表示される。なお、図１３に示すように、移動体表現方法の選択だけでなく、位置ずれ補正部１０５０で位置ずれの補正を行うか否か、移動体領域合成部１０７０で移動体領域の合成を行うか否かを選択可能に構成しても良い。

［実施形態４］上述した実施形態３では、ユーザ設定項目である移動体表現方法に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定していた。これに対して、本実施形態では、制御部１２１０が移動体の特徴情報に応じて移動体表現方法を自動的に設定する。

なお、実施形態４における撮像装置の構成は、図１と同様であるため説明を省略し、実施形態３と異なる点について説明する。

図１４は、本実施形態の移動体の特徴情報に応じて移動体表現方法を自動的に設定する処理を示しており、この処理は、制御部１２１０が、メモリ部１２２０に格納されたプログラムを、ＲＡＭ等のワークエリアに展開し、実行することで実現される。

図１４において、移動体領域検出部１０６０において、移動体領域が画像に占める割合が閾値以下、例えば５％以下であった場合（Ｓ１４０１でＹＥＳ）は、移動体がほとんど含まれていないので、制御部１２１０は図１２（ｆ）のブレ軽減を選択する（Ｓ１４０１、Ｓ１４０２）。

また、移動体領域が画像に占める割合が閾値より大きく（Ｓ１４０１でＮＯ）、位置ずれ検出部１０４０が、移動体の動きベクトルからオプティカルフローを取得でき、動きベクトルが３枚の画像のいずれも、画像の外側へ一方向に向かっている場合（Ｓ１４０３でＹＥＳ、Ｓ１４０４でＮＯ）は、移動体表現方法として徐々に移動体が消えていく表現が適しているため、制御部１２１０は図１２（ｂ）の先幕シンクロ風を選択する（Ｓ１４０６）。

一方、位置ずれ検出部１０４０が、移動体の動きベクトルからオプティカルフローを取得でき、動きベクトルが３枚の画像のいずれも、画像の内側へ一方向に向かっている場合（Ｓ１４０４でＹＥＳ）は、移動体表現方法として徐々に移動体が現れていく表現が適しているため、制御部１２１０は図１２（ｃ）の後幕シンクロ風を選択する（Ｓ１４０５）。

さらに、位置ずれ検出部１０４０が、移動体の動きベクトルからオプティカルフローを取得でき、動きベクトルが３枚の画像で異なっていた場合（Ｓ１４０３でＮＯ）は、移動体表現方法として流れるような表現は適していない。このため、制御部１２１０は画像合成部１０８０で合成された移動体領域の画像の枚数に基づいて、複数枚の画像から合成された場合（Ｓ１４０７でＮＯ）は図１２（ｄ）のマルチ発光風Ａ、１枚の画像から合成された場合（Ｓ１４０７でＹＥＳ）は図１２（ｅ）のマルチ発光風Ｂを選択する（Ｓ１４０８またはＳ１４０９）。

ここで、画像合成部１０８０により３枚の画像の中から移動体領域が合成された割合が最も多い画像を検出することで、ＨＤＲ合成の効果を活用できるように、制御部１２１０が合成された割合が最も多い画像の加重加算割合を大きくした図１２（ｅ）のマルチ発光風Ｂを選択しても良い。

この他にも、移動体の移動速度や移動体の画像上の位置など、移動体表現方法を選択する条件は、撮像装置のターゲットユーザを想定して、上記の条件に追加してもよく、取捨選択しても良い。

［実施形態５］上述した実施形態３では、ＨＤＲ合成でのユーザ設定項目である移動体表現方法に応じて、アンダー画像、適正画像、オーバー画像の加重加算割合を決定していた。これに対して、本実施形態では、設定された移動体表現方法に応じて、制御部１２１０が自動的に撮影順序を設定する。

移動体表現方法を反映させる場合に、順に撮影した１枚目と２枚目と３枚目の画像の特徴情報を考慮することで、より自然な表現が可能である。そこで、表４のようにユーザの移動体表現方法に応じて、アンダー画像、適正画像、オーバー画像の撮影順序を決定する。

以下に、具体的なそれぞれの移動体表現方法と撮影順序の関係について説明する。

移動体表現方法として図１２（ｂ）の先幕シンクロ風を選択した場合、移動している被写体を順に撮影した１枚目と２枚目と３枚目の画像を、実施形態３と異なり、１枚目（アンダー画像）と２枚目（適正画像）と３枚目（オーバー画像）で撮影する。なぜなら、１枚目の画像は露光時間が短いため移動体がはっきりとした画像であり、３枚目の画像は露光時間が長いため移動体が尾を引くような画像となるため、図１２（ｂ）の先幕シンクロ風に適している。

また、移動体表現方法として図１２（ｃ）の後幕シンクロ風を選択した場合、移動している被写体を順に撮影した１枚目と２枚目と３枚目の画像を、実施形態３と異なり、１枚目（オーバー画像）と２枚目（適正画像）と３枚目（アンダー画像）で撮影する。なぜなら、１枚目の画像は露光時間が長いため移動体が尾を引くような画像であり、３枚目の画像は露光時間が短いため移動体がはっきりとした画像となるため、図１２（ｃ）の後幕シンクロ風に適している。

この他にも、移動体表現方法に応じて撮影順序を決定する条件は、撮像装置のターゲットユーザを想定して、上記の条件から追加してもよく、取捨選択しても良い。

［実施形態６］移動体処理部１０９０で移動体領域を置き換える画像は、アンダー画像、適正画像、オーバー画像を、上述した実施形態１から実施形態３で示した割合で加重加算した画像とした。

しかし、移動体領域の背景に当たる部分が高輝度領域や低輝度領域であった場合に、移動体処理部１０９０において加重加算画像で修正することにより、ハイダイナミックレンジ合成の効果が薄れてしまうことがあった。つまり、移動体領域の背景が高輝度領域であった場合、白飛びしたオーバー画像を加重加算することで、ハイダイナミックレンジ合成の効果が薄れてしまう。また、移動体領域の背景が低輝度領域であった場合、黒潰れしたアンダー画像を加重加算することで、ハイダイナミックレンジ合成の効果が薄れてしまう。

これに対して、本実施形態では、上述した割合で加重加算した画像の、高輝度領域をアンダー画像で、低輝度領域をオーバー画像で、さらに置き換えることで、移動体領域を置き換える画像であっても白飛びや黒潰れを低減する方法について述べる。以下、図１５の画像合成順序に従って、移動体領域を置き換えるための画像を生成する。

まず、移動体領域を置き換える画像であっても、ハイダイナミックレンジ合成の効果を保つために、位置合わせ済みの適正画像を合成基準画像として、図１６に示す合成割合に従って画像合成部１０８０と同様の処理を行う（Ｓ１５０１）。つまり、合成基準輝度閾値Ｙ１ａより暗い領域はオーバー画像を使用し、合成基準輝度閾値Ｙ２ａ〜Ｙ３ａの輝度域は加重加算画像を使用し、合成基準輝度閾値Ｙ４ａより明るい領域はアンダー画像を使用する。また、合成基準輝度閾値付近の境界Ｙ１ａ〜Ｙ２ａ及びＹ３ａ〜Ｙ４ａの中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。この画像を加重加算ＨＤＲ画像１と呼ぶことにする。

次に、加重加算ＨＤＲ画像１の黒潰れを軽減するために、アンダー画像を合成基準画像として、図１７に示す合成割合に従って画像合成部１０８０と同様の処理を行う（Ｓ１５０２）。つまり、合成基準輝度閾値Ｙ１ｂより暗い領域は適正画像を使用し、合成基準輝度閾値Ｙ２ｂより明るい領域は加重加算ＨＤＲ画像１を使用する。また、合成基準輝度閾値付近の境界Ｙ１ｂ〜Ｙ２ｂの中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。この画像を加重加算ＨＤＲ画像２と呼ぶことにする。この処理は、適正画像では高輝度領域であった部分を、アンダー画像を撮影したタイミングで低輝度な移動被写体が通過した場合に、黒潰れを軽減する効果がある。

さらに、加重加算ＨＤＲ画像２の白飛びを軽減するために、オーバー画像を合成基準画像として、図１８に示す合成割合に従って画像合成部１０８０と同様の処理を行う（Ｓ１５０３）。つまり、合成基準輝度閾値Ｙ３ｃより暗い領域は加重加算ＨＤＲ画像２を使用し、合成基準輝度閾値Ｙ４ｃより明るい領域は適正画像を使用する。また、合成基準輝度閾値付近の境界Ｙ３ｃ〜Ｙ４ｃの中間領域は合成比率を徐々に変化させることで画像の切り替えを滑らかにする。この画像を加重加算ＨＤＲ画像３と呼ぶことにする。この処理は、適正画像では低輝度領域であった部分を、オーバー画像を撮影したタイミングで高輝度な移動被写体が通過した場合に、白飛びを軽減する効果がある。

最後に、移動体処理部１０９０において、移動体領域を加重加算ＨＤＲ画像３で置き換える。

以上の実施形態６では、実施形態１から実施形態３で示した割合で加重加算した画像の、高輝度領域をアンダー画像で、低輝度領域をオーバー画像で、さらに置き換える。このため、移動体領域を置き換える画像であっても白飛びや黒潰れを低減し、ハイダイナミックレンジ合成の効果を保つことができる。なお、加重加算ＨＤＲ画像３ではなく、加重加算ＨＤＲ画像２や加重加算ＨＤＲ画像１を移動体領域の置き換え画像としてもよい。この場合、メモリや処理時間が少なくて済む。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (24)

1. 露出を変えて撮像される複数枚の画像を合成する画像処理装置において、
   前記複数枚の画像間の位置ずれ量を検出する位置ずれ検出手段と、
   前記位置ずれ検出手段により検出された位置ずれ量から画像間の位置ずれを補正する補正手段と、
   露出がアンダーの画像と露出が適正な画像の検出結果と、露出がアンダーの画像とオーバーの画像の検出結果とを合成することによって、前記複数枚の画像から移動体領域を検出する移動体領域検出手段と、
   前記位置ずれが補正された複数枚の画像を合成する画像合成手段と、
   前記画像合成手段により合成された合成画像の前記移動体領域に対応する領域を前記複数枚の画像を重みづけして加算した画像に置き換える移動体処理手段と、を有することを特徴とする画像処理装置。
2. 前記移動体領域検出手段は、基準画像と位置合わせ済み画像の画像信号の差分を移動体領域として検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記移動体領域検出手段は、移動体領域の検出結果から、白飛び及び黒潰れが生じる輝度域を除外することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記移動体領域検出手段は、前記移動体が検出された画像に対して孤立領域を除去することを特徴とする請求項３に記載の画像処理装置。
5. 前記移動体処理手段は、複数枚の画像の加算割合を撮影露出幅の設定に応じて決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記移動体処理手段は、複数枚の画像の加算割合を適正なＩＳＯ感度に応じて決定することを特徴とする請求項１に記載の画像処理装置。
7. 予め決定された露光量で複数枚の画像を撮像する撮像手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記移動体処理手段により複数枚の画像を合成する際の移動体領域の表現方法を選択する選択手段をさらに有し、
   前記移動体処理手段は、前記選択手段により選択された表現方法に応じて複数枚の画像の加算割合を決定して加重加算画像を生成することを特徴とする請求項１に記載の画像処理装置。
9. 前記移動体処理手段は、複数枚の画像の中で、撮影時刻が遅い画像ほど加算割合を大きくして加重加算画像を生成することを特徴とする請求項１に記載の画像処理装置。
10. 前記移動体処理手段は、複数枚の画像の中で、撮影時刻が早い画像ほど、加算割合を大きくして加重加算画像を生成することを特徴とする請求項１に記載の画像処理装置。
11. 前記移動体処理手段は、複数枚の画像の加算割合を均等にして加重加算画像を生成することを特徴とする請求項１に記載の画像処理装置。
12. 前記移動体処理手段は、複数枚の画像の中で、撮影時刻が中間の画像の加算割合を最も大きくして加重加算画像を生成することを特徴とする請求項１に記載の画像処理装置。
13. 前記移動体処理手段は、アンダー画像とオーバー画像と前記加重加算画像とを、適正画像の輝度に応じて各画像の加算割合を決定することを特徴とする請求項８乃至１２のいずれか１項に記載の画像処理装置。
14. 前記移動体処理手段は、適正画像と前記加重加算画像とを、アンダー画像の輝度に応じて各画像の加算割合を決定することを特徴とする請求項８乃至１２のいずれか１項に記載の画像処理装置。
15. 前記移動体処理手段は、適正画像と前記加重加算画像とを、オーバー画像の輝度に応じて各画像の加算割合を決定することを特徴とする請求項８乃至１２のいずれか１項に記載の画像処理装置。
16. 前記表現方法を選択するためのユーザの操作を受け付ける操作手段を有することを特徴とする請求項８に記載の画像処理装置。
17. 前記補正手段による位置ずれの補正を行うか否かを選択するためのユーザの操作を受け付ける操作手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
18. 前記移動体処理手段による移動体領域の処理を行うか否かを選択するためのユーザの操作を受け付ける操作手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
19. 前記選択手段は、前記移動体領域の特徴情報に応じて前記表現方法を自動的に選択することを特徴とする請求項８に記載の画像処理装置。
20. 前記特徴情報は、移動体領域が画像に占める割合、移動体領域から検出される動きベクトル、移動体領域が複数枚の画像を合成したものか否かのいずれかであることを特徴とする請求項１９に記載の画像処理装置。
21. 予め決定された露光量で複数枚の画像を撮像する撮像手段と、
    前記選択手段により設定された表現方法に応じて前記撮像手段による画像の撮影順序を制御する制御手段と、をさらに有することを特徴とする請求項８乃至２０のいずれか１項に記載の画像処理装置。
22. 露出を変えて撮像される複数枚の画像を合成する画像処理方法であって、
    前記複数枚の画像間の位置ずれ量を検出する位置ずれ検出工程と、
    前記位置ずれ検出工程により検出された位置ずれ量から画像間の位置ずれを補正する補正工程と、
    露出がアンダーの画像と露出が適正な画像の検出結果と、露出がアンダーの画像とオーバーの画像の検出結果とを合成することによって、前記複数枚の画像から移動体領域を検出する移動体領域検出工程と、
    前記位置ずれが補正された複数枚の画像を合成する画像合成工程と、
    前記画像合成工程により合成された合成画像の前記移動体領域に対応する領域を前記複数枚の画像を重みづけして加算した画像に置き換える移動体処理工程と、を有することを特徴とする画像処理方法。
23. コンピュータを、請求項１乃至２１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
24. コンピュータを、請求項１乃至２１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。