JP2018050149A - 画像処理装置 - Google Patents

Abstract

【課題】 複数枚の画像を合成する際に、被写体もしくはカメラが動いてしまった場合においても自然な階調特性の合成画像を生成することを可能にする画像処理装置を提供する。【解決手段】 複数の画像を合成する画像処理装置であって、第一の画像と第二の画像の少なくとも一方の輝度に応じて、画像合成の合成比率を決める合成比率画像を生成する生成手段と、第一の画像と第二の画像のずれを検出する検出手段と、合成比率画像と検出手段より出力される検出結果に応じて、第一の画像と第二の画像の最終合成比率を制御する制御手段と、を有し、制御手段は、合成比率画像において第一の画像と第二の画像を重み付け合成する領域に限り、検出手段の検出結果を用いる、ことを特徴とする。【選択図】 図２

Description

本発明は、複数の画像を合成する画像処理装置に関する。

デジタルカメラやデジタルビデオカメラは撮像した被写体像を、ＣＭＯＳセンサやＣＣＤ等の撮像素子により、光の強度に応じて画素単位で光電変換し、映像信号に変換して画像信号処理を行う。撮像素子のダイナミックレンジは狭く、明るい被写体と暗い被写体との輝度差が大きいシーンにおいては、両被写体を適性露光で撮影することは困難である。

このような問題を解決する為に、同一シーンにおいて露光量の異なる複数枚の画像を撮影し、複数枚の画像データを合成してダイナミックレンジが拡張された画像を取得する方法が提案されている。

特許文献１では、長時間露光信号と短時間露光信号の露光量の比に相当する増幅率を用いて信号レベルの補正を行い、レベル補正した長時間露光信号と短時間露光信号とを合成する方法が開示されている。

特開平７−７５０２６号公報

特許文献１で提案されている画像合成方法は、合成する２枚の画像の位置がずれていないことを前提にした合成方法である。したがって、被写体が移動した場合や、撮影者の手ぶれが生じた場合などによって、合成する２枚の画像に位置ずれが生じると、合成後の画像の階調特性が不連続となる領域が発生する。この不連続となった領域が、合成後の画像において２重像に見えたり、ぶれて見えるという問題があった。

本発明は、上述の問題点に鑑みてなされたものであり、複数枚の画像を合成する際に、被写体がわずかに移動した場合及び撮影者の手ぶれによりカメラがわずかに動いた場合において、階調特性が不連続となり不自然な合成画像となってしまう問題を防ぎ、見えの自然な合成画像を生成することを可能にする画像合成処理装置を提供することを目的とする。

前述の目的を達成するために、本発明の実施態様は、複数の画像を合成する画像処理装置であって、第一の画像と第二の画像の少なくとも一方の輝度に応じて、画像合成の合成比率を決める合成比率画像を生成する生成手段と、第一の画像と第二の画像のずれを検出する検出手段と、前記合成比率画像と前記検出手段より出力される検出結果に応じて、第一の画像と第二の画像の最終合成比率を制御する制御手段と、を有し、前記制御手段は、合成比率画像において第一の画像と第二の画像を重み付け合成する領域に限り、前記検出手段の検出結果を用いる、ことを特徴とする。

本発明によれば、複数の画像を合成する際に、被写体がわずかに移動した場合及び撮影者の手ぶれによりカメラがわずかに動いた場合においても、階調が連続する合成画像を生成することが可能になるため、合成画像の画質が向上する。

本発明の実施形態にかかる画像合成処理装置のブロック図である。 本発明の実施形態にかかる機能構成ブロック図（位置ずれ対策なし）である。 本発明の実施形態にかかる画像合成処理装置の動作フローチャートである。 本発明の実施形態にかかるゲインマップとα画像を説明する図である。 本発明の実施形態にかかる合成比率特性を説明する図である。 本発明の実施形態にかかる機能構成ブロック図（位置ずれ対策あり）である。 本発明の実施形態にかかる画像合成処理装置の動作フローチャートである。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

なお、以下に説明する実施形態は、デジタルカメラを用いて、晴天時に屋外で人物を逆光で撮影する場合において、人物に露出を合わせると背景の空や雲が白飛びしてしまい、逆に空に露出を合わせると人物が暗くなってしまう撮影シーンに対して、本発明を適用した例を説明する。

また、本実施形態においては、露出の異なる２枚の画像（低露出画像・高露出画像）を撮影し、各々に適したトーンマッピング処理を施し、トーンマッピング処理後の低露出画像・高露出画像を合成することにより、暗い被写体は高露出の画像で置き換え、明るい被写体は低露出の画像で置き換えることでダイナミックレンジが拡大された合成画像を作成する場合において、露出の異なる２枚の画像の位置が少しずれてしまった場合に、本発明を適用した例を説明する。

図１は、本発明の実施形態に係るデジタルカメラ１００の構成を示すブロック図である。

図１において、１００はデジタルカメラ、１０１はズームレンズ、フォーカスレンズを含むレンズ群、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部、１０４はアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、１０５はＡ／Ｄ変換器１０４から出力される画像データに対し、各種画像処理を行う画像処理部である。

画像処理部１０５は、撮像した画像データに対し所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０において露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。更に、画像処理部１０５は、撮像した画像データに対し所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器１０４からの出力データは、画像処理部１０５及びメモリ制御部１０７を介して、或いは、メモリ制御部１０７を介してメモリ１０６に直接書き込まれる。メモリ１０６は、撮像部１０３で撮像した撮像データをＡ／Ｄ変換器１０４によりデジタルデータに変換した画像データや、表示部１０９に表示するための画像データを格納する。メモリ１０６は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ１０６は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１０８は、メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。

こうして、メモリ１０６に書き込まれた表示用の画像データはＤ／Ａ変換器１０８を介して表示部１０９により表示される。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。１１０は記録媒体１１１とのインタフェース（Ｉ／Ｆ）、１１１はメモリカードやハードディスク等の記録媒体、５０はデジタルカメラ１００のシステム全体を制御するシステム制御部である。

システム制御部５０は、不揮発性メモリ１１４に記録されたプログラムを実行する。１１２は各種制御に用いる時間や、内蔵された時計の時間を計測するシステムタイマー、１１３はシステム制御部５０の動作用の定数、変数、後述する不揮発性メモリ１１４から読みだしたプログラム等を展開するシステムメモリである。不揮発性メモリ１１４は電気的に消去・記録可能であり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１４には、システム制御部５０の動作用の定数、プログラム等が記憶される。１１５は各種の操作指示を入力するための操作部である。

図２に、本実施形態での合成処理に関する機能構成ブロック図を示す。図２は、露出の異なる２枚の画像（低露出画像・高露出画像）の位置ずれを考慮しない場合の機能構成ブロック図を示している。位置ずれを考慮した機能構成ブロック図に関しては、後述で詳細に説明する。

図２において、２０１はゲインマップ生成回路である。ゲインマップ生成回路２０１は、短時間露光信号Ｓ_Ｓで撮影した低露出画像に対して、トーンマッピング処理（階調補正）する為のゲインマップを生成する。

２０２はゲイン処理回路であり、入力される長時間露光信号Ｓ_Ｌに、ゲインマップ生成回路２０１で生成した高露出画像用のゲインマップを乗算し、乗算結果を出力する。２０３はゲイン処理回路であり、入力される短時間露光信号Ｓ_Ｓに、ゲインマップ生成回路２０１で生成した低露出画像用のゲインマップを乗算し、乗算結果を出力する。

２０４は、合成比率算出回路であり、ゲインマップ生成回路２０１で生成した低露出画像用のゲインマップを基に、合成比率画像（以下、α画像）を生成する。２０５は画像合成回路であり、ゲイン処理回路２０２、２０３から出力されたゲイン処理後の低露出画像と高露出画像とを、合成比率算出回路２０４で算出したα画像に基づいた合成比率で合成する。

上記構成による合成処理動作について、図３のフローチャートを用いて説明する。

ステップＳ３０１において、システム制御部５０で所持している値の初期化が行われる。

ステップＳ３０２において、システム制御部５０は入力された長時間露光信号Ｓ_Ｌにより露光された画像と短時間露光信号Ｓｓにより露光された画像のうち、どちらの画像をゲインマップ生成する際の基準画像とするかの選定を行う。本実施形態においては、短時間露光信号Ｓ_Ｓにより露光された画像を基準画像と選定し、長時間露光信号Ｓ_Ｌを非基準画像と選定した例について説明する。

ステップＳ３０３において、ステップＳ３０２で選定した基準画像を基に、ゲインマップ生成回路２０１においてゲインマップ画像を生成する。ゲインマップは、画像サイズと同サイズであり、画素値は乗算すべきゲイン乗算値を表している。画像に対してどの程度の強度のトーンマッピング処理を加えるかについては、どのような方法で決定しても構わない。例えば、低露出画像の領域毎の輝度分布を分析して決定することができる。具体的には、図４（ａ）のような空・人・背景が含まれるシーンを撮影する場合において、白飛びしていない低露出画像を図４（ｂ）に示すように、ｎ×ｍブロックにブロック分割し、各々のブロックが空・人・背景領域のどの領域に対応しているか分析して領域判定し領域毎の輝度ヒストグラムを算出する。

領域判定する方法に関しては既存の方法を用いても構わないが、例えば、空領域に関しては、各ブロックの輝度値・色差Ｂ−Ｙが共に所定値より大きいブロックを空領域とする。例えば、人領域に関しては、画像をウェーブレット変換し、パターンマッチングすることにより人物の顔を検出するか、もしくは撮像前に主被写体として認識させる人物の顔を予め撮影して不揮発性メモリ１１４に記憶させておくことにより、前述の方法で検出した顔の特徴量を、主被写体として認識させる人物の顔の特徴量と比較することにより特定する。

これら既存の方法を用いて領域判定し、領域毎の輝度ヒストグラムを算出する。低露出画像に乗算するゲインマップの画素値は、図４（ｂ）に示すように、輝度ヒストグラムの結果を基に、輝度が高い空領域のブロックのゲインマップの画素値は小さいゲイン値に、逆光シーンの顔領域のように輝度が低い領域のゲインマップの画素値は大きいゲイン値、中間の輝度値であれば中間のゲイン値となるようにゲイン量を制御してゲインマップを生成する。

また、高露出画像に乗算するゲインマップは、低露出画像に対して生成したゲインマップに対し、露出段差分ゲインを掛けて生成する。例えば、低露出画像と高露出画像が１段差の露出段差であった場合には、低露出画像に乗算するゲインマップに対し、×１／２倍のゲインを掛けたものを高露出画像のゲインマップとする。

ステップＳ３０４において、合成比率算出回路２０４において、α画像を生成する。α画像とは、画像サイズと同サイズであり、画素値は低露出画像もしくは高露出画像どちらかの合成比率値を表している。例えば、図５に示すような合成比率特性に基づいて合成する比率値を算出する。図５の横軸は、ゲインマップ生成回路２０１で生成した低露出画像用のゲインマップのゲイン値、縦軸は、合成比率を示している。

ゲイン値が低いＣ０の範囲（低露出画像の輝度値が高い領域にあたり、輝度値が高いのでゲインマップのゲイン量が小さい領域）は低露出画像の合成比率を１００％とし、ゲイン値が高いＣ２の範囲（低露出画像の輝度値が低い領域にあたり、輝度値が低いのでゲインマップのゲイン量が大きい領域）は、高露出画像の合成比率を１００％とする。中間に値するＣ１の範囲は、低露出画像と高露出画像をブレンドする特性となっている。

ステップＳ３０５において、ゲイン処理回路２０２、２０３において、低露出画像、高露出画像に対し、ゲインマップ生成回路２０１で生成したゲインマップを各々乗算するゲイン処理を行う。

ステップＳ３０６において、ステップＳ３０４で生成されたα画像を基に画像合成回路２０５において低露出画像と高露出画像を合成する。合成後の画像は、図４（ｃ）に示すように、空領域に関しては、低露出画像の合成比率が高く、人領域に関しては高露出画像の合成比率が高く、背景領域に関しては、低露出画像・高露出画像をブレンドした合成結果となる。

以上、位置ずれ対策を考慮していない場合のデジタルカメラ１００の処理動作について説明した。

次に、露出の異なる２枚の画像（低露出画像・高露出画像）に位置ずれが生じた場合に、２枚の画像のずれを検出し、検出結果を基に最終合成比率を制御して合成処理する例について説明する。

図６に、本実施形態での合成処理に関する機能構成ブロック図を示す。図６は、図２を用いて前述で説明した機能ブロックに、動き検出回路６０１、最終合成比率算出回路６０２を加えた構成となっている。よって、以下の説明においては図２との共通のブロックに関しては、同じ符号を用い、差異点である動き検出回路６０１、最終合成比率算出回路６０２に関する説明と、動作フローチャートについてのみ詳細に説明する。

図６において、２０１はゲインマップ生成回路である。ゲインマップ生成回路２０１は、短時間露光信号Ｓ_Ｓで撮影した低露出画像に対して、トーンマッピング処理（階調補正）する為のゲインマップを生成する。２０２はゲイン処理回路であり、入力される長時間露光信号Ｓ_Ｌに、ゲインマップ生成回路２０１で生成した高露出画像用のゲインマップを乗算し、乗算結果を出力する。２０３はゲイン処理回路であり、入力される短時間露光信号Ｓ_Ｓに、ゲインマップ生成回路２０１で生成した低露出画像用のゲインマップを乗算し、乗算結果を出力する。

合成比率算出回路２０４は、ゲインマップ生成回路２０１で生成した低露出画像用のゲインマップを基に、合成比率画像（α画像）を生成する。６０１は、動き検出回路であり、ゲイン処理回路２０２からゲイン処理後の高露出画像、ゲイン処理回路２０３からゲイン処理後の低露出画像を入力される。動き検出回路６０１は、入力されたゲイン処理後の高露出画像・低露出画像の動きを検出する。

最終合成比率算出回路６０２は、入力された合成比率算出回路２０４で生成されたα画像と動き検出回路６０１からの動き検出結果とを基に、最終合成比率画像（以下、α´画像）を生成する。２０５は画像合成回路であり、ゲイン処理回路２０２、２０３から出力されたゲイン処理後の低露出画像と高露出画像とを、最終合成比率算出回路６０２で算出した算出結果（α’画像）に基づいた合成比率で合成する。

上記構成による合成処理動作について、図７のフローチャートを用いて説明する。

ステップＳ７０１において、システム制御部５０で所持している値の初期化が行われる。

ステップＳ７０２において、システム制御部５０は入力された長時間露光信号Ｓ_Ｌにより露光された画像と短時間露光信号Ｓｓにより露光された画像のうち、どちらの画像をゲインマップ生成する際の基準画像とするかの選定を行う。本実施形態においては、短時間露光信号Ｓ_Ｓにより露光された画像を基準画像と選定し、長時間露光信号Ｓ_Ｌを非基準画像と選定した例について説明する。

ステップＳ７０３において、ステップＳ７０２で選定した基準画像を基に、ゲインマップ生成回路２０１においてゲインマップ画像を生成する。ゲインマップは、画像サイズと同サイズであり、画素値は乗算すべきゲイン乗算値を表している。

ゲインマップの生成方法に関しては、前述で説明した通り、基準画像を図４（ｂ）に示すように、ｎ×ｍブロックにブロック分割して各々のブロックの輝度ヒストグラムを算出する。また、各々のブロックが空・人・背景領域のどの領域に対応しているか分析して領域判定し領域毎の輝度ヒストグラムを算出する。

この領域毎の輝度ヒストグラムの結果を基に、輝度が高い空領域のブロックのゲインマップの画素値は小さいゲイン値に、逆光シーンの顔領域のように輝度が低い領域のゲインマップの画素値は大きいゲイン値、中間の輝度値であれば中間のゲイン値となるようにゲイン量を制御してゲインマップを生成する。また、高露出画像に乗算するゲインマップは、低露出画像に対して生成したゲインマップに対し、露出段差分ゲインを掛けて生成する。

ステップＳ７０４において、合成比率算出回路２０４において、α画像を生成する。生成されるα画像は、前述で説明した通り、図５に示すような合成比率特性に基づいて合成する比率値を算出される。

ステップＳ７０５において、ゲイン処理回路２０２、２０３において、低露出画像、高露出画像に対し、ゲインマップ生成回路２０１で生成したゲインマップを各々乗算するゲイン処理を行う。

ステップＳ７０６において、動き検出回路６０１において、ステップＳ７０５でゲイン乗算後の基準画像と非基準画像との動き検出をする。具体的には、ゲイン処理後の高露出画像・低露出画像の輝度差分値を算出し、差分値が所定の閾値以上の領域を動き領域として検出する。

ステップＳ７０７において、最終合成比率算出回路６０２において、ステップＳ７０４で生成されたα画像と、ステップＳ７０６で検出した動き検出結果基に最終合成比率を算出する。具体的には、α画像の画素値が高露出画像と低露出画像をブレンドする比率値になっている場合に限り、動き検出回路６０１の検出結果を最終合成比率に反映させる。例えば、α画像の画素値が、高露出画像もしくは低露出画像を１００％の比率で合成する領域に関しては、動き検出回路６０１の結果を用いずに、α画像の画素値が高露出画像と低露出画像をブレンドする比率値であり、且つ動き検出回路６０１において動き領域として検出された領域は、低露出画像の合成比率を１００％とするよう最終合成比率を制御する。本説明においては、低露出画像の合成比率を１００％とする例について説明したが、α画像でどちらかの画像を１００％出力する比率となっている領域においては、動き検出回路６０１の結果を用いなければ、これに限らない。

ステップＳ７０８において、ステップＳ７０７で算出した最終合成比率を基に画像合成回路２０５において低露出画像と高露出画像を合成する。

以上、露出の異なる２枚の画像の位置が少しずれてしまった場合に、２枚の位置ずれを考慮した画像処理装置の合成処理動作について説明した。これにより、被写体がわずかに移動もしくは撮影者の手ぶれによりカメラがわずかに動いたとしても、合成比率算出回路２０４において、ゲインマップを基に生成したα画像が低露出画像、もしくは高露出画像どちらか一方を１００％出力する領域内であった場合には、動き検出結果を用いないよう最終合成比率を制御する為、合成画像の画質が向上するといった効果がある。

また、本実施例においては、空・人・背景といった領域に基づいて輝度分布を分析しα画像を生成している為、領域毎にある一定の範囲内のα値となるα画像が生成される傾向にある。よって、例えば逆光シーンで暗くなってしまう人の領域内は高露出画像の合成比率を１００％とするようなα画像が生成されることになり、仮に人体内で手などが微量に動いたとしてもその領域においては動き検出結果を用いずに高露出画像を１００％の比率で合成するよう制御することとなり、人体内の手が２重像になるといった弊害を防ぐことが出来る。

なお、本実施形態においては、最終合成比率算出回路６０２において、合成比率算出回路２０４で生成したα画像の画素値が高露出画像と低露出画像をブレンドする比率値になっている場合に限り、動き検出回路６０１の検出結果を最終合成比率に反映させる例について説明したが、これに限ったものではない。例えば、動き検出結果の結果を用いるか否かは、α画像の画素値において所定の閾値範囲を設ける構成としても良い。例えば、α画像の画素値が所定のレベル以下（第１レベル以下）の場合、及び所定のレベル以上（第２レベル以上）の場合に動き検出結果を用いないといった構成にしても良い。

なお、本実施形態においては、低露出画像・高露出画像の計２枚の画像を合成する例について説明したが、露出の異なる３枚以上の画像を合成する構成としても良い。

５０ システム制御部
１００ デジタルカメラ
１０３ 撮像部
１０５ 画像処理部
１０６ メモリ
１０７ メモリ制御部
１０９ 表示部
１１１ 記録媒体
１１５ 操作部

Claims (6)

1. 複数の画像を合成する画像処理装置であって、
   第一の画像と第二の画像の少なくとも一方の輝度に応じて、画像合成の合成比率を決める合成比率画像を生成する生成手段と、
   第一の画像と第二の画像のずれを検出する検出手段と、
   前記合成比率画像と前記検出手段より出力される検出結果に応じて、第一の画像と第二の画像の最終合成比率を制御する制御手段と、を有し、
   前記制御手段は、合成比率画像において第一の画像と第二の画像を重み付け合成する領域に限り、前記検出手段の検出結果を用いる、ことを特徴とする画像処理装置。
2. 複数の画像を合成する画像処理装置であって、
   第一の画像と第二の画像の少なくとも一方の輝度に応じて、画像合成の合成比率画像を生成する生成手段と、
   第一の画像と第二の画像のずれを検出する検出手段と、
   前記生成手段により生成された合成比率画像と前記検出手段より出力される検出結果に応じて、第一の画像と第二の画像の最終合成比率を制御する制御手段と、を有し、
   制御手段は、合成比率画像の合成比率に応じて、前記検出手段の動き検出結果を用いるか否かを制御することを特徴とする画像処理装置。
3. 前記制御手段は、前記合成比率画像の合成比率が所定の第１レベル以下の場合、または所定の第２レベル以上の場合に、前記検出手段の検出結果を用いずに最終合成比率を制御することを特徴とする請求項２に記載の画像処理装置。
4. 画像にトーンマッピング処理をするトーンマッピング処理手段を備え、
   トーンマッピング処理後の第一の画像と第二の画像に対し、前記制御手段は、前記生成手段より生成された合成比率画像と、前記検出手段より出力される検出結果に応じて、第一の画像と第二の画像の最終合成比率を制御することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記生成手段は、第一の画像または第二の画像において、被写体の領域毎に輝度分布を算出し、算出結果に基づいて合成比率画像を生成することを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記生成手段が生成する合成比率画像は、被写体の領域毎にある一定の範囲内の合成比率になることを特徴とする請求項５に記載の画像処理装置。

Images