JP2012019337A - 画像処理装置及び方法並びにプログラム - Google Patents

Abstract

【課題】輝度変化を抑制しつつ、アーチファクト発生を抑制して複数画像を合成すること。
【解決手段】合成する複数の画像において、少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各画像に設定する測定領域設定部１１と、測定領域設定部１１で設定された動きベクトル測定領域において、複数の画像間の動きベクトルを演算する演算部１２と、動きベクトルの信頼性を演算する信頼性演算部１３と、複数の画像間の位置ずれを動きベクトルに基づいて補正しつつ、画像間における画素毎の特徴量と動きベクトルの信頼性とに基づいて決定される画素毎の合成比率に基づいて、複数の画像を合成する画像合成部１４とを備える。
【選択図】図２

Description

本発明は、画像処理装置及び方法並びにプログラムに関するものである。

従来、ディジタルスチルカメラで撮影された複数枚の画像データを合成することで所望の合成画像を得る技術として、ノイズ低減処理、電子式ブレ補正（加算式）、ダイナミックレンジ拡大処理などがある。ノイズ低減処理は、主に、同じ露光条件で撮影された複数枚の画像を合成することにより、ランダムに発生するノイズを低減させる技術である。電子式ブレ補正（加算式）は、手ぶれが発生しない程度の速いシャッタ速度で分割露光を行って複数枚の画像を取得し、それらの画像の位置ずれを補償しながら合成することで、ブレのない画像を得る技術である。ダイナミックレンジ拡大処理は、異なる露光条件で撮影された複数枚の画像を合成することで、広ダイナミックレンジ画像を得る技術である。

上記のような複数枚の画像を合成する処理技術において、撮影中に手ぶれや被写体の動きがある場合には、合成画像に二重線などのアーチファクトが発生する恐れがある。この問題を解決する方法として、例えば、特許文献１では、画像間の位置ずれを補償しながら合成する画像処理装置において、階調値の差が大きい画素では合成比率を下げる方法が提案されている。また、特許文献２では、残差（信号差分の絶対値、または、信号差分の絶対値和）に応じて合成を制御する方法が提案されている。

特開２００８−０９９２６０号公報 特開２００５−０３９５３３号公報

しかしながら、上記特許文献１の方法では、複数枚の画像の位置合わせが正しく行われていなくても、画像間の階調値が近い場合には画像の合成が行われるので、被写体の動きによるオクルージョン（遮蔽）の発生などにより、本来は対応付けできない画像間であっても、画像間の信号の階調が近い場合には合成されてしまうという問題があった。また、複数枚の画像を合成するために、合成結果に対して新たな画像を合成するような再帰的な合成処理を行う場合では、画像の加算枚数が増加するに従って、合成画像の輝度や色が合成前と比較して徐々に変化してしまうという問題があった。また、上記特許文献２においても、同様の問題がある。

本発明は、上述した事情に鑑みてなされたものであって、輝度変化を抑制しつつ、アーチファクトの発生を抑制して複数の画像を合成する画像処理装置及び方法並びにプログラムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の第１の態様は、合成する複数の画像において、少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する測定領域設定手段と、前記測定領域設定手段で設定された前記動きベクトル測定領域において、複数の前記画像間の前記動きベクトルを演算する演算手段と、前記動きベクトルの信頼性を演算する信頼性演算手段と、複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と前記動きベクトルの信頼性とに基づいて決定される前記画素毎の合成比率に基づいて、複数の前記画像を合成する画像合成手段とを具備する画像処理装置である。

本発明の第２の態様は、撮影時の露光時間を変化させながら複数の画像を撮像する撮像手段と、前記露光時間の比率に基づいて複数の前記画像の画素の信号値の大きさを正規化する正規化手段と、正規化後の複数の前記画像において、少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する動きベクトル測定領域設定手段と、前記動きベクトル測定領域において、前記画像間の動きベクトルを演算する動きベクトル演算手段と、前記動きベクトルの信頼性を演算する信頼性演算手段と、複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と、合成される前記画像の信号強度と、前記動きベクトルの信頼性とに基づいて決定される前記画素毎の合成比率に基づいて、複数の前記画像を合成する画像合成手段とを具備する画像処理装置である。

本発明の第３の態様は、合成する複数の画像における少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する第１過程と、前記動きベクトル測定領域において、複数の前記画像間の動きベクトルを演算する第２過程と、前記動きベクトルの信頼性を演算する第３過程と、複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と前記動きベクトルの信頼性とに基づいて決定される画素毎の合成比率に基づいて、複数の前記画像を合成する第４過程とを有する画像処理方法である。

本発明の第４の態様は、合成する複数の画像における少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する第１処理と、前記動きベクトル測定領域において、複数の前記画像間の動きベクトルを演算する第２処理と、前記動きベクトルの信頼性を演算する第３処理と、複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と前記動きベクトルの信頼性とに基づいて決定される画素毎の合成比率に基づいて、複数の前記画像を合成する第４処理とをコンピュータに実行させるための画像処理プログラムである。

本発明の第５の態様は、撮影時の露光時間を変化させながら複数の画像を撮影する第１過程と、前記露光時間の比率に応じて前記画像の画素の信号値の大きさを正規化する第２過程と、正規化後の前記画像において、少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する第３過程と、前記動きベクトル測定領域において、前記画像間の動きベクトルを演算する第４過程と、前記動きベクトルの信頼性を演算する第５過程と、複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と、合成される前記画像の信号強度と、前記動きベクトルの信頼性とに基づいて、決定される画素毎の合成比率に基づいて、複数の前記画像を合成する第６過程とを有する画像処理方法である。

本発明の第６の態様は、撮影時の露光時間を変化させながら複数の画像を撮影する第１処理と、前記露光時間の比率に応じて前記画像の画素の信号値の大きさを正規化する第２処理と、正規化後の前記画像において、少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する第３処理と、前記動きベクトル測定領域において、前記画像間の動きベクトルを演算する第４処理と、前記動きベクトルの信頼性を演算する第５処理と、複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と、合成される前記画像の信号強度と、前記動きベクトルの信頼性とに基づいて、決定される画素毎の合成比率に基づいて、複数の前記画像を合成する第６処理とをコンピュータに実行させる画像処理プログラムである。

本発明によれば、輝度変化を抑制しつつ、アーチファクト発生を抑制して複数画像を合成することができるという効果を奏する。

本発明の第１の実施形態に係る画像処理装置の概略構成を示したブロック図である。 本発明の第１の実施形態に係る合成処理部の構成例を示した機能ブロック図である。 位置合わせ処理領域の配置例を示した図である。 本発明の第１の実施形態に係る画像合成部の動作フローである。 画像合成部による合成領域の動きベクトルを求める方法を説明するための図である。 動きベクトルの信頼性と合成比率重み係数との関係の一例を示した図である。 画像間特徴量と合成比率係数との関係の一例を示した図である。 本発明の第２の実施形態に係る画像処理装置の画像合成部の動作フローである。 動きベクトルの信頼性と画像間特徴量重み係数との関係の一例を示した図である。 正規化後の画像間特徴量と合成比率との関係の一例を示した図である。 本発明の第３の実施形態に係る画像処理装置の画像合成部の動作フローである。 動きベクトルの信頼性の大きさに応じた画像間特徴量と合成比率との関係の一例を示した図である。 本発明の第４の実施形態に係る画像処理装置の合成処理部の構成例を示した機能ブロック図である。 本発明の第４の実施形態に係る画像処理装置の画像合成部の動作フローである。 合成対象画像の信号強度と合成切替係数との関係の一例を示した図である。

本発明は、デジタルカメラ、デジタルビデオカメラや内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に適用されるが、実施形態においては、例えば、デジタルカメラである場合を例に挙げて説明する。

〔第１の実施形態〕
本発明の第１の実施形態について、図１から図７を用いて説明する。本実施形態においては、複数の画像を合成するノイズ低減処理に、画像合成部を適用した場合を例に挙げて説明する。図１において、画像処理装置１は、撮像部２０と、画像処理部１０とを備えている。
撮像部２０は、例えば、被写体像を結像するための光学系１と、この光学系１により結像される光学的な被写体像を光電変換し、電気的な画像信号（以下、この画像信号に対応する画像を「入力画像」という。）を出力する撮像系２とを備えている。
画像処理装置１０は、アナログ／デジタル変換部（以下「Ａ／Ｄ変換部」という。）３、画像前処理部４、記録部５、及び合成処理部６を備えている。

Ａ／Ｄ変換部３は、アナログ信号の入力画像信号をデジタル信号の画像信号に変換し、画像前処理部４に出力する。画像前処理部４は、入力されたデジタル信号を補正し、画像信号にモザイキング等の処理を行い、記録部５に格納する。記録部５は、合成処理部６により所定のタイミングで格納されている入力画像信号を読み出し、合成処理部６から出力された合成画像を格納する。

記録部５に蓄積された焦点距離、シャッタ速度、絞り（Ｆ値）などの撮影パラメータが光学系１に設定されるとともに、記録部５に蓄積されたＩＳＯ感度（Ａ／Ｄ変換のゲイン）などの撮影パラメータがＡ／Ｄ変換部３に設定される。光学系１で取り込まれた光は、撮像系２で電気信号に変換され、アナログ信号として出力される。

Ａ／Ｄ変換部３において、アナログ信号はデジタル信号に変換される。デジタル信号は、画像前処理部４において、ノイズ除去やデモザイキング処理（単板状態から三板状態に変換する処理）などが施された画像データに変換され、記録部５に蓄積される。
ここまでの一連の処理は撮影ごとに毎回行われ、連写撮影の場合は、連写した枚数分だけ上記データ処理が行われる。また、合成処理部６において、記録部５に蓄積された複数枚の画像データと画像処理パラメータ（例えば、画像サイズ、位置合わせテンプレート数、探索範囲など）とに基づいて合成画像が生成され、記録部５に出力される。

図２に示されるように、合成処理部６は、測定領域設定部（測定領域設定手段）１１、演算部（演算手段）１２、信頼性演算部（信頼性演算手段）１３、及び画像合成部（画像合成手段）１４を備えている。
測定領域設定部１１は、複数の画像間における少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各画像に設定する。
図３には、画像位置合わせ処理の領域の配置例が示されている。また、測定領域設定部１１は、例えば、位置合わせをする２つの画像を、それぞれ基準画像と位置合わせ画像とする。基準画像（図３（ａ）参照）は、位置合わせ後に座標系が変わらない画像であり、基準となる動きベクトル測定領域であるテンプレート領域２０が、複数配置されている。

位置合わせ画像（図３（ｂ）参照）は、基準画像の座標系に対する位置ずれを補正する画像であり、基準画像のテンプレート領域２０に対応するテンプレート対応位置２１の近傍に、各テンプレート対応位置２１にそれぞれ対応した動きベクトル測定領域であるサーチ領域２２が配置されている。測定領域設定部１１は、上述したテンプレート領域２０及びサーチ領域２２を動きベクトル測定領域として設定する。

演算部１２は、測定領域設定部１１で設定された動きベクトル測定領域において、複数の画像間の動きベクトルを演算する。具体的には、演算部１２は、基準画像と位置合わせ画像とに基づいてテンプレートマッチング処理を行い、動きベクトルを演算する。より具体的には、演算部１２は、基準画像のテンプレート領域２０を位置合わせ画像のサーチ領域２２内を走査させることにより指標値を算出し、この指標値が最も高くなる、または最も低くなる場合の位置ずれ量を、動きベクトルとする。

指標値は、例えば、差の絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、差の２乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）、相関値などの公知の技術を用いることにより算出することができる。また、演算部１２は、求めた動きベクトルとともに、動きベクトルを演算する過程で算出された中間データとしてテンプレートマッチングの指標値を出力する。

信頼性演算部１３では、演算された動きベクトルの信頼性を演算する。具体的には、信頼性演算部１３は、取得した動きベクトルと動きベクトルの中間データとに基づいて、動きベクトルの信頼性を演算する。上述したテンプレートマッチング処理では、低コントラスト領域や、繰り返しパターン領域などの画像領域においては、正確な動きベクトルを安定して求めることは困難であるため、演算される動きベクトルを評価するべく動きベクトルの信頼性を演算する。例えば、信頼性演算部１３は、以下（Ａ）から（Ｃ）の特性を用いて、動きベクトル信頼性を演算する。

（Ａ）エッジ構造が鮮鋭な領域では、動きベクトルの信頼性が高くなる。また、エッジ構造が鮮鋭な領域では、テンプレートマッチングの指標値は、求めた位置ずれ量での指標値とそれ以外のずれ量での指標値との間で顕著な相違となる。（Ｂ）テクスチャや平坦な構造の場合、位置ずれが除去できる場合と位置ずれが残っている場合との間でテンプレートマッチングの指標値の変動が少ない。（Ｃ）繰り返し構造の場合、テンプレートマッチングの指標値も周期的に変動する。
なお、動きベクトルの信頼性は、低コントラスト領域や繰り返しパターン領域を検出できるものであれば任意の指標でよいこととし、例えば、特許第３１６４１２１号公報に記載のように、各ブロックのエッジ量に基づいた指標を用いることとしてもよい。

画像合成部１４は、複数の画像間の位置ずれを動きベクトルに基づいて補正しつつ、複数の画像間における画素毎の特徴量と動きベクトルの信頼性とに基づいて決定される画素毎の合成比率に基づいて、複数の画像を合成する。例えば、画像合成部１４は、複数の画像間の位置ずれを動きベクトルに基づいて補正しつつ、特徴量が大きい画素は合成を抑制させる比率制御をし、動きベクトルの信頼性が低い領域は合成を抑制させる比率制御をし、これら比率に基づいて画像を合成する。また、画像合成部１４における画像の合成処理は、画像の位置ずれを、画像の小領域単位で補正しながら合成する。以下に、画像合成部１４の具体的な動作について、図４から図７を用いて説明する。

画像データ、画像処理パラメータ、動きベクトル、及び動きベクトルの信頼性が取得される（ステップＳ４０１）。図５（ａ）の基準画像において、画像を合成処理する領域である合成領域２７（上記小領域）が選択され（ステップＳ４０２）、その領域の動きベクトル、動きベクトル信頼性、及び合成比率重み係数が算出される（ステップＳ４０３）。図５（ｂ）の位置合わせ画像において、基準画像の合成領域２７と対応する位置近傍の動きベクトル２５が用いられ、補間処理（例えば、共１次内挿法による処理）によって位置合わせ画像における合成位置の動きベクトル２６（Ｖｅｃｔｏｒ（ｍ，ｎ））が決定される。具体的には、動きベクトル２６（Ｖｅｃｔｏｒ（ｍ，ｎ））は、以下の（１）式に基づいて決定される。

ここで、図５（ｂ）において、内挿する点の周囲４つの格子点のうち、各格子点間隔をｌとし、左上の格子点からの動きベクトルＭｏｔｉｏｎＶｅｃｔｏｒ（ｉ，ｊ）の始点と合成位置の動きベクトル２６の始点との垂直方向の距離をｓ、水平方向の距離をｔとする。なお、本実施形態においては、補間処理に共１次内挿法を用いているが、これに限定されない。例えば、共３次内挿法、最近傍法など、任意の補間方法に置き換えてもよい。
また、位置合わせ画像における、基準画像の合成領域２７と対応する位置から求めた合成位置の動きベクトル２６分だけずらした領域を、位置合わせ画像の合成領域２８とする。また、動きベクトル信頼性は、合成位置の近傍の動きベクトル２５の信頼性を用いて、同様に補間処理により求める。

合成比率重み係数は、上記求められた動きベクトルの信頼性に基づいて決定される。例えば、図６に示されるように、横軸に動きベクトルの信頼性、縦軸に合成比率重み係数を示した第１対応情報が備えられている場合に、動きベクトルの信頼性に対応する合成比率重み係数が第１対応情報から読み出される。また、第１対応情報は、動きベクトルの信頼性が高い（紙面右側）ほど合成比率重み係数が大きくなり、信頼性が低い（紙面左側）ほど合成比率重み係数が小さくなるように規定されている。

続いて、画素毎に画像間の差異（または一致度合い）を示す画像間特徴量が求められ、画像間特徴量に基づいて合成比率係数が算出される（ステップＳ４０４）。画像間特徴量は、例えば、画像の輝度（ｌｕｍｉｎａｎｃｅ）、色差、色相（ｈｕｅ）、明度（ｖａｌｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、信号値、Ｇ信号値、これらの１次微分値と２次微分値とのうち、少なくとも１つに関する差、差の絶対値、差の絶対値和（ステップＳｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、差の２乗和（ステップＳｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）のいずれか１つ、またはこれらの組み合わせを用いて決定される。この場合、値が小さいほど画像間の一致度合いが高いと判断する。

なお、画像間特徴量を決定する場合に、画像の輝度、色差、色相、明度、彩度、信号値、Ｇ信号値、これらの１次微分値、２次微分値のうち少なくとも１つに関する相関値を用いることとしてもよい。ただし、この場合は値が大きいほど一致度合いが高いと判断することとする。

上記求められた画像間特徴量に基づいて、合成比率係数が算出される。例えば、図７に示されるように、横軸に画像間特徴量、縦軸に合成比率係数を示した第２対応情報が備えられている場合に、画像間特徴量に対応する合成比率係数が第２対応情報から読み出される。また、第２対応情報は、画像間特徴量が大きい（つまり、画像間の一致度合いが低い）場合には、合成比率係数が小さくされ、画像間特徴量が小さい（つまり、画像間の一致度合いが高い）場合には、合成比率係数が大きくなるように規定される。

上記算出された合成比率重み係数と合成比率係数とに基づいて、画素毎の合成比率αが算出される（ステップＳ４０５）。具体的には、合成比率αは、以下の（２）式に基づいて算出される。

このように算出された合成比率αに基づいて、以下（３）式に基づいて、画像が合成される（ステップＳ４０６）。

基準画像の合成領域２７と位置合わせ画像の合成領域２８との全ての画素において、上記処理が終了したか否かが判定され（ステップＳ４０７）、全画素終了していない場合には、上述したステップＳ４０４に戻り、繰り返される。また、全画素に対する処理が終了している場合には、画像内の全ての合成領域２７，２８に対して処理されたか否かが判定される（ステップＳ４０８）。全ての合成領域に対する処理が終了していなければ、ステップＳ４０２に戻り、処理を繰り返す。全ての合成領域に対する処理が終了している場合には、生成された合成画像が出力され（ステップＳ４０９）、本処理を終了する。

このように、上述した合成処理では動きベクトルの信頼性が低い場合、合成比率重み係数が小さくなるため合成比率も小さくなる。同様に、画像間の差異が大きい場合、合成比率係数が小さくなるため合成比率も小さくなる。従って、これらの場合では、画像の合成が抑制される。

次に、本実施形態に係る画像処理装置の作用について図１から図３を用いて説明する。
画像サイズ、位置合わせテンプレート数、探索範囲などの画像処理パラメータに基づいて、動きベクトルのテンプレート領域２０やサーチ領域２２などの動きベクトル測定領域が設定される。動きベクトル測定領域と複数の画像データとに基づいて、各動きベクトル測定領域において、画像間の位置ずれである動きベクトルが求められ、動きベクトルと動きベクトルが演算される過程で算出された中間データとが出力される。

続いて、動きベクトルと動きベクトル中間データとに基づいて、各動きベクトルの信頼性が算出され、出力される。画像合成部１４において、上記算出された動きベクトル、動きベクトル信頼性、画像データ、及び画像処理パラメータに基づいて、画像間の位置ずれを動きベクトルに基づいて補正しつつ、画像間における画素毎の特徴量と動きベクトルの信頼性とに基づいて決定される画素毎の合成比率に基づいて、複数の画像が合成され、得られた合成画像が記録部５に出力される。

なお、本実施形態では、画像処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、及び上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

以上説明してきたように、本実施形態に係る画像処理装置１及び方法並びにプログラムによれば、画素間の特徴量を用い、画像間の差異が大きい画素は合成しないように制御するのに加え、位置合わせ情報である動きベクトルの信頼性を用い、位置合わせの信頼度が低い領域では画像を合成しないように制御する。これにより、本来の対応点ではない領域同士が合成されることを抑制でき、合成画像における輝度変化（色変化）やアーチファクトの発生を抑制することができる。

なお、本実施形態においては、基準画像にテンプレート領域２０を配置し、位置合わせ画像にテンプレート領域２０に対応したサーチ領域２２を設定することとして説明していていたが、これに限定されない。例えば、位置合わせ画像にテンプレート領域２０を配置し、基準画像にサーチ領域２２を配置した場合には、求めた動きベクトルの符号の正負を入れ替え、同様の効果を得ることとしてもよい。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図８から図１０を用いて説明する。
第１の実施形態の画像処理装置の画像合成部１４は、動きベクトルの信頼性に対して係数制御し、動きベクトルの信頼性が低い領域の合成が進まないように制御していたのに対し、本実施形態における画像合成部１４´は、動きベクトルの信頼性に応じて画像間特徴量の係数制御を行うことにより、動きベクトルの信頼性が低い領域の合成が進まないように制御する点で、第１の実施形態と異なる。以下、本実施形態の画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

画像合成部１４´は、複数の画像間の位置ずれを動きベクトルに基づいて補正しつつ、動きベクトルの信頼性が高い領域は、画像間特徴量が比較的小さくなるよう係数制御をし、動きベクトルの信頼性が低い領域は、画像間特徴量が比較的大きくなるよう係数制御をし、これら係数に基づいて、画像を合成する。また、画像合成部１４´における画像の合成処理は、画像の位置ずれを、画像の小領域単位で補正しながら合成する。以下に、画像合成部１４´の具体的な動作について、図８から図１０を用いて説明する。

画像データ、画像処理パラメータ、動きベクトル、及び動きベクトルの信頼性が取得される（ステップＳ８０１）。画像を合成処理する領域である合成領域が選択され（ステップＳ８０２）、その領域の動きベクトル、動きベクトルの信頼性、及び画像間特徴量重み係数が算出される（ステップＳ８０３）。動きベクトル及び動きベクトルの信頼性の演算方法は、上記第１の実施形態と同様である。

画像間特徴量重み係数は、上記求められた動きベクトルの信頼性に基づいて決定される。例えば、図９に示されるように、横軸に動きベクトルの信頼性、縦軸に画像間特徴量重み係数を示した第３対応情報が備えられている場合に、動きベクトルの信頼性に対応する画像間特徴量重み係数が第３対応情報から読み出され、画像間特徴量重み係数が決定される。また、第３対応情報は、動きベクトルの信頼性が高い（紙面右側）ほど画像間特徴量重み係数が小さくなり、信頼性が低い（紙面左側）ほど画像間特徴量重み係数が大きくなるように規定されている。

続いて、画像間特徴量および合成比率が算出される（ステップＳ８０４）。画像間特徴量は画像間の差異（または一致度合い）を表す特徴量であり画素毎に求められる。例えば、近傍画素における差の絶対値和（ステップＳｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）により求められ、上記第１の実施形態と同様に、他の特徴量を用いて求めることとしてもよい。また、画像間特徴量は、画像間特徴量重み係数に基づいて、以下の（４）式で正規化される。

さらに、正規化された画像間特徴量に基づいて、合成比率が決定される。例えば、図１０に示されるように、横軸に正規化後の画像間特徴量、縦軸に合成比率を示した第４対応情報が備えられている場合に、正規化後の画像間特徴量に対応する合成比率が第４対応情報から読み出され、合成比率が算出される。また、第４対応情報は、正規化後の画像間特徴量が大きいほど合成比率が小さくされ、正規化後の画像間特徴量が小さく画像間の一致度合いが高いほど合成比率は高くなるように規定されている。このように、画像間特徴量に基づいて決定された合成比率に基づいて、上記第１の実施形態でも用いた（３）式により、画像が合成される（ステップＳ８０５）。

合成領域内の全画素において、画像の合成処理が終了したか否かが判定され（ステップＳ８０６）、終了していない場合にはステップＳ８０４に戻る。また、合成領域内の全画素において画像の合成処理が終了した場合には、画像内の全ての合成領域で画像の合成処理が終了したか否かが判定され（ステップＳ８０７）、全ての合成領域で処理が終了している場合には、生成された合成画像が出力され（ステップＳ８０８）、本処理を終了する。また、画像内の全ての合成領域で画像の合成処理が完了していない場合には（ステップＳ８０７のＮｏ）、ステップＳ８０２に戻り、処理を繰り返す。

以上説明してきたように、本実施形態に係る画像処理装置及び方法並びにプログラムによれば、画像間の差異が大きい画素は合成しないように制御するのに加え、動きベクトルの信頼性が低い場合には画像間特徴量を相対的に大きくし、動きベクトルの信頼性が高い場合には画像間特徴量を相対的に小さくするべく画像間特徴量自体に係数制御を行うことにより、結果として動きベクトルの信頼性が低い領域において画像の合成を抑制する。これにより、本来の対応点ではない領域の合成を抑制されるので、合成画像における輝度変化（色変化）やアーチファクトの発生を抑制できる。

〔第３の実施形態〕
次に、本発明の第３の実施形態について、図２及び図１１及び図１２を用いて説明する。
本実施形態では、動きベクトルの信頼性に応じて、合成比率を制御する係数テーブルを異ならせることにより、動きベクトルの信頼性が低い領域の合成を抑制する点で上述した第１の実施形態、第２の実施形態と異なる。以下、本実施形態の画像処理装置について、第１の実施形態、第２の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

画像合成部１４は、複数の画像間の位置ずれを動きベクトルに基づいて補正しつつ、動きベクトルの信頼性が高い領域は、高信頼性用の合成比率となる第１係数テーブルにより合成比率を決定し、動きベクトルの信頼性が低い領域は、低信頼性用の合成比率となる第２係数テーブルにより合成比率を決定し、これら決定された合成比率に基づいて、画像を合成する。以下に、画像合成部の具体的な動作について、図１１を用いて説明する。

画像データ、画像処理パラメータ、動きベクトル、及び動きベクトルの信頼性が取得される（ステップＳ１１０１）。画像を合成処理する領域である合成領域が選択され（ステップＳ１１０２）、その領域の動きベクトル、及び動きベクトルの信頼性が算出される（ステップＳ１１０３）。算出された動きベクトルの信頼性が所定の閾値と比較され（ステップＳ１１０４）、動きベクトルの信頼性が所定の閾値以上である場合には、高信頼性用合成比率テーブルである第１係数テーブル（図１２（ａ）参照）が選定され（ステップＳ１１０５）、動きベクトルの信頼性が所定の閾値より小さい場合には、低信頼性用合成比率テーブルである第２係数テーブル（図１２（ｂ）参照）が選定される（ステップＳ１１０６）。

図１２は、横軸に画像間特徴量、縦軸に合成比率を示している。図１２（ｂ）に示される低信頼性用合成比率テーブル（第２係数テーブル）は、図１２（ａ）に示される高信頼性用合成比率テーブル（第１係数テーブル）と比較して、画像間特徴量に対して合成比率が小さくなるように、または画像間特徴量に対して合成比率が速やかに立ち下がるように規定されている。
画素毎に画像間の差異(または一致度合い)を表す画像間特徴量が求められ、この画像間特徴量、第１係数テーブル、及び第２係数テーブルに基づいて、合成比率が決定される（ステップＳ１１０７）。また、求められた合成比率と、上述した（３）式とに基づいて、画像が合成される（ステップＳ１１０８）。

合成領域内の全画素において、画像の合成処理が終了したか否かが判定され（ステップＳ１１０９）、終了していない場合にはステップＳ１１０７に戻る。また、合成領域内の全画素で処理が終了している場合には、画像内の全ての合成領域で画像の合成処理が終了したか否かが判定され（ステップＳＡ１１１０）、全ての合成領域で合成処理が終了している場合には、生成された合成画像が出力され（ステップＳ１１１１）、本処理を終了する。また、画像内の全ての合成領域で画像の合成処理が完了していない場合には（ステップＳ１１１０のＮｏ）、ステップＳ１１０２に戻り、処理を繰り返す。

以上説明してきたように、本実施形態に係る画像処理装置及び方法並びにプログラムによれば、動きベクトルの信頼性の高低に応じて合成比率を決定するテーブルを使い分け、動きベクトルの信頼性の低い場合には、動きベクトルの信頼性が高い場合よりも合成比率が小さくなるように、または画像間特徴量に対して合成比率が速やかに立ち下がるように設定されるので、動きベクトルの信頼性が低い領域の合成を、より抑制することができる。従って、合成画像における輝度変化（色変化）やアーチファクトの発生を抑制できる。

〔第４の実施形態〕
次に、本発明の第４の実施形態について、図１及び図１３から図１５を用いて説明する。
上述した第１の実施形態から第３の実施形態においては、ノイズ低減処理に本発明の画像合成部を適用した場合を例に挙げて説明していたが、第４の実施形態は、ダイナミックレンジ拡大処理に本発明の画像合成部を適用した場合を例に挙げて説明する点で、上記第１の実施形態から第３の実施形態と異なる。

ダイナミックレンジ拡大処理では、シャッタ速度などの露光条件を変えて撮影した複数画像を合成することでダイナミックレンジを拡大する。例えば、遅いシャッタ速度で撮影した長露光画像は、暗部を明るく撮影することが可能であるが、明部で飽和が発生することがある。一方、速いシャッタ撮影した短露光画像は、全体的に暗い画像となるが、明部で飽和が発生しにくい。これらの画像を合成することで、明部と暗部の情報を保持した広ダイナミックレンジ画像を得ることができる。以下、本実施形態の画像処理装置について、第１の実施形態、第２の実施形態、第３の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図１３は、本実施形態に係る画像処理装置の合成処理部６´の処理構成を示している。合成処理部６´は、上述した第１の実施形態の構成に加え、さらに正規化処理部１５を備えている。
正規化処理部１５は、撮影パラメータと画像データとを取得し、露光条件の比率を用いて画像の画素の信号値の大きさを正規化し、正規化後の画像データを出力する。合成処理部６´は、正規化処理部１５によって正規化された画像データに基づいて以降の処理を行う。
画像合成部１４´は、求めた画像間の位置ずれを補償しながら、画像を合成する。また、画像合成部１４´は、短露光画像の場合と長露光画像の場合とに応じて、信号強度に対応する合成比率（以下、「合成切替係数」という）を規定するテーブル（図１５参照）をそれぞれ設ける。以下に、画像合成部１４´の具体的な動作について、図１４を用いて説明する。

正規化された画像データ、画像処理パラメータ、動きベクトル、及び動きベクトルの信頼性が取得される（ステップＳ１４０１）。画像を合成処理する領域である合成領域が選択され（ステップＳ１４０２）、その領域の動きベクトル、動きベクトルの信頼性、及び動きベクトルに基づいて合成比率重み係数が算出される（ステップＳ１４０３）。このとき、合成比率重み係数は、上述の図６に示されるように、動きベクトルの信頼性が低い場合に小さくなるように規定される。また、画素毎に画像間の差異（または一致度合い）を表す画像間特徴量が求められ、上述の図７に示される画像間特徴量と合成比率係数との関係図（画像間の一致度合いが低い場合には、合成比率係数が小さくなる図）に基づいて、画像間特徴量に対応した合成比率係数が算出される（ステップＳ１４０４）。

続いて、合成する画素の信号強度に基づいて合成切替係数が決定される（ステップＳ１４０５）。図１５には、横軸に合成対象画像の信号強度、縦軸に合成切替係数が示されている。合成対象画像の信号強度と合成切替係数との関係は、図１５に示されるように、合成対象位置の信号強度が小さい場合には、長露光画像の合成切替係数を大きくし、合成対象位置の信号強度が大きい場合には、短露光画像の合成切替係数を大きくするように規定されている。信号強度としては、画像の信号値、画像の輝度値、Ｇ信号値のいずれでもよく、また、これらの組み合わせであってもよい。
上記算出された合成比率重み係数と合成比率係数と合成切替係数と、以下の（５）式に基づいて合成比率が求められる（ステップＳ１４０６）。

さらに、このように求められた合成比率と、以下の（６）式とに基づいて、画像が合成される（ステップＳ１４０７）。

合成領域内の全画素において、画像の合成処理が終了したか否かが判定され（ステップＳ１４０８）、終了していない場合にはステップＳ１４０４に戻る。また、合成領域内の全画素で処理が終了している場合には、画像内の全ての合成領域で画像の合成処理が終了したか否かが判定され（ステップＳＡ１４０９）、全ての合成領域で合成処理が終了している場合には、生成された合成画像が出力され（ステップＳ１４１０）、本処理を終了する。また、画像内の全ての合成領域で画像の合成処理が完了していない場合には（ステップＳ１４０９のＮｏ）、ステップＳ１４０２に戻り、処理を繰り返す。

次に、本実施形態に係る画像処理装置の作用について図１３及び図１４を用いて説明する。
正規化処理部１５において、撮影パラメータと画像データとが取得され、露光条件の比率に基づいて画像の明るさが正規化されると、正規化された画像データが出力される。動きベクトル測定領域設定部１１において、画像サイズ、位置合わせテンプレート数、探索範囲などの画像処理パラメータに基づいて動きベクトルのテンプレート領域やサーチ領域などの動きベクトル測定領域が設定される。動きベクトル演算部１２において、動きベクトル測定領域と正規化された画像データとに基づいて、各動きベクトル測定領域において画像間の動きベクトルが求められる。求めた動きベクトルと、動きベクトルを演算過程で得られる中間データとが出力される。

動きベクトル信頼性演算部１３では、動きベクトルと動きベクトルの中間データとに基づいて、各動きベクトルの信頼性を示す指標値が演算され、動きベクトルの信頼性として出力される。画像合成部１４において、動きベクトル、動きベクトルの信頼性、正規化された画像データ、及び画像処理パラメータに基づいて、画像間の位置ずれを補償しながら画像を合成し、生成された合成画像が記録部５に出力される。

以上説明してきたように、本実施形態に係る画像処理装置及び方法並びにプログラムによれば、画像の信号強度に応じて合成比率を切り替え、かつ、画像間の差異が大きい場合に合成を抑制し、動きベクトルの信頼性に基づいて位置合わせの信頼性が低いとされる領域の合成を抑制する。これにより、露光条件の異なる画像を合成する場合であっても、本来の対応点ではない領域同士の合成を抑制し、合成画像におけるアーチファクトの発生を抑制できる。

１ 画像処理装置
６、６´ 合成処理部
１０ 画像処理部
１１ 測定領域設定部
１２ 演算部
１３ 信頼性演算部
１４、１４´ 画像合成部

Claims (14)

1. 合成する複数の画像において、少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する測定領域設定手段と、
   前記測定領域設定手段で設定された前記動きベクトル測定領域において、複数の前記画像間の前記動きベクトルを演算する演算手段と、
   前記動きベクトルの信頼性を演算する信頼性演算手段と、
   複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と前記動きベクトルの信頼性とに基づいて決定される前記画素毎の合成比率に基づいて、複数の前記画像を合成する画像合成手段とを具備する画像処理装置。
2. 前記画像合成手段が、前記画像間の前記特徴量に基づいて決定される前記画像間の一致度合いが、所定値以上である場合には前記合成比率を増加させ、前記所定値より小さい場合には前記合成比率を低減させる請求項１に記載の画像処理装置。
3. 前記画像合成手段が、前記動きベクトルの信頼性が所定値以上である場合には、前記合成比率を増加させ、前記動きベクトルの信頼性が前記所定値より小さい場合には、前記合成比率を低減する請求項１に記載の画像処理装置。
4. 前記画像合成手段が、輝度、色差、色相、明度、彩度、信号値、及びこれらに対する１次微分値と２次微分値とのうち、少なくとも１つに関する画素間の差、該差の絶対値、前記差の絶対値和、差の２乗和、相関値のうち少なくともいずれか１つを用いて前記画像間の前記特徴量を計算する請求項１または請求項２に記載の画像処理装置。
5. 撮影時の露光時間を変化させながら複数の画像を撮像する撮像手段と、
   前記露光時間の比率に基づいて複数の前記画像の画素の信号値の大きさを正規化する正規化処理手段と、
   正規化後の複数の前記画像において、少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する測定領域設定手段と、
   前記動きベクトル測定領域において、前記画像間の動きベクトルを演算する演算手段と、
   前記動きベクトルの信頼性を演算する信頼性演算手段と、
   複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と、合成される前記画像の信号強度と、前記動きベクトルの信頼性とに基づいて決定される前記画素毎の合成比率に基づいて、複数の前記画像を合成する画像合成手段とを具備する画像処理装置。
6. 前記画像合成手段が、前記画像間の前記特徴量に基づいて決定される前記画像間の一致度合いが、所定値以上である場合には前記合成比率を増加させ、前記所定値より小さい場合には前記合成比率を低減させる請求項５に記載の画像処理装置。
7. 前記画像合成手段が、前記動きベクトルの信頼性が所定値以上である場合には、前記合成比率を増加させ、前記動きベクトルの信頼性が前記所定値より小さい場合には、前記合成比率を低減する請求項５に記載の画像処理装置。
8. 前記画像合成手段が、複数の前記画像の信号強度が所定値以上である場合には、短露光画像の前記合成比率を増加させ、複数の前記画像の信号強度が前記所定値より小さい場合は長露光画像の前記合成比率を増加させる請求項５に記載の画像処理装置。
9. 前記画像合成手段が、輝度、色差、色相、明度、彩度、信号値、及びこれらに対する１次微分値と２次微分値とのうち、少なくとも１つに関する画素間の差、該差の絶対値、前記差の絶対値和、差の２乗和、及び相関値のうち少なくともいずれか１つを用いて前記画像間の前記特徴量を計算する請求項５または請求項６に記載の画像処理装置。
10. 前記画像合成手段が、複数の前記画像の前記信号強度として前記画像の信号値、前記画像の輝度値のうち、少なくとも１つを含む請求項５または請求項８に記載の画像処理装置。
11. 合成する複数の画像における少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する第１過程と、
    前記動きベクトル測定領域において、複数の前記画像間の動きベクトルを演算する第２過程と、
    前記動きベクトルの信頼性を演算する第３過程と、
    複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と前記動きベクトルの信頼性とに基づいて決定される画素毎の合成比率に基づいて、複数の前記画像を合成する第４過程とを有する画像処理方法。
12. 合成する複数の画像における少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する第１処理と、
    前記動きベクトル測定領域において、複数の前記画像間の動きベクトルを演算する第２処理と、
    前記動きベクトルの信頼性を演算する第３処理と、
    複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と前記動きベクトルの信頼性とに基づいて決定される画素毎の合成比率に基づいて、複数の前記画像を合成する第４処理とをコンピュータに実行させるための画像処理プログラム。
13. 撮影時の露光時間を変化させながら複数の画像を撮影する第１過程と、
    前記露光時間の比率に応じて前記画像の画素の信号値の大きさを正規化する第２過程と、
    正規化後の前記画像において、少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する第３過程と、
    前記動きベクトル測定領域において、前記画像間の動きベクトルを演算する第４過程と、
    前記動きベクトルの信頼性を演算する第５過程と、
    複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と、合成される前記画像の信号強度と、前記動きベクトルの信頼性とに基づいて、決定される画素毎の合成比率に基づいて、複数の前記画像を合成する第６過程とを有する画像処理方法。
14. 撮影時の露光時間を変化させながら複数の画像を撮影する第１処理と、
    前記露光時間の比率に応じて前記画像の画素の信号値の大きさを正規化する第２処理と、
    正規化後の前記画像において、少なくとも１つ以上の動きベクトルを測定するための領域である動きベクトル測定領域を各前記画像に設定する第３処理と、
    前記動きベクトル測定領域において、前記画像間の動きベクトルを演算する第４処理と、
    前記動きベクトルの信頼性を演算する第５処理と、
    複数の前記画像間の位置ずれを前記動きベクトルに基づいて補正しつつ、複数の前記画像間における画素又は領域毎の特徴量と、合成される前記画像の信号強度と、前記動きベクトルの信頼性とに基づいて、決定される画素毎の合成比率に基づいて、複数の前記画像を合成する第６処理とをコンピュータに実行させる画像処理プログラム。

Images