JP7133979B2 - 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 - Google Patents

Description

本発明は、露光条件が異なり、互いに対応する第１画像及び第２画像に基づく合成を行う画像処理装置、画像処理方法、プログラム、及び、当該プログラムを記憶した記憶媒体に関する。

一般的な撮像装置では、一回の撮像で取得することができる明るさの範囲（ダイナミックレンジ）は限られている。そのため、極端に異なる暗部と明部とが共に含まれるシーン（景色）においては、撮像画像に黒つぶれや白とびが発生することがある。露光時間を短くした場合には、明部での白とびを抑えられるが、暗部にて黒つぶれが生じて視認性が低下した画像となる。一方、露光時間を長くした場合には、暗部での黒つぶれを抑えられるが、明部にて白とびが生じてテクスチャが失われた画像となる。

そこで、露光条件が異なる複数の画像を合成してダイナミックレンジの広い画像を生成するハイダイナミックレンジ（ＨＤＲ）合成技術が提案されている。例えば、特許文献１では、同一シーンにおいて短露光時間画像と長露光時間画像とを取得し、これら二つの画像の輝度値に基づいて各画像の合成比率を画素毎に決定し、決定した合成比率に基づいて二つの画像を合成する。この際、暗部では長露光時間画像の合成比率が大きくなり、明部では短露光時間画像の合成比率が大きくなるように合成比率が決定される。

しかしながら、以上のようなＨＤＲ合成技術では、合成前の複数の画像間に位置ずれがある場合に、それら画像を合成した合成画像において、ぶれや二重像（ゴースト）等の弊害が発生する課題がある。とくに、露光条件を変えた複数の画像を位置が異なるセンサを用いて同一の被写体を撮像する場合や、移動体に搭載した撮像装置を用いて時分割で同一の被写体を撮像する場合などにおいては、複数の画像同士の間に視差が生じる。つまり、複数の画像の撮影時において撮像装置に対する被写体の奥行き距離が異なる場合には、複数の画像同士の間に被写体の位置ずれが局所的に生じ、その結果として、ぶれや二重像（ゴースト）等の弊害が発生する。

こうした弊害を抑制するために、複数の画像の位置ずれを高密度（例えば、画素毎）で検出し、複数の画像を位置ずれ補正して合成する技術が知られている。特許文献２では、視差があり、かつ露光量が異なる複数の入力画像に対し、画像輝度調整を行ったうえでマッチングを行い、全ての画素についてマッチング情報を求め、求められたマッチング情報に基づいて複数の画像を位置校正して合成する技術が開示されている。

特開２０１３－１２９９９号公報 特許第５３６７６４０号公報

しかしながら、特許文献２に記載の技術では、黒つぶれしている領域、及び、白とびしている領域を含む全ての画素に対して位置ずれ探索を行う。つまり、基準とする画像において黒つぶれしている領域または白とびしている領域を他の露光条件の画像で置き換える合成処理だけで十分である場合にも、位置ずれ探索を全ての画素に対して行う。このため画像処理が非効率となっており、処理時間の短縮化に改善の余地がある。

そこで、本発明は、上記のような問題点を鑑みてなされたものであり、合成によって生成される画像の品位を保ちつつ、位置ずれ探索にかかる処理時間を低減可能な技術を提供することを目的とする。

本発明に係る画像処理装置は、露光条件が異なり、互いに対応する第１画像及び第２画像に基づく合成を行う画像処理装置であって、前記第１画像の輝度値に基づいて、前記第１画像及び前記第２画像の合成を行った場合の、前記第１画像及び前記第２画像の一方の画像の合成における画素毎の第１合成比率を決定する第１合成比率決定部と、前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の合成を行った場合の、前記一方の画像の合成における画素毎の第２合成比率を決定する第２合成比率決定部と、前記第１合成比率及び前記第２合成比率に基づいて、前記第１画像と前記第２画像との間の位置ずれが、前記第１画像及び前記第２画像の合成を行った場合に生成される合成画像の輝度に影響する程度を、位置ずれ顕著性として画素毎に判定する位置ずれ顕著性判定部と、前記位置ずれ顕著性に基づいて、位置ずれ探索に要する処理量を変更しつつ、当該位置ずれ探索によって前記第１画像と前記第２画像との間の画素毎の動きベクトルを算出する重み付き動きベクトル算出部と、前記第１画像と、前記第２画像と、前記動きベクトルとに基づく合成を行うことによって、第３画像を生成する画像生成部とを備える。

本発明によれば、第１合成比率及び第２合成比率に基づいて、第１画像と第２画像との間の位置ずれが、第１画像及び第２画像の合成を行った場合に生成される合成画像の輝度に影響する程度を、位置ずれ顕著性として画素毎に判定し、位置ずれ顕著性に基づいて、位置ずれ探索に要する処理量を変更しつつ、当該位置ずれ探索によって第１画像と第２画像との間の画素毎の動きベクトルを算出する。このような構成によれば、合成によって生成される画像の品位を保ちつつ、位置ずれ探索にかかる処理時間を低減することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係る第１合成比率決定部における入出力関係を示すグラフである。 実施の形態１に係る第２合成比率決定部における入出力関係を示すグラフである。 実施の形態１に係る位置ずれ顕著性判定部における入出力関係を示す等高線図である。 実施の形態１に係る第１合成比率決定部、第２合成比率決定部、及び、位置ずれ顕著性判定部の動作を説明するための図である。 実施の形態１に係る重み付き動きベクトル算出部の動作を説明するための図である。 実施の形態１に係る画像生成部の動作を説明するための図である。 実施の形態１に係る画像処理装置の処理を実行するコンピュータシステムの構成を示すブロック図である。

＜実施の形態１＞
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。

本実施の形態１に係る画像処理装置は、露光条件が異なり、互いに対応する第１画像ＩｍｇＡ及び第２画像ＩｍｇＢに基づく合成を行うことによって、第３画像ＩｍｇＣを生成して出力する。図１の画像処理装置は、第１合成比率決定部１ａと、第２合成比率決定部１ｂと、位置ずれ顕著性判定部２と、重み付き動きベクトル算出部３と、画像生成部４とを備える。

第１合成比率決定部１ａは、第１画像ＩｍｇＡの輝度値に基づいて、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合の、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの一方の画像の合成における画素毎の第１合成比率ＷｅｉＡを決定する。第２合成比率決定部１ｂは、第２画像ＩｍｇＢの輝度値に基づいて、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合の、上記一方の画像の合成における画素毎の第２合成比率ＷｅｉＢを決定する。本実施の形態１では、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの一方の画像は、第１画像ＩｍｇＡであるものとする。なお以下の説明では、画素毎の第１合成比率ＷｅｉＡによって形成される画像を、第１合成比率画像ＷｅｉＡと記すこともあり、画素毎の第２合成比率ＷｅｉＢによって形成される画像を、第２合成比率画像ＷｅｉＢと記すこともある。また、以下の説明では、第１合成比率ＷｅｉＡ及び第２合成比率ＷｅｉＢを区別しない場合には単に合成比率と記すこともある。

位置ずれ顕著性判定部２は、第１合成比率ＷｅｉＡ及び第２合成比率ＷｅｉＢに基づいて、第１画像ＩｍｇＡと第２画像ＩｍｇＢとの間の位置ずれが、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合に生成される合成画像の輝度に影響する程度を、位置ずれ顕著性Ｉｍｐとして画素毎に判定する。位置ずれ顕著性Ｉｍｐは、合成画像において位置ずれの影響が目立つ程度に実質的に相当する。また、この位置ずれ顕著性Ｉｍｐは、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢの合成を行った場合に生成される画像の輝度に影響する程度に相当する。なお以下の説明では、画素毎の位置ずれ顕著性Ｉｍｐによって形成される画像を、位置ずれ顕著性画像Ｉｍｐと記すこともある。

重み付き動きベクトル算出部３は、位置ずれ顕著性Ｉｍｐに基づいて、位置ずれ探索（位置ずれ検出）に要する処理量を変更しつつ、当該位置ずれ探索によって第１画像ＩｍｇＡと第２画像ＩｍｇＢとの間の画素毎の動きベクトルＷを算出する。なお、位置ずれ探索に要する処理量を変更することは、位置ずれ探索の粒度を変更することに相当する。

画像生成部４は、第１画像ＩｍｇＡと、第２画像ＩｍｇＢと、動きベクトルＷとに基づく合成を行うことによって、第３画像ＩｍｇＣを生成する。本実施の形態１では、この画像生成部４は、位置補正部４ａと、合成部４ｂとを備える。

位置補正部４ａは、動きベクトルＷに基づいて第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの他方の画像の位置を画素毎に補正する。第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの他方の画像は、上述した一方の画像と異なる画像である。本実施の形態１では、他方の画像は、第２画像ＩｍｇＢであるものとする。位置補正部４ａの補正によって、位置補正後の第２画像ＩｍｇＢｗが生成される。

合成部４ｂは、第１合成比率ＷｅｉＡまたは第２合成比率ＷｅｉＢに基づいて、一方の画像と、位置が補正された他方の画像とを重み付け加算する合成を行うことによって、第３の画像を生成する。本実施の形態１では、合成部４ｂは、第１合成比率ＷｅｉＡに基づいて、第１画像ＩｍｇＡと、位置補正後の第２画像ＩｍｇＢｗとを重み付け加算する合成を行うことによって、第３の画像ＩｍｇＣを生成する。

以下、各構成要素について詳細に説明する。

＜第１画像ＩｍｇＡ及び第２画像ＩｍｇＢ＞
本実施の形態１に係る画像処理装置には、露光条件が異なり、互いに対応する２枚の画像Ｉａ，Ｉｂが入力される。露光条件とは、撮像装置における露光時間、絞り、素子感度、減光フィルタ等の設定値であり、露光量を制御する条件の全てをいう。本実施の形態１では、互いに対応する２枚の画像は、互いの間に視差がある２枚の画像であるものとする。このような２枚の画像は、例えば、位置が異なるセンサを用いて同一の撮影対象（被写体及びシーンなど）を撮像して得られる２枚の画像、または、移動体に搭載した撮像装置を用いて時分割で同一の撮影対象を撮像して得られる２枚の画像などである。２枚の画像の撮影時において撮像装置に対する被写体の奥行き距離が異なる場合には、２枚の画像同士の間に被写体の位置ずれが局所的に生じる。本実施の形態１に係る画像処理装置は、局所的な位置ずれが生じた複数の画像を、位置ずれ補正して合成する。ただし、互いに対応する２枚の画像は、互いの間に視差がない２枚の画像であってもよい。

本実施の形態１では、２枚の画像のうち、位置補正が行われない、位置の基準となる画像（以後、基準画像と呼ぶこともある）を第１画像とする。一方、位置補正が行われ、基準画像と位置が合うように画像が変形される方の画像（以後、参照画像と呼ぶこともある）を第２画像とする。

ここで、第１画像及び第２画像は、撮像画像の露光条件が異なれば、どちらを基準画像（または参照画像）に選択してよい。すなわち、露光の少ない方の画像を第１画像（基準画像）、露光の多い方の画像を第２画像（参照画像）としてもよいし、または、その逆であってもよい。ただし、黒つぶれしている領域、及び、白とびしている領域の面積が小さい方の画像を第１画像（基準画像）として選ぶ方が好適である。以下では、説明を平易にするため、露光の少ない画像は第１画像（基準画像）であり、露光の多い画像は第２画像（参照画像）であるものとして説明する。

また、位置合わせや合成の処理に先立ち、撮像画像の露光条件及びカメラレスポンス関数（ＣＲＦ；Ｃａｍｅｒａ Ｒｅｓｐｏｎｓｅ Ｆｕｎｃｔｉｏｎ）を考慮して、明るさが合わせられた２枚の画像を第１画像及び第２画像としてもよい。

カメラレスポンス関数とは、撮像画像の画素値と、シーンの放射輝度との関係を記述するものである。一般的な撮像装置では、画像検出器において、シーンの放射輝度に対し線形な信号を出力することが多いが、撮像装置によっては、画像生成過程において、当該信号にガンマ補正などの非線形な階調変換を施すこともある。これらの過程における変換を一つにまとめて、シーンの放射輝度を最終的な撮像画像の画素値に変換する関数は、カメラレスポンス関数と呼ばれる。カメラレスポンス関数の逆関数であり、撮像画像の画素値をシーンの放射輝度に変換する関数は、カメラレスポンス逆関数と呼ばれる。カメラレスポンス関数及びその逆関数は、放射輝度が既知である被写体を撮影し、その撮像画像に基づいて関数を校正する方法、露光時間のみを変えて被写体を撮像し、その撮影画像に基づいて関数を推定する方法、などの公知の方法によって求めることができる。

以下では、撮像画像の各々に対応するカメラレスポンス逆関数が校正等により予め求められており、当該カメラレスポンス逆関数を示すＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）や多項式が与えられているものとして説明する。

露光条件を変えて撮像した画像Ｉａ，Ｉｂの明るさを合わせることによって画像Ｉａ’，Ｉｂ’に生成する処理は、例えば次式（１）及び次式（２）にて表される。これらの式によれば、実質的に画像Ｉａ，Ｉｂの明るさが規格化されている。

なお、式（１）及び式（２）で、ｐは画素位置であり、Ｉ_ａ（ｐ），Ｉ_ｂ（ｐ）は画像Ｉａ，Ｉｂにおける画素位置ｐの画素値をそれぞれ表す（以下、画像データの画素値を表す場合には同様の表記を用いる）。また、ｆ_ａ，ｆ_ｂは画像Ｉａ，Ｉｂのカメラレスポンス逆関数であり、Ｅ_ａ，Ｅ_ｂは画像Ｉａ，Ｉｂの露光量Ｅａ，Ｅｂであり、Ｋは任意の定数である。

以下、説明を平易にするため、撮像画像の画素値を放射輝度（に線形な値）に変換することで明るさを合わせた画像を第１画像及び第２画像として入力するものとする。すなわち、式（１）で表される画像Ｉａ’が、図１の第１画像ＩｍｇＡであるとし、式（２）で表される画像Ｉｂ’が、図１の第２画像ＩｍｇＢであるものとして以下説明する。

＜第１合成比率決定部１ａ及び第２合成比率決定部１ｂ＞
第１合成比率決定部１ａは、第１画像ＩｍｇＡの輝度値に基づいて、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合の、第１画像ＩｍｇＡの合成における画素毎の第１合成比率ＷｅｉＡを決定して、第１合成比率画像ＷｅｉＡを生成する。

なお、第１合成比率画像ＷｅｉＡの画素値、及び、後述する第２合成比率画像ＷｅｉＢの画素値はいずれも、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合の第１画像ＩｍｇＡの合成比率（重み付け）を表す。

本実施の形態１では、合成比率は画素毎に０から１までの値を取り、合成比率がαである画素に関して、第１画像ＩｍｇＡの合成比率はαであり、第２画像ＩｍｇＢの合成比率は（１－α）であり、合成画像の画素値はα×ＩｍｇＡ＋（１－α）×ＩｍｇＢとなる。これにより、合成比率が１である画素は、合成画像において画像ＩｍｇＡの１００％の画素値（画像ＩｍｇＢの０％の画素値）を有することになり、合成比率が０である画素は、合成画像において画像ＩｍｇＡの０％の画素値（画像ＩｍｇＢの１００％の画素値）を有することになる。

なお、合成比率の画素値の定義を反転させてもよい。つまり、第１合成比率画像ＷｅｉＡの画素値、及び、後述する第２合成比率画像ＷｅｉＢの画素値はいずれも、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合の、第２画像ＩｍｇＢの合成比率（重み付け）を表すものとしてもかまわない。ただし、その場合には、以下で説明する処理において、それらの値の大小も反転される。

第１画像ＩｍｇＡを露光の少ない方の画像とした場合、第１合成比率決定部１ａは、第１画像ＩｍｇＡの輝度値が小さい画素については、当該画素の第１合成比率ＷｅｉＡを小さくし、第１画像ＩｍｇＡの輝度値が大きい画素については、当該画素の第１合成比率ＷｅｉＡを大きくする。

第１合成比率決定部１ａは、例えば次式（３）を用いて、第１画像ＩｍｇＡの輝度値に基づき、画素毎の第１合成比率ＷｅｉＡを決定する。なお、次式（３）において、ＴＨ_{ｂｒｉｇｈｔ}及びＴＨ_ｄａｒｋは閾値である。閾値ＴＨ_{ｂｒｉｇｈｔ}は、後述のように飽和レベルに基づいて定められ、閾値ＴＨ_ｄａｒｋは、後述のようにノイズレベルに基づいて定められる。

図２は、横軸に第１画像ＩｍｇＡの輝度値、縦軸に第１合成比率ＷｅｉＡをとったグラフを示す図である。式（３）及び図２の実線に示す例では、第１画像ＩｍｇＡの輝度値が閾値ＴＨ_{ｂｒｉｇｈｔ}以上である場合には、第１合成比率ＷｅｉＡが１となり、第１画像ＩｍｇＡの輝度値が閾値ＴＨ_ｄａｒｋ以下である場合には、第１合成比率ＷｅｉＡが０となる。そして、第１画像ＩｍｇＡの輝度値が閾値ＴＨ_ｄａｒｋよりも大きく閾値ＴＨ_{ｂｒｉｇｈｔ}よりも小さい範囲では、第１合成比率ＷｅｉＡが第１画像ＩｍｇＡの輝度値に応じて徐々に増加する。

したがって、合成画像のうち、第１画像ＩｍｇＡの輝度値が閾値ＴＨ_{ｂｒｉｇｈｔ}以上である明るい部分では、第１合成比率ＷｅｉＡが１となり、露光の少ない方の第１画像ＩｍｇＡが１００％採用される。一方、合成画像のうち、第１画像ＩｍｇＡの輝度値が閾値ＴＨ_ｄａｒｋ以下である暗い部分では、第１合成比率ＷｅｉＡが０となり、露光の多い方の第２画像ＩｍｇＢが１００％採用される。そして、合成画像のうち、第１画像ＩｍｇＡの輝度値が閾値ＴＨ_ｄａｒｋよりも大きく閾値ＴＨ_{ｂｒｉｇｈｔ}よりも小さい範囲である明るさが中間である部分では、第１合成比率ＷｅｉＡが０よりも大きく１よりも小さくなり、露光が少ない方の第１画像ＩｍｇＡと露光が多い方の第２画像ＩｍｇＢとがブレンドされる。

閾値ＴＨ_{ｂｒｉｇｈｔ}は、明るさを合わせる前の撮像画像のうち露光の多い方の画像において飽和している画素の輝度値ＳａｔＬｖと同じか、それよりも少し小さな値に定められる。飽和している画素の輝度値ＳａｔＬｖは、元の撮像画像のうち露光の多い方の画像（上述の画像Ｉｂ）が取りうる画素値の上限値Ｉ_ＭＡＸ（８ビットの画像の場合はＩ_ＭＡＸ＝２５５）に対して、式（２）と同様の変換を施す次式（４）によって計算される。

閾値ＴＨ_{ｂｒｉｇｈｔ}は、例えば、ＳａｔＬｖの９５％以上１００％以下の値に定められる。これにより、第１画像ＩｍｇＡの輝度値の明るさが、第２画像ＩｍｇＢが飽和するレベルの明るさである場合には、第１画像ＩｍｇＡの合成比率は確実に１となり、飽和する第２画像ＩｍｇＢが第３画像ＩｍｇＣに採用されないようにすることができる。以下では、閾値ＴＨ_{ｂｒｉｇｈｔ}をＳａｔＬｖに等しい値に定めたものとして説明する。

閾値ＴＨ_ｄａｒｋは、閾値ＴＨ_{ｂｒｉｇｈｔ}よりも小さな値で、かつ、明るさを合わせる前の撮像画像のノイズレベルに対応する輝度値ＮｏｉＬｖよりも十分に大きな値となるように定められる。ノイズレベルに対応する輝度値ＮｏｉＬｖは、元の撮像画像（例えば、露光の少ない方の画像Ｉａ）におけるノイズの標準偏差がσ_ｎであった場合、当該標準偏差に対して、式（１）と同様の変換を施す次式（５）によって計算される。

閾値ＴＨ_ｄａｒｋは、ＮｏｉＬｖよりも十分に大きな値、例えば、ＮｏｉＬｖの３倍程度の値に定める。これにより、第１画像ＩｍｇＡのうち、輝度値の明るさがノイズレベルの明るさである部分では、第１画像ＩｍｇＡの合成比率は確実に０となり、第１画像ＩｍｇＡのノイズが第３画像ＩｍｇＣに採用されないようにすることができる。

以上のように、第１合成比率決定部１ａは、第１画像ＩｍｇＡの輝度値に基づいて、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合の、第１画像ＩｍｇＡの合成における画素毎の第１合成比率ＷｅｉＡを決定して、第１合成比率画像ＷｅｉＡを生成する。

一方、第２合成比率決定部１ｂは、第２画像ＩｍｇＢの輝度値に基づいて、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合の、第１画像ＩｍｇＡの合成における画素毎の第２合成比率ＷｅｉＢを決定して、第２合成比率画像ＷｅｉＢを生成する。

第２合成比率決定部１ｂは、第２画像ＩｍｇＢの輝度値に応じて合成比率を決定する点が第１合成比率決定部１ａと異なっているのみで、合成比率の決め方は第１合成比率決定部１ａと同様である。

すなわち、第２合成比率決定部１ｂは、第２画像ＩｍｇＢの輝度値が小さい画素については、当該画素の第２合成比率ＷｅｉＢを小さくし、第２画像ＩｍｇＢの輝度値が大きい画素については、当該画素の第２合成比率ＷｅｉＢを大きくする。このため、第２合成比率決定部１ｂで決定される第２合成比率ＷｅｉＢは、第２画像ＩｍｇＢの合成における合成比率ではなく、第１画像ＩｍｇＡの合成における合成比率の推定値となる。

本実施の形態１では、第２合成比率決定部１ｂは、例えば式（３）と同様の次式（６）を用いて、第２画像ＩｍｇＢの輝度値に基づき、画素毎の第２合成比率ＷｅｉＢを決定する。図３は、横軸に第２画像ＩｍｇＢの輝度値、縦軸に第２合成比率ＷｅｉＢをとったグラフを示す図である。なお、第２合成比率ＷｅｉＢは、破線で示される第２画像ＩｍｇＢの合成比率ではなく、実線で示される第１画像ＩｍｇＡの合成比率である。

式（６）において、ＴＨ_{ｂｒｉｇｈｔ}及びＴＨ_ｄａｒｋは閾値であり、それらの値には、第１合成比率決定部１ａのＴＨ_{ｂｒｉｇｈｔ}及びＴＨ_ｄａｒｋの値と同じ値を用いることができる。なお、第１合成比率決定部１ａ及び第２合成比率決定部１ｂにおいて共通の関係式を用いることができるのは、式（１）及び（２）で明るさを合わせた画像を第１画像及び第２画像として入力しているためである。式（１）及び（２）の変換を行う機能を第１合成比率決定部１ａ及び第２合成比率決定部１ｂにそれぞれ組み入れた構成では、明るさを合わせる前の撮像画像を第１画像及び第２画像として入力することができる。

以上のように、第２合成比率決定部１ｂは、第２画像ＩｍｇＢの輝度値に基づいて、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合の、第１画像ＩｍｇＡの合成における画素毎の第２合成比率ＷｅｉＢを決定して、第２合成比率画像ＷｅｉＢを生成する。

以上のようにして、第１合成比率決定部１ａ及び第２合成比率決定部１ｂは、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの輝度値に対して階調変換を施す。これによって、明るさが概ね互いに一致し、かつ、黒つぶれ領域で０、白とび領域で１の値をもつ、０から１までの値に正規化された第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢが生成される。

＜位置ずれ顕著性判定部２＞
図１の位置ずれ顕著性判定部２は、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢに基づいて、第１画像ＩｍｇＡと第２画像ＩｍｇＢとの間の位置ずれが、前記第１画像及び前記第２画像の合成を行った場合に生成される合成画像の輝度に影響する程度を画素毎に判定して、位置ずれ顕著性画像Ｉｍｐを生成する。

位置ずれ顕著性判定部２は、第１合成比率画像ＷｅｉＡ（第１合成比率ＷｅｉＡ）が小さくなるほど位置ずれ顕著性Ｉｍｐを大きくし、第１合成比率画像ＷｅｉＡ（第１合成比率ＷｅｉＡ）と第２合成比率画像ＷｅｉＢ（第２合成比率ＷｅｉＢ）との差分絶対値が大きくなるほど位置ずれ顕著性Ｉｍｐを大きくする。位置ずれ顕著性判定部２は、例えば次式（７）を用いて位置ずれ顕著性Ｉｍｐを計算する。

式（７）の位置ずれ顕著性Ｉｍｐは、合成画像における第１画像ＩｍｇＡの合成比率の反転（すなわち、第２画像ＩｍｇＢの合成比率）である（１－ＷｅｉＡ）と、第１合成比率ＷｅｉＡと第２合成比率ＷｅｉＢとの差分絶対値｜ＷｅｉＢ－ＷｅｉＡ｜との積で表される。

式（７）の右辺第１項（１－ＷｅｉＡ）は、０から１までの値を取る。第１画像ＩｍｇＡの第１合成比率ＷｅｉＡが１のとき、当該右辺第１項が０となり、その結果、位置ずれ顕著性Ｉｍｐは０となる。また、第１画像ＩｍｇＡの合成比率が１未満の値であるとき、第２画像ＩｍｇＢの合成比率を示す右辺第１項（１－ＷｅｉＡ）が０より大きい値となり、その結果、位置ずれ顕著性Ｉｍｐは、この値に比例して大きくなる。

式（７）における右辺第２項｜ＷｅｉＢ－ＷｅｉＡ｜は、０から１までの値を取る。第１合成比率画像ＷｅｉＡと第２合成比率画像ＷｅｉＢとにおいて位置が互いに同じ画素の画素値が等しいとき、位置ずれ顕著性Ｉｍｐは０となる。また、第１合成比率画像ＷｅｉＡと第２合成比率画像ＷｅｉＢとにおいて位置が互いに同じ画素の画素値が異なるとき、位置ずれ顕著性Ｉｍｐは、この差分絶対値に比例して大きくなる。

図４は、第１合成比率ＷｅｉＡの値と第２合成比率ＷｅｉＢの値との組み合わせに対して、式（７）で計算される位置ずれ顕著性Ｉｍｐの値を等高線でプロットした図である。等高線図において右側に行くほど、つまり第１合成比率ＷｅｉＡが大きくなるほど、位置ずれ顕著性Ｉｍｐは小さくなる。また、等高線図において破線で示した対角線（直線ＷｅｉＢ＝ＷｅｉＡ）に近づくほど、つまり第１合成比率ＷｅｉＡと第２合成比率ＷｅｉＢとの差分絶対値が小さくなるほど、位置ずれ顕著性Ｉｍｐは小さくなる。また、等高線図において中央から左上の領域に向かうほど、つまり、第１合成比率ＷｅｉＡが小さく、かつ、第１合成比率ＷｅｉＡと第２合成比率ＷｅｉＢとの差分絶対値が大きくなるほど、位置ずれ顕著性Ｉｍｐは大きくなる。

なお、位置ずれ顕著性判定部２は、式（７）を用いて位置ずれ顕著性Ｉｍｐを計算するのではなく、例えば次式（８）を用いて位置ずれ顕著性Ｉｍｐを計算してもよい。

式（８）で、ｒ_１，ｒ_２は各項の寄与を調整する乗数であり、それぞれ０以上の実数であるものとする。式（８）において、ｒ_１を０にすると、第１合成比率ＷｅｉＡが大きくなっても位置ずれ顕著性Ｉｍｐが低減しなくなる。ｒ_１を大きな値にするほど、第１合成比率ＷｅｉＡが大きい場合に位置ずれ顕著性Ｉｍｐを低減する程度が大きくなる。つまり、ｒ_１を調整することによって、位置ずれ顕著性Ｉｍｐへの第１合成比率ＷｅｉＡの寄与を調整することができる。同様に、ｒ_２を調整することによって、位置ずれ顕著性Ｉｍｐへの、第１合成比率ＷｅｉＡと第２合成比率ＷｅｉＢとの差分絶対値の寄与を調整することができる。

以上のように、位置ずれ顕著性Ｉｍｐは、第１合成比率画像ＷｅｉＡが表す第１画像ＩｍｇＡの合成比率が小さいときに大きくなり、第１合成比率画像ＷｅｉＡと第２合成比率画像ＷｅｉＢとの差分絶対値が大きいときに大きくなる特性を有する。

以下では、位置ずれ顕著性Ｉｍｐとして、式（７）で計算される値を用いるものとして説明する。

＜重み付き動きベクトル算出部３＞
図１の重み付き動きベクトル算出部３は、位置ずれ顕著性Ｉｍｐに基づいて、位置ずれ探索に要する処理量を変更しつつ、当該位置ずれ探索によって第１画像ＩｍｇＡと第２画像ＩｍｇＢとの間の画素毎の動きベクトルＷを算出する。

図１に示すように、本実施の形態１に係る重み付き動きベクトル算出部３は、第１合成比率ＷｅｉＡによって形成される第１合成比率画像ＷｅｉＡと、第２合成比率ＷｅｉＢによって形成される第２合成比率画像ＷｅｉＢとの間の位置ずれ探索を行うことによって、間接的に第１画像ＩｍｇＡと第２画像ＩｍｇＢとの間の動きベクトルＷを算出する。

動きベクトル算出方法として、例えば、ブロックマッチング法に基づく位置ずれ探索と、勾配法に基づく位置ずれ探索とが知られている。

ブロックマッチング法に基づく位置ずれ探索では、例えば、基準画像の画素単位に設定したブロック毎に、参照画像における複数の位置ずれ候補位置のブロックとの相関を計算し、最も相関が高くなる位置ずれを探索することにより、画素毎の動きベクトルを算出する。

勾配法に基づく位置ずれ探索では、勾配法の評価関数が最小になるような動きベクトルを反復処理により順次更新していくことにより、画素毎の動きベクトルを算出する。

重み付き動きベクトル算出部３の動きベクトル算出方法は、これらの位置ずれ探索だけでなく、これら以外の既知の方法であってもよく、特定の動きベクトル算出手法に限定されない。

ここで、重み付き動きベクトル算出部３は、位置ずれ顕著性Ｉｍｐに基づいて、位置ずれ探索に要する処理量を変更する。つまり、重み付き動きベクトル算出部３は、実質的に位置ずれ顕著性Ｉｍｐに基づいて位置ずれ探索の粒度を変更する。

本実施の形態１では、重み付き動きベクトル算出部３は、位置ずれ顕著性Ｉｍｐが大きくなるほど、位置ずれ探索に要する処理量を大きくする。つまり、重み付き動きベクトル算出部３は、位置ずれ顕著性Ｉｍｐが小さくなるほど、位置ずれ探索に要する処理量を小さくする。

位置ずれ探索に要する処理量を小さくすることは、以下にいくつかの具体例を示すように、例えば、動きベクトル算出の各方法及び各ステップにおいて、画素毎に独立かつ並列に実行可能な処理要素があるときに、特定の画素についてその処理要素の実行を省略したり、特定の画素についてその処理要素の精度を下げたりすることに相当する。

第１具体例では、重み付き動きベクトル算出部３は、位置ずれ顕著性Ｉｍｐが小さい画素について、ブロックマッチング法を用いた位置ずれ探索を行わず、所定の値を割り当てるようにすることで、位置ずれ探索が行われる画素の数を削減する。

第２具体例では、重み付き動きベクトル算出部３は、位置ずれ探索が行われるべき画素の位置ずれ顕著性Ｉｍｐが小さくなるにつれて、ブロックマッチング法を用いた位置ずれ探索を行う間隔を２画素に１回、４画素に１回、…というように粗くする。そして、重み付き動きベクトル算出部３は、位置ずれ探索を行わなかった画素については、位置ずれ探索を行った近傍の画素の結果から線形補間するように求めることで、位置ずれ探索が行われる画素の数を削減する。

第３具体例では、重み付き動きベクトル算出部３は、位置ずれ探索が行われるべき画素の位置ずれ顕著性Ｉｍｐが小さくなるにつれて、ブロックマッチング法を用いた位置ずれ候補位置の刻み（間隔）を２画素、４画素、…というように粗くする。つまり、重み付き動きベクトル算出部３は、位置ずれ候補位置の数を削減する。

第４具体例では、重み付き動きベクトル算出部３は、勾配法を用いた位置ずれ探索における反復処理の回数を削減する。

以上のようにして、重み付き動きベクトル算出部３は、例えば、位置ずれ顕著性Ｉｍｐが大きい領域では位置ずれ探索を画素単位に行い、位置ずれ顕著性Ｉｍｐが小さい領域では位置ずれ探索に要する処理量を小さくすることを行い、かつ、当該位置ずれ探索によって画素毎の動きベクトルＷを算出する。

＜位置補正部４ａ＞
図１の位置補正部４ａは、動きベクトルＷに基づいて第２画像ＩｍｇＢの位置を画素毎に補正して、位置補正後の第２画像ＩｍｇＢｗを生成する。

動きベクトルＷは、第１画像ＩｍｇＡの各画素が第２画像ＩｍｇＢ上のどの画素に移動したかを表す位置ずれマップである。位置補正部４ａは、第２画像ＩｍｇＢ上の画素位置ｐを動きベクトルＷ（ｐ）にしたがって移動した画素位置ｐ＋Ｗ（ｐ）の画素値に補間を行うことにより、位置補正後の第２画像ＩｍｇＢｗの画素値を求める。補間には、例えば、バイリニア法、バイキュービック法、Ｌａｎｃｚｏｓ法など任意の補間方法が用いられる。

位置補正部４ａは、すべての画素位置ｐについて第２画像ＩｍｇＢにおける移動先の位置の画素値を補間することによって位置補正後の第２画像ＩｍｇＢｗを生成する。

＜合成部４ｂ＞
図１の合成部４ｂは、第１合成比率ＷｅｉＡに基づいて、第１画像ＩｍｇＡと、位置補正後の第２画像ＩｍｇＢｗとを重み付け加算する合成を行うことによって、第３の画像ＩｍｇＣを生成する。図１の合成部４ｂは、例えば次式（９）を用いて第３の画像ＩｍｇＣを計算する。

なお、合成部４ｂは、重み付け加算に先立ち、第１合成比率ＷｅｉＡに平滑化フィルタや最大値フィルタなどのフィルタ処理を施してＷｅｉＡ’を求め、次式（１０）に示すように、当該ＷｅｉＡ’を重み付け加算の重み付けとして用いてもよい。

以上のようにして、本実施の形態１に係る画像処理装置は、露光条件が異なり、互いに対応する第１画像ＩｍｇＡ及び第２画像ＩｍｇＢが入力されると、第２画像ＩｍｇＢを位置ずれ補正して第１画像ＩｍｇＡと合成することによって、第３の画像ＩｍｇＣを生成する。これにより、ダイナミックレンジの広い画像を生成するハイダイナミックレンジ合成が可能となっている。

＜動作＞
次に、図５乃至図７を用いて、本実施の形態１に係る画像処理装置の動作を説明する。

まず、図５を用いて、第１合成比率決定部１ａ、第２合成比率決定部１ｂ、位置ずれ顕著性判定部２の動作を説明する。図５乃至図７において、第１画像ＩｍｇＡは、短露光時間画像であり、第２画像ＩｍｇＢは、長露光時間画像である。図５では、暗い部屋の手前に人物がおり、奥に窓の外の明るい景色が見えているような撮影対象を、視差が生じるように設けられた２つのセンサで露光時間を変えて撮像した画像が、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢとして模式的に示されている。

図５のように、短露光時間画像である第１画像ＩｍｇＡにおいて、窓の外の景色の領域は適切な明るさであり明瞭であるが、手前の人物の領域は暗すぎて黒つぶれし、当該領域のＳ／Ｎは低くなっている。また、長露光時間画像である第２画像ＩｍｇＢにおいて、手前の人物の領域は適切な明るさであり明瞭であるが、窓の外の景色の領域は明るすぎて白とびしており、当該領域ではディテールが失われている。

また、第１画像ＩｍｇＡと第２画像ＩｍｇＢとの間には視差があり、奥行き距離が異なる撮影対象（手前の人物、窓枠、窓の外の景色）について局所的に位置ずれが変化している。図５では、第２画像ＩｍｇＢの人物は、第１画像ＩｍｇＡの同人物に対して左方向に位置がずれており、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの窓枠同士の間では位置ずれがなく、第２画像ＩｍｇＢの窓の外の景色は、第１画像ＩｍｇＡの同景色に対して右方向に位置がずれている。

本実施の形態１に係る画像処理装置は、まず、２枚の撮像画像の画素値を放射輝度に線形な値に変換することで明るさを合わせることによって（図５では省略）、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢを取得する。その上で、第１合成比率決定部１ａは、第１画像ＩｍｇＡの輝度値に基づいて、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合の、第１画像ＩｍｇＡの合成における画素毎の第１合成比率ＷｅｉＡを表す第１合成比率画像ＷｅｉＡを生成する（図５の矢印Ａ１ａ）。また、第２合成比率決定部１ｂは、第２画像ＩｍｇＢの輝度値に基づいて、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合の、第１画像ＩｍｇＡの合成における画素毎の第２合成比率ＷｅｉＢを表す第２合成比率画像ＷｅｉＢを生成する（図５の矢印Ａ１ｂ）。

この結果、図５に示すように、第１合成比率画像ＷｅｉＡは、第１画像ＩｍｇＡの黒つぶれ相当輝度領域（手前の人物の胴体の部分）で０になり、白とび相当輝度領域（窓の外の景色の部分）で１になり、それ以外の領域では輝度値に対して線形な値をとった画像となる。

また、図５に示すように、第２合成比率画像ＷｅｉＢは、第２画像ＩｍｇＢの黒つぶれ相当輝度領域（手前の人物の胴体の部分）で０になり、白とび相当輝度領域（窓の外の景色の部分）で１になり、それ以外の領域では輝度値に対して線形な値をとった画像となる。

図５の第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢの白色部分では、第１画像ＩｍｇＡの合成比率が１であり、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合に生成される合成画像の対応する部分において、第１画像ＩｍｇＡの合成比率は１００％となり、第２画像ＩｍｇＢの合成比率は０％となる。また、黒色部分では、第１画像ＩｍｇＡの合成比率が０であり、合成画像の対応する部分において、第１画像ＩｍｇＡの合成比率は０％となり、第２画像ＩｍｇＢの合成比率は１００％となる。さらに、白色でも黒色でもない灰色の部分は、第１画像ＩｍｇＡの合成比率が０及び１の中間の値であり、合成画像の対応する部分において、第１画像ＩｍｇＡと第２画像ＩｍｇＢとがブレンドされることを表している。

第１合成比率決定部１ａ及び第２合成比率決定部１ｂは、それぞれ入力される第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの輝度値に基づいて、黒つぶれ相当輝度領域の合成比率を０、白とび相当輝度領域の合成比率を１、それ以外の領域の合成比率を輝度値に対する線形の値となるように第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢを生成する。このため、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢは互いに、明るさだけでなく、黒つぶれ相当輝度領域（合成比率が０の箇所）と、白とび相当輝度領域（合成比率が１の箇所）とが実質的に一致する画像となる。

ただし、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢの被写体の位置は、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの同位置とそれぞれ同じである。このため、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢ同士の位置ずれは、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢ同士の位置ずれとして保存される。

次に、位置ずれ顕著性判定部２は、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢに基づいて位置ずれ顕著性画像Ｉｍｐを生成する（図５の矢印Ａ２）。図５では、位置ずれ顕著性Ｉｍｐの値をグレイスケールで示しており、位置ずれ顕著性Ｉｍｐが小さい部分は暗い色で、位置ずれ顕著性Ｉｍｐが大きい部分は明るい色で表されている。

生成された位置ずれ顕著性画像Ｉｍｐは、図５に示すように、第１合成比率画像ＷｅｉＡが表す第１画像ＩｍｇＡの合成比率が小さい部分で比較的大きくなり、第１合成比率ＷｅｉＡが表す第１画像ＩｍｇＡの合成比率と、第２合成比率ＷｅｉＢが表す第１画像ＩｍｇＡの合成比率との差分絶対値が大きい部分で比較的大きくなり、それ以外の部分では比較的小さくなる。

図５において、位置ずれ顕著性Ｉｍｐが大きくなっている部分は、手前の人物の胴体のうち位置ずれ顕著性画像Ｉｍｐのエッジ側の部分（符号Ｒａで示す）や、目、鼻、口の部分（符号Ｒｂで示す）である。これらの領域では、第１合成比率画像ＷｅｉＡの値が小さく、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合に生成される合成画像において第２画像ＩｍｇＢが高い比率で採用される。しかも、これらの領域では、第２画像ＩｍｇＢは、第１画像ＩｍｇＡに対して位置がずれており、差分絶対値が大きくなっている。このため、これらの領域では、上記合成画像においてその影響が目立つ。そこで、位置ずれ顕著性判定部２は、このような領域の位置ずれ顕著性Ｉｍｐが大きくなるように位置ずれ顕著性Ｉｍｐを判定する。

一方、窓の外の景色の領域（符号Ｒｃで示す）では、第１画像ＩｍｇＡと第２画像ＩｍｇＢとの間で位置ずれがあるものの、第２画像ＩｍｇＢは飽和しており、かつ、第１合成比率画像ＷｅｉＡの値が１であり、合成画像において第１画像ＩｍｇＡが１００％採用される。このため、これらの領域において第２画像ＩｍｇＢが位置ずれしていることは、合成画像に対して影響を及ぼさない。そこで、位置ずれ顕著性判定部２は、このような領域の位置ずれ顕著性Ｉｍｐが小さくなるように位置ずれ顕著性Ｉｍｐを判定する。

また、部屋の壁の領域（符号Ｒｄで示す）や、手前の人物の胴体のうち位置ずれ顕著性画像Ｉｍｐの内側の部分（符号Ｒｅで示す）では、第１合成比率画像ＷｅｉＡの値が１未満の値であり、合成画像において第２画像ＩｍｇＢが採用される部分ではあるものの、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの輝度が近いため、合成画像においてほとんど目立たない。そこで、位置ずれ顕著性判定部２は、このような領域の位置ずれ顕著性Ｉｍｐが小さくなるように位置ずれ顕著性Ｉｍｐを判定する。

以上のように、位置ずれ顕著性判定部２は、第１合成比率画像ＷｅｉＡと、第１合成比率画像ＷｅｉＡと第２合成比率画像ＷｅｉＢとの差分とを考慮して位置ずれ顕著性Ｉｍｐを判定する。

続いて、図６を用いて、重み付き動きベクトル算出部３の動作を説明する。重み付き動きベクトル算出部３は、位置ずれ顕著性Ｉｍｐに基づいて、位置ずれ探索に要する処理量を変更しつつ、当該位置ずれ探索によって第１合成比率画像ＷｅｉＡと第２合成比率画像ＷｅｉＢとの間の画素毎の動きベクトルＷを算出する（図６の矢印Ａ３）。

図６の例では、重み付き動きベクトル算出部３は、位置ずれ顕著性Ｉｍｐが大きい部分についてのみ、ブロックマッチング法を用いた位置ずれ探索を行う。一方、重み付き動きベクトル算出部３は、位置ずれ顕著性Ｉｍｐが小さい部分では、ブロックマッチング法を用いた位置ずれ探索を行わずに、所定の値、ここではゼロベクトル（位置ずれなし）を割り当てる。図６の位置ずれ顕著性Ｉｍｐが大きい部分は、手前の人物の領域（胴体のエッジ部分等）であり、重み付き動きベクトル算出部３は、この部分の位置ずれ探索を画素単位で行う。

より具体的には、重み付き動きベクトル算出部３は、第１合成比率画像ＷｅｉＡにおいて、位置ずれ顕著性Ｉｍｐが所定の閾値以上である画素の位置に順次ブロックを設定し、各画素位置のブロックについて第２合成比率画像ＷｅｉＢにおける複数の位置ずれ候補位置のブロックとの相関を計算する。そして、重み付き動きベクトル算出部３は、最も相関が高くなる位置ずれを当該画素の動きベクトルとして算出する。一方、重み付き動きベクトル算出部３は、位置ずれ顕著性Ｉｍｐが所定の閾値未満である画素では位置ずれ探索を行わず、強制的にゼロベクトルを当該画素の動きベクトルとして割り当てる。その結果、図６のような動きベクトルＷの画像が得られる。

図６の動きベクトルＷの画像では、第１合成比率画像ＷｅｉＡの画素にそれぞれ対応する第２合成比率画像ＷｅｉＢの画素の位置ずれ量が、等間隔の格子点の上に矢印（ベクトル）で表示されている。図６の場合、動きベクトルＷの画像は、手前の人物の領域でその位置ずれ量に対応する左方向のベクトルと、それ以外の領域でゼロベクトルとが格納された画像となる。

最後に、図７を用いて、位置補正部４ａ及び合成部４ｂを含む画像生成部４の動作を説明する。位置補正部４ａは、動きベクトルＷに基づいて第２画像ＩｍｇＢの位置を画素毎に補正して位置補正後の第２画像ＩｍｇＢｗを生成する（図７の矢印Ａ４）。図６の動きベクトルＷでは、手前の人物の領域のみが位置ずれを有しているので、当該動きベクトルＷにしたがって第２画像ＩｍｇＢに位置補正を行うと、手前の人物の領域のみが第１画像ＩｍｇＡと同じ位置になるように補正される。その結果、図７の位置補正後の第２画像ＩｍｇＢｗのように、手前の人物の領域は破線の位置から実線の位置に移動する。このため、第２画像ＩｍｇＢｗは、窓の外の景色などの領域だけでなく、手前の人物の領域についても第１画像ＩｍｇＡと位置が合った画像となる。

合成部４ｂは、第１合成比率画像ＷｅｉＡが表す第１合成比率ＷｅｉＡに基づいて、第１画像ＩｍｇＡと、位置補正後の第２画像ＩｍｇＢｗとを重み付け加算する合成を行うことによって、第３の画像ＩｍｇＣを生成する（図７の矢印Ａ５）。

図７の第１合成比率画像ＷｅｉＡの合成比率は、窓の外の景色の領域では１となっているので、第３の画像ＩｍｇＣにおける当該領域には第１画像ＩｍｇＡが１００％採用される。一方、当該合成比率は、手前の人物の領域では１よりも小さな値となっているので、第３の画像ＩｍｇＣにおける当該領域には、第１画像ＩｍｇＡと、位置補正された第２画像ＩｍｇＢｗとのそれぞれが、ある程度の比率で採用される。その結果、図７の第３の画像ＩｍｇＣは、窓の外の景色の領域で白とびがなく、かつ、手前の人物の領域で明瞭となった画像となる。さらに、第３の画像ＩｍｇＣの手前の人物の領域においては、第１画像ＩｍｇＡと位置が合うように位置補正された第２画像ＩｍｇＢｗが合成されるので、第３の画像ＩｍｇＣは、位置ずれによってぶれや二重像のない画像となる。

以上が、本実施の形態１に係る画像処理装置の動作の説明である。

＜実施の形態１のまとめ＞
本実施の形態１に係る画像処理装置では、視点の異なる複数露光条件の画像を合成する際に、全ての画素について位置ずれ探索を一律に行うのではなく、位置ずれ顕著性が小さい領域では位置ずれ探索に要する演算量を削減するので、第３画像ＩｍｇＣの品位を保ちつつ、画素単位の位置ずれ探索に要する処理時間を低減することができる。以下、この効果について順を追って説明する。

本実施の形態１に係る画像処理装置では、露光条件の異なる２枚の画像を第１画像ＩｍｇＡと第２画像ＩｍｇＢとし、第１合成比率決定部１ａ及び第２合成比率決定部１ｂにおいて、それぞれ第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの輝度値に基づいて画素毎の合成比率を決定した。

そして、位置ずれ顕著性判定部２において、第１合成比率ＷｅｉＡと、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢの差分絶対値とに基づいて、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合に生成される合成画像の輝度に影響する程度を、位置ずれ顕著性Ｉｍｐとして画素毎に判定した。

さらに、重み付き動きベクトル算出部３において、位置ずれ顕著性Ｉｍｐが小さくなるほど、位置ずれ探索に要する処理量を小さくしつつ、当該位置ずれ探索によって第１画像ＩｍｇＡと第２画像ＩｍｇＢとの間の画素毎の動きベクトルＷを算出した。また、位置ずれ探索に要する処理量を小さくする手段の具体例として、画素毎に独立かつ並列に実行可能な処理要素に対して、位置ずれ探索を行う対象画素の数を削減したり、位置ずれ探索における位置ずれ候補位置の数を削減したり、反復処理の回数を削減するようにした。

最後に、位置補正部４ａ及び合成部４ｂを含む画像生成部４において、第１画像ＩｍｇＡと、第２画像ＩｍｇＢと、動きベクトルＷとに基づく合成を行うことによって、第３画像ＩｍｇＣを生成した。

一般に、ブロックマッチング法を用いた位置ずれ探索であれば、画素毎に複数の位置ずれ候補領域に対して最適な位置ずれを探索する処理を要する。勾配法を用いた位置ずれ探索であれば、連立方程式の解を求めるために画素毎に反復処理を要する。このため、画素毎の動きベクトルを算出する処理は、画素当たりの計算コスト（計算量）が非常に大きい処理である。したがって、ＣＰＵ（Central Processing Unit）で画素毎の演算を逐次的に行うように実装する場合や、ＧＰＵ（Graphics Processing Unit）等の並列プロセッサを用いて並列処理として実装する場合に、処理すべき画素の数や画素当たりの反復回数などの、位置ずれ探索に要する処理量が処理時間の課題となっている。

本実施の形態１に係る画像処理装置は、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢの合成を行った場合に生成される合成画像において位置ずれ顕著性が小さい、すなわち、位置補正をしなくても合成画像に対してさほど大きな影響が目立たないと判定される画素において、上述したような計算コストがかかる位置ずれ探索の処理量を下げる。これにより、第３画像ＩｍｇＣの品位を保ちつつ、画素単位の位置ずれ探索にかかる処理時間を低減することができる。

また、本実施の形態１に係る画像処理装置では、重み付き動きベクトル算出部３において、第１合成比率画像ＷｅｉＡと、第２合成比率画像ＷｅｉＢとの間の位置ずれ探索を行うことによって、間接的に第１画像ＩｍｇＡと第２画像ＩｍｇＢとの間の動きベクトルＷを算出する。

ここで、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢは互いに、明るさだけでなく、黒つぶれ相当輝度領域（合成比率が０の箇所）と、白とび相当輝度領域（合成比率が１の箇所）とが実質的に一致する画像である。また、第１画像ＩｍｇＡ及び第２画像ＩｍｇＢ同士の位置ずれは、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢ同士の位置ずれとして保存される。このため、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢは、露光条件が異なることによる画像差異（黒つぶれや白とびなど）の影響が抑えられた、位置ずれ探索に適した画像であると言える。本実施の形態１では、第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢに対して位置ずれ探索を行うため、黒つぶれや白とびなど画像差異がある部分に対して頑健な位置ずれ探索が可能になる。

さらに、黒つぶれ領域及び白とび領域が相当の面積をもつ場合には、これらの領域で高精度な位置ずれ探索を行うことは原理的に不可能であり、エラーの原因となる可能性がある。しかしながら、このような領域では、第１画像ＩｍｇＡの合成比率が１となるか、第１合成比率画像ＷｅｉＡと第２合成比率画像ＷｅｉＢとの差分が０となって、位置ずれ顕著性が０となるため、位置ずれ探索を行わないことが可能となる。これにより本実施の形態１によれば、処理時間を低減させる効果に加え、黒つぶれ、白とび領域における位置ずれ探索の誤差を抑制することができる。

なお、上述したように、位置ずれ顕著性判定部２において、式（８）に示す関係により、位置ずれ顕著性を算出するようにしてもよい。式（８）におけるｒ_１，ｒ_２の値をそれぞれ調整することにより、位置ずれ顕著性への第１合成比率ＷｅｉＡの寄与、及び、位置ずれ顕著性への、第１合成比率ＷｅｉＡと第２合成比率ＷｅｉＢとの差分絶対値の寄与をそれぞれ調整することができる。これにより、第３画像ＩｍｇＣにおいて位置ずれが目立つ程度と、処理時間のバランスを調整することが可能になる。

以上のことから、本実施の形態１によれば、位置ずれ顕著性が小さい領域では位置ずれ探索に要する処理量を削減するようにしたので、第３画像ＩｍｇＣの品位を保ちつつ、位置ずれ探索にかかる処理時間を低減することができる。

以上、図１に示される画像処理装置の各部分（機能ブロックとして図示した部分）は、処理回路により実現される。処理回路は、専用のハードウェアであっても、プログラムを実行するプロセッサであってもよい。例えば、図１の各部分の機能をそれぞれ処理回路で実現してもよいし、複数の部分の機能をまとめて処理回路で実現してもよい。

処理回路がプロセッサである場合、画像処理装置の各部分の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア或いはファームウェアはプログラムとして記述され、記憶媒体（記録媒体）に格納される。処理回路は、記憶媒体に格納されたプログラムをメモリに読み込んで実行することにより、各部の機能を実現する。このプログラムは、画像処理装置で実施される画像処理方法における処理をコンピュータに実行させるものであると言える。

画像処理装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。

このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

図８は、単一のプロセッサを含むコンピュータ６０ａによって、図１の画像処理装置のすべての機能を実現する場合の構成の一例を、撮像装置１０ａ及び記憶装置１１ａとともに示す図である。図８の例では、コンピュータ６０ａと撮像装置１０ａと記憶装置１１ａとで撮像システムが構成されている。

図８に示されるコンピュータ６０ａは、プロセッサ６１ａと、メモリ６２ａと、入力インターフェース６３ａと、出力インターフェース６４ａとを備え、これらはバス６５ａで接続されている。

入力インターフェース６３ａには、撮像装置１０ａにより異なる露光条件で撮像された画像Ｉａ，Ｉｂ、及び、各画像の露光量Ｅａ，Ｅｂの情報が入力される。あるいは、撮像装置１０ａにより異なる露光条件で撮像された画像Ｉａ，Ｉｂ、及び、各画像の露光量Ｅａ，Ｅｂをいったん記憶装置１１ａに保存し、記憶装置１１ａから読み出した画像Ｉａ，Ｉｂ、及び、各画像の露光量Ｅａ，Ｅｂの情報が入力インターフェース６３ａに入力される。

プロセッサ６１ａは、メモリ６２ａに記憶されたプログラムに従って動作し、入力インターフェース６３ａを介して入力された画像Ｉａ，Ｉｂに対して、実施の形態１の画像処理装置の各部の処理を行って、処理の結果得られた出力信号を出力インターフェース６４ａから出力する。あるいは、プロセッサ６１ａは、処理の結果得られた出力信号を、出力インターフェース６４ａを介して記憶装置１１ａに保存する。

以上のように、本実施の形態１の画像合成装置及び画像合成装置方法、並びに画像処理装置及び方法のいずれかにおける処理の一部または全部をコンピュータに実行させるプログラム、及び該プログラムを記録した、コンピュータで読み取り可能な記憶媒体もまた本実施の形態１の一部を成す。

＜変形例＞
以上の説明では、撮像画像のうち、露光の少ない画像を基準画像及び第１画像ＩｍｇＡとし、露光の多い画像を参照画像及び第２画像ＩｍｇＢとして説明した。しかしながら、上述したように、これとは逆に、露光の多い画像を基準画像及び第１画像ＩｍｇＡとし、露光の少ない画像を参照画像及び第２画像ＩｍｇＢとしてもよい。この場合には、第１合成比率決定部１ａ及び第２合成比率決定部１ｂにおいて輝度値及び合成比率のそれぞれの関係を反転させる。つまり、輝度値の低い側で第１画像ＩｍｇＡに対する合成比率が大きく、輝度値の高い側で第１画像ＩｍｇＡに対する合成比率が小さくなるような第１合成比率画像ＷｅｉＡ及び第２合成比率画像ＷｅｉＢを生成すればよい。そして、その他の処理は上述の処理と同様に行えばよい。

また、以上の説明では、第１合成比率は、第１画像ＩｍｇＡの輝度値に基づく、第１画像ＩｍｇＡの画像の合成における画素毎の合成比率であった。しかしながら、第１合成比率は、第１画像ＩｍｇＡの輝度値に基づく、第２画像ＩｍｇＢの画像の合成における画素毎の合成比率であってもよい。同様に、第２合成比率は、第２画像ＩｍｇＢの輝度値に基づく、第２画像ＩｍｇＢの画像の合成における画素毎の合成比率であってもよい。

そして、位置ずれ顕著性判定部２は、第２合成比率が小さくなるほど位置ずれ顕著性を大きくし、かつ、第１合成比率と第２合成比率との差分絶対値が大きくなるほど位置ずれ顕著性を大きくしてもよい。加えて、位置補正部４ａは、動きベクトルＷに基づいて第１画像ＩｍｇＡの位置を画素毎に補正し、合成部４ｂは、第２合成比率に基づいて、第２画像ＩｍｇＢと、位置が補正された第１画像ＩｍｇＡとを重み付け加算する合成を行うことによって、第３の画像ＩｍｇＣを生成してもよい。以上のような構成によっても、上記の効果が得られる。

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

１ａ 第１合成比率決定部、１ｂ 第２合成比率決定部、２ 位置ずれ顕著性判定部、３ 重み付きベクトル算出部、４ 画像生成部、４ａ 位置補正部、４ｂ 合成部、ＩｍｇＡ 第１画像、ＩｍｇＢ 第２画像、ＩｍｇＢｗ 位置補正後の第２画像、ＩｍｇＣ 第３画像、Ｉｍｐ 位置ずれ顕著性画像、Ｗ 動きベクトル、ＷｅｉＡ 第１合成比率画像、ＷｅｉＢ 第２合成比率画像。

Claims (11)

1. 露光条件が異なり、互いに対応する第１画像及び第２画像に基づく合成を行う画像処理装置であって、
   前記第１画像の輝度値に基づいて、前記第１画像及び前記第２画像の合成を行った場合の、前記第１画像及び前記第２画像の一方の画像の合成における画素毎の第１合成比率を決定する第１合成比率決定部と、
   前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の合成を行った場合の、前記一方の画像の合成における画素毎の第２合成比率を決定する第２合成比率決定部と、
   前記第１合成比率及び前記第２合成比率に基づいて、前記第１画像と前記第２画像との間の位置ずれが、前記第１画像及び前記第２画像の合成を行った場合に生成される合成画像の輝度に影響する程度を、位置ずれ顕著性として画素毎に判定する位置ずれ顕著性判定部と、
   前記位置ずれ顕著性に基づいて、位置ずれ探索に要する処理量を変更しつつ、当該位置ずれ探索によって前記第１画像と前記第２画像との間の画素毎の動きベクトルを算出する重み付き動きベクトル算出部と、
   前記第１画像と、前記第２画像と、前記動きベクトルとに基づく合成を行うことによって、第３画像を生成する画像生成部と
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記位置ずれ顕著性判定部は、
   前記第１合成比率及び前記第２合成比率の一方が小さくなるほど前記位置ずれ顕著性を大きくし、かつ、前記第１合成比率と前記第２合成比率との差分絶対値が大きくなるほど前記位置ずれ顕著性を大きくし、
   前記重み付き動きベクトル算出部は、
   前記位置ずれ顕著性が小さくなるほど、前記位置ずれ探索に要する処理量を小さくする、画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記重み付き動きベクトル算出部は、
   前記第１合成比率によって形成される第１合成比率画像と、前記第２合成比率によって形成される第２合成比率画像との間の位置ずれ探索を行うことによって、前記動きベクトルを算出する、画像処理装置。
4. 請求項１から請求項３のうちのいずれか１項に記載の画像処理装置であって、
   前記重み付き動きベクトル算出部は、
   前記位置ずれ顕著性に基づいて、ブロックマッチング法を用いた位置ずれ探索が行われる画素の数を変更することによって、前記位置ずれ探索に要する処理量を変更する、画像処理装置。
5. 請求項１から請求項３のうちのいずれか１項に記載の画像処理装置であって、
   前記重み付き動きベクトル算出部は、
   前記位置ずれ顕著性に基づいて、ブロックマッチング法を用いた位置ずれ探索における位置ずれ候補位置の数を変更することによって、前記位置ずれ探索に要する処理量を変更する、画像処理装置。
6. 請求項１から請求項３のうちのいずれか１項に記載の画像処理装置であって、
   前記重み付き動きベクトル算出部は、
   前記位置ずれ顕著性に基づいて、勾配法を用いた位置ずれ探索における反復処理の回数を変更することによって、前記位置ずれ探索に要する処理量を変更する、画像処理装置。
7. 請求項１から請求項６のうちのいずれか１項に記載の画像処理装置であって、
   前記位置ずれ顕著性判定部は、
   画素位置がｐである前記第１合成比率、前記第２合成比率、前記位置ずれ顕著性をそれぞれＷｅｉＡ（ｐ）、ＷｅｉＢ（ｐ）、Ｉｍｐ（ｐ）とし、ｒ_１、ｒ_２を０以上の実数とした場合に、前記第１合成比率及び前記第２合成比率に基づき、次式（１１）に従って前記位置ずれ顕著性を判定する、画像処理装置。
   

   
8. 請求項１から請求項７のうちのいずれか１項に記載の画像処理装置であって、
   前記画像生成部は、
   前記動きベクトルに基づいて前記第１画像及び前記第２画像の他方の画像の位置を画素毎に補正する位置補正部と、
   前記第１合成比率または前記第２合成比率に基づいて、前記一方の画像と、位置が補正された前記他方の画像とを重み付け加算する合成を行うことによって、第３の画像を生成する合成部と
   を含む、画像処理装置。
9. 露光条件が異なり、互いに対応する第１画像及び第２画像に基づく合成を行う画像処理方法であって、
   前記第１画像の輝度値に基づいて、前記第１画像及び前記第２画像の合成を行った場合の、前記第１画像及び前記第２画像の一方の画像の合成における画素毎の第１合成比率を決定し、
   前記第２画像の輝度値に基づいて、前記第１画像及び前記第２画像の合成を行った場合の、前記一方の画像の合成における画素毎の第２合成比率を決定し、
   前記第１合成比率及び前記第２合成比率に基づいて、前記第１画像と前記第２画像との間の位置ずれが、前記第１画像及び前記第２画像の合成を行った場合に生成される合成画像の輝度に影響する程度を、位置ずれ顕著性として画素毎に判定し、
   前記位置ずれ顕著性に基づいて、位置ずれ探索に要する処理量を変更しつつ、当該位置ずれ探索によって前記第１画像と前記第２画像との間の画素毎の動きベクトルを算出し、
   前記第１画像と、前記第２画像と、前記動きベクトルとに基づく合成を行うことによって、第３画像を生成する、画像処理方法。
10. 請求項９に記載の画像処理方法における各処理をコンピュータに実行させる、画像処理プログラム。
11. 請求項１０に記載の画像処理プログラムを記憶した、コンピュータ読み取り可能な記憶媒体。

Images