JP2018160024A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】不可視光画像を利用して可視光画像のノイズを低減する場合において、エッジがボケることなくオブジェクトの鮮鋭性を維持可能にする。【解決手段】画像処理装置であって、同一のシーンを撮影した可視光画像及び不可視光画像を取得する取得手段と、前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出手段と、導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して参照する参照画像を、前記可視光画像と前記不可視光画像のいずれかに決定する決定手段と、前記参照画像として決定された画像に基づいて前記重み係数を算出し、当該算出した重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理手段と、を備えたことを特徴とする。【選択図】図３

Description

本発明は、撮影画像に含まれるノイズを低減する技術に関する。

デジタルカメラなどの撮像装置は、光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像を生成する。デジタル画像を生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像にノイズが混入する。特に、屋内や夜間といった一般にフラッシュを要するような低照度環境で可視光画像を撮像すると、露光量が少ないためにノイズが顕著となる。

画像処理の分野においては、画像のノイズを低減する手法として、画素毎に近傍画素の加重平均を求める手法がある。加重平均における重み係数を、処理対象画素と近傍画素との画素値の差に基づいて決定する際に、差が小さいほど重み係数を大きく設定することで、エッジを維持したままノイズを低減することができる。しかし、ノイズの多い画像の場合、画素値の差からノイズなのかオブジェクトのエッジなのかを区別するのが難しく、ノイズが低減されるのと共にオブジェクトの鮮鋭性が低下するという課題がある。

この点、例えば特許文献１には、同一のシーンを赤外線などの不可視光の照明下で撮影したノイズの少ない画像（不可視光画像）を利用することで、低照度環境で撮影された可視光画像におけるノイズを精度よく低減する手法が提案されている。この手法では、不可視光画像から抽出したエッジの強度に基づいてローパスフィルタの適用回数を変えることで、可視光画像のノイズを精度よく低減することを実現している。

特開２００６−１８０２６９号公報

上記特許文献１の手法では、処理対象となる可視光画像上のどの画素についても、不可視光画像におけるエッジ情報に基づいた処理を行っている。しかしながら、可視光と不可視光との分光特性の違いに起因して、エッジと判断される部分が可視光画像と不可視光画像とで異なる場合がある。そのような場合、ノイズ低減処理を行った結果、エッジがぼけるという弊害が発生することがあった。図１は、不可視光画像（IR画像）のエッジ情報を参考にノイズ低減処理を行った結果の一例を示す図である。IR画像では「A」の文字が消えており（輝度値が平坦）、ノイズ低減後の出力画像では「A」の文字の輪郭がボケてしまっているのが分かる。

本発明では、不可視光画像を利用して可視光画像のノイズを低減する場合において、エッジがボケることなくオブジェクトの鮮鋭性を維持可能にすることを目的とする。

本発明に係る画像処理装置は、同一のシーンを撮影した可視光画像及び不可視光画像を取得する取得手段と、前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出手段と、導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して参照する参照画像を、前記可視光画像と前記不可視光画像のいずれかに決定する決定手段と、前記参照画像として決定された画像に基づいて前記重み係数を算出し、当該算出した重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理手段と、を備えたことを特徴とする。

本発明によれば、不可視光画像を用いて可視光画像のノイズを低減する場合において、オブジェクトの鮮鋭性を維持することが可能となる。

IR画像のエッジ情報を参考にノイズ低減処理を行った結果の一例を示す図。 （ａ）は画像処理装置のハードウェア構成の一例を示す図、（ｂ）はノイズ低減処理の論理構成の一例を示すブロック図。 ノイズ低減処理の大まかな流れを示すフローチャート。 実施例１に係る、重み係数算出用の参照画像を決定する処理の詳細を示すフローチャート。 参照画像の決定基準をまとめた表。 実施例１に係る、画素値補正処理の詳細を示すフローチャート。 （ａ）は可視光画像から重み係数を算出する場合の説明図、（ｂ）は不可視光画像から重み係数を算出する場合の説明図。 実施例２に係る、重み合成係数を算出する処理の流れを示すフローチャート。 実施例２に係る、画素値補正処理の詳細を示すフローチャート。

以下、添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

図２（ａ）は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、例えばＰＣ等であり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。そして、汎用Ｉ／Ｆ１０４によって、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続される。

ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、以下のような各種処理を実現する。まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動して、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で取得された画像データ、入力装置１０６からのユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーションに従って、ＲＡＭ１０２に格納されているデータが、ＣＰＵ１０１からの指令に基づき演算処理される。演算処理の結果は、モニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納されたりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

本実施例では、上記構成を備える画像処理装置１００に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに可視光画像と不可視光画像のデータを入力して、ノイズを低減した可視光画像データを出力する態様について説明するものとする。

続いて、画像処理装置１００におけるノイズ低減処理に係る論理構成を説明する。図２（ｂ）は、画像処理装置１００で実行されるノイズ低減処理の論理構成の一例を示すブロック図である。ノイズ低減処理部２００は、入力画像データ取得部２０１、特徴量導出部２０２、補正前処理部２０３、補正処理部２０４とで構成される。以下、各部について説明する。

入力画像データ取得部２０１は、撮像装置１０５で同一シーンを撮影して得られた可視光画像と不可視光画像の2種類の画像のデータを取得する。可視光画像は、可視光の波長域（およそ400〜800nm）のうち少なくとも1つ以上の波長に感度を持つチャンネルを含む画像である。また、不可視光画像は、不可視光の波長域に感度を持つチャンネルを含む画像である。例えば、およそ400nm以下の波長に感度を持つ紫外線画像（UV画像）や、およそ800nm以上の波長に感度を持つ赤外線画像（IR画像）が不可視光画像に該当する。撮像装置１０５は、可視光と不可視光の両方の波長域に感度を持つ撮像素子を備え、可視光と不可視光とをそれぞれ透過させるバンドパスフィルタを切り替えて撮影することで、同一シーンについての可視光画像と不可視光画像を得る。なお、入力画像の撮影方法はこれに限られるものではない。例えば、分光感度特性の異なる複数の撮像装置を用いて、可視光画像と不可視光画像とを別々に撮影しても良いし、可視光の波長域に感度を持つ撮像素子と不可視光の波長域に感度を持つ撮像素子から成る単板センサによって撮影してもよい。ただし、複数の撮像装置で撮影した場合には、可視光画像と不可視光画像との間で位置合わせが必要となることがある。この場合は、例えば、FASTアルゴリズムによって画像の特徴点を検出し、ORB特徴量に基づいて対応点を導出し、アフィン変換を利用することで可視光画像と不可視光画像の位置合わせを行えばよい。なお、入力画像データは、上記のようにして撮影された2種類の画像のデータを保存したＨＤＤ１０３や外部メモリ１０７から取得してもよい。入力画像として取得された可視光画像と不可視光画像のデータは、特徴量導出部２０２及び補正処理部２０４に送られる。

特徴量導出部２０２は、入力された可視光画像と不可視光画像のそれぞれから、局所的に特徴を判断するための指標としての画像特徴量（本実施例ではエッジ強度）を導出する。

補正前処理部２０３は、特徴量導出部２０３で導出した画像特徴量の情報に基づいて、画素値補正処理（加重平均処理）を行うための準備処理を行う。本実施例では、加重平均処理における重み係数の算出に用いる参照画像を、可視光画像にするか不可視光画像にするかを決定する処理を行う。

補正処理部２０４は、補正前処理部２０３の処理結果（本実施例では重み係数算出用の参照画像）に基づいて重み係数を算出し、入力された可視光画像の画素値を、加重平均手法を用いて補正する。そして、画素値が補正された（＝ノイズが低減された）可視光画像のデータが、ノイズ低減処理部２００の処理結果として出力される。

図３は、本実施例に係るノイズ低減処理の大まかな流れを示すフローチャートである。以下、図３のフローに沿って、本実施例に係るノイズ低減処理の流れを説明する。

ステップ３０１では、入力画像データ取得部２０１が、同一シーンを撮影した可視光画像と不可視光画像のデータを取得する。ここでは、可視光画像I_visとしてモノクロ画像が、不可視光画像I_invとしてIR画像が入力されるものとする。本実施例では、可視光画像I_visと不可視光画像I_invとを別々の画像としているが、可視光の波長に感度を持つチャンネルと不可視光の波長に感度を持つチャンネルが両方含まれている1つの画像を入力画像としてもよい。

ステップ３０２では、特徴量導出部２０２が、取得された可視光画像及び不可視光画像のそれぞれから、エッジ強度を画素単位で導出する。具体的には、エッジ検出フィルタ（例えば、方向の異なる複数の一次微分フィルタ）を各画素に対して適用し、応答が最大となる方向のフィルタ応答値を、エッジ強度とする。以下、可視光画像から導出したエッジ強度をE_vis、不可視光画像から導出したエッジ強度をE_inv、と表記するものとする。なお、エッジ検出フィルタは微分フィルタに限られるものではない。

ステップ３０３では、補正前処理部２０３が、後述の画素値補正処理における重み係数の算出に用いる画像（参照画像）を決定する処理を実行する。図４は、本実施例に係る、重み係数算出用の参照画像を決定する処理の詳細を示すフローチャートである。この参照画像決定処理では、エッジ強度を用いた閾値処理によってエッジがあるかどうかを画素単位で判定した上で、以下の基準に従って、不可視光画像と可視光画像のいずれかを参照画像に決定する。

不可視光画像にも可視光画像にもエッジがある場合は、不可視光画像を参照画像に決定
理由：両画像の特徴が似ていることから、ノイズが少ない方の画像を選択。

不可視光画像にエッジがあり、可視光画像にエッジがない場合は、不可視光画像を参照画像に決定
理由：両画像の特徴は似ていないが、ノイズの影響で可視光画像からエッジが検出できなかったと判断。

不可視光画像にエッジがなく、可視光画像にエッジがある場合は、可視光画像を参照画像に決定
理由：分光特性の違いに起因して、不可視光画像のエッジが消失していると判断。

不可視光画像にエッジがなく、可視光画像にエッジがない場合は、不可視光画像を参照画像に決定
理由：両画像の特徴が似ているため、ノイズが少ない方の画像を選択。

図５は、上述の決定基準をまとめた表である。以下、図４のフローに沿って、本実施例に係る、参照画像決定処理の詳細について説明する。

ステップ４０１では、可視光画像の中から、処理対象として注目する画素が決定される。ここで、決定された注目画素の位置を(x,y)、その画素値をI_vis(x,y)で表す。この場合において、xは水平方向の位置、yは垂直方向の位置をそれぞれ表わし、(x,y)∈([1,N_x],[1,N_y])である。ここで、N_xは可視光画像I_visにおける水平方向の画素数、N_yは垂直方向の画素数を表わす。また、可視光画像I_visにおける注目画素(x,y)に対応する、不可視光画像I_invにおける画素（以下、「対応画素」）の位置を(x’，y’)、その画素値をI_inv(x’，y’)で表す。

ステップ４０２では、不可視光画像における対応画素においてエッジがあるかどうかが判定される。エッジがあるかどうかの判定は、不可視光画像における対応画素の位置(x’，y’)のエッジ強度E_inv(x’，y’)に対する閾値処理により行う。閾値処理は、不可視光画像における対応画素のエッジ強度が所定の閾値T_inv未満であればエッジがない、閾値T_inv以上であればエッジがあるとみなす。閾値T_invは、不可視光画像のノイズ量に基づき、ノイズが大きいほど閾値が大きくなるよう決定する。ここで、ノイズ量を、均一な明るさの面を撮影した際に記録される画素値のばらつき（標準偏差）とする。このノイズ量を左右する要素の一つがISO感度であり、ISO感度が高い（＝撮像素子のゲインが大きい）ほどノイズ量が増加することになる。ISO感度とノイズ量の関係は一意に決まるため、ISO感度とノイズ量の関係を予め保持しておくことができる。例えば、ISO感度100のときのノイズ量は“1”、ISO感度6400のときのノイズ量は“8”といった具合である。そして、エッジ強度は、例えば、一般的な8ビット画像（画素値：0〜255）に対して微分フィルタを適用した結果をエッジ強度とすると、エッジ強度の最小値は“0”、最大値は“255”となる。このような前提の下、例えば不可視光画像がISO感度100で撮影されていたとする。この場合、不可視光画像の各画素のエッジ強度が“1”より大きいかどうかでエッジかどうかを判定することができる。判定の結果、不可視光画像の対応画素がエッジを構成する画素であればステップ４０４に進む。一方、エッジを構成する画素でなければステップ４０３に進む。

ステップ４０３では、可視光画像における注目画素においてエッジがあるかどうかが判定される。エッジがあるかどうかの判定は、ステップ４０２と同様に行う。すなわち、可視光画像における注目画素のエッジ強度E_vis(x,y)が所定の閾値T_vis未満であればエッジがない、閾値T_vis以上であればエッジがあるとみなす。閾値T_visも上述の閾値T_invと同様、可視光画像のノイズ量に基づき、ノイズが大きいほど閾値が大きくなるよう決定する。例えば、可視光画像がISO感度6400で撮影されていたとすると、可視光画像の各画素のエッジ強度が“8”より大きいかどうかでエッジかどうかを判定する。判定の結果、可視光画像の対応画素がエッジを構成する画素であればステップ４０５に進む。一方、エッジを構成する画素でなければステップ４０４に進む。

ステップ４０４では、ステップ４０１で決定した注目画素についての、後述の画素値補正処理（加重平均処理）における重み係数の算出に用いる参照画像を不可視光画像に決定する。また、ステップ４０５では、ステップ４０４と同様に、注目画素についての参照画像を可視光画像に決定する。

ステップ４０６では、可視光画像の全画素について処理が完了したかどうかが判定される。全画素についての処理が完了していれば本処理を終了する。一方、未処理の画素があればステップ４０１に戻って処理を続行する。

以上が、本実施例に係る補正前処理としての、重み係数算出用の参照画像を決定する処理の内容である。なお、後述の通り、画素毎に重み係数を算出する場合は、ノイズの影響により誤判定が生じる場合がある。例えば、平坦な部分で１点だけ誤判定したり、エッジ部分で誤判定が連続したりすると、重みの切り替わり箇所にアーチファクトが生じ、画質が低下する場合がある。そこで、ステップ４０６の完了後、注目画素近傍の判定結果に応じて注目画素の判定結果を補正してもよい。この補正には、例えば、モルフォロジー膨張、収縮処理などを適用可能である。

図３のフローの説明に戻る。

ステップ３０４では、補正処理部２０４が、可視光画像のノイズを低減させる画素値の補正処理を行う。具体的には、可視光画像の画素毎に決定した参照画像を用いて重み係数を決定して、可視光画像の各画素に対し加重平均処理を行う。図６は、本実施例に係る、画素値補正処理の詳細を示すフローチャートである。以下、図６のフローに沿って、画素値補正処理の詳細について説明する。

ステップ６０１では、可視光画像の中から、処理対象として注目する画素が決定される。この場合の注目画素の位置(x,y)も、前述の図３のフローにおけるステップ３０１と同様、 (x,y)∈([1,N_x],[1,N_y])である。

ステップ６０２では、まず、注目画素を中心とする所定の近傍領域が設定される。ここで、近傍領域は、注目画素位置(x,y)を中心とする例えばN×N画素（Nは3以上の整数）の矩形領域である。以下では、注目画素位置(x,y)を中心とする近傍領域内の画素の集合をN(x,y)と表すものとする。なお、近傍領域の形状は矩形に限定されず、注目画素との距離が小さい複数の画素から成る領域であればよい。

ステップ６０３では、設定された近傍領域の中から、後述の重み係数算出処理で参照する画素（以下、「参照画素」）が決定される。ここで、参照画素の位置を(x_r,y_r)で表すと、(x_r,y_r)∈N(x,y）となる。

ステップ６０４では、注目画素についての、前述のステップ３０３で決定された重み係数算出用の参照画像が、可視光画像なのか不可視光画像なのかによって処理の切り分けがなされる。注目画素についての参照画像が可視光画像であればステップ６０５に進み、不可視光画像であればステップ６０６に進む。

ステップ６０５では、注目画素に対する参照画素の重み係数が、可視光画像を用いて算出される。この場合において、重み係数は、参照画像としての可視光画像における、注目画素の画素値と参照画素の画素値との差に基づき、その差が大きいほど重み係数が小さくなるように決定される。いま、注目画素(x,y)に対する参照画素(x_r,y_r)の重み係数w(x,y,x_r,y_r)は、以下の式で表される。

上記式（１）において、G(x,σ)はガウス関数であり、パラメータσ_visは平滑化の程度を表わす。パラメータσ_visは、可視光画像のノイズが大きいほどその値が大きくなるよう決定する。なお、重み係数の算出に用いる関数は、画素値の差についての単調減少関数であればよい。例えば、線形でもよいし、閾値処理によって離散化してもよい。また、重み係数の算出は前述の手法に限られない。注目画素(x,y)と参照画素(x_r,y_r)の画素値の差などの距離に基づいて算出されるものであればよい。図７（ａ）は、可視光画像から重み係数を算出する場合の説明図である。図７（ａ）では、可視光画像I_visおける(x,y)=(5,5)の時の注目画素８００に対して、5×5画素の矩形の近傍領域８０１が設定され、(x_r,y_r)＝(3,3)の時の参照画素８０２が示されている。

ステップ６０６では、ステップ６０１で決定した注目画素に対する参照画素の重み係数w(x,y,x_r,y_r)が、不可視光画像を用いて算出される。重み係数の算出方法はステップ６０５と同様である。具体的には、注目画素(x,y)に対する参照画素(x_r,y_r)の重み係数が、以下の式（２）で求められる。

上記式（２）において、(ｘ’，y’)は、可視光画像における画素位置(x，y)に対応する不可視光画像の画素位置を表わす。パラメータσ_invはステップ６０５と同様に決定すればよいが、可視光画像のノイズでなく、不可視光画像のノイズに基づいて決定される。すなわち、可視光画像から重みを算出する場合は可視光画像から、不可視光画像から重みを算出する場合は不可視光画像から、パラメータσが決定される。その理由は、上記式（１）或いは（３）で導出する画素値の差から得られる情報の確からしさが、それぞれ可視光画像、不可視光画像のノイズ量に依存するためである。図７（ｂ）は、不可視光画像から重み係数を算出する場合の説明図である。図７（ｂ）では、位置(x,y)=(5,5)の注目画素に対応する、不可視光画像I_invおける画素８１０と、(x_r,y_r)＝(3,3)の時の参照画素８１２が示されている。以下に、ステップ６０５及びステップ６０６で算出される重み係数ｗの一例を示す。

上記の具体例の場合、ステップ６０５では、可視光画像のσ=“8”、注目画素８００の画素値が“50”、参照画素８０２の画素値が“51（エッジなし）”若しくは“65（エッジあり）”である。また、ステップ６０６では、不可視光画像のσ=“1”、画素８１０の画素値が“100”、参照画素８１２の画素値が“101（エッジなし）”若しくは“115（エッジあり）”である。

ステップ６０７では、設定された近傍領域内の全画素を参照画素として、ステップ６０４〜ステップ６０６の処理が完了したかどうかが判定される。設定された近傍領域内の全画素を参照画素として上記処理が完了していればステップ６０８に進む。一方、設定された近傍領域内に未処理の画素があれば、ステップ６０３に戻って次の参照画素を決定して処理を続行する。

ステップ６０８では、ステップ６０５又はステップ６０６で算出された重み係数を用いた加重平均処理によって、注目画素の画素値が補正される。加重平均処理による補正後の画素値Ｉ_resultは、以下の式で表される。

上記式（３）において、W(x,y)は、以下の式（４）で表される。

以下に、可視光画像のσ=“8”、注目画素の画素値が“50”、参照画素の画素値が“51（エッジなし）”若しくは“65（エッジあり）”の場合に得られる、補正後の画素値I_resultの一例を示す。

ステップ６０９では、可視光画像内の全画素について画素値の補正処理が完了したかどうかが判定される。全画素についての補正処理が完了していれば本処理を終了する。補正処理がなされていない画素があれば、ステップ６０１に戻って次の注目画素を決定して処理を続行する。

以上が、本実施例に係る、画素値補正処理（ステップ３０４）の内容である。こうして、画素値補正処理によってノイズが低減された可視光画像のデータは、補正処理部２０４から出力される（ステップ３０５）。

本実施例では、入力される可視光画像I_visはモノクロ画像としたが、例えばRGBの3つの波長を含むカラー画像でもよい。RGB画像のような複数のチャンネルを含むカラー画像の場合、上述したモノクロ画像に対する処理を各チャンネルに対して適用することで、同様の効果を得ることができる。

また、本実施例では、画像特徴量としてエッジ強度を用いたが、これに限定されない。例えば、複数のサンプルテクスチャを用いたテンプレートマッチング法で算出される類似度でもよいし、近傍画素のヒストグラムの形状でもよい。例えば類似度の場合であれば、注目画素を中心とする領域A（例えば３×３画素）と、注目画素に隣接する８画素各々を中心とする領域Bとのテンプレートマッチングを実施する。そして、８画素中、マッチングした画素数Nが少ない場合をエッジあり、マッチングした画素数Nが多い場合をエッジなしと判定してもい。また、ヒストグラム形状の場合であれば、注目画素を含む近傍画素の画素値のヒストグラムを導出し、例えば山（極大値）が２つ以上の場合にエッジとするといった具合にヒストグラム形状からエッジの有無を判定してもよい。

本実施例によれば、同一シーンを撮影して得られた可視光画像と不可視光画像における分光特性の違いを考慮して、加重平均における重み係数の算出に用いる画像を切り替えている。これにより、オブジェクトの鮮鋭性を維持しつつ可視光画像におけるノイズを低減することが可能となる。

実施例１では、重み係数算出用の参照画像として可視光画像か不可視光画像のどちらかを選択し、選択した画像から算出した重み係数を用いて可視光画像のノイズを低減した。次に、重み係数算出用の参照画像をどちらか片方の画像に限定しない態様を、実施例２として説明する。具体的には、可視光画像と不可視光画像のそれぞれから算出した重み係数をエッジ強度に基づき合成し、当該合成した重み係数を用いて可視光画像のノイズを低減する。なお、実施例１と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明するものとする。

図８は、本実施例に係る補正前処理としての、重み合成係数を算出する処理の流れを示すフローチャートである。この重み合成係数算出処理では、可視光画像と不可視光画像のそれぞれについて、各画素のエッジ尤度（エッジを構成するもっともらしさを表す度合い）をまず求め、求めたエッジ尤度から重み合成係数を出力する。以下、図８のフローを参照して説明する。

ステップ８０１では、可視光画像及び不可視光画像について、処理対象として注目する画素が決定される。実施例１のステップ４０１と同様、決定された注目画素の位置は(x,y)で表され、(x,y)∈([1,Nx],[1,Ny])である。

ステップ８０２では、ステップ３０２で導出した画像特徴量としてのエッジ強度から、可視光画像における注目画素の位置(x,y)のエッジ尤度L_vis(x,y)を算出する。可視光画像におけるエッジ尤度は、エッジ強度が小さい時に小さく（例えば“0”）、エッジ強度が十分大きい時に大きく（例えば“1”）になるよう定める。例えば、画素位置(x,y)におけるエッジ尤度L(x,y)は、例えば以下の式（５）で求められる。

上記式（５）において、E(x,y)はエッジ強度である。或いは、以下の式（６）によってもエッジ尤度L(x,y)を求めることができる。

また、上記式（６）における3つのパラメータ、σ、Ｔ₁、Ｔ₂はカメラの感度或いはノイズ量に基づいて決定される。例えば、閾値Ｔ₁及びＴ₂はエッジ強度に対応する閾値であり、エッジ強度がＴ₁より小さければ非エッジ、Ｔ₂を超えたらエッジ、Ｔ₁とＴ₂の間であればその中間といった具合に判定される。

ステップ８０３では、ステップ３０２で導出した画像特徴量としてのエッジ強度から、不可視光画像における注目画素の位置(x,y)のエッジ尤度L_inv(x,y)を算出する。算出方法は、ステップ８０２と同様であるが、算出に用いるパラメータは不可視光画像に基づき決定される。つまり、ステップ８０２は可視光画像に基づいて、ステップ８０３では不可視光画像に基づいてパラメータを決定する必要がある。ただし、その結果として得られたパラメータが同じになっても構わない。

ステップ８０４では、ステップ８０２及び８０３で算出した可視光画像におけるエッジ尤度L_vis(x,y)と不可視光画像におけるエッジ尤度L_inv(x,y)とに基づき、重み合成係数αを算出する。重み合成係数αは、可視光画像におけるエッジ尤度が大きいほど可視光画像の重みが大きく、不可視光画像におけるエッジ尤度が大きいほど不可視光画像の重みが大きくなるような係数である。注目画素の位置(x,y)における重み合成係数α(x,y)は、例えば以下の式（７）で求められる。

以下に、本ステップで算出される重み合成係数αの一例を示す。

ステップ８０５では、可視光画像及び不可視光画像の全画素について処理が完了したかどうかが判定される。全画素についての処理が完了していれば本処理を終了する。一方、未処理の画素があればステップ８０１に戻って処理を続行する。

以上が、本実施例に係る補正前処理としての、重み合成係数算出処理の内容である。なお、画素毎に重み合成係数αを導出すると、ノイズの影響により隣接画素間で可視光画像の重みと不可視光画像の重みが急峻に切り替わる場合がある。この時、その切り替わりにアーチファクトが生じ画質が劣化する場合がある。そこで、ステップ８０５の終了後、すなわち全画素の重み合成係数αを算出した後で、隣接画素間の重み合成係数の急峻な変化を抑制する処理を適用してもよい。例えば、平滑化処理や、モルフォロジー膨張処理を適用することで、切り替わりによって生じるアーチファクトを軽減することができる。

続いて、補正処理部２０４による、本実施例に係る画素値補正処理について説明する、本実施例の場合、可視光画像と不可視光画像のそれぞれから重み係数を算出し、それを上述の図８のフローで得た重み合成係数で合成して、最終的な重み係数を求める。そして、合成後の重み係数を用いて、可視光画像の各画素に対し加重平均処理を行う。図９は、本実施例に係る、画素値補正処理の詳細を示すフローチャートである。以下、図９のフローに沿って、画素値補正処理の詳細について説明する。

ステップ９０１〜ステップ９０３は、実施例１に係る図６のフローのステップ６０１〜ステップ６０３にそれぞれ対応する。すなわち、可視光画像の中から注目画素が決定され（ステップ９０１）、続いて、注目画素を中心とする所定の近傍領域が設定される（ステップ９０２）。そして、設定された近傍領域の中から参照画素が決定されると（ステップ９０３）、ステップ９０４に進む。

ステップ９０４では、可視光画像を用いて、位置(x,y)の注目画素に対する、位置(x_r,y_r)の参照画素の重み係数w_vis(x,y,x_r,y_r)が前述の式（１）に基づき算出される。同様に、ステップ９０５では、不可視光画像を用いて、位置(x,y)の注目画素に対する、位置(x_r,y_r)の参照画素の重み係数w_inv (x,y,x_r,y_r)が前述の式（２）に基づき算出される。

ステップ９０６では、設定された近傍領域内の全画素を参照画素として、ステップ９０４及びステップ９０５の処理が完了したかどうかが判定される。設定された近傍領域内の全画素を参照画素として上記処理が完了していればステップ９０７に進む。一方、設定された近傍領域内に未処理の画素があれば、ステップ６０３に戻って次の参照画素を決定して処理を続行する。

ステップ９０７では、ステップ９０４で得た重み係数w_vis(x,y,x_r,y_r)とステップ９０５で得た重み係数w_inv (x,y,x_r,y_r)とが、前述の図８のフローで算出した重み合成係数αに基づき合成される。合成後の重み係数w_combは、例えば以下の式（８）によって求められる。

こうして、後述の加重平均処理で用いる最終的な重み係数が算出される。以下に、本ステップで算出される合成後の重み係数の一例を示す。

ステップ９０８では、ステップ９０７で得られた合成後の重み係数w_combを用いた加重平均処理によって、注目画素の画素値が補正される。加重平均処理による補正後の画素値Ｉ_resultは、以下の式（９）で表される。

上記式（９）において、W(x,y)は、以下の式（１０）で表される。

以下に、可視光画像のσ=“8”、注目画素の画素値が“50”、参照画素の画素値が“51（エッジなし）”若しくは“65（エッジあり）”の場合における、補正後の画素値I_resultの例を示す。

ステップ９０９では、可視光画像内の全画素について画素値の補正処理が完了したかどうかが判定される。全画素についての補正処理が完了していれば本処理を終了する。補正処理がなされていない画素があれば、ステップ９０１に戻って次の注目画素を決定して処理を続行する。

以上が、本実施例に係る、画素値補正処理（ステップ３０４）の内容である。こうして、画素値補正処理によってノイズが低減された可視光画像のデータは、補正処理部２０４から出力される。

以上の処理により、分光特性の違いを考慮して可視光画像と不可視光画像それぞれから算出した重み係数を合成した重み係数を用いて加重平均処理を適用することで、2値判定で誤判定された画素において、エッジ強度の大きさにより、適応的な合成処理を行う。可視光画像のエッジを残しつつ不可視光画像の情報を参考にしてノイズを低減することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (15)

1. 同一のシーンを撮影した可視光画像及び不可視光画像を取得する取得手段と、
   前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出手段と、
   導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して参照する参照画像を、前記可視光画像と前記不可視光画像のいずれかに決定する決定手段と、
   前記参照画像として決定された画像に基づいて前記重み係数を算出し、当該算出した重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記不可視光画像は、紫外線画像または赤外線画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量は、前記可視光画像及び前記不可視光画像における画素毎のエッジ強度であることを特徴とする請求項１に記載の画像処理装置。
4. 前記決定手段は、前記画素毎のエッジ強度に基づいて、
   前記可視光画像と前記不可視光画像の両方にエッジがある或いは両方にエッジがないと判定される場合には、前記不可視光画像を、
   前記不可視光画像にエッジがあり、かつ、前記可視光画像にエッジがないと判定される場合には、前記不可視光画像を、
   前記可視光画像にエッジがあり、かつ、前記不可視光画像にエッジがないと判定される場合には、前記可視光画像を、
   前記参照画像として決定する、ことを特徴とする請求項３に画像処理装置。
5. 前記決定手段は、前記エッジ強度が閾値以上である場合にエッジがあると判定し、前記エッジ強度が閾値より小さい場合にエッジがないと判定することを特徴とする請求項４に画像処理装置。
6. 前記閾値は、
   ノイズ量が大きいほど大きい閾値が用いられ、
   前記可視光画像におけるエッジを判定するための閾値と、前記不可視光画像におけるエッジを判定するための閾値とが、それぞれの画像におけるノイズ量に応じてそれぞれ決定される
   ことを特徴とする請求項５に記載の画像処理装置
7. 前記補正処理手段は、
   前記可視光画像の中から注目する注目画素を決定し、
   前記注目画素を含む所定の近傍領域を設定し、
   前記近傍領域の中から参照する参照画素を決定し、
   前記参照画像としての画像における、前記注目画素の画素値と前記参照画素の画素値との差が大きいほど値が小さくなる単調減少関数を用いて、前記重み係数を算出する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 同一のシーンを撮影した可視光画像及び不可視光画像を取得する取得手段と、
   前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出手段と、
   導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して用いる合成係数を算出する算出手段と、
   前記可視光画像及び前記不可視光画像のそれぞれから前記重み係数を算出し、算出されたそれぞれの重み係数を前記合成係数で合成して得られた合成後の重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理手段と、
   を備えたことを特徴とする画像処理装置。
9. 前記不可視光画像は、紫外線画像または赤外線画像であることを特徴とする請求項８に記載の画像処理装置。
10. 前記特徴量は、前記可視光画像及び前記不可視光画像における画素毎のエッジ強度であることを特徴とする請求項８に記載の画像処理装置。
11. 前記合成係数は、前記画素毎のエッジ強度に基づいて、前記可視光画像におけるエッジ強度が大きいほど前記可視光画像の重みが大きく、前記不可視光画像におけるエッジ強度が大きいほど不可視光画像の重みが大きくなる係数であることを特徴とする請求項１０に画像処理装置。
12. 前記算出手段は、前記画素毎のエッジ強度から、前記可視光画像及び前記不可視光画像におけるエッジ尤度をそれぞれ算出し、算出したエッジ尤度に基づき前記合成係数を算出する請求項１１に記載の画像処理装置。
13. 同一のシーンを撮影した可視光画像及び不可視光画像を取得する取得ステップと、
    前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出ステップと、
    導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して参照する参照画像を、前記可視光画像と前記不可視光画像のいずれかに決定する決定ステップと、
    前記参照画像として決定された画像に基づいて前記重み係数を算出し、当該算出した重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理ステップと、
    を含むことを特徴とする画像処理方法。
14. 同一のシーンを撮影した可視光画像及び不可視光画像を取得する取得ステップと、
    前記可視光画像と前記不可視光画像のそれぞれから、特徴量を導出する特徴量導出ステップと、
    導出された特徴量に基づいて、加重平均処理で用いる重み係数の決定に際して用いる合成係数を算出する算出ステップと、
    前記可視光画像及び前記不可視光画像のそれぞれから前記重み係数を算出し、算出されたそれぞれの重み係数を前記合成係数で合成して得られた合成後の重み係数を用いた前記加重平均処理によって前記可視光画像の注目画素の画素値を補正して、前記可視光画像におけるノイズを低減する補正処理ステップと、
    を含むことを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置として動作させるためのプログラム。