JP6827782B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体 - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体に関する。

入力画像を拡散反射成分と鏡面反射成分とに分離することで、撮影後の画像処理において様々な画像生成を行うことができる。例えば、拡散反射成分と光沢成分である鏡面反射成分とを用いることで、光沢感を制御した画像を生成することが可能である。

また、被写体のライティングを変更した画像を生成するために必要な面法線を高精度に取得することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、光源情報等で決定される。光源から出た光が被写体によって反射された反射光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく被写体の面法線を用いることが特に有効である。被写体の面法線を取得する方法として、照度差ステレオ法が用いられる。照度差ステレオ法では、被写体がランバート拡散反射である仮定の下で面法線を取得するため、入力画像における拡散反射成分のみが必要である。したがって、入力画像から拡散反射成分を推定する技術が必要となる。入力画像から拡散反射成分を推定できれば、入力画像から拡散反射成分を差し引くことで、鏡面反射成分も同時に取得することができる。

特許文献１や非特許文献１では、物体が２色性反射モデルに従うことを利用し、入力画像における色相ごとに抽出した画素に基づいて、入力画像から拡散反射画像を取得する方法について開示している。２色性反射モデルでは、被写体からの反射光を、物体色である拡散反射成分と光源色である鏡面反射成分の線形和で表すことができる。

特開２０１３−６５２１５号公報

肥後 智昭, 宮崎 大輔, 池内 克史、"二色性反射モデルに基づくリアルタイム鏡面反射成分除去"、研究報告コンピュータビジョンとイメージメディア、ｐｐ．２１１−２１８、２００６

しかしながら、入力画像にノイズが存在する場合、取得した拡散反射画像に残留ノイズが発生してしまう。特に、取得した拡散反射画像において、入力画像中に鏡面反射が存在した領域で残留ノイズが目立ってしまう。入力画像における鏡面反射領域では拡散反射領域よりも輝度値が高いため、ノイズ量も多い領域となる。したがって、拡散反射画像を取得した際に、入力画像中に鏡面反射が存在した領域ではＳＮ比が低下し、残留したノイズが目立ってしまう。特許文献１や非特許文献１では、入力画像から取得した拡散反射画像における残留ノイズについては考慮していない。

このような課題に鑑みて、本発明は、残留ノイズを低減した拡散反射画像を取得可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、入力画像に基づいて拡散反射画像を取得する拡散反射画像取得部と、少なくとも前記入力画像における鏡面反射情報に基づいて、前記拡散反射画像に対してノイズ低減処理を行う処理部と、を有することを特徴とする。

また、本発明の他の側面としての画像処理装置は、少なくとも入力画像における鏡面反射情報に基づいて、前記入力画像に対してノイズ低減処理を行う処理部と、ノイズ低減処理後の前記入力画像に基づいて拡散反射画像を取得する拡散反射画像取得部と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、被写体を撮像する撮像素子と、入力画像に基づいて拡散反射画像を取得し、少なくとも前記入力画像における鏡面反射情報に基づいて前記拡散反射画像に対してノイズ低減処理を行う画像処理部と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、被写体を撮像する撮像素子と、少なくとも入力画像における鏡面反射情報に基づいて前記入力画像に対してノイズ低減処理を行い、ノイズ低減処理後の前記入力画像に基づいて拡散反射画像を取得する画像処理部と、を有することを特徴とする。

また、本発明の他の側面としての画像処理方法は、入力画像に基づいて拡散反射画像を取得するステップと、少なくとも前記入力画像における鏡面反射情報に基づいて、前記拡散反射画像に対してノイズ低減処理を行うステップと、を有することを特徴とする。

また、本発明の他の側面としての画像処理方法は、少なくとも入力画像における鏡面反射情報に基づいて、前記入力画像に対してノイズ低減処理を行うステップと、ノイズ低減処理後の前記入力画像に基づいて拡散反射画像を取得するステップと、を有することを特徴とする。

本発明によれば、残留ノイズを低減した拡散反射画像を取得可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体を提供することができる。

実施例１、２の撮像装置のブロック図である。 実施例１の画像処理方法を示すフローチャートである。 入力画像から拡散反射画像を取得するフローの模式図である。 彩度−強度平面における拡散反射成分と鏡面反射成分を示す図である。 拡散反射成分の推定を示す図である。 鏡面反射領域を示す図である。 実施例２の画像処理方法を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

本実施例では、入力画像から拡散反射画像を取得し、取得した拡散反射画像に対してノイズ低減処理を行うことで残留ノイズを低減した拡散反射画像を取得する方法について説明する。

図１は、撮像装置１００のブロック図である。撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。撮像素子１０２の光電変換によって生成されたアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。なお、撮像光学系１０１は、撮像装置１００に内蔵される構成であってもよいし、一眼レフカメラのように撮像装置１００に着脱可能に取り付けられる構成であってもよい。

画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理と併せて、入力画像から残留ノイズを低減した拡散反射画像を取得する。画像処理部１０４は、入力画像取得部１０４ａ、拡散反射画像取得部１０４ｂ、鏡面反射画像取得部１０４ｃおよびノイズ低減処理部１０４ｄを備える。拡散反射画像取得部１０４ｂは、入力画像から拡散反射画像を取得する。鏡面反射画像取得部１０４ｃは、入力画像から鏡面反射画像を取得する。ノイズ低減処理部１０４ｄは、拡散反射画像に対してノイズ低減処理を行う。

画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０８に保存される。また、出力画像を、表示部１０５に表示してもよい。

なお、本実施例では、入力画像取得部１０４ａ、拡散反射画像取得部１０４ｂ、鏡面反射画像取得部１０４ｃおよびノイズ低減処理部１０４ｄは、撮像装置１００に内蔵されているが、画像処理装置として撮像装置とは別に構成されてもよい。

情報入力部１０７は、ユーザーによって選択された撮影条件（絞り値、露出時間、および焦点距離など）をシステムコントローラ１０９に供給する。撮像制御部１０６は、システムコントローラ１０９からの情報に基づいて、ユーザーが選択した所望の撮影条件で画像を取得する。

図２は、本実施例の画像処理方法を示すフローチャートである。本実施例の画像処理方法は、システムコントローラ１０９および画像処理部１０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ１０１では、入力画像取得部１０４ａは、撮像装置１００から撮影画像を入力画像として取得する。入力画像取得部１０４ａは、撮影画像に対してノイズ低減処理が施された画像を入力画像として取得してもよい。画像処理部１０４が画像処理装置として撮像装置とは別に構成されている場合、入力画像の取得は、撮像装置との有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。

ステップＳ１０２では、拡散反射画像取得部１０４ｂは、入力画像から拡散反射画像を取得する。ここで、図３を参照して、入力画像から拡散反射画像を取得する方法について説明する。図３は、入力画像から拡散反射画像を取得するフローの模式図である。本実施形態では、特許文献１や非特許文献１に開示されている２色性反射モデルを用いた方法を用いて、入力画像１１０から拡散反射画像１１５を取得する。この方法では、同じ拡散反射率である被写体ごとに拡散反射成分を推定するために、入力画像１１０の色相１１１ごとに入力画像１１０から画素の抽出を行う。光源が白色である場合、入力画像１１０の色相１１１は拡散反射成分のみに依存し、鏡面反射成分の有無には無関係であるため、色相１１１を用いることで同じ拡散反射率である被写体のみから画素を抽出することができる。したがって、入力画像１１０は、あらかじめホワイトバランス補正により白色光源下における画像としておくことが好ましい。

まず、拡散反射画像取得部１０４ｂは、入力画像１１０における色相１１１ごとに入力画像１１０から複数の画素を抽出する。色相ｈｕｅは、以下の式（１）および（２）に基づいて算出される。ｒ、ｇおよびｂはそれぞれ、色相ｈｕｅを算出する画像におけるＲＧＢ値である。

色相ｈｕｅは、式（１）、（２）より以下の式（３）で算出される。

本ステップでは、入力画像１１０における色相１１１に基づいて入力画像１１０から色相１１１ごとに画素を抽出するが、抽出する画素の色相に対して範囲を設定してもよい。

次に、拡散反射画像取得部１０４ｂは、入力画像１１０における色相１１１ごとに入力画像１１０から抽出した画素に基づいて入力画像１１０における拡散反射成分を推定する。

図４は、彩度−強度平面における拡散反射成分と鏡面反射成分を示す図である。横軸は、以下の式（４）で算出される彩度ｓａｔｕｒａｔｉｏｎである。縦軸は、以下の式（５）で算出される強度ｉｎｔｅｎｓｉｔｙである。図４では、入力画像１１０における色相１１１のうち、所定の色相で抽出した画素が彩度および強度に基づいてプロットされている。拡散反射成分１２０は、原点を通る直線１２１上に存在する。さらに、光源が白色である場合、拡散反射成分１２０に鏡面反射が加わった成分１２２は、拡散反射成分１２０に比べて彩度が変化せずに強度のみが変化した状態で存在する。

本実施形態では、入力画像１１０における色相１１１ごとに入力画像１１０から抽出した画素における彩度１１２および強度１１３（第一の強度）を取得し、拡散反射成分１２０が存在する直線１２１の傾きを推定する。

直線１２１の傾きは、種々のフィッティング方法を用いて推定すればよい。直線１２１の傾きを推定する際には、拡散反射成分１２０のみが必要であるが、鏡面反射が加わった成分１２２は不要な外れ値であるため、外れ値を回避するようなフィッティング方法が好ましい。鏡面反射が加わった成分１２２を除外するために、各彩度において最小である第一の強度１１３の画素のみから直線１２１の傾きを推定してもよい。

推定した傾きから求められる直線１２１、つまり拡散反射成分１２０の強度（拡散反射強度）よりも大きい第一の強度１１３を有する画素は、鏡面反射が加わった成分１２２であるとみなすことができる。そのような画素における第一の強度１１３を、図５に示されるように、直線１２１上になる第二の強度１１４に置き換えることで、鏡面反射成分が除かれた拡散反射成分を取得できる。あるいは、抽出した全画素における第一の強度１１３を、直線１２１で示される拡散反射強度である第二の強度１１４に置換してもよい。

推定した直線１２１の傾きは、被写体の拡散反射率で決定されるパラメータであり、被写体ごとに異なる。そのため、被写体の色相ごとに画素を抽出して直線１２１の傾きを求めることで、色相で分類された被写体ごとに拡散反射成分を取得する。

また、光源が白色である場合のみ、鏡面反射が加わった成分１２２は拡散反射成分１２０に比べて彩度が変化せずに強度のみ変化するため、あらかじめ入力画像１１０をホワイトバランス補正により白色光源下における画像としておくことが好ましい。

次に、拡散反射画像取得部１０４ｂは、取得した拡散反射成分の第二の強度１１４、彩度１１２および色相１１１に基づいて拡散反射画像１１５を取得する。拡散反射画像１１５は、式（１）〜（５）を逆変換することで算出できる。

拡散反射画像１１５は、図６に示されるように、入力画像１１０から鏡面反射成分を取り除くことで取得される。入力画像１１０における鏡面反射領域１１７は、拡散反射領域よりも輝度値が高いため、ノイズ量も多い。したがって、拡散反射画像１１５の入力画像１１０中に鏡面反射が存在した領域１１８では、残留ノイズが存在するため、ＳＮ比が低下する。すなわち、拡散反射画像１１５では、残留したノイズが目立ってしまう。

ステップＳ１０３では、鏡面反射画像取得部１０４ｃは、ステップＳ１０１で取得した入力画像１１０から鏡面反射情報を取得する。本実施例では鏡面反射情報として鏡面反射画像１１６を取得するが、本発明はこれに限定されない。例えば、鏡面反射情報として、入力画像１１０の輝度値が一定以上である領域を鏡面反射領域として取得してもよいし、鏡面反射領域を抽出した画像を鏡面反射画像としてもよい。あるいは、手動で鏡面反射領域を選択したり、鏡面反射領域を分類することで鏡面反射情報としてもよい。鏡面反射画像１１６は、入力画像１１０からステップＳ１０２で取得した拡散反射画像１１５を差し引くことで取得できる。

ステップＳ１０４では、ノイズ低減処理部１０４ｄは、ステップＳ１０３で取得した鏡面反射情報に基づいて、ステップＳ１０２で取得した拡散反射画像１１５に対してノイズ低減処理を行う。この処理を行うことで、ノイズ低減処理部１０４ｄは、残留ノイズを低減した拡散反射画像１１５を取得することができる。上述したように、入力画像１１０の鏡面反射領域１１７は拡散反射領域よりも輝度値が高く、ノイズ量も多い領域であるため、鏡面反射成分を取り除いた拡散反射画像１１５の入力画像１１０中に鏡面反射が存在した領域１１８ではＳＮ比が低下する。したがって、拡散反射画像１１５の領域１１８に対してノイズ低減処理を行うことが好ましい。本実施例では、ノイズ低減処理部１０４ｄは、鏡面反射情報として鏡面反射画像１１６を用いることで、拡散反射画像１１５の領域１１８に対してノイズ低減処理を行うことができる。なお、ノイズ低減処理は、種々の方法を用いてよい。

具体的には、ノイズ低減処理部１０４ｄは、鏡面反射画像１１６の輝度値に基づいてノイズ低減処理の効果を決定する。例えば、鏡面反射画像１１６の輝度値が高い領域ほどノイズ量が多いため、ノイズ低減処理の強さを強くする。また、鏡面反射画像１１６の輝度値に基づいてノイズ低減処理を行う領域を決定してもよい。例えば、鏡面反射画像１１６のうち所定のしきい値より大きい輝度値を持つ領域のみにノイズ低減処理を行うようにしてもよい。

さらに、鏡面反射画像１１６と拡散反射画像１１５とに基づいてノイズ低減処理を行うようにしてもよい。鏡面反射画像１１６の輝度値が高く、拡散反射画像１１５の輝度値が低い領域ほど拡散反射画像１１５の入力画像１１０中に鏡面反射があった領域１１８でＳＮ比が低下する。したがって、鏡面反射画像１１６および拡散反射画像１１５の輝度値の差分や比に基づいてノイズ低減処理の効果を決定してもよい。

以上説明したように、本実施例では、鏡面反射情報に基づいて、入力画像から残留ノイズを低減した拡散反射画像を取得することができる。

なお、本実施例の撮像装置または画像処理装置は、ステップＳ１０４で取得した残留ノイズを低減した拡散反射画像および鏡面反射画像の重み付き加算により画像の光沢制御を行う光沢制御部を有していてもよい。画像の光沢感は鏡面反射成分に基づくため、取得した拡散反射画像に対して足し合わせる鏡面反射画像の割合を変化させることで光沢感を制御した画像を取得することができる。足し合わせる鏡面反射画像の割合はあらかじめ設定した割合としてもよいし、光沢感としてユーザーに任意に決定させてもよい。また、光沢制御部は、入力画像および鏡面反射画像の重み付き減算により画像の光沢制御を行う構成であってもよい。すなわち、画像の光沢感は、入力画像から差し引く鏡面反射画像の割合を変化させることで制御してもよい。また、光沢制御に用いる鏡面反射画像として、入力画像からステップＳ１０４で取得した残留ノイズを低減した拡散反射画像を差し引いた画像を用いてもよい。

本実施例では、入力画像に対してノイズ低減処理を行い、ノイズ低減処理後の入力画像から残留ノイズが少ない拡散反射画像を取得する方法について説明する。

本実施例においても実施例１と同様に図１の撮像装置１００を用いて画像処理を行うが、ノイズ低減処理部１０４ｄは入力画像に対してノイズ低減処理を行う。他の構成については、実施例１と同様であるため、詳細な説明は省略する。

図７は、本実施例の画像処理方法を示すフローチャートである。本実施例の画像処理方法は、システムコントローラ１０９および画像処理部１０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ２０１では、入力画像取得部１０４ａは、撮像装置１００から撮影画像を入力画像１１０として取得する。

ステップＳ２０２では、鏡面反射画像取得部１０４ｃは、ステップＳ２０１で取得した入力画像１１０から鏡面反射情報を取得する。本実施例では鏡面反射情報として鏡面反射画像１１６を取得するが、本発明はこれに限定されない。例えば、鏡面反射情報として、入力画像１１０の輝度値が一定以上である領域を鏡面反射領域として取得してもよいし、鏡面反射領域を抽出した画像を鏡面反射画像としてもよい。あるいは、手動で鏡面反射領域を選択したり、鏡面反射領域を分類することで鏡面反射情報としてもよい。鏡面反射画像１１６は、実施例１で説明した図２のステップＳ１０２およびステップＳ１０３と同様の処理を行うことで取得することができるため、詳細な説明は省略する。

ステップＳ２０３では、ノイズ低減処理部１０４ｄは、ステップＳ２０２で取得した鏡面反射情報に基づいて、ステップＳ２０１で取得した入力画像１１０に対してノイズ低減処理を行う。この処理を行うことで、ノイズ低減処理部１０４ｄは、残留ノイズを低減した入力画像１１０を取得することができる。上述したように、入力画像１１０の鏡面反射領域１１７は拡散反射領域よりも輝度値が高く、ノイズ量も多い領域であるため、鏡面反射成分を取り除いた拡散反射画像１１５の入力画像１１０中に鏡面反射が存在した領域１１８でＳＮ比が低下する。したがって、入力画像１１０の鏡面反射領域１１７に対してノイズ低減処理を行うことが好ましい。本実施例では、ノイズ低減処理部１０４ｄは、鏡面反射情報として鏡面反射画像１１６を用いることで、入力画像１１０の鏡面反射領域１１７に対してノイズ低減処理を行うことができる。

ステップＳ２０４では、拡散反射画像取得部１０４ｂは、ステップＳ２０３で取得したノイズ低減処理後の入力画像１１０から拡散反射画像１１５を取得する。拡散反射画像１１５は、実施例１で説明した図２のステップＳ１０２と同様の処理を行うことで取得することができるため、詳細な説明は省略する。

以上説明したように、本実施例では、鏡面反射情報に基づいてノイズ低減処理された入力画像から、残留ノイズを低減した拡散反射画像を取得することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０４ 画像処理部（画像処理装置）
１０４ｂ 拡散反射画像取得部
１０４ｄ ノイズ低減処理部（処理部）

Claims (18)

1. 入力画像に基づいて拡散反射画像を取得する拡散反射画像取得部と、
   少なくとも前記入力画像における鏡面反射情報に基づいて、前記拡散反射画像に対してノイズ低減処理を行う処理部と、を有することを特徴とする画像処理装置。
2. 少なくとも入力画像における鏡面反射情報に基づいて、前記入力画像に対してノイズ低減処理を行う処理部と、
   ノイズ低減処理後の前記入力画像に基づいて拡散反射画像を取得する拡散反射画像取得部と、を有することを特徴とする画像処理装置。
3. 前記拡散反射画像取得部は、前記入力画像における色相に基づいて前記入力画像から複数の画素を抽出し、抽出した複数の画素に基づいて前記拡散反射画像を推定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理部は、前記鏡面反射情報に基づいてノイズ低減処理の強さを決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記処理部は、前記鏡面反射情報における輝度値が高いほどノイズ低減処理を強くすることを特徴とする請求項４に記載の画像処理装置。
6. 前記処理部は、前記鏡面反射情報に基づいてノイズ低減処理を行う領域を決定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記処理部は、前記鏡面反射情報における輝度値がしきい値より大きい領域でノイズ低減処理を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記入力画像に基づいて鏡面反射画像を取得する鏡面反射画像取得部を更に有し、
   前記処理部は、少なくとも前記鏡面反射画像に基づいてノイズ低減処理を行うことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記鏡面反射画像取得部は、前記入力画像から前記拡散反射画像を差し引くことで前記鏡面反射画像を取得することを特徴とする請求項８に記載の画像処理装置。
10. 前記処理部は、前記拡散反射画像および前記鏡面反射画像に基づいてノイズ低減処理を行うことを特徴とする請求項８または９に記載の画像処理装置。
11. 前記拡散反射画像および前記鏡面反射画像の重み付き加算により画像の光沢制御を行う光沢制御部を更に有することを特徴とする請求項８から１０のいずれか１項に記載の画像処理装置。
12. 前記入力画像および前記鏡面反射画像の重み付き減算により画像の光沢制御を行う光沢制御部を有することを特徴とする請求項８から１０のいずれか１項に記載の画像処理装置。
13. 被写体を撮像する撮像素子と、
    入力画像に基づいて拡散反射画像を取得し、少なくとも前記入力画像における鏡面反射情報に基づいて前記拡散反射画像に対してノイズ低減処理を行う画像処理部と、を有することを特徴とする撮像装置。
14. 被写体を撮像する撮像素子と、
    少なくとも入力画像における鏡面反射情報に基づいて前記入力画像に対してノイズ低減処理を行い、ノイズ低減処理後の前記入力画像に基づいて拡散反射画像を取得する画像処理部と、を有することを特徴とする撮像装置。
15. 入力画像に基づいて拡散反射画像を取得するステップと、
    少なくとも前記入力画像における鏡面反射情報に基づいて、前記拡散反射画像に対してノイズ低減処理を行うステップと、を有することを特徴とする画像処理方法。
16. 少なくとも入力画像における鏡面反射情報に基づいて、前記入力画像に対してノイズ低減処理を行うステップと、
    ノイズ低減処理後の前記入力画像に基づいて拡散反射画像を取得するステップと、を有することを特徴とする画像処理方法。
17. 請求項１５または１６に記載の処理方法をコンピュータに実行させるための画像処理プログラム。
18. 請求項１７に記載の画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体。