JP2017146766A - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】コントラストを改善することができる画像処理装置を提供する。【解決手段】記憶部１０は、輝度信号によって構成されたフレームの各画素データを記憶する。照明光成分推定部２０は、記憶部１０より読み出された、それぞれの注目画素データＰｉを中心とするフィルタリング領域内の複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号Ｌを生成する。反射光成分推定部３０は、注目画素データＰｉを照明光成分推定信号Ｌで除算して、画素単位の第１の補正画素データＡＰｉを生成する。ゲイン調整部５０は、第１の補正画素データＡＰｉのゲインを調整して第２の補正画素データＡＰを生成する。第２の補正画素データＡＰは記憶部１０に供給され、それぞれの注目画素データＰｉは第２の補正画素データＡＰで上書きされる。【選択図】図１

Description

本発明は、画像のコントラストを改善する画像処理装置、画像処理方法、画像処理プログラムに関する。

特許文献１に記載されているように、画像にレティネックス（Retinex）処理を施してコントラストを改善する画像処理装置が知られている。

特開２０１２−１０８８９８号公報

画像にレティネックス処理を施す従来の画像処理装置によれば、物体の輪郭部にハロと称される画質を劣化させる現象が発生することがある。ハロの発生が少なく、コントラストを改善することが求められている。

本発明は、ハロの発生が少なく、コントラストを改善することができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶する記憶部と、前記記憶部より読み出された、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成する照明光成分推定部と、前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第１の補正画素データを生成する反射光成分推定部と、前記第１の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第２の補正画素データを生成するゲイン調整部とを備え、前記第２の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第２の補正画素データを上書きして、前記それぞれの注目画素データを前記第２の補正画素データに置換するように構成されていることを特徴とする画像処理装置を提供する。

本発明は、上述した従来の技術の課題を解決するため、所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶部に記憶し、前記記憶部より読み出された、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成し、前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第１の補正画素データを生成し、前記第１の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第２の補正画素データを生成し、前記第２の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第２の補正画素データを上書きして、前記それぞれの注目画素データを前記第２の補正画素データに置換することを特徴とする画像処理方法を提供する。

本発明は、上述した従来の技術の課題を解決するため、コンピュータに、所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶している記憶部より、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データを読み出すステップと、前記複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成するステップと、前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第１の補正画素データを生成するステップと、前記第１の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第２の補正画素データを生成するステップと、前記第２の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第２の補正画素データを上書きして、前記それぞれの注目画素データを前記第２の補正画素データに置換するステップとを実行させることを特徴とする画像処理プログラムを提供する。

本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、ハロの発生が少なく、高画質にコントラストを改善することができる。

一実施形態の画像処理装置を示すブロック図である。 画像データのフレームを構成する画素データを概念的に示す図である。 フィルタリング領域を２５画素としたときのガウシアンフィルタを構成するフィルタ係数を示す図である。 フィルタリング領域を９画素としたときのガウシアンフィルタを構成するフィルタ係数を示す図である。 図１における非線形処理部４０及びゲイン調整部５０の動作を説明するための特性図である。 画素データＰ（１，１）が注目画素データＰｉであるときの、図１における記憶部１０及び照明光成分推定部２０の動作を説明するための図である。 フィルタリング領域にフィルタ係数を畳み込み演算する際に、画素データが存在しない画素位置に画素データを補間する補間方法の一例を示す図である。 画素データＰ（１，２）が注目画素データＰｉであるときの、記憶部１０及び照明光成分推定部２０の動作を説明するための図である。 画素データＰ（４，５）が注目画素データＰｉであるときの、フィルタ係数が畳み込み演算されるフィルタリング領域の状態を示す図である。 一実施形態の画像処理装置の動作及び一実施形態の画像処理方法を示すフローチャートである。 一実施形態の画像処理プログラムを実行するコンピュータの構成例を示すブロック図である。 一実施形態の画像処理装置の応用例を示すブロック図である。

以下、一実施形態の画像処理装置、画像処理方法、画像処理プログラムについて、添付図面を参照して説明する。

図１において、一実施形態の画像処理装置１００は、記憶部１０と、照明光成分推定部２０と、反射光成分推定部３０と、非線形処理部４０と、ゲイン調整部５０とを備える。画像処理装置１００は、レティネックス処理を応用した構成である。

記憶部１０はフレームメモリであり、例えばＲＡＭによって構成することができる。記憶部１０には、デジタル信号である画像データＤｉｎを構成する画素データが順次入力されて記憶される。画像データＤｉｎは例えば８ビットである。画像データＤｉｎは、遠赤外線カメラによって被写体を撮像した遠赤外線画像の輝度信号であってもよいし、カラー画像データより分離した輝度信号であってもよい。

図２に示すように、画像データＤｉｎのフレームＦは、垂直方向にｎライン、水平方向にｍ画素で構成されている。ｎ及びｍは任意の整数である。それぞれの画素データを垂直方向のライン番号と水平方向の画素番号とで、Ｐ（１，１），Ｐ（１，２），Ｐ（１，３）…のように表すこととする。フレームＦは、ｎ×ｍの画素データＰ（１，１）〜Ｐ（ｎ，ｍ）によって構成されている。

記憶部１０からは、画素データＰ（１，１）から画素データＰ（ｎ，ｍ）までの画素データが１つずつ順に注目画素データＰｉとして読み出される。注目画素データＰｉは、反射光成分推定部３０に供給される。また、記憶部１０からは、それぞれの注目画素データＰｉを中心とした例えば垂直方向５画素、水平方向５画素の２５画素分の画素データＰｆが読み出される。画素データＰｆは照明光成分推定部２０に供給される。

記憶部１０から注目画素データＰｉを中心とした垂直方向３画素、水平方向３画素の９画素分の画素データＰｆが読み出されて、照明光成分推定部２０に供給されてもよい。２５画素分の画素データＰｆまたは９画素分の画素データＰｆをフィルタリング領域の画素データＰｆと称することとする。フィルタリング領域は、２５画素または９画素の領域に限定されない。

照明光成分推定部２０は、入力されたフィルタリング領域の画素データＰｆにフィルタ係数を畳み込み演算して、照明光成分推定信号Ｌを出力する。照明光成分推定部２０は、画素データＰｆに対してローパスフィルタを構成するフィルタ係数を畳み込み演算する。好ましくは、照明光成分推定部２０は、画素データＰｆに対してガウシアンフィルタを構成するフィルタ係数を畳み込み演算する。

図３は、フィルタリング領域が２５画素であり、ガウシアンフィルタを構成するフィルタ係数Ｃｏ２５を示している。図４は、フィルタリング領域が９画素であり、ガウシアンフィルタを構成するフィルタ係数Ｃｏ９を示している。以下、照明光成分推定部２０の動作を、フィルタリング領域を２５画素として、フィルタ係数Ｃｏ２５を用いる場合を例として説明する。

照明光成分推定部２０は、それぞれの注目画素データＰｉを中心としたフィルタリング領域にフィルタ係数Ｃｏ２５を畳み込み演算して、画素単位の照明光成分推定信号Ｌを出力する。照明光成分推定信号Ｌは、反射光成分推定部３０に供給される。

反射光成分推定部３０は、注目画素データＰｉを照明光成分推定信号Ｌで除算することによって、画素単位の補正画素データＡＰｉを生成する。補正画素データＡＰｉは、第１の補正画素データである。補正画素データＡＰｉは、反射光成分推定信号に相当する。補正画素データＡＰｉは、非線形処理部４０に供給される。

非線形処理部４０は、入力された補正画素データＡＰｉを非線形処理して出力する。非線形処理部４０を照明光成分推定部２０と反射光成分推定部３０との間に設けて、照明光成分推定信号Ｌを非線形処理してもよい。非線形処理部４０を設けることは必須ではなく、削除してもよい。

ゲイン調整部５０は、非線形処理された補正画素データＡＰｉのゲインを調整して、８ビットの０〜２５５のいずれかの値をとる補正画像データＤｏｕｔを出力する。補正画像データＤｏｕｔを構成する画素単位の補正画素データＡＰは、記憶部１０にフィードバックされるように構成されている。補正画素データＡＰは、第２の補正画素データである。

図５において、横軸は反射光成分推定部３０より出力された補正画素データＡＰｉ、縦軸はゲイン調整部５０より出力された補正画像データＤｏｕｔを示している。横軸の補正画素データＡＰｉがとる数値は単なる一例である。

図５において、実線で示す直線ＤＯは、非線形処理部４０によって補正画素データＡＰｉを非線形処理しない場合のリニアな特性の補正画像データＤｏｕｔを示している。一点鎖線で示す曲線Ｄ１は、非線形処理部４０によって補正画素データＡＰｉを２乗する非線形処理を施した場合の補正画像データＤｏｕｔを示している。曲線Ｄ１で示す特性は、直線ＤＯで示すリニアな特性と比較してダイナミックレンジが狭くなる。

破線で示す曲線Ｄ２は、曲線Ｄ１で示す特性のダイナミックレンジを拡大するよう、ニー補正開始点Ｐｋｎよりニー補正処理を施した場合の補正画像データＤｏｕｔを示している。曲線Ｄ１及びＤ２で示す特性は、非線形処理の例であり、非線形処理部４０がどのように補正画素データＡＰｉを非線形処理するかは限定されない。

図６〜図９を用いて、記憶部１０及び照明光成分推定部２０の動作をさらに詳細に説明する。

図６の（ａ）に示すように、画素データＰ（１，１）が注目画素データＰｉであるとき、照明光成分推定部２０は、画素データＰ（１，１）を中心とするフィルタリング領域にフィルタ係数Ｃｏ２５を畳み込み演算する。図６〜図９においては、フィルタ係数Ｃｏ２５の数値を省略して図示している。

このとき、フィルタリング領域のうち、画素データＰ（１，１）〜Ｐ（１，３），Ｐ（２，１）〜Ｐ（２，３），Ｐ（３，１）〜Ｐ（３，３）以外の部分は画素データが存在しない。照明光成分推定部２０は、画素データが存在しない場合には、画素データが存在しない画素位置に例えば画素データＰ（１，１）〜Ｐ（１，３），Ｐ（２，１），Ｐ（３，１）を補間して、フィルタ係数Ｃｏ２５を畳み込み演算する。

具体的には、照明光成分推定部２０は、例えば図７に示すように画素データを補間すればよい。照明光成分推定部２０は、画素データＰ（１，１）の上方、左方、及び斜め方向に位置する画素データが存在しない画素位置には画素データＰ（１，１）を補間する。

照明光成分推定部２０は、画素データＰ（１，２）及びＰ（１，３）の上方に位置する画素データが存在しない画素位置にはそれぞれ画素データＰ（１，２）及びＰ（１，３）を補間する。画素データＰ（２，１）及びＰ（３，１）の左方に位置する画素データが存在しない画素位置にはそれぞれ画素データＰ（２，１）及びＰ（３，１）を補間する。

画素データＰ（１，１）が注目画素データＰｉであるときに反射光成分推定部３０によって生成された補正画素データＡＰｉは、非線形処理部４０によって非線形処理され、ゲイン調整部５０によってゲインが調整されて、補正画像データＤｏｕｔの１画素分である補正画素データＡＰ（１，１）として記憶部１０にフィードバックされる。

図６の（ｂ）に示すように、記憶部１０は、画素データＰ（１，１）に補正画素データＡＰ（１，１）を上書きする。

次に、図８の（ａ）に示すように、画素データＰ（１，２）が注目画素データＰｉであるとき、照明光成分推定部２０は、画素データＰ（１，２）を中心とするフィルタリング領域にフィルタ係数Ｃｏ２５を畳み込み演算する。図７と同様に、照明光成分推定部２０は、画素データが存在しない場合には、画素データが存在しない画素位置に画素データを補間して、フィルタ係数Ｃｏ２５を畳み込み演算する。

画素データＰ（１，２）が注目画素データＰｉであるとき、記憶部１０の画素データＰ（１，１）は補正画素データＡＰ（１，１）に置換されている。そこで、照明光成分推定部２０は、補正画素データＡＰ（１，１）の上方、左方、及び斜め方向に位置する画素データが存在しない画素位置には補正画素データＡＰ（１，１）を補間する。

画素データＰ（１，２）が注目画素データＰｉであるときに反射光成分推定部３０によって生成された補正画素データＡＰｉは、非線形処理部４０によって非線形処理され、ゲイン調整部５０によってゲインが調整されて、補正画像データＤｏｕｔの１画素分である補正画素データＡＰ（１，２）として記憶部１０にフィードバックされる。

図８の（ｂ）に示すように、記憶部１０は、画素データＰ（１，２）に補正画素データＡＰ（１，２）を上書きする。

画像処理装置１００は以上の動作を画素単位で繰り返すので、例えば画素データＰ（４，５）が注目画素データＰｉであるとき、図９に示すように、画素データＰ（４，５）より前の全ての画素データは、補正画素データＡＰ（１，１）〜ＡＰ（１，ｍ），ＡＰ（２，１）〜ＡＰ（２，ｍ），ＡＰ（３，１）〜ＡＰ（３，ｍ），ＡＰ（４，１）〜ＡＰ（４，４）に置換されている。

図９に示すように画素データＰ（４，５）が注目画素データＰｉであるとき、照明光成分推定部２０は、画素データＰ（４，５）を中心とするフィルタリング領域にフィルタ係数Ｃｏ２５を畳み込み演算する。このとき、フィルタリング領域内の画素データＰ（４，５）より前の全ての画素データは、補正画素データＡＰｉに基づいて生成された補正画素データＡＰ（２，３）〜ＡＰ（２，７），ＡＰ（３，３）〜ＡＰ（３，７），ＡＰ（４，３）〜ＡＰ（４，４）である。

このように、画像処理装置１００は、注目画素データＰｉが画素データＰ（１，２）以降、フィルタリング領域内に既に反射光成分推定部３０によって反射光成分推定信号とされた補正画素データＡＰｉに基づく補正画素データＡＰを含む。

従って、画像処理装置１００によれば、画像にレティネックス処理を施す従来の画像処理装置と比較して、ハロの発生が少なく高画質であり、より効果的にコントラストを改善することができる。特に、画像処理装置１００によれば、低輝度部におけるコントラストを改善することができる。画像処理装置１００によれば、解像感も向上させることができる。

図１０に示すフローチャートを用いて、画像処理装置１００の動作及び一実施形態の画像処理方法を説明する。図１０において、ステップＳ１にて、記憶部１０は画像データＤｉｎを記憶し、注目画素データＰｉを中心とするフィルタリング領域の画素データＰｆを出力する。

照明光成分推定部２０は、ステップＳ２にて、画素データＰｆにフィルタ係数Ｃｏ２５（またはＣｏ９）を畳み込み演算して、照明光成分推定信号Ｌを生成する。反射光成分推定部３０は、ステップＳ３にて、注目画素データＰｉを照明光成分推定信号Ｌで除算して、補正画素データＡＰｉを生成する。

非線形処理部４０は、ステップＳ４にて、補正画素データＡＰｉを非線形処理する。ゲイン調整部５０は、ステップＳ５にて、補正画素データＡＰｉのゲインを調整し、ステップＳ６にて、補正画像データＤｏｕｔを出力する。

記憶部１０は、ステップＳ７にて、注目画素データＰｉに補正画像データＤｏｕｔを構成する補正画素データＡＰを上書きして、注目画素データＰｉを補正画素データＡＰに置換する。

画像処理装置１００は、ステップＳ８にて、画像データＤｉｎのフレームＦの全画素データに対してステップＳ２〜Ｓ７の処理が終了したか否かを判定する。全画素データに対して処理が終了していなければ（NO）、画像処理装置１００は処理をステップＳ１に戻してステップＳ１〜Ｓ８の処理を繰り返す。全画素データに対して処理が終了していれば（YES）、画像処理装置１００は画像データＤｉｎのフレームＦに対する処理を終了させる。

図１に示す画像処理装置１００における照明光成分推定部２０と、反射光成分推定部３０と、非線形処理部４０と、ゲイン調整部５０の部分を、コンピュータプログラム（画像処理プログラム）で構成してもよい。

図１１において、コンピュータ２００は、演算処理装置（ＣＰＵ）２０１と、記憶部２０２とを備える。記憶部２０２は、一実施形態の画像処理プログラムを記憶している。画像処理プログラムは、図１０で説明した処理をＣＰＵ２０１に実行させる。記憶部２０２は、図１における記憶部１０と共用されていてもよく、記憶部１０とは別体であってもよい。

画像処理プログラムは、ＣＰＵ２０１に以下の各ステップを実行させればよい。記憶部１０は、所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶している。

画像処理プログラムは、ＣＰＵ２０１に、記憶部１０より、フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データを読み出すステップを実行させる。

画像処理プログラムは、ＣＰＵ２０１に、複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成するステップを実行させる。

画像処理プログラムは、ＣＰＵ２０１に、注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第１の補正画素データを生成するステップを実行させる。

画像処理プログラムは、ＣＰＵ２０１に、第１の補正画素データのゲインを調整して、上記の所定のビット数を有する画素単位の第２の補正画素データを生成するステップを実行させる。

画像処理プログラムは、ＣＰＵ２０１に、第２の補正画素データを記憶部１０に供給し、それぞれの注目画素データに第２の補正画素データを上書きして、それぞれの注目画素データを第２の補正画素データに置換するステップを実行させる。

画像処理装置１００は、図１１に示すように、ＲＧＢ信号を処理する装置の一部として構成されていてもよい。図１２において、輝度・色差変換部６０は、ＲＧＢ信号ＲＧＢｉｎを輝度信号Ｙｉｎと２つの色差信号Ｐｂ，Ｐｒに変換する。色差信号Ｐｂ，Ｐｒの代わりに色差信号Ｃｂ，Ｃｒであってもよく、２つの色差信号はＵＶ，ＵＲと称されてもよい。

画像処理装置１００は、輝度信号Ｙｉｎを上述のように処理して輝度信号Ｙｏｕｔを出力する。ＲＧＢ変換部７０は、輝度信号Ｙｏｕｔと色差信号Ｐｂ，Ｐｒとに基づいて、ＲＧＢ信号ＲＧＢｏｕｔを生成して出力する。

ＲＧＢ信号ＲＧＢｉｎではなく予め輝度信号Ｙｉｎと２つの色差信号Ｐｂ，Ｐｒに分離されていれば、輝度・色差変換部６０は不要である。ＲＧＢ信号ＲＧＢｏｕｔを生成する必要がなければ、ＲＧＢ変換部７０は不要であり、輝度信号Ｙｏｕｔと色差信号Ｐｂ，Ｐｒとを別々に出力すればよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１０，２０２ 記憶部
２０ 照明光成分推定部
３０ 反射光成分推定部
４０ 非線形処理部
５０ ゲイン調整部
１００ 画像処理装置
２００ コンピュータ
２０１ 演算処理装置（ＣＰＵ）

Claims (4)

1. 所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶する記憶部と、
   前記記憶部より読み出された、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成する照明光成分推定部と、
   前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第１の補正画素データを生成する反射光成分推定部と、
   前記第１の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第２の補正画素データを生成するゲイン調整部と、
   を備え、
   前記第２の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第２の補正画素データを上書きして、前記それぞれの注目画素データを前記第２の補正画素データに置換するように構成されている
   ことを特徴とする画像処理装置。
2. 前記照明光成分推定部は、前記フィルタリング領域内の複数の画素データに対して、ガウシアンフィルタを構成するフィルタ係数を畳み込み演算することを特徴とする請求項１に記載の画像処理装置。
3. 所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶部に記憶し、
   前記記憶部より読み出された、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成し、
   前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第１の補正画素データを生成し、
   前記第１の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第２の補正画素データを生成し、
   前記第２の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第２の補正画素データを上書きして、前記それぞれの注目画素データを前記第２の補正画素データに置換する
   ことを特徴とする画像処理方法。
4. コンピュータに、
   所定のビット数を有し、輝度信号によって構成されたフレームの各画素データを記憶している記憶部より、前記フレーム内のそれぞれの注目画素データを中心とするフィルタリング領域内の複数の画素データを読み出すステップと、
   前記複数の画素データに対して、ローパスフィルタを構成するフィルタ係数を畳み込み演算して、画素単位の照明光成分推定信号を生成するステップと、
   前記注目画素データを前記照明光成分推定信号で除算して、反射光成分推定信号に相当する画素単位の第１の補正画素データを生成するステップと、
   前記第１の補正画素データのゲインを調整して、前記所定のビット数を有する画素単位の第２の補正画素データを生成するステップと、
   前記第２の補正画素データを前記記憶部に供給し、前記それぞれの注目画素データに前記第２の補正画素データを上書きして、前記それぞれの注目画素データを前記第２の補正画素データに置換するステップと、
   を実行させることを特徴とする画像処理プログラム。

Images