JP4746575B2

JP4746575B2 - 画像処理装置及びその方法

Info

Publication number: JP4746575B2
Application number: JP2007069516A
Authority: JP
Inventors: 一泰大脇; 伊藤　　剛
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-03-16
Filing date: 2007-03-16
Publication date: 2011-08-10
Anticipated expiration: 2027-03-16
Also published as: US8320701B2; JP2008236072A; EP1970857A2; US20080226191A1; CN101266684A

Description

本発明は、入力画像のコントラストを伸張・圧縮し、視認性の良い画像を生成する画像処理装置及びその方法に関するものである。

ダイナミックレンジの圧縮を行う技術として、画像を照明成分と反射成分（以後、コントラスト成分と呼ぶ）に分離し、照明成分の圧縮を行うことにより、高いコントラストを保持や強調したままダイナミックレンジを圧縮する方法が知られている。

画像を照明成分とコントラスト成分に分離して信号処理を行う手法では、画像によって、図１に示すような物体境界に輝度むら（以下、ハロー現象と呼ぶ）が発生することが知られているが、このハロー現象を改善する方法として、現在、様々な手法が提案されている。

例えば、特許文献１では、ハロー現象を改善する方法として、照明成分分離用のフィルタに、エッジを保存する能力に優れる非線形フィルタのイプシロンフィルタを使用している。イプシロンフィルタで用いられる閾値を制御することにより、物体境界を適切に抽出している。これにより、ハロー現象の発生を低減している。
特開２００３−８９３５公報

しかし、この画像を照明成分とコントラスト成分に分離して信号処理を行う手法では、ハロー現象の他に、画像にノイズが含まれていた場合、ノイズが保持や強調されてしまうという問題点も発生する。

ノイズを低減するために、入力画像にノイズ低減処理を施してから、画像を照明成分とコントラスト成分に分離すると、入力画像の信号成分とノイズ成分の切り分けが不十分であったり、信号成分のコントラストまで低減されてしまう場合がある。

そこで本発明は上記に鑑みてなされたものであって、入力信号の特性に応じて、コントラスト成分の抽出量を調整することによって、視認性の良い画像を作成する画像処理装置及びその方法を提供する。

本発明は、入力画像が入力する入力部と、前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってそれぞれ平滑化した第１平滑化処理信号を取得する第１平滑化フィルタと、前記入力画像の各領域の中で輝度が低い領域については、前記第１平滑フィルタと同じ平滑化を行い、前記入力画像の各領域の中で輝度が高い領域については、そのままスルーさせて調整信号を得る調整フィルタと、前記調整信号から前記第１平滑化処理信号を除算し、前記入力画像のコントラスト成分信号を算出するコントラスト成分算出部と、前記第１平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を取得する画像合成部と、を有することを特徴とする画像処理装置である。

また、本発明は、入力画像が入力する入力部と、前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってエッジ成分を保存しないで平滑化して第１平滑化処理信号を取得する第１平滑化フィルタと、前記入力画像の各領域の中で輝度が低い領域については、前記第１平滑フィルタと同じ平滑化を行い、前記入力画像の各領域の中で輝度が高い領域については、そのままスルーさせて調整信号を得る調整フィルタと、前記調整信号から前記第１平滑化処理信号を除算し、前記入力画像のコントラスト成分信号を算出するコントラスト成分算出部と、前記入力画像の各領域のそれぞれの輝度を第２平滑フィルタによってエッジ成分を保存し平滑化して第２平滑化処理信号を取得する第２平滑化フィルタと、前記第２平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を習得する画像合成部と、を有することを特徴とする画像処理装置である。

また、本発明は、入力画像が入力する入力部と、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってそれぞれ平滑化した第１平滑化処理信号を取得する第１平滑化フィルタと、前記入力画像の各領域のそれぞれの輝度が予め定めた輝度範囲外のときはその輝度をそれぞれ維持し、前記各領域のそれぞれの輝度が前記輝度範囲内にあるときは所定の輝度にそれぞれ置き換えて調整信号を得る調整フィルタと、前記入力画像から前記調整信号を除算し、前記入力画像のコントラスト成分信号を算出するコントラスト成分算出部と、前記第１平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を取得する画像合成部と、を有することを特徴とする画像処理装置である。

また、本発明は、入力画像が入力する入力部と、前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってそれぞれ平滑化した第１平滑化処理信号を取得する第１平滑化フィルタと、前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より小さい領域については、前記入力画像の前記領域の輝度から前記第１平滑化処理信号の対応する領域の輝度を除算した信号を調整コントラスト成分として生成し、前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より大きい領域については、１となる調整コントラスト成分を生成するコントラスト成分算出制御部と、前記第１平滑化処理信号と前記調整コントラスト成分とを乗算して合成画像を求める画像合成部と、を有する画像処理装置である。

また、本発明は、入力画像が入力する入力部と、前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってエッジ成分を保存しないで平滑化して第１平滑化処理信号を取得する第１平滑化フィルタと、前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より小さい領域については、前記入力画像の前記領域の輝度から前記第１平滑化処理信号の対応する領域の輝度を除算した信号を調整コントラスト成分として生成し、前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より大きい領域については、１となる調整コントラスト成分を生成するコントラスト成分算出制御部と、前記入力画像の各領域のそれぞれの輝度を第２平滑フィルタによってエッジ成分を保存し平滑化して第２平滑化処理信号を取得する第２平滑化フィルタと、前記第２平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を習得する画像合成部と、を有する画像処理装置である。

本発明によれば、コントラスト成分のノイズが低減し、視認性の良い画像を作成することができる。

以下、本発明の一実施形態の画像処理装置１０について図面に基づいて説明する。

（実施形態１）
実施形態１の画像処理装置１０は、コントラスト強調画像処理装置であり、図２〜図７に基づいて説明する。

（１）画像処理装置１０の構成
図２は、本実施形態に係る画像処理装置１０の機能構成を示すブロック図である。

画像処理装置１０は、第１平滑化フィルタ処理部１２、入力信号制御部１３、コントラスト成分算出部１６、画像合成部１８から構成される。

これら各部１２〜１８の機能は、コンピュータにプログラムを実行させるても実現可能である。

なお、ここでは、図２に示すように、コントラスト成分算出部１６から出力された信号がコントラスト成分、第１平滑化フィルタ処理部１２から出力された信号が照明成分に相当する。

以下、各部１２〜１６の機能を順番に説明する。

（２）第１平滑化フィルタ処理部１２
第１平滑化フィルタ処理部１２は、不図示の入力部を経て入力画像である入力信号に平滑化フィルタを重畳して、第１平滑化処理信号を生成する。

第１平滑化フィルタ処理部１２で用いられる平滑化フィルタは、例えば、図３に示すようなフィルタ係数を持つ３ｘ３ガウシアンフィルタや、図４に示すようなフィルタ係数を持つ３ｘ３平均値フィルタである。

また、エッジ保存型の非線形低域通過フィルタでも良い。このエッジ保存型の非線形低域通過フィルタの例として、イプシロンフィルタを図５〜図７に基づいて説明する。図５はイプシロンフィルタによる処理前の状態であり、図６はイプシロンフィルタによる平滑化された処理後の状態であり、図７はイプシロンフィルタの処理を示すフローチャートである。

イプシロンフィルタは、フィルタ処理を行うブロックの中心画素と周辺の画素の信号レベルの絶対差分値を求め、その絶対差分値が設定した基準値（以下、イプシロン値と呼ぶ）以下の場合は周辺画素の値を保持し、イプシロン値より大きい場合は周辺画素の値を中心画素の値に置き換えてから、平滑化処理を行う。

図５は、フィルタ処理を行うカーネルサイズ５ｘ５のブロックにおいて、注目画素（中心画素）がグレー、周辺画素が白、またはグレー、または黒である場合を示している。ここで、黒はグレーとの絶対差分値がイプシロン値以下の画素であり、白の画素はグレーとの差分値がイプシロン値以上の画素であるとする。

図５に示すブロックにイプシロンフィルタ処理を行う場合、図６に示すように、黒の画素はそのままで、白の画素は中心のグレーの画素値に置き換えてから、５ｘ５の平滑化処理を行う。

本実施形態では、第１平滑化フィルタ処理部１２にイプシロンフィルタを用いることにする。

（２）入力信号制御部１３
入力信号制御部１３は、入力信号に応じて第１平滑化フィルタ処理部１２と特性が同等となるように前記入力信号の制御を行う。

例えば、入力デバイスの特性等からノイズの信号値の特性が予め分かっている場合、入力信号が予め定めたノイズを判定するための条件に合致するか否かを判定し、条件に合致した場合には信号がノイズであるとみなして入力信号に第１平滑化フィルタ処理部１２と同等の処理を施し、条件に合致しない場合には入力信号がノイズであるとはみなせないので、第１平滑化フィルタ処理部１２とは異なる処理を行い、調整信号として出力する。

入力信号制御部１３は、例えば、注目画素値が周辺画素値と比較して予め定めた基準を超えて異なる値をとる場合にインパルス性のノイズとみなす。

また、第１平滑化フィルタ処理部１２とは異なる処理は、入力信号をそのままスルー（出力）しても良い。

（３）コントラスト成分算出部１６
コントラスト成分算出部１６は、除算器であり、入力画像のコントラスト成分を抽出する。コントラスト成分抽出の例としては、例えば、画像の高域空間周波数成分を抽出する。

通常、入力画像に平滑化フィルタ処理を行うと、入力画像の低域空間周波数成分が抽出される。よって、入力画像から低域空間周波数成分を減算すれば、高域空間周波数成分が求められることになる。

本実施形態では、図２に示すように、入力信号制御部１３により得られた調整信号から、第１平滑化フィルタ処理部１２により得られた第１平滑化処理信号を除算することでコントラスト成分信号を抽出することにする。

（４）画像合成部１８
画像合成部１８は乗算器であり、画像のコントラスト成分信号と、照明成分信号を合成して、出力画像を生成する。

本実施形態では、図２に示すように、コントラスト成分信号と、第１平滑化処理信号を乗算することにより、出力画像を生成する。

（５）効果
本実施形態の画像処理装置１０においては、入力信号制御部１３において、入力信号がノイズであった場合に、調整信号と第１平滑化処理信号が同等になるため、このときに抽出されるコントラスト成分信号が１となる。すなわち、コントラスト成分が抽出されない。言い換えると、コントラスト成分信号が１であった場合、コントラスト成分信号ｘ照明成分信号＝照明成分信号、すなわち、出力信号＝照明成分信号となるため、コントラスト成分が抽出されなかったと言うことができる。

よって、入力信号にノイズが含まれていた場合、コントラスト成分として抽出されるノイズをカットすることができる。

なお、ノイズは照明成分よりコントラスト成分として抽出されることが多いため、結果として、ノイズを低減することができる。照明成分として抽出されるノイズは低周波ノイズであるが、低周波ノイズはコントラスト成分として抽出される高周波ノイズと比較して目立ちにくい。

このように、入力信号がノイズである場合にのみ、第１平滑化フィルタ処理部１２と特性が同等と
なるように入力信号の制御を行うことで、ノイズだけをカットすることができる。

（実施形態２−１）
実施形態２−１の画像処理装置１０は、コントラスト強調画像処理装置であり、図８に基づいて説明する。

図８は、本実施形態に係る画像処理装置１０の機能構成を示すブロック図である。

本実施形態の画像処理装置装置１０は、第１平滑化フィルタ処理部１２、入力信号制御部１３、第２平滑化フィルタ処理部１４、コントラスト成分算出部１６、画像合成部１８から構成される。

なお、実施形態２では、図８に示すように、コントラスト成分算出部１６から出力された信号がコントラスト成分、第２平滑化フィルタ処理部１４から出力された信号が照明成分に相当する。

実施形態１と異なるのは、画像をコントラスト成分と照明成分に分離するのに、それぞれ異なるフィルタを用いていることである。これに伴い、画像合成部１８では、図８に示すように、コントラスト成分信号と、第２平滑化処理信号を乗算することにより、出力画像を生成する。

例えば、第１平滑化フィルタ処理部１２で使用するコントラスト成分抽出用のフィルタは、よりエッジ成分を保存しないでコントラスト成分の抽出が行えるフィルタを使用する。例えば、図３に示すようなフィルタ係数を持つ３ｘ３ガウシアンフィルタや、図４に示すようなフィルタ係数を持つ３ｘ３平均値フィルタである。その他、例えば、次のようなフィルタがある。

また、第２平滑化フィルタ処理部１４で使用する照明成分抽出用のフィルタは、よりエッジ成分を保存しながら、平滑化の行えるフィルタを使用する。例えば、エッジ保存型の非線形低域通過フィルタ、すなわち、イプシロンフィルタである。その他、例えば、次のようなフィルタがある。メディアンフィルタを代表としたランクオーダーフィルタや、アルファトリムド平均値フィルタや、ロバスト推定などの順序統計に基づくフィルタや、バイラテラルフィルタ、トリラテラルフィルタなど。

これにより、ハロー現象を発生させず、よりノイズが少なく、よりコントラストの強調された画像を生成することができる。

（実施形態２−２）
実施形態２−２は、実施形態１と実施形態２−１に用いられる入力信号制御部１３に関するものである。

（１）入力信号制御部１３
入力信号制御部１３は、入力信号に応じて第１平滑化フィルタ処理部１２と特性が同等となるように前記入力信号の制御を行う。

例えば、入力信号の輝度レベルが例えば８ビット（０〜２５５）で表現されている場合には、輝度レベルが０〜３０であった場合（輝度レベルが低く暗い場合）、入力信号に第１平滑化フィルタ処理部１２と同等の処理を施し、入力信号の輝度レベルが３１〜２５５であった場合（輝度レベルが高く明るい場合）、第１平滑化フィルタ処理部１２とは異なる処理を行い、調整信号として出力する。

第１平滑化フィルタ処理部１２とは異なる処理は、入力信号をそのままスルー（出力）しても良い。

（２）効果
本実施形態の画像処理装置１０においては、入力信号制御部１３において、入力信号の輝度レベルが０〜３０であった場合（輝度レベルが暗い場合）に、調整信号と第１平滑化処理信号が同等になるため、このときに抽出されるコントラスト成分信号が１となる。すなわち、コントラスト成分が抽出されない。言い換えると、コントラスト成分信号が１であった場合、コントラスト成分信号ｘ照明成分信号＝照明成分信号、すなわち、出力信号＝照明成分信号となるため、コントラスト成分が抽出されなかったと言うことができる。

よって、入力信号の輝度レベル０〜３０の領域内（輝度レベルが暗い領域内）にノイズが含まれていた場合、コントラスト成分として抽出されるノイズをカットすることができる。

（実施形態３）
実施形態３の画像処理装置１０は、コントラスト強調画像処理装置であり、図９と図１０に基づいて説明する。

図９は、本実施形態に係る画像処理装置１０の機能構成を示すブロック図である。

本実施形態の画像処理装置装置１０は、第１平滑化フィルタ処理部１２、入力信号制御部１３、コントラスト成分算出部１６、画像合成部１８から構成される。

なお、本実施形態では、図９に示すように、コントラスト成分算出部１６から出力された信号がコントラスト成分、第１平滑化フィルタ処理部１２から出力された信号が照明成分に相当する。

本実施形態では、入力信号値から、入力信号値に応じて入力信号と特性が同等となるように前記入力信号の制御を行う入力信号制御部１３により得られた入力信号調整信号を除算することで、画像のコントラスト成分を得る。

本実施形態で使用する入力信号制御部１３では、例えば、図１０に示すフローチャートで示すイプシロンフィルタを変形した変形イプシロンフィルタを使用する。

この変形イプシロンフィルタは、フィルタ処理を行うブロックの中心画素と周辺の画素の信号レベルの絶対差分値を求め、その絶対差分値が設定したイプシロン値以上の場合は周辺画素の値を保持し、イプシロン値より小さい場合は周辺画素の値を中心画素の値に置き換えてから、平滑化処理を行う。

本実施形態は、実施形態２とほぼ同等の結果を得ることができ、実施形態２と比較して、フィルタ処理部が一つ不要になるため、より演算コストを削減できる。

（実施形態４）
実施形態４は、実施形態１〜３に用いられる入力信号制御部１３に関するものである。

実施形態４では、前記入力信号制御部１３は、前記入力信号が暗いほど、入力信号をコントラスト成分を抽出するためのフィルタ処理部の特性と同等とする割合を高くするように入力信号の制御を行う。すなわち、実施形態１で説明したように、入力信号の輝度レベルが例えば８ビット（０〜２５５）で表現されている場合には、輝度レベルが０〜３０であった場合（輝度レベルが低く暗い場合）、入力信号に第１平滑化フィルタ処理部１２と同等の処理を施し、入力信号の輝度レベルが３１〜２５５であった場合（輝度レベルが高く明るい場合）、そのままスルーする。

これは、暗部ほどノイズが多く存在し、また、暗部ほどノイズが目立ちやすいという特性を利用している。すなわち、暗部ほど、ノイズを含んだコントラスト成分を抽出しないように制御を行っている。

例えば、実施形態２において、第１平滑化フィルタ処理部１２で平均値フィルタを使用する場合、入力信号制御部１３を、暗部ほどイプシロン値が高く、明部ほどイプシロン値が低くなるように設定したイプシロンフィルタとすることでも、実施形態４が実現できる。

（実施形態５）
実施形態５は、実施形態１〜３に用いられる入力信号制御部１３に関するものである。

実施形態５では、入力信号制御部１３は、前記入力信号が暗いほど、入力信号をコントラスト成分を抽出するための第１平滑化フィルタ処理部１２の特性に近い特性が得られるように前記入力信号の制御を行う。すなわち、前記入力信号が暗いほど線形的に、または、非線形的に平滑度を高くして、例えば、輝度レベル０で第１平滑化フィルタ処理部１２の特性と同じにする。

これも、暗部ほどノイズが多く存在し、また、暗部ほどノイズが目立ちやすいという特性を利用している。すなわち、暗部ほど、ノイズを含んだコントラスト成分を抽出しないように制御を行っている。

（実施形態６−１）
実施形態６−１の画像処理装置１０は、コントラスト強調画像処理装置であり、図１１、図１７、図１８に基づいて説明する。

（１）画像処理装置１０の構成
図１１は、本実施形態に係る画像処理装置１０の機能構成を示す簡単なブロック図であり、図１７が詳細なブロック図である。

本実施形態の画像処理装置１０は、第１平滑化フィルタ処理部１２、コントラスト成分算出制御部１７、画像合成部１８から構成される。

なお、本実施形態では、図１６と図１７に示すように、コントラスト成分算出制御部１７から出力された信号がコントラスト成分、第１平滑化フィルタ処理部１２から出力された信号が照明成分に相当する。

（２）コントラスト成分算出制御部１７
図１７に示すように、コントラスト成分算出制御部１７は、減算部１７１、絶対差分値判定部１７２、除算器１７３の順番で構成される。

コントラスト成分算出制御部１７の処理方法について図１８のフローチャートに基づいて説明する。

ステップ１において、減算部１７１が入力信号の各画素の輝度レベルと第１平滑化処理信号の各画素の輝度レベルの絶対差分値を計算する。

ステップ２において、絶対差分値判定部１７２が、各画素について絶対差分値が設定閾値以下であるか否かを計算する。

ステップ３において、絶対差分値が設定閾値以上である画素については、除算器１７３が、入力信号の前記画素における輝度レベルを第１平滑化処理信号の対応する画素における輝度レベルで割ってコントラスト成分の信号を出力する。

ステップ４において、絶対差分値が設定閾値より小さいので、前記画素においては１のコントラスト成分の信号を出力する。

（３）効果
本実施形態では、このような制御を行うことで、ノイズがカットされ、微小なノイズの平滑化された、見やすい画像を生成することができる。

（４）変更例１
入力信号の輝度レベルが０〜３０であった場合、コントラスト成分を１として出力し、入力信号の輝度レベルが３１〜２５５であった場合、入力信号をそのままスルー（出力）してもよい。

また、例えば、ノイズの信号値が予め分かっている場合、入力信号がノイズである場合にのみ、コントラスト成分を１として出力するように制御を行っても良い。

本実施形態では、入力信号がノイズである場合と、入力信号と第１平滑化処理信号の絶対差分値が非常に小さい場合にコントラスト成分を１として出力するように制御を行うとする。

（実施形態６−２）
実施形態６−２の画像処理装置１０は、コントラスト強調画像処理装置であり、図１９、図２０に基づいて説明する。

（１）画像処理装置１０の構成
図１９は、本実施形態に係る画像処理装置１０の機能構成を示すブロック図である。

なお、本実施形態では、図１９に示すように、コントラスト成分算出制御部１７から出力された信号がコントラスト成分、第１平滑化フィルタ処理部１２から出力された信号が照明成分に相当する。

（２）コントラスト成分算出制御部１７
コントラスト成分算出制御部１７は、除算器１７３、減算部１７１、絶対差分値判定部１７２の順番で構成される。本実施形態と実施形態６−１と異なる点は、除算器１７３の位置である。

コントラスト成分算出制御部１７の処理方法について図２０のフローチャートに基づいて説明する。

ステップ１において、除算器１７３が、入力信号の各画素の輝度レベルを第１平滑化処理信号の対応する画素の輝度レベルで割ってコントラスト成分の信号を出力する。

ステップ２において、減算部１７１が入力信号の各画素の輝度レベルと第１平滑化処理信号の各画素の輝度レベルとの絶対差分値を計算する。

ステップ３において、絶対差分値判定部１７２が、各画素について絶対差分値が設定閾値以下であるか否かを計算する。

絶対差分値が設定閾値以上の画素については、除算器１７３で計算したコントラスト成分の信号を出力する。

ステップ４において、絶対差分値が設定閾値より小さい画素については、１のコントラスト成分の信号を出力する。

（実施形態７）
実施形態７の画像処理装置１０は、コントラスト強調画像処理装置であり、図１２に基づいて説明する。

図１２は、本実施形態に係る画像処理装置１０の機能構成を示すブロック図である。

本実施形態の画像処理装置１０は、第１平滑化フィルタ処理部１２、第２平滑化処理部１４、コントラスト成分算出制御部１７、画像合成部１８から構成される。

なお、実施形態７では、図１２に示すように、コントラスト成分算出制御部１７から出力された信号がコントラスト成分、第２平滑化フィルタ処理部１４から出力された信号が照明成分に相当する。

実施形態６と異なるのは、画像をコントラスト成分と照明成分に分離するのに、それぞれ異なるフィルタを用いていることである。これに伴い、画像合成部１８では、図１２に示すように、コントラスト成分信号と、第２平滑化処理信号を乗算することにより、出力画像を生成する。

例えば、第１平滑化フィルタ処理部１２で使用するコントラスト成分抽出用のフィルタは、よりコントラスト成分の抽出が行えるフィルタを使用する。第２平滑化フィルタ処理部１４で使用する照明成分抽出用のフィルタは、よりエッジ成分を保存しながら、平滑化の行えるフィルタを使用する。この２つの平滑化フィルタ１２，１４は、実施形態２と同様である。

（実施形態８）
実施形態８は、実施形態６、７のコントラスト成分算出制御部１７の変更例に関するものである。

本実施形態では、入力信号が暗いほど、コントラスト成分が１になるようにコントラスト成分の制御を行う。

具体的には、コントラスト成分算出制御部１７の絶対差分値判定部１７２に入力信号を入力させ、この入力信号の各画素の輝度レベルに基づいて絶対差分値を判定するための設定閾値を変化させる。例えば、輝度レベルが所定の基準値より低いとき、すなわち、暗いときには、前記設定閾値は大きい値Ａ１にし、輝度レベルが所定の基準値より高いとき、すなわち、明るいときには設定閾値は小さい値Ａ２（但し、Ａ１＞Ａ２である）にする。

本実施形態であると、暗部ほどノイズが多く存在し、また、暗部ほどノイズが目立ちやすいという特性を利用している。すなわち、暗部ほどノイズを含んだコントラスト成分を抽出しないように制御を行っている。

（実施形態９）
実施形態９は、実施形態６、７のコントラスト成分算出制御部１７の変更例に関するものである。

具体的には、コントラスト成分算出制御部１７の絶対差分値判定部１７２に入力信号を入力させ、この入力信号の各画素の輝度レベルに基づいて絶対差分値を判定するための設定閾値を変化させる。例えば、図２３に示すように、輝度レベルが低い程、すなわち、暗い程に、前記設定閾値を大きくする。

本実施形態でも、暗部ほどノイズが多く存在し、また、暗部ほどノイズが目立ちやすいという特性を利用している。すなわち、暗部ほど、ノイズを含んだコントラスト成分の抽出量を低減するように制御を行っている。

（実施形態１０）
実施形態１０の画像処理装置１０は、コントラスト強調画像処理装置であり、図１３に基づいて説明する。

図１３は、本実施形態に係る画像処理装置１０の機能構成を示すブロック図である。

本実施形態の画像処理装置１０は、第１平滑化フィルタ処理部１２、第２平滑化フィルタ処理部１４、コントラスト成分算出制御部１７、画像合成部１８とから構成される。

上記実施形態では、入力信号の輝度に基づいて、絶対差分値判定部１７２の設定閾値を変化させていたが、本実施形態では、第２平滑化フィルタ処理部１４（照明成分抽出用フィルタ）により得られた第２平滑化フィルタ処理信号に基づいて絶対差分値判定部１７２の設定閾値を変化させる。

具体的には、コントラスト成分算出制御部１７が、入力信号と、第１平滑化フィルタ処理部１２（コントラスト成分抽出用フィルタ）により得られた第１平滑化フィルタ処理信号に加え、第２平滑化フィルタ処理部１４（照明成分抽出用フィルタ）により得られた第２平滑化フィルタ処理信号に基づいて設定閾値を変化させる。この変化の方法は、実施形態８，９と同様である。また、２つの平滑化フィルタ１２，１４は、実施形態２と同様である。

また、図２１に示すように、実施形態６−１における図１８の構成に上記実施形態の構成を適用してもよい。すなわち、実施形態６−１における図１８の構成に第２平滑化フィルタ処理部１４を追加するものである。

また、図２２に示すように、実施形態６−２における図２０の構成に上記実施形態の構成を適用してもよい。すなわち、実施形態６−２における図２０の構成に第２平滑化フィルタ処理部１４を追加するものである。

（実施形態１１）
実施形態１１は、照明成分のレベル変換に関するものであり、図１４に基づいて説明する。本実施形態では、実施形態７に照明成分のレベル変換処理を適用した場合について説明を行う。なお、ここでは、実施形態７を用いて説明を行うが、実施形態１、２、３、６、１０についても同様にして適用できる。

図１４は、実施形態１１に係る画像処理装置１０の機能構成を示すブロック図である。

本実施形態の画像処理装置１０は、第１平滑化フィルタ処理部１２、第２平滑化処理部１４、コントラスト成分算出制御部１７、第２平滑化処理信号変換処理部２２、画像合成部１８から構成される。

なお、実施形態１１においては、図１４に示すように、コントラスト成分算出制御部１７から出力された信号がコントラスト成分、第２平滑化フィルタ処理部１４から出力された信号が照明成分に相当する。

本実施形態では、実施形態７に、照明成分信号、すなわち、第２平滑化フィルタ処理部１４により得られる、第２平滑化処理信号のレベル変換（伸張・圧縮）処理を行う第２平滑化処理信号変換処理部２２が追加される。

この第２平滑化処理信号変換処理部２２において、信号レベルの変換を行うことで、画像のダイナミックレンジ圧縮や、暗い映像を明るく見やすい画像に変換して出力させることができる。例えば、ダイナミックレンジの圧縮を行う場合は、第２平滑化処理信号変換処理部２２において照明成分信号を圧縮する。また、暗い画像を明るくする場合には、暗い信号を明るい信号へとレベル変換を行う。

（実施形態１２）
実施形態１２は、コントラスト成分の信号変換に関するものであり、図１５に基づいて説明する。本実施形態では、実施形態７にコントラスト成分の信号変換処理を適用した場合について説明を行う。なお、ここでは、実施形態７を用いて説明を行うが、実施形態１、２、３、６、１０についても同様にして適用できる。

図１５は、実施形態１２に係る画像処理装置１０の機能構成を示すブロック図である。

本実施形態の画像処理装置１０は、第１平滑化フィルタ処理部１２、第２平滑化処理部１４、コントラスト成分算出制御部１７、コントラスト成分信号変換処理部２１、画像合成部１８から構成される。

なお、実施形態１２においては、図１５に示すように、コントラスト成分算出制御部１７から出力された信号がコントラスト成分、第２平滑化フィルタ処理部１４から出力された信号が照明成分に相当する。

本実施形態では、実施形態７に、コントラスト成分信号、すなわち、コントラスト成分算出制御部１７により得られる、コントラスト成分信号のレベル変換（伸張・圧縮）処理を行うコントラスト成分信号変処理部２１が追加される。

このコントラスト成分信号変処理部２１において、信号レベルの変換を行うことで、画像のコントラスト（例えば、エッジやテクスチャ成分）の伸張や圧縮を行うことができる。また、ノイズの低減も行うことができる。例えば、コントラストの強調を行う場合は、コントラスト成分信号変換処理部２１においてコントラスト成分の伸張を行なう。また、画像のコントラストを低下させたい場合や、ノイズが多い画像のノイズを低減させたい場合は、コントラスト成分の圧縮を行う。

コントラスト成分の伸張・圧縮の方法に関しては、具体的には、例えば、コントラスト成分の伸張を行いたい場合には、コントラスト成分を２乗し、コントラスト成分の圧縮を行いたい場合には、コントラスト成分を０．５乗する。他の方法としては、コントラスト成分の伸張を行いたい場合には、コントラスト成分に１より大きい値を乗算し、コントラスト成分の圧縮を行いたい場合には、コントラスト成分に１未満の値を乗算しても良い。

（実施形態１３）
実施形態１３は、照明成分とコントラスト成分の信号変換に関するものであり、図１６に基づいて説明する。本実施形態では、実施形態７に照明成分の信号変換処理と、コントラスト成分の信号変換処理を適用した場合について説明を行う。なお、ここでは、実施形態７を用いて説明を行うが、実施形態１、２、３、６、１０についても同様にして適用できる。

図１６は、実施形態１３に係る画像処理装置１０の機能構成を示すブロック図である。

本実施形態の画像処理装置１０は、第１平滑化フィルタ処理部１２、第２平滑化処理部１４、コントラスト成分算出制御部１７、コントラスト成分信号変換処理部２１、第２平滑化処理信号変換処理部２２、画像合成部１８から構成される。

なお、実施形態１３においては、図１６に示すように、コントラスト成分算出制御部１７から出力された信号がコントラスト成分、第２平滑化フィルタ処理部１４から出力された信号が照明成分に相当する。

本実施形態は、実施形態７に、実施形態１１で説明した第２平滑化処理信号変換処理部２２と、実施形態１２で説明したコントラスト成分信号変処理部２１が追加される。

よって、例えば、照明成分信号は圧縮を行い、コントラスト成分信号は伸張を行うことで、ダイナミックレンジを圧縮しながらコントラスト（例えば、エッジやテクスチャ成分）の強調を行った画像を出力することができる。

ハロー現象の説明図である。本発明の実施形態１に係る画像処理装置の機能構成を示すブロック図である。３ｘ３ガウシアンフィルタである。３ｘ３平均値フィルタである。イプシロンフィルタによる処理前の状態である。イプシロンフィルタによる平滑化された処理後の状態である。イプシロンフィルタの処理を示すフローチャートである。実施形態２に係る画像処理装置の機能構成を示すブロック図である。実施形態３に係る画像処理装置の機能構成を示すブロック図である。変形型イプシロンフィルタの処理を示すフローチャートである。実施形態６−１に係る画像処理装置の機能構成を示す簡単なブロック図である。実施形態７に係る画像処理装置の機能構成を示すブロック図である。実施形態８に係る画像処理装置の機能構成を示すブロック図である。実施形態１１に係る画像処理装置の機能構成を示すブロック図である。実施形態１２に係る画像処理装置の機能構成を示すブロック図である。実施形態１３に係る画像処理装置の機能構成を示すブロック図である。実施形態６−１に係る画像処理装置の機能構成を示す詳細なブロック図である。実施形態６−１に係る画像処理装置のフローチャートである。実施形態６−２に係る画像処理装置の機能構成を示すブロック図である。実施形態６−２に係る画像処理装置のフローチャートである。実施形態１０に係る画像処理装置の変更例１の機能構成を示す簡単なブロック図である。実施形態１０に係る画像処理装置の変更例２の機能構成を示すブロック図である。実施形態９に係る入力信号と閾値の関係を示すグラフである。

符号の説明

１０画像処理装置
１２第１平滑化フィルタ処理部
１３入力信号制御部
１６コントラスト成分算出部
１８画像合成部

Claims

入力画像が入力する入力部と、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってそれぞれ平滑化した第１平滑化処理信号を取得する第１平滑化フィルタと、
前記入力画像の各領域の中で輝度が低い領域については、前記第１平滑フィルタと同じ平滑化を行い、前記入力画像の各領域の中で輝度が高い領域については、そのままスルーさせて調整信号を得る調整フィルタと、
前記調整信号から前記第１平滑化処理信号を除算し、前記入力画像のコントラスト成分信号を算出するコントラスト成分算出部と、
前記第１平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を取得する画像合成部と、
を有することを特徴とする画像処理装置。
入力画像が入力する入力部と、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってエッジ成分を保存しないで平滑化して第１平滑化処理信号を取得する第１平滑化フィルタと、
前記入力画像の各領域の中で輝度が低い領域については、前記第１平滑フィルタと同じ平滑化を行い、前記入力画像の各領域の中で輝度が高い領域については、そのままスルーさせて調整信号を得る調整フィルタと、
前記調整信号から前記第１平滑化処理信号を除算し、前記入力画像のコントラスト成分信号を算出するコントラスト成分算出部と、
前記入力画像の各領域のそれぞれの輝度を第２平滑フィルタによってエッジ成分を保存し平滑化して第２平滑化処理信号を取得する第２平滑化フィルタと、
前記第２平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を習得する画像合成部と、
を有することを特徴とする画像処理装置。
入力画像が入力する入力部と、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってそれぞれ平滑化した第１平滑化処理信号を取得する第１平滑化フィルタと、
前記入力画像の各領域のそれぞれの輝度が予め定めた輝度範囲外のときはその輝度をそれぞれ維持し、前記各領域のそれぞれの輝度が前記輝度範囲内にあるときは所定の輝度にそれぞれ置き換えて調整信号を得る調整フィルタと、
前記入力画像から前記調整信号を除算し、前記入力画像のコントラスト成分信号を算出するコントラスト成分算出部と、
前記第１平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を取得する画像合成部と、
を有することを特徴とする画像処理装置。
前記調整フィルタは、前記入力画像の各領域のそれぞれの輝度が予め定めた基準値より低いときに、前記第１平滑化フィルタと同じ平滑化を行う、
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
前記調整フィルタは、前記入力画像の各領域のそれぞれの輝度が低いほど前記平滑度を高くして前記第１平滑化フィルタの平滑度に近づける、
ことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
入力画像が入力する入力部と、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってそれぞれ平滑化した第１平滑化処理信号を取得する第１平滑化フィルタと、
前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より大きい領域については、前記入力画像の前記領域の輝度から前記第１平滑化処理信号の対応する領域の輝度を除算した信号を調整コントラスト成分として生成し、前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より小さい領域については、１となる調整コントラスト成分を生成するコントラスト成分算出制御部と、
前記第１平滑化処理信号と前記調整コントラスト成分とを乗算して合成画像を求める画像合成部と、
を有することを特徴とする画像処理装置。
入力画像が入力する入力部と、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってエッジ成分を保存しないで平滑化して第１平滑化処理信号を取得する第１平滑化フィルタと、
前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より大きい領域については、前記入力画像の前記領域の輝度から前記第１平滑化処理信号の対応する領域の輝度を除算した信号を調整コントラスト成分として生成し、前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より小さい領域については、１となる調整コントラスト成分を生成するコントラスト成分算出制御部と、
前記入力画像の各領域のそれぞれの輝度を第２平滑フィルタによってエッジ成分を保存し平滑化して第２平滑化処理信号を取得する第２平滑化フィルタと、
前記第２平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を習得する画像合成部と、
を有することを特徴とする画像処理装置。
前記コントラスト成分算出制御部は、前記入力画像の各領域の輝度が予め定めた基準値より暗いとき、前記閾値を大きくする、
ことを特徴とする請求項６又は７に記載の画像処理装置。
前記コントラスト成分算出制御部は、前記入力画像の各領域の輝度が暗いほど、前記閾値を大きくする、
ことを特徴とする請求項６又は７に記載の画像処理装置。
前記入力画像の各領域のそれぞれの輝度を第２平滑フィルタによってエッジ成分を保存し平滑化して第２平滑化処理信号を取得する第２平滑化フィルタを有し、
前記コントラスト成分算出制御部は、前記第２平滑化処理信号の各領域の輝度が予め定めた基準値より暗いとき、前記閾値を大きくする、
ことを特徴とする請求項６に記載の画像処理装置。
前記入力画像の各領域のそれぞれの輝度を第２平滑フィルタによってエッジ成分を保存し平滑化して第２平滑化処理信号を取得する第２平滑化フィルタを有し、
前記コントラスト成分算出制御部は、前記第２平滑化処理信号の各領域の輝度が暗いほど、前記閾値を大きくする、
ことを特徴とする請求項６に記載の画像処理装置。
前記第２平滑化処理信号、前記コントラスト成分信号、または、前記調整コントラスト成分の伸張処理、または、圧縮処理を行う変換処理部を有する、
ことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
入力画像が入力する入力ステップと、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってそれぞれ平滑化した第１平滑化処理信号を取得する第１平滑化フィルタステップと、
前記入力画像の各領域の中で輝度が低い領域については、前記第１平滑フィルタと同じ平滑化を行い、前記入力画像の各領域の中で輝度が高い領域については、そのままスルーさせて調整信号を得る調整フィルタステップと、
前記調整信号から前記第１平滑化処理信号を除算し、前記入力画像のコントラスト成分信号を算出するコントラスト成分算出ステップと、
前記第１平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を取得する画像合成ステップと、
を有することを特徴とする画像処理方法。
入力画像が入力する入力ステップと、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってエッジ成分を保存しないで平滑化して第１平滑化処理信号を取得する第１平滑化フィルタステップと、
前記入力画像の各領域の中で輝度が低い領域については、前記第１平滑フィルタと同じ平滑化を行い、前記入力画像の各領域の中で輝度が高い領域については、そのままスルーさせて調整信号を得る調整フィルタステップと、
前記調整信号から前記第１平滑化処理信号を除算し、前記入力画像のコントラスト成分信号を算出するコントラスト成分算出ステップと、
前記入力画像の各領域のそれぞれの輝度を第２平滑フィルタによってエッジ成分を保存し平滑化して第２平滑化処理信号を取得する第２平滑化フィルタステップと、
前記第２平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を習得する画像合成ステップと、
を有することを特徴とする画像処理方法。
入力画像が入力する入力ステップと、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってそれぞれ平滑化した第１平滑化処理信号を取得する第１平滑化フィルタステップと、
前記入力画像の各領域のそれぞれの輝度が予め定めた輝度範囲外のときはその輝度をそれぞれ維持し、前記各領域のそれぞれの輝度が前記輝度範囲内にあるときは所定の輝度にそれぞれ置き換えて調整信号を得る調整フィルタステップと、
前記入力画像から前記調整信号を除算し、前記入力画像のコントラスト成分信号を算出するコントラスト成分算出ステップと、
前記第１平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を取得する画像合成ステップと、
を有することを特徴とする画像処理方法。
入力画像が入力する入力ステップと、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってそれぞれ平滑化した第１平滑化処理信号を取得する第１平滑化フィルタステップと、
前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より大きい領域については、前記入力画像の前記領域の輝度から前記第１平滑化処理信号の対応する領域の輝度を除算した信号を調整コントラスト成分として生成し、前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より小さい領域については、１となる調整コントラスト成分を生成するコントラスト成分算出制御ステップと、
前記第１平滑化処理信号と前記調整コントラスト成分とを乗算して合成画像を求める画像合成ステップと、
を有することを特徴とする画像処理方法。
入力画像が入力する入力ステップと、
前記入力画像の各領域のそれぞれの輝度を第１平滑フィルタによってエッジ成分を保存しないで平滑化して第１平滑化処理信号を取得する第１平滑化フィルタステップと、
前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より大きい領域については、前記入力画像の前記領域の輝度から前記第１平滑化処理信号の対応する領域の輝度を除算した信号を調整コントラスト成分として生成し、前記入力画像の前記領域の輝度と前記第１平滑化処理信号の前記領域の輝度との絶対差分が閾値より小さい領域については、１となる調整コントラスト成分を生成するコントラスト成分算出制御ステップと、
前記入力画像の各領域のそれぞれの輝度を第２平滑フィルタによってエッジ成分を保存し平滑化して第２平滑化処理信号を取得する第２平滑化フィルタステップと、
前記第２平滑化処理信号と前記コントラスト成分信号とを乗算して合成画像を習得する画像合成ステップと、
を有することを特徴とする画像処理方法。