JP5135134B2 - 画像処理装置及びその方法 - Google Patents

Description

本発明は、高画質な画像を生成する画像処理装置及びその方法に関する。

最近のテレビ、携帯電話、デジタルカメラなど画像データを扱う様々な機種では、画像データをより高画質なものとするために高画質化処理を実行することが一般的となっている。このような階調補正処理のことをガンマ補正処理（γ補正処理）と称することもある。

そして、テレビの場合、上記のような階調補正処理が行われた画像信号に対して彩度を強調する彩度強調処理も行う。

しかし、階調補正処理による黒伸長を行うことで画像の暗部（低輝度部）の彩度が特に上昇した画像データに対し、さらに上記彩度強調処理を加えると、暗部が高彩度になり過ぎ、ノイズを含んだ画像データとなってしまう問題点がある。

この問題点は、携帯電話の画像の高画質化処理、デジタルカメラの画像処理などにも発生する。

特許文献１には、低輝度領域における色ノイズを低減するため、彩度変調特性、すなわち、輝度レベルに対して彩度レベルのゲインを定めた特性を的確に決定するための技術が開示されている。
特開２００３−２３５０５５公報

しかし、特許文献１においては、低輝度領域における彩度の周波数特性を考慮していない。そのために、彩度変調特性によって特定の周波数以上のものを全てカットしてしまい、必要以上に低輝度領域のテクスチャの色あいがなくなってしまうという問題点がある。

そこで本発明は、上記問題点に鑑みてなされたものであって、色味が自然で階調感、コントラスト感の高い高画質な画像を生成できる画像処理装置及びその方法を提供することを目的とする。

本発明は、入力された画像を、明るさを示す明るさ成分画像と色味を示す色味成分画像とに分離する分離部と、前記明るさ成分画像を平滑化して平滑化画像を生成するフィルタと、前記明るさ成分画像と前記平滑化画像から、前記入力画像のコントラスト成分画像を算出するコントラスト算出部と、前記平滑化画像に対して、コントラストが補正するようにレベルの変換を行い、補正平滑化画像を生成する画像補正部と、前記補正平滑化画像と前記コントラスト成分画像を乗算して、補正明るさ成分画像を生成する明るさ補正部と、前記補正平滑化画像と前記明るさ成分画像の変化率に基づいて、前記色味成分画像を補正するための補正係数を算出する係数算出部と、前記補正係数を用いて前記色味成分画像を補正して、補正色味成分画像を生成する色味補正部と、を有することを特徴とする画像処理装置である。

本発明によれば、色味が自然で階調感、コントラスト感の高い高画質な画像を生成することができる。

以下、本発明の一実施形態の画像処理装置１について図１に基づいて説明する。

（１）画像処理装置１の構成
図１は、本実施形態の画像処理装置１の構成を示すブロック図である。

画像処理装置１は、分離部１０、フィルタ２０、コントラスト算出部３０、コントラスト補正部４０、画像補正部５０、明るさ補正部６０、係数算出部７０、色味補正部８０、出力部９０を有する。

なお、この画像処理装置１は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、分離部１０、フィルタ２０、コントラスト算出部３０、コントラスト補正部４０、画像補正部５０、明るさ補正部６０、係数算出部７０、色味補正部８０、出力部９０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置１は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。

分離部１０では、入力画像に関して、画素毎に明るさ成分画像Ｙと色味成分画像ＵＶとに分離する。

フィルタ２０では、画素毎に明るさ成分画像Ｙに平滑化フィルタを重畳して平滑化画像ＬＰＦ＿Ｐ１を生成する。

コントラスト算出部３０では、画素毎に明るさ成分画像Ｙを平滑化画像ＬＰＦ＿Ｐ１で除算することにより、明るさ成分画像Ｙのコントラスト成分画像ＣＰを生成する。

コントラスト補正部４０では、画素毎にコントラスト成分画像ＣＰのレベル変換を行い、補正コントラスト成分画像Ｔ＿ＣＰを生成する。

画像補正部５０では、画素毎に平滑化画像ＬＰＦ＿Ｐ１のレベル変換を行い、補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を生成する。

明るさ補正部６０では、画素毎に補正コントラスト成分画像Ｔ＿ＣＰと補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を乗算して、補正明るさ成分画像を生成する。

係数算出部７０では、画素毎に前記補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１と前記明るさ成分画像Ｙから、色味成分画像ＵＶを補正するための補正係数Ｈを算出する。

色味補正部８０では、画素毎に前記補正係数Ｈを用いて色味成分画像ＵＶを補正し、補正色味成分画像を生成し、出力部９０から出力する。

以下では分離部１０、フィルタ２０、コントラスト算出部３０、コントラスト補正部４０、画像補正部５０、明るさ補正部６０、係数算出部７０、色味補正部８０、出力部９０について詳しく説明する。

（２）分離部１０
まず、分離部１０について述べる。

分離部１０では、入力画像の画素毎に、明るさ成分画像Ｙと色味成分画像ＵＶとに分離する。

例えば、入力画像がＹＵＶ形式で入力された場合は、Ｙ信号が明るさ成分画像、Ｕ信号とＶ信号が色味成分画像となる。ＹＣｂＣｒなどの場合も同様にＹ信号が明るさ成分画像、Ｃｂ信号とＣｒ信号が色味成分画像となる。また、ＲＧＢで入力された場合は一般に知られている信号変換によりＹＵＶやＹＣｂＣｒなどに変換して成分分離を行う。

ＲＧＢ入力であれば、例えば、下記の（１）式に基づいて変換して、明るさ成分画像と色味成分画像に分離を行う。

その他の入力形式の場合も同様である。

ここで説明のために、処理を行う画像の左上すみに原点を設定し、横方向にｘ軸、縦方向にｙ軸を設定する。これ以降では座標（ｘ，ｙ）における画素の明るさ成分画像の値をＰ_０（ｘ，ｙ）、色味成分画像の値をそれぞれＵ_０（ｘ，ｙ）、Ｖ_０（ｘ，ｙ）と表すことにする。

（３）フィルタ２０
次に、フィルタ２０について述べる。

フィルタ２０は、画素毎に明るさ成分画像Ｙに平滑化フィルタを重畳して、平滑化画像ＬＰＦ＿Ｐ１を生成する。

フィルタ２０で用いられる平滑化フィルタは、例えば、ガウシアンフィルタ、平均値フィルタ、エッジ保存型の非線形低域通過フィルタ、イプシロンフィルタなどである。

すなわち、フィルタ２０で用いられるフィルタは、少なくとも低周波成分を抽出できるものであればよい。また、必要であれば特定の周波数を通すように設計してもよい。上記したイプシロンフィルタなどはその例である。

これらのフィルタを用いて生成された平滑化画像ＬＰＦ＿Ｐ１の座標（ｘ，ｙ）での値をＰ_{ＬＰＦ＿Ｐ１}（ｘ，ｙ）と表すことにする。

（４）コントラスト算出部３０
次に、コントラスト算出部３０について述べる。

コントラスト算出部３０は、各画素で明るさ成分画像Ｙを平滑化画像ＬＰＦ＿Ｐ１で除算することにより、コントラスト成分画像ＣＰを生成する。すなわち、コントラスト成分画像ＣＰの座標（ｘ，ｙ）での値Ｐ_ＣＰ（ｘ，ｙ）は、下記の（２）式で求めることができる。

（５）コントラスト補正部４０
次に、コントラスト補正部４０について述べる。

コントラスト補正部４０では、画素毎にコントラスト成分画像ＣＰのレベル変換をすることによって、画像のコントラストの伸張、又は、圧縮を行う。コントラスト成分画像の変換方法はいろいろあるが、例えば、下記の（３）式の方法を用いる。

（３）式のγの値が、１よりも大きくなるとコントラスト成分は伸張される。因みにγが１よりも小さくなるとコントラスト成分は圧縮される。

（６）画像補正部５０
次に、画像補正部５０について述べる。

画像補正部５０では、画素毎に平滑化画像ＬＰＦ＿Ｐ１のコントラストを伸張するように、レベル変換を行い、補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を生成する。

平滑化画像ＬＰＦ＿Ｐ１のコントラストを補正する方法は、様々な方法が考えられるが、その方法は一般に知られている方法を利用すればよい。例えば、ヒストグラム均等化、べき乗によるレベル変換などである。

累積ヒストグラムを利用した変換では、下記の（４）式のようになる。

（４）式で、ＨＥ（ｋ）は、累積ヒストグラムを［出力の最小値、出力の最大値］に正規化したものである。この（４）式によればαの値が大きいほどそのコントラストは伸張される。因みに、αが負になると圧縮が行われる。

（７）明るさ補正部６０
次に、明るさ補正部６０について述べる。

明るさ補正部６０では、画素毎に補正コントラスト成分画像Ｔ＿ＣＰと補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を乗算して、補正明るさ成分画像を生成する。

明るさ補正部６０では、補正コントラスト成分画像Ｔ＿ＣＰと補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を各画素同士で乗算して補正明るさ成分画像を生成する。補正明るさ成分画像の座標（ｘ，ｙ）での値Ｐ_ＯＵＴ（ｘ，ｙ）は、下記の（５）式で求めることができる。

（８）係数算出部７０
次に、係数算出部７０について述べる。

係数算出部７０では、前記補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１と前記明るさ成分画像Ｙから、色味成分画像ＵＶを補正するための補正係数Ｈを算出する。補正係数Ｈは各画素単位で算出する。補正係数Ｈは明るさ成分画像Ｙと補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１の変化率に応じて画素毎に決定する。座標（ｘ，ｙ）における補正係数Ｈ（ｘ，ｙ）は、下記の（６）式で求める。

この補正係数Ｈ（ｘ，ｙ）は、明るさ成分画像の最終出力Ｐ_ＯＵＴ（ｘ，ｙ）の低周波成分と、入力明るさ画像成分Ｙの変化率を示している。補正係数Ｈ（ｘ，ｙ）を色味成分の補正に使うことによって、高周波に乗っている色ノイズを抑制し、かつ、低周波成分の色味があせてしまうのを抑制することができる。

（９）色味補正部８０
次に、色味補正部８０について述べる。

色味補正部８０では、前記補正係数Ｈ（ｘ，ｙ）を用いて色味成分画像を補正して、補正色味成分画像を生成する。座標（ｘ，ｙ）における補正された色味成分画像の画素の値をＵ_ｏｕｔ（ｘ，ｙ）、Ｖ_ｏｕｔ（ｘ，ｙ）とする。

Ｕ_ｏｕｔ（ｘ，ｙ）、Ｖ_ｏｕｔ（ｘ，ｙ）は、下記の（７）式で求める。

この（７）式によって補正されたＵ_ｏｕｔ、Ｖ_ｏｕｔが設定値を超えてしまった場合は、その設定値によって出力とする。

（１０）出力部９０
最後に、出力部９０は、画像出力の求められる形によって異なる。例えば、ＹＵＶなどの出力形式が求められる場合は、出力部９０は、Ｐ_ＯＵＴ、Ｕ_ｏｕｔ（ｘ，ｙ）、Ｖ_ｏｕｔ（ｘ，ｙ）のまま出力すればよい。

また、ＲＧＢなどの出力形式が求められる場合には、出力部９０は、分離部１０で行った変換の逆変換を行って出力する。上記実施形態による変換の場合は、出力をＲ’Ｇ’Ｂ’とすれば、例えば、下記の（８）式で求められる。

（１１）変更例
本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

例えば、上記実施形態の画像処理装置１では、コントラスト補正部４０を設けたが、これを設けず、明るさ補正部６０は、コントラスト成分画像ＣＰと補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を乗算して、補正明るさ成分画像を生成してもよい。この場合でも、色味が自然で階調感、コントラスト感の高い高画質な画像を生成することができる。

本発明の一実施形態の画像処理装置の構成を示すブロック図である。

符号の説明

１ 画像処理装置
１０ 分離部
２０ フィルタ
３０ コントラスト算出部
４０ コントラスト補正部
５０ 画像補正部
６０ 明るさ補正部
７０ 係数算出部
８０ 色味補正部
９０ 出力部

Claims (8)

1. 入力された画像を、明るさを示す明るさ成分画像と色味を示す色味成分画像とに分離する分離部と、
   前記明るさ成分画像を平滑化して平滑化画像を生成するフィルタと、
   前記明るさ成分画像と前記平滑化画像から、前記入力画像のコントラスト成分画像を算出するコントラスト算出部と、
   前記平滑化画像に対して、コントラストが補正するようにレベルの変換を行い、補正平滑化画像を生成する画像補正部と、
   前記補正平滑化画像と前記コントラスト成分画像を乗算して、補正明るさ成分画像を生成する明るさ補正部と、
   前記補正平滑化画像と前記明るさ成分画像の変化率に基づいて、前記色味成分画像を補正するための補正係数を算出する係数算出部と、
   前記補正係数を用いて前記色味成分画像を補正して、補正色味成分画像を生成する色味補正部と、
   を有することを特徴とする画像処理装置。
2. 前記コントラスト成分画像に対して、コントラストが補正するようにレベルの変換を行い、補正コントラスト成分画像を生成して、前記明るさ補正部に出力するコントラスト補正部をさらに有する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記補正明るさ成分画像と前記補正色味成分画像を乗算して出力する出力部をさらに有する、
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記フィルタは、低周波成分を抽出する平滑化フィルタである、
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記フィルタは、ガウシアンフィルタ、平均値フィルタ、エッジ保存型の非線形低域通過フィルタ、又は、イプシロンフィルタである、
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記分離部、前記フィルタ、前記コントラスト算出部、前記画像補正部、前記明るさ補正部、前記係数算出部、及び、前記色味補正部は、前記画像の画素毎に処理を行う、
   ことを特徴とする請求項１記載の画像処理装置。
7. 入力された画像を、明るさを示す明るさ成分画像と色味を示す色味成分画像とに分離する分離ステップと、
   前記明るさ成分画像を平滑化して平滑化画像を生成するフィルタと、
   前記明るさ成分画像と前記平滑化画像から、前記入力画像のコントラスト成分画像を算出するコントラスト算出ステップと、
   前記平滑化画像に対して、コントラストが補正するようにレベルの変換を行い、補正平滑化画像を生成する画像補正ステップと、
   前記補正平滑化画像と前記コントラスト成分画像を乗算して、補正明るさ成分画像を生成する明るさ補正ステップと、
   前記補正平滑化画像と前記明るさ成分画像の変化率に基づいて、前記色味成分画像を補正するための補正係数を算出する係数算出ステップと、
   前記補正係数を用いて前記色味成分画像を補正して、補正色味成分画像を生成する色味補正ステップと、
   を有することを特徴とする画像処理方法。
8. 入力された画像を、明るさを示す明るさ成分画像と色味を示す色味成分画像とに分離する分離機能と、
   前記明るさ成分画像を平滑化して平滑化画像を生成するフィルタと、
   前記明るさ成分画像と前記平滑化画像から、前記入力画像のコントラスト成分画像を算出するコントラスト算出機能と、
   前記平滑化画像に対して、コントラストが補正するようにレベルの変換を行い、補正平滑化画像を生成する画像補正機能と、
   前記補正平滑化画像と前記コントラスト成分画像を乗算して、補正明るさ成分画像を生成する明るさ補正機能と、
   前記補正平滑化画像と前記明るさ成分画像の変化率に基づいて、前記色味成分画像を補正するための補正係数を算出する係数算出機能と、
   前記補正係数を用いて前記色味成分画像を補正して、補正色味成分画像を生成する色味補正機能と、
   をコンピュータで実現させることを特徴とする画像処理プログラム。

Images