JP4742068B2 - 画像処理方法、画像処理システムおよび画像処理プログラム - Google Patents

Description

本発明は画像処理方法、画像処理システムおよび画像処理プログラムに関し、特に、画像を画像内容に応じて高画質化する画像処理方法、画像処理システムおよび画像処理プログラムに関する。

従来、デジタル画像処理技術により画像の性質を解析し、人の視覚に対して高画質な画像に変換する方法が知られている。例えば、特許番号第２６９２５３１号の「画像の鮮鋭化方法及び装置」では画像の鮮鋭化を行なう場合に、すべての画像について画一的なシャープニングを行なうのでなく、画像ごとにエッジ領域を検出し、その領域における高周波成分または高周波帯域成分の強度の積分値をエッジ領域の面積で正規化した値に基づいて鮮鋭化の程度を調整する。同様にして、画像のコントラストや彩度を画像に適応して最適値に調整する方法も知られている。

特許番号第２６９２５３１号公報（第９―１６頁）

しかし、従来の技術では、画像全体について上記のような性質の解析を行ない、その結果に応じて処理を決定するために、１枚の画像中に異なった性質の対象が存在している場合に、対象に応じた高画質化を実行することができなかった。例えば、ビル街の上に青空が広がっているような画像に対して、鮮鋭度を調節する場合、主観的に、ビル街等の人工物の画像部分については鮮鋭度が高い画像が高画質と判断され、青空の画像部分についてはよりなだらかな輝度値の変化の画像が高画質と判断される。シャープニング処理は、画像のノイズを増幅する効果があるため、青空の領域では、その影響により画質が劣化したと判断される場合もある。そのように、最適なシャープニングの程度は異なっている。しかし画像全体について一様に同じシャープニングを適用する場合には、平均的な値が使用されることになるために効果が上がらないことがあった。

本発明の目的は、上記の課題を解決し、画像の部分領域を分類し、領域毎に最適な画像処理を行なうことによって、画像全体を高画質化する方法、システムおよびプログラムを提供することにある。

本発明の画像処理方法は、原画像に１つあるいは複数の対象が含まれていることを識別して対象領域を設定し、該対象領域には前記対象に応じた画像処理を適用し、処理結果を得ることを特徴とする。

また、本発明の画像処理方法は、原画像の各位置について、１つあるいは複数の対象が含まれている対象領域らしさを求め、該対象領域らしさに応じて前記対象に応じた画像処理を適用し、処理結果を得ることを特徴とする。

さらに、本発明の画像処理方法は、原画像に対して１つあるいは複数の対象の画像に適した画像処理を適用した１つあるいは複数の対象向け処理結果画像を作成し、前記原画像の各位置について、前記対象が含まれている対象領域らしさを求め、該対象領域らしさに応じて対象向け処理結果画像を統合することにより最終画像を得ることを特徴とする。

さらに、本発明の画像処理方法は、前記対象が、人物あるいは顔、空・雲、人工物、草木、集合人物、自然風景の少なくとも１つを含むことを特徴とする。

さらに、本発明の画像処理方法は、前記画像処理が鮮鋭化処理、コントラスト強調処理、彩度強調処理、ホワイトバランス処理の少なくとも１つを含むことを特徴とする。

さらに、本発明の画像処理システムは、原画像の各部分において、１つあるいは複数の対象領域らしさを計算する領域指数計算手段と、該領域指数計算手段により得られた領域指数に応じて原画像に画像変換処理を適用する画像変換手段を含むことを特徴とする。

さらに、本発明の画像処理システムは、原画像に対して１つあるいは複数の対象の画像に適した画像処理を適用した１つあるいは複数の対象向け処理結果画像を作成する画像変換手段と、前記原画像の各位置について前記対象が含まれている対象領域らしさを領域指数として計算する領域指数計算手段と、該領域指数に応じて前記対象向け処理結果画像を統合する画像統合手段を含むことを特徴とする。

さらに、本発明の画像処理システムは、前記対象が、人物あるいは顔、空・雲、人工物、草木、集合人物、自然風景の少なくとも１つを含むことを特徴とする。

さらに、本発明の画像処理システムは、前記画像処理が鮮鋭化処理、コントラスト強調処理、彩度強調処理、ホワイトバランス処理の少なくとも１つを含むことを特徴とする。

本発明の構成をとることによって、画像全体の性質に基づいて、高画質化処理が行われていた従来の方法に対して、画像領域に応じた高画質化処理が可能となり、人の視覚に対してより高画質な画像に変換することが可能となる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

本発明の第１の実施の形態をブロックで示す図１を参照して、この実施の形態の画像処理システムの動作を説明する。

原画像１の例としては、図２の模式図のようなものであるとする。原画像１には、前景に人物、背景に家や木などの風景や空が撮影されている。本実施の形態は、この原画像１について、
（１）人物の肌については、シャープニングは弱くかける。
（２）空や雲については、シャープニングはかけない。青空の部分は彩度を高くする。
（３）人物の服、背景については、シャープニングを強くかける。コントラストや彩度もメリハリがつくように強調する。
のような処理を行ない、人の視覚に対して画像を高画質化する。即ち、原画像１に対して領域識別手段１１が人物の肌領域を識別する。そして、識別された領域が“１”、それ以外が“０”である二値画像である領域画像１３が作成される。図２の例に対しては、図３に“白”で示す部分が識別された肌領域である“１”の部分である。画像変換手段１５は、原画像１の領域画像１３が“１”である部分に対して、肌領域に適した高画質化処理を適用する。同様に、領域識別手段１２が空・雲の領域を識別し、領域画像１４が作成される。画像変換手段１６は、原画像１の領域画像１４が“１”である部分に対して、空・雲領域に適した高画質化処理を適用する。また、原画像１の全体に対して、一般的な高画質化処理が画像変換手段１７により適用される。画像合成手段１８は、画像変換手段１７の出力に対し、“肌”の領域画像１３が“１”である部分については、画像変換手段１５の出力を、“空・雲”に領域画像１４が“１”である部分については、画像変換手段１６の出力を合成する。画素ごとに画像を合成すると、領域の繋ぎ目で画質が急に変化し、不自然な画像が生成されることがあるので、画像合成手段１８は、領域間のぼかし処理を含むのが適当である。

なお、本明細書では、識別すべき対象を、人物、空・雲として説明しているが、目標とする画質が異なる対象ごとに別々の処理が行なわれる実施形態が望ましく、その他に人工物や建物、山などの自然風景、集合人物等、よく画像が撮影される状況を識別し、それぞれの状況における高画質化処理を行なうことが可能である。

また、本明細書では、適用される画像処理を‘鮮鋭化’、‘コントラスト強調’、‘彩度強調’としているが、‘ホワイトバランス処理’、‘記憶色への色変更処理’などを含んでもよい。

第１の実施の形態は理想的であるが、通常、対象の識別は完全ではないので、誤った画像変換が適用される領域が生じることがある。それを踏まえて、第２の実施の形態を図４に基づいて説明する。まず、原画像１は、第１、第２の領域指数計算手段２１、２２によって、各画素毎に規定された性質を持っているかを解析する。領域の性質としては、例えば第１、第２の領域指数計算手段２１、２２は、それぞれ、人肌、空・雲の２つの領域の性質を評価する。

それぞれの領域指数計算手段２１、２２は、その領域らしさを画像から判断し、その領域らしさを例えば０〜１の値をとる指数として出力する。図５を参照して人肌領域らしさを各画素の色から計算する領域指数計算手段２１の機能を示す。ここでは、画素の色を（Ｒ，Ｇ，Ｂ）値で示す。黒を（０，０，０）、白を（１，１，１）とすると、ＲＧＢ色空間において、すべての色は図５のような立方体に含まれる。この中で、最も肌色らしい領域２１１に‘１’、その周囲の尤度が低い領域２１２に‘０．７’、その更に周囲の領域２１３に‘０．３’、それ以外には‘０’の指数を予め設定する。各画素値は、これらの領域に含まれているかどうかを調べられ、対応する指数Ｆ１が出力される。勿論、指数は図５のように離散的な値を設定する代わりに、正規分布関数のような連続的に変化するように設定しても構わない。

次に、図６を参照して、人肌の内、特に顔領域らしさを判定する領域指数計算手段２１の実施例を説明する。画像データが、まず画像スケーリング手段２１４に入力される。これは、画像に撮像されている顔の大きさの変化に対応するためである。画像データは、まず第1の変倍手段２１５１によって、例えば０．８倍のサイズに縮小される。縮小された画像データは、第1の類似度判定手段２１６１に出力されると同時に、第２の変倍手段２１５２にも出力される。第２の変倍手段２１５２は、同様に、画像を０．８倍のサイズ（原画からは０．６４倍のサイズ）に縮小する。この結果は第２の類似度判定手段２１６２に出力されると同時に、第３の変倍手段２１５３にも出力される。これを必要なだけ繰り返し、顔の大きさのバリエーションに対応する。類似度判定手段２１６１〜２１６３は、状況に応じて画像の輝度の正規化を行ない、顔テンプレート２１７との類似度を０〜１の値として計算する。顔が存在する場合、サイズがテンプレートと合っている類似度判定手段に高い出力が得られるので、最大値選択手段２１８は、類似度判定手段２１６１〜２１６３の出力の最大値を顔領域指数Ｆ２として出力する。

尚、顔領域指数の計算の際に、前記の人肌領域指数Ｆ１の計算も同時に行ない、その判定精度を高めることもできる。その場合には、前記人肌領域指数Ｆ１と顔領域指数Ｆ２を組み合わせた計算で、新しい顔領域指数Ｆを求めることが可能である。例えば、式（１）や式（２）のような実現方法が可能であるが、これに制限されるものではない。

Ｆ＝Ｆ１・Ｆ２ （１）
Ｆ＝（Ｆ１＋Ｆ２）／２ （２）
同様にして、空・雲の領域らしさを示す領域指数Ｃを計算する領域指数計算手段２２の
実施例を図７を参照して説明する。色相彩度計算手段２２１が各画素の値から、その画素
の色相Ｈ、彩度Ｓ、明度Ｖを計算する。例えば、公知のＨＳＶ空間への変換を式３に従っ
て行なう。

ここで、

すると、図８のような輝度を除いた二次元の表現で、例えばＲからの角度として色相Ｈが、中心からの距離として彩度Ｓが定義できる。ここで、領域２２７を空や雲の色領域らしさＣ１＝０．３、領域２２８をＣ１＝０．６、領域２２９をＣ１＝０．９として定義する。色度評価手段２２２は、この計算を行ないＣ１を出力する。

また、一様度計算手段２２３は、各画素について、その周囲からの色の変化の一様度Ｃ２を評価する。例えば式（４）により評価できるが、これに制限されるものではない。

ここで、ＶはＲ，Ｇ，Ｂ。

指数合成手段２２４は、上記で得られたＣ１とＣ２から空・雲領域指数Ｃを計算する。計算方法は、式(５)又は式(６)で実現できるが、これに制限されるものではない。

Ｃ＝Ｃ１・Ｃ２ （５）
Ｃ＝（Ｃ１＋Ｃ２）／２ （６）
さて、領域指数計算手段２１から顔領域指数Ｆが、領域指数計算手段２２から空・雲領
域指数Ｃが各画素毎に出力され、それぞれ、領域指数画像３１及び領域指数画像３２とな
る。

画像変換手段４は、原画像１と領域指数画像３１、３２を入力とし、領域に応じた高画質化処理を適用し、結果の画像を出力する。図９を参照して、画像変換手段４の実施例を説明する。鮮鋭化手段４１、コントラスト強調手段４２、彩度強調手段４３が原画像１に対して画像処理を行なうが、それぞれの処理の程度は鮮鋭化量計算手段４４、コントラスト強調量計算手段４５、彩度強調量計算手段４６で計算する。

例えば、鮮鋭化手段４１が、鮮鋭化を式（７）のように行ない、鮮鋭化量はαで調整される場合、

ここで、

一般の領域では、α＝１とするが、顔領域では鮮鋭化量を少なめに、空・雲領域では全くかけない方が高画質になるとき、例えば、鮮鋭化量計算手段４４はαを式（８）のように計算する。

α＝１−０．５Ｆ−Ｃ （８）
尚、ここではＦとＣが同時に値を持たないことを仮定している。

また、コントラスト強調手段４２が、原画像１のコントラストを式（９）のように計測し、原コントラスト値Ｋを得、目標のコントラスト値Ｋ’に式（１０）により変換するとする。

ここで、

空・雲領域では、一般と同様にコントラストを強調するが、顔領域では顔色を変えないほうが高画質になる場合、コントラスト強調量計算手段４５は、強調量βを式（１１）のように計算する。

β＝１−Ｆ （１１）
彩度強調量計算手段４６も、同様に、公知の画像に対する彩度強調を行なう彩度強調手段４３に対しての彩度強調量を、領域指数の値に応じて計算するように構成される。

続いて、図１０を参照して本発明の第３の実施の形態を説明する。求める結果画像が第２の実施の形態と同等であると考えると、領域指数画像３１、領域指数画像３２の各画素には、それぞれ、顔領域指数、空・雲領域指数が格納される。それに対応して、画像変換手段４１０は、原画像１全体に顔領域に適した画像変換処理を適用する。同様に、画像変換手段４２０は、原画像１全体に空・雲領域に適した画像変換処理を適用する。また、画像変換手段４３０は、原画像全体に一般的な画像変換処理を適用する。画像変換手段４１０の構成例を図１１に示す。画像変換手段４１０は、画像変換手段４と似た処理手段である、鮮鋭化手段４１１、コントラスト強調手段４１２、彩度強調手段４１３を持つ。画像変換手段４は、この強調量を計算して求めるが、画像変換手段４１０は、顔領域向けの画像変換手段であるので、それに最適な強調量で画像変換を行ない、変換された画像を出力する。画像変換手段４２０は、同様の構成で、空・雲領域に適した画像変換を行ない、処理結果を出力する。画像変換手段４３０は、それ以外の一般の領域に適した画像変換を行ない処理結果を出力する。

画像統合手段５は、それぞれの画像変換が適用された画像を統合する。例えば、画像変換手段４１０、４２０、４３０の出力画像をそれぞれｇ１（ｘ，ｙ）、ｇ２（ｘ，ｙ）、ｇ３（ｘ，ｙ）、領域指数画像３１、３２を、それぞれＦ（ｘ，ｙ），Ｃ（ｘ，ｙ）とする。画像統合手段５は、各画素ごとに式（１２）を計算し、結果画像ｒｅｓｕｌｔ（ｘ、ｙ）を出力する。

ｒｅｓｕｌｔ（ｘ、ｙ）＝Ｆ（ｘ，ｙ）ｇ１（ｘ，ｙ）＋Ｃ（ｘ，ｙ）ｇ２（ｘ，ｙ）
＋（１−Ｆ−Ｃ）ｇ３（ｘ，ｙ） （１２）
なお、ここでもＦ（ｘ，ｙ）とＣ（ｘ，ｙ）は同時に値を持たないと仮定している。しかし、実施にあたっては、Ｆ（ｘ，ｙ）とＣ（ｘ，ｙ）が同時に値を持つように構成することも可能である。その際には、式（８）のαあるいは式（１２）の右辺の第３項の（１−Ｆ−Ｃ）が負の値をとらないように制限を設けるなどの工夫が必要である。

この画像統合処理により、それぞれの領域に応じた画像変換が行なわれた結果画像が生成される。

上記の実施の形態では、それぞれの処理手段を本発明の構成要素としているが、それぞれの処理をコンピュータプログラムで実現することも可能である。その場合の本発明の第４の実施の形態を、図１２を参照して説明する。処理が開始すると、まず領域指数計算ステップ２３が実行される。領域指数計算ステップ２３は原画像１を入力とし、例えば原画像１の各画素において顔領域らしさの計算をプログラムにより実行する。その結果、各画素に式（１）または式（２）で示された顔領域指数を持つ領域指数画像３１が出力される。次に領域指数計算ステップ２４が実行される。領域指数計算ステップ２４は原画像１を入力とし、例えば原画像１の各画素において空・雲の領域らしさの計算をプログラムにより実行する。その結果、各画素に式（５）または式（６）で示された空・雲領域指数を持つ領域指数画像３２が出力される。続いて画像変換ステップ６が実行される。画像変換ステップ６はさらに鮮鋭化ステップ６１、コントラスト強調ステップ６２、彩度強調ステップ６３から成っており、それぞれの画像処理が、原画像１に対して領域指数画像３１、領域指数画像３２に格納された領域指数に従って、処理の程度を式（７）、式（１０）のように調整されて実行され、その結果が結果画像７として出力される。

それぞれの処理をコンピュータプログラムとして実現する本発明の別の実施の形態として、第５の実施の形態を図１３を参照して説明する。ここではまず、原画像１に対して、例えば、顔領域らしさを計算する領域指数計算ステップ２３が実行され、領域指数画像３１が生成される。次に、顔領域向きの画像変換である画像変換ステップ８３が原画像１に対して実行され、処理結果画像３３が生成される。同様に、例えば、空・雲領域らしさを計算する領域指数計算ステップ２４が実行され、領域指数画像３２が生成され、空・雲領域向きの画像変換を行なう画像変換ステップ８４が実行され、処理結果画像３４が生成される。続いて、一般の領域に対する画像変換処理を行なう画像変換ステップ８５が原画像１に対して実行され、処理結果画像３５が生成される。最後に、それぞれの処理結果画像３３,３４,３５を各画素における領域指数画像３１,３２の領域指数に応じて合成する画像統合ステップ９が実行され、最終的な結果画像７が出力される。この場合、２つの領域指数計算ステップ２３，２４と、３つの画像変換ステップ８３，８４，８５の処理内容は全く独立であるので、その実行順序は任意であり、コンピュータによっては並行処理により高速実行することも可能である。

本発明の第１の実施の形態の構成を示すブロック図である。 本発明の第１の実施の形態の機能を説明するための画像例を示す図である。 本発明の第１の実施の形態の白で示す部分が識別された肌領域であることを示す図である。 本発明の第２の実施の形態の構成を示すブロック図である。 本発明の第２の実施の形態の人肌領域らしさを各画素の色から計算する領域指数計算手段の機能を説明する図である。 本発明の第２の実施の形態における人肌の内、特に顔領域らしさを判定する領域指数計算手段の実施例を説明する図である。 本発明の第２の実施の形態の空・雲の領域らしさを示す領域指数を計算する領域指数計算手段の構成を示すブロック図である。 本発明の第２の実施の形態における空・雲の領域らしさを示す領域指数を計算する領域指数計算手段の実施例を説明する図である。 本発明の第２の実施の形態における画像変換手段の実施例の構成を示すブロック図である。 本発明の第３の実施の形態の構成を示すブロック図である。 本発明の第３の実施の形態における画像変換手段の構成を示すブロック図である。 本発明の第４の実施の形態を説明する流れ図である。 本発明の第５の実施の形態を説明する流れ図である。

符号の説明

１ 原画像
１１，１２ 領域識別手段
１３，１４ 領域画像
１５，１６，１７ 画像変換手段
１８ 画像合成手段
２１，２２ 領域指数計算手段
２３，２４ 領域指数計算ステップ
３１，３２ 領域指数画像
３３，３４，３５ 処理結果画像
４，４１０，４２０，４３０ 画像変換手段
４１ 鮮鋭化手段
４２ コントラスト強調手段
４３ 彩度強調手段
４４ 鮮鋭化量計算手段
４５ コントラスト強調量計算手段
４６ 彩度強調量計算手段
５ 画像統合手段
６，８３，８４，８５ 画像変換ステップ
７ 結果画像
９ 画像統合ステップ

Claims (6)

1. 原画像に対して１つあるいは複数の対象の画像に適した画像処理を適用した１つあるいは複数の対象向けの鮮鋭化処理、コントラスト強調処理、彩度強調処理、ホワイトバランス処理の少なくとも１つを含む処理結果画像を作成し、前記原画像の各位置について、前記対象が含まれている対象領域らしさを、画素の色および周囲からの色の変化の一様度を用いて求め、該対象領域らしさに応じて対象向け処理結果画像を統合することにより最終画像を得ることを特徴とする画像処理方法。
2. 前記対象が、人物あるいは顔、空・雲、人工物、草木、集合人物、自然風景の少なくとも１つを含むことを特徴とする請求項１記載の画像処理方法。
3. 原画像に対して１つあるいは複数の対象の画像に適した画像処理を適用した１つあるいは複数の対象向けの鮮鋭化処理、コントラスト強調処理、彩度強調処理、ホワイトバランス処理の少なくとも１つを含む処理結果画像を作成する画像変換手段と、前記原画像の各位置について前記対象が含まれている対象領域らしさを、画素の色および周囲からの色の変化の一様度を用いて領域指数として計算する領域指数計算手段と、該領域指数に応じて前記対象向け処理結果画像を統合する画像統合手段を含むことを特徴とする画像処理システム。
4. 前記対象が、人物あるいは顔、空・雲、人工物、草木、集合人物、自然風景の少なくとも１つを含むことを特徴とする、請求項３記載の画像処理システム。
5. 原画像データに対して１つあるいは複数の対象の画像に適した画像処理を適用した１つあるいは複数の対象向けの鮮鋭化処理、コントラスト強調処理、彩度強調処理、ホワイトバランス処理の少なくとも１つを含む処理結果画像データを作成する画像変換ステップと、
   前記原画像の各位置について前記対象が含まれている対象領域らしさを、画素の色および周囲からの色の変化の一様度を用いて領域指数として計算する領域指数計算ステップと、該領域指数に応じて前記対象向け処理結果画像データを統合する画像統合手段を含むことを特徴とする画像処理プログラム。
6. 前記対象が、人物あるいは顔、空・雲、人工物、草木、集合人物、自然風景の少なくとも１つを含むことを特徴とする、請求項５記載の画像処理プログラム。

Images