JP2009038524A - 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

【課題】 コストアップすることなく、画像全体とオブジェクト双方に適した補正処理を行うこと。
【解決手段】 画像処理方法は、入力された画像から予め指定されたオブジェクトに対応する部分画像を抽出し、部分画像の画質を補正するための複数種の補正処理について補正パラメータをそれぞれ算出し、算出された補正パラメータをそれぞれを反映した、部分画像を補正するための第１変換パラメータを生成する。また、入力された画像全体の画質を補正するための複数種の補正処理について補正パラメータをそれぞれ算出し、算出された補正パラメータをそれぞれ反映した、画像全体を補正するための、第１変換パラメータと共通の形式の第２変換パラメータを生成する。そして、第１変換パラメータと、第２変換パラメータと、を予め定めた比率に従い加算して、画像全体の画質と部分画像の画質の双方をバランスよく補正するための画像補正パラメータを生成する。
【選択図】 図２

Description

本発明は、デジタル画像を補正により高画質化するための画像処理技術に関するものである。

デジタルカメラ、スキャナなどにより得られたデジタル画像を解析し、好適な画質になるよう補正する技術が提案されている。例えば、露出アンダーとなる場合は画像中の画素の多くは暗い階調に分布し、露出オーバーとなる場合は画像中の画素の多くは明るい階調に分布する。このように露出アンダーやオーバーによる不適正な明るさの補正では、画像中の画素の分布（ヒストグラム）を解析し、適正な分布とするよう明るさを補正する技術がある。

また、近年ではデジタル画像における特徴量を判定し、特定のオブジェクト（例えば人物の顔）のデジタル画像を検出し、オブジェクトに特化した補正を行う技術も提案されている。

特許文献１では、入力されたデジタル画像の全体を解析して得られる濃度補正係数と、人物の顔の領域を解析して得られる濃度補正係数とを決定する。そして、両係数を比較して両者の適合度を評価し、適合度に応じて、局所領域の濃度補正係数を修正する。さらに、修正された局所領域の濃度補正係数とデジタル画像全体の濃度補正係数とを所定の融合率で融合して、補正処理を行う画像処理技術が開示されている。
特開２００７-１８０７３号公報 従来のデジタル画像の補正は画像全体を最適化する全体画像補正用パラメータも、局所的な顔の領域を最適化する局所画像補正用パラメータも、濃度（または明るさ）補正という同一の補正処理に対するものである。そして、補正処理の際に用いるパラメータもγ係数や、明るさに対する１次元ルックアップテーブル（１Ｄ−ＬＵＴ）といった同一のパラメータフォーマットを有するものである。そのため、全体画像補正用パラメータと局所画像補正用パラメータの融合も、単純に足し合わせる（重ね合わせ）処理で行うことができる。

しかしながら、デジタル画像の更なる高画質化を目的として、補正処理はより複雑化、多様化してきており、従来の明るさのみの補正のほかに、ホワイトバランスの崩れなどによる色かぶり等の補正も重要になってきている。

さらに、露出ミスやホワイトバランスの崩れといった、いわゆる「失敗」画像のほかに、肌色や空や緑の色などをより好ましい色に補正させる技術や、より鮮やかに見せるように補正する技術も重要になってきている。

補正処理の内容によって、最も効果が高く、かつ演算量も少ないアルゴリズムの選択が必要になるが、そのための最適なパラメータの形式は、補正処理の内容やアルゴリズムによって異なってくる。

例えば、明るさ補正には、明るさに対する１次元ルックアップテーブル（１Ｄ−ＬＵＴ）が最も有効な方法であるが、色かぶり補正には画像全体を３ｘ３の回転行列で補正することが最も有効な方法である。さらに、画像全体の彩度を向上させるためには、一律の定数であることが多い。複数の補正処理を行うと、各補正処理に応じたフォーマットのパラメータが必要になるが、異なるフォーマットのパラメータを単純に足し合わせることができない。

１つ１つの補正処理に関する補正用のパラメータを用いて、デジタル画像の全体を最適化するための補正値で補正した画像と、顔の領域を最適化するための補正値で補正した画像とを、所定の比率で融合することは可能である。

しかし、このような方法では、複数の補正処理を実行するために、元画像と、補正後の画像とを保持するための大容量のメモリが必要となるため、コストアップが避けられない。

本発明は上記の課題に鑑みてなされたものであり、コストアップすることなく、画像全体とオブジェクトそれぞれに適した補正処理を行うことが可能な画像処理技術の提供を目的とする。

上記の目的を達成する本発明にかかる画像処理装置は、
入力された画像から予め指定されたオブジェクトに対応する部分画像を抽出する抽出手段と、
前記部分画像の画質を補正するための複数種の補正処理について補正パラメータをそれぞれ算出する第１算出手段と、
前記第１算出手段により算出された前記補正パラメータをそれぞれを反映した、前記部分画像を補正するための第１変換パラメータを生成する第１生成手段と、
入力された前記画像全体の画質を補正するための複数種の補正処理について補正パラメータをそれぞれ算出する第２算出手段と、
前記第２算出手段により算出された前記補正パラメータをそれぞれ反映した、前記画像全体を補正するための、前記第１変換パラメータと共通の形式の第２変換パラメータを生成する第２生成手段と、
前記第１変換パラメータと、前記第２変換パラメータと、を予め定めた比率に従い加算して、前記入力画像の画質とを補正するための画像補正パラメータを生成する融合手段と、を備えることを特徴とする。

本発明によれば、コストアップすることなく、画像全体とオブジェクト双方に適した補正処理を行うことが可能になる。

以下、図面を参照して、本発明の好適な実施形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

図１は本発明の処理を実行することが可能な画像処理装置１００のハードウェア構成を例示的に示す図である。ＣＰＵ１０１は、デジタル画像の画質を補正するための複数種の補正処理に対応した補正パラメータの算出、画質の補正を反映した画像データの生成を実行することが可能である。デジタル画像の画質を補正するための複数の補正処理としては、例えば、色かぶり補正（色相の補正）、明るさ・コントラストの補正（輝度の補正）、彩度の補正が含まれる。ＲＯＭ１０２には、補正処理に対応した補正パラメータの算出プログラム、補正パラメータの変換プログラム、画像処理プログラム、補正処理に対応したデータテーブル等が格納されている。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして機能することが可能である。また、ＲＡＭ１０３は入力されたデジタル画像を一時的に格納する格納手段として機能することも可能である。画像処理装置１００は、好適な構成として、出力インタフェース（Ｉ／Ｆ）１０４、キーボード、タッチパネル等のユーザインタフェース１０５などを備える。更に、画像処理装置１００は、液晶ディスプレイなどの表示装置１０６、メモリーカードリーダ１０７、ＵＳＢ等に対応した入力インタフェース（Ｉ／Ｆ）１０８を備え、各構成要素がシステムバス１０９に接続されている。

画像処理装置１００は、出力インタフェース１０４を介して、例えば、出力装置として、プリンタ１１１と接続することが可能であり、デジタル画像を補正した結果をプリンタ１１１に出力することができる。ここで、出力インタフェース１０４は、デジタル画像を補正した結果を出力するための出力手段として機能することが可能である。

入力インタフェース１０８は、例えば、ＵＳＢケーブルを介して情報処理装置（ＰＣ）１１０、スキャナ１２０、デジタルカメラ１３０と接続可能である。尚、情報処理装置（ＰＣ）１１０等との接続は、ＵＳＢケーブルに限定されるものではなく、例えば、有線または無線によるネットワークを介して情報処理装置（ＰＣ）１１０等と接続することも可能である。この場合、入力インタフェース１０８は、情報処理装置（ＰＣ）１１０、スキャナ１２０、デジタルカメラ１３０から入力されるデジタル画像を受け付けるための受信手段として機能することが可能である。

図１において、画像処理装置１００は、情報処理装置（ＰＣ）１１０、プリンタ１１１等と接続する構成を示したが、本発明の趣旨は、この例に限定されるものではない。例えば、プリンタ１１１の内部、デジタルカメラ１３０や複写機、ファクシミリやテレビなどのデバイス内部に組み込まれて、本発明の実施形態にかかる画像処理を実行する構成にしてもよい。

図２は本発明の実施形態にかかる画像補正パラメータの生成に関する処理の流れを説明するフローチャートである。本処理はＣＰＵ１０１の全体的な制御の下に実行される。

まず、Ｓ２０１において、元画像となるデジタル画像が画像処理装置１００に入力される。入力インタフェース１０８がデジタル画像を受け付けると、ＣＰＵ１０１の制御の下、デジタル画像は補正処理の元となる元デジタル画像として、ＲＡＭ１０３に格納される。

ＣＰＵ１０１は予め指定されたオブジェクトに対応する局所領域に関する処理（Ｓ２０２〜Ｓ２０４）と、デジタル画像の全体に関する処理（Ｓ２０５、Ｓ２０６）と、両者の融合に関する処理（Ｓ２０７）とを実行する。

Ｓ２０２において、ＣＰＵ１０１は、入力された画像から、予め指定されたオブジェクトに対応する部分画像を抽出する。ＣＰＵ１０１は、例えば、閾値処理、ラベリング処理、エッジ検出など、各種解析を実行して、入力されたデジタル画像から目的とするオブジェクトに対応する部分画像を抽出する。本実施形態では、人物の顔をオブジェクトとした例を説明する。尚、オブジェクトの例は、人物の顔に限定されるものではなく、例えば、海、山などの背景画像、動物、建物など、デジタル画像を構成する要素であれば、これをオブジェクトとして、ＵＩ１０５を介して予め指定することが可能である。

ＣＰＵ１０１は、抽出したオブジェクトの部分画像に関して、オブジェクトの種類を識別するための情報や、デジタル画像の全体に対する抽出したオブジェクトの位置に関する情報等をオブジェクト抽出情報として生成する。オブジェクト抽出情報は、ＣＰＵ１０１の制御の下、ＲＡＭ１０３に格納される。ＣＰＵ１０１は、後に説明する融合比率ｋの決定において、抽出されたオブジェクトの大きさや数などをオブジェクト抽出情報に基づいて判定することが可能である。

Ｓ２０３において、入力されたデジタル画像（元デジタル画像）と、オブジェクト抽出情報とに基づいて、ＣＰＵ１０１は、後述する複数種の補正を実行するための補正パラメータを算出する。この場合、ＣＰＵ１０１は、部分画像の画質を補正するための複数種の補正処理について補正パラメータをそれぞれ算出する第１算出手段として機能する。Ｓ２０２で抽出されたオブジェクトを人物の顔とした場合に、ＣＰＵ１０１は、顔を好ましい画質にする補正処理を実行するための補正パラメータを算出する。ここで算出される各種の補正パラメータは３次元のルックアップテーブル（３Ｄ−ＬＵＴ）とは異なる形式を有するデータとなる。補正パラメータの算出については、後に図６を参照して詳細に説明する。

Ｓ２０４において、ＣＰＵ１０１は、先のＳ２０３で算出された各種の補正パラメータをそれぞれ反映したオブジェクト領域の補正に対応した画像補正パラメータを生成する。この結果は、３次元ルックアップテーブル（３Ｄ−ＬＵＴ）のフォーマットを有するデータとなる。この場合、ＣＰＵ１０１は、Ｓ２０３で算出された補正パラメータをそれぞれを反映した、部分画像を補正するための第１変換パラメータを生成する第１生成手段として機能する。

一方、Ｓ２０５において、ＣＰＵ１０１は、Ｓ２０１で入力されたデジタル画像の全体に対して後述する各種補正処理を実行するため補正パラメータを算出する。ここで、ＣＰＵ１０１は、入力されたデジタル画像全体の画質を補正するための複数種の補正処理について補正パラメータをそれぞれ算出する第２算出手段として機能する。ここで算出される各種の補正パラメータは３次元ルックアップテーブル（３Ｄ−ＬＵＴ）とは異なる形式を有するデータとなる。本処理は後に図３を参照して詳細に説明する。

次に、Ｓ２０６において、ＣＰＵ１０１は、先のＳ２０５で算出された各種の補正パラメータを反映した画像全体の補正に対応した画像補正パラメータを生成する。この結果は、３次元ルックアップテーブル（３Ｄ―ＬＵＴ）のフォーマットを有するデータとなる。この場合、ＣＰＵ１０１は、Ｓ２０５において算出された補正パラメータをそれぞれ反映した、画像全体を補正するための、第１変換パラメータと共通の形式の第２変換パラメータを生成する第２生成手段として機能する。本処理は後に図７を参照して詳細に説明する。

Ｓ２０７において、ＣＰＵ１０１は、Ｓ２０４、Ｓ２０６で３次元ルックアップテーブルの形式に変換された第１及び第２変換パラメータを融合（加算）した画像補正パラメータを生成する。ＣＰＵ１０１は、Ｓ２０４、Ｓ２０６で変換された第１及び第２変換パラメータは同一のフォーマット（３Ｄ−ＬＵＴ）であるので、各要素を所定の比率で加算した数値演算を実行することが可能である。

（画像全体の補正パラメータの算出（Ｓ２０５））
図３は、図２のＳ２０５におけるデジタル画像全体の画質を補正するための複数種の補正パラメータを算出する処理の流れを説明するフローチャートである。本処理はＣＰＵ１０１の制御の下に実行される。

補正処理には、例えば、色相の補正（色かぶりの補正）、明るさ・コントラストの補正（輝度の補正）、彩度の補正が含まれる。本処理により算出される色かぶり補正パラメータ、明るさ・コントラスト補正パラメータ、彩度強調パラメータは、それぞれフォーマット（データの形式）が異なる。ＣＰＵ１０１は、それぞれの補正パラメータを元となるデジタル画像の画像情報からそれぞれ独立に算出することが可能である。

Ｓ３０１において、ＣＰＵ１０１は、入力されたデジタル画像のＲＧＢの画像信号を、画像の明るさに関する成分である輝度Ｙと色に関する成分である色差信号Ｃｂ、Ｃｒに変換する。

Ｓ３０２において、ＣＰＵ１０１は、色かぶりを補正するための回転行列である３ｘ３の行列形式の補正パラメータ（色かぶり補正パラメータ）を算出する。ここで、色かぶり補正パラメータの算出は、図４で説明するような方法で行うことができる。入力画像が色かぶりしている場合、輝度Ｙ、色差信号Ｃｂ、Ｃｒの色空間で、画素のＹＣｂＣｒの分布からなる色立体の明るい点（ハイライトポイント）と、暗い点（シャドウポイント）を結ぶ線は、輝度Ｙの軸から傾く（図４（ｂ））。このような元となるデジタル画像を表す色立体を、図４（ａ）に示すように、ハイライトポイントとシャドウポイントを結ぶ線と輝度Ｙ軸とが一致するように変換することによって色かぶりを補正することができる。色立体の変換方法としては、色立体を回転させて傾きを補正し、平行移動させて色差信号ＣｒＣｂ面内のずれを補正することで達成できる。ＣＰＵ１０１は、このような変換処理を行う回転行列を、色かぶり補正のためのパラメータとして算出する。色変換の方式として、回転行列によって行う方法は単純であり、さらには線形性を保つことにより全体の階調性を維持することができる点において有効な方法である。

尚、上述の色かぶり補正のパラメータ算出方法は、例示的なものであり、例えば、ハイライトポイントのみから色かぶり補正パラメータを算出しても良いし、中間調の注目点を用いて色かぶり補正パラメータを算出することもできる。

Ｓ３０３において、ＣＰＵ１０１は、輝度（明るさやコントラスト）を補正するために、１次元ルックアップテーブル（１Ｄ−ＬＵＴ）の形式を有する補正パラメータを算出する。ここで、明るさ・コントラスト補正パラメータの算出は、図５で説明するような方法で行うことができる。まず、ＣＰＵ１０１は、輝度（信号）の累積画素数でヒストグラムを作成する。明るさが適正でない場合、図５（ａ）に示すように、ヒストグラムに偏りが生じる。明るさ・コントラストの補正として、ＣＰＵ１０１は、シャドウポイントの輝度を「０」あるいはそれに近い値（例えば「１０」）に補正する。また、ハイライトポイントの輝度を「２５５」あるいはそれに近い値（例えば「２４５」）に補正する。輝度の分布範囲を拡大させることにより、図５（ｂ）に示すように、輝度（信号）の全域にわたって画像が分布するような適正な明るさの画像に補正することができる。

Ｓ３０３における補正では、明るさやコントラストを補正するための輝度のみの補正であるので、そのパラメータ形式としては、例えば、トーンカーブのような輝度に関する１Ｄ−ＬＵＴが適切である。ＣＰＵ１０１は入力されたデジタル画像からハイライトポイントおよびシャドウポイントを抽出し、その輝度値を所定の値に変換するように明るさ・コントラスト補正パラメータを算出することができる。色変換の方式として、１Ｄ−ＬＵＴによって行うことは、簡単でかつ自由度も高い有効な方法となる。

尚、明るさ・コントラスト補正パラメータの算出方法としては、これに限定されず、中間調の明るさをさらに変換しても良いし、よりコントラストを強調するように変換してもよい。

Ｓ３０４において、ＣＰＵ１０１は、彩度強調をするための強調係数（彩度強調パラメータ）を算出する。彩度強調パラメータの算出は次のように行うことができる。彩度は、色差信号を用いて表現すれば、それぞれの色差信号の輝度軸からの距離に相当するものである(彩度をＳで表すと、Ｓ２＝Ｃｂ２＋Ｃｒ２)。従って、たとえば彩度を一律に２０％増す場合は、色差Ｃｂ、Ｃｒをそれぞれ１．２０倍（ここで１．２０は彩度強調係数）することで達成される。つまり、彩度強調パラメータは、Ｃｂ、Ｃｒに対する定数倍とすることで算出することができる。彩度強調パラメータは、画像中の色の分布などから決定することができる。さらに、画像に付与された撮影情報から決定することも可能である。

（オブジェクト領域の補正パラメータの算出（Ｓ２０３））
図６は、図２のＳ２０３におけるオブジェクト領域に対応する部分画像の画質を補正するための複数種の補正パラメータを算出する処理の流れを説明するフローチャートである。本処理は、ＣＰＵ１０１の全体的な制御の下に実行される。ここでは、オブジェクトとして「人物の顔」が指定された場合を例に説明する。

Ｓ６０１において、ＣＰＵ１０１は、Ｓ２０２の処理で抽出されたオブジェクトに対応する部分画像のＲＧＢの画像信号を、画像の明るさに関する成分である輝度Ｙと色に関する成分である色差信号Ｃｂ、Ｃｒに変換する。

ＣＰＵ１０１は、オブジェクト領域に対応する部分画像に関して、図５と同様に輝度ヒストグラムを作成し、その平均輝度値（Ｙav）を求める。そして、ＣＰＵ１０１は、平均輝度値（Ｙav）に対応する色差信号の平均色値（Ｃｂav、Ｃｒav）を算出する。ここで算出された平均値を（顔領域平均値）（Ｙav、Ｃｂav、Ｃｒav）とする。

一方、ＣＰＵ１０１の制御の下、オブジェクト領域に対応する部分画像に関して、輝度Ｙ、色差成分（Ｃｂ、Ｃｒ）の目標値が予め設定される。これは、人物の顔を表現するために好ましい平均的な肌色で、オブジェクト領域の平均値（顔領域平均値）を補正する際の目標値となる値である。人物の顔に対応する部分画像の輝度、色差成分の目標値を（Ｙtarget、Ｃｂtarget、Ｃｒtarget）とする。

ＣＰＵ１０１は複数の画像から統計的に好ましい肌色を目標値（Ｙtarget、Ｃｂtarget、Ｃｒtarget）として算出し、設定することが可能である。さらにＣＰＵ１０１はＲＯＭ１０２にあらかじめ記憶された値を使用することも可能である。また、ＣＰＵ１０１は、顔領域平均値に応じて可変に目標値を設定することも可能である。例えば、平均輝度値（Ｙav）が任意の閾値より低い場合、目標輝度値（Ｙtarget）も相対的に下げることで、大幅なパラメータの補正が実行され、画質全体のバランスが悪くなることを防ぐことが可能になる。

Ｓ６０２において、ＣＰＵ１０１は、抽出されたオブジェクトの色かぶりを補正するための補正パラメータ（色かぶり補正パラメータ）を算出する。補正パラメータ（色かぶり補正パラメータ）は、回転行列である３ｘ３の行列形式のデータとなる。ＣＰＵ１０１は、Ｓ２０５の処理及び図４で説明したように、ハイライトポイントとシャドウポイントを結ぶ線をＹ軸に一致させるような変換を実行することが可能な回転行列を算出する。

次に、ＣＰＵ１０１は、算出された回転行列と、顔領域平均値（Ｙav、Ｃｂav、Ｃｒav）とを乗算して、顔領域平均値の写像点（Ｙav'、Ｃｂav'、Ｃｒav'）を算出する。写像点が、例えば、元の色よりもグリーン方向に写像される場合や目標値から遠ざかる写像点に写像される場合など肌色を表現するに不具合が発生する場合、ＣＰＵ１０１は、回転角度を弱める等、回転行列のパラメータの調整を行う。このようにして、抽出されたオブジェクトに対して、肌色の表現を考慮した色かぶり補正パラメータが算出される。

次に、輝度補正パラメータ（明るさ・コントラスト補正パラメータ）と彩度強調パラメータの算出を行う。輝度補正パラメータ、彩度強調パラメータの算出処理は、色かぶり補正によって変換された顔領域平均値を、輝度、彩度に関して、好ましい肌色を表現するための顔領域目標値に変換する補正パラメータを求めるための処理である。

Ｓ６０３において、ＣＰＵ１０１は輝度を補正するための補正パラメータを算出する。ＣＰＵ１０１は、Ｓ６０２で算出された色かぶり補正された輝度の平均値Ｙav'を、Ｓ６０１で設定された輝度目標値Ｙtargetに一致するような補正パラメータを算出する。ここで算出される補正パラメータは、１次元ルックアップテーブル（１Ｄ−ＬＵＴ）の形式を有する。ＣＰＵ１０１は、例えば、トーンカーブのような輝度に関する１Ｄ−ＬＵＴを補正パラメータとして算出することができる。ＣＰＵ１０１は、色かぶり補正された輝度の平均値Ｙav'と輝度目標値Ｙtargetとからガンマ変換のγ値を算出することも可能である。

Ｓ６０４において、ＣＰＵ１０１は、彩度強調をするための強調係数（彩度強調パラメータ）を算出する。ここで、強調係数は、Ｓ６０２で算出された色かぶり補正された色差成分Ｃｂav'、Ｃｒav'を、Ｓ６０１で設定された色差成分に関する顔領域目標値（Ｃｂtarget、Ｃｒtarget）に一致させるためのパラメータである。

ここで、抽出されたオブジェクトに対応する部分画像全体に彩度強調をするための補正を行うと、特に画像の明るい領域で弊害が生じる場合がある。例えば、白い雲が肌色になってしまうといった事例が挙げられる。そのため、彩度強調パラメータの算出を輝度の補正結果（輝度の補正パラメータ）（Ｓ６０３）に応じて可変にする修正係数を設定することで、このような弊害（特に画像の明るい領域の弊害）を防ぐことができる。

顔平均色差値（Ｃｂav'、Ｃｒav'）と、顔領域目標値（Ｃｂtarget、Ｃｒtarget）と、によって算出された彩度強調パラメータを、輝度の補正結果（輝度の補正パラメータ）に応じて可変にする修正係数を設定することも可能である。修正係数を、例えば、Ｙtargetの輝度では"１"としておき、ハイライト領域では"１"より小さくする。そして最大輝度値（Ｙ＝２５５）では修正係数＝０となるように設定する。これにより、特にハイライト領域での修正しすぎによる弊害を低減させることができる。

ステップＳ６０３の処理において、色かぶり補正パラメータの算出結果が、明るさ・コントラスト補正パラメータの算出に反映される。そして、Ｓ６０４の処理において、色かぶり補正パラメータの算出結果と、明るさ・コントラスト補正パラメータの算出結果とが、彩度強調パラメータの算出結果に反映される。

人物の「顔」とはある程度決まった色相の色を有し、「好ましい」状態が特定できるオブジェクトである。そのため、オブジェクト最適化パラメータ（Ｓ２０３）の算出処理においては、「好ましい」状態に変換するために特化した補正を行う必要がある。

更に、ユーザにとって「顔」というのはその適／不適に非常に敏感なオブジェクトであり、「補正しすぎ」は好まれない傾向にある。例えば、顔以外の風景などの画像であれば、コントラストを高く補正することにより、見た目がよくなるが、顔の場合はあまりコントラストを高くしてしまうと、きつい印象の画像になってしまい、一般的には好まれない傾向がある。このような傾向があるため、オブジェクト領域の補正パラメータ算出処理（Ｓ２０３）では過補正を防ぐ工夫として、補正パラメータの算出において従属関係を持たせている。

一方、画像全体の補正パラメータの算出処理（Ｓ２０５）においては、それぞれの補正パラメータの算出は独立に実行することが可能である。画像全体の補正パラメータの算出処理（Ｓ２０５）においては、画質に関して理想状態が決定しにくいため、デジタル画像の全体の平均値から独立にそれぞれの補正処理に対応した補正パラメータを算出することとしている。

このように、オブジェクト領域の補正パラメータ算出処理（Ｓ２０３）と画像全体の補正パラメータの算出処理（Ｓ２０５）では、それぞれ補正パラメータ算出の方法が異なっている。オブジェクト領域の補正パラメータ算出処理においては、色かぶり補正パラメータ算出、明るさ・コントラスト補正パラメータ算出、彩度強調パラメータ算出に従属関係を持たせている。一方、画像全体の補正パラメータの算出処理においては、入力画像から色かぶり補正パラメータ、明るさ・コントラスト補正パラメータ、彩度強調パラメータがそれぞれ独立に算出される。

（補正パラメータの変換（Ｓ２０６（Ｓ２０４）））
次に、補正パラメータの変換処理の流れを図７のフローチャートを参照して説明する。Ｓ２０６においては、色かぶり補正パラメータ（３ｘ３の行列形式）と、輝度補正パラメータ（１Ｄ−ＬＵＴ）と、色差に対する彩度強調パラメータ（係数）の３種類の補正パラメータを反映した画像全体の補正に対応する画像補正パラメータが生成される。本処理は、ＣＰＵ１０１の制御の下に実行される。また、Ｓ２０４では色かぶり補正パラメータ（３ｘ３の行列形式）と、輝度補正パラメータ（１Ｄ−ＬＵＴ）と、色差に対する彩度強調パラメータ（係数）の３種類の補正パラメータを反映したオブジェクト領域の補正に対応した画像補正パラメータが生成される。Ｓ２０６とＳ２０４の処理とは、基本的に同様の処理となるので、以下の説明では、Ｓ２０６の処理について説明する。

まず、Ｓ７０１において、ＣＰＵ１０１は、元の３Ｄ−ＬＵＴの値として入力されたＲＧＢ信号を、画像の明るさに関する成分である輝度Ｙと色に関する成分である色差信号Ｃｂ、Ｃｒに変換する。ＲＧＢの値は、例えば、４９１３格子の３Ｄ−ＬＵＴを作成する場合、（Ｒ、Ｇ、Ｂ）＝（０，０，０）、（０，０，１６）、（０，０，３２）‥‥（２５５，２５５，２５５）といった等間隔の４９１３個の値をとる。ＣＰＵ１０１は、それぞれの格子点に対して以下に説明する変換を行う。

次に、Ｓ７０２において、ＣＰＵ１０１は、色かぶり補正パラメータとして算出された３ｘ３の回転行列に変換されたＹ、Ｃｂ、Ｃｒを乗算した行列演算を行い、変換値（Ｙ'，Ｃｂ'，Ｃｒ'）を算出する。Ｙ'を輝度に関する第１の変換値、Ｃｂ'，Ｃｒ'を色差信号の成分に関する第１の変換値とする。

次に、Ｓ７０３において、ＣＰＵ１０１は、輝度を補正するための補正パラメータとして算出された１次元ルックアップテーブル（１Ｄ−ＬＵＴ）の形式のデータを参照する。そして、先のＳ７０２で算出された輝度に関する第１の変換値Ｙ'を１Ｄ−ＬＵＴの参照により補正した第２の変換値Ｙ''を算出する。このとき、色差信号に関する第１の変換値Ｃｂ'、Ｃｒ'に変化はない。

Ｓ７０４において、ＣＰＵ１０１は、彩度強調パラメータを参照して、先のＳ７０２で算出された色差信号に関する第１の変換値Ｃｂ'、Ｃｒ'を補正した色差信号に関する第２の変換値Ｃｂ"、Ｃｒ"を算出する。ここで、彩度強調パラメータは、全階調に同一の係数でも良いし、輝度の値によって切り替えることも可能である。

Ｓ７０５において、ＣＰＵ１０１は、以上の行列演算により算出されたＹ"Ｃｂ"Ｃｒ"を、画像全体の補正に対応した画像補正パラメータ（Ｒ'（全体）Ｇ'（全体）Ｂ'（全体））（第２変換パラメータ）に変換する。以上の演算を４９１３格子のＲＧＢデータに関して実行する。

Ｓ２０４の場合、Ｓ２０３で算出された補正パラメータに基づき算出されたＹ"Ｃｂ"Ｃｒ"は、オブジェクト領域の補正に対応した画像補正パラメータ（Ｒ'（局所）Ｇ'（局所）Ｂ'（局所））（第１変換パラメータ）に変換される。

尚、オブジェクト領域の補正に対応する画像補正パラメータへの変換処理に関しては（Ｓ２０４）、抽出された全てのオブジェクト領域のＲＧＢデータに関して変換処理を実行する必要はない。この場合、例えば、人物の顔を表現するために肌色領域付近のＲＧＢ値にのみ演算を行い、肌色と全く違う色を表すＲＧＢ値に関しては無変換とすることが可能である。これにより演算処理を効率的に処理することが可能になる。

（パラメータの融合（Ｓ２０７））
Ｓ２０７において、ＣＰＵ１０１は、第１変換パラメータ（Ｒ'（局所）Ｇ'（局所）Ｂ'（局所））と、第２変換パラメータ（Ｒ'（全体）Ｇ'（全体）Ｂ'（全体））と、を予め定めた比率で融合した画像補正パラメータを生成する。

第１及び第２変換パラメータとは同一のフォーマットとして、３次元ルックアップテーブルの形式（３Ｄ−ＬＵＴ）を有するので、融合（加算）に当たっては以下のような単純な計算式（（１）〜（３）式）で、ＣＰＵ１０１は演算を実行することが可能である。ＣＰＵ１０１は、下記の演算を４９１３個の格子点それぞれについて実行する。

Ｒ（融合）＝（１−ｋ）ｘＲ'（全体）＋ｋｘＲ'（局所）...（１）
Ｇ（融合）＝（１−ｋ）ｘＧ'（全体）＋ｋｘＧ'（局所）...（２）
Ｂ（融合）＝（１−ｋ）ｘＢ'（全体）＋ｋｘＢ'（局所）...（３）
ｋ＝融合比率
ＣＰＵ１０１は、融合比率ｋを、例えば、抽出されたオブジェクトの大きさや数、抽出処理の重要度などのオブジェクト抽出情報に基づいて決定することが可能である。また、ＣＰＵ１０１は、デジタル画像中に付与された撮影情報を参照して融合比率ｋを決定することも可能であり、ユーザによる融合比率ｋの選択結果を反映してもよい。ＣＰＵ１０１は、抽出されたオブジェクトがデジタル画像の全体において大きな割合を占めていたり、抽出処理の信頼度などの情報によりオブジェクト領域に対応した画像補正パラメータの比率を増やすように融合比率ｋを決定することも可能である。

図８は、融合比率ｋの決定の例として、オブジェクトとして抽出された部分画像のサイズ（顔サイズ）に応じて、融合比率ｋを決定する処理を説明する図である。図８の横軸は、人物の顔に対応する部分画像の短辺の長さと、デジタル画像全体の短辺の長さとの比である。尚、短辺の長さに限らず、長辺の長さを無次元化したデータを利用することも可能であり、オブジェクトとして抽出された部分画像の面積に基づいて比較することも可能である。

図８の縦軸は融合比率ｋである。図８の例では、短辺長さの比が１０％の場合に融合比率ｋ＝０．５となり、ＣＰＵ１０１は、（４）〜（６）式により、融合した画像補正パラメータ（Ｒ（融合）Ｇ（融合）Ｂ（融合））を生成する。

Ｒ（融合）=(１−０．５)ｘＲ'（全体）＋０．５ｘＲ'（局所）...（４）
Ｇ（融合）=(１−０．５)ｘＧ'（全体）＋０．５ｘＧ'（局所）...（５）
Ｂ（融合）=(１−０．５)ｘＢ'（全体）＋０．５ｘＢ'（局所）...（６）
この場合、デジタル画像の全体に対する画像補正パラメータと、オブジェクト領域に対する画像補正パラメータとが融合した画像補正パラメータに与える寄与比率は（１−０．５）：０．５＝０．５：０．５（＝１：１）となる。

短辺長さの比が２５％の場合には、融合比率ｋ＝１．０となり、画像全体に占める部分画像の割合が大きくなるに従って、オブジェクト領域に対する画像補正パラメータの寄与比率が大きくなる。

本実施形態では、１つのオブジェクトが抽出される例を説明しているが、デジタル画像の全体から抽出される画像は、１つに限定されず、複数のオブジェクトを抽出することも可能である。ユーザはＵＩ１０５を介して、抽出すべきオブジェクトの種類を選択することが可能である。例えば、顔と空が抽出すべきオブジェクトとして選択された場合、ＣＰＵ１０１は画像全体に対応した画像補正パラメータと、顔に対応した画像補正パラメータと、空に対応した画像補正パラメータと、をそれぞれ算出することが可能である。この場合、空に対応した画像補正パラメータは、好ましい「空色」を実現できるような色相、明るさ、彩度の補正が反映されたパラメータである。２つの融合比率ｋ１、ｋ２を導入することで、ＣＰＵ１０１は、３つの画像補正パラメータを所定の比率で融合することが可能である（（７）〜（９）式）。これにより、デジタル画像の全体と、顔と、空と、それぞれに適した補正処理を反映するための画像補正パラメータを得ることができる。

Ｒ"（融合）=(１−ｋ１−ｋ２)ｘＲ'（全体）
＋ｋ１ｘＲ'（局所（顔））＋ｋ２ｘＲ'（局所（空））...（７）
Ｇ"（融合）=(１−ｋ１−ｋ２)ｘＧ'（全体）
＋ｋ１ｘＧ'（局所（顔））＋ｋ２ｘＧ'（局所（空））...（８）
Ｂ"（融合）=(１−ｋ１−ｋ２)ｘＢ'（全体）
＋ｋ１ｘＢ'（局所（顔））＋ｋ２ｘＢ'（局所（空））...（９）
（７）〜（９）式において、ＣＰＵ１０１は融合比率ｋ１、ｋ２を（１）〜（３）式の説明と同様に抽出されたオブジェクトの大きさや数、オブジェクトの重要度、抽出処理の信頼度などのオブジェクト抽出情報に基づいて決定することが可能である。また、ＣＰＵ１０１は、デジタル画像中に付与された撮影情報を参照して融合比率ｋ１、ｋ２を決定することも可能であり、ユーザによる融合比率ｋの選択結果を反映してもよい。

本実施形態によれば、コストアップすることなく、画像全体とオブジェクト双方に適した補正処理を行うことが可能になる。

（他の実施形態）
なお、本発明の目的は、前述した実施形態の機能を実現するコンピュータプログラムを記録したコンピュータ可読の記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたコンピュータプログラムを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたコンピュータプログラム自体が前述した実施形態の機能を実現することになり、そのコンピュータプログラムを記憶した記憶媒体は本発明を構成することになる。

コンピュータプログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したコンピュータプログラムを実行することにより、前述した実施形態の機能が実現される。また、コンピュータプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。

本発明の実施形態かかる画像処理装置のハードウェア構成を例示的に示す図である。 本発明の実施形態にかかる画像補正パラメータの生成に関する処理の流れを説明するフローチャートである。 画像全体の画質を補正するための複数種の補正パラメータを算出する処理の流れを説明するフローチャートである。 色かぶり補正を説明する図である。 明るさ・コントラストの補正を説明する図である。 オブジェクト領域に対応する部分画像の画質を補正するための複数種の補正パラメータを算出する処理の流れを説明するフローチャートである。 補正パラメータの変換処理の流れを説明するフローチャートである。 顔サイズと融合比率の関係を例示的に説明する図である。

符号の説明

１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ

Claims (16)

1. 入力された画像から予め指定されたオブジェクトに対応する部分画像を抽出する抽出手段と、
   前記部分画像の画質を補正するための複数種の補正処理について補正パラメータをそれぞれ算出する第１算出手段と、
   前記第１算出手段により算出された前記補正パラメータをそれぞれを反映した、前記部分画像を補正するための第１変換パラメータを生成する第１生成手段と、
   入力された前記画像全体の画質を補正するための複数種の補正処理について補正パラメータをそれぞれ算出する第２算出手段と、
   前記第２算出手段により算出された前記補正パラメータをそれぞれ反映した、前記画像全体を補正するための、前記第１変換パラメータと共通の形式の第２変換パラメータを生成する第２生成手段と、
   前記第１変換パラメータと、前記第２変換パラメータと、を予め定めた比率に従い加算して、前記入力された画像を補正するための画像補正パラメータを生成する融合手段と、
   を備えることを特徴とする画像処理装置。
2. 入力された前記画像全体の画質を補正するための複数種の補正処理及び前記部分画像の画質を補正するための複数種の補正処理には、色かぶりの補正、輝度の補正、彩度の補正が含まれることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１算出手段は、
   前記輝度の補正のための補正パラメータを、前記色かぶりの補正のための補正パラメータの算出結果と、前記部分画像について予め定められた輝度目標値と、に基づき算出し、
   前記彩度の補正のための補正パラメータを、前記色かぶりの補正のための補正パラメータの算出結果と、前記輝度の補正のための補正パラメータの算出結果と、前記部分画像について予め定められた色差成分の目標値と、に基づき算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記色かぶりの補正のための補正パラメータ、前記輝度の補正のための補正パラメータ、前記彩度の補正の補正パラメータは、３ｘ３の行列形式のデータ、１次元ルックアップテーブルの形式のデータ、係数の形式のデータのいずれかであることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記第１生成手段は、前記色かぶりの補正のための補正パラメータと、前記輝度の補正のための補正パラメータと、前記彩度の補正の補正パラメータのいずれか複数のパラメータを反映した３次元ルックアップテーブルの形式の前記第１変換パラメータを生成することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記第２生成手段は、前記色かぶりの補正のための補正パラメータと、前記輝度の補正のための補正パラメータと、前記彩度の補正の補正パラメータのいずれか複数のパラメータを反映させた３次元ルックアップテーブルの形式の前記第２変換パラメータを生成することを特徴とする請求項２または４に記載の画像処理装置。
7. 前記第２算出手段は、入力された前記画像全体の画質を補正するために、色かぶりの補正のための補正パラメータ、輝度の補正のための補正パラメータ、彩度の補正のための補正パラメータをそれぞれ独立に算出することを特徴とする請求項１に記載の画像処理装置。
8. 抽出手段が、入力された画像から予め指定されたオブジェクトに対応する部分画像を抽出する抽出工程と、
   第１算出手段が、前記部分画像の画質を補正するための複数種の補正処理について補正パラメータをそれぞれ算出する第１算出工程と、
   第１生成手段が、前記第１算出工程により算出された前記補正パラメータをそれぞれを反映した、前記部分画像を補正するための第１変換パラメータを生成する第１生成工程と、
   第２算出手段が、入力された前記画像全体の画質を補正するための複数種の補正処理について補正パラメータをそれぞれ算出する第２算出工程と、
   第２生成手段が、前記第２算出工程により算出された前記補正パラメータをそれぞれ反映した、前記画像全体を補正するための、前記第１変換パラメータと共通の形式の第２変換パラメータを生成する第２生成工程と、
   融合手段が、前記第１変換パラメータと、前記第２変換パラメータと、を予め定めた比率に従い加算して、前記入力された画像を補正するための画像補正パラメータを生成する融合工程と、
   を備えることを特徴とする画像処理方法。
9. 入力された前記画像全体の画質を補正するための複数種の補正処理及び前記部分画像の画質を補正するための複数種の補正処理には、色かぶりの補正、輝度の補正、彩度の補正が含まれることを特徴とする請求項８に記載の画像処理方法。
10. 前記第１算出工程では、
    前記輝度の補正のための補正パラメータを、前記色かぶりの補正のための補正パラメータの算出結果と、前記部分画像について予め定められた輝度目標値と、に基づき算出し、
    前記彩度の補正のための補正パラメータを、前記色かぶりの補正のための補正パラメータの算出結果と、前記輝度の補正のための補正パラメータの算出結果と、前記部分画像について予め定められた色差成分の目標値と、に基づき算出することを特徴とする請求項９に記載の画像処理方法。
11. 前記色かぶりの補正のための補正パラメータ、前記輝度の補正のための補正パラメータ、前記彩度の補正の補正パラメータは、３ｘ３の行列形式のデータ、１次元ルックアップテーブルの形式のデータ、係数の形式のデータのいずれかであることを特徴とする請求項９または１０に記載の画像処理方法。
12. 前記第１生成工程では、前記色かぶりの補正のための補正パラメータと、前記輝度の補正のための補正パラメータと、前記彩度の補正の補正パラメータのいずれか複数のパラメータを反映した３次元ルックアップテーブルの形式の前記第１変換パラメータを生成することを特徴とする請求項９乃至１１のいずれか１項に記載の画像処理方法。
13. 前記第２生成工程では、前記色かぶりの補正のための補正パラメータと、前記輝度の補正のための補正パラメータと、前記彩度の補正の補正パラメータのいずれか複数を反映させた３次元ルックアップテーブルの形式の前記第２変換パラメータを生成することを特徴とする請求項９または１１に記載の画像処理方法。
14. 前記第２算出工程では、入力された前記画像全体の画質を補正するために、色かぶりの補正のための補正パラメータ、輝度の補正のための補正パラメータ、彩度の補正のための補正パラメータをそれぞれ独立に算出することを特徴とする請求項８に記載の画像処理方法。
15. 請求項８乃至１４のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読の記憶媒体。

Images