JP2016213718A - 画像処理装置及び画像処理方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】仮想光源を用いてリライティング処理を行う場合に、被写体に応じて光沢感の調整を行えるようにする。
【解決手段】撮影された画像に対して、仮想的な光源である仮想光源を設定する設定部と、設定部により設定された仮想光源を用いて被写体の部分領域の明るさを補正する明るさ補正部と、部分領域の属性を検出する属性検出部と、属性検出部により検出された部分領域の属性に応じて、部分領域に与える光沢成分を生成する光沢成分生成部と、光沢成分生成部により生成された光沢成分を用いて、部分領域の光沢感を補正する光沢感補正部とを備える。
【選択図】 図５

Description

本発明は、画像処理装置に関し、特に入力された画像の光沢感を補正する画像処理装置に関するものである。

従来、画像中の被写体に対して、仮想的な光源からの光を照射することで、明るさを補正する技術（リライティング）が知られている（特許文献１）。これにより、環境光によって生じた影などの暗部領域を明るくすることができ、例えば黒つぶれした部分に存在する被写体が判別できるように画像を補正することが可能となる。

例えば、特許文献１には、撮影画像に対して疑似的なライティング処理を行うライティング処理技術について開示されている。具体的には、顔領域全体の平均輝度よりも低い輝度領域を影領域として抽出する。そして抽出した影領域の明度を上げる処理を行っている。これにより、被写体の影を抑制することができる。

特開２０１０−１３５９９６号公報

しかし、特許文献１に記載の技術では、仮想光源を照射してリライティングした際の、陰影に相当する画質は調整できるが、リライティングによって発生する光沢感の調整を行うことはできない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、画像中の被写体に対して、仮想的な光源からの光を照射することで、明るさを補正する場合に、被写体に応じて光沢感の調整を行えるようにすることである。

本発明に係わる画像処理装置は、撮影された画像に対して、仮想的な光源である仮想光源を設定する設定手段と、前記設定手段により設定された仮想光源を用いて前記被写体の部分領域の明るさを補正する明るさ補正手段と、前記部分領域の属性を検出する属性検出手段と、前記属性検出手段により検出された前記部分領域の属性に応じて、前記部分領域に与える光沢成分を生成する光沢成分生成手段と、前記光沢成分生成手段により生成された前記光沢成分を用いて、前記部分領域の光沢感を補正する光沢感補正手段と、を備えることを特徴とする。

本発明によれば、画像中の被写体に対して、仮想的な光源からの光を照射することで、明るさを補正する場合に、被写体に応じて光沢感の調整を行うことが可能となる。

本発明の第１の実施形態に係るデジタルカメラの構成を示すブロック図。 第１の実施形態における画像処理部の構成を示すブロック図。 被写体と仮想光源の関係を示す模式図。 リライティングのパラメータ設定処理を示すフローチャート。 第１の実施形態におけるリライティング処理部の構成を示すブロック図。 第１の実施形態における光沢感補正処理の動作を示すフローチャート。 顔・器官検出結果と被写体の属性の対応例を示す図。 第２の実施形態におけるリライティング処理部の構成を示すブロック図。 第２の実施形態における光沢感補正処理の動作を示すフローチャート。 第３の実施形態におけるリライティング処理部の構成を示すブロック図。 第３の実施形態における光沢感補正処理の動作を示すフローチャート。

以下、本発明の例示的な実施形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する実施形態では、本発明に係る画像処理装置をデジタルカメラに適用した例について説明する。なお、デジタルカメラは光電変換素子を用いた撮影機能を有する電子機器を意味し、携帯電話機、ゲーム機、パーソナルコンピュータ等、カメラを有するまたは使用可能な任意の電子機器が含まれる。また、本発明に撮影機能は必須でなく、本発明に係る画像処理装置は、画像処理が可能な任意の電子機器に対して適用可能である。

（第１の実施形態）
図１は、本発明の第１の実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。

図１において、レンズ群１０１は、フォーカスレンズを含むズームレンズである。絞り機能を備えるシャッター１０２が、レンズ群１０１と撮像部１０３との間に設けられている。撮像部１０３は、レンズ群１０１によって撮像面に形成される光学像を画素単位の電気信号に変換するＣＣＤ／ＣＭＯＳイメージセンサを代表とする撮像素子を有する。Ａ／Ｄ変換器１０４は、撮像部１０３が出力するアナログ信号をデジタル信号（画像データ）に変換する。

画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、色補間（デモザイク）、ホワイトバランス調整、γ補正、輪郭強調、ノイズリダクション、色補正などの各種画像処理を行う。画像メモリ１０６は画像データを一時的に記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、画像データをアナログ信号に変換する。表示部１０９はＬＣＤや有機ＥＬディスプレイ等の表示装置を有し、各種ＧＵＩやライブビュー画像、記録媒体１１２から読み出して再生した画像などを表示する。コーデック部１１０は、画像メモリ１０６に記憶されている画像データを記録媒体に記録するために予め定められた方法で符号化したり、画像ファイルに含まれる符号化画像データを例えば表示のために復号したりする。

インタフェース（Ｉ／Ｆ）１１１は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体１１２を、デジタルカメラ１００と機械的および電気的に接続する。システム制御部５０は例えばＣＰＵやＭＰＵなどのプログラマブルなプロセッサであってよい。システム制御部５０は、例えば不揮発性メモリ１２１や内蔵する不揮発性メモリに記録されたプログラムを実行して必要なブロックや回路を制御することにより、デジタルカメラ１００の機能を実現する。顔・器官検出部１１３は、撮影画像中から顔が映っている領域（顔検出）、および、眼、鼻、口、頬等、顔内の器官の位置を検出する。リライティング処理部１１４は、画像中の被写体に対して、仮想的な光源からの光を照射することで、明るさを補正する処理（リライティング処理）を行う。

操作部１２０は、ユーザがデジタルカメラ１００に各種の指示を入力するためのボタンやスイッチなどをまとめて記載したものである。

不揮発性メモリ１２１は電気的に消去・記録可能な、例えばＥＥＰＲＯＭ等であってよい。不揮発性メモリ１２１は、各種の設定値、ＧＵＩデータをはじめ、システム制御部５０がＭＰＵやＣＰＵである場合には、システム制御部５０が実行するためのプログラムが記録される。

システムメモリ１２２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するために用いる。

次に、デジタルカメラ１００における撮影時の動作について説明する。

例えば撮像部１０３は、シャッター１０２が開いている際にレンズ群１０１が撮像面に形成する被写体像を撮像素子によって光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、色補間（デモザイク）、γ補正、輪郭強調、ノイズリダクション、色補正などの各種画像処理を行う。

また、画像処理部１０５では、顔・器官検出部１１３による顔・器官の位置、領域の検出結果や、撮像した画像データを用いて所定の評価値算出処理を行い、得られた評価値結果に基づいてシステム制御部５０が露光制御、測距制御を行う。画像処理部１０５ではさらに、撮影で得られた画像データを用いたオートホワイトバランス（ＡＷＢ）調整も行う。このように、本実施形態のデジタルカメラ１００では、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理を行う。また、システム制御部５０は、顔・器官検出部１１３による顔・器官の位置、領域の検出結果を参照して、リライティング処理部１１４でのリライティング、および顔内の光沢感の補正の処理も制御する。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示装置に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき符号化する。システム制御部５０は符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、インタフェース１１１を介して記録媒体１１２に記録する。

なお、現在のデジタルカメラでは、撮影スタンバイ状態においては動画撮影を行い、撮影された動画を表示部１０９に表示し続けることにより表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させるのが一般的である。この場合、シャッター１０２は開いた状態とし、撮像部１０３のいわゆる電子シャッターを用いて例えば３０フレーム／秒の撮影を行う。

そして、操作部１２０に含まれるシャッターボタンが半押しされると上述のＡＦ，ＡＥ制御が行われ、全押しされると本撮影により記録用の静止画撮影が実行され、記録媒体１１２に記録される。また、動画撮影ボタンなどにより動画撮影が指示された場合は、記録媒体１１２への動画記録を開始する。

上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２１に記録されたプログラムを実行することで、後述する本実施形態の各処理を実行する。ここでいうプログラムとは、本実施形態において後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等をシステムメモリ１２２に展開する。

次に、画像処理部１０５の詳細について図２を用いて説明する。図２は画像処理部１０５の構成を示すブロック図である。

図２において、画像処理部１０５は、輝度・色信号生成部２００、輪郭強調処理部２０１、輝度ガンマ処理部２０２、ＷＢ（ホワイトバランス）増幅部２０３、色変換処理部２０４、色γ処理部２０５、色差信号生成部２０６を備える。

次に、画像処理部１０５における処理について説明する。図１のＡ／Ｄ変換部１０４から入力された画像信号が画像処理部１０５に入力される。画像処理部１０５に入力された画像信号は輝度・色信号生成部２００に入力される。輝度・色信号生成部２００は入力されたベイヤー配列のＲＧＢの画像データに対して、同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。また、ＲＧＢ信号から輝度信号Ｙを生成する。輝度・色信号生成部２００は、生成した輝度信号Ｙを輪郭強調処理部２０１へ、色信号Ｒ，Ｇ，ＢをＷＢ増幅部２０３へ出力する。

輪郭強調処理部２０１では、輝度信号に対して輪郭強調処理を行い、輝度ガンマ処理部２０２へ出力する。輝度ガンマ処理部２０２では輝度信号Ｙに対してガンマ補正を行い、輝度信号Ｙを画像メモリ１０６に出力する。

ＷＢ増幅部２０３は、後述する処理によりシステム制御部５０が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。色変換処理部２０４は、ＲＧＢ信号に対してマトリクス演算などを行い、所望のカラーバランスへ変換する。色ガンマ処理部２０５では、ＲＧＢの色信号にガンマ補正を行う。色差信号生成部２０６では、ＲＧＢ信号から色差信号であるＲ−Ｙ信号、Ｂ−Ｙ信号を生成する。画像メモリ１０６に出力された画像信号であるＹ信号、Ｒ−Ｙ信号、Ｂ−Ｙ信号はコーデック部１１０によって圧縮符号化され、記録媒体２００に記録される。

次に、リライティング処理部１１４を動作させる前の準備動作について説明する。本実施形態では、リライティング処理の一例として、図３に示すような人物の顔を撮影した画像に対して、ユーザの指示に基づいた仮想光源を設定して照射し、明るさ、陰影とともに、肌、髪、瞳等の被写体領域内の光沢感を補正することを想定している。

リライティング処理部１１４の動作に先立ち、システム制御部５０はリライティング処理部１１４に設定する制御パラメータを計算し、リライティング処理部１１４へ設定する。リライティング処理時のパラメータの設定動作について、図４のフローチャートを用いて説明する。

図４において、ステップＳ５０１では、操作部１２０に対するユーザからの操作を受け付ける。具体的には、操作部１２０に対するユーザの操作によって、図示しないメニューからリライティング処理が選択され、リライティング処理のパラメータが入力される。リライティング処理のパラメータとして、本実施形態では、仮想光源の位置、仮想光源の強度（α）、仮想光源の拡散特性（β）をユーザが入力するものとする。なお、ユーザの入力方法としては、プリセット値の中からユーザがパラメータ値を選択する方法を用いてもよい。

ステップＳ５０２では、ユーザが入力した光源の強度、光源の拡散特性が、リライティング処理部の制御パラメータとして設定される。

仮想光源の位置と、中心照射位置の設定の一例を図３に示す。図３において、７０１が仮想光源の位置、７０２が仮想光源の中心照射位置を示している。また、７０３は仮想光源の照射範囲を示しており、この範囲内のみが仮想光源の影響を受けるものとする。

ステップＳ５０３では、入力画像の画素毎に、仮想光源の中心照射位置７０２からの距離Ｒを算出し、画素位置と対応づけてシステムメモリ１２２に格納する。ステップＳ５０４では、入力画像の各画素位置において、どの程度の仮想光源反射色成分が付加されるか（反射特性）を示す重み情報ＲＬ_mapを式（１）によって算出し、システムメモリ１２２に格納する。

ＲＬ_map（ｐ）＝α×Ｌ・Ｎ（ｐ）／Ｄ（ｐ）² …（１）
式（１）において、αは仮想光源の強度、Ｌは被写体に対する仮想光源の方向ベクトル、Ｎ（ｐ）は画素位置ｐにおける被写体の法線ベクトル、Ｄ（ｐ）は画素位置ｐにおける仮想光源と被写体との距離である。

次にリライティング処理部１１４の構成について説明する。図５はリライティング処理部１１４の構成を示すブロック図である。

図５において、ＲＧＢ信号変換部６０１は、入力された輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）をＲＧＢ信号に変換する。デガンマ処理部６０２は、デガンマ処理を行う。仮想光源付加処理部６０４は、デガンマ処理後のリニアなＲＧＢ信号に対して、システム制御部５０によって設定された、仮想光源の特性、照射範囲、および照射範囲の被写体像の３次元情報を参照し、仮想光源による照明効果（ライティング効果）を付加する。ライティング効果としては、被写体像の、明るさ、陰影を調整するものとする。補正領域属性検出処理部６０５は、仮想光源が照射される被写体領域の属性を検出する。

ここで、被写体領域の属性とは、例えば被写体が人物である場合には、顔・器官検出部１１３の検出結果に基づいて分類される、髪、頬、鼻、瞳、唇等の領域の種別を示す情報である。また、光が照射されたときの反射、散乱の特性と対応付けて分類されるものとする。

質感特性情報ＤＢ６０６は、被写体領域の属性に対応した、複数種類の質感特性情報を保持している。光沢成分生成処理部６０７は、補正領域属性検出処理部６０５、質感特性情報ＤＢ６０６からの情報、およびシステム制御部５０からのＲＬ_mapを参照して、仮想光源を照射することにより付加される光沢成分を生成する。

光沢成分合成処理部６０８は、仮想光源付加処理部６０４と光沢成分生成処理部６０７の出力信号を参照し、仮想光源を照射することによって被写体像に発生する光沢成分を画像に付加する。ガンマ処理部６０９は、光沢成分合成処理部６０８の出力信号に対してガンマ変換を行う。輝度・色差信号変換部６１０は、ＲＧＢ信号を輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）に変換する。

次に上記のように構成されるリライティング処理部１１４の動作について説明する。リライティング処理部１１４は、画像メモリ１０６に記録された輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）を読み出し、入力とする。ＲＧＢ信号変換部６０１は、入力された輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）をＲＧＢ信号に変換し、デガンマ処理部６０２へ出力する。デガンマ処理部６０２は、画像処理部１０５のガンマ処理部で掛けられたガンマ特性と逆の特性の演算を行い、ＲＧＢ信号をリニアデータに変換する。リニア変換後のＲＧＢ信号Ｒｔ，Ｇｔ，Ｂｔは、仮想光源付加処理部６０４へ入力される。仮想光源付加処理部６０４では、仮想光源によるリライティングの効果を入力画像に付加するための補正信号の生成と補正処理を行う。

デガンマ処理部６０２から出力されるリニア変換後のＲＧＢ信号Ｒｔ，Ｇｔ，Ｂｔと、システム制御部５０で生成されるＲＬ_mapを参照し、仮想光源を照射した場合の仮想光源の反射色成分（Ｒｖ，Ｇｖ，Ｂｖ）を、式（２）〜（４）を用いて算出する。

Ｒｖ（ｐ）＝ＲＬ_map（ｐ）・ｆ（Ｒｔ（ｐ），β） …（２）
Ｇｖ（ｐ）＝ＲＬ_map（ｐ）・ｆ（Ｇｔ（ｐ），β） …（３）
Ｂｖ（ｐ）＝ＲＬ_map（ｐ）・ｆ（Ｂｔ（ｐ），β） …（４）
式（２）〜（４）において、それぞれｆ（Ｒｔ（ｐ），β）、ｆ（Ｇｔ（ｐ），β）、ｆ（Ｂｔ（ｐ），β）は、被写体の反射色成分Ｒｔ（ｐ）、Ｇｔ（ｐ）、Ｂｔ（ｐ）を、それぞれ仮想光源の拡散特性βに応じて平滑化したものである。

推定した仮想光源の反射色成分（Ｒｖ，Ｇｖ，Ｂｖ）は、デガンマ処理部６０２から出力されるリニアＲＧＢ信号にそれぞれ、式（５）〜（７）に示すように加算される。これにより、仮想光源によって照射された処理対象画素の出力ＲＧＢ値（ＲＬ，ＧＬ，ＢＬ）が生成される。

ＲＬ（ｐ）＝Ｒｔ（ｐ）＋Ｒｖ（ｐ） …（５）
ＧＬ（ｐ）＝Ｇｔ（ｐ）＋Ｇｖ（ｐ） …（６）
ＢＬ（ｐ）＝Ｂｔ（ｐ）＋Ｂｖ（ｐ） …（７）
ここで、仮想光源付加処理部６０４での仮想光源付加処理では、撮影時の画像から求めた、被写体の反射色成分Ｒｔ（ｐ）、Ｇｔ（ｐ）、Ｂｔ（ｐ）に対して、仮想光源の配光特性に応じた、ゲイン調整を行うのみである。したがって、撮影時の画像信号に、強調すべき光沢成分が含まれていない場合には、仮想光源を照射しても、新たに光沢感を生成することはできない。

そのため、本実施形態の画像処理装置では、双方向反射率分布関数を参照し、リライティングにともなう被写体表面での光沢感の付加、および調整処理を行う。ここで、双方向反射率分布関数は、照明方向からの入射光の強さに対する観測方向への反射光の強さの比として定義され、被写体表面の材質の特性を反映した情報である。そして、同じ仮想光源の光を照射した場合でも、照射される被写体領域の材質によって、表面での反射、内部での散乱の特性が異なるため、再現される光沢感は異なる。例えば、人物被写体において、頭髪、鼻、頬、眼、唇等の部位ごとに、光を照射した場合の光沢感は異なる。

そこで、本実施形態の画像処理装置では、質感特性情報ＤＢ６０６に、あらかじめ複数種類の双方向反射率分布関数を保持しておく。そして、補正領域属性検出処理部６０５において、被写体の部分領域の属性を判別した上で、光沢成分生成処理部６０７で最適な双方向反射率分布関数を選択し、リライティングによって発生する光沢成分を生成する。そして、光沢成分合成処理部６０８において、リライティングされる被写体の部分領域に最適な光沢感の付加、および調整処理を行う。

次に、図６のフローチャートを参照して、着目画素に対して補正領域属性検出処理部６０５から光沢成分合成処理部６０８で行われる処理（光沢感補正処理）の流れについて説明する。

ステップＳ４１０では、システム制御部５０で作成したＲＬ_mapを参照し、着目画素が、仮想光源の照射範囲内か否かを判定する。着目画素におけるＲＬ_mapの値が、所定の値以上の場合には、仮想光源の照射範囲内であるとみなしステップＳ４１１に進む。着目画素におけるＲＬ_mapの値が所定の値よりも小さい場合には、その着目画素の処理を終了する。

ステップＳ４１１では、着目画素における、顔・器官検出部１１３の検出結果Ｆdetを参照し、着目画素が、顔なのか、髪なのか、顔内の特定の器官領域（鼻、眼、唇、頬）なのかを判別し、属性情報Ｓを生成する。Ｆdetの値と被写体の部分領域の属性とは、あらかじめ図７に示すように対応づけられているものとする。

ステップＳ４１２では、補正領域属性検出処理部６０５から出力される属性情報Ｓに基づいて、質感特性情報ＤＢ６０６の中から、着目画素の被写体領域に最適な質感特性情報を選択する。なお、質感特性情報ＤＢ６０６には、あらかじめ顔、髪、顔内の特定の器官領域（鼻、眼、唇、頬）に対応した、複数種類の質感特性情報が記憶されているものとする。質感特性情報は、例えば、双方向反射率分布関数で定義されるものとする。

ステップＳ４１３では、ＲＬ_map、質感特性情報に基づいて、着目画素における光沢成分を生成する。本実施形態では、ｐ（ｘ，ｙ）を画素位置、ω’を画素位置ｐに入射する仮想光源の光の方向、ωを画素位置ｐから出射し、カメラに入力される光の方向としたときの、双方向反射率分布関数を、ｆｒ（ｐ，ω’，ω）と定義する。また、着目画素位置におけるＲＬ_mapの値を、着目画素における仮想光源の入射光のレベルＬｉ（ｐ，ω’）として参照する。さらに、システム制御部５０により、着目画素位置における被写体の法線ベクトルｎを参照し、これらを用いて式（７）の演算を行うことにより、着目画素位置における光沢感を示す反射成分Ｌｏ（ｐ，ω）を生成する。

Ｌｏ（ｐ，ω）＝∫ｆｒ（ｐ，ω’，ω）・Ｌｉ（ｐ，ω’）・（ω’・ｎ）ｄω’
…（８）
ステップＳ４１４では、ステップＳ４１３で生成した反射成分を、仮想光源付加処理部６０４の出力信号ＲＬ（ｐ），ＧＬ（ｐ），ＢＬ（ｐ）と合成することにより、リライティングにともなう被写体表面での光沢感の付加及び調整処理を行う。

Ｒ_out（ｐ）＝ＲＬ（ｐ）＋Ｌｏ（ｐ，ω） …（９）
Ｇ_out（ｐ）＝ＧＬ（ｐ）＋Ｌｏ（ｐ，ω） …（１０）
Ｂ_out（ｐ）＝ＢＬ（ｐ）＋Ｌｏ（ｐ，ω） …（１１）
以上の処理により、撮影時の画像の特徴を解析し、仮想光源が照射される被写体の部分領域の属性に基づいた光沢成分を生成し、合成することができる。これにより、リライティングによって、明るさや、陰影を調整するのみならず、仮想光源を照射した場合に発生する光沢感を調整した、より良好な画像を得ることができる。

また、本実施形態では、質感特性を示す情報として、双方向反射率分布関数を用いたが、双方向散乱面反射率分布関数を用いてもよい。また、双方向反射率分布関数、双方向散乱面反射率分布関数に基づいて生成されたテクスチャ情報をあらかじめ保持しておいてもよい。また、入射光の波長によっても、被写体内部での散乱、被写体表面での反射の特性は異なるため、Ｒ，Ｇ，Ｂの信号ごとに質感特性データを定義してもよい。

（第２の実施形態）
次に、図８、図９を参照して、本発明の第２の実施形態に係るデジタルカメラについて説明する。第２の実施形態のデジタルカメラでは、第１の実施形態とは、リライティング処理部１１４における補正領域属性検出処理部７０５の動作が異なる。以下、第１の実施形態と異なる部分についてのみ説明する。

顔領域であっても、男性と女性、大人と子供、また人種によって、肌や顔器官内での光の散乱、反射の特性が異なる。そこで、第２の実施形態では、器官検出結果だけでなく、画像の周波数成分や色情報の解析結果を参照して、被写体の部分領域の属性をより詳細に分類する。そして、最適な質感特性情報を選択し、被写体領域の光沢成分を調整する。

図９のフローチャートを参照して、着目画素に対して補正領域属性検出処理部７０５から光沢成分合成処理部６０８で行われる処理の流れについて説明する。

ステップＳ４１０では、システム制御部５０で算出されたＲＬ_mapを参照し、着目画素が仮想光源の照射範囲内か否かを判定する。着目画素におけるＲＬ_mapの値が所定の値以上である場合には、仮想光源の照射範囲内であるとみなし、ステップＳ４１１に進む。着目画素におけるＲＬ_mapの値が所定の値よりも小さい場合には、着目画素での処理を終了する。

ステップＳ４１１では、着目画素に対する顔・器官検出部１１３の検出結果Ｆdetを参照する。ステップＳ８１２では、顔・器官検出結果Ｆdetに基づいて、着目画素が顔領域か否かを判定する。図７に示すように、顔・器官検出結果Ｆdetと被写体領域の属性とが対応づけられているので、Ｆdetの値が０以外の場合には、ステップＳ８１３に進み、Ｆdetの値が０の場合には、ステップＳ４１２に進む。

ステップＳ８１３では、デガンマ処理部６０２から出力される画像信号を参照し、着目画素における周波数成分と、色情報を算出する。そして、顔・器官検出部１１３の検出結果、周波数成分、色情報に基づいて、着目画素が顔なのか、髪なのか、顔内の特定の器官領域（鼻、眼、唇、頬）なのか、さらに人種、性別、年齢も推定し、属性情報Ｓを生成する。

ステップＳ４１２では、着目画素の属性に適した質感特性データを、質感特性情報ＤＢ６０６から選択する。例えば、性別により質感特性データを選択する場合、男性のほうが女性よりも鏡面反射成分を多く含むものを選択する。また、年齢により質感特性データを選択する場合、年齢が若いほど拡散反射成分を多く含むものを選択する。ステップＳ４１３、Ｓ４１４の動作は、第１の実施形態と同様である。

以上の処理により、第２の実施形態においても、撮影時の画像の特徴を解析して、仮想光源が照射される被写体の部分領域の属性に基づいた光沢成分を生成し、合成することができる。これにより、リライティングによって、明るさや陰影を調整するのみならず、仮想光源を照射した場合に発生する光沢感を調整した、より良好な画像を得ることができる。

（第３の実施形態）
次に、図１０、図１１を参照して、本発明の第３の実施形態に係るデジタルカメラについて説明する。第３の実施形態のデジタルカメラでは、第１、第２の実施形態とは、リライティング処理部１１４における光沢成分生成処理部８０７、光沢成分合成処理部８０８の動作が異なる。以下、第１、第２の実施形態と異なる部分についてのみ説明する。

第３の実施形態では、ユーザの指示に基づいて仕上がりの画質目標を設定し、被写体領域の属性およびユーザの指示に基づいた光沢感となるよう、光沢成分生成処理部８０７、光沢成分合成処理部８０８を制御する。

図１０において、光沢成分生成処理部８０７は、補正領域属性検出処理部７０５の出力信号Ｓと質感特性情報ＤＢ６０６の質感特性データに加えて、システム制御部５０から入力されるリライティングの仕上がり設定ＲＬ_tuneを参照し、光沢成分を生成する。リライティングの仕上がり設定ＲＬ_tuneは、リライティング時に付加する光沢感の度合いを調整するパラメータであり、操作部１２０を用いたユーザの指示に基づいて決定される。

図１１のフローチャートを参照して、着目画素に対して補正領域属性検出処理部７０５から光沢成分合成処理部８０８で行われる処理の流れについて説明する。

ステップＳ４１０では、システム制御部５０で算出されたＲＬ_mapを参照し、着目画素が仮想光源の照射範囲内か否かを判定する。着目画素におけるＲＬ_mapの値が所定の値以上である場合には、仮想光源の照射範囲内であるとみなし、ステップＳ４１１に進む。着目画素におけるＲＬ_mapの値が所定の値よりも小さい場合には、着目画素での処理を終了する。

ステップＳ４１１では、着目画素に対する顔・器官検出部１１３の検出結果Ｆdetを参照する。ステップＳ８１２では、顔・器官検出結果Fdetに基づいて、着目画素が顔領域か否かを判定する。図７に示すように、Ｆdetと被写体領域の属性とが対応づけられているので、Ｆdetの値が０以外の場合には、ステップＳ８１３に進み、Ｆdetの値が０の場合には、ステップＳ４１２に進む。

ステップＳ８１３では、デガンマ処理部６０２から出力される画像信号を参照し、着目画素における周波数成分と、色情報を算出する。そして、顔・器官検出部１１３の検出結果、周波数成分、色情報に基づいて、着目画素が顔なのか、髪なのか、顔内の特定の器官領域（鼻、眼、唇、頬）なのか、さらに人種、性別、年齢も推定し、属性情報Ｓを生成し、ステップＳ１０１４に進む。

ステップＳ１０１４では、操作部１２０を用いたユーザの指示に基づいて、リライティングの仕上がり設定パラメータであるＲＬ_tuneの値が、システム制御部５０から光沢成分生成処理部８０７に送られる。

ステップＳ１０１５では、ステップＳ８１３で決定された着目画素における被写体領域の属性情報Ｓに基づいて、質感特性情報ＤＢ６０６から、質感特性データを選択する。例えば、性別により質感特性データを選択する場合、男性のほうが女性よりも鏡面反射成分を多く含むものを選択する。また、年齢により質感特性データを選択する場合、年齢が若いほど拡散反射成分を多く含むものを選択する。

さらに、ステップＳ１０１５では、ユーザの指示したＲＬ_tuneの値に基づいて選択された質感特性データにおいて、拡散反射成分の特性を調整し、被写体領域の属性およびユーザの好みに適した光沢成分を生成する。例えば、ＲＬ_tuneの値が小さい場合には、拡散反射成分が大きくなるように質感特性データを調整して、ツヤを抑えた光沢成分を生成する。また、ＲＬ_tuneの値が大きい場合には、拡散反射成分が小さくなるように質感特性データを調整し、ツヤを強調するような光沢成分を生成する。ステップＳ４１３、Ｓ４１４の動作は、第１の実施形態と同様である。

以上の処理により、第３の実施形態においては、撮影時の画像の特徴を解析して、仮想光源が照射される被写体の部分領域の属性に基づいた光沢成分を生成し、合成することができる。さらにユーザの好みに応じて、光沢感を調整することができる。これにより、リライティングによって、明るさや陰影を調整するのみならず、仮想光源を照射した場合に発生する光沢感を調整した、より良好な画像を得ることができる。

なお、上記の第１乃至第３の実施形態では、着目画素における光沢成分を生成するように説明したが、あらかじめ複数の光沢成分画像を生成しておき、その中から、部分領域の属性に対応した光沢成分画像を選択して、部分領域の光沢感を補正するようにしてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５０：システム制御部、１０１：光学系、１０２：シャッター、１０３：撮像部、１０４：Ａ／Ｄ変換器、１０５：画像処理部、１０６：画像メモリ、１０７：メモリ制御部、１０９：表示部、１１０：コーデック部、１１１：記録Ｉ／Ｆ、１１２：記録媒体、１１３：顔・器官検出部、１１４：リライティング処理部、１２０：操作部、１２１：不揮発性メモリ、１２２：システムメモリ

Claims (14)

1. 撮影された画像に対して、仮想的な光源である仮想光源を設定する設定手段と、
   前記設定手段により設定された仮想光源を用いて前記被写体の部分領域の明るさを補正する明るさ補正手段と、
   前記部分領域の属性を検出する属性検出手段と、
   前記属性検出手段により検出された前記部分領域の属性に応じて、前記部分領域に与える光沢成分を生成する光沢成分生成手段と、
   前記光沢成分生成手段により生成された前記光沢成分を用いて、前記部分領域の光沢感を補正する光沢感補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記光沢感補正手段は、前記光沢成分を前記画像の信号に加算することにより、前記部分領域の光沢感を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記属性検出手段は、前記被写体の表面での光の反射の特性、または前記被写体の内部での光の散乱の特性に基づいて、前記部分領域の属性を検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記光沢成分生成手段は、複数の質感特性データの中から、前記部分領域に対応した質感特性データを選択して、前記光沢成分を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記質感特性データは、双方向反射率分布関数に基づいた特性データであることを特徴とする請求項４に記載の画像処理装置。
6. 前記質感特性データは、双方向散乱面反射率分布関数に基づいた特性データであることを特徴とする請求項４に記載の画像処理装置。
7. 前記光沢感補正手段は、あらかじめ生成された複数の光沢成分画像の中から、前記部分領域の属性に対応した光沢成分画像を選択して、前記部分領域の光沢感を補正することを特徴とする請求項１に記載の画像処理装置。
8. 前記光沢成分生成手段は、ユーザが光沢感を指示する指示手段を備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記属性検出手段は、前記画像から被写体の顔を検出する顔検出手段を有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記顔検出手段は、さらに前記被写体の顔の特定の器官を検出することを特徴とする請求項９に記載の画像処理装置。
11. 前記被写体の部分領域の反射特性を推定する推定手段をさらに備え、前記明るさ補正手段は、前記推定手段により推定された前記反射特性に応じて、前記被写体の部分領域の明るさを補正することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 撮影された画像に対して、仮想的な光源である仮想光源を設定する設定工程と、
    前記設定工程において設定された仮想光源を用いて前記被写体の部分領域の明るさを補正する明るさ補正工程と、
    前記部分領域の属性を検出する属性検出工程と、
    前記属性検出工程において検出された前記部分領域の属性に応じて、前記部分領域に与える光沢成分を生成する光沢成分生成工程と、
    前記光沢成分生成工程において生成された前記光沢成分を用いて、前記部分領域の光沢感を補正する光沢感補正工程と、
    を有することを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images