JP7307541B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

従来から写真撮影においては、補助照明やレフ板による光の調整によって、被写体に生じる光と影の領域の調整が行われる場合がある。これにより、被写体の印象をさまざまに変化させた写真撮影が可能となる。

また、このような光の調整を撮影後に行う技術として、被写体領域に対して疑似的な光を加える方法がある。これにより、画像の暗部を補正することや、立体感を強調することが可能となる。例えば、特許文献１では、撮影画像に対して仮想的なライティング処理を行うデジタルライティング処理手段について開示されている。具体的には、被写体を部分領域に分割し、条件を満たす部分領域の明度を上げる処理を行っている。これにより、陰影部分を明るく補正することが可能となる。

特開２０１５－０３２９９１号公報

しかしながら、特許文献１の方法では被写体の明るさのみを制御しているため、仮想的なライティング処理をした領域が不自然な色になってしまう場合があるという課題があった。例えば、被写体に対して太陽光が斜光で当たっている場合、太陽光が直接照射している領域と、太陽光が当たっていない陰影領域が生じる。太陽光が直接照射している領域と比較して、被写体の陰影領域は拡散光の影響を受け、やや青みがかっている場合がある。この時に被写体の陰影領域に対して明るさだけを補正する仮想ライティング処理をしてしまうと、青みがかかった状態で明るくなるため、太陽光が直接当たっている領域と比較して不自然な色になってしまう。

本発明はこのような状況に鑑みてなされたものであり、仮想光源による仮想的な光照射の効果が付加される領域の色が不自然になることを抑制する技術を提供することを目的とする。

上記課題を解決するために、本発明は、ホワイトバランス処理が行われた撮影画像のうちの特定色を持つ被写体に対応する画素が、前記ホワイトバランス処理の結果として持つべき目標色を、前記ホワイトバランス処理の内容に基づいて特定する特定手段と、前記ホワイトバランス処理が行われた前記撮影画像において仮想光源の対象領域を決定する決定手段と、前記ホワイトバランス処理が行われた前記撮影画像における前記対象領域に対して、前記ホワイトバランス処理とは異なる、前記仮想光源による仮想的な光照射の効果を付加する画像処理を行う画像処理手段と、前記ホワイトバランス処理が行われた前記撮影画像における前記対象領域において、前記仮想的な光照射の効果を付加する前記画像処理により前記目標色の近傍の色が前記目標色に近づくように、前記仮想光源の色を制御する制御手段と、を備えることを特徴とする画像処理装置を提供する。

本発明によれば、仮想光源による仮想的な光照射の効果が付加される領域の色が不自然になることを抑制することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

デジタルカメラ１００の構成を示すブロック図。 画像処理部１０５の構成を示すブロック図。 第１の実施形態に係るリライティング処理部１１４の構成を示すブロック図。 カメラ撮影座標と被写体との関係を示す図。 第１の実施形態に係る仮想光源パラメータの設定処理のフローチャート。 仮想光源の照射領域の決定方法を説明する図。 （Ａ）無彩色の領域の抽出について説明する図、（Ｂ）肌色の領域の抽出について説明する図。 （Ａ）（Ｂ）入力信号と仮想光源によるライティング後の信号の関係を示す図、（Ｃ）仮想光源の色ゲインの補正関数を示す図。 第２の実施形態に係るリライティング処理部１１４の構成を示すブロック図。 仮想光源比率Ｌ_ｒａｔｉｏの例を示す図。 第２の実施形態に係る仮想光源パラメータの設定処理のフローチャート。 ＷＢゲインの補正の特性例を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、特に断らない限り同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

以下の各実施形態では、画像処理装置をデジタルカメラ（撮像装置）に適用した構成を例にして説明を行う。

［第１の実施形態］
図１は、デジタルカメラ１００の構成を示すブロック図である。図１において、１０１は、ズームレンズ及びフォーカスレンズを含むレンズ群である。１０２は、絞り機能を備えるシャッターである。１０３は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。１０４は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、ホワイトバランス処理や、γ処理、輪郭強調処理、色補正処理などの各種画像処理を行う画像処理部である。１０６は、画像メモリである。１０７は、画像メモリ１０６を制御するメモリ制御部である。１０８は、入力デジタル信号をアナログ信号に変換するＤ／Ａ変換器である。１０９は、ＬＣＤ等を含む表示部である。１１０は、画像データを圧縮符号化・復号化するコーデック部である。

１１１は、記録媒体１１２とのインタフェース（Ｉ／Ｆ）である。１１２は、メモリカードやハードディスク等の記録媒体である。１１３は、撮影画像中から顔が映っている領域を検出する顔検出部である。１１４は、撮影画像にリライティング処理を行うリライティング処理部である。５０は、デジタルカメラ１００のシステム全体を制御するシステム制御部である。１２１は、プログラムやパラメータなどを格納するＥＥＰＲＯＭなどの不揮発性メモリである。１２２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するシステムメモリである。１２３は、ストロボ（光源装置）である。１２４は、被写体との距離を測定し、撮影画素の画素単位に対応する距離情報を２次元の距離マップ画像として出力する測距センサである。

次に、上記のように構成されたデジタルカメラ１００における被写体撮影時の基本動作について説明する。撮像部１０３は、レンズ１０１及びシャッター１０２を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換して画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理などを行う。また、画像処理部１０５は、顔検出部１１３の顔検出結果や撮像した画像データを用いて所定の評価値算出処理を行う。システム制御部５０は、得られた評価値に基づいて露光制御及び測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行うことができる。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示デバイス上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧ、ＭＰＥＧなどの規格に基づき圧縮符号化する。システム制御部５０は、符号化した画像データを、Ｉ／Ｆ１１１を介して記録媒体１１２に格納する。

以上、被写体撮影時の基本動作について説明した。上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２１に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等は、システムメモリ１２２に展開される。

次に、図２を参照して、画像処理部１０５の詳細について説明する。図２は、画像処理部１０５の構成を示すブロック図である。図２において、２００は同時化処理部、２０１はＷＢ増幅部、２０２は輝度・色信号生成部である。２０３は輪郭強調処理部、２０４は輝度ガンマ処理部、２０５は色変換処理部、２０６は色ガンマ処理部、２０７は色差信号生成部である。また、２０８は画像の特徴情報を出力する評価値生成部である。

画像処理部１０５における動作について説明する。図１のＡ／Ｄ変換器１０４から出力された画像信号が、画像処理部１０５に入力される。画像処理部１０５に入力された画像信号は、同時化処理部２００に入力される。同時化処理部２００は、入力されたベイヤーＲＧＢの形式の画像データに対して同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。

ＷＢ増幅部２０１は、システム制御部５０が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。ＷＢ増幅部２０１に設定するホワイトバランスゲイン値としては、例えば、被写体中で主となる環境光の色が無彩色に近づくように補正する値が設定される。

ホワイトバランスゲインの算出方法について以下で具体的に説明する。算出のためには、まず入力画像の評価値を算出する。評価値生成部２０８は、入力画像を図６（Ａ）に示すような複数のブロックに分割し、そのブロック毎のＲＧＢ値の平均値を評価値として算出する。評価値生成部２０８は、算出した評価値をシステムメモリ１２２に出力する。

なお、図２においては、ＷＢ増幅部２０１の後段の位置に評価値生成部２０８が示されているが、評価値生成部２０８は、ホワイトバランス調整前の入力画像についても評価値を算出可能なように構成されている。

システム制御部５０は、評価値生成部（図２の２０８）で生成した評価値（各ブロックのＲＧＢ平均値）を取得する。システム制御部５０は、取得した評価値に基づき、画像内の全てのブロックから、無彩色（白）に近いブロックを抽出する。無彩色（白）の抽出について図７を用いて説明する。

図７（Ａ）は色分布を示すグラフであり、横軸にＲ／Ｇ、縦軸にＢ／Ｇを取っている。無彩色の場合Ｒ＝Ｇ＝Ｂとなるため、縦横軸ともに１付近が無彩色となる。本実施形態では、システム制御部５０は、図７（Ａ）のグラフにおいて、各ブロックの色が無彩色近傍の範囲７０１に入る場合に無彩色のブロックであると判断する。システム制御部５０は、無彩色のブロックがあった場合はそのブロックの数をカウントし、無彩色と判断したブロックのＲＧＢ値の平均値（Ｒｗｂ、Ｇｗｂ、Ｂｗｂ）を算出する。算出したＲＧＢの平均値（Ｒｗｂ、Ｇｗｂ、Ｂｗｂ）は環境光の色を反映しているため、システム制御部５０は、Ｒｗｂ＝Ｇｗｂ＝Ｂｗｂになるようなホワイトバランスゲインを算出し、ＷＢ増幅部２０１に設定する。

ＷＢ増幅部２０１は、ホワイトバランスが調整されたＲＧＢ信号を、輝度・色信号生成部２０２に入力する。

輝度・色信号生成部２０２は、ＲＧＢ信号から輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０３へ、色信号ＲＧＢを色変換処理部２０５へ、それぞれ出力する。

輪郭強調処理部２０３は、輝度信号Ｙに対して輪郭強調処理を行い、輝度ガンマ処理部２０４へ出力する。輝度ガンマ処理部２０４は、輝度信号Ｙに対してガンマ補正を行い、輝度信号Ｙを画像メモリ１０６に出力する。色変換処理部２０５は、ＲＧＢ信号に対するマトリクス演算などにより、所望のカラーバランス変換を行う。色ガンマ処理部２０６は、ＲＧＢの色信号にガンマ補正を行う。色差信号生成部２０７は、ＲＧＢ信号から色差信号Ｒ－Ｙ、Ｂ－Ｙを生成し、画像メモリ１０６に出力する。画像メモリ１０６に出力された画像信号（Ｙ、Ｒ－Ｙ、Ｂ－Ｙ）は、コーデック部１１０によって圧縮符号化され、記録媒体１１２に記録される。また、色変換処理部２０５から出力されたＲＧＢ信号は、評価値生成部２０８へも入力される。評価値生成部２０８は、前述したように入力されたＲＧＢ信号に対応する画像を図６（Ａ）に示すような複数のブロックに分割し、各ブロックについて、ブロック内のＲＧＢ値の平均値を評価値として算出する。評価値生成部２０８は、算出した評価値をシステムメモリ１２２に出力する。

次に、図３を参照して、リライティング処理部１１４の構成及び動作について説明する。操作部１２０に対するユーザ操作によりリライティング処理が選択された場合、画像処理部１０５から出力された画像データはリライティング処理部１１４に入力され、仮想光源によるリライティング処理が行われる。

図３は、リライティング処理部１１４の構成を示すブロック図である。図３において、３０１は、入力された輝度・色差信号（Ｙ、Ｂ－Ｙ、Ｒ－Ｙ）をＲＧＢ信号に変換するＲＧＢ信号変換部である。３０２は、デガンマ処理を行うデガンマ処理部である。３０３は、仮想光源の照射光が被写体に反射した成分を画像データに付加する仮想光源付加処理部である。３０４は、ＲＧＢ信号にガンマ特性をかけるガンマ処理部である。３０５は、ＲＧＢ信号を輝度・色差信号（Ｙ、Ｂ－Ｙ、Ｒ－Ｙ）に変換する輝度・色差信号変換部である。３０６は、測距センサ１２４から出力される被写体距離情報から被写体の法線を算出する法線算出部である。３０７は、仮想光源の照射光が被写体に反射した成分を算出する仮想光源反射成分算出部である。

上記の構成のリライティング処理部１１４の動作について説明する。リライティング処理部１１４は、画像メモリ１０６に記録された輝度・色差信号（Ｙ、Ｂ－Ｙ、Ｒ－Ｙ）を読み出し、ＲＧＢ信号変換部３０１に入力する。ＲＧＢ信号変換部３０１は、入力された輝度・色差信号（Ｙ、Ｂ－Ｙ、Ｒ－Ｙ）をＲＧＢ信号に変換し、デガンマ処理部３０２へ出力する。デガンマ処理部３０２は、画像処理部１０５におけるガンマ処理により適用されたガンマ特性と逆の特性の演算を行い、ＲＧＢ信号をリニアデータに変換する。デガンマ処理部３０２は、リニア変換後のＲＧＢ信号（Ｒｉｎ、Ｇｉｎ、Ｂｉｎ）を、仮想光源反射成分算出部３０７及び仮想光源付加処理部３０３に出力する。

一方、法線算出部３０６は、測距センサ１２４から取得した被写体距離情報から法線マップを算出する。被写体距離情報とは、撮影画像の画素単位で得られる２次元の距離情報のことである。被写体距離情報から法線マップを生成する方法に関しては、任意の公知の技術を用いることができるが、具体的な処理例について図４を用いて説明する。

図４は、カメラ撮影座標と被写体との関係を示す図である。例えば、図４に示す被写体４０１の法線Ｎ４０２を算出する場合を考える。この場合、法線算出部３０６は、撮影画像の水平方向の差分ΔＨに対する距離（奥行き）Ｄの差分ΔＤから勾配情報を算出し、勾配情報から法線Ｎ４０２を算出することが可能である。法線算出部３０６は、撮影画像の各画素に対して上記の処理を行うことで、撮影画像の各画素に対応する法線情報を算出する。法線算出部３０６は、撮影画像の各画素に対して算出した法線情報を法線マップとして仮想光源反射成分算出部３０７へ出力する。

仮想光源反射成分算出部３０７は、設置した仮想光源の照射光が被写体に反射した反射成分（Ｒａ、Ｇａ、Ｂａ）を算出する。仮想光源の反射成分の算出について図４を用いて説明する。図４において、仮想光源を位置４０３に設置した場合について考える。デジタルカメラ１００で撮影された撮影画像の水平画素位置Ｈ１における反射成分は、水平画素位置Ｈ１における法線ベクトルＮ１と仮想光源の方向ベクトルＬ１の内積に比例し、仮想光源と被写***置の距離Ｋ１の二乗に反比例する値となる。なお、図４において、垂直画素位置は説明の簡略化のため省略している。この関係を数式で表現すると、仮想光源による反射成分（Ｒａ、Ｇａ、Ｂａ）は下記の通りとなる。

ここで、αは仮想光源のゲインの大きさ（仮想光源の強度）、Ｌは仮想光源の３次元方向ベクトル、Ｎは被写体の３次元法線ベクトル、Ｋは仮想光源と被写体の距離である。Ｎ及びＫは大きさが１に正規化されている。Ｒｉｎ、Ｇｉｎ、Ｂｉｎは、デガンマ処理部３０２から出力されたＲＧＢ信号である。Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒは、仮想光源の色を制御するパラメータであり、後述する処理に基づき決定される。

なお、ここでは仮想光源が１つの場合について説明を行ったが、仮想光源は複数設定することも可能であり、仮想光源毎にパラメータを制御することも可能である。

再び図３を参照すると、上記のように算出された仮想光源による反射成分（Ｒａ、Ｇａ、Ｂａ）は、仮想光源付加処理部３０３へ出力される。仮想光源付加処理部３０３は、被写体領域に対して、反射成分（Ｒａ、Ｇａ、Ｂａ）を付加する下記の処理を行う。

仮想光源付加処理部３０３から出力された画像信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）は、ガンマ処理部３０４に入力される。ガンマ処理部３０４は、入力されたＲＧＢ信号に対してガンマ補正を行い、ガンマ補正後のＲＧＢ信号（Ｒ’ｏｕｔ、Ｇ’ｏｕｔ、Ｂ’ｏｕｔ）を輝度・色差信号変換部３０５に出力する。輝度・色差信号変換部３０５は、ＲＧＢ信号から輝度信号Ｙ、色差信号Ｒ－Ｙ、Ｂ－Ｙを生成する。

以上が、リライティング処理部１１４の動作である。システム制御部５０は、リライティング処理部１１４が出力した輝度・色差信号を、メモリ制御部１０７の制御によって、画像メモリ１０６に蓄積したのち、コーデック部１１０で圧縮符号化を行う。また、システム制御部５０は、圧縮符号化された画像データを、Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。

次に、図５を参照して、仮想光源の色を制御するパラメータ（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）を含む仮想光源のパラメータを設定する処理フローについて説明する。図５のフローチャートの各ステップの処理は、特に断らない限り、システム制御部５０が不揮発性メモリ１２１に格納されたプログラムを実行することにより実現される。撮影画像に対する画像処理部１０５による処理が完了すると、本フローチャートの処理が開始する。

Ｓ５００で、システム制御部５０は、デジタルカメラ１００の動作モードが仮想光源を用いるリライティング処理が有効なモードに設定されているか否かを判定する。リライティング処理が有効なモードの場合、処理はＳ５０１に進み、そうでない場合、処理は終了する。

Ｓ５０１で、システム制御部５０は、評価値生成部２０８（図２）により生成された評価値を取得する。ここでの評価値は、図６（Ａ）に示すように撮影画像を複数のブロックに分割し、各ブロックについて、ブロック内のＲＧＢ値の平均値を算出することにより得られる値である。

Ｓ５０２で、システム制御部５０は、仮想光源の照射領域（対象領域）及び信号ゲイン（α）を決定する。例えば、システム制御部５０は、顔検出部１１３（図１）から出力された被写体の顔領域の位置情報を取得する。取得された被写体の顔領域は、例えば図６（Ａ）の顔領域６０１である。システム制御部５０は、顔領域６０１の各ブロックの評価値（ＲＧＢ値の平均値）から各ブロックの輝度Ｙを算出し、顔領域６０１の輝度分布を得る。システム制御部５０は、顔領域６０１の輝度分布から、相対的に暗くなっている陰影領域を抽出し、陰影領域を明るくするような仮想光源の角度を算出する。図６（Ａ）の例では、被写体に向かって右側に陰影がついている。そのため、図６（Ｂ）に示すように、システム制御部５０は、被写体に向かって右側から仮想光源を照射するように仮想光源の位置と方向を決定する。この時、システム制御部５０は、仮想光源の位置と方向に基づいて、被写体に仮想光源の光が当たる領域を算出する。仮想光源の光が照射される領域の例を図６（Ｃ）に示す。図６（Ｃ）において、照射領域６０２（対象領域）は、被写体に仮想光源の光が照射されるブロック単位の領域を示している。このような処理により、撮影画像に含まれる所定の被写体の領域（例えば顔領域６０１）における陰影領域が照射されるように照射領域が決定される。また、システム制御部５０は、照射領域６０２が適切な明るさになるような信号ゲイン（α）を決定する。

Ｓ５０３で、システム制御部５０は、ホワイトバランスの目標色を特定する。ここで言うホワイトバランスの目標色とは、特定色を持つ被写体に対応する撮影画像の画素が、この撮影画像に対して行われたホワイトバランス処理の結果として持つべき色を指す。特定色は、例えば白であるが、他の色であってもよい。被写体の色を忠実に再現するようにホワイトバランスが設定されている場合、白色の被写体に対応する撮影画像の画素の色は、ホワイトバランス処理の結果として白になるはずである。従って、この場合の目標色は白である。システム制御部５０は、画像処理部１０５により撮影画像に対して行ったホワイトバランス処理の内容に基づいて、特定色に対応する目標色を特定する。

なお、システム制御部５０は、任意の既知の技術を用いて、画像処理部１０５により撮影画像に対してホワイトバランス処理を行うことができる。また、システム制御部５０は、任意の既知の技術を用いて、ホワイトバランス処理の内容に基づいて目標色を特定することができる。

また、システム制御部５０は、Ｓ５０２において照射領域を決定するために参照した被写体の種類に基づいて（即ち、仮想光源の照射対象に応じて）特定色を決定してもよい。例えば、図６のように被写体の種類が顔である場合、システム制御部５０は、肌色を特定色として用いてもよい。被写体の色を忠実に再現するようにホワイトバランスが設定されている場合、肌色の被写体に対応する撮影画像の画素の色は、ホワイトバランス処理の結果として肌色になるはずである。従って、この場合の目標色は肌色である。

また、システム制御部５０は、複数の特定色に対応する複数の目標色を特定してもよい。以下の説明においては、特定色が白及び肌色であり、このうちの肌色については仮想光源の照射対象が顔であることに基づいて決定されたものとする。また、これら２つの特定色に対応する目標色として白及び肌色が特定されており、これら２つの目標色のうち白が優先的に使用されるものとする。

Ｓ５０４で、システム制御部５０は、Ｓ５０２で決定した仮想光源の照射領域６０２（対象領域）から、目標色（白）を持つ領域を抽出する。例えば、システム制御部５０は、目標色（白）を持つ領域として、所定の輝度以上の無彩色の領域を抽出する。

図７（Ａ）を参照して、無彩色の領域の抽出について説明する。前述したように、図７（Ａ）は色分布を示すグラフであり、横軸にＲ／Ｇ、縦軸にＢ／Ｇを取っている。無彩色の場合、Ｒ＝Ｇ＝Ｂとなるため、縦軸及び横軸が共に１付近の範囲が無彩色近傍となる。本実施形態では、システム制御部５０は、ブロックの色が図７（Ａ）に示す無彩色近傍の範囲７０１に入り、ブロックの輝度が所定の輝度以上である場合に、そのブロックが無彩色ブロックであると判断する。システム制御部５０は、無彩色ブロックの数をカウントする。また、システム制御部５０は、無彩色ブロック全体のＲＧＢ値の平均値（Ｒｗ、Ｇｗ，Ｂｗ）を算出し、平均値（Ｒｗ、Ｇｗ，Ｂｗ）からＲｗ／Ｇｗ、Ｂｗ／Ｇｗを算出する。算出したＲｗ／Ｇｗ、Ｂｗ／Ｇｗの例を図７（Ａ）の位置７０２に示す。

Ｓ５０５で、システム制御部５０は、無彩色ブロックの数が所定の閾値以上であるか否かを判定する。無彩色ブロックの数が所定の閾値以上ある場合、処理はＳ５０７に進み、そうでない場合は、処理はＳ５０６に進む。

Ｓ５０６で、システム制御部５０は、Ｓ５０２で決定した仮想光源の照射領域６０２（対象領域）から、肌色の領域を抽出する。ここでは人物（顔）に対する仮想光源の照射を想定しているため、無彩色ブロックの数が少ない場合は顔の肌色を用いた抽出を行う。

図７（Ｂ）を参照して、肌色の領域の抽出について説明する。図７（Ｂ）は、色分布を示すグラフであり、横軸にＲ／Ｇ、縦軸にＢ／Ｇを取っている。図７（Ａ）を参照して説明した無彩色の領域を抽出する場合と同様、システム制御部５０は、ブロックの色が図７（Ｂ）に示す肌色近傍の範囲７０４に入る場合に、そのブロックが肌色ブロックであると判定する。また、システム制御部５０は、肌色ブロック全体のＲＧＢ値の平均値（Ｒｓ、Ｇｓ、Ｂｓ）を算出し、平均値（Ｒｓ、Ｇｓ、Ｂｓ）からＲｓ／Ｇｓ、Ｂｓ／Ｇｓを算出する。算出したＲｓ／Ｇｓ、Ｂｓ／Ｇｓの例を図７（Ｂ）の位置７０５に示す。

Ｓ５０７で、システム制御部５０は、仮想光源の照射領域６０２（対象領域）に含まれる目標色ブロック（Ｓ５０６の処理が行われた場合は肌色ブロック、そうでない場合は無彩色ブロック）が、基準となる色中心値に対してずれているか否かを判定する。具体的には、システム制御部５０は、Ｓ５０５又はＳ５０６で算出した（Ｒｗ／Ｇｗ、Ｂｗ／Ｇｗ）又は（Ｒｓ／Ｇｓ、Ｂｓ／Ｇｓ）が、無彩色中心値又は肌色中心値から所定の閾値以上ずれているか否かを判定する。

図７（Ａ）に、無彩色の中心値及び範囲の例を示す。無彩色範囲７０３は、Ｓ５０７の判定で用いられる所定の閾値を示しており、円の中心が無彩色の中心値（Ｒｒｅｆ＿ｗ、Ｂｒｅｆ＿ｗ）である。ホワイトバランスが環境光に合っている場合は、Ｒｒｅｆ＿ｗ＝Ｂｒｅｆ＿ｗ＝１の点が無彩色の中心になる。但し、ホワイトバランスを意図的にずらしていた場合などは、ホワイトバランスのずれ量に応じて無彩色に対応する目標色が変化するので、無彩色範囲７０３（より正確には目標色範囲）も変化する。システム制御部５０は、Ｒｗ／Ｇｗ、Ｂｗ／Ｇｗの位置７０２が無彩色範囲７０３に入っているか否かを判定する。図７（Ａ）の例では、Ｒｗ／Ｇｗ、Ｂｗ／Ｇｗの位置７０２が無彩色範囲７０３に入っていない。この場合、システム制御部５０は、目標色ブロック（無彩色ブロック）が基準となる色中心値に対してずれていると判定する。

図７（Ｂ）に、肌色の中心値及び範囲の例を示す。肌色範囲７０６は、Ｓ５０７の判定で用いられる所定の閾値を示しており、円の中心が肌色の中心値（Ｒｒｅｆ＿ｓ、Ｂｒｅｆ＿ｓ）である。肌色の中心値（Ｒｒｅｆ_ｓ、Ｂｒｅｆ_ｓ）は、Ｓ５０３において特定された肌色の目標色に対応する。或いは、システム制御部５０は、太陽光などの環境光が直接照射している肌色領域の色に基づき基準となる肌色の中心値を決定してもよい（即ち、太陽光などの環境光が直接照射している肌色領域の色に基づき目標色を特定してもよい）。システム制御部５０は、Ｒｓ／Ｇｓ、Ｂｓ／Ｇｓの位置７０５が肌色範囲７０６に入っているか否かを判定する。図７（Ｂ）の例では、Ｒｓ／Ｇｓ、Ｂｓ／Ｇｓの位置７０５が肌色範囲７０６に入っていない。この場合、システム制御部５０は、目標色ブロック（肌色ブロック）が基準となる色中心値に対してずれていると判定する。

Ｓ５０７において目標色ブロックが基準となる色中心値に対してずれていると判定された場合、処理はＳ５０８に進み、そうでない場合、処理はＳ５１０に進む。

Ｓ５０８で、システム制御部５０は、仮想光源の照射領域６０２において、（Ｒｗ／Ｇｗ、Ｂｗ／Ｇｗ）又は（Ｒｓ／Ｇｓ、Ｂｓ／Ｇｓ）を無彩色中心値又は肌色中心値に近づける色ゲイン（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）を算出する。具体的には、無彩色ブロックの数が所定の閾値以上であった（Ｓ５０５で「ＹＥＳ」）場合には、システム制御部５０は、（Ｒｗ／Ｇｗ、Ｂｗ／Ｇｗ）を無彩色中心値（Ｒｒｅｆ_ｗ、Ｂｒｅｆ_ｗ）に近づけるように、仮想光源の色ゲインを算出する。システム制御部５０は、下記の式に基づいて色ゲインを算出する。

また、無彩色ブロックの数が所定の閾値以上でなかった（Ｓ５０５で「ＮＯ」）場合には、システム制御部５０は、（Ｒｓ／Ｇｓ、Ｂｓ／Ｇｓ）を肌色中心値（Ｒｒｅｆ_ｓ、Ｂｒｅｆ_ｓ）に近づけるように、下記の式に基づき仮想光源の色ゲインを算出する。

無彩色ブロックの数が所定の閾値以上である場合、照射領域６０２において白近傍の色を持つ領域が閾値より大きいと考えられる。この場合、照射領域６０２において白近傍の色が白に近づくように仮想光源の色を制御する処理が行われる（Ｓ５０８）。また、無彩色ブロックの数が所定の閾値以上でない場合、照射領域６０２において白近傍の色を持つ領域が閾値より小さいと考えられる。この場合、照射領域６０２において肌色近傍の色が肌色に近づくように仮想光源の色を制御する処理が行われる（Ｓ５１０）。

Ｓ５０９で、システム制御部５０は、Ｓ５０８において算出した仮想光源の色ゲイン（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）を、仮想光源の信号ゲイン（α）に基づき補正する。この処理について、図８を用いて説明する。

図８（Ａ）及び図８（Ｂ）は、入力信号と仮想光源によるライティング後の信号の関係を示した図である。図８（Ａ）及び図８（Ｂ）において、８０１、８０４は、仮想光源を照射する前の元信号（Ｒｉｎ、Ｇｉｎ、Ｂｉｎ）を示しており、８０２、８０５は、加算する仮想光源の反射成分（Ｒａ、Ｇａ、Ｂａ）を示している。また、８０３、８０６は、仮想光源の反射成分を入力信号に加算した後の出力信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）を示している。

図８（Ａ）に示す元信号８０１を例に説明すると、入力信号は、Ｒ信号成分が少なく、Ｂ信号成分が多い状態である。この元信号８０１を無彩色に補正するために、システム制御部５０は、前述のＳ５０８で説明した方法で、Ｒ信号を増やし、Ｂ信号を減らすような仮想光源の色ゲイン（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）を算出する。反射成分８０２は、仮想光源の色ゲインを加味した仮想光源の反射成分である。この結果、出力信号８０３に示すように、元信号８０１と比べてＲ：Ｇ：Ｂが１：１：１に近づく。

一方で、図８（Ｂ）に示すように、元信号８０４と比べて仮想光源の信号ゲイン（α）が大きい場合は、前述の仮想光源の色ゲイン（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）の比率で反射成分を生成してしまうと、反射成分８０５に示すように反射成分が大きくなる。この場合、出力信号８０６の例に示すように、逆にＲ信号が大きくなり過ぎてしまう。そこで、加算する仮想光源の反射成分が所定の閾値よりも大きくなった場合に、システム制御部５０は、仮想光源の色ゲイン（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）が１に近づくように補正する。この補正関数を示したものが図８（Ｃ）である。図８（Ｃ）において、横軸が仮想光源の信号ゲイン（α）、縦軸は仮想光源の色ゲインの補正率である。補正率が１の場合は、Ｓ５０８で算出した色ゲイン（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）をそのまま採用する。システム制御部５０は、補正率が下がるほど（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）が１に近づくように補正を行う。

従って、最終的に使用される色ゲインは、照射領域において目標色の近傍の色を持つ領域の平均の色と目標色との相違（数３及び数４参照）と、仮想光源の強度（図８（Ｃ）参照）とに基づいて決定される。

図５に戻り、Ｓ５１０では、システム制御部５０は、仮想光源に色ゲイン（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）をかけないように、下記のように色ゲインを１に設定する。

Ｓ５１１で、システム制御部５０は、色ゲイン（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）を含む仮想光源の各種パラメータを仮想光源反射成分算出部３０７（図３）に設定する。Ｓ５０８及びＳ５０９の処理により決定された色ゲインが仮想光源反射成分算出部３０７に設定されるため、照射領域６０２（対象領域）において目標色の近傍の色が目標色に近づくように仮想光源の色が制御される。

以上の処理フローにより、仮想光源の色を制御するパラメータ（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）を含む仮想光源のパラメータが設定される。

以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、照射領域（対象領域）に対して仮想光源による仮想的な光照射の効果を付加する画像処理を行う。その際に、デジタルカメラ１００は、ホワイトバランスの目標色を特定し、照射領域（対象領域）において目標色の近傍の色が目標色に近づくように仮想光源の色を制御する。これにより、仮想光源による仮想的な光照射の効果が付加される領域の色が不自然になることを抑制することが可能となる。

なお、本実施形態では、無彩色又は肌色の基準値と、仮想光源を照射する領域の色とのずれ量に基づき、仮想光源の色ゲイン（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）を算出する構成について説明した。しかしながら、仮想光源の色ゲインを算出する方法をこれに限定するものではない。仮想光源を照射する領域の色が、ホワイトバランスを合わせた環境光で照射された色に近づくように制御できるのであればどのような構成をとっても構わない。

例えば、仮想光源を照射する被写体領域の明るさに基づく制御を加えてもよい。上の説明では、被写体領域の色の平均値を利用して仮想光源の色を決定していたが、もともと主となる環境光で照射された明るい領域に対してはホワイトバランスが合っているため色を付ける必要はない。そのため、暗い領域にのみ前述の色の制御を行う構成にすることも可能である。この場合、仮想光源を照射する領域が暗いほど色の制御を強くする制御を行う。

また、本実施形態では、無彩色又は肌色の基準値と、仮想光源を当てる被写体領域の色の差分を正確に算出する構成について説明したが、目標色からの差分を正確に算出せずに制御をする構成をとることも可能である。例えば、ホワイトバランス係数算出時に環境光の色温度を算出しておき、環境光の色温度に基づき仮想光源の色を制御することも可能である。例えば、環境光の色温度が低く、仮想光源を照射する領域の色が青みを帯びていると判断した場合に、仮想光源の色ゲインを所定の割合（赤を強めて、青を弱める）に設定する。これにより、仮想光源を照射した被写体の色が、ホワイトバランスを合わせた環境光で照射された色に近づくため、不自然さを低減させることが可能となる。

また、環境光の色温度と環境光の照射方向を利用して、被写体に直接環境光が当たった場合と被写体の陰影部で色の差が生じやすいシーンであるかを判定し、判定結果に応じて仮想光源の色を制御する構成をとることも可能である。例えば、環境光が仮想光源を当てる被写体に対して逆光もしくは斜光状態にあるか判定を行う。逆光もしくは斜光状態かつ、環境光の色温度が所定の色温度よりも低い場合は、仮想光源の色ゲインを所定の割合（赤を強めて、青を弱める）に設定する。これにより、仮想光源を照射する被写体領域色を、ホワイトバランスを合わせた環境光で照射された色に近づけることが可能である。

また、本実施形態では、仮想光源が当たる領域の色を直接抽出し、仮想光源の色ゲインを決定する構成について説明したが、仮想光源が当たる領域の色が推定できる方法であればどのような方法を用いても構わない。例えば、画面全体において、明るい領域と暗い領域に分けて、無彩色の色分布を抽出する。明るい領域と暗い領域の色に違いがある場合は、暗い領域を明るい領域の色に近づける色ゲインを仮想光源の色ゲインとして設定する方法を取ることも可能である。

また、本実施形態では、仮想光源が一灯である場合を例に説明したが、仮想光源を複数設置する構成をとることも可能である。この場合、複数の仮想光源毎に照射領域の色を検出し、図５の処理フローに従って仮想光源の色を決定する。複数の仮想光源が同一の被写体領域に当たる場合、図５のＳ５０９では、複数の仮想光源の合計ゲインに基づき色ゲインの補正率を決定する。

また、本実施形態では、仮想光源によって輝度を上げるゲイン量に基づき色ゲインの補正率を決定する構成について説明したが、仮想光源以外の処理で輝度を変化させる場合にその輝度変化量も加味して色ゲインの補正量を決定する構成をとることも可能である。例えば、逆光補正として暗部のゲインを上げている場合は、逆光補正によるゲインアップと仮想光源によるゲインアップの合計ゲインに基づき色ゲインの補正率を決定する構成をとることも可能である。

［第２の実施形態］
第１の実施形態では、仮想光源の色ゲインを制御することで、仮想光源を照射した後の被写体の色を制御する構成について説明した。第２の実施形態では、仮想光源を照射する領域に対して局所的にＷＢ処理（ホワイトバランス処理）を行うことで、仮想光源を照射した後の被写体の色を制御する構成の例を説明する。

第２の実施形態において、デジタルカメラ１００及び画像処理部１０５の基本的な構成は第１の実施形態と同様である（図１及び図２参照）。第２の実施形態では、リライティング処理部１１４の構成が第１の実施形態と異なる。以下、主に第１の実施形態と異なる点について説明する。

図９は、第２の実施形態に係るリライティング処理部１１４の構成を示す図である。第２の実施形態に係るリライティング処理部１１４は、仮想光源反射成分算出部３０７の代わりに仮想光源反射成分算出部９０１を備え、また、局所ＷＢ処理部９０２を追加的に備える。

仮想光源反射成分算出部９０１は、下記の式に基づき仮想光源の反射成分を算出する。

上記の式において、各パラメータの意味は第１の実施形態と同様である。即ち、αは仮想光源のゲインの大きさ（仮想光源の強度）、Ｌは仮想光源の３次元方向ベクトル、Ｎは被写体の３次元法線ベクトル、Ｋは仮想光源と被写体の距離である。

また、仮想光源反射成分算出部９０１は、元画像信号に対する仮想光源比率（Ｌ_ｒａｔｉｏ）を下記の式に基づき算出する。

この仮想光源比率（Ｌ_ｒａｔｉｏ）は、入力された元画像信号に対してどれだけの大きさの仮想光源の反射成分を加算するかの比率（仮想的な光照射の効果が付加された照射領域の画素値における、効果の寄与の程度）を示したものである。仮想光源比率（Ｌ_ｒａｔｉｏ）が１のときに、元信号と同じ大きさの仮想光源の反射成分が加算されていることを示す。算出した仮想光源比率Ｌ_ｒａｔｉｏの例を図１０に示す。図１０において、明るい画素ほど、元の画像信号に対する仮想光源の反射成分が大きいことを示している。

仮想光源反射成分算出部９０１は、算出した仮想光源の反射成分（Ｒａ、Ｇａ、Ｂａ）を仮想光源付加処理部３０３に出力すると共に、仮想光源比率（Ｌ_ｒａｔｉｏ）を局所ＷＢ処理部９０２に出力する。

局所ＷＢ処理部９０２は、後述する処理フローにおいて、事前に算出したホワイトバランスゲイン（Ｒ－Ｇａｉｎ、Ｂ－Ｇａｉｎ）と、仮想光源比率（Ｌ_ｒａｔｉｏ）とに基づき、仮想光源が当たっている画素に対してホワイトバランス処理を行う。

図１１を参照して、ホワイトバランスゲイン（ＷＢゲイン）の算出処理を含む、仮想光源のパラメータを設定する処理フローについて説明する。図１１のフローチャートの各ステップの処理は、特に断らない限り、システム制御部５０が不揮発性メモリ１２１に格納されたプログラムを実行することにより実現される。撮影画像に対する画像処理部１０５による処理が完了すると、本フローチャートの処理が開始する。

図１１では、Ｓ１１０８、Ｓ１１１０で仮想光源の色ゲイン（Ｒｃｏｌｏｒ、Ｂｃｏｌｏｒ）の代わりにＷＢゲイン（Ｒ－Ｇａｉｎ、Ｂ－Ｇａｉｎ）を算出する点が、第１の実施形態と異なる。また、図５のＳ５０９で行っていた仮想光源の色ゲインの補正は行わないものとする。

Ｓ５０７において目標色ブロックが基準となる色中心値に対してずれていると判定された場合、処理はＳ１１０８に進み、そうでない場合、処理はＳ１１１０に進む。

Ｓ１１０８で、システム制御部５０は、仮想光源の照射領域６０２において、（Ｒｗ／Ｇｗ、Ｂｗ／Ｇｗ）又は（Ｒｓ／Ｇｓ、Ｂｓ／Ｇｓ）を無彩色中心値又は肌色中心値に近づけるＷＢゲイン（Ｒ－Ｇａｉｎ、Ｂ－Ｇａｉｎ）を算出する。具体的には、無彩色ブロックの数が所定の閾値以上であった（Ｓ５０５で「ＹＥＳ」）場合には、システム制御部５０は、（Ｒｗ／Ｇｗ、Ｂｗ／Ｇｗ）を無彩色中心値（Ｒｒｅｆ_ｗ、Ｂｒｅｆ_ｗ）に近づけるように、下記の式に基づきＷＢゲインを算出する。

また、無彩色ブロックの数が所定の閾値以上でなかった（Ｓ５０５で「ＮＯ」）場合には、システム制御部５０は、（Ｒｓ／Ｇｓ、Ｂｓ／Ｇｓ）を肌色中心値（Ｒｒｅｆ_ｓ、Ｂｒｅｆ_ｓ）に近づけるように、下記の式に基づきＷＢゲインを算出する。

このように、ＷＢゲインは、照射領域において目標色の近傍の色を持つ領域の平均の色と目標色との相違に基づいて決定される。

一方、Ｓ１１１０では、システム制御部５０は、局所ＷＢ処理部９０２によるホワイトバランス処理が行われないように、Ｒ－Ｇａｉｎ、Ｂ－Ｇａｉｎを共に１に設定する。

Ｓ１０１１で、システム制御部５０は、仮想光源の各種パラメータを仮想光源反射成分算出部３０７（図３）に設定する。

以上の処理フローにより、仮想光源のパラメータが設定されると共に、ＷＢゲイン（Ｒ－Ｇａｉｎ、Ｂ－Ｇａｉｎ）が算出される。

局所ＷＢ処理部９０２は、上記のように算出されたＷＢゲインを、仮想光源比率（Ｌ_ｒａｔｉｏ）に基づき画素単位で補正する。仮想光源比率（Ｌ_ｒａｔｉｏ）に基づく補正について説明する。仮想光源があまり当たらない（Ｌ_ｒａｔｉｏが小さい）画素については、入力画像に対する影響が少ないため、局所ＷＢ処理部９０２は、ホワイトバランスの調整の程度が小さくなるように制御する。一方で、仮想光源が強く当たる（Ｌ_ｒａｔｉｏが大きい）画素については、局所ＷＢ処理部９０２は、ホワイトバランスの調整の程度が大きくなるように制御する。このように、局所ＷＢ処理部９０２は、仮想光源比率（Ｌ_ｒａｔｉｏ）（仮想的な光照射の効果が付加された照射領域の画素値における、効果の寄与の程度）に基づいて、ホワイトバランスの調整の程度を制御する。

図１２は、ＷＢゲインの補正の特性例を示す図である。図１２において、横軸は仮想光源比率（Ｌ＿ｒａｔｉｏ）を示しており、縦軸はＷＢゲイン率を示している。ＷＢゲイン率とは、１の時にＳ１１０８で算出されたＷＢゲインをそのまま設定し、ＷＢゲイン率が０に近づくにつれて、ＷＢ処理をしないように制御するための割合である。ＷＢゲイン率が０になるとＷＢ係数は１となり、何もＷＢ処理がかからないようになる。

局所ＷＢ処理部９０２は、上記のように画素単位で算出した補正後のＷＢゲイン（Ｒ’－Ｇａｉｎ、Ｂ’－Ｇａｉｎ）を仮想光源の反射成分が付加された信号に乗算する。

以上説明したように、第２の実施形態によれば、デジタルカメラ１００は、照射領域（対象領域）に対して仮想光源による仮想的な光照射の効果を付加する画像処理を行う。その際に、デジタルカメラ１００は、ホワイトバランスの目標色を特定し、仮想的な光照射の効果が付加された照射領域のホワイトバランスを、目標色の近傍の色が目標色に近づくように調整する。デジタルカメラ１００は、このホワイトバランスの調整の程度を、仮想的な光照射の効果が付加された照射領域の画素値における、効果の寄与の程度に基づいて制御する。これにより、仮想光源による仮想的な光照射の効果が付加される領域の色が不自然になることを抑制することが可能となる。

なお、上の説明では、ＷＢ処理を２段階（図２のＷＢ増幅部２０１と図９の局所ＷＢ処理部９０２）に分けて行ったが、ＷＢ処理をＷＢ増幅部２０１で一括して行う構成をとることも可能である。その場合、評価値生成部２０８の処理、及び仮想光源反射成分算出部９０１の処理を、ＷＢ増幅部２０１の処理よりも先に行っておく必要がある。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５０…システム制御部、１００…デジタルカメラ、１０５…画像処理部、１１４…リライティング処理部、３０３…仮想光源付加処理部、３０６…法線算出部、３０７…仮想光源反射成分算出部

Claims (9)

1. ホワイトバランス処理が行われた撮影画像のうちの特定色を持つ被写体に対応する画素が、前記ホワイトバランス処理の結果として持つべき目標色を、前記ホワイトバランス処理の内容に基づいて特定する特定手段と、
   前記ホワイトバランス処理が行われた前記撮影画像において仮想光源の対象領域を決定する決定手段と、
   前記ホワイトバランス処理が行われた前記撮影画像における前記対象領域に対して、前記ホワイトバランス処理とは異なる、前記仮想光源による仮想的な光照射の効果を付加する画像処理を行う画像処理手段と、
   前記ホワイトバランス処理が行われた前記撮影画像における前記対象領域において、前記仮想的な光照射の効果を付加する前記画像処理により前記目標色の近傍の色が前記目標色に近づくように、前記仮想光源の色を制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記撮影画像に含まれる所定の被写体の領域における陰影領域が照射されるように前記対象領域を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記所定の被写体の種類に基づいて前記特定色を決定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、前記対象領域において前記目標色の近傍の色を持つ領域の平均の色と前記目標色との相違と、前記仮想光源の強度とに基づいて、前記対象領域において前記目標色の近傍の色が前記目標色に近づくように前記仮想光源の色を制御する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記特定手段は、第１の特定色を持つ被写体に対応する前記撮影画像の画素が前記撮影画像に対して行われたホワイトバランス処理の結果として持つべき第１の目標色と、第２の特定色を持つ被写体に対応する前記撮影画像の画素が前記撮影画像に対して行われたホワイトバランス処理の結果として持つべき第２の目標色とを特定し、
   前記制御手段は、前記対象領域において前記第１の目標色の近傍の色を持つ領域が閾値より大きい場合、前記対象領域において前記第１の目標色の近傍の色が前記第１の目標色に近づくように前記仮想光源の色を制御し、前記対象領域において前記第１の目標色の近傍の色を持つ前記領域が前記閾値より小さい場合、前記対象領域において前記第２の目標色の近傍の色が前記第２の目標色に近づくように前記仮想光源の色を制御する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、前記撮影画像に含まれる所定の被写体の領域における陰影領域が照射されるように前記対象領域を決定し、
   前記第１の特定色は白であり、
   前記特定手段は、前記所定の被写体の種類に基づいて前記第２の特定色を決定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置と、
   前記撮影画像を生成する撮像手段と、
   前記撮像手段により生成された前記撮影画像に対して前記ホワイトバランス処理を行うホワイトバランス手段と、
   を備えることを特徴とする撮像装置。
8. 画像処理装置が実行する画像処理方法であって、
   ホワイトバランス処理が行われた撮影画像のうちの特定色を持つ被写体に対応する画素が、前記ホワイトバランス処理の結果として持つべき目標色を、前記ホワイトバランス処理の内容に基づいて特定する特定工程と、
   前記ホワイトバランス処理が行われた前記撮影画像において仮想光源の対象領域を決定する決定工程と、
   前記ホワイトバランス処理が行われた前記撮影画像における前記対象領域に対して、前記ホワイトバランス処理とは異なる、前記仮想光源による仮想的な光照射の効果を付加する画像処理を行う画像処理工程と、
   前記ホワイトバランス処理が行われた前記撮影画像における前記対象領域において、前記仮想的な光照射の効果を付加する前記画像処理により前記目標色の近傍の色が前記目標色に近づくように、前記仮想光源の色を制御する制御工程と、
   を備えることを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images