JP2019205055A - 画像処理装置、画像処理装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】本発明は、環境光と仮想光源の色味の違いによる画質の不自然さを簡易に目立ちにくくすることを目的とする。【解決手段】本発明の画像処理装置は、仮想光を照射した影響を撮像画像に反映させる画像処理装置であって、撮像画像における環境光の分布情報を取得する取得手段と、取得手段により取得された環境光の分布情報に基づいて、仮想光の光源である仮想光源の色特性を決定する決定手段と、決定手段によって決定された仮想光源の色特性に基づいて、仮想光の影響を、撮像画像の部分領域に反映させる補正を行う補正手段と、を有する。【選択図】図３

Description

本発明は、画像処理装置、画像処理装置の制御方法、及び、プログラムに関する。

従来、撮像画像の被写体像に外部から仮想の照明が加えられたように、撮像画像に対して所定の画像処理を行う擬似的なライティング処理が知られている（特許文献１）。これにより、環境光によって生じた被写体の陰影を、撮像後に調整することができる。

特開２０１０−１３５９９６号公報

ここで、仮想光によって被写体の陰影を補正するリライティング処理では、被写体を照射する光の色は、環境光の色と仮想光源の色によって決まる。このため、部分的な被写体領域の明るさの補正をする際に、仮想光源の色特性によっては、例えば環境光の分布によって、部分的な被写体領域の明るさの補正をする際にリライティング前の画像に生じているカラーバランスのずれや色ムラが強調されることがある。また、例えば仮想光源を照射した部分と照射しない部分との色バランスがくずれることがある。上記の例のように、部分的な被写体領域の明るさの補正をする際に、仮想光源の色特性によっては、環境光の分布によって、画質が不自然になることがある。特許文献１の技術では、リライティング処理の色パラメータを、ユーザの手動操作によって決定しているが、画像を見ながら、仮想光源の色特性を局所的に設定するのは困難である。

本発明の画像処理装置は、仮想光を照射した影響を撮像画像に反映させる画像処理装置であって、撮像画像における環境光の分布情報を取得する取得手段と、前記取得手段により取得された前記環境光の分布情報に基づいて、前記仮想光の光源である仮想光源の色特性を決定する決定手段と、前記決定手段によって決定された前記仮想光源の色特性に基づいて、前記仮想光の影響を、前記撮像画像の部分領域に反映させる補正を行う補正手段と、を有する。

本発明によれば、環境光と仮想光源の色味の違いによる画質の不自然さを簡易に目立ちにくくすることができる。

デジタルカメラの構成の一例を示す図である。 画像処理部の構成の一例を示す図である。 第１の画像処理の一例を示すフローチャートである。 撮像画像の一例を示す図である。 画像処理部の構成の一例を示す図である。 第２の画像処理の一例を示すフローチャートである。

（第１の実施形態）
図１を参照して、第１の実施形態のデジタルカメラ１００の構成について説明する。図１は、デジタルカメラ１００の構成の一例を示す図である。デジタルカメラ１００は、画像処理装置の一例である。
図１において、レンズ群１０１は、フォーカスレンズを含むズームレンズである。絞り機能を備えるシャッター１０２が、レンズ群１０１と撮像部１０３との間に設けられている。撮像部１０３は、レンズ群１０１によって撮像面に形成される光学像を画素単位の電気信号に変換するＣＣＤ／ＣＭＯＳイメージセンサを代表とする撮像素子を有する。Ａ／Ｄ変換器１０４は、撮像部１０３が出力するアナログ信号をデジタル信号（画像データ）に変換する。

画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、色補間（デモザイク）、ホワイトバランス調整、γ補正等の各種画像処理を行う。また、画像処理部１０５は、撮像された画像に対するリライティング処理も行う。リライティング処理は、例えば仮想的な光源から照射された仮想光の効果を付与することによって、被写体の陰影を補正する処理である。画像メモリ１０６は、画像データを一時的に記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、画像データをアナログ信号に変換する。表示部１０９は、ＬＣＤや有機ＥＬディスプレイ等の表示装置を有し、各種ＧＵＩやライブビュー画像、記憶媒体１１２から読み出して再生した画像等を表示する。コーデック部１１０は、画像メモリ１０６に記憶されている画像データを記憶媒体１１２に記録するために予め定められた方法で符号化したり、画像ファイルに含まれる符号化画像データを例えば表示のために復号したりする。

インタフェース（Ｉ／Ｆ）１１１は、例えば半導体メモリカードやカード型ハードディスク等の着脱可能な記憶媒体１１２を、デジタルカメラ１００と機械的及び電気的に接続する。システム制御部５０は、例えばＣＰＵやＭＰＵ等のプログラマブルなプロセッサーであってよい。システム制御部５０は、例えば不揮発性メモリ１２１や内蔵する不揮発性メモリに記録されたプログラムを実行して必要なブロックや回路を制御することにより、デジタルカメラ１００の機能を実現する。
顔検出部１１３は、撮像された画像に含まれる顔領域を検出し、検出された顔領域のそれぞれについて、位置、大きさ、信頼度等の顔情報を求めることが可能である。顔検出部１１３は、ニューラルネットワークに代表される学習を用いた手法、目、鼻、口等の特徴部位を、画像領域からテンプレートマッチングを用い探し出し類似度が設定値より高ければ顔とみなす手法等、任意の方法を用いて顔領域を検出する。

操作部１２０は、ユーザがデジタルカメラ１００に各種の指示を入力するためのボタンやスイッチ等の入力デバイスである。表示部１０９がタッチディスプレイである場合、タッチパネルは操作部１２０に含まれる。また、音声入力や視線入力等、非接触で指示を入力するタイプの入力デバイスが操作部１２０に含まれてもよい。
不揮発性メモリ１２１は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭ等であってよい。不揮発性メモリ１２１には、各種の設定値、ＧＵＩデータ等が記録される。システム制御部５０がＭＰＵやＣＰＵである場合には、不揮発性メモリ１２１には、システム制御部５０が実行するためのプログラムが記録される。
システムメモリ１２２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するために用いられる。
以上、デジタルカメラ１００の構成について説明したが、必ずしもこの構成に限定されない。例えば、装置制御やデータの記憶等は、必ずしも１つのハードウェアで行う必要はなく、複数のハードウェアが処理を分担し、１つの手段として機能してもよい。逆に、１つのハードウェアが種々の処理を行うことで、複数の手段として機能してもよい。

次に、図２を参照して、画像処理部１０５のリライティング処理に関係する機能構成について説明する。図２は、画像処理部１０５のリライティング処理に関係する機能構成の一例を示す図である。図２に示す機能ブロックの１つ以上は、マイクロプロセッサとソフトウェアの組み合わせよって実現されてもよい。この場合、マイクロプロセッサは、例えば不揮発性メモリ１２１や内蔵する不揮発性メモリに記録されたプログラムを実行して必要なブロックや回路を制御することにより、図３や図６の処理等を実現する。マイクロプロセッサは、複数あってもよい。また、図２に示す機能ブロックの１つ以上は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）等のハードウェアで実現されてもよい。ＰＬＤにはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）等が含まれる。
画像処理部１０５は、リライティング処理を第１の画像及び第２の画像の何れに対しても実施できる。第１の画像は、リライティング処理の実行が指定された状態で撮像された画像である。第２の画像は、メニュー画面等からリライティング処理の実施が指示された、例えば記憶媒体１１２に記録済の画像である。また、画像処理部１０５は、リライティング処理において撮像時の情報が必要な場合、不揮発性メモリ１２１又はシステムメモリ１２２から読み出したり、画像ファイルのヘッダ等から取得したりする。

リライティング処理部としての画像処理部１０５は、画像信号生成部２０１とホワイトバランス調整部２０２と環境光状態検出部２０３と仮想光源制御部２０４と仮想光源信号付加部２０５とガンマ処理部２０６とを有する。
図１のＡ／Ｄ変換器１０４から画像処理部１０５に入力された画像信号は、画像信号生成部２０１に入力される。画像信号生成部２０１は、画素あたり１色（Ｒ、Ｇ、Ｂのいずれか１つ）の情報を有する画像信号に同時化処理（デモザイク処理）を行い、各画素が３色（ＲＧＢ）の情報（画素値Ｒ、Ｇ、Ｂ）を有する画像信号を生成する。画像信号生成部２０１は、生成した画像信号をホワイトバランス調整部２０２へ出力する。画像信号生成部２０１によって生成される画像信号は、撮像画像のデータである。
ホワイトバランス調整部２０２は、画像信号生成部２０１から入力された撮像画像の画素値Ｒ、Ｇ、Ｂからホワイトバランスゲイン値を算出し、撮像画像の画素値Ｒ、Ｇ、Ｂにホワイトバランスゲインを適用して、ホワイトバランスゲインの調整を行う。ホワイトバランス調整部２０２は、ホワイトバランス調整が行われた撮像画像を仮想光源信号付加部２０５及び環境光状態検出部２０３へ出力する。

環境光状態検出部２０３は、ホワイトバランス調整部２０２から入力された撮像画像の画素値Ｒ、Ｇ、Ｂに基づき、撮像時に被写体を照らしている環境光の状態を表す評価値を算出する。ここで、環境光とは、撮像時に被写体を照射した光源であり、太陽光や室内照明等、デジタルカメラ１００の制御対象外の光源と、デジタルカメラ１００が制御する光源とを含む。デジタルカメラ１００が制御する光源として、デジタルカメラ１００に内蔵されたフラッシュ、及び、外部フラッシュの何れか、又は、両方がある。環境光状態検出部２０３は、算出した評価値を仮想光源制御部２０４へ出力する。
仮想光源制御部２０４は、環境光状態検出部２０３によって算出された環境光の状態を表す評価値に基づいて、被写体をリライティングする仮想光源の色特性を表すパラメータであるＡｒ、Ａｇ、Ａｂを決定し、仮想光源信号付加部２０５へ出力する。環境光状態検出部２０３と仮想光源制御部２０４の動作については後述する。Ａｒ、Ａｇ、Ａｂは、仮想光源の３色（ＲＧＢ）の強度を表す。

仮想光源信号付加部２０５は、仮想光源制御部２０４によって算出された仮想光源の色特性を表すパラメータと、仮想光源の照射方向と、強度等のリライティング処理に必要なパラメータとに基づいて、リライティング処理を行う。仮想光源信号付加部２０５は、リライティング処理によって、ホワイトバランス調整部２０２から入力された撮像画像の画素値Ｒ、Ｇ、Ｂに対して、仮想光源から仮想的に被写体に照射される仮想光の影響を反映させる。仮想光源信号付加部２０５は、リライティング処理後の撮像画像を、ガンマ処理部２０６へ出力する。仮想光源信号付加部２０５が出力するデータは、リライティング処理が行われた撮像画像のデータである。
ガンマ処理部２０６は、仮想光源信号付加部２０５によって入力されたリライティング処理後の撮像画像に対して、ガンマ補正を適用し、メモリ制御部１０７を通じて画像メモリ１０６へ出力する。

次に、図３、図４を参照して、第１の画像処理について説明する。図３は、第１の画像処理の一例を示すフローチャートである。図４は、撮像画像の一例を示す図である。第１の画像処理は、環境光状態検出部２０３と仮想光源制御部２０４で、環境光の特性を解析して、仮想光源の色特性を表すパラメータを決定する処理である。本実施形態では、顔領域の暗い領域に対してリライティング処理を行う例について説明を行う。
Ｓ３０１において、環境光状態検出部２０３は、ホワイトバランス調整部２０２から入力された撮像画像から、リライティング対象領域の抽出を行う。本実施形態では、図４に示すように、環境光状態検出部２０３は、リライティング対象領域を人物の顔領域４０１とする。リライティング対象領域を、ＲＬ領域とも呼ぶ。環境光状態検出部２０３は、リライティング対象領域が顔領域の場合、顔の器官（目、鼻、口等）や顔の輪郭情報、肌の色情報等を用いて、顔領域４０１を抽出する。Ｓ３０１の処理は、環境光状態検出部２０３以外の、例えば顔検出部１１３が行ってもよい。リライティング対象領域は、撮像画像の部分領域の一例である。

Ｓ３０２において、環境光状態検出部２０３は、ホワイトバランス調整部２０２から入力された撮像画像を複数のブロックに分割し、ブロックごとの平均輝度値を算出する。ブロックごとの平均輝度値は、環境光の状態を表す評価値である。また、ブロックごとの平均輝度値は、撮像画像における環境光の分布情報の一例である。ブロックごとの平均輝度値を算出する処理は、分布情報を取得する取得処理の一例である。
Ｓ３０３において、環境光状態検出部２０３は、Ｓ３０２で算出したブロックごとの平均輝度値に基づいて、ホワイトバランス調整部２０２から入力された撮像画像における環境光の状態を解析する。環境光状態検出部２０３は、環境光の状態として、環境光の分布の状態を解析する。より具体的には、環境光状態検出部２０３は、ブロックごとに、環境光が十分に照射されているか否かを判定する。環境光状態検出部２０３は、ブロックの平均輝度値が定められた輝度閾値以上である場合、そのブロックにおいて、環境光が十分に照射されていると判定する。定められた輝度閾値は、適正露出の明るさを表す。Ｓ３０３でのブロックの平均輝度値は、環境光の強度の一例である。定められた輝度閾値は、定められた強度の一例である。

Ｓ３０４において、仮想光源制御部２０４は、照射ブロック割合が、定められた第１の閾値ＴＨ１以上か否かを判定する。照射ブロック割合は、リライティング対象領域のブロックの数に対する、リライティング対象領域の中の環境光が十分に照射されていると判定されたブロックの数の割合である。仮想光源制御部２０４は、照射ブロック割合が、第１の閾値ＴＨ１以上と判定した場合、処理をＳ３０５に進め、第１の閾値ＴＨ１未満と判定した場合、処理をＳ３０６に進める。第１の閾値ＴＨ１は、画像処理部１０５の記憶領域に記憶されていてもよく、不揮発性メモリ１２１等に記憶されていてもよい。
Ｓ３０４の後にＳ３０５が実行される場合、リライティング対象領域の被写体に、環境光が十分に照射されているとみなせるので、仮想光源の色特性を調整する必要がない。そのため、仮想光源制御部２０４は、Ｓ３０５において、仮想光源の色特性を表すパラメータであるＡｒ、Ａｇ、Ａｂを、Ａｒ：Ａｇ：Ａｂ＝１：１：１となるように決定する。これにより、仮想光源の各色（Ｒ、Ｇ、Ｂ）の強度が等しくなるように、仮想光源の色特性が決定される。

Ｓ３０６において、仮想光源制御部２０４は、照射ブロック割合が、定められた第２の閾値ＴＨ２以上か否かを判定する。仮想光源制御部２０４は、照射ブロック割合が、第２の閾値ＴＨ２以上と判定した場合、処理をＳ３０７に進め、第２の閾値ＴＨ２未満と判定した場合、処理をＳ３０８に進める。第２の閾値ＴＨ２は、第１の閾値ＴＨ１未満の値である。第２の閾値ＴＨ２は、画像処理部１０５の記憶領域に記憶されていてもよく、不揮発性メモリ１２１等に記憶されていてもよい。

Ｓ３０７では、リライティング対象領域について、環境光が十分に照射されている領域と、十分に照射されていない領域とが混在しているとみなせる。そこで、Ｓ３０７において、仮想光源制御部２０４は、リライティング対象領域の中で環境光の照射されている領域と、そうでない領域とのＲＧＢの構成比に基づいて、仮想光源の色特性を決定する。
より具体的には、仮想光源制御部２０４は、リライティング対象領域の中の環境光が十分に照射されている領域について、画素値Ｒの積分値と画素値Ｇの積分値と画素値Ｂの積分値とを求める。そして、仮想光源制御部２０４は、求めた積分値の比率を、リライティング対象領域の中の環境光が十分に照射されている領域の画素値Ｒと画素値Ｇと画素値Ｂとの構成比を表す値であるＲ１、Ｇ１、Ｂ１とする。また、仮想光源制御部２０４は、リライティング対象領域の中の環境光が十分に照射されていない領域について、画素値Ｒの積分値と画素値Ｇの積分値と画素値Ｂの積分値とを求める。そして、仮想光源制御部２０４は、求めた積分値の比率を、リライティング対象領域の中の環境光が十分に照射されていない領域の画素値Ｒと画素値Ｇと画素値Ｂとの構成比を表す値であるＲ２、Ｇ２、Ｂ２とする。次いで、仮想光源制御部２０４は、仮想光源の色特性を表すパラメータであるＡｒ、Ａｇ、Ａｂを、Ａｒ：Ａｇ：Ａｂ＝Ｒ１／Ｒ２：Ｇ１／Ｇ２：Ｂ１／Ｂ２となるように決定する。このように仮想光源の色特性を決定することにより、顔の暗い部分の明るさを補正しつつ、色のバランスが顔の環境光の当たっている領域の色に近づくような制御ができる。リライティング対象領域の中の環境光が十分に照射されている領域は、第１の領域の一例である。リライティング対象領域の中の環境光が十分に照射されていない領域は、第２の領域の一例である。画素値は、色情報の一例である。

仮想光源制御部２０４は、リライティング対象領域の中の環境光が十分に照射されている領域における環境光の強度が高いほど、この領域の画素値を表すＲ１、Ｇ１、Ｂ１の重みが大きくなるように、Ａｒ、Ａｇ、Ａｂを決定してもよい。また、仮想光源制御部２０４は、リライティング対象領域の中の環境光が十分に照射されている領域のブロックの数が多いほど、この領域の画素値を表すＲ１、Ｇ１、Ｂ１の重みが大きくなるように、Ａｒ、Ａｇ、Ａｂを決定してもよい。

Ｓ３０８において、仮想光源制御部２０４は、リライティング対象領域の平均輝度値と、リライティング対象領域の周囲の領域の平均輝度値とを比較する。仮想光源制御部２０４は、リライティング対象領域の周囲の領域の平均輝度値が、リライティング対象領域の平均輝度値より、定められた第３の閾値ＴＨ３以上高い場合、処理をＳ３０９に進める。仮想光源制御部２０４は、リライティング対象領域の周囲の領域の平均輝度値が、リライティング対象領域の平均輝度値より、定められた第３の閾値ＴＨ３以上高くない場合、処理をＳ３０５に進める。
Ｓ３０８において、リライティング対象領域の周囲の領域の平均輝度値が、リライティング対象領域の平均輝度値より、定められた第３の閾値ＴＨ３以上高いと判定された場合は、次のような場合が想定される。すなわち、リライティング対象領域の全体が暗く、かつ、リライティング対象領域の周囲の領域が明るい場合であり、逆光のようなシーンが想定される。この場合、リライティング対象領域には、環境光が当たっていないため、ホワイトバランス調整部２０２において、適切に色の特性が調整されていない場合がある。そのため、仮想光源の色特性を調整しないと、リライティング処理前のホワイトバランスのずれが強調されてしまい、画質が不自然になることがある。

そこで、Ｓ３０９において、仮想光源制御部２０４は、リライティング対象領域の周囲の領域のＲＧＢの構成比に基づいて、環境光の色の特性を推定し、仮想光源の色特性を設定する。
より具体的には、仮想光源制御部２０４は、リライティング対象領域の周囲の領域について、画素値Ｒの積分値と画素値Ｇの積分値と画素値Ｂの積分値とを求める。そして、仮想光源制御部２０４は、求めた積分値の比率を、リライティング対象領域の周囲の領域の画素値Ｒと画素値Ｇと画素値Ｂとの構成比を表す値であるＲ３、Ｇ３、Ｂ３とする。また、仮想光源制御部２０４は、リライティング対象領域について、画素値Ｒの積分値と画素値Ｇの積分値と画素値Ｂの積分値とを求める。そして、仮想光源制御部２０４は、求めた積分値の比率を、リライティング対象領域の画素値Ｒと画素値Ｇと画素値Ｂとの構成比を表す値であるＲ２、Ｇ２、Ｂ２とする。次いで、仮想光源制御部２０４は、仮想光源の色特性を表すパラメータであるＡｒ、Ａｇ、Ａｂを、Ａｒ：Ａｇ：Ａｂ＝Ｒ３／Ｒ２：Ｇ３／Ｇ２：Ｂ３／Ｂ２となるように決定する。このように仮想光源の色特性を決定することにより、顔の暗い部分の明るさを補正しつつ、色のバランスが顔の環境光の当たっている領域の色に近づくような制御ができる。
仮想光源制御部２０４は、被写体領域の輝度値における環境光の強度と被写体領域の周囲の領域の輝度値における環境光の強度との差が大きいほど、被写体領域の画素値を表すＲ２、Ｇ２、Ｂ２の重みが大きくなるように、Ａｒ、Ａｇ、Ａｂを決定してもよい。被写体領域の輝度値は、被写体領域の環境光の強度の一例である。また、被写体領域の周囲の領域の輝度値は、被写体領域の周囲の領域の環境光の強度の一例である。

Ｓ３０８において、リライティング対象領域の周囲の領域の平均輝度値が、リライティング対象領域の平均輝度値より、定められた第３の閾値ＴＨ３以上高くはないと判定された場合は、次のような場合が想定される。すなわち、リライティング対象領域、及び、その周囲の領域について何れも環境光が十分に当たっていないと想定される。この場合は、リライティング処理によって、リライティング対象領域のみ色味が不自然になることはないので、仮想光源の色特性は調整しない。すなわち、Ｓ３０５において、仮想光源制御部２０４は、Ａｒ：Ａｇ：Ａｂ＝１：１：１となるように、仮想光源の色特性を設定する。
以上、環境光状態検出部２０３と仮想光源制御部２０４とにより、環境光の特性を解析して、仮想光源の色特性を決定する処理について説明した。図３で仮想光源の色特性を表すパラメータを決定する処理は、仮想光源の色特性を表すパラメータを決定する決定処理の一例である。

次に、仮想光源信号付加部２０５が行うリライティング処理について説明する。仮想光源信号付加部２０５は、処理対象画像のリライティング対象領域に対して、リライティング処理によって仮想光源から照射される仮想光の影響が反映された撮像画像を生成する。処理対象画像は、ホワイトバランス調整部２０２によって入力された撮像画像である。仮想光源信号付加部２０５は、リライティング処理として、処理対象画像のリライティング対象領域を対象として、仮想光源から照射される仮想光の影響が反映された画素値Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを、以下の式１〜３に従って算出する。
Ｒｏｕｔ ＝ ［Ｒｔ ＋ Ａｒ × ｃｏｓ（θ） ×（１／Ｄ＾２）× Ｒｖ］／Ｍ ・・・ （式１）
Ｇｏｕｔ ＝ ［Ｇｔ ＋ Ａｇ × ｃｏｓ（θ） ×（１／Ｄ＾２）× Ｇｖ］／Ｍ ・・・ （式２）
Ｂｏｕｔ ＝ ［Ｂｔ ＋ Ａｂ × ｃｏｓ（θ） ×（１／Ｄ＾２）× Ｂｖ］／Ｍ ・・・ （式３）
ここで、Ｒｔ、Ｇｔ、Ｂｔは、処理対象画像のリライティング対象領域の各画素の画素値である。Ａｒ、Ａｇ、Ａｂは、図３の処理で決定された仮想光源の色特性を表すパラメータである。Ｄは、仮想光源とリライティング対象領域の被写体との距離である。Ｒｖ、Ｇｖ、Ｂｖは、光源反射色である。Ｍは、リライティング後の出力ＲＧＢ値を正規化するための予め設定された係数である。角度θは、仮想光源制御部２０４が決定した仮想光の照射方向と、処理対象画像の被写体の法線ベクトルがなす角度である。ここで、角度θは、リライティング対象領域の各画素に対して被写体の法線ベクトルを算出し、法線方向のベクトルの方向と仮想光源照射方向とから算出することができる。

仮想光源の色の強度を表すＡｒ、Ａｇ、Ａｂの比率を変更することにより、仮想光源の色特性を制御することができる。本実施形態では、このＡｒ、Ａｇ、Ａｂの比率を制御して、仮想光の影響が反映された処理対象画像の出力ＲＧＢ値である画素値Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを調整し、処理対象の被写体の明るさ、陰影、色を好適に補正することを目的としている。
本実施形態では、角度θの決定方法については詳細に説明しないが、例えば特願２０１４−１９７５０６に記載されているような手法を用いて角度θを決定すればよい。これは、画像中の被写体領域の陰影状態を表す評価値を算出し、その評価値に基づいて仮想光源の位置（被写体に対しての角度）や強度を設定するものである。ただし、その他の手法を用いて角度θを決定してもよい。

ここで、光源反射色Ｒｖ、Ｇｖ、Ｂｖの比率が元の画素値Ｒｔ、Ｇｔ、Ｂｔの比率と同じ場合は、式１〜３を下記の式４〜６のように簡略化できる。
Ｒｏｕｔ ＝ ［Ｒｔ × （１ ＋ Ａｒ × ｃｏｓ（θ） ×（１／Ｄ＾２））］／Ｍ ・・・ （式４）
Ｇｏｕｔ ＝ ［Ｇｔ × （１ ＋ Ａｇ × ｃｏｓ（θ） ×（１／Ｄ＾２））］／Ｍ ・・・ （式５）
Ｂｏｕｔ ＝ ［Ｂｔ × （１ ＋ Ａｂ × ｃｏｓ（θ） ×（１／Ｄ＾２））］／Ｍ ・・・ （式６）
本実施形態では、光源反射色Ｒｖ、Ｇｖ、Ｂｖの比率が元の画素値Ｒｔ、Ｇｔ、Ｂｔの比率と同じであるとして、仮想光源信号付加部２０５は、簡略化された上記の式４〜６を用いて、リライティングを行う。ここで説明した仮想光源信号付加部２０５が行うリライティング処理は、仮想光の影響を被写体領域に反映させる補正を行う補正処理の一例である。

以上説明したように、デジタルカメラ１００は、環境光の分布に基づいて、仮想光源の色特性を自動的に制御し、被写体の明るさ、陰影、色を好適に補正することができる。そして、ユーザが特別な操作をすることなく、環境光と仮想光源の色味の違いによる色バランスのずれ等の画質の不自然さを簡易に目立ちにくくすることができる。
第１の実施形態では、リライティング対象の領域を顔領域としているが、これ以外の被写体に対しても以上のような仮想光源の色特性の算出方法は有効である。
また、第１の実施形態では、適正露出のレベルを基準に、撮像画像の輝度分布を解析することで、撮像画像における環境光の影響を判定する。しかし、これ以外の方法で撮像画像における環境光の影響を判定してもよい。例えば、環境光状態検出部２０３は、撮像画像をブロック分割し、ブロックごとのヒストグラムからコントラスト判定し、コントラストから、環境光の影響を判定してもよい。また、環境光状態検出部２０３は、入力画像をブロック分割し、ブロックごとの画素値Ｒ、Ｇ、Ｂの比率の分布を求めることで、環境光の色を推定し、環境光の影響を判定してもよい。

（第２の実施形態）
次に、第２の実施形態のデジタルカメラ１００について説明する。第１の実施形態と同様の点についての説明は省略する。
まず、図５を参照して、第２の実施形態の画像処理部１０５について説明する。図５は、画像処理部１０５の構成の一例を示す図である。第２の実施形態の画像処理部１０５は、画像信号生成部２０１と第１のホワイトバランス調整部５０１と環境光状態検出部２０３と第１の仮想光源制御部５０２と第２のホワイトバランス調整部５０３と第２の仮想光源制御部５０４とを有する。また、第２の実施形態の画像処理部１０５は、仮想光源信号付加部２０５とガンマ処理部２０６とを有する。

第２の実施形態の画像信号生成部２０１と仮想光源信号付加部２０５とガンマ処理部２０６とは、第１の実施形態と同様である。ただし、第２の実施形態の画像信号生成部２０１は、生成した画像信号を第１のホワイトバランス調整部５０１、及び、第２のホワイトバランス調整部５０３へ出力する。第１のホワイトバランス調整部５０１は、第１の実施形態のホワイトバランス調整部２０２と同様である。ただし、第１のホワイトバランス調整部５０１は、ホワイトバランス調整後の各画素の画素値Ｒ、Ｇ、Ｂを環境光状態検出部２０３へ出力する。環境光状態検出部２０３と第１の仮想光源制御部５０２と第２のホワイトバランス調整部５０３と第２の仮想光源制御部５０４と仮想光源信号付加部２０５とが行う処理は、次の図６を参照して説明する。
第２の実施形態では、第２のホワイトバランス調整部５０３によって、仮想光源の色特性の決定後に、環境光、及び、仮想光源光に基づいて画像全体の色バランスを調整することが可能となる。

次に、図６を参照して、第２の画像処理について説明する。図６は、第２の画像処理の一例を示すフローチャートである。
Ｓ６０１において、環境光状態検出部２０３は、図３のＳ３０１と同様に、ホワイトバランス調整部２０２から入力された撮像画像からリライティング対象領域の抽出を行う。
Ｓ６０２において、環境光状態検出部２０３は、Ｓ６０１で抽出したリライティング対象領域を除く全領域に対し画素単位で輝度値を算出し、平均値を求めることで、平均輝度値Ｙｏを算出する。

Ｓ６０３において、環境光状態検出部２０３は、リライティング対象領域における環境光の色、及び、リライティング対象領域に含まれない領域における環境光の色を算出する。より具体的には、環境光状態検出部２０３は、リライティング対象領域の各画素についての画素値Ｒ、Ｇ、Ｂの平均値Ｒｉ、Ｇｉ、Ｂｉを算出して、リライティング対象領域における環境光の色とする。また、環境光状態検出部２０３は、リライティング対象領域に含まれない領域の各画素についての画素値Ｒ、Ｇ、Ｂの平均値Ｒｏ、Ｇｏ、Ｂｏを算出して、リライティング対象領域に含まれない領域における環境光の色とする。例えば、逆光等で人物が暗いシーンにおいてストロボ発光した場合は、リライティング対象領域の内外における環境光の色は異なる。以下では、逆光シーンでストロボ発光した場合を想定して説明する。なお、環境光の色をより高精度に推定するために、環境光状態検出部２０３は、白色被写体領域を検出して、その領域内での色の平均値を算出することで、環境光の色としてもよい。平均値Ｒｉ、Ｇｉ、Ｂｉ、Ｒｏ、Ｇｏ、Ｂｏには、後に説明する平均輝度値Ｙｉとは異なり、仮想光の影響は反映されていない。

Ｓ６０４において、第１の仮想光源制御部５０２は、仮想光源を決定し、リライティング領域内の輝度を算出する。より具体的には、第１の仮想光源制御部５０２は、仮想光源の色特性を表すパラメータであるＡｒ、Ａｇ、Ａｂを、Ａｒ＝Ａｇ＝Ａｂ＝１とする。そして、第１の仮想光源制御部５０２は、環境光状態検出部２０３を介して第１のホワイトバランス調整部５０１から取得した撮像画像のリライティング対象領域について、次の処理を行う。すなわち、第１の仮想光源制御部５０２は、このリライティング対象領域について、第１の実施形態で説明した式４〜６を用いて、画素ごとに、仮想光源から照射される仮想光の影響が反映された画素値Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを算出する。これにより、元の環境光（ストロボ光）の色バランスを保った状態で、仮想光源から被写体に仮想的に照射される仮想光の影響をリライティング対象領域に反映できる。そして、第１の仮想光源制御部５０２は、リライティング対象領域の画素値Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔに基づいて、リライティング対象領域の平均輝度値Ｙｉを算出する。平均輝度値Ｙｉは、仮想光の影響が反映された場合のリライティング対象領域の輝度値である。

Ｓ６０５において、第２のホワイトバランス調整部５０３は、Ｓ６０３で算出された色の情報に基づいて、次の式７、８を用いて、リライティング対象領域内において適切なホワイトバランス係数ＷＢｉ＿ｒ、ＷＢｉ＿ｂを算出する。ホワイトバランス係数ＷＢｉ＿ｒ、ＷＢｉ＿ｂは、第２のホワイトバランス係数の一例である。
ＷＢｉ＿ｒ ＝ Ｇｉ／Ｒｉ ・・・ （式７）
ＷＢｉ＿ｂ ＝ Ｇｉ／Ｂｉ ・・・ （式８）
また、第２のホワイトバランス調整部５０３は、Ｓ６０３で算出された色の情報に基づいて、次の式９、式１０を用いて、リライティング対象領域外において適切なホワイトバランス係数ＷＢｏ＿ｒ、ＷＢｏ＿ｂを算出する。ホワイトバランス係数ＷＢｏ＿ｒ、ＷＢｏ＿ｂは、第３のホワイトバランス係数の一例である。
ＷＢｏ＿ｒ ＝ Ｇｏ／Ｒｏ ・・・ （式９）
ＷＢｏ＿ｂ ＝ Ｇｏ／Ｂｏ ・・・ （式１０）
第２のホワイトバランス調整部５０３は、第１の仮想光源制御部５０２を介して、環境光状態検出部２０３からＳ６０３で算出された色の情報を取得する。

Ｓ６０６において、第２のホワイトバランス調整部５０３は、リライティング領域内外の色バランスを考慮した最終的なホワイトバランス係数を算出する。より具体的には、第２のホワイトバランス調整部５０３は、次の式１１、式１２によって、リライティング領域内外の色バランスを考慮したホワイトバランス係数ＷＢ＿ｒ、ＷＢ＿ｂを算出する。式１１、式１２では、Ｓ６０４で算出したリライティング領域内の輝度値Ｙｉと、Ｓ６０２で算出したリライティング領域外の輝度値Ｙｏと、Ｓ６０５で算出したホワイトバランス係数とが用いられる。ホワイトバランス係数ＷＢ＿ｒ、ＷＢ＿ｂは、第１のホワイトバランス係数の一例である。ホワイトバランス係数ＷＢ＿ｒ、ＷＢ＿ｂを算出する処理は、第１のホワイトバランス係数を決定する第１の決定処理の一例である。
ＷＢ＿ｒ＝ＷＢｉ＿ｒ・Ｙｉ／（Ｙｉ＋Ｙｏ）＋ＷＢｏ＿ｒ・（１−Ｙｉ／（Ｙｉ＋Ｙｏ）） ・・・ （式１１）
ＷＢ＿ｂ＝ＷＢｉ＿ｂ・Ｙｉ／（Ｙｉ＋Ｙｏ）＋ＷＢｏ＿ｂ・（１−Ｙｉ／（Ｙｉ＋Ｙｏ）） ・・・ （式１２）
そして、第２のホワイトバランス調整部５０３は、算出したＷＢ＿ｒ、ＷＢ＿ｂを使用して、第１のホワイトバランス調整部５０１から取得した撮像画像の各画素の画素値を調整することで、撮像画像のホワイトバランスを調整する。第２のホワイトバランス調整部５０３は、ホワイトバランスが調整された撮像画像を第２の仮想光源制御部５０４に出力する。ホワイトバランスは、色バランスの一例である。

Ｓ６０７において、第２の仮想光源制御部５０４は、仮想光源の色特性を表すパラメータであるＡｒ、Ａｇ、Ａｂを、Ａｒ＝Ａｇ＝Ａｂ＝１とする。
そして、仮想光源信号付加部２０５は、第２の仮想光源制御部５０４を介して第２のホワイトバランス調整部５０３から取得した撮像画像のリライティング対象領域について、次の処理を行う。すなわち、仮想光源信号付加部２０５は、このリライティング対象領域について、第１の実施形態で説明した式４〜６を用いて、画素ごとに、画素値Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを算出する。これにより、仮想光源から被写体に仮想的に照射される仮想光の影響を、第２のホワイトバランス調整部５０３によりホワイトバランスが調整された画像のリライティング対象領域に反映できる。Ｓ６０７で再度、式４〜６を用いて、画素ごとに、画素値Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを算出するのは、第２のホワイトバランス調整部５０３でホワイトバランス係数が変更されることで、式４〜６の画素値Ｒｔ、Ｇｔ、Ｂｔが変わるためである。第２のホワイトバランス調整部５０３の処理は、仮想光の影響を被写体領域に反映させる補正を行う補正処理の一例である。仮想光源信号付加部２０５は、リライティング対象領域について仮想光の影響を反映させた撮像画像をガンマ処理部２０６に出力する。

以上説明したように、デジタルカメラ１００は仮想光の影響を踏まえたホワイトバランスの調整を自動的に行う。したがって、撮像画像に仮想光の影響を反映させた場合に、ユーザが特別な操作をすることなく、環境光と仮想光源の色味の違いによる色バランスのずれ等の画質の不自然さを簡易に目立ちにくくすることができる。
第２の実施形態では、仮想光源の色特性を表すＡｒ、Ａｇ、Ａｂが全て１である場合で説明したが、Ａｒ、Ａｇ、Ａｂの少なくとも２つの値が異なるように、仮想光源の色特性を任意に設定してもよい。
また、第１の実施形態で説明した図３の第１の画像処理によって、Ａｒ、Ａｇ、Ａｂを決定してもよい。この場合、環境光状態検出部２０３は、第１の実施形態の環境光状態検出部２０３が行う処理も実行し、環境光の状態を表す評価値を、第１の仮想光源制御部５０２、及び、第２の仮想光源制御部５０４に出力する。第１の仮想光源制御部５０２は、第１のホワイトバランス調整部５０１から環境光状態検出部２０３を介して取得した撮像画像に基づいて、第１の実施形態の仮想光源制御部２０４と同様に、Ａｒ、Ａｇ、Ａｂを決定する。第１の仮想光源制御部５０２がＡｒ、Ａｇ、Ａｂを決定する処理は、仮想光源の色特性を表すパラメータを決定する第２の決定処理の一例である。第２の仮想光源制御部５０４は、第２のホワイトバランス調整部５０３から取得した撮像画像に基づいて、第１の実施形態の仮想光源制御部２０４と同様に、Ａｒ、Ａｇ、Ａｂを決定する。第２の仮想光源制御部５０４がＡｒ、Ａｇ、Ａｂを決定する処理は、仮想光源の色特性を表すパラメータを決定する第３の決定処理の一例である。仮想光源信号付加部２０５は、処理対象画像のリライティング対象領域に対して、リライティング処理によって仮想光源から照射される仮想光の影響が反映された撮像画像を生成する。処理対象画像は、第２のホワイトバランス調整部５０３によってホワイトバランスの調整がされた撮像画像である。

（変形例）
上記の実施形態では、撮像できるデジタルカメラ１００を対象として説明した。しかし、デジタルカメラ１００の代わりに、図３の第１の画像処理、リライティング処理、図５の第２の画像処理が実行できる画像処理装置を使用してもよい。この画像処理装置は、撮像の機能はなくてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
また、上記の実施形態を任意に組み合わせてもよい。

以上、上述した実施形態によれば、環境光と仮想光源の色味の違いによる画質の不自然さを簡易に目立ちにくくすることができる。

１００ デジタルカメラ
１０５ 画像処理部
２０２ ホワイトバランス調整部
２０３ 環境光状態検出部
２０４ 仮想光源制御部
５０１ 第１のホワイトバランス調整部
２０３ 環境光状態検出部
５０２ 第１の仮想光源制御部
５０３ 第２のホワイトバランス調整部
５０４ 第２の仮想光源制御部

Claims (18)

1. 仮想光を照射した影響を撮像画像に反映させる画像処理装置であって、
   撮像画像における環境光の分布情報を取得する取得手段と、
   前記取得手段により取得された前記環境光の分布情報に基づいて、前記仮想光の光源である仮想光源の色特性を決定する決定手段と、
   前記決定手段によって決定された前記仮想光源の色特性に基づいて、前記仮想光の影響を、前記撮像画像の部分領域に反映させる補正を行う補正手段と、
   を有する画像処理装置。
2. 前記決定手段は、前記環境光の分布情報に基づいて前記環境光が定められた強度以上で照射していると判定された前記撮像画像の領域の色情報に基づいて、前記仮想光源の色特性を決定する請求項１記載の画像処理装置。
3. 前記決定手段は、前記部分領域に含まれる領域であって、前記環境光の分布情報に基づいて前記環境光が前記定められた強度以上で照射していると判定された領域である第１の領域の色情報と、前記部分領域に含まれる領域であって、前記環境光の分布情報に基づいて前記環境光が前記定められた強度以上で照射していないと判定された領域である第２の領域の色情報と、に基づいて、前記仮想光源の色特性を決定する請求項２記載の画像処理装置。
4. 前記決定手段は、前記第１の領域の色情報と、前記第２の領域の色情報と、に基づいて、前記第１の領域のブロックの数が多いほど、又は、前記第１の領域における前記環境光の強度が高いほど、前記第１の領域の色情報の重みが大きくなるように、前記仮想光源の色特性を決定する請求項３記載の画像処理装置。
5. 前記部分領域のブロックの数に対する前記第１の領域のブロックの数の割合が、第１の閾値より小さく、かつ、前記第１の閾値より小さい第２の閾値以上の場合、前記決定手段は、前記部分領域の前記第１の領域の色情報と、前記第２の領域の色情報と、に基づいて、前記仮想光源の色特性を決定する請求項３又は４記載の画像処理装置。
6. 前記部分領域のブロックの数に対する前記第１の領域のブロックの数の割合が、前記第１の閾値以上の場合、前記決定手段は、前記仮想光源の各色の強度が等しくなるように、前記仮想光源の色特性を決定する請求項５記載の画像処理装置。
7. 前記環境光の分布情報に基づいて、前記部分領域の周囲の領域における前記環境光の強度が、前記部分領域における前記環境光の強度より、定められた値以上高いと判定された場合、前記決定手段は、前記部分領域の色情報と、前記部分領域の周囲の領域の色情報と、に基づいて、前記仮想光源の色特性を決定する請求項１記載の画像処理装置。
8. 前記環境光の分布情報に基づいて、前記部分領域の周囲の領域における前記環境光の強度が、前記部分領域における前記環境光の強度より、定められた値以上高いと判定された場合、前記決定手段は、前記部分領域における前記環境光の強度と前記部分領域の周囲の領域における前記環境光の強度との差が大きいほど、前記部分領域の色情報の重みが大きくなるように、前記部分領域の色情報と、前記部分領域の周囲の領域の色情報と、に基づいて、前記仮想光源の色特性を決定する請求項７記載の画像処理装置。
9. 前記部分領域の周囲の領域における前記環境光の強度が、前記部分領域における前記環境光の強度より、前記定められた値以上高くないと判定された場合、前記決定手段は、前記仮想光源の各色の強度が等しくなるように、前記仮想光源の色特性を決定する請求項７又は８記載の画像処理装置。
10. 前記取得手段は、前記撮像画像の明るさ、色、及び、コントラストの何れかに基づいて前記環境光の前記分布情報を取得することを特徴とする請求項１乃至９何れか１項記載の画像処理装置。
11. 仮想光を照射した影響を撮像画像に反映させる画像処理装置であって、
    前記仮想光の影響を前記撮像画像に反映させる前に、前記仮想光の影響を反映させた場合の前記撮像画像に対する第１のホワイトバランス係数を決定する第１の決定手段と、
    前記第１の決定手段により決定された前記第１のホワイトバランス係数を用いて、前記撮像画像のホワイトバランスを調整する調整手段と、
    前記仮想光の影響を、前記撮像画像の部分領域に反映させる補正を行う補正手段と、
    を有する画像処理装置。
12. 前記第１の決定手段は、前記仮想光の影響を反映させた場合の前記部分領域の輝度値と、前記撮像画像の前記部分領域に含まれない領域の輝度値と、に基づいて、前記第１のホワイトバランス係数を決定する請求項１１記載の画像処理装置。
13. 前記第１の決定手段は、
    前記部分領域の色情報に基づいて、第２のホワイトバランス係数を決定し、
    前記撮像画像の前記部分領域に含まれない領域の色情報に基づいて、第３のホワイトバランス係数を決定し、
    前記第２のホワイトバランス係数と、前記第３のホワイトバランス係数と、前記仮想光の影響を反映させた場合の前記部分領域の輝度値と、前記撮像画像の前記部分領域に含まれない領域の輝度値と、に基づいて、前記第１のホワイトバランス係数を決定する請求項１１又は１２記載の画像処理装置。
14. 前記補正手段は、前記調整手段によってホワイトバランスが調整された前記撮像画像に対して、前記仮想光の影響を前記部分領域に反映させる補正を行う請求項１１乃至１３何れか１項記載の画像処理装置。
15. 前記撮像画像における環境光の分布情報に基づいて、前記仮想光の光源である仮想光源の色特性を決定する第２の決定手段と、
    前記調整手段によってホワイトバランスが調整された前記撮像画像における環境光の分布情報に基づいて、前記仮想光源の色特性を決定する第３の決定手段と、
    を更に有し、
    前記第１の決定手段は、前記第２の決定手段によって決定された前記仮想光源の色特性に応じた前記仮想光の前記部分領域への影響に基づいて、第１のホワイトバランス係数を決定し、
    前記補正手段は、前記調整手段によってホワイトバランスが調整された前記撮像画像を対象として、前記第３の決定手段によって決定された前記仮想光源の色特性に基づいて、前記仮想光の影響を、前記部分領域に反映させる補正を行う請求項１１乃至１４何れか１項記載の画像処理装置。
16. 仮想光を照射した影響を撮像画像に反映させる画像処理装置の制御方法であって、
    撮像画像における環境光の分布情報を取得する取得ステップと、
    前記取得ステップにより取得された前記環境光の分布情報に基づいて、前記仮想光の光源である仮想光源の色特性を決定する決定ステップと、
    前記決定ステップによって決定された前記仮想光源の色特性に基づいて、前記仮想光の影響を、前記撮像画像の部分領域に反映させる補正を行う補正ステップと、
    を含む画像処理装置の制御方法。
17. 仮想光を照射した影響を撮像画像に反映させる画像処理装置の制御方法であって、
    前記仮想光の影響を前記撮像画像に反映させる前に、前記仮想光の影響を反映させた場合の前記撮像画像に対するホワイトバランス係数を決定する決定ステップと、
    前記決定ステップにより決定された前記ホワイトバランス係数を用いて、前記撮像画像のホワイトバランスを調整する調整ステップと、
    前記仮想光の影響を、前記撮像画像の部分領域に反映させる補正を行う補正ステップと、
    を含む画像処理装置の制御方法。
18. コンピュータを、請求項１乃至１５何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。

Images