JP7398939B2

JP7398939B2 - 画像処理装置およびその制御方法、撮像装置、プログラム、並びに記憶媒体

Info

Publication number: JP7398939B2
Application number: JP2019219075A
Authority: JP
Inventors: 尚子渡澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-12-03
Filing date: 2019-12-03
Publication date: 2023-12-15
Anticipated expiration: 2039-12-03
Also published as: US11368630B2; CN112911161B; JP2021089534A; CN112911161A; US20210168274A1; EP3832592A1

Description

本発明は、画像中の被写体の明るさを補正する画像処理技術に関する。

従来、撮影画像中の被写体に対して、仮想的な光源からの光を照射して陰影を補正する、リライティング（Ｒｅｌｉｇｈｔｉｎｇ：再照明）処理を行う技術が知られている。リライティング処理により、環境光源によって生じた被写体の陰影などを明るくした画像を得ることが可能となる。

また、画像中の被写体領域を検出する方法として、被写体までの距離情報を用いる方法がある。また、距離情報を取得する方式には、複数の視点位置から画像を取得し、各画像中の画素の対応関係から算出される視差を用いて、三角測量の原理に基づき距離を算出するステレオ方式がある。また、焦点位置や絞りなどの異なる撮影条件で取得された複数の画像のぼけ状態を解析して距離を算出するＤＦＤ方式（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ）方式やＤＦＦ（ＤｅｐｔｈＦｒｏｍＦｏｃｕｓ）方式などがある。被写体の距離情報を用いることにより、仮想光源から被写体までの距離に応じて仮想光源から照射される光量（強度）を制御することが可能となる。

特許文献１には、撮影画像の被写体の所定領域の陰影の状態を検出し、検出された陰影の状態から仮想光源の特性を決定し、決定した特性を有する仮想光源で光を照射したときの陰影の状態になるように撮影画像を補正するリライティング処理が記載されている。

特開２０１６－７２６９４号公報

特許文献１では、距離情報を用いてリライティング処理を行っているが、距離情報を取得しにくい撮影条件や撮影シーンでは距離情報の精度が低くなる。この場合、リライティング処理により明るくした領域が処理対象の被写体領域からはみ出してしまうなど、リライティング処理後の画像が不自然になることがある。

本発明は、上記課題に鑑みてなされたものであり、リライティング処理後の画像の不自然さを低減することを目的とする。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、画像中の被写体の領域情報を検出する検出手段と、前記被写体の領域情報から当該被写体の一部である所定の被写体領域を検出し、当該所定の被写体領域の周辺の輝度情報を取得する取得手段と、仮想光源から照射される仮想光を用いて画像中の被写体の明るさを補正する処理を行うリライティング手段と、を有し、前記リライティング手段は、前記所定の被写体領域の周辺の輝度が所定の輝度範囲に含まれる場合、前記所定の被写体領域の周辺の輝度が高いほど前記仮想光の効果が弱くなるように前記所定の被写体領域を含む被写体の明るさを補正する。

本発明によれば、リライティング処理後の画像の不自然さを低減することが可能となる。

本実施形態の装置構成を示すブロック図。本実施形態の画像処理部の構成を示すブロック図。本実施形態の画像処理部の処理を示すフローチャート。本実施形態のリライティング処理部の構成を示すブロック図。本実施形態の仮想光源からの仮想光の反射を説明する模式図。本実施形態の仮想光源のパラメータの説明図。本実施形態のリライティング処理前後の画像の一例を示す図。本実施形態のリライティング処理を示すフローチャート。本実施形態の被写体周辺の輝度取得方法を説明する図。本実施形態の被写体周辺の輝度と仮想光源の光強度との関係を説明する図。本実施形態の仮想光源のパラメータを説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］以下、本実施形態の画像処理装置として、例えば、静止画や動画を撮影可能なデジタルカメラなどの撮像装置に適用した例について説明する。なお、本実施形態では、撮像装置１００としてデジタルカメラを例示しているが、カメラ付き携帯電話やその一種であるスマートフォン、タブレット端末、カメラ付きのパーソナルコンピュータ（ＰＣ）などの情報処理装置であってもよい。

＜装置構成＞まず、図１を参照して、本実施形態の撮像装置の構成および機能について説明する。

本実施形態の撮像装置１００は、ある光源環境で撮影された画像中の被写体に対して、仮想光源から仮想的な光（仮想光）を照射することで陰影を補正（変更）するリライティング（Ｒｅｌｉｇｈｔｉｎｇ：再照明）処理を行う機能を有する。

図１において、撮影レンズ１０１はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０２は絞り機能を備える。撮像部１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子などで構成される撮像素子である。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ信号をデジタル信号に変換する。

画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データまたはメモリ制御部１０７を介して画像メモリ１０６から読み出された画像データに対し、ホワイトバランス（ＷＢ）処理などの色変換処理、ガンマ処理、輪郭強調処理、色補正処理などの各種画像処理を行う。

メモリ制御部１０７は、画像メモリ１０６を制御する。画像メモリ１０６は、Ａ／Ｄ変換器１０４から出力される画像データや、表示部１０９に表示するための画像データを格納する。画像メモリ１０６は、所定枚数の静止画像や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。また、画像メモリ１０６は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤや有機ＥＬなどの表示器である。

コーデック部１１０は、画像メモリ１０６に書き込まれた画像データをＪＰＥＧ、ＭＰＥＧやＨ．２６４などの所定のフォーマットおよびビットレートで圧縮符号化して映像ファイルを生成し、記録媒体１１２に記録する。また、コーデック部１１０は、記録媒体１１２に記録されている映像ファイルを所定のフォーマットおよびビットレートで復号し、画像メモリ１０６に格納する。

記録媒体Ｉ／Ｆ１１１は、記録媒体１１２へのアクセスを制御するインターフェースである。記録媒体１１２は、撮影された画像データを記録するための内蔵および／または着脱可能なメモリカードやＨＤＤ（ハードディスクドライブ）などである。

顔検出部１１３は、撮影画像中の被写体として人物の顔および顔の器官の領域の情報（以下、顔領域情報）を検出する。

リライティング処理部１１４は、撮影画像中の被写体に仮想光を当てて明るさを補正するリライティング処理を行う。リライティング処理の詳細は後述する。

操作部１１５は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネルなどの操作部材であり、電源スイッチ、シャッターボタン、録画開始・終了ボタンなどを含む。操作部１１５は、システム制御部１２０に各種の操作状態を通知する。

システム制御部１２０は、不揮発性メモリ１１６に格納されたプログラムを実行することで、後述するフローチャートの処理を実現する。１１７はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１１７には、システム制御部１２０の動作用の定数、変数、不揮発性メモリ１１６から読み出したプログラムなどを展開する。また、システム制御部１２０は画像メモリ１０６、Ｄ／Ａ変換器１０８、表示部１０９などを制御することにより表示制御も行う。

距離検出部１１８は、撮影画像中の被写体までの距離を計測し、図４で後述する距離算出部４０３が撮影画素の画素単位に対応する距離情報を２次元の距離マップとして算出する。

次に、本実施形態の撮像装置１００の撮影処理について説明する。

撮像部１０３は、撮影レンズ１０１およびシャッター１０２を介して入射した光を光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル信号に変換し画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、色変換処理、ガンマ処理、輪郭強調処理などを行う。また、画像処理部１０５では、顔検出部１１３により検出された顔領域情報や、撮像画像データを用いて所定の評価値算出処理（不図示）を行い、得られた評価値に基づいてシステム制御部１２０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている表示用の画像データをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤなどの表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に格納された画像データを所定の形式で圧縮符号化する。システム制御部１２０は符号化した画像データを関連付けて、記録媒体Ｉ／Ｆ１１１を介して記録媒体１１２に格納する。

＜画像処理部＞次に、図２および図３を参照して、本実施形態の画像処理部１０５の構成および機能について説明する。

図２において、画像処理部１０５は、同時化処理部２００、ＷＢ増幅部２０１、輝度・色信号生成部２０２、輪郭強調処理部２０３、輝度ガンマ処理部２０４、色変換処理部２０５、色ガンマ処理部２０６、色差信号生成部２０７、被写体情報検出部２０８を含む。システム制御部１２０は、不揮発性メモリ１１６に格納されたプログラムを、システムメモリ１１７に読み出して実行することにより、画像処理部１０５の各部を制御する。

次に、図３のフローチャートを参照して、本実施形態の画像処理部１０５の処理を説明する。

なお、本実施形態では、撮像部１０３はベイヤー配列のカラーフィルタにより覆われ、撮像部１０３の各画素からＲ、Ｇ、Ｂのいずれかの画像信号が出力されるものとする。

Ｓ３０１では、Ａ／Ｄ変換器１０４から画像処理部１０５に入力された画像信号は同時化処理部２００に入力される。同時化処理部２００は入力されたベイヤーＲＧＢの画像データに対して、同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。

Ｓ３０２では、ＷＢ増幅部２０１は、システム制御部１２０が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。

Ｓ３０３では、ＷＢ増幅部２０１から出力されるＲＧＢ信号が輝度・色信号生成部２０２に入力される。輝度・色信号生成部２０２はＲＧＢ信号から輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０３、色信号ＲＧＢを色変換処理部２０５へ出力する。

Ｓ３０４では、輪郭強調処理部２０３は、輝度信号Ｙに対して輪郭強調処理を行い、輝度ガンマ処理部２０４へ出力する。輝度ガンマ処理部２０４は輝度信号Ｙに対してガンマ補正を行い、画像メモリ１０６に出力する。色変換処理部２０５では、色信号ＲＧＢに対してマトリクス演算などを行い、所望のカラーバランスへ変換し、色ガンマ処理部２０６と被写体情報検出部２０８へ出力する。

Ｓ３０５では、被写体情報検出部２０８は、顔検出部１１３から出力される顔領域情報ならびに色変換処理部２０５から出力される色信号ＲＧＢから、撮影画像における被写体情報を検出する。被写体情報は、撮影画像中の被写体の人数、位置、顔の大きさ、コントラストや陰影情報などを含む。例えば、被写体の人数、位置、顔の大きさの情報は、顔検出部１１３から出力される各顔および器官の座標位置情報から検出し、コントラストや陰影情報は、撮影画像全体及び各被写体の平均輝度情報や輝度ヒストグラム情報から検出する。

Ｓ３０６では、輝度ガンマ処理部２０４は、輝度信号Ｙに対してガンマ補正を行い、メモリ制御部１０７を介してガンマ補正した輝度信号Ｙを画像メモリ１０６に出力する。色ガンマ処理部２０６は、色信号ＲＧＢにガンマ補正を行い、色差信号生成部２０７に出力する。

Ｓ３０７では、色差信号生成部２０７は、ＲＧＢ信号から色差信号Ｒ－Ｙ、Ｂ－Ｙ信号を生成し、メモリ制御部１０７を介して画像メモリ１０６に出力する。画像メモリ１０６に格納された輝度Ｙおよび色差信号Ｒ－Ｙ、Ｂ－Ｙは、コーデック部１１０によって圧縮符号化され、記録媒体１１２に記録される。

＜リライティング処理部＞次に、図４を参照して、本実施形態のリライティング処理部１１４の構成および機能について説明する。

リライティング処理部１１４は、画像処理部１０５により処理されて画像メモリ１０６に記憶された輝度信号Ｙおよび色差信号Ｂ－Ｙ、Ｒ－Ｙを入力し、リライティング処理を行う。

図４において、ＲＧＢ信号変換部４０１は、入力された輝度信号Ｙおよび色差信号Ｂ－Ｙ、Ｒ－ＹをＲＧＢ信号に変換し、デガンマ処理部４０２へ出力する。デガンマ処理部４０２は、画像処理部１０５の輝度ガンマ処理部２０４および色ガンマ処理部２０６におけるガンマ補正のガンマ特性と逆の特性の演算（デガンマ処理）を行い、リニアデータに変換する。そして、デガンマ処理部４０２は、リニアデータに変換後のＲＧＢ信号（Ｒｔ、Ｇｔ、Ｂｔ）を、仮想光源反射成分算出部４０８および仮想光源付加処理部４０９に出力する。

距離算出部４０３は、距離検出部１１８から取得した被写体の距離情報から、距離マップを算出する。距離マップは、撮影画像の画素単位で得られる２次元の被写体距離情報に基づいて算出される。

被写体領域算出部４０４は、被写体情報検出部２０８から入力される被写体情報と、距離算出部４０３から入力される距離マップとから被写体領域マップを算出する。被写体領域マップは、被写体までの距離を簡易的に示すマップであり、主要被写体の距離値に対して所定の距離範囲にある領域を被写体領域として、画素値として所定の固定値で表現される。また、被写体以外の領域を背景領域として、画素値を無限遠として扱う。法線算出部４０５は、被写体領域算出部４０４で算出した被写体領域マップを入力し、被写体の形状を表す形状情報として法線マップを算出する。法線マップは、公知の方法を用いて生成されるものとする。

法線算出部４０５は、撮影画像の各画素に対応する法線Ｎの情報を法線マップとして仮想光源反射成分算出部４０８に出力する。

被写体周辺輝度取得部４０６は、被写体情報検出部２０８から入力される撮影画像中の被写体情報、もしくは、被写体領域算出部４０４で算出される被写体領域マップを用いて被写体周辺の領域の輝度情報を取得する。

なお、距離算出部４０３、被写体領域算出部４０４、法線算出部４０５、被写体周辺輝度取得部４０６は、リライティング処理部１１４の内部に構成されるものとして説明したが、これに限られない。例えば、距離検出部１１８や画像処理部１０５の内部に構成してもよいし、独立した構成としてもよい。

仮想光源設定部４０７は、画像処理部１０５の被写体情報検出部２０８から入力される被写体情報と、被写体周辺輝度取得部４０６で取得した被写体周辺の輝度情報とを用いて仮想光源のパラメータを設定する。例えば、被写体情報から、被写体の顔全体の輝度値が低いと判定された場合、顔の明るさを全体的に明るくするよう、顔全体が仮想光源の照射範囲に含まれるように、仮想光源の位置、照射範囲、強度などのパラメータを制御する。また、被写体周辺の輝度情報から、被写体周辺の輝度値が所定の輝度範囲に含まれていると判定された場合、被写体領域算出部４０４で算出した被写体領域マップが実際の被写体領域からはみ出していたとしても、そのはみ出しが目立たないように仮想光源の位置、仮想光の照射範囲および強度などのパラメータを制御する。仮想光源のパラメータ制御方法の詳細は後述する。

ここで、図６に示すように被写体が１人の人物である場合を例として、仮想光源を設定するパラメータについて説明する。図６（ａ）は、被写体と仮想光源の位置関係を示す斜視図である。図６（ｂ）は、被写体と仮想光源の位置関係を示す平面図である。

仮想光源の位置は、仮想光源と被写体までの距離を短くすれば仮想光は被写体に強く当たるようになり、反対に被写体までの距離を長くすれば仮想光は被写体に弱く当たるようになる。仮想光の照射範囲は、仮想光の照射範囲を広くすれば被写体全体に光を当てることができ、反対に照射範囲を狭くすれば被写体の一部にだけ光を当てることができる。また、仮想光の強度は、仮想光の強度を強くすれば、被写体に強く光を当てることになり、反対に強度を弱くすれば、被写体に弱く光を当てることになる。

仮想光源反射成分算出部４０８では、光源と被写体領域マップによる被写体の距離Ｋ、法線マップによる法線情報Ｎおよび仮想光源設定部４０７が設定した仮想光源のパラメータに基づいて、仮想光のうち、被写体により反射される成分を算出する。具体的には、仮想光源と各画素に対応する被写体部分との距離Ｋの二乗に反比例し、法線Ｎのベクトルと光源方向Ｌのベクトルの内積に比例するように、撮影画像の座標位置に対応する被写体部分における仮想光の反射成分を算出する。

ここで、図５を用いて仮想光の反射成分の算出方法について説明する。なお、図５では説明の容易化のために撮影画像の水平方向についてのみ示しているが、上述したように、紙面に対して垂直な方向が撮影画像の垂直方向となる。以下では、撮影画像における水平画素位置Ｈ１と不図示の垂直画素位置Ｖ１に対応する、被写体５０１上の点Ｐ１における仮想光の反射成分の算出方法について説明する。

図５において、仮想光源５０２は被写体５０１に対して設定された仮想光源である。撮像装置１００で撮影された画像の位置（Ｈ１，Ｖ１）における仮想光の反射成分は、被写体５０１の点Ｐ１における法線ベクトルＮ１と仮想光源５０２の光源方向ベクトルＬ１との内積に比例し、仮想光源５０２と点Ｐ１との距離Ｋ１の二乗に反比例する値となる。なお、法線ベクトルＮ１と光源方向ベクトルＬ１は、水平方向、垂直方向および奥行き方向（図５の距離Ｄで示す方向）からなる３次元のベクトルである。この関係を数式で表すと、仮想光の被写体５０１の点Ｐ１における反射成分（Ｒａ、Ｇａ、Ｂａ）は、式１で表される。
（式１）
Ｒａ＝α×（－Ｌ１・Ｎ１）／Ｋ１^２×Ｒｔ
Ｇａ＝α×（－Ｌ１・Ｎ１）／Ｋ１^２×Ｇｔ
Ｂａ＝α×（－Ｌ１・Ｎ１）／Ｋ１^２×Ｂｔ
ここで、αは仮想光の強度であり、リライティング補正量のゲイン値、Ｒｔ、Ｇｔ、Ｂｔはデガンマ処理部４０２から出力されたＲＧＢ信号である。

上記式１により算出された仮想光の反射成分（Ｒａ、Ｇａ、Ｂａ）は、仮想光源付加処理部４０９へ出力される。仮想光源付加処理部４０９では、仮想光の反射成分（Ｒａ、Ｇａ、Ｂａ）をデガンマ処理部４０２から出力されたＲＧＢ信号に付加する、式２を用いた演算を行う。
（式２）
Ｒｏｕｔ＝Ｒｔ＋Ｒａ
Ｇｏｕｔ＝Ｇｔ＋Ｇａ
Ｂｏｕｔ＝Ｂｔ＋Ｂａ
仮想光源付加処理部４０９によりリライティング処理されたＲＧＢ信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）は、ガンマ処理部４１０に入力され、ガンマ補正が行われる。そして、輝度・色差信号生成部４１１では、ガンマ処理されたＲＧＢ信号（Ｒ’ｏｕｔ、Ｇ’ｏｕｔ、Ｂ’ｏｕｔ）から輝度信号Ｙおよび色差信号Ｒ－Ｙ、Ｂ－Ｙ信号を生成して出力する。

図７は、リライティング処理部１１４によるリライティング処理前後の画像の一例を示し、図７（ａ）はリライティング処理前の画像の一例を示し、図７（ｂ）はリライティング処理後の画像の一例を示している。図７（ａ）に示すように暗かった被写体が仮想光を当ててリライティング処理をすることで、図７（ｂ）に示すように被写体の明るさが補正されている。

システム制御部１２０は、リライティング処理部１１４から出力された輝度信号Ｙおよび色差信号Ｒ－Ｙ、Ｂ－Ｙを、メモリ制御部１０７を制御して画像メモリ１０６に記憶する。その後、コーデック部１１０を制御して圧縮符号化を行い、記録媒体Ｉ／Ｆ１１１により記録媒体１１２に記録される。

次に、図８のフローチャートを参照して、本実施形態のリライティング処理部１１４によるリライティング処理について説明する。なお、図８の処理は、システム制御部１２０が不揮発性メモリ１１６に格納されたプログラムを、システムメモリ１１７に読み出して実行し、画像処理部１０５やリライティング処理部１１４を含む各部を制御することにより実現される。また、図８の処理は、操作部１１５を介したユーザからの操作によってリライティング処理が選択されている場合に、画像処理部１０５によって処理されて、画像メモリ１０６に記憶した画像信号（輝度信号Ｙおよび色差信号Ｒ－Ｙ、Ｂ－Ｙ）を対象として実行される。

Ｓ８０１では、被写体領域算出部４０４は、被写体情報検出部２０８から被写体情報を取得する。

Ｓ８０２では、距離算出部４０３は、距離検出部１１８から取得した被写体の距離情報から距離マップを生成する。

Ｓ８０３では、被写体領域算出部４０４は、Ｓ８０２で生成した距離マップが示す距離Ｋを用いて被写体領域マップ（ｍａｐＫ）を生成する。被写体領域マップは、被写体までの距離を簡易的に示し、主要被写体の距離値に対して所定の距離範囲にある領域を被写体領域として、画素値として所定の固定値で表現する。また、被写体以外の領域を背景領域として、画素値を無限遠として扱う。具体的には、Ｓ８０２で生成した距離マップを用いて、主要被写体の距離値と所定の距離範囲にある領域を被写体領域として所定の固定値で表現して被写体領域マップ（ｍａｐＫ）とする。

Ｓ８０４では、法線算出部４０５は、被写体領域算出部４０４から取得した被写体領域マップを用いて、被写体の一部の領域である所定の被写体領域を含む被写体全体の形状を表す形状情報である法線マップ（ｍａｐＮ）を生成する。なお、所定の被写体領域は、被写体全体のうちの一部の領域であり、例えば被写体が人物である場合、顔と胴体を含む被写体全体のうちの顔領域に相当し、また、例えば被写体が帽子をかぶっていたり、乗り物に乗っている人物である場合、帽子や乗り物を含む被写体全体のうちの顔と胴体の領域に相当する。

Ｓ８０５では、被写体周辺輝度取得部４０６は、被写体情報検出部２０８から入力される撮影画像中の被写体情報、もしくは、被写体領域算出部４０４で算出される被写体領域マップを用いて、所定の被写体領域周辺の輝度情報を取得する。ここで、図９を用いて、所定の被写体領域周辺の輝度情報の取得方法について説明する。図９に示すように、撮影画像全体を複数のブロックに分割し、所定の被写体領域の周辺に該当するブロックごとの輝度情報を評価することで、所定の被写体領域の周辺の輝度情報を取得する。例えば、顔検出部１１３により検出された顔領域情報を用いて所定の被写体領域の周辺の輝度情報を取得する場合は、図９（ａ）の斜線部９０１に示した顔周辺のブロックごとの輝度値の平均値を算出する。また、例えば、被写体領域算出部４０４により算出された被写体領域マップを用いて所定の被写体領域の周辺の輝度情報を取得する場合は、図９（ｂ）の斜線部９０２に示した顔周辺も含めた体全体の周辺のブロックごとの輝度値の平均値を算出する。

Ｓ８０６では、仮想光源設定部４０７は、Ｓ８０５で被写体周辺輝度取得部４０６が取得した輝度情報に基づいて仮想光源による重み付けマップを生成する。重み付けマップは、仮想光源の光源方向ベクトル－Ｌを画素単位で算出し、各ベクトルの座標軸方向に対する方向余弦を求める。そして、画素単位で、方向余弦を任意のビット幅で表現して仮想光源による重み付けマップ（ｍａｐＬ）とする。

仮想光源の光源ベクトル－Ｌを算出するための仮想光源の位置や仮想光の強度のパラメータは、Ｓ８０１において取得した被写体情報検出部２０８から入力される被写体情報を用いて決定される。

例えば、被写体の顔領域内の輝度分布が偏っていた場合、輝度値が低い領域に仮想光が当たるように仮想光源の位置、仮想光の強度を決定する。

例えば、輝度値が低い領域の撮影画像における座標が（ｘ１，ｙ１）とすると、仮想光の被写体による反射成分（Ｒａ（ｘ１，ｙ１）、Ｇａ（ｘ１，ｙ１）、Ｂａ（ｘ１，ｙ１））は、式３で表される。
（式３）
Ｒａ（ｘ１，ｙ１）＝α×（－Ｌ（ｘ１，ｙ１）・Ｎ（ｘ１，ｙ１））／Ｋ（ｘ１，ｙ１）^２×Ｒｔ
Ｇａ（ｘ１，ｙ１）＝α×（－Ｌ（ｘ１，ｙ１）・Ｎ（ｘ１，ｙ１））／Ｋ（ｘ１，ｙ１）^２×Ｇｔ
Ｂａ（ｘ１，ｙ１）＝α×（－Ｌ（ｘ１，ｙ１）・Ｎ（ｘ１，ｙ１））／Ｋ（ｘ１，ｙ１）^２×Ｂｔ
なお、式３において、αは仮想光の強度であり、被写体周辺輝度取得部４０６が取得した輝度情報に基づいて仮想光の強度αを制御する。仮想光の強度αの制御方法の詳細は後述する。また、Ｌ（ｘ１，ｙ１）は、座標（ｘ１，ｙ１）に対応する被写体上の位置における仮想光源の光源方向ベクトル、Ｎ（ｘ１，ｙ１）は、法線マップの座標（ｘ１，ｙ１）に対応する被写体上の位置における法線ベクトルである。さらに、Ｋ（ｘ１，ｙ１）は、仮想光源と被写体領域マップの座標（ｘ１，ｙ１）に対応する被写体上の位置との距離を示す。仮想光が輝度値の低い領域である座標（ｘ１，ｙ１）にある被写体に当たるようにするには、（Ｒａ（ｘ１，ｙ１）、Ｇａ（ｘ１，ｙ１）、Ｂａ（ｘ１，ｙ１））が正の値となるように制御する。

ここで、図１０を参照して、被写体周辺輝度取得部４０６が取得した輝度情報に基づき、仮想光の強度αを制御する方法について説明する。

図１０（ａ）は、画像処理部１０５における輝度ガンマ処理部２０４の入出力のガンマ特性を示している。輝度値がＹＡからＹＢの範囲では、ガンマ特性はカーブになっていて、入力に対する出力の変化が大きい。反対に輝度値が高いＹＢからＹＣの範囲では、ガンマ特性は飽和しつつあり、入力に対して出力の変化が小さい。デガンマ処理部４０２は、輝度ガンマ処理部２０４におけるガンマ補正のガンマ特性と逆の特性の演算（デガンマ処理）を行うので、例えば図１０（ａ）に示したガンマ特性の場合、輝度ガンマ処理部２０４において、ＹＡをＹＡ’、ＹＢをＹＢ’、ＹＣをＹＣ’に変換し、デガンマ処理部４０２において、ＹＡ’をＹＡ、ＹＢ’をＹＢ、ＹＣ’をＹＣに変換することになる。

リライティング処理は、式１および式２で示したように、仮想光の被写体による反射成分（Ｒａ、Ｇａ、Ｂａ）をデガンマ処理部４０２から出力されたＲＧＢ信号に付加する処理である。仮想光の被写体による反射成分（Ｒａ、Ｇａ、Ｂａ）は、デガンマ処理部４０２から出力されたＲＧＢ信号であるＲｔ、Ｇｔ、Ｂｔに、法線ベクトルＮ１と仮想光源の光源方向ベクトルＬ１との内積に比例し、距離Ｋ１の二乗に反比例して表される。よって、光源方向ベクトルＬ１、距離Ｋ１が同一の場合は、Ｒｔ、Ｇｔ、Ｂｔが大きいほど、つまり輝度値が大きいほど仮想光の被写体による反射成分（Ｒａ、Ｇａ、Ｂａ）が大きくなる。ただし、仮想光源付加処理部４０９において反射成分（Ｒａ、Ｇａ、Ｂａ）をデガンマ処理部４０２から出力されたＲＧＢ信号に付加した後に、ガンマ処理部４１０において輝度ガンマ処理部２０４と同様の特性のガンマ処理を行うため、反射成分（Ｒａ、Ｇａ、Ｂａ）が大きすぎてもガンマ処理部４１０におけるガンマ特性が飽和しているため、リライティング処理前後の差としては大きくならない。よって、被写体周辺輝度取得部４０６は、リライティング処理前後の差が大きくなる輝度値がＹＡからＹＢの範囲内（ガンマ特性のカーブが急峻であり、輝度が低すぎず、高すぎない範囲）である場合は、図１０（ｂ）に示したように、被写体周辺輝度値がＹＡからＹＢの範囲内における輝度値が高いほど、仮想光の強度αが小さくなるよう制御する。また、輝度値が０からＹＡまでの範囲は、輝度値が低く、リライティング処理前後の差が大きくならないため、仮想光の強度αが大きくなるよう制御する。また、ガンマ特性が飽和しつつある輝度値がＹＢからＹＣの範囲は、リライティング処理前後の差が大きくならないため、輝度値が高いほど、仮想光の強度αが大きくなるように制御する。

また、図１１に示すように仮想光源と被写体との距離Ｋ（ｘ１，ｙ１）のパラメータを制御してもよい。図１１（ａ）～（ｃ）は被写体と仮想光源と位置関係を示す平面図である。例えば、Ｓ８０９で取得した被写体周辺輝度値がＹＡからＹＢの範囲内における輝度値が高いほど、図１１（ａ）の仮想光源の位置を図１１（ｂ）の仮想光源の位置へと被写体からの仮想光源の距離を遠くするよう設定してもよい。

また、仮想光源の照射範囲のパラメータを制御してもよい。照射範囲のパラメータは、被写体情報検出部２０８で取得した被写体情報の顔領域内の輝度分布情報と、被写体周辺輝度取得部４０６で取得した被写体周辺の輝度情報を用いて決定する。例えば、被写体周辺輝度取得部４０６で取得した被写体周辺輝度値がＹＡからＹＢの範囲内における輝度値が高いほど、被写体周辺に仮想光源が当たらないように制御する。つまり、図１１（ａ）の仮想光源の照明範囲を図１１（ｃ）の仮想光源の照明範囲のように被写体のみに仮想光源が当たるよう照射範囲を狭めるよう制御する。

上述した処理により、仮想光源設定部４０７は仮想光源の位置、仮想光の強度、照射範囲を算出する。

図８の説明に戻り、Ｓ８０７では、仮想光源反射成分算出部４０８は、検出された被写体の領域について、仮想光の反射成分（Ｒａ、Ｇａ、Ｂａ）を算出する。なお、反射成分（Ｒａ、Ｇａ、Ｂａ）は前述したように式１を用いて算出することができる。Ｓ８０３で生成される距離を表す被写体領域マップ（ｍａｐＫ）、Ｓ８０４の被写体の法線による重み付けマップ（ｍａｐＮ）、Ｓ８０６の仮想光源による重み付けマップ（ｍａｐＬ）を用いて、式１の演算を画素単位で行うことで、仮想光の反射成分（Ｒａ、Ｇａ、Ｂａ）を算出する。

Ｓ８０８では、リライティング処理を行う。上記式２に示すように、Ｓ８０６で算出した仮想光の反射成分（Ｒａ、Ｇａ、Ｂａ）を、仮想光源付加処理部４０９において、デガンマ処理部４０２の出力（Ｒｔ、Ｇｔ、Ｂｔ）と加算する。リライティング処理が完了すると、リライティング処理部１１４による処理を終了する。

以上のように、リライティング処理部１１４は撮影画像中の被写体のリライティング処理を行う。距離情報の精度が低い場合においても、被写体周辺の輝度に応じて仮想光源のパラメータを制御することによって被写体領域に対して実施したリライティング処理結果の不自然さを低減することが可能となる。

また、本実施形態では、撮像装置としてデジタルカメラを例に説明したが、パーソナルコンピュータなどの情報処理装置に適用する場合、カメラなどで撮影した画像を取得し、取得した画像に対してユーザが任意に仮想光源のパラメータを設定してリライティング処理を行う構成であってもよい。画像と共に、顔検出結果、距離情報、被写体領域情報、法線情報、被写体周辺輝度情報などの付加情報があれば、それらの情報を用いてリライティング処理を行ってもよい。

また、本実施形態では、距離検出部１１８を用いて距離情報を取得する例を説明したが、これに限るものではない。撮像光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像の位相差に基づいて距離情報を取得する構成であってもよい。

また、本実施形態では、仮想光源が１つの場合について説明したが、これに限るものではない。例えば、１つの仮想光源は被写体に対し左斜め上から、もう１つの仮想光源は被写体に対し右斜め上からといったように、複数の仮想光源でリライティング処理する構成であってもよい。

また、本実施形態では、加算光により明るく補正する場合について述べたが、暗くするリライティング処理を行ってもよい。その場合、仮想光源の仮想光強度αのゲイン値をマイナス（減算光）にする。また被写体に鏡面反射光を付加する構成にしてもよい。このように、複数の種類のいずれかを選択して仮想光とすることができる。

また、仮想光源の位置と対象画素の距離Ｄの算出方法は、本実施形態に限定するものではなく、どのような算出方法を用いてもよい。例えば、カメラの位置および被写***置を３次元位置として取得し、３次元での距離で計算してもよい。

また、仮想光の反射成分を付加する場合に、距離の二乗に反比例する式で計算したが、仮想光の反射成分の付加量の計算式はこれに限定するものではない。例えば、距離Ｄに反比例するものや、ガウス分布的に照射範囲が変化する式であってもよい。

また、本実施形態では、被写体として顔および器官を検出する例を説明したが、これに限るものではなく、人物以外の被写体を検出してもよい。また、複数の被写体検出方法を用いてもよい。例えば、撮影画像から、パターン認識や機械学習に基づく方法により、人物の頭部が存在する領域を検出する頭部検出や、猫や犬などといったペットを検出するペット検出などを用いてもよい。

また、本実施形態では、人物を被写体として検出する場合について説明したが、これに限るものではなく、人物以外の被写体（例えば、車、動物、植物など）を検出してもよい。

［他の実施形態］
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神および範囲から離脱することなく、様々な変更および変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０５…画像処理部、１１３…顔検出部、１１４…リライティング処理部、１２０…システム制御部、２０８…被写体情報検出部、４０３…距離算出部、４０４…被写体領域算出部、４０６…被写体周辺輝度取得部

Claims

画像中の被写体の領域情報を検出する検出手段と、
前記被写体の領域情報から当該被写体の一部である所定の被写体領域を検出し、当該所定の被写体領域の周辺の輝度情報を取得する取得手段と、
仮想光源から照射される仮想光を用いて画像中の被写体の明るさを補正する処理を行うリライティング手段と、を有し、
前記リライティング手段は、前記所定の被写体領域の周辺の輝度が所定の輝度範囲に含まれる場合、前記所定の被写体領域の周辺の輝度が高いほど前記仮想光の効果が弱くなるように前記所定の被写体領域を含む被写体の明るさを補正することを特徴とする画像処理装置。
前記被写体までの距離を示す距離情報を生成する生成手段をさらに有し、
前記検出手段は、前記距離情報に基づいて前記被写体の領域情報を検出することを特徴とする請求項１に記載の画像処理装置。
前記取得手段は、前記被写体の領域情報に基づいて前記所定の被写体領域の周辺の輝度情報を取得することを特徴とする請求項１または２に記載の画像処理装置。
前記リライティング手段は、前記所定の被写体領域の周辺の輝度が高いほど前記所定の被写体領域を含む被写体に照射される仮想光が弱くなるように前記仮想光源のパラメータを制御することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記リライティング手段は、前記所定の被写体領域の周辺の輝度が高いほど前記被写体に仮想光が当たらないように前記仮想光源のパラメータを制御することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記仮想光源のパラメータは、前記仮想光源の位置、前記仮想光の照射範囲および強度を含むことを特徴とする請求項４または５に記載の画像処理装置。
前記仮想光源のパラメータは、被写体を明るくする加算光、被写体を暗くする減算光、被写体に鏡面反射を付加する鏡面反射光を含む、複数の仮想光のいずれかを示すパラメータを含むことを特徴とする請求項４または５に記載の画像処理装置。
被写体を撮像して画像データを生成する撮像手段と、
請求項１から７のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
画像中の被写体の領域情報を検出するステップと、
前記被写体の領域情報から当該被写体の一部である所定の被写体領域を検出し、当該所定の被写体領域の周辺の輝度情報を取得するステップと、
仮想光源から照射される仮想光を用いて画像中の被写体の明るさを補正する処理を行うステップと、を有し、
前記処理を行うステップでは、前記所定の被写体領域の周辺の輝度が所定の輝度範囲に含まれる場合、前記所定の被写体領域の周辺の輝度が高いほど前記仮想光の効果が弱くなるように前記所定の被写体領域を含む被写体の明るさを補正することを特徴とする画像処理装置において実行される制御方法。
コンピュータを、請求項１から７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１から７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。