JP6463177B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理装置およびその制御方法に関し、特には画像の明るさおよび鮮鋭度を補正する技術に関する。

従来、画像中の被写体に対して、仮想的な光源からの光を照射することで、明るさを補正する技術（リライティング）が知られている（特許文献１）。これにより、環境光によって生じた影などの暗部領域を明るくすることができ、例えば黒つぶれした部分に存在する被写体が判別できるように画像を補正することが可能となる。

例えば顔領域に対してリライティングを行う場合、顔領域全体の平均輝度よりも低い輝度領域を影領域として抽出し、影領域の明度を上げることで、他の領域の明るさに影響を与えずに顔領域の影を抑制することができる。

特開２０１０−１３５９９６号公報

特許文献１の方法では、影領域の明度を、ゲインアップにより上昇させている。しかしながら、ゲインアップを用いた場合、信号成分だけでなくノイズ成分も増幅され、補正後の領域のＳ／Ｎが低下する。特許文献１では、このＳ／Ｎの低下を抑制するため、ノイズ除去フィルタを適用しているが、ノイズ除去処理は平滑化処理であるため、画像の鮮鋭度が低下する可能性がある。

本発明はこのような従来技術の課題に鑑みてなされたものであり、画質の低下を抑制しながら、疑似照明効果を画像に適用可能な画像処理装置およびその制御方法を提供することを目的とする。

上述の目的は、仮想光を用いて画像の明るさを補正する画像処理装置であって、画像の、仮想光の照射範囲に含まれる画素の明るさを補正する明るさ補正手段と、前記画像の照射範囲内の鮮鋭度を補正する鮮鋭度補正手段とを有し、鮮鋭度補正手段は、仮想光の拡散度合いが第１の度合いよりも小さい第２の度合いである場合、第１の度合いである場合よりも鮮鋭度が強くなるように補正することを特徴とする画像処理装置によって達成される。

このような構成により本発明によれば、画質の低下を抑制しながら、疑似照明効果を画像に適用可能な画像処理装置およびその制御方法を提供することができる。

本発明の実施形態に係るデジタルカメラの構成を示すブロック図 実施形態における画像処理部の構成を示すブロック図 実施形態における被写体と仮想光源の関係を示す図 実施形態における、リライティング効果の付加処理を説明するためのフローチャート 実施形態におけるリライティング処理部の構成を示すブロック図

以下、本発明の例示的な実施形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する実施形態では、本発明に係る画像処理装置をデジタルカメラに適用した例について説明する。なお、デジタルカメラは光電変換素子を用いた撮影機能を有する電子機器を意味し、携帯電話機、ゲーム機、パーソナルコンピュータ等、カメラを有するまたは使用可能な任意の電子機器が含まれる。また、本発明に撮影機能は必須でなく、本発明に係る画像処理装置は、画像処理が可能な任意の電子機器に対して適用可能である。

●（第１の実施形態）
図１は、本発明の第１の実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、レンズ群１０１は、フォーカスレンズを含むズームレンズである。絞り機能を備えるシャッター１０２が、レンズ群１０１と撮像部１０３との間に設けられている。撮像部１０３は、レンズ群１０１によって撮像面に形成される光学像を画素単位の電気信号に変換するＣＣＤ／ＣＭＯＳイメージセンサを代表とする撮像素子を有する。Ａ／Ｄ変換器１０４は、撮像部１０３が出力するアナログ信号をデジタル信号（画像データ）に変換する。

画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、色補間（デモザイク）、ホワイトバランス調整、γ補正、輪郭強調、ノイズリダクション、色補正などの各種画像処理を行う。

画像メモリ１０６は画像データを一時的に記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、画像データをアナログ信号に変換する。表示部１０９はＬＣＤや有機ＥＬディスプレイ等の表示装置を有し、各種ＧＵＩやライブビュー画像、記録媒体１１２から読み出して再生した画像などを表示する。コーデック部１１０は、画像メモリ１０６に記憶されている画像データを記録媒体に記録するために予め定められた方法で符号化したり、画像ファイルに含まれる符号化画像データを例えば表示のために復号したりする。

インタフェース（Ｉ／Ｆ）１１１は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体１１２を、デジタルカメラ１００と機械的および電気的に接続する。システム制御部５０は例えばＣＰＵやＭＰＵなどのプログラマブルなプロセッサであってよい。システム制御部５０は、例えば不揮発性メモリ１２１や内蔵する不揮発性メモリに記録されたプログラムを実行して必要なブロックや回路を制御することにより、デジタルカメラ１００の機能を実現する。リライティング処理部１１４は、撮影画像に対して仮想光源による疑似照明効果を付与するリライティング処理を行う。

距離情報生成部１１５は、画像メモリ１０６に格納された撮影画像データについて、画素ごとのコントラスト評価値や被写体輝度などを算出し、システム制御部５０に供給する。また、距離情報生成部１１５は、撮影画像データから被写体の距離情報を取得し、例えば画素値が被写体距離を表すデプスマップを生成する。さらに距離情報生成部１１５は、リライティング処理を行う場合、処理対象の画像のデプスマップから、画素ごとの法線ベクトルを表す法線マップを生成し、リライティング処理部１１４に供給する。

操作部１２０は、ユーザがデジタルカメラ１００に各種の指示を入力するためのボタンやスイッチなどをまとめて記載したものである。

不揮発性メモリ１２１は電気的に消去・記録可能な、例えばＥＥＰＲＯＭ等であってよい。不揮発性メモリ１２１は、各種の設定値、ＧＵＩデータをはじめ、システム制御部５０がＭＰＵやＣＰＵである場合には、システム制御部５０が実行するためのプログラムが記録される。
システムメモリ１２２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するために用いる。

次に、デジタルカメラ１００における撮影時の動作について説明する。
例えば撮像部１０３は、シャッター１０２が開いている際にレンズ群１０１が撮像面に形成している被写体像を撮像素子によって光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、色補間（デモザイク）、γ補正、輪郭強調、ノイズリダクション、色補正などの各種画像処理を行う。画像処理部１０５ではさらに、撮影で得られた画像データを用いたオートホワイトバランス（ＡＷＢ）調整も行う。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

距離情報生成部１１５は、画像メモリ１０６に格納された撮影画像データについて、画素ごとのコントラスト評価値や被写体輝度などを算出する。距離情報生成部１１５は、設定されている焦点検出領域についてのコントラスト評価値や、被写体輝度をシステム制御部５０に供給する。システム制御部５０はコントラスト評価値に基づいて自動焦点検出（ＡＦ）を実行したり、被写体輝度に基づいて自動露出制御（ＡＥ）を実行したりする。このように、本実施形態のデジタルカメラ１００では、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を行う。距離情報生成部１１５はさらに、撮影画像データから被写体の距離情報を取得し、例えば画素値が被写体距離を表すデプスマップを生成する。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示装置に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき符号化する。システム制御部５０は符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、インタフェース１１１を介して記録媒体１１２に記録する。

なお、現在のデジタルカメラでは、撮影スタンバイ状態においては動画撮影を行い、撮影された動画を表示部１０９に表示し続けることにより表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させるのが一般的である。この場合、シャッター１０２は開いた状態とし、撮像部１０３のいわゆる電子シャッターを用いて例えば３０フレーム／秒の撮影を行う。

そして、操作部１２０に含まれるシャッターボタンが半押しされると上述のＡＦ，ＡＥ制御が行われ、全押しされると本撮影により記録用の静止画撮影が実行され、記録媒体１１２に記録される。また、動画撮影ボタンなどにより動画撮影が指示された場合は、記録媒体１１２への動画記録を開始する。本実施形態においては、画像の記録時には、距離情報生成部１１５が生成した距離情報（デプスマップ）も対応付けて記録される。

なお、距離情報生成部１１５が距離情報を生成する方法に特に制限は無く、公知の方法を用いることができる。距離情報は画素ごとに被写体距離を表す情報であり、輝度値が距離を表すデプスマップ（距離画像、奥行き画像などと呼ばれることもある）であってよい。例えば、視差画像を用いずにデプスマップを生成する方法としては、上述したコントラスト評価値が極大となるフォーカスレンズ位置を画素ごとに求めることで、画素ごとに被写体距離を取得することができる。また、合焦距離を変えて同一シーンを複数回撮影して得られる画像データと光学系の点像分布関数(PSF)とから、ぼけ量と距離との相関関係に基づいて画素ごとの距離情報を求めることもできる。これらの技術に関しては例えば特開２０１０−１７７７４１号公報や米国特許第4,965,840号公報などに記載されている。また、視差画像対を取得可能な撮像素子を用いている場合には、ステレオマッチング等の手法で画素ごとに被写体距離を取得することができる。

また、デプスマップから画素ごとに被写体面の法線情報を生成する方法についても例えば特開２０１４−６６５８号公報に記載されるような公知の方法を用いることができる。法線情報は例えば、画素のＲＧＢ値が法線ベクトルの成分を表す法線マップの形式で生成することができる。デプスマップは撮影時（記録時）に生成する必要があるが、法線マップはデプスマップに基づいて生成可能であるため、リライティング処理時など、任意のタイミングで生成することができる。

図２は画像処理部１０５の機能構成例を示すブロック図である。
図１のＡ／Ｄ変換器１０４から出力された画像データは、輝度・色信号生成部２００に入力される。画像データは、撮像素子に設けられたカラーフィルタを構成する色成分の１つに対応した値を有する。一般的に用いられるベイヤー配列の原色カラーフィルタが用いられる場合、画像データは、Ｒ画素，Ｇ画素，Ｂ画素のデータから構成される。

輝度・色信号生成部２００はこのような画像データに対してデモザイク処理を行って各画素が色信号Ｒ，Ｇ，Ｂを有するようにし、さらに色信号から輝度信号Ｙを生成する。輝度・色信号生成部２００は、生成した色信号Ｒ，Ｇ，Ｂをホワイトバランス（ＷＢ）増幅部２０３へ、輝度信号Ｙを輪郭強調処理部２０１へ出力する。

輪郭強調処理部２０１では、輝度信号Ｙに対して輪郭強調処理を行い、輝度ガンマ処理部２０２へ出力する。輝度ガンマ処理部２０２では輝度信号Ｙに対してガンマ補正を行い、補正後の輝度信号Ｙを画像メモリ１０６に出力する。

ＷＢ増幅部２０３は、後述する処理によりシステム制御部５０が算出するホワイトバランスゲイン値に基づき、色信号Ｒ，Ｇ，Ｂにゲインを適用し、ホワイトバランスを調整する。色変換処理部２０４は、色信号Ｒ，Ｇ，Ｂに対するマトリクス演算などにより、所望のカラーバランスへ変換する。色ガンマ処理部２０５では、色信号Ｒ，Ｇ，Ｂにガンマ補正を行う。色差信号生成部２０６では、色信号Ｒ，Ｇ，Ｂから色差信号Ｒ−Ｙ、Ｂ−Ｙ信号を生成し、画像メモリ１０６に出力する。

画像メモリ１０６に出力された輝度信号Ｙと色差信号Ｒ−Ｙ，Ｂ−Ｙが、コーデック部１１０によって符号化され、最終的に記録媒体１１２に記録される。

次に、リライティング処理部１１４の動作について説明する。
本実施形態では、リライティング処理の一例として、図３に示すような、人物７００の顔の左側半分（図では右側半分）が影になっている画像に対して、ユーザの指示に基づいた仮想光源を照射し、影領域の明るさを補正することを想定している。

次に、画像処理部１０５から出力された画像に対するリライティング処理について説明する。本実施形態において、リライティング処理は、システム制御部５０が算出する制御パラメータを用いてリライティング処理部１１４が実行する。従って、まず、リライティング処理に用いる制御パラメータの算出および設定処理について図４（Ａ）のフローチャートを用いて説明する。

Ｓ５０１でシステム制御部５０は、操作部１２０を通じてユーザからリライティング処理の指示を受け付ける。具体的にはシステム制御部５０は、図示しないメニュー画面において、リライティング処理の実行に対応する項目を選択するユーザ操作を操作部１２０を通じて受け付ける。またシステム制御部５０は、リライティング処理の実行指示とともに、例えばメニュー画面で指定されたリライティング処理のパラメータも受け付ける。

リライティングのパラメータとしては本実施形態では説明の簡略化のため、仮想光源の位置、光源の強度（α）および光源の拡散特性（β）をユーザが入力するものとする（予め設定された選択肢から選択する方法でもよい）。仮想光源が被写体面を垂直に照射しているものとすると、仮想光源の位置が決まれば、仮想光源の光（仮想光）が最も強く当る位置（中心照射位置）も決まる。なお、仮想光源の位置は、仮想光源と例えば合焦距離に存在する主要被写体との位置関係を表す情報であってよい。

仮想光源の位置と、中心照射位置の例を図３に模式的に示す。図３には、仮想光源７０１の照射範囲７０３と中心照射位置７０２を示している。なお、本実施形態において仮想光源７０１からの仮想光は照射範囲７０３に対してのみ影響を与えるものとする。

Ｓ５０２でシステム制御部５０は、ユーザから指示された光源の強度（α）および光源の拡散特性（β）を、制御パラメータとしてリライティング処理部１１４に設定する。
Ｓ５０３でシステム制御部５０は、入力画像の画素ごとに、図３（ｂ）に示すような中心照射位置７０２と対象画素７０４との距離Ｄを算出し、画素位置と対応付けてシステムメモリ１２２に格納する。なお、画素位置ごとの距離Ｄの情報は、制御パラメータとしてリライティング処理部１１４に設定してもよい。

Ｓ５０４でシステム制御部５０は、距離情報生成部１１５に、入力画像に対する法線マップを生成するよう指示する。距離情報生成部１１５は、入力画像のデータに対応付けて記録されているデプスマップから上述したような公知の方法で法線マップを生成し、システム制御部５０へ供給する。システム制御部５０は、法線マップをシステムメモリ１２２に格納する。なお、法線マップは制御パラメータとしてリライティング処理部１１４に設定してもよい。
Ｓ５０５でシステム制御部５０は、リライティング処理部１１４にリライティング処理の実行を指示する。

次にリライティング処理部１１４の構成および動作の例について説明する。
図５はリライティング処理部１１４の構成を示すブロック図である。ＲＧＢ信号変換部６０１は画像メモリ１０６から入力される、入力画像の処理対象画素の輝度および色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）を、色信号（Ｒ，Ｇ，Ｂ）に変換する。デガンマ処理部６０２はデガンマ処理（輝度ガンマ処理部２０２および色ガンマ処理部２０５の逆処理）を行い、ガンマ補正前のリニアな特性の信号値に変換する。

平滑化処理部６０３はデガンマ処理部６０２の出力する色信号（Ｒ，Ｇ，Ｂ）を平滑化して仮想光源処理部６０４に出力する。仮想光源処理部６０４は仮想光によるライティング効果を画像に（対象画素ごとに）付加する。
ガンマ処理部６０６は仮想光源処理部６０４の出力する色信号（Ｒ，Ｇ，Ｂ）にガンマ補正を行う。輝度色差信号生成部６０７は、ガンマ補正後の色信号（Ｒ，Ｇ，Ｂ）を輝度および色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）に変換し、画像メモリ１０６に出力する。

次にリライティング処理部１１４の動作について説明する。
リライティング処理部１１４は、画像メモリ１０６に記録された入力画像の、処理対象画素の輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）を読み出す。ＲＧＢ信号変換部６０１は、入力された輝度・色差信号（Ｙ，Ｂ−Ｙ，Ｒ−Ｙ）をＲＧＢ信号に変換し、デガンマ処理部６０２へ出力する。

デガンマ処理部６０２は、画像処理部１０５の輝度ガンマ処理部２０２および色ガンマ処理部２０５で適用されたガンマ特性と逆の特性の演算を行い、ガンマ補正前のリニアな特性における信号値（Ｒｔ，Ｇｔ，Ｂｔ）に変換する。デガンマ処理部６０２は、変換後の画素信号を、平滑化処理部６０３および仮想光源処理部６０４へ出力する。なお、デガンマ処理部６０２をＲＧＢ信号変換部６０１の前段に配置してデガンマ処理を行ってもよい。例えば、Ｙ信号に対しては輝度ガンマ処理部２０２と逆の処理を適用し、色差信号Ｒ−Ｙ，Ｂ−ＹについてはＲＧＢ信号に戻してから色ガンマ処理部２０５と逆の処理を適用し、色差信号Ｒ−Ｙ，Ｂ−Ｙに再変換してからＲＧＢ信号変換部６０１に入力する。

平滑化処理部６０３は、仮想光源の拡散特性（β）を考慮して光源反射色成分を平滑化する関数ｆを用いて、処理対象の画素信号（Ｒｔ，Ｇｔ，Ｂｔ）を、色成分ごとに平滑化する。一例として、本実施形態では、関数ｆを、仮想光源の拡散特性（β）を標準偏差とするガウス関数とし、このガウス関数を近似する１次元または２次元ガウシアンフィルタを画素の信号値に適用することにより平滑化を行う。拡散特性（β）が大きく、仮想光の拡散度合いが大きいほど、光源反射色成分の信号が平滑化される。平滑化処理部６０３は、平滑化した画素信号（Ｒａ，Ｇａ，Ｂａ）を仮想光源処理部６０４へ出力する。平滑化処理で得られる画素信号（Ｒａ，Ｇａ，Ｂａ）は、処理対象画素の近傍における環境光の反射特性を表し、仮想光の反射成分を算出する際に用いられる。

平滑化処理部６０３はさらに、平滑化処理で得られる画素信号（Ｒａ，Ｇａ，Ｂａ）に、例えば、画像のエッジ部に対応した特定の周波数成分を抽出する２次元フィルタを適用して輪郭補償信号を生成する。そして、色成分から輝度値を振幅値f(Mt(x,y),β)＝Ｍａとして算出し、仮想光源処理部６０４へ出力する。

仮想光源処理部６０４は、仮想光によるリライティングの効果を入力画像に付加するための補正信号の生成と、補正信号を用いた補正処理とを行う。
具体的には、デガンマ処理部６０２から出力される画素信号（Ｒｔ，Ｇｔ，Ｂｔ）に対し、
・平滑化処理部６０３から出力される平滑化後の画素信号（Ｒａ，Ｇａ，Ｂａ）と、
・システム制御部５０から入力される、制御パラメータ（仮想光源の位置情報、仮想光源の強度（α）、仮想光源の拡散特性（β）、仮想光源の中心照射位置からの距離（Ｄ）、被写体の３次元形状情報（被写体面の法線情報（Ｎ）））と
から、仮想光を照射した場合の反射色成分（Ｒｖ，Ｇｖ，Ｂｖ）を推定する。

仮想光源処理部６０４は、反射色成分（Ｒｖ，Ｇｖ，Ｂｖ）を例えば以下の式によって求める。

式（１）〜（３）において、αは仮想光源の強度、βは仮想光源の拡散特性、Ｌは被写体に対する仮想光源の方向ベクトルである。また、N(x,y)は画素位置（x,y）における被写体面の法線ベクトル、D(x,y)は画素位置（x,y）における仮想光源と被写体との距離である。f(Rt(x,y),β)、f(Gt(x,y),β)、f(Bt(x,y),β)は、平滑化処理部６０３で、仮想光源の拡散特性βに応じて平滑化された被写体の反射色成分であり、上述のＲａ，Ｇａ，Ｂａに相当する。

仮想光源処理部６０４は、推定した反射色成分（Ｒｖ，Ｇｖ，Ｂｖ）を、デガンマ処理部６０２から出力される画素信号（Ｒｔ，Ｇｔ，Ｂｔ）に加算し、仮想光源によるリライティング効果を処理対象画素に付与する。すなわち、仮想光源処理部６０４は、以下の式（４）〜（６）の演算により、処理後の画素信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）を生成し、ガンマ処理部６０６に出力する。
Ｒｏｕｔ(x,y) ＝ Ｒｔ(x,y) ＋ Ｒｖ(x,y) 式（４）
Ｇｏｕｔ(x,y) ＝ Ｇｔ(x,y) ＋ Ｇｖ(x,y) 式（５）
Ｂｏｕｔ(x,y) ＝ Ｂｔ(x,y) ＋ Ｂｖ(x,y) 式（６）

さらに仮想光源処理部６０４は、デガンマ処理部６０２から出力される画素信号（Ｒｔ，Ｇｔ，Ｂｔ）について、例えば、画像のエッジ部に対応した特定の周波数成分を抽出する２次元フィルタを適用することにより輪郭補償信号ACt(x,y)を生成する。そして仮想光源処理部６０４は輪郭補償信号ACt(x,y)に対し、仮想光源の拡散特性に応じた補正を適用することで、仮想光源の特性を反映しつつ、リライティング処理によって低下する鮮鋭度を補正するための輪郭補償信号ACout(x,y)を生成する。

ここで、本実施形態における、仮想光源の拡散特性を考慮した輪郭補償について説明する。一般に、ディフューザーを用いる等により拡散した照明光で撮影した場合、反射光の強度が弱いためエッジ部の振幅も小さく、鮮鋭度の低い画像が得られる。一方、ベアバルブ撮影のような直進性の高い照明光で撮影した場合、反射光の強度が強いためエッジ部の振幅も大きく、鮮鋭度の高い画像が得られる。

そのため、本実施形態では、リライティング処理において用いる仮想光源の拡散特性（β）を考慮して輪郭補正することで、より自然なリライティング効果を付与する。つまり、拡散度の高い特性を有する仮想光源を用いる場合にはエッジ部の振幅が小さくなるように輪郭補償を行い、拡散度の低い（直進性の高い）特性を有する仮想光源を用いる場合にはエッジ部の振幅が大きくなるように輪郭補償を行う。

本実施形態で仮想光源処理部６０４は、画素位置(x,y)における輪郭補償信号の振幅の大きさMv(x,y)を、以下の式（７）によって求める。

式（７）において、αは仮想光源の強度、βは仮想光源の拡散特性、Ｌは被写体に対する仮想光源の方向ベクトルである。また、N(x,y)は画素位置（x,y）における被写体面の法線ベクトル、D(x,y)は画素位置(x,y)における仮想光源と被写体との距離である。f(Mt(x,y),β)は、平滑化処理部６０３で、仮想光源の拡散特性βに応じて平滑化された画素信号から生成した輪郭補償信号の振幅の大きさであり、Ｍａに相当する。

そして、仮想光源処理部６０４は、輪郭補償信号ACt(x,y)に対して、仮想光源の特性を反映させた輪郭補償信号ACout(x,y)を、以下の式（８）に従って求める。
ACout(x,y) = ACt(x,y) × Mv(x,y)/Mt(x,y) 式（８）
式（８）において、Mt(x,y)は、ACt(x,y)の振幅の大きさであり、例えば輝度値である。

式（８）の処理により、設定された仮想光源の拡散特性βが大きいほど（仮想光の拡散度が高いほど）、輪郭強調が弱くなり、拡散特性βが小さいほど（仮想光の拡散度が低いほど）、輪郭強調が強くなるような輪郭補償信号が生成される。

なお、本実施形態では、輪郭補償時の振幅制御を例に、仮想光源の拡散特性に応じた鮮鋭度の調整を実現する場合について説明した。しかし、本質は、画像の鮮鋭度を調整するための処理のパラメータを仮想光源の拡散特性（仮想光の拡散度もしくは直進性）に応じて制御することであって、振幅制御以外のパラメータに対する制御であってもよい。すなわち、画像の鮮鋭度を調整するための処理のパラメータを仮想光源の拡散特性（仮想光の拡散度もしくは直進性）に応じて制御する方法は、上記の例に限定されない。

次に、図４（Ｂ）のフローチャートを用い、上述した、リライティング処理部１１４におけるリライティング効果付与処理動作、特に平滑化処理部６０３および仮想光源処理部６０４、ガンマ処理部６０６の動作について詳細に説明する。
入力画像に対するリライティング効果の付与は画素単位で行うため、以下に説明する動作は、特に説明しない限り処理対象の画素（着目画素）に対して行われる。ただし、空間フィルタリング処理のように、着目画素の周辺画素値が必要な処理については、これら処理対象画素以外の画素も処理に用いられる。

Ｓ５１０で仮想光源処理部６０４は、着目画素が仮想光源の照射範囲内に位置するかどうかを判定する。本実施形態では、Ｓ５０３（図４（Ａ））においてシステム制御部５０が画素ごとに中心照射位置７０２（図３（ａ））からの距離Ｄを算出している。そのため、仮想光源処理部６０４は、着目画素の距離Ｄが、仮想光源の拡散特性や仮想光源と被写体との距離などに応じて定まる閾値以下であれば照射範囲内と判定して処理をＳ５１１へ進め、閾値より大きければ照射範囲外と判定し、処理を終了する。

Ｓ５１１では、平滑化処理部６０３および仮想光源処理部６０４により、仮想光の反射色成分（Ｒｖ，Ｇｖ，Ｂｖ）と、輪郭補償信号ACtを生成する。具体的には、以下の処理を行う。
・平滑化処理部６０３が、着目画素の信号（Ｒｔ，Ｇｔ，Ｂｔ）を平滑化し、平滑化後の画素信号（Ｒａ，Ｇａ，Ｂａ）を仮想光源処理部６０４へ出力する。
・仮想光源処理部６０４が、平滑化処理部６０３から入力される平滑化後の画素信号（Ｒａ，Ｇａ，Ｂａ）と、システム制御部５０から入力される制御パラメータとから、着目画素における仮想光の反射色成分（Ｒｖ，Ｇｖ，Ｂｖ）を算出する。
なお、制御パラメータは、仮想光源の位置情報、仮想光源の強度（α）、仮想光源の拡散特性（β）、仮想光源の中心照射位置からの距離（Ｄ）、被写体の３次元形状情報（Ｎ）である。
・仮想光源処理部６０４が、着目画素の信号（Ｒｔ，Ｇｔ，Ｂｔ）から輪郭補償信号ACtを生成する。

Ｓ５１２で仮想光源処理部６０４は、Ｓ５１１で求めた仮想光の反射色成分（Ｒｖ，Ｇｖ，Ｂｖ）を、着目画素の信号（Ｒｔ，Ｇｔ，Ｂｔ）に加算し、仮想光によるリライティング効果を付加する。そして、仮想光源処理部６０４は、リライティング効果を付加した画素信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）をガンマ処理部６０６に出力する。

Ｓ５１３では、仮想光源処理部６０４が輪郭補償信号ACtを仮想光源の拡散特性に基づいて補正し、補正後の輪郭補償信号ACoutを生成して、ガンマ処理部６０６に出力する。具体的には以下の処理を行う。
・平滑化処理部６０３が、平滑化後の画素信号（Ｒａ，Ｇａ，Ｂａ）から輪郭補償信号を生成し、その振幅値Ｍａ(=f(Mt(x,y),β))を算出して仮想光源処理部６０４へ出力する。
・仮想光源処理部６０４が、輪郭補償信号ACtとその振幅値Mtと、平滑化処理部６０３から入力されるＭａに仮想光の拡散特性を反映させたMvとから、補正後の輪郭補償信号ACoutを生成する。

Ｓ５１５でガンマ処理部６０６は、仮想光源処理部６０４から出力された画素信号（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）に、輪郭補償信号ACoutを参照して輪郭補償を行い、リライティング処理による解像感の低下を補う。その後、ガンマ処理部６０６は所定のガンマ補正を適用し、画素信号（Ｒ’ｏｕｔ，Ｇ’ｏｕｔ，Ｂ’ｏｕｔ）を輝度色差信号生成部６０７へ出力する。輝度色差信号生成部６０７では、画素信号（Ｒ’ｏｕｔ，Ｇ’ｏｕｔ，Ｂ’ｏｕｔ）から輝度信号Ｙおよび、色差信号Ｒ−Ｙ、Ｂ−Ｙ信号を生成して出力する。以上の処理により、補正対象の画素についての処理が完了する。上述の処理を、入力画像の各画素に対して適用する。

システム制御部５０は、リライティング処理部１１４が出力した輝度および色差信号を、メモリ制御部１０７の制御によって、画像メモリ１０６に蓄積する。そして、システム制御部５０は、入力画像全体に対してリライティング処理が終了すると、コーデック部１１０を用いて圧縮符号化を行い、Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。

以上説明したように、本実施形態では仮想光源を設定してリライティング効果を付加した画像に対して輪郭補償することにより、リライティング効果の付加によって低下する鮮鋭度を補正することができる。特に、仮想光の拡散度を考慮した輪郭補償を行うことにより、仮想光源の特性に対応した輪郭補正が実現でき、好適な画質が得られる。

例えば、仮想光の拡散度が大きい場合には、拡散度が小さい場合よりも輪郭補償の強度が弱くなり、逆に仮想光の拡散度が小さい場合には輪郭補償の強度が強くなるため、仮想光の特性とマッチした鮮鋭度の補正を実現できる。

なお、本実施形態では、仮想光の照射範囲に存在する被写体が人物である場合を例に説明したが、他の被写体であってもよい。また、本実施形態では、仮想光源の照射範囲の画素を明るく補正するリライティング処理について説明したが、暗く補正する場合でも同様に適用できる。また、仮想光の色反射成分（Ｒｖ，Ｇｖ，Ｂｖ）の算出方法は、本実施形態の形態で説明した方法に限らず、他の方法で算出してもよい。

また、輪郭補償信号の振幅を仮想光源の照射特性に応じて制御する際、制御係数が着目画素と中心照射位置との距離Ｄの２乗に反比例するようにしたが、例えば、距離Ｄに反比例させたり、ガウス分布的に強度が変化するようにしたりしてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

５０…システム制御部，１０１…光学系，１０２…シャッター，１０３…撮像部，１０４…Ａ／Ｄ変換器，１０５…画像処理部，１０６…画像メモリ，１０７…メモリ制御部，１０９…表示部，１１０…コーデック部，１１１…記録Ｉ／Ｆ，１１２…記録媒体，１１３…顔検出部，１１４…リライティング処理部，１２０…操作部，１２１…不揮発性メモリ，１２２…システムメモリ

Claims (13)

1. 仮想光を用いて画像の明るさを補正する画像処理装置であって、
   画像の、前記仮想光の照射範囲に含まれる画素の明るさを補正する明るさ補正手段と、
   前記画像の前記照射範囲内の鮮鋭度を補正する鮮鋭度補正手段とを有し、
   前記鮮鋭度補正手段は、前記仮想光の拡散度合いが第１の度合いよりも小さい第２の度合いである場合、前記第１の度合いである場合よりも前記鮮鋭度が強くなるように補正することを特徴とする画像処理装置。
2. 前記鮮鋭度補正手段は、前記仮想光の拡散度合いが小さいほど、前記鮮鋭度が強くなるように補正することを特徴とする請求項１記載の画像処理装置。
3. 前記仮想光の拡散の度合いは、ユーザからの指示に基づき設定されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像の前記仮想光の照射範囲内を平滑化する平滑化手段をさらに有し、
   前記平滑化手段は、前記仮想光の拡散度合いが大きいほど、平滑化の度合いを強くすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記鮮鋭度補正手段は、前記仮想光の拡散度合いに基づき、前記画像の前記照射範囲内の鮮鋭度を補正する信号を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記仮想光の照射範囲に含まれる画素における前記仮想光の反射色成分を推定する推定手段をさらに有し、
   前記明るさ補正手段は、前記推定された反射色成分を前記仮想光の照射範囲に含まれる画素に反映させることにより、前記仮想光の照射範囲に含まれる画素の明るさを補正することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記仮想光の強度を設定する設定手段をさらに有し、
   前記推定手段により推定される前記仮想光の反射色成分は、前記仮想光の強度に依存することを特徴とする請求項６に記載の画像処理装置。
8. 前記設定手段は、ユーザからの指示に基づき前記仮想光の強度を設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記推定手段により推定される前記仮想光の反射色成分は、前記仮想光の光源と前記画像の被写体との距離に依存することを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
10. 前記推定手段により推定される前記仮想光の反射色成分は、前記仮想光の方向と前記画像の被写体の表面の法線ベクトルとがなす角に依存することを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。
11. 撮像手段をさらに有し、
    前記明るさ補正手段は、前記撮像手段により撮像を行うことによって得られた画像の、前記仮想光の照射範囲に含まれる画素の明るさを補正することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 仮想光を用いて画像の明るさを補正する画像処理装置の制御方法であって、
    補正手段が、画像の、前記仮想光の照射範囲に含まれる画素の明るさを補正する明るさ補正工程と、
    鮮鋭度補正手段が、前記画像の前記照射範囲内の鮮鋭度を補正する鮮鋭度補正工程と、を有し、
    前記鮮鋭度補正工程では、前記仮想光の拡散度合いが第１の度合いよりも小さい第２の度合いである場合、前記第１の度合いである場合よりも前記鮮鋭度が強くなるように補正することを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images