JP4748271B2 - 電子カメラおよび画像処理プログラム - Google Patents

Description

本発明は、肌色補正を行う電子カメラおよび画像処理プログラムに関する。

近年、電子カメラが幅広く普及し、様々なシーンで人物撮影が行われている。このような人物撮影では、撮影された人物の肌色がきれいに再現できるか否かが撮影者や被撮影者の大きな関心事である。

そこで、人物の顔をきれいに撮影するために、各人物の特性に応じた補正を行う方法などが検討されている（例えば、特許文献１参照）。

特開２００５−１２８６００号公報

ところが、ファンデーションなどで化粧をした人物を電子カメラでフラッシュ撮影した場合、撮影された画像の人物の顔色が実際に見た印象よりも青白くなってしまうという問題がある。特に、ファンデーションを塗った顔色は青白くなるが、デコルテ部分（首筋から胸元にかけての部位）のようにファンデーションを塗っていないところは普通の肌色のままなので、顔の肌色とデコルテ部分の肌色との色の違いが目立ち、いかにも厚塗りの化粧に見えてしまうという問題があった。また、フラッシュ撮影を行わない場合でも、ファンデーションを塗った顔の肌色とデコルテ部分の肌色との色の違いが撮影画像に現れ、仮面のように見えることもある。

本発明の目的は、顔の肌色と顔周辺部分の肌色との色の違いが少なく、自然な感じの人物画像を得ることができる電子カメラおよび画像処理プログラムを提供することである。

本発明に係る電子カメラは、人物画像を撮影する撮像部と、前記撮像部が撮影した人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出部と、前記領域検出部が検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出部と、色変換を行う領域を指定するエリア指定部と、前記色差算出部が求めた色差に基づいて色補正係数を求める補正係数算出部と、前記色差算出部が求めた色差が所定値以上の場合に、前記エリア指定部で指定した領域を前記色補正係数を用いて色変換を行う色変換部と、閃光部とを有し、前記撮像部で撮影する際に前記閃光部がオンの場合に、色変換処理を実行することを特徴とする。
また、本発明に係る電子カメラは、人物画像を撮影する撮像部と、前記撮像部が撮影した人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出部と、前記領域検出部が検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出部と、色変換を行う領域を指定するエリア指定部と、前記色差算出部が求めた色差に基づいて色補正係数を求める補正係数算出部と、前記色差算出部が求めた色差が所定値以上の場合に、前記エリア指定部で指定した領域を前記色補正係数を用いて色変換を行う色変換部と、前記撮像部で予め撮影した人物画像に対して前記色差算出部が判定した肌色領域の色情報をプリセット色情報として保持する保持部とを有し、前記色差算出部は、前記撮像部で本撮影した人物画像に対して判定した肌色領域の本撮影色情報と、前記保持部に保持されている前記プリセット色情報との色差を求めることを特徴とする。
特に、前記保持部は、前記閃光部が非発光時に撮影した人物画像に対して前記色差算出部が判定した肌色領域の色情報をプリセット色情報として保持することを特徴とする。
また、本発明に係る電子カメラは、人物画像を撮影する撮像部と、前記撮像部が撮影した人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出部と、前記領域検出部が検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出部と、色変換を行う領域を指定するエリア指定部と、前記色差算出部が求めた色差に基づいて色補正係数を求める補正係数算出部と、前記色差算出部が求めた色差が所定値以上の場合に、前記エリア指定部で指定した領域を前記色補正係数を用いて色変換を行う色変換部と、前記撮像部で予め撮影した人物画像に対して前記色差算出部が判定した肌色領域の色情報をプリセット色情報として保持する保持部とを有し、前記色差算出部は、前記撮像部で本撮影した人物画像に対して判定した肌色領域の本撮影色情報と、前記保持部に保持されている前記プリセット色情報との色差を求めることを特徴とする。

特に、前記補正係数算出部は、前記色補正係数を求める際に、前記閃光部が発光時の顔部分に対する寄与度に応じて前記色補正係数の重み付けを行うことを特徴とする。
また、好ましくは、前記色差算出部が前記第２色情報を判定する顔以外の肌色領域は、人物の首周辺領域であることを特徴とする。

また、好ましくは、前記第１色情報および前記第２色情報の少なくとも一方の色相が所定範囲内にあるか否かを判定する色範囲判定部を更に設け、前記色範囲判定部の判定結果が所定範囲内にある場合は前記色変換処理を実行することを特徴とする。

また、好ましくは、前記色差算出部は、前記第２色情報を判定する際に、顔以外の肌色領域の色分布から最頻度の色分布を求め、当該色分布を顔以外の肌色領域の前記第２色情報とすることを特徴とする。

本発明に係る画像処理プログラムは、人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出ステップと、前記領域検出ステップで検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出ステップと、色変換を行う領域を指定するエリア指定ステップと、前記色差算出ステップで求めた色差に基づいて色補正係数を求める補正係数算出ステップと、前記色差算出ステップで求めた色差が所定値以上の場合に、前記エリア指定ステップで指定した領域を前記色補正係数を用いて色変換を行う色変換ステップとを有し、前記人物画像が閃光部をオンにして撮影された画像である場合に、色変換処理を実行することを特徴とする。
また、本発明に係る画像処理プログラムは、人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出ステップと、前記領域検出ステップで検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出ステップと、色変換を行う領域を指定するエリア指定ステップと、前記色差算出ステップで求めた色差に基づいて色補正係数を求める補正係数算出ステップと、前記色差算出ステップで求めた色差が所定値以上の場合に、前記エリア指定ステップで指定した領域を前記色補正係数を用いて色変換を行う色変換ステップと、予め撮影した人物画像に対して前記色差算出ステップで判定した肌色領域の色情報をプリセット色情報としてメモリに保持する保持ステップとを有し、前記色差算出ステップは、本撮影した人物画像に対して判定した肌色領域の本撮影色情報と、前記メモリに保持されている前記プリセット色情報との色差を求めることを特徴とする。
また、人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出ステップと、前記領域検出ステップで検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出ステップと、色変換を行う領域を指定するエリア指定ステップと、前記色差算出ステップで求めた色差に基づいて色補正係数を求め、求めた色補正係数に対して所定の重み付けを行う補正係数算出ステップと、前記色差算出ステップで求めた色差が所定値以上の場合に、前記エリア指定ステップで指定した領域を前記色補正係数を用いて色変換を行う色変換ステップとを有することを特徴とする。

本発明に係る電子カメラおよび画像処理プログラムは、顔の肌色と顔周辺部分の肌色との色の違いが少なく、自然な感じの人物画像を得ることができる。

本実施形態に係る電子カメラ１０１の構成を示すブロック図である。 本実施形態に係る電子カメラ１０１の処理を示すフローチャートである。 顔部分と顔周辺部分の領域を示す補助図である。 色空間と肌色領域の例を示す補助図である。 色の取得と色差を説明するための補助図である。 エリア指定を説明するための補助図である。 応用例１の処理を説明するための補助図である。 最頻度の色の求め方の例を示す補助図である。 応用例１に係る電子カメラ１０１の処理を示すフローチャートである。 プリセット色を設定する処理を示すフローチャートである。 応用例２に係る電子カメラ１０１の処理を示すフローチャートである。 応用例３の重み付け処理による「補正度合い選択メニュー」の例を示す補助図である。 寄与度を求める例を示す補助図である。 応用例４に係る電子カメラ１０１の処理を示すフローチャートである。 応用例５に係る電子カメラ１０１の処理を示すフローチャートである。 飽和時の色の推定処理を説明するための補助図である。 応用例６に係る電子カメラ１０１の処理を示すフローチャートである。 応用例７の処理方法を説明するための補助図である。

以下、本発明に係る電子カメラおよび画像処理プログラムに関する実施形態について説明する。

図１は、本実施形態に係る電子カメラ１０１の構成を示すブロック図である。尚、図１の電子カメラ１０１は、本発明に係る画像処理プログラムを含む。特に、本実施形態に係る電子カメラ１０１は「人物撮影モード」を有しており、撮影された人物の顔の肌色と顔周辺部分の肌色との色の違いを少なくし、自然な感じの人物画像を得ることができる。

図１において、電子カメラ１０１は、撮影光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）１０５と、Ａ／Ｄ変換部１０６と、画像バッファ１０７と、制御部１０８と、メモリ１０９と、表示部１１０と、メモリカードＩ／Ｆ１１１と、操作部１１２と、フラッシュ１１３とで構成される。

図１において、撮影光学系１０２に入射された被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、撮影光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズで構成され、絞り１０２ａを有している。

撮像素子１０４の受光面には、二次元状に光電変換部が配置されており、各光電変換部に入射される光量に応じた電気信号に変換し、ＡＦＥ１０５に出力する。

ＡＦＥ１０５は、撮像素子１０４から出力される電気信号のノイズ除去や増幅などを行って、Ａ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、ＡＦＥ１０５から出力される電気信号をデジタル信号に変換し、１画面分のデジタル信号を撮影画像データとして画像バッファ１０７に一時的に記憶する。また、画像バッファ１０７は画像処理を行う際の画像バッファや表示部１１０に画像を表示する際の表示用画像バッファとしても利用され、「人物撮影モード」における肌色補正も画像バッファ１０７上で行われる。尚、画像バッファ１０７は揮発性の高速メモリで構成される。

制御部１０８は、画像バッファ１０７に一時的に記憶されている画像データに対して、ホワイトバランス処理，色補正処理，ガンマ変換処理およびＪＰＥＧ圧縮処理などの画像処理を実行する。そして、ＪＰＥＧ圧縮後のＪＰＥＧ形式の画像データは、メモリカードＩ／Ｆ１１１を介してメモリカード１１１ａに保存される。特に、本実施形態では、制御部１０８は「人物撮影モード」における肌色補正処理も行う。尚、制御部１０８の肌色補正処理については後で詳しく説明する。

メモリ１０９は、不揮発性のメモリで構成され、電子カメラ１０１の撮影モードや再生モードの設定内容、或いは露出情報やフォーカス情報などのパラメータや設定値などを記憶する。特に、本実施形態では、「人物撮影モード」における肌色補正処理で参照する肌色領域の範囲などのパラメータが記憶される。そして、これらのパラメータは、デフォルト値が電子カメラ１０１の製造時に記憶されているが、電子カメラ１０１の設定メニューで撮影者が変更することができる。

表示部１１０は、制御部１０８の指令に応じて、画像バッファ１０７に一時的に記憶されている撮影画像やメモリカード１１１ａから画像バッファ１０７に読み出された撮影済みの画像などを表示する。また、制御部１０８が出力するメニュー画面なども表示部１１１に表示される。

操作部１１２は、電源ボタン、レリーズボタン、カーソルキーなどの操作ボタンで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を操作する。これらの操作ボタンの操作情報は制御部１０８に出力され、制御部１０８は操作部１１２から入力する操作情報に応じて電子カメラ１０１の全体の動作を制御する。

フラッシュ１１３は、制御部１０８の指令に応じて、露出不足の際やユーザーが強制発光に設定した場合に閃光を発する。

次に、図１の制御部１０８について詳しく説明する。制御部１０８は、内部に予め記憶されているプログラムに従って動作し、電子カメラ１０１の各部を制御する。制御部１０８は、撮影処理部１２１と、顔検出部１２２と、周辺領域検出部１２３と、色判定部１２４と、色差算出部１２５と、補正係数算出部１２６と、エリア指定部１２７と、色変換部１２８とで構成される。尚、本実施形態では説明が分かり易いように、顔検出部１２２，周辺領域検出部１２３，色判定部１２４，色差算出部１２５，補正係数算出部１２６，エリア指定部１２７および色変換部１２８は、制御部１０８に含めた構成で描いてあるが、制御部１０８とは別に専用のハードウェア回路で構成してもよい。

撮影処理部１２１は、撮影する画像のフォーカス制御や露出制御などを行う。例えば、フォーカス制御は、画像バッファ１０７に取り込まれた画像から焦点位置を求めて撮影光学系１０２のフォーカスレンズの位置を移動する。尚、これらの処理はプレビュー画像の撮影時に撮像素子１０４を介して画像バッファ１０７に取り込まれた画像を用いて行われるが、専用のＡＦセンサやＡＥセンサを用いてフォーカス制御や露出制御を行っても構わない。また、プレビュー画像の撮影時は、メカニカルシャッタ１０３を常に開放状態にして撮像素子１０４の露光時間によってシャッタ速度を制御する電子シャッタで撮影を行う。ここで、プレビュー画像とは、撮像素子１０４で時間的に連続して撮影される動画像を表示部１１０に表示して、撮影者が撮影構図などを決めるための画像である。そして、撮影者が操作部１１２のレリーズボタンを押下すると、本撮影された画像データが画像バッファ１０７に一時的に記憶される。尚、撮影処理部１２１は、露出不足の際やユーザーが強制発光に設定した場合にフラッシュ１１３を発光して適正露出になるように制御する。

次に、制御部１０８に含まれる各処理部（顔検出部１２２，周辺領域検出部１２３，色判定部１２４，色差算出部１２５，補正係数算出部１２６，エリア指定部１２７および色変換部１２８）の動作について、図２のフローチャートを用いて詳しく説明する。図２のフローチャートは、電子カメラ１０１が「人物撮影モード」に設定されている場合の撮影時の処理手順を示している。以下、図２のフローチャートに従って順番に説明する。

（ステップＳ１００）撮影者が操作部１１２のレリーズボタンを押下する。

（ステップＳ１０１）レリーズボタンが押下されると、制御部１０８の撮影処理部１２１は、先に説明したように、撮影する画像のフォーカス制御や露出制御などを行った後、撮像素子１０４で撮影した画像を画像バッファ１０７に一時的に記憶する。尚、撮影処理部１２１は露出不足の場合や強制発光設定されている場合にフラッシュ１１３を発光する。

（ステップＳ１０２）制御部１０８は、ステップＳ１０１の撮影でフラッシュ撮影されたか否かを判別する。フラッシュ撮影された場合はステップＳ１０３に進み、フラッシュ撮影された場合はステップＳ１１３に進む。尚、フラッシュ撮影されたか否かは、撮影処理部１２１の処理結果により判別できる。

（ステップＳ１０３）制御部１０８は、ステップＳ１０１で撮影された画像から人物撮影であるか否かを判別する。人物撮影である場合はステップＳ１０４に進み、人物撮影でない場合はステップＳ１１３に進む。尚、人物撮影であるか否かの判別は、顔検出部１２２によって行われる。つまり、顔検出された場合に人物撮影であると判断する。

ここで、顔検出部１２２は、撮影画像に人物の顔があるか否かを検出する。顔検出は、例えば、予め設定された顔の特徴量（輪郭、目や鼻や口の配置など）に一致する部分が撮影画像にあるか否かをサーチする。そして、顔の特徴量に一致する部分を人物の顔と判断する。尚、顔検出自体は本実施形態の本質的な部分ではないので詳しい説明は省略するが、顔検出方法として様々な方法が知られており、いずれの方法を用いても構わない。また、顔検出部１２２の顔検出処理と共に、周辺領域検出部１２３は、顔周辺の領域を検出する。顔周辺の領域とは、例えば、首部分（デコルテ部分），肩部分，或いは耳部分などである。尚、顔周辺領域の検出方法は、例えば、顔と首と肩と耳の配置はほぼ決まっているので、顔と首と肩と耳の配置を示すテンプレートを予め準備しておき、テンプレートを拡大縮小して撮影画像の顔の輪郭に合わせれば、首や肩や耳のおよその位置がわかる。或いは、単純に顔領域の下方部分を首領域として判断しても構わない。尚、首領域は顎の影になりやすいので、できるだけ顔の位置から遠い部分を選択するようにする。

（ステップＳ１０４）制御部１０８の色判定部１２４は、ステップＳ１０３で判別した顔部分の色（第１色情報）を取得する。例えば、図３に示すように、頬の部分２０１の色を取得する。尚、頬の位置の検出は、顔検出部１２２が顔検出の際に求めた顔の輪郭，目，鼻および口の配置から推定することができる。例えば、両目と口とで形成される逆三角形において、両目と口の間の二辺の中央部分を頬の位置とすることができる。

（ステップＳ１０５）制御部１０８の色判定部１２４は、ステップＳ１０３で判別した顔周辺領域の色（第２色情報）を取得する。例えば、図３に示すように、首部分２０２や肩部分２０３や耳部分２０４などの色を取得する。尚、首，肩および耳の位置は、例えば、周辺領域検出部１２３が顔周辺の領域検出の際に求めた位置である。

（ステップＳ１０６）制御部１０８の色判定部１２４は、ステップＳ１０５で取得した顔周辺領域の色が所定範囲内の色であるか否かを判定する。所定範囲内の色である場合はステップＳ１０７に進み、所定範囲内の色でない場合はステップＳ１１３に進む。

ここで、色の判定方法について説明する。図４はＣＩＥ（国際照明委員会）が定めるＬ＊ａ＊ｂ＊表色系による色空間を示す図で、均等色空間とも呼ばれ、色空間上での距離や間隔が、人間の知覚的な色の距離や間隔に類似した色空間である。尚、Ｌ＊の値は明るさを、ａ＊の値は赤−緑の軸を、ｂ＊は黄−青の軸を表わす。本実施形態では、肌色領域の範囲を捉え易いことからＬ＊ａ＊ｂ＊表色系による色空間を用いるが、ＲＧＢ表色系やＸＹＺ表色系或いはＹＵＶ（ＹＣｒＣｂ）表色系などの色空間を用いても構わない。いずれの色空間を用いる場合でも計算によって他の色空間に変換することができる。図４の影付き円で示した部分は肌色領域３０１を示す。尚、肌色の領域は、人や目的によって様々な考え方があるが、図４の例では、肌色領域をａ＊＝１０±８、ｂ＊＝１５±８として描いてある。

ステップＳ１０６において、色判定部１２４は、ステップＳ１０５で取得した顔周辺領域の色が図４の肌色領域３０１内にあるか否かを判定する。そして、肌色領域３０１内にある場合はステップＳ１０７に進み、肌色領域３０１内にない場合はステップＳ１１３に進む。尚、本ステップの処理によって、例えば肩が覆われた衣類を着用している場合や首にマフラーなどを巻いている場合、或いは耳が髪の毛で覆われている場合など、肌色検出ができない状態を除外することができる。また、ステップＳ１０５で取得する顔周辺領域として、図３に示した首部分２０２と肩部分２０３と耳部分２０４の３ヶ所が予め設定されている場合は、例えばこれら３ヶ所のいずれか１ヶ所が所定範囲内の色である場合に次のステップＳ１０７に進むようにしても構わない。尚、この場合は、所定範囲内の色のみを後で述べる目標色とする。

（ステップＳ１０７）制御部１０８の色差算出部１２５は、ステップＳ１０４で取得した顔部分の色と、ステップＳ１０５で取得した顔周辺領域の色との色差を算出する。図５は、図４で説明したＬ＊ａ＊ｂ＊表色系による色空間の肌色領域３０１を示す図で、点Ｐ１はステップＳ１０４で取得した顔部分の色座標を示し、点Ｐ２はステップＳ１０５で取得した顔周辺領域の色座標を示している。ステップＳ１０７において、色差算出部１２５は点Ｐ１と点Ｐ２の色差を計算する。尚、色差は、例えば点Ｐ１の色座標と点Ｐ２の色座標との距離として求めることができる。

尚、図４および図５では、分かり易いように、Ｌ＊ａ＊ｂ＊表色系による色空間のａ＊とｂ＊の座標のみを示しているが、実際には肌色領域としての明るさＬ＊の値の範囲を設けても構わない。例えば、肌色領域として、Ｌ＊の値の範囲を３０から８０、ａ＊の値の範囲を２から１８、ｂ＊の値の範囲を７から２３などのように設定して、設定値をメモリ１０９に予め記憶しておく。或いは、電子カメラ１０１に肌色領域設定メニューを設けて、ユーザーが任意に設定や変更を行えるようにしても構わない。

（ステップＳ１０８）制御部１０８は、ステップＳ１０７で色差算出部１２５が算出した顔部分の色と顔周辺領域の色との色差が所定値以上であるか否かを判定する。所定値以上である場合はステップＳ１０９に進み、所定値未満の場合はステップＳ１１３に進む。例えば、図５の場合は、点Ｐ１と点Ｐ２の色差が所定値以上であるか否かを判別する。そして、顔部分の色と顔周辺領域の色との色差が所定値に満たない場合は、既に顔部分の色と顔周辺領域の色とが類似した肌色になっていることがわかるので、肌色補正処理を行わずにステップＳ１１３に進んで処理を終了する。

ところが、被写体の人物がファンデーションなどで顔に化粧を施していた場合にフラッシュ１１３を発光して撮影すると、ステップＳ１０４で取得する顔部分の色は図５の肌色領域３０１から外れてしまい、例えば図５の点Ｐ’１の色座標になる。この場合は、ステップＳ１０７で点Ｐ’１と点Ｐ２の色差を求めることになり、点Ｐ’１と点Ｐ２の色差（色座標間の距離）は点Ｐ１と点Ｐ２の色差（色座標間の距離）よりも大きいので、例えばこれら２つを区別できる値に色差を判別する所定値を設定しておけば、顔部分の色と顔周辺領域の色との色差が所定値以上の場合は、顔部分の色と顔周辺領域の色とが大きく異なった肌色になっていることがわかるので、次のステップＳ１０９に進んで肌色補正処理を実行する。尚、色差判別の所定値はメモリ１０９に予め記憶しておく。また、電子カメラ１０１に色差判別の所定値を設定するメニューを設けて、ユーザーが任意に設定や変更を行えるようにしても構わない。

（ステップＳ１０９）制御部１０８は、目標とする顔色（新顔色）の作成を行う。尚、ステップＳ１０５で取得した顔周辺領域の色を新顔色のデフォルト値としてユーザーが操作することなく自動的に設定しても構わない。或いは、過補正や、首や肩などの顔周辺領域の選択や色取得の信頼性が低いときは、顔色と顔周辺領域の色との中間色を新顔色としても構わない。また、電子カメラ１０１に新顔色の設定メニューを設けて、ユーザーが任意に設定や変更を行えるようにしても構わない。

（ステップＳ１１０）制御部１０８の補正係数算出部１２６は、顔部分の色を新顔色に変換するための色変換マトリクスを算出する。

ここで、色変換マトリクスについて説明する。色変換マトリクスは、色空間上の特定の色相を目標とする色相に変換するための係数で、図４に示したＬ＊ａ＊ｂ＊表色系の色相座標の場合、２行２列の色変換マトリクスの４つの係数で構成される。２行２列の色変換マトリクスは、現在の顔色と新顔色（目標色）のポイントを２点ずつ選んで２つの色変換行列式を解くことにより算出することができる。

例えば、図４で説明したＬ＊ａ＊ｂ＊表色系による色空間の色座標（ａ＊，ｂ＊）において、先ず、第１ポイントの目標色を色座標（ａ１，ｂ１）とし、これに対する現在の顔色を色座標（ａ’１，ｂ’１）とすると、（式１）の行列式が成立する。次に、第２ポイントの目標色を色座標（ａ２，ｂ２）とし、これに対する現在の顔色を色座標（ａ’２，ｂ’２）とすると、（式２）の行列式が成立する。尚、（式１）と（式２）の行列式において、ｇ１１，ｇ１２，ｇ２１およびｇ２２は色変換マトリクスを構成する４つの係数である。

ここで、目標色を色座標（ａ１，ｂ１）と色座標（ａ２，ｂ２）は、ステップＳ１０９でユーザーの設定または自動的に決定されるので既知の値である。また、現在の顔色の色座標（ａ’１，ｂ’１）と色座標（ａ’２，ｂ’２）もステップＳ１０４で取得された値を用いるので既知の値である。従って、色変換マトリクスを構成するｇ１１，ｇ１２，ｇ２１およびｇ２２の４つの未知数は、（式１）と（式２）の２つの行列式から得られる４つの方程式を解くことによって求めることができる。

尚、（式１）および（式２）は、Ｌ＊ａ＊ｂ＊表色系を用いた場合の色変換マトリクスを示す式であるが、例えば電子カメラなどで多用されているＹＵＶ表色系を用いる場合の色変換マトリクスを示す式は、（式３）および（式４）に示すようになる。（式３）の行列式において、第１ポイントの目標色は色座標（Ｕ１，Ｖ１）、これに対する現在の顔色は色座標（Ｕ’１，Ｖ’１）で、この時の色変換マトリクスはｈ１１，ｈ１２，ｈ２１およびｈ２２の４つの係数で構成される。同様に、第２ポイントの色変換を示す（式４）の行列式において、第２ポイントの目標色は色座標（Ｕ２，Ｖ２）、これに対する現在の顔色は色座標（Ｕ’２，Ｖ’２）で、この時の色変換マトリクスはｈ１１，ｈ１２，ｈ２１およびｈ２２の４つの係数で構成される。

ここで、目標色を色座標（Ｕ１，Ｖ１）と色座標（Ｕ２，Ｖ２）は、ステップＳ１０９でユーザーの設定または自動的に決定されるので既知の値である。また、現在の顔色の色座標（Ｕ’１，Ｖ’１）と色座標（Ｕ’２，Ｖ’２）もステップＳ１０４で取得された値を用いるので既知の値である。従って、色変換マトリクスを構成するｈ１１，ｈ１２，ｈ２１およびｈ２２の４つの未知数は、（式３）と（式４）の２つの行列式から得られる４つの方程式を解くことによって求めることができる。このように、Ｌ＊ａ＊ｂ＊表色系だけでなく、ＹＵＶ表色系など他の表色系を用いた場合でも同様に色変換マトリクスを求めることができる。

（ステップＳ１１１）制御部１０８のエリア指定部１２７は、色変換を行うための顔エリアを指定する。顔エリアの指定は、図６に示すように顔部分４０１を選択するが、例えば先に顔検出部１２２が人物の顔を検出する際に行った顔の輪郭検出を利用することができる。

尚、顔の輪郭は、図６に示すように顔部分４０１を忠実に検出しなくてもよく、すこし広めに選択するようにしても構わない。これは、現在の色を特定の目標色に強制的に置き換えるのではなく、色変換マトリクスを用いて肌色領域に近い色座標の色差分だけ現在の色をシフトするだけで、顔部分４０１をはみ出した部分の色が極端に異なった色に置き換えられるわけではない。

（ステップＳ１１２）制御部１０８の色変換部１２８は、ステップＳ１１１で指定した顔エリア内に対してステップＳ１１０で求めた色変換マトリクスを用いて色変換する。尚、色変換は顔エリア内の各画素に対してのみ行われる。

（ステップＳ１１３）制御部１０８は、一連の「人物撮影モード」での撮影を終了する。

このように、本実施形態に係る電子カメラ１０１は、「人物撮影モード」に設定されている場合に、顔の肌色と首や肩などデコルテ部分の肌色との色の違いを少なくし、自然な感じの人物画像を得ることができる。特に、ファンデーションなどで化粧をした人物を電子カメラ１０１でフラッシュ撮影した場合に、撮影された人物画像の顔色が青白くなっても、首や肩など顔周辺部分の肌色に応じて顔部分の肌色を補正するので、首や肩など顔周辺部分の肌色と顔の肌色との差を目立たなくすることができる。

尚、図２のフローチャートは、フラッシュ撮影した場合に顔部分の色補正を行うようにしたが、フラッシュ撮影を行わない通常撮影の場合においても、同様に顔部分の肌色を補正する処理を実行するようにしても構わない。この場合、制御部１０８は、図２のフローチャートからステップＳ１０２のフラッシュ撮影を判別する処理を削除したフローチャートを実行する。

また、上記の実施形態では、顔部分の肌色を首や肩など顔周辺部分の肌色（目標色）に応じて補正するようにしたが、逆に首や肩など顔周辺部分の肌色を顔部分の肌色（目標色）に応じて補正するようにしても構わない。例えば、図２のフローチャートにおいて、ステップＳ１０４で取得した顔の色と、ステップＳ１０５で取得した顔周辺の色とのいずれかの色でより理想的な肌色（例えばユーザーが予め設定しておいた肌色）に近い方のエリアの色を目標色として、理想的な肌色から離れている方のエリアを補正対象エリアとする補正エリア判別処理を追加しても構わない。この場合は、図２のフローチャートにおいて、ステップＳ１０９で上記の補正エリア判別処理を行い、理想的な肌色に近い方の肌色を目標色とする。そして、ステップＳ１１１の顔エリアの指定処理では顔エリアまたは首や肩などの顔以外のエリアを補正対象エリアとして選択し、さらに、ステップＳ１１２の顔エリアの色変換処理ではステップＳ１１１で指定した補正対象エリアに対して色変換処理を実行する。

このように、本実施形態に係る電子カメラ１０１は、顔の肌色と顔周辺部分の肌色との色の違いが少なくすることができるので、自然な感じの人物画像を得ることができる。

尚、上記の実施形態においては、電子カメラ１０１で人物画像を撮影する際に肌色補正を行うようにしたが、プレビュー画像の撮影時に肌色補正を行うようにしても構わない。

或いは、電子カメラ１０１で撮影済の画像を再生する際に肌色補正を行うようにしても構わない。例えば、メモリカード１１１ａに記憶された複数枚の静止画像を再生して表示部１１０に表示する際に、一旦メモリカード１１１ａから画像バッファ１０７に画像データを読み出し、読み出した画像データが人物画像であるか否かを判別する。そして、人物画像である場合は、先に説明したように、顔部分の肌色と顔周辺部分の肌色との色の違いが少なくなるように肌色補正を実行する。このような再生時の肌色補正処理は、制御部１０８は、図２のフローチャートのステップＳ１０３以降の処理をメモリカード１１１ａから画像バッファ１０７に読み出した画像データに対して実行するようにすれば実現できる。

さらに、画像の撮影時や再生時に肌色補正を行う必要はなく、電子カメラ１０１に「肌色補正モード」を設けて、撮影済みの画像の中から肌色補正を行いたい画像をサムネイル表示された画像の中から選択し、選択された撮影済みの画像に対して一括して肌色補正を行うようにしても構わない。この場合の処理も、選択された撮影済みの画像を１枚ずつあるいは一括してメモリカード１１１ａから画像バッファ１０７に読み出し、図２のフローチャートのステップＳ１０３以降の処理を実行するようにすれば実現できる。

このように、画像の撮影時ではなく画像の再生時や撮影後に肌色補正を実行することにより、連写撮影などで肌色補正する処理を同時に実行できない場合でも、顔部分の肌色と顔周辺部分の肌色との色の違いを少なくする補正を行うことができるので、自然な感じの人物画像を得ることができる。

さらに、上記の実施形態では電子カメラ１０１で肌色補正を行うようにしたが、画像の再生時や撮影後に肌色補正を実行する場合と同様に、撮影済みの画像が記憶されたメモリカード１１１ａをコンピュータに接続し、コンピュータ上で画像処理プログラムを実行して肌色補正を行うようにしても構わない。この場合、コンピュータは図１の制御部１０８に相当し、コンピュータで実行される画像処理プログラムは、制御部１０８の各部が図２のフローチャートのステップＳ１０３以降の処理を実行するプログラムに相当する。

このように、本発明に係る電子カメラ１０１および画像処理プログラムは、顔の肌色と顔周辺部分の肌色との色の違いが少なく、自然な感じの人物画像を得ることができる。尚、上記の画像処理プログラムは、コンピュータが読み込み可能な記憶媒体に記憶された状態で配布され、コンピュータにインストールして実行するものとする。

（応用例１）
次に、上記の実施形態で説明した電子カメラ１０１および画像処理プログラムの応用例１について説明する。尚、応用例１においても、図１で説明した電子カメラ１０１の構成は変わらず、一部の処理が異なる。応用例１では、制御部１０８の色判定部１２４が顔周辺領域の色（第２色情報）を取得する際に、複数の色を取得して再頻度の色を顔周辺領域の代表色として取得する。

［顔周辺領域の色（第２色情報）の取得について］
ここで、図２のフローチャートでは、ステップＳ１０５において、制御部１０８の色判定部１２４は、ステップＳ１０３で判別した顔周辺領域の色（第２色情報）を取得する。ところが、例えば顔周辺領域として首やデコルテの領域を用いる場合、図７（ａ）に示すように撮影された人物はネックレス２５１を着けている可能性がある。このため、たまたま第２色情報を取得した部分２６１がネックレス２５１の部分である場合、実際の肌色とは異なる色が取得されることになる。尚、もし極端に色が異なる場合は、図２のステップＳ１０６で所定範囲外になるので問題にはならないが、例えば金や真珠など肌色に近い色のネックレス２５１を着けていた場合は、ステップＳ１０６でＹｅｓに判定される可能性がある。

そこで、本応用例１では、図７（ｂ）に示すように、制御部１０８の色判定部１２４が顔周辺領域の色（第２色情報）を取得する際に、当該領域の複数の色（２６１（１），２６１（２），・・・，２６１（ｎ））を取得して最頻度の色を顔周辺領域の代表色として用いる。これは、首やデコルテ部分に占めるネックレス部分は小さいので、取得した複数の色の多数はネックレス以外の部分の色であると見なせるからである。例えば図７（ｂ）において、色を取得する部分２６１（１），２６１（２）の色がほぼ同じであるとした場合、ネックレス部分２６１（ｎ）の色よりも最頻度になり、部分２６１（１），２６１（２）の色が顔周辺領域の色（第２色情報）として取得される。尚、実際には３ヶ所ではなくもっと多くの部分の色を取得して、図８（ａ），図８（ｂ）および図８（ｃ）に示すような方法で最頻度の色を求める。

図８（ａ）は、図４で説明したＬ＊ａ＊ｂ＊表色系による色空間の色座標（ａ＊，ｂ＊）において、肌色領域３０１を複数の色領域に分割しておき、顔周辺領域から取得した複数の色をそれぞれ肌色領域３０１のどの色領域に入るかを判別する。そして、各色領域毎に判別された色の数がいくつあるかをカウントし、数の一番多い色領域の色を顔周辺領域の代表色として選択する。尚、各色領域は、ある範囲を持たせて分けてあるので、例えばその中心の色を代表色とする。例えば図８（ａ）の色領域３５１が最頻度の色領域であった場合、色領域３５１のａ＊軸の範囲は約９から約１３なので、代表色のａ＊はその中央の１１となり、色領域３５１のｂ＊軸の範囲は約１７から約２１なので、代表色のｂ＊はその中央の１９となる。このようにして、顔周辺領域の代表色（色座標（ａ＊，ｂ＊）＝（１１，１９））を求めることができる。

ここで、図８（ａ）のように複数の色領域に分けてカウントする方法は、処理量が大きくなるので、簡易的な方法として、図８（ｂ）および図８（ｃ）のように、ヒストグラムを用いて最頻度の色を求めることもできる。この方法は、ａ＊軸とｂ＊軸で別々に頻度をカウントしたヒストグラムを作成して、それぞれの軸における最頻度の値を組み合わせて代表色とする方法である。例えば、図８（ｂ）において、ａ＊軸では１０から１５の値のヒストグラム３５２が最頻度になっているのでその中央の１２．５をａ＊の代表値とする。同様に、図８（ｃ）において、ｂ＊軸では１５から２０の値のヒストグラム３５３が最頻度になっているのでその中央の１７．５をｂ＊の代表値とする。このようにして、顔周辺領域の代表色の色座標（ａ＊，ｂ＊）＝（１２．５，１７．５）を求めることができる。尚、上記の方法は一例であり、頻度を求める方法であれば何でも構わない。

次に、顔周辺領域の複数の色を取得して最頻度の色を顔周辺領域の代表色として用いる応用例１の処理について、図９のフローチャートを用いて説明する。尚、図９は、先に説明した図２のフローチャートに対応する図で、図２と同じ符号のステップは同じ処理を行うので重複する説明は省略し、図２と異なる処理について説明する。

図９のフローチャートにおいて、図２のステップＳ１０５と、ステップＳ１０６と、ステップＳ１０７の処理の代わりにステップＳ１０５ａと、ステップＳ１０６ａと、ステップＳ１０７ａとを実行する点が図２と異なる。以下、これらの処理について順番に説明する。

（ステップＳ１０５ａ）制御部１０８の色判定部１２４は、ステップＳ１０３で判別した顔周辺領域の色を取得する（第２色情報）。この時、色判定部１２４は、ステップＳ１０３で判別した顔周辺領域内の異なる位置から複数の色を取得し、先に図７および図８で説明したように、再頻度の色を顔周辺領域の代表色とする。この場合、この代表色が第２色情報となる。

（ステップＳ１０６ａ）制御部１０８の色判定部１２４は、ステップＳ１０５ａで求めた顔周辺領域の代表色が所定範囲内の色であるか否かを判定する。所定範囲内の色である場合はステップＳ１０７ａに進み、所定範囲内の色でない場合はステップＳ１１３に進む。尚、この判定方法は図２のステップＳ１０６と同じである。

（ステップＳ１０７ａ）制御部１０８の色差算出部１２５は、ステップＳ１０４で取得した顔部分の色と、ステップＳ１０５ａで取得した顔周辺領域の代表色との色差を算出する。尚、この算出方法は図２のステップＳ１０７と同じである。

そして、顔周辺領域の代表色と顔部分の色との色差を求めた後のステップＳ１０８以降の処理は図２と同じなので説明を省略する。

尚、先の実施形態と同様に電子カメラ１０１だけでなく、図９と同様の処理を実行するコンピュータのプログラムであっても構わない。この場合は、撮影済みの画像が記憶されたメモリカード１１１ａをコンピュータに接続し、図９のステップＳ１０１，Ｓ１０２の処理の代わりにメモリカード１１１ａから撮影済みの画像を読み出す。そして、図９のステップ１０３以降の処理をコンピュータで実行する。尚、メモリカード１１１ａから読み出された画像に対して図９のステップＳ１０３以降の処理を実行する画像処理プログラムが記憶された記憶媒体から予めコンピュータに当該プログラムをインストールしてあるものとする。

このように、本応用例１に係る電子カメラ１０１および画像処理プログラムでは、顔の肌色を予めプリセット撮影した肌色に近づけることができるので、好みの顔色の人物画像を得ることができる。

（応用例２）
次に、先に説明した電子カメラ１０１および画像処理プログラムの応用例２について説明する。尚、応用例２においても、図１で説明した電子カメラ１０１の構成は変わらず、一部の処理が異なる。応用例２では、予め撮影（プリセット撮影と称する）しておいた顔の色や肌色見本などをプリセット色としてメモリ１０９に保持しておき、本撮影時の顔の色をプリセット色の肌色に近づけるように補正する電子カメラ１０１である。尚、プリセット撮影する顔の色は、本撮影する人物と同じ人物である必要はなく、ファッション雑誌などからお気に入りのモデルの写真をプリセット撮影しても構わない。或いは、化粧品などの標準的な肌色見本をプリセット撮影しても構わない。

図１０は、プリセット撮影した人物の顔の肌色をプリセット色としてメモリ１０９に記憶する処理を描いたフローチャートである。

尚、図１０は、図１の制御部１０８によって実行される処理である。また、応用例２に係る電子カメラ１０１では、プリセット色を取得するための「プリセット撮影モード」が設けられ、ユーザーは操作部１１２の撮影モードダイヤルで「プリセット撮影モード」を選択しているものとする。

（ステップＳ２００）撮影者が操作部１１２のレリーズボタンを押下する。

（ステップＳ２０１）レリーズボタンが押下されると、制御部１０８の撮影処理部１２１は、撮影する画像のフォーカス制御や露出制御などを行った後、撮像素子１０４で撮影した画像を画像バッファ１０７に一時的に記憶する。

（ステップＳ２０２）制御部１０８は、ステップＳ２０１で撮影された画像から人物撮影であるか否かを判別する。人物撮影である場合はステップＳ２０３に進み、人物撮影でない場合はステップＳ２０５に進む。尚、人物撮影であるか否かの判別は、顔検出部１２２によって行われる。この処理は、図２のステップＳ１０３と同じである。

（ステップＳ２０３）制御部１０８の色判定部１２４は、ステップＳ２０２で判別した顔部分の色を取得する。この処理は、図２のステップＳ１０４と同じである。

（ステップＳ２０４）制御部１０８は、ステップＳ２０３で判別した顔部分の色をプリセット色としてメモリ１０９に記憶する。

（ステップＳ２０５）制御部１０８は、一連のプリセット撮影を終了する。

このようにして、自分自身のお気に入りの顔の色（化粧直後などの顔の色）をプリセット色として取得することができる。尚、ステップＳ２０３の前にステップＳ２０３ａを実行するようにし、表示部１１０の画面に撮影した画像を表示して、ユーザーが操作部１１２のカーソルボタンなどを用いて色を取得する位置を指定できるようにしても構わない。また、図１０のフローチャートでは、人物の顔の色をプリセット色としてメモリ１０９に記憶するようにしたが、例えばステップＳ２０２，Ｓ２０３を行わず、肌色見本を画面全体に撮影した画像から取得した色（画像の所定位置の色や複数位置の色の平均値など）をプリセット色としてメモリ１０９に記憶するようにしても構わない。

［プリセット色を用いた「人物撮影モード」における肌色補正処理］
次に、応用例２における電子カメラ１０１の「人物撮影モード」における肌色補正処理について図１１のフローチャートを用いて説明する。図１１のフローチャートは図２で説明した「人物撮影モード」の肌色補正処理に対応するが、顔周辺領域の色に近づけるのではなく、プリセット色に近づける点が異なる。尚、図１１において、図２のステップ番号と同番号のステップは同じ処理を示す。従って、図１１のステップＳ１００からＳ１０４までの処理は図２と同じ処理である。そして、ステップＳ１０４の後に次のステップＳ１０７ｂを実行する。

（ステップＳ１０７ｂ）制御部１０８の色差算出部１２５は、ステップＳ１０４で取得した顔部分の色と、図１０で説明した「プリセット撮影」で取得したプリセット色との色差を算出する。尚、この処理は、図２のステップＳ１０７において、顔周辺領域の色をメモリ１０９に記憶されているプリセット色に置き換えるだけで、算出方法は同じである。

そして、プリセット色と顔部分の色との色差を求めた後の処理（ステップＳ１０８以降の処理）は図２と同じなので説明を省略する。

尚、先の実施形態と同様に電子カメラ１０１だけではなく、図１１の処理を実行するコンピュータのプログラムであっても構わない。この場合は、撮影済みの画像が記憶されたメモリカード１１１ａをコンピュータに接続し、図１１のステップＳ１０１，Ｓ１０２の処理の代わりにメモリカード１１１ａから撮影済みの画像を読み出す処理を実行する。この後、図１１のステップ１０３以降の処理をコンピュータで実行する。尚、メモリカード１１１ａから読み出された画像に対して図１１のステップＳ１０３以降の処理を実行する画像処理プログラムが記憶された記憶媒体から予めコンピュータに当該プログラムをインストールしてあるものとする。

このように、本応用例２に係る電子カメラ１０１および画像処理プログラムでは、顔の肌色を予めプリセット撮影した肌色に近づけることができるので、好みの顔色の人物画像を得ることができる。

（応用例３）
次に、先に説明した電子カメラ１０１および画像処理プログラムの応用例３について説明する。尚、応用例３においても、図１で説明した電子カメラ１０１の構成は変わらず、一部の処理が異なる。応用例３では、制御部１０８の補正係数算出部１２６が顔部分の色を新顔色に変換するための色変換マトリクスを算出する際に、色変換マトリクス係数に重み付け処理を行う。色変換マトリクスは、図４で説明したように、色空間上の特定の色を目標とする色に変換するための係数で、例えば（式１）および（式２）の行列式において、ｇ１１，ｇ１２，ｇ２１およびｇ２２に相当する。

そして、重み付け係数をａ１１，ａ１２，ａ２１およびａ２２とし、重み付け後の色変換マトリクスの係数をｇ１１’，ｇ１２’，ｇ２１’およびｇ２２’とすると、（式５）から（式８）のように計算できる。
ｇ１１’＝ａ１１×ｇ１１ ・・・（式５）
ｇ１２’＝ａ１２×ｇ１２ ・・・（式６）
ｇ２１’＝ａ２１×ｇ２１ ・・・（式７）
ｇ２２’＝ａ２２×ｇ２２ ・・・（式８）
このようにして、色変換部１２８は、補正係数算出部１２６が求めた重み付け後の色変換マトリクスを用いて色変換処理を行うことによって、色変換の度合いを調整することができる。尚、重み付け係数の設定は、例えば「補正度合い選択メニュー」を設けて、撮影画像を見ながら好みの補正度合いを選択する。例えば図１２（ａ）に示すように、撮影画像と一緒に補正度合いを調整するスライドバー３６１を表示部１１０に表示する。そして、操作部１１２のカーソルボタンでスライドバー３６１上のスライドボタン３６２を上下させて補正無しから補正強までの調整を行う。例えば、図１２（ａ）の例ではスライドボタン３６２が補正強側にあるので、頬の部分２０１と首部分２０２の肌の色の差が少なくなるように補正される。また、図１２（ｂ）の例ではスライドボタン３６２が補正強と補正無しの中間にあるので、図１２（ａ）よりも補正が弱く、頬の部分２０１と首部分２０２の肌の色の差が少し残る。更に、図１２（ｃ）の例ではスライドボタン３６２が補正無側にあるので補正は行われず、頬の部分２０１と首部分２０２の肌の色の差が大きくなる。

尚、制御部１０８の補正係数算出部１２６が顔部分の色を新顔色に変換するための色変換マトリクスを算出する際に、色変換マトリクス係数に重み付け処理を行うこと以外は、他の実施形態と同じである。

また、先の実施形態と同様に電子カメラ１０１だけではなく、色変換マトリクス係数に重み付け処理を行うコンピュータの画像処理プログラムであっても構わない。

このように、本応用例３に係る電子カメラ１０１および画像処理プログラムでは、顔の肌色を色変換する際の補正度合いを調整することができるので、ユーザーの好みに合った顔色の人物画像を得ることができる。尚、顔部分と顔周辺部分の肌色の差の大きさが大きい場合は一般的に化粧が濃いと見なせるので、化粧の濃さを判定するアプリケーションにも利用することができる。

（応用例４）
次に、先に説明した電子カメラ１０１および画像処理プログラムの応用例４について説明する。尚、応用例４においても、図１で説明した電子カメラ１０１の構成は変わらず、一部の処理が異なる。応用例４では、先に説明した応用例３において、フラッシュ１１３の光が顔部分に与える度合い（寄与度）に応じて重み付け係数を自動的に設定するようになっている。

ここで、フラッシュ１１３の光の寄与度は、フラッシュ１１３が発光時の顔の明るさと、発光時と同じ撮影条件（絞り，シャッタ速度，ＩＳＯ感度）で非発光の時の顔の明るさとの差として求めることができる。例えば、図１３（ａ）はフラッシュ無しで夜景を顔部分が最適な露出になるように自動露出で撮影した画像例である。ここで、図１３（ａ）の露出条件は、シャッタ速度：１／８，絞り：Ｆ２．８，感度：ＩＳＯ４００であったと仮定する。また、図１３（ｂ）は、図１３（ａ）と同じ夜景をフラッシュ有りで顔部分が最適な露出になるように自動露出で撮影した画像例である。ここで、図１３（ｂ）の露出条件は、シャッタ速度：１／６０，絞り：Ｆ２．８，感度：ＩＳＯ５０であったと仮定する。そして、図１３（ｂ）の顔部分の明るさ（例えばＢｖ値）をＢ１とする。尚、顔部分の明るさは、撮影画像に対して顔検出部１２２が顔検出した位置の画素値から求められる。

ここで、図１３（ｂ）のフラッシュ有りの露出条件と同じ露出条件でフラッシュ無し（非発光）で撮影した場合の顔部分の明るさを図１３（ａ）の画像を撮影した時の露出条件から推定する。或いは、図１３（ｂ）と同じ露出条件で強制的に同じ夜景を撮影して、顔部分の明るさを求めても構わないが、露出アンダーになってＳＮ比が劣化するので、正確な明るさを求められない可能性がある。ここでは、フラッシュ無しで自動露出で撮影された図１３（ａ）の画像の顔部分の明るさから図１３（ｃ）の顔部分の明るさを推定する。尚、明るさの推定は、シャッタ速度，絞りおよびＩＳＯ感度の各値から行うことができる。例えば図１３（ａ）のシャッタ速度：１／８から図１３（ｃ）のシャッタ速度：１／６０になった場合、明るさを示すＢｖ値はシャッタ速度の３段階分の３だけ増加する。同様に、絞りや感度の違いからＢｖ値を推定することができる。このようにして、フラッシュ無しで自動露出で撮影された図１３（ａ）の画像の顔部分の明るさから図１３（ｃ）の顔部分の明るさを推定した値をＢ２とする。

この結果、シャッタ速度，絞りおよびＩＳＯ感度の露出条件が同じでフラッシュ有りの場合の顔部分の明るさがＢ１で、フラッシュ無しの場合の顔部分の明るさがＢ２なので、フラッシュ１１３の光による顔部分の明るさへの寄与度Ｃｄは、（式９）のように求めることができる。尚、（Ｂ１＞Ｂ２）の関係になることを前提としているが、減算する順序を考えない場合は差の絶対値を寄与度Ｃｄとしても構わない。尚、（Ｂ１＞Ｂ２）とする。
Ｃｄ＝Ｂ１−Ｂ２ ・・・（式９）
さらに、（式１０）のように正規化した寄与度Ｃｄｓを求めても構わない。
Ｃｄｓ＝（Ｂ１−Ｂ２）／Ｂ１ ・・・（式１０）
（式１０）の場合、Ｂ２は０（黒レベル）からＢ１（フラッシュ１１３の光が届かない場合はＢ２＝Ｂ１となる）まで変化するので、寄与度Ｃｄｓは０から１までの範囲の値となる。つまり、寄与度Ｃｄｓが１に近い場合はフラッシュ１１３の光が顔の色に与える影響が大きく、逆に寄与度Ｃｄｓが０に近い場合はフラッシュ１１３の光が顔の色に与える影響が小さい。

そして、この寄与度Ｃｄｓを応用例３で説明した色変換マトリクス係数の重み付け係数として適用する。これにより、フラッシュ１１３の光が顔に与える影響が大きい場合に補正度合いを大きくして顔周辺領域の色との差が少なくなるように強い補正を行い、逆にフラッシュ１１３の光が顔に与える影響が小さい場合に補正度合いを小さくして顔周辺領域の色との差が少なくなるように弱めの補正を行うことができる。

次に、応用例４の電子カメラ１０１において、フラッシュ１１３の光が顔部分に与える度合い（寄与度）に応じて重み付け係数を自動的に設定する処理の流れについて図１４のフローチャートを用いて説明する。ここで、図１４のフローチャートは図２で説明した「人物撮影モード」の肌色補正処理に対応するが、フラッシュ１１３の光が顔部分に与える度合い（寄与度）に応じて色変換マトリクスの重み付け係数を自動的に変える点が異なる。尚、図１４において、図２のステップ番号と同番号のステップは同じ処理を示す。また、図２ではステップ１０１で撮影後にステップＳ１０２でフラッシュ撮影されたか否かを判別するようにしたが、本応用例４ではステップＳ１０２において撮影前にフラッシュ撮影が適用されるか否かを露出状態や強制発光モードに設定されているか否かによって判断する。そして、フラッシュ撮影が行われる場合はステップＳ３０１に進み、フラッシュ撮影が行われない場合はステップＳ１１３に進んで補正処理を行わない。

以降、図２と異なる処理について説明する。

（ステップＳ３０１）制御部１０８の撮影処理部１２１は、撮影する画像のフォーカス制御や露出制御（フラッシュ１１３を発光しない場合の露出制御）などを行った後、撮像素子１０４で撮影した画像を画像バッファ１０７に一時的に記憶する（非発光撮影画像）。尚、ステップＳ３０１の処理は、次のステップＳ３０２の後で行うようにしても構わない。

（ステップＳ３０２）制御部１０８の撮影処理部１２１は、撮影する画像のフォーカス制御や露出制御（フラッシュ１１３を発光する場合の露出制御）などを行った後、撮像素子１０４で撮影した画像を画像バッファ１０７に一時的に記憶する（本撮影画像）。

次のステップＳ１０４およびステップＳ１０５は、ステップＳ３０２で撮影した本撮影画像に対して図２と同じ処理を行う。以降、ステップＳ１０９まで、図２と同様の処理を実行し、新顔色を作成する。この後、図２の色変換マトリクス算出処理へ移る前に次のステップＳ３０３の処理を実行する。

（ステップＳ３０３）制御部１０８の補正係数算出部１２６は、ステップＳ３０１で撮影したフラッシュ１１３が非発光時の画像と、ステップＳ３０２で撮影したフラッシュ１１３が発光時の画像とを用いて、先に図１３で説明した寄与度を算出する。

そして、次のステップＳ１１０ａで色変換マトリクスを算出する際に寄与度に応じて重み付けを行う。

（ステップＳ１１０ａ）制御部１０８の補正係数算出部１２６は、ステップＳ３０３で求めた寄与度に応じて、顔部分の色を新顔色に変換するための色変換マトリクスを算出する。

例えば、（式５）から（式８）の４つの重み付け係数（ａ１１，ａ１２，ａ２１およびａ２２）の代わりに（式１０）で示した寄与度Ｃｄｓを４つの係数として用いることによって、寄与度Ｃｄｓが大きい場合（フラッシュの光の影響が大きい場合）は重み付け係数を大きくし、逆に寄与度Ｃｄｓが小さい場合（フラッシュの光の影響が小さい場合）は重み付け係数を小さくすることができる。

そして、ステップＳ１１０ａで色変換マトリクスを求めた後のステップＳ１１１以降の処理は図２と同じなので説明を省略する。

尚、先の実施形態と同様に電子カメラ１０１だけでなく、図１１と同様の処理を実行するコンピュータのプログラムであっても構わないが、非発光時の画像を撮影して、本撮影画像と一緒にメモリカード１１１ａに記憶しておく必要がある。或いは、撮影時に求めた寄与度を本撮影画像のヘッダ情報として付加しておく必要がある。このような操作を撮影時に行った上で、撮影済みの本撮影画像と非発光時の画像（または寄与度がヘッダ情報として付加された本撮影画像）が記憶されたメモリカード１１１ａをコンピュータに接続し、図１４のステップＳ１０２，Ｓ３０１およびＳ３０２の処理の代わりにメモリカード１１１ａから撮影済みの本撮影画像と非発光時の画像（または寄与度がヘッダ情報として付加された本撮影画像）を読み出す処理を実行する。この後、図１４のステップ１０３以降の処理をコンピュータで実行する。尚、メモリカード１１１ａから読み出された画像に対して図１４のステップＳ１０３以降の処理を実行する画像処理プログラムが記憶された記憶媒体から予めコンピュータに当該プログラムをインストールしてあるものとする。

このように、本応用例４に係る電子カメラ１０１および画像処理プログラムでは、顔の肌色をフラッシュ１１３の光の寄与度に応じて補正する度合いを変えることができるので、補正が極端に強くなってしまうことを避けることができ、自然な肌色に近づけることができる。

（応用例５）
次に、先に説明した電子カメラ１０１および画像処理プログラムの応用例５について説明する。尚、応用例５においても、図１で説明した電子カメラ１０１の構成は変わらず、一部の処理が異なる。応用例５では、先に説明した応用例４において、フラッシュ１１３の非発光時の顔の色合いを考慮する補正を行うようになっている。これにより、フラッシュ１１３が発光時の顔の色合いをフラッシュ１１３が非発光時の自然な顔の色合いに合わせることが可能になる。

応用例５における電子カメラ１０１の「人物撮影モード」における肌色補正処理について図１５のフローチャートを用いて説明する。図１５のフローチャートは図２で説明した「人物撮影モード」の肌色補正処理に対応するが、フラッシュ１１３の非発光時の顔の色合いを考慮する補正を行う点が異なる。尚、図１５において、図２または図１４のステップ番号と同番号のステップは同じ処理を示す。また、図２ではステップ１０１で撮影後にステップＳ１０２でフラッシュ撮影されたか否かを判別するようにしたが、本応用例５では図１４の応用例４と同様に、ステップＳ１０２において撮影前にフラッシュ撮影が適用されるか否かを露出状態や強制発光モードに設定されているか否かによって判断する。そして、フラッシュ撮影が行われる場合にステップＳ３０１に進み、フラッシュ撮影が行われない場合はステップＳ１１３に進んで補正処理は行わない。

また、図１５において、ステップＳ３０１とステップ３０２の処理は図１４の同番号のステップと同じ処理であり、制御部１０８の撮影処理部１２１は、撮像素子１０４で撮影したフラッシュ１１３が非発光時の画像と発光時の画像（本撮影画像）とをそれぞれ画像バッファ１０７に取り込む。そして、次のステップＳ１０３は図２のステップＳ１０３と同じで、撮影画像が人物画像であるか否かを判別し、人物画像である場合はステップＳ４０１に進み、人物画像ではない場合はステップＳ１１３に進む。

以降、図２と異なる処理について説明する。

（ステップＳ４０１）この処理は、図２のステップＳ１０４の処理に相当するが、ステップＳ３０１で撮影したフラッシュ１１３が非発光時の画像について顔の色を取得する。

（ステップＳ４０２）この処理は、図２のステップＳ１０４の処理に相当するが、ステップＳ３０２で撮影したフラッシュ１１３が発光時の画像について顔の色を取得する。

（ステップＳ４０３）この処理は、図２のステップＳ１０７の処理に相当するが、ステップＳ４０１で取得したフラッシュ１１３が非発光時の顔の色と、ステップＳ４０２で取得したフラッシュ１１３が発光時の顔の色との色差を算出する。

そして、フラッシュ１１３が非発光時の顔の色と、フラッシュ１１３が発光時の顔の色との色差を求めた後のステップＳ１０８以降の処理は図２と同じなので説明を省略する。

尚、先の実施形態と同様に電子カメラ１０１だけでなく、図１５と同様の処理を実行するコンピュータのプログラムであっても構わないが、応用例４と同様に、非発光時の画像を撮影して、本撮影画像と一緒にメモリカード１１１ａに記憶しておく必要がある。このような操作を撮影時に行った上で、撮影済みの本撮影画像と非発光時の画像が記憶されたメモリカード１１１ａをコンピュータに接続し、図１５のステップＳ１０２，Ｓ３０１およびＳ３０２の処理の代わりにメモリカード１１１ａから撮影済みの本撮影画像と非発光時の画像を読み出す処理を実行する。この後、図１５のステップ１０３以降の処理をコンピュータで実行する。尚、メモリカード１１１ａから読み出された画像に対して図１５のステップＳ１０３以降の処理を実行する画像処理プログラムが記憶された記憶媒体から予めコンピュータに当該プログラムをインストールしてあるものとする。

このように、本応用例５に係る電子カメラ１０１および画像処理プログラムでは、フラッシュ１１３の非発光時の顔の色合いを考慮する補正を行うので、フラッシュ１１３が発光時の顔の色合いをフラッシュ１１３が非発光時の自然な顔の色合いに合わせることができる。

（応用例６）
次に、先に説明した電子カメラ１０１および画像処理プログラムの応用例６について説明する。尚、応用例６においても、図１で説明した電子カメラ１０１の構成は変わらず、一部の処理が異なる。応用例６では、先に説明した実施形態や応用例において、フラッシュ１１３を発光して撮影した画像の顔の部分が飽和している場合でも適正な補正が行えるようになっている。尚、一般的にＲＧＢ（赤，緑，青）で画像を撮影する場合、一番飽和しやすいのはＧであることが知られている。そこで、本応用例では顔部分のＧが飽和した場合に、顔周辺部分（首，デコルテ，肩など）の色から顔部分のＧを推定する。

図１６は、顔の頬部分２０１が飽和している場合に首部分２０２の色を用いて頬部分２０１の色を推定する処理を説明するための図である。図１６において、頬部分２０１のＲＧＢ値は（Ｒ１，Ｇ１，Ｂ１）で、頬部分２０２のＲＧＢ値は（Ｒ０，Ｇ０，Ｂ０）であったと仮定する。そして、フラッシュ１１３の光によって頬部分２０１のＧ１が飽和しているものとする。この場合、Ｒ１とＢ１は飽和していない。また、首部分２０２のＲＧＢ値（Ｒ０，Ｇ０，Ｂ０）も飽和していないものとする。尚、飽和とは、例えば８ビット階調（０から２５５の２５６階調）でＲＧＢの各データを表す場合、２５５の値に張り付いている状態である。

ここで、首部分２０２のＲＧＢ値（Ｒ０，Ｇ０，Ｂ０）からＲとＧの比率（Ｒ０／Ｇ０）と、ＢとＧの比率（Ｂ０／Ｇ０）とを求める。そして、これらの比率を頬部分２０１のＲ１とＢ１とに適用してそれぞれＧｒ１’とＧｂ１’とを求める。もし、Ｇｒ１’とＧｂ１’とが異なる場合は、例えばＧｒ１’とＧｂ１’の平均値を頬部分２０１のＧ１の推定値Ｇ１’とする。このようにして、頬部分２０１の飽和したＧ１の値を推定することができる。

尚、上記の処理は、顔の色の取得を行うステップＳ１０４からステップＳ１０７の間で行えばよく、例えば図１７に示すように、ステップＳ１０７の直前でステップＳ５０１とステップＳ５０２とを実行する。

（ステップＳ５０１）ステップＳ１０４で取得した顔の色から飽和しているか否かを判別する。飽和している場合はステップＳ５０２に進み、飽和していない場合はステップＳ１０７に進む。尚、飽和しているか否かの判別は先に説明した通りである。また、飽和していない場合（ステップＳ１０７に進んだ場合）は図２のフローチャートと全く同じ処理になる。

（ステップＳ５０２）ステップＳ５０１で顔部分が飽和している場合は顔部分の色の推定処理を行う。尚、推定処理については、先に図１６で説明した通りである。

このようにして、顔部分の色が飽和している場合に飽和した色の推定処理を行うので、フラッシュ１１３を発光して撮影した画像の顔部分が飽和している場合でも適正な補正を行うことができる。

（応用例７）
次に、先に説明した電子カメラ１０１および画像処理プログラムの応用例７について説明する。尚、応用例７においても、図１で説明した電子カメラ１０１の構成は変わらず、一部の処理が異なる。応用例７では、先に説明した実施形態や応用例では、顔の色を顔周辺部分の色に近づける処理について説明したが、顔と顔周辺部分の関係に限らず、２つの部分の色合いを同じようにしたい場合に適用可能である。

例えば、図１８は、先に説明した電子カメラ１０１および画像処理プログラムの処理を髪に適用する例を示している。図１８は、髪染めなどを行っている場合に、髪の成長に伴い髪の生え際や分け目部分６０１などで地毛が現れて斑に見えるようになる。例えば、図１８の点線円６０１ａに示すように髪染め直後は髪全体が同じ色になっているが、髪が成長すると図１８の点線円６０１ｂに示すように生え際部分６０２に地毛が現れてくる。

そこで、応用例７に係る電子カメラ１０１および画像処理プログラムによる処理では、先に説明した実施形態や応用例において、顔部分の色として生え際部分６０２の色を用い、顔周辺部分の色として生え際ではない先の部分６０３，６０４の色を用いる。これにより、生え際部分６０２の髪の色を先の部分６０３，６０４の色に近づけることができる。

尚、髪の抽出は、制御部１０８の顔検出部１２２が行う顔検出処理を応用することで実現できる。例えば顔の輪郭は顔検出処理で検出できるので、検出した顔部分の上方に髪があることがわかる。また、生え際部分の検出は、髪部分で極端に色が変化している部分を抽出することで検出可能である。尚、極端に色が変化している部分がなければ処理を実行せず、極端に色が変化している部分がある場合だけ処理を実行するようにしても構わない。

このように、顔の色を顔周辺部分の色に近づける処理について説明したが、顔と顔周辺部分の関係に限らず、２つの部分の色合いを同じようにしたい場合に適用可能である。

以上、本発明に係る電子カメラ１０１および画像処理プログラムについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・電子カメラ １０２・・・撮影光学系
１０３・・・メカニカルシャッタ １０４・・・撮像素子
１０５・・・ＡＦＥ（アナログフロントエンド）
１０６・・・Ａ／Ｄ変換部 １０７・・・画像バッファ
１０８・・・制御部 １０９・・・メモリ
１１０・・・表示部 １１１・・・メモリカードＩ／Ｆ
１１１ａ・・・メモリカード １１２・・・操作部
１１３・・・フラッシュ
１２１・・・撮影処理部 １２２・・・顔検出部
１２３・・・周辺領域検出部 １２４・・・色判定部
１２５・・・色差算出部 １２６・・・補正係数算出部
１２７・・・エリア指定部 １２８・・・色変換部

Claims (11)

1. 人物画像を撮影する撮像部と、
   前記撮像部が撮影した人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出部と、
   前記領域検出部が検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出部と、
   色変換を行う領域を指定するエリア指定部と、
   前記色差算出部が求めた色差に基づいて色補正係数を求める補正係数算出部と、
   前記色差算出部が求めた色差が所定値以上の場合に、前記エリア指定部で指定した領域を前記色補正係数を用いて色変換を行う色変換部と、
   閃光部と
   を有し、
   前記撮像部で撮影する際に前記閃光部がオンの場合に、色変換処理を実行することを特徴とする電子カメラ。
2. 人物画像を撮影する撮像部と、
   前記撮像部が撮影した人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出部と、
   前記領域検出部が検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出部と、
   色変換を行う領域を指定するエリア指定部と、
   前記色差算出部が求めた色差に基づいて色補正係数を求める補正係数算出部と、
   前記色差算出部が求めた色差が所定値以上の場合に、前記エリア指定部で指定した領域を前記色補正係数を用いて色変換を行う色変換部と、
   前記撮像部で予め撮影した人物画像に対して前記色差算出部が判定した肌色領域の色情報をプリセット色情報として保持する保持部と
   を有し、
   前記色差算出部は、前記撮像部で本撮影した人物画像に対して判定した肌色領域の本撮影色情報と、前記保持部に保持されている前記プリセット色情報との色差を求めることを特徴とする電子カメラ。
3. 人物画像を撮影する撮像部と、
   前記撮像部が撮影した人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出部と、
   前記領域検出部が検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出部と、
   色変換を行う領域を指定するエリア指定部と、
   前記色差算出部が求めた色差に基づいて色補正係数を求める補正係数算出部と、
   前記色差算出部が求めた色差が所定値以上の場合に、前記エリア指定部で指定した領域を前記色補正係数を用いて色変換を行う色変換部と
   を有し、
   前記補正係数算出部は、求めた色補正係数に対して所定の重み付けを行うことを特徴とする電子カメラ。
4. 請求項２に記載の電子カメラにおいて、
   前記保持部は、前記閃光部が非発光時に撮影した人物画像に対して前記色差算出部が判定した肌色領域の色情報をプリセット色情報として保持する
   ことを特徴とする電子カメラ。
5. 請求項３に記載の電子カメラにおいて、
   前記補正係数算出部は、前記色補正係数を求める際に、前記閃光部が発光時の顔部分に対する寄与度に応じて前記色補正係数の重み付けを行うことを特徴とする電子カメラ。
6. 請求項１から５のいずれか一項に記載の電子カメラにおいて、
   前記色差算出部が前記第２色情報を判定する顔以外の肌色領域は、人物の首周辺領域であることを特徴とする電子カメラ。
7. 請求項１から６のいずれか一項または２に記載の電子カメラにおいて、
   前記第１色情報および前記第２色情報の少なくとも一方の色相が所定範囲内にあるか否かを判定する色範囲判定部を更に設け、
   前記色範囲判定部の判定結果が所定範囲内にある場合は前記色変換処理を実行することを特徴とする電子カメラ。
8. 請求項１から７のいずれか一項に記載の電子カメラにおいて、
   前記色差算出部は、前記第２色情報を判定する際に、顔以外の肌色領域の色分布から最頻度の色分布を求め、当該色分布を顔以外の肌色領域の前記第２色情報とする
   ことを特徴とする電子カメラ。
9. 人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出ステップと、
   前記領域検出ステップで検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出ステップと、
   色変換を行う領域を指定するエリア指定ステップと、
   前記色差算出ステップで求めた色差に基づいて色補正係数を求める補正係数算出ステップと、
   前記色差算出ステップで求めた色差が所定値以上の場合に、前記エリア指定ステップで指定した領域を前記色補正係数を用いて色変換を行う色変換ステップと
   を有し、
   前記人物画像が閃光部をオンにして撮影された画像である場合に、色変換処理を実行することを特徴とするコンピュータで実行可能な画像処理プログラム。
10. 人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出ステップと、
    前記領域検出ステップで検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出ステップと、
    色変換を行う領域を指定するエリア指定ステップと、
    前記色差算出ステップで求めた色差に基づいて色補正係数を求める補正係数算出ステップと、
    前記色差算出ステップで求めた色差が所定値以上の場合に、前記エリア指定ステップで指定した領域を前記色補正係数を用いて色変換を行う色変換ステップと、
    予め撮影した人物画像に対して前記色差算出ステップで判定した肌色領域の色情報をプリセット色情報としてメモリに保持する保持ステップと
    を有し、
    前記色差算出ステップは、本撮影した人物画像に対して判定した肌色領域の本撮影色情報と、前記メモリに保持されている前記プリセット色情報との色差を求めることを特徴とするコンピュータで実行可能な画像処理プログラム。
11. 人物画像の中から顔部分および顔以外の部分を含む肌色領域を検出する領域検出ステップと、
    前記領域検出ステップで検出した肌色領域の色情報を判定し、前記顔部分の第１色情報と前記顔以外の部分の肌色領域の第２色情報との色差を求める色差算出ステップと、
    色変換を行う領域を指定するエリア指定ステップと、
    前記色差算出ステップで求めた色差に基づいて色補正係数を求め、求めた色補正係数に対して所定の重み付けを行う補正係数算出ステップと、
    前記色差算出ステップで求めた色差が所定値以上の場合に、前記エリア指定ステップで指定した領域を前記色補正係数を用いて色変換を行う色変換ステップと
    を有することを特徴とするコンピュータで実行可能な画像処理プログラム。

Images