JP6897036B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、デジタルカメラ等の画像処理装置において、特許文献１のように、美白処理と呼ばれる処理を施す技術が知られている。
美白処理では、画像に含まれる人物の顔の肌部分を美しくする処理が施される。

特開２００６−１２１４１６号公報

しかしながら、撮影対象の人物が顔に化粧を施している場合、化粧の濃さや人物の特性あるいは撮影条件の違いによっては、同じ美白処理を施すだけでは効果に違いが出てしまうという問題がある。このことは、肌を滑らかにしたり、肌の色を褐色にしたりするような処理等、人物の顔の肌部分を美しくする美顔処理全般にいえることである。

本発明は、このような状況に鑑みてなされたものであり、人物の顔の状態によらず、美顔処理の効果に違いが出ないようにすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
画像に含まれる人物の顔を検出する検出手段と、
前記検出手段によって検出された人物の顔の画像部分の状態を判別する判別手段と、
前記判別手段によって判別された人物の顔の状態に応じて予め設定された復元処理方法を示す情報に基づいて、前記人物の顔を化粧が施されていない状態に調整する調整手段と、
前記復元処理方法を示す情報と対応付けられた化粧を施すための画像処理方法を表す情報に基づいて、前記調整手段によって調整された前記人物の顔に対し化粧に対応する画像処理を実行する画像処理手段と、
を備え、
前記画像処理手段が実行する化粧に対する画像処理は、化粧を施す前に施される美顔処理に対応する処理が含まれることを特徴とする。

本発明によれば、人物の顔の状態によらず、美顔処理の効果に違いが出ないようにすることが可能となる。

本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置の機能的構成のうち、化粧顔生成処理を実行するための機能的構成を示す機能ブロック図である。 復元／リメイクアップテーブルのデータ構成例を示す模式図である。 図２の機能的構成を有する図１の画像処理装置が実行する化粧顔生成処理の流れを説明するフローチャートである。 化粧顔生成処理のステップＳ５において実行される復元処理の流れを説明するフローチャートである。 化粧顔生成処理のステップＳ７において実行されるリメイクアップ処理の流れを説明するフローチャートである。 復元／リメイクアップテーブル生成処理の流れを説明するフローチャートである。 復元／リメイクアップテーブル生成処理のステップＳ３９において実行される復元処理用関数生成処理の流れを説明するフローチャートである。 復元／リメイクアップテーブル生成処理のステップＳ４１において実行されるリメイクアップ用関数生成処理の流れを説明するフローチャートである。 第２実施形態における画像処理装置の機能的構成のうち、化粧顔生成処理を実行するための機能的構成を示す機能ブロック図である。 人物特性標準化テーブルのデータ構成例を示す模式図である。 撮影条件標準化テーブルのデータ構成例を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

［第１実施形態］
本実施形態に係る画像処理装置は、化粧を施されている被写体の顔を、化粧を施されていないスッピン状態にする処理（以下、「復元処理」と呼ぶ。）を実行可能であると共に、スッピン状態とされた被写体の顔に美白処理及び美肌処理を含む美顔処理を施す。本実施形態において、美白処理とは、顔の画像において肌部分の色を白くする処理であり、美肌処理とは、顔の画像において肌部分を滑らかにする処理である。そして、本実施形態に係る画像処理装置は、復元処理によりスッピン状態にされた後、美顔処理が施された被写体の顔に、ユーザが指定する化粧を施す処理（以下、「リメイクアップ処理」と呼ぶ。）を画像処理によって行う。
これにより、人物の顔の状態によらず、美顔処理の効果に違いが出ないようにすることができると共に、美顔処理を施した上で、所定の化粧を施す画像処理を実行することができる。

図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えば、デジタルカメラとして構成される。

画像処理装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはフラッシュメモリ等で構成され、ＣＰＵ１１が実行するプログラムや各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、図１の画像処理装置１の機能的構成のうち、化粧顔生成処理を実行するための機能的構成を示す機能ブロック図である。
化粧顔生成処理とは、化粧を施されている被写体の顔を、化粧を施されていないスッピン状態にする復元処理を施すと共に、スッピン状態とされた被写体の顔に美顔処理（美白処理及び美肌処理）を施し、ユーザが指定する化粧を画像処理によって被写体の顔に施す一連の処理をいう。

化粧顔生成処理が実行される場合、図２に示すように、ＣＰＵ１１において、画像取得部５１と、顔検出部５２と、判別部５３と、調整部５４と、美顔処理部５５と、リメイクアップ部５６と、テーブル管理部５７と、関数生成部５８とが機能する。
また、記憶部１９の一領域には、復元／リメイクアップテーブル記憶部７１が設定される。
復元／リメイクアップテーブル記憶部７１には、顔の画像を復元処理するための画像処理方法及び顔の画像にリメイクアップ処理を施すための画像処理方法を表す関数がテーブル形式のデータとされた復元／リメイクアップテーブルのデータが記憶される。

図３は、復元／リメイクアップテーブルのデータ構成例を示す模式図である。
図３に示すように、復元／リメイクアップテーブルには、顔の画像を復元処理するための画像処理方法を表す関数（以下、「復元処理用関数」と呼ぶ。）と、顔の画像にリメイクアップ処理を施すための画像処理方法を表す関数（以下、「リメイクアップ用関数」と呼ぶ。）と、が格納されている。なお、図３において、復元処理用関数はｆ、リメイクアップ用関数はｇの符号で表され、復元処理用関数ｆ及びリメイクアップ用関数ｇそれぞれにおいて異なるものは、それぞれの符号に添え字ｎ，ｍ（ｎ，ｍは自然数）を付して示している。
また、復元処理用関数及びリメイクアップ用関数は、各種肌の色（薄い、やや薄い・・・、濃い等）、及び、各種化粧の種類（ナチュラル系、ギャル系等）それぞれに対応する特性のものが用意されている。なお、ここでの肌の色は化粧を施す前の地肌の色を表している。
さらに、本実施形態においては、リメイクアップ処理として、画像処理によって施す美顔処理の強度を多段階（ここでは標準のゼロを基準として±６までの合計１３段階）に異ならせることが可能となっており、それぞれの強度の段階に対応したリメイクアップ用関数が復元／リメイクアップテーブルに格納されている。
なお、復元／リメイクアップテーブルは、後述する復元／リメイクアップテーブル生成処理によって生成される。

画像取得部５１は、化粧顔生成処理の対象となる画像のデータを取得する。例えば、画像取得部５１は、撮像部１６によって撮像された撮影画像のデータを化粧顔生成処理の対象として取得したり、記憶部１９やリムーバブルメディア３１に記憶されている画像のデータを取得してもよいし、通信部２０を介して他の装置から取得したりすることができる。
また、画像取得部５１は、復元／リメイクアップテーブル生成処理に使用する画像のデータとして、同一人物における化粧を施されていない顔の画像と化粧を施された顔の画像の組を取得する。例えば、画像取得部５１は、リムーバブルメディア３１に記憶されている画像のデータを取得してもよいし、通信部２０を介して他の装置から取得してもよい。
顔検出部５２は、化粧顔生成処理の対象となる画像において、被写体の人物の顔を検出する。
また、顔検出部５２は、復元／リメイクアップテーブル生成処理に使用する画像において、被写体の人物の顔を検出する。なお、被写体の人物の顔の検出は、公知の技術を使用することで実現可能であるため、ここでは詳細な説明は省略する。
また、顔検出部５２は、検出した被写体の人物の顔に関する情報として、画像における顔の大きさ、位置、顔の主要部位（目、鼻、口等）の位置、肌の色等を取得する。
判別部５３は、顔検出部５２によって検出された顔の状態を判別する。具体的には、判別部５３は、顔検出部５２によって取得された顔に関する情報に基づき、検出された顔の状態が、各種肌の色及び各種化粧の種類のいずれに対応する状態で化粧を施されているかを判別する。このとき、判別部５３は、顔検出部５２によって検出された顔の肌の色及び化粧の種類が、記憶部１９に記憶された復元／リメイクアップテーブルにおいて復元用関数を定義する条件のいずれに合致するかを判別する。例えば、判別部５３は、顔検出部５２によって検出された顔の肌の色が、「薄い」、「やや薄い」・・・「濃い」のいずれの範囲に含まれるかを、それぞれの肌の色の閾値と比較することで判別する。また、判別部５３は、顔検出部５２によって検出された顔の化粧の種類が、「ナチュラル系」、「ギャル系」等のいずれに合致するかを、化粧に用いられている色の種類、顔において化粧が施された位置及び彩色のパターン等の条件に基づいて判別する。
また、判別部５３は、復元／リメイクアップテーブル生成処理において、ユーザによって指定された化粧の種類を取得することによって、化粧の種類を判別する。

調整部５４は、復元／リメイクアップテーブルを参照し、判別部５３によって判別された肌の色及び化粧の種類に対応する復元処理用関数を取得する。そして、調整部５４は、顔検出部５２によって検出された顔の画像に、取得した復元処理用関数を適用し、顔検出部５２によって検出された顔をスッピン状態（化粧を施されていない状態）に調整する。
即ち、これら判別部５３及び調整部５４によって、復元処理が実行される。

美顔処理部５５は、調整部５４によってスッピン状態とされた顔の画像に対して、美顔処理を施す。本実施形態において、美顔処理部５５は、美顔処理として、美白処理及び美肌処理を顔の画像に施すものとする。なお、美白処理及び美肌処理は、公知の技術を使用することで実現可能であるため、ここでは詳細な説明は省略する。

リメイクアップ部５６は、美顔処理部５５によって美顔処理が施された顔の画像に対して、ユーザによって指定された種類の化粧を施す画像処理（リメイクアップ処理）を実行する。このとき、リメイクアップ部５６は、復元／リメイクアップテーブルを参照し、被写体の顔の肌の色、ユーザによって指定された美顔の強度及び化粧の種類に対応するリメイクアップ用関数を取得して、美顔処理が施された顔の画像に適用する。なお、ここでは、顔の画像における肌色領域を対象として、リメイクアップ用関数を適用するものとする。これにより、一旦、スッピン状態とされた被写体の顔の画像に対して、美顔処理を施した上で、目的とする化粧を画像処理によって施すことができる。なお、このとき施される化粧の種類としては、被写体の顔の画像に予め施されていた化粧の種類（復元処理が施される前の化粧の種類）と同一のものとすることや、異なる種類の化粧とすること（例えば、ナチュラル系の化粧を施されていた被写体の顔にギャル系の化粧を施す等）が可能である。

また、リメイクアップ部５６は、ユーザによって指定された、復元処理が施された後に施す美顔処理の強度を取得する。
なお、リメイクアップ部５６は、リメイクアップ処理の種類に応じて、リメイクアップ処理後の顔の画像に対して、平滑化処理を施す。例えば、リメイクアップ部５６は、リメイクアップ処理において、チークが濃い種類の化粧を施された場合には、チークの赤色領域と、顔の肌色領域との境界を滑らかにする平滑化処理を施す。

テーブル管理部５７は、復元／リメイクアップテーブル記憶部７１に記憶される復元／リメイクアップテーブルのデータを管理する。具体的には、テーブル管理部５７は、復元／リメイクアップテーブルを新しいバージョンのものに更新したり、復元／リメイクアップテーブルの内容をユーザの指示に応じて修正したりする。

関数生成部５８は、復元処理用関数及びリメイクアップ用関数を生成する。具体的には、同一人物における化粧を施されていない顔の画像と化粧を施された顔の画像との変化量を複数取得し、復元処理の画像処理を行うために使用する関数、及びリメイクアップの画像処理を行うために使用する関数を生成する。

次に、画像処理装置１の動作を説明する。
図４は、図２の機能的構成を有する図１の画像処理装置１が実行する化粧顔生成処理の流れを説明するフローチャートである。
化粧顔生成処理は、ユーザによって、入力部１７に化粧顔生成処理の開始を指示する操作が入力されることに対応して開始される。

化粧顔生成処理が開始されると、ステップＳ１において、画像取得部５１は、化粧顔生成処理の対象となる画像のデータを取得する。
ステップＳ２において、顔検出部５２は、化粧顔生成処理の対象となる画像において、被写体の人物の顔を検出する。

ステップＳ３において、顔検出部５２は、化粧顔生成処理の対象となる画像において、被写体の人物の顔が検出されたか否かの判定を行う。
化粧顔生成処理の対象となる画像において、被写体の人物の顔が検出されていない場合、ステップＳ３においてＮＯと判定されて、化粧顔生成処理は終了する。
一方、化粧顔生成処理の対象となる画像において、被写体の人物の顔が検出された場合、ステップＳ３においてＹＥＳと判定されて、処理はステップＳ４に移行する。

ステップＳ４において、顔検出部５２は、検出された被写体の人物の顔に関する情報（画像における顔の大きさ、位置、肌の色等）を取得する。
ステップＳ５において、調整部５４は、復元処理を実行する。なお、復元処理の詳細については後述する。

ステップＳ６において、美顔処理部５５は、復元処理によってスッピン状態とされた顔の画像に対して、美顔処理（美白処理及び美肌処理）を施す。
ステップＳ７において、リメイクアップ部５６は、美顔処理が施された顔の画像に対して、リメイクアップ処理を実行する。なお、リメイクアップ処理の詳細については後述する。
ステップＳ８において、リメイクアップ部５６は、リメイクアップ処理後の顔の画像に対して、平滑化処理を施す。なお、この平滑化処理は、リメイクアップ処理の種類に応じて適宜実行される。
ステップＳ８の後、化粧顔生成処理は終了する。

次に、化粧顔生成処理のステップＳ５において実行される復元処理について説明する。
図５は、化粧顔生成処理のステップＳ５において実行される復元処理の流れを説明するフローチャートである。
復元処理が開始されると、ステップＳ１１において、判別部５３は、顔検出部５２によって検出された顔の状態を判別する。具体的には、判別部５３は、顔検出部５２によって取得された顔に関する情報に基づき、検出された顔の状態が、各種肌の色及び各種化粧の種類のいずれに対応する状態で化粧を施されているかを判別する。

ステップＳ１２において、調整部５４は、復元／リメイクアップテーブルを参照し、判別部５３によって判別された肌の色及び化粧の種類に対応する復元処理用関数を取得する。
ステップＳ１３において、調整部５４は、顔検出部５２によって検出された顔の画像に、取得した復元処理用関数を適用し、顔検出部５２によって検出された顔をスッピン状態（化粧を施されていない状態）に調整する画像処理を行う。
ステップＳ１３の後、処理は化粧顔生成処理に戻る。

次に、化粧顔生成処理のステップＳ７において実行されるリメイクアップ処理について説明する。
図６は、化粧顔生成処理のステップＳ７において実行されるリメイクアップ処理の流れを説明するフローチャートである。
リメイクアップ処理が開始されると、ステップＳ２１において、リメイクアップ部５６は、ユーザによって指定された化粧の種類（リメイクアップの種類）を取得する。
ステップＳ２２において、リメイクアップ部５６は、ユーザによって指定された美顔処理の強度を取得する。

ステップＳ２３において、リメイクアップ部５６は、復元／リメイクアップテーブルを参照し、被写体の顔の肌の色、ユーザによって指定された美顔の強度及び化粧の種類に対応するリメイクアップ用関数を取得する。
ステップＳ２４において、リメイクアップ部５６は、美顔処理部５５によって美顔処理が施された顔の画像に、取得したリメイクアップ用関数を適用し、ユーザによって指定された種類の化粧を画像処理によって施す。
ステップＳ２４の後、処理は化粧顔生成処理に戻る。

次に、化粧顔生成処理において参照される復元／リメイクアップテーブルを生成する処理（以下、「復元／リメイクアップテーブル生成処理」と呼ぶ。）について説明する。
図７は、復元／リメイクアップテーブル生成処理の流れを説明するフローチャートである。
復元／リメイクアップテーブル生成処理は、化粧顔生成処理に先立ち、復元／リメイクアップテーブルを予め生成するための事前処理として実行されるものである。そのため、復元／リメイクアップテーブル生成処理は、画像処理装置１で実行することや、画像処理装置１以外のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置で実行することが可能である。ここでは、画像処理装置１において復元／リメイクアップテーブル生成処理が実行されるものとして説明する。
なお、復元／リメイクアップテーブル生成処理に使用する同一人物における化粧を施されていない顔の画像と化粧を施された顔の組は、予め複数の人物分が撮影され、リムーバブルメディア３１や他の装置に記憶されているものとする。

復元／リメイクアップテーブル生成処理は、ユーザによって、入力部１７に復元／リメイクアップテーブル生成処理の開始を指示する操作が入力されることに対応して開始される。
復元／リメイクアップテーブル生成処理が開始されると、ステップＳ３１において、テーブル管理部５７は、復元／リメイクアップテーブル生成処理に使用する同一人物における化粧を施されていない顔の画像と化粧を施された顔の画像の組が記憶されている場所とその数を特定する。

ステップＳ３２において、顔検出部５２は、テーブル管理部５７によって特定された記憶場所から、同一人物における化粧を施されていない顔の画像と化粧を施された顔の画像の組を１組（一人分）取得する。
ステップＳ３３において、顔検出部５２は、取得した当該一人分の画像の各々から人物の顔を検出して、顔に関する情報（画像における顔の大きさ、位置等）を取得する。
ステップＳ３４において、判別部５３は、その顔に施されている化粧の種類を、ユーザによって指定された化粧の種類を取得することで判別する。
ステップＳ３５において、顔検出部５２は、その顔の肌の色を取得する。
ステップＳ３６において、テーブル管理部５７は、その顔の画像を肌の色及び化粧の種類毎に分類する。
ステップＳ３７において、テーブル管理部５７は、分類された顔の画像のデータを、ステップＳ３３で取得した顔に関する情報と対応付けて、分類別に区分して分類別顔画像データに登録する。

ステップＳ３８において、テーブル管理部５７は、ステップＳ３１において特定した数の分の顔画像のデータの分類・登録処理が全て終了したか否かの判定を行う。
ステップＳ３１において特定した数の分の顔画像のデータの分類・登録処理が全て終了していない場合、ステップＳ３８においてＮＯと判定されて、処理はステップＳ３２に移行する。
一方、ステップＳ３１において特定した数の分の顔画像のデータの分類・登録処理が全て終了している場合、ステップＳ３８においてＹＥＳと判定されて、処理はステップＳ３９に移行する。
ステップＳ３９において、ステップＳ３７で登録された分類別顔画像データが参照され、復元処理用関数を生成する処理（以下、「復元処理用関数生成処理」と呼ぶ。）が実行される。なお、復元処理用関数生成処理の詳細については後述する。
ステップＳ４０において、テーブル管理部５７は、肌の色、化粧の種類及び生成した復元処理用関数を対応付けて、復元／リメイクアップテーブルに登録する。

ステップＳ４１において、ステップＳ３７で登録された分類別顔画像データが参照され、リメイクアップ用関数を生成する処理（以下、「リメイクアップ用関数生成処理」と呼ぶ。）が実行される。なお、リメイクアップ用関数生成処理の詳細については後述する。
ステップＳ４２において、テーブル管理部５７は、肌の色、化粧の種類及び生成したリメイクアップ用関数を対応付けて、復元／リメイクアップテーブルに登録する。
ステップＳ４２の後、復元／リメイクアップテーブル生成処理は終了する。

次に、復元／リメイクアップテーブル生成処理のステップＳ３９において実行される復元処理用関数生成処理について説明する。
図８は、復元／リメイクアップテーブル生成処理のステップＳ３９において実行される復元処理用関数生成処理の流れを説明するフローチャートである。
復元処理用関数生成処理が開始されると、ステップＳ５１において、テーブル管理部５７は、分類別顔画像データにおいて分類されている肌の色及び化粧の種類の組み合わせのうち１つを選択する。
ステップＳ５２において、画像取得部５１は、テーブル管理部５７によって選択された分類別顔画像データを参照し、同一人物における化粧を施されていない顔の画像と化粧を施された顔の画像の組を１組（一人分）取得する。

ステップＳ５３において、顔検出部５２は、同一人物における化粧を施されていない顔の画像及び化粧を施された顔の画像それぞれにおいて、顔の主要部位（目、鼻、口等）の位置を取得する。
ステップＳ５４において、関数生成部５８は、同一人物における化粧を施されていない顔の画像及び化粧を施された顔の画像間において、取得した顔の主要部位の位置を合わせる。

ステップＳ５５において、関数生成部５８は、同一人物における化粧を施された顔の画像から化粧を施されていない顔の画像への顔画像の変化量を取得する。このとき、化粧を施された顔の画像を基準として、化粧を施されていない顔の画像における画素毎の画素値の差分（正負の符号を含む値）が変化量として取得される。
ステップＳ５６において、テーブル管理部５７は、ステップＳ５１で選択された肌の色及び化粧の種類の組み合わせに属する全ての人物における化粧を施されていない顔の画像及び化粧を施された顔の画像の組について、処理が終了したか否かの判定を行う。
ステップＳ５１で選択された肌の色及び化粧の種類の組み合わせに属する全ての人物における化粧を施されていない顔の画像及び化粧を施された顔の画像の組について、処理が終了した場合、ステップＳ５６においてＹＥＳと判定されて、処理はステップＳ５７に移行する。
一方、ステップＳ５１で選択された肌の色及び化粧の種類の組み合わせに属する全ての人物における化粧を施されていない顔の画像及び化粧を施された顔の画像の組について、処理が終了していない場合、ステップＳ５６においてＮＯと判定されて、処理はステップＳ５２に移行する。

ステップＳ５７において、関数生成部５８は、ステップＳ５５において取得された複数の顔画像の変化量に基づいて、その肌の色及び化粧の種類における復元処理用関数を生成する。このとき、その肌の色及び化粧の種類に属する人物の顔画像について、化粧を施された平均の顔の画像から、化粧を施されていない平均の顔の画像への顔画像の変化量（平均の変化量）が生成され、平均の変化量が復元処理用関数を表すものとなる。即ち、サンプルとなった複数の人物について、化粧を施された顔の画像から、化粧を施されていない顔の画像への顔画像の変化量を平均化したマスクのデータが生成される。具体的な人物の顔の画像に復元処理用関数を適用する場合、適用対象の人物の顔に合わせて、このマスクの大きさや形状を変化させて、各画素の平均の変化量を対応付けることにより、その人物の顔の画像を、化粧を施されていない顔の画像に変換することができる。なお、本実施形態においては、化粧を施された人物の顔の画像における各画素に、復元処理用関数である平均の変化量をαブレンドすることにより、化粧を施されていない顔が生成される。

ステップＳ５８において、テーブル管理部５７は、分類別顔画像データにおいて分類されている肌の色及び化粧の種類の組み合わせの全てについて、処理が終了したか否かの判定を行う。
分類別顔画像データにおいて分類されている肌の色及び化粧の種類の組み合わせの全てについて、処理が終了していない場合、ステップＳ５８においてＮＯと判定されて、処理はステップＳ５１に移行する。
一方、分類別顔画像データにおいて分類されている肌の色及び化粧の種類の組み合わせの全てについて、処理が終了した場合、ステップＳ５８においてＹＥＳと判定されて、処理は復元／リメイクアップテーブル生成処理に戻る。

次に、復元／リメイクアップテーブル生成処理のステップＳ４１において実行されるリメイクアップ用関数生成処理について説明する。
図９は、復元／リメイクアップテーブル生成処理のステップＳ４１において実行されるリメイクアップ用関数生成処理の流れを説明するフローチャートである。
リメイクアップ用関数生成処理が開始されると、ステップＳ６１において、テーブル管理部５７は、分類別顔画像データにおいて分類されている肌の色及び化粧の種類の組み合わせのうち１つを選択する。
ステップＳ６２において、画像取得部５１は、テーブル管理部５７によって選択された分類別顔画像データを参照し、同一人物における化粧を施されていない顔の画像及び化粧を施された顔の画像の組を１組（一人分）取得する。

ステップＳ６３において、顔検出部５２は、同一人物における化粧を施されていない顔の画像及び化粧を施された顔の画像それぞれにおいて、顔の主要部位（目、鼻、口等）の位置を取得する。
ステップＳ６４において、関数生成部５８は、同一人物における化粧を施されていない顔の画像及び化粧を施された顔の画像間において、取得した顔の主要部位の位置を合わせる。

ステップＳ６５において、関数生成部５８は、同一人物における化粧を施されていない顔の画像から化粧を施された顔の画像への顔画像の変化量を取得する。このとき、化粧を施されていない顔の画像を基準として、化粧を施された顔の画像における画素毎の画素値の差分（正負の符号を含む値）が変化量として取得される。
ステップＳ６６において、テーブル管理部５７は、全ての人物における化粧を施された顔の画像及び化粧を施されていない顔の画像の組について、処理が終了したか否かの判定を行う。
全ての人物における化粧を施された顔の画像及び化粧を施されていない顔の画像の組について、処理が終了した場合、ステップＳ６６においてＹＥＳと判定されて、処理はステップＳ６７に移行する。
一方、全ての人物における化粧を施された顔の画像及び化粧を施されていない顔の画像の組について、処理が終了していない場合、ステップＳ６６においてＮＯと判定されて、処理はステップＳ６２に移行する。

ステップＳ６７において、関数生成部５８は、ステップＳ６５において取得された複数の顔画像の変化量に基づいて、その肌の色及び化粧の種類におけるリメイクアップ用関数を生成する。このとき、その肌の色及び化粧の種類に属する人物の顔画像について、化粧を施されていない平均の顔の画像から、化粧を施された平均の顔の画像への顔画像の変化量（平均の変化量）が生成され、平均の変化量がリメイクアップ用関数を表すものとなる。即ち、サンプルとなった複数の人物について、化粧を施されていない顔の画像から、化粧を施された顔の画像への顔画像の変化量を平均化したマスクのデータが生成される。具体的な人物の顔の画像にリメイクアップ用関数を適用する場合、適用対象の人物の顔に合わせて、このマスクの大きさや形状を変化させて、各画素の平均の変化量を対応付けることにより、その人物の顔の画像を、化粧を施された顔の画像に変換することができる。なお、本実施形態においては、化粧を施されていない人物の顔の画像における各画素に、リメイクアップ用関数である平均の変化量をαブレンドすることにより、化粧を施された顔が生成される。このとき、各種条件に応じて、αの値を多段階に変化させることで、化粧を施す強度を変化させることができる。例えば、顔の大きさに応じてαを変化させる（顔が大きい程、化粧を施す強度が弱くなるようにαを選択する等）といったことが可能である。

ステップＳ６８において、テーブル管理部５７は、分類別顔画像データにおいて分類されている肌の色及び化粧の種類の組み合わせの全てについて、処理が終了したか否かの判定を行う。
分類別顔画像データにおいて分類されている肌の色及び化粧の種類の組み合わせの全てについて、処理が終了していない場合、ステップＳ６８においてＮＯと判定されて、処理はステップＳ６１に移行する。
一方、分類別顔画像データにおいて分類されている肌の色及び化粧の種類の組み合わせの全てについて、処理が終了した場合、ステップＳ６８においてＹＥＳと判定されて、処理は復元／リメイクアップテーブル生成処理に戻る。

このように、本実施形態に係る画像処理装置１では、化粧を施されている被写体の顔を、化粧を施されていないスッピン状態にする復元処理を実行可能であると共に、スッピン状態とされた被写体の顔に美白処理及び美肌処理を含む美顔処理を施すことができる。そして、本実施形態に係る画像処理装置１は、美顔処理が施された被写体の顔に、ユーザが指定する化粧を施すリメイクアップ処理を画像処理によって行うことができる。
これにより、化粧を施しているあるいは化粧の濃さといった人物の顔の状態によらず、美顔処理の効果に違いが出ないようにすることができると共に、美顔処理を施した上で、所定の化粧を施す画像処理を実行することができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。
第１実施形態における画像処理装置１においては、復元／リメイクアップテーブルを用いて復元処理を行い、処理対象となる画像における顔をスッピン状態として美顔処理を行った後、さらに、復元／リメイクアップテーブルを用いてリメイクアップ処理を行うものとした。これに対し、本実施形態に係る画像処理装置１は、後述する人物特性標準化テーブル及び撮影条件標準化テーブルを用いて、処理対象となる画像における顔を標準化し、標準化された顔に美顔処理を行った後に所定のリメイクアップ処理を適宜行い、さらに標準化の逆変換を行う点が異なっている。
以下、第１実施形態と異なる部分を主として説明する。

図１０は、本実施形態における画像処理装置１の機能的構成のうち、化粧顔生成処理を実行するための機能的構成を示す機能ブロック図である。
本実施形態において、化粧顔生成処理が実行される場合、図１０に示すように、記憶部１９の一領域には、標準化テーブル記憶部７２が設定される。
標準化テーブル記憶部７２には、人物の特性を表す各種要素に対応する復元処理用関数が格納された人物特性標準化テーブルと、撮影条件を表す各種要素に対応する復元処理用関数が格納された撮影条件標準化テーブルとが記憶される。
ここで、人物の特性とは、年代、性別、人種等、被写体となる人物に関連する要素である。
また、撮影条件とは、撮影時刻、撮影位置、気候、色温度等、撮影時の条件に関連する要素である。
本実施形態における復元処理とは、人物特性標準化テーブル及び撮影条件標準化テーブルを参照し、化粧顔生成処理の対象となる人物の顔の画像を、その人物の特性に対応する標準的な顔の状態であって、標準的な撮影条件の下での顔の状態に変換する処理である。

図１１は、人物特性標準化テーブルのデータ構成例を示す模式図である。
図１１に示すように、人物特性標準化テーブルには、人物の特性を表す各要素に対して、顔の画像を標準的な状態に変換するための画像処理方法を表す復元処理用関数が格納されている。なお、図１１において、復元処理用関数はＦの符号で表され、復元処理用関数Ｆにおいて異なるものは、符号に添え字ｊ（ｊは自然数）を付して示している。
図１１における復元処理用関数は、人物の特性を表す各要素（年代（１０代、２０代・・・）、性別（男性、女性）、人種（白色人種、黄色人種、黒色人種・・・）等）の組み合わせそれぞれに対応する特性のものである。

また、図１２は、撮影条件標準化テーブルのデータ構成例を示す模式図である。
図１２に示すように、撮影条件標準化テーブルには、撮影条件を表す各要素に対して、顔の画像を標準的な状態に変換するための画像処理方法を表す復元処理用関数が格納されている。なお、図１２において、復元処理用関数はＧの符号で表され、復元処理用関数Ｇにおいて異なるものは、符号に添え字ｋ（ｋは自然数）を付して示している。
図１２における復元処理用関数は、撮影条件を表す各要素（撮影時刻（時）、撮影位置（経緯度、高度）、気候（気候区分）、色温度（Ｋ）等）の組み合わせそれぞれに対応する特性のものである。

本実施形態において、判別部５３は、画像取得部５１によって取得された画像から、顔検出部５２によって検出された顔の状態を判別する。具体的には、判別部５３は、画像取得部５１によって取得された画像から、顔検出部５２によって検出された顔の画像に基づいて、その顔の状態が、人物の特性を表す各要素のいずれに該当するかを判別する。また、判別部５３は、顔検出部５２によって顔が検出された画像が撮影された際の撮影条件が、撮影条件を表す各要素のいずれに該当するかを判別する。例えば、判別部５３は、顔検出部５２によって検出された顔が、「１０代」、「２０代」・・・のいずれの年代に該当するか等を、顔情報を解析することにより特定する。また、判別部５３は、顔検出部５２によって顔が検出された画像の撮影条件を表す情報から、撮影時刻や撮影位置等を特定する。なお、顔検出部５２によって顔が検出された画像の撮影条件を表す情報は、この画像が撮像部１６によって撮像されたものである場合、撮像部１６が撮像した際の撮影条件から取得することができる。また、この画像が外部から取得されたものである場合、画像に付加されている撮影条件を表す情報から取得することができる。

調整部５４は、人物特性標準化テーブル及び撮影条件標準化テーブルを参照し、判別部５３によって判別された人物の特性を表す各要素に対応する復元処理用関数と、撮影条件を表す各要素との組み合わせに対応する復元処理用関数とを取得する。そして、調整部５４は、顔検出部５２によって検出された顔の画像に、取得した各復元処理用関数を適用し、顔検出部５２によって検出された顔を標準的な状態（人物の特性に対応する標準的な顔の状態であって、標準的な撮影条件の下での顔の状態）に調整する。
即ち、これら判別部５３及び調整部５４によって、復元処理が実行される。
なお、復元処理においては、人物の特性を表す各要素に対する標準化（人物の特性を表す各要素に対応する復元処理用関数の適用）と、撮影条件を表す各要素に対する標準化（撮影条件を表す各要素に対応する復元処理用関数の適用）とのいずれかのみを行うこととしてもよい。

美顔処理部５５は、調整部５４によって標準的な状態とされた顔の画像に対して、美顔処理を施す。本実施形態において、美顔処理部５５は、美顔処理として、美白処理及び美肌処理を顔の画像に施すものとする。

リメイクアップ部５６は、美顔処理部５５によって美顔処理が施された顔の画像に対して、ユーザによって指定された種類の化粧を施す画像処理を実行する。このとき、リメイクアップ部５６は、画像処理によって化粧を施す既知の処理を用いて、美顔処理が施された顔の画像に対して化粧を施すことができる。なお、美顔処理を目的とする場合、化粧を施す画像処理を省略することができる。
また、本実施形態におけるリメイクアップ部５６は、美顔処理が施された顔の画像に対して、調整部５４において復元処理に用いられた復元処理用関数の逆関数を適用する。即ち、リメイクアップ部５６は、顔検出部５２によって検出された顔を標準的な状態に変換する処理の逆変換を行う。この場合、標準的な状態とされて美顔処理が施された人物の顔に、化粧顔生成処理の対象となった顔の画像と標準的な状態とされた顔の画像との差分を再び適用することができるため、美顔処理に適する状態で美顔処理を行った上で、その人物の特性や撮影時の状況を反映した顔に変換する（標準的な状態とされる前の美顔処理に適さない状態の特徴を反映する）ことができる。

なお、リメイクアップ部５６は、リメイクアップ処理の種類に応じて、リメイクアップ処理後の顔の画像に対して、平滑化処理を施す。例えば、リメイクアップ部５６は、リメイクアップ処理において、チークが濃い種類の化粧を施された場合には、チークの赤色領域と、顔の肌色領域との境界を滑らかにする平滑化処理を施す。

テーブル管理部５７は、標準化テーブル記憶部７２に記憶される人物特性標準化テーブル及び撮影条件標準化テーブルのデータを管理する。具体的には、テーブル管理部５７は、人物特性標準化テーブル及び撮影条件標準化テーブルを新しいバージョンのものに更新したり、人物特性標準化テーブル及び撮影条件標準化テーブルの内容をユーザの指示に応じて修正したりする。
なお、本実施形態においては、人物特性標準化テーブル及び、撮影条件標準化テーブルの生成方法を特に開示しないが、第１実施形態における復元／リメイクアップテーブルと同様の処理により生成可能である。

このような構成の下、第１実施形態における化粧顔生成処理（図４参照）と同様の処理を行うことにより、本実施形態に係る画像処理装置１では、化粧顔生成処理の対象となる人物の顔の画像を、その人物の特性に対応する標準的な顔の状態であって、標準的な撮影条件の下での顔の状態に変換（復元処理）した上で、その被写体の顔に美白処理及び美肌処理を含む美顔処理を施すことができる。そして、本実施形態に係る画像処理装置１は、美顔処理が施された被写体の顔に、ユーザが指定する化粧を施すリメイクアップ処理を画像処理によって行い、さらに、復元処理用関数の逆関数を適用する（標準化に対する逆変換を行う）ことができる。
これにより、人物の特性や撮像状況といった人物の顔の状態によらず、美顔処理の効果に違いが出ないようにすることができると共に、美顔処理を施した上で、所定の化粧を施し、さらに、その人物の特性や撮影時の状況（撮像状況）を反映した顔に変換する画像処理を実行することができる。また、このような効果を第１実施形態に比べて簡単な処理によって実現することができる。

［変形例１］
第１実施形態において、化粧顔生成処理の対象となる画像の顔の状態を判別する場合に、複数の人物について、化粧を施されていない状態（スッピン状態）の顔画像のデータと化粧を施された状態の顔画像のデータとが、その人物の肌の色及び化粧の種類毎に分類されたデータ（上述の「分類別顔画像データ」）を参照して判別することとしてもよい。
即ち、本変形例では、化粧顔生成処理が実行される場合に、記憶部１９に分類別顔画像データを記憶しておく。
そして、化粧顔生成処理の対象となる画像における顔に復元処理を施す際に、判別部５３は、顔検出部５２によって検出された顔の状態が、分類別顔画像データのいずれの分類（各種肌の色及び各種化粧の種類）に属するか、即ち、各種肌の色及び各種化粧の種類のいずれに対応する状態で化粧を施されているかを判別する。このとき、判別部５３は、分類別顔画像データにおける化粧を施された状態の顔画像のデータのうち、顔検出部５２によって検出された顔（化粧を施されている顔）の画像のデータが最も合致するものを検出し、検出された顔画像のデータが属する分類に、顔検出部５２によって検出された顔が属するものと判別することができる。

［変形例２］
第１実施形態において、第２実施形態と同様に、化粧顔生成処理の対象となる画像の撮影条件を表す各要素を特定し、顔検出部５２によって検出された顔を、標準的な撮影条件の下での顔の状態に変換することとしてもよい。この場合、標準的な撮影条件の下での顔の状態とされた顔の画像に対して、復元処理を実行し、スッピン状態とすることができる。
これにより、第１実施形態の構成においても、撮影条件の相違の影響を低減し、美顔処理を施すためにより適切な状態で、美顔処理を施すことが可能となる。

以上のように構成される画像処理装置１は、顔検出部５２と、判別部５３と、調整部５４とを備える。
顔検出部５２は、画像に含まれる人物の顔を検出する。
判別部５３は、検出した人物の顔の画像部分の状態を判別する。
調整部５４は、判別した人物の顔の状態に応じて、人物の顔の画像部分を、美顔処理を施すのに適切な状態に調整する。
これにより、人物の顔を、美顔処理を施すのに適切な状態に調整することができると共に、美顔処理を施した上で、所定の化粧を施す画像処理を実行することができる。

判別部５３は、参照情報であって、美顔処理を施すのに適切でない状態の人物の顔に係る情報と、美顔処理を施すのに適切な状態の人物の顔に係る情報と、が対応付けられている参照情報を参照して、検出した人物の顔の画像部分の状態を判別する。
これにより、予め用意されている参照情報を参照して、人物の顔の画像部分の状態を適切に判別することができる。

美顔処理を施すのに適切でない状態の人物の顔に係る情報は、化粧が施されている状態の人物の顔に係る情報であって、美顔処理を施すのに適切な状態の人物の顔に係る情報は、化粧が施されていない状態の人物の顔に係る情報である。
判別部５３は、検出した人物の顔の画像部分と合致すると判定される、化粧が施されている状態の人物の顔に係る情報を検索して、予め化粧が施されている人物の顔の状態を判別する。
調整部５４は、判別した化粧が施されている状態の人物の顔に係る情報に対応する化粧が施されていない状態の人物の顔に係る情報に基づき、人物の顔の画像部分を、美顔処理を施すのに適切な状態に調整する。
これにより、化粧が施されている状態の人物の顔を、化粧が施されていない状態に簡単に調整することができる。

化粧が施されている状態の人物の顔に係る情報は、化粧が施されている状態の人物の顔を撮影して取得される情報であって、美顔処理を施すのに適切な状態の人物の顔に係る情報は、化粧が施されている状態の人物と同じ人物の化粧が施されていない状態の顔を撮影して取得される情報である。
これにより、同一人物における化粧が施された状態の顔と化粧が施されていない状態の顔とを実際に撮影して取得される情報を用いて、検出された人物の顔の画像部分の状態を判別すること等が可能となる。

化粧が施されている状態の人物の顔に予め施されている化粧は、画像に含まれる人物自らにより予め施されている化粧、または人物の顔の画像部分に予め画像処理により施されている化粧である。
これにより、実際に顔に施された化粧及び画像処理によって顔に施された化粧のいずれの場合も、処理に用いることが可能となる。

美顔処理を施すのに適切でない状態の人物の顔に係る情報は、人物の顔から推測される人物の特性であって、美顔処理を施すのに適切な状態の人物の顔に係る情報は、推測される人物の特性に応じて施すべき画像処理の内容である。
判別部５３は、検出した人物の顔の画像部分からその人物の特性を推測して、検出した人物の顔の画像部分の状態を判別する。
調整部５４は、判別した人物の特性に応じて施すべき画像処理を施すことで、人物の顔の画像部分を、美顔処理を施すのに適切な状態に調整する。
これにより、人物の特性に適合する処理によって、美顔処理を施すのに適切な状態に調整することができる。

美顔処理を施すのに適切でない状態の人物の顔に係る情報は、画像が撮像された際の撮像状況であって、美顔処理を施すのに適切な状態の人物の顔に係る情報は、撮像状況に応じて施すべき画像処理である。
判別部５３は、画像の撮像状況を取得し、検出した人物の顔の画像部分の状態を判別する。
調整部５４は、判別した撮像状況に応じて施すべき画像処理を施すことで、人物の顔の画像部分を、美顔処理を施すのに適切な状態に調整する。
これにより、撮像状況に適合する処理によって、美顔処理を施すのに適切な状態に調整することができる。

美顔処理を施すのに適切な状態に調整した人物の顔の画像部分に、美顔処理を施す美顔処理手段をさらに備える。
これにより、より適切な美顔処理結果を得ることが可能となる。

美顔処理を施した人物の顔の画像部分に、さらに、ユーザにより指定された化粧に対応する画像処理を施すリメイクアップ手段をさらに備える。
これにより、より適切なリメイクアップ処理の結果を得ることが可能となる。

美顔処理を施した人物の顔の画像部分を、さらに、美顔処理が施された状態を維持したまま、調整する前の美顔処理を施すのに適切でない状態に戻す画像処理を行うリメイクアップ手段をさらに備える。
これにより、人物の特性をより適切に反映させつつ、美顔処理を行うことが可能となる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の各実施形態において、美顔処理は、被写体の顔に美白処理及び美肌処理を施すものとしたが、これに限らず、肌の色を褐色にしたりするような処理であってもよい。

また、上述の各実施形態において、化粧顔生成処理の対象となる画像の顔に施されている化粧は、実際の化粧品による化粧であってもよいし、画像処理によって施された化粧であってもよい。

また、上述の各実施形態において、化粧顔生成処理の対象となる画像は、画像処理装置１において新たに撮像されたものを用いたり、記録済みのもの（外部から取得したもの等）を用いたりすることのいずれも可能である。記録済みの画像を用いる場合であって、その画像の撮影条件が処理に用いられる場合には、撮影条件を表す情報が付加された記録済みの画像を用いることが望ましい。

また、上述の実施形態では、本発明が適用される画像処理装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像に含まれる人物の顔を検出する検出手段と、
検出した人物の顔の画像部分の状態を判別する判別手段と、
判別した人物の顔の状態に応じて、人物の顔の画像部分を、美顔処理を施すのに適切な状態に調整する調整手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記判別手段は、参照情報であって、美顔処理を施すのに適切でない状態の人物の顔に係る情報と、美顔処理を施すのに適切な状態の人物の顔に係る情報と、が対応付けられている参照情報を参照して、検出した人物の顔の画像部分の状態を判別することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記美顔処理を施すのに適切でない状態の人物の顔に係る情報は、化粧が施されている状態の人物の顔に係る情報であって、前記美顔処理を施すのに適切な状態の人物の顔に係る情報は、化粧が施されていない状態の人物の顔に係る情報であり、
前記判別手段は、検出した人物の顔の画像部分と合致すると判定される、前記化粧が施されている状態の人物の顔に係る情報を検索して、予め化粧が施されている人物の顔の状態を判別し、
前記調整手段は、判別した前記化粧が施されている状態の人物の顔に係る情報に対応する前記化粧が施されていない状態の人物の顔に係る情報に基づき、人物の顔の画像部分を、美顔処理を施すのに適切な状態に調整することを特徴とする付記２に記載の画像処理装置。
［付記４］
前記化粧が施されている状態の人物の顔に係る情報は、前記化粧が施されている状態の人物の顔を撮影して取得される情報であって、前記美顔処理を施すのに適切な状態の人物の顔に係る情報は、前記化粧が施されている状態の人物と同じ人物の化粧が施されていない状態の顔を撮影して取得される情報であることを特徴とする付記３に記載の画像処理装置。
［付記５］
前記化粧が施されている状態の人物の顔に予め施されている化粧は、画像に含まれる人物自らにより予め施されている化粧、または人物の顔の画像部分に予め画像処理により施されている化粧であることを特徴とする付記３に記載の画像処理装置。
［付記６］
前記美顔処理を施すのに適切でない状態の人物の顔に係る情報は、人物の顔から推測される人物の特性であって、前記美顔処理を施すのに適切な状態の人物の顔に係る情報は、推測される人物の特性に応じて施すべき画像処理の内容であり、
前記判別手段は、検出した人物の顔の画像部分からその人物の特性を推測して、検出した人物の顔の画像部分の状態を判別し、
前記調整手段は、判別した人物の特性に応じて施すべき画像処理を施すことで、人物の顔の画像部分を、美顔処理を施すのに適切な状態に調整することを特徴とする付記２から５のいずれか１つに記載の画像処理装置。
［付記７］
前記美顔処理を施すのに適切でない状態の人物の顔に係る情報は、画像が撮像された際の撮像状況であって、前記美顔処理を施すのに適切な状態の人物の顔に係る情報は、前記撮像状況に応じて施すべき画像処理であり、
前記判別手段は、画像の前記撮像状況を取得し、検出した人物の顔の画像部分の状態を判別し、
前記調整手段は、判別した前記撮像状況に応じて施すべき画像処理を施すことで、人物の顔の画像部分を、美顔処理を施すのに適切な状態に調整することを特徴とする付記２から５のいずれか１つに記載の画像処理装置。
［付記８］
前記美顔処理を施すのに適切な状態に調整した人物の顔の画像部分に、美顔処理を施す美顔処理手段をさらに備えることを特徴とする付記１から７のいずれか１つに記載の画像処理装置。
［付記９］
美顔処理を施した人物の顔の画像部分に、さらに、ユーザにより指定された化粧に対応する画像処理を施すリメイクアップ手段をさらに備えることを特徴とする付記８に記載の画像処理装置。
［付記１０］
前記美顔処理を施した人物の顔の画像部分を、さらに、美顔処理が施された状態を維持したまま、調整する前の美顔処理を施すのに適切でない状態に戻す画像処理を行うリメイクアップ手段をさらに備えることを特徴とする付記８に記載の画像処理装置。
［付記１１］
画像処理装置が実行する画像処理方法であって、
画像に含まれる人物の顔を検出する検出処理と、
検出した人物の顔の画像部分の状態を判別する判別処理と、
判別した人物の顔の状態に応じて、人物の顔の画像部分を、美顔処理を施すのに適切な状態に調整する調整処理と、
を含むことを特徴とする画像処理方法。
［付記１２］
コンピュータに、
画像に含まれる人物の顔を検出する検出機能と、
検出した人物の顔の画像部分の状態を判別する判別機能と、
参照情報を参照し、判別した人物の顔の状態に応じて、人物の顔の画像部分を、美顔処理を施すのに適切な状態に調整する調整機能と、
を実現させることを特徴とするプログラム。

１・・・画像処理装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・顔検出部，５３・・・判別部，５４・・・調整部，５５・・・美顔処理部，５６・・・リメイクアップ部，５７・・・テーブル管理部，５８・・・関数生成部，７１・・・復元／リメイクアップテーブル記憶部，７２・・・標準化テーブル記憶部

Claims (8)

1. 画像に含まれる人物の顔を検出する検出手段と、
   前記検出手段によって検出された人物の顔の画像部分の状態を判別する判別手段と、
   前記判別手段によって判別された人物の顔の状態に応じて予め設定された復元処理方法を示す情報に基づいて、前記人物の顔を化粧が施されていない状態に調整する調整手段と、
   前記復元処理方法を示す情報と対応付けられた化粧を施すための画像処理方法を表す情報に基づいて、前記調整手段によって調整された前記人物の顔に対し化粧に対応する画像処理を実行する画像処理手段と、
   を備え、
   前記画像処理手段が実行する化粧に対する画像処理は、化粧を施す前に施される美顔処理に対応する処理が含まれることを特徴とする画像処理装置。
2. 前記判別手段が判別する人物の顔の状態には、前記人物の特性が含まれ、
   前記調整手段は、判別された人物の特性に応じて予め設定された復元処理方法を示す情報に基づいて、前記人物の顔を化粧が施されていない状態として標準化した状態に調整することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像の撮影時の撮像状況を取得する撮像状況取得手段を更に備え、
   前記判別手段が判別する人物の顔の状態には前記撮像状況取得手段によって取得された撮像状況が含まれ、
   前記調整手段は、判別された撮像状況に応じて予め設定された復元処理方法を示す情報に基づいて、前記人物の顔を化粧が施されていない状態として標準化した状態に調整することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記復元処理方法を示す情報は、同一人物における化粧を施された画像から化粧を施されていない画像における顔画像の変化量に基づいて生成されたものであることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記化粧を施すための画像処理方法を表す情報は、複数の人物おける化粧を施されていない顔の画像から化粧を施された顔の画像への顔画像の変化量を平均化したものに基づいて生成されたものであることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記復元処理方法を示す情報又は前記化粧を施すための画像処理方法を表す情報と対応付けて化粧の種類が複数種設定されているとともに、外部からの操作に応じて前記複数種の化粧の種類からいずれかを選択する選択手段を備え、
   前記画像処理手段は、前記人物の顔に対し前記選択手段によって選択された化粧の種類に対応する画像処理を実行することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 画像処理装置が実行する画像処理方法であって、
   画像に含まれる人物の顔を検出する検出処理と、
   前記検出処理にて検出された人物の顔の画像部分の状態を判別する判別処理と、
   前記判別処理にて判別した人物の顔の状態に応じて予め設定された復元処理方法を示す情報に基づいて、前記人物の顔を化粧が施されていない状態に調整する調整処理と、
   前記復元処理方法を示す情報と対応付けられた化粧を施すための画像処理方法を表す情報に基づいて、前記調整処理にて調整された前記人物の顔に対し化粧に対応する画像処理を実行する実行処理と、
   を含み、
   前記実行処理が実行する化粧に対する画像処理は、化粧を施す前に施される美顔処理に対応する処理が含まれることを特徴とする画像処理方法。
8. コンピュータに、
   画像に含まれる人物の顔を検出する検出機能、
   前記検出機能によって検出された人物の顔の画像部分の状態を判別する判別機能、
   前記判別機能によって判別された人物の顔の状態に応じて予め設定された復元処理方法を示す情報に基づいて、前記人物の顔を化粧が施されていない状態に調整する調整機能、
   前記復元処理方法を示す情報と対応付けられた化粧を施すための画像処理方法を表す情報に基づいて、前記調整機能によって調整された前記人物の顔に対し化粧に対応する画像処理を実行する画像処理機能、
   を実現させ、
   前記画像処理機能が実行する化粧に対する画像処理は、化粧を施す前に施される美顔処理に対応する処理が含まれることを特徴とするプログラム。

Images