JP7318251B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、画像内に含まれる人物の肌をきれいに見せる美肌処理が利用されている。
例えば、特許文献１には、人物の肌を明るく見せる処理（美白処理）の効果を容易に設定可能とする技術が開示されている。

特開２０１６－０１２８９０号公報

しかしながら、画像処理を用いて人物の肌をきれいに見せる場合に、より自然な画像を出力することが求められていた。

本発明の課題は、美肌処理を行った上で、より自然な画像を出力する画像処理装置を提供することである。

上記目的を達成するため、本発明の一態様の画像処理装置は、
顔の領域を含む顔画像を取得する画像取得手段と、
前記画像取得手段が取得した顔画像に対して美肌処理を施す美肌処理手段と、
前記顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する第１特定手段と、
前記顔画像に対して前記美肌処理を行った後の画像における、美肌処理低減領域を含む領域である第２領域を特定する第２特定手段と、
前記第１特定手段により特定された前記第１領域に対応する画像と、前記第２特定手段により特定された前記第２領域に対応する画像とをブレンドしてブレンド画像を作成するブレンド手段と、
前記ブレンド手段により作成されたブレンド画像に対して前記美肌処理の効果を軽減する軽減処理を施す軽減処理手段と、
を有し、
前記軽減処理手段は、前記ブレンド画像と、前記軽減処理を施こした前記ブレンド画像とをブレンドすることを特徴とする。

本発明によれば、美肌処理を行った上で、より自然な画像を出力する画像処理装置を提供することができる。

本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本実施形態における美肌画像の生成を説明するための模式図である。 第１のαブレンドの具体的手法の一例を示す模式図である。 マスク画像の作成に用いられる器官マップの作成例を示す模式図である。 マスク画像の作成例を示す模式図である。 唇色レベルの重み付けの設定に係るヒストグラム及び唇色レベルの重み付けテーブルを示す図である。 Ｖ補正のＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を示す図である。 部分補正画像の作成例を示す模式図である。 図１の撮像装置の機能的構成のうち、美肌処理を実行するための機能的構成を示す機能ブロック図である。 図９の機能的構成を有する図１の撮像装置が実行する美肌画像生成処理の流れを説明するフローチャートである。 美肌画像生成処理のうち、マスク画像作成処理の流れを説明するフローチャートである。 美肌画像生成処理のうち、部分補正画像作成処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の画像処理装置の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラとして構成される。

撮像装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を撮像画像のデータとしてＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１では、顔を撮影した画像に対して、肌に美肌処理が施されていると共に、肌色と色相が近く美肌処理によって色が薄くなる等の影響を受けた唇を適切に補正した画像（以下、「美肌画像」という。）を生成することができる機能を有する。即ち、撮像装置１では、顔の肌に施された美肌処理によって補正された唇の色を適切な色に補正して美肌処理の効果を復元（軽減）することにより美肌画像を生成する。

即ち、美肌処理は、肌色領域に対してだけ施されるように対象箇所以外がマスクされるが、唇の色は肌色と色相が近く、肌色領域に含まれてしまうため、美肌処理が施されてしまい、唇の色が薄くなる等の影響を受けてしまう。一方、美肌処理を施す前の元画像における唇の部分を美肌処理後の唇の部分に貼り付けるのみでは、周囲との違和感が大きくなる。

このため、本実施形態の撮像装置１では、美肌処理を施す前の画像（以下、「元画像」という。）における唇の部分と美肌処理を施した画像（以下、「全体美肌画像」という。）の唇の部分とをブレンドし、唇の部分の美肌処理を軽減した画像（以下、「第１ブレンド画像」という。）を生成する。そして、第１ブレンド画像に所定の補正処理（色補正、平滑化処理等）を施した画像（以下、「部分補正画像」という。）を生成し、部分補正画像を第１ブレンド画像とブレンドした画像（以下、「第２ブレンド画像」という。）を生成する。そして、全体美肌画像の元の位置（唇の部分）に第２ブレンド画像を貼り付けることにより、唇の色が適切な色に補正された美肌画像が生成される。

図２は、本実施形態における美肌画像の生成を説明するための模式図である。
本実施形態の美肌画像が生成される場合、図２に示すように、元画像及び全体美肌画像それぞれから唇を含む領域が切り出され、これらが唇の領域に処理を施すためのマスク画像を用いて第１のαブレンドにより合成される。本実施形態において、第１のαブレンドでは、後述するように、画像の輝度成分及び色成分（彩度）それぞれに異なる係数を設定してαブレンドを実行する。これにより、唇の部分の美肌処理が軽減された第１ブレンド画像が生成される。そして、第１ブレンド画像における唇の色をより適切な色とするように色補正の処理を施して画像（以下、「色補正画像」という。）が作成される。さらに、色補正画像に平滑化処理を施して太い皺を抑制したり、エッジ強調処理を施して細いエッジを強調したりすることにより、部分補正画像が作成される。部分補正画像は、唇以外の領域にも色補正や平滑化或いはエッジ強調が施されているため、これらの補正処理の効果が唇のみに表れるように、唇以外をマスクするマスク画像を用いて、部分補正画像と第１ブレンド画像とが第２のαブレンドにより合成される。これにより、唇の部分の色と唇周辺の肌の色とがバランス良く色補正された第２ブレンド画像が作成される。なお、マスク画像の画素値は、αブレンドによる画像合成の際に参照されるα値となる。
その後、作成した第２ブレンド画像が全体美肌画像の元の位置（唇の部分）に貼り付けられて、美肌画像が生成される。

［第１のαブレンド］
図３は、第１のαブレンドの具体的手法の一例を示す模式図である。
本実施形態においては、元画像及び全体美肌画像それぞれから切り出された唇を含む領域が、唇の領域に処理を施すためのマスク画像を用いて第１のαブレンドにより合成される。
このとき、元画像及び全体美肌画像それぞれから切り出された唇を含む領域の画像のチャネル毎に、異なる係数を用いてαブレンドが行われる。

即ち、図３に示すように、ＹＵＶ色空間で表された各画像のチャネルのうち、Ｙ値（輝度成分）については、マスク画像の画素が表すα値に第１係数（例えば０．５）を乗算してα値が調整され、調整後のα値（第１調整値）によって、各画像のＹ値がαブレンドされる。また、ＹＵＶ色空間で表された各画像のチャネルのうち、Ｕ値（青色系の色相及び彩度成分）及びＶ値（赤色系の色相及び彩度成分）については、マスク画像の画素が表すα値に第２係数（例えば０．７５）を乗算してα値が調整され、調整後のα値（第２調整値）によって、各画像のＵ値及びＶ値がαブレンドされる。なお、ＹＵＶ色空間で表された各画像のチャネルのうち、Ｕ値とＶ値とで異なるα値の調整を行うこととしてもよい。
そして、第１係数で調整されたα値（第１調整値）によって算出されたＹ値と、第２係数で調整されたα値（第２調整値）によって算出されたＵ値及びＶ値とをＹＵＶ色空間の各成分とする画像（第１ブレンド画像）が作成される。

［器官マップの作成］
図４は、マスク画像の作成に用いられる器官マップの作成例を示す模式図である。
器官マップは、被写体の顔を構成する器官（ここでは、唇）の領域を表すマップである。
本実施形態においては、元画像から被写体であるユーザの顔を検出すると共に、検出した顔において顔を構成する各器官を検出する。この顔や各器官の検出を実現する技術は、特に限定されず、既存の顔検出技術及び既存の器官検出技術を用いることができる。
そして、図４（Ａ）に示すように、検出された各器官の中から、美肌処理を軽減する対象の器官（ここでは、唇）を特定し、唇の器官点Ｐ１を検出する。器官点Ｐ１は、上唇及び下唇のそれぞれについて複数検出される。なお、図中では、複数の器官点Ｐ１をそれぞれ白色の丸で示すが、図示の都合上、その内の１つの器官点Ｐ１に対してのみ符号を付す。

そして、この複数の器官点Ｐ１の位置に基づいて、唇に対応する領域が検出される。さらに、画像を処理するために用いられている座標系での、複数の器官点Ｐ１それぞれの位置を示す座標の値が全て取得され、取得された全ての座標の値の平均値に対応する位置が基準点Ｐ２として特定される。
なお、図４（Ａ）においては、唇の色を計測するために設定される計測領域Ｒ１，Ｒ２を併せて示している。計測領域Ｒ１，Ｒ２は、後述するＨＵＥマップの作成で用いられる。
図４（Ｂ）に示す器官マップでは、基準点Ｐ２を含んだ中央の領域を白色（即ち、α値「１」）、他の領域を黒色（即ち、α値「０」）と設定している。
しかしながら、このようにα値が設定された器官マップを、そのまま画像補正に利用すると、画像補正を行う領域と補正を一切行わない領域との境界が明確となり、画像補正が不自然となってしまう。そこで、この境界をぼかすために、唇に対応する領域の形状を、基準点Ｐ２を中心として各方向に等比率で縮小して同心状の領域を設定する。このとき、縮小比率を異ならせた同心状の領域を段階的に設定し、器官マップの中央の領域から外部の領域に近づくにつれてα値が段階的に低くなり、画像補正の度合いが抑えられるように、器官マップを修正する。
これにより、図４（Ｃ）に示すように、検出された唇に対応する領域の形状を維持すると共に、器官マップの内部から外部に近づくにつれてα値が段階的に低くなり、画像補正の度合いが抑えられるように設定された器官マップを作成することができる。なお、本実施形態においては、唇に対応する領域の形状を基準点Ｐ２を中心として各方向に等比率で縮小して同心状の領域を設定し、器官マップの中央の領域から外部の領域に近づくにつれてα値を段階的に低くしたが、それに限らず、器官検出で得られた段階の器官マップを基準点Ｐ２を中心に拡大することで同心状の領域を設定してもよい。

［マスク画像の作成］
図５は、マスク画像の作成例を示す模式図である。
本実施形態においては、美肌処理により薄くなってしまった唇部分の色を再現する補正処理を施すために、唇に相当する領域に対応したマスク画像を作成する。
マスク画像は、図５に示すように、黒い部分ほど色補正画像の合成の割合が低く、白い部分ほど色補正画像の合成の割合が高いことを示している。本実施形態においては、唇の中心部分は色補正が強く施されており、唇の外縁に近い部分は、肌との影響を少なくするために色補正が弱く施されるように構成される。

このようなマスク画像は、まず、顔の器官の検出によって唇の位置を特定し、特定した唇の位置を含む領域におけるＨＳＶ色空間のピークとなる色相値に基づいて作成される。本実施形態の顔の器官検出では、上述の図４に示すように、唇位置の特定等のために複数の器官点Ｐ１の位置を検出する。

本実施形態においては、ＨＳＶ色空間のピークとなる色相値に基づいて作成されたマスク画像に、鼻等の余計な部分を排除するために、唇の領域を表す器官マップを合成して、最終的なマスク画像を作成する。

具体的には、本実施形態のマスク画像は、元画像から唇を含む領域を切り出した画像（以下、「切り出し画像」という。）から、ＨＵＥマップ及び器官マップを作成し、ＨＵＥマップを器官マップと合成して作成される。ＨＵＥマップと器官マップの合成では、ＨＵＥマップから空間的に不要な領域を除去したマップを作成するために、ＨＵＥマップと器官マップのα値の両者を掛け算することで本実施形態のマスク画像が作成されることとなる。

［ＨＵＥマップの作成］
ＨＵＥマップは、切り出し画像において唇の色に相当する箇所を特定したマップである。ＨＵＥマップは、まず、ＹＵＶ色空間の切り出し画像をＨＳＶ（色相：Ｈｕｅ，彩度：Ｓａｔｕｒａｔｉｏｎ・Ｃｈｒｏｍａ，明度：Ｖａｌｕｅ・Ｌｉｇｈｔｎｅｓｓ・Ｂｒｉｇｈｔｎｅｓｓ）色空間に変換する。その後、ノイズを除去するために、εフィルタでぼかした上で、ＨＳＶ変換後の画像を解析（ＨＳＶ解析処理）する。そして、ＨＳＶ解析処理の処理結果から算出した値をＨＵＥマップのマップ値として、ＨＵＥマップを作成する。

ＨＳＶ解析処理では、各画素におけるマップ値を決定するために、唇色レベルの重み付けを設定する。唇色レベルの重み付けは、ＨＳＶのチャネル別に作成したヒストグラムに基づいて設定される。

図６は、唇色レベルの重み付けの設定に係るヒストグラム及び唇色レベルの重み付けテーブルを示す図である。
唇色レベルの設定では、まず、図４に示す器官検出で検出した複数の器官点Ｐ１を基に計測領域として上下の唇の中央付近に計測領域Ｒ１，Ｒ２（図４（Ａ）参照）を設定し、各計測領域におけるＨＳＶそれぞれのヒストグラムを作成する。
なお、ヒストグラムの作成に係る唇における計測領域は、唇の色が取得可能な領域であれば、領域の数、種々の形状、位置、サイズであってもよい。

そして、図６（ａ）に示すようなＨＳＶそれぞれのヒストグラムの最頻値に対応して、図６（ｂ）に示すように唇色レベルの重み付けテーブルが設定される。Ｈのチャネルの場合には、最頻値を基準にしてプラスとマイナスに均等に重み付けが振り分けられ、最頻値から離れるほど重み付けが低くなるように設定される。また、Ｓ（Ｖ）のチャネルの場合には、ヒストグラムの最頻値を上方の左端（右端）の基準にして、ピーク値に所定の幅があり、かつ、１段目よりも２段目の方が勾配が緩やかとなる２段階の傾きとなるように、重み付けが設定される。

その後、各画素ごとにＨＳＶの各チャネル別に重み付けに応じて算出した唇色レベルを掛け合わせた結果をマップ値としてＨＵＥマップを作成する。
即ち、ＨＵＥマップのマップ値は、以下の式（１）により算出される。
ＨＵＥマップのマップ値（Ｍａｐ）＝Ｌｈ×Ｌｓ×Ｌｖ・・・（１）
なお、「Ｌｈ」はＨの唇色レベルを示し、「Ｌｓ」はＳの唇色レベルを示し、「Ｌｖ」はＶの唇色レベルを示す。

［色補正画像の作成］
色補正画像は、本実施形態においては、第１ブレンド画像のＶ値を補正することにより作成される。
本実施形態においては、例えば、リップ等で元々の唇の色が濃い場合に、美肌処理による補正が効き過ぎないように色補正する。

図７は、Ｖ補正のＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を示す図である。
Ｖ補正のＬＵＴでは、図７に示すように、唇の色が濃い部分にＶ補正がかかるように構成される。

［部分補正画像の作成］
部分補正画像は、第１ブレンド画像から作成された色補正画像に平滑化処理及びエッジ強調処理を施すことにより作成される。
図８は、部分補正画像の作成例を示す模式図である。
本実施形態においては、ＹＵＶ色空間で表された第２ブレンド画像のチャネルのうち、Ｖ値（赤色系の色相及び彩度成分）に補正を施すことで色補正画像が作成され、さらに、Ｙ値（輝度成分）に平滑化処理及びエッジ強調処理を施すことにより部分補正画像が作成される。
これにより、唇の太い皺が抑制されると共に、解像感が高められた部分補正画像を作成することができる。

［第２ブレンド画像の作成］
第２ブレンド画像は、第１ブレンド画像と、部分補正画像とを、マスク画像に基づいて、αブレンドして画像合成して作成される。作成された第２ブレンド画像を全体美肌画像の元の位置（唇の部分）に貼り付けて、美肌画像を生成する。即ち、唇の領域のみに色補正が施され、それ以外の肌の部分は美肌処理が施された部分補正画像が、同一の美肌処理の施された全体美肌画像に貼り付けられて美肌画像が生成される。

図９は、図１の撮像装置１の機能的構成のうち、美肌処理を実行するための機能的構成を示す機能ブロック図である。
美肌画像生成処理とは、撮影された人の顔を含む元画像に対して、美肌処理を施すと共に、肌に色が近似しており美肌処理の影響を受けて色が薄くなった唇を適正な色に補正して美肌画像を生成する一連の処理をいう。

美肌画像生成処理を実行する場合には、図７に示すように、ＣＰＵ１１において、画像取得部５１と、顔検出部５２と、画像処理部５３と、マスク画像作成処理部５４と、部分補正画像作成処理部５５と、が機能する。

また、記憶部１９の一領域には、画像記憶部７１と、マスク画像記憶部７２と、が設定される。

画像記憶部７１には、撮像部１６から出力された画像のデータが記憶される。
マスク画像記憶部７２には、唇以外をマスクするマスク画像のデータが記憶される。

画像取得部５１は、撮像部１６により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部７１から処理対象となる画像のデータを取得する。

顔検出部５２は、画像から顔を検出すると共に、検出した顔において顔を構成する各器官を検出する。顔検出部５２は、少なくとも、輪郭形状から、左右の瞳と、唇の器官を検出する。なお、顔検出部５２は、唇に関しては、少なくとも、上唇の中央の上下の２点、下唇の中央の上下の２点、唇の左右の端の２点の合計６点の位置を器官点Ｐ１として検出する。顔検出及び各器官の検出は、既存の顔検出技術及び器官検出技術の公知の技術を用いる。また、顔検出及び各器官の検出は、輝度、輪郭抽出等、ＨＳＶ色空間の色情報とは異なる情報に基づく検出方法であればその検出方法は問わない。

画像処理部５３は、元画像に対して各種の画像処理を実行する。
具体的には、画像処理部５３は、元画像に対して、例えば、主に、彩度低減、明度アップ、青色方向への色相回転の３点の要素の補正を行う美肌処理を実行する。その結果、全体美肌画像が作成される。また、画像処理部５３は、図２に示すように、元画像及び全体美肌画像から唇を含む領域を切り出す。
また、画像処理部５３は、元画像及び全体美肌画像から唇を含む領域を切り出した２つの切り出し画像を、マスク画像作成処理部５４によって作成されたマスク画像に基づいて、第１のαブレンドを施すことにより画像合成する。その結果、第１ブレンド画像が作成される。

本実施形態において、第１のαブレンドを施す場合、画像処理部５３は、ＹＵＶ色空間で表された各画像のチャネルのうち、Ｙ値（輝度成分）については、マスク画像の画素が表すα値に第１係数（例えば０．５）を乗算してα値を調整し、調整後のα値（第１調整値）によって、各画像のＹ値をαブレンドする。また、画像処理部５３は、ＹＵＶ色空間で表された各画像のチャネルのうち、Ｕ値（青色系の色相及び彩度成分）及びＶ値（赤色系の色相及び彩度成分）については、マスク画像の画素が表すα値に第２係数（例えば０．７５）を乗算してα値を調整し、調整後のα値（第２調整値）によって、各画像のＵ値及びＶ値をαブレンドする。なお、ＹＵＶ色空間で表された各画像のチャネルのうち、Ｕ値とＶ値とで異なるα値の調整を行うこととしてもよい。

そして、画像処理部５３は、第１係数で調整されたα値（第１調整値）によって算出されたＹ値と、第２係数で調整されたα値（第２調整値）によって算出されたＵ値及びＶ値とをＹＵＶ色空間の各成分とする画像（第１ブレンド画像）を作成する。
また、画像処理部５３は、第１ブレンド画像と、部分補正画像作成処理部５５によって作成された部分補正画像とを、マスク画像作成処理部５４によって作成されたマスク画像に基づいて、第２のαブレンドを施すことにより画像合成する。その結果、第２ブレンド画像が作成される。また、画像処理部５３は、全体美肌画像の元の位置（唇の部分）に第２ブレンド画像を貼り付ける。その結果、美肌画像が生成される。

マスク画像作成処理部５４は、唇の領域のみに色補正が施された画像となるように、第１のαブレンド及び第２のαブレンドに用いるマスク画像を作成する。

具体的には、マスク画像作成処理部５４は、図４に示すように、顔検出部５２によって検出された各器官の中から、美肌処理を軽減する対象の器官（ここでは、唇）を特定し、唇の器官点Ｐ１を検出する。このとき、マスク画像作成処理部５４は、上唇及び下唇のそれぞれについて複数の器官点Ｐ１を検出する。そして、マスク画像作成処理部５４は、この複数の器官点Ｐ１の位置に基づいて、唇に対応する領域を検出する。さらに、マスク画像作成処理部５４は、画像を処理するために用いられている座標系での、複数の器官点Ｐ１それぞれの位置を示す座標の値を全て取得し、取得した全ての座標の値の平均値に対応する位置を基準点Ｐ２として特定する。そして、マスク画像作成処理部５４は、唇に対応する領域の形状を、基準点Ｐ２を中心として各方向に等比率で縮小して同心状の領域を設定する。このとき、マスク画像作成処理部５４は、縮小比率を異ならせた同心状の領域を段階的に設定し、器官マップの中央の領域から外部の領域に近づくにつれてα値が段階的に低くなり、画像補正の度合いが抑えられるように、器官マップを修正する。

また、マスク画像作成処理部５４は、元画像から唇を含む領域を切り出した切り出し画像のＹＵＶ色空間をＨＳＶ色空間に変換する。また、マスク画像作成処理部５４は、ノイズ除去を目的としてεフィルタで画像をぼかす処理を行う。
そして、マスク画像作成処理部５４は、ＨＳＶ解析処理を実行する。ＨＳＶ解析処理では、上下の唇の中央付近に設定した計測領域Ｒ１，Ｒ２（図４（Ａ）参照）のＨＳＶの各チャネルでヒストグラムを作成する（図６（ａ）参照）。そして、作成したヒストグラムから算出する唇色レベルの重み付けを作成する（図６（ｂ）参照）。その後、作成した唇色レベルの重み付けに基づいて、上述した式（１）を用いて、各画素におけるＨＵＥマップのマップ値を算出する。算出した各画素のマップ値からＨＵＥマップを作成する。

また、マスク画像作成処理部５４は、図３に示すように、作成した器官マップとＨＵＥマップとを合成する。この際、マスク画像作成処理部５４は、鼻等のＨＵＥマップから空間的な不要な領域を除去するために、ＨＵＥマップと器官マップのα値の両者を掛け算してマスク画像が作成される。マスク画像作成処理部５４は、作成したマスク画像をマスク画像記憶部７２に記憶する。

部分補正画像作成処理部５５は、第１ブレンド画像に対して、色補正処理を実行する。
具体的には、部分補正画像作成処理部５５は、ＬＵＴ（図７参照）に基づいて、第１ブレンド画像のＶ値に補正（色補正）を行う。その結果、第１ブレンド画像に対して色補正がされた色補正画像が作成される。

また、部分補正画像作成処理部５５は、色補正画像に対して、平滑化処理及びエッジ強調処理を施す。
具体的には、部分補正画像作成処理部５５は、ＹＵＶ色空間で表された色補正画像のチャネルのうち、Ｙ値（輝度成分）に平滑化処理及びエッジ強調処理を施す。その結果、部分補正画像が作成される。

図１０は、図９の機能的構成を有する図１の撮像装置１が実行する美肌画像生成処理の流れを説明するフローチャートである。
美肌画像生成処理は、ユーザによる入力部１７への美肌画像生成処理開始の操作により開始される。
美肌画像生成処理開始の操作は、撮影指示操作であって、この撮影指示操作に応じて撮像部１６により撮像された画像に、現像処理が行われた撮像画像のデータに対して、引き続き美肌画像生成処理を行ってもよく、また、画像記憶部７１に記憶されている撮像画像のデータを選択し、その選択された撮像画像のデータに対する美肌画像生成処理開始の操作であってもよい。

ステップＳ１１において、画像取得部５１は、撮像部１６により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部７１に記憶された処理対象となる画像のデータを元画像として取得する。

ステップＳ１２において、顔検出部５２は、元画像において顔検出を行い、顔が検出されたか否かを判定する。
顔が検出されなかった場合には、ステップＳ１２においてＮＯと判定されて、美肌画像生成処理は終了する。
顔が検出された場合には、ステップＳ１２においてＹＥＳと判定されて、処理はステップＳ１３に進む。

ステップＳ１３において、画像処理部５３は、元画像に対して美肌処理を実行し、全体美肌画像を作成する。美肌処理によって、元画像は、彩度低減、明度アップ、青色方向への色相回転されたものとなる。

ステップＳ１４において、顔検出部５２は、元画像において、顔の器官の検出を行う。その結果、少なくとも、元画像において左右の瞳と、唇の器官の位置が検出される。

ステップＳ１５において、画像処理部５３は、元画像において、検出した唇を含む領域を切り出すと共に、全体美肌画像において、元画像から切り出された領域と同じ領域を、唇を含む領域（切り出し画像）として切り出す。

ステップＳ１６において、マスク画像作成処理部５４は、マスク画像作成処理を実行する。マスク画像作成処理の実行の結果、αブレンド用のマスク画像が作成される。マスク画像作成処理の詳細については、後述する。

ステップＳ１７において、画像処理部５３は、マスク画像に基づいて、第１のαブレンドを施すことにより、元画像及び全体美肌画像から切り出した２つの切り出し画像を画像合成する。このとき、画像処理部５３は、ＹＵＶ色空間で表された各画像のチャネルのうち、Ｙ値（輝度成分）については、マスク画像の画素が表すα値に第１係数（例えば０．５）を乗算して調整したα値（第１調整値）を使用してαブレンドを施し、Ｕ値（青色系の色相及び彩度成分）及びＶ値（赤色系の色相及び彩度成分）については、マスク画像の画素が表すα値に第２係数（例えば０．７５）を乗算して調整したα値（第２調整値）を使用してαブレンドを施す。その結果、第１ブレンド画像が作成される。

ステップＳ１８において、部分補正画像作成処理部５５は、部分補正画像作成処理を実行する。部分補正画像作成処理の実行の結果、第１ブレンド画像に対して色補正、平滑化処理及びエッジ強調処理が行われた部分補正画像が作成される。部分補正画像作成処理の詳細については、後述する。

ステップＳ１９において、画像処理部５３は、マスク画像に基づいて、第２のαブレンドを施すことにより第１ブレンド画像と部分補正画像とを画像合成する。その結果、第２ブレンド画像が作成される。

ステップＳ２０において、画像処理部５３は、第２ブレンド画像を全体美肌画像の元の位置（唇の部分）に貼り付ける。その結果、肌に美肌処理が施されていると共に、唇部分は適切な色に補正された美肌画像が生成される。
その後、美肌画像生成処理が終了する。

図１１は、美肌画像生成処理のうち、マスク画像作成処理の流れを説明するフローチャートである。

ステップＳ３１において、マスク画像作成処理部５４は、元画像から切り出した切り出し画像のＹＵＶ色空間をＨＳＶ色空間に変換する。

ステップＳ３２において、マスク画像作成処理部５４は、ＨＳＶ色空間に色空間変換された切り出し画像をεフィルタでぼかす処理を行う。

ステップＳ３３において、マスク画像作成処理部５４は、ＨＳＶ解析処理を実行する。ＨＳＶ解析処理では、上下の唇の中央付近に設定した計測領域Ｒ１，Ｒ２のＨＳＶの各チャネルでヒストグラムを作成する（図４（ａ）参照）。そして、作成したヒストグラムから算出する唇色レベルの重み付けを設定する（図４（ｂ）参照）。唇色レベルの重み付けは、Ｈのチャネルの場合には、最頻値を基準にしてプラスとマイナスに均等に重み付けが振り分けられ、最頻値から離れるほど重み付けが低くなるように設定される。また、Ｓ（Ｖ）のチャネルの場合には、ヒストグラムの最頻値を上方の左端（右端）の基準にして、ピーク値に所定の幅があり、かつ、１段目よりも２段目の方が勾配が緩やかとなる２段階の傾きとなるように、重み付けが設定される。

ステップＳ３４において、マスク画像作成処理部５４は、ＨＵＥマップを作成する。ＨＵＥマップにおけるマップ値は、作成した唇色レベルの重み付けに基づいて、上述した式（１）を用いて算出する。

ステップＳ３５において、マスク画像作成処理部５４は、器官マップを作成する。このとき、マスク画像作成処理部５４は、器官マップの中央の領域から外部の領域に近づくにつれてα値が段階的に低くなり、画像補正の度合いが抑えられるように器官マップを作成する。

ステップＳ３６において、マスク画像作成処理部５４は、作成した器官マップとＨＵＥマップとを合成する。この際、マスク画像作成処理部５４は、鼻等のＨＵＥマップから空間的に不要な領域を除去するためにＨＵＥマップと器官マップのα値の両者を掛け算してマスク画像が作成される。作成されたマスク画像は、マスク画像記憶部７２に記憶される。

図１２は、美肌画像生成処理のうち、部分補正画像作成処理の流れを説明するフローチャートである。

ステップＳ５１において、部分補正画像作成処理部５５は、第１ブレンド画像を色補正するためのＬＵＴ（図７参照）を読み込む。

ステップＳ５２において、部分補正画像作成処理部５５は、第１ブレンド画像に対して、ＬＵＴに基づいて色補正を行う。その結果、第１ブレンド画像に対して色補正がされた色補正画像が作成される。
ステップＳ５３において、部分補正画像作成処理部５５は、色補正画像に対して、平滑化処理及びエッジ強調処理を施す。

種々の撮像装置では、ユーザが肌色を選択できる機能があり、例えば、顔の血色を良くする「ナチュラル」や顔の色を白くする「美肌」が選択可能に構成される。ナチュラルでは、発色が良い色の再現になるので、唇の色も発色をよくすることができる。一方で美肌では、肌色の彩度を薄くするので、唇色もそれに引きずられて、色が薄く血色の悪いものになってしまう。
そこで、本実施形態の撮像装置１においては、美肌処理を施す前の元画像から唇領域を抽出し、唇の部分の色と唇周辺の肌の色とをバランス良く補正しながら、美肌画像を作成することができる。

以上のように構成される撮像装置１は、画像取得部５１と、画像処理部５３と、を備える。
画像取得部５１（画像取得手段）は、顔の領域を含む顔画像を取得する。
画像処理部５３（美肌処理手段）は、画像取得部５１が取得した顔画像に対して美肌処理を施す。
画像処理部５３（第１特定手段）は、顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する。
画像処理部５３（第２特定手段）は、顔画像に対して美肌処理を行った後の画像における、美肌処理低減領域を含む領域である第２領域を特定する。
画像処理部５３（第１ブレンド手段）は、特定された第１領域に対応する画像と、第２特定手段により特定された第２領域に対応する画像とをブレンドして第１ブレンド画像を作成する。
画像処理部５３（軽減処理手段）は、作成された第１ブレンド画像に対して美肌処理の効果を軽減する処理を施す。
これにより、撮像装置１においては、美肌処理を行った上で、より自然な画像を出力する画像処理装置を提供することができる。

また、撮像装置１は、マスク画像作成処理部５４を備える。
マスク画像作成処理部５４（マップ情報作成手段）は、画像処理部５３により特定された第１領域の画像に基づいて画像処理の強度度合いを示すαマップを作成する。
画像処理部５３は、αマップに基づいて、第１領域に対応する画像と、第２領域に対応する画像とをブレンドして第１ブレンド画像を作成する。
これにより、撮像装置１においては、美肌処理の効果を軽減する処理を適切な領域に施すことができる。

画像処理部５３は、第１ブレンド画像と、美肌処理の効果を低減する処理を施こした第１ブレンド画像とをブレンドする。
これにより、撮像装置１においては、美肌処理を行う前後の画像をブレンドした第１ブレンド画像を基に、美肌処理の効果を低減する処理を施して、第１ブレンド画像とブレンドすることができるため、より自然な画像を出力することができる。

美肌処理の効果を軽減する処理は色補正処理又はエッジ補正処理を含む。
これにより、撮像装置１においては、色の補正またはエッジの補正によって、美肌処理が軽減された画像を出力することができる。

また、撮像装置１は、画像取得部５１と、画像処理部５３と、を備える。
画像取得部５１（画像取得手段）は、顔の領域を含む顔画像を取得する。
画像処理部５３（美肌処理手段）は、画像取得部５１が取得した顔画像に対して美肌処理を施す。
画像処理部５３（第１特定手段）は、顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する。
画像処理部５３（軽減処理手段）は、第１特定手段により特定された第１領域に対して後に施される美肌処理の効果を低減する処理を行う。
画像処理部５３は、美肌処理の効果を低減された第１領域と美肌処理が施された画像とに基づいて美肌処理の効果を低減された顔画像を取得する。
これにより、美肌処理を行った上で、より自然な画像を出力する画像処理装置を提供することができる。

また、美肌処理の効果を軽減する処理は色補正処理又はエッジ補正処理を含む。
画像処理部５３は、色補正処理又はエッジ補正処理が施された第１領域に対応する画像と、美肌処理手段により美肌処理が施された画像とに基づいて美肌処理の効果を低減された顔画像を取得する。
これにより、撮像装置１においては、色の補正またはエッジの補正によって、美肌処理が軽減された画像を出力することができる。

画像処理部５３は、明るさについての第１調整値と、彩度についての第２調整値とを設定し、画像における明るさのパラメータについては第１調整値を用いてブレンドし、画像における彩度のパラメータについては第２調整値を用いてブレンドする。
これにより、撮像装置１においては、明るさと彩度とについて、それぞれ適切な調整を行ってαブレンドすることができるため、より適切な画像を出力することができる。

マスク画像作成処理部５４は、顔画像から器官を検出することにより、器官の領域に対応するαマップを作成する。
これにより、撮像装置１においては、対象とする器官の領域をより適切に特定して、美肌処理が施された顔画像に対して美肌処理を軽減させた画像を作成することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態において、唇の領域を最初に特定して、顔全体に施す美肌処理の際に、肌のマスクの領域として特定した唇の領域を指定するように構成してもよい。
また、上述の実施形態において、部分補正画像を作成する場合、色補正画像に対し、平滑化処理及びエッジ強調処理を施すものとしたが、これに限られない。例えば、元画像の顔の領域が暗い場合等には、色補正画像に対してエッジ強調処理を施すことなく、平滑化処理のみを行って、部分補正画像を作成することとしてもよい。
また、上述の実施形態において、元画像及び全体美肌画像から切り出し画像を切り出して各種処理を行うこととしたが、これに限られない。即ち、唇を含む領域に処理を行うことができれば、画像を切り出さない状態で処理することも可能であり、例えば、切り出し画像に相当するアドレスを指定して、元画像あるいは全体美肌画像の一部の領域に処理を行うこととしてもよい。

また、上述の実施形態において、マスク画像を作成する際のＨＵＥマップと器官マップの合成では、ＨＵＥマップから空間的に不要な領域を除去したマップを作成するために、ＨＵＥマップと器官マップのα値の両者を掛け算することとしたが、これに限られない。例えば、ＨＵＥマップと器官マップの最小値をとることにより、ＨＵＥマップと器官マップを合成することとしてもよい。

また、上述の実施形態において、色補正画像を作成する場合、器官検出によって検出された元画像の左右の瞳の下方の肌領域から計測したＹＵＶ色空間のＶ値に応じて、補正強度を設定することにより、第１ブレンド画像に対する色補正（美肌処理の効果を軽減する色補正）を行うこととしてもよい。これにより、被写体の本来の肌の色を基準として、美肌処理の効果と唇の色の補正とのバランスをとることができる。なお、このような色補正は、図７に示すＬＵＴを用いた補正と併せて、あるいは、単独で行うことができる。

また、上述の実施形態において、本発明の画像処理装置を、撮像機能を備える画像処理装置として実現する場合について説明したが、これに限られない。即ち、本発明の画像処理装置は、撮像機能を備える装置として実現することの他、予め取得されている画像を装置内部または外部から取得して美肌処理を行う装置（例えば、サーバ、パーソナルコンピュータ、スマートフォン等）として実現することができる。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、美肌処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図９の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図９の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
顔の領域を含む顔画像を取得する画像取得手段と、
前記画像取得手段が取得した顔画像に対して美肌処理を施す美肌処理手段と、
前記顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する第１特定手段と、
前記顔画像に対して前記美肌処理を行った後の画像における、美肌処理低減領域を含む領域である第２領域を特定する第２特定手段と、
前記第１特定手段により特定された前記第１領域に対応する画像と、前記第２特定手段により特定された前記第２領域に対応する画像とをブレンドして第１ブレンド画像を作成する第１ブレンド手段と、
前記第１ブレンド手段により作成された第１ブレンド画像を用いて前記美肌処理の効果を軽減する処理を施す軽減処理手段と、
を有することを特徴とする画像処理装置。
［付記２］
前記第１特定手段により特定された第１領域の画像に基づいて画像処理の強度度合いを示すαマップを作成するマップ情報作成手段を有し、
前記第１ブレンド手段は、前記αマップに基づいて、前記第１領域に対応する画像と、前記第２領域に対応する画像とをブレンドして第１ブレンド画像を作成することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記軽減処理手段は、前記第１ブレンド画像と、前記美肌処理の効果を低減する処理を施こした第１ブレンド画像とをブレンドすることを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記美肌処理の効果を軽減する処理は色補正処理又はエッジ補正処理を含むことを特徴とする付記１乃至３の何れか１つに記載の画像処理装置。
［付記５］
顔の領域を含む顔画像を取得する画像取得手段と、
前記画像取得手段が取得した顔画像に対して美肌処理を施す美肌処理手段と、
前記顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する第１特定手段と、
前記第１特定手段により特定された第１領域に対して後に施される美肌処理の効果を低減する処理を行う軽減処理手段と、を有し、
前記軽減処理手段は、前記美肌処理の効果を低減された第１領域と前記美肌処理手段により美肌処理が施された画像とに基づいて美肌処理の効果を低減された顔画像を取得することを特徴とする画像処理装置。
［付記６］
前記美肌処理の効果を軽減する処理は色補正処理又はエッジ補正処理を含み、
前記軽減処理手段は、前記色補正処理又はエッジ補正処理が施された前記第１領域に対応する画像と、前記美肌処理手段により美肌処理が施された画像とに基づいて美肌処理の効果を低減された顔画像を取得することを特徴とする付記５に記載の画像処理装置。
［付記７］
前記第１ブレンド手段は、明るさについての第１調整値と、彩度についての第２調整値とを設定し、画像における明るさのパラメータについては前記第１調整値を用いてブレンドし、画像における彩度のパラメータについては前記第２調整値を用いてブレンドすることを特徴とする付記１乃至４の何れか１つに記載の画像処理装置。
［付記８］
前記マップ情報作成手段は、前記顔画像から器官を検出することにより、前記器官の領域に対応する前記αマップを作成することを特徴とする付記２に記載の画像処理装置。
［付記９］
画像処理装置が実行する画像処理方法であって、
顔の領域を含む顔画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された顔画像に対して美肌処理を施す美肌処理ステップと、
前記顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する第１特定ステップと、
前記顔画像に対して前記美肌処理を行った後の画像における、美肌処理低減領域を含む領域である第２領域を特定する第２特定ステップと、
前記第１特定ステップにおいて特定された前記第１領域に対応する画像と、前記第２特定ステップにおいて特定された前記第２領域に対応する画像とをブレンドして第１ブレンド画像を作成する第１ブレンドステップと、
前記第１ブレンドステップにおいて作成された第１ブレンド画像を用いて前記美肌処理の効果を軽減する処理を施す軽減処理ステップと、
を含むことを特徴とする画像処理方法。
［付記１０］
画像処理装置が実行する画像処理方法であって、
顔の領域を含む顔画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された顔画像に対して美肌処理を施す美肌処理ステップと、
前記顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する第１特定ステップと、
前記第１特定ステップにおいて特定された第１領域に対して後に施される美肌処理の効果を低減する処理を行う軽減処理ステップと、を含み、
前記軽減処理ステップでは、前記美肌処理の効果を低減された第１領域と前記美肌処理ステップにおいて美肌処理が施された画像とに基づいて美肌処理の効果を低減された顔画像を取得することを特徴とする画像処理方法。
［付記１１］
コンピュータに、
顔の領域を含む顔画像を取得する画像取得機能と、
前記画像取得機能が取得した顔画像に対して美肌処理を施す美肌処理機能と、
前記顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する第１特定機能と、
前記顔画像に対して前記美肌処理を行った後の画像における、美肌処理低減領域を含む領域である第２領域を特定する第２特定機能と、
前記第１特定機能により特定された前記第１領域に対応する画像と、前記第２特定機能により特定された前記第２領域に対応する画像とをブレンドして第１ブレンド画像を作成する第１ブレンド機能と、
前記第１ブレンド機能により作成された第１ブレンド画像を用いて前記美肌処理の効果を軽減する処理を施す軽減処理機能と、
を実現させることを特徴とするプログラム。
［付記１２］
コンピュータに、
顔の領域を含む顔画像を取得する画像取得機能と、
前記画像取得機能が取得した顔画像に対して美肌処理を施す美肌処理機能と、
前記顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する第１特定機能と、
前記第１特定機能により特定された第１領域に対して後に施される美肌処理の効果を低減する処理を行う軽減処理機能と、を実行させ、
前記軽減処理機能は、前記美肌処理の効果を低減された第１領域と前記美肌処理機能により美肌処理が施された画像とに基づいて美肌処理の効果を低減された顔画像を取得することを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・顔検出部，５３・・・画像処理部，５４・・・マスク画像作成処理部，５５・・・部分補正画像作成処理部，７１・・・画像記憶部，７２・・・マスク画像記憶部

Claims (7)

1. 顔の領域を含む顔画像を取得する画像取得手段と、
   前記画像取得手段が取得した顔画像に対して美肌処理を施す美肌処理手段と、
   前記顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する第１特定手段と、
   前記顔画像に対して前記美肌処理を行った後の画像における、美肌処理低減領域を含む領域である第２領域を特定する第２特定手段と、
   前記第１特定手段により特定された前記第１領域に対応する画像と、前記第２特定手段により特定された前記第２領域に対応する画像とをブレンドしてブレンド画像を作成するブレンド手段と、
   前記ブレンド手段により作成されたブレンド画像に対して前記美肌処理の効果を軽減する軽減処理を施す軽減処理手段と、
   を有し、
   前記軽減処理手段は、前記ブレンド画像と、前記軽減処理を施こした前記ブレンド画像とをブレンドすることを特徴とする画像処理装置。
2. 前記第１特定手段により特定された第１領域の画像に基づいて画像処理の強度度合いを示すαマップを作成するマップ情報作成手段を有し、
   前記ブレンド手段は、前記αマップに基づいて、前記第１領域に対応する画像と、前記第２領域に対応する画像とをブレンドして前記ブレンド画像を作成することを特徴とする請求項１に記載の画像処理装置。
3. 前記美肌処理の効果を軽減する処理は色補正処理又はエッジ補正処理を含むことを特徴とする請求項１又は２項に記載の画像処理装置。
4. 前記ブレンド手段は、明るさについての第１調整値と、彩度についての第２調整値とを設定し、画像における明るさのパラメータについては前記第１調整値を用いてブレンドし、画像における彩度のパラメータについては前記第２調整値を用いてブレンドすることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記マップ情報作成手段は、前記顔画像から器官を検出することにより、前記器官の領域に対応する前記αマップを作成することを特徴とする請求項２に記載の画像処理装置。
6. 画像処理装置が実行する画像処理方法であって、
   顔の領域を含む顔画像を取得する画像取得ステップと、
   前記画像取得ステップにおいて取得された顔画像に対して美肌処理を施す美肌処理ステップと、
   前記顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する第１特定ステップと、
   前記顔画像に対して前記美肌処理を行った後の画像における、美肌処理低減領域を含む領域である第２領域を特定する第２特定ステップと、
   前記第１特定ステップにおいて特定された前記第１領域に対応する画像と、前記第２特定ステップにおいて特定された前記第２領域に対応する画像とをブレンドしてブレンド画像を作成するブレンドステップと、
   前記ブレンドステップにおいて作成されたブレンド画像を用いて前記美肌処理の効果を軽減する軽減処理を施す軽減処理ステップと、
   を含み、
   前記軽減処理ステップは、前記ブレンド画像と、前記軽減処理を施こした前記ブレンド画像とをブレンドすることを特徴とする画像処理方法。
7. コンピュータに、
   顔の領域を含む顔画像を取得する画像取得機能と、
   前記画像取得機能が取得した顔画像に対して美肌処理を施す美肌処理機能と、
   前記顔画像に対して美肌処理を行う前の画像における、美肌処理低減領域を含む領域である第１領域を特定する第１特定機能と、
   前記顔画像に対して前記美肌処理を行った後の画像における、美肌処理低減領域を含む領域である第２領域を特定する第２特定機能と、
   前記第１特定機能により特定された前記第１領域に対応する画像と、前記第２特定機能により特定された前記第２領域に対応する画像とをブレンドしてブレンド画像を作成するブレンド機能と、
   前記ブレンド機能により作成されたブレンド画像を用いて前記美肌処理の効果を軽減する軽減処理を施す軽減処理機能と、
   を実現させ、
   前記軽減処理機能は、前記ブレンド画像と、前記軽減処理を施こした前記ブレンド画像とをブレンドすることを特徴とするプログラム。

Images