JP2014120005A - 肌形状生成装置、肌形状生成方法、及び肌形状生成プログラム - Google Patents

Abstract

【課題】肌画像から三次元の肌形状を表示する画像を容易に生成する。
【解決手段】肌画像から肌形状に関する所定のパラメータを取得するパラメータ取得手段と、前記パラメータ取得手段により得られたパラメータを用いて、予め設定された皮膚領域に対して所定形状のポリゴンを生成するポリゴン生成手段と、前記ポリゴン生成手段により得られたポリゴン形状に基づくパラメータ情報により、三次元の肌形状を表示する画像を生成する画像生成手段とを有することにより上記課題を解決する。
【選択図】図１

Description

本願は、肌形状生成装置、肌形状生成方法、肌形状生成プログラムに関する。

従来では、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）モデル等を用いて、例えば人の顔形状を再現する手法が知られている。この場合、肌のミクロの形状であるキメや毛穴等の形状状態は、あたかも肌の凹凸感が感じられるような二次元画像を作成し、顔形状ポリゴンに貼り付けるテクスチャマッピングによって表現されている（例えば、非特許文献１参照）。

Ｐ．Ｓ．Ｈｅｃｋｂｅｒｔ，Ｓｕｒｖｅｙ ｏｆ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｖｏｌｕｍｅ ６，Ｉｓｓｕｅ １１，ｐａｇｅｓ５６−６７，１９８６．

しかしながら、上述したような従来手法では、実際の肌の立体的な凹凸までは再現されていない。このため、例えばＣＧモデルを使って顔の光反射シミュレーション等を行う場合には、毛穴の大きさや皮溝深さの変化の影響は考慮されないことが多い。

１つの側面では、本発明は、上記の課題に鑑みてなされたものであり、肌画像から三次元の肌形状を表示する画像を容易に生成することを目的とする。

一態様における肌形状生成装置は、肌画像から肌形状に関する所定のパラメータを取得するパラメータ取得手段と、前記パラメータ取得手段により得られたパラメータを用いて、予め設定された皮膚領域に対して所定形状のポリゴンを生成するポリゴン生成手段と、前記ポリゴン生成手段により得られたポリゴン形状に基づくパラメータ情報により、三次元の肌形状を表示する画像を生成する画像生成手段とを有することを特徴とする。

なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。

肌画像から三次元の肌形状を表示する画像を容易に生成することを可能とする。

本実施形態に係る肌形状生成装置の機能構成の一例を示す図である。 肌形状生成処理が実現可能なハードウェア構成の一例を示す図である。 本実施形態に係る肌形状生成処理の一例を示すフローチャートである。 ポリゴンを構成する頂点を生成する処理について説明するための図である。 毛穴、皮溝上、及び皮丘の内部に頂点を生成する処理を説明するための図である。 本実施形態に係る毛穴形状取得処理の一例を示すフローチャートである。 本実施形態に係る皮溝形状取得処理の一例を示すフローチャートである。 マッチングにより各形状を取得する方法を説明するための図である。 マッチングにより各形状が取得された例を説明するための図である。 毛穴及び皮溝の深さに関する情報を取得する方法を説明するための図である。 三次元の肌形状を表示する画像の一例を示す図である。

＜本発明について＞
本発明は、例えば撮影された肌画像から、毛穴や皮溝等の肌形状に関するパラメータを取得し、取得したパラメータにより得られた毛穴や皮溝等の形状に基づき肌形状ポリゴンを生成して、肌の立体的な凹凸を表現する三次元の肌形状を表示する画像を生成する。

＜肌形状生成装置：機能構成例＞
図１は、本実施形態に係る肌形状生成装置の機能構成の一例を示す図である。図１に示す肌形状生成装置１０は、入力手段１１と、出力手段１２と、記憶手段１３と、画像取得手段１４と、画像変換手段１５と、パラメータ取得手段１６と、毛穴生成手段１７と、領域分割手段１８と、皮丘皮溝決定手段１９と、ポリゴン生成手段２０と、画像生成手段２１と、制御手段２２とを有するように構成される。

入力手段１１は、例えば肌形状生成装置１０を使用するユーザ等から肌形状生成処理に関する各種指示の開始／終了、設定等の入力を受け付ける。なお、入力手段１１は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の汎用のコンピュータであればキーボードやマウス等のポインティングデバイスである。また、入力手段１１は、例えば音声等により上述した入力が可能なマイク等の音声入力デバイスであっても良い。

出力手段１２は、入力手段１１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。なお、出力手段１２は、例えばディスプレイやスピーカ等である。出力手段１２は、プリンタ等の印刷デバイスを有していても良い。

なお、上述した入力手段１１と出力手段１２とは、例えば肌形状生成装置１０がスマートフォンやタブレット端末等のような場合には、例えばタッチパネルのように入出力一体型の構成であっても良い。

記憶手段１３は、本実施形態において必要な各種情報を記憶する。具体的には、本実施形態における肌形状生成処理を実行するための各種プログラムや各種設定情報等を記憶する。また、記憶手段１３は、毛穴の形状を表す半径の平均、深さの平均、毛穴の位置の乱雑度、毛穴内部のポリゴンの細かさ等のパラメータ、皮丘の形状を表す高さの平均、皮丘内部のポリゴンの細かさ等のパラメータ、及び皮溝の形状を表す幅の平均、深さの平均、幅及び深さの角度依存性（基準位置に対する向き）、皮溝周りのポリゴンの細かさ等のパラメータ等を記憶する。

また、記憶手段１３は、例えばポリゴンのサイズ（例えば、三角形ポリゴンの1辺の長さの目安）等のパラメータを記憶する。なお、記憶手段１３は、上述した各種情報を必要に応じて所定のタイミングで書き込んだり、読み出したりすることが可能である。

ここで、記憶手段１３は、上述したような多種の情報の集合物であり、例えばキーワード等を用いて検索し、抽出可能な体系的に構成されているデータベースとしての機能も有していても良い。更に、記憶手段１３に記憶される情報は、例えば通信ネットワークを介して外部装置から取得しても良い。

画像取得手段１４は、例えば所定の光源により被写体の顔の所定部位に照明を当てて、カメラ等により撮影された肌画像を取得する。なお、撮影する際には、撮影する画像の内容に応じて、例えば画像サイズや、使用する光源の種類や位置、数等を設定することが可能である。

画像変換手段１５は、画像取得手段１４により得られた肌画像を、例えば白黒の２値画像に変換する。画像変換手段１５は、画像取得手段１４により得られた肌画像のＲＧＢ値（各々０以上２５５以下）の総計値に対する所定の閾値や、輝度分布から統計処理によって求めた値を閾値として２値画像に変換する。

パラメータ取得手段１６は、画像取得手段１４により得られた肌画像から肌形状に関する所定のパラメータを取得する。例えば、パラメータ取得手段１６は、画像変換手段１５により得られた２値画像から毛穴や皮溝部分を抽出する。

パラメータ取得手段１６は、例えば想定される毛穴の領域又は形状を有する円、楕円、三角形等の複数のサイズのテンプレートを用いて２値画像上を走査することにより毛穴に対応する部分を抽出する。また、パラメータ取得手段１６は、例えば皮溝の方向を特定するための線が引かれたテンプレートを用いて、上述した２値画像上を走査することにより皮溝に対応する部分を抽出する。パラメータ取得手段１６は、上述した毛穴や皮溝のテンプレートマッチングにより、毛穴の半径の平均や、皮溝の基準位置に対する方向（角度依存性を含む）及び皮溝の幅の平均等の情報を取得する。

また、パラメータ取得手段１６は、画像取得手段１４により得られた肌画像から、上述のように抽出された毛穴及び皮溝に対応する部分の濃度等の情報を取得し、毛穴及び皮溝の深さに関する情報を取得する。なお、パラメータ取得手段１６は、上述のように得られた肌形状の各パラメータを記憶手段１３等に記憶させると良い。

毛穴生成手段１７は、パラメータ取得手段１６により得られた毛穴の半径の平均、毛穴の深さの平均等の情報を用いて、予め設定された肌領域に対して複数の毛穴を生成する。なお、毛穴生成手段１７は、例えば肌領域に所定の分布（格子状等）で毛穴を配置して生成する場合、生成した各々の毛穴の中心座標値に所定の乱数を加算することで、毛穴の配置に乱雑性を加えても良い。

また、毛穴生成手段１７は、生成した毛穴の半径の平均、深さの平均等に対して所定の乱数を加算することで乱雑性を加えても良い。毛穴生成手段１７は、上述のように生成した毛穴の形状等の情報を記憶手段１３等に記憶させると良い。

領域分割手段１８は、毛穴生成手段１７により生成された毛穴のうち、隣接する毛穴の中心点を連結させて肌領域を分割する。領域分割手段１７は、例えばＤｅｌａｕｎａｙ三角メッシュアルゴリズム等を用いて、複数の毛穴のうち、隣接する３つの毛穴を連結することで得られる三角形領域により、肌領域を分割することが可能である。なお、本実施形態においては、三角形に限定されるものではなく、例えば四角形等に分割してもよい。

例えば、領域分割手段１８によって形成された肌領域の三角形は、各辺を皮溝とし、各辺に囲まれた三角形の１つひとつを皮丘とする。また、皮溝は、毛穴間を結ぶ線分により形成される。

皮丘皮溝決定手段１９は、パラメータ取得手段１６により得られた皮溝の基準位置に対する方向、皮溝の幅の平均、皮溝の深さの平均等の情報を用いて、領域分割手段１８により得られた皮丘及び皮溝の形状を具体的に決定する。皮丘皮溝決定手段１９は、例えば皮溝の幅の平均、深さの平均、皮丘の高さの平均に対して所定の乱数を設定しても良い。皮丘皮溝決定手段１９は、上述のように決定した皮丘や皮溝の形状等の情報を記憶手段１３等に記憶させると良い。

ポリゴン生成手段２０は、毛穴生成手段１７により生成された毛穴、及び皮丘皮溝決定手段１９により決定された皮丘、皮溝の各形状を、更に細かい三角形群であるポリゴンに分割する。例えば、ポリゴン生成手段１９は、毛穴生成手段１７により生成された毛穴の内部の中心位置に頂点を生成し、毛穴の外周上に所定間隔で頂点を生成する。また、ポリゴン生成手段２０は、毛穴の外周よりも内側に、毛穴の深さと半径に基づいて同心円を生成し、同心円上に所定間隔で頂点を生成しても良い。

また、例えば、ポリゴン生成手段２０は、皮丘皮溝決定手段１９により決定された皮溝上に所定間隔で頂点を生成する。ここで、ポリゴン生成手段２０は、毛穴の外周から所定間隔おいて、皮溝上に頂点を生成すると良い。

また、例えば、ポリゴン生成手段２０は、皮丘皮溝決定手段１６により決定された皮丘内に所定間隔で頂点を生成する。ここで、ポリゴン生成手段２０は、毛穴の外周、及び皮溝から所定間隔をおいて、皮丘内に頂点を生成し、例えば皮丘の三角形の重心が一番高くなる部分に頂点を生成するとよい。

ポリゴン生成手段２０は、上述のように生成された毛穴の頂点、皮溝上の頂点、皮丘上の頂点を、Ｄｅｌａｕｎａｙ三角メッシュアルゴリズム等を用いて連結し、肌領域上で毛穴、皮溝、皮丘の形状を更に細かい三角群（ポリゴン）に分割して、肌形状ポリゴンを生成する。ポリゴン生成手段２０は、上述のように生成した肌形状ポリゴンの情報を記憶手段１３等に記憶させると良い。

画像生成手段２１は、ポリゴン生成手段２０により得られた肌形状ポリゴンに基づくパラメータ情報により、三次元の肌形状をＣＧ等により表示するための画像を生成する。これにより、出力手段１２の画面上に、肌画像に対応する肌の立体的な凹凸を表現した三次元の肌形状を表示して、ユーザ等に提示することが可能となる。なお、画像生成手段２１は、生成した三次元の肌形状の画像を記憶手段１３に記憶させたり、通信ネットワーク等を介して送受信手段により外部装置等に送信させたりしても良い。

制御手段２２は、肌形状生成装置１０の各構成全体の制御を行う。例えば、制御手段２２は、パラメータ取得、毛穴生成、領域分割、皮丘皮溝決定、ポリゴン生成、画像生成における処理等のうち少なくとも１つを制御する。

＜肌形状生成装置１０：ハードウェア構成例＞
ここで、上述した肌形状生成装置１０の各機能をコンピュータに実行させる実行プログラム（肌形状生成プログラム）を生成し、例えば汎用のＰＣ、サーバ等にインストールすることにより、本実施形態における肌形状生成処理等を実現することが可能となる。

図２は、肌形状生成処理が実現可能なハードウェア構成の一例を示す図である。図２におけるコンピュータ本体は、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３６と、ネットワーク接続装置３７とを有するよう構成され、これらはシステムバスＢで相互に接続されている。

入力装置３１は、例えばユーザ等が操作するキーボードやマウス等のポインティングデバイス、マイク等の音声入力デバイス等を有し、ユーザ等からのプログラムの実行等、各種操作信号を入力する。

出力装置３２は、本実施形態に係る処理を行うコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ３６が実行する制御プログラムの実行経過や結果等を表示する。

ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体３８等により提供される。記録媒体３８は、ドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。

補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムやコンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。

メモリ装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。なお、上述した補助記憶装置３４やメモリ装置３５は、１つの記憶装置として一体型に構成されていてもよい。

ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置３５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、本実施形態に係る肌形状生成処理を実現する。なお、プログラム実行中に必要な各種情報等は、補助記憶装置３４から取得し、実行結果等を格納しても良い。

ネットワーク接続装置３７は、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている外部装置等から取得したり、プログラムを実行することで得られた実行結果又は本実施形態における実行プログラム自体を外部装置等に提供したりする。

上述したハードウェア構成により、本実施形態に係る肌形状生成処理を実行することが可能となる。また、実行プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本実施形態における肌形状生成処理を容易に実現することが可能となる。

＜肌形状生成処理手順＞
図３は、本実施形態に係る肌形状生成処理の一例を示すフローチャートである。図３に示すように、肌形状生成装置１０は、画像取得手段１４により肌画像を取得する（Ｓ１０）。ここで、画像取得手段１４により取得される肌画像は、例えば被写体の顔の所定部位を撮影した画像である。

次に、肌形状生成装置１０は、画像変換手段１５により、Ｓ１０の処理で取得した肌画像を、例えば白黒の２値画像に変換する（Ｓ１１）。ここで、画像変換手段１５は、例えば肌画像のＲＧＢ値の総計値に対する所定の閾値や、輝度分布から統計処理によって求めた値を閾値として２値画像に変換すると良い。

次に、肌形状生成装置１０は、パラメータ取得手段１６により、Ｓ１０の処理で取得した肌画像、及びＳ１１の処理で変換した２値画像から肌形状に関する所定のパラメータを取得する（Ｓ１２）。なお、パラメータ取得手段１６により実行される具体的な処理については後述する。

次に、肌形状生成装置１０は、毛穴生成手段１７により、Ｓ１２の処理で取得した毛穴に関するパラメータを用いて、予め設定された肌領域に毛穴を生成する（Ｓ１３）。ここで、毛穴生成手段１７は、予め設定した肌領域に所定の分布で毛穴を生成すると良い。

次に、肌形状生成装置１０は、領域分割手段１８により、Ｓ１３の処理で生成された毛穴のうち、隣接する毛穴の中心点を連結させて肌領域を分割する（Ｓ１４）。

次に、肌形状生成装置１０は、皮丘皮溝決定手段１９により、Ｓ１２の処理で取得した皮溝に関するパラメータを用いて、Ｓ１４の処理に得られた皮丘及び皮溝の形状を決定する（Ｓ１５）。

次に、肌形状生成装置１０は、ポリゴン生成手段２０により、Ｓ１３〜Ｓ１５の処理で形成された毛穴、皮丘、皮溝の各形状を立体的に表現するため、更に細かい三角形群（ポリゴン）に分割する三角ポリゴンを生成する（Ｓ１６）。これにより、肌形状ポリゴンが生成される。

次に、肌形状生成装置１０は、画像生成手段２１により、Ｓ１６の処理で生成された肌形状ポリゴンに基づくパラメータ情報を用いて、例えば画面上に三次元の肌形状を表示する画像を生成する（Ｓ１７）。

次に、肌形状生成装置１０は、Ｓ１７の処理で得られた各種パラメータを記憶手段１３に記憶する（Ｓ１８）。

次に、肌形状生成装置１０は、処理を終了するか否か判断し（Ｓ１９）、処理が終了していないと判断した場合（Ｓ１９において、ＮＯ）、Ｓ１０の処理に戻る。また、処理が終了したと判断した場合には（Ｓ１９において、ＹＥＳ）、処理を終了する。

＜Ｓ１３〜Ｓ１５の処理について＞
ここで、上述したＳ１３〜Ｓ１５の処理について具体的に説明する。Ｓ１３〜Ｓ１５の処理（パターン生成処理）は、例えば本出願人により出願された特開２０１１−１６１１０５号公報等に示す手法等を用いると良い。

具体的には、本実施形態において、毛穴生成処理（Ｓ１３）は、予め設定した肌領域に、所定の分布（例えば、格子状）で配置された毛穴を生成し、隣接する毛穴同士を直線で結ぶことで得られる三角形の集合を構成するパターンにより、毛穴を生成する。

ここで、毛穴生成処理は、パラメータ取得処理で得られた毛穴の半径の平均、深さの平均に基づき毛穴を生成する。また、毛穴生成処理は、毛穴の半径の平均、深さの平均、及び毛穴の位置（配置）に対して所定の乱数を加算することで乱雑性を加えても良い。

例えば、毛穴生成処理は、生成した各々の毛穴の中心座標値に所定の乱数を加算することで、毛穴の配置に乱雑性を加えると良い。なお、毛穴生成処理で、毛穴の半径の平均、深さの平均、配置に対して加算する所定の乱数の値の具体例については、例えば上述した特開２０１１−１６１１０５号公報に記載された手法を用いることができるが、これに限定されるものではない。

次に、領域分割処理（Ｓ１４）は、例えばＤｅｌａｕｎａｙ三角メッシュアルゴリズム等を用いて、毛穴生成処理により生成された毛穴の各中心点を、隣接する毛穴同士で直線を用いて連結するパターンを生成することにより、肌領域を三角形の集合に分割する。ここで、形成された肌領域の三角形は、各辺を皮溝とし、各辺に囲まれた三角形のそれぞれを皮丘とする。皮溝は、毛穴間を結ぶ線分により形成される。

次に、皮丘皮溝決定処理（Ｓ１５）は、形成された皮丘及び皮溝の形状を決定する。皮丘皮溝決定処理は、パラメータ取得処理で得られた皮溝の幅の平均、深さの平均に基づき皮溝の形状を決定するとともに、例えば予め設定した所定の値等を用いて皮丘の形状を決定する。

また、皮丘皮溝決定処理は、皮溝の幅の平均、皮溝の深さの平均、皮丘の高さに対して所定の乱数を加算することで乱雑性を加えても良い。なお、皮丘皮溝決定処理で、皮丘の高さ、皮溝の幅、皮溝の深さに対して加算する所定の乱数の値の具体例については、例えば、上述した特開２０１１−１６１１０５号公報に記載された手法を用いることができるが、これに限定されるものではない。

＜ポリゴン生成処理＞
次に、上述したポリゴン生成手段２０によるポリゴン生成処理について説明する。図４は、ポリゴンを構成する頂点を生成する処理について説明するための図である。図４に示すように、ポリゴン生成処理は、上述したＳ１３〜Ｓ１５の処理によって生成されたパターンを、更に細かい三角形群（ポリゴン）に分割することによって、毛穴、皮丘、皮溝の各形状を立体的に表現する。

まず、ポリゴン生成処理は、例えば、毛穴に関し、例えば毛穴の中心位置に頂点を生成して、毛穴の内部に毛穴の深さと半径とを用いて層となる同心円を生成し、生成した同心円の層に所定間隔の頂点を生成する。また、ポリゴン生成処理は、皮丘に関し、例えば皮丘の内部に一様に、かつ三角形の重心が一番高くなるように頂点を生成する。また、ポリゴン生成処理は、皮溝に関し、例えば皮溝上に深さに沿って所定間隔に頂点を生成する。

次に、ポリゴン生成処理は、毛穴、皮丘、皮溝上に生成した頂点を、例えばＤｅｌａｕｎａｙ三角メッシュアルゴリズムで連結することで、毛穴、皮丘、皮溝のパターンを更に細かい三角群（ポリゴン）に分割して、ポリゴンを生成する。

＜毛穴、皮溝上、皮丘内部の頂点の生成処理＞
図５は、毛穴、皮溝上、及び皮丘の内部に頂点を生成する処理を説明するための図である。ポリゴン生成処理は、毛穴、皮溝上、皮丘内部に頂点を生成し、最後に生成した頂点の連結を行う。なお、毛穴、皮溝上、皮丘内部に頂点を生成する処理は、何れの処理から行っても良い。

図５（Ａ）に示すように、ポリゴン生成処理は、まず毛穴の中心位置に、矢印Ａに示す頂点を生成し、次に毛穴外周上に、所定間隔で頂点を作成する。ここで、毛穴が三角ポリゴンの解像度に比べて大きい場合、例えば毛穴の半径の平均の値が、予め設定した三角ポリゴンの１辺の長さの値に比べて１．０倍を超える場合には、上述したように、毛穴外周よりも内側に、毛穴の深さの平均と半径の平均とに基づいて同心円を生成する。

例えば、毛穴の半径の平均をｒとし、三角ポリゴンの１辺の長さの値をｅとしたとき、毛穴の半径の分割数は、ｎ＝［ｒ／ｅ］＋１（但し、［ｘ］はｘの小数点以下を切り捨てた整数）となり、半径ｉｒ／ｎの同心円を生成する（但し、ｉは１から（ｎ−１）までの整数とする）。

次に、ポリゴン生成処理は、毛穴外周よりも内側に生成した同心円上に所定間隔で頂点を生成する。これにより、毛穴の内部に層を生成する。

また、ポリゴン生成処理は、皮溝上に深さに沿って所定間隔で頂点を作成する。例えば皮溝の最大の深さをｄｍａｘとし、皮溝の深さの乱雑さをｄｒａｎｄｏｍとしたとき、区間［０，ｄｒａｍｄｏｍ］の間で生成された乱数をｄｍａｘから減算した値が深さとなる。なお、ポリゴン生成手段は、図５（Ａ）の矢印Ｂに示すように毛穴外周から所定間隔おいて皮溝上に頂点を生成するとよい。

また、ポリゴン生成処理は、皮丘内部に一定間隔で頂点を作成する。ここで、ポリゴン生成手段は、図５（Ａ）の矢印Ｃに示すように毛穴外周、及び皮溝から所定間隔をおいて皮丘内に頂点を生成し、また、上述したように皮丘の三角形の重心が一番高くなる部分に頂点を生成する。

＜三角ポリゴン生成結果＞
また、図５（Ｂ）に示す三角ポリゴン生成結果の例では、ポリゴン生成処理は、Ｓ１６の工程により、生成した毛穴の頂点、皮溝上の頂点、皮丘上の頂点を、Ｄｅｌａｕｎａｙ三角メッシュアルゴリズム等を用いて連結して、肌領域上で毛穴、皮溝、皮丘の形状を更に細かい三角群（ポリゴン）に分割する。これにより、毛穴、皮丘、皮溝の各形状を立体的に表現した肌形状ポリゴンを生成することが可能となる。

＜毛穴形状取得処理＞
図６は、本実施形態に係る毛穴形状取得処理の一例を示すフローチャートである。図６の処理は、図３のＳ１２の処理で実行される処理に含まれる。すなわち、図６の例では、パラメータ取得手段１６によるパラメータ取得の一例として、毛穴形状の取得内容を説明する。

図６に示すように、肌形状生成装置１０は、画像変換手段１５により得られた２値の画像領域上を、パラメータ取得手段１６により、例えば毛穴を想定した円領域又は円形状の予め設定した複数のサイズのうち最も大きなサイズのテンプレートを用いて走査し（Ｓ２０）、毛穴があるか否か判断する（Ｓ２１）。ここで、パラメータ取得手段１６は、例えば円領域テンプレートの内部に含まれる画像領域上の画素の約９０％以上が黒色であれば毛穴であると判断する。なお、閾値の値は、約９０％としているがこれには限定されず、適宜変更することが可能である。

パラメータ取得手段１６は、毛穴なしと判断すると（Ｓ２１において、ＮＯ）、例えばテンプレートのサイズを段階的に小さいサイズに変更し（Ｓ２２）、Ｓ２０の処理に戻る。なお、上述したＳ２０〜Ｓ２２の処理で用いるテンプレートの領域や形状は、想定される毛穴の形状に応じて楕円、三角形等を用いても良い。

パラメータ取得手段１６は、毛穴ありと判断すると（Ｓ２１において、ＹＥＳ）、抽出された毛穴ごとに番号を付け（ラベリング処理）、番号を付けた毛穴の半径の平均を判定する（Ｓ２３）。ここで、パラメータ取得手段１６は、例えばテンプレート面積／円周率の平方根により毛穴の半径の平均を求めると良い。また、Ｓ２３の処理で求めた毛穴の半径は、記憶手段１３等に記憶すると良い。

次に、パラメータ取得手段１６は、番号を付けた毛穴の濃度分布を求める（Ｓ２４）。ここで、毛穴の濃度分布（ヒストグラム）は、画像取得手段１４により得られる肌画像から、番号をつけた毛穴部位の輝度情報を取得することにより求めると良い。次に、パラメータ取得手段１６は、Ｓ２５の処理で得られた毛穴の濃度分布を用いて毛穴の深さの平均を判定する（Ｓ２５）。

例えば、パラメータ取得手段１６は、予め肌のレプリカや、視差を用いたステレオ画像等から深さの実測値を求め、目的変数とする。また、パラメータ取得手段１６は、同一部位を撮影した二次元画像から対応する領域の濃度分布により、最大値、濃度合計値（グラフ面積）、半値幅、尖度、歪度を求め、各値を説明変数とし、重回帰分析により両者の関係を回帰方程式として表す。

次に、パラメータ取得手段１６は、Ｓ２４の処理で得られる毛穴の濃度分布を用いて各変数を求め、上述した回帰方程式に代入することで深さの平均を判定する。

次に、パラメータ取得手段１６は、処理を終了するか否か判断し（Ｓ２６）、例えば番号を付けた毛穴全ての半径の平均、毛穴の深さの平均を判定したか否か判断する。

パラメータ取得手段１６は、処理を終了しないと判断すると（Ｓ２６において、ＮＯ）、Ｓ２０の処理に戻り、処理が終了したと判断すると（Ｓ２６において、ＹＥＳ）、処理を終了する。

＜皮溝形状取得処理＞
図７は、本実施形態に係る皮溝形状取得処理の一例を示すフローチャートである。図７の処理は、図３のＳ１２の処理で実行される処理に含まれる。すなわち、図７の例は、パラメータ取得手段１６によるパラメータ取得の一例として、皮溝形状の取得内容を説明する。

図７に示すように、肌形状生成装置１０は、画像変換手段１５により得られた２値の画像領域上を、パラメータ取得手段１６により、例えば皮溝の方向を特定するための線を有するテンプレートを用いて走査し（Ｓ３０）、皮溝があるか否か判断する（Ｓ３１）。

ここで、パラメータ取得手段１６は、例えばテンプレート上で所定方向に引かれた線に対して、その線上に含まれる画像領域上の画素の約８０％以上が黒色であれば皮溝と判断する。なお、１辺に含まれる画素数の適切な値は、例えば撮影するレンズの倍率や、カメラや画像の解像度に応じて変更すると良い。また、閾値の値は、約８０％としているがこれには限定されず、適宜変更することが可能である。

パラメータ取得手段１６は、皮溝なしと判断すると（Ｓ３１において、ＮＯ）、例えばテンプレートを変更し（Ｓ３２）、Ｓ３０の処理に戻る。なお、Ｓ３２の処理では、予め異なる方向（例えば基準位置に対して１６方向）に設定した線を有するテンプレートを複数用意しておき、テンプレートを変更することで皮溝の方向を特定する線の方向を変更すると良い。また、予め所定の方向に設定した線を有するテンプレートを順次回転させることで皮溝の方向を特定する線の方向を変更しても良い。

パラメータ取得手段１６は、皮溝ありと判断すると（Ｓ３１において、ＹＥＳ）、抽出された皮溝ごとに番号を付け（ラベリング処理）、番号を付けた皮溝の方向を判定する（Ｓ３３）。ここで、パラメータ取得手段１６は、Ｓ３１の処理で皮溝ありと判断したときの線の方向を、番号を付けた皮溝の方向として判定する。

次に、パラメータ取得手段１６は、番号を付けた皮溝の幅の平均を判定する（Ｓ３４）。ここで、パラメータ取得手段１６は、Ｓ３３の処理で判定したしたときのテンプレートを左右上下に１画素ずつ移動させて皮溝が抽出されるか否か判定することで皮溝の幅を判定する。また、皮溝の幅の平均は、例えば幅（画素）の１〜２０までの度数分布の合計（各幅×その度数の合計）を度数の合計で割ることにより求めることが可能である。

次に、パラメータ取得手段１６は、番号を付けた皮溝の濃度分布を取得し（Ｓ３５）、Ｓ３５の処理で得られた皮溝の濃度分布を用いて皮溝の深さの平均を判定する（Ｓ３６）。なお、皮溝の濃度分布からその深さを判定する方法は、毛穴の濃度分布からその深さを判定する方法と同様の方法を用いることが可能である。

次に、パラメータ取得手段１６は、処理を終了するか否か判断し（Ｓ３７）、例えば番号を付けた皮溝全ての方向、幅の平均、深さの平均を判定したか否か判断する。

パラメータ取得手段１６は、処理を終了しないと判断すると（Ｓ３７において、ＹＥＳ）、Ｓ３０の処理に戻り、処理が終了したと判断すると（Ｓ３７において、ＮＯ）、処理を終了する。

＜テンプレートマッチング＞
図８は、マッチングにより各形状を取得する方法を説明するための図である。図８（Ａ）は、毛穴形状取得処理に用いる円領域（形状）テンプレートの一例を示し、図８（Ｂ）は、走査される２値画像の一例を示し、図８（Ｃ）は、皮溝形状取得処理に用いる正方領域テンプレートの一例を示す。

図８（Ａ）に示すように、毛穴形状取得処理では、例えば撮影するカメラのレンズの倍率や、カメラや画像の解像度に応じて設定された複数の異なるサイズのテンプレート４０を用いて、図８（Ｂ）に示す画像領域４１上を走査することで、毛穴を抽出する。ここで、様々なサイズのテンプレート４０を用いることで、様々なサイズの毛穴を抽出することが可能となる。

また、上述したテンプレート４０は、円領域に限定されるものではなく、例えば想定される毛穴の形状に応じて設定された楕円、三角形等のテンプレートを用いたり、各種形状を組み合わせたりすることで様々な形状の毛穴を抽出することが可能となる。

図８（Ｃ）に示すように、皮溝形状取得処理では、皮溝の方向を特定するために各方向に線が引かれたテンプレート４２を用いて、図８（Ｃ）に示す画像領域４１を走査することで、皮溝を抽出する。

ここでは、例えば予め異なる方向（例えば基準位置に対して１６方向）に設定した線を有するテンプレートを用いることで、様々な方向の皮溝を抽出することが可能となる。なお、予め異なる方向に設定した複数の線を有するテンプレートを用いても良い。また、上述した線の方向は１６方向に限定されない。

＜マッチングにより取得された毛穴及び皮溝の例＞
図９は、マッチングにより各形状が取得された例を説明するための図である。図９（Ａ）は、健康な肌から得られた各画像を示し、図９（Ｂ）は、毛穴の目立つ肌から得られた各画像を示し、図９（Ｃ）は、乾燥した肌から得られた各画像を示す図である。なお、図９（Ａ）〜図９（Ｃ）の例において、（ｉ）の画像は、カメラ等により撮影された肌画像（元画像）を示し、（ｉｉ）の画像は、（ｉ）の画像を２値化した画像を示し、（ｉｉｉ）の画像は、（ｉ）の画像に対して本実施形態の処理を適用した画像を示す。

図９（Ａ）の（ｉｉｉ）に示す画像から得られた皮溝５１の線の幅は細く、皮溝５１の線の方向は各方向を向いた状態であり、毛穴５２のサイズは小さく、毛穴５２の形状も円形が多い。また、図９（Ｂ）の（ｉｉｉ）に示す画像から得られた皮溝５１の幅は太く、毛穴５２のサイズは、図９（Ａ）の（ｉｉｉ）に示す毛穴５２のサイズよりも大きくなっている。また、図９（Ｃ）の（ｉｉｉ）に示す画像から得られた皮溝５１は特定の方向を向いた状態となっており、毛穴５２の形状は楕円形に近い形が多い。

上述したテンプレートマッチングを用いることにより、肌画像から毛穴及び皮溝の形状に関するパラメータを精度良く、また容易に取得することが可能となる。

＜毛穴及び皮溝の深さ＞
図１０は、毛穴及び皮溝の深さに関する情報を取得する方法を説明するための図である。図１０の例は、肌画像から抽出された毛穴部位の濃度分布（縦軸は全抽出領域に対する各濃度の割合）を示している。

上述したように、パラメータ取得手段１６は、肌画像から得られた毛穴や皮溝の１つひとつにそれぞれを識別するための識別情報（番号等）を付けて、その番号ごとにパラメータを取得していく。ここで、パラメータ取得手段１６は、毛穴の深さを求める場合に、まず、その毛穴部位の輝度情報を肌画像から取得し、取得した輝度情報を用いて、図１０に示す濃度分布を求める。

次に、パラメータ取得手段１６は、図１０に示す濃度分布から最大値、半値幅、及び濃度合計値（グラフ面積）を求め、濃度分布の尖度、歪度を求める。パラメータ取得手段１６は、上述したように、予め肌のレプリカや、視差を用いてステレオ画像等から求めた深さの実測値を目的変数とする重回帰分析により回帰方程式を求め、この回帰方程式に、図１０に示す濃度分布から得られた各変数を代入することで深さの平均を推定する。なお、パラメータ取得手段１６は、皮溝の深さの平均も同様に求めることが可能である。

また、上述の説明では、パラメータ取得手段１６は、肌画像から毛穴及び皮溝の各形状に関するパラメータを取得する例を説明したが、図９に示す２値画像の皮丘部分の高さについては、図１０で説明した輝度情報を用いて推定することも可能である。

また、パラメータ取得手段１６は、例えば特開２００６−３０５１８４号公報に記載された手法を用いて、肌画像から毛穴、皮溝、皮丘のパラメータを取得しても良い。

＜三次元の肌形状を表示する画像の一例＞
図１１は、三次元の肌形状を表示する画像の一例を示す図である。図１１（Ａ）は、撮影された肌画像を示し、図１１（Ｂ）は、図１１（Ａ）に示す肌画像から得られた三次元の肌形状を表示する画像の一例を示している。

図１１（Ａ）に示す肌画像から、パラメータ取得手段１６により肌形状のパラメータを取得し、取得したパラメータを用いて肌形状ポリゴンを生成することで、図１１（Ｂ）に示すように、図１１（Ａ）に示す肌画像に対応する毛穴や皮溝の凹凸を表現した人間の肌により近い三次元の肌形状を表示する画像を生成することが可能となる。

なお、上述の例では、被写体の顔の一部を対象とする肌画像から三次元の肌形状を表示する画像を生成したが、被写体の顔の各部位を対象とする肌画像を取得し、被写体の三次元計測機器等による計測データから得られる顔ポリゴンにマッピングさせることで、被写体の三次元の顔形状ポリゴンを生成し、画像として表示することも可能となる。

上述したように、本実施形態によれば、肌画像から肌の立体的な凹凸を表現する三次元の肌形状を表示する画像を容易に生成することが可能となる。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 肌形状生成装置
１１ 入力手段
１２ 出力手段
１３ 記憶手段
１４ 画像取得手段
１５ 画像変換手段
１６ パラメータ取得手段
１７ 毛穴生成手段
１８ 領域分割手段
１９ 皮丘皮溝決定手段
２０ ポリゴン生成手段
２１ 画像生成手段
２２ 制御手段
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ メモリ装置
３６ ＣＰＵ
３７ ネットワーク接続装置
３８ 記録媒体

Claims (15)

1. 肌画像から肌形状に関する所定のパラメータを取得するパラメータ取得手段と、
   前記パラメータ取得手段により得られたパラメータを用いて、予め設定された皮膚領域に対して所定形状のポリゴンを生成するポリゴン生成手段と、
   前記ポリゴン生成手段により得られたポリゴン形状に基づくパラメータ情報により、三次元の肌形状を表示する画像を生成する画像生成手段とを有することを特徴とする肌形状生成装置。
2. 前記パラメータ取得手段は、
   前記肌画像から所定領域又は所定形状のテンプレートマッチングを用いて、毛穴又は皮溝に対応する部分を抽出することを特徴とする請求項１に記載の肌形状生成装置。
3. 前記パラメータ取得手段は、
   前記抽出した毛穴の半径、皮溝の幅、又は皮溝の方向のうち少なくとも１つに関する情報を取得することを特徴とする請求項２に記載の肌形状生成装置。
4. 前記パラメータ取得手段は、
   前記肌画像から、前記抽出した毛穴又は皮溝に対応する部分の濃度に関する情報を取得することを特徴とする請求項２又は３に記載の肌形状生成装置。
5. 前記パラメータ取得手段は、
   前記抽出した毛穴又は皮溝に対応する部分の濃度に関する情報を用いて、前記抽出した毛穴又は皮溝に対応する部分の深さに関する情報を取得することを特徴とする請求項４に記載の肌形状生成装置。
6. 前記パラメータ取得手段により得られた毛穴の半径又は毛穴の深さに関する情報を用いて、前記予め設定された肌領域に対して毛穴を生成する毛穴生成手段と、
   前記毛穴生成手段により生成された毛穴のうち、隣接する毛穴同士を連結させて前記肌領域を分割する領域分割手段と、
   前記領域分割手段により得られた領域に対して、前記パラメータ取得手段により得られた皮溝の方向、幅、及び皮溝の深さに関する情報を用いて、皮溝及び皮丘の形状を決定する皮丘皮溝決定手段とを有することを特徴とする請求項５に記載の肌形状生成装置。
7. 前記ポリゴン生成手段は、
   前記毛穴生成手段により生成された毛穴の形状と、前記皮丘皮溝決定手段により得られた皮丘及び皮溝の各形状とに基づいて、前記所定形状のポリゴンを生成することを特徴とする請求項６に記載の肌形状生成装置。
8. コンピュータにより実行される肌形状生成方法であって、
   肌画像から肌形状に関する所定のパラメータを取得するパラメータ取得手順と、
   前記パラメータ取得手順により得られたパラメータを用いて、予め設定された皮膚領域に対して所定形状のポリゴンを生成するポリゴン生成手順と、
   前記ポリゴン生成手順により得られるポリゴン形状に基づくパラメータ情報により、三次元の肌形状を表示する画像を生成する画像生成手順とを有することを特徴とする肌形状生成方法。
9. 前記パラメータ取得手順は、
   前記肌画像から所定領域又は所定形状のテンプレートマッチングを用いて、毛穴又は皮溝に対応する部分を抽出することを特徴とする請求項８に記載の肌形状生成方法。
10. 前記パラメータ取得手順は、
    前記抽出した毛穴の半径、皮溝の幅、又は皮溝の方向のうち少なくとも一つに関する情報を取得することを特徴とする請求項９に記載の肌形状生成方法。
11. 前記パラメータ取得手順は、
    前記肌画像から、前記抽出した毛穴又は皮溝に対応する部分の濃度に関する情報を取得することを特徴とする請求項９又は１０に記載の肌形状生成方法。
12. 前記パラメータ取得手順は、
    前記抽出した毛穴又は皮溝に対応する部分の濃度に関する情報を用いて、前記抽出した毛穴又は皮溝に対応する部分の深さに関する情報を取得することを特徴とする請求項１１に記載の肌形状生成方法。
13. 前記パラメータ取得手順により得られた毛穴の半径又は毛穴の深さに関する情報を用いて、前記予め設定された肌領域に対して毛穴を生成する毛穴生成手順と、
    前記毛穴生成手順により生成された毛穴のうち、隣接する毛穴同士を連結させて前記肌領域を分割する領域分割手順と、
    前記領域分割手順により得られた領域に対して、前記パラメータ取得手順により得られた皮溝の方向、幅、及び皮溝の深さに関する情報を用いて、皮溝及び皮丘の形状を決定する皮丘皮溝決定手順とを有することを特徴とする請求項１２に記載の肌形状生成方法。
14. 前記ポリゴン生成手順は、
    前記毛穴生成手順により生成された毛穴の形状と、前記皮丘皮溝決定手順により得られた皮丘及び皮溝の各形状とに基づいて、前記所定形状のポリゴンを生成することを特徴とする請求項１３に記載の肌形状生成方法。
15. コンピュータを、請求項１乃至７のいずれか一項に記載の肌形状生成装置が有する各手段として機能させるための肌形状生成プログラム。