JP7413400B2 - 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 - Google Patents

Description

本出願は、２０１９年０４月１２日に中国特許庁に提出された、優先権番号が２０１９１０２９２６１６.３であり、発明名称が「肌質測定方法、肌質等級分類方法及び肌質測定装置」である中国特許出願の優先権を主張し、その内容の全てが本出願の一部として本出願に組み込まされる。

本出願は、コンピュータ視覚処理技術に関し、具体的には、肌質測定方法、肌質等級分類方法及び肌質測定装置に関する。

社会発展及び生活水準の向上に伴い、人々は自分の外観をますます重視し、特に肌質への注目度がますます高まり、通常、一般的な人為的観察により、いくつかの一般的な問題性皮膚を判別することができるが、肌質をより正確に測定しようとすると、科学的手段により実現する必要がある。現在、肌質測定に応用される主な技術手段は、生体インピーダンス分析法があり、生体インピーダンス分析法は、皮膚の電気インピーダンス特性を測定することにより皮膚の質を評価するが、このような方法で測定された肌質の特徴が少なく、皮膚の水分及び脂肪分泌のみを測定することができ、かつ測定機器が皮膚に直接接触する必要があるため、接触インピーダンスによる測定結果に対する影響が大きく、測定精度が低い。

また、このような方法は、専門的なハードウェア機器を追加して配置する必要があるが、これらの機器のほとんどは、専門家しか操作できず、かつユーザーが特定の測定場所で完了する必要があり、適用される消費者及び適用されるシーンがいずれも制限され、また、これらのハードウェア機器のコストが高く、実際の普及及び応用が困難である。

本出願の実施例は、従来技術で測定された肌質特徴が少なく、測定精度が低く、かつかつハードウェアコストが高く、体積が大きいという問題を少なくとも解決する肌質測定方法、肌質等級分類方法及び肌質測定装置を提供する。

本出願の一実施例の一態様によれば、肌質測定方法が提供され、該方法は、顔画像を取得するステップと、前記顔画像中の顔の肌色領域及び顔特徴点を取得するステップと、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップと、を含む。

好ましくは、前記顔画像中の顔の肌色領域及び顔特徴点を取得するステップは、肌色測定アルゴリズムを用いて前記顔の肌色領域を取得するステップを含む。

好ましくは、前記方法は、前記顔特徴点に基づいて前記顔画像の五官領域をカットアウトし、前記顔の肌色領域を取得するステップを、さらに含む。

好ましくは、前記方法は、形態学的アルゴリズムを用いて前記顔の肌色領域を処理し、カットアウトされる前記五官領域を拡大するステップを、さらに含む。

好ましくは、前記顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも１つを含む。

好ましくは、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、高コントラスト維持アルゴリズムを用いて前記顔の肌色領域の詳細図を取得するステップを含む。

好ましくは、前記方法は、前記顔特徴点に基づいて顔方向情報を取得するステップを、さらに含む。

好ましくは、前記顔肌質特徴が斑点及び／又は毛穴を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、第１の所定アルゴリズムを用いて前記詳細図中の前記斑点及び／又は毛穴の測定結果を取得するステップと、形状特徴に基づいて前記斑点及び／又は毛穴を区別するステップと、をさらに含む。

好ましくは、前記顔肌質特徴が皮膚の滑らかさを含む場合、前記方法は、前記斑点及び／又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって前記皮膚の滑らかさを取得するステップを含む。

好ましくは、前記顔肌質特徴が皺を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、第２の所定アルゴリズムを用いて前記詳細図中の前記皺の測定結果を取得するステップと、顔方向情報及び前記顔特徴点に基づいて前記皺の種類を決定するステップと、をさらに含む。

好ましくは、前記顔肌質特徴が隈を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、前記顔特徴点のうちの眼部特徴点に基づいて、前記顔画像において上下２本のベジェ曲線を描き、前記隈の位置に位置決めして、前記隈の位置の輝度平均値と周囲領域との差異性を判断することによって、前記顔画像中の前記隈の測定結果を取得するステップを含む。

好ましくは、前記肌質測定は、前記顔画像に対して強調処理を行い、強調された顔画像を取得するステップを、さらに含む。

好ましくは、前記顔画像に対して強調処理を行い、強調された顔画像を取得するステップは、前記顔画像の輝度情報を取得するステップと、前記顔画像中の低階調値領域のコントラストを強調し、前記強調された顔画像を取得するステップと、を含む。

好ましくは、前記顔画像の輝度情報を取得するステップは、色変換アルゴリズムによって前記顔画像をＹＵＶフォーマット画像に変換し、前記ＹＵＶフォーマット画像中のＹチャンネル画像を抽出することで、顔画像の輝度情報を取得するステップを含む。

本出願の一実施例の一態様によれば、肌質等級分類方法が提供され、前記方法は、上記のいずれかに記載の肌質測定方法を用いて、前記顔肌質特徴を取得するステップと、前記顔肌質特徴に基づいて、機械学習方法を用いて顔肌質を異なる等級に分けるステップと、を含む。

好ましくは、前記方法は、前記顔肌質の異なる等級に応じて対応する美顔パラメータを設定するステップを含む。

好ましくは、前記方法は、ビデオ通話又は写真撮り機能を有する電子機器に適用される。

本出願の一実施例の別の態様によれば、肌質測定装置が提供され、前記肌質測定装置は、顔画像を取得するように構成されている画像収集モジュールと、前記顔画像中の顔の肌色領域及び顔特徴点を取得するように構成されている取得モジュールと、前記顔の肌色領域及び前記顔特徴点に基づいて顔画像の顔肌質特徴を測定するように構成されている肌質測定モジュールとを含む。

好ましくは、前記取得モジュールは、肌色測定アルゴリズムによって前記顔画像中の前記顔の肌色領域を取得するように構成されている肌色取得モジュールを含む。

好ましくは、前記肌色取得モジュールは、さらに、前記顔特徴点に基づいて前記顔画像の五官領域をカットアウトし、前記顔の肌色領域を取得するように構成されている。

好ましくは、前記肌色取得モジュールは、さらに、形態学的アルゴリズムを用いて前記顔の肌色領域を処理し、カットアウトされる前記五官領域を拡大するように構成されている。

好ましくは、前記顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも１つを含む。

好ましくは、前記肌質測定モジュールは、さらに、高コントラスト維持アルゴリズムを用いて前記顔の肌色領域の詳細図を取得するように構成されている。

好ましくは、前記肌質測定モジュールは、さらに、前記顔特徴点に基づいて顔方向情報を取得するように構成されている。

好ましくは、前記肌質測定モジュールは、第１の所定アルゴリズムを用いて前記詳細図中の前記斑点及び／又は毛穴の測定結果を取得し、形状特徴に基づいて前記斑点及び／又は毛穴を区別するように構成されている斑点毛穴測定モジュールを含む。

好ましくは、前記肌質測定モジュールは、前記斑点及び／又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって前記皮膚の滑らかさを取得するように構成されている皮膚滑らかさ測定モジュールを含む。

好ましくは、前記肌質測定モジュールは、第２の所定アルゴリズムを用いて前記詳細図中の前記皺の測定結果を取得し、顔方向情報及び前記顔特徴点に基づいて前記皺の種類を決定するように構成されている皺測定モジュールを含む。

好ましくは、前記肌質測定モジュールは、前記顔特徴点のうちの眼部特徴点に基づいて、前記顔画像において上下２本のベジェ曲線を描き、前記隈の位置に位置決めし、前記隈の位置の輝度平均値と周囲領域との差異性を判断することによって、前記顔画像中の前記隈の測定結果を取得するように構成されている隈測定モジュールを含む。

好ましくは、前記装置は、前記顔画像に対して強調処理を行いて、強調された顔画像を取得するように構成されている画像強調モジュールを、さらに含む。

好ましくは、前記画像強調モジュールは、前記顔画像の輝度情報を取得するように構成されている輝度情報取得ユニットと、前記顔画像中の低階調値領域のコントラストを強調し、前記強調された顔画像を取得するように構成されているコントラスト強調ユニットと、を含む。

好ましくは、輝度情報取得ユニットは、さらに、色変換アルゴリズムによって前記顔画像をＹＵＶフォーマット画像に変換し、前記ＹＵＶフォーマット画像中のＹチャンネル画像を抽出することで、顔画像の輝度情報を取得するように構成されている。

本出願の一実施例の別の態様によれば、電子機器が提供され、プロセッサ、及び前記プロセッサの実行可能な命令を記憶するように構成されているメモリを含み、前記プロセッサは、前記実行可能な命令を実行することによって、上記のいずれかの肌質測定方法を実行するように構成されている。

本出願の一実施例の別の態様によれば、記憶媒体が提供され、前記記憶媒体は、記憶されるプログラムを含み、前記プログラムは、実行されると、前記記憶媒体が属する機器を制御し、上記のいずれかの肌質測定方法を実行させる。

本出願の一実施例では、顔画像を取得し、顔画像中の顔の肌色領域及び顔特徴点を取得し、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得し、顔画像に基づいて顔肌質特徴を測定でき、かつハードウェアコスト及び体積を増加させずに、需要に応じて、より多くの肌質特徴を測定し、測定精度を向上させる。従来技術における測定される肌質特徴が少なく、測定精度が低く、かつハードウェアコストが高く、体積が大きいという問題をさらに解決する。

ここで説明される図面は、本出願に対するさらなる理解を提供し、本出願の一部を構成し、本出願の例示的な実施例及びその説明は、本出願を解釈するためのであり、本出願の不適切な制限を構成するものではない。
図１は本出願の一実施例による好ましい肌質測定方法のフローチャートである。 図２は本出願の一実施例による好ましい肌質等級分類方法のフローチャートである。 図３は本出願の一実施例による好ましい肌質測定装置の構造ブロック図である。 図４は本出願の一実施例による好ましい電子機器の構造ブロック図である。

本出願における解決策を当業者がさらに深く理解できるように、以下、本出願の実施の形態における技術的解決策を添付の図面を参照して説明する。当然ながら、記載した実施の形態は本出願の実施の形態の全てではなく一部に過ぎない。本出願の実施の形態に基づき当業者が創造的活動を行うことなく得る他の実施の形態は全て、本出願の保護範囲に含まれる。

なお、本出願の明細書、特許請求の範囲及び上記図面における用語「第１の」、「第２の」は、類似の対象物を区別することを意図したものであり、必ずしも特定の順序又は配列を示すものではないことに留意されたい。このように使用される数字は、適切な状況では交換可能であり、そのため、ここに記載する本出願の実施の形態は、ここに図示又は記載した順序以外の順序で実施可能であることを理解すべきである。

また、「含む」、「備える」といった用語又はそれらの変形は、排他的でないものを含むことを意図するものである。例えば、一連のステップ又はユニットを含む工程、方法、システム、製品、又は、デバイスは、必ずしも列挙されたステップ又はユニットに限定されるものではなく、列挙されていない、あるいは、これらの工程、方法、システム、製品、又は、デバイスに固有の他のステップ又はユニットを含むことができる。

本出願の実施例は、コンピュータシステム／サーバに適用され、多数の他の汎用又は特定用途向けのコンピューティングシステム環境又は構成で動作可能である。コンピュータシステム／サーバで使用するのに好適な可能性のある、よく知られたコンピューティングシステム、環境及び／又は構成の例には、パーソナルコンピュータシステム、ハンドヘルド又はラップトップデバイス、マイクロプロセッサベースシステム、プログラム可能な消費電子製品、小型コンピュータシステム、大型コンピュータシステム及び上記システムのうちのいずれかを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限られない。

コンピュータシステム／サーバは、コンピュータシステムにより実行されるコンピュータシステム実行可能な命令（例えば、プログラムモジュールなど）の一般的な文脈で説明することができる。通常、プログラムモジュールは、ルーチン、プログラム、ターゲットプログラム、コンポーネント、ロジック及びデータ構造などを含むことができ、特定のタスクを実行する又は特定の抽象データタイプを実現する。

コンピュータシステム／サーバは、分散型クラウドコンピューティング環境で実施することができ、通信ネットワークを通じてリンクされる遠隔処理機器によりタスクが実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは、記憶デバイスを含むローカル又は遠隔コンピューティングシステム記憶媒体に配置することができる。

以下、詳細な実施例を通して本出願について説明する。

本出願の一態様によれば、肌質測定方法が提供される。図１は、本出願の一実施例による好ましい肌質測定方法のフローチャートである。図１に示すように、該方法は、ステップは、Ｓ１０、Ｓ１２、及びＳ１４を含む。

Ｓ１０において、顔画像を取得する。

Ｓ１２において、顔画像中の顔の肌色領域及び顔特徴点を取得する。

Ｓ１４において、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得する。

本出願の実施例では、上記ステップ、すなわち、顔画像を取得し、顔画像中の顔の肌色領域及び顔特徴点を取得し、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得するステップによって、顔画像に基づいて顔肌質特徴を測定でき、かつハードウェアコスト及び体積を増加させずに、需要に応じて、より多くの肌質特徴を測定し、測定精度を向上させる。

以下、上記各ステップについて詳細に説明する。

ステップＳ１０において、顔画像を取得する。

好ましくは、本出願の一実施例では、画像収集モジュールによって顔画像を取得することができ、画像収集モジュールは、独立した撮像装置又は電子機器に集積された撮像装置など、例えば、独立したＲＧＢカメラ、又は、車載電子機器（中央制御システムスクリーン、ナビゲータなどを含むがこれらに限られない）、携帯電話、タブレットＰＣ、デスクトップパソコン、肌質測定装置などの電子機器のカメラであってもよい。

ステップＳ１２において、顔画像中の顔の肌色領域及び顔特徴点を取得する。

好ましくは、本出願の一実施例では、肌色測定アルゴリズムによって顔画像中の顔の肌色領域を取得できる。例えば、肌色測定アルゴリズムによって顔画像をＹＣｂＣｒ色空間に変換し、次に各画素点のＣｒＣｂ値を皮膚画素点に基づいて取得された楕円統計モデルに代入し、ＣｒＣｂ座標が楕円統計モデルにあると、肌色と判断し、それによって、顔の肌色領域を取得する。顔特徴点は、ＳＤＭアルゴリズムによって取得されることができる。

好ましくは、本出願の一実施例では、より正確な顔の肌色領域を取得するために、顔特徴点に基づいて顔画像中の五官領域をカットアウトし、顔の肌色領域を取得してもよい。また、形態学的アルゴリズム（例えば、腐食膨張アルゴリズム）を用いて顔の肌色領域を処理してもよく、カットアウトされる五官領域を拡大し、それにより、画像のずれにより、五官領域を不完全にカットアウトしたため残存してしまう問題を回避する。

ステップＳ１４において、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得する。

好ましくは、本出願の一実施例では、顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも１つを含む。

好ましくは、本出願の一実施例では、顔肌質特徴が斑点及び／又は毛穴を含む場合、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得するステップは、高コントラスト維持アルゴリズムを用いて顔の肌色領域の詳細図を取得するステップと、第１の所定アルゴリズム（例えば、局所適応閾値アルゴリズム）を用いて詳細図中の斑点及び／又は毛穴の測定結果を取得するステップであって、測定結果は、位置、数、面積のうちの少なくとも１つを含むステップと、形状特徴に基づいて斑点及び／又は毛穴を区別するステップであって、毛穴の形状特徴は、面積が一般的に小さく、かつ円形に類似するが、斑点の形状特徴は、面積が大きいステップと、を含む。

好ましくは、局所適応閾値アルゴリズムを用いて詳細図中の斑点及び／又は毛穴の測定結果を取得した後、形態学的アルゴリズム（例えば、腐食膨張アルゴリズム）を用いて斑点及び／又は毛穴の孤立点を除去し、ノイズによる影響を排除し、コネクテッドドメインアルゴリズムを用いて初期測定結果中の形状が異常である又は面積が大きすぎる誤り点を排除する。

好ましくは、上記ステップを五官領域がカットアウトされた顔の肌色領域において実現し、斑点及び／又は毛穴の誤測定率を減少する。

好ましくは、本出願の一実施例では、斑点及び／又は毛穴の測定結果を取得した後、斑点及び／又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって皮膚の滑らかさを取得することができる。例えば、グレーレベル同時生起行列アルゴリズムによって０度、４５度、９０度及び１３５度のエネルギー、エントロピー、コントラスト及び逆差分モーメントなどのパラメータを計算し、次にこれらの１６個のパラメータによって皮膚の滑らかさ特徴を取得する。

好ましくは、本出願の一実施例では、顔肌質特徴が皺を含む場合、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得するステップは、高コントラスト維持アルゴリズムを用いて顔の肌色領域の詳細図を取得するステップと、顔特徴点に基づいて顔方向情報を取得するステップと、第２の所定アルゴリズムを用いて詳細図中の皺の測定結果を取得するステップと、顔方向情報及び顔特徴点に基づいて皺の種類を決定するステップと、を含む。測定結果は、位置、数、面積のうちの少なくとも１つを含む。好ましくは、第２の所定アルゴリズムを用いて詳細図中の皺の測定結果を取得した後に、形態学的アルゴリズム及びコネクテッドドメインアルゴリズムを用いて、明らかに皺特徴に属しないいくつかのオブジェクトを除去する。

好ましくは、本出願の一実施例では、第２の所定アルゴリズムを用いて皺詳細図中の皺の測定結果を取得し、顔方向情報及び顔特徴点に基づいて皺の種類を区別するステップは、局所適応閾値アルゴリズムを用いて皺位置を取得し、顔特徴点及び顔方向情報に基づいて水平方向に近い皺を目見皺と決定するステップと、Ｃａｎｎｙエッジ抽出アルゴリズムを用いて皺位置を取得し、顔特徴点及び顔方向情報に基づいて水平方向に近い皺を見上皺、対角線方向に近い皺をほうれい線と決定するステップと、を含む。

好ましくは、本出願の一実施例では、顔肌質特徴が隈を含む場合、顔の肌色領域及び前記顔特徴点に基づいて顔画像の顔肌質特徴を取得するステップは、顔特徴点のうちの眼部特徴点に基づいて、顔画像において上下２本のベジェ曲線を描き、隈測定領域を位置決めするステップと、隈測定領域の輝度平均値と周囲領域との差異を計算し、隈の深刻度を決定するステップと、を含む。

好ましくは、本出願の一実施例では、ステップＳ１０で顔画像を取得した後、顔画像に対して強調処理を行い、強調された顔画像を取得するステップＳ１１を含むことができる。

好ましくは、本出願の一実施例では、顔画像に対して強調処理を行い、顔画像を取得するステップは、第３の所定アルゴリズムによって顔画像の輝度情報を取得するステップと、顔画像中の低階調値領域のコントラストを強調し、強調された顔画像を取得するステップと、を含む。それによって、暗い光での顔画像の詳細を強調することができる。好ましくは、顔肌質特徴を強調された顔画像から取得することができ、より正確な測定結果を取得する。ここで、顔画像中の低階調値領域を拡張する方法は、対数変換、ヒストグラム均等化、インデックス変換などを含むがこれらに限られない。

具体的には、第３の所定アルゴリズムによって顔画像の輝度情報を取得するステップは、色変換アルゴリズムによって顔画像をＹＵＶフォーマット画像に変換し、ＹＵＶフォーマット画像中のＹチャンネル画像を抽出して顔画像の輝度情報を取得するステップであってもよい。

当然ながら、当業者であれば分かるように、顔画像に対して強調処理を行って顔画像を取得する前又は後に、顔フレームを測定し、測定された顔フレームの大きさに基づいて画像に対して拡大縮小を行い、大きさが要求を満たす顔画像を取得するステップ、を含んでもよい。

上記ステップによって、顔肌質測定を実現でき、測定する肌質特徴は、斑点、毛穴、皮膚の滑らかさ、皺、隈などを含むことができ、ハードウェアコスト及び体積を増加させずに、測定精度を向上させることができる。

好ましくは、本出願の一実施例では、様々な肌質特徴を測定した後に、顔の肌色領域を組み合わせて肌質を評価でき、例えば、斑点の場合、斑点の面積と顔の肌色領域の面積との比を指標として、斑点の深刻度を評価することができる。

本出願の一実施例の一態様によれば、肌質等級分類方法がさらに提供される。図２は、本出願の一実施例による好ましい肌質等級分類方法のフローチャートである。図２に示すように、該方法は、Ｓ２０及びＳ２２を含む。

Ｓ２０において、上記肌質測定方法を用いて顔肌質特徴を取得する。

Ｓ２２において、顔肌質特徴に基づいて、機械学習方法を用いて顔肌質を異なる等級に分ける。

好ましくは、本出願の一実施例では、機械学習方法は、サポートベクタマシン又はパーセプトロンであってもよい。具体的には、機械学習方法は、訓練サンプルによって、好適な分類関数を得ることができ、各サンプルの顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも１つを含む。

本出願の一実施例では、上記ステップ、すなわち、上記肌質測定方法を用いて顔肌質特徴を取得するステップ、及び、顔肌質特徴に基づいて、機械学習方法を用いて顔肌質を異なる等級に分けるステップによって、顔肌質特徴を測定でき、また、顔肌質を異なる等級に分けることができ、異なるユーザーにケアプランを提供し、適合なスキンケア商品を推薦し又はスマート美顔を実現する。

スマート美顔の態様では、本出願の一実施例の１つの適用シーンでは、顔肌質の異なる等級に応じて、対応する美顔パラメータを設定しスマート美顔を実現することができる。例えば、ある人の皮膚の毛穴、皺及び斑点が多く、皮膚が荒れると、該顔肌質の等級を悪に定義することに応じて、対応する美顔パラメータを設定し、例えば、美顔パラメータ中の肌質補正強度を高く設定することができる。

一方、ある人の皮膚の毛穴、皺及び斑点が少なく、皮膚が滑らかであり、該顔肌質の等級を良に定義することに応じて、対応する美顔パラメータを設定し、例えば、美顔パラメータ中の肌質補正強度を低く設定することができ、それにより、人のそれぞれの美顔パラメータが好適であることを確保し、自然な美顔効果を実現し、スマート美顔を実現する。顔肌質の異なる等級に応じて、対応する美顔パラメータを設定することで実現されたスマート美顔技術は、ビデオ通話又は写真撮りなどの機能を有する電子機器、例えば、車載電子機器（中央制御システムスクリーン、ナビゲータなどを含むがこれらに限られない）、携帯電話、デジタルカメラ、タブレットＰＣ、デスクトップパソコン、肌質測定装置などに搭載することができる。

１つの適用環境、例えば、補助運転機能を有する自動車、特に自動運転機能を有する自動車では、人は、運転中にハンドル制御などの動作を行わないため、アイドル時にビデオチャット、ビデオ会議、写真撮りなどを行う可能性があり、上記ビデオ通話又は写真撮りなどの機能を有する車載電子機器にスマート美顔技術を搭載することによって、ユーザーの体験感を向上させることができる。

本出願の一実施例の別の態様によれば、肌質測定装置がさらに提供される。図３は、本出願の一実施例による好ましい肌質測定装置の構造ブロック図である。図３に示すように、肌質測定装置３は、画像収集モジュール３０、取得モジュール３２、及び肌質測定モジュール３４を含む。

画像収集モジュール３０は、顔画像を取得するように構成されている。

好ましくは、本出願の一実施例では、画像収集モジュールは、独立した撮像装置又は電子機器に集積された撮像装置など、例えば、独立したＲＧＢカメラ、又は、携帯電話、タブレットＰＣ、デスクトップパソコン、肌質測定装置などの電子機器のカメラであってもよい。

取得モジュール３２は、顔画像中の顔の肌色領域及び顔特徴点を取得するように構成されている。

好ましくは、本出願の一実施例では、取得モジュール３４は、肌色取得モジュール及び特徴点取得モジュール、を含む。肌色取得モジュールは、肌色測定アルゴリズムによって顔画像中の顔の肌色領域を取得するように構成されている。例えば、肌色測定アルゴリズムによって顔画像をＹＣｂＣｒ色空間に変換し、次に各画素点のＣｒＣｂ値を皮膚画素点に基づいて取得された楕円統計モデルに代入し、ＣｒＣｂ座標が楕円統計モデルにあると、肌色であることを判断し、それによって、顔の肌色領域を取得する。顔特徴点は、ＳＤＭアルゴリズムによって取得される。

好ましくは、本出願の一実施例では、より正確な顔の肌色領域を取得するために、肌色取得モジュールは、顔特徴点に基づいて顔画像中の五官領域をカットアウトし、顔の肌色領域を取得するように構成されている。また、形態学的アルゴリズム（例えば、腐食膨張アルゴリズム）を用いて、顔の肌色領域を処理して、カットアウトされる五官領域を拡大するように構成されており、それにより、画像のずれにより、五官領域を不完全にカットアウトしたため残存してしまう問題を回避する。

肌質測定モジュール３４は、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を測定するように構成されている。

好ましくは、本出願の一実施例では、顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも１つを含む。

好ましくは、本出願の一実施例では、肌質測定モジュール３４は、斑点毛穴測定モジュール３４０を含み、前記斑点毛穴測定モジュール３４０は、高コントラスト維持アルゴリズムを用いて、顔の肌色領域の詳細図を取得し、第１の所定アルゴリズム（例えば、局所適応閾値アルゴリズム）を用いて、詳細図中の斑点及び／又は毛穴の測定結果を取得するように構成されており、測定結果は、位置、数、面積のうちの少なくとも１つを含み、形状特徴に基づいて斑点及び／又は毛穴を区別し、毛穴の形状特徴は、面積が一般的に小さく、かつ円形に類似するが、斑点の形状特徴は、面積が大きい。

好ましくは、局所適応閾値アルゴリズムを用いて詳細図中の斑点及び／又は毛穴の測定結果を取得した後、形態学的アルゴリズム（例えば、腐食膨張アルゴリズム）を用いて斑点及び／又は毛穴の孤立点を除去し、ノイズによる影響を排除し、コネクテッドドメインアルゴリズムを用いて、初期測定結果中の形状が異常である又は面積が大きすぎる誤り点を排除する。

好ましくは、上記ステップを五官領域がカットアウトされた顔の肌色領域において実現し、斑点及び／又は毛穴の誤測定率を減少する。

好ましくは、本出願の一実施例では、肌質測定モジュール３４は、斑点及び／又は毛穴の測定結果を取得した後、斑点及び／又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって皮膚の滑らかさを取得するように構成されている皮膚滑らかさ測定モジュール３４２を含む。例えば、グレーレベル同時生起行列アルゴリズムによって０度、４５度、９０度及び１３５度のエネルギー、エントロピー、コントラスト及び逆差分モーメントなどのパラメータを計算し、次にこれらの１６個のパラメータによって皮膚の滑らかさ特徴を取得する。

好ましくは、本出願の一実施例では、肌質測定モジュール３４は、皺測定モジュール３４４を含む。皺測定モジュール３４４は、高コントラスト維持アルゴリズムを用いて、顔画像の詳細図を取得し、顔特徴点に基づいて顔方向情報を取得し、第２の所定アルゴリズムを用いて詳細図中の皺の測定結果を取得するように構成されており、測定結果は、位置、数、面積のうちの少なくとも１つを含み、顔方向情報及び顔特徴点に基づいて皺の種類を区別する。

好ましくは、第２の所定アルゴリズムを用いて詳細図中の皺の測定結果を取得した後、形態学的アルゴリズム及びコネクテッドドメインアルゴリズムを用いて、明らかに皺特徴に属しないいくつかのオブジェクトを除去する。

好ましくは、本出願の一実施例では、第２の所定アルゴリズムを用いて皺の詳細図中の皺の測定結果を取得し、顔方向情報及び顔特徴点に基づいて皺の種類を区別するステップは、局所適応閾値アルゴリズムを用いて皺位置を取得し、顔方向情報及び顔特徴点に基づいて水平方向に近い皺を目見皺とマーキングするステップと、Ｃａｎｎｙエッジ抽出アルゴリズムを用いて皺位置を取得し、顔方向情報及び顔特徴点に基づいて水平方向に近い皺を見上皺とマーキングし、対角線方向に近い皺をほうれい線とマーキングするステップと、を含む。

好ましくは、本出願の一実施例では、肌質測定モジュール３４は、隈測定モジュール３４６を含む。隈測定モジュール３４６は、顔特徴点のうちの眼部特徴点に基づいて、顔画像において上下２本のベジェ曲線を描き、隈測定領域を位置決めし、隈測定領域の輝度平均値と周囲領域との差異を計算し、隈の深刻度を決定するように構成されている。

好ましくは、本出願の一実施例では、肌質測定装置３は、顔画像を処理し、顔画像を取得するように構成されている画像強調モジュール３１をさらに含む。

好ましくは、本出願の一実施例では、画像強調モジュール３１は、輝度情報取得ユニット３１０及びコントラスト強調ユニット３１２を含む。輝度情報取得ユニット３１０は、第３の所定アルゴリズムによって顔画像の輝度情報を取得するように構成されており、コントラスト強調ユニット３１２は、強調された顔画像中の低階調値領域のコントラストを強調し、強調された顔画像を取得するように構成されている。それによって、暗い光での顔画像の詳細を強調することができる。好ましくは、顔肌質特徴を強調された顔画像から取得することができ、より正確な測定結果を取得する。顔画像中の低階調値領域を拡張する方法は、対数変換、ヒストグラム均等化、インデックス変換などを含むがこれらに限られない。

具体的には、第３の所定アルゴリズムによって顔画像の輝度情報を取得することは、色変換アルゴリズムによって顔画像をＹＵＶフォーマット画像に変換し、ＹＵＶフォーマット画像中のＹチャンネル画像を抽出して顔画像の輝度情報を取得することであってもよい。

当然ながら、当業者であれば分かるように、顔画像に対して強調処理を行い、顔画像を取得する前又は後に、画像に対して拡大縮小を行い、大きさが要求を満たす顔画像を取得するステップ、を含んでもよい。

本出願の一実施例では、上記モジュール、すなわち、顔画像を取得するように構成されている画像収集モジュール３０、顔画像中の顔の肌色領域及び顔特徴点を取得するように構成されている取得モジュール３４、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を測定するように構成されている肌質測定モジュール３６によって、顔画像に基づいて複数種の顔肌質特徴を測定でき、かつハードウェアコスト及び体積を増加させずに、需要に応じて、より多くの肌質特徴を測定し、測定精度を向上させる。

本出願の一実施例の別の態様によれば、電子機器がさらに提供され、電子機器４０は、プロセッサ４００、及び前記プロセッサ４００の実行可能な命令を記憶するように構成されているメモリ４０２を含み、前記プロセッサ４００は、前記実行可能な命令を実行することによって、上記のいずれかに記載の肌質測定方法を実行するように構成されている。

本出願の一実施例の別の態様によれば、記憶媒体がさらに提供され、前記記憶媒体は、記憶されるプログラムを含み、前記プログラムは、実行されると、前記記憶媒体が属する機器を制御し、上記いずれかに記載の肌質測定方法を実行させる。

本出願の上記実施例では、それぞれの実施例の説明に重点がそれぞれ異なって、ある実施例に詳細に記載されていない部分は、他の実施例の関連する説明を参照することができる。

本出願に係る一部の実施例では、開示される技術内容が他の形態で実現されてもよいことを理解されたい。以上に説明された装置の実施形態は、例に過ぎない。例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際の実現においては他の分割であってもよい。例えば、複数のユニット又はコンポーネントを別のシステムに組み合わせて又は統合してもよく、あるいはいくつかの特徴を無視してもよいし、又は、実行しなくてもよい。加えて、提示又は議論されている相互結合又は直接的結合又は通信接続は、いくつかのインタフェース、ユニット又はモジュール間の間接的結合又は通信接続であってもよいし、電気的又は他の形態であってもよい。

分離部材として説明された前記ユニットは物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は物理的ユニットであってもよく又は物理的ユニットでなくてもよく、すなわち１つの箇所に位置してもよく、又は複数のユニットに分布してもよい。実際のニーズに応じてここでの一部又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。

また、本出願の各実施例における各機能ユニットは１つの処理ユニットに統合されてもよく、個々のユニットは単独で物理的に存在してもよく、二つ又は二つ以上のユニットは１つのユニットに統合されてもよい。上記統合されるユニットは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能ユニットの形態で実現されてもよい。

前記統合されたユニットは、ソフトウェア機能ユニットの形態で実現され、独立した製品として販売され又は用いられるとき、コンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、本質的に本出願の技術的解決手段、又は従来技術に寄与する部分、又は技術的解決手段の全部もしくは一部が、ソフトウェア製品の形態で実現されてよい。ソフトウェア製品は、記憶媒体に記憶され、（パーソナルコンピュータ、サーバ、ネットワークデバイスなどであり得る）コンピュータデバイスに命令するためのいくつかの命令を含み、本出願の各実施例の前記方法のステップの全て又は一部を実行する。

前述した記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク（ＲＯＭ、Ｒｅａｄ－ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、モバイルディスク、磁気ディスク、又は光ディスクなどの、プログラム符号を記憶できる任意の媒体を含む。

前述した説明は、本出願の好適な実施の形態に過ぎず、当業者にとって、本出願の原理を逸脱せずに様々な改良や修飾をすることもできる。これらの改良や修飾も、本出願の保護範囲として見なされるべきである

顔画像を取得し、顔画像中の顔の肌色領域及び顔特徴点を取得し、顔の肌色領域及び顔特徴点に基づいて顔画像の顔肌質特徴を取得し、顔画像に基づいて顔肌質特徴を測定でき、かつハードウェアコスト及び体積を増加させずに、需要に応じて、より多くの肌質特徴を測定し、測定精度を向上させる。従来技術で測定された肌質特徴が少なく、測定精度が低く、かつハードウェアコストが高く、体積が大きいという問題をさらに解決する。

Claims (27)

1. 肌質測定方法であって、
   顔画像を取得するステップと、
   前記顔画像中の顔の肌色領域及び顔特徴点を取得するステップと、
   前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップと、を含み、
   前記顔画像中の顔の肌色領域及び顔特徴点を取得するステップは、
   肌色測定アルゴリズムを用いて前記顔の肌色領域を取得するステップを含み、
   前記肌色測定アルゴリズムを用いて前記顔の肌色領域を取得するステップは、
   前記肌色測定アルゴリズムによって前記顔画像をＹＵＶフォーマット画像に変換し、前記ＹＵＶフォーマット画像中の各画素点のＵチャンネル値及びＶチャンネル値を皮膚画素点に基づいて取得された楕円統計モデルに代入し、前記顔の肌色領域を取得するステップを含み、
   前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、
   高コントラスト維持アルゴリズムを用いて前記顔の肌色領域のディテールを取得するステップと、
   前記顔肌質特徴が皺を含む場合、第２の所定アルゴリズムを用いて前記ディテール中の前記皺の測定結果を取得し、顔方向情報及び前記顔特徴点に基づいて前記皺の種類を決定するステップと、を含む、肌質測定方法。
2. 前記顔特徴点に基づいて前記顔画像の五官領域をカットアウトし、前記顔の肌色領域を取得するステップを、さらに含む、請求項１に記載の方法。
3. 形態学的アルゴリズムを用いて前記顔の肌色領域を処理し、カットアウトされる前記五官領域を拡大するステップを、さらに含む、請求項２に記載の方法。
4. 前記顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも１つを含む、請求項１に記載の方法。
5. 前記顔特徴点に基づいて顔方向情報を取得するステップを、さらに含む、請求項１に記載の方法。
6. 前記顔肌質特徴が斑点及び／又は毛穴を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、
   第１の所定アルゴリズムを用いて前記ディテール中の前記斑点及び／又は毛穴の測定結果を取得するステップと、
   形状特徴に基づいて前記斑点及び／又は毛穴を区別するステップと、をさらに含む、請求項１に記載の方法。
7. 前記顔肌質特徴が皮膚の滑らかさを含む場合、
   前記斑点及び／又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって前記皮膚の滑らかさを取得するステップを含む、請求項６に記載の方法。
8. 前記顔肌質特徴が隈を含む場合、前記顔の肌色領域及び前記顔特徴点に基づいて前記顔画像の顔肌質特徴を取得するステップは、
   前記顔特徴点のうちの眼部特徴点に基づいて、前記顔画像において上下２本のベジェ曲線を描き、前記隈の位置に位置決めして、前記隈の位置の輝度平均値と周囲領域との差異性を判断することによって、前記顔画像中の前記隈の測定結果を取得するステップを含む、請求項１に記載の方法。
9. 前記顔画像に対して強調処理を行い、強調された顔画像を取得するステップを、さらに含む、請求項１～８のいずれか１項に記載の方法。
10. 前記顔画像に対して強調処理を行い、強調された顔画像を取得するステップは、
    前記顔画像の輝度情報を取得するステップと、
    前記顔画像中の低階調値領域のコントラストを強調し、前記強調された顔画像を取得するステップと、を含む、請求項９に記載の方法。
11. 前記顔画像の輝度情報を取得するステップは、
    色変換アルゴリズムによって前記顔画像をＹＵＶフォーマット画像に変換し、前記ＹＵＶフォーマット画像中のＹチャンネル画像を抽出することで、顔画像の輝度情報を取得するステップを含む、請求項１０に記載の方法。
12. 請求項１～１１のいずれか１項に記載の肌質測定方法を用いて、前記顔肌質特徴を取得するステップと、
    前記顔肌質特徴に基づいて、機械学習方法を用いて顔肌質を異なる等級に分けるステップと、を含む、肌質等級分類方法。
13. 前記顔肌質の異なる等級に応じて対応する美顔パラメータを設定し、スマート美顔を実現するステップを含む、請求項１２に記載の方法。
14. ビデオ通話又は写真撮り機能を有する電子機器に適用される、請求項１３に記載の方法。
15. 顔画像を取得するように構成されている画像収集モジュールと、
    前記顔画像中の顔の肌色領域及び顔特徴点を取得するように構成されている取得モジュールと、
    前記顔の肌色領域及び前記顔特徴点に基づいて顔画像の顔肌質特徴を測定するように構成されている肌質測定モジュールと、を含み、
    前記取得モジュールは、肌色測定アルゴリズムによって前記顔画像中の前記顔の肌色領域を取得するように構成されている肌色取得モジュールを含み、
    前記肌色取得モジュールは、さらに、前記肌色測定アルゴリズムによって前記顔画像をＹＵＶフォーマット画像に変換し、前記ＹＵＶフォーマット画像中の各画素点のＵチャンネル値及びＶチャンネル値を皮膚画素点に基づいて取得された楕円統計モデルに代入し、前記顔の肌色領域を取得するように構成され、
    前記肌質測定モジュールは、さらに、高コントラスト維持アルゴリズムを用いて前記顔の肌色領域のディテールを取得するように構成され、
    前記肌質測定モジュールは、
    第２の所定アルゴリズムを用いて前記ディテール中の皺の測定結果を取得し、顔方向情報及び前記顔特徴点に基づいて皺の種類を決定するように構成されている皺測定モジュールを含む、肌質測定装置。
16. 前記肌色取得モジュールは、さらに、前記顔特徴点に基づいて前記顔画像の五官領域をカットアウトし、前記顔の肌色領域を取得するように構成されている、請求項１５に記載の装置。
17. 前記肌色取得モジュールは、さらに、形態学的アルゴリズムを用いて前記顔の肌色領域を処理し、カットアウトされる前記五官領域を拡大するように構成されている、請求項１６に記載の装置。
18. 前記顔肌質特徴は、肌色、斑点、毛穴、皺、隈、滑らかさのうちの少なくとも１つを含む、請求項１５に記載の装置。
19. 前記肌質測定モジュールは、さらに、前記顔特徴点に基づいて顔方向情報を取得するように構成されている、請求項１５に記載の装置。
20. 前記肌質測定モジュールは、
    第１の所定アルゴリズムを用いて前記ディテール中の斑点及び／又は毛穴の測定結果を取得し、形状特徴に基づいて前記斑点及び／又は毛穴を区別するように構成されている斑点毛穴測定モジュールを含む、請求項１５に記載の装置。
21. 前記肌質測定モジュールは、
    前記斑点及び／又は毛穴の測定結果に基づいて、グレーレベル同時生起行列アルゴリズムによって皮膚の滑らかさを取得するように構成されている皮膚滑らかさ測定モジュールを含む、請求項２０に記載の装置。
22. 前記肌質測定モジュールは、
    前記顔特徴点のうちの眼部特徴点に基づいて、前記顔画像において上下２本のベジェ曲線を描き、隈の位置に位置決めして、前記隈の位置の輝度平均値と周囲領域との差異性を判断することによって、前記顔画像中の前記隈の測定結果を取得するように構成されている隈測定モジュールを含む、請求項１５に記載の装置。
23. 前記顔画像に対して強調処理を行いて、強調された顔画像を取得するように構成されている画像強調モジュールを、さらに含む、請求項１５～２２のいずれか１項に記載の装置。
24. 前記画像強調モジュールは、
    前記顔画像の輝度情報を取得するように構成されている輝度情報取得ユニットと、
    前記顔画像中の低階調値領域のコントラストを強調し、前記強調された顔画像を取得するように構成されているコントラスト強調ユニットと、を含む、請求項２３に記載の装置。
25. 前記輝度情報取得ユニットは、さらに、色変換アルゴリズムによって前記顔画像をＹＵＶフォーマット画像に変換し、前記ＹＵＶフォーマット画像中のＹチャンネル画像を抽出することで、顔画像の輝度情報を取得するように構成されている、請求項２４に記載の装置。
26. 電子機器であって、
    プロセッサと、
    前記プロセッサの実行可能な命令を記憶するように構成されているメモリと、を含み、
    前記プロセッサは、前記実行可能な命令を実行することによって、請求項１～１１のいずれか１項に記載の肌質測定方法を実行するように構成されている、電子機器。
27. 記憶されるプログラムを含む記憶媒体であって、
    前記プログラムは、実行されると、前記記憶媒体が属する機器を制御し、請求項１～１１のいずか１項に記載の肌質測定方法を実行させる、記憶媒体。

Images