JP2017502732A - 少なくとも1つの顔の臨床徴候を評価するためのプロセス - Google Patents

少なくとも1つの顔の臨床徴候を評価するためのプロセス Download PDF

Info

Publication number
JP2017502732A
JP2017502732A JP2016538578A JP2016538578A JP2017502732A JP 2017502732 A JP2017502732 A JP 2017502732A JP 2016538578 A JP2016538578 A JP 2016538578A JP 2016538578 A JP2016538578 A JP 2016538578A JP 2017502732 A JP2017502732 A JP 2017502732A
Authority
JP
Japan
Prior art keywords
images
sound
sequence
sounds
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016538578A
Other languages
English (en)
Inventor
フレデリック・フラモン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LOreal SA
Original Assignee
LOreal SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LOreal SA filed Critical LOreal SA
Publication of JP2017502732A publication Critical patent/JP2017502732A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Dermatology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本発明は、少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧を評価し、特に顔の一部のしわまたは小じわを評価する、治療標的のないプロセスに関するものであり、- 少なくとも1つの音を発出する間に撮影された人の顔画像のシーケンスから、少なくとも1つのあらかじめ定義された音の発出と同時に起こる1つまたは複数の画像をシーケンスから抽出するステップ、- 抽出した得られた1つまたは複数の画像から、抽出した1つまたは複数の画像に現れる少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧に関連する少なくとも1つの特徴を評価するステップからなるステップを含む。

Description

本発明は、体型、より具体的には顔型の特徴の評価、および化粧し、または顔の外観を変えるための製品の評価に関する。
特に年齢とともにまたは美容処理の影響下でそれらがどのように変化するかを測定するために、かつ処理について消費者が持っている認識を理解するために、顔を描写するすべての臨床徴候を評価することに利点がある。
現在、この評価は、本出願人の名前で欧州特許出願第1 216 658号に記載されているように、専門家または臨床家によって使用される図表集を用いて、またはモーフィングを用いて行われる。
仏国特許出願第2 935 593号では、1つの提案は、その重症度に従っていくつかの特徴の外観を比較することであった。
既存の評価プロセスは、日常または身体活動中の顔貌変形および見かけの年齢または魅力に対するそれらの影響を考慮しないので、完全に満足できるわけではない。したがって、たとえば、30〜40歳の人は、パスポート写真では30歳に近いように見えることがあるが、動くことによって、顔の特徴は、40歳により近いと推定され得る。
欧州特許出願第1 216 658号 仏国特許出願第2 935 593号
しわ、特に目の下のしわ、目じりのしわ、鼻唇溝、額、唇の角、上唇などの顔の臨床徴候(外観特性とも呼ばれる)を評価するためのプロセスを完成する必要もある。
また、化粧がどのように保持されるかまたはどれだけよく化粧品がいくつかの欠陥を隠すことができるか評価する際に、より一般的には、顔の外観への美容処理の効果と、時間の経過とともにどのように変化するかを判断する際に、利点がある。
本発明は、この要求またはこれらの要求に答え、これを、少なくとも1つの顔の臨床徴候、特に顔の一部のしわまたは小じわを評価し、かつ/または化粧を評価する、治療標的のないプロセスによって達成することを目的とし:
- 少なくとも1つの音を発出する間に撮影された人の顔画像のシーケンスから、少なくとも1つのあらかじめ定義された音の発出と同時に起こる1つまたは複数の画像をシーケンスから抽出するステップ、
- 抽出した1つまたは複数の画像から、抽出した1つまたは複数の画像に現れる少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧に関連する少なくとも1つの特徴を評価するステップ
からなるステップを含む。
好ましくは、画像抽出は自動であり、発出された音の分析から得られ、それを自動的に認識する。
画像を「抽出すること」は、画像が、後続の処理を目的としてシーケンス中で識別され;画像は、シーケンス中に残され、たとえばシーケンス中のタイムスタンプまたは順序番号によって識別され得ることを意味することが理解される。画像は、複製する必要も、または別の電子ファイルに移す必要もない。シーケンスは、マルチメディアコンテンツリーダーによる読み取りに適した何らかのフォーマット、たとえばHDビデオフォーマット、のデジタル化されたシーケンスであることが好ましい。人がそれらを見ることができるように、抽出された画像を表示することが有利であり得る。販売時点で評価を行う場合、これによって人に助言することもより容易になり得る。
本発明は、顔が動いたとき、顔の特徴、しわまたは小じわが変化し、かつ/または曲り、各人で異なって見えるという事実を説明することができる。単純な静止画像では認知できないこれらの顔の変形態様は、このプロセスによって認知可能になる。したがって、それによって、特に顔の皮膚の老化の臨床徴候の正確な評価が可能になる。
本発明はまた、たとえば30〜40歳のアジア人またはコーカサス人の女性において、人が話をしようとしているとき、顔が動かされた場合にだけ現れる、老化の第1の徴候を示すことができる。
人のあらかじめ定義された音の発出に対応する画像を選択することによって、評価は、標準化および自動化することができる。
したがって、本発明によって、測定時間に関係なく、すべて人々にとって常に同じ変形に関連する画像を簡単に選択することが可能である。
画像のシーケンスを取得するために、再現されるべき少なくとも1つの音は、撮影された人の前に表示でき、たとえばフランス語、英語、スペイン語、日本語、中国語または韓国語であってよい、たとえば人が話す言語に応じて選択される、たとえばフレーズ、韻律的朗読、単語、音素である。この表示は、撮影するものと同じデバイス上であってよく、画像がシーケンス中に時間の関数として知られるように表示でき、シーケンス中の興味のある1つまたは複数の画像の位置探索を容易にすることができる。変形形態として、音は、たとえばスピーカを使用して拡散され、次いで人によって繰り返される。音を記録するのと同時に人を撮影して、ビデオトラックおよびオーディオトラックを有するシーケンスを作成する。
その人は、同じ音を数回発音するように求められることがあるが、それは音が同じ順序ではない音のシーケンス内で行う。これは、音が発出される順序に従って、異なる顔の変形態様に関連する違いが現れるようにすることができる。
評価のために、抽出した画像は、参照画像と比較することができる。この比較は、画像処理によって自動的に行われることが好ましい。画像を比較できる何らかのプロセス、たとえばファジィ論理と呼ばれるプロセスを使用することができる。画像の特性についての認識も使用することができる。この場合、プログラムは、異なる画像がどのスコアに対応するか知っているように、最初に学習する必要があり得る。次いで、プログラムは、何らかの新しい画像自体にスコアを帰する方法を知っている。神経回路網を使用することができる。刊行物、「Automatic Breast Lesion Segmentation and Scoring in Color Alastography Images」、N. GuptaおよびS. Kudavelly、Philips Electronics India Limited、Bangalore、
Figure 2017502732
[Statistical Learning Methods for Scoring]、Marine Depecker、
Figure 2017502732
、France、「Scoring diverse cellular morphologies in image-based screens with iterative feedback and machine learning」、Thouis R. Jones、Anne E. Carpenter、Michael R. Lamprecht、Jason Moffat、Serena J. Silver、Jenniver K. Grenier、Adam B. Castoreno、Ulrike S. Eggert、David E. Root、Polina Golland、David M. Sabatini、Proceedings of the National Academy of Sciences、Vol. 106、No 6 (10/2/2009)、1826〜1831頁および「Automated breast cancer detection and classification using ultrasound images: A survey」 H. D. Cheng、Juan Shan、Wen Ju、Yanhui Guo、およびLing Zhang. Pattern Recognition 43(1): 299〜317 (2010)は、そのような認識プロセスの例について説明している。
以前に引用した参照画像は、評価図表集、またはそのような画像から作成されたデータからの画像であってよい。図表集の画像は、たとえば、異なるグレードの所与の臨床徴候、たとえば、ますますしわが寄ったように見える所与の顔の領域を示す人々の画像である。
扱われるシーケンスは、人が話すときに明らかになった何らかの臨床徴候、たとえば唇の角、眼の下、上唇の上のしわまたは小じわ、目じりのしわ、および/または鼻唇溝の存在にとにかく関連する画像を含んでいてよい。シーケンスは、顔全体の画像が含まれていることが好ましく、顔は、カメラの視野の一部を表しているにすぎない興味のある領域の画像を続いて抽出することができるように十分な解像度で撮影されていることが好ましい。測色補正を適用することができる。
参照データと比較して、抽出された1つまたは複数の画像からの1つまたは複数の臨床徴候の評価が自動的に行われることが好ましい。この自動評価中、抽出された1つまたは複数の画像は、少なくとも一部について、評価すべき臨床徴候に応じて自動的にトリミングされ、好ましくは拡大される。
画像シーケンスは、人によって連続的に発出されたいくつかの異なる音、特に
Figure 2017502732
から選択された、特に少なくとも5つの異なる音を含んでいてもよい。それらは単純な音であってよく、それらの間に沈黙の瞬間を伴って発音され、またはフレーズを言うことに対応する音であってよい。シーケンス中の1つまたは複数の音には、たとえば人が話す言語に応じて選択される、あらかじめ定義された音素、たとえば母音、半子音または子音が含まれていてよい。それぞれいくつかのあらかじめ定義された音、特に前に引用した音「A」、「E」、「O」、「OUI」、「STI」、「ART」、「TO」に対応する画像を抽出する。
シーケンスから抽出すべき1つまたは複数の画像の選択は、シーケンスのサウンドトラックに適用された音声認識および/または収集された音のスペクトル分析によって行われ得る。別の考えられる選択は、特定の周波数があらかじめ定義された振幅を超えている画像である。
臨床徴候に関連したスコアは、この臨床徴候の評価の結果として自動的に作成され得る。
画像は、評価される人によって保持されたまたは彼/彼女の前に置かれたデバイス、特にタブレット、スマートフォンまたはコンピュータによって取得することができる。たとえば、人は、彼または彼女のスマートフォン、たとえばiPhone(登録商標)またはAndroid(登録商標)スマートフォン、タブレット、またはPC上にアプリケーションをダウンロードする。アプリケーションが起動すると、それが画像および音を記録している間に、再現されるべき音をモニタ上で表示する。ユーザは次いで、あらかじめ定義された音を発音する間に彼または彼女自身を撮影することができる。このように取得したシーケンスは次いで、評価結果を生じさせるために上記のように処理される。処理は、アプリケーション自体によって局所的に、またはリモートサーバ上の変形として、または部分的に局所的かつ部分的にリモートサーバで、行うことができる。
取得は、いくつかのカメラで同時に行うことができる。
評価は家または販売時点で行うことができる。
画像のシーケンスの取得は、毎秒50画像、好ましくは100画像以上の取得頻度で行われる。カメラの解像度は、好ましくは720ライン以上である。所与の臨床徴候に対してスコアがどのように推移するかについてのいくつかの曲線は、音が発出される順序の関数として作成することができる。
臨床徴候の自動評価と並行して、前記臨床徴候に関して自己評価スコアは人によって収集でき、かつ/または評価スコアは、前記臨床徴候に関して専門家の参加者によって収集される。
本発明はまた、顔への美容処理、特に抗しわ製品または化粧品の適用の効果を実証するための非治療的プロセスに関し:
- 上記で定義した本発明に従った評価プロセスを用いて、特に少なくとも1つの顔の臨床徴候の、第1の評価を行うステップ、
- 特に顔の美容処理の後に、新しい評価を行うステップ、
- 評価を比較するステップ、
- 評価の比較からの処理の効能についての代表的な情報および/または前記評価の間の化粧における変化の代表例を作成するステップ
からなるステップを含む。
美容処理は、たとえば、特に評価によって影響を受ける領域で、皮膚にスキンケア製品または抗しわ製品を適用することからなる。
評価された人は、彼または彼女自身が、予防手段として、または徴候の重症度を軽減するために、決定されたスコアに応じて製品を自動的に処方されることを認識することができる。処方された製品は、たとえば決定された1つまたは複数のスコアによって決まる有効成分分析による、個人用の製剤であってもよい。
本発明はさらに、プロセッサ、モニタ、スピーカ、カメラおよびマイクロフォンを有するデバイス上で実行される場合、デバイスを:
- 任意選択で、再現する音をモニタ上に表示し、かつ/またはスピーカを用いて音を発出し、
- カメラを用いて、あらかじめ定義された音、特に表示および/または拡散される音を再現する人の画像のシーケンスを取得し、
- 取得した画像を処理して、取得した画像のシーケンスから、人によって発出された音が前記あらかじめ定義された音に対応する1つまたは複数の画像を抽出する
ように導く命令を含む、コンピュータプログラム製品に関する。
命令は、必要であれば、デバイスによって認識されなければならない1つまたは複数の音の事前選択を可能にすることができる。
命令は、ユーザが評価するために1つまたは複数の臨床徴候を選択することを提案するようにデバイスを導くこともでき;この場合には、選択された1つまたは複数の徴候に応じて、評価のために人が発音しなければならないあらかじめ定義された1つまたは複数の音は異なっていてよい。
命令は、発出された音を、それを認識する目的で特に音声認識技術によって分析するようにデバイスを導くこともできる。抽出された画像は、そして対応するオーディオトラック内のあらかじめ定義された音が自動的に認識されているものである。
命令は、得られた1つまたは複数の抽出された画像を処理して、臨床徴候の重症度の少なくとも1つの代表的なスコアを作成し、かつ/または前記スコアを配信し返すリモートサーバに1つまたは複数の画像を送信するように、デバイスを導くこともできる。
命令は、前記スコアに応じて、治療、特に抗しわ治療における有効成分のために自動分析を行うデバイスを制御することもできる。
本発明は、その非限定的な実施例の以下の説明を読むことで、かつ添付図面を参照して、より良く理解され得る。
本発明に従ったプロセスの実施例のステップを例示するブロック図である。 異なる音を発音している間に撮影された人の画像のシーケンスから抽出された画像を表す図である。 興味のある領域および/または異なる拡大の程度に対応する異なる画像を表す図である。 発音された音の関数として所与の臨床徴候に対するスコア推移の例を表す図である。 発音された音の関数として所与の臨床徴候に対するスコア推移の例を表す図である。 発音された音の関数として所与の臨床徴候に対するスコア推移の例を表す図である。 2次元プロットマトリックスの処理を可能にする、発音された音の関数として異なる臨床徴候に対する異なるスコア推移を表す図である。
本発明に従ったプロセスの実施例は、図1に示すように、異なるステップ10から50を使用でき、たとえばカメラとモニタを装備したコンピュータを用いて利用される。カメラは、その比色成分がカメラの視野で知られている校正物質を置くことによって、比色校正されることが好ましい。
ステップ10では、カメラを用いてビデオシーケンスを取得する。このシーケンスを取得している間、撮影されている人が再現しなければならない音は、たとえばモニタ上に表示されている。変形として、シーケンスを取得している間は何も表示されず、人はたとえば、彼または彼女が発音しなければならない音をあらかじめ知っている。
次に、画像シーケンスをステップ20で分析する。プロセッサがこれを行うのに十分強力である場合、すでに取得した画像に、シーケンスが記録されている間、この分析は、後処理として、または変形としてであってよい。
治療は、シーケンス中で、あらかじめ定義された音の人による発出に対応する1つまたは複数の画像を識別することを目的としている。音が対応する画像を識別するために、たとえばスペクトル分析を用いて、サウンドトラックを分析し、あらかじめ定義された音が発出される瞬間を特定し、その場合、各音がサウンドトラック中で識別されるべき独自のスペクトルフィンガープリントを有している。スペクトルフィンガープリントは、フーリエ変換によって得ることができる。音声認識ソフトウェアも使用することができる。刊行物、「Voice Activity Detection Based on Wavelet Packet Transform in Communication Nonlinear Channel」、R. ChiodiおよびD. Massicotte、SPACOMM、Colmar、France、2009および「La reconnaissance automatique de sources sonores dans l'environnement」[Automatic recognition of noise sources in the environment]、Defreville, B.、Bloquet, S.、Filippi, G.、およびAujard, C.
Figure 2017502732
[10th French Acoustical Conference]、Lyons 12〜16 April 2010は、音声認識プロセスの例について説明している。
認識のロバスト性を高めるために、スマートフォンで使用されているような古典的な音声認識アルゴリズムと、各音素に関連する周波数パターンの認識による分析とを組み合せることが可能である。
図2の実施例では、撮影された人は、単語OUIstiti、smARTiesなどを含むフレーズ全体を発音し、それによって音「A」、「E」、「O」、「OUI」、「STI」、「ART」、「TO」を連続的に発出する。これらの音の発出に対応するとして選択された画像は、音のスペクトルフィンガープリントおよびタイムスタンプと一緒に、各音の下のこの図で表される。
ステップ30では、あらかじめ定義された音に対応する抽出された各画像は、1つまたは複数の臨床徴候を評価することを目的として処理することができる。
ステップ30における処理は、たとえば目、鼻または唇の存在のような画像中の特性を認識することにより、画像中の興味のある領域の抽出を含んでいてよい。これから、評価で標的となる1つまたは複数の臨床徴候を含有する興味のある領域をより具体的に含むサブ画像を作成することができる。図3に示すように、たとえば特定の音の発出に対応する顔の完全な画像から、それぞれのサブ画像31から33である、唇の角、上唇および目の下の領域を抽出することができる。
これらのサブ画像は、必要であれば、しわまたは小じわがよりはっきりと見えるように、拡大することができる。たとえば日焼けの影響を除くために、必要に応じて測色を調節することも望ましい。
次に、画像上に現れると考えられる臨床徴候にグレードを帰属させることを目的として、これらの画像と参照画像を比較するためにステップ40で処理を実施する。
この処理は、2つの画像、すなわち、その参照グレードを割り当てる必要がある画像、および異なるグレードを例示する画像が互いに似ている度合を比較できる何らかのアルゴリズム含んでいてよい。自動的にスコアを帰属させる学習プログラムについて、多数の異なる人々に対して、たとえば民族性に対してスコアを与える参照データベースを使用することができる。
最後に、ステップ50では、スコアおよび/またはその重症度が評価された臨床徴候に関連する何らかの有用な情報を表示することができる。スコアは、たとえばモニタ上に表示される。
臨床徴候のスコアが、発音した音に関連する顔の変形の関数として現れる曲線も表示することができる。したがって、顔が動くことによる徴候の変化の動力学に関する情報が利用可能であり;これは、必要であれば他の臨床徴候の他の動的変化と組み合せて、人にたとえば見かけの年齢または見かけの疲労レベルを帰属させるための、追加の有用な情報を提供することができる。
考慮される各臨床徴候について、異なる2次元曲線を、考慮される音の順序の関数として作成することができる。
したがって目の下のしわに関して、たとえば、推移曲線および曲線の2次元マトリックスは、音X1、X6、X8など、音X8、X4、X10、X4など、音X1、X3、X4、X8などのスコアに対して、自動的に作成され得る。評価される人によって発出された音のこれらのシーケンスの各々は、いくつかの変形態様を最大にするために、または所与のフレーズを再構築できるように選択されているであろう。このステップから、スペクトルは、異なるフレーズまたは音のためにビデオクイズによって収集された、一連の臨床徴候について、人の認識または消費者の認識に関連する2Dまたは3Dウェーブレットによって処理することができる。
サブ画像処理も、必要であれば、皮膚色異常の検出または孔径評価などのより従来の分析によって完了することもできる。
実験の結果は、今回図4から図6を参照して記載されている。
図4では、それぞれ25人の女性の参加者、すなわち、1日2回使用で1カ月間製品を適用することによる治療を行う前の平均37歳の女性の参加者(ひし形)、平均32歳の女性の参加者(三角形)、および製品を適用することによる治療を行った後の同じ37歳の女性(四角形)に関して、上唇のしわの重症度スコアの変化が、発音された音、ここでは「A」、「E」、「O」、「OUI」、「STI」、「ART」、「TO」、の関数として表されている。は、結果が著しい音に印を付けている。我々は、本発明が、特定の音、たとえば音Oが発音されたときに製品の効果を示すために使用できるにすぎないことをわかっている。治療の前および後の差は、そして著しく、かつ極めて明白である。2つの異なる年齢層は、すべての音について区別することができる。
図5および図6は、それぞれ鼻唇溝および目の下のしわの重症度の評価に関する。
領域および/または臨床徴候に応じて、動的推移は異なる。スコアの値の簡単な変換が、鼻唇溝または目の下のしわで観察できるが(図5および図6)、それにもかかわらず、異なる変形態様が唇のしわに関して5年以内に見られる(図4)。唇の角しわは、2つの年齢層で統計的に異なるが、ずっと低い動態を有する。
様々な統計的および数学的分析は、本発明に従ったプロセスを用いたデータに適用してもよい。
たとえば、図7に示すように、臨床徴候Signiに関する異なるスコアS1からSnの理解から、様々な臨床徴候について、異なるスコアにおける推移を時間にわたって発出された音の関数として表す、たとえば異なる音X1からXn、時間曲線の2Dマトリックスを作成することができる。
消費者調査から、たとえば見かけの疲労、見かけの年齢、魅力、輝きなどに関して、評価した各人に関連する認識を決定することができる。
これらの人々の評価の結果として得られるすべての曲線は、次いで、いくつかの曲線形状と、見かけの疲労、見かけの年齢などに関する対応する認識との関係を示すために分析することができる。
マルチスケールウェーブレットは、たとえば、これらのマルチスケール処理分析を実施するために使用することができる。
本発明は、まさに説明された実施例に限定されるものではない。たとえば、評価される人は、たとえば下垂などの他の臨床徴候を評価する目的で、側面から撮影することができる。画像は、必要であれば、少なくとも二台のカメラを用いて浮き彫りにして取得することもできる。画像は、浮き彫りをさらに測定し、または皮膚の動きをより可視化するために、顔に光の縞を投射して、取得することもできる。画像は、音が発出されたときにいくつかの顔の変形をより簡単に示すことを目的として、白色光を用いてまたは光源の下で取得することができる。
いくつかの画像を発出された音と組み合せたとき、これらの画像は、スコアを帰属させる処理の前に平均化することができる。
必要であれば、評価が求められる人が、内容があらかじめ知られていない1つまたは複数のフレーズを発音し;この場合、プロセスは、いくつかの音が生じたのかどうかを音声認識によって認識しようと求め、対応する画像を肯定的に選択し、次いで臨床徴候を評価する。
別の可能な計画は、彼または彼女を、評価が望まれる臨床徴候をより良く示す音を発音するように導くことができるように、性別、見かけの年齢、民族性に応じて評価が望まれる人が発音するための一連の音を選択することである。
発出された音の自動検出の後の画像抽出が自動であることが好ましく、プログラムが実行されることによってこのように認識されるが、シーケンス上にあらかじめ定義された側頭部の位置を有するシーケンスの画像について、たとえばこれがモニタ上に表示されており、それが表示されたときに人は音を発出しなければならないので人は音を発出している、という仮説を取ると、画像抽出は、発出された音を自動認識せずに行われ得る。
本発明は、抗しわ治療のようなスキンケア処理の前または後の素肌に使用することができる。
本発明はまた、たとえば表現の形を変えるために、たとえば欠陥を修正するためにファンデーションまたはパッチを適用することによって、化粧した肌に使用することもできる。
これは、化粧の保持を可能にし、顔の外観へのその影響を変形時に評価することができる。これはまた、顔の変形に応じて化粧の鮮明度の評価を可能にし得る。
表現「1つ含む(including a)」は、「少なくとも1つ含む(including at least one)」と同じ意味である。
31、32、33 サブ画像

Claims (19)

  1. 少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧を評価し、特に顔の一部のしわまたは小じわを評価する、治療標的のない方法であって、
    - 少なくとも1つの音を発出する間に撮影された人の顔画像のシーケンスから、少なくとも1つのあらかじめ定義された音の発出と同時に起こる1つまたは複数の画像を前記シーケンスから抽出するステップ、
    - 前記抽出した得られた1つまたは複数の画像から、前記抽出した1つまたは複数の画像に現れる少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧に関連する少なくとも1つの特徴を評価するステップ
    を含む、方法。
  2. 前記画像の抽出が自動であり、前記発出された音の分析から得られる、請求項1に記載の方法。
  3. 再現する少なくとも1つの音が、前記撮影された人の前に表示される、請求項1または2に記載の方法。
  4. 前記抽出された画像が参照画像と比較される、請求項1から3のいずれか一項に記載の方法。
  5. 前記シーケンスが、唇の角、眼の下、上唇のしわまたは小じわ、目じりのしわ、および/または鼻唇溝の存在に関する画像を含み、前記シーケンスが、好ましくは顔全体の画像を含む、請求項1から4のいずれか一項に記載の方法。
  6. 参照データと比較して、前記抽出された1つまたは複数の画像からの1つまたは複数の前記臨床徴候の評価が自動的に行われる、請求項1から5のいずれか一項に記載の方法。
  7. 前記抽出された1つまたは複数の画像が、少なくとも一部について、評価すべき臨床徴候に応じて自動的にトリミングされ、好ましくは拡大される、請求項1から6のいずれか一項に記載の方法。
  8. 前記画像のシーケンスが、前記人によって連続的に発出されたいくつかの異なる音、特に「A」、「E」、「O」、「OUI」、「STI」、「ART」および「TO」から選択された、特に少なくとも5つの異なる音を含み、いくつかのあらかじめ定義された音、特に前に引用した音「A」、「E」、「O」、「OUI」、「STI」、「ART」および「TO」にそれぞれ対応する画像が抽出される、請求項1から7のいずれか一項に記載の方法。
  9. 前記シーケンスの1つまたは複数の音が音素を含む、請求項1から8のいずれか一項に記載の方法。
  10. 抽出されるべき前記1つまたは複数の画像の選択が、前記シーケンスのサウンドトラックに適用された音声認識および/または収集された音のスペクトル分析によって行われる、請求項1から9のいずれか一項に記載の方法。
  11. 前記臨床徴候に関連したスコアは、この臨床徴候の評価の結果として自動的に作成される、請求項1から10のいずれか一項に記載の方法。
  12. 前記画像が、評価される前記人によって保持されたまたは前記人の前に置かれたデバイス、特にタブレット、スマートフォンまたはコンピュータによって取得される、請求項1から11のいずれか一項に記載の方法。
  13. 前記シーケンスの画像の取得が、毎秒50画像、好ましくは100画像以上の取得頻度で行われる、請求項1から12のいずれか一項に記載の方法。
  14. 所与の臨床徴候に対してスコアがどのように推移するかについてのいくつかの曲線が、前記音が発出される順序の関数として作成される、請求項1から13のいずれか一項に記載の方法。
  15. 前記臨床徴候の自動評価と並行して、前記臨床徴候に関して自己評価スコアが前記人によって収集され、かつ/または評価スコアが、前記臨床徴候に関して専門家の参加者によって収集される、請求項1から14のいずれか一項に記載の方法。
  16. 顔への美容処理、特に抗しわ製品または化粧品の適用の効果を実証するための非治療的方法であって、
    - 請求項1から15のいずれか一項に記載されたプロセスを用いて、特に少なくとも1つの顔の臨床徴候の第1の評価を行うステップ、
    - 特に顔の美容処理の後に、新しい評価を行うステップ、
    - 前記評価を比較するステップ、
    - 評価の比較からの処理の効能についての代表的な情報および/または前記評価の間の化粧における変化の代表例を作成するステップ
    を含む、方法。
  17. プロセッサ、モニタ、スピーカ、カメラおよびマイクロフォンを有するデバイス上で実行される場合、デバイスを、
    - 任意選択で、再現する音を前記モニタ上に表示し、かつ/または前記スピーカを用いて前記音を発出し、
    - 前記カメラを用いて、あらかじめ定義された音、特に表示および/または拡散される音を再現する人の画像のシーケンスを取得し、
    - 前記取得した画像を処理して、前記取得した画像のシーケンスから、前記人によって発出された前記音が前記あらかじめ定義された音に対応する1つまたは複数の画像を抽出する
    ように導く命令を含む、コンピュータプログラム製品。
  18. 前記命令が、前記発出された音を、それを認識する目的で特に音声認識技術によって分析するように前記デバイスを導く、請求項17に記載のコンピュータプログラム製品。
  19. 前記命令が、得られた前記抽出された1つまたは複数の画像を処理して、臨床徴候の重症度の少なくとも1つの代表的なスコアを作成し、かつ/または前記スコアを配信し返すリモートサーバに前記1つまたは複数の画像を送信するように前記デバイスを導く、請求項17または18のいずれか一項に記載のコンピュータプログラム製品。
JP2016538578A 2013-12-12 2014-12-11 少なくとも1つの顔の臨床徴候を評価するためのプロセス Pending JP2017502732A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1362468 2013-12-12
FR1362468A FR3014675A1 (fr) 2013-12-12 2013-12-12 Procede d'evaluation d'au moins un signe clinique du visage
PCT/IB2014/066803 WO2015087274A1 (en) 2013-12-12 2014-12-11 Process for evaluation of at least one facial clinical sign

Publications (1)

Publication Number Publication Date
JP2017502732A true JP2017502732A (ja) 2017-01-26

Family

ID=50289917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016538578A Pending JP2017502732A (ja) 2013-12-12 2014-12-11 少なくとも1つの顔の臨床徴候を評価するためのプロセス

Country Status (6)

Country Link
US (1) US9955909B2 (ja)
EP (1) EP3079564B1 (ja)
JP (1) JP2017502732A (ja)
CN (1) CN105813548B (ja)
FR (1) FR3014675A1 (ja)
WO (1) WO2015087274A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019098168A (ja) * 2017-12-01 2019-06-24 ポーラ化成工業株式会社 肌解析方法及び肌解析システム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014144275A2 (en) 2013-03-15 2014-09-18 Skin Republic, Inc. Systems and methods for specifying and formulating customized topical agents
FR3061583B1 (fr) * 2017-01-04 2020-12-04 Oreal Dispositif d'acquisition d'une video d'alterations cutanees, systeme de caracterisation et procede de caracterisation associes
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置
US10726301B2 (en) * 2017-06-29 2020-07-28 The Procter & Gamble Company Method for treating a surface
WO2019071240A1 (en) 2017-10-06 2019-04-11 The Research Foundation For The State University For The State Of New York AQUEOUS AND NONAQUEOUS SELECTIVE OPTICAL DETECTION OF FREE SULPHITES
WO2019074909A1 (en) 2017-10-09 2019-04-18 Noxell Corporation PLATFORM FOR CREATING BEAUTY PRODUCTS
FR3082113A1 (fr) 2018-06-08 2019-12-13 L'oreal Dispositif d’injection cosmetique assiste par camera
JP7453956B2 (ja) 2018-07-13 2024-03-21 株式会社 資生堂 カスタム外用薬を調整するためのシステムおよび方法
CN111199171B (zh) * 2018-11-19 2022-09-23 荣耀终端有限公司 一种皱纹检测方法和终端设备
EP3699811A1 (en) 2019-02-21 2020-08-26 L'oreal Machine-implemented beauty assistant for predicting face aging
JP2024515603A (ja) * 2021-04-30 2024-04-10 ロレアル 皮膚エイジオタイプに基づく皮膚エイジングトリートメントの成果の予測
FR3125407A1 (fr) * 2021-07-23 2023-01-27 L'oreal Prédiction de résultats de traitement de vieillissement sur la base d’un âgéotype
FR3137481A1 (fr) * 2022-07-04 2024-01-05 Abbi Procédé d’analyse cosmétique d’un visage
WO2024021000A1 (en) * 2022-07-29 2024-02-01 L'oreal System and method for evaluating dynamic wrinkles on keratin material of a user to be tested

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734794A (en) * 1995-06-22 1998-03-31 White; Tom H. Method and system for voice-activated cell animation
JP2003233671A (ja) * 2001-10-01 2003-08-22 L'oreal Sa 身体外面における状態変化の予測及び/又は追跡をする方法及びシステム
JP2005065812A (ja) * 2003-08-21 2005-03-17 Nec Fielding Ltd 健康診断システム,方法およびプログラム
US7023454B1 (en) * 2003-07-07 2006-04-04 Knight Andrew F Method and apparatus for creating a virtual video of an object
US20080112968A1 (en) * 2006-10-11 2008-05-15 Dermena Nicotinamide compositions for treatment of skin diseases and disorders
JP2009061178A (ja) * 2007-09-07 2009-03-26 Noritsu Koki Co Ltd 顔撮影装置及び顔撮影方法
JP2013069122A (ja) * 2011-09-22 2013-04-18 Fujifilm Corp シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546145A (en) * 1994-08-30 1996-08-13 Eastman Kodak Company Camera on-board voice recognition
US6721001B1 (en) * 1998-12-16 2004-04-13 International Business Machines Corporation Digital camera with voice recognition annotation
FR2818529A1 (fr) * 2000-12-21 2002-06-28 Oreal Procede pour determiner un degre d'une caracteristique de la typologie corporelle
US7324668B2 (en) * 2001-10-01 2008-01-29 L'oreal S.A. Feature extraction in beauty analysis
US20040215066A1 (en) * 2003-04-23 2004-10-28 Kelly Huang Method of measuring the efficacy of a skin treatment program
GB2438691A (en) * 2005-04-13 2007-12-05 Pixel Instr Corp Method, system, and program product for measuring audio video synchronization independent of speaker characteristics
FR2935593B1 (fr) 2008-09-08 2011-11-11 Oreal Procede d'evaluation du relachement cutane
JP2012010955A (ja) * 2010-06-30 2012-01-19 Terumo Corp 健康状態監視装置
EP2503545A1 (en) * 2011-03-21 2012-09-26 Sony Ericsson Mobile Communications AB Arrangement and method relating to audio recognition
WO2013001835A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 不快音圧決定システム、その方法およびそのプログラム、補聴器調整システムおよび不快音圧決定装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734794A (en) * 1995-06-22 1998-03-31 White; Tom H. Method and system for voice-activated cell animation
JP2003233671A (ja) * 2001-10-01 2003-08-22 L'oreal Sa 身体外面における状態変化の予測及び/又は追跡をする方法及びシステム
US7023454B1 (en) * 2003-07-07 2006-04-04 Knight Andrew F Method and apparatus for creating a virtual video of an object
JP2005065812A (ja) * 2003-08-21 2005-03-17 Nec Fielding Ltd 健康診断システム,方法およびプログラム
US20080112968A1 (en) * 2006-10-11 2008-05-15 Dermena Nicotinamide compositions for treatment of skin diseases and disorders
JP2009061178A (ja) * 2007-09-07 2009-03-26 Noritsu Koki Co Ltd 顔撮影装置及び顔撮影方法
JP2013069122A (ja) * 2011-09-22 2013-04-18 Fujifilm Corp シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三浦 渚,他: "三次元画像相関法を用いた顔面皮膚表面ひずみ測定", 日本機械学会論文集(A編), vol. 79巻,802号, JPN6017047727, June 2013 (2013-06-01), JP, pages 774 - 778, ISSN: 0004005404 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019098168A (ja) * 2017-12-01 2019-06-24 ポーラ化成工業株式会社 肌解析方法及び肌解析システム
JP7183005B2 (ja) 2017-12-01 2022-12-05 ポーラ化成工業株式会社 肌解析方法及び肌解析システム

Also Published As

Publication number Publication date
EP3079564B1 (en) 2024-03-20
FR3014675A1 (fr) 2015-06-19
CN105813548A (zh) 2016-07-27
US20170020436A1 (en) 2017-01-26
EP3079564A1 (en) 2016-10-19
EP3079564C0 (en) 2024-03-20
CN105813548B (zh) 2020-04-24
US9955909B2 (en) 2018-05-01
WO2015087274A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
JP2017502732A (ja) 少なくとも1つの顔の臨床徴候を評価するためのプロセス
US11832958B2 (en) Automatic image-based skin diagnostics using deep learning
Olszewski et al. High-fidelity facial and speech animation for VR HMDs
US11416988B2 (en) Apparatus and method for visualizing visually imperceivable cosmetic skin attributes
US20200097767A1 (en) System and method for image de-identification
US20180060757A1 (en) Data annotation method and apparatus for enhanced machine learning
CN110363129B (zh) 基于微笑范式和音视频行为分析的孤独症早期筛查***
KR20160116586A (ko) 사용자 감정 인식 방법 및 장치
KR20200105446A (ko) 감정 인식 장치 및 감정 인식 방법
Tang et al. Examining visible articulatory features in clear and plain speech
Gorbova et al. Going deeper in hidden sadness recognition using spontaneous micro expressions database
Reda et al. Svbicomm: sign-voice bidirectional communication system for normal,“deaf/dumb” and blind people based on machine learning
Swathi et al. Assistance system for visually impaired using AI
Rupanagudi et al. A further simplified algorithm for blink recognition using video oculography for communicating
CN118042689B (zh) 光学图像识别的灯光控制方法及***
CA3218635A1 (en) Computer-based body part analysis methods and systems
Tanaka et al. Identification of Utterance Content Using Lip Movement Features
Fanelli et al. Acquisition of a 3d audio-visual corpus of affective speech
JP2023038870A (ja) 印象評価方法及び印象評価システム
CN112836545A (zh) 一种3d人脸信息处理方法、装置及终端
Tatsuzawa et al. Analyzing the individual relationship between habit of UV protection and melanin pigmentation based on the change of facial images for 7 years
Alshamsi Real Time Facial Expression and Speech Emotion Recognition App Development on Smart Phones using Cloud Computing
Alshamsi Real-Time Facial Expression and Speech Emotion Recognition App Development on Mobile Phones using Cloud Computing
Heckmann Prosodic, Spectral and Visual Features for the Discrimination of Prominent and Non-prominent words
Park et al. Extracting the movement of lip and tongue during articulation

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180827

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190401