JP2021121328A - Skin condition discrimination method, cosmetic evaluation method, and cosmetic design method - Google Patents

Skin condition discrimination method, cosmetic evaluation method, and cosmetic design method Download PDF

Info

Publication number
JP2021121328A
JP2021121328A JP2021076848A JP2021076848A JP2021121328A JP 2021121328 A JP2021121328 A JP 2021121328A JP 2021076848 A JP2021076848 A JP 2021076848A JP 2021076848 A JP2021076848 A JP 2021076848A JP 2021121328 A JP2021121328 A JP 2021121328A
Authority
JP
Japan
Prior art keywords
post
cosmetic
feature amount
makeup
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021076848A
Other languages
Japanese (ja)
Other versions
JP7213911B2 (en
Inventor
興治 水越
Koji Mizukoshi
興治 水越
元紀 黒住
Motoki Kurozumi
元紀 黒住
尚子 木田
Naoko Kida
尚子 木田
泰地 西澤
Taichi Nishizawa
泰地 西澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pola Chemical Industries Inc
Original Assignee
Pola Chemical Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pola Chemical Industries Inc filed Critical Pola Chemical Industries Inc
Publication of JP2021121328A publication Critical patent/JP2021121328A/en
Application granted granted Critical
Publication of JP7213911B2 publication Critical patent/JP7213911B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

To provide a skin condition discrimination method capable of accurately discriminating a skin condition, and to provide a cosmetic evaluation method and a cosmetic design method on the basis of the method.SOLUTION: The skin condition discrimination method comprises: a face image acquiring step for acquiring a face image obtained by imaging an expression face of a subject; a feature amount extracting step for extracting a feature amount, such as the area of a high luminance region of a skin or the area of a stripe shape region of the skin, which are detectable optically on the basis of the face image; and a skin condition discriminating step for discriminating the skin condition of the subject on the basis of the feature amount.SELECTED DRAWING: Figure 1

Description

本発明は、肌状態の鑑別方法、化粧料の評価方法、及びそれを用いた化粧料の設計方法に関する。 The present invention relates to a method for distinguishing a skin condition, a method for evaluating a cosmetic, and a method for designing a cosmetic using the same.

人の肌の状態は、年齢や健康状態など、様々な要因によって刻々と変化する。そのため、撮影された画像などから肌の状態に関するパラメータを取得し、解析する技術について、様々な研究が行われている。 The condition of human skin changes from moment to moment depending on various factors such as age and health condition. Therefore, various studies have been conducted on a technique for acquiring and analyzing parameters related to the skin condition from captured images and the like.

例えば、特許文献1には、被験者の顔面における測定対象部位の輝度を測定し、ヒストグラムを生成して、そのヒストグラムの形状から、被験者の肌の状態を評価する技術が公開されている。 For example, Patent Document 1 discloses a technique of measuring the brightness of a measurement target portion on a subject's face, generating a histogram, and evaluating the skin condition of the subject from the shape of the histogram.

また、特許文献2には、被験者の顔画像を取得し、そこから空間周波数の強度を算出することによって、被験者の年齢を推定する技術が公開されている。 Further, Patent Document 2 discloses a technique for estimating the age of a subject by acquiring a facial image of the subject and calculating the intensity of the spatial frequency from the image.

特開2009−131336号公報Japanese Unexamined Patent Publication No. 2009-131336 再表2011−162050号公報Re-table 2011-162050

先述の通り、被験者の肌の状態の評価などを行うためのパラメータについて検討されてきたが、これらはいずれもある瞬間における被験者の顔を観測して得られるものに過ぎない。 As described above, parameters for evaluating the skin condition of the subject have been examined, but all of these are only obtained by observing the subject's face at a certain moment.

しかし、人の肌状態は、種々の因子によって形成されており、より正確な鑑別を行なう方法や、それを改善することのできる化粧料が望まれていた。 However, human skin condition is formed by various factors, and a method for more accurate discrimination and a cosmetic that can improve it have been desired.

そこで、本発明では、肌状態をより精度よく鑑別することのできる肌状態の鑑別方法、及びそれに基づいて化粧料の評価方法、設計方法を提供することを課題とする。 Therefore, it is an object of the present invention to provide a skin condition discrimination method capable of more accurately discriminating the skin condition, and a cosmetic evaluation method and a design method based on the skin condition discrimination method.

上記課題を解決するために、本発明に係る肌状態の鑑別方法は、
肌状態の鑑別方法であって、
所定の表情をとった被験者の顔(表情顔)を撮影した顔画像を取得する顔画像取得工程と、
前記顔画像より光学的に検出可能な特徴量を抽出する特徴量抽出工程と、
前記特徴量に基づいて前記被験者の肌状態を鑑別する肌状態鑑別工程と、を備えることを特徴とする。
In order to solve the above problems, the skin condition discrimination method according to the present invention is:
It ’s a method of distinguishing skin conditions.
A face image acquisition process for acquiring a face image of a subject's face (facial expression face) with a predetermined facial expression, and a face image acquisition process.
A feature amount extraction step for extracting an optically detectable feature amount from the face image, and
It is characterized by comprising a skin condition discrimination step of discriminating the skin condition of the subject based on the feature amount.

このように、光学的に取得可能な特徴量を用いることで、被験者の顔の見た目に影響を及ぼす肌状態を鑑別することができる。 In this way, by using the feature amount that can be obtained optically, it is possible to discriminate the skin condition that affects the appearance of the subject's face.

本発明の好ましい形態では、肌状態の鑑別方法が、前記顔画像取得工程において、それぞれ表情の異なる複数の前記顔画像を取得し、
前記特徴量抽出工程において、複数の前記顔画像のそれぞれについての前記特徴量を抽出し、
前記肌状態鑑別工程において、複数の前記特徴量を用いることを特徴とする。
これにより、日常的に表情の変化が起きた際に現出する肌状態の鑑別を行うことができる。
In a preferred embodiment of the present invention, the skin condition discrimination method acquires a plurality of the facial images having different facial expressions in the facial image acquisition step.
In the feature amount extraction step, the feature amount for each of the plurality of face images is extracted.
The skin condition discrimination step is characterized in that a plurality of the feature amounts are used.
This makes it possible to discriminate the skin condition that appears when changes in facial expressions occur on a daily basis.

本発明の好ましい形態では、肌状態の鑑別方法が、複数の前記顔画像として、前記被験者の表情の変化を含む動画像中の複数のフレーム画像を用いることを特徴とする。
このように、時系列に沿った複数の顔画像を用いることで、実際に日常的に現出するものにより近い肌状態を鑑別することができる。
In a preferred embodiment of the present invention, the skin condition discrimination method is characterized in that, as the plurality of face images, a plurality of frame images in a moving image including a change in the facial expression of the subject are used.
In this way, by using a plurality of facial images in chronological order, it is possible to discriminate skin conditions that are closer to those that actually appear on a daily basis.

本発明の好ましい形態では、前記特徴量が皮膚の毛穴周辺のスジ形状領域に関する量を含むことを特徴とする。 A preferred embodiment of the present invention is characterized in that the feature amount includes an amount relating to a streak-shaped region around the pores of the skin.

本発明の好ましい形態では、肌状態の鑑別方法が、前記特徴量抽出工程において、前記顔画像の輝度より前記特徴量を抽出することを特徴とする。 In a preferred embodiment of the present invention, the skin condition discrimination method is characterized in that the feature amount is extracted from the brightness of the face image in the feature amount extraction step.

本発明の好ましい形態では、前記特徴量が、前記顔画像中で所定の輝度よりも高い輝度を有する高輝度領域に関する量を含むことを特徴とする。 In a preferred embodiment of the present invention, the feature amount includes an amount related to a high-luminance region having a brightness higher than a predetermined brightness in the face image.

本発明の好ましい形態では、前記特徴量が皮膚の毛穴周辺のスジ形状領域に関する量を含み、
前記特徴量抽出工程において、前記顔画像中で所定範囲の輝度を有する領域を、前記スジ形状領域として抽出することを特徴とする。
In a preferred embodiment of the present invention, the feature amount comprises an amount relating to a streak-shaped region around the pores of the skin.
The feature amount extraction step is characterized in that a region having a predetermined range of brightness in the face image is extracted as the streak-shaped region.

本発明の好ましい形態では、前記肌状態が、老化状態であることを特徴とする。 A preferred embodiment of the present invention is characterized in that the skin condition is an aging condition.

本発明に係る化粧料の評価方法は、
化粧料の評価方法であって、
化粧後の表情顔を撮影した化粧後画像を取得する化粧後画像取得工程と、
前記化粧後画像より光学的に検出可能な化粧後の特徴量を抽出する化粧後特徴量抽出工程と、
前記化粧後の特徴量と、同様にして予め取得された同一人の化粧前の特徴量とを比較し、化粧効果を評価する評価工程と、を備えることを特徴とする。
The method for evaluating a cosmetic according to the present invention is as follows.
It ’s a cosmetic evaluation method.
Post-makeup facial expression The post-makeup image acquisition process for acquiring a post-makeup image of the face,
A post-makeup feature amount extraction step for extracting a post-makeup feature amount that can be optically detected from the post-makeup image, and a post-makeup feature amount extraction step.
It is characterized by comprising an evaluation step of comparing the feature amount after makeup with the feature amount before makeup of the same person obtained in advance in the same manner and evaluating the makeup effect.

本発明の好ましい形態では、化粧料の評価方法が、前記化粧後画像取得工程において、それぞれ表情の異なる複数の前記化粧後画像を取得し、
前記化粧後特徴量抽出工程において、複数の前記化粧後画像のそれぞれについての前記化粧後の特徴量を抽出し、
前記評価工程において、複数の前記化粧後の特徴量と、複数の前記化粧前の特徴量と、を用いることを特徴とする。
In a preferred embodiment of the present invention, the cosmetic evaluation method acquires a plurality of post-makeup images having different facial expressions in the post-makeup image acquisition step.
In the post-makeup feature amount extraction step, the post-makeup feature amount for each of the plurality of post-makeup images is extracted.
The evaluation step is characterized in that a plurality of the feature amounts after the makeup and a plurality of the feature amounts before the makeup are used.

本発明の好ましい形態では、化粧料の評価方法が、複数の前記化粧後画像として、表情の変化を含む動画像中の複数のフレーム画像を用いることを特徴とする。 In a preferred embodiment of the present invention, the method for evaluating cosmetics is characterized in that, as the plurality of post-makeup images, a plurality of frame images in a moving image including a change in facial expression are used.

本発明の好ましい形態では、前記化粧後の特徴量及び前記化粧前の特徴量が、皮膚の毛穴周辺のスジ形状領域に関する量を含むことを特徴とする。 A preferred embodiment of the present invention is characterized in that the post-makeup feature amount and the pre-makeup feature amount include an amount relating to a streak-shaped region around the pores of the skin.

本発明の好ましい形態では、化粧料の評価方法が、前記化粧後特徴量抽出工程において、前記化粧後画像の輝度より前記化粧後の特徴量を抽出することを特徴とする。 In a preferred embodiment of the present invention, the method for evaluating cosmetics is characterized in that, in the post-makeup feature amount extraction step, the post-makeup feature amount is extracted from the brightness of the post-makeup image.

本発明の好ましい形態では、前記化粧後の特徴量及び前記化粧前の特徴量が、前記化粧後画像及び化粧前の表情顔を撮影した画像中で所定の輝度よりも高い輝度を有する高輝度領域に関する量を含むことを特徴とする。 In a preferred embodiment of the present invention, a high-luminance region in which the post-makeup feature amount and the pre-makeup feature amount have a brightness higher than a predetermined brightness in the post-makeup image and the pre-makeup facial expression photographed image. It is characterized by including the amount related to.

本発明の好ましい形態では、前記化粧後の特徴量及び前記化粧前の特徴量が、皮膚の毛穴周辺のスジ形状領域に関する量を含み、
前記化粧後特徴量抽出工程において、前記化粧後画像中で所定範囲の輝度を有する領域を、前記スジ形状領域として抽出することを特徴とする。
In a preferred embodiment of the present invention, the post-makeup feature amount and the pre-makeup feature amount include an amount relating to a streak-shaped region around the pores of the skin.
In the post-makeup feature amount extraction step, a region having a predetermined range of brightness in the post-makeup image is extracted as the streak-shaped region.

本発明に係る化粧料の設計方法は、
化粧料の設計方法であって、
化粧後の表情顔を撮影した化粧後画像を取得する化粧後画像取得工程と、
前記化粧後画像より光学的に検出可能な化粧後の特徴量を抽出する化粧後特徴量抽出工程と、
前記化粧後の特徴量と、同様にして予め取得された同一人の化粧前の特徴量とを比較し、化粧効果を評価する評価工程と、
前記化粧効果に基づいて、前記化粧料の成分の処方を選択する選択工程と、を備えることを特徴とする。
The method for designing a cosmetic according to the present invention is as follows.
It ’s a cosmetic design method.
Post-makeup facial expression The post-makeup image acquisition process for acquiring a post-makeup image of the face,
A post-makeup feature amount extraction step for extracting a post-makeup feature amount that can be optically detected from the post-makeup image, and a post-makeup feature amount extraction step.
An evaluation step of comparing the post-makeup feature amount with the pre-makeup feature amount of the same person obtained in advance in the same manner to evaluate the makeup effect, and
It is characterized by comprising a selection step of selecting a formulation of a component of the cosmetic based on the cosmetic effect.

本発明の好ましい形態では、化粧料の設計方法が、前記化粧後画像取得工程において、それぞれ表情の異なる複数の前記化粧後画像を取得し、
前記化粧後特徴量抽出工程において、複数の前記化粧後画像のそれぞれについての前記特徴量を抽出し、
前記評価工程において、複数の前記特徴量の間のばらつきから前記化粧効果を評価し、
前記選択工程において、前記ばらつきが小さくなるように前記処方を選択することを特徴とする。
In a preferred embodiment of the present invention, the cosmetic design method acquires a plurality of post-makeup images having different facial expressions in the post-makeup image acquisition step.
In the post-makeup feature amount extraction step, the feature amount for each of the plurality of post-makeup images is extracted.
In the evaluation step, the cosmetic effect is evaluated from the variation among the plurality of feature amounts.
In the selection step, the formulation is selected so that the variation is small.

本発明の好ましい形態では、前記特徴量が皮膚の毛穴周辺のスジ形状領域に関する量を含み、
前記選択工程において、前記スジ形状領域の面積が小さくなるように前記処方を選択することを特徴とする。
In a preferred embodiment of the present invention, the feature amount comprises an amount relating to a streak-shaped region around the pores of the skin.
In the selection step, the formulation is selected so that the area of the streak-shaped region becomes small.

本発明の好ましい形態では、前記特徴量が前記化粧後画像中で所定の輝度よりも高い輝度を有する高輝度領域の面積を含み、
前記選択工程において、前記高輝度領域の面積が小さくなるように前記処方を選択することを特徴とする。
In a preferred embodiment of the present invention, the feature amount includes an area of a high-luminance region having a brightness higher than a predetermined brightness in the post-makeup image.
In the selection step, the formulation is selected so that the area of the high-luminance region is small.

本発明に係る化粧料の評価方法は、
皮膚の代替物を試料として用いる化粧料の評価方法であって、
前記化粧料を塗布した前記試料を撮影した塗布後画像を取得する塗布後画像取得工程と、
前記塗布後画像より光学的に検出可能な化粧料塗布後の特徴量を抽出する塗布後特徴量抽出工程と、
前記化粧料塗布後の特徴量と、同様にして予め取得された同一試料の化粧料塗布前の特徴量とを比較し、化粧効果を評価する評価工程と、を備えることを特徴とする。
The method for evaluating a cosmetic according to the present invention is as follows.
A method for evaluating cosmetics that uses a skin substitute as a sample.
A post-application image acquisition step of acquiring a post-application image obtained by photographing the sample to which the cosmetic is applied, and
The post-application feature amount extraction step for extracting the feature amount after application of the cosmetic that can be optically detected from the post-application image, and the post-application feature amount extraction step.
It is characterized by comprising an evaluation step of comparing the feature amount after application of the cosmetic and the feature amount of the same sample obtained in advance before application of the cosmetic to evaluate the cosmetic effect.

本発明の好ましい形態では、
前記塗布後画像取得工程において、前記試料をそれぞれ異なる形状に変形させた状態の複数の前記塗布後画像を取得し、
前記塗布後特徴量抽出工程において、複数の前記塗布後画像のそれぞれについての前記化粧料塗布後の特徴量を抽出し、
前記評価工程において、複数の前記化粧料塗布後の特徴量と、複数の前記化粧料塗布前の特徴量と、を用いることを特徴とする。
In a preferred embodiment of the invention
In the post-coating image acquisition step, a plurality of post-coating images in a state in which the sample is deformed into a different shape are acquired.
In the post-application feature amount extraction step, the feature amount after the cosmetic application is extracted for each of the plurality of post-application images.
The evaluation step is characterized in that a plurality of feature amounts after the application of the cosmetics and a plurality of feature amounts before the application of the cosmetics are used.

本発明の好ましい形態では、
複数の前記化粧料塗布後画像として、前記試料の変形の過程を含む動画像中の複数のフレーム画像を用いることを特徴とする。
In a preferred embodiment of the invention
As a plurality of images after application of the cosmetics, a plurality of frame images in a moving image including a process of deformation of the sample are used.

本発明の好ましい形態では、
前記試料の表面形状が人の皮膚の毛穴を模したものであって、
前記化粧料塗布後の特徴量及び前記化粧料塗布前の特徴量が、皮膚の毛穴周辺のスジ形状領域に関する量を含むことを特徴とする。
In a preferred embodiment of the invention
The surface shape of the sample imitates the pores of human skin.
The feature amount after the cosmetic application and the feature amount before the cosmetic application are characterized by including an amount relating to a streak-shaped region around the pores of the skin.

本発明の好ましい形態では、化粧料の評価方法が、前記塗布後特徴量抽出工程において、前記塗布後画像の輝度より前記化粧料塗布後の特徴量を抽出することを特徴とする。 In a preferred embodiment of the present invention, the cosmetic evaluation method is characterized in that, in the post-application feature amount extraction step, the feature amount after the cosmetic application is extracted from the brightness of the post-application image.

本発明の好ましい形態では、前記化粧料塗布後の特徴量及び前記化粧料塗布前の特徴量が、前記塗布後画像及び化粧料塗布前の前記試料を撮影した画像中で所定の輝度よりも高い輝度を有する高輝度領域に関する量を含むことを特徴とする。 In a preferred embodiment of the present invention, the feature amount after the cosmetic application and the feature amount before the cosmetic application are higher than a predetermined brightness in the image after the application and the image obtained by taking the sample before the cosmetic application. It is characterized by including an amount relating to a high-luminance region having brightness.

本発明の好ましい形態では、
前記試料の表面形状が人の皮膚の毛穴を模したものであって、
前記化粧料塗布後の特徴量及び前記化粧料塗布前の特徴量が、皮膚の毛穴周辺のスジ形状領域に関する量を含み、
前記塗布後特徴量抽出工程において、前記塗布後画像中で所定範囲の輝度を有する領域を、前記スジ形状領域として抽出することを特徴とする。
In a preferred embodiment of the invention
The surface shape of the sample imitates the pores of human skin.
The feature amount after the cosmetic application and the feature amount before the cosmetic application include the amount related to the streak-shaped region around the pores of the skin.
In the post-coating feature amount extraction step, a region having a predetermined range of brightness in the post-coating image is extracted as the streak-shaped region.

本発明に係る化粧料の設計方法は、
皮膚の代替物を試料として用いる化粧料の設計方法であって、
前記化粧料を塗布した前記試料を撮影した塗布後画像を取得する塗布後画像取得工程と、
前記塗布後画像より光学的に検出可能な化粧料塗布後の特徴量を抽出する塗布後特徴量抽出工程と、
前記化粧料塗布後の特徴量と、同様にして予め取得された同一試料の化粧料塗布前の特徴量とを比較し、化粧効果を評価する評価工程と、
前記化粧効果に基づいて、前記化粧料の成分の処方を選択する選択工程と、を備えることを特徴とする。
The method for designing a cosmetic according to the present invention is as follows.
A cosmetic design method that uses a skin substitute as a sample.
A post-application image acquisition step of acquiring a post-application image obtained by photographing the sample to which the cosmetic is applied, and
The post-application feature amount extraction step for extracting the feature amount after application of the cosmetic that can be optically detected from the post-application image, and the post-application feature amount extraction step.
An evaluation step of comparing the feature amount after application of the cosmetic with the feature amount of the same sample obtained in advance before application of the cosmetic to evaluate the cosmetic effect, and an evaluation step.
It is characterized by comprising a selection step of selecting a formulation of a component of the cosmetic based on the cosmetic effect.

本発明の好ましい形態では、化粧料の設計方法が、
前記塗布後画像取得工程において、前記試料をそれぞれ異なる形状に変形させた状態の複数の前記塗布後画像を取得し、
前記塗布後特徴量抽出工程において、複数の前記塗布後画像のそれぞれについての前記特徴量を抽出し、
前記評価工程において、複数の前記特徴量の間のばらつきから前記化粧効果を評価し、
前記選択工程において、前記ばらつきが小さくなるように前記処方を選択する。
In a preferred embodiment of the present invention, the cosmetic design method
In the post-coating image acquisition step, a plurality of post-coating images in a state in which the sample is deformed into a different shape are acquired.
In the post-coating feature amount extraction step, the feature amount for each of the plurality of post-coating images is extracted.
In the evaluation step, the cosmetic effect is evaluated from the variation among the plurality of feature amounts.
In the selection step, the formulation is selected so that the variation is small.

本発明の好ましい形態では、
前記試料の表面形状が人の皮膚の毛穴を模したものであって、
前記特徴量が皮膚の毛穴周辺のスジ形状領域に関する量を含み、
前記選択工程において、前記スジ形状領域の面積が小さくなるように前記処方を選択することを特徴とする。
In a preferred embodiment of the invention
The surface shape of the sample imitates the pores of human skin.
The feature amount includes the amount related to the streak-shaped area around the pores of the skin.
In the selection step, the formulation is selected so that the area of the streak-shaped region becomes small.

本発明の好ましい形態では、
前記特徴量が前記塗布後画像中で所定の輝度よりも高い輝度を有する高輝度領域の面積を含み、
前記選択工程において、前記高輝度領域の面積が小さくなるように前記処方を選択することを特徴とする。
In a preferred embodiment of the invention
The feature amount includes an area of a high-luminance region having a brightness higher than a predetermined brightness in the image after coating.
In the selection step, the formulation is selected so that the area of the high-luminance region is small.

表情の変化に際して現出する肌状態の鑑別、そしてそれを用いた化粧料の評価と設計の方法を提供することができる。 It is possible to provide a method for distinguishing the skin condition that appears when a facial expression changes, and for evaluating and designing a cosmetic using the skin condition.

本発明に係る高輝度面積を用いた肌状態の鑑別方法を示すフローチャートである。It is a flowchart which shows the discrimination method of the skin state using the high-luminance area which concerns on this invention. 本発明に係るスジ形状面積を用いた肌状態の鑑別方法を示すフローチャートである。It is a flowchart which shows the discrimination method of the skin state using the streak shape area which concerns on this invention. 本発明に係る化粧料の評価方法を示すフローチャートである。It is a flowchart which shows the evaluation method of the cosmetics which concerns on this invention. 本発明に係る化粧料の設計方法を示すフローチャートである。It is a flowchart which shows the design method of the cosmetics which concerns on this invention. 解析対象とする動画像中に含まれる被験者の表情の一例を示す図である(図面代用写真)。It is a figure which shows an example of the facial expression of the subject included in the moving image to be analyzed (drawing substitute photograph). 解析対象とする動画像の撮影角度を示す図である(図面代用写真)。It is a figure which shows the shooting angle of the moving image to be analyzed (drawing substitute photograph). フレーム画像より抽出したB画像の一例を示す図である(図面代用写真)。It is a figure which shows an example of the B image extracted from a frame image (drawing substitute photograph). B画像より抽出したテカリ領域の一例を示す図である(図面代用写真)。It is a figure which shows an example of the shiny area extracted from the B image (drawing substitute photograph). 20代の被験者についてのテカリ面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the shiny area for the subject in the twenties. 30代の被験者についてのテカリ面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the shiny area about the subject in the thirties. 40代の被験者についてのテカリ面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the shiny area about the subject in 40s. 50代の被験者についてのテカリ面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the shiny area about the subject in the 50s. 60代の被験者についてのテカリ面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the shiny area about the subject in the 60s. テカリ面積の割合の年代別の平均値の算出結果を示す図である。It is a figure which shows the calculation result of the average value by the age of the ratio of the shiny area. テカリ面積の割合の表情間における標準偏差の年代別の平均値の算出結果を示す図である。It is a figure which shows the calculation result of the average value by the age of the standard deviation between facial expressions of the ratio of the shiny area. 20代の被験者についてのスジ形状面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the streak shape area for the subject in the twenties. 30代の被験者についてのスジ形状面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the streak shape area for the subject in the thirties. 40代の被験者についてのスジ形状面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the streak shape area for the subject in 40s. 50代の被験者についてのスジ形状面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the streak shape area for the subject in the 50s. 60代の被験者についてのスジ形状面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the streak shape area for the subject in the 60s. スジ形状面積の割合の年代別の平均値の算出結果を示す図である。It is a figure which shows the calculation result of the average value by the age of the ratio of the streak shape area. スジ形状面積の割合の各表情間における標準偏差の年代別の平均値の算出結果を示す図である。It is a figure which shows the calculation result of the average value by the age of the standard deviation between each facial expression of the ratio of the streak shape area. 化粧前後のテカリ面積の算出結果を示す図である。It is a figure which shows the calculation result of the shiny area before and after makeup. 化粧前後のスジ形状面積の算出結果を示す図である。It is a figure which shows the calculation result of the streak shape area before and after makeup. 人工皮膚の変形の様子を示す図である(図面代用写真)。It is a figure which shows the state of deformation of artificial skin (drawing substitute photograph). 人工皮膚の撮影画像より抽出したB画像の一例を示す図である(図面代用写真)。It is a figure which shows an example of the B image extracted from the photographed image of artificial skin (drawing substitute photograph). 人工皮膚のB画像より抽出したテカリ領域の一例を示す図である(図面代用写真)。It is a figure which shows an example of the shiny region extracted from the B image of artificial skin (drawing substitute photograph). 人工皮膚のG画像より抽出したスジ形状領域の一例を示す図である(図面代用写真)。It is a figure which shows an example of the streak-shaped region extracted from the G image of artificial skin (drawing substitute photograph). 人工皮膚の変形時のテカリ面積の算出結果を示す図である。It is a figure which shows the calculation result of the shiny area at the time of deformation of an artificial skin. 人工皮膚の変形時のスジ形状面積の割合の算出結果を示す図である。It is a figure which shows the calculation result of the ratio of the streak shape area at the time of deformation of an artificial skin. 素肌状態での被験者の表情変化の様子を示す図である。(図面代用写真)It is a figure which shows the state of the facial expression change of a subject in a bare skin state. (Drawing substitute photo) 化粧料Aを使用した状態での被験者の表情変化の様子を示す図である。(図面代用写真)It is a figure which shows the state of the facial expression change of the subject in the state which used the cosmetic A. (Drawing substitute photo) 化粧料Bを使用した状態での被験者の表情変化の様子を示す図である。(図面代用写真)It is a figure which shows the state of the facial expression change of the subject in the state which used the cosmetic B. (Drawing substitute photo) 素肌状態での被験者のテカリ領域の変化の様子を示す図である。(図面代用写真)It is a figure which shows the state of the change of the shiny area of a subject in a bare skin state. (Drawing substitute photo) 化粧料Aを使用した状態での被験者のテカリ領域の変化の様子を示す図である。(図面代用写真)It is a figure which shows the state of the change of the shiny area of a subject in the state of using the cosmetic A. (Drawing substitute photo) 化粧料Bを使用した状態での被験者のテカリ領域の変化の様子を示す図である。(図面代用写真)It is a figure which shows the state of the change of the shiny area of a subject in the state of using the cosmetic B. (Drawing substitute photo) 素肌、化粧料A使用、化粧料B使用のそれぞれの状態についての、テカリ面積の算出結果を示す図である。It is a figure which shows the calculation result of the shiny area for each state of bare skin, the use of the cosmetic A, and the use of the cosmetic B. 素肌状態での被験者のスジ形状領域の変化の様子を示す図である。(図面代用写真)It is a figure which shows the state of the change of the streak shape region of a subject in a bare skin state. (Drawing substitute photo) 化粧料Aを使用した状態での被験者のスジ形状領域の変化の様子を示す図である。(図面代用写真)It is a figure which shows the state of the change of the streak shape region of a subject in the state of using cosmetic A. (Drawing substitute photo) 化粧料Bを使用した状態での被験者のスジ形状領域の変化の様子を示す図である。(図面代用写真)It is a figure which shows the state of the change of the streak shape region of a subject in the state which used the cosmetic B. (Drawing substitute photo) 素肌、化粧料A使用、化粧料B使用のそれぞれの状態についての、スジ形状面積の算出結果を示す図である。It is a figure which shows the calculation result of the streak shape area for each state of bare skin, the use of the cosmetic A, and the use of the cosmetic B.

[1]高輝度面積を用いた肌状態の鑑別方法
本発明は、被験者の顔画像より、光学的に検出可能な特徴量として、所定の輝度よりも高い輝度を有する高輝度領域の面積(高輝度面積)を抽出し、その解析を行うことによって、被験者の肌状態を鑑別する、肌状態の鑑別方法である。
[1] Method for Discriminating Skin Condition Using High Luminance Area In the present invention, the area (high) of a high luminance region having a luminance higher than a predetermined luminance as an optically detectable feature amount from a subject's face image. It is a skin condition discrimination method that discriminates the skin condition of a subject by extracting (luminance area) and performing the analysis.

本発明にいう「肌状態」とは、特に、肌の状態の内で見た目に影響を及ぼすものをいう。例えば、被験者の年齢に応じて変化する肌状態として、老化状態が挙げられる。また、肌の水分量や弾力性など、様々な肌の状態を含むものである。更に、このような種々の肌状態の鑑別を行なった結果を用いて、被験者の年齢の推定などを行ってもよい。 The "skin condition" as used in the present invention particularly refers to a condition of the skin that affects the appearance. For example, as a skin condition that changes according to the age of the subject, an aging condition can be mentioned. It also includes various skin conditions such as skin moisture content and elasticity. Furthermore, the age of the subject may be estimated using the results of such discrimination of various skin conditions.

また、「高輝度領域」とは、先に述べたように顔画像中において所定の輝度よりも高い輝度を有する領域である。ここでの所定の輝度は、例えば、顔画像において肌の鏡面反射によるテカリが感じられる領域に着目するのであれば、目視評価等においてテカリが感じられる領域を抽出できるような値とすればよい。他にも顔画像中で白飛びが起きている領域、肌にツヤが感じられる領域、といったような種々の観点により、高輝度領域を抽出するための所定の輝度を決定すればよい。 Further, the “high-luminance region” is a region having a brightness higher than a predetermined brightness in the face image as described above. The predetermined brightness here may be set to a value that allows the region where the shine is felt in visual evaluation or the like to be extracted, for example, when focusing on the region where the shine due to the specular reflection of the skin is felt in the face image. In addition, a predetermined brightness for extracting a high-luminance region may be determined from various viewpoints such as a region where overexposure occurs in a face image and a region where the skin feels glossy.

図1は、本発明の高輝度面積を用いた肌状態の鑑別方法を示すフローチャートである。これを参照して、本発明の高輝度面積を用いた肌状態の鑑別方法について、詳細に説明する。 FIG. 1 is a flowchart showing a method for distinguishing a skin condition using the high-luminance area of the present invention. With reference to this, the method for distinguishing the skin condition using the high-luminance area of the present invention will be described in detail.

まず、ステップS11において、被験者の顔の表情変化を含む動画像を取得する。ここでは汎用的なビデオカメラで評価対象の顔の動画像を撮影した動画像を用いてよいが、後のステップにおける画像解析に耐えうる程度の解像度やフレームレートを有していることが好ましい。また、ここでは、カラーの動画像を取得することが好ましい。 First, in step S11, a moving image including a change in the facial expression of the subject's face is acquired. Here, a moving image obtained by capturing a moving image of the face to be evaluated with a general-purpose video camera may be used, but it is preferable that the moving image has a resolution and a frame rate sufficient to withstand the image analysis in a later step. Further, here, it is preferable to acquire a color moving image.

そして、ステップS12において、ステップS11で取得した動画像より、解析対象とする複数のフレーム画像を取得する。ここでのフレーム画像としては、動画像に含まれる複数の表情について、それぞれの表情が一番強く表れているフレーム画像を選択することが好ましい。 Then, in step S12, a plurality of frame images to be analyzed are acquired from the moving image acquired in step S11. As the frame image here, it is preferable to select a frame image in which each facial expression appears most strongly for a plurality of facial expressions included in the moving image.

ステップS13では、各フレーム画像について、RGB平面への分割を行い、B(青色)成分のみが含まれるB画像を取得する。これにより各フレーム画像は0−255までの256階調などの、所定の階調によって表現されるものとなる。なお、256階調という階調数は一例に過ぎず、より大きな階調数や小さな階調数を用いてもよい。これは、後のステップにおける高輝度領域の抽出を行いやすくするための処理である。また、ここでB画像に代えてG(緑色)成分のみが含まれるG画像を取得するような構成としてもよい。 In step S13, each frame image is divided into RGB planes, and a B image containing only the B (blue) component is acquired. As a result, each frame image is represented by a predetermined gradation such as 256 gradations from 0 to 255. The number of gradations of 256 gradations is only an example, and a larger number of gradations or a smaller number of gradations may be used. This is a process for facilitating the extraction of the high-luminance region in a later step. Further, here, instead of the B image, a G image containing only the G (green) component may be acquired.

ステップS14では、ステップS13で取得したB画像に対して、フィルタを適用する。これも、ステップS13におけるB画像化と同じく、後のステップにおける高輝度領域の抽出を行いやすくするための処理である。ここでは例えば、FFT(Fast Fourier Transform)フィルタ等を用いることができる。 In step S14, a filter is applied to the B image acquired in step S13. This is also a process for facilitating the extraction of the high-luminance region in a later step, similar to the B imaging in step S13. Here, for example, an FFT (Fast Fourier Transform) filter or the like can be used.

そして、ステップS15において、ステップS14までの処理を行った各フレーム画像より、解析対象領域を抽出する。ここでは、例えば頬部位などを解析対象領域として抽出する。また、このステップを省略し、顔全体を解析対象としてもよい。 Then, in step S15, the analysis target region is extracted from each frame image processed up to step S14. Here, for example, the cheek region is extracted as the analysis target region. Alternatively, this step may be omitted and the entire face may be analyzed.

その後、ステップS16で、解析対象領域中の高輝度領域を抽出する。ここでは、高輝度領域として、所定の階調値を超える領域を抽出した。なお、ここで所定の階調値とは、先に述べたように、フレーム画像を目視した際に肌のテカリが感じられる領域を抽出することのできるような値など、任意の階調値を採用すればよい。あるいは、予め複数の被験者についての顔画像の解析を行い、所定の階調値を算出しておくなどしてもよい。 Then, in step S16, a high-luminance region in the analysis target region is extracted. Here, as a high-luminance region, a region exceeding a predetermined gradation value was extracted. As described above, the predetermined gradation value is an arbitrary gradation value such as a value that can extract a region where the skin feels shiny when the frame image is visually observed. You can use it. Alternatively, a predetermined gradation value may be calculated by analyzing facial images of a plurality of subjects in advance.

ステップ16で抽出した高輝度領域の面積をステップS17で算出した後、ステップS18において、各フレーム画像における高輝度面積の解析を行う。ここでの解析としては、全てのフレーム画像中の高輝度面積の平均値や、標準偏差を算出することが挙げられる。高輝度面積の平均値はすなわち、高輝度面積の絶対値の大きさを示す指標であるといえる。また、高輝度面積の標準偏差は、各フレーム画像の間における、すなわち、各表情間における高輝度面積のばらつきを表す指標であるといえる。 After calculating the area of the high-luminance region extracted in step 16 in step S17, the high-luminance area in each frame image is analyzed in step S18. The analysis here includes calculating the average value and standard deviation of the high-luminance areas in all the frame images. It can be said that the average value of the high-luminance area is an index indicating the magnitude of the absolute value of the high-luminance area. Further, the standard deviation of the high-luminance area can be said to be an index showing the variation of the high-luminance area between each frame image, that is, between each facial expression.

なお、ここで、平均値や標準偏差の計算は、ステップS17で算出した高輝度面積の値を直接用いて行ってもよいが、ステップS15で抽出した解析対象領域全体の面積に対して、ステップS17で算出した高輝度面積が占める割合を用いて計算をすることがより好ましい。このように、解析対象領域中の高輝度領域の割合を用いて解析を行うことで、被験者ごとの解析対象領域全体の面積の大きさの差による影響を抑えた解析を行うことができる。 Here, the average value and the standard deviation may be calculated by directly using the value of the high luminance area calculated in step S17, but the step is taken with respect to the area of the entire analysis target area extracted in step S15. It is more preferable to perform the calculation using the ratio occupied by the high-luminance area calculated in S17. In this way, by performing the analysis using the ratio of the high-luminance region in the analysis target region, it is possible to perform the analysis in which the influence of the difference in the size of the area of the entire analysis target region for each subject is suppressed.

このようにして求めた被験者の高輝度面積の絶対値や各表情間におけるばらつきより、被験者の肌状態の鑑別を行うことができる。 The skin condition of the subject can be discriminated from the absolute value of the high-luminance area of the subject obtained in this way and the variation between the facial expressions.

事前に複数の被験者について高輝度面積の解析を行い、各表情間における高輝度面積の平均値やばらつきを算出しておき、それらの複数の被験者間における平均値や標準偏差と、鑑別対象とする被験者の各表情間における高輝度面積の平均値やばらつきを比較することで、被験者の肌状態の鑑別を行えばよい。特に、肌の老化状態の鑑別を行うのであれば、事前に各表情間における高輝度面積の平均値やばらつきの、世代ごとの平均値や標準偏差を算出しておき、それらの値と被験者についての測定値を比較すれば、被験者の肌の老化状態を鑑別することができる。 The high-luminance area is analyzed for a plurality of subjects in advance, the average value and variation of the high-luminance area between each facial expression are calculated, and the average value and standard deviation among the plurality of subjects are used for discrimination. The skin condition of the subject may be differentiated by comparing the average value and the variation of the high-luminance area between the facial expressions of the subject. In particular, if the aging state of the skin is to be differentiated, the average value and standard deviation of the average value and variation of the high-luminance area between each facial expression for each generation should be calculated in advance, and those values and the subject should be calculated. By comparing the measured values of, it is possible to distinguish the aging state of the skin of the subject.

なお、ステップS11における動画像の取得は、先に述べたように、汎用的なビデオカメラを用いて行えばよい。ステップS12からステップS18までの各処理については、コンピュータ装置上で動作する単一の、あるいは複数の、任意のソフトウェアを用いて行えばよい。これらのソフトウェアは、例えば、汎用的な画像処理ソフトウェアや表計算ソフトウェアなどを用いてもよいし、本発明に係る肌状態の解析のための専用のソフトウェアを用いてもよい。 The moving image in step S11 may be acquired by using a general-purpose video camera as described above. Each process from step S12 to step S18 may be performed by using a single software or a plurality of arbitrary software running on the computer device. As these software, for example, general-purpose image processing software, spreadsheet software, or the like may be used, or dedicated software for analyzing the skin condition according to the present invention may be used.

[2]スジ形状面積を用いた肌状態の鑑別方法
本発明は、被験者の顔画像より、光学的に検出可能な特徴量として毛穴周辺のスジ形状領域の面積(スジ形状面積)を抽出し、その解析を行うことによって、被験者の肌状態を鑑別する、肌状態の鑑別方法である。
[2] Method for Discriminating Skin Condition Using Streak Shape Area In the present invention, the area of the streak shape region around the pores (streak shape area) is extracted from the face image of the subject as an optically detectable feature amount. This is a skin condition discrimination method for discriminating the skin condition of a subject by performing the analysis.

ここで、本発明におけるスジ形状領域とは、顔の表情の変化に伴う皮膚の伸縮等により、毛穴を含む周辺領域の形状が変化し、溝状もしくは線状の構造が生じる、スジ状の領域をいうものである。 Here, the streak-shaped region in the present invention is a streak-shaped region in which the shape of the peripheral region including pores is changed due to expansion and contraction of the skin accompanying a change in facial expression, and a groove-like or linear structure is generated. It means.

図2は、本発明のスジ形状面積を用いた肌状態の鑑別方法を示すフローチャートである。これを参照して、本発明のスジ形状面積を用いた肌状態の鑑別方法について、詳細に説明する。 FIG. 2 is a flowchart showing a method for distinguishing a skin condition using the streak-shaped area of the present invention. With reference to this, a method for distinguishing a skin condition using the streak shape area of the present invention will be described in detail.

ステップS21における動画像の取得、ステップS22における動画像からのフレーム画像の取得は、先に図1を参照して説明した、特徴量として高輝度面積を用いる場合のステップS11、ステップS12と同様の手順で行えばよい。 The acquisition of the moving image in step S21 and the acquisition of the frame image from the moving image in step S22 are the same as in steps S11 and S12 when the high-luminance area is used as the feature amount, which was described above with reference to FIG. You can do it according to the procedure.

ステップS23においても、先に図1を参照して説明したステップS13と同様に、B(青色)成分のみが含まれるB画像を取得してもよいが、特徴量としてスジ形状領域を用いる本実施形態においては、G(緑色)成分のみが含まれるG画像を取得する構成とする方がより好適である。 In step S23 as well, as in step S13 described above with reference to FIG. 1, a B image containing only the B (blue) component may be acquired, but this implementation using a streak-shaped region as a feature amount. In terms of form, it is more preferable to acquire a G image containing only the G (green) component.

続くステップS24において、ステップS23で取得した各フレーム画像より、解析対象領域を抽出する。ここでは、例えば頬部位などを解析対象領域として抽出する。また、このステップを省略し、顔全体を解析対象としてもよい。 In the following step S24, the analysis target area is extracted from each frame image acquired in step S23. Here, for example, the cheek region is extracted as the analysis target region. Alternatively, this step may be omitted and the entire face may be analyzed.

その後、ステップS25で、後のステップにおけるスジ形状領域の抽出を行いやすくするためのフィルタを適用する。ここでは例えば、スムージングやエッジ抽出などのフィルタ処理を行う。 Then, in step S25, a filter is applied to facilitate extraction of the streak-shaped region in a later step. Here, for example, filtering processing such as smoothing and edge extraction is performed.

そして、ステップS26において、階調を用いてスジ形状領域を粗に抽出する。ここでは、階調値が所定の範囲内に含まれる領域をスジ形状領域として抽出する。なお、ここでの階調値の所定範囲は、フレーム画像中から階調値が当該範囲に含まれる領域を抽出した場合にスジ形状領域が得られるような、被験者ごとの任意の範囲を採用すればよい。あるいは、予め複数の被験者についての顔画像の解析を行い、階調値の所定範囲を算出しておくなどしてもよい。 Then, in step S26, the streak-shaped region is roughly extracted using the gradation. Here, a region in which the gradation value is included in a predetermined range is extracted as a streak-shaped region. As the predetermined range of the gradation value here, an arbitrary range for each subject is adopted so that a streak-shaped area can be obtained when a region in which the gradation value is included is extracted from the frame image. Just do it. Alternatively, the facial images of a plurality of subjects may be analyzed in advance to calculate a predetermined range of gradation values.

更に、ステップS27において、ステップS26で粗に抽出したスジ形状領域より線形状領域を抽出する。これは、例えば真円度によるフィルタリングなどを行い、ステップS26において抽出したスジ形状領域より、点状のノイズなどを除去する処理である。 Further, in step S27, a linear region is extracted from the streak-shaped region roughly extracted in step S26. This is a process of removing point-like noise or the like from the streak-shaped region extracted in step S26 by, for example, filtering by roundness.

ステップS27で抽出したスジ形状領域の面積をステップS28で算出した後、ステップS29において、各フレーム画像におけるスジ形状面積の解析を行う。ここでの解析としては、全てのフレーム画像中のスジ形状面積の平均値や、標準偏差を算出することが挙げられる。スジ形状面積の平均値はすなわち、被験者のスジ形状面積の絶対値を示す指標であるといえる。また、スジ形状面積の標準偏差は、各フレーム画像の間における、すなわち、各表情の間におけるスジ形状面積のばらつきを表す指標であるといえる。 After calculating the area of the streak shape region extracted in step S27 in step S28, the streak shape area in each frame image is analyzed in step S29. As the analysis here, the average value of the streak shape area in all the frame images and the standard deviation can be calculated. It can be said that the average value of the streak shape area is an index showing the absolute value of the streak shape area of the subject. Further, the standard deviation of the streak shape area can be said to be an index showing the variation of the streak shape area between each frame image, that is, between each facial expression.

なお、ここで、平均値や標準偏差の計算は、ステップS28で算出したスジ形状面積の値を直接用いて行ってもよいが、ステップS24で抽出した解析対象領域全体の面積に対して、ステップS28で算出したスジ形状面積が占める割合を用いて計算をすることがより好ましい。このように、解析対象領域中のスジ形状領域の割合を用いて解析を行うことで、被験者ごとの解析対象領域全体の面積の大きさの差による影響を抑えた解析を行うことができる。 Here, the average value and the standard deviation may be calculated by directly using the value of the streak shape area calculated in step S28, but the step is taken with respect to the area of the entire analysis target area extracted in step S24. It is more preferable to perform the calculation using the ratio occupied by the streak shape area calculated in S28. In this way, by performing the analysis using the ratio of the streak-shaped region in the analysis target region, it is possible to perform the analysis in which the influence of the difference in the size of the area of the entire analysis target region for each subject is suppressed.

このようにして求めた被験者のスジ形状面積の絶対値やばらつきより、被験者の肌状態の鑑別を行うことができる。 From the absolute value and variation of the streak shape area of the subject obtained in this way, the skin condition of the subject can be discriminated.

事前に複数の被験者についてスジ形状面積の解析を行い、各表情間におけるスジ形状面積の平均値やばらつきを算出しておき、それらの複数の被験者間における平均値や標準偏差と、鑑別対象とする被験者の各表情間におけるスジ形状面積の平均値やばらつきを比較することで、被験者の肌状態の鑑別を行えばよい。特に、肌の老化状態の鑑別を行うのであれば、事前に各表情間におけるスジ形状面積の平均値やばらつきの、世代ごとの平均値や標準偏差を算出しておき、それらの値と被験者についての測定値を比較すれば、被験者の肌の老化状態を鑑別することができる。 The streak shape area is analyzed for a plurality of subjects in advance, the average value and variation of the streak shape area between each facial expression are calculated, and the average value and standard deviation among the plurality of subjects are used for discrimination. The skin condition of the subject may be differentiated by comparing the average value and the variation of the streak shape area between the facial expressions of the subject. In particular, if the aging state of the skin is to be differentiated, the average value and standard deviation of the average value and variation of the streak shape area between each facial expression for each generation should be calculated in advance, and those values and the subject should be calculated. By comparing the measured values of, it is possible to distinguish the aging state of the skin of the subject.

なお、ステップS21における動画像の取得は、先に述べたように、汎用的なビデオカメラを用いて行えばよい。ステップS22からステップS29までの各処理については、コンピュータ装置上で動作する単一の、あるいは複数の、任意のソフトウェアを用いて行えばよい。これらのソフトウェアは、例えば、汎用的な画像処理ソフトウェアや表計算ソフトウェアなどを用いてもよいし、本発明に係る肌状態の解析のための専用のソフトウェアを用いてもよい。 The moving image in step S21 may be acquired by using a general-purpose video camera as described above. Each process from step S22 to step S29 may be performed by using a single software or a plurality of arbitrary software operating on the computer device. As these software, for example, general-purpose image processing software, spreadsheet software, or the like may be used, or dedicated software for analyzing the skin condition according to the present invention may be used.

[3]化粧料の評価方法、設計方法
本発明は、高輝度面積及び/又はスジ形状面積による肌状態の鑑別結果に基づいた化粧料の評価方法、及び化粧料の設計方法である。
[3] Cosmetic evaluation method and design method The present invention is a cosmetic evaluation method and a cosmetic design method based on the skin condition discrimination result based on a high-luminance area and / or a streak-shaped area.

図3は、本発明に係る化粧料の評価方法を示すフローチャートである。これを参照して、本発明の化粧料の評価方法について、詳細に説明する。 FIG. 3 is a flowchart showing a method for evaluating a cosmetic according to the present invention. With reference to this, the method for evaluating the cosmetics of the present invention will be described in detail.

まず、ステップS31において、化粧後の特徴量の解析を行う。ここで、特徴量として顔の高輝度面積を用いるのであれば、化粧後の顔画像について、図1のフローチャートに示した手順にしたがった高輝度面積の解析を行う。すなわち、ステップS11において、化粧後の動画像を取得し、その解析を行う。 First, in step S31, the feature amount after makeup is analyzed. Here, if the high-luminance area of the face is used as the feature amount, the high-luminance area of the face image after makeup is analyzed according to the procedure shown in the flowchart of FIG. That is, in step S11, a moving image after makeup is acquired and analyzed.

また、特徴量としてスジ形状面積を用いる場合についても同様に、図2のフローチャートに示した手順に従ったスジ形状面積の解析を、ステップS21において化粧後の動画像を取得して行う。 Similarly, when the streak shape area is used as the feature amount, the streak shape area is analyzed according to the procedure shown in the flowchart of FIG. 2 by acquiring a moving image after makeup in step S21.

なお、特徴量としては、高輝度面積とスジ形状面積のいずれか一方を用いてもよいし、両方を用いてもよい。また、更に異なる特徴量をあわせて用いてもよい。 As the feature amount, either one of the high-luminance area and the streak-shaped area may be used, or both may be used. Further, different feature quantities may be used together.

ステップS31で化粧後の特徴量の解析を行った後には、ステップS32において、化粧前後の特徴量の比較を行う。ここで、比較対象とする化粧前の特徴量については、ステップS31において化粧後の特徴量を取得する対象と同一人について、事前に取得した値を用いればよい。なお、本明細書にいう化粧前とは、評価対象とする化粧料を用いていない状態を指すものである。すなわち、化粧料を使用していない素肌の状態や、評価対象とする化粧料以外の化粧料を使用している状態などを含むものである。 After the feature amount after makeup is analyzed in step S31, the feature amount before and after makeup is compared in step S32. Here, as the feature amount before makeup to be compared, the value acquired in advance may be used for the same person as the target to acquire the feature amount after makeup in step S31. The term "before makeup" as used herein refers to a state in which the cosmetic to be evaluated is not used. That is, it includes the state of bare skin without using cosmetics and the state of using cosmetics other than the cosmetics to be evaluated.

ここで、化粧前後の特徴量に変化が現れれば、それは化粧効果によるものであると言える。例えば、特徴量の絶対値及び各表情間におけるばらつきが小さいほど肌状態が良好である、といった特徴量、肌状態、及びそれを改善する化粧料を想定すれば、ステップS32において化粧前に比べて化粧後の特徴量の絶対値及び各表情間におけるばらつきが小さくなった度合いを、化粧効果の評価値として用いることができる。 Here, if a change appears in the feature amount before and after makeup, it can be said that it is due to the makeup effect. For example, assuming a feature amount such that the absolute value of the feature amount and the smaller the variation between each facial expression, the better the skin condition, the skin condition, and the cosmetics for improving the feature amount, in step S32, as compared with before makeup. The absolute value of the feature amount after makeup and the degree to which the variation between each facial expression is reduced can be used as the evaluation value of the makeup effect.

このように、化粧前後の特徴量の比較によって化粧効果の大小を判断し、化粧料の評価を行うことができる。 In this way, the magnitude of the makeup effect can be determined by comparing the feature amounts before and after makeup, and the cosmetic can be evaluated.

図4は、上述した評価方法を用いた化粧料の設計方法を示す図である。まず、ステップS41において、図3のフローチャートに示した手順によって、高輝度面積及び/又はスジ形状面積を用いた化粧料の評価を行う。ここで評価対象とする化粧料は、その成分の処方が明らかな既存の化粧料など、任意のものであってよい。 FIG. 4 is a diagram showing a cosmetic design method using the above-mentioned evaluation method. First, in step S41, the cosmetic is evaluated using the high-luminance area and / or the streak-shaped area according to the procedure shown in the flowchart of FIG. The cosmetics to be evaluated here may be arbitrary, such as existing cosmetics whose ingredients are clearly formulated.

そして、ステップS42に進み、ここで設計を完了しない場合には、ステップS43に進む。ステップS43では、ステップS41で評価対象とした化粧料の成分の処方の選択を行う。 Then, the process proceeds to step S42, and if the design is not completed here, the process proceeds to step S43. In step S43, the prescription of the cosmetic ingredient to be evaluated in step S41 is selected.

その後、再びステップS41に戻り、ステップS43において処方を選択した化粧料について、再度化粧料の評価を行う。なお、ここでは、図3においてステップS32に示した化粧前後の特徴量の比較に加えて、あるいはそれに代えて、処方の変更前後の化粧料を用いた場合の特徴量についての比較を行ってもよい。 After that, the process returns to step S41 again, and the cosmetics for which the prescription is selected in step S43 are evaluated again. Here, in addition to the comparison of the feature amounts before and after the makeup shown in step S32 in FIG. 3, or instead, the feature amount when the cosmetics before and after the change of the prescription are used may be compared. good.

以上のように、化粧料の評価と、成分の処方の選択を繰り返し、十分な化粧効果が得られる化粧料の処方が得られた場合など、ステップS42において化粧料の設計を完了することが選択されると、化粧料の設計は終了する。 As described above, it is selected to complete the cosmetic design in step S42, such as when the evaluation of the cosmetic and the selection of the formulation of the ingredients are repeated and the prescription of the cosmetic that gives a sufficient cosmetic effect is obtained. Once done, the cosmetic design is complete.

このように、本発明に係る肌状態の鑑別方法、そしてそれを用いた化粧料の評価方法を利用することによって、肌状態を改善するための化粧料の設計を行うことができる。 As described above, by using the skin condition discrimination method according to the present invention and the cosmetic evaluation method using the same, it is possible to design a cosmetic for improving the skin condition.

なお、本実施形態においては、実際に被験者の皮膚に化粧料を塗布し、特徴量の解析を行うことで化粧料の評価や設計を行う方法を示したが、皮膚の代替物を試料として用いて、同様の化粧料の評価や設計を行ってもよい。皮膚の代替物としては、質感や弾力性、毛穴などの表面形状等について、人の皮膚を模したものを用いることが好ましい。例えば、市販の人工皮膚などを皮膚の代替物として用い、それに外力を加えることによって圧縮や伸長などの形状変化を生じさせ、人の顔の表情変化に伴う皮膚の形状変化に類する状態を疑似的に再現し、特徴量の解析を行う、といった方法を用いることができる。 In the present embodiment, a method of actually applying a cosmetic to the skin of a subject and evaluating and designing the cosmetic by analyzing the feature amount is shown, but a skin substitute is used as a sample. The same cosmetics may be evaluated and designed. As a substitute for skin, it is preferable to use one that imitates human skin in terms of texture, elasticity, surface shape such as pores, and the like. For example, a commercially available artificial skin is used as a substitute for the skin, and by applying an external force to the artificial skin, a shape change such as compression or elongation is caused, and a state similar to the shape change of the skin accompanying a change in the facial expression of a human face is simulated. It is possible to use a method such as reproducing the image and analyzing the feature amount.

あるいは、人の表情の変化時における毛穴などの皮膚の表面形状の変化を模した試料を作成し、それを皮膚の代替物として用いてもよい。このような試料を用いることによっても、様々な表情を取った際にどのような化粧効果が生じるかを、多面的に評価することができる。 Alternatively, a sample that imitates a change in the surface shape of the skin such as pores when a person's facial expression changes may be prepared and used as a substitute for the skin. By using such a sample, it is possible to evaluate from various aspects what kind of cosmetic effect is produced when various facial expressions are taken.

以下に、高輝度領域の一例としてのテカリ面積の解析、スジ形状面積の解析、及び化粧料の使用によるテカリ面積、スジ形状面積の変化についての実施例を挙げて、本発明について更に詳細に説明を加えるが、本発明がこの実施例にのみ限定されないことは言うまでもない。 Hereinafter, the present invention will be described in more detail with reference to examples of analysis of the shiny area as an example of a high-luminance region, analysis of the streak shape area, and changes in the shiny area and the streak shape area due to the use of cosmetics. However, it goes without saying that the present invention is not limited to this embodiment.

[1]テカリ面積の解析
<各年代におけるテカリ面積の抽出>
ここでは、20代、30代、40代、50代、60代について、それぞれ14名ずつ、計70名の女性を被験者として、図1のフローチャートに示すように、高輝度面積の抽出と解析を行った。なお、本実施例では、高輝度領域として、肌にテカリが感じられるテカリ領域を用いた解析を行った。また、肌状態として、特に被験者の年齢に伴って変化する、老化状態に着目した解析を行った。
[1] Analysis of shiny area <Extraction of shiny area in each age group>
Here, for each of the 20s, 30s, 40s, 50s, and 60s, 14 women each, for a total of 70 women, were used as subjects, and as shown in the flowchart of FIG. 1, extraction and analysis of high-brightness areas were performed. went. In this example, the analysis was performed using a shiny region where the skin feels shiny as a high-luminance region. In addition, we performed an analysis focusing on the aging state, which changes with the age of the subject, as the skin condition.

ステップS11の動画像の取得工程では、図5に示すような被験者の表情変化を含む動画像を撮影した。各被験者は、図5(a)に示す無表情の状態から、図5(b)に示す「縦方向へ伸展した表情、図5(c)に示す縦方向へ収縮した表情、図5(d)に示す横方向に伸展した表情、図5(e)に示す横方向に収縮した表情、図5(f)に示す頬を膨らませている表情、図5(g)に示す頬を萎ませている表情の計7種類の表情を順次とり、その表情変化の様子をカラー動画像として撮影した。 In the moving image acquisition step of step S11, a moving image including a change in the facial expression of the subject as shown in FIG. 5 was taken. Each subject changed from the expressionless state shown in FIG. 5 (a) to the "vertically extended facial expression, the vertically contracted facial expression shown in FIG. 5 (c), and FIG. 5 (d). ), The laterally extended facial expression, the laterally contracted facial expression shown in FIG. 5 (e), the bulging facial expression shown in FIG. 5 (f), and the deflated cheek shown in FIG. 5 (g). A total of 7 types of facial expressions were taken in sequence, and the changes in the facial expressions were photographed as color moving images.

なお、図5(a)〜(g)には被験者の顔を正面から撮影した場合の各表情を示したが、ここでは、図6(a)に示すように、被験者の顔を正面から向かって右に45度ずらし、被験者の左頬が動画像の中心に位置するような状態で撮影した動画像を用いた。また、図6(b)に示したように、被験者の顔を正面から向かって右に32度、上に32度ずらし、向かって右上から撮影した動画像や、図6(c)に示すように、被験者の顔を正面から向かって右に32度、下に32度ずらし、向かって右下から撮影した動画像など、他の角度から被験者の顔の表情変化を撮影した動画像を用いてもよい。 It should be noted that FIGS. 5 (a) to 5 (g) show each facial expression when the subject's face is photographed from the front, but here, as shown in FIG. 6 (a), the subject's face is directed from the front. A moving image was taken with the subject's left cheek positioned in the center of the moving image, shifted 45 degrees to the right. Further, as shown in FIG. 6 (b), the subject's face is shifted 32 degrees to the right and 32 degrees upward from the front, and a moving image taken from the upper right is shown in FIG. 6 (c). Using a moving image of the subject's facial expression changed from another angle, such as a moving image of the subject's face shifted 32 degrees to the right and 32 degrees downward from the front and taken from the lower right. May be good.

そして、ステップS12のフレーム画像の取得工程では、動画像を各フレーム画像に分解し、図5(a)〜図5(g)に示したような各表情が最も強く表出している7枚のフレーム画像を抽出した。 Then, in the frame image acquisition step of step S12, the moving image is decomposed into each frame image, and the seven images in which each facial expression as shown in FIGS. 5 (a) to 5 (g) is most strongly expressed. The frame image was extracted.

ステップS13のB画像の取得工程では、ステップS12で取得した各フレーム画像をRGB平面に分割し、解析対象としてB画像を取得、そして、ステップS14のフィルタ適用処理を行った。なお、ステップS14におけるフィルタ適用処理では、後のステップでテカリ領域の抽出を行いやすくするために、B画像とした各フレーム画像にFFTフィルタなどの適用を行った。 In the B image acquisition step of step S13, each frame image acquired in step S12 was divided into RGB planes, the B image was acquired as an analysis target, and the filter application process of step S14 was performed. In the filter application process in step S14, an FFT filter or the like was applied to each frame image as the B image in order to facilitate extraction of the shiny region in a later step.

その後、ステップS15の解析対象領域の抽出処理により、図7(a)〜(g)に示したように、被験者の頬部位を解析対象領域として抽出した。 Then, as shown in FIGS. 7 (a) to 7 (g), the cheek region of the subject was extracted as the analysis target region by the analysis target region in step S15.

そして、ステップS16において、解析対象領域のB画像より、所定の閾値を超える階調値を有する領域をテカリ領域として抽出し、その面積を算出した。図8(a)〜(g)において黒塗りで示される領域が、図7(a)〜(g)の各B画像によりテカリ領域として抽出された領域である。なお、ここでの閾値は、目視でテカリを感じられる領域が抽出されるよう、被験者毎に別個の設定を行った。 Then, in step S16, a region having a gradation value exceeding a predetermined threshold value was extracted as a shiny region from the B image of the analysis target region, and the area was calculated. The region shown in black in FIGS. 8 (a) to 8 (g) is a region extracted as a shiny region by each B image of FIGS. 7 (a) to 7 (g). The threshold value here was set separately for each subject so that the area where the shine could be visually felt was extracted.

テカリ領域が解析対象領域全体の内で占める割合を算出した結果、10代から60代までの各世代について、図9から図13に示す結果が得られた。ステップS18で、これらのテカリ面積についての解析を行った。 As a result of calculating the ratio of the shiny region to the entire analysis target region, the results shown in FIGS. 9 to 13 were obtained for each generation from teens to 60s. In step S18, these shiny areas were analyzed.

<テカリ面積の絶対値についての解析>
まず、各被験者のデータについて、図8(a)〜(g)に示したような全ての表情のテカリ面積の割合の平均値の算出を、それぞれ行った。そして、各被験者についての各表情間におけるテカリ面積の割合の平均値を用いて、更に、年代毎の平均値の算出を行った。また、各被験者についての各表情間におけるテカリ面積の割合の平均値から、年代毎の標準偏差の算出を行った。
<Analysis of the absolute value of the shiny area>
First, for the data of each subject, the average value of the ratio of the shiny area of all facial expressions as shown in FIGS. 8 (a) to 8 (g) was calculated. Then, using the average value of the ratio of the shiny area between each facial expression for each subject, the average value for each age group was further calculated. In addition, the standard deviation for each age group was calculated from the average value of the ratio of the shiny area between each facial expression for each subject.

以上のようにして算出した、各表情間におけるテカリ面積の割合の平均値の、年代毎の平均値及び標準偏差を、図14に示す。これを見ると、年代が上がるにつれて、テカリ面積の平均値は大きくなることが読み取れる。また、標準偏差に着目すると、年代が上がるにつれて、各表情間におけるテカリ面積の割合の平均値の、各被験者間でのばらつきが大きくなることが読み取れる。 FIG. 14 shows the average value and standard deviation of the average value of the ratio of the shiny area between the facial expressions calculated as described above for each age group. Looking at this, it can be seen that the average value of the shiny area increases as the age goes up. In addition, focusing on the standard deviation, it can be seen that as the age increases, the variation in the average value of the ratio of the shiny area between each facial expression increases among the subjects.

この結果から、肌の老化状態が強く表れているほど、テカリ面積の絶対値が大きくなるという知見が得られた。 From this result, it was found that the stronger the aging state of the skin, the larger the absolute value of the shiny area.

<テカリ面積のばらつきについての解析>
続いて、テカリ面積の割合の各表情間におけるばらつきについての解析を行った。まず、図8(a)〜(g)に示したような各表情についてのテカリ面積の割合の標準偏差の算出を、各被験者のデータについてそれぞれ行った。これはすなわち、各被験者についての各表情間におけるテカリ面積の割合のばらつきを示す値である。
<Analysis of variations in shiny area>
Subsequently, the variation in the ratio of the shiny area between each facial expression was analyzed. First, the standard deviation of the ratio of the shiny area for each facial expression as shown in FIGS. 8 (a) to 8 (g) was calculated for each subject's data. This is a value indicating the variation in the ratio of the shiny area between each facial expression for each subject.

そして、各被験者についての各表情間におけるテカリ面積の割合の標準偏差の、年代毎の平均値の算出をおこなった。これは、各年代における各表情間でのテカリ面積の割合のばらつきを示す値である。また、各被験者についての各表情間におけるテカリ面積の割合の標準偏差の、年代毎の標準偏差の算出を行った。これは、各年代における各表情間でのテカリ面積の割合のばらつきの、各被験者間でのばらつきを示す値である。 Then, the average value of the standard deviation of the ratio of the shiny area between each facial expression for each subject was calculated for each age group. This is a value indicating the variation in the ratio of the shiny area between each facial expression in each age group. In addition, the standard deviation of the ratio of the shiny area between each facial expression for each subject was calculated for each age group. This is a value indicating the variation among the subjects in the variation in the ratio of the shiny area between the facial expressions in each age group.

以上のように算出した、各表情間におけるテカリ面積の割合の標準偏差の年代別の平均値と、その標準偏差を、図15に示す。これを見ると、各表情間におけるテカリ面積の割合のばらつきは、年代が上がるにつれて大きくなっていくことが読み取れる。また、各被験者間での標準偏差に着目すると、各表情間でのテカリ面積の割合の変化の各被験者間のばらつきが、年代が上がるにつれて大きくなることが読み取れる。 FIG. 15 shows the average value of the standard deviation of the ratio of the shiny area between the facial expressions calculated as described above for each age group and the standard deviation thereof. Looking at this, it can be seen that the variation in the ratio of the shiny area between each facial expression increases as the age increases. Focusing on the standard deviation among the subjects, it can be seen that the variation in the ratio of the shiny area between the facial expressions increases among the subjects as the age increases.

この結果から、肌の老化状態が強く表れているほど、各表情間におけるテカリ面積のばらつき、すなわち、表情変化に伴うテカリ面積の変化量が大きくなるという知見が得られた。 From this result, it was found that the stronger the aging state of the skin, the greater the variation in the shiny area between each facial expression, that is, the greater the amount of change in the shiny area due to the change in facial expression.

[2]スジ形状面積の解析
<各年代におけるスジ形状面積の抽出>
テカリ面積の解析と同様の、20代、30代、40代、50代、60代について、それぞれ14名ずつ、計70名の女性を被験者として、図2のフローチャートに示すように、スジ形状面積の抽出と解析を行った。
[2] Analysis of streak shape area <Extraction of streak shape area in each age group>
Similar to the analysis of the shiny area, 14 women in their 20s, 30s, 40s, 50s, and 60s, for a total of 70 women, as subjects, as shown in the flowchart of FIG. 2, the streak shape area. Was extracted and analyzed.

ステップS21の動画像の取得、及びステップS22のフレーム画像の取得については、テカリ面積の解析においてそれぞれ取得した動画像、及びフレーム画像と同一のものを用いた。続くステップS23においては、フレーム画像からのG画像の抽出を行った。 For the acquisition of the moving image in step S21 and the acquisition of the frame image in step S22, the same moving image and frame image as those acquired in the analysis of the shiny area were used. In the following step S23, the G image was extracted from the frame image.

そして、ステップS24の解析対象領域の抽出処理で、各フレームのG画像より頬部位の領域を解析対象領域として抽出し、ステップS25で、後のステップでスジ形状領域の抽出を行いやすくするために、それぞれのG画像に、スムージングやエッジ抽出などのフィルタを適用した。 Then, in the extraction process of the analysis target region in step S24, the cheek region is extracted as the analysis target region from the G image of each frame, and in step S25, in order to facilitate the extraction of the streak shape region in a later step. , Filters such as smoothing and edge extraction were applied to each G image.

ステップS26では、ステップS25で抽出した解析対象領域のG画像より、階調値が所定範囲内に含まれる領域を、スジ形状領域として粗に抽出した。更に、ステップS27において、真円度によるフィルタリングを行い、線形状の抽出を行い、その結果をスジ形状領域とした。なお、ここでの階調値の所定範囲は、フレーム画像中から階調値が当該範囲に含まれる領域を抽出した場合にスジ形状領域が得られるような、被験者ごとの任意の範囲を採用した。 In step S26, a region having a gradation value within a predetermined range was roughly extracted as a streak-shaped region from the G image of the analysis target region extracted in step S25. Further, in step S27, filtering by roundness was performed, a line shape was extracted, and the result was used as a streak shape region. As the predetermined range of the gradation value here, an arbitrary range for each subject is adopted so that a streak-shaped area can be obtained when a region in which the gradation value is included is extracted from the frame image. ..

スジ形状領域が解析対象領域全体の内で占める割合を算出した結果、10代から60代までの各世代について、図16から図20に示す結果が得られた。ステップS29で、これらのスジ形状面積についての解析を行った。 As a result of calculating the ratio of the streak-shaped region to the entire analysis target region, the results shown in FIGS. 16 to 20 were obtained for each generation from the teens to the 60s. In step S29, analysis was performed on these streak shape areas.

<スジ形状面積の絶対値についての解析>
まず、各被験者のデータについて、全ての表情のスジ形状面積の割合の平均値の算出を、それぞれ行った。そして、各被験者についての各表情間におけるスジ形状面積の割合の平均値を用いて、更に、年代毎の平均値の算出を行った。また、各被験者についての各表情間におけるスジ形状面積の割合の平均値から、年代毎の標準偏差の算出を行った。
<Analysis of the absolute value of the streak shape area>
First, for each subject's data, the average value of the ratio of the streak-shaped area of all facial expressions was calculated. Then, using the average value of the ratio of the streak shape area between each facial expression for each subject, the average value for each age group was further calculated. In addition, the standard deviation for each age group was calculated from the average value of the ratio of the streak shape area between each facial expression for each subject.

以上のようにして算出した、各表情間におけるスジ形状面積の割合の年代毎の平均値及び標準偏差を、図21に示す。これを見ると、年代が上がるにつれて、スジ形状面積の割合の平均値は大きくなることが読み取れる。また、標準偏差に着目すると、年代が上がるにつれて、各表情間におけるスジ形状面積の割合の平均値の、各被験者間でのばらつきが大きくなることが読み取れる。 FIG. 21 shows the average value and standard deviation of the ratio of the streak shape area between the facial expressions for each age group calculated as described above. Looking at this, it can be seen that the average value of the ratio of the streak-shaped area increases as the age increases. In addition, focusing on the standard deviation, it can be seen that as the age increases, the variation in the average value of the ratio of the streak-shaped area between the facial expressions increases among the subjects.

この結果から、肌の老化状態が強く表れているほど、スジ形状面積の絶対値が大きくなるという知見が得られた。 From this result, it was found that the stronger the aging state of the skin, the larger the absolute value of the streak shape area.

<スジ形状面積のばらつきについての解析>
続いて、スジ形状面積の割合の各表情間におけるばらつきについての解析を行った。まず、各表情についてのスジ形状面積の割合の標準偏差の算出を、各被験者のデータについてそれぞれ行った。これはすなわち、各被験者についての各表情間におけるスジ形状面積の割合のばらつきを示す値である。
<Analysis of variations in streak shape area>
Subsequently, the variation in the ratio of the streak shape area between each facial expression was analyzed. First, the standard deviation of the ratio of the streak shape area for each facial expression was calculated for each subject's data. This is a value indicating the variation in the ratio of the streak shape area between each facial expression for each subject.

そして、各被験者についての各表情間におけるスジ形状面積の割合の標準偏差の、年代毎の平均値の算出をおこなった。これは、各年代における、各表情間でのスジ形状面積の割合のばらつきを示す値である。また、各被験者についての各表情間におけるスジ形状面積の割合の標準偏差の、年代毎の標準偏差の算出を行った。これは、各年代における各表情間でのスジ形状面積の割合のばらつきの、各被験者間でのばらつきを示す値である。 Then, the average value of the standard deviation of the ratio of the streak shape area between each facial expression for each subject was calculated for each age group. This is a value indicating the variation in the ratio of the streak shape area between each facial expression in each age group. In addition, the standard deviation of the ratio of the streak shape area between each facial expression for each subject was calculated for each age group. This is a value indicating the variation in the ratio of the streak shape area between the facial expressions in each age group, and the variation among the subjects.

以上のように算出した、各表情間におけるスジ形状面積の割合の標準偏差の平均値と、その標準偏差を、図22に示す。これを見ると、各表情間におけるスジ形状面積の割合のばらつきは、年代が上がるにつれて大きくなっていくことが読み取れる。また、各被験者間での標準偏差に着目すると、各表情間でのスジ形状面積の変化の各被験者間のばらつきが、年代が上がるにつれて大きくなることが読み取れる。 FIG. 22 shows the average value of the standard deviations of the ratio of the streak shape area between the facial expressions calculated as described above and the standard deviations thereof. Looking at this, it can be seen that the variation in the ratio of the streak-shaped area between each facial expression increases as the age increases. In addition, focusing on the standard deviation between each subject, it can be seen that the variation in the change in the streak shape area between each facial expression increases with increasing age.

この結果から、肌の老化状態が強く表れているほど、各表情間におけるスジ形状面積のばらつき、すなわち、表情変化に伴うスジ形状面積の変化量が大きくなるという知見が得られた。 From this result, it was found that the stronger the aging state of the skin, the greater the variation in the streak shape area between each facial expression, that is, the greater the amount of change in the streak shape area due to the change in facial expression.

[3]化粧料の評価
化粧料の評価のために、化粧料の塗布前後におけるテカリ面積及びスジ形状面積の変化の測定を行った。これは、40代の女性5名を被験者とし、各被験者について、図1のフローチャートに示した方法によるテカリ面積の解析と、図2のフローチャートに示したスジ形状面積の解析を素肌の状態で行い、その後、評価対象とする化粧料の一例として、ファンデーションを塗布した状態で再度同様の解析を行ったものである。
[3] Evaluation of cosmetics For the evaluation of cosmetics, changes in the shiny area and streak shape area before and after application of the cosmetics were measured. Five women in their 40s were used as subjects, and for each subject, the shining area was analyzed by the method shown in the flowchart of FIG. 1 and the streak shape area shown in the flowchart of FIG. 2 was analyzed with bare skin. After that, as an example of the cosmetics to be evaluated, the same analysis was performed again with the foundation applied.

化粧前後のテカリ面積の算出結果を、図23に示す。図23(a)は、5名の被験者の内の1名についての化粧前と化粧後の各表情におけるテカリ面積を、代表例として示すものである。また、図23(b)は、化粧前と化粧後のそれぞれについて、各表情間でのテカリ面積の標準偏差の、各被験者間における平均値を示すものである。これはすなわち、化粧前と化粧後のそれぞれにおける、表情変化時のテカリ面積の変動度合いを示すものである。 The calculation result of the shiny area before and after makeup is shown in FIG. FIG. 23A shows, as a representative example, the shiny area of one of the five subjects in each facial expression before and after makeup. In addition, FIG. 23 (b) shows the average value of the standard deviations of the shiny area between each facial expression between each subject before and after make-up. This indicates the degree of change in the shiny area when the facial expression changes before and after makeup.

これらの結果を参照すると、化粧前の素肌状態と比較して、化粧後には表情変化によるテカリ面積の変動が小さくなっていることがわかる。先に図14及び図15に示した各年代におけるテカリ面積の解析結果とあわせて考えると、化粧料の塗布により、被験者の老化状態の改善が見られたと言える。 With reference to these results, it can be seen that the fluctuation of the shiny area due to the change in facial expression after makeup is smaller than that of the bare skin condition before makeup. Considering together with the analysis results of the shiny area in each age group shown in FIGS. 14 and 15, it can be said that the application of the cosmetics improved the aging state of the subject.

化粧前後のスジ形状領域が解析対象領域において占める割合の算出結果を、図24に示す。図24(a)は、5名の被験者の内の1名についての化粧前と化粧後の各表情における5スジ形状領域の割合を、代表例として示すものである。また、図24(b)は、化粧前と化粧後のそれぞれについて、各表情間でのスジ形状領域の割合の標準偏差の、各被験者間における平均値を示すものである。これはすなわち、化粧前と化粧後のそれぞれにおける、表情変化時のスジ形状領域の割合の変動度合いを示すものである。 FIG. 24 shows the calculation result of the ratio of the streak-shaped region before and after makeup to the analysis target region. FIG. 24A shows, as a representative example, the ratio of the five streak-shaped regions in each facial expression before and after makeup for one of the five subjects. Further, FIG. 24B shows the average value between the subjects of the standard deviation of the ratio of the streak-shaped region between the facial expressions before and after the makeup. This indicates the degree of change in the ratio of the streak-shaped region at the time of facial expression change before and after makeup.

これらの結果を参照すると、化粧前の素肌状態と比較して、化粧後には表情変化によるスジ形状面積の変動が小さくなっていることがわかる。先に図21及び図22に示した各年代におけるスジ形状面積の解析結果とあわせて考えると、化粧料の塗布により、被験者の老化状態の改善が見られたと言える。 With reference to these results, it can be seen that the fluctuation of the streak shape area due to the change in facial expression after makeup is smaller than that of the bare skin state before makeup. Considering together with the analysis results of the streak shape area in each age group shown in FIGS. 21 and 22, it can be said that the application of the cosmetics improved the aging state of the subject.

以上のように、化粧料の塗布によって、テカリ面積及びスジ形状面積に変化が見られた。これより、化粧料の塗布前後におけるテカリ面積及び/又はスジ形状面積の解析を行うことで、老化状態への化粧の効果を判定し、化粧料の評価を行うことができることが見いだされた。 As described above, changes were observed in the shiny area and the streak shape area by applying the cosmetic. From this, it was found that by analyzing the shiny area and / or the streak shape area before and after the application of the cosmetic, the effect of the makeup on the aging state can be determined and the cosmetic can be evaluated.

また、この化粧料の評価方法を利用することで、テカリ面積及び/又はスジ形状面積の絶対値や表情変化時の変動をより小さくし、老化状態に対しより良い効果を示す化粧料の設計を行うことができる可能性が示唆された。 In addition, by using this cosmetic evaluation method, it is possible to design a cosmetic that has a better effect on the aging state by reducing the absolute value of the shiny area and / or the streak shape area and the fluctuation at the time of facial expression change. It was suggested that it could be done.

[4]人工皮膚を用いた特徴量解析
人工皮膚に外力を加え、変形させた際のテカリ面積及びスジ形状面積の変化の測定を行った。人工皮膚としては、人の頬部の毛穴等の表面形状を模した、ビューラックス社製の頬部肌模型(2種類、2つずつの計4つ)を用いた。そして、それぞれの人工皮膚について、フォースゲージを取り付けた電動計測スタンドに万力によって固定し、電動計測スタンドを作動させることによる、表情変化時の顔の皮膚の動きを想定した変形を行った。
[4] Feature analysis using artificial skin The changes in the shiny area and the streak shape area when the artificial skin was deformed by applying an external force were measured. As the artificial skin, a cheek skin model (2 types, 2 each, 4 in total) manufactured by Beaulux Co., Ltd. was used, which imitated the surface shape of the pores of the human cheek. Then, each artificial skin was fixed to an electric measuring stand to which a force gauge was attached by a vise, and the electric measuring stand was operated to perform deformation assuming the movement of the facial skin when the facial expression changed.

図25(a)に、人工皮膚を電動計測スタンドに取り付けた際の様子を示す。この際、人工皮膚下部の固定用万力と人工皮膚上部のフォースゲージとの間の距離が4cmとなるように固定した。これを、人工皮膚が外力によって変形していない、通常状態として撮影した。これはすなわち、被験者の表情変化の解析を行う実施例において図5(a)に示したような、無表情の状態に対応するものである。 FIG. 25A shows a state when the artificial skin is attached to the electric measuring stand. At this time, it was fixed so that the distance between the fixing vise at the lower part of the artificial skin and the force gauge at the upper part of the artificial skin was 4 cm. This was taken as a normal state in which the artificial skin was not deformed by an external force. That is, this corresponds to the state of no expression as shown in FIG. 5A in the example in which the facial expression change of the subject is analyzed.

次に、フォースゲージを1.7cm上昇させ、図25(b)に示すように人工皮膚を伸長させ、伸び状態として撮影を行った。これは、被験者の表情変化の解析を行う場合において図5(b)に代表されるような、解析対象領域の皮膚が伸展した状態に対応するものである。 Next, the force gauge was raised by 1.7 cm, the artificial skin was stretched as shown in FIG. 25 (b), and the photograph was taken in the stretched state. This corresponds to a state in which the skin of the analysis target region is stretched, as represented by FIG. 5B when analyzing the facial expression change of the subject.

人工皮膚を図25(a)に示したような通常状態に戻した後、人工皮膚を後方より押し出しながらフォースゲージを更に1.7cm下降させ、図25(c)に示すように人工皮膚の中央部が手前に押し出されたような状態とし、これを膨らみ状態として撮影した。これは、被験者の表情変化の解析を行う場合において図5(f)に代表されるような、解析対象領域を膨らませた状態に対応するものである。 After returning the artificial skin to the normal state as shown in FIG. 25 (a), the force gauge is further lowered by 1.7 cm while pushing out the artificial skin from the rear, and as shown in FIG. 25 (c), the center of the artificial skin. The part was pushed out toward you, and this was taken as a bulging state. This corresponds to a state in which the analysis target area is expanded as represented by FIG. 5 (f) when analyzing the facial expression change of the subject.

再び人工皮膚を図25(a)に示したような通常状態に戻した後、人工皮膚を前方より押し込みながらフォースゲージを更に1.7cm下降させ、図25(d)に示すように、人工皮膚の中央部が奥に押し込まれたような状態とし、これを萎み状態として撮影した。これは、被験者の表情変化の解析を行う場合において図5(f)に代表されるような、解析対象領域を萎ませた状態に対応するものである。 After returning the artificial skin to the normal state as shown in FIG. 25 (a), the force gauge is further lowered by 1.7 cm while pushing the artificial skin from the front, and the artificial skin is further lowered as shown in FIG. 25 (d). The central part of the skin was pushed into the back, and this was taken as a withered state. This corresponds to a state in which the analysis target region is withered, as represented by FIG. 5 (f), when analyzing the facial expression change of the subject.

以上のように、無表情の状態(図25(a))、及び表情変化によって顔の皮膚が変形した状態(図25(b)〜(c))を想定した4枚のカラー画像を撮影した後、それぞれRGB平面への分割を行った。図26(a)〜(d)は、図25(a)〜(d)の各画像より取得した、解析対象領域のB画像を示すものである。 As described above, four color images were taken assuming an expressionless state (FIG. 25 (a)) and a state in which the skin of the face was deformed due to the change in facial expression (FIGS. 25 (b) to (c)). After that, each division was performed into an RGB plane. 26 (a) to 26 (d) show B images of the analysis target region acquired from each of the images of FIGS. 25 (a) to 25 (d).

そして、図26(a)〜(d)に示したB画像より、所定の閾値を超える階調値を有する領域をテカリ領域として抽出し、その面積を算出した。図27(a)〜(d)において黒塗りで示される領域が、図26(a)〜(d)の各B画像よりテカリ領域として抽出された領域である。 Then, from the B images shown in FIGS. 26 (a) to 26 (d), a region having a gradation value exceeding a predetermined threshold value was extracted as a shiny region, and the area was calculated. The regions shown in black in FIGS. 27 (a) to 27 (d) are regions extracted as shiny regions from the B images of FIGS. 26 (a) to 26 (d).

また、図25(b)〜(c)に示した画像をRGB平面へ分割したG画像より、階調値が所定範囲内に含まれる領域をスジ形状領域として粗に抽出した後、真円度によるフィルタリングや線形状の抽出を行い、その結果をスジ形状領域として抽出した。図28(a)〜(d)において黒塗りで示される領域が、図25(b)〜(c)から取得したそれぞれのG画像より、スジ形状領域として抽出された領域である。そして、それぞれについて、スジ形状領域が解析対象領域内で占める面積の割合を算出した。 Further, from the G image obtained by dividing the images shown in FIGS. 25 (b) to 25 (c) into RGB planes, a region having a gradation value within a predetermined range is roughly extracted as a streak-shaped region, and then the roundness is obtained. Filtering and line shape extraction were performed, and the results were extracted as streak-shaped regions. The regions shown in black in FIGS. 28 (a) to 28 (d) are regions extracted as streak-shaped regions from the respective G images acquired from FIGS. 25 (b) to 25 (c). Then, for each, the ratio of the area occupied by the streak-shaped region in the analysis target region was calculated.

図29は、図27(a)〜(d)に示したような各画像中のテカリ領域の面積を、図30は、図28(a)〜(d)に示したような各画像において、スジ形状領域として抽出された領域が占める面積の割合を、それぞれ示すものである。なお、図29及び図30における4つのデータ系列は、それぞれ、試料として用いた4つの人工皮膚に対応するものである。 29 shows the area of the shiny region in each image as shown in FIGS. 27 (a) to 27 (d), and FIG. 30 shows the area of each image as shown in FIGS. 28 (a) to 28 (d). The ratio of the area occupied by the region extracted as the streak-shaped region is shown. The four data series in FIGS. 29 and 30 correspond to the four artificial skins used as samples, respectively.

図29、図30を参照すると、被験者の表情変化時についての解析結果と同様に、図26(a)〜(d)に示したような人工皮膚の変形に伴い、テカリ領域の面積、スジ形状領域の面積ともに変動していることがわかる。 With reference to FIGS. 29 and 30, the area of the shiny region and the streak shape are accompanied by the deformation of the artificial skin as shown in FIGS. It can be seen that both the area of the area fluctuate.

以上から、人工皮膚などの皮膚の代替物を変形させることにより、表情変化時における顔の皮膚の変化に類する状態を疑似的に作り出すことができると考えられる。すなわち、人工皮膚などの皮膚の代替物に化粧料を塗布し、特徴量の解析を行うことによって、被験者の顔に化粧料を塗布して行う場合と同様に、化粧料の評価及び設計を実施できることが期待される。 From the above, it is considered that by deforming a skin substitute such as artificial skin, it is possible to create a pseudo state similar to the change in facial skin when the facial expression changes. That is, by applying the cosmetic to a skin substitute such as artificial skin and analyzing the feature amount, the cosmetic is evaluated and designed in the same manner as when the cosmetic is applied to the subject's face. It is expected that it can be done.

なお、ここでは、図25(a)〜(d)の人工皮膚を撮影した画像をテカリ面積、スジ形状面積の解析対象とした例を示したが、被験者の表情変化を含む動画像を撮影する場合と同様、人工皮膚の変形の過程を含む動画像を撮影し、その中から解析対象とするフレーム画像を抽出するような方法を用いてもよい。 Here, an example is shown in which the images of the artificial skin shown in FIGS. 25 (a) to 25 (d) are analyzed for the shiny area and the streak shape area, but a moving image including a change in the facial expression of the subject is taken. As in the case, a method may be used in which a moving image including the process of deformation of the artificial skin is taken and a frame image to be analyzed is extracted from the moving image.

[5]複数の化粧料の効果の比較
10名の被験者について、それぞれ、素肌の状態、化粧料Aを使用した状態、及び化粧料Aと処方の異なる化粧料Bを使用した状態で、図1のフローチャートに示した方法によるテカリ面積の解析と、図2のフローチャートに示したスジ形状面積の解析を行った。
[5] Comparison of Effects of Multiple Cosmetics FIG. 1 shows 10 subjects in a state of bare skin, a state in which cosmetic A was used, and a state in which cosmetic B having a different formulation from cosmetic A was used, respectively. The shiny area was analyzed by the method shown in the flowchart of FIG. 2, and the streak shape area shown in the flowchart of FIG. 2 was analyzed.

図31は、素肌状態における被験者の表情変化の様子の一例を示す図である。これは、図5に示したものと同様に、被験者の表情変化の様子を動画像として撮影し、その動画像中から、各表情が最も強く表出しているフレーム画像を取得したものである。同様に、図32は化粧料Aを使用した状態の、図33は化粧料Bを使用した状態の被験者の表情変化の様子を撮影したものである。これらのフレーム画像をRGB平面に分解し、テカリ領域の解析にはB画像を、スジ形状領域の解析にはG画像を、それぞれ用いた。なお、テカリ領域の解析、スジ形状領域の解析共に、被験者の頬部を解析対象領域とした。 FIG. 31 is a diagram showing an example of how the facial expression of the subject changes in the bare skin state. Similar to the one shown in FIG. 5, this is obtained by photographing the state of the facial expression change of the subject as a moving image and acquiring a frame image in which each facial expression is most strongly expressed from the moving image. Similarly, FIG. 32 is a photograph of a state in which the cosmetic A is used, and FIG. 33 is a photograph of a change in the facial expression of the subject in the state of using the cosmetic B. These frame images were decomposed into RGB planes, and a B image was used for the analysis of the shiny region and a G image was used for the analysis of the streak-shaped region. In both the analysis of the shiny region and the analysis of the streak shape region, the cheek of the subject was used as the analysis target region.

図34に、素肌の状態におけるテカリ領域の解析結果を示す。図中で黒塗りとなっている領域が、テカリ領域として抽出された領域である。同様に、図35に化粧料Aを使用した状態におけるテカリ領域の解析結果を、図36に化粧料Bを使用した状態におけるテカリ領域の解析結果を示す。図34〜36を比較すると、同一の被験者であっても、素肌、化粧料A使用、化粧料B使用の各状態において、テカリ領域の態様に差異があることがわかる。 FIG. 34 shows the analysis result of the shiny region in the state of bare skin. The area painted in black in the figure is the area extracted as the shiny area. Similarly, FIG. 35 shows the analysis result of the shiny region in the state where the cosmetic A is used, and FIG. 36 shows the analysis result of the shiny region in the state where the cosmetic B is used. Comparing FIGS. 34 to 36, it can be seen that even in the same subject, there is a difference in the mode of the shiny region in each state of bare skin, use of cosmetic A, and use of cosmetic B.

図37は、テカリ面積についての測定結果を示す図である。図37(a)は、各被験者について、図35〜37に示したような各状態、各表情におけるテカリ面積の算出を行い、10名の被験者の平均値を算出した結果を示すものである。 FIG. 37 is a diagram showing the measurement results for the shiny area. FIG. 37A shows the results of calculating the shining area in each state and each facial expression as shown in FIGS. 35 to 37 for each subject and calculating the average value of 10 subjects.

これを見ると、全体として、化粧料Aを使用した場合には素肌の状態よりもテカリ面積の値は大きくなり、一方、化粧料Bを使用した場合には素肌の状態よりもテカリ面積の値は小さくなる傾向がわかる。 Looking at this, as a whole, when cosmetic A was used, the value of the shiny area was larger than that of the bare skin, while when cosmetic B was used, the value of the shiny area was larger than that of the bare skin. Can be seen to tend to be smaller.

図37(b)は、素肌、化粧料A使用、化粧料B使用の各状態について、各表情間でのテカリ面積の標準偏差の、10名の被験者における平均値を示すものである。これはすなわち、素肌、化粧料A使用、化粧料B使用のそれぞれの状態における、表情変化時のテカリ面積の変動度合いを示すものである。 FIG. 37B shows the average value of the standard deviation of the shiny area between each facial expression in 10 subjects for each state of bare skin, use of cosmetic A, and use of cosmetic B. This indicates the degree of change in the shiny area when the facial expression changes in each of the bare skin, the use of cosmetic A, and the use of cosmetic B.

これを見ると、化粧料Aを使用した場合には素肌の状態よりも表情変化時のテカリ面積の変動は大きくなり、一方で、化粧料Bを使用した場合には素肌の状態よりも表情変化時のテカリ面積の変動は小さくなっていることがわかる。 Looking at this, when cosmetic A is used, the variation in the shiny area at the time of facial expression change is larger than that of the bare skin condition, while when cosmetic B is used, the facial expression change is larger than that of the bare skin condition. It can be seen that the fluctuation of the shiny area with time is small.

続いて、図38に、素肌の状態におけるスジ形状領域の解析結果を示す。図中で黒塗りとなっている領域が、スジ形状領域として抽出された領域である。同様に、図39に化粧料Aを使用した状態におけるスジ形状領域の解析結果を、図40に化粧料Bを使用した状態におけるスジ形状領域の解析結果を示す。図38〜40を比較すると、スジ形状領域の態様についても、同一の被験者でありながら各状態における態様に差異があることがわかる。 Subsequently, FIG. 38 shows the analysis result of the streak-shaped region in the state of bare skin. The area painted in black in the figure is the area extracted as the streak-shaped area. Similarly, FIG. 39 shows the analysis result of the streak shape region in the state where the cosmetic A is used, and FIG. 40 shows the analysis result of the streak shape region in the state where the cosmetic B is used. Comparing FIGS. 38 to 40, it can be seen that there is a difference in the mode of the streak-shaped region in each state even though the subject is the same subject.

図41は、スジ形状面積についての測定結果を示す図である。図41(a)は、各被験者について、図38〜40に示したような各状態、各表情において解析対象領域内でスジ形状領域が占める面積の割合を算出し、10名の被験者の平均値を算出した結果を示すものである。 FIG. 41 is a diagram showing the measurement results for the streak shape area. FIG. 41 (a) calculates the ratio of the area occupied by the streak-shaped region in the analysis target region in each state and each facial expression as shown in FIGS. 38 to 40 for each subject, and is an average value of 10 subjects. It shows the result of calculating.

これを見ると、全体として、化粧料Aを使用した場合には素肌の状態よりもスジ形状領域の割合は大きくなり、一方、化粧料Bを使用した場合には素肌の状態よりもスジ形状領域の割合は小さくなる傾向がわかる。 Looking at this, as a whole, when cosmetic A was used, the proportion of the streak-shaped region was larger than that of the bare skin, while when cosmetic B was used, the streak-shaped region was larger than that of the bare skin. It can be seen that the ratio of

図41(b)は、素肌、化粧料A使用、化粧料B使用の各状態について、各表情間でのスジ形状領域の割合の標準偏差の、10名の被験者における平均値を示すものである。これはすなわち、素肌、化粧料A使用、化粧料B使用のそれぞれの状態における、表情変化時のスジ形状面積の変動度合いを示すものである。 FIG. 41 (b) shows the average value of the standard deviation of the ratio of the streak-shaped region between each facial expression in 10 subjects for each state of bare skin, use of cosmetic A, and use of cosmetic B. .. This indicates the degree of change in the streak shape area when the facial expression changes in each of the bare skin, the use of cosmetic A, and the use of cosmetic B.

これを見ると、化粧料Aを使用した場合には素肌の状態よりも表情変化時のスジ形状面積の変動は大きくなり、一方で、化粧料Bを使用した場合には素肌の状態よりも表情変化時のスジ形状面積の変動は小さくなっていることがわかる。 Looking at this, when cosmetic A is used, the fluctuation of the streak shape area at the time of facial expression change is larger than that of the bare skin condition, while when cosmetic B is used, the facial expression is larger than that of the bare skin condition. It can be seen that the fluctuation of the streak shape area at the time of change is small.

以上のように、素肌、化粧料A使用、化粧料B使用の3つの状態における測定結果を比較すると、テカリ面積の解析、スジ形状面積のどちらについても、化粧料Aを使用した状態については、素肌の状態よりもテカリ面積、スジ形状面積の絶対値やばらつきが大きくなり、一方で、化粧料Bを使用した状態については、素肌の状態、及び化粧料Aを使用した状態よりも、テカリ面積、スジ形状面積の絶対値やばらつきが小さくなったことがわかる。 As described above, comparing the measurement results in the three states of bare skin, the use of cosmetic A, and the use of cosmetic B, the analysis of the shiny area and the streak shape area show that the state in which cosmetic A is used is the same. The absolute values and variations of the shiny area and streak shape area are larger than those of the bare skin, while the shiny area of the state using the cosmetic B is larger than that of the bare skin and the state of using the cosmetic A. It can be seen that the absolute value and variation of the streak shape area have become smaller.

これは、先に実施例1,2に示した、肌の老化状態が強く表出している場合に、表情変化時のテカリ面積及びスジ形状面積の絶対値、ばらつきが大きくなっている、という解析結果に照らし合わせると、化粧料Aを使用した場合には、素肌の状態よりも肌の老化状態が強く表出してしまい、一方で、化粧料Bを使用した場合には、素肌の状態よりも肌の老化状態の表出を抑えることができるといえる。すなわち、肌の老化状態の表出を抑える、という観点では、化粧料Aよりも化粧料Bの方がより好適であるといえる。 This is an analysis that the absolute values and variations of the shiny area and the streak shape area at the time of facial expression change are large when the aging state of the skin is strongly expressed as shown in Examples 1 and 2 above. In light of the results, when cosmetic A was used, the aging state of the skin was more pronounced than the state of bare skin, while when cosmetic B was used, the state of bare skin was stronger than that of bare skin. It can be said that the expression of the aging state of the skin can be suppressed. That is, it can be said that the cosmetic B is more suitable than the cosmetic A from the viewpoint of suppressing the appearance of the aging state of the skin.

このように、評価対象とする化粧料を使用した状態と、素肌の状態や比較対象とする他の化粧料を使用した状態のそれぞれについてテカリ面積やスジ形状面積の測定を行い、それらの結果の比較を行うことで、化粧料の評価を行うことができる。また、このような評価結果に基づいて、より好適な結果が得られるように評価対象の化粧料の処方を変更して更に測定を繰り返すことで、化粧料の設計を行うことができると考えられる。 In this way, the shiny area and streak shape area are measured for each of the state in which the cosmetic to be evaluated is used, the state of the bare skin, and the state in which other cosmetics to be compared are used, and the results are obtained. By making a comparison, the cosmetics can be evaluated. Further, based on such evaluation results, it is considered that the cosmetics can be designed by changing the prescription of the cosmetics to be evaluated and repeating the measurement so that more suitable results can be obtained. ..

本発明は、化粧料の販売、カウンセリング、エステティック等の場面における顧客の肌状態の鑑別や、化粧料の研究開発における評価や設計などに利用できる。
INDUSTRIAL APPLICABILITY The present invention can be used for identification of a customer's skin condition in situations such as sales of cosmetics, counseling, and aesthetics, and evaluation and design in research and development of cosmetics.

Claims (22)

化粧料の評価方法であって、
化粧後の表情顔を撮影した化粧後画像を取得する化粧後画像取得工程と、
前記化粧後画像より光学的に検出可能な化粧後の特徴量を抽出する化粧後特徴量抽出工程と、
前記化粧後の特徴量と、同様にして予め取得された同一人の化粧前の特徴量とを比較し、化粧効果を評価する評価工程と、を備えることを特徴とする、化粧料の評価方法。
It ’s a cosmetic evaluation method.
Post-makeup facial expression The post-makeup image acquisition process for acquiring a post-makeup image of the face,
A post-makeup feature amount extraction step for extracting a post-makeup feature amount that can be optically detected from the post-makeup image, and a post-makeup feature amount extraction step.
A method for evaluating cosmetics, which comprises an evaluation step of comparing the feature amount after makeup with the feature amount before makeup of the same person obtained in advance in the same manner and evaluating the makeup effect. ..
前記化粧後画像取得工程において、それぞれ表情の異なる複数の前記化粧後画像を取得し、
前記化粧後特徴量抽出工程において、複数の前記化粧後画像のそれぞれについての前記化粧後の特徴量を抽出し、
前記評価工程において、複数の前記化粧後の特徴量と、複数の前記化粧前の特徴量と、を用いることを特徴とする、請求項1に記載の化粧料の評価方法。
In the post-makeup image acquisition step, a plurality of post-makeup images having different facial expressions are acquired.
In the post-makeup feature amount extraction step, the post-makeup feature amount for each of the plurality of post-makeup images is extracted.
The method for evaluating a cosmetic according to claim 1, wherein in the evaluation step, a plurality of the feature amounts after the makeup and a plurality of the feature amounts before the makeup are used.
複数の前記化粧後画像として、表情の変化を含む動画像中の複数のフレーム画像を用いることを特徴とする、請求項2に記載の化粧料の評価方法。 The method for evaluating a cosmetic according to claim 2, wherein a plurality of frame images in a moving image including a change in facial expression are used as the plurality of post-makeup images. 前記化粧後の特徴量及び前記化粧前の特徴量が、皮膚の毛穴周辺のスジ形状領域に関する量を含むことを特徴とする、請求項1から請求項3の何れかに記載の化粧料の評価方法。 Evaluation of the cosmetic according to any one of claims 1 to 3, wherein the post-makeup feature amount and the pre-makeup feature amount include an amount relating to a streak-shaped region around the pores of the skin. Method. 前記化粧後特徴量抽出工程において、前記化粧後画像の輝度より前記化粧後の特徴量を抽出することを特徴とする、請求項1から請求項4の何れかに記載の化粧料の評価方法。 The method for evaluating a cosmetic according to any one of claims 1 to 4, wherein in the post-makeup feature amount extraction step, the post-makeup feature amount is extracted from the brightness of the post-makeup image. 前記化粧後の特徴量及び前記化粧前の特徴量が、前記化粧後画像及び化粧前の表情顔を撮影した画像中で所定の輝度よりも高い輝度を有する高輝度領域に関する量を含むことを特徴とする、請求項1から請求項5の何れかに記載の化粧料の評価方法。 The post-makeup feature amount and the pre-makeup feature amount include an amount relating to a high-luminance region having a brightness higher than a predetermined brightness in the post-makeup image and the pre-makeup facial expression photographed image. The cosmetic evaluation method according to any one of claims 1 to 5. 前記化粧後の特徴量及び前記化粧前の特徴量が、皮膚の毛穴周辺のスジ形状領域に関する量を含み、
前記化粧後特徴量抽出工程において、前記化粧後画像中で所定範囲の輝度を有する領域を、前記スジ形状領域として抽出することを特徴とする、請求項1から請求項6の何れかに記載の化粧料の評価方法。
The post-makeup feature amount and the pre-makeup feature amount include an amount relating to a streak-shaped region around the pores of the skin.
The method according to any one of claims 1 to 6, wherein in the post-makeup feature amount extraction step, a region having a predetermined range of brightness in the post-makeup image is extracted as the streak-shaped region. How to evaluate cosmetics.
化粧料の設計方法であって、
化粧後の表情顔を撮影した化粧後画像を取得する化粧後画像取得工程と、
前記化粧後画像より光学的に検出可能な化粧後の特徴量を抽出する化粧後特徴量抽出工程と、
前記化粧後の特徴量と、同様にして予め取得された同一人の化粧前の特徴量とを比較し、化粧効果を評価する評価工程と、
前記化粧効果に基づいて、前記化粧料の成分の処方を選択する選択工程と、を備えることを特徴とする、化粧料の設計方法。
It ’s a cosmetic design method.
Post-makeup facial expression The post-makeup image acquisition process for acquiring a post-makeup image of the face,
A post-makeup feature amount extraction step for extracting a post-makeup feature amount that can be optically detected from the post-makeup image, and a post-makeup feature amount extraction step.
An evaluation step of comparing the post-makeup feature amount with the pre-makeup feature amount of the same person obtained in advance in the same manner to evaluate the makeup effect, and
A method for designing a cosmetic, which comprises a selection step of selecting a formulation of a component of the cosmetic based on the cosmetic effect.
前記化粧後画像取得工程において、それぞれ表情の異なる複数の前記化粧後画像を取得し、
前記化粧後特徴量抽出工程において、複数の前記化粧後画像のそれぞれについての前記特徴量を抽出し、
前記評価工程において、複数の前記特徴量の間のばらつきから前記化粧効果を評価し、
前記選択工程において、前記ばらつきが小さくなるように前記処方を選択することを特徴とする、請求項8に記載の化粧料の設計方法。
In the post-makeup image acquisition step, a plurality of post-makeup images having different facial expressions are acquired.
In the post-makeup feature amount extraction step, the feature amount for each of the plurality of post-makeup images is extracted.
In the evaluation step, the cosmetic effect is evaluated from the variation among the plurality of feature amounts.
The method for designing a cosmetic according to claim 8, wherein in the selection step, the formulation is selected so that the variation is small.
前記特徴量が皮膚の毛穴周辺のスジ形状領域に関する量を含み、
前記選択工程において、前記スジ形状領域の面積が小さくなるように前記処方を選択することを特徴とする、請求項8又は請求項9に記載の化粧料の設計方法。
The feature amount includes the amount related to the streak-shaped area around the pores of the skin.
The cosmetic design method according to claim 8 or 9, wherein in the selection step, the formulation is selected so that the area of the streak-shaped region becomes small.
前記特徴量が前記化粧後画像中で所定の輝度よりも高い輝度を有する高輝度領域の面積を含み、
前記選択工程において、前記高輝度領域の面積が小さくなるように前記処方を選択することを特徴とする、請求項8又は請求項9に記載の化粧料の設計方法。
The feature amount includes an area of a high-luminance region having a brightness higher than a predetermined brightness in the post-makeup image.
The method for designing a cosmetic according to claim 8 or 9, wherein in the selection step, the formulation is selected so that the area of the high-luminance region becomes small.
皮膚の代替物を試料として用いる化粧料の評価方法であって、
前記化粧料を塗布した前記試料を撮影した塗布後画像を取得する塗布後画像取得工程と、
前記塗布後画像より光学的に検出可能な化粧料塗布後の特徴量を抽出する塗布後特徴量抽出工程と、
前記化粧料塗布後の特徴量と、同様にして予め取得された同一試料の化粧料塗布前の特徴量とを比較し、化粧効果を評価する評価工程と、を備えることを特徴とする、化粧料の評価方法。
A method for evaluating cosmetics that uses a skin substitute as a sample.
A post-application image acquisition step of acquiring a post-application image obtained by photographing the sample to which the cosmetic is applied, and
The post-application feature amount extraction step for extracting the feature amount after application of the cosmetic that can be optically detected from the post-application image, and the post-application feature amount extraction step.
A makeup characterized by comprising an evaluation step of comparing the feature amount after application of the cosmetic with the feature amount of the same sample obtained in advance before application of the cosmetic to evaluate the cosmetic effect. How to evaluate the fee.
前記塗布後画像取得工程において、前記試料をそれぞれ異なる形状に変形させた状態の複数の前記塗布後画像を取得し、
前記塗布後特徴量抽出工程において、複数の前記塗布後画像のそれぞれについての前記化粧料塗布後の特徴量を抽出し、
前記評価工程において、複数の前記化粧料塗布後の特徴量と、複数の前記化粧料塗布前の特徴量と、を用いることを特徴とする、請求項12に記載の化粧料の評価方法。
In the post-coating image acquisition step, a plurality of post-coating images in a state in which the sample is deformed into a different shape are acquired.
In the post-application feature amount extraction step, the feature amount after the cosmetic application is extracted for each of the plurality of post-application images.
The method for evaluating a cosmetic according to claim 12, wherein in the evaluation step, a plurality of feature amounts after the application of the cosmetic and a plurality of feature amounts before the application of the cosmetic are used.
複数の前記塗布後画像として、前記試料の変形の過程を含む動画像中の複数のフレーム画像を用いることを特徴とする、請求項13に記載の化粧料の評価方法。 The method for evaluating a cosmetic according to claim 13, wherein a plurality of frame images in a moving image including a process of deformation of the sample are used as the plurality of post-application images. 前記試料の表面形状が人の皮膚の毛穴を模したものであって、
前記化粧料塗布後の特徴量及び前記化粧料塗布前の特徴量が、皮膚の毛穴周辺のスジ形状領域に関する量を含むことを特徴とする、請求項12から請求項14の何れかに記載の化粧料の評価方法。
The surface shape of the sample imitates the pores of human skin.
The aspect according to any one of claims 12 to 14, wherein the feature amount after the cosmetic application and the feature amount before the cosmetic application include an amount relating to a streak-shaped region around the pores of the skin. How to evaluate cosmetics.
前記塗布後特徴量抽出工程において、前記塗布後画像の輝度より前記化粧料塗布後の特徴量を抽出することを特徴とする、請求項12から請求項15の何れかに記載の化粧料の評価方法。 The evaluation of the cosmetic according to any one of claims 12 to 15, characterized in that, in the post-application feature amount extraction step, the feature amount after application of the cosmetic is extracted from the brightness of the image after application. Method. 前記化粧料塗布後の特徴量及び前記化粧料塗布前の特徴量が、前記塗布後画像及び化粧料塗布前の前記試料を撮影した画像中で所定の輝度よりも高い輝度を有する高輝度領域に関する量を含むことを特徴とする、請求項12から請求項16の何れかに記載の化粧料の評価方法。 The feature amount after the application of the cosmetic and the feature amount before the application of the cosmetic relate to a high-luminance region having a brightness higher than a predetermined brightness in the image after the application and the image obtained by taking the sample before the application of the cosmetic. The method for evaluating a cosmetic according to any one of claims 12 to 16, which comprises an amount. 前記試料の表面形状が人の皮膚の毛穴を模したものであって、
前記化粧料塗布後の特徴量及び前記化粧料塗布前の特徴量が、皮膚の毛穴周辺のスジ形状領域に関する量を含み、
前記塗布後特徴量抽出工程において、前記塗布後画像中で所定範囲の輝度を有する領域を、前記スジ形状領域として抽出することを特徴とする、請求項12から請求項17の何れかに記載の化粧料の評価方法。
The surface shape of the sample imitates the pores of human skin.
The feature amount after the cosmetic application and the feature amount before the cosmetic application include the amount related to the streak-shaped region around the pores of the skin.
The method according to any one of claims 12 to 17, wherein in the post-coating feature amount extraction step, a region having a predetermined range of brightness in the post-coating image is extracted as the streak-shaped region. How to evaluate cosmetics.
皮膚の代替物を試料として用いる化粧料の設計方法であって、
前記化粧料を塗布した前記試料を撮影した塗布後画像を取得する塗布後画像取得工程と、
前記塗布後画像より光学的に検出可能な化粧料塗布後の特徴量を抽出する塗布後特徴量抽出工程と、
前記化粧料塗布後の特徴量と、同様にして予め取得された同一試料の化粧料塗布前の特徴量とを比較し、化粧効果を評価する評価工程と、
前記化粧効果に基づいて、前記化粧料の成分の処方を選択する選択工程と、を備えることを特徴とする、化粧料の設計方法。
A cosmetic design method that uses a skin substitute as a sample.
A post-application image acquisition step of acquiring a post-application image obtained by photographing the sample to which the cosmetic is applied, and
The post-application feature amount extraction step for extracting the feature amount after application of the cosmetic that can be optically detected from the post-application image, and the post-application feature amount extraction step.
An evaluation step of comparing the feature amount after application of the cosmetic with the feature amount of the same sample obtained in advance before application of the cosmetic to evaluate the cosmetic effect, and an evaluation step.
A method for designing a cosmetic, which comprises a selection step of selecting a formulation of a component of the cosmetic based on the cosmetic effect.
前記塗布後画像取得工程において、前記試料をそれぞれ異なる形状に変形させた状態の複数の前記塗布後画像を取得し、
前記塗布後特徴量抽出工程において、複数の前記塗布後画像のそれぞれについての前記特徴量を抽出し、
前記評価工程において、複数の前記特徴量の間のばらつきから前記化粧効果を評価し、
前記選択工程において、前記ばらつきが小さくなるように前記処方を選択することを特徴とする、請求項19に記載の化粧料の設計方法。
In the post-coating image acquisition step, a plurality of post-coating images in a state in which the sample is deformed into a different shape are acquired.
In the post-coating feature amount extraction step, the feature amount for each of the plurality of post-coating images is extracted.
In the evaluation step, the cosmetic effect is evaluated from the variation among the plurality of feature amounts.
The method for designing a cosmetic according to claim 19, wherein in the selection step, the formulation is selected so that the variation is small.
前記試料の表面形状が人の皮膚の毛穴を模したものであって、
前記特徴量が皮膚の毛穴周辺のスジ形状領域に関する量を含み、
前記選択工程において、前記スジ形状領域の面積が小さくなるように前記処方を選択することを特徴とする、請求項19又は請求項20に記載の化粧料の設計方法。
The surface shape of the sample imitates the pores of human skin.
The feature amount includes the amount related to the streak-shaped area around the pores of the skin.
The method for designing a cosmetic according to claim 19, wherein the formulation is selected so that the area of the streak-shaped region becomes small in the selection step.
前記特徴量が前記塗布後画像中で所定の輝度よりも高い輝度を有する高輝度領域の面積を含み、
前記選択工程において、前記高輝度領域の面積が小さくなるように前記処方を選択することを特徴とする、請求項19又は請求項20に記載の化粧料の設計方法。

The feature amount includes an area of a high-luminance region having a brightness higher than a predetermined brightness in the image after coating.
The method for designing a cosmetic according to claim 19, wherein the formulation is selected so that the area of the high-luminance region becomes small in the selection step.

JP2021076848A 2016-06-02 2021-04-28 Cosmetic evaluation method and cosmetic design method Active JP7213911B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016110593 2016-06-02
JP2016110593 2016-06-02
JP2016225311A JP7040889B2 (en) 2016-06-02 2016-11-18 Image analysis method for distinguishing skin condition

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016225311A Division JP7040889B2 (en) 2016-06-02 2016-11-18 Image analysis method for distinguishing skin condition

Publications (2)

Publication Number Publication Date
JP2021121328A true JP2021121328A (en) 2021-08-26
JP7213911B2 JP7213911B2 (en) 2023-01-27

Family

ID=60657483

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016225311A Active JP7040889B2 (en) 2016-06-02 2016-11-18 Image analysis method for distinguishing skin condition
JP2021076848A Active JP7213911B2 (en) 2016-06-02 2021-04-28 Cosmetic evaluation method and cosmetic design method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016225311A Active JP7040889B2 (en) 2016-06-02 2016-11-18 Image analysis method for distinguishing skin condition

Country Status (1)

Country Link
JP (2) JP7040889B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7375313B2 (en) * 2019-03-19 2023-11-08 カシオ計算機株式会社 Image processing device, image processing method, and image processing program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007138868A1 (en) * 2006-05-26 2007-12-06 Pola Chemical Industries Inc. Method of selecting cosmetic and design method
JP2011196805A (en) * 2010-03-19 2011-10-06 Pola Chemical Industries Inc Discrimination method
JP2011212307A (en) * 2010-03-31 2011-10-27 Shiseido Co Ltd Cosmetic-applied skin evaluation device, cosmetic-applied skin evaluation method, and cosmetic-applied skin evaluation program
JP2014093043A (en) * 2012-11-06 2014-05-19 Kao Corp Face image analyzer and face image analysis method
JP2014193197A (en) * 2013-03-28 2014-10-09 Shiseido Co Ltd Image analysis device, image analysis method, and image analysis program
JP2015064823A (en) * 2013-09-26 2015-04-09 ポーラ化成工業株式会社 Cosmetic evaluation method, and facial expression wrinkle quantitation method
JP2015198849A (en) * 2014-04-09 2015-11-12 ポーラ化成工業株式会社 Differentiation method of aging pore and evaluation method of cosmetics

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3868089B2 (en) * 1997-12-16 2007-01-17 スカラ株式会社 Face determination method and face determination support device
JP4579046B2 (en) 2005-04-28 2010-11-10 株式会社資生堂 Skin condition analysis method, skin condition analysis apparatus, skin condition analysis program, and recording medium on which the program is recorded
US8391639B2 (en) 2007-07-23 2013-03-05 The Procter & Gamble Company Method and apparatus for realistic simulation of wrinkle aging and de-aging
JP5538786B2 (en) * 2009-09-14 2014-07-02 株式会社 資生堂 Method and apparatus for evaluating transient wrinkles
FR2962025B1 (en) 2010-07-02 2013-04-12 Chanel Parfums Beaute METHOD AND DEVICE FOR DETECTION AND QUANTIFICATION OF SKIN SIGNS ON A SKIN AREA
US20150099947A1 (en) 2013-10-04 2015-04-09 Access Business Group International Llc Skin youthfulness index, methods and applications thereof
TWI669103B (en) 2014-11-14 2019-08-21 日商新力股份有限公司 Information processing device, information processing method and program
JP6756524B2 (en) * 2015-06-16 2020-09-16 株式会社シーボン How to analyze the effects of cosmetic procedures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007138868A1 (en) * 2006-05-26 2007-12-06 Pola Chemical Industries Inc. Method of selecting cosmetic and design method
JP2011196805A (en) * 2010-03-19 2011-10-06 Pola Chemical Industries Inc Discrimination method
JP2011212307A (en) * 2010-03-31 2011-10-27 Shiseido Co Ltd Cosmetic-applied skin evaluation device, cosmetic-applied skin evaluation method, and cosmetic-applied skin evaluation program
JP2014093043A (en) * 2012-11-06 2014-05-19 Kao Corp Face image analyzer and face image analysis method
JP2014193197A (en) * 2013-03-28 2014-10-09 Shiseido Co Ltd Image analysis device, image analysis method, and image analysis program
JP2015064823A (en) * 2013-09-26 2015-04-09 ポーラ化成工業株式会社 Cosmetic evaluation method, and facial expression wrinkle quantitation method
JP2015198849A (en) * 2014-04-09 2015-11-12 ポーラ化成工業株式会社 Differentiation method of aging pore and evaluation method of cosmetics

Also Published As

Publication number Publication date
JP2017217445A (en) 2017-12-14
JP7213911B2 (en) 2023-01-27
JP7040889B2 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
JP6086573B2 (en) Method and apparatus for characterizing pigmented spots and its application in methods for evaluating the coloring or depigmenting effect of cosmetic, skin or pharmaceutical products
US9330298B2 (en) Face impression analyzing method, aesthetic counseling method, and face image generating method
US8290257B2 (en) Method and apparatus for simulation of facial skin aging and de-aging
TWI514291B (en) Method for age estimation
US7336810B2 (en) Skin evaluation method and image simulation method
US20080304736A1 (en) Method of estimating a visual evaluation value of skin beauty
WO2009142069A1 (en) Method for automatically judging skin texture and/or crease
JP7177224B2 (en) Facial visual impression discrimination method, facial impression analysis device, facial impression analysis program, facial visual impression analysis method, and makeup effect discrimination method
JP2007252891A (en) Estimation method of evaluation value by visual recognition of beauty of skin
JP2009082338A (en) Skin discrimination method using entropy
JP6008698B2 (en) Face image analyzing apparatus and face image analyzing method
JP5035524B2 (en) Facial image composition method and composition apparatus
JP2019058641A (en) Skin inner structure estimation method, skin inner structure estimation program, and skin inner structure estimation device
JP5651385B2 (en) Face evaluation method
JP7213911B2 (en) Cosmetic evaluation method and cosmetic design method
JP2004166801A (en) Evaluation method for luster of skin
JP2010198382A (en) Simulation apparatus, simulation method and computer program
EP3629286A1 (en) Image analysis evaluation method, computer program, and image analysis evaluation device
JP2006061170A (en) Discrimination method for skin
KR20140094975A (en) Method and Apparatus of Skin Pigmentation Detection Using Projection Transformed Block Coefficient
JP2007252892A (en) Estimation method of evaluation value by visual recognition of three-dimensional shape of skin surface
JP2011212307A (en) Cosmetic-applied skin evaluation device, cosmetic-applied skin evaluation method, and cosmetic-applied skin evaluation program
CN108135346B (en) Skin evaluation device, skin evaluation method, and recording medium
JP6730051B2 (en) Skin condition evaluation method
Shi et al. On the role of local variance in image fidelity assessment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230117

R150 Certificate of patent or registration of utility model

Ref document number: 7213911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150