WO2021220444A1 - 肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法 - Google Patents

肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法 Download PDF

Info

Publication number
WO2021220444A1
WO2021220444A1 PCT/JP2020/018202 JP2020018202W WO2021220444A1 WO 2021220444 A1 WO2021220444 A1 WO 2021220444A1 JP 2020018202 W JP2020018202 W JP 2020018202W WO 2021220444 A1 WO2021220444 A1 WO 2021220444A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin
image
unit
index
coefficient
Prior art date
Application number
PCT/JP2020/018202
Other languages
English (en)
French (fr)
Inventor
雄介 中村
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022518525A priority Critical patent/JPWO2021220444A1/ja
Priority to PCT/JP2020/018202 priority patent/WO2021220444A1/ja
Publication of WO2021220444A1 publication Critical patent/WO2021220444A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof

Definitions

  • This disclosure relates to a skin evaluation coefficient learning device, a skin evaluation index estimation device, a skin evaluation coefficient learning method, a skin evaluation index estimation method, a focus value acquisition method, and a skin smoothness acquisition method.
  • the skin measuring device measures the firmness and elasticity of the skin.
  • the skin measuring device is acquired by a so-called suction method, which measures the amount of elongation of the skin surface after opening with respect to the amount of elongation of the skin surface at the time of suction when the skin surface is locally sucked and then opened.
  • the skin measuring device estimates the firmness and elasticity of the skin based on the measured values.
  • the fineness of the skin texture, the size of the pores, and the amount of shine are obtained by analyzing the skin image obtained by photographing the skin surface.
  • the amount of shine is obtained by acquiring a specular reflection image obtained by light reflected from the inside of the skin based on an unpolarized image obtained by imaging the skin and an orthogonally polarized image, and the brightness of the specular reflection image is calculated.
  • the device to be acquired by this is described.
  • the skin measuring device used to measure the firmness and elasticity of the skin is large and difficult to carry. Further, the skin measuring device requires training for measuring, and has a problem that it cannot be easily measured.
  • This disclosure has been made in view of such a problem, and is a skin evaluation coefficient learning device and a skin evaluation index for easily estimating measured values using a device suitable for carrying around. It is an object of the present invention to provide an estimation device, a skin evaluation coefficient learning method, a skin evaluation index estimation device, a focus value acquisition method, and a skin smoothness acquisition method.
  • the skin evaluation coefficient learning device of the first aspect of the present technology measures using an image analysis unit that acquires at least one skin image index by analyzing a skin image obtained by photographing the skin surface, and a skin measuring device.
  • the measurement value acquisition unit that acquires the measurement value related to the firmness and elasticity of the skin that measures the skin included in the skin image, and the combination of the measurement value and the skin image index for a plurality of skins are accumulated, and the measurement value is obtained.
  • the skin image index acquired by the image analysis unit is used as an objective function for regression analysis, and the skin evaluation coefficient indicating the relative relationship between the skin image index and the skin evaluation index for evaluating the firmness and elasticity of the skin is obtained. Includes a coefficient acquisition unit to be calculated.
  • the skin evaluation index estimation device of the second aspect of the present technology is acquired by analyzing a skin image obtained by photographing a plurality of skins with the measured values measured by using a skin measuring device as the objective variable.
  • a skin coefficient acquisition unit that acquires a skin evaluation coefficient that indicates a relative relationship that evaluates the firmness and elasticity of the skin calculated by regression analysis using at least one skin image index as an explanatory variable, and a skin image obtained by photographing the skin surface.
  • the image analysis unit that analyzes the skin image acquired by the image acquisition unit to acquire at least one skin image index, and the skin evaluation coefficient and the skin image index, It includes an index estimation unit for estimating the skin evaluation index.
  • the method for learning the skin evaluation coefficient of the third aspect of the present technology includes a step of acquiring at least one skin image index by analyzing a skin image obtained by photographing the skin surface, and the skin image using a skin measuring device.
  • the step of acquiring the measured values related to the firmness and elasticity of the skin included in the skin, and the combination of the measured values and the skin image index for a plurality of skins are accumulated, and the measured values are used as the objective function for the image analysis.
  • the step of performing regression analysis using the skin image index acquired in the section as an explanatory variable and calculating a skin evaluation coefficient indicating a relative relationship between the skin image index and the skin evaluation index for evaluating the firmness and elasticity of the skin is included. ..
  • the method for estimating the skin evaluation index of the fourth aspect of the present technology is obtained by analyzing a skin image obtained by photographing a plurality of skins with the measured values measured using a skin measuring device as the objective variable.
  • the step of acquiring a skin image obtained by photographing the skin surface, the step of analyzing the skin image acquired by the image acquisition unit to acquire at least one skin image index, the skin evaluation coefficient, and the skin image index. Includes a step of estimating the skin evaluation index based on.
  • the method of acquiring the focus value of the fifth aspect of the present technology is a method of acquiring the focus value for acquiring the focus value from the skin image, and determines whether or not the variation in the brightness of the skin image is equal to or less than a predetermined threshold value.
  • a determination step a step of determining whether or not the average value of the brightness of the skin image is within a predetermined range, a step of acquiring a frequency function for the brightness of the skin image, and a high-pass filter to the acquired frequency function. It includes a step of applying a filter and a step of integrating the brightness of the frequency function to which the high-pass filter is applied.
  • the method for acquiring the skin smoothness of the sixth aspect of the present technology is a method for acquiring the skin smoothness for acquiring the skin smoothness from the skin image, and the step of correcting the skin image and the corrected method. It includes a step of acquiring a single channel component for a skin image and a step of acquiring a standard deviation of the brightness of the single channel component.
  • the estimation system 10 includes a skin measuring device 20, a skin photographing unit 100, and a processing terminal unit 200.
  • the processing terminal unit 200 includes a learning device. 30 and the function of the estimation device 40 are included.
  • the processing terminal unit 200 has a calculation unit 210 and a recording unit 220.
  • the calculation unit includes a measurement value acquisition unit 222, a skin image acquisition unit 224, a data classification unit 240, a coefficient acquisition unit 250, and an index estimation unit 260.
  • the estimation system 10 acquires the measured value R from the skin measuring device 20 as the learning device 30.
  • the skin image I obtained from the skin photographing unit 100 is acquired for the skin on which the measured value R is measured, and the skin image index P acquired from the skin image I is acquired.
  • the estimation system 10 performs regression analysis on a plurality of measured values R and the skin image index P, and calculates a skin evaluation index showing a correlation between the measured value R and the skin image index P.
  • the estimation system 10 acquires the skin image I from the skin photographing unit 100 as the estimation device 40, and based on the acquired skin image I and the skin image index, obtains the skin evaluation index E of the acquired skin. presume. Each part will be described below.
  • the skin photographing unit 100 acquires the skin image I by photographing the skin surface S of the evaluated person as the subject.
  • the skin image I includes data of the ID number, gender, and age, which are the attributes of the evaluated person, in addition to the image data.
  • the skin photographing unit 100 is, for example, a skin measuring camera (SVC-001) manufactured by Sony Corporation.
  • the skin photographing unit 100 is provided on the outer periphery of the imaging unit 110 in which the image pickup element 112 for photographing the subject is arranged and the surface of the imaging unit 110 as shown in FIG. It has a tubular lens barrel portion 120 extending in the direction of the subject in the direction.
  • the imaging unit 110 transmits light of a predetermined polarized component (for example, a polarized component in the horizontal direction) through the unpolarized light emitting unit 114 that irradiates the light of the unpolarized component and the first polarizing filter.
  • the polarized light emitting unit 116 to be irradiated and the subject irradiated by the unpolarized light emitting unit 114 or the polarized light emitting unit 116 are photographed with light of a predetermined polarization component (for example, the polarization direction in the vertical direction) through the second polarization filter.
  • It includes an image pickup element 112.
  • the polarization directions of the first polarizing filter of the polarizing light emitting unit 116 and the second polarizing filter of the image sensor 112 have an orthogonal relationship.
  • the image pickup unit 110 the image pickup apparatus disclosed in Japanese Patent No. 6107537 can be used.
  • the image sensor 112 is arranged at the center of the image pickup unit 110.
  • the unpolarized light emitting unit 114 and the polarized light emitting unit 116 are arranged in the image pickup unit 110 in an annular shape around the image sensor 112.
  • the unpolarized light emitting unit 114 and the polarized light emitting unit 116 are arranged point-symmetrically with respect to the image sensor 112.
  • the image sensor 112 is, for example, a color CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • a second polarizing filter is arranged on the front surface of the image sensor 112.
  • the unpolarized light emitting unit 114 has an LED (Light Emitting Diode) light source that irradiates white light.
  • the polarized light emitting unit 116 has an LED light source that irradiates white light and a first polarizing filter arranged in front of the LED light source.
  • the unpolarized light emitting unit 114 and the polarized light emitting unit 116 are not limited to white light, and may be capable of irradiating ultraviolet light, red light, green light, or near-infrared light.
  • four unpolarized light emitting units 114 and four polarized light emitting units 116 are arranged, but the number of the unpolarized light emitting unit 114 and the polarized light emitting unit 116 is not limited to this example. At least two of the unpolarized light emitting unit 114 and the polarized light emitting unit 116 may be arranged point-symmetrically, and six or more of each may be arranged point-symmetrically.
  • the unpolarized light emitting unit 114 and the polarized light emitting unit 116 point-symmetrically, and to match the number of the unpolarized light emitting unit 114 and the polarized light emitting unit 116, but other than that. It may be arranged as.
  • the height of the lens barrel unit 120 from the image pickup unit 110 is the focal length of the image sensor 112.
  • the lens barrel portion 120 has a contact portion 122 at the end of the lens barrel portion 120 for contacting the skin surface S, which is the subject.
  • the contact portion 122 of the contact portion 122 has a moisture meter 124 for measuring the moisture content of the skin surface S.
  • the image sensor 112 captures the unpolarized image IT and the orthogonally polarized image IPV in a time-division manner.
  • the skin photographing unit 100 outputs the acquired unpolarized image IT and the orthogonally polarized image IPV to the processing terminal unit 200.
  • the unpolarized image IT is a skin image I of a subject irradiated by the unpolarized light emitting unit 114 taken by an image sensor 112 without a second polarizing filter.
  • the non-polarized light image I T including a proper photographic image I TF and push captured image I TD.
  • the properly photographed image I TF is a skin image I properly photographed in a state where the contact portion 122 of the skin photographing unit 100 is in contact with the skin surface S, that is, in a state where the focus of the image sensor 112 is on the subject. ..
  • the indentation photographed image I TD is a skin image I taken in a state where the contact portion 122 is pressed against the skin surface S, that is, a state in which the focus of the skin photographing portion 100 is defocused from the skin surface S.
  • Orthogonal polarized image I PV is a skin image I taken by so-called orthogonally polarized light, in which a subject irradiated by a polarized light emitting unit 116 having a first polarizing filter is photographed by an imaging element 112 having a second polarizing filter. Is.
  • the "skin image I" shall include any of the non-polarized light image I T and the orthogonal polarization image I PV including optimum photographing image I TF and push captured image I TD, "unpolarized image "IT ", unless otherwise specified, shall mean a properly photographed image IT TF.
  • the properly captured image ITF and the indentation captured image ITD are photographed by being irradiated with white light unless otherwise specified.
  • optimum photographing image I TF and push captured image I TD is not limited to being captured white light is irradiated.
  • the skin photographing unit 100 acquires each skin image I for each output, but the present invention is not limited to this.
  • the processing terminal unit 200 may collectively acquire a plurality of skin images I from the skin photographing unit 100.
  • the skin surface S of the evaluated person which is the subject, is irradiated with the unpolarized light emitting unit 114, and the image sensor 112 photographs the skin surface S of the evaluated person without a second polarizing filter.
  • Part 100 outputs an appropriate photographed image ITF of the skin surface S of the evaluated person.
  • the image pickup element 112 of the evaluated person passes through the second polarizing filter.
  • the skin imaging unit 100 outputs an orthogonal polarization image I PV skin surface S of the evaluator, to acquire the processing terminal unit 200.
  • the image sensor 112 is covered with the second polarizing filter.
  • skin photographing unit 100 outputs the push captured image I TD skin surface S of the evaluator, to acquire the processing terminal unit 200.
  • the processing terminal unit 200 processes the measured value R measured by the skin measuring device 20 and the skin image I imaged by the skin photographing unit 100.
  • the processing terminal unit 200 is, for example, a stationary personal computer, a notebook computer, or a tablet. Further, the processing terminal unit 200 may be connected to another device via communication to execute arithmetic processing on the other device. As shown in FIG. 1, the processing terminal unit 200 has a calculation unit 210 and a recording unit 220. The recording unit 220 is connected to the calculation unit 210.
  • the processing terminal unit 200 is configured so that the measured value R and the skin image I can be acquired from the skin measuring device 20 and the skin photographing unit 100, respectively.
  • the processing terminal unit 200 is configured so that the skin image I can be acquired from the skin photographing unit 100 by wireless communication.
  • the processing terminal unit 200 has a built-in charging battery (not shown) and is configured to be rechargeable.
  • the processing terminal unit 200 may acquire the water content of the skin from the moisture meter 124 included in the skin photographing unit 100.
  • the calculation unit 210 includes a measurement value acquisition unit 222, a skin image acquisition unit 224, an image analysis unit 230, a data classification unit 240, a coefficient acquisition unit 250, and an index estimation unit 260.
  • the measured value acquisition unit 222, the skin image acquisition unit 224, the image analysis unit 230, the data classification unit 240, the coefficient acquisition unit 250, and the index estimation unit 260 are expressed by executing each program recorded in the recording unit 220. ..
  • the measured value acquisition unit 222 acquires the measured value of the skin acquired by the skin measuring device 20.
  • the skin image acquisition unit 224 acquires the skin image acquired by the skin imaging unit 100.
  • the image analysis unit 230 analyzes the skin image I and calculates the skin image index P.
  • the skin image index P includes any one of an appropriate shooting focus value, a pressing shooting focus value, skin smoothness, fineness of texture, pore statistic, and shine amount.
  • the image analysis unit 230 calculates the skin image index P by analyzing the indentation captured image I TD and orthogonal polarization image I PV.
  • the image analysis unit 230 includes a focus value acquisition unit 270 for calculating each of the skin image index P, a skin smoothness acquisition unit 280, a texture fineness acquisition unit 290, a pore statistic acquisition unit 310, and a shine amount acquisition unit 320. include.
  • the image analysis unit 230 realizes the functions of each unit by executing each program recorded in the recording unit 220. The processing executed by the focus value acquisition unit 270, the skin smoothness acquisition unit 280, the fineness acquisition unit 290, the pore statistic acquisition unit 310, and the shine amount acquisition unit 320 will be described later.
  • the data classification unit 240 links the acquired measured value R and the skin image index P with the ID number recorded in each, and obtains a set of data D for each evaluated person.
  • the calculation unit 210 records the acquired data D in the recording unit 220.
  • the data D includes an ID number, gender, age, measured value R, appropriate shooting focus value, indentation shooting focus value, skin smoothness, fineness of texture, pore statistic, and shine amount for each evaluated person.
  • the process of recording in the recording unit 220 may be executed by a process other than the data classification unit 240.
  • Data classification unit 240 the data D, and each ID number, classified into learning data group D S and the test data group D T.
  • the data classification unit 240 has a random number generation unit 242 that generates a random number seed.
  • Data classification unit 240 by applying the random number seed the random number generator 242 has generated the data D, the learning data group data D is classified for each ID number based on the random number seed D S and the test data group DT can be obtained.
  • the data classifying section 240 a portion of the data D to the learning data group D S, a part of the other can be a test data group D T.
  • Coefficient obtaining unit 250 the relationship between the measured value R with the skin image index P of the classified training data set D S by the data classifying section 240 acquires the skin evaluation coefficient C.
  • the coefficient acquisition unit 250 has an analysis unit 252.
  • the coefficient acquisition unit 250 derives the skin evaluation coefficient C by performing regression analysis with the measured value R as the objective variable and the skin image index P as the explanatory variable by the analysis unit 252.
  • the coefficient acquisition unit 250 can use Bayesian linear regression as a regression analysis method.
  • Regression analysis methods are not limited to Bayesian linear regression, for example, least squares method (OLS), lasso regression (Lasso), ridge regression (Ridge), elastic net (ElasticNet), tailsen estimation (Teil-Sen), Lansac (RANSAC). ), Huber regression, and the like can be used.
  • the method of calculating the skin evaluation coefficient C is not limited to regression analysis.
  • Coefficient obtaining unit 250 for each of a plurality of combinations of the learning data group D S and the test data group D T for data classification unit 240 creates performs regression analysis on the learning data group D S, test A plurality of skin evaluation coefficients may be calculated by performing evaluation using the data group DT, and an averaging process may be executed on the calculated plurality of skin evaluation coefficients to calculate the skin evaluation coefficient C. Further, the coefficient acquisition unit 250 may acquire the correlation coefficient and the relative error between the skin evaluation coefficient C and the skin image index P to evaluate the skin evaluation coefficient C. In this case, for the relative error, for example, the average error can be used as the relative error. The relative error is not limited to the average error, and for example, the maximum error and the standard deviations ⁇ and 3 ⁇ may be used. The relative error may represent the relative error between the measured value R and the skin evaluation index E as a percentage of the measured value R. The coefficient acquisition unit 250 may use the skin evaluation coefficient having a small error as the calculated skin evaluation coefficient.
  • the index estimation unit 260 calculates the skin evaluation index E.
  • the index estimation unit 260 has a calculation unit 262 and an evaluation unit 264.
  • the calculation unit 262 calculates the skin evaluation index E from the skin evaluation coefficient C and the skin image index P.
  • the evaluation unit 264 evaluates the calculated skin evaluation index E. For example, the firmness and elasticity of the skin are evaluated based on the skin evaluation index E.
  • the skin measuring device 20 acquires the measured value R by measuring the amount of stretch of the skin when the skin (skin) of the evaluated person is opened after suction.
  • the amount of skin elongation is measured by the skin measuring device 20 by a so-called suction method.
  • the skin measuring device 20 faces the opening 22 provided at the tip of the skin measuring device 20 for sucking the skin surface S through the opening 22.
  • the elongation amount measuring unit 28 includes a light emitting unit 28A that outputs light and a light receiving unit 28B that receives light.
  • the elongation amount measuring unit 28 measures the elongation amount of the skin surface S, for example, the intensity of the light output from the light projecting unit 28A and the intensity of the light received by the light receiving unit 28B after being reflected by the pair of prism units 24. It is done based on.
  • the skin measuring device 20 is, for example, a cute meter manufactured by Collage & Kazaka Co., Ltd.
  • the negative pressure generating portion 26 holds the opening 22 in a state where the skin surface S is in close contact with the opening 22 having the tip of the skin measuring device 20. Negative pressure is applied for a certain period of time t1. When the opening 22 becomes negative pressure, the skin surface S is sucked and stretches in the opening 22. The stretched skin surface S blocks light passing through the pair of prism portions 24 according to the stretched amount. As a result, the elongation amount measuring unit 28 measures the elongation amount of the skin surface S according to the intensity of the light after shading. The skin measuring device 20 acquires the maximum amount of elongation Uf of the stretched skin surface S. Further, the skin measuring device 20 outputs the measured value R.
  • the elongation amount measuring unit 28 acquires the elongation amount Ua of the skin surface S after a lapse of a predetermined time t2 after releasing the negative pressure.
  • the stretch amount Uf and the stretch amount Ua of the skin surface S acquired by the skin measuring device 20 are recorded in the skin measuring device 20 together with the ID number of the evaluated person.
  • the amount of elongation of the skin surface S by the skin measuring device 20 may be continuously measured from the start of suction of the skin surface S until a predetermined time t2 elapses after opening.
  • FIG. 5 shows the temporal change in the amount of elongation of the skin surface S when measured by the skin measuring device 20.
  • the vertical axis shows the amount of elongation of the skin surface S
  • the horizontal axis shows the elapsed time.
  • Uf shown in FIG. 5 is the maximum amount of elongation of the sucked skin surface S described above.
  • Ua is the amount of elongation of the skin surface S after the above-mentioned negative pressure is released and a predetermined time t2 elapses.
  • the skin evaluation coefficient learning method and the skin evaluation index estimation method include a step of acquiring a measured value and a skin image (S10), a step of acquiring a skin image index (S12), and data for learning data group and test.
  • It includes a step of acquiring an image (S20) and a step of calculating a skin evaluation index of the acquired skin image (S22).
  • the skin evaluation coefficient learning methods S10 to S18 and the skin evaluation index estimation methods S20 and S22 may be executed as separate processes.
  • the calculation unit 210 acquires the measured value R acquired by the skin measuring device 20 and the skin image I acquired by the skin photographing unit 100.
  • the skin image I includes a properly photographed image I TF , a push-in image I TD, and an orthogonally polarized image I PV .
  • the calculation unit 210 acquires the skin image index P by causing the image analysis unit 230 to analyze the skin image I. Specifically, the calculation unit 210 causes the image analysis unit 230 to execute the program recorded in the recording unit 220, and the focus value acquisition unit 270, the skin smoothness acquisition unit 280, the texture fineness acquisition unit 290, and the pore statistics. The amount acquisition unit 310 and the shine amount acquisition unit 320 are expressed, respectively.
  • the calculation unit 210 acquires an appropriate shooting focus value and a push-in shooting focus value by the focus value acquisition unit 270. Further, the calculation unit 210 acquires the skin smoothness by the skin smoothness acquisition unit 280. Further, the calculation unit 210 acquires the fineness of the texture by the fineness acquisition unit 290. Further, the calculation unit 210 acquires the pore statistic by the pore statistic acquisition unit 310. Further, the calculation unit 210 acquires the shiny amount by the shiny amount acquisition unit 320.
  • Calculation unit 210 step S14 sorts the data D to the learning data group D S and the test data group D T.
  • Calculation section 210 acquires the 100 training data set D S and the test data group D T that is applied to the data D, for example, 100 pieces of random number seed. In the case of all the data D and the learning data group D S may be omitted this step.
  • the arithmetic unit 210 to the learning data group D S, perform regression analysis to obtain a skin evaluation coefficients C indicating the relationship between the measured value R with the skin image index P.
  • the arithmetic unit 210 target variable measurements R, by performing a regression analysis as explanatory variables skin image index P for the learning data group D S, and acquires the skin evaluation coefficient C.
  • Calculation section 210 in S14, for example, when the 100 pieces of the learning data group D S is acquired, the 100 training data set D S target variable measurements R for skin image index P explanatory variables By performing regression analysis for each, 100 skin evaluation coefficients C are obtained.
  • the skin evaluation coefficient C is a coefficient capable of calculating the skin evaluation index E from the skin image index P.
  • the skin evaluation index E is expressed as the following formula 1.
  • Skin evaluation index E skin evaluation coefficient C, skin image index P ... (Equation 1)
  • the skin evaluation index E is as follows. It is expressed as in Equation 2.
  • i is a number representing the identification of the skin image index shown below.
  • p1 Appropriate shooting focus value p2: Push-in shooting focus value p3: Skin smoothness p4: Fine texture p5: Pore statistics p6: Shiny amount c1 to c6: Coefficient of each skin image index obtained by regression analysis K: Regression It is an offset value calculated by analysis.
  • Calculation section 210 skin metrics E calculated using the learning data group D S and the measurement value R, by performing the evaluation on the test data group D T, and obtains a correlation coefficient and relative error You may.
  • the calculation unit 210 may acquire the correlation coefficient and the relative error between the skin evaluation index E and the measured value R for the test data group DT, and determine the skin evaluation coefficient C based on the acquisition result.
  • the calculation unit 210 acquires the skin image I to be evaluated.
  • the calculation unit 210 calculates the skin image index P of the skin image I, and estimates the skin evaluation index E based on the skin image index P and the skin evaluation coefficient C.
  • the focus value represents the degree of focus in the skin image I.
  • the focus value is based on the tendency for the skin to be in focus when it is elastic. That is, it can be said that the higher the focus value in the skin image I, the more elastic the skin. Focus value, for optimum photographing image I TF and push captured image I TD, are respectively acquired.
  • the focus value is acquired by the focus value acquisition unit 270 as shown in FIG. As shown in FIG. 7, the focus value acquisition unit 270 includes an image editing unit 272, a brightness acquisition unit 274, a frequency function unit 276, and an integration unit 278.
  • Image editing unit 272 to the optimum photographing image I TF and push captured image I TD, divided into a plurality of regions and, for synthesizing a plurality of images.
  • the image editing unit 272 outputs a composite image.
  • the brightness acquisition unit 274 acquires the brightness of the image.
  • the calculation unit 210 can acquire the average brightness of the entire image.
  • the brightness of the image may be acquired, for example, for only the components of any channel in the RGB color model.
  • the frequency function unit 276 applies a two-dimensional fast Fourier transform to the image and acquires the frequency function. Further, the frequency function unit 276 applies a high-pass filter to the acquired frequency function to acquire a frequency function in which components below a predetermined frequency are cut.
  • the integration unit 278 integrates the amplitude components of the frequency function that cuts the components below the predetermined frequency.
  • the calculation unit 210 outputs the integrated value of the amplitude component to the focus value.
  • the focus value acquisition method includes a step (S110) of determining whether or not the standard deviation of the brightness in the region where the skin image is divided into four is smaller than the threshold value, and a step (S114) of dividing the skin image into nine and acquiring a composite image. ), A step of determining whether or not the average brightness of the composite image is within a predetermined range (S116), a step of acquiring the frequency function of the composite image (S118), and a step of filtering the frequency function and integrating the amplitude. It has (S120) and a step (S122) of acquiring the integrated value of the amplitude as the focus value.
  • each step will be described.
  • the arithmetic unit 210 first, the optimum photographing image TF and push captured image I TD is obtained skin image I, as shown in FIG. 9, 2 ⁇ respectively divided into four regions of 2, respectively Get the standard deviation of brightness for the area of. Next, the calculation unit 210 determines whether or not the standard deviation of the brightness in each acquired playful is smaller than the predetermined threshold value, and determines that the standard deviation of the brightness in any region is smaller than the predetermined threshold value. If (Yes in S110), the process proceeds to the next S114. When it is determined that the standard deviation of the brightness is equal to or greater than a predetermined threshold value (No in S110), the focus value is set to zero on the assumption that there is one-sided floating (S112).
  • the average luminance of the composite image I GF and the composite image I GD is acquired, and it is determined whether or not the average luminance of each is within a predetermined range.
  • the calculation unit 210 determines that the average brightness of the composite image I GF and the composite image I GD is within a predetermined range (Yes in S116)
  • the calculation unit 210 proceeds to S118.
  • the calculation unit 210 determines that the average brightness of the composite image I GF and the composite image I GD is equal to or higher than a predetermined range (No in S116)
  • the calculation unit 210 takes a picture of something other than the skin surface S.
  • the focus value is set to zero (S112).
  • the predetermined range used to determine the average brightness of the composite image is the upper limit and the lower limit when the color resolution of the image is 8 bits, that is, when the brightness of the image is indicated between 0 and 255. It is desirable that the difference from the value is greater than 100. More preferably, the predetermined range has a lower limit of 80 and an upper limit of 200.
  • the calculation unit 210 acquires a frequency function for each of the composite image I GF and the composite image I GD by performing a two-dimensional frequency analysis (two-dimensional FFT).
  • the arithmetic unit 210 performs high-pass filter (HPF) processing on the frequency functions of the acquired composite image I GF and composite image I GD , and performs a high-pass filter (HPF) process on the frequency functions having only frequency components above a predetermined frequency. get.
  • the calculation unit 210 integrates the power spectrum (amplitude component) for each frequency for the frequency function after the high-pass filter processing for the composite image I GF and the composite image I GD, and acquires the integrated value.
  • Arithmetic unit 210 outputs a focus value for the optimum photographing image I TF and push captured image I TD respectively.
  • the skin smoothness represents the continuity of the skin surface S.
  • Skin smoothness is based on the idea that smooth skin is well-stretched, firm and well-textured. That is, it can be said that the higher the smoothness of the skin, the more elastic the skin.
  • the skin smoothness is acquired based on the properly captured image ITF.
  • the skin smoothness is acquired by the skin smoothness acquisition unit 280 shown in FIG. As shown in FIG. 11, the skin smoothness acquisition unit 280 includes an image correction unit 282, a single channel extraction unit 284, a standard deviation acquisition unit 286, and a skin smoothness acquisition unit 288.
  • the calculation unit 210 uses the image correction unit 282 to perform predetermined corrections such as distortion correction and reduction for the skin image I.
  • the image correction unit 282 acquires the corrected skin image I.
  • the calculation unit 210 extracts the signal component of only one of the channels in the RGB color model from the corrected skin image I by the single channel extraction unit 284.
  • the single channel extraction unit 284 acquires a single channel image.
  • the calculation unit 210 acquires the brightness of the entire image of the single channel image acquired in S284 by the standard deviation acquisition unit 286, and acquires the standard deviation of the brightness.
  • the calculation unit 210 uses the skin smoothness acquisition unit 288 to set the standard deviation of the brightness acquired in S284 as the skin smoothness.
  • the calculation unit 210 outputs skin smoothness.
  • the method of obtaining skin smoothness will be described with reference to FIG.
  • the skin smoothness acquisition method includes a step of correcting an image and (S210). It has a step of acquiring a single channel component (S212), a step of acquiring a standard deviation of luminance (S214), and a step of acquiring skin smoothness (S216). Hereinafter, each step will be described.
  • the calculation unit 210 makes a predetermined correction on the acquired appropriate captured image ITF.
  • the predetermined correction is, for example, a distortion correction of the skin image I or a correction of reducing the size of the skin image I.
  • the arithmetic unit 210 acquires the standard deviation of the overall brightness of the acquired single channel image.
  • the calculation unit 210 sets the acquired standard deviation as skin smoothness.
  • the calculation unit 210 outputs skin smoothness.
  • the fineness of the texture indicates the number of skin hills on the skin surface S.
  • the fineness of the texture is based on the idea that the more elastic the skin is, the finer the texture is. That is, it can be said that the higher the texture, the more elastic the skin.
  • Granularity is obtained based on the optimum photographing image I TF. The fineness can be obtained by the method disclosed in Japanese Patent No. 5733570.
  • the fineness acquisition unit 290 includes an image correction unit 292, a single channel extraction unit 294, a noise removal unit 296, a binarization unit 298, a labeling processing unit 300, and a normalization unit. It has 302 and.
  • the image correction unit 292 performs predetermined corrections such as distortion correction and reduction for the skin image I.
  • the image correction unit 292 acquires the corrected skin image I.
  • the single channel extraction unit 294 extracts the signal component of only one of the channels in the RGB color model for the corrected skin image I.
  • the single channel extraction unit 294 acquires a single channel image.
  • the noise removal unit 296 removes noise from a single channel image.
  • the noise removing unit 296 acquires a noise removing image.
  • the binarization unit 298 performs binarization processing on the noise-removed image.
  • the binarization unit 298 acquires a binarized image.
  • the labeling processing unit 300 performs labeling processing on the binarized image and acquires the skin hill region and the number of skin hills.
  • the labeling processing unit 300 acquires the skin hill region and the number of skin hills as a surface hill pattern.
  • the normalization unit 302 normalizes the number of skin hills and acquires the fineness. Specifically, the normalization unit 302 normalizes the number of skin hills acquired by the labeling processing unit 300 by applying it to a predetermined normalization curve, and acquires the fineness normalized to the range of 0 to 1. .. The normalization unit 302 outputs the fineness of texture.
  • the method of acquiring the fineness will be described with reference to FIG.
  • the fineness acquisition method includes a step of correcting the acquired skin image (S310), a step of extracting the signal component of a predetermined channel (S312), a step of removing noise in the image (S314), and 2 It has a step of performing the valuation process (S316), a step of performing the labeling process (S318), and a step of normalizing (S320).
  • S310 the acquired skin image
  • S312 a step of extracting the signal component of a predetermined channel
  • S314 a step of removing noise in the image
  • S320 a step of normalizing
  • the calculation unit 210 performs a predetermined correction on the properly captured image ITF acquired by the image correction unit 292.
  • the predetermined correction is, for example, a correction such as distortion correction or reduction of the skin image I.
  • the arithmetic unit 210 extracts the signal component for a predetermined channel among the R channel, G channel, and B channel in the RGB color model from the image corrected in S310 by the single channel extraction unit 294. ..
  • the predetermined channel is, for example, B channel.
  • the single channel extraction unit 294 outputs an image of only a single channel component. When the skin photographing unit 100 is a spectroscopic camera, this process can be omitted.
  • the arithmetic unit 210 removes noise from the single channel image acquired in S312 by the noise removing unit 296.
  • the arithmetic unit 210 performs binarization processing.
  • the calculation unit 210 performs binarization processing on all the pixels of the image after noise removal while shifting the attention block one pixel at a time with respect to the image after noise removal in S314 to generate a binarized image.
  • the calculation unit 210 acquires the labeling area by performing the labeling process on the binarized image.
  • the calculation unit 210 detects a skin hill region within a predetermined size range based on the size of the image sensor 112 and the like among the acquired labeling regions.
  • the calculation unit 210 counts the number of skin hill regions in the binarized image and acquires the number of front hills.
  • the calculation unit 210 normalizes the number of table hills acquired by the labeling processing unit 300 within the range of 0 to 1 by converting it with a predetermined normalization curve, and makes it finer.
  • the calculation unit 210 outputs the fineness.
  • Pore Statistic> The pore statistic represents the number of pores of a certain size or larger on the skin surface S. Pore statistics are based on the idea that the more elastic the skin, the smaller the size of the pores. That is, it can be said that the smaller the pore statistic, the more elastic the skin. The pore statistic is acquired based on the properly captured image ITF. Pore statistics can be obtained by the method disclosed in Japanese Patent No. 6299594.
  • the pore statistic is acquired by the pore statistic acquisition unit 310 shown in FIG.
  • the pore statistic acquisition unit 310 includes a preprocessing unit (not shown), a luminance information separation unit (not shown), a feature amount calculation unit 312, a feature portion extraction unit 314, and a statistic calculation unit 316.
  • a preprocessing unit not shown
  • a luminance information separation unit not shown
  • a feature amount calculation unit 312 a feature portion extraction unit 314, and a statistic calculation unit 316.
  • the pretreatment unit preprocesses the skin image I.
  • the pre-processing unit applies contrast enhancement processing to make the shadows more conspicuous with respect to the luminance information of the skin image I. Further, the preprocessing unit may perform processing such as noise removal and shading correction on the skin image I before contrast enhancement.
  • the luminance information separation unit (not shown) separates the luminance information obtained by the preprocessing unit into global luminance information and local luminance information.
  • the global luminance information is information indicating a lighting component included in an image and a structural component of the skin.
  • the local luminance information is information indicating a fine pattern of the skin such as texture.
  • the feature amount calculation unit 312 calculates the feature amount.
  • the feature amount calculation unit 312 calculates the feature amount using, for example, the global luminance information generated by the luminance information separation unit.
  • the feature portion extraction unit 314 extracts the feature portion based on the feature amount obtained by the feature amount calculation unit 312.
  • the feature partial extraction unit 314 sets the extraction condition that the Laplacian indicating the polarity related to the gradation of the skin image, which is the feature amount, is “1”. Further, the feature portion extraction unit 314 requires that the scale of the feature amount obtained by the feature amount calculation unit 312 corresponds to the size of the pores. Further, the feature portion extraction unit 314 may limit the strength.
  • the statistic calculation unit 316 calculates the statistic of the feature part.
  • the statistic calculation unit 316 measures the number of feature portions extracted by the feature portion extraction unit 314 and calculates the number of pores.
  • the statistic calculation unit 316 calculates the average value of the scales of the extracted feature portions.
  • the statistic calculation unit 316 obtains the statistic of the size of the pores from the average value of the scales of the feature portions.
  • the statistic calculation unit 316 may calculate not only the average value but also the maximum value, the variance, and the like. Further, the statistic calculation unit 316 may classify the pore sizes and calculate the total value of the class values of the classes having a predetermined size or larger when the class values are obtained for each class.
  • the pore statistic acquisition method includes a step of acquiring a feature amount of the acquired skin image (S410), a step of determining whether or not the polarity is predetermined (S412), and a predetermined scale.
  • the calculation unit 210 acquires the feature amount. Specifically, the calculation unit 210 uses the feature amount calculated using the global luminance information, for example, the polarity related to the gradation of the skin image, the scale representing the pixel region having similar pixel values different from the periphery, and the intensity ( Acquire a feature amount indicating (contrast difference).
  • the global luminance information for example, the polarity related to the gradation of the skin image, the scale representing the pixel region having similar pixel values different from the periphery, and the intensity ( Acquire a feature amount indicating (contrast difference).
  • the calculation unit 210 determines whether or not the polarity is predetermined. The calculation unit 210 proceeds to S414 when the feature amount indicates the polarity of the feature portion to be extracted, for example, when the Laplacian is "1" and matches the features of the pores (Yes in S412). Further, when the calculation unit 210 determines that the feature amount does not indicate the polarity of the feature portion (No in S412), the calculation unit 210 proceeds to S422.
  • the calculation unit 210 determines whether or not the scale is predetermined. When the calculation unit 210 indicates the scale of the portion to be extracted by the feature amount, for example, when it is determined that the scale indicated by the feature amount is the scale corresponding to the pores (Yes in S414), the calculation unit 210 proceeds to S416. If the calculation unit determines that the feature amount does not indicate a predetermined scale (No in S414), the calculation unit proceeds to S422.
  • the calculation unit 210 determines whether or not the strength is predetermined. When the calculation unit 210 indicates the strength of the feature portion to be extracted by the feature amount, for example, when the strength indicated by the feature amount is determined to be equal to or higher than the strength corresponding to the contrast difference between the pore portion and the skin portion (S416). Yes), proceed to S418. Further, when the calculation unit 210 determines that the feature amount does not show a predetermined intensity (No in S416), for example, the calculation unit 210 determines that the intensity indicated by the feature amount is smaller than the contrast difference between the pore portion and the skin portion. If so, the process proceeds to S422.
  • the arithmetic unit 210 determines that it is a feature portion.
  • the calculation unit 210 determines, for example, S412 to S416 that satisfy the pore extraction condition as a portion indicating a pore that is a characteristic portion, and proceeds to S420.
  • the calculation unit 210 determines whether or not the extraction process of the feature portion is completed. When the calculation unit determines that a feature amount region that has not been determined to be a feature portion remains (No in S420), proceeds to S422, and determines that it does not remain (Yes in S422). Proceed to S424.
  • the arithmetic unit 210 acquires a new feature amount.
  • the calculation unit 210 acquires a feature amount that has not been determined to be a feature portion, and returns to S412.
  • the calculation unit 210 calculates a statistic for the feature portion. For example, when pores are extracted as a feature amount, the calculation unit 210 measures the number of feature portions and acquires the number of pores. Further, the calculation unit 210 calculates the average value of the scales of the acquired feature portions, and acquires the average value of the pore sizes. In addition, the size of the pores is classified, the class value is obtained for each class, and the total of the class values of the classes having a predetermined size or larger is used as the pore statistic. The calculation unit 210 outputs the pore statistic.
  • the determination order of polarity, scale and intensity is not limited to the order shown in FIG. 16 and may be another order.
  • the feature portion can be extracted without determining the polarity.
  • the amount of shine represents the degree to which the irradiated light is reflected on the surface of the skin.
  • the amount of shine is based on the idea that the more elastic the skin, the less shine. That is, the smaller the amount of shine, the higher the elasticity of the skin. Shininess amount is obtained based on the non polarized image I T and the orthogonal polarization image I PV.
  • the amount of shine can be obtained by the method disclosed in Japanese Patent No. 6107537.
  • the amount of shine is acquired by the amount of shine acquisition unit 320 shown in FIG. As shown in FIG. 17, the shine amount acquisition unit 320 has a preprocessing unit 322, a specular reflection image generation unit 324, and a shine amount calculation unit 326.
  • Pre-processing unit 322 performs relative to the non-polarization image I T orthogonal polarization image I PV supplied from the skin photographing unit 100, the preprocessing for facilitating Process the corporation. Specifically, the preprocessing unit 322 adjusts the brightness levels of the two images so that the brightness level (average brightness) becomes an optimum value.
  • Specular reflection image generating unit 324 by using the non polarized image I T and the orthogonal polarization image I PV after preprocessing supplied from the preprocessing unit 322, to generate a specular image of a specular reflection component.
  • the shine amount calculation unit 326 calculates the shine amount from the specular reflection image generated by the specular reflection image generation unit 324.
  • the amount of shine is calculated by the following formula 3.
  • N the number of pixels of the specular reflection image x
  • y the position of the pixel in the image Is (x, y): represents the brightness value in the pixel of the specular reflection image.
  • the amount of shine can be determined by the average brightness of the specular reflection image.
  • the method for acquiring the amount of shine includes a step (S510) for preprocessing an unpolarized image and an orthogonally polarized image, a step (S512) for acquiring a difference image, and a step (S514) for performing clipping processing. ) And a step (S516) for calculating the amount of shine.
  • S510 for preprocessing an unpolarized image and an orthogonally polarized image
  • S512 for acquiring a difference image
  • S514 for performing clipping processing.
  • S5 for performing clipping processing.
  • S5 for performing clipping processing.
  • S516 for calculating the amount of shine.
  • the calculation unit 210 performs preprocessing on the acquired unpolarized image IT and orthogonally polarized image IPV. Specifically, the calculation unit 210 adjusts the brightness so that the average brightness of the image becomes an optimum value.
  • the calculation unit 210 acquires a difference image. Specifically, the calculation unit 210 multiplies the orthogonally polarized image IPV by the gain. The arithmetic unit 210, an orthogonal polarization image I PV from preprocessed unpolarized image I T obtained by multiplying the gain is subtracted to obtain a difference image.
  • the arithmetic unit 210 performs clipping processing. Specifically, the calculation unit 210 clips the difference image so that the image falls within an appropriate range. The calculation unit 210 uses the image after clipping processing as a mirror reflection image. The calculation unit 210 outputs a mirror reflection image.
  • the calculation unit 210 calculates the amount of shine from the mirror reflection image. Specifically, the calculation unit 210 acquires the position, the brightness value, and the number of pixels in the image for each pixel for the entire mirror reflection image. The calculation unit 210 calculates the amount of shine by Equation 3 based on the acquired position and brightness value in the image for each pixel and the number of pixels. The calculation unit 210 outputs the amount of shine.
  • FIG. 7 shows a correlation diagram between the skin evaluation index E and the measured value R according to Example 1.
  • Skin image index P used in Example 1 optimum photographing focus value of the learning data group D S, a push imaging focus value and skin smoothness. That is, the skin evaluation coefficient C, target variable measured value R of the training data set D S, optimum photographing focus value of the learning data group D S, is derived as explanatory variables push imaging focus value and skin smoothness .
  • Figure 19 represents a skin evaluation index E calculated by a skin evaluation coefficient C and the skin image index P of the learning data group D S "train”, and skin evaluation coefficient C and the test data group D T skin image
  • the "test” representing the skin evaluation index E calculated by the index P and the index P is shown.
  • the vertical axis “estimated value” means the skin evaluation index E
  • the horizontal axis “measured value” means the measured value R.
  • Skin evaluation index E c11 ⁇ p1 + c21 ⁇ p2 + c31 ⁇ p3 + k1 ⁇ ⁇ ⁇ (Equation 4)
  • p1 proper shooting focus value
  • p2 push-in shooting focus value
  • p3 skin smoothness
  • c11 proper shooting focus value
  • c21 push-in shooting focus value
  • skin evaluation coefficient c31 skin smoothness skin evaluation coefficient k1 : Offset value calculated by regression analysis.
  • FIG. 20 shows the correlation coefficient and the relative error between the skin evaluation index E and the measured value R according to the second embodiment.
  • the skin image index P according to the second embodiment is an appropriate shooting focus value, a push-in shooting focus value, and skin smoothness.
  • the correlation coefficient is indicated by a polygonal line (corr).
  • the relative errors are mean error (mean), maximum error (max), and standard deviation ( ⁇ and 3 ⁇ ).
  • the learning data group D S is 100 learning data group D S classified by applying 100 random seed data D is used.
  • Regression analysis methods include least squares (OLS), lasso regression (Lasso), ridge regression (Ridge), elastic net regression (ElasticNet), Bayesian linear regression (Bayesian) and Thiel-Sen.
  • Skin metric E is calculated based on the skin evaluation coefficient C for each training data unit D S regression analysis method, which is derived based on a test data group D T corresponding to the learning data group D S It is also the average of the skin evaluation indexes for each regression analysis method.
  • equation 5 an example of a relationship between the optimum photographing focus value, push imaging focus value and skin smoothness Skin metrics E and skin image index P in which learning data group D S.
  • Skin evaluation index E c12, p1 + c22, p2 + c32, p3 + k2 ...
  • Equation 5 p1: proper shooting focus value p2: push-in shooting focus value p3: skin smoothness c12: averaged proper shooting focus value skin evaluation coefficient c22: averaged push-in shooting focus value skin evaluation coefficient c32: averaged Skin smoothness skin evaluation coefficient k2: An offset value calculated by averaged regression analysis.
  • the correlation coefficient (corr) is often based on the least squares method or ridge regression.
  • the skin evaluation index E to be obtained using the skin evaluation coefficient C derived by the ridge regression having a lower average error can be used.
  • FIG. 21 shows the correlation coefficient and the relative error between the skin evaluation index E and the measured value R according to the third embodiment.
  • the skin image index P according to the third embodiment is an appropriate shooting focus value, a pressing shooting focus value, skin smoothness, fineness of texture, a pore statistic, and a shiny amount.
  • Learning data group D S is 100 learning data group D S classified by applying 100 random seed data D is used.
  • the regression analysis method the least squares method, the lasso regression, the ridge regression, the elastic net regression, the Bayesian linear regression, the Taylorsen regression and the Hoover regression are used as in the second embodiment.
  • Skin metric E is calculated based on the skin evaluation coefficient C for each training data unit D S regression analysis method, which is derived based on a test data group D T corresponding to the learning data group D S It is also the average of the skin evaluation indexes for each regression analysis method.
  • Equation 6 shows an example of the relationship between the optimum photographing focus value, push imaging focus value and skin smoothness Skin metrics E and skin image index P in which learning data group D S.
  • Skin evaluation index E c13, p1 + c23, p2 + c33, p3 + c43, p4 + c53, p5 + c63, p6 + k3 ...
  • the learning device 30 acquires the measured value R and the skin image I for the skin of the evaluated person, and acquires the skin evaluation coefficient C. As shown in FIG. 22, the learning device 30 has a skin photographing unit 100 and a processing terminal unit 400. Wireless communication is possible between the skin photographing unit 100 and the processing terminal unit 400.
  • the processing terminal unit 400 has a calculation unit 410 and a recording unit 420.
  • the calculation unit 410 includes a measurement value acquisition unit 222, a skin image acquisition unit 224, an image analysis unit 230, a data classification unit 240, and a coefficient acquisition unit 250.
  • the image analysis unit 230, the data classification unit 240, and the coefficient acquisition unit 250 can have the same configuration as the estimation system 10 of the first embodiment.
  • the skin evaluation coefficient learning method includes a step of acquiring data (S610), a step of acquiring a skin image index (S612), and a step of acquiring a skin evaluation coefficient (S614). ..
  • the calculation unit 410 acquires the measured value R of the skin surface S of the evaluated person acquired by the skin measuring device 20 and the skin image I of the skin surface S of the evaluated person acquired by the skin image acquisition device.
  • the measured value R and the skin image I have the ID number of the evaluated person recorded and are associated with each other.
  • the calculation unit 410 acquires the skin image index P by analyzing the skin image I.
  • the calculation unit 410 acquires the skin evaluation coefficient C between the measured value R and the skin image index P by performing regression analysis with the measured value R as the objective variable and the skin image index P as the explanatory variable.
  • the estimation device 40 acquires the skin evaluation index E for the skin surface S of the evaluated person based on the skin evaluation coefficient C and the skin image index P. As shown in FIG. 24, the estimation device 40 has a skin photographing unit 100 and a processing terminal unit 500. Wireless communication is possible between the skin photographing unit 100 and the processing terminal unit 500.
  • the processing terminal unit 500 includes a skin image acquisition unit 224, a calculation unit 510, and a recording unit 520.
  • the calculation unit 510 includes an image analysis unit 230 and an index estimation unit 260.
  • the image analysis unit 230 and the index estimation unit 260 can have the same configuration as the estimation system 10 of the first embodiment.
  • the image analysis unit 230 and the index estimation unit 260 are expressed by executing the program recorded in the recording unit 520, respectively.
  • the skin evaluation index estimation method includes a step of acquiring a skin image (S710), a step of acquiring a skin image index (S712), and a step of acquiring a skin evaluation index (S714).
  • S710 a skin image
  • S712 a skin image index
  • S714 a skin evaluation index
  • the calculation unit 510 acquires the skin image I of the evaluated person acquired by the skin photographing unit 100.
  • the skin image I records information on the ID number, gender, and age of the evaluated person.
  • the acquired skin image I is recorded in the recording unit 520.
  • the calculation unit 510 causes the image analysis unit 230 to analyze the skin image I and acquires the obtained skin image index P.
  • the image analysis unit 230 acquires the focus value at the time of proper imaging, the focus value at the time of indentation imaging, skin smoothness, fineness of texture, pore statistic, and shine amount.
  • the image analysis unit 230 may be configured to acquire only the skin image index P corresponding to the skin evaluation coefficient C to be used from the skin image I.
  • the image analysis unit 230 records the acquired skin image index P in the recording unit 520.
  • the calculation unit 510 estimates the skin evaluation index E from the skin evaluation coefficient C and the skin image index P by the index estimation unit 260.
  • the index estimation unit 260 calculates the skin evaluation index E from the skin image index P acquired by the image analysis unit 230 and the skin evaluation coefficient C recorded in the recording unit 520.
  • the learning device 30 includes an image analysis unit 230, a measured value acquisition unit 222, and a coefficient acquisition unit 250.
  • the image analysis unit 230 acquires at least one skin image index P by analyzing the skin image I obtained by photographing the skin surface S.
  • the measured value acquisition unit 222 acquires the measured value R relating to the firmness and elasticity of the skin measured by the skin image I, which is measured by using the skin measuring device 20.
  • the coefficient acquisition unit 250 accumulates a combination of the measured value R and the skin image index P for a plurality of skins, uses the measured value R as an objective function, and performs regression analysis using the skin image index P acquired by the image analysis unit 230 as an explanatory variable.
  • the skin evaluation coefficient C indicating the relative relationship between the skin image index P and the skin evaluation index E for evaluating the firmness and elasticity of the skin is calculated.
  • the learning device 30 can calculate the skin evaluation coefficient C indicating the relative relationship between the skin image index P and the skin evaluation index E for evaluating the firmness and elasticity of the skin.
  • the measured value R acquired by the learning device 30 is the skin surface S at the time of opening with respect to the amount of elongation of the skin surface S at the time of suction when the skin surface is locally sucked by the skin measuring device 20 for a predetermined time and then opened. It is the ratio of the amount of growth of.
  • the learning device 30 when the learning device 30 locally sucks the surface of the skin with the skin measuring device 20 for a predetermined time and then opens it, the amount of elongation of the skin surface S at the time of opening is relative to the amount of elongation of the skin surface S at the time of suction.
  • the ratio of can be the measured value R.
  • the skin image index P acquired by the learning device 30 includes at least one of an appropriate shooting focus value, a push-in shooting focus value, skin smoothness, fineness, pore statistics, and a shiny amount.
  • the learning device 30 can use at least one of the appropriate shooting focus value, the indentation shooting focus value, the skin smoothness, the fineness of the texture, the pore statistic, and the amount of shine for the skin image index P.
  • the learning device 30 has a data classification unit 240.
  • Data classification unit 240 a plurality of data D that contains measurements R and skin image index P, and classified into learning data group D S.
  • Coefficient obtaining unit 250 the combination is different from learning data groups D S data D, objective variable measurements R, performs regression analysis as explanatory variables skin image index P, and derive a skin evaluation coefficient C respectively.
  • the coefficient acquisition unit 250 uses the average of the derived plurality of skin evaluation coefficients C as the skin evaluation coefficient C.
  • the learning device 30 can acquire a more reliable skin evaluation coefficient C.
  • the estimation device 40 includes a coefficient acquisition unit 250, an image analysis unit 230, and an index estimation unit 260.
  • the coefficient acquisition unit 250 uses the measured value R measured by using the skin measuring device 20 as the objective variable for a plurality of skins, and at least one skin image index P acquired by analyzing the skin image I obtained by photographing the skin.
  • the skin evaluation coefficient C which indicates the relative relationship for evaluating the firmness and elasticity of the skin, which is calculated by regression analysis as an explanatory variable, is acquired.
  • the image analysis unit 230 acquires a skin image I obtained by photographing the skin surface S.
  • the index estimation unit 260 analyzes the skin image I acquired by the image acquisition unit and estimates the skin evaluation index E based on the skin evaluation coefficient C and the skin image index P that acquire at least one skin image index P. do.
  • the estimation device 40 can estimate the skin evaluation index E.
  • the learning method includes a step of acquiring at least one skin image index P by analyzing the skin image I obtained by photographing the skin surface S, and a skin whose skin included in the skin image I is measured by using the skin measuring device 20.
  • the step of acquiring the measured value R related to the elasticity and elasticity of the skin, and the combination of the measured value R and the skin image index P for a plurality of skins are accumulated, and the measured value R is used as the objective function, and the skin image index acquired by the image analysis unit 230 is used. It includes a step of performing regression analysis using P as an explanatory variable and calculating a skin evaluation coefficient C indicating a relative relationship between the skin image index P and the skin evaluation index E for evaluating the firmness and elasticity of the skin.
  • the learning method can have the same effect as the learning device 30.
  • the measurement value R measured by using the skin measuring device 20 is used as the objective variable for a plurality of skins, and at least one skin image index P obtained by analyzing the skin image I obtained by photographing the skin is used as an explanatory variable.
  • the step includes analyzing the acquired skin image I to acquire at least one skin image index P, and estimating the skin evaluation index E based on the skin evaluation coefficient C and the skin image index P.
  • the estimation method can have the same effect as the estimation device 40.
  • the focus value acquisition method includes a step of determining whether or not the variation in the brightness of the skin image I is equal to or less than a predetermined threshold value, and a step of determining whether or not the average value of the brightness of the skin image I is within a predetermined range. It includes a step of acquiring a frequency function for the brightness of the skin image I, a step of applying a high-pass filter to the acquired frequency function, and a step of integrating the brightness of the frequency function to which the high-pass filter is applied.
  • the focus value acquisition method can acquire the focus value from the skin image I.
  • the skin smoothness acquisition method includes a step of correcting the skin image I, a step of acquiring a single channel component for the corrected skin image I, and a step of acquiring the standard deviation of the brightness of the single channel component.
  • the skin smoothness acquisition method can acquire the skin smoothness from the skin image I.
  • this technology can have the following configuration.
  • An image analysis unit that acquires at least one skin image index by analyzing a skin image obtained by photographing the skin surface, and an image analysis unit.
  • a measurement value acquisition unit that acquires measurement values related to skin firmness and elasticity, which are measured using a skin measuring device and measures the skin included in the skin image.
  • a combination of the measured value and the skin image index for a plurality of skins is accumulated, the measured value is used as an objective function, and the skin image index acquired by the image analysis unit is used as an explanatory variable for regression analysis to obtain the skin image index.
  • a skin evaluation coefficient learning device that includes a coefficient acquisition unit that calculates a skin evaluation coefficient that indicates a relative relationship with a skin evaluation index that evaluates skin firmness and elasticity.
  • the measured value is the ratio of the amount of elongation of the skin surface at the time of opening to the amount of elongation of the skin surface at the time of suction when the surface of the skin is locally sucked for a predetermined time with the skin measuring device and then opened.
  • the skin evaluation coefficient learning device according to (1) above.
  • It has a data classification unit that classifies a plurality of data including the measured value and the skin image index into a training data group.
  • the coefficient acquisition unit performs regression analysis on the learning data group having different combinations of the data, using the measured value as an objective variable and the skin image index as an explanatory variable, and derives and derives the skin evaluation coefficient.
  • the skin evaluation coefficient learning device according to any one of (1) to (3) above, wherein the average of the plurality of skin evaluation coefficients is used as the skin evaluation coefficient.
  • a skin coefficient acquisition unit that acquires a skin evaluation coefficient that indicates the relative relationship that evaluates the firmness and elasticity of the skin to be measured.
  • An image acquisition unit that acquires a skin image of the skin surface
  • An image analysis unit that analyzes the skin image acquired by the image acquisition unit and acquires at least one skin image index
  • an index estimation unit for estimating a skin evaluation index based on the skin evaluation coefficient and the skin image index
  • an index estimation device for a skin evaluation index including.
  • a step of calculating a skin evaluation coefficient indicating a relative relationship with a skin evaluation index for evaluating skin firmness and elasticity, and a learning method of a skin evaluation coefficient including.
  • An image sensor capable of taking an image through a polarizing filter arranged in the image pickup unit, and an unpolarized light emitting unit and a polarized light emitting unit arranged around the image pickup element of the image pickup unit.
  • the contact part for contacting the subject and Using a skin imaging unit having a lens barrel portion extending from the image pickup unit to the contact portion in the plane direction by the same distance as the focal length of the image pickup element, A step of acquiring a properly unpolarized image by causing the unpolarized light emitting part to emit light and taking an image at an appropriate focal length in which the contact portion is brought into contact with the subject. A step of acquiring an orthogonally polarized image by causing the polarized light emitting portion to emit light and taking an image at an appropriate focal length in which the contact portion is brought into contact with the subject.
  • An imaging method including a step of pressing the contact portion into the subject, causing the unpolarized light emitting portion to emit light, and acquiring an image by pressing the contact portion.
  • Estimating system 20 Skin measuring device 22 Opening 24 Prism part 26 Negative pressure generating part 28 Elongation amount measuring part 28A Light emitting part 28B Light receiving part 30 Learning device 40 Estimating device 100 Skin photographing part 110 Imaging part 112 Imaging element 114 Unpolarized light emission Part 116 Polarized light emitting part 120 Lens tube part 122 Contact part 124 Moisture meter 200, 400, 500 Processing terminal part 210, 410, 510 Calculation part 220, 420, 520 Recording part 222 Measurement value acquisition part 224 Skin image acquisition part 230 Image analysis Part 240 Data classification part 242 Random number generation part 250 Coefficient acquisition part 252 Analysis part 260 Index estimation part 262 Calculation part 264 Evaluation part 270 Focus value acquisition part 272 Image editing part 274 Brightness acquisition part 276 Frequency function part 278 Integration part 280 Skin smoothness Acquisition unit 282 Image correction unit 284 Single channel extraction unit 286 Standard deviation acquisition unit 288 Skin smoothness acquisition unit 290 Fineness acquisition unit 292 Image correction unit 294 Single channel extraction unit 296 Noise removal unit 298 Bin

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

肌のハリ・弾力の測定に用いられる肌測定器は大型のため携帯して持ち運ぶことが困難である。また、肌測定器は、測定するための訓練が必要で、簡便に測定できるものではないという問題がある。本技術の第1の側面の肌評価係数の学習装置は、肌表面を撮影した肌画像を解析することにより少なくとも1つの肌画像指標を取得する画像解析部と、肌測定器を用いて測定した、前記肌画像に含まれる肌を測定した肌のハリ、弾力に関する測定値を取得する測定値取得部と、複数の肌に対する前記測定値および前記肌画像指標の組み合わせを蓄積し、前記測定値を目的関数とし、前記画像解析部で取得した前記肌画像指標を説明変数として回帰分析し、前記肌画像指標と、肌のハリ、弾力を評価する肌評価指標との相対関係を示す肌評価係数を算出する係数取得部とを含む。

Description

肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法
 本開示は、肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法に関する。
 肌のハリ、弾力を測定する肌測定器がある。肌測定器は、肌表面を局所的に吸引後開放した場合における、吸引時の肌表面の伸び量に対する開放後の肌表面の伸び量を測定する、いわゆる吸引法により取得する。肌測定器は、測定値に基づいて肌のハリ、弾力を推定する。また、肌のキメの細かさ、毛穴のサイズおよびテカリ量は、肌表面を撮影した肌画像を解析することにより取得される。
 特許文献1には、テカリ量を、肌を撮像した無偏光画像および直交偏光画像に基づいて、肌内部から反射した光により得られた鏡面反射画像を取得し、鏡面反射画像の輝度を算出することにより取得する装置が記載されている。
特許第5733570号公報
 肌のハリ・弾力の測定に用いられる肌測定器は大型のため携帯して持ち運ぶことが困難である。また、肌測定器は、測定するための訓練が必要で、簡便に測定できるものではないという問題がある。
 本開示は、このような問題に鑑みてなされたものであり、携帯して持ち運ぶのに適した機器を用いて、簡便に測定値を推定するための肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定装置、フォーカス値の取得方法および肌滑らかさの取得方法の提供を目的とする。
 本技術の第1の側面の肌評価係数の学習装置は、肌表面を撮影した肌画像を解析することにより少なくとも1つの肌画像指標を取得する画像解析部と、肌測定器を用いて測定した、前記肌画像に含まれる肌を測定した肌のハリ、弾力に関する測定値を取得する測定値取得部と、複数の肌に対する前記測定値および前記肌画像指標の組み合わせを蓄積し、前記測定値を目的関数とし、前記画像解析部で取得した前記肌画像指標を説明変数として回帰分析し、前記肌画像指標と、肌のハリ、弾力を評価する肌評価指標との相対関係を示す肌評価係数を算出する係数取得部とを含む。
 本技術の第2の側面の肌評価指標の推定装置は、複数の肌を、肌測定器を用いて測定した測定値を目的変数、前記肌を撮影した肌画像を解析することにより取得される少なくとも1つの肌画像指標を説明変数として回帰分析することにより算出される肌のハリ、弾力を評価する相対関係を示す肌評価係数を取得する肌係数取得部と、肌表面を撮影した肌画像を取得する画像取得部と、前記画像取得部で取得した肌画像を解析して、少なくとも1つの前記肌画像指標を取得する画像解析部と、前記肌評価係数と前記肌画像指標とに基づいて、前記肌評価指標を推定する指標推定部と、を含む。
 本技術の第3の側面の肌評価係数の学習方法は、肌表面を撮影した肌画像を解析することにより少なくとも1つの肌画像指標を取得するステップと、肌測定器を用いて、前記肌画像に含まれる肌を測定した肌のハリ、弾力に関する測定値を取得するステップと、複数の肌に対する前記測定値および前記肌画像指標の組み合わせを蓄積し、前記測定値を目的関数とし、前記画像解析部で取得した前記肌画像指標を説明変数として回帰分析し、前記肌画像指標と、肌のハリ、弾力を評価する肌評価指標との相対関係を示す肌評価係数を算出するステップと、を含む。
 本技術の第4の側面の肌評価指標の推定方法は、複数の肌を、肌測定器を用いて測定した測定値を目的変数、前記肌を撮影した肌画像を解析することにより取得される少なくとも1つの肌画像指標を説明変数として回帰分析することにより算出される肌のハリ、弾力を評価する相対関係を示す肌評価係数を取得する肌係数取得部を取得するステップと、
 肌表面を撮影した肌画像を取得するステップと、前記画像取得部で取得した肌画像を解析して、少なくとも1つの前記肌画像指標を取得するステップと、前記肌評価係数と前記肌画像指標とに基づいて、前記肌評価指標を推定するステップと、を含む。
 本技術の第5の側面のフォーカス値の取得方法は、肌画像からフォーカス値を取得するためのフォーカス値の取得方法であって、前記肌画像の輝度のバラつきが所定の閾値以下か否かを判定するステップと、前記肌画像の輝度の平均値が所定の範囲内か否かを判定するステップと、前記肌画像の輝度についての周波数関数を取得するステップと、前記取得された周波数関数にハイパスフィルタを適用するステップと、前記ハイパスフィルタを適用した周波数関数の輝度を積算するステップと、を含む。
 本技術の第6の側面の肌滑らかさの取得方法は、肌画像から肌滑らかさを取得するための肌滑らかさの取得方法であって、前記肌画像について補正を行うステップと、補正した前記肌画像について単一チャネル成分を取得するステップと、前記単一チャネル成分の輝度の標準偏差を取得するステップと、を含む。
第1実施形態に係る推定装置を示すブロック図である。 肌撮影部の要部を表した図である。 肌撮影部の概略図である。 肌測定器の構成を説明するための概略図である。 測定値を説明するための概略図である。 第1実施形態に係る肌評価指標の推定方法を説明するフローチャートである。 本開示に係るフォーカス値取得部を示すブロック図である。 本開示に係るフォーカス値を取得する処理を説明するフローチャートである。 本開示に係る肌画像を4分割した状態を示した図である。 本開示に係る合成画像の説明図である。 本開示に係る肌滑らかさ取得部を示すブロック図である。 本開示に係る肌画像から肌滑らかさを取得する処理を説明するフローチャートである。 本開示に係るキメ細やかさ取得部を示すブロック図である。 本開示に係るキメ細やかさを取得する処理を説明するフローチャートである。 本開示に係る毛穴統計量取得部を示すブロック図である。 本開示に係る毛穴統計量を取得する処理を説明するフローチャートである。 本開示に係るテカリ量取得部を示すブロック図である。 本開示に係るテカリ量を取得する処理を説明するフローチャートである。 第1実施例に係る肌評価指標および測定値の散布図である。 第2実施例に係る肌評価指標と測定値との相関係数および相対誤差を表すグラフである。 第3実施例に係る肌評価指標と測定値との相関係数および相対誤差を表すグラフである。 第2実施形態に係る学習装置を示すブロック図である。 第2実施形態に係る学習方法を説明するフローチャートである。 第3実施形態に係る推定装置を示すブロック図である。 第3実施形態に係る推定方法を説明するフローチャートである。
 以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。なお、説明は以下の順序で行う。
1.第1実施形態
 1-1.第1実施形態に係る推定システム
 1-2.第1実施形態に係る学習方法および推定方法
 1-3.本開示に係る肌画像指標
 1-4.実施例
2.第2実施形態
 2-1.第2実施形態に係る学習装置
 2-2.第2実施形態に係る学習方法
3.第3実施形態
 3-1.第3実施形態に係る推定装置
 3-2.第3実施形態に係る推定方法
(第1実施形態)
[1-1.第1実施形態に係る推定システム]
 本開示の第1実施形態に係る推定システム10は、図1に示すように、肌測定器20と、肌撮影部100と、処理端末部200と、を含む、処理端末部200は、学習装置30と、推定装置40の機能を含む。処理端末部200は、演算部210および記録部220を有する。演算部は、測定値取得部222、肌画像取得部224、データ分類部240、係数取得部250および指標推定部260を備える。推定システム10は、学習装置30として、肌測定器20から測定値Rを取得する。また、測定値Rを測定した肌について肌撮影部100から肌画像Iを取得し肌画像Iから取得した肌画像指標Pを取得する。推定システム10は、複数の測定値Rと肌画像指標Pとを回帰分析を行い、測定値Rと肌画像指標Pとの相関を示す肌評価指標を算出する。次に、推定システム10は、推定装置40として、肌撮影部100から肌画像Iを取得し、取得した肌画像Iと肌画像指標とに基づいて、画像を取得した肌の肌評価指標Eを推定する。以下、各部について説明する。
<肌撮影部>
 肌撮影部100は、被写体である被評価者の肌表面Sを撮影することにより肌画像Iを取得する。肌画像Iは、画像のデータに加え、被評価者の属性であるID番号、性別、年代のデータを含む。肌撮影部100は、例えばソニー株式会社製肌測定カメラ(SVC-001)である。
 肌撮影部100は、図2に示すように、被写体を撮影する撮像素子112が配置される撮像部110と、図3に示すように、撮像部110の外周に設けられ、撮像部110の面方向における被写体の方向に延びる筒状の鏡筒部120とを有する。
 撮像部110は、図2に示すように、無偏光成分の光を照射する無偏光発光部114と、第1の偏光フィルタを介して所定の偏光成分(例えば水平方向の偏光成分)の光を照射する偏光発光部116と、無偏光発光部114または偏光発光部116により照射される被写体を、第2の偏光フィルタを介して所定の偏光成分(例えば垂直方向の偏光方向)の光の撮影する撮像素子112とを備える。偏光発光部116の第1の偏光フィルタと撮像素子112の第2の偏光フィルタとの偏光方向は直交関係を有する。撮像部110は、特許6107537号公報に開示の撮像装置を用いることができる。
 撮像素子112は、撮像部110の中央部に配置される。無偏光発光部114および偏光発光部116は、撮像部110に撮像素子112を中心に円環状に配置される。無偏光発光部114および偏光発光部116は、撮像素子112に対して点対称に配置される。撮像素子112は、例えばカラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。撮像素子112は、前面に第2の偏光フィルタが配置される。
 無偏光発光部114は、白色光を照射するLED(Light Emitting Diode)光源を有する。偏光発光部116は、白色光を照射するLED光源とその前面に配置された第1の偏光フィルタを有する。なお、無偏光発光部114および偏光発光部116は、白色光に限られず、紫外光、赤色光、緑色光または近赤外光を照射できてもよい。
 無偏光発光部114と偏光発光部116とは、図2によると、それぞれ4個ずつ配置されているが、無偏光発光部114および偏光発光部116の個数は、この例に限らない。無偏光発光部114と偏光発光部116とは、少なくともそれぞれ2個ずつが点対称に配置されていれば良く、またそれぞれ6つ以上が点対称に配置されていてもよい。
 なお、明るさのムラをなくすため、無偏光発光部114と偏光発光部116のそれぞれを点対称に配置し、無偏光発光部114と偏光発光部116との個数を合わせるのが望ましいがそれ以外の配置としてもよい。
 鏡筒部120の撮像部110からの高さは、撮像素子112の焦点距離となっている。鏡筒部120は、図3に示すように、鏡筒部120の端に、被写体である肌表面Sと接触するための接触部122を有する。接触部122の接触部122は、肌表面Sの水分を計測するための水分計124を有する。
 撮像素子112は無偏光画像Iおよび直交偏光画像IPVを、それぞれ時分割で撮影する。肌撮影部100は、取得した無偏光画像Iおよび直交偏光画像IPVを処理端末部200に出力する。
 無偏光画像Iは、無偏光発光部114により照射される被写体を第2の偏光フィルタのない撮像素子112で撮影した肌画像Iである。ここで、無偏光画像Iには、適正撮影画像ITFおよび押込撮影画像ITDを含む。適正撮影画像ITFは、肌撮影部100の接触部122が、肌表面Sに接触した状態、すなわち、撮像素子112の焦点が被写体にあった状態で、適正に撮影された肌画像Iである。押込撮影画像ITDは、接触部122を肌表面Sに対して押し込こんだ状態、すなわち、肌撮影部100の焦点を肌表面Sから外した状態で撮影された肌画像Iである。
 直交偏光画像IPVは、第1の偏光フィルタを有する偏光発光部116により照射される被写体を、第2の偏光フィルタありの撮像素子112で撮影された、いわゆる直交偏光で撮影された肌画像Iである。
 以下の説明では、「肌画像I」には、適正撮影画像ITFおよび押込撮影画像ITDを含む無偏光画像I並びに直交偏光画像IPVのいずれもが含まれるものとし、「無偏光画像I」、特に言及しない限り適正撮影画像ITFを意味するものとする。適正撮影画像ITFおよび押込撮影画像ITDは、特に言及しない場合、白色光を照射されて撮影される。ただし、適正撮影画像ITFおよび押込撮影画像ITDは、白色光を照射されて撮影されるものに限らない。
 以下に、肌撮影部100を用いた肌表面Sの撮影方法について説明する。なお、以下に示す、撮影方法の順序は一例であり、これに限られない。また、以下に示す撮影方法では、処理端末部200は、肌撮影部100が各肌画像Iを出力毎に、取得しているが、これに限られない。例えば、処理端末部200は、複数の肌画像Iをまとめて肌撮影部100から取得してもよい。
 被写体である被評価者の肌表面Sに、無偏光発光部114を照射させた状態で、第2の偏光フィルタなしに撮像素子112が被評価者の肌表面Sを撮影することにより、肌撮影部100は、被評価者の肌表面Sの適正撮影画像ITFを出力して。処理端末部200に取得させる。
 次に、被写体である被評価者の肌表面Sに、偏光発光部116が第1の偏光フィルタを介して照射させた状態で、第2の偏光フィルタを介して撮像素子112が被評価者の肌表面Sの撮影を行うことにより、肌撮影部100は被評価者の肌表面Sの直交偏光画像IPVを出力して、処理端末部200に取得させる。
 次に、被写体である被評価者の肌表面Sに肌撮影部100の接触部122を押し込み、無偏光発光部114を照射させた状態で、第2の偏光フィルタを介して撮像素子112が被評価者の肌表面Sを撮影することにより、肌撮影部100は、被評価者の肌表面Sの押込撮影画像ITDを出力し、処理端末部200に取得させる。
<処理端末部>
 処理端末部200は、肌測定器20で測定される測定値Rおよび肌撮影部100で撮影される肌画像Iを処理する。処理端末部200は、例えば据え置き型のパーソナルコンピュータ、ノートパソコン、タブレットである。また、処理端末部200は、通信を介して他の機器と接続し、演算処理を他の機器で実行してもよい。処理端末部200は、図1に示すように、演算部210および記録部220を有する。記録部220は、演算部210と接続する。処理端末部200は、肌測定器20および肌撮影部100からそれぞれ測定値Rおよび肌画像Iが取得可能に構成される。処理端末部200は、肌撮影部100から、無線通信により肌画像Iが取得可能に構成される。処理端末部200は、図示しない充電用バッテリーを内蔵し、充電可能に構成される。なお、処理端末部200は、肌撮影部100が備える水分計124から肌の水分量を取得してもよい。
 演算部210は、測定値取得部222と、肌画像取得部224と、画像解析部230、データ分類部240、係数取得部250および指標推定部260を有する。測定値取得部222、肌画像取得部224、画像解析部230、データ分類部240、係数取得部250および指標推定部260は、記録部220に記録されたそれぞれのプログラムを実行することにより発現する。
 測定値取得部222は、肌測定器20で取得した肌の測定値を取得する。肌画像取得部224は、肌撮影部100で取得した肌の画像を取得する。
 画像解析部230は、肌画像Iを解析して肌画像指標Pを算出する。肌画像指標Pは、適正撮影フォーカス値、押込撮影フォーカス値、肌滑らかさ、キメの細やかさ、毛穴統計量およびテカリ量のうちいずれか1つを含む。画像解析部230は、押込撮影画像ITD並びに直交偏光画像IPVを解析することにより肌画像指標Pを算出する。
 画像解析部230は、肌画像指標Pのそれぞれを算出するフォーカス値取得部270、肌滑らかさ取得部280、キメ細かさ取得部290、毛穴統計量取得部310、テカリ量取得部320と、を含む。画像解析部230は、記録部220に記録されるそれぞれのプログラムを実行することにより各部の機能を実現する。フォーカス値取得部270、肌滑らかさ取得部280、キメ細かさ取得部290、毛穴統計量取得部310、テカリ量取得部320で実行する処理については後述する。
 データ分類部240は、取得した測定値Rと肌画像指標Pとを、それぞれに記録されるID番号により紐づけし、被評価者ごとの一纏まとまりのデータDとする。演算部210は、取得したデータDを記録部220に記録する。データDには、被評価者ごとのID番号、性別、年代、測定値R、適正撮影フォーカス値、押込撮影フォーカス値、肌滑らかさ、キメの細やかさ、毛穴統計量およびテカリ量が含まれる。なお、記録部220に記録する処理は、データ分類部240以外で実行してもよい。
 データ分類部240は、データDについて、ID番号ごとに、学習用データ群Dとテスト用データ群Dとに分類する。データ分類部240は、乱数シードを生成する乱数発生部242を有する。データ分類部240は、乱数発生部242が生成した乱数シードをデータDに適用させることにより、データDが乱数シードに基づいてID番号ごとに分類された学習用データ群Dおよびテスト用データ群Dを取得することができる。ここで、データ分類部240は、データDの一部を学習用データ群Dとし、他の一部をテスト用データ群Dとすることができる。
 係数取得部250は、データ分類部240により分類された学習用データ群Dの測定値Rと肌画像指標Pとの関係について、肌評価係数Cを取得する。係数取得部250は、分析部252を有する。係数取得部250は、分析部252が測定値Rを目的変数、肌画像指標Pを説明変数として回帰分析を行うことにより、肌評価係数Cを導出する。
 係数取得部250は、回帰分析手法として、ベイズ線形回帰を用いることができる。回帰分析手法は、ベイズ線形回帰に限られず、例えば最小二乗法(OLS)、ラッソ回帰(Lasso)、リッジ回帰(Ridge)、エラスティックネット(ElasticNet)、テイルセン推定(Theil-Sen)、ランサック(RANSAC)、フーバー回帰(Huber)などを用いることができる。なお、肌評価係数Cの算出方法は、回帰分析に限定されない。
 係数取得部250は、データ分類部240が作成した学習用データ群Dとテスト用データ群Dの複数の組み合わせのそれぞれについて、学習用データ群Dに対して回帰分析を行い、テスト用データ群Dを用いて評価を行うことで複数の肌評価係数を算出し、算出した複数の肌評価係数に対して平均化処理を実行して肌評価係数Cを算出してもよい。また、係数取得部250は、肌評価係数Cと肌画像指標Pとの相関係数および相対誤差を取得して、肌評価係数Cを評価してもよい。この場合、相対誤差は、例えば平均誤差を相対誤差に用いることができる。相対誤差は、平均誤差に限らず、例えば、最大誤差、標準偏差であるσおよび3σを用いてもよい。相対誤差は、測定値Rと肌評価指標Eとの相対誤差を、測定値Rに対する百分率で表してもよい。係数取得部250は、誤差の小さい肌評価係数を、算出した肌評価係数としてもよい。
 指標推定部260は、肌評価指標Eを算出する。指標推定部260は、算出部262と、評価部264とを有する。算出部262は、肌評価係数Cと肌画像指標Pとから、肌評価指標Eを算出する。評価部264は、算出した肌評価指標Eを評価する。例えば、肌評価指標Eに基づいて、肌のハリ、弾力を評価する。
<肌測定器>
 肌測定器20は、被評価者の肌(皮膚)を吸引後に開放した場合における肌の伸び量を測定することにより測定値Rを取得する。肌測定器20による肌の伸び量の測定は、いわゆる吸引法により行われる。具体的には、肌測定器20は、図4に示すように、肌測定器20の先端部に備える、肌表面Sを吸引するための開口部22と、開口部22を介して対面して備えられる一対のプリズム部24と、肌測定器20の開口部22に負圧を生じさせる負圧発生部26と、肌表面Sの伸び量を光学的手法により取得する伸び量測定部28とを有する。
 伸び量測定部28は、光を出力する投光部28Aと光を受光する受光部28Bとを備える。伸び量測定部28は、肌表面Sの伸び量の測定を、例えば投光部28Aから出力される光の強度と、一対のプリズム部24に反射した後に受光部28Bで受光される光の強度とに基づいて行われる。肌測定器20は、例えば、コラージュ・アンド・カザカ株式会社製キュートメーターである。
 以下に、肌測定器20による肌表面Sの伸び量の測定方法について説明する。肌測定器20による肌表面Sの伸び量の測定は、まず、肌表面Sを肌測定器20の先端に有する開口部22に密着させた状態で、負圧発生部26が、開口部22を一定時間t1の間、負圧にする。開口部22が負圧となることにより肌表面Sは吸引され、開口部22内で伸びを生じる。伸びた肌表面Sは、一対のプリズム部24を通る光を、伸びた量に応じて遮光する。これにより、伸び量測定部28は、遮光後の光の強度に応じて、肌表面Sの伸び量を測定する。肌測定器20は、伸びた肌表面Sの最大の伸び量Ufを取得する。また、肌測定器20は、測定値Rを出力する。
 次に、一定時間t1経過後、負圧発生部26が開口部22の負圧を開放すると、肌表面Sは伸びた状態から元に戻ろうとする。伸び量測定部28は、負圧を開放してから所定時間t2経過後の、肌表面Sの伸び量Uaを取得する。肌測定器20により取得された肌表面Sの伸び量Ufおよび伸び量Uaは、被評価者のID番号とともに肌測定器20に記録される。なお、肌測定器20による肌表面Sの伸び量の測定は、肌表面Sの吸引開始時から開放後所定の時間t2経過するまでの間、継続的に行われてもよい。
<測定値>
 測定値Rについて、図5を参照して、説明する。図5は、肌測定器20により測定した場合の、肌表面Sの伸び量の時間的変化を示す。縦軸は、肌表面Sの伸び量、横軸は経過時間を示す。図5に示すUfは、上述した、吸引された肌表面Sの最大の伸び量である。また、Uaは、上述した、負圧を開放し所定の時間t2経過した後の肌表面Sの伸び量である。測定値Rは、吸引時の肌表面Sの最大の伸び量Ufに対する、開放後所定時間経過t2後の肌表面Sの伸び量Uaの割合で定義される。すなわち、測定値R=(開放後所定時間経過t2後の肌表面Sの伸び量Ua)/(吸引された肌表面Sの最大の伸び量Uf)である。また、測定値Rは、例えば被評価者の右ほほの肌表面Sを、肌測定器20により3回測定した場合の平均値である。
[1-2.第1実施形態に係る学習方法および推定方法]
 下に、第1実施形態に係る肌評価係数の学習方法および肌評価指標の推定方法について、図6を参照して、説明する。肌評価係数の学習方法および肌評価指標の推定方法は、測定値および肌画像を取得するステップ(S10)と、肌画像指標を取得するステップ(S12)と、データを学習用データ群およびテスト用データ群に分類するステップ(S14)と、分類した学習用データ群を用いて、回帰分析を行うステップ(S16)と、回帰分析の結果から肌評価係数を取得するステップと(S18)と、肌画像を取得するステップ(S20)と、取得した肌画像の肌評価指標を算出するステップ(S22)と、を有する。肌評価係数の学習方法であるS10からS18と、肌評価指標の推定方法であるS20およびS22とは、別の処理として実行してもよい。
 S10において演算部210は、肌測定器20により取得された測定値Rおよび肌撮影部100により取得された肌画像Iを取得する。肌画像Iは、適正撮影画像ITF、押込撮影画像ITDおよび直交偏光画像IPVが含まれる。
 S12において演算部210は、画像解析部230に、肌画像Iを解析させることにより肌画像指標Pを取得する。具体的には、演算部210は、画像解析部230に、記録部220に記録されるプログラムを実行させ、フォーカス値取得部270、肌滑らかさ取得部280、キメ細かさ取得部290、毛穴統計量取得部310およびテカリ量取得部320を、それぞれ発現させる。演算部210は、フォーカス値取得部270により、適正撮影フォーカス値および押込撮影フォーカス値を取得する。また、演算部210は、肌滑らかさ取得部280により、肌滑らかさを取得する。また、演算部210は、キメ細かさ取得部290により、キメ細かさを取得する。また、演算部210は、毛穴統計量取得部310により、毛穴統計量を取得する。また、演算部210は、テカリ量取得部320により、テカリ量を取得する。
 S14において演算部210は、データDを学習用データ群Dおよびテスト用データ群Dに分類する。演算部210は、例えば100個の乱数シードをデータDに適用した100個の学習用データ群Dおよびテスト用データ群Dを取得する。なお、データDのすべてを学習用データ群Dとする場合には、本ステップを省略してもよい。
 S16およびS18において、演算部210は、学習用データ群Dに対して、回帰分析を行い、測定値Rと肌画像指標Pとの関係を示す肌評価係数Cを取得する。具体的には、演算部210は、測定値Rを目的変数、学習用データ群Dについての肌画像指標Pを説明変数として回帰分析を行うことにより、肌評価係数Cを取得する。演算部210は、S14において、例えば100個の学習用データ群Dが取得された場合には、100個の学習用データ群Dについて測定値Rを目的変数、肌画像指標Pを説明変数としてそれぞれ回帰分析を行うことにより、100個の肌評価係数Cを取得する。
 肌評価係数Cは、肌画像指標Pから、肌評価指標Eを算出することができる係数である。ここで、肌評価指標Eは、以下式1のように表される。
   肌評価指標E=肌評価係数C・肌画像指標P・・・(式1)
 また、式1の肌画像指標Pを、適正撮影フォーカス値、押込撮影フォーカス値、肌滑らかさ、キメの細やかさ、毛穴統計量およびテカリ量を用いて表した場合、肌評価指標Eは、以下式2のように表される。
Figure JPOXMLDOC01-appb-M000001
ここでiは、以下に示す肌画像指標の識別を表す番号である。
   p1:適正撮影フォーカス値
   p2:押込撮影フォーカス値
   p3:肌滑らかさ
   p4:キメの細やかさ
   p5:毛穴統計量
   p6:テカリ量
   c1~c6:回帰分析により求まるそれぞれの肌画像指標の係数
    K:回帰分析により算出されるオフセット値
である。
 演算部210は、学習用データ群Dを用いて算出した肌評価指標Eと測定値Rに対して、テスト用データ群Dで評価を行うことで、相関係数および相対誤差を取得してもよい。演算部210は、テスト用データ群Dについての肌評価指標Eと測定値Rとの相関係数および相対誤差を取得し、取得結果に基づいて、肌評価係数Cを決定してもよい。
 S20において演算部210は、評価対象の肌画像Iを取得する。S22において、演算部210は、肌画像Iの肌画像指標Pを算出し、肌画像指標Pと肌評価係数Cとに基づいて、肌評価指標Eを推定する。
[1-3.本開示に係る肌画像指標]
 以下に、肌画像指標Pである適正撮影フォーカス値、押込撮影フォーカス値、肌滑らかさ、キメ細かさ、毛穴統計量およびテカリ量について、それぞれ説明する。なお、適正撮影フォーカス値と押込撮影フォーカス値とについては、まとめてフォーカス値として説明する。
<フォーカス値>
 フォーカス値は、肌画像Iにおけるフォーカスの合い具合を表す。フォーカス値は、肌に弾力がある場合、フォーカスが合いやすいという傾向に基づく。すなわち、肌画像Iにおけるフォーカス値が高いほど肌に弾力があるといえる。フォーカス値は、適正撮影画像ITFおよび押込撮影画像ITDについて、それぞれ取得される。
 フォーカス値は、図1に示すように、フォーカス値取得部270により取得される。フォーカス値取得部270は、図7に示すように、画像編集部272、輝度取得部274、周波数関数部276および積算部278を有する。
 画像編集部272は、適正撮影画像ITFおよび押込撮影画像ITDに対して、複数の領域への分割および、複数の画像の合成を行う。画像編集部272は、合成画像を出力する。
 輝度取得部274は、画像の輝度を取得する。また、演算部210は、画像全体の平均輝度を取得することができる。画像の輝度は、例えばRGBカラーモデルにおけるいずれかのチャネルの成分のみについて取得されてもよい。
 周波数関数部276は、画像について2次元高速フーリエ変換を適用し、周波数関数を取得する。また、周波数関数部276は、取得した周波数関数についてハイパスフィルタを適用し、所定の周波数以下の成分をカットした周波数関数を取得する。
 積算部278は、所定の周波数以下の成分をカットした周波数関数について、振幅成分の積算を行う。演算部210は、振幅成分の積算値をフォーカス値に出力する。
 フォーカス値の取得方法ついて、図8から図10を参照して説明する。フォーカス値の取得方法は、肌画像を4分割した領域における輝度の標準偏差が閾値より小さいか否かを判定するステップ(S110)と、肌画像を9分割し、合成画像を取得するステップ(S114)と、合成画像の平均輝度が所定の範囲内か否かを判定するステップ(S116)と、合成画像の周波数関数を取得するステップ(S118)と、周波数関数についてフィルタ処理し振幅を積算するステップ(S120)と、振幅の積算値をフォーカス値に取得するステップ(S122)とを有する。以下、ステップごとに説明する。
 S110において、演算部210は、まず、取得された肌画像Iである適正撮影画像TFおよび押込撮影画像ITDについて、図9に示すように、2×2の4つの領域にそれぞれ分割し、それぞれの領域について輝度の標準偏差を取得する。次に、演算部210は、取得したそれぞれの猟奇における輝度の標準偏差が所定の閾値より小さいか否かを判定し、いずれかの領域における輝度の標準偏差が所定の閾値より小さいと判定された場合(S110のYes)、次S114に進む。また、輝度の標準偏差が所定の閾値以上と判定された場合には(S110のNo)、片浮きがあるとしてフォーカス値をゼロとする(S112)。
 S114において、演算部210は、適正撮影画像ITFおよび押込撮影画像ITDについて、3×3の9つの領域にそれぞれ分割し(図10のS1141)、それぞれの領域から代表画像を取得し(図10のS1142)、合成画像IGFおよび合成画像IGDを作成する(図10のS1143)。
 再び図8に戻り、フォーカス値の取得方法ついて説明を続ける。S116において、合成画像IGFおよび合成画像IGDについての平均輝度を取得し、それぞれの平均輝度が所定の範囲内に収まっているか否かを判定する。演算部210は、合成画像IGFおよび合成画像IGDの平均輝度が所定の範囲内に収まっていると判定した場合(S116のYes)、S118に進む。また、演算部210は、合成画像IGFおよび合成画像IGDについての平均輝度が、所定の範囲以上と判定された場合(S116のNo)、演算部210は、肌表面S以外のものが撮影されているとして、フォーカス値をゼロとする(S112)。
 合成画像の平均輝度の判定に用いられる所定の範囲は、画像の色解像度が8ビットの場合、すなわち、画像の輝度が0から255の間で示される場合、所定の範囲は、上限値と下限値との差が、100よりも大きいことが望ましい。より望ましくは、所定の範囲は、下限値が80であり、上限値が200である。
 S118において、演算部210は、合成画像IGFおよび合成画像IGDについて2次元周波数解析(2次元FFT)を行うことにより、それぞれについての周波数関数を取得する。
 S120において、演算部210は、取得した合成画像IGFおよび合成画像IGDについての周波数関数に対し、ハイパスフィルタ(HPF)処理を行い、所定の周波数以上の周波数成分のみとなった周波数関数をそれぞれ取得する。演算部210は、合成画像IGFおよび合成画像IGDについてのハイパスフィルタ処理後の周波数関数について、周波数ごとのパワースペクトラム(振幅成分)をそれぞれ積算し、積算値を取得する。
 S122において、演算部210は、S120において取得されたそれぞれの積算値を、適正撮影画像ITFおよび押込撮影画像ITDについてのフォーカス値とする。演算部210は、適正撮影画像ITFおよび押込撮影画像ITDについてのフォーカス値をそれぞれ出力する。
<肌滑らかさ>
 肌滑らかさは、肌表面Sの連続性を表す。肌滑らかさは、滑らかさがある肌は、伸びが良くハリがあり、キメが整っているという考えに基づく。すなわち、肌滑らかさが高いほど肌に弾力があるといえる。肌滑らかさは、適正撮影画像ITFに基づいて取得される。
 肌滑らかさは、図1に示す、肌滑らかさ取得部280により取得される。肌滑らかさ取得部280は、図11に示すように、画像補正部282と、単一チャネル抽出部284と、標準偏差取得部286と、肌滑らかさ取得部288とを有する。
 演算部210は、画像補正部282により、肌画像Iについて、歪み補正および縮小等の所定の補正を行う。画像補正部282は、補正後の肌画像Iを取得する。
 演算部210は、単一チャネル抽出部284により、補正後の肌画像Iについて、RGBカラーモデルにおけるいずれかのチャネルのみの信号成分を抽出する。単一チャネル抽出部284は、単一チャネル画像を取得する。
 演算部210は、標準偏差取得部286により、S284で取得された単一チャネル画像について画像全体の輝度を取得し、輝度の標準偏差を取得する。
 演算部210は、肌滑らかさ取得部288により、S284で取得した輝度の標準偏差を肌滑らかさとする。演算部210は、肌滑らかさを出力する。
 肌滑らかさの取得方法について、図12を参照して説明する。肌滑らかさの取得方法は、画像について補正を行うステップと(S210)。単一チャネル成分を取得するステップと(S212)、輝度の標準偏差を取得する(S214)ステップと、肌滑らかさを取得するステップ(S216)とを有する。以下、各ステップについて説明する。
 S210において、演算部210は、取得した適正撮影画像ITFについて、所定の補正を行う。所定の補正とは、例えば、肌画像Iの歪み補正または肌画像Iのサイズを縮小する補正である。
 S212において、補正後の画像について、RGBカラーモデルにおける、R(Red)チャネル、G(Green)チャネルおよびB(Blue)チャネルのうち、いずれか1つのチャネルについての成分を抽出し、単一チャネル画像を取得する。
 S214において、演算部210は、取得した単一チャネル画像の全体の輝度について標準偏差を取得する。
 S216において、演算部210は、取得した標準偏差を、肌滑らかさとする。演算部210は、肌滑らかさを出力する。
<キメの細かさ>
 キメ細かさは、肌表面Sの皮丘の多さを示す。キメ細かさは、肌に弾力があるほどキメが細かいう考えに基づく。すなわち、キメ細かさが高いほど肌に弾力があるといえる。キメ細かさは、適正撮影画像ITFに基づいて取得される。キメ細かさは、特許5733570号公報に開示された方法により取得することができる。
 キメ細かさは、図1に示す、キメ細かさ取得部290により取得される。キメ細かさ取得部290は、図13に示すように、画像補正部292と、単一チャネル抽出部294と、ノイズ除去部296と、二値化部298と、ラベリング処理部300、正規化部302とを有する。
 画像補正部292は、肌画像Iについて、歪み補正および縮小等の所定の補正を行う。画像補正部292は、補正後の肌画像Iを取得する。
 単一チャネル抽出部294は、補正後の肌画像Iについて、RGBカラーモデルにおけるいずれかのチャネルのみの信号成分を抽出する。単一チャネル抽出部294は、単一チャネル画像を取得する。
 ノイズ除去部296は、単一チャネル画像について、ノイズの除去を行う。ノイズ除去部296は、ノイズ除去画像を取得する。
 二値化部298は、ノイズ除去画像について、二値化処理を行う。二値化部298は、二値化画像を取得する。
 ラベリング処理部300は、二値化画像について、ラベリング処理を行い皮丘領域および皮丘数を取得する。ラベリング処理部300は、皮丘領域および皮丘数を表丘パターンとして取得する。
 正規化部302は、皮丘数を正規化し、キメ細かさを取得する。具体的には、正規化部302は、ラベリング処理部300が取得した皮丘数を、所定の正規化カーブにあてはめることにより正規化し、0から1の範囲に正規化したキメ細かさを取得する。正規化部302は、キメ細かさを出力する。
 キメ細かさの取得方法について、図14を参照して説明する。キメ細かさの取得方法は、取得した肌画像の補正を行うステップ(S310)と、所定のチャネルの信号成分を抽出するステップ(S312)と、画像のノイズを除去するステップ(S314)と、2値化処理を行うステップ(S316)と、ラベリング処理を行うステップ(S318)と、正規化するステップ(S320)とを有する。以下、各ステップについて説明する。
 S310において、演算部210は、画像補正部292により、取得した適正撮影画像ITFについて、所定の補正を行う。所定の補正とは、例えば、肌画像Iについて歪み補正や縮小等する補正である。
 S312において、演算部210は、単一チャネル抽出部294により、S310において補正された画像について、RGBカラーモデルにおける、Rチャネル、GチャネルおよびBチャネルのうち、所定のチャネルについての信号成分を抽出する。所定のチャネルとは例えばBチャネルである。単一チャネル抽出部294は、単一チャネル成分のみの画像を出力する。なお、肌撮影部100が分光カメラである場合には、この処理を省略することが可能である。
 S314において、演算部210は、S312において取得された単一チャネル画像について、ノイズ除去部296により、ノイズを除去する。
 S316において、演算部210は、二値化処理を行う。演算部210は、S314のノイズ除去後の画像について、注目ブロックを1画素ずつずらしながら、ノイズ除去後の画像の全画素に対して二値化処理を行い、二値化画像を生成する。
 S318において、演算部210は、二値化画像に対してラベリング処理を行うことにより、ラベリング領域を取得する。演算部210は、取得したラベリング領域のうち、撮像素子112の大きさ等に基づいて、所定の大きさの範囲内の皮丘領域を検出する。演算部210は、二値化画像内の皮丘領域の数をカウントし、表丘数を取得する。
 S320において、演算部210は、ラベリング処理部300により取得された表丘数を、所定の正規化カーブにより換算することにより0から1の範囲内に正規化し、キメ細かさとする。演算部210は、キメ細かさを出力する。
<毛穴統計量>
 毛穴統計量は、肌表面Sの一定のサイズ以上の毛穴の数を表す。毛穴統計量は、肌に弾力があるほど、毛穴のサイズが小さいという考えに基づく。すなわち、毛穴統計量が小さいほど、肌に弾力があるといえる。毛穴統計量は、適正撮影画像ITFに基づいて取得される。毛穴統計量は、特許6299594号公報に開示された方法により取得することができる。
 毛穴統計量は、図1に示す、毛穴統計量取得部310により取得される。毛穴統計量取得部310は、図15に示すように、図示しない前処理部と、図示しない輝度情報分離部と、特徴量算出部312と、特徴部分抽出部314と、統計量算出部316とを有する。
 図示しない前処理部は、肌画像Iについて前処理を行う。前処理部は、肌画像Iの輝度情報に対してより陰影を際立たせるためにコントラスト強調処理を適用する。また、前処理部は、肌画像Iに対して、コントラスト強調の前にノイズ除去、シェーディング補正などの処理を行ってもよい。
 図示しない輝度情報分離部は、前処理部で求めた輝度情報を、グローバル輝度情報とローカル輝度情報とに分離する。グローバル輝度情報とは、画像に含まれる照明成分や、肌の構造成分を示す情報である。また、ローカル輝度情報は、肌理などの肌の細かな模様を示す情報である。
 特徴量算出部312は、特徴量を算出する。特徴量算出部312は、例えば輝度情報分離部で生成されたグローバル輝度情報を用いて特徴量を算出する。
 特徴部分抽出部314は、特徴量算出部312で求めた特徴量に基づき、特徴部分を抽出する。特徴部分抽出部314は、特徴量である肌画像の階調に関する極性を示すラプラシアンが「1」であることを抽出条件とする。また、特徴部分抽出部314は、特徴量算出部312で求めた特徴量のスケールが、毛穴の大きさに相当することを抽出条件とする。また、特徴部分抽出部314は、強度を限定してもよい。
 統計量算出部316は、特徴部分の統計量を算出する。統計量算出部316は、特徴部分抽出部314で抽出した特徴部分の数を計測して毛穴の数を算出する。また、統計量算出部316は、抽出した特徴部分のスケールの平均値を算出する。統計量算出部316は、特徴部分のスケールの平均値から毛穴の大きさの統計量を求める。また、統計量算出部316は、平均値に限らず最大値や分散等も算出してもよい。また、統計量算出部316は、毛穴の大きさの階級分けを行い、階級毎に階級値を求めた場合における、所定の大きさ以上の階級の階級値の合計値を算出してもよい。
 以下に毛穴統計量の取得方法について説明する。毛穴統計量の取得方法は、図16に示すように、取得された肌画像について特徴量を取得するステップ(S410)と、所定の極性か否か判定するステップ(S412)と、所定のスケールか否か判定するステップ(S414)と、所定の強度か否かを判定するステップ(S416)と、特徴部分と判定するステップ(S418)と、特徴部分の抽出処理が完了したか否を判定するステップ(S420)と、統計量を算出するステップ(S424)とを有する。以下各ステップについて説明する。
 S410で、演算部210は、特徴量を取得する。具体的には、演算部210は、グローバル輝度情報を用いて算出された特徴量、例えば肌画像の階調に関する極性、周辺とは異なる類似した画素値を持つ画素領域を表すスケール、および強度(コントラスト差分)を示す特徴量を取得する。
 S412で、演算部210は、所定の極性であるか否かを判定する。演算部210は、特徴量が抽出する特徴部分の極性を示す場合、例えばラプラシアンが「1」で毛穴の特徴と合致する場合(S412のYes)に、S414に進む。また、演算部210は、特徴量が特徴部分の極性を示していない場合と判定した場合(S412のNo)、S422に進む。
 S414で、演算部210は、所定のスケールであるか否かを判定する。演算部210は、特徴量が抽出する部分のスケールを示す場合、例えば特徴量で示されているスケールが毛穴に対応したスケールであると判定した場合(S414のYes)、S416に進む。また、演算部は、特徴量が所定のスケールを示していないと判定した場合(S414のNo)、S422に進む。
 S416で、演算部210は、所定の強度であるか否かを判定する。演算部210は、特徴量が抽出する特徴部分の強度を示す場合、例えば特徴量で示された強度が毛穴部分と肌部分とのコントラスト差分に相当する強度以上であると判定した場合(S416のYes)、S418に進む。また、演算部210は、特徴量が所定の強度を示していないと判定した場合(S416のNo)、例えば、特徴量で示された強度が毛穴部分と肌部分のコントラスト差分よりも小さいと判定した場合、S422に進む。
 S418で、演算部210は、特徴部分であると判定する。演算部210は、例えばS412からS416で毛穴の抽出条件を満たすものを、特徴部分である毛穴を示す部分と判定し、S420に進む。
 S420で、演算部210は、特徴部分の抽出処理が完了したか否かを判定する。演算部は、特徴部分であるか否か判定されていない特徴量の領域が残っていると判定した場合(S420のNo)、S422に進み、残っていないと判定した場合(S422のYes)、S424に進む。
 S422で、演算部210は、新たな特徴量を取得する。演算部210は、特徴部分であるか否か判定されていない特徴量を取得してS412に戻る。
 S424で、演算部210は、特徴部分について統計量を算出する。例えば特徴量として毛穴を抽出した場合、演算部210は、特徴部分の数を計測して、毛穴の数を取得する。また演算部210は、取得した特徴部分のスケールの平均値を算出して、毛穴の大きさの平均値を取得する。また、毛穴の大きさの階級分けを行い、階級毎に階級値を求め、所定の大きさ以上の階級の階級値の合計を、毛穴統計量とする。演算部210は、毛穴統計量を出力する。
 なお、特徴部分の抽出動作において、極性、スケールおよび強度の判定順序は図16に示す順序に限らず他の順序であってもよい。また、極性の判定を行うことなく特徴部分の抽出を行うことができる。
<テカリ量>
 テカリ量は、照射した光が肌の表面で反射する度合いを表す。テカリ量は、肌に弾力があるほど、テカリ量が少ないという考えに基づく。すなわち、テカリ量が少ないほど、肌の弾力性が高い。テカリ量は、無偏光画像Iおよび直交偏光画像IPVに基づいて取得される。テカリ量は、特許6107537号公報に開示された方法により取得することができる。
 テカリ量は、図1に示す、テカリ量取得部320により取得される。テカリ量取得部320は、図17に示すように、前処理部322と、鏡面反射画像生成部324と、テカリ量算出部326とを有する。
 前処理部322は、肌撮影部100から供給された無偏光画像Iと直交偏光画像IPVに対して、公団での処理を行いやすくするための前処理を行う。具体的には、前処理部322は、輝度レベル(平均輝度)が最適な値になるように2枚の画像の輝度レベルを調整する。
 鏡面反射画像生成部324は、前処理部322から供給される前処理後の無偏光画像Iおよび直交偏光画像IPVを用いて、鏡面反射成分の画像である鏡面反射画像を生成する。
 テカリ量算出部326は、鏡面反射画像生成部324が生成した鏡面反射画像からテカリ量を算出する。テカリ量は、以下式3により算出される。
Figure JPOXMLDOC01-appb-M000002
  ここで、N:鏡面反射画像の画素数
    x,y:画像における画素の位置
Is(x,y):鏡面反射画像の画素における輝度値
を表す。
 テカリ量は、式3によると、鏡面反射画像の平均輝度によって求めることができる。
 以下に、テカリ量の取得方法について説明する。テカリ量の取得方法は、図18に示すように、無偏光画像および直交偏光画像について前処理をするステップ(S510)と、差分画像を取得するステップ(S512)と、クリッピング処理を行うステップ(S514)と、テカリ量を算出するステップ(S516)とを有する。以下各ステップについて説明する。
 S510において、演算部210は、取得した無偏光画像Iおよび直交偏光画像IPVについて前処理を行う。具体的には、演算部210は、画像の平均輝度が最適な値になるように輝度の調整を行う。
 S512において、演算部210は、差分画像を取得する。具体的には、演算部210は、直交偏光画像IPVに対してゲインを乗算する。また、演算部210は、前処理された無偏光画像Iからゲインを乗算した直交偏光画像IPVを減算し、差分画像を取得する。
 S514において、演算部210は、クリッピング処理を行う。具体的には、演算部210は、差分画像に対して、画像が適切な範囲に収まるようにクリッピングする。演算部210は、クリッピング処理後の画像を鏡面反射画像とする。演算部210は、鏡面反射画像を出力する。
 S516において、演算部210は、鏡面反射画像からテカリ量を算出する。具体的には、演算部210は、鏡面反射画像の全体について、画素ごとの画像における位置および輝度値並びに画素数を取得する。演算部210は、取得した画素ごとの画像における位置および輝度値並びに画素数を基に、式3によりテカリ量を算出する。演算部210は、テカリ量を出力する。
[1-4.実施例]
(実施例1)
 実施例1に係る肌評価指標Eと測定値Rとの相関図を、図7に示す。実施例1で用いられた肌画像指標Pは、学習用データ群Dの適正撮影フォーカス値、押込撮影フォーカス値および肌滑らかさである。すなわち、肌評価係数Cは、学習用データ群Dの測定値Rを目的変数、学習用データ群Dの適正撮影フォーカス値、押込撮影フォーカス値および肌滑らかさを説明変数として導出されている。
 図19に、肌評価係数Cと学習用データ群Dの肌画像指標Pとにより算出された肌評価指標Eを表す「train」、および肌評価係数Cとテスト用データ群Dの肌画像指標Pとにより算出された肌評価指標Eを表す「test」を示す。図19の、縦軸の「推定値」は、肌評価指標Eを意味し、横軸の「測定値」は測定値Rを意味する。
 実施例1における肌評価指標Eと肌画像指標Pである学習用データ群Dの適正撮影フォーカス値、押込撮影フォーカス値および肌滑らかさとの関係式を以下式4に示す。
  肌評価指標E=c11・p1+c21・p2+c31・p3+k1・・・(式4)
ここで、p1:適正撮影フォーカス値
    p2:押込撮影フォーカス値
    p3:肌滑らかさ
   c11:適正撮影フォーカス値の肌評価係数
   c21:押込撮影フォーカス値の肌評価係数
   c31:肌滑らかさの肌評価係数
    k1:回帰分析により算出されるオフセット値
である。
(実施例2)
 実施例2に係る肌評価指標Eと測定値Rとの相関係数および相対誤差を、図20に示す。実施例2に係る肌画像指標Pは、適正撮影フォーカス値、押込撮影フォーカス値、肌滑らかさである。ここで、相関係数は折れ線(corr)で示されている。相対誤差は、平均誤差(mean)、最大誤差(max)、標準偏差(σおよび3σ)である。また、学習用データ群Dは、100個の乱数シードをデータDに適用して分類された100個の学習用データ群Dが用いられている。また、回帰分析手法には、最小二乗法(OLS)、ラッソ回帰(Lasso)、リッジ回帰(Ridge)、エラスティックネット回帰(ElasticNet)、ベイズ線形回帰(Bayesian)およびテエリセン推定(Thiel-Sen)、ランサック(RANSAC)、フーバー回帰(Huber)が用いられている。肌評価指標Eは、学習用データ群Dに基づいて導出された回帰分析手法ごとの肌評価係数Cと、学習用データ群Dと対応するテスト用データ群Dとに基づいて算出された、回帰分析手法ごとの肌評価指標の平均である。式5に、肌評価指標Eと肌画像指標Pである学習用データ群Dの適正撮影フォーカス値、押込撮影フォーカス値および肌滑らかさとの関係式の一例を示す。
  肌評価指標E=c12・p1+c22・p2+c32・p3+k2・・・(式5)
ここで、p1:適正撮影フォーカス値
    p2:押込撮影フォーカス値
    p3:肌滑らかさ
   c12:平均された適正撮影フォーカス値の肌評価係数
   c22:平均された押込撮影フォーカス値の肌評価係数
   c32:平均された肌滑らかさの肌評価係数
    k2:平均された回帰分析により算出されるオフセット値
である。
 実施例2の場合、図20に示すように、相関係数(corr)は最小二乗法またはリッジ回帰による場合が高い。この場合において、最小二乗法およびリッジ回帰のうち、例えば、より平均誤差が低いリッジ回帰により導出された肌評価係数Cを用いたものが求めるべき肌評価指標Eとすることができる。
(実施例3)
 図21に、実施例3に係る肌評価指標Eと測定値Rとの相関係数および相対誤差を示す。実施例3に係る肌画像指標Pは、適正撮影フォーカス値、押込撮影フォーカス値、肌滑らかさ、キメ細かさ、毛穴統計量およびテカリ量である。学習用データ群Dは、100個の乱数シードをデータDに適用して分類された100個の学習用データ群Dが用いられている。また、回帰分析手法は、実施例2と同様、最小二乗法、ラッソ回帰、リッジ回帰、エラスティックネット回帰、ベイズ線形回帰、テイルセン回帰およびフーバー回帰が用いられている。肌評価指標Eは、学習用データ群Dに基づいて導出された回帰分析手法ごとの肌評価係数Cと、学習用データ群Dと対応するテスト用データ群Dとに基づいて算出された、回帰分析手法ごとの肌評価指標の平均である。式6に、肌評価指標Eと肌画像指標Pである学習用データ群Dの適正撮影フォーカス値、押込撮影フォーカス値および肌滑らかさとの関係式の一例を示す。
  肌評価指標E=c13・p1+c23・p2+c33・p3+c43・p4+c53・p5+c63・p6+k3・・・(式6)
ここで、p1:適正撮影フォーカス値
    p2:押込撮影フォーカス値
    p3:肌滑らかさ
    p4:キメ細かさ
    p5:毛穴統計量
    p6:テカリ量
   c12:平均された適正撮影フォーカス値の肌評価係数
   c23:平均された押込撮影フォーカス値の肌評価係数
   c33:平均された肌滑らかさの肌評価係数
   c42:平均されたキメ細かさの肌評価係数
   c53:平均された毛穴統計量の肌評価係数
   c63:平均されたテカリ量の肌評価係数
    k3:平均された回帰分析により算出されるオフセット値
である。
 図8に示す実施例3の場合、図21に示す実施例2の場合と比べて、最小二乗法、リッジ回帰およびテイルセン回帰による相関係数(corr)が少し高くなっているもの、全体的な傾向には大きな変化がないように見える。
(第2実施形態)
[2-1.第2実施形態に係る学習装置]
 以下に第2実施形態に係る学習装置30について説明する。学習装置30は、被評価者の肌についての測定値Rおよび肌画像Iを取得し、肌評価係数Cを取得する。学習装置30は、図22に示すように、肌撮影部100および処理端末部400を有する。肌撮影部100と処理端末部400とは無線通信が可能となっている。
 処理端末部400は、演算部410および記録部420を有する。演算部410は、測定値取得部222、肌画像取得部224、画像解析部230、データ分類部240および係数取得部250を有する。画像解析部230、データ分類部240および係数取得部250は、第1実施形態の推定システム10と同じ構成をとることができる。
[2-2.第2実施形態に係る学習方法]
 以下に、第2実施形態に係る肌評価係数の学習方法について説明する。肌評価係数の学習方法は、図23に示すように、データを取得するステップ(S610)と、肌画像指標を取得するステップ(S612)と、肌評価係数を取得するステップと(S614)を有する。
 S610において演算部410は、肌測定器20により取得された被評価者の肌表面Sの測定値Rおよび肌画像取得装置により取得された被評価者の肌表面Sの肌画像Iを取得する。測定値Rおよび肌画像Iは、被評価者のID番号が記録されており、紐づけされる。
 S612において演算部410は、肌画像Iを解析することにより肌画像指標Pを取得する。
 S614において演算部410は、測定値Rを目的変数、肌画像指標Pを説明変数として回帰分析を行うことにより、測定値Rと肌画像指標Pとの肌評価係数Cを取得する。
(第3実施形態)
[3-1.第3実施形態に係る推定装置]
 以下に第3実施形態に係る推定装置40について説明する。推定装置40は、被評価者の肌表面Sについて、肌評価係数Cと肌画像指標Pとに基づき肌評価指標Eを取得する。推定装置40は、図24に示すように、肌撮影部100および処理端末部500を有する。肌撮影部100と処理端末部500とは無線通信が可能となっている。
 処理端末部500は、肌画像取得部224と、演算部510と、記録部520とを有する。演算部510は、画像解析部230および指標推定部260を含む。画像解析部230および指標推定部260は、第1実施形態の推定システム10と同じ構成をとることができる。画像解析部230および指標推定部260は、記録部520に記録されるプログラムを実行することによりそれぞれ発現される。
[3-2.第3実施形態に係る推定方法]
 以下に、第3実施形態に係る肌評価指標の推定方法について説明する。肌評価指標の推定方法は、図25に示すように、肌画像を取得するステップ(S710)と、肌画像指標を取得するステップ(S712)と、肌評価指標を取得するステップ(S714)とを有する。
 S710において演算部510は、肌撮影部100により取得された被評価者の肌画像Iを取得する。肌画像Iには、被評価者のID番号、性別および年代の情報が共に記録される。取得された肌画像Iは、記録部520に記録される。
 S712において演算部510は、画像解析部230に肌画像Iを解析させ、得られた肌画像指標Pを取得する。画像解析部230は、適正撮像時のフォーカス値、押込撮像時のフォーカス値、肌滑らかさ、キメの細やかさ、毛穴統計量およびテカリ量を取得する。なお、画像解析部230は、用いる肌評価係数Cと対応する肌画像指標Pのみについて肌画像Iから取得するよう構成されてもよい。画像解析部230は、取得した肌画像指標Pを、記録部520に記録する。
 S714において演算部510は、指標推定部260により、肌評価係数Cおよび肌画像指標Pから、肌評価指標Eを推定する。具体的には指標推定部260は、画像解析部230により取得される肌画像指標Pと、記録部520に記録される肌評価係数Cとにより、肌評価指標Eを算出する。
(効果)
 学習装置30は、画像解析部230と、測定値取得部222と、係数取得部250とを含む。画像解析部230は、肌表面Sを撮影した肌画像Iを解析することにより少なくとも1つの肌画像指標Pを取得する。測定値取得部222は、肌測定器20を用いて測定した、肌画像Iに含まれる肌を測定した肌のハリ、弾力に関する測定値Rを取得する。係数取得部250は、複数の肌に対する測定値Rおよび肌画像指標Pの組み合わせを蓄積し、測定値Rを目的関数とし、画像解析部230で取得した肌画像指標Pを説明変数として回帰分析し、肌画像指標Pと、肌のハリ、弾力を評価する肌評価指標Eとの相対関係を示す肌評価係数Cを算出する。
 これにより、学習装置30は、肌画像指標Pと、肌のハリ、弾力を評価する肌評価指標Eとの相対関係を示す肌評価係数Cを算出することができる。
 学習装置30が取得する測定値Rは、肌測定器20で肌の表面を局所的に所定の時間吸引した後開放した場合における、吸引時の肌表面Sの伸び量に対する開放時の肌表面Sの伸び量の割合である。
 これにより、学習装置30は、肌測定器20で肌の表面を局所的に所定の時間吸引した後開放した場合における、吸引時の肌表面Sの伸び量に対する開放時の肌表面Sの伸び量の割合を、測定値Rとすることができる。
 学習装置30が取得する肌画像指標Pは、適正撮影フォーカス値、押込撮影フォーカス値、肌滑らかさ、キメ細かさ、毛穴統計量およびテカリ量のうち少なくとも1つを含む。
 これにより、学習装置30は、適正撮影フォーカス値、押込撮影フォーカス値、肌滑らかさ、キメ細かさ、毛穴統計量およびテカリ量のうち少なくとも1つを肌画像指標Pに用いることができる。
 学習装置30は、データ分類部240を有する。データ分類部240は、測定値Rおよび肌画像指標Pを含む複数のデータDを、学習用データ群Dに分類する。係数取得部250は、データDの組み合わせが異なる学習用データ群Dについて、測定値Rを目的変数、肌画像指標Pを説明変数として回帰分析を行い、肌評価係数Cをそれぞれ導出する。係数取得部250は、導出された複数の肌評価係数Cの平均を肌評価係数Cとする。
 これにより、学習装置30は、より信頼性の高い肌評価係数Cを取得することができる。
 推定装置40は、係数取得部250と、画像解析部230と、指標推定部260と、を含む。係数取得部250は、複数の肌を、肌測定器20を用いて測定した測定値Rを目的変数、肌を撮影した肌画像Iを解析することにより取得される少なくとも1つの肌画像指標Pを説明変数として回帰分析することにより算出される肌のハリ、弾力を評価する相対関係を示す肌評価係数Cを取得する。画像解析部230は、肌表面Sを撮影した肌画像Iを取得する。指標推定部260は、画像取得部で取得した肌画像Iを解析して、少なくとも1つの肌画像指標Pを取得する肌評価係数Cと肌画像指標Pとに基づいて、肌評価指標Eを推定する。
 これにより、推定装置40は、肌評価指標Eを推定することができる。
 学習方法は、肌表面Sを撮影した肌画像Iを解析することにより少なくとも1つの肌画像指標Pを取得するステップと、肌測定器20を用いて、肌画像Iに含まれる肌を測定した肌のハリ、弾力に関する測定値Rを取得するステップと、複数の肌に対する測定値Rおよび肌画像指標Pの組み合わせを蓄積し、測定値Rを目的関数とし、画像解析部230で取得した肌画像指標Pを説明変数として回帰分析し、肌画像指標Pと、肌のハリ、弾力を評価する肌評価指標Eとの相対関係を示す肌評価係数Cを算出するステップと、を含む。
 これにより、学習方法は、学習装置30と同じ効果を奏することができる。
 推定方法は、複数の肌を、肌測定器20を用いて測定した測定値Rを目的変数、肌を撮影した肌画像Iを解析することにより取得される少なくとも1つの肌画像指標Pを説明変数として回帰分析することにより算出される肌のハリ、弾力を評価する相対関係を示す肌評価係数Cを取得するステップと、肌表面Sを撮影した肌画像Iを取得するステップと、画像取得部で取得した肌画像Iを解析して、少なくとも1つの肌画像指標Pを取得するステップと、肌評価係数Cと肌画像指標Pとに基づいて、肌評価指標Eを推定するステップと、を含む。
 これにより、推定方法は、推定装置40と同じ効果を奏することができる。
 フォーカス値の取得方法は、肌画像Iの輝度のバラつきが所定の閾値以下か否かを判定するステップと、肌画像Iの輝度の平均値が所定の範囲内か否かを判定するステップと、肌画像Iの輝度についての周波数関数を取得するステップと、取得された周波数関数にハイパスフィルタを適用するステップと、ハイパスフィルタを適用した周波数関数の輝度を積算するステップと、を含む。
 これにより、フォーカス値の取得方法は、肌画像Iからフォーカス値を取得することができる。
 肌滑らかさの取得方法は、肌画像Iについて補正を行うステップと、補正した肌画像Iについて単一チャネル成分を取得するステップと、単一チャネル成分の輝度の標準偏差を取得するステップと、を含む。
 これにより、肌滑らかさの取得方法は、肌画像Iから肌滑らかさを取得することができる。
 また、例えば、本技術は以下のような構成もとることができる。
<付記>
(1)
 肌表面を撮影した肌画像を解析することにより少なくとも1つの肌画像指標を取得する画像解析部と、
 肌測定器を用いて測定した、前記肌画像に含まれる肌を測定した肌のハリ、弾力に関する測定値を取得する測定値取得部と、
 複数の肌に対する前記測定値および前記肌画像指標の組み合わせを蓄積し、前記測定値を目的関数とし、前記画像解析部で取得した前記肌画像指標を説明変数として回帰分析し、前記肌画像指標と、肌のハリ、弾力を評価する肌評価指標との相対関係を示す肌評価係数を算出する係数取得部とを含む肌評価係数の学習装置。
(2)
 前記測定値は、前記肌測定器で前記肌の表面を局所的に所定の時間吸引した後開放した場合における、吸引時の前記肌表面の伸び量に対する開放時の前記肌表面の伸び量の割合である前記(1)に記載の肌評価係数の学習装置。
(3)
 前記肌画像指標は、適正撮影フォーカス値、押込撮影フォーカス値、肌滑らかさ、キメ細かさ、毛穴統計量およびテカリ量のうち少なくとも1つを含む前記(1)または前記(2)に記載の肌評価係数の学習装置。
(4)
 前記測定値および前記肌画像指標を含む複数のデータを、学習用データ群に分類するデータ分類部を有し、
 前記係数取得部は、前記データの組み合わせが異なる前記学習用データ群について、前記測定値を目的変数、前記肌画像指標を説明変数として回帰分析を行い、前記肌評価係数をそれぞれ導出し、導出された複数の前記肌評価係数の平均を前記肌評価係数とする前記(1)から前記(3)のいずれかに記載の肌評価係数の学習装置。
(5)
 複数の肌を、肌測定器を用いて測定した測定値を目的変数、前記肌を撮影した肌画像を解析することにより取得される少なくとも1つの肌画像指標を説明変数として回帰分析することにより算出される肌のハリ、弾力を評価する相対関係を示す肌評価係数を取得する肌係数取得部と、
 肌表面を撮影した肌画像を取得する画像取得部と、
 前記画像取得部で取得した肌画像を解析して、少なくとも1つの前記肌画像指標を取得する画像解析部と、
 前記肌評価係数と前記肌画像指標とに基づいて、肌評価指標を推定する指標推定部と、を含む肌評価指標の推定装置。
(6)
 肌表面を撮影した肌画像を解析することにより少なくとも1つの肌画像指標を取得するステップと、
 肌測定器を用いて、前記肌画像に含まれる肌を測定した肌のハリ、弾力に関する測定値を取得するステップと、
 複数の肌に対する前記測定値および前記肌画像指標の組み合わせを蓄積し、前記測定値を目的関数とし、前記画像解析部で取得した前記肌画像指標を説明変数として回帰分析し、前記肌画像指標と、肌のハリ、弾力を評価する肌評価指標との相対関係を示す肌評価係数を算出するステップと、を含む肌評価係数の学習方法。
(7)
 複数の肌を、肌測定器を用いて測定した測定値を目的変数、前記肌を撮影した肌画像を解析することにより取得される少なくとも1つの肌画像指標を説明変数として回帰分析することにより算出される肌のハリ、弾力を評価する相対関係を示す肌評価係数を取得するステップと、
 肌表面を撮影した肌画像を取得するステップと、
 画像取得部で取得した肌画像を解析して、少なくとも1つの前記肌画像指標を取得するステップと、
 前記肌評価係数と前記肌画像指標とに基づいて、肌評価指標を推定するステップと、を含む肌評価指標の推定方法。
(8)
 肌画像からフォーカス値を取得するためのフォーカス値の取得方法であって、
 前記肌画像の輝度のバラつきが所定の閾値以下か否かを判定するステップと、
 前記肌画像の輝度の平均値が所定の範囲内か否かを判定するステップと、
 前記肌画像の輝度についての周波数関数を取得するステップと、
 前記取得された周波数関数にハイパスフィルタを適用するステップと、
 前記ハイパスフィルタを適用した周波数関数の輝度を積算するステップと、を含むフォーカス値の取得方法。
(9)
 肌画像から肌滑らかさを取得するための肌滑らかさの取得方法であって、
 前記肌画像について補正を行うステップと、
 補正した前記肌画像について単一チャネル成分を取得するステップと、
 前記単一チャネル成分の輝度の標準偏差を取得するステップと、を含む肌滑らかさの取得方法。
(10)
 撮像部に配置される偏光フィルタを介して撮像可能な撮像素子と
 前記撮像部の前記撮像素子の周囲に配置される無偏光発光部および偏光発光部と、
 被写体に接触するための接触部と、
 前記撮像部から面方向に前記接触部まで、前記撮像素子の焦点距離と同じ距離延びる鏡筒部とを有する肌撮影部を用いて、
 前記被写体に前記接触部を接触させた適正な焦点距離で、前記無偏光発光部を発光させて撮像することにより無偏光の適正撮影画像を取得するステップと、
 前記被写体に前記接触部を接触させた適正な焦点距離で、前記偏光発光部を発光させて撮像することにより直交偏光画像を取得するステップと、
 前記被写体に前記接触部を押し込み、前記無偏光発光部を発光させて撮像することにより押込撮影画像を取得するステップと、を含む撮像方法。
 10 推定システム
 20 肌測定器
 22 開口部
 24 プリズム部
 26 負圧発生部
 28 伸び量測定部
 28A 投光部
 28B 受光部
 30 学習装置
 40 推定装置
 100 肌撮影部
 110 撮像部
 112 撮像素子
 114 無偏光発光部
 116 偏光発光部
 120 鏡筒部
 122 接触部
 124 水分計
 200、400、500 処理端末部
 210、410、510 演算部
 220、420、520 記録部
 222 測定値取得部
 224 肌画像取得部
 230 画像解析部
 240 データ分類部
 242 乱数発生部
 250 係数取得部
 252 分析部
 260 指標推定部
 262 算出部
 264 評価部
 270 フォーカス値取得部
 272 画像編集部
 274 輝度取得部
 276 周波数関数部
 278 積算部
 280 肌滑らかさ取得部
 282 画像補正部
 284 単一チャネル抽出部
 286 標準偏差取得部
 288 肌滑らかさ取得部
 290 キメ細かさ取得部
 292 画像補正部
 294 単一チャネル抽出部
 296 ノイズ除去部
 298 二値化部
 300 ラベリング処理部
 302 正規化部
 310 毛穴統計量取得部
 312 特徴量算出部
 314 特徴部分抽出部
 316 統計量算出部
 320 テカリ量取得部
 322 前処理部
 324 鏡面反射画像生成部
 326 テカリ量算出部
 C 肌評価係数
 D データ
 D 学習用データ群
 D テスト用データ群
 E 肌評価指標
 I 肌画像
 IGF、IGD 合成画像
 I 無偏光画像
 ITF 適正撮影画像
 ITD 押込撮影画像
 IPV 直交偏光画像
 P 肌画像指標
 R 測定値
 S 肌表面

Claims (9)

  1.  肌表面を撮影した肌画像を解析することにより少なくとも1つの肌画像指標を取得する画像解析部と、
     肌測定器を用いて測定した、前記肌画像に含まれる肌を測定した肌のハリ、弾力に関する測定値を取得する測定値取得部と、
     複数の肌に対する前記測定値および前記肌画像指標の組み合わせを蓄積し、前記測定値を目的関数とし、前記画像解析部で取得した前記肌画像指標を説明変数として回帰分析し、前記肌画像指標と、肌のハリ、弾力を評価する肌評価指標との相対関係を示す肌評価係数を算出する係数取得部とを含む肌評価係数の学習装置。
  2.  前記測定値は、前記肌測定器で前記肌の表面を局所的に所定の時間吸引した後開放した場合における、吸引時の前記肌表面の伸び量に対する開放時の前記肌表面の伸び量の割合である請求項1に記載の肌評価係数の学習装置。
  3.  前記肌画像指標は、適正撮影フォーカス値、押込撮影フォーカス値、肌滑らかさ、キメ細かさ、毛穴統計量およびテカリ量のうち少なくとも1つを含む請求項1に記載の肌評価係数の学習装置。
  4.  前記測定値および前記肌画像指標を含む複数のデータを、学習用データ群に分類するデータ分類部を有し、
     前記係数取得部は、前記データの組み合わせが異なる前記学習用データ群について、前記測定値を目的変数、前記肌画像指標を説明変数として回帰分析を行い、前記肌評価係数をそれぞれ導出し、導出された複数の前記肌評価係数の平均を前記肌評価係数とする請求項1に記載の肌評価係数の学習装置。
  5.  複数の肌を、肌測定器を用いて測定した測定値を目的変数、前記肌を撮影した肌画像を解析することにより取得される少なくとも1つの肌画像指標を説明変数として回帰分析することにより算出される肌のハリ、弾力を評価する相対関係を示す肌評価係数を取得する肌係数取得部と、
     肌表面を撮影した肌画像を取得する画像取得部と、
     前記画像取得部で取得した肌画像を解析して、少なくとも1つの前記肌画像指標を取得する画像解析部と、
     前記肌評価係数と前記肌画像指標とに基づいて、肌評価指標を推定する指標推定部と、を含む肌評価指標の推定装置。
  6.  肌表面を撮影した肌画像を解析することにより少なくとも1つの肌画像指標を取得するステップと、
     肌測定器を用いて、前記肌画像に含まれる肌を測定した肌のハリ、弾力に関する測定値を取得するステップと、
     複数の肌に対する前記測定値および前記肌画像指標の組み合わせを蓄積し、前記測定値を目的関数とし、前記肌画像指標を説明変数として回帰分析し、前記肌画像指標と、肌のハリ、弾力を評価する肌評価指標との相対関係を示す肌評価係数を算出するステップと、を含む肌評価係数の学習方法。
  7.  複数の肌を、肌測定器を用いて測定した測定値を目的変数、前記肌を撮影した肌画像を解析することにより取得される少なくとも1つの肌画像指標を説明変数として回帰分析することにより算出される肌のハリ、弾力を評価する相対関係を示す肌評価係数を取得するステップと、
     肌表面を撮影した肌画像を取得するステップと、
     画像取得部で取得した肌画像を解析して、少なくとも1つの前記肌画像指標を取得するステップと、
     前記肌評価係数と前記肌画像指標とに基づいて、肌評価指標を推定するステップと、を含む肌評価指標の推定方法。
  8.  肌画像からフォーカス値を取得するためのフォーカス値の取得方法であって、
     前記肌画像の輝度のバラつきが所定の閾値以下か否かを判定するステップと、
     前記肌画像の輝度の平均値が所定の範囲内か否かを判定するステップと、
     前記肌画像の輝度についての周波数関数を取得するステップと、
     前記取得された周波数関数にハイパスフィルタを適用するステップと、
     前記ハイパスフィルタを適用した周波数関数の輝度を積算するステップと、を含むフォーカス値の取得方法。
  9.  肌画像から肌滑らかさを取得するための肌滑らかさの取得方法であって、
     前記肌画像について補正を行うステップと、
     補正した前記肌画像について単一チャネル成分を取得するステップと、
     前記単一チャネル成分の輝度の標準偏差を取得するステップと、を含む肌滑らかさの取得方法。
PCT/JP2020/018202 2020-04-28 2020-04-28 肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法 WO2021220444A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022518525A JPWO2021220444A1 (ja) 2020-04-28 2020-04-28
PCT/JP2020/018202 WO2021220444A1 (ja) 2020-04-28 2020-04-28 肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/018202 WO2021220444A1 (ja) 2020-04-28 2020-04-28 肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法

Publications (1)

Publication Number Publication Date
WO2021220444A1 true WO2021220444A1 (ja) 2021-11-04

Family

ID=78331870

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018202 WO2021220444A1 (ja) 2020-04-28 2020-04-28 肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法

Country Status (2)

Country Link
JP (1) JPWO2021220444A1 (ja)
WO (1) WO2021220444A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194896A (ja) * 2008-01-18 2009-08-27 Sanyo Electric Co Ltd 画像処理装置及び方法並びに撮像装置
JP2009297295A (ja) * 2008-06-13 2009-12-24 Kao Corp 肌のなめらかさの評価方法
WO2013153959A1 (ja) * 2012-04-09 2013-10-17 ポーラ化成工業株式会社 乳頭構造分析に基づく肌状態の鑑別法
JP2013212177A (ja) * 2012-03-30 2013-10-17 Shiseido Co Ltd 画像解析方法、画像解析装置、及び画像解析プログラム
JP2014064896A (ja) * 2012-09-04 2014-04-17 Pola Chem Ind Inc 線維状構造分析に基づく肌状態の鑑別法
JP2018088079A (ja) * 2016-11-28 2018-06-07 株式会社東海理化電機製作所 学習装置及び学習方法
JP2018197812A (ja) * 2017-05-24 2018-12-13 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN110991356A (zh) * 2019-12-06 2020-04-10 中科智云科技有限公司 一种基于屏幕边缘的手机回放活体攻击识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194896A (ja) * 2008-01-18 2009-08-27 Sanyo Electric Co Ltd 画像処理装置及び方法並びに撮像装置
JP2009297295A (ja) * 2008-06-13 2009-12-24 Kao Corp 肌のなめらかさの評価方法
JP2013212177A (ja) * 2012-03-30 2013-10-17 Shiseido Co Ltd 画像解析方法、画像解析装置、及び画像解析プログラム
WO2013153959A1 (ja) * 2012-04-09 2013-10-17 ポーラ化成工業株式会社 乳頭構造分析に基づく肌状態の鑑別法
JP2014064896A (ja) * 2012-09-04 2014-04-17 Pola Chem Ind Inc 線維状構造分析に基づく肌状態の鑑別法
JP2018088079A (ja) * 2016-11-28 2018-06-07 株式会社東海理化電機製作所 学習装置及び学習方法
JP2018197812A (ja) * 2017-05-24 2018-12-13 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN110991356A (zh) * 2019-12-06 2020-04-10 中科智云科技有限公司 一种基于屏幕边缘的手机回放活体攻击识别方法

Also Published As

Publication number Publication date
JPWO2021220444A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
JP4772839B2 (ja) 画像識別方法および撮像装置
JP3767541B2 (ja) 光源推定装置、光源推定方法、撮像装置および画像処理方法
US10641658B1 (en) Method and system for hyperspectral light field imaging
JP2004357277A (ja) デジタル画像処理方法
CN103914708B (zh) 基于机器视觉的食品品种检测方法及***
JP6913953B2 (ja) 肉質等級の品質基準のデジタル化方法、それによる品質基準を利用した品質評価のデジタル処理方法、それらを利用した自動肉質評価装置、および、それに搭載されるソフトウェア
US20140286546A1 (en) Apparatus and method for processing fingerprint image
WO2011151821A1 (en) Inspection of region of interest
JPWO2020059565A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
US11244429B2 (en) Method of providing a sharpness measure for an image
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
KR101695246B1 (ko) 광원 추정 장치 및 광원 추정 방법
JP2014027597A (ja) 画像処理装置、物体識別装置、及びプログラム
JP2013542528A (ja) 夜景画像ボケ検出システム
van Zwanenberg et al. Edge detection techniques for quantifying spatial imaging system performance and image quality
CN113340817A (zh) 光源光谱和多光谱反射率图像获取方法、装置及电子设备
CN111709930A (zh) 基于模式噪声的图片出处与窜改认定方法
JP2007312206A (ja) 撮像装置及び、画像再生装置
JP6525503B2 (ja) 画像処理装置および撮像装置
WO2021220444A1 (ja) 肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法
JP2006061170A (ja) 皮膚の鑑別法
JP2002174595A (ja) 表面種別識別方法および装置
JP4349568B2 (ja) 物体認識装置、物体認識方法、プログラム及び記録媒体
KR100911493B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN113297977A (zh) 活体检测方法、装置及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20933551

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022518525

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20933551

Country of ref document: EP

Kind code of ref document: A1