KR102030131B1

KR102030131B1 - Continuous skin condition estimating method using infrared image

Info

Publication number: KR102030131B1
Application number: KR1020170098551A
Authority: KR
Inventors: 홍광석; 김민수
Original assignee: 성균관대학교산학협력단
Priority date: 2017-08-03
Filing date: 2017-08-03
Publication date: 2019-10-08
Also published as: KR20190014728A

Abstract

적외선 영상을 이용한 연속적인 피부의 수분도, 산도 및/또는 유분도 측정 방법은 컴퓨터 장치가 적외선 영상에서 피부 영역을 검출하는 단계, 상기 컴퓨터 장치가 상기 피부 영역의 색상 데이터 및 질감 데이터를 추출하는 단계 및 상기 컴퓨터 장치가 상기 색상 데이터 및 상기 질감 데이터 각각과 피부의 수분도, 산도 및/또는 유분도의 관계를 이용하여 사전에 마련한 회귀 분석 함수에 상기 색상 데이터 및 상기 질감 데이터를 입력하여 피부의 수분도, 산도 및/또는 유분도를 결정하는 단계를 포함한다.A method of measuring moisture, acidity, and / or oil content of a skin continuously using an infrared image includes detecting a skin region in an infrared image by a computer device, and extracting color data and texture data of the skin region by a computer device. And the computer device inputs the color data and the texture data to a regression analysis function previously prepared by using the relationship between the color data and the texture data and the moisture degree, acidity, and / or oil content of the skin. Determining the degree, acidity and / or oil content.

Description

적외선 영상을 이용한 연속적인 피부 상태 측정 방법{CONTINUOUS SKIN CONDITION ESTIMATING METHOD USING INFRARED IMAGE}Continuous skin condition measurement using infrared image {CONTINUOUS SKIN CONDITION ESTIMATING METHOD USING INFRARED IMAGE}

이하 설명하는 기술은 적외선 영상을 이용하여 피부 수분도, 피부 유분도, 피부 산도를 측정하는 기법에 관한 것이다.The technology described below relates to a technique for measuring skin moisture level, skin oil level, and skin acidity using an infrared image.

최근 피부 미용에 대한 관심이 증가함에 따라, 코스메틱 케어(Cosmetic-Care) 제품을 통해 사용자의 피부 상태를 진단하는 장치들이 주목받고 있다. 한편 피부 상태를 측정한 데이터를 스마트폰으로 관리하는 서비스도 제공되고 있다.Recently, as interest in skin care has increased, devices for diagnosing a skin condition of a user through cosmetic-care products have attracted attention. On the other hand, a service that manages data measured on the skin with a smartphone is also provided.

한국공개특허 제10-2015-0033938 호Korean Patent Publication No. 10-2015-0033938

피부 상태를 측정하거나 관리하는 종래 기법은 기본적으로 피부 상태를 측정하기 위한 별도의 장치를 필요로 한다. 이하 설명하는 기술은 적외선 영상을 이용하여 피부의 수분도(水分度), 산도(pH) 및/또는 유분도(溜分度)를 측정하는 방법을 제공하고자 한다.Conventional techniques for measuring or managing skin condition basically require a separate device for measuring skin condition. The technology described below is to provide a method for measuring the moisture content (acid content), acidity (pH) and / or oil content of the skin by using an infrared image.

기존에 스마트 기기에 내장된 카메라를 이용하여 획득한 영상을 통해 다양한 피부 상태(피부의 수분도, 산도 및/또는 유분도)를 측정할 수 있다. 하지만, 일반 영상의 경우, 조도 변화에 따라 획득되는 영상에 차이가 발생하여, 장소/시간에 따라 피부 상태 측정 결과가 일정하지 않고 차이가 발생한다는 문제점이 존재하였다. 이러한 문제점을 해결하기위해 적외선 카메라를 이용하면, 다양한 환경(차량, 드론 등)에서 주/야간 구분없이 촬영한 적외선 영상의 피부 관심 영역에서 지속적으로 계산된 색상 데이터를 이용하여 피부의 수분도, 산도 및/또는 유분도를 추정할 수 있다.Various skin conditions (skin moisture, acidity and / or oil content) can be measured through images acquired using a camera built in a smart device. However, in the case of a general image, a difference occurs in an image acquired according to a change in illuminance, and there is a problem in that a skin condition measurement result is not constant and a difference occurs according to a place / time. In order to solve this problem, using an infrared camera, the moisture content and acidity of the skin are continuously obtained by using the color data continuously calculated in the skin region of interest of the infrared image taken regardless of day / night in various environments (vehicles, drones, etc.). And / or oil content can be estimated.

적외선 영상을 이용한 피부 상태 측정 방법은 컴퓨터 장치가 적외선 영상에서 대상자의 피부 영역을 검출하는 단계, 상기 컴퓨터 장치가 상기 피부 영역의 색상 데이터 및 질감 데이터를 추출하는 단계, 및 상기 컴퓨터 장치가 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나와 피부의 수분도, 산도 및/또는 유분도의 관계를 이용하여 사전에 마련한 제 1 회귀 분석 함수에 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나를 입력하여 제 1 피부 수분도, 제 1 피부 산도, 및/또는 제 1 피부 유분도를 결정하는 단계 및 상기 컴퓨터 장치가 상기 제 1 피부의 수분도, 산도 및/또는 유분도와 피부의 수분도, 산도 및/또는 유분도의 관계를 이용하여 사전에 마련된 제 2 회귀 분석 함수에 상기 제 1 피부의 수분도, 산도 및/또는 유분도를 적용하여 제 2 피부의 수분도, 산도 및/또는 유분도를 결정하는 단계를 포함한다.A skin condition measuring method using an infrared image includes a computer device detecting a skin region of a subject in an infrared image, the computer device extracting color data and texture data of the skin region, and the computer device the color data And inputting at least one of the color data and the texture data into a first regression analysis function previously prepared by using a relationship between at least one of the texture data and the moisture content, acidity, and / or oil content of the skin. Determining a degree, a first skin acidity, and / or a first skin oiliness, and wherein the computer device determines the water content, acidity and / or oiliness of the first skin, and the water content, acidity and / or oiliness of the skin. The second blood is obtained by applying the moisture content, acidity and / or oil content of the first skin to a second regression analysis function prepared in advance using a relationship. Of water also includes the step of determining the pH and / or oil also.

본 발명의 일 실시예에 따르면, 적외선 영상을 이용하여 조도 변화와 무관하게 높은 신뢰도를 갖는 피부 상태 측정 방법을 제공할 수 있다.According to an embodiment of the present invention, it is possible to provide a skin condition measuring method having a high reliability regardless of changes in illuminance using an infrared image.

또한, 본 발명의 일 실시예에 따르면, 회귀 직선(또는 곡선)을 이용함으로써, 한정되지 않은 연속된 값을 얻을 수 있다.In addition, according to one embodiment of the present invention, by using a regression line (or curve), it is possible to obtain an unlimited continuous value.

또한, 본 발명의 일 실시예에 따르면, 다양한 방식(SVM, Random-Forest, 딥러닝 등)을 통해 측정값의 확률(또는 스코어)을 계산하여 가중합 또는 다중회귀 식에 적용하여 '연속된 값'을 추정함으로써 종래 기술의 단점을 극복함과 동시에 보다 정확한 생체 신호를 측정할 수 있다는 장점을 갖는다. 이로써 기존 상용화된 측정기기와 유사한/높은 신뢰도로 피부 상태 값을 추정할 뿐만 아니라, 이를 위한 별도의 장비가 필요하지 않아 추가적인 비용 또한 발생하지 않는다는 장점이 있다.In addition, according to an embodiment of the present invention, the probability (or score) of the measured value is calculated through various methods (SVM, Random-Forest, Deep Learning, etc.) and applied to a weighted sum or multiple regression equation to 'continuous values'. By estimating '' has the advantage of overcoming the disadvantages of the prior art and at the same time can measure a more accurate bio-signal. This not only estimates skin condition values with similar / high reliability as conventional commercial measuring instruments, but also does not require additional equipment for this, and thus does not incur additional costs.

도 1 은 적외선 영상을 이용한 피부 수분도, 산도 및/또는 유분도를 측정하는 장치의 구성을 도시한 예이다.
도 2 는 본 발명의 일 실시예에 따라 적외선 영상을 이용하여 피부 상태를 측정하는 방법에 대한 순서도이다.
도 3 은 도 2 의 방법에 따라 색상 및 질감데이터 DB 와 피부 상태 DB 의 구성과 피부 상태값 측정 모델을 생성하는 과정을 예시한다.
도 4 는 피부 상태 회귀분석식 DB 를 생성하는 과정을 예시한다.
도 5 는 도 4 에서 생성된 DB 를 이용하여 피부 상태 값을 측정하는 방법을 예시한다.
도 6 은 개선된 피부 상태 회귀분석식 DB 를 생성하는 과정을 예시한다.
도 7 은 도 6 에서 생성된 DB 를 이용하여 피부 상태 값을 측정하는 방법을 예시한다.
도 8 은 본 발명이 적용될 수 있는 피부 수분과 피부 유분 사이의 상관관계를 나타낸 그래프이다.
도 9 는 본 발명의 일 실시예에 따라 분류 모델 DB 를 생성하는 과정을 예시한다.
도 10 은 본 발명의 일 실시예에 따른 분류 방식을 예시한 도면이다.
도 11 은 도 9 와 도 10 의 실시예를 통해 생성된 분류 모델 DB 에 색상 및 질감데이터를 적용하여 연속된 피부 상태값을 획득/측정하는 과정을 예시한다.
도 12 는 분류 모델을 통해 계산된 피부 상태 값을 회귀분석식에 적용하여 연속된 피부 상태 값을 계산하는 과정을 예시한다.1 is an example showing the configuration of an apparatus for measuring skin moisture, acidity and / or oil content using an infrared image.
2 is a flowchart illustrating a method of measuring a skin condition using an infrared image according to an embodiment of the present invention.
3 illustrates a process of generating a configuration of a color and texture data DB and a skin condition DB and a skin condition measurement model according to the method of FIG. 2.
4 illustrates a process of generating a skin condition regression DB.
FIG. 5 illustrates a method of measuring skin condition values using the DB generated in FIG. 4.
6 illustrates the process of creating an improved skin condition regression DB.
FIG. 7 illustrates a method of measuring skin condition values using the DB generated in FIG. 6.
8 is a graph showing a correlation between skin moisture and skin oil to which the present invention can be applied.
9 illustrates a process of generating a classification model DB according to an embodiment of the present invention.
10 is a diagram illustrating a classification scheme according to an embodiment of the present invention.
FIG. 11 illustrates a process of obtaining / measuring a continuous skin condition value by applying color and texture data to the classification model DB generated through the embodiments of FIGS. 9 and 10.
12 illustrates a process of calculating a continuous skin condition value by applying a skin condition value calculated through a classification model to a regression equation.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The following description may be made in various ways and have a variety of embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the technology described below to specific embodiments, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the technology described below.

제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various components, but the components are not limited by the terms, but merely for distinguishing one component from other components. Only used as For example, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component without departing from the scope of the technology described below. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular forms "a," "an," and "the" are intended to include the plural forms as well, unless the context clearly indicates otherwise. It is to be understood that the present invention means that there is a part or a combination thereof, and does not exclude the presence or addition of one or more other features or numbers, step operation components, parts or a combination thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2 개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2 개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Prior to the detailed description of the drawings, it is to be clear that the division of the components in the present specification is only divided by the main function of each component. That is, two or more components to be described below may be combined into one component, or one component may be provided divided into two or more for each subdivided function. Each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions of the components, and some of the main functions of each of the components are different. Of course, it may be carried out exclusively by.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In addition, in carrying out the method or operation method, each process constituting the method may occur differently from the stated order unless the context clearly indicates a specific order. That is, each process may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

도 1 은 적외선 영상을 이용한 피부 수분도, 산도 및/또는 유분도를 측정하는 장치의 구성을 도시한 예이다. 도 1 은 사용자의 얼굴이 포함된 적외선 영상에서 얼굴을 검출하는 예를 도시한다. 피부 수분도는 피부에 포함된 수분 함량, 피부 산도는 피부에 존재하는 산성 물질의 함량, 피부 유분도는 피부에 포함된 유분 함량을 의미한다.1 is an example showing the configuration of an apparatus for measuring skin moisture, acidity and / or oil content using an infrared image. 1 illustrates an example of detecting a face in an infrared image including a face of a user. Skin moisture content refers to the water content contained in the skin, skin acidity refers to the content of acidic substances present in the skin, and skin oil content refers to the oil content contained in the skin.

도 1(a)는 스마트폰과 같은 스마트 기기(50)를 이용하여 피부 수분도, 산도 및/또는 유분도를 측정하는 예이다. 사용자는 스마트 기기(50)에 부착된/구비된/내장된 적외선 카메라로 얼굴을 촬영한다. 스마트 기기(50)는 적외선 영상에서 얼굴 영역을 검출하고, 사전에 설정된 영역의 색상 데이터를 추출한다. 스마트 기기(50)는 색상 데이터를 기준으로 피부 수분도, 산도 및/또는 유분도를 측정한다.1A illustrates an example of measuring skin moisture, acidity and / or oil content using a smart device 50 such as a smartphone. The user photographs the face with an infrared camera attached / equipped / built in the smart device 50. The smart device 50 detects a face region in the infrared image and extracts color data of a preset region. The smart device 50 measures skin moisture, acidity and / or oil content based on the color data.

도 1(a)에서 스마트 기기(50)는 적외선 카메라(51), 저장 장치(52), 연산 장치(53) 및 출력 장치(54)를 포함한다. 적외선 카메라(51)는 적외선 영상을 획득한다. 연산 장치(53)는 적외선 영상에 포함된 피부 영역에 대한 색상 데이터를 추출하고, 색상 데이터로부터 피부 수분도, 산도 및/또는 유분도를 측정하는 연산을 수행한다. 저장 장치(52)는 적외선 영상을 임시로 저장할 수 있다. 또한 저장 장치(52)는 피부 수분도, 산도 및/또는 유분도 측정에 사용되는 회귀 분석 함수를 저장할 수도 있다. 출력 장치(54)는 측정한 피부 수분도, 산도 및/또는 유분도를 출력할 수 있다.In FIG. 1A, the smart device 50 includes an infrared camera 51, a storage device 52, a computing device 53, and an output device 54. The infrared camera 51 acquires an infrared image. The computing device 53 extracts color data of the skin region included in the infrared image, and performs calculation to measure skin moisture, acidity and / or oil content from the color data. The storage device 52 may temporarily store the infrared image. The storage device 52 may also store a regression analysis function used to measure skin moisture, acidity and / or oil content. The output device 54 may output the measured skin moisture content, acidity and / or oil content.

도 1(b)는 PC 와 같은 적외선 카메라가 구비된 장치를 이용하여 피부 수분도, 산도 및/또는 유분도를 측정하는 예이다. 사용자는 컴퓨터(85)에 연결된 적외선 카메라(81)로 얼굴을 촬영한다. 컴퓨터(85)는 적외선 영상에서 얼굴 영역을 검출하고, 사전에 설정된 영역의 색상 데이터를 추출한다. 컴퓨터(85)는 색상 데이터를 기준으로 피부 수분도, 산도 및/또는 유분도를 측정한다.Figure 1 (b) is an example of measuring the skin moisture, acidity and / or oil content using a device equipped with an infrared camera such as a PC. The user photographs the face with an infrared camera 81 connected to the computer 85. The computer 85 detects a face region in the infrared image and extracts color data of a preset region. Computer 85 measures skin moisture, acidity and / or oil content based on color data.

도 1(c)는 사용자 단말(91)로 획득한 적외선 영상을 이용하여 원격지에 있는 서버(95)가 피부 수분도를 측정하는 예이다. 사용자는 사용자 단말(91)에 부착된 적외선 카메라로 얼굴을 촬영한다. 사용자 단말(91)은 촬영한 적외선 영상을 네트워크를 통해 서버(95)에 전달한다. 이 경우 사용자 단말(91)은 데이터 전송을 위한 통신 모듈을 포함한다. 서버(95)는 적외선 영상에서 얼굴 영역을 검출하고, 사전에 설정된 특정 영역의 색상 데이터를 추출한다. 서버(95)는 색상 데이터를 기준으로 피부 수분도, 산도 및/또는 유분도를 측정한다. 서버(95)는 측정한 피부 수분도, 산도 및/또는 유분도를 사용자 단말(91)에 전달할 수 있다.FIG. 1 (c) illustrates an example in which the server 95 at a remote location measures skin moisture by using an infrared image acquired by the user terminal 91. The user photographs the face with an infrared camera attached to the user terminal 91. The user terminal 91 transmits the captured infrared image to the server 95 through a network. In this case, the user terminal 91 includes a communication module for data transmission. The server 95 detects a face region in the infrared image, and extracts color data of a predetermined specific region. The server 95 measures skin moisture, acidity and / or oil content based on the color data. The server 95 may transmit the measured skin moisture content, acidity, and / or oil content to the user terminal 91.

경우에 따라서는 사용자 단말(91)이 적외선 영상에서 피부 영역을 검출하여 서버(95)에 전달할 수 도 있다. 이 경우 서버(95)는 피부 영역에 대한 색상 데이터를 추출하고, 색상 데이터를 이용하여 피부 수분도, 산도 및/또는 유분도를 측정한다. 또는 사용자 단말(91)이 소스 영역에서 피부 영역을 검출하고, 피부 영역에 대한 색상 데이터를 추출할 수 있다. 사용자 단말(91)은 피부 영역에 대한 색상 데이터만을 서버(95)에 전달할 수 있다. 서버(95)는 색상 데이터를 이용하여 피부 수분도, 산도 및/또는 유분도를 측정할 수 있다.In some cases, the user terminal 91 may detect the skin region from the infrared image and transmit the skin region to the server 95. In this case, the server 95 extracts color data of the skin region and measures skin moisture, acidity and / or oil content using the color data. Alternatively, the user terminal 91 may detect the skin region in the source region and extract color data of the skin region. The user terminal 91 may transmit only the color data of the skin region to the server 95. The server 95 may measure skin moisture, acidity and / or oil content using the color data.

도 2 는 본 발명의 일 실시예에 따라 적외선 영상을 이용하여 피부 상태를 측정하는 방법에 대한 순서도이다.2 is a flowchart illustrating a method of measuring a skin condition using an infrared image according to an embodiment of the present invention.

도 2 를 참조하면, 컴퓨터 장치는 먼저 적외선 카메라를 이용하여 소스 영상을 획득할 수 있다((A) 단계). 이때, 소스 영상은 측정 대상자/사용자의 피부 영역이 포함된 적외선 영상에 해당할 수 있다.Referring to FIG. 2, the computer device may first acquire a source image using an infrared camera (step (A)). In this case, the source image may correspond to an infrared image including the skin region of the subject / user.

다음으로, 컴퓨터 장치는 소스 영상에서 피부 영역을 검출할 수 있다((B) 단계). 이때, 컴퓨터 장치는 소스 영상에서 피부 영역을 검출하기 위한 다양한 알고리즘을 사용할 수 있다.Next, the computer device may detect the skin region in the source image (step (B)). In this case, the computer device may use various algorithms for detecting the skin region in the source image.

다음으로, 컴퓨터 장치는 피부 영역의 색상 및 질감 데이터를 추출할 수 있다((C) 단계). 이때, 컴퓨터 장치는 피부 영역 전체에 대한 색상 및 질감데이터를 추출할 수 있다. 또한, 컴퓨터 장치는 특정 피부 영역에 대한 색상 및 질감데이터를 추출할 수도 있다.Next, the computer device may extract color and texture data of the skin region (step (C)). In this case, the computer device may extract color and texture data of the entire skin area. In addition, the computer device may extract color and texture data for a particular skin region.

다음으로, 컴퓨터 장치는 훈련 절차(①) 또는 측정 절차(②)를 선택적으로 수행할 수 있다.Next, the computer device may optionally perform a training procedure ① or a measurement procedure ②.

컴퓨터 장치가 훈련 절차(①)를 선택한 경우, 컴퓨터 장치는 추출한 색상 및 질감데이터를 이용하여 색상 및 질감 데이터 DB 를 구성할 수 있다((D) 단계). 색상 및 질감데이터 DB 구성과 동일한 시점에 피부 상태 측정 기기(예를 들어, 피부 수분, 피부 유분, 피부 산도 측정 기기)를 이용하여 측정 대상자/사용자의 피부 상태 값을 측정하여 피부 상태 DB(예를 들어, 피부 수분/유분/산도 DB)를 구성할 수 있다((E) 단계).When the computer device selects the training procedure (①), the computer device may construct the color and texture data DB using the extracted color and texture data (step (D)). At the same time as the color and texture data DB configuration, the skin condition DB (for example, skin moisture, skin oil, and skin acidity measurement device) is measured to measure the skin condition value of the subject / user. For example, skin moisture / oil / acidity DB) may be configured (step (E)).

다음으로, 컴퓨터 장치는 구성된 색상 및 질감데이터 DB 와 피부 상태 DB 를 기반으로 피부 상태값 측정 모델을 생성할 수 있다((F) 단계).Next, the computer device may generate a skin condition value measurement model based on the configured color and texture data DB and the skin condition DB (step (F)).

컴퓨터 장치가 측정 절차(②)를 선택한 경우, 컴퓨터 장치는 생성된 피부 상태값 측정 모델을 이용하여 피부 상태값을 측정할 수 있다((G) 단계).When the computer device selects the measurement procedure ②, the computer device may measure the skin condition value using the generated skin condition value measurement model (step (G)).

상기 훈련 및 측정 절차는 이하의 도 4 내지 8 과 관련하여 이하에서 상세히 후술하기로 한다.The training and measurement procedure will be described later in detail with reference to FIGS. 4 to 8 below.

도 3 은 도 2 의 방법에 따라 색상 및 질감데이터 DB 와 피부 상태 DB 의 구성과 피부 상태값 측정 모델을 생성하는 과정을 예시한다.3 illustrates a process of generating a configuration of a color and texture data DB and a skin condition DB and a skin condition measurement model according to the method of FIG. 2.

컴퓨터 장치는 적외선 카메라를 이용하여 사람의 얼굴 적외선 영상을 촬영하고, 얼굴 적외선 영상이 포함된 소스 영상을 획득할 수 있다(a 과정).The computer apparatus may photograph an infrared image of a human face using an infrared camera and acquire a source image including the facial infrared image (step a).

다음으로, 컴퓨터 장치는 소스 영상에서 사용자의 피부 전체 영역(예를 들어, 얼굴 영역)을 검출한 뒤, 이를 기 설정된 유저 인터페이스(예를 들어, 사각형 프레임 형태의 이미지)로 표시할 수 있다(b 과정). 이는 사용자로 하여금 피부 상태 측정을 원하는 부위를 직접 입력 받기 위함이다.Next, the computer device may detect the entire region of the user's skin (for example, the face area) from the source image and display it on a preset user interface (for example, an image of a rectangular frame) (b). process). This is for the user to directly input the area where the user wants to measure the skin condition.

다음으로, 컴퓨터 장치는 검출된 얼굴 영역 내에서 피부 상태 측정을 원하는 특정 부위를 사용자로부터 입력 받을 수 있다(c 과정). 본 도면의 경우, 피부 상태 측정을 요청한 부위로서 사용자가 '볼' 영역(A)을 선택한 예를 도시한다. 다만, 이에 한정되는 것은 아니며, 사용자는 특정 피부 영역이 아닌 전체 피부 영역을 피부 측정 대상 부위로 선택할 수도 있다.Next, the computer device may receive from the user a specific region for which the skin condition is to be measured within the detected face region (step c). In the figure, an example in which the user selects the 'ball' area A as a site for requesting skin condition measurement is shown. However, the present invention is not limited thereto, and the user may select the entire skin region as the skin measurement target region, not the specific skin region.

다음으로, 컴퓨터 장치는 사용자가 선택한 피부 영역 (A)를 기준으로 색상 및 질감 데이터를 추출하여 색상 및 질감 데이터 DB 를 구성한다(d 과정).Next, the computer device extracts color and texture data based on the skin area A selected by the user to construct a color and texture data DB (d process).

컴퓨터 장치는 적외선 영상을 획득하는 적외선 카메라(51)가 일반 적외선 카메라인 경우 획득한 적외선 영상으로부터 Gray 색상을, 열상 적외선 카메라인 경우 RGB 색상을 추출할 수 있다. 열상 카메라를 이용하여 RGB 색상을 추출할 경우, 컴퓨터 장치는 색상 체계 변환을 통해 HSV, YUV, YCgCo, YCbCr 등의 다양한 색상 체계로 변경하여 사용할 수 있다. 질감 데이터는 대조(contrast), ASM(Angular Second Moment), 엔트로피(entropy), 이질도(dissimilarity), 최대 확률(Maximum probability) 및 동질도(homogeneity) 중 적어도 하나에 대한 데이터일 수 있다.The computer device may extract a gray color from an infrared image acquired when the infrared camera 51 that acquires an infrared image is a general infrared camera, and an RGB color when the infrared camera is a thermal infrared camera. When RGB colors are extracted using a thermal camera, computer devices can be converted to various color schemes such as HSV, YUV, YCgCo, and YCbCr through color system conversion. The texture data may be data for at least one of contrast, Angular Second Moment (ASM), entropy, dissimilarity, maximum probability, and homogeneity.

컴퓨터 장치는 색상 및 질감 데이터에 대한 샘플을 마련하는 동시에 피부 상태 측정기기를 통해 동일 사용자에 대한 피부 상태를 측정 및 획득할 수 있다(e 과정). 본 도면은, 컴퓨터 장치가 c 단계에서 사용자가 선택한 피부 영역(A)과 동일한 영역(B)의 피부 상태를 피부 상태 측정기로 측정하는 예를 도시한다.The computer device may prepare a sample of color and texture data and simultaneously measure and acquire a skin condition for the same user through a skin condition measuring device (step e). The figure shows an example in which the computer device measures the skin condition of the same area B as the skin area A selected by the user in step c with a skin condition measurer.

피부 상태 측정기가 측정한 피부 수분, 유분 및/또는 산도 값은 피부 상태 DB 에 (각각 피부 수분 DB, 피부 유분 DB, 피부 산도 DB 로서) 저장된다.The skin moisture, oil and / or acidity values measured by the skin condition meter are stored in the skin condition DB (as skin moisture DB, skin oil DB, skin acidity DB, respectively).

즉, 다시 말하면, 컴퓨터 장치는 색상 및 질감 데이터를 추출하면서 동시에 피부 상태 측정기로 피부 상태를 측정한다. 나아가, 컴퓨터 장치는 색상 및 질감 데이터와 피부 상태 측정기가 측정한 피부 상태 측정값(즉, 피부 수분도, 유분도 및/또는 산도)을 서로 매칭될 수 있도록 식별한다. 예컨대, 컴퓨터 장치는 동일 시점에 생성된 색상 및 질감 데이터와 피부 측정기가 측정한 피부 상태 값을 동일 테이블에 저장하거나, 서로 다른 테이블에 동일한 순서로 각각 저장할 수도 있다.In other words, the computer device extracts color and texture data while simultaneously measuring skin condition with a skin condition meter. Further, the computer device identifies the color and texture data and skin condition measurements (ie, skin moisture, oil content and / or acidity) measured by the skin condition measurer so that they can match each other. For example, the computer device may store the color and texture data generated at the same time point and the skin condition value measured by the skin measurer in the same table, or in different tables in the same order.

최종적으로, 컴퓨터 장치는 구성된 두 DB 를 기반으로 피부 상태값 측정 모델을 생성할 수 있다. 피부 상태값 측정 모델은 피부 상태 회귀분석식 DB(제 1 회귀 분석 함수)와 분류 모델 DB 로 나뉠 수 있으며, 두 모델을 통해 최종적인 피부 상태값을 측정할 수 있다(f 과정).Finally, the computer device may generate a skin condition measurement model based on the two configured DBs. The skin condition measurement model can be divided into skin condition regression analysis DB (first regression analysis function) and classification model DB, and the final skin condition value can be measured through the two models (f process).

도 4 및 5 는 피부 상태 회귀분석식 DB(제 1 회귀 분석 함수)를 생성한 후, 이에 기초하여 피부 상태 값을 측정하는 방법을 예시한다.4 and 5 illustrate a method of generating a skin condition regression equation DB (first regression analysis function) and then measuring skin condition values based thereon.

도 4 는 생성된 피부 상태값 측정 모델 중 하나인 회귀분석식 DB(제 1 회귀 분석 함수)를 생성하는 과정을 예시한다.4 illustrates a process of generating a regression analysis DB (first regression analysis function), which is one of the generated skin condition measurement models.

도 4 를 참조하면, 컴퓨터 장치는 적외선 카메라(51)를 통해 획득한 적외선 영상(예를 들어, 적외선 영상)과 피부 상태 측정기기를 이용하여 사전에 준비된 두 DB(색상 및 질감데이터 DB, 피부 상태 DB)의 회귀분석을 수행할 수 있다. 피부 상태 DB 는 각각 피부 수분 DB, 피부 유분 DB, 피부 산도 DB 로 구분될 수 있다. 컴퓨터 장치는 피부 수분 DB 와 색상 및 질감 데이터를 회귀분석하여 피부 수분 회귀분석식을, 피부 유분 DB 와 색상 및 질감 데이터를 회귀분석하여 피부 유분 회귀분석식을, 피부 산도 DB 와 색상 및 질감 데이터를 회귀분석하여 피부 산도 회귀분석식을 각각 생성한다. 이렇게 생성된 세 종류의 회귀분석식들은 피부 상태 회귀분석식 DB 에 저장될 수 있다.Referring to FIG. 4, the computer device may include two infrared ray images (eg, an infrared image) acquired through the infrared camera 51 and two DBs (color and texture data DB, skin state prepared in advance using a skin condition measuring device). DB) regression analysis can be performed. The skin condition DB may be classified into skin moisture DB, skin oil DB, and skin acidity DB, respectively. The computer device regresses the skin moisture DB and color and texture data, and regresses the skin moisture DB and color and texture data to perform skin oil regression, skin acidity DB and color and texture data. Regression analysis produces skin acidity regression equations respectively. The three types of regression equations generated in this way may be stored in the skin condition regression equation DB.

상술한 피부 상태 회귀분석식(즉, 피부 수분/유분/산도 회귀 분석식)은 다음의 실시예에 따라 생성될 수 있다.The skin condition regression equation (ie, skin moisture / oil / acidity regression equation) described above may be generated according to the following examples.

일 실시예로서, 컴퓨터 장치는 동일 영역에 대한 색상 및 질감 데이터 DB 와 피부 상태 DB 를 이용하여 회귀 직선 식을 도출할 수 있다. 회귀직선 식은 아래의 수학식 1 과 같다.In one embodiment, the computer device may derive the regression linear equation using the color and texture data DB and the skin condition DB for the same area. The regression linear equation is shown in Equation 1 below.

여기서 x 는 지정된 색상 체계의 색상 또는 질감 데이터의 값이다. a 와 b 는 회귀분석을 통해 구해진 상수이다. y 는 계산된 피부 상태 값(예를 들어, 피부 수분, 피부 유분 또는 피부 산도)을 나타낸다. 실제 데이터를 적용하여 계산한 결과는 사용하는 데이터에 따라 상수 a, b 값이 변할 수 있다.Where x is the value of the color or texture data of the specified color scheme. a and b are constants obtained by regression analysis. y indicates the calculated skin condition value (eg skin moisture, skin oil or skin acidity). The result calculated by applying the actual data may change the constants a and b depending on the data used.

다른 실시예로서, 컴퓨터 장치는 동일 영역에 대한 색상 및 질감 데이터 DB 와 피부 상태 DB 를 이용하여 회귀 곡선 식을 도출할 수 있다. 회귀 곡선은 상관도 상의 점집합을 직선이 아닌 곡선으로 대표시켜 구한 곡선이다. 회귀 곡선은 두 변량 사이의 관계를 나타낸다. 컴퓨터 장치는 색상 및 질감 데이터 DB 와 피부 상태 DB 를 이용하여 회귀 곡선 식을 도출할 수 있다. 회귀곡선식은 아래의 수학식 2와 같다.In another embodiment, the computer device may derive the regression curve equation using the color and texture data DB and the skin condition DB for the same area. A regression curve is a curve obtained by representing a point set on the correlation as a curve rather than a straight line. Regression curves show the relationship between two variables. The computer device can derive the regression curve equation using the color and texture data DB and the skin condition DB. The regression curve is shown in Equation 2 below.

여기서 x 는 지정된 색상 체계의 색상 또는 질감 데이터의 값이다. a, b 및 c 는 회귀분석을 통해 구해진 상수이다. y 는 계산된 피부 상태 값(예를 들어, 피부 수분, 피부 유분 또는 피부 산도)을 나타낸다. 실제 데이터를 적용하여 계산한 결과는 사용하는 데이터에 따라 상수 a, b 또는 c 값이 변할 수 있다.Where x is the value of the color or texture data of the specified color scheme. a, b and c are constants obtained through regression analysis. y indicates the calculated skin condition value (eg skin moisture, skin oil or skin acidity). The result calculated by applying the actual data may change the constant a, b or c value depending on the data used.

다른 실시예로서, 컴퓨터 장치는 동일 영역에 대한 색상 및 질감 데이터 DB 와 피부 상태 DB 를 이용하여 가중합 식을 도출할 수 있으며, 가중합 식은 아래의 수학식 3과 같다.As another example, the computer apparatus may derive the weighted equation using the color and texture data DB and the skin condition DB for the same area, and the weighted equation is expressed by Equation 3 below.

수학식 3 에서

는 색상 또는 질감 데이터의 값이다.

는 가중치이다. y 는 계산된 피부 상태 값(피부 수분 또는 피부 유분 또는 피부 산도)을 나타낸다.In equation (3)

Is the value of the color or texture data.

Is the weight. y indicates the calculated skin condition value (skin moisture or skin oil or skin acidity).

다른 실시예로서, 컴퓨터 장치는 동일 영역에 대한 색상 및 질감 데이터 DB 와 피부 상태 DB 를 이용하여 다중회귀 식을 도출할 수 있다. 다중회귀식은 한 개의 종속 변수와 2 개 이상의 독립변수의 관계를 분석한 회귀식을 의미한다. 다중회귀식은 아래의 수학식 4 와 같다.In another embodiment, the computer device may derive the multiple regression equation using the color and texture data DB and the skin condition DB for the same area. Multiple regression expressions are regressions that analyze the relationship between one dependent variable and two or more independent variables. The multiple regression equation is as shown in Equation 4 below.

수학식 4 에서

은 색상 및/또는 질감 데이터의 값을 나타낸다. 즉, 색상 데이터일 경우: R,G,B, H,S,V, Y,U,V, Y,Cg,Co, Y,Cb,Cr, 질감 데이터일 경우: 대조(contrast), ASM(Angular Second Moment), 엔트로피(entropy), 이질도(dissimilarity), 최대 확률(Maximum probability) 및 동질도(homogeneity) 등이 2 개 이상 대입될 수 있다.

는 회귀분석을 통해 구해진 상수이고,

은 회귀분석을 통해 구해진 각 변수에 대한 계수이다. y 는 계산된 피부 상태 값(피부 수분 또는 피부 유분 또는 피부 산도)을 나타낸다.In equation (4)

Represents the value of the color and / or texture data. That is, in the case of color data: R, G, B, H, S, V, Y, U, V, Y, Cg, Co, Y, Cb, Cr, and texture data: contrast, ASM Second Moment, entropy, dissimilarity, maximum probability and homogeneity may be substituted.

Is a constant obtained by regression analysis,

Is the coefficient for each variable obtained through the regression analysis. y indicates the calculated skin condition value (skin moisture or skin oil or skin acidity).

도 5 는 도 4 의 방식을 통해 생성된 피부 상태 회귀분석식 DB(제 1 회귀 분석 함수)에 색상 및 질감데이터를 적용하여 피부 상태값을 측정/획득하는 과정을 예시한다. 본 도면의 (a)~(d) 과정은 앞서 상술한 도 3 의 (a)~(d) 과정과 동일하므로, 중복되는 설명은 생략한다.FIG. 5 illustrates a process of measuring / acquiring a skin condition value by applying color and texture data to a skin condition regression analysis DB (first regression analysis function) generated through the method of FIG. 4. Processes (a) to (d) of this drawing are the same as the processes (a) to (d) of FIG. 3 described above, and thus redundant descriptions are omitted.

컴퓨터 장치는 (a)~(d) 과정 수행 후에, 적외선 영상에서 추출된 색상 및 질감 데이터를 피부 상태 회귀분석식 DB 에 적용할 수 있다(e 과정).After performing the processes (a) to (d), the computer device may apply the color and texture data extracted from the infrared image to the skin state regression analysis database (step e).

다음으로, 컴퓨터 장치는 e 과정을 통해 피부 상태 값을 획득/측정/산출할 수 있다(f 과정). 피부 상태 값은 피부 수분 값, 피부 유분 값, 피부 산도 값으로 구분될 수 있다. 다시 말하면, 피부 상태 값은 피부 수분 값, 피부 유분 값, 및/또는 피부 산도 값을 포함할 수 있다.Next, the computer device may acquire / measure / calculate a skin condition value through process e (process f). The skin condition value may be divided into skin moisture value, skin oil value, and skin acidity value. In other words, the skin condition value may include a skin moisture value, a skin oil value, and / or a skin acidity value.

추가적으로, 상기 언급된 방식을 이용하여 피부 상태 값을 추정할 수도 있지만, 피부 유분의 경우 피부 수분과 밀접한 상관 관계가 있기 때문에 피부 유분의 더욱 정확한 측정/계산을 위해 피부 수분 값을 이용하는 방식도 있다.Additionally, the skin condition value may be estimated using the above-mentioned method, but there is also a method of using skin moisture value for more accurate measurement / calculation of skin oil because skin oil oil is closely correlated with skin moisture.

도 6 은 개선된 회귀분석식 DB(제 2 회귀 분석 함수)를 생성하는 과정을 예시한다.6 illustrates the process of creating an improved regression equation DB (second regression analysis function).

도 5 를 통해 측정된 피부 상태 값과 피부 상태 측정기기를 이용하여 사전에 준비된 피부 상태 DB 를 이용하여 다시 도 4 와 같은 회귀분석을 진행한다.The regression analysis as shown in FIG. 4 is performed again using the skin condition DB prepared in advance using the skin condition value measured through FIG. 5 and the skin condition measuring device.

피부 상태 DB 는 각각 피부 수분 DB, 피부 유분 DB 및/또는 피부 산도 DB 로 구분될 수 있다. 컴퓨터 장치는 피부 수분 DB 와 피부 수분 측정 값을 회귀분석하여 개선된 피부 수분 회귀분석식을, 피부 유분 DB 와 피부 유분 측정 값을 회귀분석하여 개선된 피부 유분 회귀분석식을, 피부 산도 DB 와 피부 산도 측정 값을 회귀분석하여 개선된 피부 산도 회귀분석식을 각각 생성한다. 이렇게 생성된 세 종류의 회귀분석식들은 개선된 피부 상태 회귀분석식 DB 분석 함수)에 저장될 수 있다.The skin condition DB may be classified into a skin moisture DB, a skin oil DB, and / or a skin acidity DB, respectively. The computer device regresses the skin moisture DB and the skin moisture measurement value to improve the skin moisture regression formula, and the regression analysis of the skin oil database and the skin oil measurement values provides an improved skin oil regression formula. Regression analysis of acidity measurements yields improved skin acidity regression equations, respectively. The three types of regression equations thus generated may be stored in an improved skin condition regression DB analysis function.

도 7 은 도 6 의 방식을 통해 생성된 개선된 피부 상태 회귀분석식 DB(제 2 회귀 분석 함수)에 측정된 피부 상태 값을 적용하여 개선된 피부 상태값을 측정/획득하는 과정을 예시한다. 본 도면의 (a)~(d) 과정은 앞서 상술한 도 5 의 (a)~(f) 과정과 동일하므로, 중복되는 설명은 생략한다.FIG. 7 illustrates a process of measuring / acquiring an improved skin condition value by applying the measured skin condition value to the improved skin condition regression analysis DB (second regression analysis function) generated through the method of FIG. 6. Processes (a) to (d) of this drawing are the same as the processes (a) to (f) of FIG. 5 described above, and thus redundant descriptions are omitted.

컴퓨터 장치는 e 과정을 통해 측정된 피부 상태 값을 개선된 피부 상태 회귀분석식 DB 에 적용할 수 있다(g 과정). 최종적으로 e 과정을 통해 측정된 피부 상태 값보다 더 개선된 피부 상태 값을 측정/획득 할 수 있다(h 과정).The computer device may apply the skin condition values measured through step e to the improved skin condition regression DB (step g). Finally, it is possible to measure / acquire skin condition values that are more improved than the skin condition values measured through step e (step h).

도 8 은 본 발명이 적용될 수 있는 피부 수분과 피부 유분 사이의 상관관계를 나타낸 그래프이다.8 is a graph showing a correlation between skin moisture and skin oil to which the present invention can be applied.

우선, 컴퓨터 장치는 측정기기를 통해 측정/생성된 피부 유분 DB 및 피부 수분 DB 를 이용하여 도 8 과 같은 회귀식(제 3 회귀 분석 함수)을 생성할 수 있다. 즉, 생성된 회귀식에 피부 수분 값을 대입하면 피부 유분 값을 계산할 수 있다. 즉, 컴퓨터 장치는 도 8 과 같은 피부 유분 DB 및 피부 수분 DB 에 대한 회귀식을 생성하고, 생성된 회귀식에 상술한 방식(예를 들어, 도 4 와 같은 방식)을 통해 계산한 피부 수분 값을 대입하여 더 정확한 피부 유분 값을 획득/계산할 수 있다.First, the computer device may generate a regression equation (third regression analysis function) as shown in FIG. 8 using the skin oil DB and the skin moisture DB measured / generated by a measuring device. That is, the skin oil value can be calculated by substituting the skin moisture value into the generated regression equation. That is, the computer device generates a regression equation for the skin oil DB and the skin moisture DB as shown in FIG. 8, and calculates the skin moisture value calculated through the aforementioned method (for example, as shown in FIG. 4) in the generated regression equation. Can be obtained / calculated more accurate skin oil value.

도 9 내지 11 은 분류 모델 DB 를 생성한 후 피부 상태 값을 측정하는 방법을 예시한다.9 to 11 illustrate a method of measuring skin condition values after generating a classification model DB.

도 9 는 본 발명의 일 실시예에 따라 분류 모델 DB 를 생성하는 과정을 예시한다.9 illustrates a process of generating a classification model DB according to an embodiment of the present invention.

도 9 를 참조하면, 컴퓨터 장치는 카메라를 통해 획득한 적외선 영상과 피부 상태 측정기기를 이용하여 사전에 마련된 두 DB(색상 및 질감데이터 DB, 피부 상태 DB)를 다양한 알고리즘(예를 들어, SVM(Support Vector Machine), Random- Forest, 딥러닝 등)을 이용하여 데이터 분류 훈련을 수행할 수 있다. 분류된 데이터의 클래스에 관한 정보는 분류 모델 DB 에 저장될 수 있다.Referring to FIG. 9, a computer device may utilize two algorithms (eg, SVM (color and texture data DB, skin state DB)) prepared in advance by using an infrared image acquired through a camera and a skin condition measuring device. Support Vector Machine), Random-Forest, Deep Learning, etc. can be used to perform data classification training. Information about the class of the classified data may be stored in the classification model DB.

분류는 도 10과 같이 수행될 수 있다.Classification may be performed as shown in FIG.

도 10 은 본 발명의 일 실시예에 따른 분류 방식을 예시한 도면이다. 특히, 도 10(a)는 SVM 을 통해 분류된 데이터, 도 10(b)는 Random-Forest 를 통한 데이터 분류 방식, 도 10(c)는 딥러닝 알고리즘 중 CNN(Convolutional Neural Network)를 각각 예시한다.10 is a diagram illustrating a classification scheme according to an embodiment of the present invention. In particular, FIG. 10 (a) illustrates data classified through SVM, FIG. 10 (b) illustrates data classification through Random-Forest, and FIG. 10 (c) illustrates a convolutional neural network (CNN) among deep learning algorithms. .

도 10(a)와 같이, 피부 수분, 피부 유분, 피부 산도에 따라 n 개의 데이터로 분류된 경우, 한정된/불연속적인 데이터 값(분류에 따라 n 개)만 나온다. 하지만 해당 분류 결과를 가중합 또는 다중회귀식에 대입하면, 비한정된/연속된 측정값을 획득할 수 있다.As shown in FIG. 10 (a), when n data are classified according to skin moisture, skin oil content, and skin acidity, only limited / discontinuous data values (n data according to classification) appear. However, by substituting the classification result into a weighted summation or multiple regression equations, we can obtain unlimited / continuous measurements.

예를 들어, 도 10(a)와 같이 ①~n 개로 데이터가 분류되었을 경우, 단순히 SVM 만 이용하면 n 개의 측정값만 계산된다. 만약 분류된 값을 상기 언급된 가중합 식(즉, 수학식 3)에 적용한다면, 상기 분류된 값은

식에서

에 분류된 확률(또는 스코어) 값으로서 대입될 수 있고,

에는 색상 및 질감 데이터를 통해 추정된 피부 상태 값(예를 들어, 피부 수분, 피부 유분 및/또는 피부 산도)이 대입될 수 있다.For example, as shown in FIG. 10 (a), when data are classified into 1 to n data, only n measured values are calculated using only SVM. If the classified values are applied to the above mentioned weighted sum equation (ie, equation 3), then the classified values are

At the ceremony

Can be substituted as a probability (or score) value classified as

The skin condition values (eg, skin moisture, skin oil and / or skin acidity) estimated through color and texture data may be substituted.

즉, 컴퓨터 장치는 추정된 피부 상태 값에 대해 분류기를 통해 계산된 각각의 확률을 피부 상태 값(예를 들어, 피부 수분, 피부 유분 및/또는 피부 산도)에 곱함으로써, 한정된/불연속 값이 아닌 비한정된/연속된 값을 추정할 수 있다. 분류된 값의 총합(

)은 '1'며, 분류에 따라

의 값들은 변경되므로, 컴퓨터 장치는 한정되지 않은 연속된 피부 상태 측정값을 계산할 수 있다.That is, the computer device multiplies each probability calculated by the classifier for the estimated skin condition value by the skin condition value (e.g., skin moisture, skin oil and / or skin acidity), thereby not being a limited / discontinuous value. Unlimited / continuous values can be estimated. Sum of sorted values (

) Is "1"

The values of V are changed, so that the computer device can calculate an unlimited number of consecutive skin condition measurements.

도 10(b)의 경우, 도 10(a) 방식과 유사하게, 다중회귀 식(즉, 수학식 4)인

을 이용한다면,

는 회귀분석을 통해 구해진 상수이고,

에 분류된 확률(또는 스코어/데이터) 값이 대입될 수 있고,

에 색상 및/또는 질감 데이터를 통해 추정된 피부 상태 값(피부 수분 또는 피부 유분 또는 피부 산도)이 2 개 이상 대입될 수 있다.In case of FIG. 10 (b), similar to the method of FIG.

If you use

Is a constant obtained by regression analysis,

Probability (or score / data) values classified into

Two or more skin condition values (skin moisture or skin oil or skin acidity) estimated through color and / or texture data can be substituted into the.

도 10(c)의 경우에도, 도 10(a) 및 (b)의 실시예와 마찬가지로, 상기 언급된 가중합 또는 다중회귀식을 통해 한정된/불연속 값이 아닌 비한정된/연속된 측정값이 계산될 수 있다.In the case of FIG. 10 (c), as in the embodiment of FIGS. 10 (a) and 10 (b), the unbounded / continuous measurement values, which are not limited / discontinuous values, are calculated through the aforementioned weighted summation or multiple regression equations. Can be.

그 결과, 보다 정확한 피부 상태 측정값을 추정/획득할 수 있다는 효과를 갖는다.As a result, there is an effect that a more accurate skin condition measurement value can be estimated / acquired.

도 11 은 도 9 의 실시예를 통해 생성된 분류 모델 DB 에 색상 및 질감데이터를 적용하여 연속된 피부 상태값을 획득/측정하는 과정을 예시한다. 본 도면에서 (a)~(d) 과정은 도 3 및 도 5 의 (a)~(d) 과정과 동일하므로, 중복되는 설명은 생략한다.FIG. 11 illustrates a process of acquiring / measured continuous skin condition values by applying color and texture data to the classification model DB generated through the embodiment of FIG. 9. In this figure, processes (a) to (d) are the same as processes (a) to (d) of FIGS. 3 and 5, and thus redundant descriptions are omitted.

(a)~(d) 과정 수행 후, 컴퓨터 장치는 적외선 영상에서 추출된 색상 및 질감 데이터를 분류 모델 DB 에 적용할 수 있다(e 과정).After performing steps (a) to (d), the computer device may apply color and texture data extracted from the infrared image to the classification model DB (step e).

다음으로, 컴퓨터 장치는 분류 모델에 적용된 색상 및 질감 데이터를 클래스에 따라 확률(또는 스코어)을 계산할 수 있다(f 과정).Next, the computer device may calculate a probability (or score) according to the class of color and texture data applied to the classification model (step f).

마지막으로, 컴퓨터 장치는 가중합 또는 다중회귀 식을 통해 피부 상태 값을 획득/산출/측정할 수 있다(g 과정).Finally, the computer device may acquire / calculate / measure skin condition values through weighted summation or multiple regression equations (g process).

예를 들어, Gray 색상 값이 128 이라 가정하고, 해당 데이터를 분류 모델 DB 에 적용하였을 경우, 피부 수분 값이 35 가 나올 확률이 0.7, 34 가 나올 확률이 0.3 이라 가정하자. 즉, Gray 색상 값이 128 일 때의 피부 수분 값은 35 가 70% 확률로 나올 수 있으며, 34 가 30% 확률로 나올 수 있다. 해당 데이터를 가중합 식에 적용할 경우, 피부 수분 값인 y 는

와 같이 34.7 로 계산/산출된다.For example, suppose that the gray color value is 128 and the data is applied to the classification model DB. Suppose that the skin moisture value is 35 and the probability of 35 and 0.3 is 0.3. That is, when the gray color value is 128, the skin moisture value may be 35% at a 70% probability, and 34 may be at a 30% probability. If we apply that data to the weighted equation, the skin moisture value y

Is calculated / calculated as

도 12 는 분류 모델을 통해 계산된 피부 상태 값을 회귀분석식에 적용하여 연속된 피부 상태 값을 계산하는 과정을 예시한다.12 illustrates a process of calculating a continuous skin condition value by applying a skin condition value calculated through a classification model to a regression equation.

만약 단순히 SVM 을 통해 피부 상태 값을 계산 할 경우, 입력된 영상의 유효 영역을 소정 개수의 블록으로 분할하고, 상기 분할된 각 블록으로부터 신호를 추출한다는 점에서 몇 개의 한정된 값을 추정한다. 즉, 한정된 값만 추정한다.If the skin condition value is simply calculated through the SVM, the valid region of the input image is divided into a predetermined number of blocks, and some limited values are estimated in that a signal is extracted from each of the divided blocks. In other words, only a limited value is estimated.

그러나, 도 12 와 같이 회귀 직선(또는 곡선)을 이용함으로써, 한정된 피부 상태 값을 회귀분석식에 적용하여 한정되지 않은 연속된 값을 얻을 수 있다.However, by using a regression line (or curve) as shown in FIG. 12, it is possible to apply a limited skin condition value to the regression equation to obtain an undefined continuous value.

또한, 단순 회귀 직선(또는 곡선)이 아니라, 가중합 또는 다중회귀 식에 적용하면 더 정확한 '연속된 값'을 추정함으로써 한정된 값 추정 기술의 단점을 극복함과 동시에 보다 정확한 생체 신호를 측정할 수 있다는 장점을 갖는다.In addition, when applied to weighted sums or multiple regression equations, rather than simple regression lines (or curves), more accurate 'continuous values' can be estimated to overcome the shortcomings of limited value estimation techniques, while at the same time measuring more accurate biosignals. That has the advantage.

본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.The embodiments and the drawings attached to this specification are merely to clearly show a part of the technical idea included in the above-described technology, and those skilled in the art can easily make it within the scope of the technical idea included in the above-described technology and drawings. It will be apparent that both the inferred modifications and the specific embodiments are included in the scope of the above-described technology.

50 : 스마트 기기
51 : 적외선 카메라
52 : 저장 장치
53 : 연산 장치
54 : 출력 장치
81 : 적외선 카메라
85 : 컴퓨터
91 : 사용자 단말
95 : 서버50: smart device
51: infrared camera
52: storage device
53: arithmetic unit
54: output device
81: infrared camera
85: computer
91: user terminal
95: server

Claims

컴퓨터 장치가 적외선 영상에서 대상자의 피부 영역을 검출하는 단계;
상기 컴퓨터 장치가 상기 피부 영역의 색상 데이터 및 질감 데이터를 추출하는 단계; 및
상기 컴퓨터 장치가 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나와 피부의 수분도, 산도 및/또는 유분도의 관계를 이용하여 사전에 마련한 제 1 회귀 분석 함수에 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나를 입력하여 제 1 피부 수분도, 제 1 피부 산도, 및/또는 제 1 피부 유분도를 결정하는 단계; 를 포함하는 적외선 영상을 이용한 연속적인 피부 상태 측정 방법.The computer device detecting a skin region of the subject in the infrared image;
The computer device extracting color data and texture data of the skin region; And
At least one of the color data and the texture data in a first regression analysis function prepared by the computer device using a relationship between at least one of the color data and the texture data and moisture, acidity, and / or oiliness of the skin. Determining a first skin moisture level, a first skin acidity, and / or a first skin oil content by inputting a; Continuous skin condition measuring method using an infrared image comprising a.

제1항에 있어서,
상기 피부의 수분도 및 상기 피부의 유분도 사이의 관계를 이용하여 사전에 마련된 제 3 회귀 분석 함수가 존재하는 경우,
상기 제 3 회귀 분석 함수에 상기 제 1 피부 수분도를 입력하여 획득한 값으로 상기 결정한 제 1 피부 유분도를 업데이트하고, 및/또는 상기 제 3 회귀 분석 함수에 상기 제 1 피부 유분도를 입력하여 획득한 값으로 상기 제 1 피부 수분도를 업데이트하는 단계; 를 더 포함하는, 적외선 영상을 이용한 연속적인 피부 상태 측정 방법.The method of claim 1,
If there is a third regression analysis function prepared in advance using the relationship between the moisture content of the skin and the oil content of the skin,
Update the determined first skin oil content with a value obtained by inputting the first skin moisture content into the third regression analysis function, and / or input the first skin oil content into the third regression analysis function. Updating the first skin moisture level with a value; Further comprising, continuous skin condition measuring method using an infrared image.

제 1 항에 있어서,
상기 적외선 영상을 촬영하는 시점에 피부 측정기로 상기 대상자의 피부 수분도, 산도, 및/또는 유분도에 관한 피부 상태 데이터를 추출하는 단계; 를 더 포함하는, 적외선 영상을 이용한 연속적인 피부 상태 측정 방법.The method of claim 1,
Extracting skin condition data on skin moisture, acidity, and / or oil content of the subject with a skin measurer at the time when the infrared image is taken; Further comprising, continuous skin condition measuring method using an infrared image.

제 3 항에 있어서,
상기 색상 데이터 및 질감 데이터와 상기 피부 상태 데이터에 대한 기설정된 데이터 분류 알고리즘을 적용하는 단계; 를 더 포함하는, 적외선 영상을 이용한 연속적인 피부 상태 측정 방법.The method of claim 3, wherein
Applying a predetermined data classification algorithm for the color data and texture data and the skin condition data; Further comprising, continuous skin condition measuring method using an infrared image.

제 4 항에 있어서,
상기 데이터 분류 알고리즘은, SVM(Support Vector Machine), Random-Forest 또는 딥러닝에 해당하는, 적외선 영상을 이용한 연속적인 피부 상태 측정 방법.The method of claim 4, wherein
The data classification algorithm is a continuous skin condition measuring method using an infrared image, which corresponds to a support vector machine (SVM), random-forest or deep learning.

제 4 항에 있어서,
상기 기설정된 데이터 분류 알고리즘 적용 결과에 따라 획득된 적어도 하나의 분류 값은 상기 제 1 회귀 분석 함수의 계수로서 적용되는, 적외선 영상을 이용한 연속적인 피부 상태 측정 방법.The method of claim 4, wherein
At least one classification value obtained according to a result of applying the preset data classification algorithm is applied as a coefficient of the first regression analysis function.

컴퓨터 장치가 적외선 영상에서 대상자의 피부 영역을 검출하는 단계;
상기 컴퓨터 장치가 상기 피부 영역의 색상 데이터 및 질감 데이터를 추출하는 단계;
상기 컴퓨터 장치가 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나와 피부의 수분도 또는 산도의 관계를 이용하여 사전에 마련한 제 1 회귀 분석 함수에 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나를 입력하여 제 1 피부 수분도 또는 산도를 결정하는 단계; 및
상기 컴퓨터 장치가 상기 제 1 피부 수분도 또는 산도와 상기 피부의 수분도 또는 산도의 관계를 이용하여 사전에 마련된 제 2 회귀 분석 함수에 상기 제 1 피부 수분도 또는 산도를 적용하여 제 2 피부 수분도 또는 산도를 결정하는 단계를 포함하는 적외선 영상을 이용한 연속적인 피부 수분도와 산도 측정 방법.The computer device detecting a skin region of the subject in the infrared image;
The computer device extracting color data and texture data of the skin region;
The computer apparatus inputs at least one of the color data and the texture data to a first regression analysis function previously prepared by using the relationship between at least one of the color data and the texture data and the moisture level or acidity of the skin. Determining skin moisture or acidity; And
The computer device applies the first skin moisture level or acidity to a second regression analysis function prepared in advance by using the relationship between the first skin moisture level or acidity and the moisture level or acidity of the skin to obtain a second skin moisture level. Or continuous skin moisture and acidity measurement method using an infrared image comprising determining the acidity.

제 7 항에 있어서,
상기 색상 데이터는 RGB, HSV, YUV, YCgCo 및 YCbCr 중 적어도 하나의 색상 체계의 적어도 어느 하나의 성분인 적외선 영상을 이용한 연속적인 피부 수분도와 산도 측정 방법.The method of claim 7, wherein
The color data is continuous skin moisture and acidity measurement method using an infrared image of at least one component of at least one color system of RGB, HSV, YUV, YCgCo and YCbCr.

제 7 항에 있어서,
상기 질감 데이터는 대조(contrast), ASM(Angular Second Moment), 엔트로피(entropy), 이질도(dissimilarity) 및 동질도(homogeneity) 중 적어도 하나에 대한 데이터인 적외선 영상을 이용한 연속적인 피부 수분도와 산도 측정 방법.The method of claim 7, wherein
The texture data is a continuous skin moisture and acidity measurement using an infrared image data for at least one of contrast, Angular Second Moment (ASM), entropy, dissimilarity and homogeneity. Way.

제 7 항에 있어서,
상기 제 1 회귀 분석 함수는 상기 대상자의 적외선 영상에 포함된 피부 영역의 색상 데이터 및 질감 데이터 중 적어도 하나와 상기 적외선 영상을 촬영하는 시점에 수분도 또는 산도 측정기로 측정한 상기 대상자의 피부 수분도 또는 산도를 이용하여 마련되는 적외선 영상을 이용한 연속적인 피부 수분도와 산도 측정 방법.The method of claim 7, wherein
The first regression analysis function may include at least one of color data and texture data of a skin region included in an infrared image of the subject, and a skin moisture content of the subject measured by a moisture or acidity meter at the time when the infrared image is taken. Continuous skin moisture and acidity measurement method using an infrared image prepared using acidity.

제 7 항에 있어서,
상기 제 2 회귀 분석 함수는 상기 제 1 피부 수분도 또는 산도와 상기 적외선 영상을 촬영하는 시점에 수분도 또는 산도 측정기로 측정한 상기 대상자의 피부 수분도 또는 산도의 관계를 이용하여 마련되는 적외선 영상을 이용한 연속적인 피부 수분도와 산도 측정 방법.The method of claim 7, wherein
The second regression analysis function is an infrared image prepared by using the relationship between the skin moisture content or acidity of the subject measured by the moisture content or acidity meter at the time when the first skin moisture content or acidity and the infrared image are taken. Continuous skin moisture and acidity measurement method.

제 7 항에 있어서,
상기 컴퓨터 장치는 상기 색상 데이터의 성분 중 적어도 하나를 이용하여 결정한 제 1 피부 수분도 또는 산도와 상기 질감 데이터의 성분 중 적어도 하나를 이용하여 결정한 제 2 피부 수분도 또는 산도에 서로 다른 가중치를 부여한 값을 합산하여 상기 제 1 피부 수분도 또는 산도를 결정하는 적외선 영상을 이용한 연속적인 피부 수분도와 산도 측정 방법.The method of claim 7, wherein
The computer apparatus may assign different weights to the first skin moisture content or acidity determined using at least one of the components of the color data and the second skin moisture content or acidity determined using at least one of the components of the texture data. Continuous skin moisture and acidity measurement method using an infrared image to determine the first skin moisture content or acidity by summing.

컴퓨터 장치가 적외선 영상에서 대상자의 피부 영역을 검출하는 단계;
상기 컴퓨터 장치가 상기 피부 영역의 색상 데이터 및 질감 데이터를 추출하는 단계;
상기 컴퓨터 장치가 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나와 피부의 수분도의 관계를 이용하여 사전에 마련한 제 1 회귀 분석 함수에 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나를 입력하여 피부 수분도를 추정하는 단계; 및
상기 컴퓨터 장치가 상기 추정된 피부 수분도와 상기 피부의 유분도의 관계를 이용하여 사전에 마련한 제 2 회귀 분석 함수에 상기 추정한 피부 수분도를 입력하여 피부 유분도를 추정하는 단계를 포함하는 적외선 영상을 이용한 연속적인 피부 유분도 측정 방법.The computer device detecting a skin region of the subject in the infrared image;
The computer device extracting color data and texture data of the skin region;
Estimating skin moisture level by inputting at least one of the color data and the texture data to a first regression analysis function previously prepared by the computer device using a relationship between at least one of the color data and the texture data and the moisture level of the skin. step; And
And calculating, by the computer device, the skin moisture content by inputting the estimated skin moisture content to a second regression analysis function previously prepared by using the relationship between the estimated skin moisture level and the oil content of the skin. Continuous skin oil content measurement method.

제 13 항에 있어서,
상기 색상 데이터는 RGB, HSV, YUV, YCgCo 및 YCbCr 중 적어도 하나의 색상 체계의 적어도 어느 하나의 성분이고, 상기 질감 데이터는 대조(contrast), 이질도(dissimilarity) 및 동질도(homogeneity) 중 적어도 하나에 대한 데이터인 적외선 영상을 이용한 연속적인 피부 유분도 측정 방법.The method of claim 13,
The color data is at least one component of at least one color scheme of RGB, HSV, YUV, YCgCo, and YCbCr, and the texture data is at least one of contrast, dissimilarity and homogeneity. Continuous skin oiliness measurement method using infrared image data.

제 13 항에 있어서,
상기 컴퓨터 장치는 상기 대상자의 적외선 영상에 포함된 피부 영역의 색상 데이터 및 질감 데이터 중 적어도 하나와 상기 적외선 영상을 촬영하는 시점에 유분 측정기로 측정한 상기 대상자의 피부 유분도를 이용하여 상기 제 1 회귀 분석 함수를 마련하는 적외선 영상을 이용한 연속적인 피부 유분도 측정 방법.The method of claim 13,
The computer apparatus may perform the first regression using at least one of color data and texture data of a skin region included in an infrared image of the subject and a skin oil content of the subject measured by an oil meter at the time of photographing the infrared image. Continuous skin oiliness measurement method using infrared image to prepare analytic function.

제 13 항에 있어서,
상기 컴퓨터 장치는 상기 추정한 피부 수분도와 상기 적외선 영상을 촬영하는 시점에 유분 측정기로 측정한 상기 대상자의 피부 유분도를 이용하여 상기 제 2 회귀 분석 함수를 마련하는 적외선 영상을 이용한 연속적인 피부 유분도 측정 방법.The method of claim 13,
The computer device uses the infrared image to prepare the second regression analysis function using the estimated skin moisture level and the skin oil content of the subject measured by an oil measuring device at the time when the infrared image is taken. How to measure.

제 13 항에 있어서,
상기 제 2 회귀 분석 함수는 상기 색상 데이터 및 상기 질감 데이터 중 적어도 하나와 상기 추정된 피부 수분도를 변수로 갖는 다중회귀분석함수인 적외선 영상을 이용한 연속적인 피부 유분도 측정 방법.The method of claim 13,
And the second regression analysis function is a multiple regression analysis function having at least one of the color data and the texture data and the estimated skin moisture as a variable.