KR102243017B1 - Depression Index Estimation Method Using Skin Image - Google Patents

Abstract

본 발명의 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법은 얼굴 피부 영상을 촬영하고, 촬영된 얼굴 피부 영상에서 피부 관심 영역을 검출하는 단계, 검출된 피부 관심 영역에서 색상 데이터 평균값을 계산하는 단계, 색상 데이터 평균값에 필터링을 적용하여 맥파 신호를 산출하는 단계, 산출된 맥파 신호에서 피크 지점을 검출하고, 맥박을 계산하는 단계, 검출된 피크 지점을 이용하여 심박 간격을 측정하고, 측정된 심박 간격을 통해 타코그램(Tachogram)을 도출하는 단계, 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값을 산출하는 단계, 산출된 파라미터 값을 이용하여 우울증 지수를 측정하는 단계, 얼굴 영역에서 얼굴 요소를 검출하고, 얼굴 요소에서 얼굴 요소 간의 거리 또는 얼굴 요소의 떨림을 이용하여 긍/부정, 중립 감정을 인식하는 단계 및 측정된 우울증 지수와 인식된 긍/부정, 중립 감정을 통해 사용자의 우울증 상태를 진단하는 단계를 포함한다.The method of measuring and diagnosing a depression index using a facial skin image of the present invention includes the steps of taking a facial skin image, detecting a skin region of interest from the photographed facial skin image, calculating an average value of color data from the detected skin region of interest, Computing a pulse wave signal by applying filtering to the average value of color data, detecting a peak point in the calculated pulse wave signal, calculating a pulse, measuring a heartbeat interval using the detected peak point, and determining the measured heartbeat interval. Deriving a tachogram through the method, calculating a parameter value for measuring a depression index by analyzing the frequency of the tachogram, measuring a depression index using the calculated parameter value, and determining a face element in the face area. Detection and recognition of positive/negative and neutral emotions using the distance between facial elements or the vibration of facial elements, and diagnosing the user's depressive state through the measured depression index and recognized positive/negative and neutral emotions It includes the step of.

Description

얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법{Depression Index Estimation Method Using Skin Image}Depression Index Estimation Method Using Skin Image}

이하 설명하는 기술은 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법에 관한 것이다.The technology to be described below relates to a method of measuring and diagnosing depression index using facial skin images.

종래의 우울증 지수 측정은 설문지나 전문 상담가의 상담 및 약물 치료 형식으로 피험자의 상태를 분석하고 우울증 상태를 개선하기 위한 목적으로 개발되었지만 설문지의 경우 설문자의 주변 환경, 성별, 연령 등에 적합하지 않은 설문 내용이 포함될 수 있다는 문제가 있어 이를 해결하기 위해 최근에는 접촉식 생체신호 측정 장치를 이용하여 생체신호를 측정하고 이 신호의 시계열 및 주파수 분석을 통해 사용자의 우울증 지수를 산출하는 기술이 개발되었다. The conventional measurement of depression index was developed for the purpose of analyzing the subject's condition and improving the depressive condition in the form of a questionnaire or consultation with a professional counselor and drug treatment, but the questionnaire is not suitable for the questionnaire's surrounding environment, gender, age, etc. In order to solve this problem, there is a problem that this may be included, and in recent years, a technology has been developed to measure a bio-signal using a contact-type bio-signal measuring device and calculate a user's depression index through time series and frequency analysis of the signal.

종래의 접촉식 생체신호 측정 장비를 이용한 우울증 지수 측정 장치(이하 우울증 지수 측정 장치라 함)는 생체신호를 측정할 수 있는 검출 장치와 이를 사용자들에게 보여줄 수 있는 디스플레이 장치를 포함하였다.A depression index measuring device (hereinafter referred to as a depression index measuring device) using a conventional contact-type bio-signal measuring device includes a detecting device capable of measuring a bio-signal and a display device capable of displaying it to users.

종래의 우울증 지수 측정 장치는 적외선 광원센서와 수광센서가 탑재된 검출 장치를 이용하여 모세혈관에 빛을 쏘아 흡수 및 반사되는 양을 신호로 변환하여 데이터를 획득하였다. 그러나 종래의 우울증 지수 측정 장치는 검출 장치를 이용하여 사용자의 피부와 직접적으로 접촉해서 수행해야한다는 불편이 따른다.A conventional depression index measuring device uses a detection device equipped with an infrared light source sensor and a light-receiving sensor to obtain data by converting the amount of absorption and reflection into a signal by emitting light onto capillaries. However, the conventional depression index measurement device is inconvenient in that it must be performed by directly contacting the user's skin using a detection device.

따라서 상기 문제점들의 개선 및 종래의 우울증 지수 측정 장치를 대체하기 위해 추가적인 하드웨어 모듈 장착 없이 사용자가 보유하고 있는 일반 카메라, 적외선 카메라 등에서 비접촉식으로 얼굴 피부 영상 촬영 및 이를 이용하여 우울증 지수를 측정하는 방법이 필요하다.Therefore, in order to improve the above problems and to replace the conventional depression index measuring device, there is a need for a method of measuring a depression index using a non-contact type of facial skin image photographing in a general camera or an infrared camera owned by the user without installing an additional hardware module. Do.

한국공개특허 10-2012-0049189Korean Patent Publication 10-2012-0049189

이하 설명하는 기술은 기존 측정기의 한계를 극복하고자 카메라가 탑재된 스마트 기기에서 촬영한 얼굴 영상의 피부 관심 영역에서 산출된 맥파 신호에서 맥박을 측정하고, 산출된 상기 맥파 신호에서 피크 지점을 검출하여 심박 간격을 측정한다. 측정된 심박 간격을 통해 타코그램(Tachogram)을 도출하고 타코그램의 주파수를 분석을 통해 파라미터 값을 이용하여 비접촉식으로 우울증 지수를 측정하고 진단할 수 있는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법을 제공하고자 한다.In order to overcome the limitations of conventional measuring devices, the technology described below measures the pulse rate from the pulse wave signal calculated from the skin region of interest of the face image captured by a smart device equipped with a camera, and detects the peak point from the calculated pulse wave signal to overcome the heart rate. Measure the spacing. The tachogram is derived from the measured heart rate interval and the frequency of the tachogram is analyzed. The purpose of this study is to provide a method of measuring and diagnosing depression index using facial skin images that can measure and diagnose depression index in a non-contact manner using parameter values.

상기 기술적 과제를 달성하기 위해, 얼굴 피부 영상을 촬영하고, 촬영된 상기 얼굴 피부 영상에서 피부 관심 영역을 검출하는 단계, 검출된 상기 피부 관심 영역에서 색상 데이터 평균값을 계산하는 단계, 상기 색상 데이터 평균값에 필터링(BPF(Band Pass Filter 등)을 적용하여 맥파 신호를 산출하는 단계, 산출된 상기 맥파 신호에서 피크 지점을 검출하고, 맥박을 계산하는 단계, 검출된 상기 피크 지점을 이용하여 심박 간격을 측정하고, 측정된 상기 심박 간격을 통해 타코그램(Tachogram)을 도출하는 단계, 상기 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등)을 산출하는 단계, 산출된 상기 파라미터 값을 이용하여 우울증 지수를 측정하는 단계, 상기 얼굴 영역에서 얼굴 요소를 검출하고, 상기 얼굴 요소에서 상기 얼굴 요소 간의 거리 또는 상기 얼굴 요소의 떨림을 이용하여 긍/부정, 중립 감정을 인식하는 단계 및 측정된 상기 우울증 지수와 인식된 상기 긍/부정, 중립 감정을 통해 사용자의 우울증 상태를 진단하는 단계를 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법을 제공한다.In order to achieve the above technical task, taking a facial skin image, detecting a skin region of interest from the photographed facial skin image, calculating an average value of color data from the detected skin region of interest, the average value of the color data Calculating a pulse wave signal by applying filtering (BPF (Band Pass Filter, etc.)), detecting a peak point in the calculated pulse wave signal, calculating a pulse, measuring a heartbeat interval using the detected peak point, and , Deriving a tachogram through the measured heart rate interval, parameter values for measuring the depression index by analyzing the frequency of the tachogram (pulse, LF'A (Low Frequency Activity), HF'A (High)) Frequency Activity), LF'A / HF'A raio, etc.), measuring a depression index using the calculated parameter value, detecting a face element in the face area, and detecting the face element in the face element. Recognizing positive/negative and neutral emotions using the distance between elements or the vibration of the facial element, and diagnosing a user's depressive state through the measured depression index and the recognized positive/negative and neutral emotions. It provides a method of measuring and diagnosing depression index using facial skin images.

또한, 상기 기술적 과제를 달성하기 위해, 얼굴 영상을 촬영하고, 촬영된 상기 얼굴 영상에서 피부 관심 영역을 검출하는 단계, 검출된 상기 피부 관심 영역에서 색상 데이터 평균값을 계산하는 단계, 상기 색상 데이터 평균값에 필터링을 적용하여 제1 맥파 신호를 산출하는 단계, 산출된 상기 제1 맥파 신호에서 피크 지점을 검출하고, 맥박을 계산하는 단계, 검출된 상기 피크 지점을 이용하여 심박 간격을 측정하고, 측정된 상기 심박 간격을 통해 타코그램(Tachogram)을 도출하는 단계, 상기 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 제1 파라미터 값을 산출하고, 산출된 상기 제1 파라미터 값을 제1 데이터베이스에 저장하는 단계, 상기 제1 파라미터 값을 이용하여 제1 우울증 지수를 산출하고, 산출된 상기 제1 우울증 지수를 제3 데이터베이스에 저장하는 단계, PPG 장치를 이용하여 제2 맥파 신호를 산출하는 단계, 산출된 상기 제2 맥파 신호에서 피크 지점을 검출하고, 맥박을 계산하는 단계, 검출된 상기 피크 지점을 이용하여 심박 간격을 측정하고, 측정된 상기 심박 간격을 통해 타코그램(Tachogram)을 도출하는 단계, 상기 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 제2 파라미터 값을 산출하고, 산출된 상기 제2 파라미터 값을 제2 데이터베이스에 저장하는 단계, 상기 제2 파라미터 값을 이용하여 제2 우울증 지수를 산출하고, 산출된 상기 제2 우울증 지수를 제4 데이터베이스에 저장하는 단계 및 상기 제1 파라미터 값, 상기 제2 파라미터 값, 상기 제1 우울증 지수 및 상기 제2 우울증 지수를 회귀분석에 적용하여 회귀 직선식 또는 회귀 곡선식을 산출하고, 우울증 지수 회귀분석식 데이터베이스에 저장하는 단계를 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법을 제공한다.In addition, in order to achieve the above technical task, taking a face image, detecting a skin region of interest from the photographed face image, calculating an average value of color data from the detected skin region of interest, the average value of the color data Calculating a first pulse wave signal by applying filtering, detecting a peak point in the calculated first pulse wave signal, calculating a pulse rate, measuring a heartbeat interval using the detected peak point, and measuring the measured Deriving a tachogram through a heartbeat interval, calculating a first parameter value for measuring a depression index by analyzing the frequency of the tachogram, and storing the calculated first parameter value in a first database , Calculating a first depression index using the first parameter value, storing the calculated first depression index in a third database, calculating a second pulse wave signal using a PPG device, the calculated Detecting a peak point in the second pulse wave signal, calculating a pulse, measuring a heartbeat interval using the detected peak point, and deriving a tachogram through the measured heartbeat interval, the taco Analyzing the frequency of the gram to calculate a second parameter value for measuring a depression index, storing the calculated second parameter value in a second database, calculating a second depression index using the second parameter value, and , Storing the calculated second depression index in a fourth database, and applying the first parameter value, the second parameter value, the first depression index, and the second depression index to a regression analysis to obtain a regression linear expression or It provides a method for measuring and diagnosing depression index using facial skin images, including the step of calculating a regression curve expression and storing it in a depression index regression analysis database.

이하 설명하는 기술은 비접촉식 방식으로 사용자가 보유하고 있는 스마트 기기로 촬영한 얼굴 피부 영상을 이용하여 우울증 지수를 측정하기 때문에 기존의 우울증 지수 측정의 단점인 별도의 장비에 대한 추가 비용을 고려하지 않을 수 있다.Since the technology described below measures the depression index using a facial skin image taken with a smart device owned by the user in a non-contact method, the additional cost of additional equipment, which is a disadvantage of the existing depression index measurement, may not be considered. have.

본 발명은 얼굴 피부 영상을 이용하여 우울증 지수를 측정함에 있어서 별도의 하드웨어 모듈 없이 사용자가 보유하고 있는 스마트 기기에서 얼굴 피부 영상을 촬영하고 얼굴 및 피부 검출을 통해 생체신호를 추출하고, 추출된 생체신호를 이용하여 우울증 지수를 편리하면서도 정확하게 측정하고 진단할 수 있다.In the present invention, in measuring the depression index using a facial skin image, a facial skin image is captured in a smart device owned by a user without a separate hardware module, and a biosignal is extracted through face and skin detection, and the extracted biosignal Depression index can be conveniently and accurately measured and diagnosed using.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 두 단계의 회귀분석을 통해 우울증 지수 측정의 오차를 줄일 수 있다는 장점이 있다.In addition, according to at least one of the embodiments of the present invention, there is an advantage of reducing an error in measuring a depression index through a two-step regression analysis.

또한, 본 발명은 비접촉식 방식으로 사용자가 보유하고 있는 스마트 기기로 촬영한 얼굴 영상을 이용할 수 있어, 가정, 직장, 의료 시설에서 쉽게 사용할 수 있기 때문에 언제 어디서든 사용할 수 있고 이를 통해 사용자의 우울증 상태를 사전에 인지하고 예방할 수 있다.In addition, the present invention can use a face image taken with a smart device owned by a user in a non-contact method, so that it can be easily used at home, work, and medical facilities, so that it can be used anytime and anywhere. It can be recognized and prevented in advance.

또한, 본 발명은 설문지나 전문 상담가의 상담을 통해 우울증 지수를 확인하는 방법이나 접촉식 생체신호 측정 장비를 이용하여 측정하는 방법을 효과적으로 대체할 수 있다.In addition, the present invention can effectively replace the method of determining the depression index through a questionnaire or consultation with a professional counselor or a method of measuring using a contact-type bio-signal measuring device.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtained in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the technical field to which the present invention pertains from the following description.

도 1은 본 발명의 실시 예에 따른 얼굴 피부 영상을 이용한 우울증 지수 측정 장치의 구성을 도시한 예이다.
도 2는 본 발명의 실시 예에 따른 얼굴 피부 영상을 이용한 우울증 지수 측정하고 진단하는 방법을 나타낸 순서도이다.
도 3은 본 발명의 실시 예에 따른 우울증 지수 측정을 개념적으로 설명한 도이다.
도 4는 본 발명의 실시 예에 따라 우울증 지수 측정을 위한 파라미터 값을 산출하는 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시 예에 따라 파라미터 값을 회귀 직선(또는 회귀 곡선)식에 적용하여 파라미터 회귀분석식 데이터베이스에 저장하는 것을 설명하는 순서도이다.
도 6은 본 발명의 실시 예에 따라 우울증 지수를 회귀 직선(또는 곡선)식에 적용하여 우울증 회귀 분석식 데이터베이스에 저장하는 것을 설명하는 순서도이다.
도 7은 본 발명의 실시 예에 따라 얼굴 영상에서 특징점 및 형태적 특징값을 결정하는 기준과 이를 이용하여 다양한 감정 인식을 수행하는 과정을 도시한 예이다.
도 8은 본 발명의 실시 예에 따라 얼굴 요소에서 계산된 다양한 감정 인식 확률 값을 정서적 감응치 모델에 적용하여 긍/부정, 중립 감정 인식 결과를 산출하는 과정을 도시한 예이다.
도 9는 본 발명의 실시 예에 따라 우울증 지수 측정 및 진단의 전체 흐름도를 나타낸 도이다.
도 10은 본 발명의 실시 예에 따라 우울증 지수와 긍/부정, 중립 감정값에 회귀분석을 적용하여 상관계수를 도시한 도이다.1 is an example of a configuration of an apparatus for measuring a depression index using a facial skin image according to an embodiment of the present invention.
2 is a flowchart illustrating a method of measuring and diagnosing a depression index using a facial skin image according to an exemplary embodiment of the present invention.
3 is a diagram conceptually explaining measurement of a depression index according to an embodiment of the present invention.
4 is a flowchart illustrating a method of calculating a parameter value for measuring a depression index according to an embodiment of the present invention.
5 is a flowchart illustrating a method of applying a parameter value to a regression line (or regression curve) equation and storing it in a parameter regression analysis equation database according to an embodiment of the present invention.
6 is a flowchart illustrating storing a depression index in a depression regression analysis expression database by applying a depression index to a regression line (or curve) equation according to an embodiment of the present invention.
7 is an example of a reference for determining a feature point and a morphological feature value in a face image and a process of performing various emotion recognition using the criteria according to an embodiment of the present invention.
8 is an example illustrating a process of calculating positive/negative and neutral emotion recognition results by applying various emotion recognition probability values calculated from a face element to an emotional sensitivity model according to an embodiment of the present invention.
9 is a diagram illustrating an overall flowchart of measurement and diagnosis of a depression index according to an embodiment of the present invention.
10 is a diagram showing a correlation coefficient by applying a regression analysis to a depression index, positive/negative, and neutral emotion values according to an embodiment of the present invention.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The technology described below may be changed in various ways and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the technology to be described below with respect to a specific embodiment, and it should be understood to include all changes, equivalents, or substitutes included in the spirit and scope of the technology to be described below.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as 1st, 2nd, A, B, etc. may be used to describe various components, but the components are not limited by the above terms, and only for the purpose of distinguishing one component from other components. Is only used. For example, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component without departing from the scope of the rights of the technology described below. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.In terms of the terms used in the present specification, expressions in the singular should be understood as including plural expressions unless clearly interpreted differently in context, and terms such as "includes" are specified features, numbers, steps, actions, and components. It is to be understood that the presence or addition of one or more other features or numbers, step-acting components, parts or combinations thereof is not meant to imply the presence of, parts, or combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Prior to the detailed description of the drawings, it is intended to clarify that the division of the constituent parts in the present specification is merely divided by the main function that each constituent part is responsible for. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more for each more subdivided function. In addition, each of the constituent units to be described below may additionally perform some or all of the functions of other constituent units in addition to its own main function, and some of the main functions of each constituent unit are different. It goes without saying that it can also be performed exclusively by.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In addition, in performing the method or operation method, each of the processes constituting the method may occur differently from the specified order unless a specific order is clearly stated in the context. That is, each of the processes may occur in the same order as the specified order, may be performed substantially simultaneously, or may be performed in the reverse order.

도 1은 본 발명의 실시 예에 따른 얼굴 피부 영상을 이용한 우울증 지수 측정 장치의 구성을 도시한 예이다. 1 is an example of a configuration of an apparatus for measuring a depression index using a facial skin image according to an embodiment of the present invention.

본 발명은 스마트 기기(50)에서 촬영한 얼굴 영상의 피부 관심 영역에서 산출된 맥파 신호에서 맥박을 측정하고, 산출된 맥파 신호에서 피크 지점을 검출하여 심박 간격을 측정할 수 있다. 그리고 본 발명은 측정된 심박 간격을 통해 타코그램(Tachogram)을 도출하고 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등)을 산출함으로써 우울증 지수를 측정하고 진단할 수 있다. 사용자는 스마트 기기(50)에 내장된 카메라로 얼굴을 촬영할 수 있다. 예를 들어, 스마트 기기는 적어도 하나의 카메라가 내장된 휴대폰, 스마트 폰, 웨어러블 기기 등을 포함할 수 있다.In the present invention, a pulse rate may be measured from a pulse wave signal calculated from a skin region of interest of a face image captured by the smart device 50, and a peak point may be detected from the calculated pulse wave signal to measure a heart rate interval. In addition, the present invention derives a tachogram through the measured heartbeat interval and analyzes the frequency of the tachogram to measure the depression index parameter values (pulse, LF'A (Low Frequency Activity), HF'A (High Frequency)). Activity), LF'A / HF'A raio, etc.), the depression index can be measured and diagnosed. The user may photograph a face with a camera built into the smart device 50. For example, the smart device may include a mobile phone, a smart phone, a wearable device, and the like in which at least one camera is embedded.

LF 활성도(LF Activity, LF'A)는 신체에서 교감신경의 활성화 정도를 나타낼 수 있다. LF 활성도란 심박간격 타코그램(Tachogram)을 FFT를 이용하여 주파수 영역으로 변환하고 이 영역에서 0.04~0.15Hz 사이 주파수 대역의 에너지를 말할 수 있다. LF대역의 파워 스펙트럼 밀도 값의 합에 자연로그(Natural Logarithm)를 취해 LF활성도를 산출할 수 있다.LF Activity (LF'A) can indicate the degree of sympathetic nerve activation in the body. LF activity is a heartbeat interval tachogram converted to a frequency domain using FFT, and in this domain, energy in a frequency band between 0.04 and 0.15 Hz can be said. LF activity can be calculated by taking a natural logarithm to the sum of the power spectral density values of the LF band.

HF 활성도(HF Activity, HF'A)는 신체에서 부교감신경의 활성화 정도를 나타낼 수 있다. HF 활성도란 심박간격 타코그램(Tachogram)을 FFT를 이용하여 주파수 영역으로 변환하고 이 영역에서 0.15~0.4Hz 사이 주파수 대역의 에너지를 말할 수 있다. HF 대역의 파워 스펙트럼 밀도 값의 합에 자연로그(Natural Logarithm)를 취해 HF 활성도를 산출할 수 있다.HF activity (HF'A) can indicate the degree of parasympathetic activity in the body. HF activity is a heartbeat interval tachogram converted into a frequency domain using FFT, and in this domain, energy in a frequency band between 0.15 and 0.4 Hz can be said. HF activity can be calculated by taking a natural logarithm to the sum of the power spectral density values of the HF band.

본 발명은 RGB 색상체계를 YCgCo 색상체계로 변환하여 산출된 Cg 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하여 산출된 맥파 신호에서 피크 지점을 검출하고, 피크 지점을 이용하여 심박간격(Peak와 Peak 사이 간격) 타코그램(Tachogram)을 도출할 수 있다. 본 발명은 맥파 신호에서 계산된 맥박과 타코그램(Tachogram)의 주파수 분석을 통해 산출된 파라미터 값을 이용하여 우울증 지수를 측정하고, 얼굴 영역에서 검출된 얼굴 요소(머리, 눈썹, 눈, 코, 입 등)에서 계산된 특징 값(요소간의 거리 및 떨림)을 이용하여 긍/부정, 중립 감정을 인식할 수 있다. 이에 본 발명은 긍/부정, 중립 감정 인식 결과와 얼굴 피부 영상의 생체신호를 이용하여 측정한 우울증 지수의 측정 오차를 줄이거나 오진율을 낮춰 우울증 지수 측정 정확도를 높이는데 활용할 수 있다. 이에 대한 자세한 과정은 후술하기로 한다.The present invention detects a peak point in a pulse wave signal calculated by applying a Band Pass Filter (BPF) to the average value of Cg color data calculated by converting the RGB color system to the YCgCo color system, and using the peak point Interval between peaks) Tachogram can be derived. The present invention measures the depression index using the pulse rate calculated from the pulse wave signal and the parameter value calculated through the frequency analysis of the tachogram, and the facial elements (head, eyebrows, eyes, nose, mouth) detected in the face area. Etc.), it is possible to recognize positive/negative and neutral emotions by using the feature values (distances and vibrations between elements). Accordingly, the present invention can be used to increase the accuracy of measuring the depression index by reducing the measurement error of the depression index measured using the positive/negative and neutral emotion recognition results and the biosignal of the facial skin image or by lowering the false diagnosis rate. A detailed process for this will be described later.

도 1의 (a)를 살펴보면, 스마트 기기(50)는 카메라(51), 저장 장치(52), 제어 장치(53) 및 출력 장치(54)를 포함할 수 있다. Referring to FIG. 1A, the smart device 50 may include a camera 51, a storage device 52, a control device 53, and an output device 54.

카메라(51)는 사용자를 촬영하고, 촬영된 영상을 이용하여 얼굴 영상을 획득할 수 있다. 카메라는 스마트 기기에 내장된 카메라, 일반 카메라 또는 적외선 카메라를 포함할 수 있다.The camera 51 may photograph a user and obtain a face image using the photographed image. The camera may include a camera built into a smart device, a general camera, or an infrared camera.

제어 장치(53)는 카메라로(51)부터 얼굴 영상을 공급받아, 얼굴 영상의 피부 관심 영역에서 산출된 맥파 신호에서 맥박을 측정하고, 산출된 맥파 신호에서 피크 지점을 검출하여 심박 간격을 측정할 수 있다. 그리고 제어 장치(53)는 측정된 심박 간격을 통해 타코그램(Tachogram)을 도출하고 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등)을 산출함으로써 우울증 지수를 측정하고 진단할 수 있다. 제어 장치(53)는 얼굴 영역에서 검출된 얼굴 요소(머리, 눈썹, 눈, 코, 입 등)에서 계산된 특징 값(요소간의 거리 및 떨림)을 통해 검출된 긍/부정, 중립 감정 인식 결과와 얼굴 피부 영상의 생체신호를 이용하여 우울증 지수를 더욱 정확하게 측정하고 진단할 수 있다. 제어 장치(53)는 연산 장치 또는 컨트롤러라 칭할 수 있다.The control device 53 receives a face image from the camera 51, measures the pulse rate from the pulse wave signal calculated from the skin region of interest of the face image, and detects a peak point from the calculated pulse wave signal to measure the heartbeat interval. I can. In addition, the control device 53 derives a tachogram through the measured heartbeat interval and analyzes the frequency of the tachogram to measure the depression index parameter values (pulse, LF'A (Low Frequency Activity), HF'A). Depression index can be measured and diagnosed by calculating (High Frequency Activity), LF'A / HF'A raio, etc.). The control device 53 detects positive/negative and neutral emotion recognition results detected through feature values (distances and vibrations between elements) calculated from facial elements (head, eyebrows, eyes, nose, mouth, etc.) detected in the face area. The depression index can be more accurately measured and diagnosed using the biosignal of the facial skin image. The control device 53 can be referred to as an arithmetic device or a controller.

저장 장치(52)는 카메라(51) 또는 제어 장치(53)와 전기적으로 연결될 수 있다. 저장 장치(52)는 카메라(51)로부터 공급되는 얼굴 영상을 임시로 저장할 수 있다. The storage device 52 may be electrically connected to the camera 51 or the control device 53. The storage device 52 may temporarily store a face image supplied from the camera 51.

출력 장치(54)는 측정된 우울증 지수를 진단한 것에 대해 출력할 수 있다. 출력 장치(54)는 측정된 우울증 지수, 그리고 긍/부정, 중립 감정에 따른 사용자의 우울증 상태를 진단한 진단결과를 출력할 수 있다. 예를 들어, 출력 장치(54)는 디스플레이부를 포함할 수 있다. 디스플레이부는 측정된 우울증 지수, 그리고 긍/부정, 중립 감정에 따른 사용자의 우울증 상태를 진단한 진단결과를 디스플레이할 수 있다.The output device 54 may output a diagnosis of the measured depression index. The output device 54 may output the measured depression index and a diagnosis result of diagnosing the user's depression state according to the positive/negative and neutral emotions. For example, the output device 54 may include a display unit. The display unit may display the measured depression index and a diagnosis result of diagnosing a user's depression state according to positive/negative and neutral emotions.

도 1의 (b)를 살펴보면, 본 발명은 컴퓨터(85)와 같은 장치를 이용하여 비접촉식으로 얼굴 영상의 피부 관심 영역에서 계산된 맥파 신호의 주파수를 분석하고, 분석된 맥파 신호의 주파수를 통해 파라미터 값을 산출함으로써 우울증 지수를 측정하고 진단할 수 있다. 사용자는 컴퓨터(85)에 연결된 카메라(81)로 얼굴을 촬영할 수 있다. 컴퓨터(85)는 카메라로(81)부터 얼굴 영상을 공급받아, 얼굴 영상의 피부 관심 영역에서 산출된 맥파 신호에서 맥박을 측정하고, 산출된 맥파 신호에서 피크 지점을 검출하여 심박 간격을 측정할 수 있다. 그리고 컴퓨터(85)는 측정된 심박 간격을 통해 타코그램(Tachogram)을 도출하고 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값(맥박, LFA(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등)을 산출함으로써 우울증 지수를 측정하고 진단할 수 있다. 제어 장치(53)는 얼굴 영역에서 검출된 얼굴 요소(머리, 눈썹, 눈, 코, 입 등)에서 계산된 특징 값(요소간의 거리 및 떨림)을 통해 검출된 긍/부정, 중립 감정 인식 결과와 얼굴 피부 영상의 생체신호를 이용하여 우울증 지수를 더욱 정확하게 측정하고 진단할 수 있다.Referring to (b) of FIG. 1, the present invention analyzes the frequency of the pulse wave signal calculated in the skin region of interest of the face image in a non-contact manner using a device such as a computer 85, and uses a parameter based on the frequency of the analyzed pulse wave signal. By calculating the value, the depression index can be measured and diagnosed. The user can photograph a face with the camera 81 connected to the computer 85. The computer 85 receives the face image from the camera 81, measures the pulse rate from the pulse wave signal calculated from the skin region of interest of the face image, and detects the peak point from the calculated pulse wave signal to measure the heartbeat interval. have. In addition, the computer 85 derives a tachogram from the measured heartbeat interval and analyzes the frequency of the tachogram to measure the parameter values (pulse, LFA (Low Frequency Activity), HF'A (High Frequency)). Activity), LF'A / HF'A raio, etc.), the depression index can be measured and diagnosed. The control device 53 detects positive/negative and neutral emotion recognition results detected through feature values (distances and vibrations between elements) calculated from facial elements (head, eyebrows, eyes, nose, mouth, etc.) detected in the face area. The depression index can be more accurately measured and diagnosed using the biosignal of the facial skin image.

도 1의 (c)를 살펴보면, 본 발명은 사용자 단말(91)로 획득한 얼굴 영상을 원격지에 있는 서버(95)에 제공함으로써, 원격으로 헬스 케어를 제공받을 수 있다. 사용자는 사용자 단말(91)에 내장된 카메라로 사용자의 얼굴을 촬영할 수 있다. 사용자 단말(91)은 촬영한 얼굴 영상을 네트워크를 통해 서버(95)에 전달할 수 있다. 이 경우 사용자 단말(91)은 데이터 전송을 위한 통신 모듈을 포함할 수 있다. Referring to (c) of FIG. 1, according to the present invention, by providing a face image acquired by the user terminal 91 to a server 95 in a remote location, health care can be provided remotely. The user can take a picture of the user's face with a camera built into the user terminal 91. The user terminal 91 may transmit the photographed face image to the server 95 through a network. In this case, the user terminal 91 may include a communication module for data transmission.

서버(95)는 사용자 단말(91)로부터 얼굴 영상을 공급받아, 얼굴 영상의 피부 관심 영역에서 산출된 맥파 신호에서 맥박을 측정하고, 산출된 맥파 신호에서 피크 지점을 검출하여 심박 간격을 측정할 수 있다. 그리고 서버(95)는 측정된 심박 간격을 통해 타코그램(Tachogram)을 도출하고 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등)을 산출함으로써 우울증 지수를 측정하고 진단할 수 있다. 서버(95)는 얼굴 영역에서 검출된 얼굴 요소(머리, 눈썹, 눈, 코, 입 등)에서 계산된 특징 값(요소간의 거리 및 떨림)을 통해 검출된 긍/부정, 중립 감정 인식 결과와 얼굴 피부 영상의 생체신호를 이용하여 우울증 지수를 더욱 정확하게 측정하고 진단할 수 있다. 서버(95)는 측정된 우울증 지수, 그리고 긍/부정, 중립 감정에 따른 사용자의 우울증 상태를 진단한 진단결과를 사용자 단말(91)에 전송 또는 전달할 수 있다.The server 95 receives the face image from the user terminal 91, measures the pulse rate from the pulse wave signal calculated from the skin region of interest of the face image, and detects the peak point from the calculated pulse wave signal to measure the heartbeat interval. have. In addition, the server 95 derives a tachogram from the measured heartbeat interval and analyzes the frequency of the tachogram to measure the depression index parameter values (pulse, LF'A (Low Frequency Activity), HF'A ( High Frequency Activity), LF'A / HF'A raio, etc.) to measure and diagnose depression index. The server 95 detects positive/negative and neutral emotion recognition results and faces detected through feature values (distances and vibrations between elements) calculated from facial elements (head, eyebrows, eyes, nose, mouth, etc.) detected in the face area. The depression index can be more accurately measured and diagnosed using the biosignal of the skin image. The server 95 may transmit or transmit the measured depression index and a diagnosis result of diagnosing the user's depression state according to the positive/negative and neutral emotions to the user terminal 91.

경우에 따라서는 사용자 단말(91)이 촬영한 얼굴 영상에서 피부 관심 영역에서 계산된 맥파 신호의 주파수를 분석하고, 분석된 맥파 신호의 주파수를 통해 파라미터 값을 산출하여 우울증 지수를 측정하고 진단할 수 있다. 그리고 사용자 단말(91)은 얼굴 영역에서 검출된 얼굴 요소(머리, 눈썹, 눈, 코, 입 등)에서 계산된 특징 값(요소간의 거리 및 떨림)을 통해 검출된 긍/부정, 중립 감정 인식 결과와 얼굴 피부 영상의 생체신호를 이용하여 우울증 지수를 더욱 정확하게 측정하고 진단할 수 있다. 서버(95)는 측정된 우울증 지수, 그리고 긍/부정, 중립 감정에 따른 사용자의 우울증 상태를 진단한 진단결과를 서버(95)에 전달할 수 있다. 이 경우 서버(95)는 측정된 우울증 지수, 그리고 긍/부정, 중립 감정에 따른 사용자의 우울증 상태를 진단한 진단결과를 저장할 수 있다.In some cases, the user terminal 91 analyzes the frequency of the pulse wave signal calculated in the skin region of interest from the face image captured, and calculates a parameter value through the frequency of the analyzed pulse wave signal to measure and diagnose the depression index. have. In addition, the user terminal 91 recognizes positive/negative and neutral emotions detected through feature values (distances and vibrations between elements) calculated from facial elements (head, eyebrows, eyes, nose, mouth, etc.) detected in the face area. The depression index can be more accurately measured and diagnosed using the biosignals of the and facial skin images. The server 95 may transmit the measured depression index and a diagnosis result of diagnosing the user's depression state according to the positive/negative and neutral emotions to the server 95. In this case, the server 95 may store the measured depression index and a diagnosis result of diagnosing the user's depression state according to the positive/negative and neutral emotions.

상술한 바와 같이, 다양한 전자 장치가 비접촉식으로 촬영한 얼굴 영상의 피부 관심 영역에서 산출된 맥파 신호에서 맥박을 측정하고, 산출된 맥파 신호에서 피크 지점을 검출하여 심박 간격을 측정할 수 있다. 그리고 다양한 전자 장치는 측정된 심박 간격을 통해 타코그램(Tachogram)을 도출하고 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등)을 산출함으로써 우울증 지수를 측정하고 진단할 수 있다. 설명의 편의를 위해 이하 컴퓨터 장치가 맥파 신호를 추출 또는 산출한다고 설명한다.As described above, various electronic devices may measure a pulse rate from a pulse wave signal calculated from a skin region of interest of a face image photographed in a non-contact manner, and detect a peak point from the calculated pulse wave signal to measure a heart rate interval. In addition, various electronic devices derive a tachogram from the measured heartbeat interval and analyze the frequency of the tachogram to measure parameter values (pulse, LF'A (Low Frequency Activity), HF'A (High)). Frequency Activity), LF'A / HF'A raio, etc.) to measure and diagnose depression index. For convenience of explanation, it will be described below that the computer device extracts or calculates a pulse wave signal.

도 2는 본 발명의 일실시 예에 따른 얼굴 영상을 이용한 우울증 지수 측정하고 진단하는 방법에 대한 일례를 나타낼 수 있다.2 may show an example of a method of measuring and diagnosing a depression index using a face image according to an embodiment of the present invention.

먼저, 컴퓨터 장치는 카메라를 이용하여 영상을 촬영할 수 있다(S11). 영상은 얼굴 영상이라 칭할 수 있다.First, the computer device may take an image using a camera (S11). The image may be referred to as a face image.

컴퓨터 장치는 카메라가 촬영한 얼굴 영상에서 피부를 검출하고 피부 관심 영역에서 색상 데이터 평균값을 계산할 수 있다(S12). 컴퓨터 장치는 얼굴 영상에서 피부를 검출하고, 검출된 피부에서 피부 관심 영역을 검출 또는 설정할 수 있다. 이때 피부 관심 영역의 크기는 유동적으로 조절할 수 있다. 컴퓨터 장치는 다양한 알고리즘을 이용하여 피부 관심 영역을 검출 또는 설정할 수 있다. 이때 피부 관심 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다.The computer device may detect skin from a face image captured by the camera and calculate an average value of color data in the skin region of interest (S12). The computer device may detect skin from a face image, and detect or set a skin region of interest from the detected skin. At this time, the size of the skin region of interest can be flexibly adjusted. The computer device may detect or set the skin region of interest using various algorithms. At this time, the algorithm for detecting the skin region of interest may use various techniques known in the art.

컴퓨터 장치는 피부 관심 영역에 대한 색상 평균 데이터 계산 또는 산출할 수 있다. 색상 평균 데이터는 평균 색상 데이터 또는 색상 데이터 평균값이라 칭할 수 있다. 컴퓨터 장치는 추출한 피부 관심 영역에 대한 색상 평균 데이터를 추출 또는 산출할 수 있다. 또한, 컴퓨터 장치는 획득한 영상에서 특정한 피부 영역에 대한 색상 평균 데이터를 추출 또는 산출할 수도 있다.The computer device may calculate or calculate color average data for the skin region of interest. The color average data may be referred to as average color data or an average color data value. The computer device may extract or calculate color average data for the extracted skin region of interest. Also, the computer device may extract or calculate color average data for a specific skin area from the acquired image.

예를 들어, 색상 데이터는 다양한 값이 사용될 수 있다. 예컨대, (1) 색상 데이터는 RGB 색상 체계를 기준으로 R값, G값 및 B값 중 적어도 하나를 사용할 수 있다. 색상 데이터는 R값, G값 및 B값 중 적어도 하나에 대한 색상 평균 데이터를 사용할 수도 있다. (2) 컴퓨터 장치는 RGB 색상 체계를 다른 색상 체계로 변환할 수 있다. 예컨대, 컴퓨터 장치는 RGB 색상 체계를 YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계로 변환할 수 있다. 이 경우 색상 데이터는 주변 환경(조도 등)에 영향을 적게 받는 색차 성분 중 하나를 이용할 수 있다. 예컨대, YCbCr의 경우 Cb값 또는 Cr값 중 적어도 하나를 이용할 수 있다. YCgCo의 경우는 Cg값 또는 Co값 중 적어도 하나를 이용할 수 있다. 나아가 두 개의 색차 성분 중 조도의 변화에 보다 강인한 어느 하나를 이용할 수 있다. 예컨대, YCgCo의 경우는 Cg값만을 이용할 수 있다. 이 경우 컴퓨터 장치는 피부 영역의 Cg 색상 데이터의 평균값을 색상 데이터로 추출할 수 있다. (3) 나아가 색상 데이터는 RGB, YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계에서 적어도 하나 이상의 색 성분에 가중치를 적용하여 조합한 값일 수도 있다. 색 성분을 조합하는 경우 색상 데이터는 색상 체계 및 색 성분의 종류에 따라 서로 다른 가중치를 부여한 값을 합산한 값일 수도 있다. 컴퓨터 장치는 RGB 색상 체계를 갖는 얼굴 영상을 YCgCo 색상 체계로 변경할 수 있으며, 이하 컴퓨터 장치는 YcgCo에서 Cg값을 구하여 사용한다고 가정한다.For example, various values may be used for color data. For example, (1) color data may use at least one of an R value, a G value, and a B value based on an RGB color system. Color data may use color average data for at least one of an R value, a G value, and a B value. (2) The computer device can convert the RGB color system to another color system. For example, the computer device may convert RGB color systems into various color systems such as YUV, HSV, YCbCr, YCgCo, and the like. In this case, the color data may use one of the color difference components that are less affected by the surrounding environment (illumination, etc.). For example, in the case of YCbCr, at least one of a Cb value or a Cr value may be used. In the case of YCgCo, at least one of a Cg value or a Co value may be used. Furthermore, one of the two color difference components, which is more robust to changes in illuminance, can be used. For example, in the case of YCgCo, only the Cg value can be used. In this case, the computer device may extract the average value of the Cg color data of the skin region as color data. (3) Furthermore, the color data may be a value obtained by applying a weight to at least one or more color components in various color systems such as RGB, YUV, HSV, YCbCr, YCgCo, and the like. When color components are combined, the color data may be a value obtained by adding different weights according to a color system and a type of color component. The computer device may change a face image having an RGB color system to a YCgCo color system, and it is assumed that the computer device obtains and uses a Cg value from YcgCo.

컴퓨터 장치는 색상 데이터 평균값에 필터링을 적용하여 맥파 신호를 산출하고, 산출된 맥파 신호의 피크 지점을 검출하고, 이들을 이용하여 맥박을 계산할 수 있다(S13). 맥파 신호는 생체신호라 칭할 수 있다. The computer device calculates a pulse wave signal by applying filtering to the average color data value, detects a peak point of the calculated pulse wave signal, and calculates a pulse rate using these (S13). The pulse wave signal may be referred to as a biological signal.

다시 말해, 컴퓨터 장치는 얼굴 및 피부 등 사용자의 상태를 잘 반영할 수 있는 영역을 촬영한 후, 얼굴 검출 및 피부색 검출과 같은 전 처리 과정을 통해 피부를 검출할 수 있다. 그리고 컴퓨터 장치는 검출된 피부 영역으로부터 관심 영역을 설정하며, 해당 영역 안의 모든(또는 일부) 픽셀의 Cg 등의 색상 평균값을 추출하여 맥파 신호를 산출 또는 검출할 수 있다.In other words, the computer device can detect the skin through pre-processing such as face detection and skin color detection after photographing an area that can reflect the user's condition well, such as face and skin. In addition, the computer device may set a region of interest from the detected skin region, and may calculate or detect a pulse wave signal by extracting a color average value such as Cg of all (or some) pixels in the region.

예를 들어, 컴퓨터 장치는 색상 데이터 평균값에 BPF(Bnad Pass Filter) 또는 MAF(Moving Average Filter)를 적용한 뒤 맥파 신호를 산출할 수 있다. 컴퓨터 장치는 색상 데이터의 평균값에 FFT(Fast Fourier Transform)를 적용할 수 있다. 예컨대, 컴퓨터 장치는 매 프레임에서의 Cg 값의 평균을 계산하여 Cg 신호를 추출하고, 추출된 Cg 신호를 FFT(Fast Fourier Transform)를 이용하여 맥박 주파수 영역 중 가장 큰 주파수 성분을 맥파의 주기로 판단할 수 있다.For example, the computer device may calculate a pulse wave signal after applying BPF (Bnad Pass Filter) or MAF (Moving Average Filter) to the average value of color data. The computer device may apply Fast Fourier Transform (FFT) to the average value of color data. For example, the computer device extracts the Cg signal by calculating the average of the Cg values in each frame, and determines the largest frequency component in the pulse frequency domain as the period of the pulse wave using the extracted Cg signal using Fast Fourier Transform (FFT). I can.

맥파는 혈액이 심장에서 파상을 이루며 전파하는 파장을 일컫는 것으로, 심장박동(HRV) 측정 및 우울증 상태를 파악하는 등 다양하게 사용될 수 있다. 컴퓨터 장치는 얼굴 영상을 촬영하고 얼굴 영역의 피부색 검출 방법을 적용하여 맥파를 추출할 수 있다. Pulse wave refers to a wave of blood that forms waves in the heart and propagates, and can be used in various ways, such as measuring heart rate (HRV) and determining a state of depression. The computer device may capture a face image and extract a pulse wave by applying a method of detecting a skin color of the face region.

컴퓨터 장치는 Cg 신호로부터 맥파 신호를 추정하기 위해서는 주파수 영역에서 신호를 관찰할 수 있다. 예를 들어, 컴퓨터 장치는 정상적인 경우 안정 또는 흥분 정도에 따라 약 40에서 200까지 분당 맥파가 측정될 수 있으며, 이에 맞춰 주파수 영역에서 관찰하는 영역을 0.65Hz에서 3.4Hz까지로 제한할 수 있다.The computer device can observe the signal in the frequency domain in order to estimate the pulse wave signal from the Cg signal. For example, a computer device may measure a pulse wave per minute from about 40 to 200 depending on the level of stability or excitement in a normal case, and accordingly, the area observed in the frequency domain may be limited to 0.65 Hz to 3.4 Hz.

컴퓨터 장치는 얼굴 피부 영상의 맥파 신호에서 계산된 피크 지점 간의 간격 값을 이용하여 심박간격(Peak와 Peak 사이 간격) 타코그램(Tachogram)을 도출할 수 있다(S14).The computer device may derive a heartbeat interval (interval between Peak and Peak) tachogram using the interval value between peak points calculated from the pulse wave signal of the facial skin image (S14).

컴퓨터 장치는 얼굴 영상의 피부 관심 영역에서 산출된 맥파 신호에서 맥박을 측정하고, 산출된 맥파 신호에서 피크 지점을 검출하여 심박 간격을 측정할 수 있다. 그리고 컴퓨터 장치는 측정된 심박 간격을 통해 타코그램(Tachogram)을 도출하고 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등)을 산출할 수 있다(S15).The computer device may measure a pulse rate from a pulse wave signal calculated from a skin region of interest of a face image, and measure a heart rate interval by detecting a peak point from the calculated pulse wave signal. In addition, the computer device derives a tachogram from the measured heartbeat interval and analyzes the frequency of the tachogram to measure the parameter values (pulse, LF'A (Low Frequency Activity), HF'A (High Frequency)). Activity), LF'A / HF'A raio, etc.) can be calculated (S15).

이후, 컴퓨터 장치는 산출된 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A ratio)을 파라미터 회귀분석식 데이터베이스(S19)에 적용하여 개선된 파라미터 값을 산출할 수 있다(S16).Thereafter, the computer device applies the calculated parameter values (pulse, LF'A (Low Frequency Activity), HF'A (High Frequency Activity)), LF'A / HF'A ratio) to the parameter regression equation database (S19). Thus, an improved parameter value can be calculated (S16).

컴퓨터 장치는 개선된 파라미터 값을 우울증 지수식에 적용하여 우울증 지수를 계산할 수 있다. 그리고 컴퓨터 장치는 계산된 우울증 지수를 우울증 지수 회귀분석식 데이터베이스(S20)에 적용하여 개선된 우울증 지수를 산출할 수 있다(S17). 이에 대한 자세한 설명은 후술하기로 한다.The computer device can calculate the depression index by applying the improved parameter value to the depression index equation. In addition, the computer device may calculate an improved depression index by applying the calculated depression index to the depression index regression equation database S20 (S17). A detailed description of this will be described later.

HRV는 자율신경계(Autonomic Nervous System, ANS) 기능을 평가할 수 있는 유망한 바이오 마커인 맥박의 심박변화를 나타낼 수 있으며, 저주파(LF, 0.04-0.15 Hz), 고주파(HF, 0.15-0.4 Hz) 및 LF / HF ratio는 교감 신경 및 부교감 신경 활동의 정량적 추정치를 제공할 수 있다.HRV is a promising biomarker capable of evaluating the function of the autonomic nervous system (ANS), which can indicate changes in the heart rate of the pulse, low frequency (LF, 0.04-0.15 Hz), high frequency (HF, 0.15-0.4 Hz) and LF. The /HF ratio can provide a quantitative estimate of sympathetic and parasympathetic nerve activity.

컴퓨터 장치는 심박간격 타코그램(Tachogram)에 FFT를 적용하여 주파수 영역에서 분석할 경우, Low Frequency(LF)의 대역(0.04~0.15Hz)의 파워 스펙트럼 밀도(Power Spectral Density, PSD) 값의 합을 이용하여 LF활성도를 산출할 수 있다. LF 대역은 교감신경의 상태를 파악하는 데 주로 이용될 수 있다. When analyzing in the frequency domain by applying FFT to the heartbeat interval tachogram, the computer device calculates the sum of the power spectral density (PSD) values of the low frequency (LF) band (0.04 to 0.15 Hz). Can be used to calculate the LF activity. The LF band can be mainly used to determine the state of the sympathetic nerve.

컴퓨터 장치는 심박간격 타코그램(Tachogram)에 FFT를 적용하여 주파수 영역에서 분석할 경우, High Frequency(HF)의 대역(0.15~0.4Hz)의 파워 스펙트럼 밀도 값의 합을 이용하여 HF활성도를 산출할 수 있다. HF대역은 부교감신경의 상태를 파악하는데 주로 이용되고 LF, HF활성도는 의료기관이나 접촉식 생체신호 측정장비를 통해 측정되는 경우가 많으나, 본 발명에서는 얼굴 피부 영상을 이용하여 맥파 신호를 산출하고, 맥파 신호를 이용하여 측정된 심박 간격을 통해 타코그램(Tachogram)을 도출할 수 있다. 즉, 본 발명은 FFT를 이용하여 주파수 영역에서 분석하고 LF, HF활성도 값을 산출할 수 있다. When analyzing in the frequency domain by applying FFT to the heartbeat interval tachogram, the computer device calculates HF activity by using the sum of the power spectral density values in the high frequency (HF) band (0.15 to 0.4 Hz). I can. The HF band is mainly used to determine the state of the parasympathetic nerve, and the LF and HF activities are often measured through medical institutions or contact-type bio-signal measuring equipment, but in the present invention, a pulse wave signal is calculated using a facial skin image, and the pulse wave It is possible to derive a tachogram through the measured heartbeat interval using the signal. That is, the present invention can analyze in the frequency domain using FFT and calculate LF and HF activity values.

LF활성도(LF Activity, LF'A)는 신체에서 교감신경의 활성화 정도를 나타낼 수 있다. LF활성도란 심박간격 타코그램(Tachogram)을 FFT를 이용하여 주파수 영역으로 변환하고 이 영역에서 0.04~0.15Hz 사이 주파수 대역의 에너지를 말할 수 있다. LF대역의 파워 스펙트럼 밀도 값의 합에 자연로그(Natural Logarithm)를 취해 LF활성도를 산출할 수 있다.LF Activity (LF'A) can indicate the degree of sympathetic nerve activation in the body. LF activity is the energy of the frequency band between 0.04 and 0.15 Hz by converting the heartbeat interval tachogram into the frequency domain using FFT. LF activity can be calculated by taking a natural logarithm to the sum of the power spectral density values of the LF band.

HF활성도(HF Activity, HF'A)는 신체에서 부교감신경의 활성화 정도를 나타낼 수 있다. HF활성도란 심박간격 타코그램(Tachogram)을 FFT를 이용하여 주파수 영역으로 변환하고 이 영역에서 0.15~0.4Hz 사이 주파수 대역의 에너지를 말할 수 있다. HF대역의 파워 스펙트럼 밀도 값의 합에 자연로그(Natural Logarithm)를 취해 HF활성도를 산출할 수 있다.HF activity (HF'A) can indicate the degree of parasympathetic activity in the body. HF activity is a heartbeat interval tachogram converted into a frequency domain using FFT, and in this domain, energy in a frequency band between 0.15 and 0.4 Hz can be said. HF activity can be calculated by taking a natural logarithm to the sum of the power spectral density values of the HF band.

컴퓨터 장치는 산출된 파라미터 값을 이용하여 우울증 지수(Depressive Disorder Index, DDI)를 산출할 수 있으며, 그 색상체계들 중 한 가지 예로 RGB 색상체계를 YCgCo 색상체계로 변환하여 산출된 Cg 색상 데이터 평균값을 이용하여 맥파 신호를 산출할 수 있다. 컴퓨터 장치는 산출된 맥파 신호에서 도출된 심박 간격 타코그램(Tachogram)을 통해 검출된 파라미터 값을 이용하여 우울증 지수를 산출할 수 있다. 이는 아래 수학식 1과 같다.The computer device can calculate the Depressive Disorder Index (DDI) using the calculated parameter values, and one of the color systems is the average value of Cg color data calculated by converting the RGB color system to the YCgCo color system. By using the pulse wave signal can be calculated. The computer device may calculate the depression index using a parameter value detected through a heart rate interval tachogram derived from the calculated pulse wave signal. This is shown in Equation 1 below.

심박 변이도(PRV)는 우울증을 진단하기 위한 생물학적 지표로 사용되어 왔으며, 자율신경계 활동의 변화량과 PRV 지수의 반응성을 이용하여 우울증 지수를 측정하고 상태를 진단할 수 있다. 일례로, 컴퓨터 장치는 우울증 지수를 측정하기 위해 30초 동안 맥파 신호를 산출하였을 때 총 3단계로 각 10초씩 Before, Current, After로 구분하여 자율신경계 활동의 변화량과 맥박을 산출하였으며, 각 시간에 따라 계산된 파라미터(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등)를 이용하여 우울증 지수를 측정할 수 있다. 이때 우울증 지수를 측정하기 위한 파라미터 산출 측정 시간은 사용 장치의 성능에 따라 다소 차이가 있을 수 있다.Heart rate variability (PRV) has been used as a biological indicator for diagnosing depression, and it is possible to measure the depression index and diagnose the condition by using the amount of change in autonomic nervous system activity and the reactivity of the PRV index. For example, when calculating the pulse wave signal for 30 seconds to measure the depression index, the computer device calculates the amount of change in autonomic nervous system activity and the pulse rate by dividing it into Before, Current, and After for 10 seconds in a total of 3 steps. Depression index can be measured using parameters calculated accordingly (pulse, low frequency activity (LF'A), high frequency activity (HF'A), LF'A / HF'A raio, etc.). At this time, the parameter calculation measurement time for measuring the depression index may vary slightly depending on the performance of the device being used.

컴퓨터 장치는 얼굴 영상에서 얼굴 요소(머리, 눈썹, 눈, 코, 입 등)를 검출할 수 있다(S21). 컴퓨터 장치는 검출된 얼굴 요소들로부터 특징점을 검출하고, 계산된 특징값(요소 간의 거리, 떨림 등)을 이용하여 다양한 감정을 인식하고, 인식된 다양한 감정 확률값을 이용하여 긍/부정 중립 감정 결과를 산출할 수 있다(S21).The computer device may detect facial elements (head, eyebrows, eyes, nose, mouth, etc.) from the face image (S21). The computer device detects feature points from the detected facial elements, recognizes various emotions using the calculated feature values (distance between elements, vibration, etc.), and generates a positive/negative neutral emotion result using various recognized emotion probability values. It can be calculated (S21).

컴퓨터 장치는 긍/부정, 중립 감정 및 우울증 지수를 기반으로 우울증 상태를 진단할 수 있다(S21).The computer device may diagnose a depressed state based on the positive/negative, neutral emotion, and depression index (S21).

본 발명에서는 긍/부정, 중립 감정 상태를 이용하고, 얼굴 영상의 생체신호를 이용하여 측정한 우울증 지수의 측정 오차를 줄이고 재측정을 유도하여 사용자의 우울증 지수 측정 및 진단의 정확성을 높이는 데 활용할 수 있다.In the present invention, it can be used to increase the accuracy of the user's depression index measurement and diagnosis by using positive/negative and neutral emotional states, reducing the measurement error of the depression index measured using the biosignal of the face image, and inducing re-measurement. have.

도 3을 살펴보면, 우울증 지수 측정을 개념적으로 설명한 것이다.Referring to FIG. 3, the measurement of the depression index is conceptually described.

컴퓨터 장치는 카메라를 이용하여 얼굴영상을 촬영할 수 있다(S31). The computer device may take a face image using a camera (S31).

컴퓨터 장치는 촬영된 얼굴 영상에서 얼굴 및 피부 영역을 검출할 수 있다(S32 내지 S34). The computer device may detect the face and skin regions from the photographed face image (S32 to S34).

컴퓨터 장치는 피부 영역의 RGB 색상체계를 YCgCo 색상체계로 변환하여 추출된 Cg 색상 데이터 평균값을 이용하여 맥파 신호를 산출할 수 있다(S35).The computer device may convert the RGB color system of the skin region into the YCgCo color system and calculate the pulse wave signal using the average value of the extracted Cg color data (S35).

그리고 컴퓨터 장치는 산출된 맥파 신호에서 맥박 계산 및 피크 지점을 검출할 수 있다(S36).In addition, the computer device may calculate a pulse rate and detect a peak point from the calculated pulse wave signal (S36).

컴퓨터 장치는 검출된 피크 지점 간격 값을 이용하여 타코그램(Tachogram)을 도출할 수 있다(S37).The computer device may derive a tachogram using the detected peak point spacing value (S37).

이후 컴퓨터 장치는 도출된 타코그램(Tachogram)에 FFT(Fast Fourier Transform)를 적용하여 주파수 영역으로 변환할 수 있다(S38).Thereafter, the computer device may transform the derived tachogram into a frequency domain by applying a Fast Fourier Transform (FFT) (S38).

컴퓨터 장치는 LF'A 산출을 위한 주파수 범위를 0.04~0.15Hz, HF'A 산출을 위한 주파수 범위를0.15~0.4Hz로 설정할 수 있다(S39).The computer device may set the frequency range for calculating LF'A to 0.04 to 0.15 Hz and the frequency range for calculating HF'A to 0.15 to 0.4 Hz (S39).

컴퓨터 장치는 설정된 주파수 범위에서 우울증 지수 측정을 위한 파라미터 값을 산출하고(S40), 산출된 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등)을 파라미터 회귀분석식 데이터베이스(DB)에 적용함(S43)으로써, 개선된 파라미터 값을 산출할 수 있다(S41). The computer device calculates a parameter value for measuring the depression index in the set frequency range (S40), and the calculated parameter value (pulse, LF'A (Low Frequency Activity), HF'A (High Frequency Activity)), LF'A / HF'A raio, etc.) is applied to the parameter regression analysis expression database DB (S43), thereby calculating an improved parameter value (S41).

컴퓨터 장치는 우울증 지수 식에 파라미터 값을 적용하여 개선된 우울증 지수를 산출할 수 있다(S42). 이때 컴퓨터 장치는 계산된 우울증 지수를 우울증 지수 회귀분석식 데이터베이스에 적용함(S44)으로써, 개선된 우울증 지수를 산출할 수 있다(S42).The computer device may calculate the improved depression index by applying the parameter value to the depression index equation (S42). At this time, the computer device may calculate the improved depression index by applying the calculated depression index to the depression index regression analysis database (S44) (S42).

도 4를 살펴보면, 본 발명의 실시 예에 따라 우울증 지수 측정을 위한 파라미터 값을 산출하는 방법을 설명한 것이다.Referring to FIG. 4, a method of calculating a parameter value for measuring a depression index according to an embodiment of the present invention is described.

컴퓨터 장치는 카메라를 이용하여 촬영된 얼굴 영상(S51)에서 얼굴 및 피부 영역을 검출(S52, S53)하고 피부 영역의 RGB 색상체계를 YCgCo 색상체계로 변환하여 추출된 Cg 색상 데이터 평균값을 이용하여 맥파 신호를 산출할 수 있다. 그리고 컴퓨터 장치는 산출된 맥파 신호에서 맥박 계산 및 피크 지점을 검출할 수 있다(S54 내지 S56).The computer device detects the face and skin regions from the face image (S51) photographed using the camera (S52, S53), converts the RGB color system of the skin region to the YCgCo color system, and uses the average value of the extracted Cg color data. You can calculate the signal. In addition, the computer device may calculate a pulse rate and detect a peak point from the calculated pulse wave signal (S54 to S56).

컴퓨터 장치는 검출된 피크 지점 간격 값을 이용하여 타코그램(Tachogram)을 도출할 수 있다(S57).The computer device may derive a tachogram using the detected peak point spacing value (S57).

이후 컴퓨터 장치는 도출된 타코그램(Tachogram)에 FFT(Fast Fourier Transform)를 적용하여 주파수 영역으로 변환할 수 있다.Thereafter, the computer device can transform the derived tachogram into a frequency domain by applying a Fast Fourier Transform (FFT).

컴퓨터 장치는 LF'A 산출을 위한 주파수 범위를 0.04~0.15Hz, HF'A 산출을 위한 주파수 범위를 0.15~0.4Hz로 설정할 수 있다(S58). The computer device may set the frequency range for calculating LF'A to 0.04 to 0.15 Hz and the frequency range for calculating HF'A to 0.15 to 0.4 Hz (S58).

그리고 컴퓨터 장치는 설정된 주파수 범위를 분석하여 우울증 지수 측정 파라미터 값(LF, HF 활성도 및 LF'A / HF'A ratio)을 계산 또는 산출할 수 있다(S59).In addition, the computer device may analyze the set frequency range and calculate or calculate the depression index measurement parameter values (LF, HF activity, and LF'A / HF'A ratio) (S59).

도 5를 살펴보면, 파라미터 값(맥박, LF'A, HF'A 및 LF'A / HF'A ratio)을 회귀 직선(또는 회귀 곡선)식에 적용 또는 추정하여 파라미터 회귀분석식 데이터베이스(DB)에 저장하는 것을 설명하는 순서도이다.Referring to FIG. 5, the parameter values (pulse, LF'A, HF'A and LF'A / HF'A ratio) are applied or estimated to a regression line (or regression curve) equation to a parameter regression equation database (DB). This is a flow chart explaining what to save.

컴퓨터 장치는 카메라를 이용한 얼굴 영상 촬영하고, 촬영한 얼굴 영상으로부터 피부 관심 영역을 검출할 수 있다(S61 내지 S64). The computer device may capture a face image using a camera and detect a skin region of interest from the captured face image (S61 to S64).

컴퓨터 장치는 다양한 색상체계들 중 한 가지 예로 검출된 피부 관심 영역의 RGB 색상체계를 YCgCo 색상체계로 변환하여 지속적으로 Cg 색상 데이터 평균값을 계산하고, 계산된 Cg 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하여 제1 맥파 신호를 산출할 수 있다(S65).The computer device continuously calculates the average value of Cg color data by converting the RGB color system of the region of interest detected as an example of various color systems into the YCgCo color system, and calculates the average value of the calculated Cg color data with a BPF (Band Pass Filter). The first pulse wave signal may be calculated by applying (S65).

컴퓨터 장치는 산출된 제1 맥파 신호에서 제1 맥파 신호의 피크 지점을 검출하고 맥박을 측정할 수 있다(S66). The computer device may detect a peak point of the first pulse wave signal from the calculated first pulse wave signal and measure the pulse rate (S66).

컴퓨터 장치는 제1 맥파 신호로부터 도출된 심박간격(Peak와 Peak 사이 간격)과 타코그램(Tachogram)에 FFT(Fast Fourier Transform)를 적용하여 주파수 영역으로 변환하고, LF'A와 HF'A 산출을 위해 주파수 범위를 각각 0.04~0.15Hz와 0.15~0.4Hz로 설정하고, 제1 파라미터 값을 산출할 수 있다(S67 내지 S70). 제1 파라미터 값은 우울증 지수 측정 파라미터 값이라 칭할 수 있다. 그리고 제1 파라미터 값은 맥박, LF'A, HF'A 및 LF'A / HF'A ratio를 포함할 수 있다.The computer device applies FFT (Fast Fourier Transform) to the heartbeat interval (interval between Peak and Peak) derived from the first pulse wave signal and a tachogram, converts it into a frequency domain, and calculates LF'A and HF'A. The hazard frequency range may be set to 0.04 to 0.15 Hz and 0.15 to 0.4 Hz, respectively, and a first parameter value may be calculated (S67 to S70). The first parameter value may be referred to as a depression index measurement parameter value. In addition, the first parameter value may include pulse rate, LF'A, HF'A, and LF'A / HF'A ratio.

컴퓨터 장치는 얼굴 피부 영상을 통해 계산된 제1 파라미터 값을 제1 데이터베이스에 저장할 수 있다(S71). 제1 데이터베이스는 얼굴 피부 영상에서 계산된 파라미터 데이터베이스 또는 피부 영상에서 계산된 파라미터 데이터베이스라 칭할 수 있다.The computer device may store the first parameter value calculated through the facial skin image in the first database (S71). The first database may be referred to as a parameter database calculated from a facial skin image or a parameter database calculated from a skin image.

또한, 컴퓨터 장치는 PPG 장치를 이용하여 제2 맥파 신호를 산출할 수 있다(S72).In addition, the computer device may calculate the second pulse wave signal using the PPG device (S72).

컴퓨터 장치는 산출된 제2 맥파 신호에서 제2 맥파 신호의 피크 지점을 검출할 수 있다(S73). The computer device may detect a peak point of the second pulse wave signal from the calculated second pulse wave signal (S73).

컴퓨터 장치는 검출된 제2 맥파 신호의 피크 지점 간격 값을 이용하여 타코그램(Tachogram)을 도출할 수 있다(S74).The computer device may derive a tachogram using the value of the peak point interval of the detected second pulse wave signal (S74).

이후 컴퓨터 장치는 도출된 타코그램(Tachogram)에 FFT(Fast Fourier Transform)를 적용하여 주파수 영역으로 변환할 수 있다(S75).Thereafter, the computer device may transform the derived tachogram into a frequency domain by applying a Fast Fourier Transform (FFT) (S75).

컴퓨터 장치는 LF'A 산출을 위한 주파수 범위를 0.04~0.15Hz로 설정하고, HF'A 산출을 위한 주파수 범위를 0.15~0.4Hz로 설정할 수 있다(S76). The computer device may set the frequency range for calculating LF'A to 0.04 to 0.15 Hz and the frequency range for calculating HF'A to 0.15 to 0.4 Hz (S76).

그리고 컴퓨터 장치는 설정된 주파수 범위를 분석하여 제2 파라미터 값을 계산 또는 산출할 수 있다(S77). 제2 파라미터 값은 우울증 지수 측정 파라미터 값이라 칭할 수 있다. 그리고 제2 파라미터 값은 LF'A, HF'A 및 LF'A / HF'A ratio를 포함할 수 있다.In addition, the computer device may calculate or calculate a second parameter value by analyzing the set frequency range (S77). The second parameter value may be referred to as a depression index measurement parameter value. In addition, the second parameter value may include LF'A, HF'A, and LF'A / HF'A ratio.

컴퓨터 장치는 PPG 장치를 통해 계산된 제2 파라미터 값을 제2 데이터베이스에 저장할 수 있다(S78). 제2 데이터베이스는 PPG 장치에서 계산된 파라미터 데이터베이스라 칭할 수 있다.The computer device may store the second parameter value calculated through the PPG device in the second database (S78). The second database may be referred to as a parameter database calculated by the PPG device.

컴퓨터 장치는 제1 데이터베이스에 저장된 제1 파라미터 값과 제2 데이터베이스에 저장된 제2 파라미터 값을 회귀분석에 적용함으로써 회귀 직선(또는 회귀 곡선)식을 산출하고 이를 파라미터 회귀분석식 데이터베이스(DB)에 저장할 수 있다(S79).The computer device calculates a regression line (or regression curve) expression by applying the first parameter value stored in the first database and the second parameter value stored in the second database to the regression analysis, and stores it in the parameter regression analysis expression database (DB). It can be done (S79).

도 6을 살펴보면, 우울증 지수를 회귀 직선(또는 곡선)식에 적용 또는 추정하여 우울증 회귀 분석식 데이터베이스(DB)에 저장하는 것을 설명하는 순서도이다.Referring to FIG. 6, it is a flow chart illustrating applying or estimating a depression index to a regression line (or curve) expression and storing it in a depression regression analysis expression database (DB).

도 6에서는 S81 단계부터 S91 단계는 도 5에서 설명한 S61 단계부터 S70 단계와 실질적으로 동일하고, S94 단계부터 S99 단계는 도 5에서 설명한 S72 단계부터 S77 단계와 실질적으로 동일함으로, 이에 대한 설명은 생략하기로 한다.In FIG. 6, steps S81 to S91 are substantially the same as steps S61 to S70 described in FIG. 5, and steps S94 to S99 are substantially the same as steps S72 to S77 described in FIG. 5, so a description thereof will be omitted. I will do it.

컴퓨터 장치는 제1 맥파 신호에서 계산된 제1 파라미터 값을 우울증 지수식에 적용하여 제1 우울증 지수 값을 산출할 수 있다(S92).The computer device may calculate a first depression index value by applying the first parameter value calculated from the first pulse wave signal to the depression index (S92).

컴퓨터 장치는 산출된 제1 우울증 지수 값을 제3 데이터베이스에 저장할 수 있다(S93). 제3 데이터베이스는 얼굴 피부 영상을 통해 계산된 우울증 지수 데이터베이스라 칭할 수 있다.The computer device may store the calculated first depression index value in the third database (S93). The third database may be referred to as a depression index database calculated through a facial skin image.

컴퓨터 장치는 제2 맥파 신호에서 계산된 제2 파라미터 값을 우울증 지수식에 적용하여 제2 우울증 지수 값을 산출할 수 있다(S100).The computer device may calculate a second depression index value by applying the second parameter value calculated from the second pulse wave signal to the depression index (S100).

컴퓨터 장치는 산출된 제2 우울증 지수 값을 제4 데이터베이스에 저장할 수 있다(S101). 제4 데이터베이스는 PPG 장치를 통해 계산된 우울증 지수 데이터베이스라 칭할 수 있다. The computer device may store the calculated second depression index value in the fourth database (S101). The fourth database may be referred to as a depression index database calculated through the PPG device.

컴퓨터 장치는 제3 데이터베이스에 저장된 제1 우울증 지수 값과 제4 데이터베이스에 저장된 제2 우울증 지수 값을 회귀분석에 적용함으로써 회귀 직선(또는 회귀 곡선)식을 산출하고 이를 우울증 지수 회귀분석식 데이터베이스(DB)에 저장할 수 있다(S102).The computer device calculates a regression line (or regression curve) expression by applying the first depression index value stored in the third database and the second depression index value stored in the fourth database to the regression analysis, and calculates a depression index regression analysis expression database (DB ) Can be stored in (S102).

상관도(Scatter diagram) 상의 점집합을 직선으로 대표시켜 구한 직선으로 두 변량 사이의 관계를 나타내며, 본 발명에서는 얼굴 피부 영상으로부터 추정한 제1 파라미터 값, 제1 우울증 지수 값, PPG 장치를 이용하여 측정한 제2 파라미터 값, 제2 우울증 지수 값을 이용하여 회귀직선식을 도출할 수 있다. 여기서 회귀직선식은 다음 수학식 2와 같다.A straight line obtained by representing a set of points on a scatter diagram as a straight line represents the relationship between the two variables.In the present invention, the first parameter value estimated from the facial skin image, the first depression index value, and the PPG device are used. A regression linear equation may be derived using the measured second parameter value and the second depression index value. Here, the regression linear equation is shown in Equation 2 below.

y가 개선된 맥박일 경우, x는 얼굴 피부 영상으로부터 추정된 맥박일 수 있다. y가 개선된 LF활성도일 경우, x는 얼굴 피부 영상으로부터 추정된 LF활성도 값일 수 있다. y가 개선된 HF활성도일 경우, x는 얼굴 피부 영상으로부터 추정된 HF활성도 값일 수 있다. y가 개선된 LF'A / HF'A ratio일 경우, x는 얼굴 피부 영상으로부터 추정된 LF'A / HF'A ratio 값일 수 있다. y가 개선된 우울증 지수일 경우, x는 얼굴 피부 영상으로부터 추정된 우울증 지수 값일 수 있다. 여기서 실제 데이터를 적용하여 구한 결과는 사용하는 데이터에 따라 상수 a,b 값이 바뀔 수 있다.When y is an improved pulse, x may be a pulse estimated from a facial skin image. When y is an improved LF activity, x may be an LF activity value estimated from a facial skin image. When y is an improved HF activity, x may be an HF activity value estimated from a facial skin image. When y is an improved LF'A / HF'A ratio, x may be an LF'A / HF'A ratio value estimated from a facial skin image. If y is the improved depression index, then x is the skin of the face It may be a depression index value estimated from an image. Here, the result obtained by applying the actual data may change the values of the constants a and b depending on the data to be used.

상술한 바와 같이, 본 발명은 얼굴 피부 영상을 통해 추정된 또는 계산된 제1 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등), 제1 우울증 지수 값(또는 제3 데이터베이스), PPG 장치를 통해 계산된 제2 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등) 및 제2 우울증 지수 값(또는 제4 데이터베이스)에 회귀분석을 적용하여 산출된 회귀직선식은 아래 표 1과 같다. 회귀직선식은 산출에 사용하는 데이터베이스(DB)에 따라 식이 다소 차이가 있을 수 있다.As described above, the present invention is a facial skin The first parameter value (pulse, LF'A (low frequency activity), HF'A (high frequency activity), LF'A / HF'A raio, etc.) estimated or calculated through the image, the first depression index value ( Or a third database), a second parameter value (pulse, LF'A (Low Frequency Activity), HF'A (High Frequency Activity), LF'A / HF'A raio, etc.) calculated through the PPG device) and a second The regression linear equation calculated by applying a regression analysis to the depression index value (or the fourth database) is shown in Table 1 below. The regression linear equation may differ slightly depending on the database (DB) used for calculation.

상관도(Scatter diagram) 상의 점집합을 직선으로 대표시켜 구한 직선으로 두 변량 사이의 관계를 나타내며, 본 발명에서는 얼굴 피부 영상으로부터 추정한 제1 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등), 제1 우울증 지수 값, PPG 장치를 이용하여 측정한 제2 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등), 제2 우울증 지수 값을 이용하여 회귀곡선식을 도출할 수 있다. 회귀곡선식은 아래 수학식 3과 같다.A straight line obtained by representing a set of points on a scatter diagram as a straight line represents the relationship between the two variables. In the present invention, the first parameter value estimated from the facial skin image (pulse, LF'A (Low Frequency Activity), HF'A (High Frequency Activity), LF'A / HF'A raio, etc.), the first depression index value, the second parameter value measured using the PPG device (pulse, LF'A (Low Frequency Activity), HF) 'A (High Frequency Activity), LF'A / HF'A raio, etc.), and the second depression index value can be used to derive a regression curve equation. The regression curve equation is shown in Equation 3 below.

y가 개선된 맥박일 경우, x는 얼굴 피부 영상으로부터 추정된 맥박일 수 있다. y가 개선된 LF활성도일 경우, x는 얼굴 피부 영상으로부터 추정된 LF활성도 값일 수 있다. y가 개선된 HF활성도일 경우, x는 얼굴 피부 영상으로부터 추정된 HF활성도 값일 수 있다. y가 개선된 LF'A / HF'A ratio일 경우, x는 얼굴 피부 영상으로부터 추정된 LF'A / HF'A ratio 값일 수 있다. y가 개선된 우울증 지수일 경우, x는 얼굴 피부 영상으로부터 추정된 우울증 지수 값일 수 있다. 여기서 실제 데이터를 적용하여 구한 결과는 사용하는 데이터에 따라 상수 a,b 값이 바뀔 수 있다.When y is an improved pulse, x may be a pulse estimated from a facial skin image. When y is an improved LF activity, x may be an LF activity value estimated from a facial skin image. When y is an improved HF activity, x may be an HF activity value estimated from a facial skin image. When y is an improved LF'A / HF'A ratio, x may be an LF'A / HF'A ratio value estimated from a facial skin image. When y is an improved depression index, x may be a depression index value estimated from a facial skin image. Here, the result obtained by applying the actual data may change the values of the constants a and b depending on the data to be used.

상술한 바와 같이, 본 발명은 얼굴 영상에서 계산된 제1 파라미터 값(맥박, LF활성도, HF활성도, LF'A / HF'A ratio), 제1 우울증 지수 값(또는 제3 데이터베이스), PPG 장치에서 계산된 제2 파라미터 값(맥박, LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A raio 등), 제2 우울증 지수 값(또는 제4 데이터베이스)에 회귀분석을 적용하여 산출된 회귀곡선 식은 아래 표 2와 같다. 회귀곡선 식은 산출에 사용하는 데이터베이스(DB)에 따라 식이 다소 차이가 있을 수 있다.As described above, the present invention relates to a first parameter value (pulse, LF activity, HF activity, LF'A / HF'A ratio) calculated from a face image, a first depression index value (or a third database), and a PPG device. The second parameter value (pulse, LF'A (low frequency activity), HF'A (high frequency activity), LF'A / HF'A raio, etc.) calculated from, the second depression index value (or the fourth database) The regression curve equation calculated by applying regression analysis to is shown in Table 2 below. The equation for the regression curve may differ slightly depending on the database (DB) used for calculation.

도 7을 살펴보면, 얼굴 영상에서 특징점 및 형태적 특징값을 결정하는 기준과 이를 이용하여 다양한 감정 인식을 수행하는 과정에 대한 예이다.Referring to FIG. 7, it is an example of a criterion for determining feature points and morphological feature values in a face image and a process of performing various emotion recognition using the criteria.

컴퓨터 장치는 카메라를 이용하여 영상을 촬영할 수 있다(S111).The computer device may take an image using a camera (S111).

컴퓨터 장치는 촬영된 얼굴 영상에서 얼굴 영역 및 얼굴 요소를 검출할 수 있다(S112). 예를 들어, 얼굴 요소는 머리, 좌우 눈썹 및 눈, 코, 입을 포함할 수 있다.The computer device may detect a face area and a face element from the photographed face image (S112). For example, facial elements may include the head, left and right eyebrows and eyes, nose, and mouth.

컴퓨터 장치는 검출된 얼굴 요소를 이용하여 얼굴 요소 간의 거리를 계산할 수 있다(S113). 예를 들어, 얼굴 요소 간의 거리는 안쪽 눈썹과 눈 사이 거리, 바깥쪽 눈썹과 눈 사이의 거리, 좌우 안쪽 눈 사이의 거리, 윗입술과 코 위 사이의 거리, 양쪽 끝 입술과 아래 눈 사이의 거리, 양 입술 사이의 거리 또는 입 크기, 아랫입술과 아래 코 사이의 거리를 포함할 수 있다.The computer device may calculate the distance between the face elements by using the detected face elements (S113). For example, the distance between facial elements is the distance between the inner eyebrows and the eyes, the distance between the outer eyebrows and the eyes, the distance between the left and right inner eyes, the distance between the upper lip and the top of the nose, the distance between the lips at both ends and the lower eye, amount. It may include the distance between the lips or the size of the mouth, and the distance between the lower lip and the lower nose.

컴퓨터 장치는 검출된 얼굴 요소의 떨림을 감지하거나 추출할 수 있다(S114). 예를 들어, 얼굴 요소의 떨림은 머리 떨림, 눈썹 떨림, 눈 떨림, 코 떨림, 입 떨림을 포함할 수 있다.The computer device may detect or extract the vibration of the detected facial element (S114). For example, shaking of facial elements may include shaking of head, shaking of eyebrows, shaking of eyes, shaking of nose, shaking of mouth.

컴퓨터 장치는 얼굴 요소로부터 계산된 특징 값을 패턴 인식 알고리즘에 적용하여 패턴을 분류하고 사용자의 다양한 감정을 인식할 수 있다(S115). 패턴 인식 알고리즘은 SVM, 다층 퍼셉트론, 인공 신경망 등으로 학습한 감정 인식 모델일 수 있다. 사용자의 다양한 감정은 기쁨, 중립, 놀람, 분노, 역겨움, 두려움, 슬픔일 수 있다.The computer device may classify the pattern by applying the feature value calculated from the face element to the pattern recognition algorithm and recognize various emotions of the user (S115). The pattern recognition algorithm may be an emotion recognition model learned with SVM, multilayer perceptron, artificial neural network, or the like. The user's various emotions can be joy, neutrality, surprise, anger, disgust, fear, and sadness.

도 8을 살펴보면, 얼굴 요소에서 계산된 다양한 감정 인식 확률 값을 정서적 감응치 모델에 적용하여 긍/부정, 중립 감정 인식 결과를 산출하는 과정에 대한 예이다.Referring to FIG. 8, it is an example of a process of calculating positive/negative and neutral emotion recognition results by applying various emotion recognition probability values calculated from a face element to an emotional sensitivity model.

종래의 연구 결과들에 의하면, 인간의 감정은 다양한 정서적 감응치에 의해 형성될 수 있다. 이에 따라, 모든 심리학적 이론이 정서적 감응치의 조합에 의한 다차원 정서모델을 기본으로 하고 있다.According to the results of conventional research, human emotions can be formed by various emotional responses. Accordingly, all psychological theories are based on a multidimensional emotional model based on a combination of emotional responses.

도 8에서 Arousal은 각성의 강도를 나타내며, 수치가 높을수록 몸이 긴장되고 떨리는 느낌을 의미하며, 낮을수록 평온한 느낌을 의미할 수 있다. Valence는 긍정과 부정의 정도를 나타내며, 수치가 높을수록 기분이 좋고, 낮을수록 기분이 나쁠 수 있다. 그리고 무게중심은 아무런 중심이 없는 평범한 상태를 나타낼 수 있다. In FIG. 8, Arousal indicates the intensity of arousal, and a higher value indicates a feeling of tense and trembling, and a lower value may indicate a feeling of calm. Valence represents the degree of positivity and negativity, the higher the number, the better the mood, and the lower the lower the mood, the worse. And the center of gravity can represent a normal state with no center.

Arousal과 Valence의 조합으로 인해 구성되는 2차원 정서 공간은 정서모델의 가장 기본적인 형태이다. 즉, 긍정과 부정의 정도 및 각성의 정도에 의해 인간의 감정 변화가 일어난다는 것이며, 이러한 정서적 감응 요소의 반응 정도를 알 수 있다면 인간의 감정을 알아낼 수 있다.The two-dimensional emotional space formed by the combination of Arousal and Valence is the most basic form of the emotional model. In other words, human emotions change according to the degree of positivity and negativity and the degree of arousal, and if we know the degree of reaction of these emotional responsive elements, we can find out human emotions.

본 발명에서는 긍/부정, 중립 상태를 인식하기 위한 일례로, 컴퓨터 장치를 이용하여 촬영된 얼굴 영상에서 얼굴 영역 및 얼굴 요소(머리, 좌우 눈썹 및 눈, 코, 입)를 검출할 수 있다(S121,S122). 얼굴 요소에서 검출된 특징점에서 특징값(요소 간의 거리, 떨림 등)을 계산(S123)하고, 계산된 특징 값을 패턴 인식 알고리즘(SVM, 다층 퍼셉트론, 인공 신경망 등)으로 학습된 감정 인식 모델에 입력으로 설정하여 패턴을 분류하고 사용자의 다양한 감정에 대한 확률값을 계산할 수 있다(S124).In the present invention, as an example for recognizing a positive/negative or neutral state, a face area and facial elements (head, left and right eyebrows and eyes, nose, and mouth) may be detected from a face image captured using a computer device (S121). ,S122). Calculate feature values (distance between elements, vibration, etc.)from feature points detected from facial elements (S123), and input the calculated feature values into an emotion recognition model learned with a pattern recognition algorithm (SVM, multilayer perceptron, artificial neural network, etc.) By setting to, the patterns may be classified and probability values for various emotions of the user may be calculated (S124).

컴퓨터 장치는 계산된 각 감정별 확률값을 2차원 정서적 감응치 모델에 맵핑하여 긍/부정, 중립 상태를 인식할 수 있다(S125). 컴퓨터 장치는 2차원 정서적 감응치 모델에 다양한 감정 확률 값을 맵핑하여 긍/부정, 중립상태를 인식하기 위해 -4 ~ 4까지 0.1단위로 다양한 감정들의 위치를 총 10개로 구분할 수 있다. 예를 들어, 다양한 감정은 좌표값으로 표현될 수 있다. 아래 표 3은 다양한 감정을 좌표값으로 표현한 것이다.The computer device may recognize positive/negative and neutral states by mapping the calculated probability values for each emotion to a two-dimensional emotional sensitivity model (S125). The computer device maps various emotion probability values to a two-dimensional emotional sensitivity model to recognize positive/negative and neutral states by dividing the positions of various emotions into a total of 10 by 0.1 units ranging from -4 to 4. For example, various emotions can be expressed as coordinate values. Table 3 below shows various emotions as coordinate values.

컴퓨터 장치는 얼굴 요소의 특징값(요소 간의 거리, 떨림 등)으로부터 계산된 다양한 감정의 확률값에 상기 제시된 감정별 좌표값을 곱하여 산출된 결과를 아래 수학식 4에 적용할 수 있다(S126). The computer device may apply a result calculated by multiplying the presented coordinate values for each emotion by the probabilities of various emotions calculated from feature values (distance between elements, vibration, etc.) of the facial element to Equation 4 below (S126).

이에 컴퓨터 장치는 얼굴 표정을 기반으로 긍/부정, 중립 상태 값으로 계산 또는 산출할 수 있다(S127).Accordingly, the computer device may calculate or calculate a positive/negative or neutral state value based on the facial expression (S127).

컴퓨터 장치는 계산된 긍/부정, 중립 상태 값을 아래 표 4에 적용하여 긍/부정, 중립의 정도를 파악할 수 있으며, "-2.0 ≤, < -1.45" 값이면 부정(약), "-2.55≤, < -2.0" 값이면 부정(중), "-3.1 ≤, < -2.55" 값이면 부정(강), "-1.45≤, < 0.65" 값이면 중립, "0.65 ≤, < 1.35" 값이면 긍정(약), "1.35 ≤, <2.1" 값이면 긍정(중), "2.1 ≤, < 2.8" 값이면 긍정(강)을 나타낼 수 있다. 이는 아래 표 4와 같다.The computer device can determine the degree of positive/negative and neutral by applying the calculated positive/negative and neutral state values to Table 4 below. If the value of "-2.0 ≤, <-1.45" is negative (weak), "-2.55" Values ≤, <-2.0" are negative (medium), "-3.1 ≤, <-2.55" values are negative (strong), "-1.45≤, <0.65" values are neutral, "0.65 ≤, <1.35" values Positive (weak), "1.35 ≤, <2.1" values indicate positive (medium), and "2.1 ≤, <2.8" values indicate positive (strong). This is shown in Table 4 below.

도 9을 살펴보면, 본 발명의 우울증 지수 측정 및 진단의 전체 흐름도를 나타낼 수 있다.Referring to FIG. 9, it is possible to show an overall flowchart of measurement and diagnosis of a depression index according to the present invention.

컴퓨터 장치는 카메라를 이용하여 얼굴 영상을 촬영하고(S131), 다양한 색상체계들 중 한 가지 예로 피부 영역의 RGB 색상체계를 YCgCo 색상체계로 변환하여 추출된 Cg 색상 데이터 평균값을 이용하여 맥파 신호를 산출하고, 산출된 맥파 신호에서 맥박 계산 및 피크 지점을 검출할 수 있다(S132 내지 S136).The computer device photographs a face image using a camera (S131), and as an example of various color systems, converts the RGB color system of the skin region into the YCgCo color system, and calculates a pulse wave signal using the average value of the extracted Cg color data. And, it is possible to calculate the pulse rate and detect the peak point from the calculated pulse wave signal (S132 to S136).

컴퓨터 장치는 검출된 피크 지점 간의 간격 값을 이용하여 심박간격(Peak와 Peak사이 간격) 타코그램(Tachogram)을 도출하고(S137), 맥파 신호에서 계산된 맥박과 타코그램(Tachogram)의 주파수 분석을 통해 산출된 파라미터 값(LF'A(Low Frequency Activity), HF'A(High Frequency Activity), LF'A / HF'A ratio)을 파라미터 회귀분석식 데이터베이스(S144)에 적용하여 개선된 파라미터 값을 산출하고, 이를 우울증 지수 식에 적용하여 우울증 지수를 계산할 수 있다. 그리고 계산된 우울증 지수를 우울증 지수 회귀분석식 데이터베이스(S145)에 적용하여 개선된 우울증 지수를 산출할 수 있다(S138 내지 S142). The computer device derives a heartbeat interval (interval between Peak and Peak) and a tachogram using the detected interval value between peak points (S137), and analyzes the frequency of the pulse and tachogram calculated from the pulse wave signal. The parameter values calculated through (LF'A (Low Frequency Activity), HF'A (High Frequency Activity)), and LF'A / HF'A ratio) are applied to the parameter regression equation database (S144) to obtain improved parameter values. It is calculated and applied to the depression index equation to calculate the depression index. In addition, the improved depression index may be calculated by applying the calculated depression index to the depression index regression analysis database (S145) (S138 to S142).

이후 컴퓨터 장치는 얼굴 특징(얼굴 요소 간의 거리, 떨림)을 기반으로 긍/부정, 중립 감정결과를 산출하고(S146), 얼굴 영상의 긍/부정, 중립 감정 결과와 우울증 지수를 기반으로 우울증 상태를 진단할 수 있다(S143).Afterwards, the computer device calculates positive/negative and neutral emotion results based on facial features (distance between facial elements, shaking) (S146), and determines the depression state based on the positive/negative and neutral emotion results of the facial image and the depression index. It can be diagnosed (S143).

상술한 바와 같이, 본 발명은 컴퓨터 장치 또는 스마트 기기를 이용하여 얼굴 영상을 촬영하였고 검출된 얼굴 및 피부 영역에서 다양한 색상체계를 이용하여 맥파 신호(생체신호)를 측정할 수 있다. 본 발명은 다양한 색상체계 중 한 가지 예로 RGB 색상체계를 YCgCo 색상체계로 변환하여 추출된 Cg 색상 데이터 평균값을 이용하여 생체신호(맥파 신호)를 추출하여 우울증 지수를 측정할 수 있다. 그리고 본 발명은 얼굴 영상의 얼굴 특징값(요소 간의 거리, 떨림 등)을 이용하여 긍/부정, 중립 감정값을 산출할 수 있다. As described above, according to the present invention, a face image is captured using a computer device or a smart device, and pulse wave signals (bio signals) can be measured using various color systems in the detected face and skin regions. The present invention may measure the depression index by extracting a bio-signal (pulse wave signal) using an average value of Cg color data extracted by converting an RGB color system into a YCgCo color system as an example of various color systems. In addition, the present invention can calculate positive/negative and neutral emotion values using facial feature values (distance between elements, vibration, etc.) of a face image.

도 10에 도시된 바와 같이, 본 발명은 우울증 지수와 긍/부정, 중립 감정값에 회귀분석을 적용하여 상관계수를 도출할 수 있다.As shown in FIG. 10, the present invention may derive a correlation coefficient by applying a regression analysis to a depression index, positive/negative, and neutral emotion values.

도 10을 살펴보면, 우울증 지수와 긍/부정, 중립 감정의 상관계수는 0.6759로 높은 상관성을 가지고 있는 것을 확인할 수 있다. Referring to FIG. 10, it can be seen that the correlation coefficient between the depression index and the positive/negative and neutral emotions has a high correlation of 0.6759.

산출된 회귀직선(또는 회귀곡선)은 얼굴 피부 영상의 생체신호를 이용하여 측정한 우울증 지수의 측정 오차를 줄이거나 오진률을 낮춰 우울증 지수 측정 및 진단의 정확도를 높이는 데 활용할 수 있다. The calculated regression line (or regression curve) can be used to increase the accuracy of the depression index measurement and diagnosis by reducing the measurement error of the depression index measured using the biosignal of the facial skin image or lowering the false diagnosis rate.

본 발명은 우울증 지수와 긍/부정, 중립 감정 값에 회귀분석을 적용하여 산출된 회귀직선(또는 회귀곡선)에 얼굴 피부 영상의 생체신호를 이용하여 계산된 우울증 지수를 함께 적용하여 실제 사용자의 감정 상태를 활용한 개선된 우울증 지수를 측정할 수 있다. 예를 들어, 본 발명은 우울증 상태 진단의 경우 긍정(강) 상태일 때 우울증 지수의 재측정을 유도, 긍정(중), (약). 부정 및 중립일 경우 계산된 우울증 지수를 상기 산출된 회귀분석식에 적용하여 오차를 줄이는 데 활용할 수 있다. The present invention applies a depression index calculated using a biosignal of a facial skin image to a regression line (or regression curve) calculated by applying a regression analysis to the depression index and positive/negative and neutral emotion values. The improved depression index can be measured using the condition. For example, the present invention induces re-measurement of the depression index when the depression is in a positive (strong) state, positive (medium), (weak). In the case of negative and neutral, the calculated depression index may be applied to the calculated regression equation to reduce errors.

또한, 본 발명은 우울증 상태 진단에서 재측정을 유도하기 위한 임계치를 긍정, 중립의 상태값 중 특정 범위를 지정하지 않고 활용할 수 있다. 또한, 본 발명은 얼굴 피부 영상의 생체신호를 이용하여 계산한 우울증 지수와 긍/부정, 중립 감정 상태값의 회귀분석 식을 이용하여 계산한 우울증 지수에 가중합을 적용하여 개선된 우울증 지수를 측정할 수 있다.In addition, the present invention can be utilized without specifying a specific range of positive and neutral state values for a threshold for inducing re-measurement in the diagnosis of a depressive state. In addition, the present invention is a facial skin The improved depression index can be measured by applying a weighted sum to the depression index calculated using the depression index calculated using the bio-signals of the image and the depression index calculated using the regression analysis equation of the positive/negative and neutral emotional state values.

지금까지 상술한 본 발명은 얼굴 피부 영상을 이용하여 우울증 지수를 측정함에 있어서 별도의 하드웨어 모듈 없이 사용자가 보유하고 있는 스마트 기기에서 얼굴 영상을 촬영하고 얼굴 및 피부 검출을 통해 생체신호를 추출하고, 추출된 생체신호를 이용하여 우울증 지수를 측정하고 진단할 수 있다.The present invention described so far is the facial skin In measuring the depression index using an image, a face image is captured on a smart device owned by the user without a separate hardware module, and a biosignal is extracted through face and skin detection, and the depression index is calculated using the extracted biosignal. Can be measured and diagnosed.

상술한 바와 같이, 본 발명은 일반 사용자를 대상으로 빠르고 편리한 우울증 지수 측정 시스템을 제공하는데 이용될 수 있다. As described above, the present invention can be used to provide a fast and convenient depression index measurement system for general users.

게다가 본 발명은 설문지나 전문 상담가의 상담을 통해 우울증 지수를 확인하는 방법이나 접촉식 생체신호 측정 장비를 이용하여 측정하는 방법을 효과적으로 대체할 수 있다.In addition, the present invention can effectively replace the method of determining the depression index through a questionnaire or consultation with a professional counselor or a method of measuring using a contact-type bio-signal measuring device.

본 발명의 실시 예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.Embodiments of the present invention and the accompanying drawings are merely illustrative of some of the technical ideas included in the above-described technology, and those skilled in the art within the scope of the technical ideas included in the above-described specification and drawings It will be apparent that both modified examples and specific embodiments that can be easily inferred are included in the scope of the rights of the above-described technology.

50 : 스마트 기기
51 : 카메라
52 : 저장 장치
53 : 제어 장치
54 : 출력 장치
81 : 카메라
85 : 컴퓨터
91 : 사용자 단말
95 : 서버50: smart device
51: camera
52: storage device
53: control device
54: output device
81: camera
85: computer
91: user terminal
95: server

Claims (13)

얼굴 영상을 촬영하고, 촬영된 상기 얼굴 피부 영상에서 피부 관심 영역을 검출하는 단계;
검출된 상기 피부 관심 영역에서 색상 데이터 평균값을 계산하는 단계;
상기 색상 데이터 평균값에 필터링을 적용하여 맥파 신호를 산출하는 단계;
산출된 상기 맥파 신호에서 피크 지점을 검출하고, 맥박을 계산하는 단계;
검출된 상기 피크 지점을 이용하여 심박 간격을 측정하고, 측정된 상기 심박 간격을 통해 타코그램(Tachogram)을 도출하는 단계;
상기 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 파라미터 값을 산출하는 단계;
산출된 상기 파라미터 값을 이용하여 우울증 지수를 측정하는 단계;
상기 얼굴 영역에서 얼굴 요소를 검출하고, 상기 얼굴 요소에서 상기 얼굴 요소 간의 거리 또는 상기 얼굴 요소의 떨림을 이용하여 긍/부정, 중립 감정을 인식하는 단계; 및
측정된 상기 우울증 지수와 인식된 상기 긍/부정, 중립 감정을 통해 사용자의 우울증 상태를 진단하는 단계;
를 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법.Take a facial image, and the photographed facial skin Detecting a skin region of interest in the image;
Calculating an average value of color data in the detected skin region of interest;
Calculating a pulse wave signal by applying filtering to the average value of the color data;
Detecting a peak point in the calculated pulse wave signal and calculating a pulse rate;
Measuring a heartbeat interval using the detected peak point, and deriving a tachogram through the measured heartbeat interval;
Calculating a parameter value for measuring a depression index by analyzing the frequency of the tachogram;
Measuring a depression index using the calculated parameter value;
Detecting a face element in the face area, and recognizing a positive/negative or neutral emotion by using the distance between the face elements or the vibration of the face element in the face element; And
Diagnosing a user's depressive state through the measured depression index and the recognized positive/negative and neutral emotions;
Depression index measurement and diagnosis method using a facial skin image comprising a. 제1 항에 있어서,
상기 파라미터 값은
상기 맥박, 사용자의 신체에서 교감신경의 활성화 정도를 나타내는 LF활성도, 상기 사용자의 신체에서 부교감신경의 활성화 정도를 나타내는 HF활성도 그리고, LF활성도/HF활성도 비율을 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법.The method of claim 1,
The parameter value is
Depression index measurement using facial skin images including the pulse, LF activity indicating the degree of activation of the sympathetic nerve in the user's body, HF activity indicating the degree of activation of the parasympathetic nerve in the user’s body, and the LF activity/HF activity ratio And diagnostic methods. 제2 항에 있어서,
상기 파라미터 값은 수학식 1을 이용하여 상기 우울증 지수를 산출하는 것을 포함하며,
상기 맥파 신호를 산출하는 단계는 연속되는 제1 구간, 제2 구간 및 제3 구간 동안 수행되고,
상기 수학식 1의 DDI는 상기 우울증 지수이고,
상기 수학식 1의 HR_before는, 상기 제1 구간에서의 상기 맥박이고
상기 수학식 1의 HR_current는, 상기 제2 구간에서의 상기 맥박이고,
상기 수학식 1의 HR_after는, 상기 제3 구간에서의 상기 맥박이고,
상기 수학식 1의 HF'A_before는, 상기 제1 구간에서의 상기 HF활성도이고, 상기 제1 구간에서 상기 타코그램을 FFT(Fast Fourier Transform)를 이용하여 주파수 영역으로 변환하고 0.15Hz 내지 0.4Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값이고,
상기 수학식 1의 HF'A_current는, 상기 제2 구간에서의 상기 HF활성도이고, 상기 제2 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.15Hz 내지 0.4Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값이고,
상기 수학식 1의 HF'A_after는, 상기 제3 구간에서의 상기 HF활성도이고, 상기 제3 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.15Hz 내지 0.4Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값이고,
상기 수학식 1의 LF'A/HF'A_before는, 상기 제1 구간에서의 상기 LF활성도/HF활성도 비율이고, 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.04Hz 내지 0.15Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값인 LF'A_before의 상기 HF'A_before에 대한 비율이고,
상기 수학식 1의 LF'A/HF'A_current는, 상기 제2 구간에서의 상기 LF활성도/HF활성도 비율이고, 상기 제2 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.04Hz 내지 0.15Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값인 LF'A_current의 상기 HF'A_current에 대한 비율이고,
상기 수학식 1의 LF'A/HF'A_after는, 상기 제3 구간에서의 상기 LF활성도/HF활성도 비율이고, 상기 제3 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.04Hz 내지 0.15Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값인 LF'A_after의 상기 HF'A_after에 대한 비율인 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법.
[수학식 1]

The method of claim 2,
The parameter value includes calculating the depression index using Equation 1,
The step of calculating the pulse wave signal is performed during a continuous first section, a second section, and a third section,
DDI of Equation 1 is the depression index,
_{HR before} of Equation 1 is the pulse rate in the first section
_{HR current} of Equation 1 is the pulse rate in the second section,
_{HR after} of Equation 1 is the pulse rate in the third section,
_{HF'A before} of Equation 1 is the HF activity in the first section, and in the first section, the tachogram is transformed into a frequency domain using Fast Fourier Transform (FFT), and 0.15Hz to 0.4Hz Is a value obtained by taking the natural logarithm of the sum of the spectral density values of the frequency band of
_{HF'A current} of Equation 1 is the HF activity in the second section, and the tachogram is converted into a frequency domain using FFT in the second section, and a spectrum of a frequency band of 0.15 Hz to 0.4 Hz It is a value obtained by taking the natural logarithm of the sum of the density values,
_{HF'A after} in Equation 1 is the HF activity in the third section, and the tachogram is converted into a frequency domain using FFT in the third section, and a spectrum of a frequency band of 0.15 Hz to 0.4 Hz It is the natural logarithm of the sum of the density values,
LF'A/HF'A _before in Equation 1 is the LF activity/HF activity ratio in the first section, the tachogram is converted into a frequency domain using FFT, and a frequency of 0.04Hz to 0.15Hz It is the ratio of LF'A _{before to HF'A before} , a value obtained by taking a natural logarithm to the sum of the spectral density values of the band,
The LF'A/HF'A _current of Equation 1 is the ratio of the LF activity/HF activity in the second section, and in the second section, the tachogram is converted into a frequency domain using FFT and 0.04 Hz to the ratio of the value taken for the natural logarithm to the sum of the spectral density of the frequency band of the _current 0.15Hz LF'A HF'A _{current,
LF'A/HF'A after} of Equation 1 is the ratio of the LF activity/HF activity in the third section, and in the third section, the tachogram is converted to a frequency domain using FFT and 0.04 Hz to the facial skin using the image ratio of the value of taking the natural log of the sum of the spectral density of the frequency band 0.15Hz LF'A _after the HF'A _after depression index measurement and diagnostic methods.
[Equation 1]

제1 항에 있어서,
상기 얼굴 요소는 머리, 좌우 눈썹 및 눈, 코, 입을 포함하고,
상기 얼굴 요소 간의 거리는 안쪽 눈썹과 눈 사이 거리, 바깥쪽 눈썹과 눈 사이의 거리, 좌우 안쪽 눈 사이의 거리, 윗입술과 코 위 사이의 거리, 양쪽 끝 입술과 아래 눈 사이의 거리, 양 입술 사이의 거리 또는 입 크기, 아랫입술과 아래 코 사이의 거리 중 하나 이상을 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법. The method of claim 1,
The facial elements include the head, left and right eyebrows and eyes, nose, and mouth,
The distance between the facial elements is the distance between the inner eyebrows and the eyes, the distance between the outer eyebrows and the eyes, the distance between the left and right inner eyes, the distance between the upper lip and the top of the nose, the distance between the lips at both ends and the lower eyes, and between the lips. Depression index measurement and diagnosis method using facial skin images including at least one of distance or mouth size, and the distance between the lower lip and the lower nose. 삭제delete 제1 항에 있어서,
상기 얼굴 요소는 머리, 좌우 눈썹 및 눈, 코, 입을 포함하고,
상기 얼굴 요소의 떨림은 머리 떨림, 눈썹 떨림, 눈 떨림, 코 떨림, 입 떨림 중 하나 이상을 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법.The method of claim 1,
The facial elements include the head, left and right eyebrows and eyes, nose, and mouth,
The vibration of the facial element is a method of measuring and diagnosing depression index using facial skin images including one or more of shaking of a head, shaking of eyebrows, shaking of eyes, shaking of nose, and shaking of mouth. 얼굴 영상을 촬영하고, 촬영된 상기 얼굴 피부 영상에서 피부 관심 영역을 검출하는 단계;
검출된 상기 피부 관심 영역에서 색상 데이터 평균값을 계산하는 단계;
상기 색상 데이터 평균값에 필터링을 적용하여 제1 맥파 신호를 산출하는 단계;
산출된 상기 제1 맥파 신호에서 피크 지점을 검출하고, 맥박을 계산하는 단계;
검출된 상기 피크 지점을 이용하여 심박 간격을 측정하고, 측정된 상기 심박 간격을 통해 타코그램(Tachogram)을 도출하는 단계;
상기 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 제1 파라미터 값을 산출하고, 산출된 상기 제1 파라미터 값을 제1 데이터베이스에 저장하는 단계;
상기 제1 파라미터 값을 이용하여 제1 우울증 지수를 산출하고, 산출된 상기 제1 우울증 지수를 제3 데이터베이스에 저장하는 단계;
PPG 장치를 이용하여 제2 맥파 신호를 산출하는 단계;
산출된 상기 제2 맥파 신호에서 피크 지점을 검출하고, 맥박을 계산하는 단계;
검출된 상기 피크 지점을 이용하여 심박 간격을 측정하고, 측정된 상기 심박 간격을 통해 타코그램(Tachogram)을 도출하는 단계;
상기 타코그램의 주파수를 분석하여 우울증 지수 측정을 위한 제2 파라미터 값을 산출하고, 산출된 상기 제2 파라미터 값을 제2 데이터베이스에 저장하는 단계;
상기 제2 파라미터 값을 이용하여 제2 우울증 지수를 산출하고, 산출된 상기 제2 우울증 지수를 제4 데이터베이스에 저장하는 단계; 및
상기 제1 파라미터 값, 상기 제2 파라미터 값, 상기 제1 우울증 지수 및 상기 제2 우울증 지수를 회귀분석에 적용하여 회귀 직선식 또는 회귀 곡선식을 산출하고, 우울증 지수 회귀분석식 데이터베이스에 저장하는 단계;
를 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법. Take a facial image, and the photographed facial skin Detecting a skin region of interest in the image;
Calculating an average value of color data in the detected skin region of interest;
Calculating a first pulse wave signal by applying filtering to the average value of the color data;
Detecting a peak point in the calculated first pulse wave signal and calculating a pulse rate;
Measuring a heartbeat interval using the detected peak point, and deriving a tachogram through the measured heartbeat interval;
Analyzing a frequency of the tachogram to calculate a first parameter value for measuring a depression index, and storing the calculated first parameter value in a first database;
Calculating a first depression index using the first parameter value and storing the calculated first depression index in a third database;
Calculating a second pulse wave signal using a PPG device;
Detecting a peak point in the calculated second pulse wave signal and calculating a pulse rate;
Measuring a heartbeat interval using the detected peak point, and deriving a tachogram through the measured heartbeat interval;
Analyzing a frequency of the tachogram to calculate a second parameter value for measuring a depression index, and storing the calculated second parameter value in a second database;
Calculating a second depression index using the second parameter value and storing the calculated second depression index in a fourth database; And
Calculating a regression linear expression or a regression curve expression by applying the first parameter value, the second parameter value, the first depression index, and the second depression index to a regression analysis, and storing a depression index regression analysis expression database;
Depression index measurement and diagnosis method using a facial skin image comprising a. 제7 항에 있어서,
상기 제1 파라미터 값 및 상기 제2 파라미터 값 각각은
상기 맥박, 사용자의 신체에서 교감신경의 활성화 정도를 나타내는 LF활성도, 상기 사용자의 신체에서 부교감신경의 활성화 정도를 나타내는 HF활성도 그리고, LF활성도/HF활성도 비율을 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법.The method of claim 7,
Each of the first parameter value and the second parameter value is
Depression index measurement using facial skin images including the pulse, LF activity indicating the degree of activation of the sympathetic nerve in the user's body, HF activity indicating the degree of activation of the parasympathetic nerve in the user’s body, and the LF activity/HF activity ratio And diagnostic methods. 제8 항에 있어서,
상기 제1 파라미터 값은 수학식 1을 이용하여 상기 제1 우울증 지수를 산출하며,
상기 제1 맥파 신호는 연속되는 제1-1 구간, 제2-1 구간 및 제3-1 구간 동안 산출되고,
상기 수학식 1의 DDI는 상기 제1 우울증 지수이고,
상기 수학식 1의 HR_before는, 상기 제1-1 구간에서의 상기 맥박이고
상기 수학식 1의 HR_current는, 상기 제2-1 구간에서의 상기 맥박이고,
상기 수학식 1의 HR_after는, 상기 제3-1 구간에서의 상기 맥박이고,
상기 수학식 1의 HF'A_before는, 상기 제1-1 구간에서의 상기 HF활성도이고, 상기 제1-1 구간에서 상기 타코그램을 FFT(Fast Fourier Transform)를 이용하여 주파수 영역으로 변환하고 0.15Hz 내지 0.4Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값이고,
상기 수학식 1의 HF'A_current는, 상기 제2-1 구간에서의 상기 HF활성도이고, 상기 제2-1 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.15Hz 내지 0.4Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값이고,
상기 수학식 1의 HF'A_after는, 상기 제3-1 구간에서의 상기 HF활성도이고, 상기 제3-1 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.15Hz 내지 0.4Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값이고,
상기 수학식 1의 LF'A/HF'A_before는, 상기 제1-1 구간에서의 상기 LF활성도/HF활성도 비율이고, 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.04Hz 내지 0.15Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값인 LF'A_before의 상기 제1-1 구간에서의 상기 HF활성도에 대한 비율이고,
상기 수학식 1의 LF'A/HF'A_current는, 상기 제2-1 구간에서의 상기 LF활성도/HF활성도 비율이고, 상기 제2-1 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.04Hz 내지 0.15Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값인 LF'A_current의 상기 제2-1 구간에서의 상기 HF활성도에 대한 비율이고,
상기 수학식 1의 LF'A/HF'A_after는, 상기 제3-1 구간에서의 상기 LF활성도/HF활성도 비율이고, 상기 제3-1 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.04Hz 내지 0.15Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값인 LF'A_after의 상기 제3-1 구간에서의 상기 HF활성도에 대한 비율인 것을 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법.
[수학식 1]

The method of claim 8,
The first parameter value calculates the first depression index using Equation 1,
The first pulse wave signal is calculated during consecutive periods 1-1, 2-1, and 3-1,
DDI of Equation 1 is the first depression index,
_{HR before} of Equation 1 is the pulse rate in the 1-1 section
_{HR current} of Equation 1 is the pulse rate in the 2-1 section,
_{HR after} of Equation 1 is the pulse rate in the 3-1 section,
_{HF'A before} of Equation 1 is the HF activity in the 1-1 section, and in the 1-1 section, the tachogram is transformed into a frequency domain using Fast Fourier Transform (FFT) and 0.15 It is a value obtained by taking a natural logarithm to the sum of the spectral density values in the frequency band of Hz to 0.4 Hz,
_{HF'A current} in Equation 1 is the HF activity in the 2-1 section, and the tachogram is converted into a frequency domain using FFT in the 2-1 section, and is 0.15 Hz to 0.4 Hz. It is a value obtained by taking a natural logarithm of the sum of the spectral density values of the frequency band,
_{HF'A after} of Equation 1 is the HF activity in the 3-1 section, and in the 3-1 section, the tachogram is converted into a frequency domain using FFT, and is 0.15 Hz to 0.4 Hz. It is a value obtained by taking the natural logarithm of the sum of the spectral density values of the frequency band,
_{LF'A/HF'A before} in Equation 1 is the ratio of the LF activity/HF activity in the 1-1 section, and the tachogram is converted into a frequency domain using FFT and 0.04Hz to 0.15Hz It is a ratio to the HF activity in the 1-1 section _before LF'A, which is a value obtained by taking a natural logarithm to the sum of the spectral density values of the frequency band of,
The LF'A/HF'A _current of Equation 1 is the ratio of the LF activity/HF activity in the 2-1 section, and the tachogram in the 2-1 section is converted to the frequency domain using FFT. _{It is a ratio of LF'A current} , which is a value obtained by taking a natural logarithm of the sum of the spectral density values in the frequency band of 0.04 Hz to 0.15 Hz after conversion, to the HF activity in the 2-1 section
_{LF'A/HF'A after} of Equation 1 is the ratio of the LF activity/HF activity in the 3-1 section, and the tachogram in the 3-1 section is converted into a frequency domain using FFT. Using a facial skin image including the ratio to the HF activity in the 3-1 section of _{LF'A after} , which is a value obtained by taking a natural logarithm to the sum of the spectral density values in the frequency band of 0.04 Hz to 0.15 Hz Depression Index Measurement and Diagnosis Methods.
[Equation 1]

제8 항에 있어서,
상기 제2 파라미터 값은 수학식 1을 이용하여 상기 제2 우울증 지수를 산출하며,
상기 제2 맥파 신호는 연속되는 제1-2 구간, 제2-2 구간 및 제3-2 구간 동안 산출되고,
상기 수학식 1의 DDI는 상기 제2 우울증 지수이고,
상기 수학식 1의 HR_before는, 상기 제1-2 구간에서의 상기 맥박이고
상기 수학식 1의 HR_current는, 상기 제2-2 구간에서의 상기 맥박이고,
상기 수학식 1의 HR_after는, 상기 제3-2 구간에서의 상기 맥박이고,
상기 수학식 1의 HF'A_before는, 상기 제1-2 구간에서의 상기 HF활성도이고, 상기 제1-2 구간에서 상기 타코그램을 FFT(Fast Fourier Transform)를 이용하여 주파수 영역으로 변환하고 0.15Hz 내지 0.4Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값이고,
상기 수학식 1의 HF'A_current는, 상기 제2-2 구간에서의 상기 HF활성도이고, 상기 제2-2 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.15Hz 내지 0.4Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값이고,
상기 수학식 1의 HF'A_after는, 상기 제3-2 구간에서의 상기 HF활성도이고, 상기 제3-2 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.15Hz 내지 0.4Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값이고,
상기 수학식 1의 LF'A/HF'A_before는, 상기 제1-2 구간에서의 상기 LF활성도/HF활성도 비율이고, 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.04Hz 내지 0.15Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값인 LF'A_before의 상기 제1-2 구간에서의 상기 HF활성도에 대한 비율이고,
상기 수학식 1의 LF'A/HF'A_current는, 상기 제2-2 구간에서의 상기 LF활성도/HF활성도 비율이고, 상기 제2-2 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.04Hz 내지 0.15Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값인 LF'A_current의 상기 제2-2 구간에서의 상기 HF활성도에 대한 비율이고,
상기 수학식 1의 LF'A/HF'A_after는, 상기 제3-2 구간에서의 상기 LF활성도/HF활성도 비율이고, 상기 제3-2 구간에서 상기 타코그램을 FFT를 이용하여 주파수 영역으로 변환하고 0.04Hz 내지 0.15Hz의 주파수 대역의 스펙트럼 밀도 값의 합에 자연로그를 취한 값인 LF'A_after의 상기 제3-2 구간에서의 상기 HF활성도에 대한 비율인 것을 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법.
[수학식 1]

The method of claim 8,
The second parameter value calculates the second depression index using Equation 1,
The second pulse wave signal is calculated during consecutive periods 1-2, 2-2, and 3-2,
DDI of Equation 1 is the second depression index,
_{HR before} of Equation 1 is the pulse rate in the 1-2 section
_{HR current} of Equation 1 is the pulse rate in the 2-2 section,
_{HR after} of Equation 1 is the pulse rate in the 3-2 section,
_{HF'A before} in Equation 1 is the HF activity in the 1-2 section, and in the 1-2 section, the tachogram is transformed into a frequency domain using Fast Fourier Transform (FFT) and 0.15 It is a value obtained by taking a natural logarithm to the sum of the spectral density values in the frequency band of Hz to 0.4 Hz,
_{HF'A current} in Equation 1 is the HF activity in the 2-2 section, and the tachogram is converted into a frequency domain using FFT in the 2-2 section, and is 0.15 Hz to 0.4 Hz. It is a value obtained by taking a natural logarithm of the sum of the spectral density values of the frequency band,
_{HF'A after} of Equation 1 is the HF activity in the 3-2 section, and in the 3-2 section, the tachogram is converted into a frequency domain using FFT, and is 0.15 Hz to 0.4 Hz. It is a value obtained by taking a natural logarithm of the sum of the spectral density values of the frequency band,
LF'A/HF'A _before in Equation 1 is the LF activity/HF activity ratio in the 1-2 section, and the tachogram is converted into a frequency domain using FFT and 0.04Hz to 0.15Hz Is a ratio to the HF activity in the 1-2 section of _{LF'A before} , which is a value obtained by taking a natural logarithm to the sum of the spectral density values of the frequency band of,
The LF'A/HF'A _current in Equation 1 is the ratio of the LF activity/HF activity in the 2-2 section, and the tachogram in the 2-2 section is converted to the frequency domain using FFT. _{It is a ratio of LF'A current} , which is a value obtained by taking a natural logarithm of the sum of the spectral density values of the frequency band of 0.04Hz to 0.15Hz after conversion, to the HF activity in the 2-2 section,
_{LF'A/HF'A after} of Equation 1 is the ratio of the LF activity/HF activity in the 3-2 section, and the tachogram in the 3-2 section is converted to the frequency domain using FFT. Using a facial skin image including the ratio to the HF activity in the 3-2 section of _{LF'A after} , which is a value obtained by taking a natural logarithm of the sum of the spectral density values in the frequency band of 0.04Hz to 0.15Hz after conversion. Depression Index Measurement and Diagnosis Methods.
[Equation 1]

제7 항에 있어서,
상기 얼굴 요소는 머리, 좌우 눈썹 및 눈, 코, 입을 포함하고,
상기 얼굴 요소 간의 거리는 안쪽 눈썹과 눈 사이 거리, 바깥쪽 눈썹과 눈 사이의 거리, 좌우 안쪽 눈 사이의 거리, 윗입술과 코 위 사이의 거리, 양쪽 끝 입술과 아래 눈 사이의 거리, 양 입술 사이의 거리 또는 입 크기, 아랫입술과 아래 코 사이의 거리 중 하나 이상을 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법.The method of claim 7,
The facial elements include the head, left and right eyebrows and eyes, nose, and mouth,
The distance between the facial elements is the distance between the inner eyebrows and the eyes, the distance between the outer eyebrows and the eyes, the distance between the left and right inner eyes, the distance between the upper lip and the top of the nose, the distance between the lips at both ends and the lower eyes, and between the lips. Depression index measurement and diagnosis method using facial skin images including at least one of distance or mouth size, and the distance between the lower lip and the lower nose. 제7 항에 있어서,
상기 회귀 직선식은 변수가 x이고 값이 y인 일차 다항식이고,
상기 y가 개선된 맥박일 경우, 상기 x는 얼굴 피부 영상으로부터 추정된 맥박이고,
상기 y가 개선된 LF활성도일 경우, 상기 x는 얼굴 피부 영상으로부터 추정된 LF활성도 값이고,
상기 y가 개선된 HF활성도일 경우, 상기 x는 얼굴 피부 영상으로부터 추정된 HF활성도 값이고,
상기 y가 개선된 LF'A / HF'A ratio일 경우, 상기 x는 얼굴 피부 영상으로부터 추정된 LF'A / HF'A ratio 값이고,
상기 y가 개선된 우울증 지수일 경우, 상기 x는 얼굴 피부 영상으로부터 추정된 우울증 지수 값인 것을 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법.The method of claim 7,
The regression linear equation is a linear polynomial with a variable x and a value y,
When y is an improved pulse, x is a pulse estimated from a facial skin image,
When y is an improved LF activity, x is an LF activity value estimated from a facial skin image,
When y is an improved HF activity, x is an HF activity value estimated from a facial skin image,
When y is an improved LF'A / HF'A ratio, x is an LF'A / HF'A ratio value estimated from a facial skin image,
When y is an improved depression index, x is a depression index value estimated from a facial skin image. 제7 항에 있어서,
상기 회귀 곡선식은 변수가 x이고 값이 y인 이차 다항식이고,
상기 y가 개선된 맥박일 경우, 상기 x는 얼굴 피부 영상으로부터 추정된 맥박이고,
상기 y가 개선된 LF활성도일 경우, 상기 x는 얼굴 피부 영상으로부터 추정된 LF활성도 값이고,
상기 y가 개선된 HF활성도일 경우, 상기 x는 얼굴 피부 영상으로부터 추정된 HF활성도 값이고,
상기 y가 개선된 LF'A / HF'A ratio일 경우, 상기 x는 얼굴 피부 영상으로부터 추정된 LF'A / HF'A ratio 값이고,
상기 y가 개선된 우울증 지수일 경우, 상기 x는 얼굴 피부 영상으로부터 추정된 우울증 지수 값인 것을 포함하는 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법.The method of claim 7,
The regression curve equation is a quadratic polynomial with a variable x and a value y,
When y is an improved pulse, x is a pulse estimated from a facial skin image,
When y is an improved LF activity, x is an LF activity value estimated from a facial skin image,
When y is an improved HF activity, x is an HF activity value estimated from a facial skin image,
When y is an improved LF'A / HF'A ratio, x is an LF'A / HF'A ratio value estimated from a facial skin image,
When y is an improved depression index, x is a depression index value estimated from a facial skin image.

Images