KR101823658B1

KR101823658B1 - 영상을 이용한 스트레스 지수 산출 방법

Info

Publication number: KR101823658B1
Application number: KR1020160088395A
Authority: KR
Inventors: 홍광석; 박진수
Original assignee: 성균관대학교산학협력단
Priority date: 2016-07-13
Filing date: 2016-07-13
Publication date: 2018-03-14
Also published as: KR20180007425A

Abstract

영상을 이용한 스트레스 지수 산출 방법은 컴퓨터 장치가 영상에서 피부 영역을 검출하는 단계, 상기 컴퓨터 장치가 상기 피부 영역의 색상 데이터를 이용하여 맥파 신호를 검출하는 단계, 상기 컴퓨터 장치가 상기 맥파 신호로부터 심박 간격에 대한 태코 그램(Tachogram)을 생성하는 단계 및 상기 컴퓨터 장치가 상기 태코 그램의 주파수 영역에서 기준 주파수 대역의 활성도를 기준으로 산출되는 제1 스트레스 지수 및 상기 태코 그램에서 심박 간격을 기준으로 산출되는 제2 스트레스 지수 중 적어도 하나를 기준으로 최종 스트레스 지수를 산출하는 단계를 포함한다.

Description

영상을 이용한 스트레스 지수 산출 방법{STRESS INDEX ESTIMATION METHOD USING IMAGE}

이하 설명하는 기술은 영상을 이용하여 스트레스 지수를 산출하는 기법에 관한 것이다.

사람의 스트레스 지수(정도) 측정은 기본적으로 설문지 조사 또는 전문가와의 상담을 통해 수행된다. 한편 생체 신호를 측정하는 장비를 이용하여 스트레스 지수를 측정하는 기술에 대한 연구가 있었다.

한국공개특허 제10-2014-0122849호

이하 설명하는 기술은 피부가 포함된 영상을 이용하여 스트레스 지수를 측정하는 방법을 제공하고자 한다.

이하 설명하는 기술은 생체 신호를 측정하기 위한 별도의 장비 없이 스마트폰과 같은 간단한 장치로 획득한 영상을 이용하여 스트레스 지수를 산출할 수 있다.

도 1은 영상을 이용한 스트레스 지수 산출 방법에 대한 순서도의 예이다.
도 2는 영상을 이용하여 맥파 신호에 대한 태코 그램을 생성하는 과정에 대한 예이다.
도 3은 맥파 신호에 대한 태코 그램으로부터 스트레스 지수를 산출하는 과정에 대한 예이다.
도 4는 맥파 신호에 대한 태코 그램으로부터 스트레스 지수를 산출하는 과정에 대한 다른 예이다.
도 5는 회귀 분석 함수를 생성하는 과정에 대한 예이다.
도 6은 영상을 이용하여 스트레스 지수를 산출하는 장치에 대한 예이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

이하 설명하는 기술은 사용자의 피부가 포함된 영상을 기반으로 사용자(피험자)의 스트레스 지수를 추정하는 기법이다. 이하 설명하는 기술은 카메라가 탑재된 스마트 기기와 같은 장치에서 영상을 이용하여 스트레스 지수를 추정할 수 있다. 이하 설명하는 기술은 PC, 스마트폰, 서버 등과 같은 장치에서 수행될 수 있다. 이하 설명의 편의를 위해 컴퓨터 장치가 스트레스 지수를 추정한다고 설명한다.

도 1은 영상을 이용한 스트레스 지수 산출 방법(100)에 대한 순서도의 예이다. 카메라가 소스 영상을 촬영한다. 소스 영상은 얼굴과 같이 피부가 포함된 영상이다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 영역을 검출한다(110). 컴퓨터 장치가 피부 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다.

컴퓨터 장치는 피부 영역에 대한 색상 데이터를 추출하고, 색상 데이터로부터 맥파 신호를 검출한다(120).

컴퓨터 장치는 먼저 피부 영역에 대한 색상 데이터를 추출한다. 컴퓨터 장치는 추출한 피부 영역 전체에 대한 색상 데이터를 추출할 수 있다. 또한 컴퓨터 장치는 획득한 영상에서 특정 피부 영역에 대한 색상 데이터를 추출할 수도 있다.

색상 데이터는 다양한 값이 사용될 수 있다. 예컨대, (1) 색상 데이터는 RGB 색상 체계를 기준으로 R값, G값 및 B값 중 적어도 하나를 사용할 수 있다. 색상 데이터는 R값, G값 및 B값 중 적어도 하나에 대한 평균값을 사용할 수도 있다. (2) 컴퓨터 장치는 RGB 색상 체계를 다른 색상 체계로 변환할 수 있다. 예컨대, 컴퓨터 정치는 RGB 색상 체계를 YUV, YCbCr, YCgCo 등과 같은 다양한 색상 체계로 변환할 수 있다. 이 경우 색상 데이터는 주변 환경(조도 등)에 영향을 적게 받는 색차 성분 중 하나를 이용할 수 있다. 예컨대, YCbCr의 경우 Cb 또는 Cr 중 적어도 하나를 이용할 수 있다. YCgCo의 경우는 Cg 또는 Co 중 적어도 하나를 이용할 수 있다. 나아가 두 개의 색차 성분 중 조도의 변화에 보다 강인한 어느 하나를 이용할 수 있다. 예컨대, YCgCo의 경우는 Cg만을 이용할 수 있다. 이 경우 컴퓨터 장치는 피부 영역의 Cg의 평균값을 색상 데이터로 추출할 수 있다. (3) 나아가 색상 데이터는 RGB, YUV, YCbCr, YCgCo 등과 같은 다양한 색상 체계에서 적어도 하나의 색 성분을 조합한 값일 수도 있다. 색 성분을 조합하는 경우 색상 데이터는 색상 체계 및 색 성분의 종류에 따라 서로 다른 가중치를 부여한 값을 합산한 값일 수도 있다.

컴퓨터 장치는 색상 데이터를 일정한 시간 동안 저장한다. 이를 통해 컴퓨터 장치는 색상 데이터의 변화 여부를 파악할 수 있다. 컴퓨터 장치는 시간축에서 연속된 색상 데이터를 주파수 영역으로 변환(FFT 변환)한다. 컴퓨터 장치는 주파수 영역에서 일정한 기준값 이상인 지점(피크 지점)을 기준으로 맥파의 주기를 파악할 수 있다.

컴퓨터 장치는 맥파 신호의 주기를 기준으로 태코 그램(Tachogram)을 생성할 수 있다(130). 태코 그램은 시간에 따른 심박의 변화를 나타낸다.

컴퓨터 장치는 태코 그램을 주파수 영역으로 변환하여 특정 주파수 대역의 활성도를 산출한다(140). 이하 특정 주파수 대역을 기준 주파수 대역이라고 명명한다. 기준 주파수 대역은 낮은 주파수 대역(Low Frequency, LF)일 수 있다. 예컨대, 기준 주파수 대역은 0.04 내지 0.15Hz 사이의 주파수 대역일 수 있다.

또한 컴퓨터 장치는 태코 그램을 시계열 상에서 분석하여 심박 각격을 산출한다(150). 컴퓨터 장치는 기준 주파수 대역의 활성도 및 심박 편향 분포도를 기준으로 물리적 스트레스 지수를 산출한다(160). 컴퓨터 장치는 심박 간격 표준 편차 및 심박 간격 복잡도를 기준으로 심리적 스트레스 지수를 산출한다(170).

한편 심박이라는 신체 정보는 대상자에 따라 달라질 수 있다. 따라서 정확한 스트레스 지수 산출을 위해 사용자의 성별 및/또는 연령을 고려할 필요가 있다. 컴퓨터 장치는 사전에 사용자 성별 및 연령 정보를 입력받는다. 컴퓨터 장치는 물리적 스트레스 지수를 산출하는 과정(160)에 사용자의 나이 정보를 이용한다. 컴퓨터 장치는 심리적 스트레스 지수를 산출하는 과정(170)에 사용자의 나이 및 성별 정보를 이용한다. 구체적인 스트레스 지수 산출 과정은 후술한다.

컴퓨터 장치가 산출한 물리적 스트레스 지수 및 심리적 스트레스 지수 각각이 의미가 있을 수 있다. 나아가 컴퓨터 장치는 물리적 스트레스 지수 및 심리적 스트레스 지수에 일정한 가중치를 부여한 값을 기준으로 최종 스트레스 지수를 산출할 수 있다(180).

도 2는 영상을 이용하여 맥파 신호에 대한 태코 그램을 생성하는 과정에 대한 예이다. 이하 설명의 편의를 위해 피부 영역을 YCgCo 색상 체계로 변환하고, Cg 색상 데이터의 평균값을 기준으로 스트레스 지수를 측정한다고 가정한다. 또한 소스 영상은 얼굴이 포함된 영상이고, 얼굴이 포함된 얼굴 영역을 피부 영역으로 검출한다고 가정한다. 물론 피부 영역은 얼굴이 아닌 손과 같은 다른 영역일 수도 있다.

컴퓨터 장치는 얼굴이 포함된 영상을 획득한다(도 2의 a). 컴퓨터 장치는 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(도 2의 b). 컴퓨터 장치는 얼굴 영역에서 피부 영역을 검출한다(도 2의 c).

컴퓨터 장치는 피부 영역의 RGB 색상 체계를 YCgCo 체계로 변경한다. 컴퓨터 장치는 피부 영역에 대한 Cg의 평균값을 산출한다(도 2의 d).

도 2에 대한 설명에서 c 과정에서 RGB를 YCgCo로 변경한다고 설명하였다. 사실 RGB를 다른 색상 체계(YCgCo)로 변경하는 것은 이전에 수행될 수도 있다. 컴퓨터 장치가 소스 영상을 획득한 후 소스 영상을 다른 색상 체계로 변경할 수도 있고, 얼굴 영역을 검출한 후 얼굴 영역을 다른 색상 체계로 변경할 수도 있다. RGB를 YCgCo 색상 체계로 변경하는 수식은 아래의 수학식 1과 같다.

컴퓨터 장치는 피부 영역에 대한 색상 데이터를 일정한 시간 동안 지속적으로 저장한다. 도 2에서 e는 시간의 흐름에 따른 색상 데이터를 도시한 예이다.

피부는 피부 근처의 혈관에 흐르는 혈류에 따라 색이 변하게 된다. 즉 대상 영역에 대한 색상 데이터 평균값을 모니터링하면 일정한 규칙이 있는 혈류의 흐름을 파악할 수 있다. 일정한 규칙이란 심장의 박동에 따라 이동하는 혈류의 흐름의 의미한다. (1) 컴퓨터 장치는 프레임마다 대상 영역의 색상 데이터 평균값을 연산하고, 프레임마다 색상 데이터 평균값을 저장할 수 있다. 이 경우 컴퓨터 장치는 프레임단위로 색상 데이터 평균값을 지속적으로 저장한다. (2) 또한 컴퓨터 장치는 일정한 간격을 두고 프레임에 대한 색상 데이터 평균값을 연산하고 저장할 수도 있다. 이 경우 컴퓨터 장치는 일정한 시간 간격을 두고 정지화면에 대한 지정된 색상 모델의 색상 데이터 평균값을 연산한다. (3) 나아가 컴퓨터 장치는 일정한 프레임 단위로 프레임 단위의 전체의 색상 데이터 평균값을 연산하여 저장할 수도 있을 것이다.

컴퓨터 장치는 피부 영역의 지정된 색상 모델의 색상 데이터 평균값을 지속적으로 저장하여 맥파 신호를 생성한다(도 2의 f). 전술한 바와 같이 대상 영역의 색상 데이터 평균값은 혈류의 흐름과 연관이 있다. 세로축은 색상 데이터 평균값이고 가로축이 시간의 흐름인 그래프에서 색상 데이터 평균값에 의해 산출된 값의 변화는 일정한 파형을 갖는 신호가 될 수 있다. 컴퓨터 장치는 밴드 패스 필터(band pass filter)를 이용하여 지정된 색상 모델의 색상 데이터 평균값을 맥파 신호로 변환할 수 있다. 나아가 컴퓨터 장치는 맥파 신호에서 잡음 제거를 위한 다른 필터를 사용할 수도 있다.

컴퓨터 장치는 YCgCo 색상체계로 변경한 다음 매 프레임의 Cg 값의 평균값을 계산하여 Cg 신호를 추출하고, 이 Cg 신호를 FFT(Fast Fourier Transform)를 이용하여 주파수 영역에서 관찰, 가장 큰 주파수 성분을 맥파의 주기로 판단한다. Cg신호로부터 맥파를 추정하기 위해서는 주파수 영역에서 신호를 관찰 한다. 정상적인 경우 안정 또는 흥분 정도에 따라 40에서 200까지 분당 맥박 수가 측정될 수 있으며, 이에 맞춰 지속적으로 저장된 Cg 색상 데이터 평균값에 밴드 패스 필터를 적용하여 도출된 주파수 영역에서 맥파 측정이 가능한 관찰 영역을 0.67Hz에서 3.34Hz까지로 제한할 수 있다.

컴퓨터 장치는 맥파의 주기를 기준으로 태코 그램을 생성한다(도 2의 g). 태코 그램은 시간에 따른 심박(heart rate) 간격을 나타낸다.

도 3은 맥파 신호에 대한 태코 그램으로부터 스트레스 지수를 산출하는 과정에 대한 예이다.

컴퓨터 장치는 얼굴 영상에서 산출된 색상 데이터를 이용하여 맥파 신호를 생성하였다(도 3의 a). 컴퓨터 장치는 피부 영역의 색상 데이터를 이용하여 심박에 대한 태코 그램을 생성하였다(도 3의 b).

컴퓨터 장치는 태코 그램을 주파수 영역으로 변환(FFT 변환)한다. 도 3의 c는 태코 그램을 주파수 영역으로 변환한 예이다. 컴퓨터 장치는 태코 그램에 밴드 패스 필터를 적용하여 도출된 주파수 영역에서 Low Frequency(LF)의 대역(0.04~0.15Hz)의 파워 스펙트럼 밀도(Power Spectral Density, PSD) 값의 합을 이용하여 LF 활성도를 산출한다. LF 대역(전술한 기준 주파수 대역)은 교감신경의 상태를 파악하는 데 주로 이용된다.

LF 활성도(LF Activity, LF'A)는 신체에서 교감신경의 활성화정도를 나타낸다. LF활성도란 태코 그램에 대한 주파수 영역에서 0.04~0.15Hz 사이 주파수 대역의 에너지를 말한다. LF대역의 파워 스펙트럼 밀도 값의 합에 자연로그(Natural Logarithm)를 취해 LF 활성도를 산출할 수 있다. 또한 컴퓨터 장치는 아래의 수학식 2와 같이 LF 활성도를 일정하게 정규화(NormLF'A)할 수 있다.

LF'A는 LF 대역의 활성도를 의미한다. NormLF'A는 LF 대역의 활성도를 정규화한 값이다. LF'A를 이용하여 평균값을 50으로 두고 백분위로 정규화한 예이다.

전체 연령에 대한 한국인 LF 활성도 평균값은 생체신호 측정 장비를 이용하여 피검자로부터 수차례 측정한 LF활성도 결과 값의 평균을 적용할 수 있다. 또한 이 값들을 이용하여 LF활성도 표준편차를 산출할 수 있다.

산출된 전체 연령에 대한 한국인 LF 활성도 평균값은 5.83이고, LF활성도 표준편차 값은 0.57으로 알려져 있다. 그리고 실험에 따라 값이 바뀔 수 있다. 예컨대, 미국의 종합 심박변이 분석 가이드 "Autonomic Assessment Report: A Comprehensive Heart Rate Variability Analysis" 미국인 연령별 LF활성도 평균에 평균이동을 적용하여 산출된 한국인 20세~60세에 대한 LF활성도 평균은 아래의 표 1과 같다.

한편 컴퓨터 장치는 태코 그램을 시간 영역에서 시계열 분석할 수 있다. 시계열 분석은 심박 수, 심박간격 표준편차 등을 포함한다. 도 3의 c는 태코 그램에 대한 시계열 분석 과정에 대한 예이다. 스테레스 지수 추정을 위해 필요한 몇 가지 예를 설명한다.

(1) 심박편향분포도(Bias Distribution map of Heart Rate, BDHR)는 심박 수의 치우침(편향) 정도를 의미한다. 정규화 심박편향분포도(Normalization Bias Distribution map of Heart Rate, Norm BDHR)란 측정된 평균 심박 수(Heart Rate, HR)와 심박간격 표준편차(Standard Deviation of RR intervals,SDNN)를 이용하여 정규화 과정을 통해 산출하고, 이는 아래의 수학식 3과 같다.

정규화된 심박편향분포도(Norm BDHR)는 HR 최빈값(측정된 분당 심박 수 중 가장 빈번하게 발생한 분당 심박 수), 측정 심박간격 표준편차(Measurement SDNN, MSDNN), 연령별 평균 심박 수(mean Heart rate, mHR), 측정 평균 심박 수(Measuring average Heart rate, MHR)을 이용하여 심박편향분포도를 50을 기준으로 정규화 배치시켜 산출시키는 과정이다.

연령 및 성별에 따른 남자의 평균 심박 수는 "78.2 - 0.062 × 실제나이"이고, 그리고 여자의 평균 심박 수는 "86.4 + 0.16 × 실제나이“를 이용하여 산출할 수 있다. 78.2와 86.4는 각각의 성별 전체의 평균 심박 상수를 의미하고, 0.062와 0.16은 성별에 따른 편차 상수를 의미한다.

(2) 심박간격 표준편차(Standard Deviation of RR intervals, SDNN)는 심박간격 평균 주변에 모여 있는 심박간격의 변화 정도를 수치화한 값으로 심박간격의 편차를 이용하여 산출한다. 이는 아래의 수학식 4와 같다.

정규화 심박간격 표준편차(Norm SDNN)는 측정 심박간격 표준편차(Measurement SDNN, MSDNN), 연령별 평균 심박간격 표준편차(mean SDNN, mSDNN), 연령별 SDNN의 표준편차 값을 이용하여 평균값을 50으로 두고 백분위로 정규화한 것이다.

남자의 평균 심박간격 표준편차는 "96.5 - 0.73 × 실제나이", 그리고 여자의 평균 심박간격 표준편차는 "73.2 - 0.41 × 실제나이"를 이용하여 산출한다. 96.5와 73.2는 각각의 성별 전체의 평균 심박간격 표준편차 상수를 의미하고, 0.73과 0.41은 성별 및 나이에 따른 편차 상수를 의미한다.

연령별 심박간격 표준편차의 표준편차는 측정된 심박간격 표준편차와 연령별 심박간격 표준편차 값 사이의 표준편차를 의미한다.

(3) 심반각격 복잡도는 심박간격의 복잡한 정도를 의미한다. 심반각격 복잡도는 심박간격 태코 그램의 미분을 이용하여 산출된다. 이는 아래의 수학식 5와 같다.

복잡도는 심박간격 표준편차(SDNN)의 1차 미분을 통해 산출된 값과 1차 미분한 데이터를 2차 미분하여 산출된 값을 이용하여 심박간격의 복잡한 정도를 산출하는 과정을 나타낸다. 1차 미분한 데이터의 표준편차는 정상인의 생체신호 일 경우 8.5를 넘지 않고 2차 미분한 데이터의 표준편차는 정상인의 생체신호 일 경우 15를 넘지 않는 것으로 알려져 있다.

도 3에 대한 설명으로 돌아가면 컴퓨터 장치는 태코그램에 대한 주파수 분석 결과와 시계열 분석 결과를 이용하여 물리적 스트레스 지수를 산출한다(도 3의 d).

물리적 스트레스(Physical Stress)란 장기간의 불규칙한 생활습관, 신체 과부하, 환경 독성, 부적절한 다이어트, 흡연/알코올/약물의 사용 등 불리한 요소에 노출되었을 때를 나타낸다.

컴퓨터 장치는 태코 그램을 분석한 결과를 이용하여 아래의 수학식 6과 같이 물리적 스트레스 지수(Physical Stress Index, PSI)를 산출할 수 있다. 컴퓨터 장치는 기준 주파수 대역(LF)의 활성도와 태코 그램에서의 심박 편향 정도를 기준으로 물리적 스트레스 지수를 산출할 수 있다.

컴퓨터 장치는 태코 그램을 시계열에서 분석한 자료를 이용하여 심리적 스트레스 지수를 산출할 수 있다(도 3의 e).

심리적 스트레스(Psychological Stress)란 불안, 부정적인 정서, 정식적 과부하, 혼란, 사회적 소외, 가정문제, 권태감, 낮은 자부심 등의 요인 등과 같은 요인에 노출되었을 때 나타낸다.

컴퓨터 장치는 태코 그램을 분석한 결과를 이용하여 아래의 수학식 7과 같이 심리적 스트레스 지수(Psychological Stress Index, SSI)를 산출할 수 있다.

물리적 스트레스 지수(PSI) 및 심리적 스트레스 지수(SSI)가 개별적으로 의미 있을 수 있다. 나아가 컴퓨터 장치는 물리적 스트레스 지수(PSI) 및 심리적 스트레스 지수(SSI)에 일정한 가중치를 부여하여 최종적인 전체 스트레스 지수(Stress Index)를 산출할 수 있다(도 3의 f). 전체 스트레스 지수(Stress Index)는 아래의 수학식 8과 같이 연산될 수 있다.

도 4는 맥파 신호에 대한 태코 그램으로부터 스트레스 지수를 산출하는 과정에 대한 다른 예이다. 도 4는 회귀 분석을 적용하여 스트레스 지수에 대한 추정 정확도를 높이는 예이다. 컴퓨터 장치는 도 3의 과정을 거쳐 스트레스 지수를 추정하고, 지속적으로 측정한 스트레스 지수 데이터를 이용하여 추정된 스트레스 지수 DB를 저장한다. 컴퓨터 장치는 피부 영역에서 산출된 색상 데이터를 이용하여 생성된 맥파 신호(도 4의 a)로부터 심박에 대한 태코 그램을 생성하고(도 4의 b), 태코 그램을 주파수 영역을 변환한다(도 4의 c). 컴퓨터 장치는 태코 그램에 대한 주파수 영역 분석과 시계열 분석을 통해 물리적 스트레스 지수를 산출하고(도 4의 d), 태코 그램에 대한 시계열 분석을 통해 심리적 스트레스 지수를 산출한다(도 4의 e). 컴퓨터 장치는 물리적 스트레스 지수와 심리적 스트레스 지수를 이용하여 전체 스트레스 지수를 추정한다(도 4의 f). 컴퓨터 장치는 회귀 분석 식 DB에서 적절한 회귀 분석 함수를 선택하고, 추정된 전체 스트레스 지수에 회귀 분석 함수를 적용하여 개선된 스트레스 지수를 추정한다(도 4의 g). 회귀 분석 식 DB를 마련하는 과정은 후술한다.

도 5는 회귀 분석 함수를 생성하는 과정에 대한 예이다. 컴퓨터 장치는 피부 영역에서 산출된 색상 데이터를 이용하여 생성된 맥파 신호(도 5의 a)로부터 심박에 대한 태코 그램을 생성하고(도 5의 b), 태코 그램을 주파수 영역을 변환한다(도 5의 c). 컴퓨터 장치는 태코 그램에 대한 주파수 영역 분석과 시계열 분석을 통해 물리적 스트레스 지수를 산출하고(도 5의 d), 태코 그램에 대한 시계열 분석을 통해 심리적 스트레스 지수를 산출한다(도 5의 e). 컴퓨터 장치는 물리적 스트레스 지수와 심리적 스트레스 지수를 이용하여 전체 스트레스 지수를 추정한다(도 5의 f). 컴퓨터 장치는 추정한 스트레스 지수를 추정된 스트레스 지수 DB에 지속적으로 저장한다.

스트레스 지수를 추정하는 동시에 컴퓨터 장치는 별도의 스트레스 지수 측정 장비(Photoplethysmogram, PPG)를 이용하여 스트레스 지수를 산출한다(도 5의 g). 컴퓨터 장치는 PPG를 이용하여 산출한 스트레스 지수를 측정기 스트레스 지수 DB에 저장한다. 컴퓨터 장치는 추정된 스트레스 지수 DB와 측정기 스트레스 지수 DB에 저장되는 데이터에 회귀 분석을 적용한다. 즉 컴퓨터 장치는 동일한 시점에 측정된 2 개의 스트레스 지수에 대해 회귀 분석을 적용하여 회귀 직선 및/또는 회귀 곡선을 도출한다(도 5의 h). 컴퓨터 장치는 도출한 회귀 분석 함수를 회귀 분석 식 DB에 저장한다.

도 6은 영상을 이용하여 스트레스 지수를 산출하는 장치에 대한 예이다. 도 6(a)는 스마트폰과 같은 사용자 단말(200)을 이용하여 스트레스 지수를 측정하는 예이다. 사용자는 사용자 단말(200)에 내장된 카메라로 얼굴을 촬영한다. 사용자 단말(200)은 소스 영상에서 얼굴 영역을 검출하고, 사전에 설정된 특정 피부 영역의 색상 데이터를 추출한다. 사용자 단말(200)은 색상 데이터로부터 맥파 신호를 추출하고, 맥파 신호에 대한 태코 그램을 분석하여 스트레스 지수를 추정할 수 있다.

도 6(a)에서 사용자 단말(200)은 카메라(210), 저장 장치(220), 연산 장치(230) 및 출력 장치(240)를 포함한다. 카메라(210)는 소스 영상을 획득한다. 연산 장치(230)는 소스 영상에 포함된 피부 영역에 대한 색상 데이터를 추출하고, 색상 데이터로부터 전술한 방법을 이용하여 스트레스 지수를 추정한다. 저장 장치(220)는 소스 영상을 임시로 저장할 수 있다. 출력 장치(240)는 측정한 스트레스 지수를 출력할 수 있다. 스마트폰과 같은 사용자 단말에서는 스트레스 지수 측정이 단말에서 동작하는 앱(application)으로 제공될 수도 있다. 이 경우 저장 장치(220)가 앱에서 필요한 데이터를 저장할 수 있다.

도 6(b)는 PC와 같은 장치를 이용하여 스트레스 지수를 측정하는 예이다. 사용자는 컴퓨터(320)에 연결된 카메라(310)로 얼굴을 촬영한다. 컴퓨터(320)는 소스 영상에서 얼굴 영역을 검출하고, 사전에 설정된 특정 피부 영역의 색상 데이터를 추출한다. 컴퓨터(320)는 색상 데이터로부터 전술한 방법을 이용하여 스트레스 지수를 추정한다.

도 6(c)는 사용자 단말(410)로 획득한 영상을 이용하여 원격지에 있는 서버(420)가 스트레스 지수를 측정하는 예이다. 사용자는 사용자 단말(410)에 내장된 카메라로 얼굴을 촬영한다. 사용자 단말(410)은 촬영한 소스 영상을 네트워크를 통해 서버(420)에 전달한다. 이 경우 사용자 단말(410)은 데이터 전송을 위한 통신 모듈을 포함한다. 서버(420)는 소스 영상에서 얼굴 영역을 검출하고, 사전에 설정된 특정 피부 영역의 색상 데이터를 추출한다. 서버(420)는 색상 데이터로부터 전술한 방법을 이용하여 스트레스 지수를 추정한다. 서버(420)는 추정한 스트레스 지수를 사용자 단말(410)에 전달할 수 있다.

경우에 따라서는 분산 작업을 위해 사용자 단말(410)이 소스 영상에서 피부 영역을 검출하여 서버(420)에 전달할 수 도 있다. 이 경우 서버(420)는 피부 영역에 대한 색상 데이터를 추출하고, 색상 데이터로부터 전술한 방법을 이용하여 스트레스 지수를 측정한다. 또 다른 예로 사용자 단말(410)이 소스 영역에서 피부 영역을 검출하고, 피부 영역에 대한 색상 데이터를 추출할 수 있다. 사용자 단말(410)은 피부 영역에 대한 색상 데이터만을 서버(420)에 전달할 수 있다. 이 경우 서버(420)는 색상 데이터로부터 전술한 방법을 이용하여 스트레스 지수를 측정한다.

본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

200 : 사용자 단말
210 : 카메라
220 : 저장 장치
230 : 연산 장치
240 : 출력 장치
310 : 카메라
320 : 컴퓨터
410 : 사용자 단말
420 : 서버

Claims

컴퓨터 장치가 영상에서 피부 영역을 검출하는 단계;
상기 검출된 피부 영역에서 색상 데이터를 획득하는 단계,
상기 색상 데이터는 상기 피부 영역의 복수의 색 성분의 조합한 값이고,
상기 복수의 색 성분은 색상 체계 및 색 성분 종류에 따라 각각 서로 다른 특정 가중치가 부여되며;
상기 컴퓨터 장치가 상기 색상 데이터의 평균값을 이용하여 맥파 신호를 검출하는 단계;
상기 컴퓨터 장치가 상기 맥파 신호로부터 심박 간격에 대한 태코 그램(Tachogram)을 생성하는 단계; 및
상기 컴퓨터 장치가 상기 태코 그램의 주파수 영역에서 기준 주파수 대역의 활성도를 기준으로 산출되는 제1 스트레스 지수 및 상기 태코 그램에서 심박 간격을 기준으로 산출되는 제2 스트레스 지수 중 적어도 하나를 기준으로 최종 스트레스 지수를 산출하는 단계를 포함하는 영상을 이용한 스트레스 지수 산출 방법.
제1항에 있어서,
상기 컴퓨터 장치는 상기 평균값을 주파수 영역으로 변환하고, 상기 주파수 영역에서 기준값 이상인 지점을 기준으로 상기 심박 간격에 대한 태코 그램을 생성하는 영상을 이용한 스트레스 지수 산출 방법.
제1항에 있어서,
상기 기준 주파수 대역은 0.04Hz 내지 0.15Hz 사이의 주파수 대역인 영상을 이용한 스트레스 지수 산출 방법.
제1항에 있어서,
상기 컴퓨터 장치는 상기 태코 그램을 주파수 영역으로 변환하고, 상기 기준 주파수 대역에 대한 활성도를 아래의 수학식을 이용하여 정규화하는 영상을 이용한 스트레스 지수 산출 방법.

(여기서 NormLF'A는 정규화된 기준 주파수 대역의 활성도, LF'A는 상기 기준 주파수 대역의 활성도로 상기 기준 주파수 대역에 대한 파워 스펙트럼 밀도 값의 합에 자연 로그를 취한 값임)
제1항에 있어서,
상기 컴퓨터 장치는 상기 기준 주파수 대역의 활성도와 상기 태코 그램에서의 심박 편향 정도를 기준으로 상기 제1 스트레스 지수를 산출하는 영상을 이용한 스트레스 지수 산출 방법.
제1항에 있어서,
상기 컴퓨터 장치는 아래 수식을 이용하여 상기 제1 스트레스 지수를 산출하는 영상을 이용한 스트레스 지수 산출 방법.

(여기서 PSI는 상기 제1 스트레스 지수, NormLF'A는 상기 기준 주파수 대역의 활성도를 정규화한 값, NormBDHR는 심박편향분포도임)
제1항에 있어서,
상기 컴퓨터 장치는
상기 태코 그램을 이용하여 산출한 심박 간격 표준 편차 및 심박 간격의 복잡도를 기준으로 상기 제2 스트레스 지수를 산출하는 영상을 이용한 스트레스 지수 산출 방법.
제1항에 있어서,
상기 컴퓨터 장치는 아래 수식을 이용하여 상기 제2 스트레스 지수를 산출하는 영상을 이용한 스트레스 지수 산출 방법.

(여기서 SSI는 상기 제2 스트레스 지수이고, Norm SDNN은 정규화된 심박간격 표준 편차이고, 상기 복잡도는 심박 간격에 대한 복잡한 정도임)
제8항에 있어서,
상기 복잡도는 아래 수식으로 산출되는 영상을 이용한 스트레스 지수 산출 방법.

(여기서 SDNN은 심박 간격의 표준 편차임)
제1항에 있어서,
상기 컴퓨터 장치는 상기 제1 스트레스 지수와 상기 제2 스트레스 지수에 각각 가중치를 부여한 값을 합산하여 상기 최종 스트레스 지수를 산출하는 영상을 이용한 스트레스 지수 산출 방법.
제1항에 있어서,
상기 컴퓨터 장치는 상기 제1 스트레스 지수와 상기 제2 스트레스 지수에 가중치를 부여한 값을 합산한 결과 값을 회귀 분석 함수에 적용하여 상기 최종 스트레스 지수를 산출하되, 상기 회귀 분석 함수는 상기 제1 스트레스 지수와 상기 제2 스트레스 지수를 이용하여 추정한 스트레스 지수와 맥파 측정기를 이용하여 측정한 스트레스 지수에 대한 회귀 분석을 통해 사전에 마련되는 영상을 이용한 스트레스 지수 산출 방법.