KR20220072714A

KR20220072714A - 생체 신호 측정 시스템 및 그것의 생체 신호 측정 방법

Info

Publication number: KR20220072714A
Application number: KR1020210072372A
Authority: KR
Inventors: 류문욱; 심광현; 이준성; 정혁
Original assignee: 한국전자통신연구원
Priority date: 2020-11-25
Filing date: 2021-06-03
Publication date: 2022-06-02
Also published as: KR102577759B1

Abstract

본 개시는 생체 신호 측정 시스템 및 그것의 생체 신호 측정 방법에 관한 것으로, 더욱 상세하게는 본 개시의 실시 예에 따른 생체 신호 측정 시스템은 사용자에 대한 영상을 획득하는 영상 획득 모듈, 상기 영상 획득 모듈로부터 제공된 상기 영상에 기반하여 얼굴 영역으로부터 추출된 생체 신호를 조합하고, 상기 사용자의 생체 신호를 추정하는 적응형 블록 모듈 및 상기 적응형 블록 모듈로부터 추정된 생체 신호를 외부로 출력하는 생체 신호 출력 모듈을 포함한다.

Description

생체 신호 측정 시스템 및 그것의 생체 신호 측정 방법{SYSTEM FOR MEASURING BIOMEDICAL SIGNAL AND METHOD FOR MEASURING BIOMEDICAL SIGNAL THEROF}

본 개시는 헬스케어(Health care) 기술에 관한 것으로, 좀 더 상세하게는 적응형 블록 모듈(Adaptive block module)을 이용한 영상 기반의 생체 신호 측정 시스템 및 그것의 생체 신호 측정 방법에 관한 것이다.

세계적인 고령화 추세에 따라 각종 재활 분야, 건강 검진 분야 등 의료 분야에 이용되는 헬스케어(Health care) 기술에 대한 중요성이 보다 높아지고 있다. 특히, 최근 코로나 19의 여파로 체외 진단 서비스 및 재택 건강 관리 서비스에 대한 필요성이 증대되면서, 생체 신호를 이용한 모니터링 기술에 대한 관심이 높아지고 있다. 인간의 생체 신호 데이터는 다양한 분야에서 활용될 수 있으며, 특히 생체 신호 중에서도 심박수(Heart rate) 데이터는 사용자의 운동량 분석, 감정 분석 등에 활용될 수 있다.

기존의 심박수 측정 방법은 사용자의 손가락 또는 귓볼에 특정 파장의 빛을 투사시키고, 반사 또는 투과되는 광도에 기반하여 혈액량 변화를 검출하여 심박수를 도출하였다. 이러한 방식에 기반한 심박수 측정 장치는 사용자의 피부와 밀착될 수 있는 접촉식 장치로 구현되어야 하므로, 손목 시계, 이어폰 등과 같은 웨어러블 기기에 주로 적용되었다. 그러나, 웨어러블 기기를 통하여 사용자의 심박수를 측정하는 경우, 사용자의 움직임, 긴장감 등에 의하여 다양한 노이즈가 발생할 수 있으므로, 보다 정확한 심박수를 측정하는데 어려움이 있다.

이러한 단점을 극복하기 위하여 카메라 영상을 이용한 비접촉식 심박수 측정 방법이 제안되었다. 비접촉식 심박수 측정 방법은 카메라 영상을 통하여 사용자의 얼굴을 인식하고, 생체 신호를 분석할 관심 영역을 설정하고, 해당 영역에서 심박수에 기반한 색상 변화 데이터를 획득하고, 해당 데이터를 처리하여 사용자의 심박수를 도출하였다. 비접촉식 심박수 측정 방법에 의하여 사용자의 심박수를 측정하는 경우, 정확한 심박수 측정을 위하여 심박수를 측정하는 시간 동안 사용자의 얼굴이 고정될 것이 요구된다. 그러나, 일상 생활 환경에서 발생할 수 있는 사용자의 미세한 움직임, 표정 변화 등에 의하여 노이즈가 발생할 수 있으므로, 보다 정확한 심박수를 측정하는데 한계가 있다.

본 개시는 적응형 블록 모듈(Adaptive block module)을 이용한 영상 기반의 비접촉식 생체 신호 측정 시스템 및 그것의 생체 신호 측정 방법을 제공하는 것을 목적으로 한다.

본 개시의 실시 예에 따른 생체 신호 측정 시스템은 사용자에 대한 영상을 획득하는 영상 획득 모듈, 상기 영상 획득 모듈로부터 제공된 상기 영상에 기반하여 얼굴 영역으로부터 추출된 생체 신호를 조합하고, 상기 사용자의 생체 신호를 추정하는 적응형 블록 모듈 및 상기 적응형 블록 모듈로부터 추정된 생체 신호를 외부로 출력하는 생체 신호 출력 모듈을 포함한다.

예로서, 상기 영상 획득 모듈은 적어도 하나의 촬영 장치를 포함하고, 상기 사용자에 대한 영상을 획득하는 영상 획득부 및 상기 획득된 사용자에 대한 영상을 저장하는 영상 저장부를 포함한다.

예로서, 상기 영상 획득부가 2 이상의 촬영 장치들을 포함하는 경우, 상기 영상 획득부는 상기 촬영 장치들의 위치, 해상도 및 화각을 일치시키기 위한 캘리브레이션(calibration) 동작을 수행한다.

예로서, 상기 적응형 블록 모듈은 상기 사용자에 대한 영상을 이용하여 상기 얼굴 영역을 검출하는 얼굴 영역 검출부, 상기 얼굴 영역 검출부로부터 검출된 상기 얼굴 영역 각각에 대한 가중치를 연산하는 영역 가중치 연산부, 상기 사용자에 대한 영상으로부터 상기 얼굴 영역을 제외한 배경 영역을 검출하는 배경 영역 검출부, 상기 배경 영역 각각에 대한 조명 변화를 검출하는 조명 변화 검출부, 상기 얼굴 영역 및 상기 조명 변화에 기반하여 상기 얼굴 영역 각각에 대하여 상기 생체 신호를 추출하는 생체 신호 추출부 및 상기 얼굴 영역 각각으로부터 추출된 상기 생체 신호 및 상기 얼굴 영역 각각에 대하여 연산된 상기 가중치를 조합하여 상기 사용자의 생체 신호를 추정하는 앙상블 보정부를 포함한다.

예로서, 상기 얼굴 영역 검출부는 얼굴 검출 동작 및 얼굴 랜드마크 추출 동작을 수행하고, 상기 얼굴 검출 동작은 바운딩 박스 형태로 상기 사용자의 얼굴이 위치하는 영상 좌표를 반환하도록 수행되고, 상기 얼굴 랜드마크 추출 동작은 표준 얼굴 모델에 기반하여 상기 사용자의 얼굴 모델을 추정하고, 상기 추정된 얼굴 모델에 기반하여 상기 얼굴 영역을 분리하도록 수행된다.

예로서, 상기 얼굴 검출 동작은 템플릿 매칭 또는 딥러닝 기반의 얼굴 탐색 기법에 의하여 수행된다.

예로서, 상기 생체 신호 출력 모듈은 상기 적응형 블록 모듈로부터 추정된 상기 사용자의 생체 신호에 대한 정보를 표시하는 생체 신호 정보 표시부를 포함한다.

예로서, 상기 생체 신호 출력 모듈은 상기 사용자의 생체 신호에 대한 정보를 외부로 송신하는 통신부를 더 포함한다.

본 개시의 실시 예에 따른 사용자의 심박수를 도출하기 위한 비접촉식 생체 신호 측정 시스템의 생체 신호 측정 방법에 있어서, 상기 생체 신호 측정 방법은 영상 획득 모듈로부터 획득된 상기 사용자에 대한 영상을 이용하여 상기 사용자의 얼굴 영역을 검출하는 단계, 상기 사용자에 대한 영상을 이용하여 배경 영역을 검출하는 단계, 상기 사용자의 얼굴 영역 각각에 대한 가중치를 연산하는 단계, 상기 배경 영역 각각에 대한 조명 변화를 검출하는 단계, 상기 조명 변화에 기반하여 상기 사용자의 얼굴 영역 각각으로부터 생체 신호를 추출하는 단계 및 상기 사용자의 얼굴 영역 각각에 대한 상기 가중치 및 상기 사용자의 얼굴 영역 각각으로부터 추출된 상기 생체 신호를 조합하여 상기 사용자의 생체 신호를 추정하는 단계를 포함한다.

예로서, 상기 생체 신호 측정 방법은 상기 추정된 생체 신호에 대한 정보를 표시 장치를 통하여 출력하는 단계를 더 포함한다.

예로서, 상기 생체 신호 측정 방법은 상기 추정된 생체 신호에 대한 정보를 외부로 송신하는 단계를 더 포함한다.

예로서, 상기 사용자의 얼굴 영역을 검출하는 단계는 상기 사용자의 얼굴이 위치하는 영상 좌표를 반환하는 단계, 표준 얼굴 모델에 기반하여 상기 사용자의 얼굴 모델을 추정하는 단계 및 상기 사용자의 얼굴 모델에 기반하여 상기 얼굴 영역을 분리하는 단계를 포함한다.

본 개시에 따른 생체 신호 측정 시스템 및 그것의 생체 신호 측정 방법에 의하면, 적응형 블록 모듈(Adaptive block module)을 통하여 다양한 환경 노이즈를 제거할 수 있으므로 보다 정확하게 사용자의 생체 신호 데이터를 도출할 수 있다.

도 1은 본 개시의 실시 예에 따른 생체 신호 측정 시스템을 나타내기 위한 블록도이다.
도 2는 본 개시의 실시 예에 따른 영상 획득 모듈의 동작을 설명하기 위한 도면이다.
도 3은 본 개시의 실시 예에 따른 적응형 블록 모듈의 동작을 설명하기 위한 블록도이다.
도 4는 본 개시의 실시 예에 따른 생체 신호 출력 모듈의 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 실시 예에 따른 생체 신호 측정 방법을 설명하기 위한 순서도이다.
도 6은 본 개시의 실시 예에 따른 생체 신호 측정 방법에 있어서, 생체 신호를 추정하는 방법을 설명하기 위한 순서도이다.

이하에서, 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 용이하게 실시할 수 있을 정도로, 본 개시의 실시 예들은 명확하고 상세하게 기재될 것이다.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며, 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서 사용된 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises) 및/또는 포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

본 명세서에서 사용되는 "제 1 및/또는 제 2" 등의 용어는 다양한 구성요소들을 설명하기 위하여 사용될 수 있으나, 이는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 목적으로만 사용될 뿐, 해당 용어로 지칭되는 구성요소를 한정하기 위한 것은 아니다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않는 한, 제 1 구성요소는 제 2 구성요소로 명명될 수 있으며, 제 2 구성요소 또한 제 1 구성요소로 명명될 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 잇는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서, 전문에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지칭할 수 있다.

도 1은 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)을 나타내기 위한 블록도이다. 도 1을 참조하면, 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)은 영상 획득 모듈(100), 적응형 블록 모듈(200) 및 생체 신호 출력 모듈(300)을 포함할 수 있다.

영상 획득 모듈(100)은 사용자의 얼굴 영상을 획득할 수 있다. 영상 획득 모듈(100)은 획득한 사용자의 얼굴 영상을 저장할 수 있다. 영상 획득 모듈(100)은 저장된 얼굴 영상 데이터(DATA_IMG)를 적응형 블록 모듈(200)에 전달할 수 있다. 영상 획득 모듈(100)의 상세한 구성은 후술할 도 2에서 설명될 것이다.

적응형 블록 모듈(200)은 영상 획득 모듈(100)로부터 수신한 얼굴 영상 데이터(DATA_IMG)에 기반하여 사용자의 생체 신호(SIG_B)를 추정할 수 있다. 예로서, 사용자의 생체 신호(SIG_B)는 심박수(Heart rate)일 수 있다. 적응형 블록 모듈(200)은 얼굴 영상 데이터(DATA_IMG)에서 일상 생활에서 발생할 수 있는 환경 노이즈를 제거할 수 있다. 예로서, 환경 노이즈는 사용자의 움직임, 표정 변화, 자기 가림, 주변의 조명 변화 등에 기인하는 노이즈일 수 있다. 적응형 블록 모듈(200)은 환경 노이즈를 제거한 후, 사용자의 생체 신호(SIG_B)를 추정하고, 생체 신호(SIG_B)를 생체 신호 출력 모듈(300)로 전달할 수 있다. 적응형 블록 모듈(200)의 상세한 구성은 후술할 도 3에서 설명될 것이다.

생체 신호 출력 모듈(300)은 적응형 블록 모듈(200)로부터 수신한 사용자의 생체 신호(SIG_B)에 대한 정보를 출력할 수 있다. 생체 신호 출력 모듈(300)의 상세한 구성은 후술할 도 4에서 설명될 것이다.

본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)은 적응형 블록 모듈(200)을 통하여 일상 생활에서 발생할 수 있는 다양한 환경 노이즈를 제거한 후, 사용자의 생체 신호(SIG_B)를 추출하므로, 사용자의 생체 신호(SIG_B)를 보다 정확하게 도출할 수 있다. 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)은 사용자의 신체 상태를 자체적으로 모니터링 하기 위하여 사용될 수 있다. 또한, 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)은 측정된 생체 신호(SIG_B) 정보를 외부로 송신하여 원격 의료 시스템에 사용될 수 있다. 또한, 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)은 측정된 생체 신호(SIG_B)에 기반하여 사용자의 감정 상태를 분석하고, 분석 결과에 기반하여 다양한 컨텐츠를 제공하기 위한 시스템에도 사용될 수 있다.

도 2는 본 개시의 실시 예에 따른 영상 획득 모듈(100)의 동작을 설명하기 위한 도면이다. 영상 획득 모듈(100)은 사용자(USER)의 생체 신호를 측정하기 위한 얼굴 영상 데이터(DATA_IMG)를 생성할 수 있다. 도 2를 참조하면, 영상 획득 모듈(100)은 영상 획득부(110) 및 영상 저장부(120)를 포함할 수 있다.

영상 획득부(110)는 사용자(USER)의 얼굴 영상(IMG)을 획득할 수 있다. 예로서, 사용자(USER)의 얼굴 영상(IMG)은 사용자(USER)에 대한 2차원의 컬러 영상 또는 사용자(USER)에 대한 3차원 영상일 수 있다.

영상 획득부(110)는 영상 획득부(110)는 적어도 하나의 촬영 장치를 포함할 수 있다. 예로서, 적어도 하나의 촬영 장치는 웹 캠, 모바일 디바이스 등의 카메라 모듈과 같이 2차원의 컬러 영상을 획득하기 위한 장치 또는 스테레오 카메라 또는 키넥트 등의 3차원 영상을 획득하기 위한 뎁스 카메라일 수 있다. 영상 획득부(110)가 복수의 촬영 장치들을 포함하는 경우, 촬영 장치의 위치, 해상도 및 화각을 일치시키기 위한 캘리브레이션(calibration) 동작을 수행할 수 있다. 캘리브레이션 동작은 하나의 촬영 장치를 기준으로 다른 촬영 장치들의 좌표를 아핀(Affine) 변환함으로써 수행될 수 있다. 한편, 영상 획득부(110)가 단일의 촬영 장치를 포함하는 경우, 캘리브레이션 동작은 생략될 수 있다. 영상 획득부(110)는 획득된 사용자(USER)의 얼굴 영상(IMG)을 영상 저장부(120)로 전달할 수 있다.

영상 저장부(120)는 영상 획득부(110)로부터 수신된 사용자(USER)의 얼굴 영상(IMG)을 저장할 수 있다. 영상 저장부(120)는 저장된 사용자(USER)의 얼굴 영상(IMG)에 기반한 얼굴 영상 데이터(DATA_IMG)를 적응형 블록 모듈(200, 도 1 참조)로 전달할 수 있다.

도 3은 본 개시의 실시 예에 따른 적응형 블록 모듈(200)의 동작을 설명하기 위한 블록도이다. 적응형 블록 모듈(200)은 영상 획득 모듈(100)로부터 수신한 얼굴 영상 데이터(DATA_IMG)로부터 환경 노이즈를 제거한 후, 사용자의 생체 신호(SIG_B)를 도출할 수 있다. 도 3을 참조하면, 적응형 블록 모듈(200)은 얼굴 영역 검출부(210), 영역 가중치 연산부(220), 배경 영역 검출부(230), 조명 변화 검출부(240), 생체 신호 추출부(250) 및 앙상블 보정부(260)를 포함할 수 있다.

얼굴 영역 검출부(210)는 얼굴 영상 데이터(DATA_IMG)를 수신하고, 얼굴 영상 데이터(DATA_IMG)로부터 생체 신호(SIG_B)를 측정하기 위한 사용자(USER, 도 2 참조)의 얼굴 영역을 검출할 수 있다. 얼굴 영역 검출은 얼굴 검출 동작 및 얼굴 랜드마크 추출 동작을 통하여 수행될 수 있다. 얼굴 검출 동작은 얼굴 랜드마크 추출을 위한 관심 영역을 설정하는 과정으로, 바운딩 박스 형태로 얼굴이 위치하는 영상 좌표를 반환하여 수행될 수 있다. 예로서, 얼굴 검출 동작은 템플릿 매칭, 딥러닝 기반의 얼굴 탐색 기법 등 다양한 방식에 의하여 수행될 수 있다.

얼굴 랜드마크 추출 동작은 사용자(USER)의 움직임 또는 표정 변화 감지 및 앙상블 데이터 구성을 위한 연산 영역 설정을 수행할 수 있다. 얼굴 랜드마크 추출 동작은 표준 얼굴 모델에 기반하여 사용자(USER)의 얼굴 모델을 추정한 후, 얼굴 영역을 분리하는 과정으로 진행될 수 있다. 얼굴 랜드마크는 표준 얼굴 모델에 기반한 좌표 값으로 출력될 수 있다. 예로서, 2차원의 표준 얼굴 모델을 이용하는 경우 2차원의 랜드마크 좌표 값이 출력될 수 있고, 3차원의 표준 얼굴 모델을 이용하는 경우 3차원의 랜드마크 좌표 값이 출력될 수 있다. 본 개시에 따른 실시 예에서, 얼굴 랜드마크 추출 동작은 매 프레임마다 얼굴 랜드마크를 인식하는 방법이 아닌, 사용자의 얼굴 모델을 추정한 후 각 얼굴 영역을 추출할 수 있다.

따라서, 촬영 장치의 전후 움직임에 따른 얼굴 스케일 변화 및 상하/좌우 얼굴 회전에 따른 얼굴 움직임 등에 따른 노이즈 발생을 최소화할 수 있다. 얼굴 영역 검출부(210)는 얼굴 검출 동작 및 얼굴 랜드마크 추출 동작을 수행한 후 획득된 사용자의 얼굴 영역을 나타내는 제 1 데이터(D1)를 생성하고, 이를 영역 가중치 연산부(220)로 전달할 수 있다.

영역 가중치 연산부(220)는 얼굴 영역 검출부(210)로부터 제 1 데이터(D1)를 수신하고, 이를 이용하여 시간별 가중치를 연산할 수 있다. 좀 더 상세하게는, 영역 가중치 연산부(220)는 제 1 데이터(D1)에 대하여, 일상 생활에서 발생할 수 있는 움직임에 따라 변화하는 얼굴 영역의 변화에 대한 시간별 가중치를 연산할 수 있다. 시간별 가중치란, 현재 프레임 단계에서 각 영역에 대한 신뢰도를 의미한다. 예로서, 일상 생활에서 발생할 수 있는 움직임은 현재 촬영 시점에서 가장 잘 보이는 얼굴 영역, 머리카락, 얼굴 움직임, 손 동작 등 순간적으로 발생하는 가림 상황 또는 감정에 따른 얼굴 표정 변화, 대화시 입 주변 영역의 변화 등을 포함하는 얼굴 표정 변화 등을 포함할 수 있으며, 일상 생활에서 발생할 수 있는 움직임이 발생한 경우, 가중치는 낮게 표현될 수 있다. 영역 가중치 연산부(220)에서 생성된 얼굴 영역 변화에 대한 시간별 가중치에 대한 제 2 데이터(D2)는 생체 신호 추출부(250) 및 앙상블 보정부(260)로 제공될 수 있다.

배경 영역 검출부(230)는 생체 신호(SIG_B)를 측정함에 있어서, 주변의 광도 변화에 따른 노이즈를 제거하기 위하여 얼굴 영상 이외의 영역을 추출할 수 있다. 예로서, 컬러 카메라로부터 획득되는 2차원의 영상을 이용하는 경우, 머신러닝 기법에 기반하여 사용자의 얼굴과 배경 영역을 구분(segmentation)할 수 있다. 또는, 뎁스 카메라로부터 획득되는 3차원의 영상을 이용하는 경우, 뎁스값을 이용하여 배경 영역을 추출할 수 있다. 배경 영역 검출부(230)는 얼굴 영역 외 모든 영역을 추출하는 것이 아니라, 주변 조도 환경을 잘 반영하는 반사도가 높은 객체 및 색상 또는 반사도에 따른 객체의 영역을 설정할 수 있다. 배경 영역 검출부(230)로부터 생성된 객체의 영역을 나타내는 제 3 데이터(D3)는 조명 변화 검출부(240)로 전달될 수 있다.

조명 변화 검출부(240)는 배경 영역 검출부(230)로부터 수신한 제 3 데이터(D3)에 기반하여 객체의 영역별 조명 강도를 획득할 수 있다. 이 경우, 객체의 영역을 설정하기 때문에 촬영 장치의 움직임이 발생하는 경우에도 주변 조명 강도의 변화를 감지할 수 있다. 조명 변화 검출부(240)는 획득된 조명 강도에 기반하여 전체 영상의 밝기 변화 트렌드를 추출하고, 이에 기반하여 조명 변화에 따른 노이즈를 제거할 수 있다. 조명 변화 검출부(240)는 조명 변화에 따른 노이즈를 제거한 제 4 데이터(D4)를 생성하고, 이를 생체 신호 추출부(250)로 제공할 수 있다.

생체 신호 추출부(250)는 제 2 데이터(D2) 및 제 4 데이터(D4)를 수신하고, 각 얼굴 영역에 대하여 시간에 따른 밝기 변화 신호로부터 생체 신호와 관련된 신호를 필터링하여 생체 신호를 추출할 수 있다. 예로서, 생체 신호 추출부(250)는 각 얼굴 영역에서 밝기 변화 신호를 푸리에 변환을 통하여 주파수 영역으로 변환하고, 심박수의 주파수 범위에서 피크 값을 취하고, 해당 피크 값을 시간 영역으로 변환하여 사용자(USER)의 심박수를 추출할 수 있다. 또는 심박수의 주파수 영역에 대하여 필터링한 데이터를 역푸리에 변환을 통하여 시간 영역으로 변환하여 시간 영역 상에서 심박수 신호를 추출하고, 피크 값을 취하여 사용자의 심박수를 추출할 수 있다. 생체 신호 추출부(250)로부터 추출된 생체 신호를 나타내는 제 5 데이터(D5)는 앙상블 보정부(260)로 제공될 수 있다.

앙상블 보정부(260)는 제 2 데이터(D2) 및 제 5 데이터(D5)를 수신하고, 각 얼굴 영역에 대한 가중치를 반영하여 각 얼굴 영역으로부터 추출된 생체 신호를 조합할 수 있다. 각 얼굴 영역에서 추출되는 생체 신호는 각 얼굴 영역별로 고유 신호 패턴을 가지고 있으므로, 앙상블 보정부(260)는 이들을 조합하여 사용자(USER)을 생체 신호(SIG_B)를 추정할 수 있다. 추정된 생체 신호(SIG_B)는 생체 신호 출력 모듈(300)로 제공될 수 있다.

도 4는 본 개시의 실시 예에 따른 생체 신호 출력 모듈(300)의 동작을 설명하기 위한 도면이다. 생체 신호 출력 모듈(300)은 적응형 블록 모듈(200, 도 1 참조)로부터 추정된 생체 신호(SIG_B)를 외부로 출력할 수 있다. 도 4를 참조하면, 생체 신호 출력 모듈(300)은 생체 신호 정보 표시부(310)를 포함할 수 있고, 경우에 따라 통신부(320)를 더 포함할 수 있다.

생체 신호 정보 표시부(310)는 사용자(USER, 도 2 참조)의 얼굴 영상으로부터 측정된 생체 신호(SIG_B)를 출력하는 장치를 포함할 수 있다. 예로서, 생체 신호 정보 표시부(310)는 프로젝터, 모니터 등과 같은 디스플레이 장치를 포함할 수 있다. 디스플레이 장치를 통하여 측정된 생체 신호(SIG_B)에 기반하여 생체 신호 정보를 표시하여, 사용자(USER)가 신체 상태에 대한 자가 모니터링을 수행할 수 있다.

통신부(320)는 사용자(USER, 도 2 참조)의 얼굴 영상으로부터 측정된 생체 신호(SIG_B)를 외부로 송신할 수 있다. 예로서, 외부에 존재하는 수신기(RCV)는 통신부(320)로부터 송신된 생체 신호(SIG_B)를 수신하고, 이를 원격 의료 시스템에 사용할 수 있다.

도 5는 본 개시의 실시 예에 따른 생체 신호 측정 방법을 설명하기 위한 순서도이다.

S110 단계에서, 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10, 도 1 참조)은 사용자(USER, 도 2 참조)의 얼굴 영상을 획득할 수 있다. 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)은 획득한 사용자의 얼굴 영상을 저장할 수 있다.

S120 단계에서, 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)은 사용자(USER)의 얼굴 영상으로부터 사용자(USER)의 생체 신호를 추정할 수 있다. 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)은 사용자(USER)의 움직임, 표정 변화 또는 주변 조도 변화에 따라 발생하는 노이즈를 제거한 생체 신호를 추정할 수 있으며, 생체 신호 추정 과정은 후술할 도 6에서 상세히 설명될 것이다.

S130 단계에서, 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)은 추정된 사용자의 생체 신호에 기반하여 생체 신호 정보를 외부로 출력할 수 있다. 예로서, 생체 신호 정보는 표시 장치에 의하여 사용자에게 표시되거나, 외부의 서버로 전송될 수 있다.

도 6은 본 개시의 실시 예에 따른 생체 신호 측정 방법에 있어서, 생체 신호를 추정하는 방법을 설명하기 위한 순서도이다.

S121 단계에서, 본 개시의 실시 예에 따른 생체 신호 측정 시스템(10)를 구성하는 적응형 블록 모듈(200, 도 1 참조)은 영상 획득 모듈(100, 도 1 참조)로부터 획득된 사용자(USER, 도 2 참조)의 영상을 수신할 수 있다.

S122 단계에서, 적응형 블록 모듈(200)은 획득된 사용자(USER) 영상에 기반하여 사용자(USER)의 얼굴 영역 및 배경 영역을 검출할 수 있다. 사용자의 얼굴 영역 검출은 얼굴 검출 동작 및 얼굴 랜드마크 추출 동작을 통하여 수행될 수 있다. 배경 영역 검출은 주변 조도 환경을 잘 반영하는 반사도가 높은 객체 및 색상 또는 반사도에 따른 객체 영역 추출 동작을 통하여 수행될 수 있다.

S123 단계에서, 적응형 블록 모듈(200)은 S122 단계에서 검출된 얼굴 영역을 이용하여 얼굴 영역에 대한 가중치를 연산할 수 있다. 좀 더 상세하게는, 적응형 블록 모듈(200)은 일상 생활에서 발생할 수 있는 움직임에 따라 변화하는 얼굴 영역의 변화에 대한 시간별 가중치를 연산할 수 있다.

S124 단계에서, 적응형 블록 모듈(200)은 S122 단계에서 검출된 배경 영역을 이용하여 배경 영역의 조명 변화를 검출할 수 있다. 적응형 블록 모듈(200)는 획득된 조명 강도에 기반하여 전체 영상의 밝기 변화 트렌드를 추출하고, 이에 기반하여 조명 변화에 따른 노이즈를 제거할 수 있다

S125 단계에서, 적응형 블록 모듈(200)은 각 얼굴 영역에 대하여 시간에 따른 밝기 변화 신호로부터 생체 신호와 관련된 신호를 필터링하여 생체 신호를 추출할 수 있다.

S126 단계에서, 적응형 블록 모듈(200)은 S123 단계에서 연산된 시간별 가중치 및 S125 단계에서 추출된 각 얼굴 영역으로부터 추출된 생체 신호들을 조합하여 사용자(USER)의 생체 신호를 추정할 수 있다.

일부 실시예에서, 상술한 도 5 및 도 6에 기반하여 설명된 본 개시의 실시 예에 따른 생체 신호 측정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다.

예로서, 컴퓨터 판독 가능 매체는 하드 디스크, 플로피 디스크, 자기 테이프와 같은 자기 매체(Magnetic media), CD-ROM, DVD와 같은 광 기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예로서, 프로그램 명령은 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드 뿐 아니라 인터프리터 등을 사용하여 컴퓨터에 의하여 실행될 수 있는 고급 언어 코드를 포함할 수 있으며, 하드웨어 장치는 본 개시의 동작을 수행하기 위한 하나 이상의 소프트웨어 모듈에 의하여 작동되도록 구성될 수 있다.

상술된 내용은 본 개시를 실시하기 위한 구체적인 실시 예들이다. 본 개시는 상술된 실시 예들 뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 개시는 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 개시의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 본 개시의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

10 : 생체 신호 측정 시스템
100 : 영상 획득 모듈
200 : 적응형 블록 모듈(Adaptive block module)
300 : 생체 신호 출력 모듈

Claims

사용자에 대한 영상을 획득하는 영상 획득 모듈;
상기 영상 획득 모듈로부터 제공된 상기 영상에 기반하여 얼굴 영역으로부터 추출된 생체 신호를 조합하고, 상기 사용자의 생체 신호를 추정하는 적응형 블록 모듈; 및
상기 적응형 블록 모듈로부터 추정된 생체 신호를 외부로 출력하는 생체 신호 출력 모듈을 포함하는 생체 신호 측정 시스템.
제 1 항에 있어서,
상기 영상 획득 모듈은:
적어도 하나의 촬영 장치를 포함하고, 상기 사용자에 대한 영상을 획득하는 영상 획득부; 및
상기 획득된 사용자에 대한 영상을 저장하는 영상 저장부를 포함하는 생체 신호 측정 시스템.
제 2 항에 있어서,
상기 영상 획득부가 2 이상의 촬영 장치들을 포함하는 경우, 상기 영상 획득부는 상기 촬영 장치들의 위치, 해상도 및 화각을 일치시키기 위한 캘리브레이션(calibration) 동작을 수행하는 생체 신호 측정 시스템.
제 1 항에 있어서,
상기 적응형 블록 모듈은:
상기 사용자에 대한 영상을 이용하여 상기 얼굴 영역을 검출하는 얼굴 영역 검출부;
상기 얼굴 영역 검출부로부터 검출된 상기 얼굴 영역 각각에 대한 가중치를 연산하는 영역 가중치 연산부;
상기 사용자에 대한 영상으로부터 상기 얼굴 영역을 제외한 배경 영역을 검출하는 배경 영역 검출부;
상기 배경 영역 각각에 대한 조명 변화를 검출하는 조명 변화 검출부;
상기 얼굴 영역 및 상기 조명 변화에 기반하여 상기 얼굴 영역 각각에 대하여 상기 생체 신호를 추출하는 생체 신호 추출부; 및
상기 얼굴 영역 각각으로부터 추출된 상기 생체 신호 및 상기 얼굴 영역 각각에 대하여 연산된 상기 가중치를 조합하여 상기 사용자의 생체 신호를 추정하는 앙상블 보정부를 포함하는 생체 신호 측정 시스템.
제 4 항에 있어서,
상기 얼굴 영역 검출부는 얼굴 검출 동작 및 얼굴 랜드마크 추출 동작을 수행하고,
상기 얼굴 검출 동작은 바운딩 박스 형태로 상기 사용자의 얼굴이 위치하는 영상 좌표를 반환하도록 수행되고,
상기 얼굴 랜드마크 추출 동작은 표준 얼굴 모델에 기반하여 상기 사용자의 얼굴 모델을 추정하고, 상기 추정된 얼굴 모델에 기반하여 상기 얼굴 영역을 분리하도록 수행되는 생체 신호 측정 시스템.
제 5 항에 있어서,
상기 얼굴 검출 동작은 템플릿 매칭 또는 딥러닝 기반의 얼굴 탐색 기법에 의하여 수행되는 생체 신호 측정 시스템.
제 1 항에 있어서,
상기 생체 신호 출력 모듈은 상기 적응형 블록 모듈로부터 추정된 상기 사용자의 생체 신호에 대한 정보를 표시하는 생체 신호 정보 표시부를 포함하는 생체 신호 측정 시스템.
제 7 항에 있어서,
상기 생체 신호 출력 모듈은 상기 사용자의 생체 신호에 대한 정보를 외부로 송신하는 통신부를 더 포함하는 생체 신호 측정 시스템.
사용자의 심박수를 도출하기 위한 비접촉식 생체 신호 측정 시스템의 생체 신호 측정 방법에 있어서:
영상 획득 모듈로부터 획득된 상기 사용자에 대한 영상을 이용하여 상기 사용자의 얼굴 영역을 검출하는 단계;
상기 사용자에 대한 영상을 이용하여 배경 영역을 검출하는 단계;
상기 사용자의 얼굴 영역 각각에 대한 가중치를 연산하는 단계;
상기 배경 영역 각각에 대한 조명 변화를 검출하는 단계;
상기 조명 변화에 기반하여 상기 사용자의 얼굴 영역 각각으로부터 생체 신호를 추출하는 단계; 및
상기 사용자의 얼굴 영역 각각에 대한 상기 가중치 및 상기 사용자의 얼굴 영역 각각으로부터 추출된 상기 생체 신호를 조합하여 상기 사용자의 생체 신호를 추정하는 단계를 포함하는 생체 신호 측정 방법.
제 9 항에 있어서,
상기 추정된 생체 신호에 대한 정보를 표시 장치를 통하여 출력하는 단계를 더 포함하는 생체 신호 측정 방법.
제 9 항에 있어서,
상기 추정된 생체 신호에 대한 정보를 외부로 송신하는 단계를 더 포함하는 생체 신호 측정 방법.
제 9 항에 있어서,
상기 사용자의 얼굴 영역을 검출하는 단계는:
상기 사용자의 얼굴이 위치하는 영상 좌표를 반환하는 단계;
표준 얼굴 모델에 기반하여 상기 사용자의 얼굴 모델을 추정하는 단계; 및
상기 사용자의 얼굴 모델에 기반하여 상기 얼굴 영역을 분리하는 단계를 포함하는 생체 신호 측정 방법.