KR102570982B1 - 비접촉 생체정보 측정 방법 - Google Patents

비접촉 생체정보 측정 방법 Download PDF

Info

Publication number
KR102570982B1
KR102570982B1 KR1020230004522A KR20230004522A KR102570982B1 KR 102570982 B1 KR102570982 B1 KR 102570982B1 KR 1020230004522 A KR1020230004522 A KR 1020230004522A KR 20230004522 A KR20230004522 A KR 20230004522A KR 102570982 B1 KR102570982 B1 KR 102570982B1
Authority
KR
South Korea
Prior art keywords
face
biometric information
user
component data
pixel change
Prior art date
Application number
KR1020230004522A
Other languages
English (en)
Inventor
천재두
Original Assignee
(주) 에버정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 에버정보기술 filed Critical (주) 에버정보기술
Priority to KR1020230004522A priority Critical patent/KR102570982B1/ko
Application granted granted Critical
Publication of KR102570982B1 publication Critical patent/KR102570982B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 비접촉 생체정보 측정 방법에 관한 것으로서, 사용자 얼굴을 포함하는 영상을 촬영하는 단계, 촬영된 영상의 프레임에서 얼굴 영역을 검출하는 단계, 얼굴 영역 내에서 랜드마크를 검출하고, 특정 랜드마크가 검출되면 추적모드를 개시하는 단계, 추적모드에서, 상기 얼굴 영역의 움직임을 검출하여 얼굴의 움직임이 기준치보다 작은 구간을 결정하는 단계 및 상기 결정된 구간에서 상기 얼굴 영역내의 피부 영역을 추출하고, 상기 피부 영역의 화소 변화 성분 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 사용자의 움직임이 발생하는 경우에도 사용자의 얼굴영상으로부터 정확한 생체정보 측정이 가능하도록 함으로써, 비대면 원격 진료 서비스를 향상시킬 수 있고, 의료기관 등에서 출입과정에서의 환자의 상태를 진단할 수 있도록 하여 행정절차를 간소화할 수 있는 효과가 있다.

Description

비접촉 생체정보 측정 방법{A Method For Measuring Biometric Information non-contact}
본 발명은 영상 기반 비접촉 생체정보 측정 방법에 관한 것으로서, 보다 상세하게는 움직임 잡음에 강인한 비접촉 생체정보 측정 기술에 관한 것이다.
일반적으로, 심박수, 산소포화도, 호흡수 등은 인체의 생리학적 상태를 진단하고 추적하기 위한 주요한 생체신호이다. 이들 생체신호의 모니터링을 위해 의료 현장에서 일반적으로 사용되는 방법으로는 가슴 등에 전극을 부착하여 전기적 심박 신호를 측정하는 ECG(Electrocardiography; 심전도), 손가락 끝이나 귀 등에 pulse oximeter라 불리는 광센서를 부착하여 심박수와 산소 포화도를 측정하는 PPG(Photoplethysmography; 광혈량측정법) 등이 있는데, 이들 방법들은 신체 일부에 센서를 접촉하여 그 상태가 유지되어야 하므로 측정시간 동안 대상자가 움직이지 않아야 한다는 단점이 있다.
이에 한국공개특허 제2020-0079691호 등에는 카메라를 이용하여 얼굴 영역 내 분광학적 미세 변화를 탐지하여 심박수 등을 측정할 때, 실시간성을 개선하는 이미지기반 비접촉식 생체신호 측정 장치 및 그것의 동작 방법이 제시되어 있다.
이러한 영상 기반 측정 방법의 편리성에 불구하고, 여전히 일상생활에서 적용되기에는 여러 이유에 의해 제한적이다. 영상 기반 측정 방법에서 연구 과제의 주요 쟁점은 신호 대 잡음비를 향상시키고, 조명 변화 및 동잡음의 노이즈를 극복하는 것이다.
이를 위해, 한국등록특허 제2150635에는 기준 심박수 데이터(PPG센서에서 측정된 PPG 데이터)를 라벨(Label)로 부여하여, 그에 대응하는 상대파워밀도(미세 움직임 데이터의 주파수 대역 크기를 정규화한 값)를 특징(Feature)으로서 데이터 셋(Data Set)을 구성하고, 구성된 데이터 셋에 대해 클러스터링(각 클러스터의 중심점의 추출과 중심 값에 대한 RPD의 거리 계산을 통해 소속 클러스터를 결정)을 수행하고, 각 클러스터의 라벨 분포의 첨도 값(Kurtosis)이 정규분포 이상이면 룰-베이스로 등록하며, 학습된 룰 베이스를 이용해 심박수를 결정 또는 추론하기 위하여 추출된 RPD와 상기 룰 베이스를 비교하여 가장 유사한 패턴을 보이는 룰베이스의 라벨(Label) 값을 최종 심박수로 결정하는 기술이 제시되어 있다.
상기 선행문헌은 실제 측정값에 대한 상대파워밀도의 패턴을 학습하여 심박수를 검출하는 기술로서, 얼굴이 움직이거나 조명이 변화하는 경우에는 상대파워밀도의 패턴 자체가 변화되므로 얼굴 움직임에는 충분히 대응하지 못하는 문제점이 있다.
그리고, 한국공개특허 제2019-0109654호에는 영상 내에 포함된 사용자 얼굴을 색상이 유사한 복수의 픽셀을 포함하는 복수의 영역으로 그룹핑하고, 동일 그룹으로 그룹핑된 복수의 영역에 대한 펄스 신호를 인공지능 학습모델에 입력하여 사용자의 심장 박동을 획득하는 기술이 제시되어 있다.
상기 선행문헌은 조명 변화 또는 사용자 움직임에 의해 사용자 얼굴 피부가 변화하는 경우에는 유용하나, 얼굴 움직임 주기가 심박수에 가까운 경우와 같이 움직임 외란이 발생하는 경우에는 측정 정확도가 낮은 문제점이 있다.
한편, 환자가 진료를 위해 병원 등의 의료기관을 찾는 경우 출입 확인, 본인 확인, 간호사 확인, 생체정보 측정 등의 복잡한 과정을 거치게 되는데 이러한 과정은 상당한 시간이 소요되고 그 절차가 복잡하여 환자의 입장에서는 매우 번거로운 것이다.
1. 한국공개특허 제2020-0079691호 (카메라 기반 비접촉식 생체신호 측정 장치 및 그것의 동작 방법) 2. 한국등록특허 제10-2150635호 (비전 기반 심박수 측정 방법) 3. 한국등록특허 제10-2019-0109654호 (심장 박동을 측정하기 위한 전자 장치 및 방법)
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 사용자의 움직임 잡음에 강인한 생체정보 측정장치를 제공하여 비접촉식으로 사용자의 생체정보를 신속 정확하게 검출할 수 있도록 하는 것이다.
본 발명의 다른 목적은 환자의 의료기관 입장 시 얼굴인식을 통한 사용자 인증과 함께 사용자의 생체정보를 획득함으로써 진료 절차를 매우 간소화할 수 있도록 하는 것이다.
본 발명의 또 다른 목적은 얼굴 정보 기반 원격 개인 건강관리를 위한 비대면 원격진료 시스템에 적용할 수 있는 생체정보 측정장치를 제공하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일측면에 따르면, 사용자 얼굴을 포함하는 영상을 촬영하는 단계, 촬영된 영상의 프레임에서 얼굴 영역을 검출하는 단계, 얼굴 영역 내에서 랜드마크를 검출하고, 특정 랜드마크가 검출되면 추적모드를 개시하는 단계, 추적모드에서, 상기 얼굴 영역의 움직임을 검출하여 얼굴의 움직임이 기준치보다 작은 구간을 결정하는 단계 및 상기 결정된 구간에서 상기 얼굴 영역내의 피부 영역을 추출하고, 상기 피부 영역의 화소 변화 성분 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 비접촉 생체정보 측정 방법이 제공된다.
여기서, 상기 추적모드는 상기 얼굴의 움직임 성분 데이터를 추출하는 단계를 더 포함하고, 상기 얼굴의 움직임 성분 데이터와 상기 피부 영역의 화소 변화 성분 데이터를 이용하여 사용자의 생체정보를 측정하는 것이 바람직하다.
그리고, 상기 얼굴 영역내의 피부 영역은 복수 개의 스팟 영역으로 분할되고, 상기 복수 개의 스팟 영역 중에서 미리 설정된 측정 스팟 영역들의 화소 변화 성분 데이터를 이용하여 사용자의 생체정보가 측정되되, 상기 측정 스팟 영역은 접촉식 생체측정 센서를 이용하여 측정된 사용자 생체정보와 비교하여 화소 변화 성분 데이터를 이용하여 측정된 사용자의 생체정보의 유사도가 기준치보다 높은 스팟 영역인 것이 보다 바람직하다.
또한, 검출된 랜드마크를 기초로 사용자 인증을 처리하는 단계를 더 포함하고, 사용자 인증이 처리되면, 기 저장된 사용자 정보로부터 상기 측정 스팟 영역들의 좌표정보가 추출되도록 하는 것이 가능하다.
또한, 입력 데이터로서 상기 얼굴의 움직임 성분 데이터와 상기 피부 영역의 화소 변화 성분 데이터를 학습모델에 입력하여 사용자의 생체정보를 측정하는 것이 더욱 바람직하다.
여기서, 상기 입력 데이터로서 상기 피부 영역의 화소 변화 성분 데이터는 피부 영역 중 복수 개의 측정 스팟 영역들의 화소 변화 성분 데이터를 포함할 수 있다.
그리고, 검출된 랜드마크를 기초로 사용자 인증을 처리하는 단계를 더 포함하고, 사용자 인증이 처리되면, 기 저장된 사용자 정보로부터 상기 측정 스팟 영역들의 좌표정보가 추출되는 것이 가능하다.
본 발명에 의하면, 사용자의 움직임이 발생하는 경우에도 사용자의 얼굴영상으로부터 정확한 생체정보 측정이 가능하도록 함으로써, 비대면 원격 진료 서비스를 향상시킬 수 있고, 의료기관 등에서 출입과정에서의 환자의 상태를 진단할 수 있도록 하여 행정절차를 간소화할 수 있는 효과가 있다.
도 1은 본 발명에 따른 비접촉 생체정보 측정 시스템의 구성을 나타낸 것이다.
도 2는 본 발명에 따른 비접촉 생체정보 측정방법이 수행되는 과정을 도시한 흐름도이다.
도 3은 열굴 영상에서 랜드마크, 측정 스팟 영역, 얼굴 윤곽선을 나타낸 것이다.
도 4는 본 발명의 다른 실시예에에 따른 비접촉 생체정보 측정 시스템의 구성을 나타낸 것이다.
도 5는 학습모델을 이용한 비접촉 생체정보 측정방법을 설명하기 위한 도면이고, 도 6은 입력치에 대한 라벨링 방법을 나타낸 것이다.
도 7은 학습모델을 이용한 비접촉 생체정보 측정방법의 다른 일례를 설명하기 위한 도면이고, 도 8은 입력치에 대한 라벨링 방법을 나타낸 것이다.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 비접촉 생체정보 측정 시스템의 구성을 나타낸 것이다.
도 1을 참조하면, 본 발명에 따른 비접촉 생체정보 측정 시스템은 사용자의 얼굴을 촬영하는 카메라(10)와, 카메라(10)로 촬영된 사용자의 얼굴 영상으로부터 심박수 등의 생체정보를 계측하는 처리부(20) 및 계측된 생체정보를 표시하는 표시부(30)를 포함하여 구성된다.
처리부(20)는 카메라(10)에서 촬영된 연속하는 복수의 영상 프레임(동영상 데이터)을 저장하는 영상 기록부와, 영상 기록부에 저장된 영상 프레임을 추출하여 생체정보를 계측하는 연산부와, 연산부에서 산출된 계측 결과를 표시부(30)에 표시하는 표시 제어부를 포함한다.
처리부(20)에서 카메라(10)로 촬영된 사용자의 얼굴 영상으로부터 심박수 등의 생체정보를 계측하는 과정은 이하의 도 2에서 상세하게 설명하기로 한다.
도 2는 본 발명에 따른 비접촉 생체정보 측정방법이 수행되는 과정을 도시한 흐름도이다.
우선, 카메라(10)는 사용자 얼굴을 포함하는 영상을 촬영하고, 촬영된 영상 데이터를 처리부(20)로 전송한다(S10). 처리부(20)는 수신된 영상에서 1프레임 이미지를 RGB 좌표계에서 HSV 좌표계로 변환하고, HSV 영상에서 H(hue)성분만 추출한다.
그 다음, 영상 내에서 얼굴 영역이 검출된다(S20).
얼굴 영역 검출을 위해 추출 영상을 회색으로 변환한 후 히스토그램을 균일화하는 전처리 과정이 수행된다. 얼굴 영역의 검출은 피부색의 색상과 채도를 기준으로 특정 크기의 픽셀이 얼굴인지 아닌지를 판단할 수 있다.
얼굴 영역이 검출되면, 얼굴 영역 내에 위치하는 복수 개의 랜드마크가 검출된다(S30). 전처리 후 프레임 이미지에서 MCT Adaboost 알고리즘을 이용하여 랜드마크가 검출된다. 랜드마크는 얼굴 정면에서 검출되며, 64개의 랜드마크가 검출될 수 있다. 랜드마크 중 코 영역이 검출되면 추적모드가 시작된다.
추적 모드가 개시되면, 얼굴 영역 중 피부 영역이 추출되고, 얼굴 움직임을 검출하여 움직임이 최소인 구간을 결정한다(S40). 이 구간은 얼굴의 움직임이 기준치보다 작은 구간으로 결정될 수 있다. 즉, 생체정보 검출이 가능한 시간 구간 내에 얼굴의 움직임이 기준치보다 크기 않은 경우 해당 시간 구간에 촬영된 영상을 대상으로 생체정보가 측정되도록 한다.
해당 시간 구간에서 피부 영역의 화소 변화 성분 데이터가 획득되고, 이 데이터에 대하여 FFT(Fast Fourier Transform)를 수행하여 메인 심박 주파수를 찾아낸다(S50).
도 3은 열굴 영상에서 랜드마크, 후보 측정 스팟 영역, 얼굴 윤곽선을 나타낸 것이다.
도 3에는 S30 단계에서 검출된 복수 개의 랜드마크(L)가 표시되어 있다. 그리고 얼굴 윤곽선(F)는 추출된 랜드마크(L)을 포함하도록 타원형으로 형성되는 대략적인 얼굴의 윤곽형태를 표현한 도형이다.
본 발명에서 얼굴 윤곽선(F)은 도형의 크기에 따라 사용자 얼굴과 카메라(10) 간의 거리를 예측하고, 예측된 거리에 따라 화소의 색상 변화를 보정하는 용도 또는 예측된 거리에 따라 측정된 생체정보값이 달라지는 정도를 학습하기 위한 용도로 사용될 수 있다.
한편, 측정 스팟 영역(A)은 피부 영역 중에서 화소 변화 성분 데이터를 분석하기 위해 선택된 세부 영역으로, 피부 영역 전체가 아닌 측정 스팟 영역(A)에 대해서만 화소 변화 성분 데이터를 분석하여 측정 시간을 단축시킴과 동시에 생체정보 측정 정확도를 높일 수 있도록 한다.
측정 스팟 영역(A)은 미리 설정된 다수 개의 후보 스팟 영역에 대하여 접촉식 생체측정 센서를 이용하여 측정된 사용자 생체정보와 비교하여 화소 변화 성분 데이터를 이용하여 측정된 사용자의 생체정보의 유사도가 기준치보다 높은 스팟 영역들을 선별하여 결정될 수 있다.
따라서, 처리부(20)는 미리 설정된 복수의 측정 스팟 영역(A)에 대하여 화소 변화 성분 데이터를 분석하고, 측정값들의 평균값 또는 측정값이 유사한 값들만의 평균값 등을 이용하여 사용자 생체정보를 측정한다.
도 4는 본 발명의 다른 실시예에에 따른 비접촉 생체정보 측정 시스템의 구성을 나타낸 것이다.
도 4의 실시예는 병원 등의 의료기관에서의 진료 등록 또는 원격 의료진단에 적용될 수 있다.
도 4에서 카메라(10), 처리부(20) 및 표시부(30)는 하나의 단말기(1) 내에 구비될 수 있고, 단말기(1)는 의료기관의 입구 부근에 설치되어 사용자 확인과 사용자의 생체정보 획득 등의 목적으로 사용될 수 있다.
단말기(1)는 사용자 인증서버(2)와 통신망을 통해 연결되어 촬영된 사용자 얼굴 영상을 사용자 인증서버(2)로 전송하고, 사용자 인증서버(2)로부터 사용자 확인 또는 인증 신호를 수신한다.
본 발명은 이러한 사용자 확인 후 사용자의 생체정보를 측정하는 과정을 포함할 수 있다. 여기서, 사용자 확인과 생체정보 측정은 단말기(1)에서 수행되는 것과, 사용자 인증서버(2)에서 수행되는 것이 모두 가능하다.
그리고, 도 3에서 설명한 측정 스팟 영역(A)의 좌표정보가 사용자 인증서버(2)의 사용자 정보에 미리 저장될 수 있다. 즉, 사람마다 생체정보 취득이 용이하고 그 값의 정확도가 높은 측정 스팟 영역(A)은 다를 수 있다. 따라서, 사용자 정보 등록 시에 다수의 측정영역에 대하여 측정된 생체정보 측정치를 실제 측정치와 비교하여 유사도가 높은 측정영역들을 측정 스팟 영역(A)으로 설정하고, 해당 영역의 좌표정보를 저장할 수 있다. 여기서, 실제 측정치는 접촉식 생체정보 측정장치를 이용하여 측정된 값이나 사용자의 움직임이 없고 조명 환경 등이 엄격하게 제어된 상태에서 카메라를 이용하여 촬영한 영상 분석을 통해 획득한 생체정보 측정치일 수 있다.
도 5는 학습모델을 이용한 비접촉 생체정보 측정방법을 설명하기 위한 도면이고, 도 6은 입력치에 대한 라벨링 방법을 나타낸 것이다.
도 5의 실시예는 FFT를 통해 획득한 생체정보값을 이용하는 것이 아니라 측정된 화소 변화 성분 데이터를 실제 측정값으로 라벨링하여 학습모델에 입력한 후, 학습을 통해 생체신호를 측정하도록 하는 것이다.
얼굴 움직임에 강인한 생체정보 측정을 위하여, 본 발명에서는 복수개의 측정 스팟 영역(A)에서 측정된 화소 변화 성분 데이터를 입력값으로 사용하고, 각 입력값에 대하여 실제 측정값으로 라벨링하여 학습모델에 입력한다. 도 6에서 입력값이 4개인 경우를 예시하고 있으며, 이는 4개의 측정 스팟 영역(A)에서 측정된 화소 변화 성분 데이터가 입력치로서 사용되는 것을 의미한다.
여기서, 실제 측정값은 상술한 바와 같이, 접촉식 생체정보 측정장치를 이용하여 측정된 값이나 사용자의 움직임이 없고 조명 환경 등이 엄격하게 제어된 상태에서 카메라를 이용하여 촬영한 영상 분석을 통해 획득한 생체정보 측정치일 수 있다.
본 실시예에서는 측정정확도가 높은 여러 지점에서 측정된 화소 변화 성분 데이터들을 이용하여 학습이 이루어지므로 얼굴이 움직임이 발생하거나 조명이 변화하는 경우에도 종래에 비해 높은 정확도의 생체 정보 측정이 가능하게 된다.
그리고, 본 실시예에서 화소 변화 성분 데이터로서 신호 파형값을 입력으로 사용하였으나, 경우에 따라서는 입력값이 단순한 경우 학습 정확도가 더 높아질 수 있다. 따라서, 입력값으로 신호 파형값이 아닌 측정 스팟 영역(A)에서 측정된 화소 변화 성분 데이터를 통해 측정한 생체측정값을 입력으로 사용하는 것도 가능하다.
도 7은 학습모델을 이용한 비접촉 생체정보 측정방법의 다른 일례를 설명하기 위한 도면이고, 도 8은 입력치에 대한 라벨링 방법을 나타낸 것이다.
도 7의 실시예는 얼굴 움직임에 따른 노이즈 발생 성분을 고려하기 위하여, 도 5의 실시예에서 입력값으로서 얼굴 움직임 성분 데이터를 더 추가한 것이다.
본 실시예서는 얼굴 움직임 성분 데이터와 복수개의 측정 스팟 영역(A)에서 측정된 화소 변화 성분 데이터를 입력값으로 사용하고, 각 입력값에 대하여 실제 측정값으로 라벨링하여 학습모델에 입력한다. 도 6에서 입력값이 4개인 경우를 예시하고 있으며, 이는 1개의 얼굴 움직임 성분 데이터와 3개의 측정 스팟 영역(A)에서 측정된 화소 변화 성분 데이터가 입력치로서 사용되는 것을 의미한다.
본 실시예에서는 측정정확도가 높은 여러 지점에서 측정된 화소 변화 성분 데이터들을 이용하여 학습이 이루어짐과 아울러 학습 과정에서 얼굴 움직임 성분도 반영하여 학습이 이루어지므로 얼굴 움직임에 따른 노이즈를 제거할 수 있어 더욱 높은 정확도의 생체 정보 측정이 가능하게 된다.
비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.
1 : 출입통제 단말기 2 : 사용자 인증서버
10 : 카메라 20 : 처리부
30 : 표시부 L : 랜드마크
A : 측정 스팟 영역 F : 얼굴 윤곽선

Claims (7)

  1. 사용자 얼굴을 포함하는 영상을 촬영하는 단계;
    촬영된 영상의 프레임에서 얼굴 영역을 검출하는 단계;
    얼굴 영역 내에서 랜드마크를 검출하고, 특정 랜드마크가 검출되면 추적모드를 개시하는 단계;
    추적모드에서, 상기 얼굴 영역의 움직임을 검출하여 얼굴의 움직임이 기준치보다 작은 구간을 결정하는 단계; 및
    상기 결정된 구간에서 상기 얼굴 영역내의 피부 영역을 추출하고, 상기 피부 영역의 화소 변화 성분 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 비접촉 생체정보 측정 방법.
  2. 제1 항에 있어서,
    상기 추적모드는 상기 얼굴의 움직임 성분 데이터를 추출하는 단계를 더 포함하고,
    상기 얼굴의 움직임 성분 데이터와 상기 피부 영역의 화소 변화 성분 데이터를 이용하여 사용자의 생체정보를 측정하는 것을 특징으로 하는 비접촉 생체정보 측정 방법.
  3. 제1 항에 있어서,
    상기 얼굴 영역내의 피부 영역은 복수 개의 스팟 영역으로 분할되고, 상기 복수 개의 스팟 영역 중에서 미리 설정된 측정 스팟 영역들의 화소 변화 성분 데이터를 이용하여 사용자의 생체정보가 측정되되,
    상기 측정 스팟 영역은 접촉식 생체측정 센서를 이용하여 측정된 사용자 생체정보와 비교하여 화소 변화 성분 데이터를 이용하여 측정된 사용자의 생체정보의 유사도가 기준치보다 높은 스팟 영역인 것을 특징으로 하는 비접촉 생체정보 측정 방법.
  4. 제3 항에 있어서,
    검출된 랜드마크를 기초로 사용자 인증을 처리하는 단계를 더 포함하고, 사용자 인증이 처리되면, 기 저장된 사용자 정보로부터 상기 측정 스팟 영역들의 좌표정보가 추출되는 것을 특징으로 하는 비접촉 생체정보 측정 방법.
  5. 제2 항에 있어서,
    입력 데이터로서 상기 얼굴의 움직임 성분 데이터와 상기 피부 영역의 화소 변화 성분 데이터를 학습모델에 입력하여 사용자의 생체정보를 측정하는 것을 특징으로 하는 비접촉 생체정보 측정 방법.
  6. 제5 항에 있어서,
    상기 입력 데이터로서 상기 피부 영역의 화소 변화 성분 데이터는 피부 영역 중 복수 개의 측정 스팟 영역들의 화소 변화 성분 데이터를 포함하는 것을 특징으로 하는 비접촉 생체정보 측정 방법.
  7. 제6 항에 있어서,
    검출된 랜드마크를 기초로 사용자 인증을 처리하는 단계를 더 포함하고, 사용자 인증이 처리되면, 기 저장된 사용자 정보로부터 상기 측정 스팟 영역들의 좌표정보가 추출되는 것을 특징으로 하는 비접촉 생체정보 측정 방법.
KR1020230004522A 2023-01-12 2023-01-12 비접촉 생체정보 측정 방법 KR102570982B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230004522A KR102570982B1 (ko) 2023-01-12 2023-01-12 비접촉 생체정보 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230004522A KR102570982B1 (ko) 2023-01-12 2023-01-12 비접촉 생체정보 측정 방법

Publications (1)

Publication Number Publication Date
KR102570982B1 true KR102570982B1 (ko) 2023-08-25

Family

ID=87846925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230004522A KR102570982B1 (ko) 2023-01-12 2023-01-12 비접촉 생체정보 측정 방법

Country Status (1)

Country Link
KR (1) KR102570982B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150059631A (ko) * 2013-11-22 2015-06-01 삼성전자주식회사 심박수 측정 방법 및 이를 위한 장치
KR20170028113A (ko) * 2015-09-03 2017-03-13 주식회사 제론헬스케어 스킨컬러 필터를 이용한 심박수 측정시스템
KR20190109654A (ko) 2018-03-07 2019-09-26 삼성전자주식회사 심장 박동을 측정하기 위한 전자 장치 및 방법
US20200079691A1 (en) 2013-08-12 2020-03-12 Certainteed Gypsum, Inc. Struvite-K and Syngenite Composition for Use in Building Materials
KR20200079691A (ko) * 2018-12-26 2020-07-06 한국전자통신연구원 카메라 기반 비접촉식 생체신호 측정 장치 및 그것의 동작 방법
KR102150635B1 (ko) 2019-01-11 2020-09-01 (주)감성과학연구센터 비전 기반 심박수 측정 방법
KR20200139039A (ko) * 2019-06-03 2020-12-11 계명대학교 산학협력단 카메라를 이용한 비접촉 ppg 신호 측정 시스템 및 그 구동 방법
KR20210094421A (ko) * 2020-01-21 2021-07-29 성균관대학교산학협력단 얼굴영상을 이용한 강인한 맥박수 및 호흡수 측정 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200079691A1 (en) 2013-08-12 2020-03-12 Certainteed Gypsum, Inc. Struvite-K and Syngenite Composition for Use in Building Materials
KR20150059631A (ko) * 2013-11-22 2015-06-01 삼성전자주식회사 심박수 측정 방법 및 이를 위한 장치
KR20170028113A (ko) * 2015-09-03 2017-03-13 주식회사 제론헬스케어 스킨컬러 필터를 이용한 심박수 측정시스템
KR20190109654A (ko) 2018-03-07 2019-09-26 삼성전자주식회사 심장 박동을 측정하기 위한 전자 장치 및 방법
KR20200079691A (ko) * 2018-12-26 2020-07-06 한국전자통신연구원 카메라 기반 비접촉식 생체신호 측정 장치 및 그것의 동작 방법
KR102150635B1 (ko) 2019-01-11 2020-09-01 (주)감성과학연구센터 비전 기반 심박수 측정 방법
KR20200139039A (ko) * 2019-06-03 2020-12-11 계명대학교 산학협력단 카메라를 이용한 비접촉 ppg 신호 측정 시스템 및 그 구동 방법
KR20210094421A (ko) * 2020-01-21 2021-07-29 성균관대학교산학협력단 얼굴영상을 이용한 강인한 맥박수 및 호흡수 측정 방법 및 장치

Similar Documents

Publication Publication Date Title
EP3414739B1 (en) Device, system and method for pulsatility detection
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
US20200178809A1 (en) Device, system and method for determining a physiological parameter of a subject
EP2960862B1 (en) A method for stabilizing vital sign measurements using parametric facial appearance models via remote sensors
Gupta et al. MOMBAT: Heart rate monitoring from face video using pulse modeling and Bayesian tracking
TWI772751B (zh) 活體偵測裝置及方法
Kossack et al. Automatic region-based heart rate measurement using remote photoplethysmography
KR102150635B1 (ko) 비전 기반 심박수 측정 방법
Panigrahi et al. Non-contact HR extraction from different color spaces using RGB camera
Malasinghe et al. A comparative study of common steps in video-based remote heart rate detection methods
Lin et al. Contactless monitoring of pulse rate and eye movement for uveal melanoma patients undergoing radiation therapy
Oviyaa et al. Real time tracking of heart rate from facial video using webcam
KR102570982B1 (ko) 비접촉 생체정보 측정 방법
US20240242537A1 (en) Method for measuring non-contact biometric information
TWI759218B (zh) 非接觸式心律類別監測系統及方法
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
CN117918021A (zh) 从摄像头观察结果中提取信号
Sinhal et al. Color intensity: a study of RPPG algorithm for heart rate estimation
Le et al. Heart Rate Estimation Based on Facial Image Sequence
Kim et al. The non-contact biometric identified bio signal measurement sensor and algorithms
Malini Non-Contact Heart Rate Monitoring System using Deep Learning Techniques
Sturekova et al. Non-Contact Detection of Vital Parameters with Optoelectronic Measurements under Stress in Education Process
Cruz et al. Non-contact heart rate and respiratory rate monitoring system using histogram of oriented gradients
CN113273961B (zh) 活体检测装置及方法
Ansari et al. ChPOS: A contactless and continuous method for estimation of heart rate from face

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant