KR101777472B1 - 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법 - Google Patents
스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법 Download PDFInfo
- Publication number
- KR101777472B1 KR101777472B1 KR1020150171253A KR20150171253A KR101777472B1 KR 101777472 B1 KR101777472 B1 KR 101777472B1 KR 1020150171253 A KR1020150171253 A KR 1020150171253A KR 20150171253 A KR20150171253 A KR 20150171253A KR 101777472 B1 KR101777472 B1 KR 101777472B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- smartphone
- rgba
- respiration
- heartbeat
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009977 dual effect Effects 0.000 title claims abstract description 14
- 230000000241 respiratory effect Effects 0.000 title 1
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 37
- 230000033001 locomotion Effects 0.000 claims abstract description 20
- 210000001015 abdomen Anatomy 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 230000003595 spectral effect Effects 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000010183 spectrum analysis Methods 0.000 claims description 2
- 238000010989 Bland-Altman Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 208000010496 Heart Arrest Diseases 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 206010042434 Sudden death Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 208000014221 sudden cardiac arrest Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0535—Impedance plethysmography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
- A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Pulmonology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Hematology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
본 발명은 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법에 대한 것이다.
본 발명의 특징은 사람의 PPG신호, 가슴과 배의 움직임에 대한 비주얼 데이터를 수집하는 제1단계, 비주얼 데이터를 RGBA 신호로 변환하는 제2단계, RGBA 신호에서 범위안의 주파수만 나오도록 밴드 패스 필터를 적용하는 제3단계, 제3단계에서 밴드 패스 필터가 적용된 RGBA 신호에서 처음과 마지막의 일정 부분을 제거하는 제4단계, 제4단계에서 일정 부분이 제거된 RGBA 신호에서 가장 높은 표준 편차를 가지는 색상 채널을 선택하는 제5단계, 제5단계에서 선택된 색상 채널에 스플라인 필터를 적용하는 제6단계, 파워 스펙트럼 밀도를 계산하는 제7단계, 심장박동과 호흡률을 계산하는 제8단계를 포함하는 한다.
본 발명의 특징은 사람의 PPG신호, 가슴과 배의 움직임에 대한 비주얼 데이터를 수집하는 제1단계, 비주얼 데이터를 RGBA 신호로 변환하는 제2단계, RGBA 신호에서 범위안의 주파수만 나오도록 밴드 패스 필터를 적용하는 제3단계, 제3단계에서 밴드 패스 필터가 적용된 RGBA 신호에서 처음과 마지막의 일정 부분을 제거하는 제4단계, 제4단계에서 일정 부분이 제거된 RGBA 신호에서 가장 높은 표준 편차를 가지는 색상 채널을 선택하는 제5단계, 제5단계에서 선택된 색상 채널에 스플라인 필터를 적용하는 제6단계, 파워 스펙트럼 밀도를 계산하는 제7단계, 심장박동과 호흡률을 계산하는 제8단계를 포함하는 한다.
Description
본 발명은 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법에 대한 것이다.
최근 핸드폰, 스마트폰, 스마트 패드와 같은 휴대용 기기, 그중에서도 특히 스마트 폰의 성능이 급격히 향상됨에 따라 기존에 할 수 없었던 다양한 기능을 수행할 수 있게 되었다. 특히 최근의 스마트폰은 가속도 센서, 자이로스코프, 터치 센서, 온도 센서, 조도 센서, 중력 센서, 지자기 센서 및 위치 감지 센서 등의 다양한 종류의 센서를 포함하고, 고성능 카메라를 구비함과 더불어 연산 속도의 비약적인 향상에 의해 하드웨어적으로 혁신적인 향상이 있었다. 이러한 스마트폰의 하드웨어적 성능 향상은 단순히 기능의 향상을 의미하지 않고, 어플리케이션 서버를 통한 다양한 어플리케이션을 전송받아 설치하여 구동할 수 있도록 함으로서 스마트폰의 활용 분야를 비약적으로 확대시키고 있다. 이러한 확대된 스마트폰의 활용 분야 중 하나로 최근에는 의료 분야가 주목되고 있다. 스마트폰은 휴대용 단말기라는 기기의 특성상 사용자가 항시 휴대하고 있을 가능성이 높다. 이는 사용자의 건강 상태를 수시로 확인해야하는 의료 분야에 적합하며, 향상된 스마트폰의 기능은 다양한 의료용 어플리케이션을 스마트폰에 설치함에 의해 스마트 폰이 사용자의 건강 상태를 다양한 방법으로 측정 가능할 수 있도록 하고 있다.
가장 일반적으로 사용되는 호흡 측정방법은 가슴의 움직임이나 청진법(auscultation)을 이용한 호흡 소리를 이용하는 것이다. 이러한 방법들은 정확도나 불규칙성에 의해 제약이 있었다.
심전도 측정 방법의 경우 센서가 환자의 심박 신호를 아날로그 형태로 감지한 후 usb 케이블 등을 통하여 전용 단말기에 전송하게 되며, 이후 전용 단말기는 MCU(Micro Control Unit), ADC(Analog-to-Digital Converter)등을 이용하여 아날로그 심박 신호를 디지털 심박 신호로 변환한 뒤 분석을 수행한다.
그러나, 현재 사용되고 있는 심전도 측정 장치의 경우 심박 측정 센서를 통해 획득한 아날로그 심박 신호를 디지털 심박 신호로 변환하기 위하여 전용 단말기에 MCU등을 내장해야하기 때문에 정확도에서 오류가 많고, 제조 단가 및 판매 가격이 매우 높다는 문제점이 있다. 따라서, 최근에는 제조 단가를 낮추기 위해 전용 단말기에서 MCU를 제거한 심전도 측정 장치를 개발하였으나, 이 경우 심박 측정 센서에 MCU를 삽입하여 심박 측정 센서가 아날로그-디지털 변환을 수행하도록 하여야하므로 기존의 문제점을 전혀 해결하기 못한다는 단점이 있다.
본 발명의 배경기술은 대한민국 특허청에 출원되어 공개된 공개특허공보 10-2012-0066868(2012.06.25.)호가 게재되어 있다.
본 발명이 해결하고자 하는 과제는, 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법을 제공하고자 하는 것이다.
또한, 본 발명의 다른 과제는, 호흡과 PPG 데이터를 동시에 이용하기 때문에 정확도가 높다는 이점이 있다.
또한, 본 발명의 심정지로 인한 사망을 예방하고자 계속적인 심박과 호흡을 모니터링할 수 있는 방법을 제공하고자 하는 것이다.
본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법에 있어서, 사람의 PPG신호, 가슴과 배의 움직임에 대한 비주얼 데이터를 동시에 수집하는 제1단계, 비주얼 데이터를 RGBA 신호로 변환하는 제2단계, RGBA 신호에서 범위안의 주파수만 나오도록 밴드 패스 필터를 적용하는 제3단계, 제3단계에서 밴드 패스 필터가 적용된 RGBA 신호에서 처음과 마지막의 일정 부분을 제거하는 제4단계, 일정 부분이 제거된 RGBA 신호에서 가장 높은 표준 편차를 가지는 색상 채널을 선택하는 제5단계, 선택된 색상 채널에 스플라인 필터를 적용하는 제6단계, 파워 스펙트럼 밀도를 계산하는 제7단계, 심장박동과 호흡률을 계산하는 제8단계를 포함하는 것을 특징으로 한다.
본 발명은 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하여 정확도가 높다는 이점이 있다.
또한, 지속적으로 심박과 호흡을 모니터링 할 수 있어서, 돌연사, 심정지로 인한 사망을 예방할 수 있는 이점이 있다.
도 1a 및 도 1b는 본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하기 위해 데이터를 수집하는 화면을 나타낸다.
도 2는 본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법의 흐름도를 나타낸다.
도 3a는 스마트폰의 전면부 카메라를 이용하여 가슴의 움직임에 대한 호흡률을 측정한 그래프를 나타낸다.
도 3b는 스마트폰의 전면부 카메라를 이용하여 복부의 움직임에 대한 호흡률을 측정한 그래프를 나타낸다.
도 4a는 스마트폰을 이용한 심박의 측정값과 ECG 값의 차이를 비교하기 위한 Bland-Altman 그래프를 나타낸다.
도 4b는 스마트폰을 이용한 심박의 측정값과 ECG 값의 차이를 비교하기 위한 상관관계 그래프를 나타낸다.
도 5는 본 발명의 일실시예에 따라 측정된 사람의 호흡률과 PPG 신호를 나타낸다.
도 2는 본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법의 흐름도를 나타낸다.
도 3a는 스마트폰의 전면부 카메라를 이용하여 가슴의 움직임에 대한 호흡률을 측정한 그래프를 나타낸다.
도 3b는 스마트폰의 전면부 카메라를 이용하여 복부의 움직임에 대한 호흡률을 측정한 그래프를 나타낸다.
도 4a는 스마트폰을 이용한 심박의 측정값과 ECG 값의 차이를 비교하기 위한 Bland-Altman 그래프를 나타낸다.
도 4b는 스마트폰을 이용한 심박의 측정값과 ECG 값의 차이를 비교하기 위한 상관관계 그래프를 나타낸다.
도 5는 본 발명의 일실시예에 따라 측정된 사람의 호흡률과 PPG 신호를 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명에 대하여 자세히 살펴본다.
도 1a, 1b에 도시된 바와 같이, 본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법은, 스마트폰(110), 가슴 임피던스 벨트(130), 복부 임피던스 벨트(140), 모니터링 장치(150)를 포함한다.
먼저, 데이터의 수집을 위해 사람의 가슴과 복부에 임피던스 벨트를 설치한다. 가슴과 복부의 임피던스 벨트(130, 140)는 사람의 실제 호흡률을 측정하기 위한 것으로 모니터링 장치(150)와 연결되어 있다.
도 1a와 같이, 사람은 가슴과 복부의 임피던스 벨트(130, 140)를 부착한 상태에서 스마트폰(110)의 전면부 카메라(160)는 사람의 가슴과 복부의 움직임을 녹화하고 동시에 스마트폰(110)의 후면부 카메라(120)에 사람의 손가락을 일정시간 동안 접촉하여 PPG(맥파:photolethysmoraphy)를 측정한다. 이때, 후면부 카메라(120)에 내장된 플래시는 켜져있는 상태로 측정을 하게 된다. 도 1b와 같이, 사람은 스마트폰(110)의 전면부 카메라(160)를 통해 가슴과 복부의 움직임을 녹화하는 영상과 측정되고 있는 상기 PPG 신호와 가슴과 복부의 움직임에 따른 호흡률을 실시간으로 확인할 수 있다. 또한, 본 발명에서는 사람의 호흡률 정확도를 위해 전면부 카메라(160)를 이용해 측정된 사람의 호흡률과 임피던스 벨트를 통해 측정된 호흡률을 비교한다.
전면부 카메라(160)를 통해 녹화된 영상의 비디오 신호는 20 ~ 25Hz의 범위 내에서 저장이 되고, 오디오 신호는 44.100 Hz, 16비트로 저장된다. 또한, 모노 오디오 신호는 500 ~ 5000Hz 의 범위 내에서 밴드패스(bandpass) 필터를 적용하여 노이즈를 제거한다.
도 2는 본 발명의 일실시예에 따른 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법의 세부 단계를 나타낸다.
제1단계(S210)에서는 스마트폰의 전면부 카메라(160)를 통해 사람의 가슴과 복부의 움직임에 대한 비주얼 데이터와 후면부 카메라(120)를 통해 PPG 신호를 수집한다. 상기 제1단계(S210)에서는 상기 비주얼 데이터와 상기 PPG 신호를 동시에 측정을 하게 된다.
상기 제1단계(S210)에서 수집된 상기 비주얼 데이터는 안드로이드 OS가 탑재된 스마트폰(110)의 전면부 카메라(160)로부터 받은 영상이기 때문에 YUV420sp 신호 포맷으로 저장이 된다. 상기 비주얼 데이터의 영상을 처리하기 위해서는 YUV420sp 신호 포맷을 RGBA 신호 포맷으로 변환하여야 한다. 제2단계(S220)에서는 상기 신호의 포맷의 변환을 위해서 OpenCV 라이브러리를 이용한다.
제3단계(S230)에서는 상기 변환된 RGBA 신호 포맷에서 범위안의 주파수 범위만 나오도록 밴드패스 필터를 적용한다. 상기 밴드패스 필터 중 호흡을 측정하기 위해서 로우패스 필터(flow)는 0.08 Hz이고 하이패스 필터(fhigh)는 2.1Hz의 값을 갖도록 설정한다. 그리고 심장박동을 측정하기 위해서 로우패스 필터는 0.667Hz이고, 하이패스 필터는 3.833Hz 갖도록 설정한다.
제4단계(S240)에서는 상기 밴드패스 필터가 적용된 상기 RGBA 신호에서 처음과 마지막의 일정부분을 제거하는데 대략 신호의 시작 10초와 마지막 10초를 제거한다. 이는 상기 녹화된 영상의 비디오 신호에 존재하는 노이즈를 제거하기 위한 것으로 상기 비주얼 데이터 수집 시 처음과 마지막에는 스마트폰을 정확하게 잡기위한 동작, 캘리브레이션하는 과정 등에 의해 노이즈가 발생하기 때문이다.
본 발명에서는 가슴과 배의 움직임에 대한 비주얼 데이터의 이미지 신호에서 광반사(optical reflectance)를 추출하기 위해 320 x 240 픽셀의 해상도에서 선택된 49 x 90 픽셀의 두 개의 다른 ROI(region of interest) 이미지를 선택한다. 또한, 상기 스마트폰(110)의 후면부 카메라(120)에서 얻어진 PPG 펄스 신호를 얻기 위해 모든 프레임의 176 x 144 픽셀의 해상도에서 176 x 72 픽셀의 픽셀 해상도를 선택한다.
리사이즈된 이미지에서 각 픽셀의 밝기 값(I)은 하나의 이미지의 ROI에서의 RGB 채널의 평균값으로 구할 수 있고, 수학식은 다음과 같다.
여기서, D는 ROI의 크기를 의미한다.
호흡률을 측정하기 위해서 그린(green) 채널이 심장 박동률을 측정하기 위해 선택되어 있는 동안 세 가지 컬러 밴드(레드, 그린, 블루)에서 가장 높은 표준 편차를 가지는 색상 채널을 선택한다.
따라서, 제5단계(S250)에서는 상기 제4단계에서 일정부분이 제거된 RGBA 신호에서 가장 높은 표준 편차를 가지는 색상 채널을 선택한다.
다음으로 제6단계에서는 상기 제5단계에서 선택된 색상 채널에 스플라인 필터를 적용한다. 스플라인 필터는 신호의 진폭을 평활화(smoothing) 하는데 사용하는 필터로 본 발명에서는 평균 강도(intensity)를 필터링 된 이산 신호의 엔벨로프(envelope)를 추출 하는데 사용하고, 다음으로 상기 엔벨로프 신호를 보간(interpolation)하고 평활화 한다.
본 발명에서 신호의 평활화를 위한 스플라인 필터 적용하는 상기 제6단계는 상기 제5단계의 선택된 색상 채널에서 평활된 진폭 엔벨로프 신호 a(t)를 구하기 위해서 상기 a(t)의 최대 주파수를 결정하는 6-1단계; 큐빅 스플라인 보간법(cubic spline interpolation)을 사용하여 진폭 시계열을 구하는 6-2단계; 보간 후에 상기 a(t)의 해석신호의 등급을 계산하는 6-3단계; 상기 a(t)의 최대값을 결정한 후, 슬라이딩 윈도우를 이용해 평균값을 구하는 6-4단계를 세부 단계로 포함하고 있다. 상기 6-2 단계의 큐빅 스플라인 보간법은 서로 떨어져 있는 두 점 사이를 연결하는데 사용하는 방법이다.
제7단계에서는 파워스펙트럼 밀도(power spectrum density)를 계산하는데 웰치 주기도(welch periodogram) 방법, 자동회기 파워 스펙트럼(autoregressive power spectrum) 분석 방법, 회기상관계수(regression correlation coefficient)를 이용한 방법 중 어느 하나를 이용한다. 파워 스펙트럼은 윈도우를 이용한 자동상관의 512-포인트(point) FFT(fast fourier transform)을 이용하여 계산한다.
본 발명에서 들숨(inspiration)과 날숨(expiration)간의 시간영역에서의 유사도 정도를 분석하기 위한 상관계수는 수학식 2와 같다.
여기서, cov는 공분산(covariance)을 나타내고, 
와 
는 표준편차(standard deviation)를 의미한다.
도 3a 및 도 3b는 스마트폰(110)의 전면부 카메라(160)를 이용하여 가슴과 복부의 움직임을 이용하여 호흡률을 측정한 그래프로 이때의 상관계수 값은 각각 0.3373와 0.998이다. 도 3a 및 도 3b를 통해서 알 수 있듯이 가슴이 움직임이 복부의 움직임 보다 크기 때문에 호흡률 측정의 정확도를 향상시키기 위해 신호 퀄리티 인덱스를 고려한다. 각 신호는 상관계수를 이용하여 움직임 클래스가 할당이 되고, 이것을 이용하여 높은 상관 값을 가진 클래스를 선택하게 된다. 만약 가슴의 움직임에 대한 상관계수가 복부의 움직임에 대한 상관계수보다 높은 경우 가슴의 움직임을 선택하게 된다.
도 4a는 스마트폰을 통해 측정된 심박 Bland-Altman 그래프를 나타내는 것으로 Bland-Altman 그래프는 두 가지 측정 방법을 비교하기 위한 통계법으로 두 방법의 평균과 구해진 값의 차이가 있는지에 대해 또는 추정된 값과 실제 계측한 값의 차이가 있는지를 보여준다. 도 4a의 그래프에서 스마트폰에서 측정된 연속 심박과 그에 따른 ECG 신호간의 측정된 값의 차이가 어느 정도 되는지를 보여주는데 표준화율에 기반한 z-score가 95%의 신뢰구간을 벗어나는 산점도가 5개 정도로 나타나 두 가지 측정방법의 차이가 거의 없음을 알 수 있다.
도 4b는 두 가지 측정 방법의 상관관계 그래프로 x축은 스마트 폰을 이용한 연속 심박 측정값을 y축은 ECG 측정값을 나타낸다. 도 4b의 실선은 회귀선을 점선은 Pearson 상관 계수를 나타내는데 산점도가 퍼져있지 않고 균일하게 실선 주변에 산재되어 있는 것으로 상관도가 높음을 알 수 있다.
마지막으로 제8단계에서는 상기 제7단계의 결과를 이용하여 심장박동과 호흡률을 계산한다.
도 5는 본 발명의 일실시예에 따라 가슴, 복부의 움직임에 따라 측정된 호흡률 그래프와 손가락의 PPG 신호를 나타낸다. 본 발명에서는 사람이 동시에 가슴과 복부의 움직임을 이용하여 호흡률과 손가락을 통해 PPG 신호를 측정하기 때문에 한눈에 상기 호흡률과 PPG 신호를 실시간으로 관측할 수 있다.
이와 같이, 본 발명은 할 수 있어서, 건강을 관리할 수 있는 건강관리 시스템에 적용되어 널리 사용될 수 있는 매우 유용한 발명이라 할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의의 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110 : 스마트폰 120 : 후면부 카메라
130 : 가슴 임피던스 벨트 140 : 복부 임피던스 벨트
150 : 모니터링 장치 160 : 전면부 카메라
130 : 가슴 임피던스 벨트 140 : 복부 임피던스 벨트
150 : 모니터링 장치 160 : 전면부 카메라
Claims (7)
- 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법에 있어서,
사람의 PPG신호, 가슴과 배의 움직임에 대한 비주얼 데이터를 동시에 수집하는 제1단계;
상기 비주얼 데이터를 RGBA 신호로 변환하는 제2단계;
상기 RGBA 신호에서 범위안의 주파수만 나오도록 밴드 패스 필터를 적용하는 제3단계;
상기 제3단계에서 상기 밴드 패스 필터가 적용된 상기 RGBA 신호에서 처음과 마지막의 일정 부분을 제거하는 제4단계;
상기 제4단계에서 일정 부분이 제거된 상기 RGBA 신호에서 가장 높은 표준 편차를 가지는 색상 채널을 선택하는 제5단계;
상기 제5단계에서 상기 선택된 색상 채널에 스플라인 필터를 적용하는 제6단계;
파워 스펙트럼 밀도를 계산하는 제7단계;
심장박동과 호흡률을 계산하는 제8단계;를 포함하되,
상기 제6단계는,
상기 제5단계의 선택된 색상 채널에서 평활된 진폭 엔벨로프 신호 a(t)를 구하기 위해서 상기 a(t)의 최대 주파수를 결정하는 6-1단계;
큐빅 스플라인 보간법을 사용하여 진폭 시계열을 구하는 6-2단계;
보간 후에 상기 a(t)의 해석신호의 등급을 계산하는 6-3단계;
상기 a(t)의 최대값을 결정한 후, 슬라이딩 윈도우를 이용해 평균값을 구하는 6-4단계를 더 포함하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
- 청구항 제1항에 있어서, 상기 PPG 신호는 상기 스마트폰의 후면부에 위치한 카메라에 손가락을 밀착한 상태에서 측정하는 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
- 청구항 제1항에 있어서, 상기 비주얼 데이터는 상기 사람의 가슴과 배의 움직임을 상기 스마트폰의 전면부에 위치한 카메라를 이용하여 수집된 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
- 청구항 제3항에 있어서, 실제 호흡률을 측정하기 위해 상기 사람의 가슴과 배에 임피던스 벨트를 부착하여 측정하는 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
- 청구항 제4항에 있어서, 상기 제4단계의 일정부분은 상기 RGBA 신호의 처음 10초와 마지막 10초인 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 측정하는 방법.
- 삭제
- 청구항 제1항에 있어서, 상기 제7단계는 웰치 주기도 방법, 자동회기 파워 스펙트럼 분석 방법, 회기상관계수를 이용한 방법 중 어느 하나를 이용해 상기 파워 스펙트럼 밀도를 계산하는 것을 특징으로 하는 스마트폰의 듀얼 카메라를 이용하여 호흡과 심장박동을 동시에 측정하는 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15897267.9A EP3318179B1 (en) | 2015-07-01 | 2015-12-07 | Method for measuring respiration rate and heart rate using dual camera of smartphone |
| PCT/KR2015/013303 WO2017003049A2 (ko) | 2015-07-01 | 2015-12-07 | 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150094242 | 2015-07-01 | ||
| KR20150094242 | 2015-07-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170004804A KR20170004804A (ko) | 2017-01-11 |
| KR101777472B1 true KR101777472B1 (ko) | 2017-09-12 |
Family
ID=57833456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150171253A KR101777472B1 (ko) | 2015-07-01 | 2015-12-03 | 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법 |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP3318179B1 (ko) |
| KR (1) | KR101777472B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019172642A1 (ko) * | 2018-03-07 | 2019-09-12 | 삼성전자주식회사 | 심장 박동을 측정하기 위한 전자 장치 및 방법 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT202000014500A1 (it) * | 2020-06-17 | 2021-12-17 | Paco Adriano Di | Metodo per fornire in tempo reale informazioni relative alle prestazioni cardiache e/o respiratorie di un individuo e relativo dispositivo |
| KR102560787B1 (ko) | 2021-02-04 | 2023-07-26 | 삼성전자주식회사 | 생체정보 추정 장치 및 방법과, 이를 포함하는 전자장치 |
| US20220361759A1 (en) | 2021-05-04 | 2022-11-17 | Koa Health B.V. | Smartphone Heart Rate And Breathing Rate Determination Using Accuracy Measurement Weighting |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140120876A1 (en) | 2012-10-29 | 2014-05-01 | Tzu Chi University | Ecg measuring device and method thereof |
| US20150018660A1 (en) | 2013-07-11 | 2015-01-15 | Alivecor, Inc. | Apparatus for Coupling to Computing Devices and Measuring Physiological Data |
| US20150099987A1 (en) | 2010-06-07 | 2015-04-09 | Affectiva, Inc. | Heart rate variability evaluation for mental state analysis |
| US20150145676A1 (en) | 2013-11-27 | 2015-05-28 | Samsung Electronics Co., Ltd. | Electronic system with dynamic localization mechanism and method of operation thereof |
| US20150148625A1 (en) | 2013-11-26 | 2015-05-28 | David Alan Benaron | Respiratory Monitoring Sensor And Method For Cell Phones, Smart Watches, Occupancy Sensors, And Wearables |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110251493A1 (en) * | 2010-03-22 | 2011-10-13 | Massachusetts Institute Of Technology | Method and system for measurement of physiological parameters |
| US9185353B2 (en) * | 2012-02-21 | 2015-11-10 | Xerox Corporation | Removing environment factors from signals generated from video images captured for biomedical measurements |
| KR101629901B1 (ko) * | 2013-08-05 | 2016-06-13 | 상명대학교서울산학협력단 | 휴대용 단말기를 사용하는 맥파 신호 측정 방법 |
| US20150124067A1 (en) * | 2013-11-04 | 2015-05-07 | Xerox Corporation | Physiological measurement obtained from video images captured by a camera of a handheld device |
-
2015
- 2015-12-03 KR KR1020150171253A patent/KR101777472B1/ko active IP Right Grant
- 2015-12-07 EP EP15897267.9A patent/EP3318179B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150099987A1 (en) | 2010-06-07 | 2015-04-09 | Affectiva, Inc. | Heart rate variability evaluation for mental state analysis |
| US20140120876A1 (en) | 2012-10-29 | 2014-05-01 | Tzu Chi University | Ecg measuring device and method thereof |
| US20150018660A1 (en) | 2013-07-11 | 2015-01-15 | Alivecor, Inc. | Apparatus for Coupling to Computing Devices and Measuring Physiological Data |
| US20150148625A1 (en) | 2013-11-26 | 2015-05-28 | David Alan Benaron | Respiratory Monitoring Sensor And Method For Cell Phones, Smart Watches, Occupancy Sensors, And Wearables |
| US20150145676A1 (en) | 2013-11-27 | 2015-05-28 | Samsung Electronics Co., Ltd. | Electronic system with dynamic localization mechanism and method of operation thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019172642A1 (ko) * | 2018-03-07 | 2019-09-12 | 삼성전자주식회사 | 심장 박동을 측정하기 위한 전자 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3318179B1 (en) | 2023-03-22 |
| KR20170004804A (ko) | 2017-01-11 |
| EP3318179A4 (en) | 2019-03-20 |
| EP3318179A2 (en) | 2018-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10448900B2 (en) | Method and apparatus for physiological monitoring | |
| EP3087915B1 (en) | Method and system for noise cleaning of photoplethysmogram signals for estimating blood pressure | |
| CN110269600B (zh) | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 | |
| US10398327B2 (en) | Non-contact assessment of cardiovascular function using a multi-camera array | |
| JP6123885B2 (ja) | 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置 | |
| US9713428B2 (en) | Physiological parameter monitoring with a mobile communication device | |
| Feng et al. | Dynamic ROI based on K-means for remote photoplethysmography | |
| CN103908236B (zh) | 一种自动血压测量*** | |
| KR101777472B1 (ko) | 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법 | |
| JP6052027B2 (ja) | 脈波検出装置、脈波検出プログラムおよび脈波検出方法 | |
| EP3308702B1 (en) | Pulse estimation device, and pulse estimation method | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| CN104173051A (zh) | 非接触式自动呼吸测量***及测量方法 | |
| US11083382B2 (en) | Method, information processing apparatus and server for determining a physiological parameter of an individual | |
| JP2014200390A (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
| JP2016127923A (ja) | 被験者の映像から生理学的パラメータを抽出するための対象領域を選択する方法 | |
| JP6135255B2 (ja) | 心拍測定プログラム、心拍測定方法及び心拍測定装置 | |
| JP6167849B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
| CN110517229B (zh) | 一种脉搏检测方法、***、电子装置及存储介质 | |
| JP6488722B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
| CN104688199B (zh) | 一种基于皮肤色素浓度差分的非接触式脉搏测量方法 | |
| Dautov et al. | On the effect of face detection on heart rate estimation in videoplethysmography | |
| WO2017003049A2 (ko) | 스마트 폰의 듀얼 카메라를 이용한 호흡과 심장 박동 측정방법 | |
| CN112022131B (zh) | 长时间连续性的非接触式心率测量方法和*** | |
| WO2017154477A1 (ja) | 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |