KR102242479B1 - 피부영상을 이용한 디지털 호흡 청진 방법 - Google Patents

피부영상을 이용한 디지털 호흡 청진 방법 Download PDF

Info

Publication number
KR102242479B1
KR102242479B1 KR1020180122103A KR20180122103A KR102242479B1 KR 102242479 B1 KR102242479 B1 KR 102242479B1 KR 1020180122103 A KR1020180122103 A KR 1020180122103A KR 20180122103 A KR20180122103 A KR 20180122103A KR 102242479 B1 KR102242479 B1 KR 102242479B1
Authority
KR
South Korea
Prior art keywords
breathing
signal
computing device
respiration
digital
Prior art date
Application number
KR1020180122103A
Other languages
English (en)
Other versions
KR20200042076A (ko
Inventor
홍광석
김성혁
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020180122103A priority Critical patent/KR102242479B1/ko
Publication of KR20200042076A publication Critical patent/KR20200042076A/ko
Application granted granted Critical
Publication of KR102242479B1 publication Critical patent/KR102242479B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • Power Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

피부영상을 이용한 디지털 호흡 청진 방법은 촬영된 영상에서 피부 영역을 검출하는 단계, 검출된 상기 피부 영역에서 생체신호를 추출하는 단계, 추출된 상기 생체신호에서 호흡신호를 추출하는 단계, 추출된 상기 호흡신호를 증폭하는 단계, 증폭된 상기 호흡신호를 가청이 가능한 샘플링 주파수를 적용하여 보간하는 단계, 보간된 상기 호흡신호의 상단 피크와 하단 피크를 검출하고, 상기 호흡신호의 상단 피크와 상기 하단 피크를 이용하여 상기 호흡신호의 들숨과 날숨을 구분하는 단계, 상기 호흡신호를 들숨과 날숨을 구분하여 진동으로 출력하는 단계, 기설정된 음원 신호를 상기 호흡신호의 들숨 길이와 날숨 길이에 대응하여 보간하는 단계, 보간된 상기 음원 신호를 호흡 강도에 따라 진폭을 조정하는 단계, 조정된 상기 음원신호와 상기 호흡신호를 결합하여 소리로 출력하는 단계, 상기 호흡신호를 활용하여 상기 호흡상태 정보를 제공하는 단계 및 상기 호흡신호를 통해 호흡 강도를 측정하는 단계를 포함한다.

Description

피부영상을 이용한 디지털 호흡 청진 방법{Digital Breathing Stethoscope Method Using Skin Image}
이하 설명하는 기술은 피부영상을 이용한 오감 기반 디지털 호흡 청진 및 진단 방법에 관한 것이다.
종래의 호흡 측정기는 온도 및 습도 센서 혹은 이산화탄소 센서 등의 별도의 접촉식 측정기나 센서를 사용였다. 별도의 측정기를 사용하지 않는 경우 스마트 기기의 마이크나 카메라를 활용하여 호흡 및 폐활량을 측정하였다. 마이크를 사용하는 경우 사용자가 스마트 기기의 마이크에 최대 흡기 및 호기하는 소리를 활용하여 측정하였으며 카메라를 사용하는 경우, 상의를 탈의하여 흉부의 움직임을 측정하거나 얼굴영상을 이용하는 경우 단순히 호흡수만 제시하였다.
종래의 접촉식 호흡 측정기는 사용자 개인이 별도의 측정기를 구입하였다. 호흡 측정기는 직접 구입을 하여야 하며, 사용자가 옷을 입고 있는 상태에서 측정이 이루어지더라도 접촉식의 측정방식이 사용된다는 한계를 가졌다.
비 접촉식 호흡 측정기의 경우 스마트 기기의 마이크나 카메라를 이용한다. 스마트 기기의 마이크를 통하여 폐 기능을 측정하는 경우 폐 기능 검사에 필요한 항목 중 강제 폐활량만을 측정할 수 있으며, 성별에 따른 폐활량 측정치 구분을 하지 않아 접촉식 장비와 차이가 존재한다. 스마트 기기의 카메라 기능을 이용하는 경우 사용자는 흉부 인식을 위하여 상의를 탈의하는 번거로움이 있었으며 상의를 탈의하지 않을 경우, 스마트 기기의 애플리케이션은 사용자의 흉부와 복부의 움직임을 통해 측정하기 때문에 움직임과 같은 요소로 인한 오차가 발생하였다. 또한 피부영상을 이용하는 경우 단순히 호흡수만을 수치로 제시해주며 오차가 다소 존재하는 문제점이 있었다.
한국공개특허 제10-2014-0059404호
이하 설명하는 기술은 기존 측정기의 한계를 극복하고자 추가적인 측정기기를 사용하지 않고 개인이 보유하고 있는 스마트 기기의 카메라로 상의를 탈의하는 불편함 없이 취득한 피부영상을 이용한 접촉 방식의 측정을 수행하여 단순히 호흡수와 폐활량만 제공하는 것이 아닌 호흡수를 포함한, 호흡 상태, 호흡 질환, 폐 기능, 폐 질환 등의 진단정보를 함께 제공하며 청음과 진동, 그래프를 활용해 시각, 청각, 촉각 등의 오감을 통한 직관적인 상태진단이 가능한 피부영상을 이용한 디지털 호흡 청진 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 촬영된 영상에서 피부 영역을 검출하는 단계, 검출된 피부 영역에서 생체신호를 추출하는 단계, 추출된 생체신호에서 호흡신호를 추출하는 단계, 추출된 호흡신호를 증폭하는 단계, 증폭된 호흡신호를 가청이 가능한 샘플링 주파수를 적용하여 보간하는 단계, 호흡신호를 들숨과 날숨을 구분하여 진동으로 출력하는 단계, 기설정된 음원 신호를 호흡신호의 들숨 길이와 날숨 길이에 대응하여 보간하는 단계, 보간된 음원 신호를 호흡 강도에 따라 진폭을 조정하는 단계, 조정된 음원신호와 호흡신호를 결합하여 소리로 출력하는 단계, 호흡신호를 활용하여 호흡상태 정보를 제공하는 단계 및 호흡신호를 통해 호흡 강도를 측정하는 단계를 포함하는 피부영상을 이용한 디지털 호흡 청진 방법을 제공한다.
또한, 본 발명의 다른(another) 측면에 따르면, 증폭된 상기 호흡신호는 가청할 수 있는 샘플링 주파수를 사용해 확장하여 보간할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 증폭된 호흡신호를 가청이 가능한 샘플링 주파수를 적용하여 보간하는 단계 이후, 보간된 호흡신호의 상단 피크와 하단 피크를 검출하고, 호흡신호의 상단 피크와 하단 피크를 이용하여 호흡신호의 들숨과 날숨을 구분하며 들숨 날숨 길이를 구하는 단계를 포함할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 기 설정된 음원 신호를 추출된 호흡신호의 들숨 길이와 날숨 길이에 대응하여 보간 혹은 축소하는 단계를 포함할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 보간 및 축소된 음원 신호를 호흡 강도에 따라 진폭을 조정하는 단계는 호흡의 강도가 강해질수록 진폭을 커지도록 조정하고, 호흡 강도가 약해질수록 진폭을 작도록 조정할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 조정된 음원신호를 호흡신호와 결합하여 소리로 호흡 상태를 센싱 또는 측정할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 호흡신호를 그래프로 출력할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 호흡신호를 진동으로 출력하는 단계는 호흡 강도를 기준으로 들숨에서 강도가 강해질수록 진동의 간격이 길어지도록 조정하고, 날숨에서 강도가 약해질수록 진동의 간격이 짧아지도록 조정하여 출력할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 호흡 강도 또는 호흡수는 호흡신호의 상단 피크와 하단 피크를 이용하여 추출 또는 산출될 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 호흡 강도를 진단하는 단계는 호흡신호의 진폭을 이용하여 호흡 강도를 진단 또는 측정할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 호흡 질환을 진단하는 단계를 더 포함하고, 호흡 질환을 진단하는 단계는 호흡신호를 통해 측정된 호흡의 강도, 호흡의 규칙성, 호흡수를 이용하여 진단할 수 있다.
본 발명의 다른 측면에 따르면, 촬영된 최대 흡기 후 연이은 최대 호기하는 영상에서 피부 영역을 검출하는 단계, 검출된 피부 영역에서 생체신호를 추출하는 단계, 추출된 생체신호에서 호흡신호를 추출하는 단계, 추출된 호흡신호의 상단 피크와 하단 피크를 검출하는 단계, 검출된 상단 피크와 하단 피크를 이용하여 호흡 커브의 피크점을 측정하는 단계, 검출된 호흡 커브를 활용하여 제1 강제 호기량(FEV1), 제2 강제 호기량(FEV2), 제3 강제 호기량(FEV3)을 측정하는 단계, 측정된 제1 강제 호기량(FEV1), 측정된 제2 강제 호기량(FEV2), 측정된 제3 강제 호기량(FEV3)을 활용하여 강제 폐활량(FVC)를 측정하는 단계 및 측정된 강제 폐활량(FVC)를 활용하여 폐기능 정보를 제공하는 단계를 포함하는 피부영상을 이용한 디지털 호흡 청진 방법을 제공한다.
또한, 본 발명의 다른(another) 측면에 따르면, 검출된 상단 피크와 하단 피크를 이용하여 호흡 커브의 피크점을 측정하는 단계는 측정된 커브의 피크점을 통해 호흡수 및 호흡 강도를 측정할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 호흡수 및 호흡 강도를 측정은 검출된 호흡 신호의 상단 피크와 하단 피크를 측정하여 들숨 부분과 날숨 부분을 검출하고, 상단 피크의 높이, 하단 피크의 높이 그리고 피크 수를 통해 호흡 수와 호흡 강도를 측정할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 제1 강제 호기량(FEV1), 제2 호기량(FEV2) 그리고 제3 강제 호기량(FEV3)은 검출된 호흡 커브의 하단 피크 값에서 1초 경과한 t1 시점의 h1, 2초 경과한 t2 시점의 h2, 3초 경과한 t3 시점의 h3를 강제 호기량 회귀 분석식에 적용하여 측정할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 강제 폐활량(FVC)은 수학식 1을 이용할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 측정된 강제 폐활량(FVC)를 활용하여 폐기능 정보를 제공하는 단계는 강제 폐활량(FVC)과 제1 강제 호기량(FEV1)을 활용하여 퍼센트 폐활량(%FVC)와 1초율(FEV1/FVC)을 산출하여 폐 기능에 대한 정보를 제공할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 측정된 강제 폐활량(FVC)를 활용하여 폐 기능 정보를 제공하는 단계는 폐활량(%FVC) 80% 이상 1초율(FEV1) 70% 이상이면 정상 환기로 진단하고, 폐활량(%FVC) 80% 이상 1초율(FEV1) 70% 이하이면 폐쇄성 환기장애로 진단하고, 폐활량(%FVC) 80% 이하 1초율(FEV1) 70% 이상이면 구속성 환기장애로 진단하고, 폐활량(%FVC) 80% 이하 1초율(FEV1) 70% 이하이면 혼합성 환기장애로 진단할 수 있다.
본 발명의 또 다른 측면에 따르면, 촬영된 영상에서 피부 영역을 검출하는 단계, 검출된 피부 영역에서 생체신호를 추출하는 단계, 추출된 생체신호에서 호흡신호를 추출하는 단계, 추출된 호흡신호를 음원과 동일한 샘플수(sample rate)로 보간하는 단계, 보간된 호흡신호에 강조필터 계수를 계산하는 단계 및 계산된 강조필더 계수를 이용해 음원 신호를 필터링하는 단계를 포함하는 피부영상을 이용한 디지털 호흡 청진 방법을 제공한다.
또한, 본 발명의 다른(another) 측면에 따르면, 추출된 호흡신호를 음원과 동일한 샘플수(sample rate)로 보간하는 단계는 검출된 호흡신호를 기설정된 음원에 대응하여 샘플수를 확장할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 강조필터를 계수를 계산하는 단계는 수학식 4를 이용하여 산출할 수 있다.
또한, 본 발명의 다른(another) 측면에 따르면, 계산된 필더 계수를 이용해 음원 신호를 필터링하는 단계는 계산된 시간에 따른 강조 필터 계수를 수학식 5를 이용하여 산출할 수 있다.
이하 설명하는 기술은 비접촉식 방식으로 별도의 측정 장비를 구매하지 않고, 스마트 기기의 영상을 이용해 편리하고 정확하게 호흡 및 폐기능을 측정할 수 있으며 호흡 상태를 청음과 진동, 그래프를 활용하여 시각, 척각, 촉각 등의 오감을 통해 직관적으로 청진할 수 있다.
도 1은 피부영상을 이용한 디지털 호흡 청진을 할 수 있는 다양한 전자 장치의 구성을 도시한 예이다.
도 2 내지 도 6은 피부영상을 이용한 디지털 호흡 청진을 할 수 있는 방법에 대한 일실시 예를 나타낸 순서도이다.
도 7 및 도 8은 피부영상을 이용한 디지털 호흡 청진을 할 수 있는 방법에 대한 다른 실시 예를 나타낸 순서도이다.
도 9 내지 도 10은 피부영상을 이용한 디지털 호흡 청진을 할 수 있는 방법에 대한 다른 실시 예를 나타낸 순서도이다.
도 11을 살펴보면, 본 발명의 실시 예에 따른 피부영상을 이용한 호흡에 따른 주파수 강조를 이용한 호흡 반영 음원 생성에 대한 예시도이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
도 1의 (a)를 살펴보면, 본 발명은 스마트 기기(50)를 이용하여 비접촉식으로 호흡신호를 추출, 증폭, 보간하고, 이를 기초로 진동과 청음 및 그래프에 의한 상태진단과 더불어 이상 상태 유무를 확인할 수 있다. 사용자는 스마트 기기(50)에 내장된 카메라로 얼굴을 촬영할 수 있다. 예를 들어, 스마트 기기는 적어도 하나의 카메라가 내장된 휴대폰, 스마트 폰, 웨어러블 기기 등을 포함할 수 있다. 스마트 기기(50)는 촬영된 소스 영상에 포함된 피부 영역에 대한 호흡신호를 추출 또는 산출하여 청취가 가능한 범위의 적절한 증폭과 다양한 범위의 샘플링 주파수로 보간을 수행하고, 그래프, 소리, 진동으로 출력하는 방식으로 청진하며, 계산된 호흡 강도, 호흡수, 호흡상태, 폐 기능 등의 추가정보를 확인함으로써, 진동과 청음 및 그래프에 의한 상태진단과 더불어 이상 상태 유무를 확인할 수 있다. 이에 대한 자세한 과정은 후술하기로 한다.
도 1의 (a)를 살펴보면, 스마트 기기(50)는 카메라(51), 저장 장치(52), 제어 장치(53) 및 출력 장치(54)를 포함할 수 있다.
카메라(51)는 사용자를 촬영하고, 촬영된 영상을 이용하여 소스 영상을 획득할 수 있다. 카메라는 스마트 기기에 내장된 카메라, 일반 카메라 또는 적외선 카메라를 포함할 수 있다.
제어 장치(53)는 카메라로(51)부터 소스 영상을 공급받아, 소스 영상에 포함된 피부 영역에 대한 호흡신호를 추출 또는 산출하여 청취가 가능한 범위의 적절한 증폭과 다양한 범위의 샘플링 주파수로 보간을 수행하고, 그래프, 소리, 진동으로 출력하는 방식으로 청진하며, 계산된 호흡 강도, 호흡수, 호흡상태, 폐 기능 등의 추가정보를 확인함으로써, 진동과 청음 및 그래프에 의한 상태진단과 더불어 이상 상태 유무를 확인할 수 있다. 제어 장치(53)는 연산 장치 또는 컨트롤러라 칭할 수 있다.
저장 장치(52)는 카메라(51) 또는 제어 장치(53)와 전기적으로 연결될 수 있다. 저장 장치(52)는 카메라(51)로부터 공급되는 소스 영상을 임시로 저장할 수 있다.
출력 장치(54)는 맥박 및 호흡수, 호흡의 강도와 호흡 상태, 폐활량 측정과 함께 사용자의 상태를 진단한 것에 대해 출력할 수 있다. 출력 장치(54)는 계산된 호흡 강도, 호흡수, 호흡상태, 폐 기능 등의 추가정보를 확인하고, 이를 진동과 청음 및 그래프에 의한 상태진단과 더불어 이상 상태 유무를 확인할 수 있도록 출력할 수 있다. 예를 들어, 출력 장치(54)는 디스플레이부를 포함할 수 있다. 디스플레이부는 진동, 청음 및 그래프에 의한 상태진단과 더불어 이상 상태 유무를 디스플레이할 수 있다.
도 1의 (b)를 살펴보면, 본 발명은 컴퓨터(85)와 같은 장치를 이용하여 비접촉식으로 호흡신호를 추출, 증폭, 보간하고, 이를 기초로 진동과 청음 및 그래프에 의한 상태확인과 더불어 이상 상태 유무를 판단할 수 있다. 사용자는 컴퓨터(85)에 연결된 카메라(81)로 얼굴을 촬영할 수 있다. 컴퓨터(85)는 카메라로(81)부터 소스 영상을 공급받아, 소스 영상에 포함된 피부 영역에 대한 호흡신호를 추출 또는 산출하여 청취가 가능한 범위의 적절한 증폭과 다양한 범위의 샘플링 주파수로 보간을 수행하고, 그래프, 소리, 진동으로 출력하는 방식으로 청진하며, 계산된 호흡 강도, 호흡수, 호흡 상태, 폐 기능 등의 추가정보를 확인함으로써, 진동과 청음 및 그래프에 의한 직관적인 상태진단과 더불어 이상 상태 유무를 판단할 수 있다.
도 1의 (c)를 살펴보면, 본 발명은 사용자 단말(91)로 획득한 영상을 원격지에 있는 서버(95)에 제공함으로써, 원격으로 헬스 케어를 제공받을 수 있다. 사용자는 사용자 단말(91)에 내장된 카메라로 사용자의 얼굴을 촬영할 수 있다. 사용자 단말(91)은 촬영한 소스 영상을 네트워크를 통해 서버(95)에 전달할 수 있다. 이 경우 사용자 단말(91)은 데이터 전송을 위한 통신 모듈을 포함할 수 있다. 서버(95)는 사용자 단말(91)로부터 소스 영상을 공급받아, 소스 영상에 포함된 피부 영역에 대한 호흡신호를 추출 또는 산출하여 청취가 가능한 범위의 적절한 증폭과 다양한 범위의 샘플링 주파수로 보간을 수행하고, 그래프, 소리, 진동으로 출력하는 방식으로 청진하며, 계산된 호흡 강도, 호흡수, 호흡 상태, 폐 기능 등의 추가정보를 확인함으로써, 진동과 청음 및 그래프에 의한 직관적인 상태진단과 더불어 이상 상태 유무를 확인 할 수 있다. 서버(95)는 진동과 청음 및 그래프에 의한 상태진단과 더불어 이상 상태 유무를 사용자 단말(91)에 제공 또는 전달할 수 있다.
경우에 따라서는 사용자 단말(91)이 소스 영상을 공급받아, 소스 영상에 포함된 피부 영역에 대한 호흡신호를 추출 또는 산출하여 청취가 가능한 범위의 적절한 증폭과 다양한 범위의 샘플링 주파수로 보간을 수행하고, 그래프, 소리, 진동으로 출력하는 방식으로 청진하며, 계산된 호흡 강도, 호흡수, 호흡 상태, 폐 기능 등의 추가정보를 확인함으로써, 진동과 청음 및 그래프에 의한 직관적인 상태진단과 더불어 이상 상태 유무를 확인하고, 이를 서버(95)에 전달할 수 있다. 이 경우 서버(95)는 진동과 청음 및 그래프에 의한 상태진단과 이상 상태 유무를 저장할 수 있다.
상술한 바와 같이, 다양한 전자 장치가 비접촉식으로 호흡신호를 추출, 증폭, 보간하고, 이를 기초로 진동과 청음 및 그래프에 의한 상태진단과 더불어 이상 상태 유무를 확인할 수 있다. 설명의 편의를 위해 이하 컴퓨터 장치가 호흡신호를 추출 또는 산출한다고 설명한다.
도 2 내지 도 6을 살펴보면, 본 발명의 실시 예에 따른 피부영상을 이용한 디지털 호흡 청진 방법에 대한 일례를 나타낼 수 있다.
먼저, 컴퓨터 장치는 영상을 촬영하고, 피부를 검출할 수 있다(110). 컴퓨터 장치는 카메라를 이용하여 영상을 촬영할 수 있다(도 3의 (a)과정). 영상은 소스 영상이라 칭할 수 있다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 영역을 검출할 수 있다(도 3의 (b)과정). 예를 들어, 피부 영역은 얼굴 영상뿐만 아니라 다양한 신체부위일 수 있다. 여기서는 얼굴 영상을 중심으로 설명하기로 한다.
컴퓨터 장치는 얼굴 영상에서 피부색을 검출하고, 검출된 피부 영상에서 피부 관심 영역을 검출 또는 설정할 수 있다. 이때 피부 관심 영역의 크기는 유동적으로 조절할 수 있다. 컴퓨터 장치는 다양한 알고리즘을 이용하여 피부 관심 영역을 검출 또는 설정할 수 있다. 이때 피부 관심 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다.
컴퓨터 장치는 피부 관심 영역에 대한 색상 평균 데이터 추출할 수 있다(120). 색상 평균 데이터는 평균 색상 데이터 또는 색상 데이터 평균값이라 칭할 수 있다. 컴퓨터 장치는 추출한 피부 영역 전체에 대한 색상 평균 데이터를 추출 또는 산출할 수 있다(도 3의 (c)과정). 또한, 컴퓨터 장치는 획득한 영상에서 특정한 피부 영역에 대한 색상 평균 데이터를 추출 또는 산출할 수도 있다. 컴퓨터 장치는 연속된 영상(연속된 프레임)에서 계속 색상 데이터를 추출 또는 산출할 수 있다.
색상 데이터는 다양한 값이 사용될 수 있다(도 3의 (d)과정). 예컨대, (1) 색상 데이터는 RGB 색상 체계를 기준으로 R값, G값 및 B값 중 적어도 하나를 사용할 수 있다. 색상 데이터는 R값, G값 및 B값 중 적어도 하나에 대한 색상 평균 데이터를 사용할 수도 있다. (2) 컴퓨터 장치는 RGB 색상 체계를 다른 색상 체계로 변환할 수 있다. 예컨대, 컴퓨터 장치는 RGB 색상 체계를 YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계로 변환할 수 있다. 이 경우 색상 데이터는 주변 환경(조도 등)에 영향을 적게 받는 색차 성분 중 하나를 이용할 수 있다. 예컨대, YCbCr의 경우 Cb값 또는 Cr값 중 적어도 하나를 이용할 수 있다. YCgCo의 경우는 Cg값 또는 Co값 중 적어도 하나를 이용할 수 있다. 나아가 두 개의 색차 성분 중 조도의 변화에 보다 강인한 어느 하나를 이용할 수 있다. 예컨대, YCgCo의 경우는 Cg값만을 이용할 수 있다. 이 경우 컴퓨터 장치는 피부 영역의 Cg 색상 데이터의 평균값을 색상 데이터로 추출할 수 있다. (3) 나아가 색상 데이터는 RGB, YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계에서 적어도 하나 이상의 색 성분에 가중치를 적용하여 조합한 값일 수도 있다. 색 성분을 조합하는 경우 색상 데이터는 색상 체계 및 색 성분의 종류에 따라 서로 다른 가중치를 부여한 값을 합산한 값일 수도 있다. 컴퓨터 장치는 RGB 색상 체계를 갖는 소스 영상을 YCgCo 색상 체계로 변경할 수 있으며, 이하 컴퓨터 장치는 YcgCo에서 Cg값을 구하여 사용한다고 가정한다.
컴퓨터 장치는 색상 데이터의 평균값에 FFT(Fast Fourier Transform)를 적용할 수 있다. 예컨대, 컴퓨터 장치는 매 프레임에서의 Cg 값의 평균을 스펙트로그램(Spectrogram)과 FFT등을 사용하여 주파수 분석을 통해 차단주파수를 산출할 수 있다(도 3의 (e)과정). 컴퓨터 장치는 산출된 차단 주파수를 이용해 색상 데이터에 필터링 예를 들면 BPF(Bnad Pass Filter) 또는 MAF(Moving Average Filter)를 적용(도 3의 (f)과정)한 뒤 호흡신호를 산출할 수 있다(130)(도 3의 (g)과정).
컴퓨터 장치는 산출된 호흡신호를 보간 그리고 증폭할 수 있다(140). 컴퓨터 장치는 산출 또는 획득한 호흡신호(도 4의 (h)과정)의 각 피크를 피크검색 알고리즘을 사용해 상단피크와 하단피크를 검출 및 조정할 수 있다(150)(도 4의 (i)과정). 컴퓨터 장치는 검출한 상단 피크와 하단 피크를 구분하여 들숨부분과 날숨부분을 검출할 수 있다(160).
들숨은 하단피크에서 상단피크로 올라가는 부분이고, 날숨은 상단피크에서 하단피크로 내려가는 부분일 수 있다.
컴퓨터 장치는 검출된 들숨부분과 날숨부분을 이용하여 들숨 또는 날숨을 구분(도 4의 (j)과정)함으로써, 호흡 길이를 측정 또는 검출할 수 있다(도 4의 (k)과정). 컴퓨터 장치는 산출된 호흡신호의 피크 간격을 이용한 호흡수를 측정 또는 산출할 수 있다(도 4의 (l)과정).
그리고 컴퓨터 장치는 호흡신호를 증폭시킬 수 있다. 산출된 호흡신호의 진폭은 낮은 진폭을 갖기 때문에 출력 시 문제가 발생할 수 있다. 이를 해결하기 위해 컴퓨터 장치는 소리 출력이 가능한 적절한 크기로 호흡신호를 증폭시킬 수 있다.
이후, 컴퓨터 장치는 들숨과 날숨 길이와 시간을 구한 뒤 사전에 준비한 호흡 음원 신호를 들숨, 날숨 길이에 맞추어 서브 샘플링 혹은 보간할 수 있다(170). 예를 들어, 컴퓨터 장치는 피크 간격을 통한 각 호흡당 들숨과 날숨의 길이를 측정할 수 있다(171). 컴퓨터 장치는 기설정된 들숨 음원 신호를 측정된 들숨 길이에 대응되도록 보간 또는 축소시킬 수 있다(172). 또는 컴퓨터 장치는 기설정된 날숨 음원 신호를 측정된 날숨 길이에 대응되도록 보간 또는 축소시킬 수 있다(173).
보간법의 경우, 그 종류와 샘플링 주파수가 다양하므로 컴퓨터 장치는 산출된 호흡신호를 정확하게 분석하고, 분석된 호흡신호를 기초로 적절한 보간법을 사용해 소리 출력이 원활하도록 선정하여 사용할 수 있다.
컴퓨터 장치는 호흡의 강도에 따른 호흡 소리 출력음의 강도를 조정하기 위하여 보간이 처리된 음원 신호를 호흡신호의 피크 검출로 나온 들숨, 날숨의 길이에 맞추어 호흡음의 강도를 조정해 줄 수 있다(180). 즉, 컴퓨터 장치는 청진음 출력을 위해 들숨, 날숨부분에 사전에 준비한 호흡 음원 신호를 호흡신호의 들숨, 날숨 길이에 맞추어 조정한 뒤 호흡 강도에 따라 진폭을 조정해 줄 수 있다. 예를 들어, 컴퓨터 장치는 호흡의 크기가 크면 음원 신호의 진폭을 높이고, 호흡의 크기가 작으면 음원 신호의 진폭을 낮출 수 있다.
최종적으로 컴퓨터 장치는 변환한 음원 신호를 들숨 강도에 맞추어 음원 신호 진폭 조정 뒤 호흡신호에 가산시킬 수 있다(181). 또는 컴퓨터 장치는 변환한 음원 신호를 날숨 강도에 맞추어 음원 신호 진폭 조정 뒤 호흡신호에 가산시킬 수 있다(182). 컴퓨터 장치는 조정된 들숨, 날숨 음원 신호를 사전에 산출된 호흡신호와 가산 후 그래프와 함께 소리로 출력할 수 있다(190). 이에 컴퓨터 장치는 청음을 통한 사용자의 상태진단이 가능하도록 있다(220).
그리고 컴퓨터 장치는 출력된 호흡신호와 검출된 피크를 기준으로 들숨, 날숨 부분을 구분할 수 있다. 컴퓨터 장치는 검출 피크를 기준으로 각 들숨 부분과 날숨 부분에 진동의 강도나 속도를 조절하여 구분해준다. 즉, 컴퓨터 장치는 추출한 색상데이터를 필터링을 통하여 호흡신호를 산출하고, 상단피크와 하단피크를 검출한 후 들숨, 날숨부분을 구분하고, 각 들숨, 날숨부분의 강도에 따라 진동 디바이스 진동수, 진동의 속도 또는 진동 세기를 조정할 수 있다(200).
예를 들어, 컴퓨터 장치는 신호의 강도를 기준으로 들숨 부분에서 강도가 강해질수록 진동의 간격을 느슨하게 하고(예를 들어, 즉 100ms 기준으로 들숨 부분은 진동 70ms, 대기 30ms로 설정할 수 있다.(진동:대기 = 70:30, 100ms 기준))(201), 날숨 부분부터 강도가 약해질수록 진동의 간격을 조밀하게(202) 진동을 출력(예를 들어, 날숨 부분은 진동 95ms, 대기 5ms로 설정할 수 있다.(진동:대기 = 95:5, 100ms 기준))할 수 있다(210).
사용자가 직관적으로 호흡을 느끼며 진동을 통한 사용자의 상태진단(호흡질환 진단 또는 호흡 강도 진단)이 가능하도록 한다(230,240).
상술한 바와 같이, 컴퓨터 장치는 원활한 청진음 출력을 위해 증폭과 보간을 수행하며, 증폭의 경우 다양한 범위로 수행할 수 있다. 그리고 컴퓨터 장치는 호흡신호를 통해 생성된 청진음을 이용하여 청음과 그래프를 통한 사용자의 상태진단을 하거나 호흡신호를 통해 조정된 진동을 이용하여 사용자의 상태진단을 할 수 있다. 예를 들어, 사용자의 상태진단은 소리 청취와 진동을 통한 사용자 상태 자가 진단(220), 호흡질환 진단(230), 호흡 강도 진단(240)을 포함할 수 있다.
도 7 내지 도 8을 살펴보면, 본 발명의 실시 예에 따른 피부영상을 이용한 디지털 호흡 청진 방법에 대한 다른 예를 나타낼 수 있다.
컴퓨터 장치는 스마트 기기의 카메라를 이용하여 최대 흡기 후 연이어서 최대 호기하는 사용자의 얼굴 영상을 촬영하고(310), 얼굴 영역 및 피부 영역을 검출할 수 있다(320).
그리고 컴퓨터 장치는 지정된 피부 관심 영역에서 Cg색상 데이터(330)에 MAF(Moving Average Filter), BPF(Band Pass Filter)등을 적용하여 상단 피크와 하단 피크를 검출할 수 있다(340). 이에 대한 자세한 설명은 앞에서 설명하였으므로 생략하기로 한다.
컴퓨터 장치는 검출된 호흡신호의 피크점을 통한 호흡수 및 호흡 강도를 측정할 수 있다(350). 컴퓨터 장치는 검출된 음의 피크에서 1초 간격으로(t1, t2, t3)를 기준으로 색상데이터 평균값에 대응하는 제1, 제2, 제3 색상데이터의 차이값(h1, h2, h3)을 검출할 수 있다(351).
구체적으로 컴퓨터 장치는 가장 작은 음의 피크 값에서 1초 경과한 t1 시점의 h1, 2초 경과한 t2 시점의 색상데이터 h2, 3초 경과한 t3 지점의 색상데이터 h3을 산출하고, 산출된 h1, h2, h3을 강제 호기량 제1 회귀 분석식에 적용하여(355) 제1, 제2, 제3 강제 호기량(FEV1,FEV2,FEV3)을 추정할 수 있다(352).
그리고 컴퓨터 장치는 다음으로 추정된 제1, 제2, 제3 강제 호기량을 강제 호기량 제2 회귀 분석식에 적용하여(356) 개선된 제1, 제2, 제3 강제 호기량(FEV1,FEV2,FEV3)을 측정할 수 있다(353). 그리고 컴퓨터 장치는 FVC를 최종적으로 측정할 수 있다(354). FVC는 강제폐활량 혹은 노력성 폐활량을 의미하며, 공기를 최대로 들이마신 상태에서 최대한 내뱉을 수 있는 공기의 양을 나타낼 수 있다.
강제 폐활량(FVC)은 FEV1, FEV2, FEV3를 통하여 산출할 수 있으며 아래 수학식 1과 같다.
Figure 112018100835145-pat00001
상술한 바와 컴퓨터 장치는 호흡신호를 활용하여 호흡수, 호흡 강도를 통한 호흡기질환, 폐질환 등을 진단할 수 있다(360,370).
컴퓨터 장치는 산출된 호흡신호를 통해 호흡수를 측정하고 호흡의 빈도수에 따라 정상호흡, 빈호흡, 서호흡, 무호흡 등으로 구분하며 분당 호흡수가 12~20회로 지속될 경우 정상호흡, 분당 호흡수가 20회 이상으로 지속될 경우 빈호흡, 분당 호흡수가 12회 이하로 지속될 경우 서호흡, 호흡이 정지될 경우 무호흡으로 진단할 수 있다.
또한 이를 통하여 컴퓨터 장치는 무호흡에서 다호흡으로의 변화가 반복될시 Biot's 호흡, 분당 25회 이상의 호흡수는 폐렴과 폐 혈전증의 징후가 될 수 있으며 이를 통해 다양한 호흡 질환을 진단할 수 있다.
컴퓨터 장치는 호흡신호의 피크점을 활용하여 제1, 제2, 제3 강제호기량 (FEV1, FEV2, FEV3)을 추정하며 이를 통해 퍼센트 폐활량(%FVC)과 1초율(FEV1/FVC)을 구한다. %FVC와 1초율을 통해 폐질환 병적 징후를 진단할 수 있으며 폐활량(%FVC) 80%이상 1초율(FEV1) 70%이상 일시에 정상 환기, 폐활량(%FVC) 80%이상 1초율(FEV1) 70%이하 일시에 폐쇄성 환기장애, 폐활량(%FVC) 80%이하 1초율(FEV1) 70%이상 일시에 구속성 환기장애, 폐활량(%FVC) 80%이하 1초율(FEV1) 70%이하 일시에 혼합성 환기장애로 진단할 수 있다.
도 9 및 도 10을 살펴보면, 본 발명의 실시 예에 따른 피부영상을 이용한 디지털 호흡 청진 방법에 대한 다른 예를 나타낼 수 있다.
컴퓨터 장치는 호흡수를 산출하기 위해서 카메라에서 검출된 피부 영상을 이용할 수 있다(510,520, 도 10의 (a1) 및 (b1)과정). 여기서 피부 영상을 검출하는 것에 대한 설명은 앞에서 자세하게 설명하였으므로 생략하기로 한다.
컴퓨터 장치는 피부 영역에 대한 색상 데이터를 필터링하여 맥파신호를 생성 또는 추출할 수 있다(530)(도 10의 (c1)과정). 그리고 컴퓨터 장치는 생성된 맥파신호에 FFT를 적용할 수 있다(540)(도 10의 (d1)과정).
컴퓨터 장치는 피부영상을 통해 추출한 맥파신호의 주파수 영역에서 관찰한 가장 큰 값 또는 큰 파워를 가지는 주파수 값을 산출할 수 있다(550)(도 10의 (e1)과정). 그리고 컴퓨터 장치는 산출된 주파수 값을 기준으로 호흡수를 측정할 수 있다(560). 이를 위해 컴퓨터 장치는 호흡수의 기준이 되는 주파수 성분을 검출하기 위한 주파수 대역을 한정 또는 설정할 수 있다(도 10의 (f1)과정).
컴퓨터 장치는 호흡수 산출을 위한 주파수 범위를 결정하고 결정된 주파수 범위 내에서 가장 큰 파워를 가지는 주파수 값을 이용하여 호흡수를 측정할 수 있다. 그리고 컴퓨터 장치는 호흡수 산출을 위한 특정 주파수 범위를 결정하기 위하여 맥박 신호와 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값을 추출할 수 있다(도 10의 (g1)과정).
예를 들어, 정상적인 사람인 경우 안정 또는 흥분상태에 따라 40~200까지 분당 맥박 수가 측정 될 수 있다. 일례로 기본적으로 관찰하고자 하는 주파수 범위를 0.7Hz에서 3.2Hz으로 제한할 수 있다. 설정한 주파수 범위 내에서 주파수 영역을 관찰하고 해당 주파수 범위에서 가장 큰 파워를 가지는 주파수 값에 따라 두 가지 주파수 범위를 결정할 수 있다.
예를 들어, 맥박과 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값이 1.4보다 클 경우,
Figure 112018100835145-pat00002
에서
Figure 112018100835145-pat00003
범위를 호흡수 측정을 위한 제 1 주파수 범위라고 명명할 수 있다.
이후, 컴퓨터 장치는 맥박과 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값이 1.4보다 작을 경우, 0.1Hz에서 0.35Hz범위를 호흡수 측정을 위한 제 2 주파수 범위를 결정할 수 있다.
최종적으로 호흡수 측정을 위해 설정된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값을 이용하여 호흡수를 추정하고 추정된 호흡수를 회귀분석 함수에 적용하여 개선된 호흡수를 산출할 수 있다(도 10의 (h1)과정).
호흡수 측정을 위한 주파수 범위를 결정하는 과정은 다음과 같다.
컴퓨터 장치는 얼굴영상에서 산출된 색상 데이터 평균값에 FFT를 적용한 결과로부터 맥박과 관련된 주파수 범위(0.7Hz ~ 3.2Hz) 내에서 가장 큰 파워를 가지는 주파수 값이 1.4Hz 이상인 경우, 컴퓨터 장치는 아래의 수학식 2를 이용하여 제1 주파수 범위를 결정할 수 있다.
Figure 112018100835145-pat00004
위 식에서 fpulse는 맥박과 관련된 주파수 범위(0.7Hz ~ 3.2Hz) 내에서 가장 큰 파워를 가지는 주파수 값, frespiration은 상기 fpulse를 이용하여 설정된 호흡수 측정 주파수 범위에서 가장 큰 파워를 가지는 주파수 값을 의미할 수 있다.
컴퓨터 장치는 수학식 2로 결정되는 주파수 범위에서 가장 큰 파워를 가지는 주파수 값(호흡수 측정을 위한 주파수 값)을 결정할 수 있다.
얼굴영상에서 산출된 색상 데이터 평균값에 FFT를 적용한 결과로부터 맥박과 관련된 주파수 범위(0.7Hz ~ 3.2Hz) 내에서 가장 큰 파워를 가지는 주파수 값이 1.4 보다 작은 경우, 컴퓨터 장치는 아래의 수학식 3을 이용하여 제2 주파수 범위를 결정할 수 있다.
이 경우 컴퓨터 장치는 수학식 3으로 결정되는 주파수 범위에서 가장 큰 파워를 가지는 주파수 값(호흡수 측정을 위한 주파수 값)을 결정할 수 있다.
Figure 112018100835145-pat00005
회귀 분석은 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법이다. 회귀 분석은 사전에 일정한 샘플 데이터를 이용하여 특정 값을 산출하는 함수(수식)를 결정할 수 있다(도 10의 (i1) 과정). 회귀 분석 함수는 회귀 직선 또는 회귀 곡선을 나타내는 수식으로 표현될 수 있다. 이때 회귀 분석 함수는 종래 알려진 다양한 수식을 이용할 수 있다.
도 11을 살펴보면, 본 발명의 실시 예에 따른 피부영상을 이용한 호흡에 따른 주파수 강조를 이용한 호흡 반영 음원 생성에 대한 예를 나타낼 수 있다.
먼저, 컴퓨터 장치는 영상을 촬영하고, 피부를 검출할 수 있다(a2). 컴퓨터 장치는 피부 관심 영역에 대한 색상 평균 데이터 추출할 수 있다(b2). 이에 대한 자세한 설명은 도 2 내지 도 6에서 이미 설명하였으므로 여기서는 생략하기로 한다.
컴퓨터 장치는 색상 데이터의 평균값에 필터링(Bnad Pass Filter 등)을 적용한 뒤 호흡신호를 산출할 수 있다(c2). 그리고 컴퓨터 장치는 산출된 호흡신호를 보간할 수 있다(d2). 예를 들어, 영상을 이용한 호흡신호 검출은 초당 30프레임으로 입력된 영상으로부터 색상 변화를 통해 계산하기 때문에 30Hz의 샘플링 속도를 가질 수 있다.
컴퓨터 장치는 일반적인 음원과의 시간을 고려하였을 때, 원활한 처리를 위해 샘플수를 확장해야 하기 때문에, 사용자의 선호 음원과 동일한 샘플링 속도를 유지할 수 있도록 호흡신호의 샘플수를 보간(Interporation)하여 확장할 수 있다.
컴퓨터 장치는 사용자의 음원파일 저장부 혹은 음원파일 저장소(f2)에 저장된 음원을 사용할 수 있다. 음원파일 저장소에 저장된 음원은 사용자의 선호 음원일 수 있다. 컴퓨터 장치는 음원파일 저장소(f2)에서 저장된 음원 파일을 선택하거나 선택된 음원 파일에 대해 샘플 속도를 계산할 수 있다(g2).
컴퓨터 장치는 선택된 음원 신호의 고역/저역강조 수행을 위하여 선호 음원파일의 신호를 입력한다(h2). 또는 컴퓨터 장치는 선택된 음원 파일을 보간할 수 있다(d2).
그리고 컴퓨터 장치는 호흡 반영 음원 조율을 위해 고역강조와 저역강조 필터링을 이용한 주파수 강조기법을 사용할 수 있다.
보간된 호흡신호에서 주파수 강조필터 계수
Figure 112018100835145-pat00006
는 아래 수학식 4를 활용하여 계산할 수 있다(e2).
Figure 112018100835145-pat00007
위의 수학식 4에서 r[n]은 보간된 호흡신호, rp 와 rn은 각각 호흡신호의 최대값과 최소값을 나타낼 수 있다. 일반적인 강조 필터 계수는 -0.95 ∼ 0.95의 범위를 갖기 때문에, rp 와 rn은 각각 호흡신호의 최대값, 최소값에 5%를 추가하여 적절한 범위의 강조필터 계수가 생성될 수 있도록 한다.
입력된 호흡신호에서 계산된 시간에 따른 강조필터 계수를 아래 수학식 5 에 대합하여 사용자의 호흡 상태에 따른 선호 음원의 주파수 강조를 수행할 수 있다(i2).
Figure 112018100835145-pat00008
상기 수학식 5에서
Figure 112018100835145-pat00009
는 강조필터 계수, x는 음원신호이며 y는 최종 산출된 변경된 음원신호를 나타낼 수 있다.
위 수학식 5를 적용하여 입력된 호흡은 양(+)의 값을 가질 경우 고역강조가 수행될 수 있고, 음(-)의 값을 가질 경우 저역강조가 수행될 수 있다. 강조의 강도는 현재 호흡신호의 진폭 범위에 따라 달리 적용될 수 있다.
결과적으로 사용자의 호흡을 반영한 음원을 생성 및 출력함으로써 사용자의 현재 호흡 상태를 자가적으로 청진 및 진단할 수 있다.
상술한 바와 같이, 본 발명의 실시 예에 따른 피부영상을 이용한 디지털 호흡 청진 방법은 기존 접촉식 청진방식에서 벗어나 스마트 기기의 카메라와 같은 일반 카메라, 적외선카메라 등을 통해 입력된 피부영상으로부터 호흡신호를 산출해 적절한 증폭과 보간을 처리하여 청진이 가능한 신호를 산출할 수 있다.
또한, 본 발명의 실시 예에 따른 피부영상을 이용한 디지털 호흡 청진 방법은 스마트 기기의 애플리케이션 형태로 개발할 경우 별도의 장치를 요구하지 않아 일반 사용자들을 대상으로 빠르고 편리한 청진음과 진동을 통하여 제공할 수 있고, 이를 통한 건강상태 직관적으로 진단이 가능할 수 있다.
결과적으로 기존 디지털 청진에 필요한 별도 기기를 사용하는 방법을 효과적으로 대체할 수 있다. 또한 추가적으로 호흡수, 호흡 강도, 호흡질환, 폐질환 등의 진단정보를 함께 제공하여 청음과 진동을 통한 상태진단과 더불어 추가적인 진단정보를 활용한 상태진단이 가능할 수 있다.
본 발명의 실시 예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
50 : 스마트 기기
51 : 카메라
52 : 저장 장치
53 : 제어 장치
54 : 출력 장치
81 : 카메라
85 : 컴퓨터
91 : 사용자 단말
95 : 서버

Claims (22)

  1. 카메라를 이용하여 촬영된 영상에서 컴퓨팅 장치가 피부 영역을 검출하는 단계;
    상기 컴퓨팅 장치가 검출된 상기 피부 영역에서 생체신호를 추출하는 단계;
    상기 컴퓨팅 장치가 추출된 상기 생체신호에서 호흡신호를 추출하는 단계;
    상기 컴퓨팅 장치가 추출된 상기 호흡신호를 증폭하는 단계;
    상기 컴퓨팅 장치가 증폭된 상기 호흡신호를 가청이 가능한 샘플링 주파수를 적용하여 보간하는 단계;
    상기 컴퓨팅 장치가 상기 호흡신호를 들숨과 날숨을 구분하여 진동으로 출력하는 단계;
    상기 컴퓨팅 장치가 기설정된 음원 신호를 상기 호흡신호의 들숨 길이와 날숨 길이에 대응하여 보간하는 단계;
    상기 컴퓨팅 장치가 보간된 상기 음원 신호를 호흡 강도에 따라 진폭을 조정하는 단계;
    상기 컴퓨팅 장치가 조정된 상기 음원신호와 상기 호흡신호를 결합하여 소리로 출력하는 단계;
    상기 컴퓨팅 장치가 상기 호흡신호를 활용하여 호흡상태 정보를 제공하는 단계; 및
    상기 컴퓨팅 장치가 상기 호흡신호를 통해 호흡 강도를 측정하는 단계;를 포함하는 피부영상을 이용한 디지털 호흡 청진 방법.
  2. 제1항에 있어서,
    상기 증폭된 상기 호흡신호는 가청할 수 있는 샘플링 주파수를 사용해 확장하여 보간하는 피부영상을 이용한 디지털 호흡 청진 방법.
  3. 제1항에 있어서,
    증폭된 상기 호흡신호를 가청이 가능한 샘플링 주파수를 적용하여 보간하는 단계 이후,
    상기 컴퓨팅 장치가 상기 보간된 호흡신호의 상단 피크와 하단 피크를 검출하고, 상기 호흡신호의 상단 피크와 상기 하단 피크를 이용하여 상기 호흡신호의 들숨과 날숨을 구분 하며 들숨 날숨 길이를 구하는 단계를 포함하는 피부영상을 이용한 디지털 호흡 청진 방법.
  4. 제1항에 있어서,
    상기 컴퓨팅 장치가 기 설정된 음원 신호를 상기 추출된 호흡신호의 들숨 길이와 날숨 길이에 대응하여 보간 혹은 축소하는 단계를 포함하는 피부영상을 이용한 디지털 호흡 청진 방법.
  5. 제1항에 있어서,
    보간 및 축소된 음원 신호를 호흡 강도에 따라 진폭을 조정하는 단계는
    상기 컴퓨팅 장치가 호흡의 강도가 강해질수록 진폭을 커지도록 조정하고, 호흡 강도가 약해질수록 진폭을 작도록 조정하는 피부영상을 이용한 디지털 호흡 청진 방법.
  6. 제1항에 있어서,
    상기 컴퓨팅 장치가 조정된 상기 음원신호를 상기 호흡신호와 결합하여 소리로 호흡 상태를 센싱 또는 측정하는 피부영상을 이용한 디지털 호흡 청진 방법.
  7. 제1항에 있어서,
    상기 컴퓨팅 장치가 상기 호흡신호를 그래프로 출력하는 피부영상을 이용한 디지털 호흡 청진 방법.
  8. 제1항에 있어서,
    상기 호흡신호를 진동으로 출력하는 단계는
    상기 컴퓨팅 장치가 상기 호흡 강도를 기준으로 상기 들숨에서 강도가 강해질수록 진동의 간격이 길어지도록 조정하고, 상기 날숨에서 강도가 약해질수록 진동의 간격이 짧아지도록 조정하여 출력하는 피부영상을 이용한 디지털 호흡 청진 방법.
  9. 제1항에 있어서,
    상기 호흡 강도 또는 호흡수는 상기 호흡신호의 상단 피크와 하단 피크를 이용하여 추출 또는 산출되는 영상을 이용한 피부영상을 이용한 디지털 호흡 청진 방법.
  10. 제1항에 있어서,
    상기 호흡 강도를 측정하는 단계는
    상기 컴퓨팅 장치가 상기 호흡신호의 진폭을 이용하는 것을 특징으로 하는 피부영상을 이용한 디지털 호흡 청진 방법.
  11. 제1항에 있어서,
    상기 컴퓨팅 장치가 호흡 질환을 예측하는 정보를 제공하는 단계를 더 포함하고,
    상기 호흡 질환을 예측하는 정보를 제공하는 단계는
    상기 호흡신호를 통해 측정된 상기 호흡의 강도, 호흡의 규칙성, 호흡수를 이용하는 것을 특징으로 하는 피부영상을 이용한 디지털 호흡 청진 방법.
  12. 카메라를 이용하여 촬영된 최대 흡기 후 연이은 최대 호기하는 영상에서 컴퓨팅 장치가 피부 영역을 검출하는 단계;
    상기 컴퓨팅 장치가 검출된 상기 피부 영역에서 생체신호를 추출하는 단계;
    상기 컴퓨팅 장치가 추출된 상기 생체신호에서 호흡신호를 추출하는 단계;
    상기 컴퓨팅 장치가 추출된 상기 호흡신호의 상단 피크와 하단 피크를 검출하는 단계;
    상기 컴퓨팅 장치가 검출된 상기 상단 피크와 상기 하단 피크를 이용하여 호흡 커브의 피크점을 측정하는 단계;
    상기 컴퓨팅 장치가 검출된 상기 호흡 커브를 활용하여 제1 강제 호기량(FEV1), 제2 강제 호기량(FEV2), 제3 강제 호기량(FEV3)을 측정하는 단계;
    상기 컴퓨팅 장치가 측정된 상기 제1 강제 호기량(FEV1), 측정된 상기 제2 강제 호기량(FEV2), 측정된 상기 제3 강제 호기량(FEV3)을 활용하여 강제 폐활량(FVC)를 측정하는 단계; 및
    상기 컴퓨팅 장치가 측정된 상기 강제 폐활량(FVC)를 활용하여 폐기능 정보를 제공하는 단계;
    를 포함하는 피부영상을 이용한 디지털 호흡 청진 방법.
  13. 제12항에 있어서,
    검출된 상기 상단 피크와 상기 하단 피크를 이용하여 호흡 커브의 피크점을 측정하는 단계는
    상기 컴퓨팅 장치가 측정된 상기 커브의 피크점을 통해 호흡수 및 호흡 강도를 측정하는 피부영상을 이용한 디지털 호흡 청진 방법.
  14. 제13항에 있어서,
    상기 호흡수 및 상기 호흡 강도 측정은
    상기 컴퓨팅 장치가 검출된 상기 호흡 신호의 상기 상단 피크와 상기 하단 피크를 측정하여 들숨 부분과 날숨 부분을 검출하고,
    상기 컴퓨팅 장치가 상기 상단 피크의 높이, 상기 하단 피크의 높이 그리고 피크 수를 통해 상기 호흡 수와 상기 호흡 강도를 측정하는 피부영상을 이용한 디지털 호흡 청진 방법.
  15. 제12항에 있어서,
    상기 제1 강제 호기량(FEV1), 상기 제2 강제 호기량(FEV2) 그리고 상기 제3 강제 호기량(FEV3)은
    상기 컴퓨팅 장치가 검출된 상기 호흡 커브의 하단 피크 값에서 1초 경과한 t1 시점의 h1, 2초 경과한 t2 시점의 h2, 3초 경과한 t3 시점의 h3를 강제 호기량 회귀 분석식에 적용하여 측정하는 피부영상을 이용한 디지털 호흡 청진 방법.
  16. 제12항에 있어서,
    상기 강제 폐활량(FVC)은 수학식 1을 이용하여 산출하는 피부영상을 이용한 디지털 호흡 청진 방법.
    [수학식 1]
    Figure 112018100835145-pat00010
  17. 제12항에 있어서,
    측정된 상기 강제 폐활량(FVC)를 활용하여 폐기능 정보를 제공하는 단계는
    상기 컴퓨팅 장치가 상기 강제 폐활량(FVC)과 상기 제1 강제 호기량(FEV1)을 활용하여 퍼센트 폐활량(%FVC)와 1초율(FEV1/FVC)을 산출하여 폐 기능을 정보를 제공하는 피부영상을 이용한 디지털 호흡 청진 방법.
  18. 제17항에 있어서,
    측정된 상기 강제 폐활량(FVC)를 활용하여 폐 기능 정보를 제공하는 단계는
    상기 컴퓨팅 장치가 상기 폐활량(%FVC) 80%이상 상기 1초율(FEV1) 70%이상이면 정상 환기로 예측하는 정보를 제공하고,
    상기 컴퓨팅 장치가 상기 폐활량(%FVC) 80%이상 상기 1초율(FEV1) 70%이하이면 폐쇄성 환기장애로 예측하는 정보를 제공하고,
    상기 컴퓨팅 장치가 상기 폐활량(%FVC) 80%이하 상기 1초율(FEV1) 70%이상이면 구속성 환기장애로 예측하는 정보를 제공하고,
    상기 컴퓨팅 장치가 상기 폐활량(%FVC) 80%이하 상기 1초율(FEV1) 70%이하이면 혼합성 환기장애로 예측하는 정보를 제공하는 피부영상을 이용한 디지털 호흡 청진 방법.
  19. 카메라를 이용하여 촬영된 영상에서 컴퓨팅 장치가 피부 영역을 검출하는 단계;
    상기 컴퓨팅 장치가 검출된 상기 피부 영역에서 생체신호를 추출하는 단계;
    상기 컴퓨팅 장치가 추출된 상기 생체신호에서 호흡신호를 추출하는 단계;
    상기 컴퓨팅 장치가 추출된 상기 호흡신호를 음원과 동일한 샘플수(sample rate)로 보간하는 단계;
    상기 컴퓨팅 장치가 보간된 상기 호흡신호에 강조필터 계수를 계산하는 단계; 및
    상기 컴퓨팅 장치가 계산된 상기 강조필터 계수를 이용해 음원 신호를 필터링하는 단계;를 포함하고,
    상기 강조필터 계수를 계산하는 단계는 아래와 같은 수학식 4를 이용하여 산출하는 피부영상을 이용한 디지털 호흡 청진 방법,
    [수학식 4]
    Figure 112021501045305-pat00025

    상기 수학식 4에서,
    Figure 112021501045305-pat00026
    는 강조필터 계수, r[n]은 보간된 호흡신호, rp 와 rn은 각각 호흡 신호의 최대값과 최소값.
  20. 제19항에 있어서,
    추출된 상기 호흡신호를 음원과 동일한 상기 샘플수(sample rate)로 보간하는 단계는
    상기 컴퓨팅 장치가 검출된 상기 호흡신호를 기설정된 음원에 대응하여 상기 샘플수를 확장하는 피부영상을 이용한 디지털 호흡 청진 방법.
  21. 삭제
  22. 제19항에 있어서,
    상기 강조필터 계수를 이용해 음원 신호를 필터링하는 단계는
    아래와 같은 수학식 5를 이용하여 산출하는 피부영상을 이용한 디지털 호흡 청진 방법.
    [수학식 5]
    Figure 112020133994588-pat00012

    상기 수학식 5에서, x는 음원신호이며 y는 최종 산출된 변경된 음원신호.
KR1020180122103A 2018-10-12 2018-10-12 피부영상을 이용한 디지털 호흡 청진 방법 KR102242479B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180122103A KR102242479B1 (ko) 2018-10-12 2018-10-12 피부영상을 이용한 디지털 호흡 청진 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180122103A KR102242479B1 (ko) 2018-10-12 2018-10-12 피부영상을 이용한 디지털 호흡 청진 방법

Publications (2)

Publication Number Publication Date
KR20200042076A KR20200042076A (ko) 2020-04-23
KR102242479B1 true KR102242479B1 (ko) 2021-04-21

Family

ID=70472529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180122103A KR102242479B1 (ko) 2018-10-12 2018-10-12 피부영상을 이용한 디지털 호흡 청진 방법

Country Status (1)

Country Link
KR (1) KR102242479B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102459183B1 (ko) * 2021-04-16 2022-10-26 (주)비스토스 컬러영상을 이용한 심박 측정방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017121529A (ja) * 2017-03-21 2017-07-13 ヤマハ株式会社 音源装置およびプログラム
US20180279893A1 (en) * 2014-04-02 2018-10-04 Massachusetts Institute Of Technology Methods and Apparatus for Physiological Measurement Using Color Band Photoplethysmographic Sensor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101409800B1 (ko) 2012-11-08 2014-06-24 상지대학교산학협력단 맥파로 얻어진 맥파형의 주파수 분석을 통한 호흡성분 추출장치 및 방법
KR101869225B1 (ko) * 2016-11-15 2018-06-19 성균관대학교산학협력단 영상을 이용한 기이 맥박 판별 방법 및 영상을 이용한 기이 맥박 판별 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180279893A1 (en) * 2014-04-02 2018-10-04 Massachusetts Institute Of Technology Methods and Apparatus for Physiological Measurement Using Color Band Photoplethysmographic Sensor
JP2017121529A (ja) * 2017-03-21 2017-07-13 ヤマハ株式会社 音源装置およびプログラム

Also Published As

Publication number Publication date
KR20200042076A (ko) 2020-04-23

Similar Documents

Publication Publication Date Title
Nam et al. Estimation of respiratory rates using the built-in microphone of a smartphone or headset
EP3229692B1 (en) Acoustic monitoring system, monitoring method, and monitoring computer program
Martin et al. In-ear audio wearable: Measurement of heart and breathing rates for health and safety monitoring
US10413233B2 (en) Monitoring of sleep phenomena
CA2872785C (en) Sound-based spirometric devices, systems, and methods
US9706946B2 (en) Spirometer system and methods of data analysis
KR101619611B1 (ko) 마이크로폰을 이용한 호흡률 추정 장치 및 기법
US20220007964A1 (en) Apparatus and method for detection of breathing abnormalities
Kalkbrenner et al. Apnea and heart rate detection from tracheal body sounds for the diagnosis of sleep-related breathing disorders
US20200196977A1 (en) System and method for determining cardiac rhythm and/or respiratory rate
CA2847412C (en) System and methods for estimating respiratory airflow
US20240057964A1 (en) Deriving insights into health through analysis of audio data generated by digital stethoscopes
KR102242479B1 (ko) 피부영상을 이용한 디지털 호흡 청진 방법
WO2015178439A2 (ja) 睡眠時無呼吸の中枢型／閉塞型診断支援装置および診断支援方法、ならびに睡眠時無呼吸の中枢型／閉塞型診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2018147252A1 (ja) ベッドモニタリングシステム
EP2283773A1 (en) Processing a breathing signal
KR102189793B1 (ko) 얼굴 영상에서 검출된 호흡 커브를 이용한 폐기능 측정 및 호흡 상태를 진단하는 방법
WO2020090763A1 (ja) 処理装置、システム、処理方法、およびプログラム
JP7193080B2 (ja) 情報処理装置、システム、情報処理方法、およびプログラム
JP2019088392A (ja) 肺機能検査装置
JPH042331A (ja) 呼吸計測装置
JP6656789B2 (ja) 信号処理装置及び方法
JP2020069113A (ja) 処理装置、システム、処理方法、およびプログラム
WO2024057260A1 (en) Respiratory evaluation and monitoring system and method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant