KR102619295B1 - 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법 - Google Patents
스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법 Download PDFInfo
- Publication number
- KR102619295B1 KR102619295B1 KR1020220037497A KR20220037497A KR102619295B1 KR 102619295 B1 KR102619295 B1 KR 102619295B1 KR 1020220037497 A KR1020220037497 A KR 1020220037497A KR 20220037497 A KR20220037497 A KR 20220037497A KR 102619295 B1 KR102619295 B1 KR 102619295B1
- Authority
- KR
- South Korea
- Prior art keywords
- breathing
- sounds
- smartphone
- cough
- sound
- Prior art date
Links
- 206010011224 Cough Diseases 0.000 title claims abstract description 176
- 208000037656 Respiratory Sounds Diseases 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001755 vocal effect Effects 0.000 claims abstract description 96
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 62
- 230000036541 health Effects 0.000 claims abstract description 30
- 230000003213 activating effect Effects 0.000 claims abstract description 6
- 208000023504 respiratory system disease Diseases 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000003862 health status Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001939 inductive effect Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 206010047924 Wheezing Diseases 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000241 respiratory effect Effects 0.000 description 3
- 208000025721 COVID-19 Diseases 0.000 description 2
- 206010011376 Crepitations Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000002345 respiratory system Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000010470 Ageusia Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 206010042241 Stridor Diseases 0.000 description 1
- 235000019666 ageusia Nutrition 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 208000017574 dry cough Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0823—Detecting or evaluating cough events
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/003—Detecting lung or respiration noise
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Nursing (AREA)
- Telephone Function (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법에 관한 것이다. 본 발명에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법은, 스마트폰이 카메라를 이용하여 입을 벌려서 낼 수 있는 모음이 포함되는 임의의 한 글자의 발성 입모양으로 입의 위치를 유도하는 단계; 사용자의 입모양이 상기 유도하는 입모양에 위치하면, 스마트폰이 녹음 기능을 작동시켜 자동으로 녹음을 시작하는 단계; 자동으로 녹음 시작 후, 스마트폰이 사용자에 의해 기침 또는 호흡을 한 번 하도록 하는 문구 및/또는 음성을 출력, 또는 예시 성음을 들려준 후 따라하도록 유도하는 단계; 사용자가 기침 또는 호흡을 한 번 하면, 스마트폰이 기침음 또는 호흡음의 음향 데이터를 수집, 또는 사용자의 예시 성음 발성에 따른 성음 음향 데이터를 수집하는 단계; 기침음, 호흡음의 수집을 N회 반복하여 N회의 기침음 또는 호흡음의 음향 데이터가 수집되거나, 기설정된 스펙을 만족하는 성음 음향 데이터가 수집되면, 스마트폰이 기침음, 호흡음, 성음 음향 데이터의 수집을 자동으로 종료하는 단계; 스마트폰이 수집된 기침음, 호흡음 및 성음 음향 데이터를 서버로 전송하고, 서버가 기침음, 호흡음 및 성음 음향 데이터를 분석 및 결과를 스마트폰으로 전송하여 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시하는 단계를 포함한다.
Description
본 발명은 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법에 관한 것으로서, 더 상세하게는 스마트폰을 이용하여 사용자의 기침음, 호흡음, 성음을 수집함에 있어서, 수집되는 데이터의 일관성을 유지할 수 있고, 사용자가 자신의 호흡기계 건강 상태를 간편하게 확인할 수 있는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법에 관한 것이다.
호흡기 질환은 고전적으로 의사의 흉부 청진, 영상 검사 등을 통해 진단된다. 기침과 천명음은 대부분의 호흡기 질환에 동반되며, 초기에 발견 가능한 증상으로 의사의 진단에 중요한 요소이다. 호흡기 질병에 따라 천명음의 유무, 기침의 위치, 종류, 시간, 객담의 유무 등의 차이가 있다.
상기 기침/호흡음의 차이를 이용하여 질병을 분류하고자 하는 연구가 지속되고 있다. COVID19의 경우, 열을 동반한 짧고 마른 기침이 나오며, 미각 소실 특징이 있다. 따라서 이를 이용하여 질병을 분류하거나 기타 다른 연구를 진행할 수 있다. COVID19의 유행으로 원격 진료 혹은 비대면 진료의 필요성 및 관심이 증대되면서, 스마트폰을 이용한 검진 및 진단에 대한 연구가 활발하다. 따라서, 호흡기 질병의 조기 진단과, 기침과 호흡음의 진단적 가치를 높이는 노력이 필요하다. 여기서, 비정상 호흡음의 종류로는 천명음, 나음, 수포음, 협착음, 흉막마찰음이 있다. 날숨(호기) 때 소리가 나는지 아니면 들숨(흡기) 때 소리가 나는지, 아니면 둘 다 소리가 나는지, 소리의 크기는 작은지 큰지, 소리의 높이는 낮은지 높은지, 어느 부위에서 소리가 나는지에 따라 진단이 달라진다.
최근 딥 러닝(deep learning) 기반의 기계학습 모델이 지속적으로 연구 및 개발되고 있으며, 이와 같은 기계학습 모델이 다양한 음성 분석 분야에 사용되고 있다. 기계학습 모델에 대한 연구는 전자청진기를 통해 환자의 호흡음을 수집하고, 이를 이용하여 비정상 호흡음을 분류하거나 호흡기 질환을 분류하는 방식(형태)이 주류를 이루고 있다. 그러나 이와 같은 방식은 전자청진기가 동원되어야 하는 등 일반 사용자가 이용하기에는 어려움이 있다. 따라서 사용자가 자신의 스마트폰을 이용하여 자신의 호흡음은 물론 기침음, 성음까지 측정(수집)할 수 있는 방법이 있다면, 일반 사용자들에게 매우 유용할 것이다. 하지만, 사용자가 스마트폰을 이용하여 기침음, 호흡음, 성음을 수집하는 경우, 입에서 나오는 바람소리, 주변의 소음, 작은 음성으로 인해 양질의 음향 데이터를 수집하기 어려운 문제점이 있다.
한편, 한국 공개특허공보 제10-2021-0054800호(특허문헌 1)에는 사용자의 음성샘플 수집방법이 개시되어 있는 바, 통화 이벤트(call event)가 발생하면 마이크로폰을 통해 화자의 음성데이터를 획득하는 단계; 상기 획득된 화자의 음성데이터와 등록 사용자(registered user)의 음성데이터를 비교하여 화자 검증(speaker verification)을 수행하는 단계; 상기 화자 검증 결과, 상기 화자가 상기 등록 사용자로 판단되면 상기 통화 이벤트가 지속되는 동안 획득된 상기 화자의 음성데이터를 저장하는 단계; 상기 화자의 음성데이터로부터 상기 화자의 텍스트데이터를 생성하는 단계; 상기 화자의 음성데이터와 텍스트데이터를 포함하는 학습데이터를 서버로 전송하는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 사용자 단말로 통화를 하는 동안 학습데이터를 획득할 수 있고, 화자의 음성데이터 및/또는 화자의 음성데이터에 기반한 텍스트데이터에 대한 학습데이터로서의 적합성을 판단하고, 적합한 데이터만을 학습데이터로 이용할 수 있는 장점이 있으나, 단지 화자의 음성데이터만을 이용하고 있어 사용자의 기침음이나 호흡음에 대한 데이터는 수집할 수 없고, 이에 따라 사용자의 기침음이나 호흡음 데이터를 바탕으로 사용자의 호흡기계 건강 상태를 확인할 수는 없다.
본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 스마트폰을 이용하여 사용자의 기침음, 호흡음, 성음을 수집함에 있어서, 스마트폰에 표시된 사용자의 입모양이 유도하는 위치에 사용자의 입을 위치하면 자동으로 녹음이 시작된 후 N회 기침음, 호흡음이 녹음되면 자동으로 녹음이 종료됨으로써, 수집되는 데이터의 일관성을 유지할 수 있는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법을 제공함에 그 목적이 있다.
본 발명의 다른 목적은 스마트폰을 이용하여 사용자의 기침음, 호흡음, 성음을 녹취하고, 녹취된 음향 데이터를 분석하여 사용자의 기침음, 호흡음, 성음에 대한 건강신호등을 표시해 줌으로써, 사용자가 자신의 호흡기계 건강 상태를 간편하게 확인할 수 있는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법을 제공함에 있다.
상기의 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법은,
a) 스마트폰이 카메라를 이용하여 입을 벌려서 낼 수 있는 모음이 포함되는 임의의 한 글자의 발성 입모양으로 입의 위치를 유도하는 단계와;
b) 사용자의 입모양이 스마트폰의 화면상에 표시된 상기 유도하는 입모양에 위치하면, 스마트폰이 녹음 기능을 작동시켜 자동으로 녹음을 시작하는 단계와;
c) 상기 자동으로 녹음 시작 후, 스마트폰이 사용자에 의해 기침 또는 호흡을 한 번 하도록 하는 문구 및/또는 음성을 출력, 또는 예시 성음을 들려준 후 따라하도록 유도하는 단계와;
d) 사용자가 기침 또는 호흡을 한 번 하면, 스마트폰이 기침음 또는 호흡음을 녹음하여 기침음 또는 호흡음의 음향 데이터를 수집, 또는 사용자의 예시 성음 발성에 따른 성음 음향 데이터를 수집하는 단계와;
e) 상기 단계 c) 및 d)를 N회 반복하여 N회의 기침음 또는 호흡음의 음향 데이터가 수집되거나, 기설정된 스펙을 만족하는 성음 음향 데이터가 수집되면, 스마트폰이 녹음 기능을 자동으로 중지시켜 기침음, 호흡음, 성음 음향 데이터의 수집을 자동으로 종료하는 단계와;
f) 스마트폰이 수집된 상기 기침음, 호흡음 및 성음 음향 데이터를 서버로 전송하고, 상기 서버가 상기 기침음, 호흡음 및 성음 음향 데이터를 분석하는 단계; 및
g) 상기 서버가 분석 결과를 상기 스마트폰으로 전송하여 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 e)에서 N회의 기침음 또는 호흡음의 음향 데이터를 수집함에 있어서, 기침음, 호흡음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 기침음, 호흡음을 다시 수집할 수 있다.
이때, 상기 스펙을 만족하는 N회의 데이터가 수집될 때까지 상기 단계 b)∼d)를 반복 수행할 수 있다.
또한, 상기 단계 e)에서 성음 음향 데이터를 수집함에 있어서, 성음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 성음을 다시 수집할 수 있다.
이때, 상기 스펙을 만족하는 성음 데이터가 수집될 때까지 상기 단계 b)∼d)를 반복 수행할 수 있다.
또한, 상기 단계 f)에서 상기 서버가 상기 기침음, 호흡음 및 성음 음향 데이터를 분석함에 있어서, 음향 데이터에 대해서 이벤트 구간 추출 → 샘플링 데이터 추출 → 비정상호흡 정도 분류 → 호흡기질환 건강지수 산출 → 건강신호등 표시의 순서로 분석이 진행될 수 있다.
또한, 상기 단계 g)에서 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시함과 함께 호흡기질환 종합 의견을 더 표시할 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법은,
m) 스마트폰이 입을 벌린 상태와 상관없이 사용자의 입의 위치를 미리 설정된 가이드의 입모양에 위치시킨 후, 입을 벌려서 낼 수 있는 모음을 포함하는 한 글자를 소리내도록 하는 단계와;
n) 음성 인식을 통해 상기 모음을 포함하는 한 글자를 인식하여 해당 글자를 소리내고 있을 때, 스마트폰이 녹음 기능을 작동시켜 자동으로 녹음을 시작하는 단계와;
o) 상기 자동으로 녹음 시작 후, 스마트폰이 사용자에 의해 기침 또는 호흡을 한 번 하도록 하는 문구 및/또는 음성을 출력, 또는 예시 성음을 들려준 후 따라하도록 유도하는 단계와;
p) 사용자가 기침 또는 호흡을 한 번 하면, 스마트폰이 기침음 또는 호흡음을 녹음하여 기침음 또는 호흡음의 음향 데이터를 수집, 또는 사용자의 예시 성음 발성에 따른 성음 음향 데이터를 수집하는 단계와;
q) 상기 단계 o) 및 p)를 N회 반복하여 N회의 기침음 또는 호흡음의 음향 데이터가 수집되거나, 기설정된 스펙을 만족하는 성음 음향 데이터가 수집되면, 스마트폰이 녹음 기능을 자동으로 중지시켜 기침음, 호흡음, 성음 음향 데이터의 수집을 자동으로 종료하는 단계와;
r) 스마트폰이 수집된 상기 기침음, 호흡음 및 성음 음향 데이터를 서버로 전송하고, 상기 서버가 상기 기침음, 호흡음 및 성음 음향 데이터를 분석하는 단계; 및
s) 상기 서버가 분석 결과를 상기 스마트폰으로 전송하여 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 q)에서 N회의 기침음 또는 호흡음의 음향 데이터를 수집함에 있어서, 기침음, 호흡음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 기침음, 호흡음을 다시 수집할 수 있다.
이때, 상기 스펙을 만족하는 N회의 데이터가 수집될 때까지 상기 단계 n)∼p)를 반복 수행할 수 있다.
또한, 상기 단계 q)에서 성음 음향 데이터를 수집함에 있어서, 성음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 성음을 다시 수집할 수 있다.
이때, 상기 스펙을 만족하는 성음 데이터가 수집될 때까지 상기 단계 n)∼p)를 반복 수행할 수 있다.
또한, 상기 단계 r)에서 상기 서버가 상기 기침음, 호흡음 및 성음 음향 데이터를 분석함에 있어서, 음향 데이터에 대해서 이벤트 구간 추출 → 샘플링 데이터 추출 → 비정상호흡 정도 분류 → 호흡기질환 건강지수 산출 → 건강신호등 표시의 순서로 분석이 진행될 수 있다.
또한, 상기 단계 s)에서 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시함과 함께 호흡기질환 종합 의견을 더 표시할 수 있다.
이와 같은 본 발명에 의하면, 스마트폰에 표시된 사용자의 입모양이 유도하는 위치에 사용자의 입을 위치하면 자동으로 녹음이 시작된 후 N회 기침음, 호흡음이 녹음되면 자동으로 녹음이 종료됨으로써, 시작과 종료를 사용자가 조작할 필요가 없고, 스마트폰과 발화 지점의 거리와 각도를 항상 일정하게 유지함으로써 수집되는 데이터의 일관성을 유지할 수 있으며, 이에 따라 스마트폰으로 기침음, 호흡음, 성음을 수집할 시, 입에서 나오는 바람소리, 주변 소음, 작은 음성으로 인해 양질의 음향 데이터를 수집하기 어려운 문제점을 해결할 수 있는 장점이 있다.
또한, 스마트폰을 이용하여 사용자의 기침음, 호흡음, 성음을 녹취하고, 녹취된 음향 데이터를 분석하여 사용자의 기침음, 호흡음, 성음에 대한 건강신호등을 표시해 줌으로써, 사용자가 자신의 호흡기계 건강 상태를 간편하게 확인할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법의 실행 과정을 나타낸 흐름도이다.
도 2는 입을 벌려서 낼 수 있는 모음이 포함된 한 글자 발성 입모양으로 입의 위치를 유도하여 자동으로 녹음을 시작하는 것을 나타낸 도면이다.
도 3은 사용자가 기침/호흡을 하도록 유도하여 N회 기침음/호흡음의 음향 데이터를 수집 후 종료하는 과정을 나타낸 도면이다.
도 4는 기침음, 호흡음의 음향 데이터 수집의 서브 루틴을 나타낸 흐름도이다.
도 5는 성음의 음향 데이터 수집의 서브 루틴을 나타낸 흐름도이다.
도 6은 스마트폰에 의해 수집된 음향 데이터를 서버로 전송하여 서버에 의해 음향 데이터를 분석 및 결과를 스마트폰으로 전송하는 과정을 나타낸 도면이다.
도 7은 본 발명의 다른 실시예에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법의 실행 과정을 나타낸 흐름도이다.
도 8은 입을 벌린 상태와 상관없이 입의 위치를 가이드의 입모양에 위치시킨 후, 지정된 발성음을 내게하여 음성인식 후 자동으로 녹음을 시작하는 과정을 나타낸 도면이다.
도 2는 입을 벌려서 낼 수 있는 모음이 포함된 한 글자 발성 입모양으로 입의 위치를 유도하여 자동으로 녹음을 시작하는 것을 나타낸 도면이다.
도 3은 사용자가 기침/호흡을 하도록 유도하여 N회 기침음/호흡음의 음향 데이터를 수집 후 종료하는 과정을 나타낸 도면이다.
도 4는 기침음, 호흡음의 음향 데이터 수집의 서브 루틴을 나타낸 흐름도이다.
도 5는 성음의 음향 데이터 수집의 서브 루틴을 나타낸 흐름도이다.
도 6은 스마트폰에 의해 수집된 음향 데이터를 서버로 전송하여 서버에 의해 음향 데이터를 분석 및 결과를 스마트폰으로 전송하는 과정을 나타낸 도면이다.
도 7은 본 발명의 다른 실시예에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법의 실행 과정을 나타낸 흐름도이다.
도 8은 입을 벌린 상태와 상관없이 입의 위치를 가이드의 입모양에 위치시킨 후, 지정된 발성음을 내게하여 음성인식 후 자동으로 녹음을 시작하는 과정을 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법의 실행 과정을 나타낸 흐름도이고, 도 2는 입을 벌려서 낼 수 있는 모음이 포함된 한 글자 발성 입모양으로 입의 위치를 유도하여 자동으로 녹음을 시작하는 것을 나타낸 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법은, 먼저 스마트폰(210)이 카메라를 이용하여 입을 벌려서 낼 수 있는 모음(예를 들면, "아", "야", "어", "여")이 포함되는 임의의 한 글자의 발성 입모양으로 입의 위치를 유도한다(단계 S101). 즉, 도 2의 (a)와 같이, 사용자의 스마트폰(210) 화면에는 예를 들면, "입을 '아' 모양으로 벌리고, 아래의 입 모양에 본인의 입 위치를 맞춰주세요. 입 위치를 맞춘 후 입으로만 호흡 또는 기침을 진행해 주세요."와 같은 안내 문구와 발성 입모양(유도하는 입모양) 이미지(210a)가 표시된다. 여기서, 이와 같은 안내 문구와 발성 입모양(유도하는 입모양) 이미지(210a)의 표시는 본 출원의 출원인 측에 의해 미리 만들어진 앱(application)이 스마트폰에 다운로드된 상태에서 앱의 실행에 의해 이루어지며, 이와 같은 앱은 일반적인 앱과 마찬가지로 인터넷을 통해 제공될 수 있다.
이후, 도 2의 (b)와 같이 사용자의 입모양이 스마트폰(210)의 화면상에 표시된 상기 유도하는 입모양 이미지(210a)에 위치하면, (c)와 같이 스마트폰(210)이 녹음 기능(즉, 녹음 버튼(211))을 작동시켜 자동으로 녹음을 시작한다(단계 S102).
이상과 같이 자동으로 녹음을 시작한 후, 스마트폰(210)이 사용자에 의해 기침 또는 호흡을 한 번 하도록 하는 문구, 예를 들면, 도 3의 (a)와 같이 "기침을 한 번 해주세요.", "호흡을 한 번 해주세요."와 같은 문구 및/또는 음성을 출력하거나, 도 5에 도시된 바와 같이, 예시 성음(예를 들면, '아(도) 아(미) 아(솔) 아(미) 아(도)')을 들려준 후 따라하도록 유도한다(단계 S103).
이상에 의해, 사용자가 기침 또는 호흡을 한 번 하면, 스마트폰(210)은 기침음 또는 호흡음을 녹음하여 기침음 또는 호흡음의 음향 데이터를 수집, 또는 사용자의 예시 성음 발성에 따른 성음 음향 데이터를 수집한다(단계 S104). 여기서, 이와 같은 기침음 또는 호흡음의 음향 데이터 수집 및 성음 음향 데이터 수집과 관련해서는 뒤에서 다시 설명하기로 한다.
이후, 상기 단계 S103 및 S104를 N회 반복하여 N회의 기침음 또는 호흡음의 음향 데이터가 수집되거나, 기설정된 스펙을 만족하는 성음 음향 데이터가 수집되면, 스마트폰(210)이 녹음 기능(즉, 녹음 버튼(211))을 자동으로 중지시켜 기침음, 호흡음, 성음 음향 데이터의 수집을 자동으로 종료한다(단계 S105). 여기서, N회의 기침음 또는 호흡음의 음향 데이터를 수집함에 있어서, 기침음, 호흡음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 기침음, 호흡음을 다시 수집할 수 있다. 이때, 상기 스펙을 만족하는 N회의 데이터가 수집될 때까지 상기 단계 S102∼S104를 반복 수행할 수 있다.
또한, 상기 성음 음향 데이터를 수집함에 있어서, 성음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 성음을 다시 수집할 수 있다. 이때, 상기 스펙을 만족하는 성음 데이터가 수집될 때까지 상기 단계 S102∼S104를 반복 수행할 수 있다.
이상과 같이 스마트폰(210)에 의해 기침음, 호흡음 및 성음 음향 데이터의 수집이 완료되면, 도 6에 도시된 바와 같이, 스마트폰(210)은 그 수집된 상기 기침음, 호흡음 및 성음 음향 데이터를 서버(610)로 전송하고, 서버(610)는 상기 기침음, 호흡음 및 성음 음향 데이터를 분석한다(단계 S106). 여기서, 상기 서버(610)가 상기 기침음, 호흡음 및 성음 음향 데이터를 분석함에 있어서, 음향 데이터에 대해서 이벤트 구간 추출 → 샘플링 데이터 추출 → 비정상호흡 정도 분류 → 호흡기질환 건강지수 산출 → 건강신호등 표시의 순서로 분석이 진행될 수 있다.
최종적으로, 상기 서버(610)는 분석 결과를 상기 스마트폰(210)으로 전송하여 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시한다(단계 S107). 여기서, 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시함에 있어서, 기침음, 호흡음 및 성음의 건강 상태에 따라 서로 다른 색상의 표시 기호로 표시할 수 있다. 예를 들면, 기침음, 호흡음 및 성음의 수집 데이터가 미리 설정된 기준 데이터와 비교했을 때, 허용오차 범위 내에 있으면 각각 "정상" 상태를 나타내는 청색 원으로 표시하고, 기준 데이터와 비교했을 때, 오차가 10∼20% 범위에 있으면 "주의" 상태를 나타내는 황색 원으로 표시하며, 기준 데이터와 비교했을 때, 오차가 50% 이상이면 "경계" 상태를 나타내는 적색 원으로 표시할 수 있다. 여기서, 또한 이상과 같이 스마트폰(210)의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시함과 함께 바람직하게는 호흡기질환 종합 의견을 더 표시할 수 있다.
도 4는 기침음, 호흡음의 음향 데이터 수집의 서브 루틴을 나타낸 흐름도이다.
도 4를 참조하면, 전술한 바와 같이, 스마트폰(210)은 사용자에 의해 기침 또는 호흡을 한 번 하도록 하는 문구, 예를 들면, 도 3의 (a)와 같이 "기침을 한 번 해주세요.", "호흡을 한 번 해주세요."와 같은 문구 및/또는 음성을 출력한다(단계 S401).
이에 따라, 사용자는 기침 또는 호흡을 하고, 스마트폰(210)에서는 기침음 또는 호흡음의 음향 데이터를 수집한다(단계 S402).
그런 후, 스마트폰(210)은 수집된 기침음 또는 호흡음의 음향 데이터가 평균 기침음 또는 호흡음 스펙을 만족하는지를 판별한다(단계 S403).
상기 단계 S403의 판별에서, 기침음, 호흡음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우, 해당 기침음, 호흡음의 수집음을 삭제하고 단계 S401로 프로그램 진행을 회귀하여 기침음, 호흡음 데이터를 다시 수집한다.
그리고 상기 단계 S403의 판별에서, 기침음, 호흡음이 평균 길이와 진폭을 가지는 스펙을 만족하는 경우, 기침음, 호흡음에 대한 N회 데이터가 수집되었는지를 판별한다(단계 S404). 이 판별에서, 기침음, 호흡음에 대한 N회 데이터가 수집되지 않았으면, 단계 S401로 프로그램 진행을 회귀하여 기침음, 호흡음 데이터를 다시 수집한다. 즉, 스펙을 만족하는 N회의 데이터가 수집될 때까지 데이터 수집 과정을 반복 수행한다.
그리고 상기 단계 S404의 판별에서, 기침음, 호흡음에 대한 N회 데이터가 수집되었으면, 스마트폰(210)에서는 "기침음, 호흡음 수집이 완료되었습니다."(도 3의 (b) 참조)와 같은 문구 또는 음성을 출력함과 함께 기침음, 호흡음에 대한 데이터 수집을 종료한다(단계 S405).
도 5는 성음의 음향 데이터 수집의 서브 루틴을 나타낸 흐름도이다.
도 5를 참조하면, 스마트폰(210)에서는 먼저 (a)와 같이 "다음 소리를 따라하세요."와 같은 문구 및/또는 음성을 출력한다(단계 S501).
그러면서 바로 전술한 바와 같이, 예시 성음(예를 들면, '아(도) 아(미) 아(솔) 아(미) 아(도)')을 들려준 후 따라하도록 유도한다(단계 S502).
이에 따라 사용자는 상기 예시 성음을 따라 소리를 내고, 스마트폰(210)은성음의 음향 데이터를 수집한다(단계 S503).
이후, 스마트폰(210)은 수집된 성음의 음향 데이터가 평균 성음 스펙을 만족하는지를 판별한다(단계 S504). 이 판별에서, 성음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우, 해당 성음의 수집음을 삭제하고 단계 S401로 프로그램 진행을 회귀하여 성음 데이터를 다시 수집한다. 즉, 스펙을 만족하는 성음 데이터가 수집될 때까지 데이터 수집 과정을 반복 수행한다.
그리고 상기 단계 S504의 판별에서, 성음이 평균 길이와 진폭을 가지는 스펙을 만족하는 경우, 스마트폰(210)에서는 "성음 수집이 완료되었습니다."(도 5의 (b) 참조)와 같은 문구 또는 음성을 출력함과 함께 성음에 대한 데이터 수집을 종료한다(단계 S505).
한편, 도 7은 본 발명의 다른 실시예에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법의 실행 과정을 나타낸 흐름도이다.
도 7을 참조하면, 이 다른 실시예의 경우는 위에서 설명한 일 실시예의 데이터 수집 방법과 대동소이하다. 즉, 이 다른 실시예의 경우는 입을 벌린 상태와 상관없이 사용자의 입의 위치를 미리 설정된 가이드의 입모양에 위치시킨 후, 입을 벌려서 낼 수 있는 모음을 포함하는 한 글자를 소리내도록 하여 녹음을 시작하는 점에서 일 실시예와 특징적으로 차이가 있을 뿐, 나머지 부분의 기술내용은 동일하다.
도 7에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법은, 먼저 스마트폰(210)이 입을 벌린 상태와 상관없이, 사용자의 입의 위치를 미리 설정된 가이드의 입모양에 위치시킨 후, 입을 벌려서 낼 수 있는 모음(예를 들면, "아", "야", "어", "여")을 포함하는 한 글자를 소리내도록 한다(단계 S701). 즉, 도 8의 (a)와 같이, 스마트폰(210)의 화면에는, 예를 들면, "아래의 입 모양에 본인의 입 위치를 맞춰주세요."와 같은 안내 문구와 가이드의 입모양 이미지(210b)가 표시된다. 여기서, 이와 같은 안내 문구와 가이드의 입모양 이미지(210b)의 표시는 본 출원의 출원인 측에 의해 미리 만들어진 앱(application)이 스마트폰에 다운로드된 상태에서 앱의 실행에 의해 이루어지며, 이와 같은 앱은 일반적인 앱과 마찬가지로 인터넷을 통해 제공될 수 있다.
그런 후, 도 8의 (b)와 같이, 스마트폰(210)의 화면에는, 예를 들면, "입 위치를 맞춘 후 '아∼'라고 소리내 보세요."와 같은 안내 문구 및/또는 음성이 출력되고, 그러면, 스마트폰(210)에 탑재된 앱은 음성 인식을 통해 상기 모음(즉, 입을 벌려서 낼 수 있는 모음)을 포함하는 한 글자를 인식하여 해당 글자를 소리내고 있을 때, (c)와 같이 스마트폰이 녹음 기능(즉, 녹음 버튼(211))을 작동시켜 자동으로 녹음을 시작한다(단계 S702).
상기 자동으로 녹음을 시작한 후, 스마트폰(210) 사용자에 의해 기침 또는 호흡을 한 번 하도록 하는 문구(예를 들면, 도 3의 (a)와 같이 "기침을 한 번 해주세요.", "호흡을 한 번 해주세요."와 같은 문구) 및/또는 음성을 출력하거나, 도 5에 도시된 바와 같이, 예시 성음(예를 들면, '아(도) 아(미) 아(솔) 아(미) 아(도)')을 들려준 후 따라하도록 유도한다(단계 S703).
이렇게 하여 사용자가 기침 또는 호흡을 한 번 하면, 스마트폰(210)은 기침음 또는 호흡음을 녹음하여 기침음 또는 호흡음의 음향 데이터를 수집, 또는 사용자의 예시 성음 발성에 따른 성음 음향 데이터를 수집한다(단계 S704). 여기서, 이와 같은 기침음 또는 호흡음의 음향 데이터 수집 및 성음 음향 데이터 수집과 관련한 구체적인 설명은 앞에서 도 4 및 도 5를 참조하여 하였으므로, 그것으로 갈음하기로 하고 여기에서는 생략하기로 한다.
이후, 상기 단계 S703 및 S704를 N회 반복하여 N회의 기침음 또는 호흡음의 음향 데이터가 수집되거나, 기설정된 스펙을 만족하는 성음 음향 데이터가 수집되면, 스마트폰(210)이 녹음 기능(즉, 녹음 버튼(211))을 자동으로 중지시켜 기침음, 호흡음, 성음 음향 데이터의 수집을 자동으로 종료한다(단계 S705). 여기서, N회의 기침음 또는 호흡음의 음향 데이터를 수집함에 있어서, 기침음, 호흡음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 기침음, 호흡음을 다시 수집할 수 있다. 이때, 상기 스펙을 만족하는 N회의 데이터가 수집될 때까지 상기 단계 S702∼S704를 반복 수행할 수 있다.
또한, 상기 성음 음향 데이터를 수집함에 있어서, 성음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 성음을 다시 수집할 수 있다. 이때, 상기 스펙을 만족하는 성음 데이터가 수집될 때까지 상기 단계 S702∼S704를 반복 수행할 수 있다.
이상과 같이 스마트폰(210)에 의해 기침음, 호흡음 및 성음 음향 데이터의 수집이 완료되면, 도 6에 도시된 바와 같이, 스마트폰(210)은 그 수집된 상기 기침음, 호흡음 및 성음 음향 데이터를 서버(610)로 전송하고, 상기 서버(610)는 상기 기침음, 호흡음 및 성음 음향 데이터를 분석한다(단계 S706). 여기서, 상기 서버(610)가 상기 기침음, 호흡음 및 성음 음향 데이터를 분석함에 있어서, 음향 데이터에 대해서 이벤트 구간 추출 → 샘플링 데이터 추출 → 비정상호흡 정도 분류 → 호흡기질환 건강지수 산출 → 건강신호등 표시의 순서로 분석이 진행될 수 있다.
최종적으로, 상기 서버(610)는 분석 결과를 상기 스마트폰(210)으로 전송하여 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시한다(단계 S707). 여기서, 전술한 바와 같이, 스마트폰(210)의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시함에 있어서, 기침음, 호흡음 및 성음의 건강 상태에 따라 서로 다른 색상의 표시 기호로 표시할 수 있다. 예를 들면, 기침음, 호흡음 및 성음의 수집 데이터가 미리 설정된 기준 데이터와 비교하여, 허용오차 범위 내에 있으면 각각 "정상" 상태를 나타내는 청색 원으로 표시하고, 기준 데이터와 비교하여, 오차가 10∼20% 범위에 있으면 "주의" 상태를 나타내는 황색 원으로 표시하며, 기준 데이터와 비교했을 때, 오차가 50% 이상이면 "경계" 상태를 나타내는 적색 원으로 표시할 수 있다. 여기서, 또한 이상과 같이 스마트폰(210)의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시함과 함께 바람직하게는 호흡기질환 종합 의견을 더 표시할 수 있다.
이상의 설명과 같이, 본 발명에 따른 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법은, 스마트폰에 표시된 사용자의 입모양이 유도하는 위치에 사용자의 입을 위치하면 자동으로 녹음이 시작된 후 N회 기침음, 호흡음이 녹음되면 자동으로 녹음이 종료됨으로써, 시작과 종료를 사용자가 조작할 필요가 없고, 스마트폰과 발화 지점의 거리와 각도를 항상 일정하게 유지함으로써 수집되는 데이터의 일관성을 유지할 수 있으며, 이에 따라 스마트폰으로 기침음, 호흡음, 성음을 수집할 시, 입에서 나오는 바람소리, 주변 소음, 작은 음성으로 인해 양질의 음향 데이터를 수집하기 어려운 문제점을 해결할 수 있는 장점이 있다.
또한, 스마트폰을 이용하여 사용자의 기침음, 호흡음, 성음을 녹취하고, 녹취된 음향 데이터를 분석하여 사용자의 기침음, 호흡음, 성음에 대한 건강신호등을 표시해 줌으로써, 사용자가 자신의 호흡기계 건강 상태를 간편하게 확인할 수 있는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
210: 스마트폰 211: 녹음 버튼
210a: 발성 입모양(유도하는 입모양) 이미지
210b: 가이드의 입모양 이미지 610: 서버
210a: 발성 입모양(유도하는 입모양) 이미지
210b: 가이드의 입모양 이미지 610: 서버
Claims (14)
- a) 스마트폰이 카메라를 이용하여 입을 벌려서 낼 수 있는 모음이 포함되는 임의의 한 글자의 발성 입모양으로 입의 위치를 유도하는 단계와;
b) 사용자의 입모양이 스마트폰의 화면상에 표시된 상기 유도하는 입모양에 위치하면, 스마트폰이 녹음 기능을 작동시켜 자동으로 녹음을 시작하는 단계와;
c) 상기 자동으로 녹음 시작 후, 스마트폰이 사용자에 의해 기침 또는 호흡을 한 번 하도록 하는 문구 및/또는 음성을 출력, 또는 예시 성음을 들려준 후 따라하도록 유도하는 단계와;
d) 사용자가 기침 또는 호흡을 한 번 하면, 스마트폰이 기침음 또는 호흡음을 녹음하여 기침음 또는 호흡음의 음향 데이터를 수집, 또는 사용자의 예시 성음 발성에 따른 성음 음향 데이터를 수집하는 단계와;
e) 상기 단계 c) 및 d)를 N회 반복하여 N회의 기침음 또는 호흡음의 음향 데이터가 수집되거나, 기설정된 스펙을 만족하는 성음 음향 데이터가 수집되면, 스마트폰이 녹음 기능을 자동으로 중지시켜 기침음, 호흡음, 성음 음향 데이터의 수집을 자동으로 종료하는 단계와;
f) 스마트폰이 수집된 상기 기침음, 호흡음 및 성음 음향 데이터를 서버로 전송하고, 상기 서버가 상기 기침음, 호흡음 및 성음 음향 데이터를 분석하는 단계; 및
g) 상기 서버가 분석 결과를 상기 스마트폰으로 전송하여 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시하는 단계를 포함하고,
상기 단계 e)에서 성음 음향 데이터를 수집함에 있어서, 성음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 성음을 다시 수집하는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
- 제1항에 있어서,
상기 단계 e)에서 N회의 기침음 또는 호흡음의 음향 데이터를 수집함에 있어서, 기침음, 호흡음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 기침음, 호흡음을 다시 수집하는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
- 제2항에 있어서,
상기 스펙을 만족하는 N회의 데이터가 수집될 때까지 상기 단계 b)∼d)를 반복 수행하는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
- 삭제
- 제1항에 있어서,
상기 스펙을 만족하는 성음 데이터가 수집될 때까지 상기 단계 b)∼d)를 반복 수행하는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
- 제1항에 있어서,
상기 단계 f)에서 상기 서버가 상기 기침음, 호흡음 및 성음 음향 데이터를 분석함에 있어서, 음향 데이터에 대해서 이벤트 구간 추출 → 샘플링 데이터 추출 → 비정상호흡 정도 분류 → 호흡기질환 건강지수 산출 → 건강신호등 표시의 순서로 분석이 진행되는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
- 제1항에 있어서,
상기 단계 g)에서 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시함과 함께 호흡기질환 종합 의견을 더 표시하는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
- m) 스마트폰이 입을 벌린 상태와 상관없이 사용자의 입의 위치를 미리 설정된 가이드의 입모양에 위치시킨 후, 입을 벌려서 낼 수 있는 모음을 포함하는 한 글자를 소리내도록 하는 단계와;
n) 음성 인식을 통해 상기 모음을 포함하는 한 글자를 인식하여 해당 글자를 소리내고 있을 때, 스마트폰이 녹음 기능을 작동시켜 자동으로 녹음을 시작하는 단계와;
o) 상기 자동으로 녹음 시작 후, 스마트폰이 사용자에 의해 기침 또는 호흡을 한 번 하도록 하는 문구 및/또는 음성을 출력, 또는 예시 성음을 들려준 후 따라하도록 유도하는 단계와;
p) 사용자가 기침 또는 호흡을 한 번 하면, 스마트폰이 기침음 또는 호흡음을 녹음하여 기침음 또는 호흡음의 음향 데이터를 수집, 또는 사용자의 예시 성음 발성에 따른 성음 음향 데이터를 수집하는 단계와;
q) 상기 단계 o) 및 p)를 N회 반복하여 N회의 기침음 또는 호흡음의 음향 데이터가 수집되거나, 기설정된 스펙을 만족하는 성음 음향 데이터가 수집되면, 스마트폰이 녹음 기능을 자동으로 중지시켜 기침음, 호흡음, 성음 음향 데이터의 수집을 자동으로 종료하는 단계와;
r) 스마트폰이 수집된 상기 기침음, 호흡음 및 성음 음향 데이터를 서버로 전송하고, 상기 서버가 상기 기침음, 호흡음 및 성음 음향 데이터를 분석하는 단계; 및
s) 상기 서버가 분석 결과를 상기 스마트폰으로 전송하여 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시하는 단계를 포함하고,
상기 단계 q)에서 성음 음향 데이터를 수집함에 있어서, 성음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 성음을 다시 수집하는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법. - 제8항에 있어서,
상기 단계 q)에서 N회의 기침음 또는 호흡음의 음향 데이터를 수집함에 있어서, 기침음, 호흡음이 평균 길이와 진폭을 가지는 스펙을 만족하지 못하는 경우 해당 수집음을 삭제하고, 기침음, 호흡음을 다시 수집하는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
- 제9항에 있어서,
상기 스펙을 만족하는 N회의 데이터가 수집될 때까지 상기 단계 n)∼p)를 반복 수행하는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
- 삭제
- 제8항에 있어서,
상기 스펙을 만족하는 성음 데이터가 수집될 때까지 상기 단계 n)∼p)를 반복 수행하는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
- 제8항에 있어서,
상기 단계 r)에서 상기 서버가 상기 기침음, 호흡음 및 성음 음향 데이터를 분석함에 있어서, 음향 데이터에 대해서 이벤트 구간 추출 → 샘플링 데이터 추출 → 비정상호흡 정도 분류 → 호흡기질환 건강지수 산출 → 건강신호등 표시의 순서로 분석이 진행되는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
- 제8항에 있어서,
상기 단계 s)에서 스마트폰의 화면에 사용자의 기침음, 호흡음 및 성음의 건강신호등을 표시함과 함께 호흡기질환 종합 의견을 더 표시하는 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210178585 | 2021-12-14 | ||
| KR1020210178585 | 2021-12-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230090968A KR20230090968A (ko) | 2023-06-22 |
| KR102619295B1 true KR102619295B1 (ko) | 2024-01-02 |
Family
ID=86989291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220037497A KR102619295B1 (ko) | 2021-12-14 | 2022-03-25 | 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102619295B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002269544A (ja) * | 2001-03-09 | 2002-09-20 | Sensor:Kk | 目の動きと口の形状認識を利用した文字入力装置 |
| US20210298711A1 (en) * | 2020-03-25 | 2021-09-30 | Applications Technology (Apptek), Llc | Audio biomarker for virtual lung function assessment and auscultation |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210054800A (ko) | 2019-11-06 | 2021-05-14 | 엘지전자 주식회사 | 사용자의 음성샘플 수집 |
-
2022
- 2022-03-25 KR KR1020220037497A patent/KR102619295B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002269544A (ja) * | 2001-03-09 | 2002-09-20 | Sensor:Kk | 目の動きと口の形状認識を利用した文字入力装置 |
| US20210298711A1 (en) * | 2020-03-25 | 2021-09-30 | Applications Technology (Apptek), Llc | Audio biomarker for virtual lung function assessment and auscultation |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230090968A (ko) | 2023-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11918372B2 (en) | Cognitive function evaluation system, method, and storage medium for dementia by analyzing voice of evaluatee for recognition, remembering or jugment capabilities | |
| JP6272308B2 (ja) | 音ベースの肺活量測定のデバイス、システムおよび方法 | |
| Gillespie et al. | Aerodynamic profiles of women with muscle tension dysphonia/aphonia | |
| US11826161B2 (en) | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and non-transitory computer-readable storage medium | |
| US20080045805A1 (en) | Method and System of Indicating a Condition of an Individual | |
| US20210298711A1 (en) | Audio biomarker for virtual lung function assessment and auscultation | |
| JP7385299B2 (ja) | スピーチ分析による肺気量の推定 | |
| WO2014045257A1 (en) | System and method for determining a person's breathing | |
| KR102434912B1 (ko) | 신경언어장애를 개선하는 방법 및 장치 | |
| CN114828743A (zh) | 自动和客观的症状严重程度评分 | |
| KR20220048381A (ko) | 말 장애 평가 장치, 방법 및 프로그램 | |
| CN114916921A (zh) | 一种快速言语认知评估方法及装置 | |
| Meltzner et al. | Speech recognition for vocalized and subvocal modes of production using surface EMG signals from the neck and face. | |
| KR102619295B1 (ko) | 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법 | |
| CN107591163B (zh) | 一种发音探测方法及装置、语音范畴学习方法及*** | |
| Cler et al. | Objective measure of nasal air emission using nasal accelerometry | |
| KR101420057B1 (ko) | 말지각 검사 장치 및 이를 이용한 말지각 검사방법 | |
| KR102624676B1 (ko) | 스마트폰으로 수집한 기침음, 호흡음, 성음 측정 데이터를 이용한 호흡기 질환 예측 방법 | |
| Phoophuangpairoj | Recognizing breathing sounds using HMMs and grammar | |
| KR20190041011A (ko) | 연하 진단 장치 및 프로그램 | |
| KR102031295B1 (ko) | 비강 에너지 변화 측정 시스템 및 그 측정 방법 | |
| Cheng | Speech Assessment, Instrumental | |
| TR2022016249A2 (tr) | Nefes ölçüm ve taki̇p si̇stemi̇ | |
| CN115644848A (zh) | 一种基于语音信号的肺功能参数测量方法和*** | |
| Chiu et al. | Two-Stage Segment-Based Acoustic Approach for Fast Glottis Identification During Endotracheal Intubation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |