KR102052186B1 - Smart nasometer system - Google Patents
Smart nasometer system Download PDFInfo
- Publication number
- KR102052186B1 KR102052186B1 KR1020170107302A KR20170107302A KR102052186B1 KR 102052186 B1 KR102052186 B1 KR 102052186B1 KR 1020170107302 A KR1020170107302 A KR 1020170107302A KR 20170107302 A KR20170107302 A KR 20170107302A KR 102052186 B1 KR102052186 B1 KR 102052186B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- voice signal
- user
- microphone
- smart
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 18
- 238000000926 separation method Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 5
- 206010013952 Dysphonia Diseases 0.000 description 14
- 210000003128 head Anatomy 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 210000000214 mouth Anatomy 0.000 description 5
- 230000006735 deficit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008450 motivation Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 208000027765 speech disease Diseases 0.000 description 3
- 206010009269 Cleft palate Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 210000003928 nasal cavity Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 201000003462 adenoid hypertrophy Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 208000011977 language disease Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Tourism & Hospitality (AREA)
- Animal Behavior & Ethology (AREA)
- Primary Health Care (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Marketing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Child & Adolescent Psychology (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Epidemiology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명의 일 실시예에 따른 스마트 나조미터스마트 나조미터 시스템은, 사용자에게 착용되어 비음과 구강음을 측정하고 피드백하는 하드웨어부와, 상기 하드웨어부에서 측정된 음성신호를 받아 처리를 하는 연산부를 포함하고, 상기 하드웨어부는 사용자의 인중부위에 터치되지 않은 상태로 비음과 구강음 신호를 분리하여 측정하는 마이크부를 포함하며, 상기 연산부는 상기 마이크부에서 측정된 음성신호의 비성치(Nasalance)를 조정하는 비성치 조정부를 포함한다.Smart Nazometer Smart Nazometer system according to an embodiment of the present invention, the hardware unit is worn by the user to measure and feed back and nasal and oral sounds, and a hardware unit, and a calculation unit for receiving and processing the audio signal measured by the hardware unit The hardware unit may include a microphone unit that separates and measures a nasal sound and an oral sound signal without being touched by a user's middle part, and the operation unit adjusts a nascal value of a voice signal measured by the microphone unit. It includes a non-value adjusting unit.
Description
본 발명은 나조미터 시스템에 관한 것으로, 보다 상세하게는 공명 장애 환자의 측정 및 치료를 용이하게 하기 위한 시스템에 관한 것이다.The present invention relates to a nazometer system, and more particularly to a system for facilitating the measurement and treatment of patients with resonance disorders.
공명장애란 언어장애의 하나로 점막하구개열(submucous cleft palate)을 포함한 구개열(cleft palate), 아데노이드 비대, 신경학적 원인 등으로 과다비성(hypernasality) 또는 과소비성(hyponasality)이 있는 경우 주로 발생한다.Resonance disorder is one of the language disorders that occur mainly in cases of hypernasality or hyperconsumption due to cleft palate, submucous cleft palate, adenoid hypertrophy, and neurological causes.
공명장애를 치료하기 위해 공명훈련을 하게 되는데 대표적인 공명훈련 방법으로는 청각적, 촉각적, 시각적 피드백을 이용한 방법, 보상적 방법, 지속적 양압기(CPAP)를 사용한 연인두 근육 강화 방법이 존재하며, 공명 훈련 시 구비강 분리 호흡 측정을 위해 나조미터(nasometer), See-Scape 등의 측정 장비들이 함께 활용된다.Resonance training is performed to treat resonance disorders. Representative resonance training methods include auditory, tactile and visual feedback methods, compensatory methods, and reinforcement of the cranial muscle using CPAP. In resonant training, measuring instruments such as a nasometer and See-Scape are used together to measure sedimentary breaths.
도 1은 공명장애 측정 및 치료를 위해 기존 나조미터를 사용하는 예시를 나타낸 것이다.Figure 1 shows an example of using a conventional nazometer for measuring and treating resonance disorders.
비성치(nasalance)를 측정하기 위한 최초의 나조미터는 1987년 Kay Elemetronics Corp.(Lincoln Park: NJ, 미국)에 의해 개발되었다. 비성치(nasalance)란 공명 장애 환자의 치료 상태를 평가하기 위하여 측정하는 비율로서 이는 비강과 구강에서 나오는 음성신호 에너지 총합 중 비강에서 나오는 음성신호 에너지의 비율을 산출하여 정량화되고, 주요 분석 항목은 평균 비성치(mean nasalance), 최대 비성치(maximum nasalance), 최소 비성치(minimum nasalance) 등이 있다.The first nazometer to measure nasalance was developed in 1987 by Kay Elemetronics Corp. (Lincoln Park: NJ, USA). Nasalance is a ratio measured to evaluate the treatment status of a patient with resonance disorder, which is quantified by calculating the ratio of voice signal energy from the nasal cavity to the sum of voice signal energy from the nasal cavity and the oral cavity. Mean nasalance, maximum nasalance, minimum nasalance, and the like.
나조미터(nasometer)는 컴퓨터에 기반하여 정량적으로 비성치(nasalance)를 측정할 수 있는 장비로서, 객관적인 정보를 제공해 주고, 측정이 간단하고 용이하며, 피험자와 표준화된 자료의 결과 비교가 가능하고, 시각적 피드백을 통한 공명패턴 수정이 가능한 장점이 있어, 공명 장애를 측정 시 일반적으로 사용되고 있다(Awan et al., 2010). 또한, 나조미터는 미국과 세계 여러 나라의 안면센터와 다른 임상분야에서도 사용되는 장치로서(Mayo, 2011), 전 연령층에 대해 많은 연구들을 통해 비성치 데이터가 얻어졌지만, 현재까지 비성치 데이터를 정형화하여 공명장애환자와 정상인을 대조군으로 하여 판별 모형을 수립한 사례는 없었다.The nasometer is a computer-based instrument that can quantitatively measure nasal ances, providing objective information, making measurement simple and easy, and comparing the results of subjects and standardized data. Resonance patterns can be corrected through visual feedback, which is commonly used to measure resonance disorders (Awan et al., 2010). Nazometers are also used in facial centers and other clinical areas in the United States and many other countries (Mayo, 2011). Therefore, no discriminant model was established with the control group and the normal subject as the control group.
나조미터(nasometer)의 실행 순서는 프로그램을 실행 시키고, 피험자가 헤드셋을 착용한 상태에서 치료사가 임의로 작성한 문장을 발화하면, 구강마이크와 비강마이크를 통해 입력된 구강 음향학적 에너지와 비강 음향학적 에너지의 합에 대한 비강 음향학적 에너지의 비율을 %로 환산하여 비성치를 도출한다.The order of execution of the nasometer is to execute the program, and when the subject wears the headset and utters the sentence randomly written by the therapist, the oral acoustic energy and the nasal acoustic energy input through the oral microphone and the nasal microphone are The ratio of nasal acoustic energy to sum is expressed in% to derive the specific value.
현존하는 나조미터(nasometer)는 (1) 편리성, (2) 휴대성, (3) 피드백 측면에서 문제점을 가지고 있다. 첫째, 기존 나조미터는 마이크와 분리판의 무게뿐만 아니라 신호 처리 증폭부 및 변환부가 장비자체에 존재해 크고 무겁게 설계 되었다. 특히, 금속의 무거운 분리판이 신체에 부착되어 오래 착용 시 인중 부위뿐 아니라 그 무게로 인해 지지하는 헤드부가 눌려 머리 중앙 부분에 상당한 불편이 유발되고, 사용자들이 착용 후 구강음과 비음을 측정 시 입을 자유롭게 움직일 수 없어 많은 불편함이 발생되고 있다. 둘째, 기존 나조미터(nasometer)는 치료사 혹은 임상의의 지도 아래 병원 또는 클리닉에서 주로 사용되는데, 휴대성이 미흡하여 독립적으로 일상에서 개인이 휴대하여 실시간으로 측정할 수 없다는 단점이 있다. 마지막으로, 기존 나조미터(nasometer)는 마이크를 통해 구강음과 비음을 측정할 수 있으나 스피커를 구비하지 않아 사용자 본인이 실시간 음성 피드백을 통해 본인의 소리를 인지하여 치료 효과를 볼 수 없다는 단점이 있다. 따라서, 기존 나조미터(nasometer)는 장기간 착용 시 장비의 불편함과 단순 측정 반복만 함으로써 치료 대상자로 하여금 지루함을 유발하여 자발적인 치료 및 동기 유발의 측면에서 지속적인 치료 활동 및 치료 단계에 따른 실시간 음성 피드백을 통한 체계적인 치료가 어렵다.The existing nasometers have problems in terms of (1) convenience, (2) portability, and (3) feedback. First, the existing nazometer is designed to be large and heavy because the signal processing amplifier and conversion unit exist in the equipment itself as well as the weight of the microphone and the separator. In particular, a heavy metal separating plate is attached to the body, and the head part supported by the weight is pressed when worn for a long time, causing considerable inconvenience in the center of the head, and users can freely wear their mouth when measuring oral and nasal sounds after wearing. There is a lot of inconvenience caused by not being able to move. Second, the conventional nasometer is mainly used in a hospital or clinic under the guidance of a therapist or clinician, and has a disadvantage in that it is not portable enough to carry out measurements in real time independently by an individual. Lastly, the conventional nasometer can measure oral and nasal sounds through a microphone, but it does not have a speaker, so the user cannot recognize his / her sound through real-time voice feedback and see a therapeutic effect. . Therefore, the existing nasometer only causes discomfort and simple measurement repetition during long-term wear, causing boredness to the treatment subjects, thereby providing real-time voice feedback according to continuous treatment activities and treatment stages in terms of spontaneous treatment and motivation. Systemic treatment is difficult through
본 발명의 주요 목적은 비성치(nasalance)측정의 정확성을 잃지 않으면서 보다 편리하고 불편함 없이 사용할 수 있도록 인체공학적인 요소를 고려하여 효과적으로 실시간 피드백이 가능하도록 설계된 나조미터(nasometer)와 이를 이용하여 측정 및 치료 시 동기 유발, 치료 활동유도 및 언어장애 정도에 따른 맞춤형 치료를 위해 기능성 게임과 연동하여 정량적 치료 데이터를 데이터베이스(DB)로 통합 및 관리하여 체계적인 언어 치료가 가능하게 하여 공명장애 환자의 치료 및 훈련이 가능한 통합 시스템을 구축하는 것이다.The main object of the present invention is to use a nasometer designed to enable effective real-time feedback in consideration of ergonomic factors so that it can be used more conveniently and inconveniently without losing accuracy of nasalance measurement. Treatment of patients with resonance disorder by integrating and managing quantitative treatment data into database (DB) in conjunction with functional games for customized treatment according to motivation, treatment induction and degree of speech impairment during measurement and treatment And building an integrated system that can be trained.
상기의 목적을 달성하기 위하여 본 발명의 일 실시예는, 사용자의 머리에 착용되어 비음과 구강음을 측정하고 피드백하는 하드웨어부와, 상기 하드웨어부에서 측정된 음성신호를 받아 처리를 하는 연산부를 포함하고, 상기 하드웨어부는 사용자의 인중부위에 터치되지 않은 상태로 비음과 구강음 신호를 분리하여 측정하는 마이크부를 포함하며, 상기 연산부는 상기 마이크부에서 측정된 음성신호의 비성치(Nasalance)를 조정하는 비성치 조정부를 포함하는, 스마트 나조미터 시스템을 제공한다.In order to achieve the above object, an embodiment of the present invention includes a hardware unit that is worn on a user's head to measure and feed back a nasal and oral sound, and an operation unit that receives and processes a voice signal measured by the hardware unit. The hardware unit may include a microphone unit that separates and measures a nasal sound and an oral sound signal without being touched by a user's middle part, and the operation unit adjusts a nascal value of a voice signal measured by the microphone unit. It provides a smart nachometer system comprising a non-adjustment unit.
상기 연산부를 통해 처리된 음성신호를 이용하여 사용자에게 피드백을 제공하는 기능성 게임을 포함하는 어플리케이션부와, 상기 어플리케이션부에서 발생된 사용자의 데이터가 저장되어 사용자 또는 임상가에게 피드백을 제공하는 데이터베이스부를 더 포함할 수 있다. The application unit including a functional game for providing feedback to the user using the voice signal processed through the operation unit, and a database unit for storing the user's data generated in the application unit to provide feedback to the user or clinician can do.
상기 연산부에서 처리된 음성신호를 무선으로 송수신하여 상기 하드웨어부 및 상기 데이터베이스부와 연동시키는 무선송수신부;를 더 포함할 수 있다.And a wireless transmission / reception unit interworking with the hardware unit and the database unit by wirelessly transmitting and receiving the voice signal processed by the operation unit.
상기 하드웨어부는 사용자의 머리 크기에 맞게 길이 및 각도 조절이 가능한 헤드부; 및 사용자의 귀를 덮고 각도 조절이 가능하게 형성되며, 상기 연산부에서 처리된 음성신호를 실시간으로 피드백하는 스피커부;를 더 포함할 수 있다.The hardware unit can be adjusted in length and angle to fit the head size of the user head; And a speaker unit covering the user's ear and configured to adjust an angle, and feeding back a voice signal processed by the calculating unit in real time.
상기 마이크부는 사용자의 안면으로부터 이격된 거리가 조절될 수 있다.The microphone unit may adjust a distance spaced from the user's face.
상기 마이크부는 수평방향으로 연장된 형태이며 사용자의 인중부위에 터치되지 않게 위치되는 분리판; 및 상기 분리판의 상부 및 하부에 각각 배치되어 비음과 구강음 신호를 개별적으로 측정하는 2개의 마이크;를 포함할 수 있다.The microphone unit extends in a horizontal direction and is disposed on the user's middle portion without being touched; And two microphones respectively disposed on upper and lower portions of the separator to separately measure nasal and oral sound signals.
상기 마이크부는 상기 2개의 마이크가 지지되는 몸체를 포함하고, 상기 분리판은 상기 몸체에 탈착이 가능할 수 있다.The microphone unit may include a body on which the two microphones are supported, and the separation plate may be detachable from the body.
상기 비성치 조정부는 상기 분리판이 사용자의 인중부위에 터치된 상태에서 상기 마이크부에서 측정된 음성신호의 비성치와 차이가 없도록 조정하는 알고리즘을 포함할 수 있다.The non-property adjustment unit may include an algorithm for adjusting the separation plate so that the separation plate is not different from the non-property value of the voice signal measured by the microphone unit while the separator is touched by the user's middle part.
상기 알고리즘은, 나노미터 교정 단계에서 상기 분리판이 인중부위에 터치된 상태에서 상기 마이크부에서 측정된 제1 음성신호의 음향 에너지를 상기 분리판이 인중부위에 터치되지 않은 상태에서 상기 마이크부에서 측정된 제2 음성신호의 음향 에너지로 나눈 값을 음향 에너지 조정률로 하여, 실시간으로 측정되는 상기 제2 음성신호의 음향 에너지에 상기 음향 에너지 조정률을 곱함으로써, 상기 제2 음성신호의 비성치를 상기 제1 음성신호의 비성치와 차이가 없도록 조정할 수 있다.The algorithm may measure the acoustic energy of the first voice signal measured by the microphone unit while the separator is touched at the middle part in the nanometer calibration step, at the microphone unit when the separator is not touched at the middle part. A specific value of the second voice signal is determined by multiplying the sound energy adjustment rate by the sound energy adjustment rate of the second voice signal measured in real time using the value divided by the sound energy of the second voice signal as the sound energy adjustment rate. The signal can be adjusted so that it does not differ from the specificity of the signal.
상기 연산부는 신호를 증폭하기 위한 음성 신호 증폭부와, 음성 신호를 데시벨(dB)값으로 변환해주기 위한 음성 신호 변환부와, 정상 범주를 벗어난 음성 신호를 제외하는 노이즈 필터링부를 더 포함할 수 있다.The calculator may further include a voice signal amplifier for amplifying a signal, a voice signal converter for converting a voice signal into a decibel (dB) value, and a noise filtering unit for excluding a voice signal outside of a normal range.
상기 음성 신호 변환부는 로그 함수(logarithmic function)를 사용하여 음성 신호를 데시벨(dB)값으로 변환할 수 있다.The voice signal converter may convert a voice signal into a decibel (dB) value using a logarithmic function.
상기 노이즈 필터링부는 상기 마이크부에서 비음과 구강음 중 50dB이하의 값을 제거할 수 있다.The noise filtering unit may remove a value of 50 dB or less of the nasal and oral sounds from the microphone unit.
상기 어플리케이션부는 전자기기와 연동하여 상기 연산부에서 처리된 실시간 음성신호를 통해 상기 전자기기에 구현된 상기 기능성 게임을 제어할 수 있다.The application unit may control the functional game implemented in the electronic device through a real-time voice signal processed by the calculating unit in conjunction with the electronic device.
본 발명의 일 실시예에 따른 스마트 나조미터 시스템은 비음과 구강음에 대한 분리판을 인중을 터치 않고 사용하며 비성치 조정 알고리즘의 적용을 통하여 나조미터 사용 시 발생되는 불편을 크게 감소시키는 효과가 있다.Smart nazometer system according to an embodiment of the present invention uses the separation plate for the nasal and oral sounds without touching the weight and has the effect of greatly reducing the inconvenience caused when using the nachometer through the application of non-sung adjustment algorithm. .
또한, 본 발명의 일 실시예는 기능성 게임 기반의 공명 장애 치료 프로그램 시스템을 통해 치료 동기 유발, 지속적인 치료활동 유도, 공명 장애 정도에 따른 맞춤형 치료 등의 효과가 있다.In addition, an embodiment of the present invention has the effect of inducing treatment motivation, continuous treatment activity, customized treatment according to the degree of resonance disorder through a functional game-based resonance disorder treatment program system.
또한, 본 발명의 일 실시예는 정량적 치료 데이터를 데이터베이스로 통합 및 관리하여 체계적인 공명 장애 치료를 제공할 수 있다.In addition, one embodiment of the present invention can provide a systematic resonance disorder treatment by integrating and managing quantitative treatment data into a database.
도 1은 기존 나조미터(nasometer)를 사용하는 예시를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 스마트 나조미터 시스템을 개략적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 스마트 나조미터 시스템의 하드웨어부를 도시한 것이다.
도 4은 본 발명의 일 실시예에 따른 하드웨어부의 마이크부에서 인중에 터치되지 않은 분리판과 기존 나조미터(nasometer)에서 인중에 터치된 분리판의 차이를 측면도로 도시 한 것이다.
도 5는 본 발명의 일 실시예에 따른 연산부에서 제공하는 신호 처리 기술 및 비성치 조정 알고리즘에 대해 개략적으로 도시 한 것이다.
도 6는 본 발명의 일 실시예에 따른 하드웨어부의 스피커부를 도시 한 것이다.
도 7은 본 발명의 일 실시예에 따른 하드웨어부의 마이크부를 도시 한 것이다.
도 8은 본 발명의 일 실시예에 따른 하드웨어부의 헤드부를 도시 한 것이다.
도 9 내지 도 11은 본 발명의 다른 실시예에 따른 하드웨어부를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 스마트 나조미터 시스템에서 어플리케이션부의 기능성 게임의 예시와 실시간 음성 신호 그래프 인터페이스를 나타낸 예시도이다.1 illustrates an example of using a conventional nasometer.
Figure 2 schematically shows a smart nachometer system according to an embodiment of the present invention.
3 illustrates a hardware unit of the smart nachometer system according to an embodiment of the present invention.
4 is a side view illustrating a difference between a separator that is not touched in person in a microphone unit of a hardware unit according to an embodiment of the present invention and a separator that is touched in person by a conventional nasometer.
5 schematically illustrates a signal processing technique and a non-value adjustment algorithm provided by an operation unit according to an embodiment of the present invention.
6 illustrates a speaker unit of a hardware unit according to an embodiment of the present invention.
7 illustrates a microphone of a hardware unit according to an embodiment of the present invention.
8 illustrates a head of a hardware unit according to an embodiment of the present invention.
9 to 11 are diagrams showing a hardware unit according to another embodiment of the present invention.
12 is an exemplary diagram illustrating an example of a functional game and a real-time voice signal graph interface in the smart nazometer system according to an embodiment of the present invention.
이하, 본 발명에 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
우선, 도면들 중, 동일한 구성요소 또는 부품들은 가능한 동일한 참조부호로 나타내고 있음에 유의하여야 한다. 본 발명을 설명함에 있어, 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않기 위하여 생략한다.First, in the drawings, the same components or parts are to be noted that the same reference numerals as possible. In describing the present invention, detailed descriptions of related well-known functions or configurations are omitted in order not to obscure the subject matter of the present invention.
본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the present specification, when a part is said to "include" a certain component, it means that it may further include other components, without excluding the other components unless otherwise stated.
본 명세서에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다.As used herein, the terms "about", "substantially", and the like, are used at, or in close proximity to, numerical values when manufacturing and material tolerances inherent in the meanings indicated are intended to aid the understanding of the invention. Accurate or absolute figures are used to assist in the prevention of unfair use by unscrupulous infringers.
본 발명의 명세서에서 설명하는 '임상가'는 의사, 치료사 등과 같이 측정 및 치료를 진행하고 결과를 분석 하는 사람을 의미한다.'Clinician' described in the specification of the present invention means a person who proceeds with measurement and treatment and analyzes results, such as a doctor and a therapist.
본 발명의 명세서에서 설명하는 '사용자'는 스마트 나조미터 시스템을 사용하는 사람을 의미한다.'User' described in the specification of the present invention refers to a person using a smart nazometer system.
도 2는 본 발명의 실시 예에 따른 스마트 나조미터 시스템에 대한 구성도이고, 도 3는 도 2의 스마트 나조미터 시스템에서 사용되는 본 발명에서 개발된 공명 장애 측정 및 치료를 위한 하드웨어부(100)를 도시한 예이다.2 is a block diagram of a smart nachometer system according to an embodiment of the present invention, Figure 3 is a
도 2에서 스마트 나조미터 시스템은 하드웨어부(100), 연산부(200), 어플리케이션부(300), 데이터베이스부(400), 무선송수신부(500)로 구성되어 있다. 각 구성부분은 서로 연동하여 전체 시스템으로서 공명 장애 측정 및 치료를 위한 방법을 제공한다. 하드웨어부(100)에서 측정한 구강음 및 비음 음성 신호는 연산부(200)를 통해 신호 증폭, 노이즈 제거 및 비성치(nasalance) 조정을 해준 뒤 무선송수신부(500)를 통해 전자기기와 유선 연결 없이, 해당 전자기기에 설치된 어플리케이션부(300) 및 데이터베이스부(400)와 연동한다. 또한, 연산부(200)에서 처리된 음성 신호는 실시간으로 하드웨어부(100)에서 음성 피드백이 가능하다. 어플리케이션부(300)는 기능성게임과 임상가가 음성 신호를 평가할 수 있는 프로그램, 사용자 정보, 임상가 정보, 그리고 분석 결과를 저장하는 프로그램으로 구성되어 있다.In FIG. 2, the smart nazometer system includes a
상기의 기능성 게임에서 사용자의 치료 및 훈련에 대한 동기부여를 제공하고, 적극적인 참여를 유도하여 치료를 용이하게 하기 때문에 치료의 효과를 극대화하기 위해서 하드웨어부(100)와 연동하여 준다. 어플리케이션부(300)에서 저장된 사용자 개별 정보는 실시간으로 데이터베이스부(400)로 전송된다. 전송된 개별 사용자 데이터는 실시간으로 수집 및 분석되어 임상가 또는 사용자에 의해 언어장애 치료 또는 공명훈련의 경과를 확인하기에 용이하다.In the above-mentioned functional game to provide the motivation for the treatment and training of the user, and facilitate the treatment by inducing active participation, so that the
도 3을 참고하면, 본 실시예의 하드웨어부(100)는 사용자의 비음과 구강음 신호를 측정하는 마이크부(110), 사용자의 머리를 감싸 착용 시 안정감을 주는 헤드부(120), 연산부(200)를 통해 조절된 음성신호를 사용자 본인이 피드백을 할 수 있는 스피커부(130)로 구성되어 있다.Referring to FIG. 3, the
도 4는 본 발명의 일 실시예에 따른 하드웨어부의 마이크부에서 인중에 터치되지 않은 분리판과 기존 나조미터(nasometer)에서 인중에 터치된 분리판의 차이를 측면도로 도시 한 것이고, 도 5는 본 발명의 일 실시예에 따른 연산부에서 제공하는 신호 처리 기술 및 알고리즘에 대해 개략적으로 도시 한 것으로, 구강음과 비음을 측정하여 노이즈 필터링 및 알고리즘을 통한 신호를 처리하는 과정을 나타낸 개략도이다.FIG. 4 is a side view illustrating a difference between a separator that is not touched in person in a microphone part of a hardware unit according to an embodiment of the present invention, and a separator that is touched in person in a conventional nasometer. FIG. A signal processing technique and algorithm provided by an operation unit according to an embodiment of the present invention are schematically illustrated, and a schematic diagram illustrating a process of processing a signal through noise filtering and an algorithm by measuring mouth sounds and nasal sounds.
도 4는 도 3의 마이크부(110)에서 기존 나조미터(nasometer)와 본 발명에서 개발된 하드웨어부(100)의 분리판 부위의 차이를 설명한 도식이다. 기존 나조미터(nasometer)는 도 4의 우측 그림에서 볼 수 있듯이 금속으로 이루어진, 인중에 터치된 분리판(13)을 제공하기 때문에 음성을 산출하기 위해 입술을 움직일 때 불편함 및 지속적인 착용에 문제가 되었다. 하지만, 이를 해결하기 위해 도 3의 상기의 마이크부(110)는 도 4의 좌측 그림에서 볼 수 있듯이 인중부위에 터치되지 않은 분리판(113)을 제공한다. 하지만, 인중부위에 터치되지 않은 분리판(113)은 음성 신호 측정시 물리적으로 두 개의 마이크(114, 115)가 분리되지 않아 구강음과 비음의 음성 신호가 섞일 수 있어 정확한 비성치(nasalance)의 측정이 어려울 수도 있다. 본 발명의 일 실시예에서는 비성치(nasalance)의 정확한 측정을 위한 알고리즘을 개발하여 물리적으로는 분리판(113)이 구강음과 비음을 분리하지 않지만, 도 5의 비성치 조정부(240)를 통해 인중부위에 터치된 분리판에서 측정된 비성치(nasalance)와 차이가 없도록 하였다.FIG. 4 is a schematic diagram illustrating a difference between a conventional nazometer and a separator part of the
또한, 상기의 마이크부(110)는 도3에서 볼 수 있듯이 소형마이크(114, 115)를 부착하여 기존 나조미터(nasometer)와는 다르게 전체적인 크기와 무게를 줄였고, 사용성 평가를 통해 휴대성과 심미성을 고려하여 인체공학적으로 설계되었다.In addition, the
또한, 상기의 마이크부(110)는 스피커부(130)와 연결되어 수평방향의 길이 조절(111, 도 7 참조)이 용이하도록 설계되었다. 이때 플라스틱(예: ABS)재질을 사용하여 금속재질의 기존 나조미터(nasometer)의 마이크부에 비해 무게를 가볍게 함으로써 수평방향의 길이 조절(111)시 마이크부가 정면으로 일정수준 도출되어도 중력에 의해 하드웨어부(100)가 기울어짐이 없도록 설계하였다.In addition, the
도 5를 참조하면, 음성 신호를 측정하는 마이크부로부터 측정하여 음성 신호 처리 및 비성치를 조정하는 연산부(200)는 음성 신호를 증폭해주는 음성 신호 증폭부(210), volume인 음성 신호를 데시벨(dB)로 변환해주는 음성 신호 변환부(220), dB로 변환된 음성 신호 중 정상 발음 시 유의미하지 않은 신호를 제거하는 노이즈 필터링부(230), 인중과 터치되지 않은 분리판을 사용하여 측정된 비성치(nasalance)에 비성치 조정 알고리즘을 적용하여 인중과 터치된 분리판을 사용하여 측정되는 비성치와 동등하게 조정하는 비성치 조정부 (240)로 이루어진다.Referring to FIG. 5, the
마이크부(110)에서 두 개의 초소형 마이크(114, 115)를 통해 측정된 비음과 구강음은 각각 연산부(200)로 전달된다.The nasal and oral sounds measured by the two
연산부(200)의 음성 신호 증폭부(210)에서는 소수점 단위로 받아지는 dB을 0~100dB범위로 신호를 얻기 위해 100,000배로 신호를 증폭해 주는데, 소리 신호의 volume을 높여 소리가 용이하게 들리게 하기 위함이고, 음성 신호 변환 후 노이즈 제거 시 유의미한 음성 신호를 선별하기 쉽게 해준다.The voice signal amplification unit 210 of the
음성 신호 변환부(220)에서는 로그 함수(logarithmic function)를 사용하여 측정된 음성 신호를 dB로 변환해 주는 역할을 하는 데, 상기 음성 신호 증폭부를 통해 증폭된 신호를 dB로 변환하여 노이즈를 제거하기 용이하게 해준다.The
노이즈 필터링부(230)에서는 구강음과 비음의 음성신호 중 일반적으로 말할 때 사람이 내는 소리가 50dB~60dB값으로 나오는 연구결과를 활용하여 (American Speech-Language-Hearing Association [ASHA], 2015),(National Institute for Occupational Safety and Health [NIOSH], 1996) 50dB 이하 값은 상기 노이즈 필터링부(230)를 통해 제거해준다. 상기 음성 신호 변환부를 통해 변환된 dB 중 정상 발화의 범주에 포함되지 않는 dB은 평균 비성치(mean nasalance)측정 시 정확한 수치 도출을 위해 제거해준다.The
또한, 본 발명의 일 실시예에서는 구강 마이크와 비강 마이크에서 측정된 음향 에너지 각각에 대해 음향 에너지 조정률(sound energy adjustment ratio)을 계산하게 된다.In addition, in one embodiment of the present invention to calculate the sound energy adjustment ratio (sound energy adjustment ratio) for each of the acoustic energy measured in the oral and nasal microphone.
비성치(nasalance)란 사용자가 나조미터(nasometer) 헤드셋을 착용한 상태에서 표준화된 그림이나 문장을 발화하면, 구강 마이크와 비강 마이크로 측정된 음향에너지들을 비교하여 비음치를 아래의 식과 같이 %로 환산하여 결과를 제시한다. 주요 측정항목은 평균 비성치(mean nasalance), 최대 비성치(maximum nasalance), 최소 비성치(minimum nasalance)로 구성되어 있다.Nasalance means that when a user ignites a standardized picture or sentence while wearing a nasometer headset, the acoustic energy measured by the oral microphone and the nasal microphone is compared, and the nasal value is converted into% as shown below. Present your results. The main metrics consist of mean nasalance, maximum nasalance, and minimum nasalance.
또한, 음향 에너지 조정률(sound energy adjustment ratio)이란 인중과 터치된 분리판으로 설계된 나조미터(nasometer)에서 측정한 음향 에너지를 인중과 터치되지 않은 분리판(113)으로 설계된 하드웨어부(110)에서 측정한 음향 에너지로 나눈 값을 의미한다.In addition, the sound energy adjustment ratio (sound energy adjustment ratio) is measured by the
비성치 조정부(240)에서는 인중에 터치되지 않은 분리판(113)을 사용하여 측정된 구강음 에너지와 비음 에너지에 관련 음향 에너지 조정률(sound energy adjustment ratio)을 곱해 주어 인중에 터치되지 않은 분리판을 사용하여 측정한 비성치(nasalance)가 인중에 터치된 분리판으로 측정한 비성치(nasalance)와 차이가 없도록 하는 역할을 한다.The
도 6는 본 발명의 일 실시예에 따른 하드웨어부의 스피커부를, 도 7은 본 발명의 일 실시예에 따른 하드웨어부의 마이크부를, 도 8은 본 발명의 일 실시예에 따른 하드웨어부의 헤드부를 도시 한 것이다.6 is a speaker unit of the hardware unit according to an embodiment of the present invention, FIG. 7 is a microphone unit of the hardware unit according to an embodiment of the present invention, and FIG. 8 is a head portion of the hardware unit according to an embodiment of the present invention. .
스피커부(130)에서는 연산부(200)를 통해 조절된 음성신호를 사용자 본인이 실시간으로 피드백을 할 수 있다.In the
또한, 스피커부(130)에서는 전원 On/Off 스위치버튼(131), 전원 On/Off 확인을 위한 LED(132), 전원 공급을 위한 USB Port(133)을 포함한 PCB가 우측(또는 좌측) 귀 부위에 위치해 있고, 하드웨어부(100)를 장시간 무선으로 활용하기 위한 충전식 배터리(134)가 좌측(또는 우측) 귀부위에 위치해 있다.In addition, in the
또한, 전체 연령층의 귀 사이즈 통계치를 반영하여 귀 형상 각도에 맞게 각도 조절되는 특징을 가지며, 귀 전체를 다 덮을 수 있는 사이즈로 설계되었다.In addition, by reflecting the ear size statistics of all age groups, it is characterized by the angle adjusted according to the shape of the ear, and designed to cover the entire ear.
헤드부(120)는 통계적으로 착용 대상자의 안면 변수 추출을 통한 사이즈를 고려하여 설계되었으며, 머리를 감싸는 밴드 부위의 길이 및 각도 조절(121)이 가능하도록 설계되었고, 장시간 사용에도 피로도가 적게 하기 위해 불필요한 디자인이 제거되고 금속 재질 대신 플라스틱 재질(예: ABS)을 사용하여 경량화되었다.
도 9 내지 도 11은 본 발명의 다른 실시예에 따른 하드웨어부를 도시한 도면이다. 도 9 내지 도 11에 도시된 하드웨어부는 마이크부를 제외하고는 앞서 설명한 실시예와 동일하므로, 마이크부에 대해서만 설명한다.9 to 11 are diagrams showing a hardware unit according to another embodiment of the present invention. 9 to 11 are identical to the above-described embodiment except for the microphone unit, and thus only the microphone unit will be described.
도 9를 참조하면, 마이크부(110')는 일반적인 헤드셋(Headset)과 유사한 형태로 이루어질 수 있다. 즉, 마이크부(110')는 귀를 덮는 스피커부(130) 중 하나에만 지지되어 사용자의 입에 가까이 마이크부(110')의 단부가 위치될 수 있다. Referring to FIG. 9, the
보다 상세히, 도 10을 참조하면, 마이크부(110')는 스피커부(130)에서 원호형으로 연장되는 연장 부재(118), 연장 부재(118)의 단부에 설치되는 몸체(117), 및 몸체(117)에 착탈 가능하게 설치되는 분리판(113')을 포함한다.More specifically, referring to FIG. 10, the
연장 부재(118)는 자유롭게 굴곡이 가능하도록 유연한 재질로 이루어진다. 다만, 자유롭게 변형이 가능하지만 중력에 의하여 하부로 기울어지거나 변형되지 않고 형태를 유지할 수 있도록 어느 정도의 강성을 가질 수 있다. 이에 따라, 사용자는 연장 부재(118)를 변형시켜서 사용자의 안면 형태나 크기에 맞도록 연장 부재(118)의 위치, 보다 상세하게는 연장 부재(118)의 단부에 설치된 마이크(114, 115, 도 11 참조)의 위치를 조정할 수 있다. 또한, 도 9에 도시된 바와 같이 수평 방향의 길이 조절이 가능하게 이루어질 수 있다.
도 11을 참조하면, 몸체(117)는 연장 부재(118)의 단부에 설치되며, 상부 및 하부에 각각 소형 마이크(114, 115)가 구비된다. 여기서 2개의 소형 마이크(114, 155)는 앞서 설명한 실시예와 동일하게 각각 사용자의 비음과 구강음을 측정할 수 있다.Referring to FIG. 11, the
도 10을 참조하면, 분리판(113')은 몸체(117)에 착탈 가능하게 형성된다. 예를 들어, 분리판(113')의 일측에 몸체(117)에 끼움 결합될 수 있는 끼움 부재(119)가 구비될 수 있으나, 이에 한정되는 것은 아니며, 분리판(113')과 몸체(117)는 다양한 방식으로 서로 착탈 가능하게 형성될 수 있다. 또한, 분리판(113')은 앞서 설명한 실시예와는 달리 크기가 작게 형성될 수 있다. 즉, 앞선 실시예(도 3 참조)에서는 마이크부(110)가 양 쪽의 스피커부(130)를 연결하는 형태이므로, 분리판(113)이 호형으로 길게 연장된 형태이나, 본 실시예에서의 분리판(113')은 몸체(117)에 착탈이 가능한 작은 부품으로 형성될 수 있으며, 사용자의 비음과 구강음을 분리할 수 있는 정도의 크기, 예를 들어, 사용자의 입의 수평방향 길이 또는 그보다 조금 더 길게 연장된 크기의 판 형태로 형성될 수 있다. 이 때, 분리판(113')의 사용자의 인중을 향하는 측 가장자리는 가운데가 오목하게 굴곡진 형태로 이루어질 수 있다.Referring to FIG. 10, the separating
이상 도 9 내지 도 11에서 설명한 실시예의 경우, 공명장애에 대한 치료, 훈련 뿐만 아니라 일반적인 언어장애에 대한 치료, 훈련을 위한 헤드셋으로도 사용될 수 있다. 보다 상세히, 분리판(113')을 몸체(117)에서 제거한 상태에서는 일반적인 언어장애 치료나 훈련에 사용되는 헤드셋으로 사용될 수 있으며, 필요에 따라 분리판(113')을 몸체(117)에 장착함으로써, 공명장애 치료나 훈련을 위한 나조미터로서 사용될 수 있다.9 to 11 may be used as a headset for treatment and training for general speech disorders as well as for treatment and training for resonance disorders. In more detail, in the state in which the separating plate 113 'is removed from the
도 12의 어플리케이션부(300)는 기능성 게임, 음성 치료 및 훈련 프로그램 제공을 통해 환자로 하여금 하드웨어부(100)와 연동하여 조작할 수 있는 환경을 제공한다.The
본 발명에서 말하는 기능성 게임(Serious game)이란 게임과 게임을 위한 장치를 연동하여 조작하는 게임이다. 장치를 조작하면 장치 조작의 결과가 컴퓨터 및 스마트 폰 등 전자기기로 전달되고, 그 결과를 게임 화면에 표시하는 식이다.In the present invention, a functional game (Serious game) is a game that operates by interlocking the game and the device for the game. When the device is operated, the result of the device operation is transmitted to electronic devices such as computers and smartphones, and the result is displayed on the game screen.
어플리케이션부(300)에 포함된 기능성 게임은 치료 기능성 게임으로 게임 플레이를 통해 언어 장애에 대한 훈련, 치료, 정보, 예방 또는 대처 방법을 알 수 있도록 하는 게임이다.The functional game included in the
본 발명의 일 실시예는 여러 종류의 기능성 게임과 연동할 수 있다. 그 중 아래의 두 가지로 예시를 들면, 점프게임과 단어 조음게임이 있다.One embodiment of the present invention can be linked to various types of functional game. Two examples are jump games and word modulation games.
점프 게임(Jump game)(310)에서는 사용자는 모든 동전을 가능한 한 많이 취득하기 위해 정상 수치의 비성치 범위 생성해야 한다. 정상 수치의 범위에 해당하는 비성치(nasalance)를 달성한다면, 게임상의 캐릭터는 점프를 하여 동전을 모두 취득할 것이고, 정상범위의 비성치에서 벗어날수록 적은 양의 동전을 획득할 것이다.In the
단어 조음 게임(word articulation game) (320)에서는 사용자는 인터페이스상의 화면상에 오른쪽에서부터 라인까지 다가오는 단어들을 라인에 왔을때 정확히 발음해야 한다. 사용자가 발음 시 단어는 정상범위 기준의 비성치(nasalance)로 발음된 음성 샘플과 일치해야한다. 단어가 상단 라인에서 오는 경우 사용자는 높은 비성치(nasalance)로 발음해야하고, 하단 라인에서 단아가 올 때 사용자는 낮은 비음치로 발음 해야한다. 정확히 단어가 라인에 멈췄을 때 음성 샘플과 일치하는 발음이 많을수록 언어장애정도는 낮고, 일치하는 발음이 적을수록 언어장애 정도는 높은 것을 의미한다.In the
어플리케이션부(300)는 기능성 게임, 사용자 정보 및 공명 훈련 및 치료 경과 정보제공 외에도 실시간 음성 신호 그래프(330)를 통해 실시간으로 구강음과 비음의 신호 및 비성치(nasalance)값을 계산하여 화면에 표시하는 인터페이스를 가진다.The
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다.The present invention described above is not limited to the above-described embodiment and the accompanying drawings, and various substitutions, modifications, and changes are possible within the scope without departing from the technical spirit of the present invention. It will be apparent to those who have knowledge.
100 : 하드웨어부
110 : 마이크부
111 : 수평 방향의 길이 조절
113 : 터치되지 않은 분리판
120 : 헤드부
130 : 스피커부
131 : 전원 On/Off 스위치버튼
132 : 전원 On/Off 확인을 위한 LED
133 : 전원 공급을 위한 USB Port
134 : 충전식 배터리
200 : 연산부
210 : 음성 신호 증폭부
220 : 음성 신호 변환부
230 : 노이즈 필터링부
240 : 비성치 조정부
300 : 어플리케이션부
310 : 점프 게임(Jump game)
320 : 단어 조음 게임(word articulation game)
330 : 실시간 음성 신호 그래프
400 : 데이터베이스부
500 : 무선송수신부100: hardware unit
110: microphone
111: length adjustment in the horizontal direction
113: untouched separator
120: head
130: speaker unit
131: Power On / Off Switch Button
132: LED for checking the power on / off
133: USB Port for Power Supply
134: Rechargeable Battery
200: calculation unit
210: voice signal amplifier
220: voice signal conversion unit
230: noise filtering unit
240: specific value adjustment unit
300: application unit
310: Jump game
320: word articulation game
330: real time voice signal graph
400: database
500: wireless transmitter and receiver
Claims (13)
상기 하드웨어부에서 측정된 음성신호를 받아 처리를 하는 연산부;
를 포함하고,
상기 하드웨어부는
사용자의 인중부위에 터치되지 않은 상태로 비음과 구강음 신호를 분리하여 측정하는 마이크부를 포함하며,
상기 연산부는
상기 마이크부에서 측정된 음성신호의 비성치(Nasalance)를 조정하는 비성치 조정부를 포함하고,
상기 마이크부는,
수평방향으로 연장된 형태이며 사용자의 인중부위에 터치되지 않게 위치되는 분리판; 및 상기 분리판의 상부 및 하부에 각각 배치되어 비음과 구강음 신호를 개별적으로 측정하는 2개의 마이크;를 포함하며,
상기 비성치 조정부는,
상기 분리판이 사용자의 인중부위에 터치된 상태에서 상기 마이크부에서 측정된 음성신호의 비성치와 차이가 없도록 조정하는 알고리즘을 포함하고,
상기 알고리즘은,
상기 분리판이 인중부위에 터치된 상태에서 상기 마이크부에서 측정된 제1 음성신호의 음향 에너지를 상기 분리판이 인중부위에 터치되지 않은 상태에서 상기 마이크부에서 측정된 제2 음성신호의 음향 에너지로 나눈 값을 음향 에너지 조정률로 하여, 실시간으로 측정되는 상기 제2 음성신호의 음향 에너지에 상기 음향 에너지 조정률을 곱함으로써, 상기 제2 음성신호의 비성치를 상기 제1 음성신호의 비성치와 차이가 없도록 조정하는, 스마트 나조미터 시스템.Hardware unit worn by the user to measure and feedback the nasal and oral sounds; And
A calculation unit which receives and processes a voice signal measured by the hardware unit;
Including,
The hardware unit
It includes a microphone for separating and measuring the nasal and oral sound signals without touching the user's middle part,
The calculation unit
It includes a non-adjustment value adjusting unit for adjusting the Nasalance of the voice signal measured by the microphone unit,
The microphone unit,
A separation plate extending in a horizontal direction and positioned not to be touched by a user's middle part; And two microphones respectively disposed on upper and lower portions of the separator to separately measure nasal and oral sound signals.
The non-property adjustment unit,
And an algorithm for adjusting the separation plate so as not to be different from a specific value of the voice signal measured by the microphone unit while being touched by the user's middle part.
The algorithm is
Acoustic energy of the first voice signal measured by the microphone unit while the separator is touched by the middle part divided by acoustic energy of the second voice signal measured by the microphone unit when the separator is not touched by the middle part By setting the value as the sound energy adjustment rate, the sound energy of the second voice signal measured in real time is multiplied by the sound energy adjustment rate so that the specific value of the second voice signal is not different from the specific value of the first voice signal. Smart nachometer system.
상기 연산부를 통해 처리된 음성신호를 이용하여 사용자에게 피드백을 제공하는 기능성 게임을 포함하는 어플리케이션부; 및
상기 어플리케이션부에서 발생된 사용자의 데이터가 저장되어 사용자 또는 임상가에게 피드백을 제공하는 데이터베이스부;
를 더 포함하는 스마트 나조미터 시스템.The method of claim 1,
An application unit including a functional game for providing feedback to a user using the voice signal processed by the calculating unit; And
A database unit for storing user data generated in the application unit to provide feedback to a user or a clinician;
Smart nachometer system further comprising.
상기 연산부에서 처리된 음성신호를 무선으로 송수신하여 상기 하드웨어부 및 상기 데이터베이스부와 연동시키는 무선송수신부;를 더 포함하는, 스마트 나조미터 시스템.The method of claim 2,
And a wireless transmitter / receiver for wirelessly transmitting and receiving the voice signal processed by the operation unit and interworking with the hardware unit and the database unit.
상기 하드웨어부는,
사용자의 머리 크기에 맞게 길이 및 각도 조절이 가능한 헤드부; 및
사용자의 귀를 덮고 각도 조절이 가능하게 형성되며, 상기 연산부에서 처리된 음성신호를 실시간으로 피드백하는 스피커부;를 더 포함하는 스마트 나조미터 시스템.The method of claim 1,
The hardware unit,
Head portion capable of adjusting the length and angle to fit the size of the user's head; And
And a speaker unit covering an ear of the user and configured to adjust an angle, and feeding back a voice signal processed by the calculating unit in real time.
상기 마이크부는 사용자의 안면으로부터 이격된 거리가 조절되는 스마트 나조미터 시스템.The method of claim 1,
The microphone unit is a smart nachometer system that is adjusted to the distance from the user's face.
상기 마이크부는 상기 2개의 마이크가 지지되는 몸체를 포함하고,
상기 분리판은 상기 몸체에 탈착이 가능한 스마트 나조미터 시스템.The method of claim 1,
The microphone unit includes a body on which the two microphones are supported,
The separator plate is a smart nachometer system detachable to the body.
상기 연산부는,
신호를 증폭하기 위한 음성 신호 증폭부;
음성 신호를 데시벨(dB)값으로 변환해주기 위한 음성 신호 변환부; 및
정상 범주를 벗어난 음성 신호를 제외하는 노이즈 필터링부;를 더 포함하는 스마트 나조미터 시스템.The method of claim 1,
The calculation unit,
A voice signal amplifier for amplifying the signal;
A voice signal converter for converting a voice signal into a decibel (dB) value; And
And a noise filtering unit for excluding a voice signal outside of a normal range.
상기 음성 신호 변환부는 로그 함수(logarithmic function)를 사용하여 음성 신호를 데시벨(dB)값으로 변환하는 스마트 나조미터 시스템.The method of claim 10,
The voice signal converter is a smart nazometer system for converting a voice signal to a decibel (dB) value using a logarithmic function.
상기 노이즈 필터링부는 상기 마이크부에서 비음과 구강음 중 50dB이하의 값을 제거하는 스마트 나조미터 시스템.The method of claim 11,
The noise filtering unit is a smart nazometer system for removing a value of 50dB or less of the nasal and oral sounds in the microphone.
상기 어플리케이션부는 전자기기와 연동하여 상기 연산부에서 처리된 실시간 음성신호를 통해 상기 전자기기에 구현된 상기 기능성 게임을 제어하는 스마트 나조미터 시스템.The method of claim 2,
The application unit is connected to the electronic device smart nazometer system for controlling the functional game implemented in the electronic device through the real-time voice signal processed by the operation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/686,207 US10692397B2 (en) | 2016-08-25 | 2017-08-25 | Smart nasometer |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160108208 | 2016-08-25 | ||
| KR20160108208 | 2016-08-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180023853A KR20180023853A (en) | 2018-03-07 |
| KR102052186B1 true KR102052186B1 (en) | 2019-12-04 |
Family
ID=61688748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170107302A KR102052186B1 (en) | 2016-08-25 | 2017-08-24 | Smart nasometer system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102052186B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102031295B1 (en) * | 2018-06-28 | 2019-10-11 | 충남대학교산학협력단 | System for measurement of nasal energy change and method thereof |
| KR102189904B1 (en) * | 2018-12-14 | 2020-12-11 | 재단법인 경북아이티융합 산업기술원 | Nasometer to relieve acoustic feedback and method thereof |
| KR20200136086A (en) | 2019-05-27 | 2020-12-07 | 박준영 | Nasalance measuring device for prognostic observation of oral and nasal diseases |
| KR102360665B1 (en) * | 2020-07-03 | 2022-02-09 | 부산대학교 산학협력단 | System and method for analyzing nasalance multi-microphone |
| KR20230132248A (en) | 2022-03-08 | 2023-09-15 | (주)휴머노피아 | Smart Nasometer |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020087103A1 (en) * | 2000-09-19 | 2002-07-04 | Fletcher Samuel G. | Palatometer and nasometer apparatus |
| US20110313689A1 (en) * | 2009-02-11 | 2011-12-22 | Resmed Limited | Acoustic detection for respiratory treatment apparatus |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990030683A (en) | 1997-10-02 | 1999-05-06 | 김동현 | Language skills training system for language learners |
| KR101598955B1 (en) | 2014-04-28 | 2016-03-03 | 포항공과대학교 산학협력단 | Speech therapy game device and game method |
-
2017
- 2017-08-24 KR KR1020170107302A patent/KR102052186B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020087103A1 (en) * | 2000-09-19 | 2002-07-04 | Fletcher Samuel G. | Palatometer and nasometer apparatus |
| US20110313689A1 (en) * | 2009-02-11 | 2011-12-22 | Resmed Limited | Acoustic detection for respiratory treatment apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180023853A (en) | 2018-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102052186B1 (en) | Smart nasometer system | |
| US10692397B2 (en) | Smart nasometer | |
| US11826138B2 (en) | Ear-worn devices with deep breathing assistance | |
| Holmes et al. | Acoustic analysis of inhaler sounds from community-dwelling asthmatic patients for automatic assessment of adherence | |
| Darling-White et al. | The impact of expiratory muscle strength training on speech breathing in individuals with Parkinson's disease: A preliminary study | |
| KR101598955B1 (en) | Speech therapy game device and game method | |
| KR20180073839A (en) | Portable respiration training device system and thereof methods | |
| US9532897B2 (en) | Devices that train voice patterns and methods thereof | |
| US20120264091A1 (en) | Method and system for training voice patterns | |
| Smith et al. | Contributions of auditory and somatosensory feedback to vocal motor control | |
| Saccente-Kennedy et al. | A pilot study assessing the therapeutic potential of a vibratory positive expiratory pressure device (acapella choice) in the treatment of voice disorders | |
| de Machado et al. | Vocal characteristics of elderly women engaged in aerobics in private institutions of Salvador, Bahia | |
| US9381110B2 (en) | Method and system for training voice patterns | |
| Abur et al. | Impact of vocal effort on respiratory and articulatory kinematics | |
| KR101837835B1 (en) | Method for estimating and managing respiratory rate using photoplethysmography | |
| CN111467757A (en) | Breathing training system based on voice production | |
| KR101778499B1 (en) | Electronic Artificial Larynx Device | |
| Nudelman et al. | Reducing Vocal Fatigue With Bone Conduction Devices: Comparing Forbrain and Sidetone Amplification | |
| WO2018134558A1 (en) | An electronic fluency device | |
| US20230405401A1 (en) | Musical instrument therapy device | |
| KR20230132248A (en) | Smart Nasometer | |
| US20240148320A1 (en) | Systems and wearable devices for guiding breathing of a wearer and methods of using same | |
| Cheah et al. | Towards an Intraoral-Based Silent Speech Restoration System for Post-laryngectomy Voice Replacement | |
| Huang et al. | A Voice-Producing System With Naturalness and Variable Multi-Frequency Vocalization for Patients Who Have Undergone Laryngectomy | |
| Yang et al. | Development of an Ergonomic Nasometer with a Touchless Separator for Speech Assessment and Therapy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |