CN108806720B - 话筒、数据处理器、监测***及监测方法 - Google Patents
话筒、数据处理器、监测***及监测方法 Download PDFInfo
- Publication number
- CN108806720B CN108806720B CN201710311882.7A CN201710311882A CN108806720B CN 108806720 B CN108806720 B CN 108806720B CN 201710311882 A CN201710311882 A CN 201710311882A CN 108806720 B CN108806720 B CN 108806720B
- Authority
- CN
- China
- Prior art keywords
- signal
- sound
- microphone
- module
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 title claims abstract description 34
- 230000005236 sound signal Effects 0.000 claims abstract description 132
- 230000036541 health Effects 0.000 claims abstract description 100
- 230000001755 vocal effect Effects 0.000 claims abstract description 31
- 210000001260 vocal cord Anatomy 0.000 claims abstract description 9
- 230000003862 health status Effects 0.000 claims description 50
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 30
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 10
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 230000036772 blood pressure Effects 0.000 claims description 4
- 230000036760 body temperature Effects 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6897—Computer input devices, e.g. mice or keyboards
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/749—Voice-controlled interfaces
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Otolaryngology (AREA)
- Educational Administration (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Fuzzy Systems (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Pulmonology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供一种话筒,包括声音采集部,用于采集使用者的实际声音信号,所述话筒还包括:信号收发模块,与所述声音采集部相连,用于将所述声音采集部采集的实际声音信号发送出去,以及接收根据所述实际声音信号生成的声音状态判定信号,所述声音状态判定信号包括根据使用者的音质水平生成的音质水平判定信号和/或根据使用者的健康状态类型生成的健康状态类型判定信号;提醒模块,用于根据所述声音状态判定信号生成提醒信号。相应地,本发明还提供一种数据处理器、监测***及监测方法。本发明能够便于声乐工作者随时了解自身的音质水平和声带等健康状况。
Description
技术领域
本发明涉及智能设备领域,具体涉及一种话筒、数据处理器、监测***及监测方法。
背景技术
随着大数据计算技术的发展,各种智能电子设备和云端服务器被应用于智慧显示、智能家居、智能终端等产品。其中,当前的声音采集设备如话筒的产品中仍仅限于一些简单的功能,例如,基于有限的波形分析和频率分析技术进行支架、乐谱的展示、以及声音的记录和练歌分数测评,并不能对声乐工作者的音质水平或声带等生理健康状况进行检测。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一,提出了一种话筒、数据处理器、监测***及监测方法,以便于声乐工作者随时了解自身的音质水平和健康状态类型。
为了解决上述技术问题之一,本发明提供一种话筒,包括声音采集部,用于采集使用者的实际声音信号,所述话筒还包括:
信号收发模块,与所述声音采集部相连,用于将所述声音采集部采集的实际声音信号发送出去,以及接收根据所述实际声音信号生成的声音状态判定信号,所述声音状态判定信号包括根据使用者的音质水平生成的音质水平判定信号和/或根据使用者的健康状态类型生成的健康状态类型判定信号;
提醒模块,用于根据所述声音状态判定信号生成提醒信号。
优选地,所述声音状态判定信号包括所述音质水平判定信号和所述健康状态类型判定信号;
所述话筒还包括体征信息采集模块,用于采集使用者的体征信息;
所述信号收发模块还与所述体征信息采集模块相连,用于将所述体征信息采集模块采集到的体征信息发送出去,以及接收根据所述实际声音信号和所述体征信息的结合生成所述健康状态类型判定信号。
优选地,所述体征信息包括体温、脉搏波、血氧量、心率和血压中的至少一者。
优选地,所述提醒模块包括指示灯,所述提醒信号包括光信号;和/或
所述提醒模块包括显示面板,所述提醒信号包括图像信号。
优选地,所述话筒包括壳体,所述壳体包括手握部和设置在所述手握部顶端的话筒头部,所述声音采集部设置在所述话筒头部内;所述体征信息采集模块设置在所述手握部的外壁上;
当所述提醒模块包括指示灯时,所述指示灯设置在话筒头部内,所述话筒头部能够透光;
当所述提醒模块包括显示面板时,所述显示面板设置在所述壳体外壁上。
优选地,所述话筒还包括身份信息采集模块,用于采集使用者的身份信息;所述信号收发模块还与所述身份信息采集模块相连,并能够将所述身份信息发送出去。
优选地,所述身份信息采集模块设置在所述手握部的外壁上,所述身份信息包括指纹信息。
相应地,本发明还提供一种数据处理器,包括:
信号接收模块,用于接收上述话筒的信号收发模块所发送的实际声音信号;
处理模块,与所述信号接收模块相连,用于根据所述信号接收模块接收到的所述实际声音信号生成声音状态判定信号,其中,所述声音状态判定信号包括根据使用者的音质水平生成的音质水平判定信号和/或根据使用者的健康状态类型生成的健康状态类型判定信号;
信号发送模块,与所述处理模块相连,用于将所述声音状态判定信号发送至所述话筒。
优选地,所述处理模块包括第一分析单元和/或第二分析单元:
第一分析单元用于利用预设的相似度计算模型计算所述实际声音信号与标准声音信号的相似度,以该相似度作为所述音质水平;
第二分析单元用于利用预设的分类器模型判断所述使用者的健康状态类型。
优选地,所述相似度计算模型包括第一卷积神经网络模型,所述分类器模型包括第二卷积神经网络模型。
优选地,所述处理模块包括所述第一分析单元和所述第二分析单元;
当所述话筒还包括体征信息采集模块时,
所述信号接收模块还用于接收所述话筒的信号收发模块发送的体征信息;所述第二分析单元能够根据所述实际声音信号和所述体征信息的结合来判断所述使用者的健康状态类型。
优选地,所述处理模块还包括预处理单元,用于对所述话筒采集的所述实际语音信号和所述体征信息进行预处理,并将预处理后的实际声音信号输出至所述第一分析单元和所述第二分析单元,将预处理后的体征信息输出至所述第二分析单元。
优选地,所述数据处理器还包括:
训练模块,用于根据预设的多个第一声音信号样本及各自对应的相似度样本训练得到所述相似度计算模型;并根据预设的多个由第二声音信号样本和体征信号样本组成的样本组以及各样本组对应的健康状态类型样本训练得到所述分类器模型。
优选地,所述数据处理器还包括:
更新模块,与所述训练模块和所述处理模块相连,用于根据所述实际语音信号以及通过该实际语音信号所计算的相似度对所述相似度计算模型进行更新,并根据所述实际声音信号和体征信息以及通过二者的结合所判断的健康状态类型对所述分类器模型进行更新。
优选地,当话筒还包括身份信息采集模块时,所述数据处理器还包括存储模块,用于存储使用者的身份信息以及该使用者的音质水平和/或健康状态类型。
优选地,所述声音状态判定信号包括所述音质水平判定信号和所述健康状态类型判定信号,
当所述话筒的提醒模块包括显示面板时,所述数据处理器还包括指导模块,该指导模块与所述处理模块相连,用于根据所述音质水平判定信号生成声乐指导信号,并根据所述健康状态类型判定信号生成健康指导信号;
所述信号发送模块还与所述指导模块相连,用于将所述声乐指导信号和健康指导信号发送至所述话筒,以使所述话筒的显示面板根据所述声乐指导信号显示声乐指导信息,并根据所述健康指导信号显示健康指导信息。
相应地,本发明还提供一种监测***,包括本发明提供的上述话筒和上述数据处理器。
优选地,所述话筒和所述数据处理器集成为一体结构;
或者,所述话筒和所述数据处理器为两个分离的结构,且能够进行无线信号通信。
相应地,本发明还提供一种利用上述监测***的监测方法,包括:
所述话筒采集使用者的实际声音信号;
所述数据处理器根据所述实际声音信号生成声音状态判定信号,并将该声音状态判定信号发送至所述话筒;其中,所述声音状态判定信号包括根据使用者的音质水平生成的音质水平判定信号和/或根据使用者的健康状态类型生成的健康状态类型判定信号;
所述话筒的提醒模块根据所述声音状态判定信号生成提醒信号。
优选地,根据所述实际声音信号生成声音状态判定信号,包括:
利用预设的相似度计算模型计算所述实际声音信号与标准声音信号的相似度,以该相似度作为所述音质水平;和/或
利用预设的分类器模型判断所述使用者的健康状态类型。
优选地,当所述话筒还包括体征信息采集模块时,
所述监测方法还包括:所述体征信息采集模块采集使用者的体征信息;
利用预设的分类器模型判断所述使用者的健康状态类型,包括:利用所述分类器模型并根据所述实际声音信号和所述体征信息的结合判断所述使用者的健康状态类型。
优选地,在利用预设的相似度计算模型计算所述实际声音信号与标准声音信号的相似度,以及利用所述分类器模型并根据所述实际声音信号和所述体征信息的结合判断所述使用者的健康状态类型之前还包括:对所述话筒采集的实际语音信号和体征信息进行预处理;
利用所述预设的相似度计算模型计算的相似度根据预处理后的实际语音信号得到的;
利用预设的分类器模型所判断的健康状态类型是根据预处理后的实际语音信号和预处理后的体征信息得到的。
优选地,利用预设的相似度计算模型计算所述实际声音信号与标准声音信号的相似度之前还包括:根据预设的多个第一声音信号样本及各自对应的相似度样本训练得到所述相似度计算模型;
利用所述分类器模型并根据所述实际声音信号和所述体征信息的结合判断所述使用者的健康状态类型之前还包括:根据预设的多个由第二声音信号样本和体征信号样本组成的样本组以及各样本组对应的健康状态类型样本训练得到所述分类器模型。
本发明中,数据处理器根据话筒采集的实际声音信号判断出使用者的音质水平,生成音质水平判定信号,也可以根据实际声音信号判断出使用者的健康状态类型,生成健康状态判定信号;话筒的提醒模块生成与音质水平相对应的提醒信号,也可以生成与健康状态类型相对应的提醒信号,以对使用者进行提醒。相较于传统的依赖人(声乐导师)听取发音和咽喉医生的普通诊断相比,本发明中的监测***通过数据分析的方式对使用者的音质水平和健康状态随时进行监测,使得使用者随时都可以了解自身的音质水平和健康状态,从而使得使用者更早期地了解自身状况,且判断结果更客观。并且,话筒还可以采集使用者的体征信息,从而使得数据处理器结合使用者的声音信号和体征信息判断使用者的健康状态类型,提高判断的准确率。另外,话筒还可以采集使用者的身份信息,数据处理器将使用者的身份信息和使用者的音质水平和健康状态类型进行存储,从而便于使用者了解自身近期的声音状态。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1是本发明的实施例中与数据处理器进行信号传输的话筒的结构框图;
图2是本发明实施例中提供的话筒的外观结构示意图;
图3是本发明实施例中提供的数据处理器的结构框图;
图4是本发明实施例中提供的监测方法流程图;
图5是本发明实施例中提供的监测方法的具体流程图。
其中,附图标记为:
100、话筒;110、声音采集部;120、信号收发模块;130、提醒模块;131、显示面板;140、体征信息采集模块;150、身份信息采集模块;160、壳体;161、话筒头部;162、手握部;200、数据处理器;210、信号接收模块;220、处理模块;221、第一分析单元;222、第二分析单元;223、预处理单元;230、信号发送模块;240、训练模块;250、更新模块;260、存储模块;270、指导模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
作为本发明的一方面,提供一种话筒100,如图1所示,该话筒100包括声音采集部110、信号收发模块120和提醒模块130。其中,声音采集部110用于采集使用者的实际声音信号。信号收发模块120与声音采集部110相连,用于将声音采集部110采集的声音信号发送出去,以及接收根据所述声音信号生成的声音状态判定信号,其中,所述声音状态判定信号包括根据使用者的音质水平生成的音质水平判定信号和/或根据使用者的健康状态类型生成的健康状态类型判定信号。提醒模块130用于根据所述声音状态判定信号生成提醒信号。应当理解的是,声音采集部110能够采集使用者的声音,并将采集到的声音转换为电信号;另外,声音采集部110和信号收发模块120之间可以采用无线连接的方式进行信号传输,也可以采用有线连接的方式进行信号传输。所述声音状态判定信号可以由数据处理器200生成,具体将在下文进行描述,这里先不赘述。
所述话筒100可以用于歌手、播音员等声乐工作者的声乐练***是指使用者在进行声乐练习时,所发出声音的音量、音色、音调等与标准声音的相符合程度。所述健康状态是指使用者的声带、咽喉健康状态,例如可以包括声带是否疲劳、声带是否负荷、咽喉是否出现病变等。提醒模块130的提醒信号可以为光信号、声音信号、震动信号或直接显示为文字信息等,只要可以使得使用者根据不同的提醒信号了解自身的声音状态即可。
在本发明中,话筒100将采集的声音信号发送至能够判断音质水平和/或健康状态类型的数据处理器200,从而使得数据处理器200生成音质水平判定信号,和/或健康状态判定信号,这时,话筒100的提醒模块130根据音质水平判定信号生成提醒信号和/或根据健康状态类型判定信号生成提醒信号,以对使用者进行提醒,从而使得使用者在发声的同时就能很快地了解自身的音质水平和健康状态,相较于传统的依赖人(声乐导师)听取发音和咽喉医生的普通诊断相比,本发明可以对使用者的音质水平和健康状态随时进行监测,使得使用者随时都可以了解自身的音质水平和健康状态,从而使得使用者更早期地了解自身状况,且判断结果更客观。
其中,提醒模块130可以包括指示灯,所述提醒信号包括所述指示灯发出的不同颜色或不同亮度的光信号;和/或提醒模块130包括显示面板,所述提醒信号包括所述显示面板显示的图像信号。例如,提醒模块130包括发光颜色不同的第一指示灯和第二指示灯,当信号收发模块120接收到音质水平判定信号后,提醒模块130生成相应的第一提醒信号,第一指示灯发光,且所述音质水平判定信号不同时,第一指示灯的亮度不同;当信号收发模块120接收到健康状态类型判定信号后,提醒模块130生成相应的第二提醒信号,第二指示灯发光,且所述健康状态类型判定信号不同时,第二指示灯的亮度不同。当然,提醒模块130也可以包括音频播放件,以发出不同的声音作为提醒信号;或者为震动件,以产生不同频率的震动作为提醒信号;或者为显示面板,以直接显示图像信息作为提醒信号。
优选地,所述声音状态判定信号包括所述音质水平判定信号和所述健康状态类型判定信号,即,数据处理器200既能够判断使用者的音质水平,也能够判断使用者的健康状态类型。
为使数据处理器200能够更准确地判断出使用者的健康状态类型,进一步地,如图1所示,话筒100还包括体征信息采集模块140,用于采集使用者的体征信息。信号收发模块120还与体征信息采集模块140相连,用于将体征信息采集模块140采集到的体征信息发送出去,以使得数据处理器200能够结合所述实际声音信号和所述体征信息生成所述健康状态类型判定信号。其中,所述体征信息包括体温、脉搏波、血氧量、心率和血压中的至少一者,相应地,体征信息采集模块140可以包括用于测量体温的体温计、用于测量的脉搏波的脉搏测量仪、用于检测血氧量和心率的投射型红外传感器、用于测量血压的血压器中的任意一者。
图2为话筒的外观结构示意图,如图2所示,话筒100包括壳体160,壳体160包括手握部162和设置在手握部162顶端的话筒头部161,声音采集部110设置在话筒头部161内。为了提高话筒100整体结构的集成度,减小体积,可以将体征信息采集模块140设置在手握部162外壁上。如上文所示,提醒模块130可以包括指示灯,这时,所述指示灯可以设置在话筒头部161内,话筒头部161能够透光;具体地,话筒头部161可以为一个网状罩体,声音采集部110也可以设置在网状罩体内。当提醒模块130包括显示面板131时,显示面板131设置在壳体160外壁上,具体可以设置话筒头部161外壁上(如图2所示),或者设置在手握部162外壁上。
进一步地,如图1和图2所示,话筒100还包括身份信息采集模块150,用于采集使用者的身份信息;信号收发模块120还与身份信息采集模150块相连,并能够将使用者的身份信息出去,例如发送至数据处理器200。通过身份信息的采集,可以便于数据处理器200根据使用者身份信息及其实际声音信号、音质水平和健康状态类型建立属于使用者自身的个人数据库,从而便于使用者查看自身音质水平的变化和健康状态的变化。
其中,身份信息采集模块150设置在手握部162的外壁上,所述身份信息包括指纹信息。身份信息采集模块150具体可以包括触摸屏,以便于在使用者手持话筒100的同时就可以采集到用户的指纹。
作为本发明的另一方面,提供一种数据处理器200,如图3所示,数据处理器200包括信号接收模块210、处理模块220和信号发送模块230。信号接收模块210用于接收上述话筒100的信号收发模块120所发送的实际声音信号;处理模块220与信号接收模块210相连,用于根据信号接收模块210接收到的所述实际声音信号生成声音状态判定信号,其中,所述声音状态判定信号包括根据使用者的音质水平生成的音质水平判定信号和/或根据使用者的健康状态类型生成的健康状态类型判定信号。信号发送模块230与处理模块220相连,用于将所述声音状态判定信号发送至话筒100。
优选地,所述声音状态判定信号既包括所述音质水平判定信号,也包括所述健康状态类型判定信号。即,当话筒100采集到话筒使用者的实际声音后,数据处理器200的处理模块220能够根据使用者的实际声音信号判断使用者的音质水平,从而生成相应的音质水平信号;也可以根据使用者的实际声音信号判断使用者的健康状态类型,从而生成相应的健康状态类型判定信号。之后,由信号发送模块230将音质水平判定信号和/或健康状态类型判定信号发送至话筒100,从而使得话筒100的提醒模块130生成上述提醒信号,以使得使用者根据该提醒信号获知自身的音质水平和健康状态类型。
其中,数据处理器200可以为与话筒100集成为一体结构,也可以为与话筒100相分离的结构,例如,为单独的云端服务器,只要可以与话筒100进行信号传输,并能够进行数据处理,以根据使用者的实际声音信号判断使用者的音质水平和/或使用者的健康状态类型即可。
具体地,如图3所示,处理模块220可以包括用于判断音质水平的第一分析单元221和/或用于判断健康状态类型的第二分析单元222。优选地,处理单元220同时包括第一分析单元221和第二分析单元222,以同时进行音质水平和健康状态类型的判断。
第一分析单元221用于利用预设的相似度计算模型计算所述实际声音信号与标准声音信号的相似度,以该相似度作为所述音质水平,相似度越高,即音质水平越高。如上文所述,上述话筒可以用于声乐练习者的声乐训练中,此时,标准声音信号可以为预先采集的、发音标准的声音信号,例如,可以预先采集一段或多段用于进行声乐训练的声音信号,该声音信号可以覆盖一定音域并包含多个不同的音调;当使用者使用话筒100进行声乐训练时,可以按照标准声音信号进行发声,之后,话筒100将使用者的实际声音信号发送至数据处理器200,从而使得第一分析单元221根据使用者实际声音信号的频率、音量、音色等信息来判断实际声音信号与标准声音信号的相似度。
为了提高相似度计算的效率和准确率,相似度计算模型具体可以包括第一卷积神经网络模型,该第一卷积神经网络模型可以采用深度神经网络模型。第一卷积神经网络模型可以包括输入层、多个卷积层、多个激励层和全连接层。其中,第一分析单元221可以先对实际声音信号进行特征提取,得到所需定长的特征矢量,并将该特征矢量和标准声音信号的特征矢量输入所述第一卷积神经网络模型的输入层;经过相似度计算后,全连接层输出所述实际声音信号与所述标准声音信号的相似度。其中,声音特征的提取可以采用常用的梅尔倒谱系数(Mel-scale Frequency Cepstral Coefficients,简称MFCC)的提取方式。
第二分析单元222用于利用预设的分类器模型判断所述使用者健康状态类型。为了提高分类效率和准确率,所述分类器模型可以包括第二卷积神经网络模型;该第二卷积神经网络模型也采用深度神经网络模型。该第二神经网络模型和第一神经网络模型的结构类似,包括输入层、多个卷积层、多个激励层和全连接层。和第一分析单元221类似地,第二分析单元222也可以对实际声音信号进行特征提取,将提取后的特征矢量输入第二神经网络模型的输入层,从而使得全连接层输出与多个预设的健康状态类型对应的系数,系数最大的健康状态类型即为实际声音信号所对应的健康状态类型。
如上文所述,话筒100还可以包括体征信息采集模块140,这时,210信号接收模块还用于接收话筒100的信号收发模块120发送的体征信息,第二分析单元222还能够利用所述分类器模型并根据所述实际声音信号和所述体征信息的结合来判断所述健康状态类型。即,将所述实际声音信号的特征矢量和所述体征信息的特征矢量共同输入第二卷积神经网络的输入层,从而根据全连接层的输出判断与所述实际声音信号和所述体征信息共同对应的健康状态类型。
需要说明的是,第一分析单元221和第二分析单元222在对实际声音信号进行特征提取时,只根据实际声音信号的频率、音量、音色等声音信号的波形信息,并不需要分析声音信号的语言学信息(例如,具体单词、句子等)。
考虑到声音信号的采集过程以及传输过程中会引入噪声而导致信号失真,为此,处理模块220还可以包括预处理单元223,该预处理单元223用于对话筒100采集的实际声音信号进行预处理,并将预处理后的实际声音信号输出至第一分析单元221和第二分析单元222,将预处理后的体征信息输出至第二分析单元222。所述预处理具体可以包括滤波去噪、归一化等。
为了获得所述相似度计算模型和所述分类器模型,进一步地,如图3所示,数据处理器200还包括训练模块240,该训练模块240用于根据预设的多个第一声音信号样本及各自对应的相似度样本训练得到所述相似度计算模型;并根据预设的多个由第二声音信号样本和体征信息样本组成的样本组以及各样本组对应的健康状态类型样本训练得到所述分类器模型。
对相似度计算模型的训练即对第一卷积神经网络模型的训练,从而获取第一卷积神经网络模型的各层节点之间的映射关系。训练时,先建立第一样本库,该第一样本库中包括预先采集的大量第一声音信号样本,各第一声音信号样本对应的相似度已知,称之为相似度样本;之后,将声音信号样本和标准声音信号输入初始的第一卷积神经网络模型的输入层、将对应的相似度样本输入全连接层,经过多次训练得到第一卷积神经网络的具体结构。
类似地,对分类器模型的训练即对第二卷积神经网络模型的训练,以获得第二卷积神经网络模型的各层节点之间的映射关系。训练时,先建立第二样本库,该第二样本库中包括多个不同健康状态类型(例如,健康、声带疲惫、声带病变等,称之为健康状态类型样本),以及在各健康状态类型下预先采集的大量第二声音信号样本和体征信息样本;之后,将第二声音信号样本和对应的体征信息样本输入第二卷积神经网络的输入层;将全连接层中与二者对应的健康状态类型样本对应的节点设置为1,其他节点设置为0。经过多组样本的训练,得到第二卷积神经网络模型的结构。第一卷积神经网络模型和第二卷积神经网络模型的具体训练方法可以采用现有的基于动量的随机梯度下降法(Moment basedStochastic Gradient Descent),这里不再详述。
应当理解的是,神经网络模型输入层的输入在训练过程和使用过程中是相对应的,如上文所述,第一分析单元221和第二分析单元222均对实际声音信号进行特征提取后再输入第一卷积神经网络模型和第二神经网络模型的输入层,相应地,在对第一卷积神经网络和第二卷积神经网络模型进行训练时,第一声音信号样本和第二声音信号样本也是特征提取后的样本。当然,第一声音信号样本和第二声音信号样本也可以为未经特征提取的样本,这种情况下,在进行相似度计算和健康状态类型判断时,输入层输入的声音信号也是未经特征提取的信号,从而在神经网络模型内部完成特征提取和相似度计算(或健康状态类型判断)。另外,第二分析单元222也可以只根据实际声音信号来判断相应的健康状态类型,这种情况下,第二神经网络模型的训练过程中,输入层不再输入体征信息样本。
进一步地,如图3所示,数据处理器200还可以包括更新模块250,该更新模块250与训练模块240和处理模块220相连,用于根据使用者的实际声音信号以及通过该实际语音信号所计算的相似度(即根据该实际语音信号判定的音质水平)对所述相似度计算模型进行更新,并根据所述实际声音信号和体征信息以及通过二者的结合所判断的健康状态类型对所述分类器模型进行更新。如上所述,在相似度计算模型和分类器计算模型的训练过程中,首先建立第一样本库和第二样本库,更新模块250对相似度计算模型和分类器计算模型的更新即,将实际声音信号及其对应的相似度也作为样本加入第一样本库中,以对相似度计算模型进行进一步地训练更新,从而提高相似度计算的准确性;将实际声音信号和体征信息共同对应的健康状态类型也作为样本加入第二样本库中,以对分类器模型进行进一步地训练更新,从而提高健康类型判断的准确性。
如上所述,话筒100还包括身份信息采集模块150,这时,数据处理器200还可以包括存储模块260,用于存储使用者身份信息以及处理模块220根据该使用者的实际声音信号所判断出的该使用者的音质水平和/或健康状态类型,从而便于使用者了解自身近期的音质水平和健康状态。
进一步地,当话筒100的提醒模块130包括显示面板时,数据处理器200还包括指导模块270,该指导模块270与处理模块220相连,用于根据所述音质水平判定信号生成声乐指导信号,并根据所述健康状态类型判定信号生成健康指导信号。信号发送模块230还与指导模块270相连,用于将所述声乐指导信号和健康指导信号发送至话筒100,以使话筒100根据所述声乐指导信号显示声乐指导信息并根据所述健康指导信号显示健康指导信息。
具体地,所述健康指导信息可以预先设置,例如,对于音质水平而言,可以将代表音质水平的相似度划分为多个范围,对于每个范围均预先设置一种声乐指导信号;当处理模块220的第一分析单元221计算出所述实际声音信号与标准声音信号的相似度后,信号发送模块230将该相似度所在范围对应的声乐指导信号发送至话筒100,话筒100的显示面板根据接收到的声乐指导信号显示相应的声乐指导信息,以便于使用者调节自身的练***。对于健康状态而言,可以将每种健康状态类型也对应一种预先设置的健康指导信号;当处理模块220的第二分析单元222计算出所述实际声音信号和体征信息对应的健康状态类型后,信号发送模块230将该健康状态类型对应的健康指导信号发送至话筒100,以使得话筒100的显示面板显示相应的健康指导信息,从而为使用者提供健康指导和建议。例如,当根据所述实际声音信号和体征信息判定健康状态类型为“声带疲惫”时,显示面板显示的健康指导信息为“注意休息”的字样。
作为本发明的第三个方面,提供一种监测***,包括本发明提供的上述话筒100和数据处理器200。结合图1和图3所示,话筒100的信号收发模块120与数据处理器200的信号接收模块210能够进行信号连接,话筒100的提醒模块130与数据处理器200的信号发送模块230能够进行信号连接,从而在话筒100采集使用者的实际声音信号后,数据处理器200产生声音状态判定信号,进而使话筒100的提醒模块130生成提醒信号进行提醒。如上文所述,话筒100和数据处理器200可以集成为一体结构,例如,将数据处理器200集成在话筒100的壳体内;或者,筒100和数据处理器200可以为两个分离的结构,且能够进行无线信号通信,例如,数据处理器200为与话筒分离的云端服务器。
本发明中的监测***利用话筒对实际声音信号和其他信息进行采集并利用数据处理器进行数据处理,通过数据分析的方式对使用者的音质水平和健康状态随时进行监测,使得使用者随时都可以了解自身的音质水平和健康状态,从而使得使用者更早期地了解自身状况,且判断结果更客观。
作为本发明的第四个方面,提供一种利用上述监测***的监测方法,结合图1、图3和图4所示,所述监测方法包括:
S10、话筒100采集使用者的实际声音信号。
S20、数据处理器200根据所述实际声音信号生成声音状态判定信号,并将该声音状态判定信号发送至话筒100;其中,所述声音状态判定信号包括根据使用者的音质水平生成的音质水平判定信号和/或根据使用者的健康状态类型生成的健康状态类型判定信号。
S30、话筒100的提醒模块130根据所述声音状态判定信号生成提醒信号。
下面结合图1、图3至图5对所述监测方法的过程进行具体介绍。如图1所示,话筒100包括声音采集部110、信息收发模块120、提醒模块130、体征信息采集模块140;提醒模块130包括显示面板。如图3所示,数据处理器200包括信号接收模块210、处理模块220、信号发送模块230、训练模块240、更新模块250,处理模块220包括预处理单元223、第一处理单元221和第二处理单元222。如图5所示,所述监测方法具体包括:
S01、数据处理器200的训练模块240根据预设的多个第一声音信号样本及各自对应的相似度样本训练得到相似度计算模型,所述相似度计算模型包括第一卷积神经网络模型。
S02、训练模块240根据预设的多个由第二声音信号样本和体征信号样本组成的样本组以及各样本组对应的健康状态类型样本训练得到分类器模型,所述分类器模型包括第二卷积神经网络模型。相似度计算模型和分类器模型的训练过程和原理已在上文进行了介绍,这里不再赘述。步骤S01和S02可以同时进行,也可以先后进行,两个步骤可以在S10之前,也可以在下文提及的步骤S10与S20之间进行。
S10、话筒100的声音采集部110采集使用者的实际声音信号,信号收发模块120将实际声音信号发送至数据处理器200。
S11、话筒100的体征信息采集模块140采集使用者的体征信息,信号收发模块120将使用者的体征信息发送至数据处理器200。
上述步骤S10和S11同时进行,也可以先后进行。
S20、数据处理器200根据所述实际声音信号生成声音状态判定信号,并将该声音状态判定信号发送至话筒100。该步骤具体包括以下步骤S20a和S20b。
S20a、对所述话筒采集的实际语音信号和体征信息进行预处理。
S20b、数据处理器200的第一分析单元221利用预设的相似度计算模型计算所述实际声音信号与标准声音信号的相似度,以该相似度作为所述音质水平,从而进一步生成音质水平判定信号;第二分析单元222利用所述分类器模型并根据所述实际声音信号和所述体征信息的结合来判断所述使用者的健康状态类型,从而进一步生成健康状态类型判定信号。应当理解的是,利用所述相似度计算模型计算的相似度根据预处理后的实际语音信号得到的,即第一分析单元221计算的是预处理后的实际语音信号与标准信号之间的相似度;第二分析单元222利用预设的分类器模型所判断的健康状态类型是根据预处理后的实际语音信号和预处理后的体征信息得到的。
S21、数据处理器200的更新模块250根据所述实际语音信号及通过该实际语音信号所计算的相似度对所述相似度计算模型进行更新。
S22、更新模块250根据所述实际声音信号和体征信息以及通过二者的结合所判断的健康状态类型对所述分类器模型进行更新。更新模块250的更新原理已在上文说明,这里不再赘述。
S30、话筒100的提醒模块130根据所述声音状态判定信号(音质水平判定信号和/或健康状态类型判定信号)生成提醒信号。
另外,如上文所述,话筒100还可以包括身份信息采集模块150,数据处理器200包括存储模块260,这种情况下,话筒100在采集实际声音信号和体征信息的同时,身份信息采集模块150还可以对使用者的身份信息进行采集,步骤S20结束后还包括:数据处理器200存储使用者的身份信息以及该使用者的音质水平和/或健康状态类型。
另外,当话筒100的提醒模块包括显示面板、数据处理器200还包括指导模块270时,步骤S20之后还包括:
数据处理器200的指导模块270根据所述音质水平判定信号生成声乐指导信号,并根据所述健康状态类型判定信号生成健康指导信号;话筒100的显示面板根据所述声乐指导信号显示声乐指导信息并根据所述健康指导信号显示健康指导信息。声乐指导信号和健康指导信号的生成、声乐指导信息和健康指导信息的生成原理已在上文说明,这里不再赘述。
以上为对本发明提供的话筒、数据处理器、监测***和监测方法的描述,可以看出,本发明的数据处理器根据话筒采集的实际声音信号判断出使用者的音质水平,并生成音质水平判定信号,也可以根据实际声音信号判断出使用者的健康状态类型,并生成的健康状态判定信号;话筒的提醒模块根据音质水平生成提醒信号,也可以根据健康状态类型生成提醒信号,以对使用者进行提醒。相较于传统的依赖人(声乐导师)听取发音和咽喉医生的普通诊断相比,本发明中的监测***通过数据分析的方式对使用者的音质水平和健康状态随时进行监测,使得使用者随时都可以了解自身的音质水平和健康状态,从而使得使用者更早期地了解自身状况,且判断结果更客观。并且,话筒还可以采集使用者的体征信息,从而使得数据处理器结合使用者的声音信号和体征信息判断使用者的健康状态类型,提高判断的准确率。另外,话筒还可以采集使用者的身份信息,数据处理器将使用者的身份信息和使用者的音质水平和健康状态类型进行存储,从而便于使用者了解自身近期的声音状态。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。
Claims (20)
1.一种话筒,包括声音采集部,用于采集使用者的实际声音信号,其特征在于,所述话筒还包括:
体征信息采集模块,用于采集使用者的体征信息;
信号收发模块,与所述声音采集部、所述体征信息采集模块相连,用于将所述声音采集部采集的实际声音信号和所述体征信息采集模块采集到的体征信息发送出去,以及接收根据所述实际声音信号生成的声音状态判定信号,所述声音状态判定信号包括根据使用者的音质水平生成的音质水平判定信号和根据使用者声带或咽喉的健康状态类型生成的健康状态类型判定信号;所述健康状态类型根据所述实际声音信号和所述体征信息的结合判断得到;
提醒模块,用于根据所述声音状态判定信号生成提醒信号。
2.根据权利要求1所述的话筒,其特征在于,所述体征信息包括体温、脉搏波、血氧量、心率和血压中的至少一者。
3.根据权利要求1所述的话筒,其特征在于,所述提醒模块包括指示灯,所述提醒信号包括光信号;和/或
所述提醒模块包括显示面板,所述提醒信号包括图像信号。
4.根据权利要求3所述的话筒,其特征在于,所述话筒包括壳体,所述壳体包括手握部和设置在所述手握部顶端的话筒头部,所述声音采集部设置在所述话筒头部内;所述体征信息采集模块设置在所述手握部的外壁上;
当所述提醒模块包括指示灯时,所述指示灯设置在话筒头部内,所述话筒头部能够透光;
当所述提醒模块包括显示面板时,所述显示面板设置在所述壳体外壁上。
5.根据权利要求4所述的话筒,其特征在于,所述话筒还包括身份信息采集模块,用于采集使用者的身份信息;所述信号收发模块还与所述身份信息采集模块相连,并能够将所述身份信息发送出去。
6.根据权利要求5所述的话筒,其特征在于,所述身份信息采集模块设置在所述手握部的外壁上,所述身份信息包括指纹信息。
7.一种数据处理器,其特征在于,包括:
信号接收模块,用于接收权利要求1至6中任意一项所述的话筒的信号收发模块所发送的实际声音信号;
处理模块,与所述信号接收模块相连,用于根据所述信号接收模块接收到的所述实际声音信号生成声音状态判定信号,其中,所述声音状态判定信号包括根据使用者的音质水平生成的音质水平判定信号和根据使用者的健康状态类型生成的健康状态类型判定信号;
信号发送模块,与所述处理模块相连,用于将所述声音状态判定信号发送至所述话筒;
所述处理模块包括第一分析单元和第二分析单元;
所述信号接收模块还用于接收所述话筒的信号收发模块发送的体征信息;所述第二分析单元能够根据所述实际声音信号和所述体征信息的结合来判断所述使用者的健康状态类型。
8.根据权利要求7所述的数据处理器,其特征在于,第一分析单元用于利用预设的相似度计算模型计算所述实际声音信号与标准声音信号的相似度,以该相似度作为所述音质水平;
第二分析单元用于利用预设的分类器模型判断所述使用者的健康状态类型。
9.根据权利要求8所述的数据处理器,其特征在于,所述相似度计算模型包括第一卷积神经网络模型,所述分类器模型包括第二卷积神经网络模型。
10.根据权利要求7所述的数据处理器,其特征在于,所述处理模块还包括预处理单元,用于对所述话筒采集的所述实际语音信号和所述体征信息进行预处理,并将预处理后的实际声音信号输出至所述第一分析单元和所述第二分析单元,将预处理后的体征信息输出至所述第二分析单元。
11.根据权利要求8所述的数据处理器,其特征在于,所述数据处理器还包括:
训练模块,用于根据预设的多个第一声音信号样本及各自对应的相似度样本训练得到所述相似度计算模型;并根据预设的多个由第二声音信号样本和体征信号样本组成的样本组以及各样本组对应的健康状态类型样本训练得到所述分类器模型。
12.根据权利要求11所述的数据处理器,其特征在于,所述数据处理器还包括:
更新模块,与所述训练模块和所述处理模块相连,用于根据所述实际语音信号以及通过该实际语音信号所计算的相似度对所述相似度计算模型进行更新,并根据所述实际声音信号和体征信息以及通过二者的结合所判断的健康状态类型对所述分类器模型进行更新。
13.根据权利要求7所述的数据处理器,其特征在于,当话筒还包括身份信息采集模块时,所述数据处理器还包括存储模块,用于存储使用者的身份信息以及该使用者的音质水平和健康状态类型。
14.根据权利要求7所述的数据处理器,其特征在于,所述声音状态判定信号包括所述音质水平判定信号和所述健康状态类型判定信号,
当所述话筒的提醒模块包括显示面板时,所述数据处理器还包括指导模块,该指导模块与所述处理模块相连,用于根据所述音质水平判定信号生成声乐指导信号,并根据所述健康状态类型判定信号生成健康指导信号;
所述信号发送模块还与所述指导模块相连,用于将所述声乐指导信号和健康指导信号发送至所述话筒,以使所述话筒的显示面板根据所述声乐指导信号显示声乐指导信息,并根据所述健康指导信号显示健康指导信息。
15.一种监测***,其特征在于,包括权利要求1至6中任意一项所述的话筒和权利要求7至14中任意一项所述的数据处理器。
16.根据权利要求15所述的监测***,其特征在于,所述话筒和所述数据处理器集成为一体结构;
或者,所述话筒和所述数据处理器为两个分离的结构,且能够进行无线信号通信。
17.一种利用权利要求15或16所述的监测***的监测方法,其特征在于,包括:
所述话筒采集使用者的实际声音信号和体征信息;
所述数据处理器根据所述实际声音信号生成声音状态判定信号,并将该声音状态判定信号发送至所述话筒;其中,所述声音状态判定信号包括根据使用者的音质水平生成的音质水平判定信号和根据使用者的健康状态类型生成的健康状态类型判定信号;所述使用者的健康状态类型根据所述实际声音信号和所述体征信息的结合判断得到;
所述话筒的提醒模块根据所述声音状态判定信号生成提醒信号。
18.根据权利要求17所述的监测方法,其特征在于,根据所述实际声音信号生成声音状态判定信号,包括:
利用预设的相似度计算模型计算所述实际声音信号与标准声音信号的相似度,以该相似度作为所述音质水平;和
利用预设的分类器模型判断所述使用者的健康状态类型。
19.根据权利要求18所述的监测方法,其特征在于,在利用预设的相似度计算模型计算所述实际声音信号与标准声音信号的相似度,以及利用所述分类器模型并根据所述实际声音信号和所述体征信息的结合判断所述使用者的健康状态类型之前还包括:对所述话筒采集的实际语音信号和体征信息进行预处理;
利用所述预设的相似度计算模型计算的相似度根据预处理后的实际语音信号得到的;
利用预设的分类器模型所判断的健康状态类型是根据预处理后的实际语音信号和预处理后的体征信息得到的。
20.根据权利要求19所述的监测方法,其特征在于,利用预设的相似度计算模型计算所述实际声音信号与标准声音信号的相似度之前还包括:根据预设的多个第一声音信号样本及各自对应的相似度样本训练得到所述相似度计算模型;
利用所述分类器模型并根据所述实际声音信号和所述体征信息的结合判断所述使用者的健康状态类型之前还包括:根据预设的多个由第二声音信号样本和体征信号样本组成的样本组以及各样本组对应的健康状态类型样本训练得到所述分类器模型。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710311882.7A CN108806720B (zh) | 2017-05-05 | 2017-05-05 | 话筒、数据处理器、监测***及监测方法 |
EP17863283.2A EP3619709A4 (en) | 2017-05-05 | 2017-11-15 | MICROPHONE, VOICE TRAINING DEVICE WITH THE MICROPHONE AND VOICE ANALYZER, VOICE TRAINING PROCEDURE AND TRANSITIONAL, CONCRETE COMPUTER-READABLE STORAGE MEDIUM |
PCT/CN2017/111038 WO2018201688A1 (en) | 2017-05-05 | 2017-11-15 | Microphone, vocal training apparatus comprising microphone and vocal analyzer, vocal training method, and non-transitory tangible computer-readable storage medium |
US15/766,077 US10499149B2 (en) | 2017-05-05 | 2017-11-15 | Microphone, vocal training apparatus comprising microphone and vocal analyzer, vocal training method, and non-transitory tangible computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710311882.7A CN108806720B (zh) | 2017-05-05 | 2017-05-05 | 话筒、数据处理器、监测***及监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108806720A CN108806720A (zh) | 2018-11-13 |
CN108806720B true CN108806720B (zh) | 2019-12-06 |
Family
ID=64015749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710311882.7A Active CN108806720B (zh) | 2017-05-05 | 2017-05-05 | 话筒、数据处理器、监测***及监测方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10499149B2 (zh) |
EP (1) | EP3619709A4 (zh) |
CN (1) | CN108806720B (zh) |
WO (1) | WO2018201688A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10503970B1 (en) * | 2017-12-11 | 2019-12-10 | State Farm Mutual Automobile Insurance Company | Method and system for identifying biometric characteristics using machine learning techniques |
US10825564B1 (en) | 2017-12-11 | 2020-11-03 | State Farm Mutual Automobile Insurance Company | Biometric characteristic application using audio/video analysis |
US11170899B2 (en) | 2018-09-12 | 2021-11-09 | Computime Ltd. | Biometric data capturing and analysis using a hybrid sensing systems |
US10943137B2 (en) | 2018-09-12 | 2021-03-09 | Computime Ltd. | Biometric data capturing and analysis |
KR102655628B1 (ko) * | 2018-11-22 | 2024-04-09 | 삼성전자주식회사 | 발화의 음성 데이터를 처리하는 방법 및 장치 |
CN109448682A (zh) * | 2018-12-04 | 2019-03-08 | 无锡市思娱文化科技有限公司 | 一种实现话筒与点唱机互动的***及其使用方法 |
CN110033785A (zh) * | 2019-03-27 | 2019-07-19 | 深圳市中电数通智慧安全科技股份有限公司 | 一种呼救识别方法、装置、可读存储介质及终端设备 |
US11640767B1 (en) * | 2019-03-28 | 2023-05-02 | Emily Anna Bridges | System and method for vocal training |
CN110367934B (zh) * | 2019-07-25 | 2023-02-03 | 深圳大学 | 一种基于非语音身体声音的健康监测方法及监测*** |
EP4026046A1 (en) * | 2019-09-04 | 2022-07-13 | Computime Ltd. | Biometric data capturing and analysis using a hybrid sensing system |
CN111028862B (zh) * | 2019-12-17 | 2022-09-06 | 京东科技信息技术有限公司 | 处理语音数据的方法、装置、计算机设备和存储介质 |
US11074926B1 (en) * | 2020-01-07 | 2021-07-27 | International Business Machines Corporation | Trending and context fatigue compensation in a voice signal |
CN111863032A (zh) * | 2020-06-12 | 2020-10-30 | 随锐科技集团股份有限公司 | 音频采集设备的优选方法及***、计算机可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739870A (zh) * | 2009-12-03 | 2010-06-16 | 深圳先进技术研究院 | 交互式语言学习***及交互式语言学习方法 |
CN102342858A (zh) * | 2010-08-06 | 2012-02-08 | 上海中医药大学 | 中医声诊采集与分析*** |
CN202475713U (zh) * | 2012-02-29 | 2012-10-03 | 杭州来同科技有限公司 | 基于纯语音操作的一体化麦克风 |
CN203289603U (zh) * | 2013-06-04 | 2013-11-13 | 天津宽明科技有限公司 | 一种无线话筒 |
CN204069242U (zh) * | 2014-06-10 | 2014-12-31 | 常州华亿阳电器有限公司 | 多功能话筒 |
CN104732977A (zh) * | 2015-03-09 | 2015-06-24 | 广东外语外贸大学 | 一种在线口语发音质量评价方法和*** |
CN105596016A (zh) * | 2015-12-23 | 2016-05-25 | 王嘉宇 | 一种人体心理、生理健康监测和管理装置及方法 |
CN105962895A (zh) * | 2016-04-26 | 2016-09-28 | 广东小天才科技有限公司 | 一种用户状态的提醒方法及*** |
CN106073706A (zh) * | 2016-06-01 | 2016-11-09 | 中国科学院软件研究所 | 一种面向简易精神状态量表的个性化信息和音频数据分析方法及*** |
CN106878840A (zh) * | 2017-03-21 | 2017-06-20 | 北京小米移动软件有限公司 | 智能麦克风 |
CN206726760U (zh) * | 2017-05-05 | 2017-12-08 | 京东方科技集团股份有限公司 | 话筒、数据处理器和监测*** |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080040803A (ko) | 2006-11-03 | 2008-05-09 | 이민화 | 이동 단말기 사용자의 건강 상태를 진단하는 방법, 장치 및시스템 |
CN101108125B (zh) * | 2007-08-02 | 2010-06-16 | 无锡微感科技有限公司 | 一种身体体征动态监测*** |
US9357921B2 (en) * | 2009-10-16 | 2016-06-07 | At&T Intellectual Property I, Lp | Wearable health monitoring system |
US8784311B2 (en) | 2010-10-05 | 2014-07-22 | University Of Florida Research Foundation, Incorporated | Systems and methods of screening for medical states using speech and other vocal behaviors |
US20160027317A1 (en) | 2014-07-28 | 2016-01-28 | Seung Woo Lee | Vocal practic and voice practic system |
JP2016173540A (ja) | 2015-03-18 | 2016-09-29 | 国立大学法人三重大学 | 歌唱訓練装置、歌唱訓練方法、および歌唱訓練プログラム |
CN106250400B (zh) * | 2016-07-19 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 一种音频数据处理方法、装置以及*** |
CN110494916A (zh) | 2017-02-12 | 2019-11-22 | 卡帝欧寇有限公司 | 用于心脏疾病的口头定期筛查 |
CN107371075A (zh) | 2017-08-07 | 2017-11-21 | 北京小米移动软件有限公司 | 麦克风 |
CN107331378A (zh) | 2017-08-07 | 2017-11-07 | 北京小米移动软件有限公司 | 麦克风 |
-
2017
- 2017-05-05 CN CN201710311882.7A patent/CN108806720B/zh active Active
- 2017-11-15 US US15/766,077 patent/US10499149B2/en active Active
- 2017-11-15 WO PCT/CN2017/111038 patent/WO2018201688A1/en unknown
- 2017-11-15 EP EP17863283.2A patent/EP3619709A4/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739870A (zh) * | 2009-12-03 | 2010-06-16 | 深圳先进技术研究院 | 交互式语言学习***及交互式语言学习方法 |
CN102342858A (zh) * | 2010-08-06 | 2012-02-08 | 上海中医药大学 | 中医声诊采集与分析*** |
CN202475713U (zh) * | 2012-02-29 | 2012-10-03 | 杭州来同科技有限公司 | 基于纯语音操作的一体化麦克风 |
CN203289603U (zh) * | 2013-06-04 | 2013-11-13 | 天津宽明科技有限公司 | 一种无线话筒 |
CN204069242U (zh) * | 2014-06-10 | 2014-12-31 | 常州华亿阳电器有限公司 | 多功能话筒 |
CN104732977A (zh) * | 2015-03-09 | 2015-06-24 | 广东外语外贸大学 | 一种在线口语发音质量评价方法和*** |
CN105596016A (zh) * | 2015-12-23 | 2016-05-25 | 王嘉宇 | 一种人体心理、生理健康监测和管理装置及方法 |
CN105962895A (zh) * | 2016-04-26 | 2016-09-28 | 广东小天才科技有限公司 | 一种用户状态的提醒方法及*** |
CN106073706A (zh) * | 2016-06-01 | 2016-11-09 | 中国科学院软件研究所 | 一种面向简易精神状态量表的个性化信息和音频数据分析方法及*** |
CN106878840A (zh) * | 2017-03-21 | 2017-06-20 | 北京小米移动软件有限公司 | 智能麦克风 |
CN206726760U (zh) * | 2017-05-05 | 2017-12-08 | 京东方科技集团股份有限公司 | 话筒、数据处理器和监测*** |
Also Published As
Publication number | Publication date |
---|---|
EP3619709A1 (en) | 2020-03-11 |
EP3619709A4 (en) | 2021-01-06 |
US10499149B2 (en) | 2019-12-03 |
US20190124441A1 (en) | 2019-04-25 |
WO2018201688A1 (en) | 2018-11-08 |
CN108806720A (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108806720B (zh) | 话筒、数据处理器、监测***及监测方法 | |
CN107622797B (zh) | 一种基于声音的身体状况确定***及方法 | |
US7571101B2 (en) | Quantifying psychological stress levels using voice patterns | |
US10052056B2 (en) | System for configuring collective emotional architecture of individual and methods thereof | |
CN101023469A (zh) | 数字滤波方法和装置 | |
WO2006059325A1 (en) | Method and system of indicating a condition of an individual | |
CN106097828A (zh) | 一种声乐教学演唱技能检测*** | |
CN111195132B (zh) | 非接触式测谎和情绪识别方法、装置和*** | |
CN105976820A (zh) | 一种语音情感分析*** | |
CN106097829A (zh) | 一种声乐练习辅助器 | |
KR20210070270A (ko) | 정보 처리 장치 | |
JP6462936B1 (ja) | 音声認識システム、及び音声認識装置 | |
CN109599127A (zh) | 信息处理方法、信息处理装置以及信息处理程序 | |
KR20080040803A (ko) | 이동 단말기 사용자의 건강 상태를 진단하는 방법, 장치 및시스템 | |
CN209232414U (zh) | 具有语音交互功能的智能健康一体机 | |
CN206726760U (zh) | 话筒、数据处理器和监测*** | |
JP2022145373A (ja) | 音声診断システム | |
IL304961A (en) | Diagnostic techniques based on speech models | |
CN106782616A (zh) | 一种通过人声分析检测呼吸道的方法 | |
CN113948109B (zh) | 一种基于声音识别生理现象的*** | |
JP7307507B2 (ja) | 病態解析システム、病態解析装置、病態解析方法、及び病態解析プログラム | |
CN210052319U (zh) | 手持式普通话训练器 | |
KR102260466B1 (ko) | 오디오 인식을 활용한 라이프로그 장치 및 그 방법 | |
JP6909733B2 (ja) | 音声分析装置および音声分析方法 | |
KR101144948B1 (ko) | Egg를 이용한 음정교정장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |