JP7353592B2 - 心疾患を対象とする言葉による定期的なスクリーニング - Google Patents
心疾患を対象とする言葉による定期的なスクリーニング Download PDFInfo
- Publication number
- JP7353592B2 JP7353592B2 JP2019565085A JP2019565085A JP7353592B2 JP 7353592 B2 JP7353592 B2 JP 7353592B2 JP 2019565085 A JP2019565085 A JP 2019565085A JP 2019565085 A JP2019565085 A JP 2019565085A JP 7353592 B2 JP7353592 B2 JP 7353592B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- cardiac condition
- speech
- sample
- optionally
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001755 vocal effect Effects 0.000 title description 16
- 238000012216 screening Methods 0.000 title description 6
- 208000019622 heart disease Diseases 0.000 title description 4
- 230000000747 cardiac effect Effects 0.000 claims description 225
- 238000004458 analytical method Methods 0.000 claims description 105
- 230000000694 effects Effects 0.000 claims description 90
- 206010003658 Atrial Fibrillation Diseases 0.000 claims description 77
- 230000001575 pathological effect Effects 0.000 claims description 65
- 238000009826 distribution Methods 0.000 claims description 62
- 230000017531 blood circulation Effects 0.000 claims description 43
- 238000012360 testing method Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 21
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000013186 photoplethysmography Methods 0.000 claims description 10
- 206010047302 ventricular tachycardia Diseases 0.000 claims description 7
- 208000009729 Ventricular Premature Complexes Diseases 0.000 claims description 6
- 230000001746 atrial effect Effects 0.000 claims description 6
- 230000002861 ventricular Effects 0.000 claims description 6
- 206010015856 Extrasystoles Diseases 0.000 claims description 4
- 206010047289 Ventricular extrasystoles Diseases 0.000 claims description 4
- 238000000034 method Methods 0.000 description 147
- 206010003119 arrhythmia Diseases 0.000 description 64
- 230000006793 arrhythmia Effects 0.000 description 63
- 239000011295 pitch Substances 0.000 description 57
- 230000033764 rhythmic process Effects 0.000 description 36
- 230000003595 spectral effect Effects 0.000 description 33
- 238000005070 sampling Methods 0.000 description 29
- 239000013598 vector Substances 0.000 description 28
- 238000001514 detection method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 230000000737 periodic effect Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000012544 monitoring process Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000001228 spectrum Methods 0.000 description 16
- 238000011282 treatment Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 230000001788 irregular Effects 0.000 description 15
- 238000012549 training Methods 0.000 description 14
- 230000008901 benefit Effects 0.000 description 13
- 238000010606 normalization Methods 0.000 description 13
- 230000035945 sensitivity Effects 0.000 description 12
- 230000006399 behavior Effects 0.000 description 11
- 210000004704 glottis Anatomy 0.000 description 11
- 210000001260 vocal cord Anatomy 0.000 description 11
- 238000003745 diagnosis Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 10
- 230000036541 health Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 230000002269 spontaneous effect Effects 0.000 description 10
- 230000010354 integration Effects 0.000 description 9
- 230000007170 pathology Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 210000000214 mouth Anatomy 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 7
- 238000010183 spectrum analysis Methods 0.000 description 7
- 206010061592 cardiac fibrillation Diseases 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000013179 statistical model Methods 0.000 description 6
- 230000036772 blood pressure Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 208000006011 Stroke Diseases 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000090 biomarker Substances 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 238000007621 cluster analysis Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 206010003662 Atrial flutter Diseases 0.000 description 3
- 230000036471 bradycardia Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000003800 pharynx Anatomy 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 206010008479 Chest Pain Diseases 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 2
- 208000000059 Dyspnea Diseases 0.000 description 2
- 206010013975 Dyspnoeas Diseases 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 208000001871 Tachycardia Diseases 0.000 description 2
- 230000002763 arrhythmic effect Effects 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 2
- 208000006218 bradycardia Diseases 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001684 chronic effect Effects 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000013195 electrical cardioversion Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 210000000867 larynx Anatomy 0.000 description 2
- 210000005246 left atrium Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 210000002416 recurrent laryngeal nerve Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 230000006794 tachycardia Effects 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 208000004476 Acute Coronary Syndrome Diseases 0.000 description 1
- 208000020446 Cardiac disease Diseases 0.000 description 1
- 206010007559 Cardiac failure congestive Diseases 0.000 description 1
- 206010014498 Embolic stroke Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010022998 Irritability Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 208000032109 Transient ischaemic attack Diseases 0.000 description 1
- 208000008131 Ventricular Flutter Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 206010003668 atrial tachycardia Diseases 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 238000013194 cardioversion Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 230000001121 heart beat frequency Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 208000028780 ocular motility disease Diseases 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 210000004910 pleural fluid Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012284 sample analysis method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 208000014221 sudden cardiac arrest Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 208000021816 ventricular bradycardia Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Epidemiology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本出願は、米国仮特許出願第62/457,914号(出願日:2017年2月12日)からの優先権を主張し、この文書の内容はその全体が参照により本明細書に組み込まれている。
非特許文献1(Web上(www.ortra.com/events/Portals/16/Dias%20et%20al_AfekaConfSP2014.pdf)で公開されている)
非特許文献2(ポルト大学工学部に提出された修士論文)
非特許文献3
非特許文献4(博士論文)
特許文献3
特許文献4
特許文献5
特許文献6
特許文献7
特許文献8
特許文献9
特許文献10
音声サンプルから少なくとも1種類の音声特徴を抽出するステップと、
少なくとも1種類の音声特徴に対する血流の影響を検出するステップと、
この影響に基づいて不整脈の心臓の状態を判定するステップと、
を含む、方法。
いくつかの実施形態においては、心拍の3回の連続する発生を識別することによって影響を検出するステップは、心拍の3回の連続する発生にほぼ等しい時間、または約2~3秒かかりうる。心臓の状態の影響を2~3秒検出することは、心電図による検出と比較すると、心電図では一般に準備(電極を配置する)だけで2~3秒以上を要する。
一致する確率を求めるステップと、
この確率をしきい値と比較して不整脈の心臓の状態を判定するステップと、
をさらに含む、
例10に記載の方法。
いくつかの実施形態においては、心拍の2回の連続する発生を識別することによって影響を検出するステップは、心拍の2回の連続する発生にほぼ等しい時間、または約2秒かかりうる。
いくつかの実施形態においては、クロスコヒーレンスは、次のように計算される。
「Ts」:フレーム間の時間ステップ[秒]
「Tw」:各フレームの持続時間[秒]
「m」:フレーム番号
「t」:時刻
「Speech」:発話サンプル
「Speech_frame(m)」:時刻Ts*mにおける発話サンプルのフレーム
コヒーレンスの値は、0~1の範囲内であり、1は完全な一致である。
上の方法は、オプションとして、(時刻Ts*m[秒]における)各フレームmについて、コヒーレンスがしきい値よりも低下するフレーム距離Tを見つけるステップを含む。いくつかの実施形態においては、しきい値は、0.1~0.98の間、例えば0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、0.95、0.97、および0.98である。
いくつかの実施形態においては、時刻T*Tsは、RR間隔の推定である。
いくつかの実施形態においては、クロスコヒーレンスの全体的な摂動(perturbation)(分布の幅)は、オプションとして、心房細動の指標の役割を果たす。すなわち、心房細動があるときの発話は、より広い分布(より大きい標準偏差)を有する。
いくつかの実施形態においては、オプションとして各フレームにおいて計算される音響特徴(acoustic feature)のスペクトルの特性が、病的な発話の指標の役割を果たす。
ウェーブレット解析、
声門パルス分析、および、
線形予測符号化(LPC:Linear Predictive Coding)分析、
からなる群から選択される、発話信号の分析、を実行するステップ、を含む、
例1から例34.2のいずれか1つに記載の方法。
音声サンプルのデジタル音声サンプルを取得する音声入力部と、
デジタル音声サンプルから少なくとも1種類の音声特徴を抽出する音声特徴抽出器と、
少なくとも1種類の音声特徴に対する心臓活動の影響を識別する音声特徴プロセッサと、
この影響に基づいて不整脈の心臓の状態を判定する心臓状態分類器と、
を備えている、システム。
音声サンプルから少なくとも1種類の音声特徴を抽出するステップと、
少なくとも1種類の音声特徴に対する血流の影響を検出するステップであって、この影響が、血流のタイミング、血流の周期性、および、血流の大きさまたは大きさの変化、のうちの少なくとも1つである、ステップと、
影響に基づいて心臓の状態を判定するステップと、
を含む、方法。
音声サンプルから少なくとも1種類の音声特徴を抽出するステップと、
少なくとも1種類の音声特徴に対する血流の影響を検出するステップと、
検出された影響から、心臓の挙動の1つまたは複数のパラメータを再現するステップと、
を含む、方法。
本発明いくつかの実施形態の一態様は、音声サンプルに対する心臓活動(血流など)のタイミングの影響、および/または影響の大きさ、を求めることに関する。
血流に影響し、血流が音声サンプルに影響する場合;
心臓の鼓動の影響が肺に伝わり、肺が音声サンプルに影響する場合(なお、左肺は、胸部の空間を心臓と共有する);
心臓の鼓動の影響が気管支に伝わり、気管支が音声サンプルに影響する場合;
心臓の鼓動の影響が胸膜液に伝わり、胸膜液が音声サンプルに影響する場合;
喉頭(「発生器」)および声道に沿った動脈および筋肉の、心臓の鼓動に関連する機械的な変化によって、発声音における検出可能な変調がもたらされる可能性がある場合。
血流;
心室拍動;
心房拍動。
本発明のいくつかの実施形態の一態様は、音声に影響を及ぼす血流に対する心拍のタイミングの影響を検出することによって、心臓活動のタイミングが音声に対して有する影響を検出することに基づいて、心臓の状態を判定することに関する。不規則な心拍数では、血流に影響を及ぼす心拍の影響が不規則に起こり、このことが声に現れると推測される。
本発明のいくつかの実施形態の一態様は、音声に対する心臓活動の大きさの影響を抽出することに基づいて、心臓の状態を判定することに関する。本明細書において使用されている用語「大きさ」は、血液の機械的影響(血圧および/または血管容積など)の程度、および/または、心室拍動および/または心房拍動の影響の程度、を意味する。不規則な心拍数は、発声領域への血流の大きさの変動性につながり、したがって音声に対する血流の影響の大きさの変動性につながると推測される。心臓の鼓動によって発話が変調され、それにより音響信号の変動がもたらされると推測される。したがって、(例えば洞律動によって特徴付けられる)規則的な心拍波は、おそらくは発話器官を通る血流が周期的に変化する結果として周期的な変調をもたらすと予測される。これに対して、不規則な心臓の鼓動(例えば心房細動)は、血流の無秩序な変化をもたらし、音響信号のより大きな変動をもたらす。
本発明のいくつかの実施形態の一態様は、患者の声に対する心房細動の影響によって、心房細動を検出することに関する。
次に図面を参照し、図1Aは、本発明のいくつかの実施形態による、人の声から心臓の状態を判定することを例示している高レベルのブロック図およびデータの流れであり、関与する要素と、要素の間のデータの流れを示している。
ウェーブレット変換は、オプションとしていくつかの方法で発話の特徴として使用される。
各フレームごとに、発話の特徴ベクトルを計算する
スペクトル推定法を使用して特徴ベクトルのスペクトルを計算する。
フーリエ変換;
共分散法;
ペリオドグラム法;
Yule-Walker法;
多重信号分類(MUSIC:Multiple Signal Classification)法;
固有ベクトル法。
(1つまたは複数の)スペクトルピークの位置[Hz];
(1つまたは複数の)スペクトルピークの帯域幅[Hz];
(1つまたは複数の)スペクトルピークのエネルギー(オプションとして帯域幅*高さ)[ワット]。
上の値は、オプションとして心拍数の状態の指標として使用される。
次に図2を参照し、図2は、本発明のいくつかの実施形態による、オプションの音声分析ステーションの間のデータ伝送のいくつかのオプションのデータフローマップを示している。
次に図3を参照し、図3は、本発明のいくつかの実施形態による、音声サンプルに基づく心臓の状態の推定の、一般的な高レベルの流れ図を示している。
(1)心拍のタイミング(RR間隔)を推定して心臓のリズムを検出し、それを、病的/健康であることが既知であるリズムと比較するステップ。
(2)発話の特徴の周期性を計算し(自己相関および/またはスペクトル領域)、それを、病的/健康であることが既知である周期性と比較するステップ。
(3)機械学習方式を使用して、健康な発話者からの音声特徴からの統計モデル、および/または病態を有する発話者からの音声特徴からの統計モデル、を訓練するステップ。
次に図4Aおよび図4Bを参照し、これらの図は、本発明のいくつかの実施形態による、例示的なプラットフォーム(図4Aにおける携帯電話、図4Bにおける車両など)における音声サンプリングおよび/または音声分析を概略的に示している。オプションとして、本システムは、任意の音声プラットフォームおよび/または音声支援プラットフォーム(voice assisting platforms)に実施することができる。
次に図5Aを参照し、図5Aは、本発明のいくつかの実施形態による、例示的な音声処理を示している。いくつかの実施形態においては、得られた音声サンプルを、心臓の特徴および/または音声特徴の情報を有する可能性のあるフレームに分割し、そのような情報を提供する可能性が低いフレームを削除することは、有利であり得る。
(m):フレーム番号
(t):サンプル時刻インデックス(t=1/Fs、Fsは通常では6KHz~100KHzの間のサンプリング周波数)
(Ts):フレームのステップ(Ts=Twならば重なりがなく、Ts=0.5*Twは50%の重なり)
(Tw):フレームのサイズ(持続時間)
(Speech):発話のサンプル
F{}は、発話サンプル=音声特徴(発話の情報の代替表現である)の関数である。例えば、スペクトル、および/またはMFCC、および/またはLPC、および/または自己相関、および/またはウェーブレットである。
フレームのサンプリング間隔は、Ts(1/Frに等しい)である。
Frはフレームレートである。
推定にはM次の多項式が使用され、推定誤差ε(i)が生じる。
次に図6Aを参照し、図6Aは、本発明のいくつかの実施形態による、分布の分析によって音声サンプルから心臓の状態を推定することを示している一般的な高レベルの概要である。
次に図6Bを参照し、図6Bは、本発明のいくつかの実施形態による、特徴の分布を分析する詳細なプロセスを示している流れ図を示しており、音声特徴の例としてピッチを示している。
いくつかの実施形態においては、オプションとして、ある時刻における1人の患者の声と、別の時刻における同じ患者の声とを比較したときの変動を測定することによって、パルスのリズムの変動が検出される。
スペクトルに基づくパラメータ(エネルギーのスペクトル分布、ピーク、ピークのエネルギー、ピークの帯域幅、スペクトルの傾斜など);
メル周波数ケプストラム係数(MFCC);
LPC係数;
声門パルスパラメータ(声門パルスの立ち上がり時間、声門パルスの立ち下がり時間、声門パルスの開期間、声門パルスの閉期間、声門パルスの周波数、声門パルスのピークの位置、声門パルスのスペクトル、声門パルスの期間のジッター、声門パルスの振幅のジッター、その他);
(1つまたは複数の)ピッチパラメータ;
偏相関係数(略してPARCOR): これはパラメータ間の(ただし必ずしもすべてのパラメータの間ではない)相関の測度;
ウェーブレット解析パラメータ。
特徴空間の重心(オプションとしてK-MEANSクラスタリング分析を使用する);
特徴の変動のヒストグラムおよび/または確率密度関数(PDF:Probability Density Function)。いくつかの実施形態においては、発話に対して1つまたは複数の音響特徴が計算され、オプションとして、それらの音響特徴の分布(最小値および最大値、標準偏差、分布の形状など)が、発話における心拍数の病態の指標として使用される;
変調パラメータ: 発話の(1つまたは複数の)音響パラメータを計算した後、オプションとして、それら(1つまたは複数の)パラメータのスペクトルが、パラメトリック法および/またはノンパラメトリック法を使用して計算される。使用されるスペクトルからのパラメータは、以下の1つまたは複数である;
(1つまたは複数の)ピークの位置、(1つまたは複数の)ピークの帯域幅、ピークのエネルギー、(1つまたは複数の)スペクトル傾斜など;
サポートベクターマシン(SVM)を使用しての特徴空間の部分空間の計算;
機械学習手法からの他のクラスタリング法。
心臓が健康である発話者と、心臓が健康ではない発話者の音声記録を収集するステップと、
これらの記録に対して、本明細書に説明されているように1つまたは複数の音響特徴を計算するステップと、
上述した手法および/または追加の機械学習手法を使用して、統計的分類器を訓練するステップと、
によって訓練される。
音声をサンプリングするステップ(640);
音声特徴を抽出するステップ(642);
オプションとして、いくつかの発話からの音声特徴を組み合わせるステップ(644);
クラスター分析を実行するステップ(646);
オプションとして、コードブックを生成するステップ(648)。
音声をサンプリングするステップ(650);
音声特徴を抽出するステップ(652);
オプションとして、音声特徴を選択するステップ(654);
1つまたは複数のコードブック値からの音声特徴の距離を計算するステップ(656);
距離をしきい値と比較するステップ(658);
心臓の状態を分類するステップ(659)。
次に図7Aおよび図7Bを参照し、図7Aは、本発明のいくつかの実施形態による、音声セグメントを削除するように分類された音声サンプルの例を示しており、図7Bでは、残っているセグメントが連結されている。
次に図8Aおよび図8Bを参照し、これらの図は、平滑化された音声サンプルから抽出されるピッチデータの例を示しており、図8A,8Bは、声の「自然な」変動の平滑化を示している。赤色の線は、時間の経過に伴う音声特徴(この場合には時間の経過に伴うピッチ)を示しており、青色の線は、補正関数を示している。
次に図9Aおよび図9Bを参照し、これらの図は、本発明のいくつかの実施形態による、フィルタリングおよび平滑化された後に音声サンプルから抽出されるピッチデータの例を示しており、図9Aは、本発明のいくつかの実施形態による、連結された有声セグメントの例を示しており、図9Bは、図9Aにおける連結された音声セグメントのピッチ抽出の例を示している。点線部分は、「自然な」変化が顕著であり心臓に起因する変化を隠しうる理由で分析から除外される個別のセグメントの間の「融合」部分である。
いくつかの実施形態においては、「健康な」音声特徴(および/またはその統計的操作および/または数学的演算)の分布は、健康な発話者の訓練セットから計算される(すなわち発話者に依存しないモデル)。これに代えて、またはこれに加えて、「健康な」音声特徴の分布(および/またはその統計的操作および/または数学的演算)は、既知の健康な(例えば十分に周期的な)状態時に検査されたその発話者から計算される(すなわち発話者に依存するモデル)。
いくつかの実施形態においては、いくつかの計算で、分析される被検者の心拍数が使用される。以下は、本発明のいくつかの実施形態による、被検者の音声サンプルから心臓の鼓動の周波数を抽出する例である。
V(t,1): 時刻tにおけるピッチ値とすることができる
V(t,2): 時刻tにおけるピッチの導関数とすることができる
V(t,3): 時刻tにおけるMFCC係数とすることができる。
次に図11Aを参照し、図11Aは、本発明のいくつかの実施形態による、パルスの間隔を計算するための一般的な流れ図を示している。
次に図11Bを参照し、図11Bは、本発明のいくつかの実施形態による、パルス間隔の抽出の詳細を例示する流れ図を示している。
次に図11Cを参照し、図11Cは、時間軸上のRパルスの位置の識別を例示する流れ図を示している。
(1)極小の形状(「深い」または「平坦」)
(2)RR間隔の妥当性。いくつかの実施形態においては、オプションとしてRR間隔は、BPM値を推定するのに常識の範囲内で適切である場合にのみ使用される(本発明を制限することのない一例として、45BPMよりも大きく、かつ250BPMよりも小さい、など)。
(3)最も可能性の高いいくつかのRR間隔を選択する。いくつかの実施形態においては、オプションとしてRR間隔の長さが計算され、オプションとしてRR間隔の長さの分布が計算される。オプションとして、平均のRR間隔の長さの前後の特定のしきい値の範囲内に(平均の約±5%、±10%、±20%、±33%、±50%などの範囲内に)入るRR間隔が選択される。オプションとして、平均心拍数の前後の心拍数に対応するRR間隔長さの特定の範囲内に(平均の約±5%、±10%、±20%、±33%、±50%などの範囲内に)入るRR間隔が選択される。いくつかの実施形態においては、このような分析は、オプションとして、発話のセグメント(オプションとして会話全体)を分析した後、可能性のあるRR間隔のリストを取得した後に、行われる。
いくつかの実施形態においては、シーケンスの分析が行われ、最も可能性が高いパターンを探す。規則的な心拍数の場合、同程度のRR間隔が見つかる。不規則な心拍数の場合、同程度のRR間隔が見つからない、またはわずかに見つかる。
(4)「心拍」に関連しない自然な発話の変化の確率を推定するために、別の基準を使用する。
次に図12Aを参照し、図12Aは、本発明のいくつかの実施形態による、一定の母音におけるMFCCタイプの音声特徴の場合のフレーム間距離の例を提示しており、上のグラフは、(各フレームにおいて計算されたMFCC音響特徴の)フレーム間距離のパターンを示しており、下のグラフは、基準としての心電図グラフを示している。図12Aに示した矢印は、2つのフレーム、すなわちフレーム(t)およびフレーム(i)を示している。所与のフレーム{t}に対して、フレーム{i}までのフレーム間距離は周期的な性質を有し、極小がRR間隔毎に現れる可能性が高く、すなわちD(t,i)は、極小の間の時間距離がRR間隔に等しい位置に極小を有する。上のグラフから下のグラフまでの矢印は、フレーム間距離の極小(上のグラフ)が、周期的にRR間隔に類似する位置に現れる(下のグラフ)ことを示している。
いくつかの実施形態においては、発話の変動の測度としてコヒーレンス値を使用して、オプションとして上の方法が使用される。
次に図13を参照し、図13は、本発明のいくつかの実施形態による、連続するパルスの発生を増やすときの、心臓の状態の判定の特異度に対する感度の変化の例を提示している。
次に図14Aを参照し、図14Aは、本発明のいくつかの実施形態による、心臓の状態を判定するために使用される、心拍数の周期性を求めるプロセスを示した流れ図を提示している。心拍数が周期的であると想定すると、血管の大きさおよび/または容積の変化は半周期的(または正常な洞性心拍数の場合には周期的)であると推測される。したがって心臓活動のタイミングは、フレーム間距離のパターンの周期的な変化を見つけることによって検出される可能性がある。
次に図14Bを参照し、図14Bは、本発明のいくつかの実施形態による、心臓活動のタイミングを、音声サンプルへの心臓活動の影響のタイミングに基づいて判定するための流れ図を提示している。
声門パルス分析は、潜在的に他の発話器官(例えば、口、舌、唇、および/または口腔/鼻腔)の影響なしに声門組織(glottal cord)の動きに起因するパルスを計算するための手法である。
閉じた声門に対応する、線1453上の第1の位置1454;
開きつつある声門に対応する、線1453上の第2の位置1455;
開いている声門に対応する、線1453上の第3の位置1456;
閉じつつある声門に対応する、線1453上の第4の位置1457。この位置における声門は、位置1454の前に閉じつつある声門について線1453が示しているより速い速度で閉じつつある;
閉じた声門に対応する、線1453上の第5の位置1458。
声門パルスの立ち上がり時間(10%から90%までの増大時間);
声門パルスの立ち下がり時間(90%から10%までの減少時間);
声門の開期間/閉期間;
周期(声門パルス信号のピーク間の距離);
声門パルス信号のピークの高さおよび/または幅;
声門パルス信号のいくつかの期間のスペクトル。
次に図15A~図15Dを参照し、これらの図は、本発明のいくつかの実施形態による、音声特徴のスペクトル特性を使用しての心拍数の病態の確率の決定を提示しており、図15Aおよび図15Cは、健康なパターン(振幅が大きく幅が小さいピークを特徴とする)を示しており、図15Bおよび図15Dは心房細動のパターン(振幅が小さく幅が広いピークを特徴とする)を示している。赤い円は、心拍数のスペクトルピーク(これは前に説明した方法において計算される)を示している。
いくつかの実施形態においては、例えば図3のブロック362,364および図4Aのブロック460~466に示したように計算される、心拍における不規則性の確率は、(i)音声特徴の分布、(ii)音声特徴の周期性、(iii)パルス間隔データ、の少なくとも1つに基づく。
次に図16を参照し、図16は、本発明のいくつかの実施形態による、本明細書に記載されているシステムおよび方法によって提供される可能な治療およびモニタリングの時系列を示している。
本明細書で使用する「約」は、±25%を指す。
次に以下の実施例を参照し、これらの実施例は、上の説明と併せて、本発明を制限することなく本発明のいくつかの実施形態を説明する。
次に図17を参照し、図17は、本発明のいくつかの実施形態による、音声サンプルからの心拍数の抽出の実施例を示している。心臓の鼓動と相互に関連する音声特徴は、心臓の鼓動の周波数においてピーク値を有すると推測される。例えば、図17は、74BPMを有する被検者の、/ah/音の発話サンプルの分析を例示している。分析用に選択される音声特徴はdMFCC(MFCCベクトルの一次導関数の絶対値)であり、高エネルギー(ピーク)が0.84Hzにあり、これは74bpmである。
ここで、上記の記載と共に本発明を限定することなく説明する以下の実施例を参照する。
次に、本発明のいくつかの実施形態と比較して、低頻度で(一週間に1回など)使用される単一時点心電図(ECG)装置(または発作時記録計(event recorder))が心房細動の発症を捕捉するのにかかる時間長を推測する。下の表は、心房細動の異なる負荷および検査頻度のシナリオにおいてシミュレーションを実行したときの計算の結果をまとめている。
Claims (25)
- 被検者の音声サンプルを分析して病的な心臓の状態を判定するための命令を実行する回路であって、前記命令が、
前記音声サンプルを受け取るステップと、
前記音声サンプルから少なくとも1種類の音声特徴を抽出するステップと、
前記少なくとも1種類の音声特徴に対する心臓の状態の影響を検出するステップと、
前記影響に基づいて前記病的な心臓の状態を判定するステップと、を含み、
前記命令が、
前記音声サンプルを分類して有声セグメントを識別するステップと、
少なくともいくつかのセグメントが削除され、かつ残っているセグメントの端部が滑らかにされるように、前記有声セグメントを連結するステップと、
をさらに含む、回路。 - 前記音声サンプルが、所定外の発話である、請求項1に記載の回路。
- 前記音声サンプルが、不連続な発話である、請求項1または2に記載の回路。
- 前記命令が、
被験者の発話者を識別するステップと、
被験者の発話者の音声セグメントを前記音声サンプルの別の内容から分離するステップと、
をさらに含む、請求項1-3のいずれか一項に記載の回路。 - 前記命令が、前記音声サンプルから削除されたセグメントに対する、前記音声特徴に影響を及ぼす前記心臓の状態の前記影響に関連するデータ、を外挿するステップ、をさらに含む、請求項1に記載の回路。
- 前記音声サンプルが、携帯電話、情報端末、およびカーマルチメディアシステム、の少なくとも1つから受け取られる、請求項1-5のいずれか一項に記載の回路。
- 前記少なくとも1種類の音声特徴に対する心臓の状態の影響を検出する前記ステップが、
血流、
心室拍動、および
心房拍動、
からなる群から選択される、音声に影響を及ぼす少なくとも1つの原因、によってもたらされる心臓の状態の影響、を検出するステップ、を含む、
請求項1-6のいずれか一項に記載の回路。 - 影響を検出する前記ステップが、
音声に影響を及ぼす前記原因のタイミング、
音声に影響を及ぼす前記原因の周期性、および
音声に影響を及ぼす前記原因の大きさまたは大きさの変化、
のうちの少なくとも1つの影響を識別するステップ、を含む、請求項7に記載の回路。 - 前記検出される影響が、異なる音声セグメントにおいて識別される心拍のタイミングを含む、請求項1-8のいずれか一項に記載の回路。
- 前記病的な心臓の状態を判定する前記ステップが、
心拍の連続する発生の間の時間間隔を計算するステップと、
前記時間間隔を、基準の心臓状態から得られる基準時間間隔と照合するステップと、
前記照合で一致する確率を求めるステップと、
前記確率をしきい値と比較して前記病的な心臓の状態を判定するステップと、
を含む、請求項9に記載の回路。 - 影響を検出する前記ステップが、前記少なくとも1種類の音声特徴の複数の値の分布を計算するステップ、を含み、
前記心臓の状態の影響が、前記分布の形状を含む、
請求項1-10のいずれか一項に記載の回路。 - 前記検出される影響が、心拍の周期性への影響を含み、
前記命令が、前記被検者の平均心拍数を推定するステップ、をさらに含み、
前記病的な心臓の状態を判定する前記ステップが、前記平均心拍数の値の前後の所定の範囲における前記周期性を特徴付けるステップ、を含み、
前記特徴付けるステップが、前記所定の範囲におけるピークの帯域幅を計算するステップ、を含み、
前記病的な心臓の状態を判定する前記ステップが、前記帯域幅をしきい値と比較するステップ、を含む、
請求項1-11のいずれか一項に記載の回路。 - 前記命令が、前記病的な心臓の状態の前記判定を確認するステップ、をさらに含む、請求項1-12のいずれか一項に記載の回路。
- 前記確認するステップが、
所定の発声を含む第2の音声サンプルを取得するステップ、
前記被検者に対する心電図検査、および
前記被検者に対する光電式容積脈波記録法検査、
のうちの少なくとも1つを含む、請求項13に記載の回路。 - 前記病的な心臓の状態が、心房細動を含む、請求項1-14のいずれか一項に記載の回路。
- 前記音声特徴を抽出する前記ステップが、前記音声サンプルの第1のセグメントと、前記音声サンプルの第2のセグメントとの間のクロスコヒーレンスを実行するステップ、を含む、請求項1-15のいずれか一項に記載の回路。
- 前記音声特徴を抽出する前記ステップが、
ウェーブレット解析、
メル周波数ケプストラム係数(MFCC)分析、
声門パルス分析、および
線形予測符号化(LPC)分析、
からなる群から選択される、発話信号の分析、を実行するステップ、を含む、
請求項1-16のいずれか一項に記載の回路。 - 被検者の音声サンプルを分析して病的な心臓の状態を判定するための装置を動作させるためのプログラムであって、
前記音声サンプルを受け取るステップと、
前記音声サンプルから複数種類の音声特徴を抽出するステップと、
前記複数種類の音声特徴に対する血流の影響を検出するステップであって、前記影響が、前記血流のタイミング、前記血流の周期性、および、前記血流の大きさまたは大きさの変化、のうちの少なくとも1つである、ステップと、
前記影響に基づいて前記病的な心臓の状態を判定するステップと、
を有する命令を含み、
前記判定される心臓の状態が、
異常な心拍数、
心室頻拍、
異所性拍動、および
心室性期外収縮、
からなる群から選択される状態を含む、プログラム。 - 被検者の音声サンプルを分析して病的な心臓の状態を判定するための命令を実行する回路であって、前記命令が、
前記音声サンプルを受け取るステップと、
前記音声サンプルから少なくとも1種類の音声特徴を抽出するステップと、
前記少なくとも1種類の音声特徴に対する心臓の状態の影響を検出するステップと、
前記影響に基づいて前記病的な心臓の状態を判定するステップと、を含み、
前記少なくとも1種類の音声特徴に対する心臓の状態の影響を検出する前記ステップが、
血流、
心室拍動、および
心房拍動、
からなる群から選択される、音声に影響を及ぼす少なくとも1つの原因、によってもたらされる心臓の状態の影響、を検出するステップ、
をさらに含む、回路。 - 影響を検出する前記ステップが、
音声に影響を及ぼす前記原因のタイミング、
音声に影響を及ぼす前記原因の周期性、および
音声に影響を及ぼす前記原因の大きさまたは大きさの変化、
のうちの少なくとも1つの影響を識別するステップ、を含む、請求項19に記載の回路。 - 前記命令が、前記病的な心臓の状態の前記判定を確認するステップ、をさらに含み、
前記確認するステップが、
所定の発声を含む第2の音声サンプルを取得するステップ、
前記被検者に対する心電図検査、および
前記被検者に対する光電式容積脈波記録法検査、
のうちの少なくとも1つを含む、請求項19または20に記載の回路。 - 前記病的な心臓の状態が、心房細動を含む、請求項19-21のいずれか一項に記載の回路。
- 被検者の音声サンプルを分析して病的な心臓の状態を判定するための命令を実行する回路であって、前記命令が、
前記音声サンプルを受け取るステップと、
前記音声サンプルから少なくとも1種類の音声特徴を抽出するステップと、
前記少なくとも1種類の音声特徴に対する心臓の状態の影響を検出するステップと、
前記影響に基づいて前記病的な心臓の状態を判定するステップと、を含み、
前記検出される影響が、異なる音声セグメントにおいて識別される心拍のタイミングを含む、回路。 - 前記病的な心臓の状態を判定する前記ステップが、
心拍の連続する発生の間の時間間隔を計算するステップと、
前記時間間隔を、基準の心臓状態から得られる基準時間間隔と照合するステップと、
前記照合で一致する確率を求めるステップと、
前記確率をしきい値と比較して前記病的な心臓の状態を判定するステップと、
を含む、請求項23に記載の回路。 - 被検者の音声サンプルを分析して病的な心臓の状態を判定するための命令を実行する回路であって、前記命令が、
前記音声サンプルを受け取るステップと、
前記音声サンプルから少なくとも1種類の音声特徴を抽出するステップと、
前記少なくとも1種類の音声特徴に対する心臓の状態の影響を検出するステップと、
前記影響に基づいて前記病的な心臓の状態を判定するステップと、を含み、
影響を検出する前記ステップが、前記少なくとも1種類の音声特徴の複数の値の分布を計算するステップ、を含み、
前記心臓の状態の影響が、前記分布の形状を含む、回路。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762457914P | 2017-02-12 | 2017-02-12 | |
US62/457,914 | 2017-02-12 | ||
PCT/IL2018/050162 WO2018146690A1 (en) | 2017-02-12 | 2018-02-12 | Verbal periodic screening for heart disease |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020507437A JP2020507437A (ja) | 2020-03-12 |
JP2020507437A5 JP2020507437A5 (ja) | 2021-03-25 |
JP7353592B2 true JP7353592B2 (ja) | 2023-10-02 |
Family
ID=63107935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019565085A Active JP7353592B2 (ja) | 2017-02-12 | 2018-02-12 | 心疾患を対象とする言葉による定期的なスクリーニング |
Country Status (7)
Country | Link |
---|---|
US (2) | US11398243B2 (ja) |
EP (1) | EP3580754A4 (ja) |
JP (1) | JP7353592B2 (ja) |
KR (1) | KR20190113968A (ja) |
CN (1) | CN110494916A (ja) |
IL (1) | IL268664B2 (ja) |
WO (1) | WO2018146690A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018146690A1 (en) | 2017-02-12 | 2018-08-16 | Cardiokol Ltd. | Verbal periodic screening for heart disease |
CN108806720B (zh) * | 2017-05-05 | 2019-12-06 | 京东方科技集团股份有限公司 | 话筒、数据处理器、监测***及监测方法 |
US11944495B2 (en) | 2017-05-31 | 2024-04-02 | Foundry Innovation & Research 1, Ltd. | Implantable ultrasonic vascular sensor |
US10643639B2 (en) * | 2017-06-21 | 2020-05-05 | Ajit Arun Zadgaonkar | System and method for determining cardiac parameters and physiological conditions by analysing speech samples |
GB201719734D0 (en) * | 2017-10-30 | 2018-01-10 | Cirrus Logic Int Semiconductor Ltd | Speaker identification |
WO2020044332A1 (en) * | 2018-08-26 | 2020-03-05 | Beyond Verbal Communication Ltd | System and method for measurement of vocal biomarkers of vitality and biological aging |
EP3618061B1 (en) * | 2018-08-30 | 2022-04-27 | Tata Consultancy Services Limited | Method and system for improving recognition of disordered speech |
US11380351B2 (en) * | 2018-09-20 | 2022-07-05 | Samsung Electronics Co., Ltd. | System and method for pulmonary condition monitoring and analysis |
US11311201B2 (en) | 2018-11-02 | 2022-04-26 | Samsung Electronics Co., Ltd. | Feature selection for cardiac arrhythmia classification and screening |
EP3976074A4 (en) * | 2019-05-30 | 2023-01-25 | Insurance Services Office, Inc. | SYSTEMS AND METHODS FOR MACHINE LEARNING OF LANGUAGE FEATURES |
US11721358B2 (en) | 2019-06-17 | 2023-08-08 | Stichting Imec Nederland | System and method for calculating cardiovascular heartbeat information from an electronic audio signal |
CN114025675A (zh) * | 2019-06-20 | 2022-02-08 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
US11545132B2 (en) * | 2019-08-28 | 2023-01-03 | International Business Machines Corporation | Speech characterization using a synthesized reference audio signal |
CN110974190A (zh) * | 2019-11-27 | 2020-04-10 | 南京信息工程大学 | 基于微多普勒特征的心动状况无源感知方法 |
CN113040778B (zh) * | 2019-12-26 | 2022-07-29 | 华为技术有限公司 | 诊断报告生成方法、装置、终端设备及可读存储介质 |
US20230309839A1 (en) * | 2020-03-09 | 2023-10-05 | Cardiokol Ltd | Systems and methods for estimating cardiac arrythmia |
US11557288B2 (en) * | 2020-04-10 | 2023-01-17 | International Business Machines Corporation | Hindrance speech portion detection using time stamps |
US20220115126A1 (en) * | 2020-10-08 | 2022-04-14 | Mastercard International Incorporated | System and method for implementing a virtual caregiver |
WO2023281515A1 (en) * | 2021-07-07 | 2023-01-12 | Cardiokol Ltd | Device and system for detecting sounds from a subject's body |
CN113488070B (zh) * | 2021-09-08 | 2021-11-16 | 中国科学院自动化研究所 | 篡改音频的检测方法、装置、电子设备及存储介质 |
US20230248321A1 (en) * | 2022-02-10 | 2023-08-10 | Gn Hearing A/S | Hearing system with cardiac arrest detection |
WO2023170632A1 (en) * | 2022-03-09 | 2023-09-14 | Foundry Innovation & Research 1, Ltd. | Heart failure diagnostic tools and methods using signal trace analysis |
WO2023233667A1 (ja) * | 2022-06-03 | 2023-12-07 | Pst株式会社 | 情報処理装置、情報処理方法、情報処理システム、及び情報処理プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000287943A (ja) | 1999-04-02 | 2000-10-17 | Akira Akimoto | 生体の活動状態検知装置 |
JP2009301125A (ja) | 2008-06-10 | 2009-12-24 | Hitachi Ltd | 会議音声録音システム |
JP2016043041A (ja) | 2014-08-22 | 2016-04-04 | セイコーエプソン株式会社 | 生体情報検出装置及び生体情報検出方法 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4156423A (en) * | 1977-11-14 | 1979-05-29 | Ernest H. Friedman | Coronary atherosclerosis diagnostic method |
US4377158A (en) | 1979-05-02 | 1983-03-22 | Ernest H. Friedman | Method and monitor for voice fluency |
JPH0566774A (ja) * | 1991-09-06 | 1993-03-19 | Casio Comput Co Ltd | 音声データ生成装置および音声合成装置 |
JPH05329118A (ja) * | 1992-05-31 | 1993-12-14 | Shimadzu Corp | 生体データ収集装置 |
AU5205493A (en) * | 1992-12-01 | 1994-06-16 | Siemens Aktiengesellschaft | Cardiac event detection in implantable medical devices |
JP3319140B2 (ja) * | 1994-04-19 | 2002-08-26 | いすゞ自動車株式会社 | 心拍変動波形解析方法及び装置 |
JP3093113B2 (ja) | 1994-09-21 | 2000-10-03 | 日本アイ・ビー・エム株式会社 | 音声合成方法及びシステム |
US7917366B1 (en) | 2000-03-24 | 2011-03-29 | Exaudios Technologies | System and method for determining a personal SHG profile by voice analysis |
DE10022586A1 (de) * | 2000-05-09 | 2001-11-22 | Siemens Ag | Verfahren zum Erzeugen einer Sprachdatenbank für einen Zielwortschatz zum Trainieren eines Spracherkennungssystems |
SE0004221L (sv) * | 2000-11-17 | 2002-04-02 | Forskarpatent I Syd Ab | Metod och anordning för talanalys |
US20030149423A1 (en) * | 2002-02-04 | 2003-08-07 | Fischell Robert E. | Methods for the detection and treatment of cardiac events |
EP1829025A1 (en) | 2004-11-30 | 2007-09-05 | Oded Sarel | Method and system of indicating a condition of an individual |
US7398213B1 (en) | 2005-05-17 | 2008-07-08 | Exaudios Technologies | Method and system for diagnosing pathological phenomenon using a voice signal |
EP1969589A1 (en) | 2005-12-22 | 2008-09-17 | Exaudios Technologies Ltd. | System for indicating emotional attitudes through intonation analysis and methods thereof |
US7539532B2 (en) * | 2006-05-12 | 2009-05-26 | Bao Tran | Cuffless blood pressure monitoring appliance |
US8784311B2 (en) * | 2010-10-05 | 2014-07-22 | University Of Florida Research Foundation, Incorporated | Systems and methods of screening for medical states using speech and other vocal behaviors |
US9055861B2 (en) * | 2011-02-28 | 2015-06-16 | Samsung Electronics Co., Ltd. | Apparatus and method of diagnosing health by using voice |
US9070357B1 (en) * | 2011-05-11 | 2015-06-30 | Brian K. Buchheit | Using speech analysis to assess a speaker's physiological health |
ES2364401B2 (es) | 2011-06-27 | 2011-12-23 | Universidad Politécnica de Madrid | Método y sistema para la estimación de parámetros fisiológicos de la fonación. |
US8755871B2 (en) | 2011-11-30 | 2014-06-17 | Covidien Lp | Systems and methods for detecting arrhythmia from a physiological signal |
KR20150139817A (ko) | 2012-09-05 | 2015-12-14 | 카운팅앱 메디컬 엘티디. | 폐용량 및 스태미너 측정 시스템 및 방법 |
WO2014037937A2 (en) | 2012-09-06 | 2014-03-13 | Beyond Verbal Communication Ltd | System and method for selection of data according to measurement of physiological parameters |
WO2014163584A1 (en) * | 2013-04-04 | 2014-10-09 | Healthstats International Pte Ltd | Method and system for detecting heartbeat irregularities |
US9536540B2 (en) * | 2013-07-19 | 2017-01-03 | Knowles Electronics, Llc | Speech signal separation and synthesis based on auditory scene analysis and speech modeling |
WO2015019345A1 (en) | 2013-08-06 | 2015-02-12 | Beyond Verbal Communication Ltd | Emotional survey according to voice categorization |
WO2016035070A2 (en) | 2014-09-01 | 2016-03-10 | Beyond Verbal Communication Ltd | Social networking and matching communication platform and methods thereof |
US11638550B2 (en) * | 2015-07-07 | 2023-05-02 | Stryker Corporation | Systems and methods for stroke detection |
US10127929B2 (en) * | 2015-08-19 | 2018-11-13 | Massachusetts Institute Of Technology | Assessing disorders through speech and a computational model |
CN105147252A (zh) * | 2015-08-24 | 2015-12-16 | 四川长虹电器股份有限公司 | 心脏疾病识别及评估方法 |
JP6780182B2 (ja) * | 2015-10-08 | 2020-11-04 | コルディオ メディカル リミテッド | 音声分析による肺疾患の評価 |
EP3364859A4 (en) | 2015-10-20 | 2019-07-03 | Healthymize Ltd | SYSTEM AND METHOD FOR CONTROLLING AND DETERMINING A MEDICAL STATUS OF A USER |
US20180358021A1 (en) * | 2015-12-23 | 2018-12-13 | Intel Corporation | Biometric information for dialog system |
BR112019015801A2 (pt) * | 2017-02-03 | 2020-03-31 | Koninklijke Philips N.V. | Método para monitorar a atividade cardíaca de um indivíduo, sistema para monitorar a atividade cardíaca de um indivíduo, e dispositivo configurado para analisar a atividade cardíaca de um indivíduo |
WO2018146690A1 (en) | 2017-02-12 | 2018-08-16 | Cardiokol Ltd. | Verbal periodic screening for heart disease |
-
2018
- 2018-02-12 WO PCT/IL2018/050162 patent/WO2018146690A1/en unknown
- 2018-02-12 US US16/485,173 patent/US11398243B2/en active Active
- 2018-02-12 JP JP2019565085A patent/JP7353592B2/ja active Active
- 2018-02-12 EP EP18750913.8A patent/EP3580754A4/en active Pending
- 2018-02-12 KR KR1020197026858A patent/KR20190113968A/ko not_active Application Discontinuation
- 2018-02-12 CN CN201880024171.4A patent/CN110494916A/zh active Pending
-
2019
- 2019-08-12 IL IL268664A patent/IL268664B2/en unknown
-
2022
- 2022-07-20 US US17/868,832 patent/US20220375491A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000287943A (ja) | 1999-04-02 | 2000-10-17 | Akira Akimoto | 生体の活動状態検知装置 |
JP2009301125A (ja) | 2008-06-10 | 2009-12-24 | Hitachi Ltd | 会議音声録音システム |
JP2016043041A (ja) | 2014-08-22 | 2016-04-04 | セイコーエプソン株式会社 | 生体情報検出装置及び生体情報検出方法 |
Non-Patent Citations (5)
Title |
---|
KAUR, J., et al.,Extraction of Heart Rate Parameters Using Speech Analysis,International Journal of Science and Research,2014年10月,Vol.3, No.10,pp.1374-1376 |
MESLEH, A., et al.,Heart Rate Extraction from Vowel Speech Signals,JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY,2012年11月,Vol.27, No.6,pp.1243-1451 |
SCHULLER, B., et al.,AUTOMATIC RECOGNITION OF PHYSIOLOGICAL PARAMETERS IN THE HUMAN VOICE:HEART RATE AND SKIN CONDUCTANCE,2013 IEEE International Conference on Acoustics, Speech and Signal Processing,2013年05月26日,pp.7219-7223,<Date of Conference 26-31 May 2013>,<DOI: 10.1109/ICASSP.2013.6639064> |
SKOPIN, D., et al.,Heartbeat Feature Extraction from Vowel Speech Signal Using 2D Spectrum Representation,2009年,<URL: https://www.zuj.edu.jo/conferences/ICIT09/PaperList/Papers/Image%20and%20Signal%20Processing/450Demitry.pdf>,<Corpus ID:13442370> |
TSIARTAS, A., et al.,Prediction of Heart Rate Changes from Speech Features During Interaction with a Misbehaving Dialog System,Proc. Interspeech 2015,2015年,pp.3715-3719,<URL: https://www.isca-speech.org/archive/pdfs/interspeech_2015/tsiartas15_interspeech.pdf>,<doi: 10.21437/Interspeech.2015-737> |
Also Published As
Publication number | Publication date |
---|---|
US20220375491A1 (en) | 2022-11-24 |
WO2018146690A1 (en) | 2018-08-16 |
CN110494916A (zh) | 2019-11-22 |
JP2020507437A (ja) | 2020-03-12 |
US11398243B2 (en) | 2022-07-26 |
IL268664A (en) | 2019-10-31 |
KR20190113968A (ko) | 2019-10-08 |
IL268664B2 (en) | 2023-06-01 |
EP3580754A4 (en) | 2020-12-16 |
EP3580754A1 (en) | 2019-12-18 |
US20190362740A1 (en) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7353592B2 (ja) | 心疾患を対象とする言葉による定期的なスクリーニング | |
US10796805B2 (en) | Assessment of a pulmonary condition by speech analysis | |
Krishna et al. | Speech synthesis using EEG | |
US11344225B2 (en) | Determining apnea-hypopnia index AHI from speech | |
TWI665657B (zh) | 認知功能評估裝置、認知功能評估系統、認知功能評估方法及記錄媒體 | |
Kapoor et al. | Parkinson’s disease diagnosis using Mel-frequency cepstral coefficients and vector quantization | |
WO2011011413A2 (en) | Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data | |
US20150154980A1 (en) | Cepstral separation difference | |
JP2017148431A (ja) | 認知機能評価装置、認知機能評価方法、プログラム | |
Holi | Automatic detection of neurological disordered voices using mel cepstral coefficients and neural networks | |
Usman et al. | Heart rate detection and classification from speech spectral features using machine learning | |
Karan et al. | Detection of Parkinson disease using variational mode decomposition of speech signal | |
JP2024504097A (ja) | スピーチ分析に基づく自動化された生理学的および病理学的評価 | |
JP2023517175A (ja) | 音声録音と体内からの音の聴音を使用した医学的状態の診断 | |
US20230309839A1 (en) | Systems and methods for estimating cardiac arrythmia | |
Sanadi et al. | Acoustic analysis of speech based on power spectral density features in detecting suicidal risk among female patients | |
Krishna et al. | Voice Activity Detection in presence of background noise using EEG | |
JP7265293B2 (ja) | 音声を用いて、精神・神経系疾患を推定する装置 | |
US20220028416A1 (en) | Predicting glottal insufficiency using frequency analysis | |
Alharbi | SPECTRAL/CEPSTRAL ANALYSIS OF VOICE QUALITY IN PATIENTS WITH PARKINSON'S DISEASE | |
Izdebski et al. | Acoustic and high-speed digital imaging based analysis of pathological voice contributes to better understanding and differential diagnosis of neurological dysphonias and of mimicking phonatory disorders. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20191225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220506 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7353592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |