JP7486208B2 - 疾患予測装置、予測モデル生成装置および疾患予測用プログラム - Google Patents
疾患予測装置、予測モデル生成装置および疾患予測用プログラム Download PDFInfo
- Publication number
- JP7486208B2 JP7486208B2 JP2021561395A JP2021561395A JP7486208B2 JP 7486208 B2 JP7486208 B2 JP 7486208B2 JP 2021561395 A JP2021561395 A JP 2021561395A JP 2021561395 A JP2021561395 A JP 2021561395A JP 7486208 B2 JP7486208 B2 JP 7486208B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- disease
- unit
- calculation unit
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims description 142
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims description 142
- 239000011159 matrix material Substances 0.000 claims description 196
- 238000004364 calculation method Methods 0.000 claims description 106
- 238000000354 decomposition reaction Methods 0.000 claims description 45
- 238000010801 machine learning Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 10
- 238000010219 correlation analysis Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 208000020016 psychiatric disease Diseases 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 208000020401 Depressive disease Diseases 0.000 description 2
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 206010022437 insomnia Diseases 0.000 description 2
- 208000028173 post-traumatic stress disease Diseases 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 1
- 206010011971 Decreased interest Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 206010012374 Depressed mood Diseases 0.000 description 1
- 206010013952 Dysphonia Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 208000001431 Psychomotor Agitation Diseases 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000003001 depressive effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 210000004704 glottis Anatomy 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、疾患予測装置、予測モデル生成装置および疾患予測用プログラムに関し、特に、被験者が特定の疾患に罹っている可能性や重症度を予測する技術および、この予測に用いる予測モデルを生成する技術に関するものである。
うつ病は、抑うつ気分、意欲・興味・精神活動・食欲の低下、不安・緊張・焦燥感・疲労感の持続、不眠などを特徴とした精神障害であり、精神的ストレスや身体的ストレスが重なることなどによって引き起こされる。早めに治療を始めるほど回復が早いことが知られているので、早期診断および早期治療を心がけることが大切である。うつ病の診断基準については種々のものが提供されているが、機械学習を用いた診断法も提案されている（例えば、特許文献１参照）。
特許文献１に記載のシステムでは、患者から収集されたスピーチパターンから少なくとも１つのスピーチ特徴を算出し、算出したスピーチ特徴の少なくとも一部に基づいて、患者のうつ状態についてのスコアまたは評価を提供する統計モデルを学習し、この統計モデルを用いて患者の精神状態を判別する。この特許文献１には、機械学習に用いるスピーチ特徴の例として、韻律特徴、短いスピーチサンプル（例えば、２０ミリ秒長）から算出される低レベル特徴、および長いスピーチサンプル（例えば、発話レベル）から算出さるた高レベル一時的特徴が開示されている。
韻律特徴の具体例として、音声の休止期間、様々な抽出領域に渡るピッチおよびエネルギーの測定値、メル周波数ケプストラム係数（ＭＦＣＣｓ：Mel Frequency Cepstral Coefficients）、新規ケプストラム特徴（novel cepstral features）、一時的変動パラメータ（例えば、発声速度、期間内におけるプロミネンス、ピークの分布、ポーズの長さおよび周期、音節期間等）、スピーチ周期性、ピッチ変動、および音声／無音声比が開示されている。
また、低レベル特徴の具体例として、減衰振動ケプストラム係数（ＤＯＣＣ： Damped Oscillator Cepstral Coefficients）、正規化変調ケプストラム係数（ＮＭＣＣｓ： Normalized Modulation Cepstral Coefficients）、媒体期間スピーチ振幅（ＭＭｅＤｕＳＡ： Medium Duration Speech Amplitudes）特徴、ガンマトーンケプストラム係数（ＧＣＣｓ： Gammatone Cepstral Coefficients）、ディープＴＶ、音声表音的特徴（Acoustic Phonetic：例えば、フォルマント情報、平均ヒルベルト包絡線、サブ帯域における周期的および非周期的エネルギー等）が開示されている。
さらに、高レベル一時的特徴の具体例として、傾き特徴、Ｄｅｖ特徴、エネルギー等高線特徴（Ｅｎ?ｃｏｎ）、ピッチ関連特徴、強度関連特徴が開示されている。
特許文献１に記載のうつ病評価モデルには、一例として３つの分類子（ガウシアンバックエンド（ＧＢ：Gaussian Backend）、決定木（ＤＴ：Decision Trees）、ニューラルネットワーク（ＮＮ：Neural Network）が用いられる。ＧＢ分類子を用いる実施形態において、特定の数の特徴（例えば、最良の４つの特徴）が選択され、さらに、システムコンビネーションが患者のスピーチに対して実行される。このようなうつ病評価モデルを用いることにより、典型的な臨床評価よりも正確な予想を提供することが可能とされる。
上記特許文献１には、患者のスピーチパターンからいくつかのスピーチ特徴を算出し、これを機械学習済みのうつ病評価モデルに入力することにより、うつ病の可能性を予測できることが記載されている。しかしながら、算出したスピーチ特徴の少なくとも１つを用いることが記載されているのみである。機械学習による予測の精度を上げるためには、使用する特徴量の数を増やすことが１つの方法であるが、単に数を増やすだけでは予測精度の向上に限界がある。
予測精度を更に上げるために、例えば、算出した複数の特徴量を統合的に用いることが考えられる。上記特許文献１においても、正規化相互相関関数を用いることが記載されている（段落[００２８]参照）。しかしながら、相互相関は、２つの特徴量についての線形的な相関の分析には有効であるが、非線形な関係を捉えることはできない。うつ病に罹っている患者が話す声は、複数の特徴量が非線形的な関係性を有し、かつそれが非定常的に変化する可能性があるため、特徴量の相互相関を分析するだけでは予測精度を十分に向上させることができないという問題がある。
本発明は、このような問題を解決するために成されたものであり、被験者が特定の疾患に罹っている可能性や重症度の予測精度を向上させることができるようにすることを目的とする。
上記した課題を解決するために、本発明では、時系列に値が変化する一連の時系列データを所定時間単位ごとに分割して分析することにより、複数種類の音響的特徴量をそれぞれ所定時間単位ごとに時系列に算出する特徴量算出部と、所定時間単位ごとに時系列に算出された複数種類の音響的特徴量について、複数種類の音響的特徴量ごとに時間軸に沿って設定した所定時間長の移動窓に含まれる複数種類の音響的特徴量どうしの関係値を算出する処理を、移動窓を所定遅延量ずつ遅延させて行うことにより、複数の関係値の組み合わせから成る空間遅延行列を算出する行列算出部と、空間遅延行列に対して所定の演算を行うことにより、空間遅延行列に特有の行列特有データを算出する行列演算部と、行列特有データを学習済みの疾患予測モデルに入力することによって被験者の疾患レベルを予測する疾患予測部とを備え、複数種類の音響的特徴量どうしの関係値として、トレンド除去相互相関解析値または相互情報量の少なくとも一方を算出するようにしている。
上記のように構成した本発明によれば、時系列に値が変化する時系列データから所定時間単位ごとに算出された複数種類の特徴量をもとに、トレンド除去相互相関解析値または相互情報量から成る関係値を算出しているので、特徴量どうしの非線形的かつ非定常的な関係性を反映した関係値を得て、その関係値に基づいて被験者の疾患レベルを予測することができる。これにより、複数種類の特徴量の関係性が時間の経過と共に非線形的かつ非定常的に変化する被験者の時系列データを用いて、被験者の疾患レベル（特定の疾患に罹っている可能性や重症度など）をより高精度に予測することができる。
（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による予測モデル生成装置１０の機能構成例を示すブロック図である。第１の実施形態による予測モデル生成装置１０は、被験者が特定の疾患に罹っている可能性または罹患している場合の重症度を予測するための疾患予測モデルを生成するものである。疾患予測モデルの生成は、機械学習を用いて行う。第１の実施形態では一例として、うつ病に罹っている可能性または重症度を予測するための疾患予測モデルを生成するものとする。
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による予測モデル生成装置１０の機能構成例を示すブロック図である。第１の実施形態による予測モデル生成装置１０は、被験者が特定の疾患に罹っている可能性または罹患している場合の重症度を予測するための疾患予測モデルを生成するものである。疾患予測モデルの生成は、機械学習を用いて行う。第１の実施形態では一例として、うつ病に罹っている可能性または重症度を予測するための疾患予測モデルを生成するものとする。
図１に示すように、第１の実施形態による予測モデル生成装置１０は、機能構成として、学習用データ入力部１１、特徴量算出部１２、行列算出部１３、行列分解部１４（行列演算部に相当）および予測モデル生成部１５を備えている。これらの機能ブロック１１～１５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、各機能ブロック１１～１５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された疾患予測用プログラムが動作することによって実現される。
学習用データ入力部１１は、うつ病の疾患レベルが既知である複数人の対象者が他者との間で行った一連の会話音声のデータ（時系列に値が変化する時系列データの一例）を学習用データとして入力する。ここでいう「対象者」とは、うつ病に罹患している患者および罹患していない健常者であり、このような対象者が会話を行う「他者」とは、例えば医師である。
疾患レベルとは、対象者が罹患しているうつ病の重症度に対応する値であり、うつ病に関して一般的に重症度の尺度として用いられている「うつ病重症度評価尺度」に対応した値である。うつ病重症度評価尺度は、例えば、専門家面接によるハミルトンうつ病評価尺度（ＨＡＭ－Ｄ：Hamilton Depression Rating Scale）、１６項目の自己記入式の評価尺度で評価される簡易抑うつ症状尺度（ＱＩＤＳ－Ｊ：Quick Inventory of Depressive Symptomatology）、アメリカ精神医学会の診断基準ＤＳＭ－IV（The Diagnostic and Statistical Manual of Mental Disorders）などである。
うつ病に罹患している患者については、事前の医師による診断または自己診断によって、上述したうつ病重症度評価尺度に基づきうつ病の重症度が特定されており、当該重症度に応じた疾患レベルが正解ラベルとして会話音声のデータに付与されている。また、うつ病に罹患していない健常者については、最低値の疾患レベル（ゼロ値であってもよい）が正解ラベルとして会話音声のデータに付与されている。なお、会話音声のデータに正解ラベルが付与されているというのは、正解ラベルのデータが会話音声のデータと共に一体的に構成されているという意味では必ずしもなく、会話音声のデータと正解ラベルのデータとが別のデータとして存在し、互いが関連付けられているものであってもよい。
会話音声のデータは、対象者が医師との間で行った自由会話を録音した音声データのうち、対象者の発話音声のみを抽出した音声データある。対象者と医師との間の自由会話は、例えば、５～１０分程度の問診形式で行う。すなわち、医師が対象者に対して質問し、対象者がその質問に対して答えるといった形式の会話を繰り返し行う。そして、そのときの会話をマイクより入力して録音し、公知の話者認識技術を用い、一連の会話音声から対象者および医師の音響的特徴を抽出した上で、その音響的特徴の違いに基づいて対象者の発話部分の音声データを抽出する。
この場合において、医師の音声を事前に録音してその音響的特徴を記憶しておいて、対象者と医師との間で行われる一連の会話音声のうち、記憶した音響的特徴またはそれに近い特徴を有する音声部分を医師による発話音声として認識し、それ以外の音声部分を対象者による発話音声の音声データとして抽出するようにしてもよい。また、会話音声に基づいて話者認識を行う際に、雑音や反響音などのノイズを除去して話者音声のみを抽出するノイズ除去処理その他の前処理を行うようにしてもよい。
なお、対象者と医師との会話音声から対象者の音声データを抽出する方法はこれに限定されない。例えば、対象者と医師とが電話を通じて会話を行う場合や、ネットワークを通じて端末とサーバとが接続されてなる遠隔医療システムなどを通じて会話を行う場合などでは、対象者が使用する電話機または端末から入力される音声を録音することにより、対象者の音声データを簡単に取得することが可能である。
特徴量算出部１２は、学習用データ入力部１１により入力された会話音声のデータ（対象者の発話音声の音声データ）を分析することにより、複数種類の音響的特徴量をそれぞれ所定時間単位ごとに時系列に算出する。所定時間単位は、対象者の会話音声を短く分割した個々の時間単位をいい、例えば数十ミリ秒から数秒程度の時間が所定時間単位として用いられる。すなわち、特徴量算出部１２は、対象者の会話音声を所定時間単位ごとに区切って分析し、それぞれの所定時間単位から複数種類の音響的特徴量を算出することにより、複数種類の音響的特徴量に関する時系列情報を得る。
ここで算出する音響的特徴量は、上述した話者認識の際に抽出する音響的特徴とは異なるものであってよい。特徴量算出部１２は、例えば、対象者の声の強さ、基本周波数、ケプストラムピークプロミネンス（ＣＰＰ）、フォルマント周波数、メル周波数ケプストラム係数（ＭＦＣＣ）のうち少なくとも２つ以上を算出する。これらの音響的特徴量は、うつ病に罹っている患者に特有の特徴が現れる可能性があるものである。具体的には、以下の通りである。
・声の強さ：うつ病患者の場合は低くなる傾向がある。
・基本周波数：抑うつに罹患している患者の場合は、より低く、かつ一定時間内における最小周期区間の繰り返し回数がより少なくなる傾向がある。
・ＣＰＰ：声門における息切れの特性を表す特徴量であり、うつ病患者に生じることのある発声障害の重症度の測定値として使用されている。
・フォルマント周波数：音声スペクトルにおいて時間的に移動している複数のピークであり、周波数の低い順に第１フォルマント、第２フォルマント、・・・、第Ｎフォルマントという。フォルマント周波数は声道の形状と関係し、抑うつとフォルマント周波数の音量との間には相関があることが知られている。
・ＭＦＣＣ：声道特性を表す特徴量であり、重症度の異なるうつ病患者における筋肉制御の喪失の程度の間接的指標となり得るものである。
・基本周波数：抑うつに罹患している患者の場合は、より低く、かつ一定時間内における最小周期区間の繰り返し回数がより少なくなる傾向がある。
・ＣＰＰ：声門における息切れの特性を表す特徴量であり、うつ病患者に生じることのある発声障害の重症度の測定値として使用されている。
・フォルマント周波数：音声スペクトルにおいて時間的に移動している複数のピークであり、周波数の低い順に第１フォルマント、第２フォルマント、・・・、第Ｎフォルマントという。フォルマント周波数は声道の形状と関係し、抑うつとフォルマント周波数の音量との間には相関があることが知られている。
・ＭＦＣＣ：声道特性を表す特徴量であり、重症度の異なるうつ病患者における筋肉制御の喪失の程度の間接的指標となり得るものである。
行列算出部１３は、特徴量算出部１２により所定時間単位ごとに時系列に算出された複数種類の音響的特徴量について、所定時間長の移動窓に含まれる複数種類の音響的特徴量どうしの関係値を算出する処理を、移動窓を所定遅延量ずつ遅延させて行うことにより、複数の関係値の組み合わせから成る空間遅延行列を算出する。ここで、行列算出部１３は、複数種類の音響的特徴量どうしの関係値として、トレンド除去相互相関解析（ＤＣＣＡ：Detrended Cross-Correlation Analysis）による解析値（以下、ＤＣＣＡ係数という）または相互情報量の少なくとも一方を算出する。少なくとも一方とは、ＤＣＣＡ係数を個々の行列要素とする空間遅延行列を算出してもよいし、相互情報量を個々の行列要素とする空間遅延行列を算出してもよいし、その両方を算出してもよいという意味である。
トレンド除去相互相関解析は、フラクタル解析の一種であり、時系列データに含まれる線形関係のトレンドを差分操作によって除去した上で相互相関を解析する手法である。線形関係のトレンドを除去して分析することにより、複数の音響的特徴量どうしの非線形的かつ非定常的な関係性を分析することが可能である。すなわち、複数の音響的特徴量どうしの非線形的な関係性で、かつそれが時間の経過と共に変動し得る非定常的な関係性を、ＤＣＣＡ係数の時系列情報によって表すことが可能である。
相互情報量は、確率論および情報理論において、２つの確率変数の相互依存の尺度を表す量であり、２つの音響的特徴量が共有する情報量の尺度と言える。例えば、一方の音響的特徴量が特定された場合に、もう一方の音響的特徴量をどれだけの確度で推測できるようになるかを示すものであり、例えば２つの音響的特徴量が完全に独立したものである場合、相互情報量はゼロとなる。言い換えると、相互情報量は、２つの音響的特徴量がどの程度、線形的または非線形的な関係性を有しているかを表す指標であると言え、相互情報量の時系列情報によって、複数の音響的特徴量どうしの非線形的かつ非定常的な関係性を表すことが可能である。
以下に、図３および図４を用いて、行列算出部１３による空間遅延行列の算出内容を説明する。ここでは説明を簡単にするため、２つの音響的特徴量Ｘ，Ｙから空間遅延行列を算出する例について説明する。
いま、特徴量算出部１２により所定時間単位ごとに時系列に算出された第１の音響的特徴量Ｘと、所定時間単位ごとに時系列に算出された第２の音響的特徴量Ｙとを次の（式１）および（式２）のように表す。
Ｘ＝[ｘ１，ｘ２，・・・，ｘＴ] ・・・（式１）
Ｙ＝[ｙ１，ｙ２，・・・，ｙＴ] ・・・（式２）
ｘ１，ｘ２，・・・，ｘＴは、Ｔ個の所定時間単位ごとに算出された第１の音響的特徴量Ｘの時系列情報である。ｙ１，ｙ２，・・・，ｙＴは、Ｔ個の所定時間単位ごとに算出された第２の音響的特徴量Ｙの時系列情報である。
Ｘ＝[ｘ１，ｘ２，・・・，ｘＴ] ・・・（式１）
Ｙ＝[ｙ１，ｙ２，・・・，ｙＴ] ・・・（式２）
ｘ１，ｘ２，・・・，ｘＴは、Ｔ個の所定時間単位ごとに算出された第１の音響的特徴量Ｘの時系列情報である。ｙ１，ｙ２，・・・，ｙＴは、Ｔ個の所定時間単位ごとに算出された第２の音響的特徴量Ｙの時系列情報である。
図３（ａ）は、Ｔ＝８とした場合に、２つの音響的特徴量Ｘ，Ｙを時系列に並べて示したものであり、上から下の方向に時間が経過している。Ｔ＝８というのは、対象者の会話音声（一連の会話の中の１回の発話音声であってもよいし、全ての発話音声であってもよい）の全区間を８個に分割したことを意味する。行列算出部１３は、図３（ａ）のように配列される２つの音響的特徴量Ｘ，Ｙの時系列情報に対して、所定時間長の移動窓を所定遅延量ずつ遅延させて順次設定する。図３に示す例では、所定遅延量δは固定長の値であり、δ＝２に設定されている。また、所定時間長ｐは移動窓を設定するごとに変わる可変長の値であり、ｐ＝２，４，６，８（δ＝２の整数倍の値）である。
図４は、可変設定される複数の移動窓に含まれる２つの音響的特徴量Ｘ，Ｙどうしの関係値をそれぞれ算出して行列表現したものである。図４の例では、４×４の正方行列を空間遅延行列として算出している。すなわち、図３（ａ）の時系列情報に対して１６個の移動窓を設定して、それぞれの移動窓から２つの音響的特徴量Ｘ，Ｙどうしの関係値をそれぞれ算出した結果が、図４に示す空間遅延行列となる。上述したように、２つの音響的特徴量Ｘ，Ｙどうしの関係値は、ＤＣＣＡ係数または相互情報量の少なくとも一方であり、この関係値を求める演算をｆ（Ｘ，Ｙ）で表すものとする。
本実施形態では、空間遅延行列の１６個の要素（ｍ，ｎ）における関係値Ａmn（ｍ＝１，２，３，４、ｎ＝１，２，３，４）を、次の（式３）に示す演算によって算出するようにしている。
Ａmn＝ｆ(Ｘm，Ｙn) ・・・（式３）
Ｘm＝[ｘ1+(m-1)*δ，ｘ1+(m-1)*δ+1，ｘ1+(m-1)*δ+2，・・・，ｘ1+(m-1)*δ+(p-1)]
Ｙn＝[ｙ1+(n-1)*δ，ｙ1+(n-1)*δ+1，ｙ1+(n-1)*δ+2，・・・，ｙ1+(n-1)*δ+(p-1)]
（ｍ＝ｎ＝１のときｐ＝８、１＜ｍ，ｎ≦２のときｐ＝６、２＜ｍ，ｎ≦３のときｐ＝４、３＜ｍ，ｎ≦４のときｐ＝２）
Ａmn＝ｆ(Ｘm，Ｙn) ・・・（式３）
Ｘm＝[ｘ1+(m-1)*δ，ｘ1+(m-1)*δ+1，ｘ1+(m-1)*δ+2，・・・，ｘ1+(m-1)*δ+(p-1)]
Ｙn＝[ｙ1+(n-1)*δ，ｙ1+(n-1)*δ+1，ｙ1+(n-1)*δ+2，・・・，ｙ1+(n-1)*δ+(p-1)]
（ｍ＝ｎ＝１のときｐ＝８、１＜ｍ，ｎ≦２のときｐ＝６、２＜ｍ，ｎ≦３のときｐ＝４、３＜ｍ，ｎ≦４のときｐ＝２）
図３（ｂ）は、図４に示す空間遅延行列の要素（１，１）の位置における関係値Ａ11を（式３）に基づいて算出する際に設定される移動窓（太枠部分）を示している。すなわち、要素（１，１）の関係値Ａ11を算出する場合、（式３）においてｍ＝１，ｎ＝１，δ＝２，ｐ＝８として図３（ｂ）のような移動窓を設定し、この移動窓に含まれる以下の音響的特徴量Ｘ1，Ｙ1を用いて関係値Ａ11＝ｆ（Ｘ1，Ｙ1）を算出する。
Ｘ1＝[ｘ1，ｘ2，ｘ3，ｘ4，ｘ5，ｘ6，ｘ7，ｘ8]
Ｙ1＝[ｙ1，ｙ2，ｙ3，ｙ4，ｙ5，ｙ6，ｙ7，ｙ8]
Ｘ1＝[ｘ1，ｘ2，ｘ3，ｘ4，ｘ5，ｘ6，ｘ7，ｘ8]
Ｙ1＝[ｙ1，ｙ2，ｙ3，ｙ4，ｙ5，ｙ6，ｙ7，ｙ8]
図３（ｃ）は、図４に示す空間遅延行列の要素（１，２）の位置における関係値Ａ12を（式３）に基づいて算出する際に設定される移動窓（太枠部分）を示している。すなわち、要素（１，２）の関係値Ａ12を算出する場合、（式３）においてｍ＝１，ｎ＝２，δ＝２，ｐ＝６として図３（ｃ）のような移動窓を設定し、この移動窓に含まれる以下の音響的特徴量Ｘ1，Ｙ2を用いて関係値Ａ12＝ｆ（Ｘ1，Ｙ2）を算出する。
Ｘ1＝[ｘ1，ｘ2，ｘ3，ｘ4，ｘ5，ｘ6]
Ｙ2＝[ｙ3，ｙ4，ｙ5，ｙ6，ｙ7，ｙ8]
Ｘ1＝[ｘ1，ｘ2，ｘ3，ｘ4，ｘ5，ｘ6]
Ｙ2＝[ｙ3，ｙ4，ｙ5，ｙ6，ｙ7，ｙ8]
図３（ｄ）は、図４に示す空間遅延行列の要素（２，１）の位置における関係値Ａ21を（式３）に基づいて算出する際に設定される移動窓（太枠部分）を示している。すなわち、要素（２，１）の関係値Ａ21を算出する場合、（式３）においてｍ＝２，ｎ＝１，δ＝２，ｐ＝６として図３（ｄ）のような移動窓を設定し、この移動窓に含まれる以下の音響的特徴量Ｘ2，Ｙ1を用いて関係値Ａ21＝ｆ（Ｘ2，Ｙ1）を算出する。
Ｘ2＝[ｘ3，ｘ4，ｘ5，ｘ6，ｘ7，ｘ8]
Ｘ1＝[ｙ1，ｙ2，ｙ3，ｙ4，ｙ5，ｙ6]
Ｘ2＝[ｘ3，ｘ4，ｘ5，ｘ6，ｘ7，ｘ8]
Ｘ1＝[ｙ1，ｙ2，ｙ3，ｙ4，ｙ5，ｙ6]
図３（ｅ）は、図４に示す空間遅延行列の要素（４，４）の位置における関係値Ａ44を（式３）に基づいて算出する際に設定される移動窓（太枠部分）を示している。すなわち、要素（４，４）の関係値Ａ44を算出する場合、（式３）においてｍ＝４，ｎ＝４，δ＝２，ｐ＝２として図３（ｅ）のような移動窓を設定し、この移動窓に含まれる以下の音響的特徴量Ｘ4，Ｙ4を用いて関係値Ａ44＝ｆ（Ｘ4，Ｙ4）を算出する。
Ｘ4＝[ｘ7，ｘ8]
Ｙ4＝[ｙ7，ｙ8]
Ｘ4＝[ｘ7，ｘ8]
Ｙ4＝[ｙ7，ｙ8]
行列分解部１４は、行列算出部１３により算出された空間遅延行列に対して分解演算を行うことにより、空間遅延行列に特有の行列特有データとして、行列分解値を算出する。行列分解部１４は、分解演算の一例として固有値分解を行い、空間遅延行列に特有の固有値を算出する。なお、分解演算として、対角化、特異値分解、ジョルダン分解その他の演算を行うようにしてもよい。
以上のように特徴量算出部１２、行列算出部１３および行列分解部１４により算出される固有値は、対象者の会話音声から抽出される複数種類の音響的特徴量の時系列情報に関して、非線形的および非定常的な関係性を反映した固有のスカラ値であると言える。本実施形態では、学習用データ入力部１１により入力された複数人の会話音声のデータのそれぞれについて、特徴量算出部１２、行列算出部１３および行列分解部１４の処理を行うことによって複数人分の固有値を得る。そして、その固有値を予測モデル生成部１５に入力して機械学習処理を行うことにより、疾患予測モデルを生成する。
予測モデル生成部１５は、行列分解部１４により算出された複数人分の固有値および会話音声のデータに正解ラベルとして付与されている疾患レベルの情報を用いて、被験者に関する固有値が入力された際に被験者の疾患レベルを出力するための疾患予測モデルを生成する。ここでいう被験者とは、うつ病に罹患しているか否か、罹患している場合の重症度が未知の者である。疾患予測モデルは、例えばニューラルネットワーク（パーセプトロン、畳み込みニューラルネットワーク、再起型ニューラルネットワーク、残差ネットワーク、ＲＢＦネットワーク、確率的ニューラルネットワーク、スパイキングニューラルネットワーク、複素ニューラルネットワークなどの何れでもよい）を活用した機械学習に基づく予測モデルである。
すなわち、予測モデル生成部１５は、対象者の会話音声から算出された固有値と、それに対する疾患レベルの正解データとを含む複数人分のデータセットを学習用データとしてニューラルネットワークに与えて機械学習することにより、ある対象者の固有値が入力された際にそれに対応する正解としての疾患レベルが高い確率で出力されやすくなるように、ニューラルネットワークの各種パラメータを調整する。そして、予測モデル生成部１５は、生成した疾患予測モデルを予測モデル記憶部１００に記憶させる。
なお、ここではニューラルネットワークによる予測モデルを用いる例について説明したが、これに限定されるものではない。例えば、予測モデルの形態は、回帰モデル（ロジスティック回帰、サポートベクターマシーンなどをベースとする予測モデル）、木モデル（決定木、ランダムフォレスト、勾配ブースティング木などをベースとする予測モデル）、ベイズモデル（ベイズ推論などをベースとする予測モデル）、クラスタリングモデル（ｋ近傍法、階層型クラスタリング、非階層型クラスタリング、トピックモデルなどをベースとする予測モデル）などのうち何れかとすることも可能である。ここに挙げた予測モデルは一例に過ぎず、これに限定されるものではない。
図２は、第１の実施形態による疾患予測装置２０の機能構成例を示すブロック図である。第１の実施形態による疾患予測装置２０は、図１に示した予測モデル生成装置１０により生成された疾患予測モデルを用いて、被験者がうつ病に罹っている可能性または罹患している場合の重症度を予測するものである。
図２に示すように、第１の実施形態による疾患予測装置２０は、機能構成として、予測対象データ入力部２１、特徴量算出部２２、行列算出部２３、行列分解部２４および疾患予測部２５を備えている。これらの機能ブロック２１～２５は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、各機能ブロック２１～２５は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された疾患予測用プログラムが動作することによって実現される。
予測対象データ入力部２１は、うつ病に罹っている可能性または罹患している場合の重症度が未知の被験者が他者（医師）との間で行った一連の会話音声のデータを予測対象データとして入力する。予測対象データ入力部２１が入力する会話音声のデータは、学習用データ入力部１１が入力する会話音声のデータと同様であり、被験者の発話音声の音声データである。
特徴量算出部２２、行列算出部２３および行列分解部２４は、予測対象データ入力部２１により入力された会話音声のデータ（被験者の発話部分の音声データ）に対して、図１に示した特徴量算出部１２、行列算出部１３および行列分解部１４と同様の処理を実行する。これにより、特定の被験者の会話音声から抽出される複数種類の音響的特徴量の時系列情報に関して、非線形的および非定常的な関係性を反映した行列分解値（例えば、固有値）を算出する。
疾患予測部２５は、行列分解部２４により算出された固有値を、予測モデル記憶部１００に記憶されている学習済みの疾患予測モデルに入力することにより、被験者の疾患レベルを予測する。上述したように、予測モデル記憶部１００に記憶された疾患予測モデルは、固有値が入力された際に被験者の疾患レベルを出力するように、学習用データを用いた機械学習処理によって予測モデル生成装置１０により生成されている。
以上詳しく説明したように、第１の実施形態では、会話音声のデータから音響的特徴量を抽出して機械学習を行い、これにより生成される疾患予測モデルに基づいて被験者の疾患レベルを予測するに際して、複数種類の音響的特徴量どうしの関係値を用いた空間遅延行列を算出し、さらに空間遅延行列から行列分解値を算出してこれを疾患予測モデルの入力値として用いるようにしている。特に、第１の実施形態では、複数種類の音響的特徴量どうしの関係値として、ＤＣＣＡ係数または相互情報量の少なくとも一方に関する関係値を算出するようにしている。
このように構成した第１の実施形態によれば、時系列に値が変化する会話音声のデータから所定時間単位ごとに算出された複数種類の音響的特徴量の時系列情報をもとに、ＤＣＣＡ係数または相互情報量から成る関係値を算出しているので、非線形的かつ非定常的な関係性を反映した関係値を得て、その関係値に基づいて被験者の疾患レベルを予測することができる。これにより、複数種類の音響的特徴量の関係性が時間の経過と共に非線形的かつ非定常的に変化する被験者の会話音声のデータを用いて、被験者の疾患レベル（特定の疾患に罹っている可能性や重症度など）をより高精度に予測することができる。
なお、上記第１の実施形態では、図１に示す予測モデル生成装置１０と図２に示す疾患予測装置２０とを別装置として構成する例について説明したが、本発明はこれに限定されない。例えば、図１に示す機能ブロック１１～１４と図２に示す機能ブロック２１～２４とは基本的に同様の処理を行うものなので、これらを１つにまとめて、疾患予測モデルを生成する機能と疾患レベルを予測する機能とを備えた１つの装置として構成するようにしてもよい。これは、後に述べる第２の実施形態についても同様である。
また、上記第１の実施形態において、図１に示す機能ブロック１１～１５のうち一部を端末装置が備える一方、残りの一部をサーバ装置が備え、端末装置とサーバ装置とが協働して疾患予測モデルを生成するようにしてもよい。同様に、図２に示す機能ブロック２１～２５のうち一部を端末装置が備える一方、残りの一部をサーバ装置が備え、端末装置とサーバ装置とが協働して疾患レベルを予測するようにしてもよい。これは、後に述べる第２の実施形態についても同様である。
また、上記第１の実施形態では説明を簡単にするため、２つの音響的特徴量Ｘ，Ｙから１つの空間遅延行列を算出し、当該１つの空間遅延行列から行列分解値を算出する例について説明したが、３つ以上の音響的特徴量の組み合わせから２つ以上の空間遅延行列を算出し、当該２つ以上の空間遅延行列からそれぞれ行列分解値を算出するようにしてもよい。例えば、３つの音響的特徴量Ｘ，Ｙ，Ｚを用いる場合、音響的特徴量Ｘ，Ｙの組み合わせから第１の空間遅延行列を算出し、音響的特徴量Ｘ，Ｚの組み合わせから第２の空間遅延行列を算出し、音響的特徴量Ｙ，Ｚの組み合わせから第３の空間遅延行列を算出した上で、３つの空間遅延行列からそれぞれ行列分解値を算出するようにしてもよい。音響的特徴量の様々な組み合わせに基づいて固有値を算出することにより、疾患予測モデルの入力値として使用するパラメータの数を増やし、予測の精度を上げることが可能である。
（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。図５は、第２の実施形態による予測モデル生成装置１０’の機能構成例を示すブロック図である。第２の実施形態による予測モデル生成装置１０’も、被験者が特定の疾患に罹っている可能性または罹患している場合の重症度を予測するための疾患予測モデルを生成するものである。
次に、本発明の第２の実施形態を図面に基づいて説明する。図５は、第２の実施形態による予測モデル生成装置１０’の機能構成例を示すブロック図である。第２の実施形態による予測モデル生成装置１０’も、被験者が特定の疾患に罹っている可能性または罹患している場合の重症度を予測するための疾患予測モデルを生成するものである。
図５において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図５に示すように、第２の施形態による予測モデル生成装置１０’は、図１に示した行列算出部１３、行列分解部１４および予測モデル生成部１５に代えて、行列算出部１３’、テンソル生成部１６（行列演算部に相当）および予測モデル生成部１５’を備えている。
行列算出部１３’は、特徴量算出部１２により所定時間単位ごとに時系列に算出された複数種類の特徴量どうしの関係値（トレンド除去相互相関解析値または相互情報量）を算出する処理を、特徴量の組み合わせを変えてそれぞれ行うことにより、同じ行数および同じ列数から成る複数の空間遅延行列を算出する。
例えば、行列算出部１３’は、第１フォルマント周波数（Ｆ１）、第２フォルマント周波数（Ｆ２）、ケプストラムピークプロミネンス（ＣＰＰ）および強度（Ｉ）の４つの特徴量を用いて、Ｆ１とＦ２との関係値を示した空間遅延行列、Ｆ１とＣＰＰとの関係値を示した空間遅延行列、Ｆ１とＩとの関係値を示した空間遅延行列、Ｆ２とＣＰＰとの関係値を示した空間遅延行列、Ｆ２とＩとの関係値を示した空間遅延行列、ＣＰＰとＩとの関係値を示した空間遅延行列を算出する。これら６つの空間遅延行列は、同じ行数および同じ列数から成る同次元の空間遅延行列である。ここでは、４つの特徴量Ｆ１，Ｆ２，ＣＰＰ，Ｉから何れか２つを選んで得られる全ての組み合わせについて空間遅延行列を算出する例を示したが、一部の組み合わせについて空間遅延行列を算出するようにしてもよい。
別の例として、行列算出部１３’は、複数個のメル周波数ケプストラム係数（ＭＦＣＣ）から何れか２つを選んで得られる全てまたは一部の組み合わせについて、ＭＦＣＣどうしの関係値を示した複数の空間遅延行列を算出するようにしてもよい。この場合に生成される複数の空間遅延行列は、同じ行数および同じ列数から成る同次元の空間遅延行列である。４つの特徴量Ｆ１，Ｆ２，ＣＰＰ，Ｉから何れか２つを選んで得られる全てまたは一部の組み合わせと、複数個のＭＦＣＣから何れか２つを選んで得られる全てまたは一部の組み合わせとの両方について、複数の空間遅延行列を算出するようにしてもよい。
さらに、行列算出部１３’は、以上のようにして算出した複数の空間遅延行列（以下、オリジナルの空間遅延行列という）どうしの差分を演算することにより、１以上の差分系列の空間遅延行列を算出するようにしてもよい。例えば、複数のオリジナルの空間遅延行列をＭ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６で表記するとき、１以上の差分系列の空間遅延行列とは、Ｍ２－Ｍ１，Ｍ３－Ｍ２，Ｍ４－Ｍ３，Ｍ５－Ｍ４，Ｍ６－Ｍ５などの差分演算によって求められるものである。
ここで、行列算出部１３’は、複数のオリジナルの空間遅延行列どうしの差分を演算することによって複数の１次差分系列の空間遅延行列を算出するとともに、当該複数の１次差分系列の空間遅延行列どうしの差分を演算することによって１以上の２次差分系列の空間遅延行列を算出するようにしてもよい。以上に例示したＭ２－Ｍ１，Ｍ３－Ｍ２，Ｍ４－Ｍ３，Ｍ５－Ｍ４，Ｍ６－Ｍ５が複数の１次差分系列の空間遅延行列である。２次差分系列の空間遅延行列とは、例えば（Ｍ３－Ｍ２）－（Ｍ２－Ｍ１），（Ｍ４－Ｍ３）－（Ｍ３－Ｍ２），（Ｍ５－Ｍ４）－（Ｍ４－Ｍ３），（Ｍ６－Ｍ５）－（Ｍ５－Ｍ４）などの差分演算によって求められるものである。さらに、３次以上の差分系列の空間遅延行列を算出するようにしてもよい。
テンソル生成部１６は、行列算出部１３’により算出された複数の空間遅延行列を用いて、空間遅延行列に特有の行列特有データとして、複数種類の特徴量どうしの関係値（トレンド除去相互相関解析値または相互情報量）の３次元テンソルを生成する。行列算出部１３’が差分系列の空間遅延行列を算出している場合、テンソル生成部１６は、行列算出部１３’により算出された複数のオリジナルの空間遅延行列および１以上の差分系列の空間遅延行列を用いて３次元テンソルを生成する。
図７は、第２の実施形態のテンソル生成部１６により生成される３次元テンソル（ｉ，ｊ，ｋ）の一例を示す図である。図７に示す例では、テンソル生成部１６は、第１の３次元テンソル７１および第２の３次元テンソル７２を生成している。第１の３次元テンソル７１は、例えば、４つの特徴量Ｆ１，Ｆ２，ＣＰＰ，Ｉから算出される複数の空間遅延行列（オリジナルの空間遅延行列および差分系列の空間遅延行列）７１１，７１２，７１３，・・・をスタックすることによって生成される。何れの空間遅延行列もｎ行×ｍ列の行列である。第２の３次元テンソル７２は、例えば、複数のＭＦＣＣから算出される複数の空間遅延行列（オリジナルの空間遅延行列および差分系列の空間遅延行列）７２１，７２２，７２３，・・・をスタックすることによって生成される。何れの空間遅延行列もｎ行×ｍ列の行列である。なお、図７に示した３次元テンソルは一例であり、これに限定されるものではない。
予測モデル生成部１５’は、テンソル生成部１６により生成された関係値の３次元テンソルおよび会話音声のデータに正解ラベルとして付与されている疾患レベルの情報を用いて、被験者に関する関係値の３次元テンソルが入力された際に被験者の疾患レベルを出力するための疾患予測モデルを生成する。
すなわち、予測モデル生成部１５’は、対象者（特定の疾患に罹患している患者および罹患していない健常者）の会話音声から算出された関係値の３次元テンソルと、それに対する疾患レベルの正解データとを含む複数人分のデータセットを学習用データとしてニューラルネットワークに与えて機械学習することにより、ある対象者の３次元テンソルが入力された際にそれに対応する正解としての疾患レベルが高い確率で出力されやすくなるように、ニューラルネットワークの各種パラメータを調整する。そして、予測モデル生成部１５’は、生成した疾患予測モデルを予測モデル記憶部１００に記憶させる。
図６は、第２の実施形態による疾患予測装置２０’の機能構成例を示すブロック図である。第２の実施形態による疾患予測装置２０’は、図５に示した予測モデル生成装置１０’により生成された疾患予測モデルを用いて、被験者が特定の疾患に罹っている可能性または罹患している場合の重症度を予測するものである。この図６において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
図６に示すように、第２の実施形態による疾患予測装置２０’は、図２に示した行列算出部２３、行列分解部２４および疾患予測部２５に代えて、行列算出部２３’、テンソル生成部２６および疾患予測部２５’を備えている。
特徴量算出部２２、行列算出部２３’、テンソル生成部２６は、予測対象データ入力部２１により入力された会話音声のデータ（被験者の発話部分の音声データ）に対して、図５に示した特徴量算出部１２、行列算出部１３’およびテンソル生成部１６と同様の処理を実行する。これにより、特定の被験者の会話音声から抽出される複数種類の音響的特徴量の時系列情報に関して、非線形的および非定常的な関係性を反映した関係値を要素とする３次元テンソルを生成する。
疾患予測部２５’は、テンソル生成部２６により算出された関係値の３次元テンソルを、予測モデル記憶部１００に記憶されている学習済みの疾患予測モデルに入力することにより、被験者の疾患レベルを予測する。上述したように、予測モデル記憶部１００に記憶された疾患予測モデルは、３次元テンソルが入力された際に被験者の疾患レベルを出力するように、学習用データを用いた機械学習処理によって予測モデル生成装置１０’により生成されている。
以上詳しく説明したように、第２の実施形態では、特徴量どうしの非線形的および非定常的な関係性を反映した複数の関係値を要素とする空間遅延行列そのものを３次元テンソルという形態で疾患予測モデルに入力するようにしている。すなわち、空間遅延行列からスカラ値である固有値を算出して疾患予測モデルに入力する第１の実施形態と異なり、情報量を圧縮していない空間遅延行列を疾患予測モデルの入力として使用するようにしている。これにより、被験者が特定の疾患に罹っている可能性や重症度の予測精度をより向上させることができる。
なお、ここでは３次元テンソル（特許請求の範囲のＮ＝３のケース）を生成する例について説明したが、Ｎは１、２または４以上の値であってもよい。Ｎ＝２の場合、第１の実施形態と同様の処理によって生成される１つの空間遅延行列が２次元テンソルに相当する。Ｎ＝１の場合、１つの空間遅延行列において、ｍまたはｎの何れかの値が１である空間遅延行列が１次元テンソルに相当する。
上記第１および第２の実施形態では、対象者または被験者と医師との問診形式による自由会話を録音して会話音声のデータを得る例について説明したが、本発明はこれに限定されない。例えば、対象者または被験者が日常生活の中で行っている自由会話を録音し、その音声データを用いて上記実施形態で説明した処理を行うようにしてもよい。
また、上記第１および第２の実施形態では、うつ病の疾患レベルを予測する例について説明したが、本発明はこれに限定されない。例えば、睡眠困難、不安の精神的症状、不安の身体的症状、精神運動抑制、興味の減退など、被験者のうつ状態のさまざまな側面に関する個々の項目ごとに疾患レベルを予測するようにしてもよい。
また、上記第１および第２の実施形態において、被験者の疾患レベルの予測を定期的または非定期的に繰り返し行うことにより、うつ状態の改善または悪化の状況を捉えるようにしてもよい。
また、上記第１および第２の実施形態では、音響的特徴量として、声の強さ、基本周波数、ＣＰＰ、フォルマント周波数、ＭＦＣＣのうち少なくとも２つ以上を算出する例について説明したが、これらは一例であり、これ以外の音響的特徴量を算出するようにしてもよい。
また、上記第１および第２の実施形態では、所定遅延量をδ＝２の固定長とする例について説明したが、本発明はこれに限定されない。すなわち、所定遅延量を可変長として空間遅延行列を算出することにより、空間遅延行列から算出する固有値のバリエーションを更に増やすようにしてもよい。
また、上記第１および第２の実施形態では、会話音声のデータを分析することによって疾患レベルの予測を行う例について説明したが、時系列に値が変化するデータであれば、ＤＣＣＡ係数または相互情報量の少なくとも一方を用いた空間遅延行列を算出して行列分解値を求めることに関して有効である。
例えば、人の顔を撮影した動画データを分析し、人の顔に特有の複数種類の特徴量を抽出して、ＤＣＣＡ係数または相互情報量の少なくとも一方から成る関係値を個々の行列要素とする空間遅延行列を算出することが可能である。顔に関する特徴量として、例えば、所定時間単位での表情（無表情、喜び、驚き、怒り、悲しみ）の割合、強さ、平均持続時間、次の表情に移行する可能性などを用いることが可能である。また、顔に関する別の特徴量として、瞬目に関するもの、例えば左と右の瞬きのタイミング、時間差などを用いることも可能である。
また、時系列に値が変化するデータの別の例として、人の身体（例えば、頭、胸、肩、腕など）の動きを撮影した動画データを用いることも可能である。なお、人の身体の動きを捉えた時系列データは、動画データである必然性はない。例えば、加速度センサや赤外線センサなどにより検出される時系列データであってもよい。
また、会話音声の音声データから抽出した音響的特徴量、動画データから抽出した表情や瞬目に関する特徴量、動画データまたはセンサデータなどから抽出した体動に関する特徴量をマルチモーダルパラメータとして使用して、空間遅延行列の算出および行列分解値の算出を行い、得られた行列分解値を用いて疾患レベルの予測を行うようにしてもよい。
また、上記第１および第２の実施形態では、音響的特徴量どうしの関係値としてＤＣＣＡ係数または相互情報量の少なくとも一方を用いる例について説明したが、これしか用いてはいけないという趣旨ではなく、これ以外の関係値を併用するようにしてもよい。例えば、２つの事象どうしの線形的な関係性を捉えることに有効な相互相関の相関係数を更に算出し、これも加えて空間遅延行列を算出するようにすることも可能である。より具体的には、上述のようにマルチモーダルパラメータを使用する場合において、ＤＣＣＡ係数または相互情報量の少なくとも一方を用いて関係値を算出する特徴量と、相互相関の相関係数またはそれ以外の係数を用いて関係値を算出する特徴量とを使い分けるようにしてもよい。
また、上記第１および第２の実施形態では、疾患の一例としてうつ病の疾患レベルを予測する例について説明したが、予測可能な疾患はこれに限定されない。例えば、認知症、不眠症、注意欠陥・多動性障害（ＡＤＨＤ：Attention-deficit hyperactivity disorder）、統合失調症、心的外傷後ストレス障害（ＰＴＳＤ：Post Traumatic Stress Disorder）その他の神経・精神障害に関する疾患の予測を行うことも可能である。
その他、上記第１および第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
１０，１０’ 予測モデル生成装置
１１ 学習用データ入力部
１２ 特徴量算出部
１３，１３’ 行列算出部
１４ 行列分解部（行列演算部）
１５，１５’ 予測モデル生成部
１６ テンソル生成部（行列演算部）
２０，２０’ 疾患予測装置
２１ 予測対象データ入力部
２２ 特徴量算出部
２３，２３’ 行列算出部
２４ 行列分解部（行列演算部）
２５，２５’ 疾患予測部
２６ テンソル生成部（行列演算部）
１００ 予測モデル記憶部
１１ 学習用データ入力部
１２ 特徴量算出部
１３，１３’ 行列算出部
１４ 行列分解部（行列演算部）
１５，１５’ 予測モデル生成部
１６ テンソル生成部（行列演算部）
２０，２０’ 疾患予測装置
２１ 予測対象データ入力部
２２ 特徴量算出部
２３，２３’ 行列算出部
２４ 行列分解部（行列演算部）
２５，２５’ 疾患予測部
２６ テンソル生成部（行列演算部）
１００ 予測モデル記憶部
Claims (17)
- 時系列に値が変化する一連の時系列データを所定時間単位ごとに分割して分析することにより、複数種類の音響的特徴量をそれぞれ所定時間単位ごとに時系列に算出する特徴量算出部と、
上記特徴量算出部により所定時間単位ごとに時系列に算出された上記複数種類の音響的特徴量について、上記複数種類の音響的特徴量ごとに時間軸に沿って設定した所定時間長の移動窓に含まれる複数種類の音響的特徴量どうしの関係値として、トレンド除去相互相関解析値または相互情報量の少なくとも一方を算出する処理を、上記移動窓を所定遅延量ずつ遅延させて行うことにより、複数の関係値の組み合わせから成る空間遅延行列を算出する行列算出部と、
上記行列算出部により算出された上記空間遅延行列に対して所定の演算を行うことにより、上記空間遅延行列に特有の行列特有データを算出する行列演算部と、
上記行列演算部により算出された上記行列特有データを学習済みの疾患予測モデルに入力し、被験者の疾患レベルを予測する疾患予測部とを備え、
上記疾患予測モデルは、上記行列特有データが入力された際に上記被験者の疾患レベルを出力するように、学習用データを用いた機械学習処理により生成されている
ことを特徴とする疾患予測装置。 - 上記行列演算部は、上記行列算出部により算出された上記空間遅延行列に対して分解演算を行うことにより、上記空間遅延行列に特有の行列分解値を算出する行列分解部を含み、
上記疾患予測部は、上記行列分解部により算出された上記行列分解値を上記学習済みの疾患予測モデルに入力し、被験者の疾患レベルを予測する
ことを特徴とする請求項１に記載の疾患予測装置。 - 上記行列演算部は、上記行列算出部により算出された１以上の上記空間遅延行列を用いて、上記関係値のＮ次元テンソル（Ｎ≧１）を生成するテンソル生成部を含み、
上記疾患予測部は、上記テンソル生成部により生成された上記Ｎ次元テンソルを上記学習済みの疾患予測モデルに入力し、被験者の疾患レベルを予測する
ことを特徴とする請求項１に記載の疾患予測装置。 - 上記行列算出部は、上記関係値を算出する処理を上記音響的特徴量の組み合わせを変えてそれぞれ行うことにより、同じ行数および同じ列数から成る複数の空間遅延行列を算出し、
上記テンソル生成部は、上記行列算出部により算出された上記複数の空間遅延行列を用いて、上記関係値の３次元テンソルを生成し、
上記疾患予測部は、上記テンソル生成部により生成された上記３次元テンソルを上記学習済みの疾患予測モデルに入力し、被験者の疾患レベルを予測する
ことを特徴とする請求項３に記載の疾患予測装置。 - 上記行列算出部は、上記関係値を算出する処理を上記音響的特徴量の組み合わせを変えてそれぞれ行うことにより、同じ行数および同じ列数から成る複数のオリジナルの空間遅延行列を算出するとともに、当該複数のオリジナルの空間遅延行列どうしの差分を演算することによって１以上の差分系列の空間遅延行列を算出し、
上記テンソル生成部は、上記行列算出部により算出された上記複数のオリジナルの空間遅延行列および上記１以上の差分系列の空間遅延行列を用いて上記３次元テンソルを生成する
ことを特徴とする請求項４に記載の疾患予測装置。 - 上記行列算出部は、上記複数のオリジナルの空間遅延行列どうしの差分を演算することによって複数の１次差分系列の空間遅延行列を算出するとともに、上記複数の１次差分系列の空間遅延行列どうしの差分を演算することによって１以上の２次差分系列の空間遅延行列を算出することを特徴とする請求項５に記載の疾患予測装置。
- 上記特徴量算出部は、上記被験者と他者との一連の会話音声のデータを分析することにより、上記被験者による発話音声に関する複数種類の音響的特徴量を算出することを特徴とする請求項１～６の何れか１項に記載の疾患予測装置。
- 上記特徴量算出部は、上記被験者の声の強さ、基本周波数、ケプストラムピークプロミネンス（ＣＰＰ）、フォルマント周波数、メル周波数ケプストラム係数（ＭＦＣＣ）のうち少なくとも２つ以上を算出することを特徴とする請求項７に記載の疾患予測装置。
- 上記特徴量算出部は、３種類以上の音響的特徴量をそれぞれ所定時間単位ごとに時系列に算出することを特徴とする請求項１に記載の疾患予測装置。
- 上記特徴量算出部は、上記被験者と他者との一連の会話音声に係る時系列データを分析することにより、上記被験者による発話音声に関する複数種類の音響的特徴量として、上記被験者の声の強さ、基本周波数、ケプストラムピークプロミネンス（ＣＰＰ）、フォルマント周波数、メル周波数ケプストラム係数（ＭＦＣＣ）のうち少なくとも３種類以上を算出することを特徴とする請求項９に記載の疾患予測装置。
- 上記行列算出部は、上記３種類以上の音響的特徴量の組み合わせから２つ以上の空間遅延行列を算出し、
上記行列演算部は、上記２つ以上の空間遅延行列からそれぞれ特有の上記行列特有データを算出する
ことを特徴とする請求項９または１０に記載の疾患予測装置。 - 疾患レベルが既知である複数人の対象者に関して取得された、時系列に値が変化する一連の時系列データを学習用データとして入力する学習用データ入力部と、
上記学習用データ入力部により入力された上記一連の時系列データを所定時間単位ごとに分割して分析することにより、複数種類の音響的特徴量をそれぞれ所定時間単位ごとに時系列に算出する特徴量算出部と、
上記特徴量算出部により所定時間単位ごとに時系列に算出された上記複数種類の音響的特徴量について、上記複数種類の音響的特徴量ごとに時間軸に沿って設定した所定時間長の移動窓に含まれる複数種類の音響的特徴量どうしの関係値として、トレンド除去相互相関解析値または相互情報量の少なくとも一方を算出する処理を、上記移動窓を所定遅延量ずつ遅延させて行うことにより、複数の関係値の組み合わせから成る空間遅延行列を算出する行列算出部と、
上記行列算出部により算出された上記空間遅延行列に対して所定の演算を行うことにより、上記空間遅延行列に特有の行列特有データを算出する行列演算部と、
上記行列演算部により算出された上記行列特有データを用いて、被験者に関する行列特有データが入力された際に上記被験者の疾患レベルを出力するための疾患予測モデルを生成する予測モデル生成部とを備え、
上記学習用データ入力部により入力された複数人の時系列データのそれぞれについて、上記特徴量算出部、上記行列算出部および上記行列演算部の処理を行い、複数人の特有データを上記予測モデル生成部に入力して機械学習処理を行うことにより、上記疾患予測モデルを生成することを特徴とする予測モデル生成装置。 - 上記行列演算部は、上記行列算出部により算出された上記空間遅延行列に対して分解演算を行うことにより、上記空間遅延行列に特有の行列分解値を算出する行列分解部を含み、
上記予測モデル生成部は、上記行列分解部により算出された上記行列分解値を用いて、被験者に関する行列分解値が入力された際に上記被験者の疾患レベルを出力するための疾患予測モデルを生成する
ことを特徴とする請求項１２に記載の予測モデル生成装置。 - 上記行列演算部は、上記行列算出部により算出された１以上の上記空間遅延行列を用いて、上記関係値のＮ次元テンソル（Ｎ≧１）を生成するテンソル生成部を含み、
上記予測モデル生成部は、上記テンソル生成部により生成された上記Ｎ次元テンソルを用いて、被験者に関する３次元テンソルが入力された際に上記被験者の疾患レベルを出力するための疾患予測モデルを生成する
ことを特徴とする請求項１２に記載の予測モデル生成装置。 - 時系列に値が変化する一連の時系列データを所定時間単位ごとに分割して分析することにより、複数種類の音響的特徴量をそれぞれ所定時間単位ごとに時系列に算出する特徴量算出手段、
上記特徴量算出手段により所定時間単位ごとに時系列に算出された上記複数種類の音響的特徴量について、上記複数種類の音響的特徴量ごとに時間軸に沿って設定した所定時間長の移動窓に含まれる複数種類の音響的特徴量どうしの関係値として、トレンド除去相互相関解析値または相互情報量の少なくとも一方を算出する処理を、上記移動窓を所定遅延量ずつ遅延させて行うことにより、複数の関係値の組み合わせから成る空間遅延行列を算出する行列算出手段、
上記行列算出手段により算出された上記空間遅延行列に対して所定の演算を行うことにより、上記空間遅延行列に特有の行列特有データを算出する行列演算手段、および
上記行列演算手段により算出された上記行列特有データを、上記行列特有データが入力された際に被験者の疾患レベルを出力するように学習用データを用いた機械学習処理により生成されている学習済みの疾患予測モデルに入力し、上記被験者の疾患レベルを予測する疾患予測手段
としてコンピュータを機能させるための疾患予測用プログラム。 - 上記行列演算手段は、上記行列算出手段により算出された上記空間遅延行列に対して分解演算を行うことにより、上記空間遅延行列に特有の行列分解値を算出する行列分解手段を含み、
上記疾患予測手段は、上記行列分解手段により算出された上記行列分解値を上記学習済みの疾患予測モデルに入力し、被験者の疾患レベルを予測する
ことを特徴とする請求項１５に記載の疾患予測用プログラム。 - 上記行列演算手段は、上記行列算出手段により算出された１以上の上記空間遅延行列を用いて、上記関係値のＮ次元テンソル（Ｎ≧１）を生成するテンソル生成手段を含み、
上記疾患予測手段は、上記テンソル生成手段により生成された上記Ｎ次元テンソルを上記学習済みの疾患予測モデルに入力し、被験者の疾患レベルを予測する
ことを特徴とする請求項１５に記載の疾患予測用プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024071232A JP2024097049A (ja) | 2019-11-25 | 2024-04-25 | 疾患予測装置、予測モデル生成装置および疾患予測用プログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019212031 | 2019-11-25 | ||
| JP2019212031 | 2019-11-25 | ||
| PCT/JP2020/043563 WO2021106825A1 (ja) | 2019-11-25 | 2020-11-24 | 疾患予測装置、予測モデル生成装置および疾患予測用プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024071232A Division JP2024097049A (ja) | 2019-11-25 | 2024-04-25 | 疾患予測装置、予測モデル生成装置および疾患予測用プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021106825A1 JPWO2021106825A1 (ja) | 2021-06-03 |
| JPWO2021106825A5 JPWO2021106825A5 (ja) | 2023-11-01 |
| JP7486208B2 true JP7486208B2 (ja) | 2024-05-17 |
Family
ID=76128893
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021561395A Active JP7486208B2 (ja) | 2019-11-25 | 2020-11-24 | 疾患予測装置、予測モデル生成装置および疾患予測用プログラム |
| JP2024071232A Pending JP2024097049A (ja) | 2019-11-25 | 2024-04-25 | 疾患予測装置、予測モデル生成装置および疾患予測用プログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024071232A Pending JP2024097049A (ja) | 2019-11-25 | 2024-04-25 | 疾患予測装置、予測モデル生成装置および疾患予測用プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230005624A1 (ja) |
| EP (1) | EP4068303A4 (ja) |
| JP (2) | JP7486208B2 (ja) |
| WO (1) | WO2021106825A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002306492A (ja) | 2001-04-16 | 2002-10-22 | Electronic Navigation Research Institute | カオス論的ヒューマンファクタ評価装置 |
| WO2002087434A1 (fr) | 2001-04-25 | 2002-11-07 | Bio-Complex System Research Institute | Procede d'evaluation de l'efficacite d'un etat biologique et d'une action modifiant un etat biologique, appareil et systeme d'evaluation, programme d'evaluation et support d'enregistrement dudit programme |
| JP2004240394A (ja) | 2002-12-12 | 2004-08-26 | Sense It Smart Corp | 話者音声解析システムおよびこれに用いるサーバ装置、話者音声の解析を利用した健康診断方法、話者音声解析プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9763617B2 (en) * | 2011-08-02 | 2017-09-19 | Massachusetts Institute Of Technology | Phonologically-based biomarkers for major depressive disorder |
| CA2928005C (en) * | 2013-10-20 | 2023-09-12 | Massachusetts Institute Of Technology | Using correlation structure of speech dynamics to detect neurological changes |
| EP3160334B1 (en) | 2014-08-22 | 2021-12-01 | SRI International | Speech-based assessment of a patient's state-of-mind |
-
2020
- 2020-11-24 US US17/779,598 patent/US20230005624A1/en active Pending
- 2020-11-24 JP JP2021561395A patent/JP7486208B2/ja active Active
- 2020-11-24 EP EP20893804.3A patent/EP4068303A4/en active Pending
- 2020-11-24 WO PCT/JP2020/043563 patent/WO2021106825A1/ja active Search and Examination
-
2024
- 2024-04-25 JP JP2024071232A patent/JP2024097049A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002306492A (ja) | 2001-04-16 | 2002-10-22 | Electronic Navigation Research Institute | カオス論的ヒューマンファクタ評価装置 |
| WO2002087434A1 (fr) | 2001-04-25 | 2002-11-07 | Bio-Complex System Research Institute | Procede d'evaluation de l'efficacite d'un etat biologique et d'une action modifiant un etat biologique, appareil et systeme d'evaluation, programme d'evaluation et support d'enregistrement dudit programme |
| JP2004240394A (ja) | 2002-12-12 | 2004-08-26 | Sense It Smart Corp | 話者音声解析システムおよびこれに用いるサーバ装置、話者音声の解析を利用した健康診断方法、話者音声解析プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230005624A1 (en) | 2023-01-05 |
| WO2021106825A1 (ja) | 2021-06-03 |
| JP2024097049A (ja) | 2024-07-17 |
| EP4068303A1 (en) | 2022-10-05 |
| JPWO2021106825A1 (ja) | 2021-06-03 |
| EP4068303A4 (en) | 2023-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Narendra et al. | The detection of Parkinson's disease from speech using voice source information | |
| EP3762942B1 (en) | System and method for generating diagnostic health information using deep learning and sound understanding | |
| Muzammel et al. | End-to-end multimodal clinical depression recognition using deep neural networks: A comparative analysis | |
| Daqrouq et al. | Speaker identification using vowels features through a combined method of formants, wavelets, and neural network classifiers | |
| WO2020102223A2 (en) | Intelligent health monitoring | |
| Goyal et al. | A hybrid approach for Parkinson’s disease diagnosis with resonance and time-frequency based features from speech signals | |
| Korzekwa et al. | Interpretable deep learning model for the detection and reconstruction of dysarthric speech | |
| Tsai et al. | Embedding stacked bottleneck vocal features in a LSTM architecture for automatic pain level classification during emergency triage | |
| Mendoza et al. | Classification of vocal aging using parameters extracted from the glottal signal | |
| Quatieri et al. | Multimodal biomarkers to discriminate cognitive state | |
| Almaghrabi et al. | Bio-acoustic features of depression: A review | |
| Aversano et al. | A machine learning approach for early detection of parkinson’s disease using acoustic traces | |
| Majda-Zdancewicz et al. | Deep learning vs feature engineering in the assessment of voice signals for diagnosis in Parkinson’s disease | |
| Nishikawa et al. | Machine learning model for discrimination of mild dementia patients using acoustic features | |
| Singh et al. | Forensic anthropometry from voice: an articulatory-phonetic approach | |
| Pérez-Toro et al. | Transferring quantified emotion knowledge for the detection of depression in Alzheimer’s disease using forestnets | |
| Benayad et al. | Features selection by genetic algorithm optimization with k-nearest neighbour and learning ensemble to predict Parkinson disease | |
| JP7486208B2 (ja) | 疾患予測装置、予測モデル生成装置および疾患予測用プログラム | |
| Kodali et al. | Automatic classification of the severity level of Parkinson’s disease: A comparison of speaking tasks, features, and classifiers | |
| Raju et al. | AUTOMATIC SPEECH RECOGNITION SYSTEM USING MFCC-BASED LPC APPROACH WITH BACK PROPAGATED ARTIFICIAL NEURAL NETWORKS. | |
| Singhal et al. | Voice signal-based disease diagnosis using iot and learning algorithms for healthcare | |
| Akshay et al. | Identification of Parkinson disease patients classification using feed forward technique based on speech signals | |
| Almaloglou et al. | Design and validation of a new diagnostic tool for the differentiation of pathological voices in parkinsonian patients | |
| Jenei et al. | Severity estimation of depression using convolutional neural network | |
| Miliaresi et al. | A deep multimodal voice pathology classifier with electroglottographic signal processing capabilities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220518 |
|
| A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20220518 |
|
| AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20220830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220912 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231024 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231024 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240425 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7486208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |