JP7390268B2 - 認知機能予測装置、認知機能予測方法、プログラム及びシステム - Google Patents
認知機能予測装置、認知機能予測方法、プログラム及びシステム Download PDFInfo
- Publication number
- JP7390268B2 JP7390268B2 JP2020150612A JP2020150612A JP7390268B2 JP 7390268 B2 JP7390268 B2 JP 7390268B2 JP 2020150612 A JP2020150612 A JP 2020150612A JP 2020150612 A JP2020150612 A JP 2020150612A JP 7390268 B2 JP7390268 B2 JP 7390268B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- cognitive function
- feature
- feature data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003920 cognitive function Effects 0.000 title claims description 201
- 238000000034 method Methods 0.000 title claims description 43
- 238000005259 measurement Methods 0.000 claims description 63
- 208000024891 symptom Diseases 0.000 claims description 63
- 230000007423 decrease Effects 0.000 claims description 58
- 238000000605 extraction Methods 0.000 claims description 43
- 230000005540 biological transmission Effects 0.000 claims description 35
- 230000004044 response Effects 0.000 claims description 20
- 230000001815 facial effect Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 12
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 230000001755 vocal effect Effects 0.000 claims description 10
- 238000007477 logistic regression Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000011282 treatment Methods 0.000 claims description 2
- 206010012289 Dementia Diseases 0.000 description 50
- 238000012795 verification Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 13
- 230000035484 reaction time Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 208000010877 cognitive disease Diseases 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000006999 cognitive decline Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000010855 neuropsychological testing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 239000000945 filler Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 208000024827 Alzheimer disease Diseases 0.000 description 3
- 230000032683 aging Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 208000028698 Cognitive impairment Diseases 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008897 memory decline Effects 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 208000027061 mild cognitive impairment Diseases 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Description
上記非定型質問は、利用者の年齢に応じた過去のイベントに関する質問を含むことを特徴とする認知機能予測装置。
(2)利用者からの応答に基づき質問を作成するように構成されている質問作成部をさらに備え、上記非定型質問は、前記質問作成部にて作成された質問を含む(1)に記載の認知機能予測装置。
(3)上記特徴量抽出部は、上記測定部で得られた利用者音声に基づき上記特徴データ作成部で作成された音声的特徴データ及び言語的特徴データのうち少なくとも1種の特徴データに基づき、特徴量を抽出するように構成されている(1)又は(2)に記載の認知機能予測装置。
(4)上記特徴量抽出部は、上記測定部で得られた利用者画像に基づき上記特徴データ作成部で作成された視線パターン、フェイシャルアクションコーディングシステム及びフェイシャルランドマーク特徴からなる群より選択される少なくとも1種の画像的特徴データと、上記測定部で得られた利用者音声に基づき上記特徴データ作成部で作成された音声的特徴データ及び言語的特徴データのうち少なくとも1種の特徴データとに基づき、特徴量を抽出するように構成されている(1)又は(2)に記載の認知機能予測装置。
(5)上記認知機能予測部は、上記特徴量抽出部で抽出された特徴量に基づき、上記利用者に認知機能低下に起因する状態又は症状の傾向があるか否かを、SVM(Support Vector Machine)、ロジスティック回帰分析、及び、深層学習からなる群から選択される少なくとも1つを用いて予測するように構成されている(1)~(4)のいずれかに記載の認知機能予測装置。
(6)利用者に対し音声情報及び画像情報を伝達する情報伝達ステップと、利用者音声及び/又は利用者画像を測定する測定ステップと、上記測定部の測定結果に基づいて、音声的特徴データ、言語的特徴データ及び画像的特徴データからなる群から選択される少なくとも1種の特徴データを作成する特徴データ作成ステップと、上記特徴データ作成ステップで得られた特徴データから、特徴量を抽出する特徴量抽出ステップと、上記特徴量抽出部で得られた少なくとも1種の特徴量に基づき、上記利用者に認知機能低下に起因する状態又は症状の傾向があるか否かを予測する認知機能予測ステップとを備え、上記情報伝達部から伝達される情報は、非定型質問を含み、上記非定型質問は、利用者の年齢に応じた過去のイベントに関する質問を含むことを特徴とする認知機能予測方法。
(7)(6)に記載の認知機能予測方法をコンピュータに実行させるためのプログラム。
(8)利用者に対し音声情報及び画像情報を伝達するための情報伝達部と、利用者音声及び/又は利用者画像を測定するための測定部と、を備える利用者端末と、上記測定部の測定結果に基づいて、音声的特徴データ、言語的特徴データ及び画像的特徴データからなる群から選択される少なくとも1種の特徴データを作成するための特徴データ作成部と、上記特徴データ作成部で得られた特徴データから特徴量を抽出するための特徴量抽出部と、上記特徴量抽出部で抽出された少なくとも1種の特徴量に基づき上記利用者に認知機能低下に起因する状態又は症状の傾向があるか否かを予測するように構成されている認知機能予測部と、を備える認知機能予測装置とを有し、上記情報伝達部から伝達される情報は、非定型質問を含み、上記非定型質問は、利用者の年齢に応じた過去のイベントに関する質問を含むことを特徴とする認知機能予測システム。
図1は、本発明の一実施形態に係る認知機能予測装置を説明するための図である。
図1に示すように、認知機能予測装置10は、情報伝達部11、測定部12、制御部13、外部情報入力部21及びデータベース31を備える。制御部13は、特徴データ作成部131、特徴量抽出部132、認知機能予測部133及び質問作成部134を備える。なお、本実施形態に係る認知機能予測装置10は、利用者と対話を行うように構成されており、その対話における利用者の応答に基づいて、当該利用者が認知機能の低下に起因する状態又は症状であるか否かを予測するように構成されている。
例えば、利用者は外部情報入力部21及び/又は集音部121から、好みの画像データや音声データを入力することができ、該画像データ及び音声データはデータベース31に保管される。制御部13は、データベース31に保管されたデータを読み出し、表示部111に画像データを与え、音声出力部112に音声データを与えることができる。
なお、定型質問としては、例えば、長谷川式認知症スケール(HDS-R)及びMMSE等の神経心理検査に含まれる日時、場所、計算等の質問が挙げられる。また、非定型質問としては、あらかじめ定められた複数の質問からランダムに選択される質問、利用者の年齢に応じた過去のイベントに関する質問、利用者の応答に基づき作成された質問等が含まれる。情報伝達部11から利用者に対し伝達される非定型質問には、利用者の年齢に応じた過去のイベントに関する質問が必ず含まれるように構成されている。また、非定型質問は、少なくとも10問から構成される非定型質問セットからランダムに3問選択される非定型質問セットであってもよい。
なお、利用者の年齢は、利用者の認知機能予測装置10の利用時の年齢を、外部情報入力部21や、測定部12における集音部121、撮像部122を介して、制御部13で利用毎に確認することとしてもよい。また、認知機能予測装置10の利用開始時の初期設定において、予め利用者の年齢が外部情報入力部21や、測定部12における集音部121、撮像部122を介して入力され、データベース31に保管されている利用者初期情報に基づき、制御部13にて利用時の利用者年齢を算出するものとしてもよい。
利用者の年齢に応じた過去のイベントに関する質問は、制御部13が上記のように確認又は算出した利用者年齢に基づき、予めデータベースに保管されている過去のイベントから利用者の年齢に基づき選択されるものであってよい。また、認知機能予測装置10がインターネット等のネットワーク回線等に接続可能である場合は、制御部13は、確認又は算出された利用者の年齢に基づき、利用者が特定の年代である過去のイベントに関する質問を、ウェブ情報や外部データベースから取得した情報から選択、作成することができる。
なお、質問作成部134で作成される質問(以下、単に自由質問と記載する。)は、利用者の応答に基づき作成される質問でもあってもよく、予め準備されている質問の中から、利用者の応答に基づき選択される質問であってもよい。例えば、上記自由質問は、制御部13における質問作成部134が、予めデータベースに保管されている複数の質問から利用者の応答に基づき選択した質問であってもよく、利用者からの応答に基づき、予めデータベースに保管されているデータを組み合わせて作成された質問であってもよい。また、認知機能予測装置10がインターネット等のネットワーク回線等に接続可能である場合、上記自由質問は、質問作成部134において利用者の応答に基づき、ウェブ情報や外部データベースから取得した情報から選択、作成された質問であってもよい。
情報伝達部11において、利用者からの応答に基づく自由質問を伝達することで、利用者は、認知機能予測装置10の利用にあたり、アバター111aと対話をしている感覚を得ることができ、緊張感がほぐれ、自然な状態での利用者を測定することができ、認知機能予測の精度が向上するためである。
また、認知機能予測部133において、利用者の趣味や興味のある分野に関する質問と、そうではない分野に関する質問に対する特徴量の差を検出することにより、より高精度に認知機能の低下に起因する状態又は症状を予測することができる可能性がある。
特徴データ作成部131で作成された音声的特徴データ及び言語的特徴データに基づき特徴量を抽出することにより、認知機能の低下に起因する状態又は症状を有さない利用者と、軽度の認知機能の低下に起因する状態又は症状を有する利用者とを高精度で分類することができるためである。特に認知機能の低下に起因する状態又は症状が認知症である場合には、非認知症の利用者と経度認知障害(MCI)の利用者とを高精度(90%以上)で分類することができる。
なお、上記音声的特徴データから抽出される特徴量としては、ピッチ(基本周波数、声の高さ)、声量(パワー)、声質、反応時間、ポーズ(発話間隔)等が挙げられる。
また、上記言語的特徴データから抽出される特徴量としては、トークン数(形態素)数、フィラー、タイプトークン比(TTR(Type Token Ratio))、品詞情報(名詞、動詞、形容詞及び副詞の数等)、構文の複雑さ、語彙の選定及び語彙の難易度等が挙げられる。なお、上記タイプトークン比とは、利用者が応答時に発する音声に含まれる単語の総数であるトークン数と、上記利用者が応答時に発する音声に含まれる重複を許さない単語の総数であるタイプ数を前記トークン数で除した値である。
音声的特徴データ及び/又は言語的特徴データに加え、画像的特徴データから、特徴量を抽出することにより、より高精度な認知機能予測が可能となるためである。また、利用者によっては、音声的特徴データにおいて外部雑音などのノイズが含まれるが、画像的特徴データから抽出される特徴量を併せて用いることにより、認知機能予測の精度を向上できる可能性があるためである。
この場合、制御部13は、認知機能予測部133で得られた認知機能予測結果を情報伝達部11に送るように構成されている。
また例えば、制御部13は、認知機能予測部133で得られた認知機能予測結果を、通信手段を介して、利用者の親族やかかりつけ医療機関等に対して送信することができる。
上記印刷装置及び通信装置等は、本発明の認知機能予測装置10に含まれていてもよく、通信回線を介して本発明の認知機能予測装置10に繋がれていてもよい。
図3は、図1に記載の認知機能予測装置10における情報伝達部11と測定部12とを別体として構成した例を示した図であり、本発明の一実施形態に係る認知機能予測システムを説明するための図である。
図3に示すように、認知機能予測システム40は、利用者に対し音声情報及び画像情報を伝達するための情報伝達部11と、利用者音声及び/又は利用者画像を測定するための測定部12と、外部情報入力部21とを有する利用者端末50と、利用者端末50における測定部12からの測定結果に基づき、音声的特徴データ、言語的特徴データ及び画像的特徴データからなる群から選択される少なくとも1種の特徴データを作成するための特徴データ作成部131と、特徴データ作成部131で得られた特徴データから特徴量を抽出するための特徴量抽出部132と、特徴量抽出部132で得られた特徴量に基づき、利用者に認知機能の低下に起因する状態又は症状の傾向があるか否かを予測するように構成されている認知機能予測部133と、質問作成部134及びデータベース31を有する認知機能予測装置60と、を別体として備えるものである。このように利用者端末50と、認知機能の低下に起因する状態又は症状を予測する認知機能予測装置60とを別体とする場合、利用者端末50と認知機能予測装置60とは、通信回線により繋がれている。
次に、本実施形態の一つである認知機能予測方法を説明する。
本実施形態の認知機能予測方法は、利用者に対し音声情報及び画像情報を伝達する情報伝達ステップと、利用者音声及び/又は利用者画像を測定する測定ステップと、上記測定部の測定結果に基づいて、音声的特徴データ、言語的特徴データ及び画像的特徴データからなる群から選択される少なくとも1種の特徴データを作成する特徴データ作成ステップと、上記特徴データ作成ステップで得られた特徴データから特徴量を抽出する特徴量抽出ステップと、上記特徴量抽出ステップで得られた特徴量に基づき利用者に認知機能の低下に起因する状態又は症状の傾向があるか否かを予測する認知機能予測ステップとを備え、上記情報伝達部から伝達される情報は、非定型質問を含み、上記非定型質問は、利用者の年齢に応じた過去のイベントに関する質問を含む。
また、ST1で使用される質問は、予めデータベース31に保管されている質問データから選択された質問でもよく、利用者の応答に応じて、制御部13における質問作成部134において作成された質問であってもよい。
なお、本明細書における認知機能予測装置は、認知症を予測するための認知症予測装置であることが好ましく、認知機能予測方法は認知症を予測するための認知症予測方法であることが好ましく、認知機能予測システムは認知症を予測するための認知症予測システムであることが好ましい。
本明細書において、認知機能の低下に起因する状態又は症状は認知症に読み替えることができ、認知機能予測装置は認知症予測装置と読み替えることができ、認知機能予測方法は認知症予測方法に読み替えることができ、認知機能予測システムは認知症予測システムに読み替えることができる。
また、利用者情報として、外部情報入力部21又は測定部12を介して、指紋認証、虹彩認証、静脈認証、声紋認証及び顔認証等の生体情報を予め登録してもよい。最初に利用者の生体情報を登録することで、次回の認知機能予測装置10の利用時に、測定部12及び/又は外部情報入力部21を介して制御部13にて生体情報が検出されることにより利用者が特定され、スムーズに認知機能予測装置10を作動させることができる。
例えば、アバター111aは、図5に記載のような質問セットの中からランダムに少なくとも3問程度選択し、質問を行うが、図5の中では、Q5~Q13に関する質問が、利用者の年齢に応じた過去のイベントに関する質問に該当するため、Q5~Q13のいずれかの質問が含まれる。
なお、アバター111aによる質問は、利用者の年齢に応じた過去のイベントに関する質問を含む少なくとも3問以上であることが好ましく、5問以上であることがより好ましい。
また、アバター111aは、利用者が何らかの音声を発して回答した後に沈黙した場合(即ち、利用者に対する1つの質問が終了してから集音部121が利用者の音声を集音し、その後に集音部121が利用者の音声を集音しない状態が所定の時間続いたことを制御部13が検出した場合)、利用者の回答が完了したとして次の動作を行ってもよい。
音声的特徴データから得られる特徴量は、利用者の音声の内容(音声に含まれる形態素や単語等)を解析することなく算出可能な、音声そのものに関する特徴量である。
「ピッチ」は、声の高さ、基本周波数である。ポーズは、利用者の発話(応答)の中で、沈黙が1秒以上の回数をカウントした合計数と発話間隔が最長の時間を特徴量としたものである。反応時間は、アバター111aの質問終了時から利用者の応答開始までの時間差のことである。基本周波数に関しては、変動係数、平均値、最大値、中央値、最小値、レンジを特徴量とすることができる。また、声量(パワー)に関しては、平均値、最大値、最小値を特徴量とすることができる。また、声質に関しては、利用者の音声における第1倍音(h1)と第3フォルマント(a3)の振幅差である。
すなわち、言語的特徴データから得られる特徴量は、利用者音声の内容に関する特徴量であり、利用者の音声の内容(音声に含まれる形態素や単語等)を解析することで抽出される。
言語特徴に分類される特徴量のそれぞれは、音声に含まれる形態素や単語の情報は、例えば、利用者の音声のデータに対して周知の音声認識方法を適用して利用者の音声を文字列に変換した上で、当該文字列に対して周知の形態素や単語の解析方法(例えば、Mecab)を適用することで得られる。
トークン数は、利用者の音声に含まれる単語の総数である。フィラーは、「うー」や「あー」といった特定の意味を持たない語句の数である。「TTR」は、利用者の音声に含まれている重複を許さない単語の総数であるタイプ数をトークン数で除した値である。なお、TTRは、利用者が同じ単語を使用するほど、タイプ数が増えずにトークン数が増えるため、値が小さくなる。「難易度」は、語句の難しさのレベルを数値で定義した所定の辞書に基づいて決定される全ての名詞の難しさのレベルの中間値である。「発話速度」は、被験者の発話時間を単語数で除した値である。
また、特徴量抽出部132では、ピッチ(声の高さ、基本周波数)、声量(パワー)、声質、反応時間及びポーズ(発話間隔)からなる群より選択される少なくとも1種の音声的特徴と、トークン(形態素)数、フィラー、タイプトークン比(TTR(Type Token Ratio))及び品詞情報(名詞、動詞、形容詞及び副詞の数等)からなる群より選択される少なくとも1種の言語的特徴量と、フェイシャルアクションユニットから抽出される特徴量、フェイシャルランドマーク特徴から抽出される特徴量及び視線パターンからから抽出される特徴量からなる群より選択される少なくとも1種の画像的特徴量とが抽出されることが好ましく、上記特徴量から10種以上の特徴量が抽出されることがより好ましい。また、上記各特徴データから抽出されるそれぞれの特徴量を含むことが好ましい。認知機能予測結果の精度を向上できるためである。上述の各特徴量は、対話の際の脳の情報処理、認知活動をより反映した特徴量であると考えられるからである。
なお、認知機能予測部133では、10種以上の特徴量に基づき利用者に認知機能の低下に起因する状態又は症状の傾向があるか否かを予測することが好ましい。また、上記10種以上の特徴量には、上記各特徴データから抽出されるそれぞれの特徴量を含むことがより好ましい。認知機能予測精度が高精度となるためである。
21種の特徴量は、質問の応答にかかった時間(反応時間)、発話と発話との間の中で沈黙が1秒以上の回数をカウントした合計数(ポーズカウント数)、発話と発話の間(1秒以上)の時間平均値(ポーズ時間平均値)、発話と発話の間(1秒以上)の時間の最大値(ポーズ時間最大値)、基本周波数の平均値、基本周波数の最小値、基本周波数の最大値、基本周波数の中央値、基本周波数の最大値と最小値との差、基本周波数の標準偏差、基本周波数の変動係数、声量の平均値、声量の標準偏差、発話の長さ(発話時間)、数発話内のトークン数、発話内のフィラーの総数、発話内の動詞の総数、発話内の名詞の総数、発話内の形容詞の総数、発話内の副詞の総数、発話時間あたりのトークン数である。なお、本実施例において、アバター111aは、図6に記載の19問のうち、Q5~Q13の利用者の年齢に応じた過去のイベントに関する質問を少なくとも1つを含む質問セット(5問)をランダム選び、協力者にそれぞれ質問した。上記数発話は、アバター111aからの複数の質問に対する利用者の全回答(利用者応答の全発話)であってもよく、利用者の年齢に応じた過去のイベントに関する質問を含む少なくとも3問の質問に対する回答(利用者応答の発話)であってもよい。
3種の特徴量は、フェイシャルアクションコーディングシステムから抽出された動作単位(Action Units(AUs))と、視線パターンから抽出された特徴量、及び、フェイシャルランドマーク特徴から抽出された口元反応時間である。
よって、画像的特徴データから抽出される特徴量と、言語的特徴データ及び/又は音声的特徴データから抽出される特徴量とを組み合わせることで、認知機能予測精度の個人差によるばらつきが解消され、一貫性のある認知機能予測が可能になると考えられる。
図7(b)に示したロジスティック回帰法による検証結果では、21種の特徴量の中でも1)反応時間、2)基本周波数の最大値と最小値との差、3)基本周波数の最大値、4)ポーズ時間の平均値、5)発話内の動詞の総数は、認知症の検出に当たって重要な特徴量であり、特に反応時間は、ロジスティック回帰法による認知症予測において、最も影響が大きい特徴量であり、認知症の早期発見に最も効果的な属性を示す。よって、認知機能の低下に起因する状態又は症状の早期発見に最も効果的な属性を示すと考えられる。
なお、アバター111aによる質問は、上記質問の他、認知機能の低下に起因する状態又は症状の初期段階の患者と、健常者のそれぞれにおける反応時間に統計学的な有意差がある質問を利用者に対して行うようにすると、好ましい。
11 : 情報伝達部
111 : 表示部
111a : アバター
111b : テキスト
112 : 音声出力部
12 : 測定部
121 : 集音部
122 : 撮像部
13 : 制御部
131 : 特徴データ作成部
132 : 特徴量抽出部
133 : 認知機能予測部
134 : 質問作成部
21 : 外部情報入力部
31 : データベース
40 : 認知機能予測システム
50 : 利用者端末
Claims (8)
- 利用者に対し音声情報及び画像情報を伝達するための情報伝達部と、
利用者音声及び/又は利用者画像を測定するための測定部と、
前記測定部で得られた測定結果に基づいて、音声的特徴データ、言語的特徴データ及び画像的特徴データからなる群から選択される少なくとも1種の特徴データを作成するための特徴データ作成部と、
前記特徴データ作成部で得られた特徴データから、特徴量を抽出するための特徴量抽出部と、
前記特徴量抽出部で得られた少なくとも1種の特徴量に基づき、前記利用者に認知機能低下に起因する状態又は症状の傾向があるか否かを予測するように構成されている認知機能予測部とを備え、
前記情報伝達部から伝達される情報は、非定型質問を含み、
前記非定型質問は、利用者の年齢に応じた過去のイベントに関する質問を含むことを特徴とする認知機能予測装置。 - 利用者からの応答に基づき質問を作成するように構成されている質問作成部をさらに備え、
前記非定型質問は、前記質問作成部にて作成された質問を含む請求項1に記載の認知機能予測装置。 - 前記特徴量抽出部は、前記測定部で得られた利用者音声に基づき前記特徴データ作成部で作成された音声的特徴データ及び言語的特徴データのうち少なくとも1種の特徴データに基づき、特徴量を抽出するように構成されている請求項1又は2に記載の認知機能予測装置。
- 前記特徴量抽出部は、前記測定部で得られた利用者画像に基づき前記特徴データ作成部で作成された視線パターン、フェイシャルアクションコーディングシステム及びフェイシャルランドマーク特徴からなる群より選択される少なくとも1種の画像的特徴データと、前記測定部で得られた利用者音声に基づき前記特徴データ作成部で作成された音声的特徴データ及び言語的特徴データのうち少なくとも1種の特徴データとに基づき、特徴量を抽出するように構成されている請求項1又は2に記載の認知機能予測装置。
- 前記認知機能予測部は、前記特徴量抽出部で抽出された特徴量に基づき、前記利用者に認知機能低下に起因する状態又は症状の傾向があるか否かを、SVM(Support Vector Machine)、ロジスティック回帰分析、及び、深層学習からなる群から選択される少なくとも1つを用いて予測するように構成されている請求項1~4のいずれか1項に記載の認知機能予測装置。
- 利用者に対し音声情報及び画像情報を伝達する情報伝達ステップと、
利用者音声及び/又は利用者画像を測定する測定ステップと、
前記測定ステップの測定結果に基づいて、音声的特徴データ、言語的特徴データ及び画像的特徴データからなる群から選択される少なくとも1種の特徴データを作成する特徴データ作成ステップと、
前記特徴データ作成ステップで得られた特徴データから、特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで得られた少なくとも1種の特徴量に基づき、前記利用者に認知機能低下に起因する状態又は症状の傾向があるか否かを予測する認知機能予測ステップとを備え、
前記情報伝達ステップから伝達される情報は、非定型質問を含み、
前記非定型質問は、利用者の年齢に応じた過去のイベントに関する質問を含むことを特徴とする認知機能予測方法(ただし、ヒトに対する医療行為を除く)。 - 請求項6に記載の認知機能予測方法をコンピュータに実行させるためのプログラム。
- 利用者に対し音声情報及び画像情報を伝達するための情報伝達部と、利用者音声及び/又は利用者画像を測定するための測定部と、を備える利用者端末と、
前記測定部の測定結果に基づいて、音声的特徴データ、言語的特徴データ及び画像的特徴データからなる群から選択される少なくとも1種の特徴データを作成するための特徴データ作成部と、前記特徴データ作成部で得られた特徴データから、特徴量を抽出するための特徴量抽出部と、前記特徴量抽出部で抽出された少なくとも1種の特徴量に基づき、前記利用者に認知機能低下に起因する状態又は症状の傾向があるか否かを予測するように構成されている認知機能予測部と、を備える認知機能予測装置とを有し、
前記情報伝達部から伝達される情報は、非定型質問を含み、
前記非定型質問は、利用者の年齢に応じた過去のイベントに関する質問を含むことを特徴とする認知機能予測システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019185331 | 2019-10-08 | ||
JP2019185331 | 2019-10-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021058573A JP2021058573A (ja) | 2021-04-15 |
JP7390268B2 true JP7390268B2 (ja) | 2023-12-01 |
Family
ID=75380884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020150612A Active JP7390268B2 (ja) | 2019-10-08 | 2020-09-08 | 認知機能予測装置、認知機能予測方法、プログラム及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7390268B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230161179A (ko) * | 2022-05-18 | 2023-11-27 | 의료법인 명지의료재단 | 치매 진단 시스템 |
WO2023229016A1 (ja) * | 2022-05-25 | 2023-11-30 | 積水化学工業株式会社 | 医療連携システム、医療連携方法、及びプログラム |
KR20240104552A (ko) * | 2022-12-28 | 2024-07-05 | (주) 로완 | 딥러닝을 이용한 인지능력 개선에 관련된 콘텐츠의 세부적인 효과 추정 방법 및 장치 |
KR20240110200A (ko) | 2023-01-06 | 2024-07-15 | 주식회사 카이아이컴퍼니 | 화면 인터랙션을 이용한 치매 조기 검진 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002007560A (ja) | 2000-06-19 | 2002-01-11 | Az-Navi:Kk | 回想データベースシステム及び回想支援プログラムを記録した媒体 |
JP2007282992A (ja) | 2006-04-19 | 2007-11-01 | Sky Kk | 認知症診断支援システム |
JP2010092358A (ja) | 2008-10-09 | 2010-04-22 | Nippon Telegr & Teleph Corp <Ntt> | エピソード記憶想起支援システム、エピソード記憶想起支援方法およびプログラム |
JP2018015139A (ja) | 2016-07-26 | 2018-02-01 | ヤンマー株式会社 | 認知症検査システム |
-
2020
- 2020-09-08 JP JP2020150612A patent/JP7390268B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002007560A (ja) | 2000-06-19 | 2002-01-11 | Az-Navi:Kk | 回想データベースシステム及び回想支援プログラムを記録した媒体 |
JP2007282992A (ja) | 2006-04-19 | 2007-11-01 | Sky Kk | 認知症診断支援システム |
JP2010092358A (ja) | 2008-10-09 | 2010-04-22 | Nippon Telegr & Teleph Corp <Ntt> | エピソード記憶想起支援システム、エピソード記憶想起支援方法およびプログラム |
JP2018015139A (ja) | 2016-07-26 | 2018-02-01 | ヤンマー株式会社 | 認知症検査システム |
Also Published As
Publication number | Publication date |
---|---|
JP2021058573A (ja) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7390268B2 (ja) | 認知機能予測装置、認知機能予測方法、プログラム及びシステム | |
EP3701529B1 (en) | System and method for assessing physiological state | |
JP6263308B1 (ja) | 認知症診断装置、認知症診断方法、及び認知症診断プログラム | |
Papesh et al. | Memory strength and specificity revealed by pupillometry | |
US10521666B2 (en) | Computing device for enhancing communications | |
US11848079B2 (en) | Biomarker identification | |
US10376197B2 (en) | Diagnosing system for consciousness level measurement and method thereof | |
Shi et al. | Theory and Application of Audio‐Based Assessment of Cough | |
KR20190101951A (ko) | 뇌활동을 분석하는 시스템 및 방법 그리고 그 애플리케이션 | |
JP2018015139A (ja) | 認知症検査システム | |
JP2020522028A (ja) | 音声に基づく医療評価 | |
JP2004310034A (ja) | 対話エージェントシステム | |
US20190013092A1 (en) | System and method for facilitating determination of a course of action for an individual | |
JP2023547875A (ja) | 個人化された認知介入システム及び方法 | |
CN111933291A (zh) | 医疗信息推荐装置、方法、***、设备及可读存储介质 | |
KR102321520B1 (ko) | 음성 분석을 통한 우울증 판별 및 케어 시스템 | |
Whitfield et al. | Effects of concurrent manual task performance on connected speech acoustics in individuals with Parkinson disease | |
CN116807476B (zh) | 基于界面式情感交互的多模态心理健康评估***及方法 | |
Poellabauer et al. | Challenges in concussion detection using vocal acoustic biomarkers | |
Ingham et al. | Measurement of speech effort during fluency-inducing conditions in adults who do and do not stutter | |
CN116661607A (zh) | 一种基于多模态情感交互的情绪调节方法及*** | |
Feenaughty et al. | Non-fluent speech following stroke is caused by impaired efference copy | |
KR102468833B1 (ko) | 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법 | |
US10820851B2 (en) | Diagnosing system for consciousness level measurement and method thereof | |
US20210315517A1 (en) | Biomarkers of inflammation in neurophysiological systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7390268 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |