JP2024062089A - 医用情報処理装置、医用情報処理方法、医用情報処理プログラム、及び医用情報処理システム - Google Patents

Abstract

【課題】心不全の程度を安定的に判断することである。
【解決手段】実施形態に係る医用情報処理装置は、取得部と、判定部と、出力制御部とを備える。取得部は、第１対象者の頸部が撮像された第１画像情報を取得する。判定部は、複数の第２対象者の頸部が撮像された第２画像情報と、前記複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１画像情報を入力することで、前記第１対象者の健康状態に関する判定結果を生成する。出力制御部は、前記判定結果に基づいて、前記第１対象者の心不全の程度の判断を支援する支援情報を出力する。
【選択図】図１

Description

本発明の実施形態は、医用情報処理装置、医用情報処理方法、医用情報処理プログラム、及び医用情報処理システムに関する。

心不全診療では、病歴聴取や身体診察などから重症度、病態、予後などに関する様々な情報を得ることができる。例えば、心不全の身体所見の一つとして、頸静脈怒張が知られている。

頸静脈怒張は、右内頸静脈の拍動範囲が上方向（頭部方向）に拡大する身体所見である。例えば、頸静脈怒張の観察は、ベッドを４５度起こした状態で行われる。医師は、この状態で右頸静脈の拍動を観察し、その拍動の上端と右胸骨角との間の垂直距離を計測する。この距離に「５ｃｍ」を足した値が内頸静脈圧に相当すると考えられている。例えば、熟練した医師であれば、対象者（患者）の右頸静脈の拍動の様子を全体的に観察しただけで、対象者の重症度、病態、予後などをある程度把握することができる。

Shinichi Goto,Mai Kimura,Yoshinori Katsumata,Shinya Goto,Takashi Kamatani,Genki Ichihara,Seien Ko,Junichi Sasaki,Keiichi Fukuda,Motoaki Sano. "Artificial intelligence to predict needs for urgent revascularization from 12-leads electrocardiography in emergency patients" PLOS ONE | https://doi.org/10.1371/journal.pone.0210103 January 9, 2019.

しかしながら、頸静脈怒張は、患者の体格によって所見の現れ方に違いが生じる場合がある。また、観察者（例えば医師）の力量によって所見の見え方に違いが生じる場合がある。このため、頸静脈怒張の診察に基づく心不全の程度の判断にはバラツキが生じ易く、安定的に判断することは難しい。

本発明が解決しようとする課題は、心不全の程度を安定的に判断することである。

上述した課題を解決し、目的を達成するために、本発明は、第１対象者の頸部が撮像された第１画像情報を取得する取得部と、複数の第２対象者の頸部が撮像された第２画像情報と、前記複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１画像情報を入力することで、前記第１対象者の健康状態に関する判定結果を生成する判定部と、前記判定結果に基づいて、前記第１対象者の心不全の程度の判断を支援する支援情報を出力する出力制御部とを備える、医用情報処理装置である。

また、本発明は、第１対象者の頸部が撮像された第１画像情報を取得し、複数の第２対象者の頸部が撮像された第２画像情報と、前記複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１画像情報を入力することで、前記第１対象者の健康状態に関する判定結果を生成し、前記判定結果に基づいて、前記第１対象者の心不全の程度の判断を支援する支援情報を出力することを含む、医用情報処理方法である。

また、本発明は、第１対象者の頸部が撮像された第１画像情報を取得し、複数の第２対象者の頸部が撮像された第２画像情報と、前記複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１画像情報を入力することで、前記第１対象者の健康状態に関する判定結果を生成し、前記判定結果に基づいて、前記第１対象者の心不全の程度の判断を支援する支援情報を出力する各処理をコンピュータに実行させる、医用情報処理プログラムである。

また、本発明は、第１対象者の頸部が撮像された第１画像情報を取得する取得部と、複数の第２対象者の頸部が撮像された第２画像情報と、前記複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１画像情報を入力することで、前記第１対象者の健康状態に関する判定結果を生成する判定部と、前記判定結果に基づいて、前記第１対象者の心不全の程度の判断を支援する支援情報を出力する出力制御部とを備える、医用情報処理システムである。

本発明によれば、心不全の程度を安定的に判断することが可能となる。

図１は、第１の実施形態に係る医用情報処理装置の構成例を示す図である。 図２は、第１の実施形態に係る医用情報処理装置により行われる学習時及び運用時の処理を示す図である。 図３は、第１の実施形態に係る医用情報処理装置における学習時の処理手順を示すフローチャートである。 図４は、第１の実施形態に係る学習部の処理を説明するための図である。 図５は、第１の実施形態に係る学習部の処理を説明するための図である。 図６は、第１の実施形態に係る医用情報処理装置における運用時の処理手順を示すフローチャートである。 図７は、第１の実施形態に係る出力制御部の処理を説明するための図である。 図８は、第１の実施形態に係る出力制御部の処理を説明するための図である。 図９は、第１の実施形態に係る医用情報処理装置による効果を説明するための図である。 図１０は、第１の実施形態の変形例に係る判定部の処理を説明するための図である。 図１１は、第２の実施形態に係る医用情報処理装置により行われる学習時及び運用時の処理を示す図である。 図１２は、第２の実施形態の変形例に係る医用情報処理装置により行われる学習時及び運用時の処理を示す図である。

以下、図面を参照して、実施形態に係る医用情報処理装置、医用情報処理方法、医用情報処理プログラム、及び医用情報処理システムを説明する。なお、実施形態は、以下の実施形態に限られるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用可能である。

（第１の実施形態）
図１を用いて、第１の実施形態に係る医用情報処理装置１００の構成例を説明する。図１は、第１の実施形態に係る医用情報処理装置１００の構成例を示す図である。なお、図１の構成例はあくまで一例であり、実施形態は図示の内容に限定されるものではない。

図１において、医用情報処理装置１００は、医師や患者等のユーザ（利用者）が操作する情報処理装置である。情報処理装置は、例えば、パーソナルコンピュータ、ワークステーション、サーバ装置等が挙げられる。医用情報処理装置１００は、病院や診療所等の医療機関や、心不全の程度に関する判定結果を出力するサービスを提供する者（例えば企業など）の管轄区域に設置されるのが好適である。また、利用者は、例えば、医療機関に勤務する医療従事者（医師など）や患者、患者を介助する介助者等を含む。

医用情報処理装置１００は、入力部１０１、出力部１０２、通信部１０３、記憶部１０４、及び処理部１１０を備える。入力部１０１、出力部１０２、通信部１０３、記憶部１０４、及び処理部１１０は、互いに接続される。

入力部１０１は、医用情報処理装置１００のユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理部１１０に出力する電子機器である。例えば、入力部１０１は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。

出力部１０２は、各種の情報を出力する電子機器である。例えば、出力部１０２は、情報を画像として出力するディスプレイ、音声として出力するスピーカ、振動パターンとして出力するバイブレータ等により実現される。

通信部１０３は、医用情報処理装置１００と外部装置との間で行われる通信を制御する電子機器である。例えば、通信部１０３は、撮影装置１０３ａと任意の通信方式によって接続され、撮影装置１０３ａとの間で各種の情報の送受信を行う。通信部１０３は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

ここで、撮影装置１０３ａは、可視光により視認可能な光学画像（カメラ画像）を撮像（撮影）する装置である。例えば、撮影装置１０３ａは、光学画像を撮影可能なカメラモジュールを搭載したスマートフォンや、光学画像を撮影可能なカメラに対応する。

例えば、撮影装置１０３ａは、対象者の頸部が撮像された画像情報（光学画像）を撮像（撮影）する。ここで、対象者は、主に心不全の患者であるが、例えば、心不全が疑われる者（健常者）や、心不全の検査を希望する者（健常者）であってもよい。また、画像情報は、所定期間の動画像を含む動画像情報と、静止画像に対応する静止画像情報とを含む。

具体的には、撮影装置１０３ａは、対象者の頸静脈を含む領域を撮像する。この頸静脈を含む領域は、頸静脈怒張を観察可能な領域に対応する。ここで、頸静脈怒張は、右内頸静脈の拍動範囲が上方向（頭部方向）に拡大する身体所見である。例えば、頸静脈怒張は、対象者をベッドに仰向けに寝かせ、上半身を４５度起こした状態で観察される。また、頸静脈怒張は、右内頸静脈が頸部の右側に位置することから、対象者の略右側から観察される。より具体的には、頸静脈怒張は、右頸部を含む領域のうち、右胸骨角と右下顎角との間の領域で観察される。なお、「略右側」と記載したのは、対象者の真横から寸分違わぬ方向に限定されるものではなく、頸静脈怒張を観察可能な範囲内でずれてもよいことを示す意図である。また、頸静脈怒張は、対象者の頸部の皮膚の上から観察可能であるので、透視画像（例えばＸ線画像など）である必要はない。

つまり、利用者は、撮影装置１０３ａを用いて対象者の略右側から対象者の頸静脈を含む領域を撮像する。そして、利用者は、撮影装置１０３ａによって撮像された画像情報を医用情報処理装置１００へ送信する。なお、医用情報処理装置１００への画像情報の送信は、自動的に行われてもよい。また、利用者が対象者自身である場合には、固定したカメラで撮像したり、スマートフォン等のインカメラで撮像したりするのが好適である。

なお、撮影装置１０３ａは、必ずしも医用情報処理装置１００に接続されなくともよい。例えば、撮影装置１０３ａによって撮像された画像情報は、ＤＶＤ（Digital Versatile Disc）等、任意の可搬性記録媒体を介して医用情報処理装置１００に格納されてもよい。

また、第１の実施形態では、画像情報が、所定期間の動画像を含む動画像情報である場合を説明するが、本発明はこれに限定されるものではない。例えば、画像情報は、静止画像に対応する静止画像情報であってもよい。なお、第１の実施形態では、処理対象が静止画像情報である場合については、後述する。

記憶部１０４は、各種の情報を記憶する電子機器である。例えば、記憶部１０４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。また、記憶部１０４は、処理部１１０がその機能を実現するためのプログラムを記憶する。

処理部１１０は、各種の情報処理機能を備えた電子機器（プロセッサ）である。例えば、処理部１１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路によって実現される。

例えば、処理部１１０は、取得部１１１、学習部１１２、判定部１１３、及び出力制御部１１４を備える。取得部１１１、学習部１１２、判定部１１３、及び出力制御部１１４の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶部１０４に記憶されている。処理部１１０は、各処理機能に対応するプログラムを記憶部１０４から読み出して実行することで、各プログラムに対応する処理機能を実現することができる。なお、処理部１１０の各処理機能については、図３を用いて後述する。

なお、図１に示した内容はあくまで一例であり、図示の内容に限定されるものではない。例えば、医用情報処理装置１００は、病院や診療所等の医療機関や、心不全の程度に関する判定結果を出力するサービスを提供する者（例えば企業など）の管轄区域に限らず、例えば対象者の自宅など、任意の場所に設置可能である。また、医用情報処理装置１００は、後述する学習済みモデルが動作可能な処理能力を備えていれば、スマートフォンやタブレットなど、任意の情報処理装置であっても良い。

また、例えば、処理部１１０が備える取得部１１１、学習部１１２、判定部１１３、及び出力制御部１１４の各処理機能は、互いに統合・分散することができる。また、処理部１１０が備える取得部１１１、学習部１１２、判定部１１３、及び出力制御部１１４のうち一部の処理機能を、医用情報処理装置１００とは別体として設けられた医用情報処理装置にて実行することも可能である。つまり、取得部１１１、学習部１１２、判定部１１３、及び出力制御部１１４の各処理機能は、複数の医用情報処理装置にて分散的に実行される医用情報処理システムとして実現することも可能である。

次に、図２を用いて、第１の実施形態に係る医用情報処理装置１００により行われる学習時及び運用時の処理を説明する。図２は、第１の実施形態に係る医用情報処理装置１００により行われる学習時及び運用時の処理を示す図である。

図２の上段に示すように、学習時には、医用情報処理装置１００は、例えば、対象者Ｓ－１～Ｓ－Ｎの動画像情報及び健康状態情報を学習用データ（訓練用データ）として用いて機械学習を行う。ここで、対象者Ｓ－１～Ｓ－Ｎの動画像情報は、例えば、撮影装置１０３ａによって撮像される動画像情報である。また、対象者Ｓ－１～Ｓ－Ｎの健康状態情報は、例えば、右房圧（Right Atrial Pressure：ＲＡＰ）である。右房圧とは、心不全（右心不全）の指標の一つであり、心臓の右心房にかかる血圧に対応する。右房圧は、例えば、心臓カテーテル検査によって測定される。

つまり、医用情報処理装置１００は、この機械学習により、対象者の動画像情報の入力により、健康状態情報（例えば、右房圧を示す情報）を判定結果として出力する学習済みモデルを構築する。この学習済みモデルは、記憶部１０４に格納される。

そして、図２の下段に示すように、運用時には、医用情報処理装置１００は、対象者Ｘの動画像情報を、学習時に構築した学習済みモデルに対して入力することで、学習済みモデルに対象者Ｘの判定結果を出力させる。そして、医用情報処理装置１００は、学習済みモデルから出力された対象者Ｘの判定結果、つまり、対象者Ｘの健康状態情報をユーザに提示する。なお、ユーザに提示される健康状態情報は、右房圧そのものを示す値であってもよいし、右房圧に基づくスコアなどであってもよい。

なお、図２に示した内容はあくまで一例であり、図示の内容に限定されるものではない。例えば、図２では、健康状態情報として右房圧を利用する場合を説明したが、実施形態はこれに限定されるものではない。例えば、健康状態情報としては、下大静脈（Inferior Vena Cava：ＩＶＣ）径や内頸静脈圧等、他の心不全の指標であってもよいし、複数の心不全の指標を任意に組み合わせてもよい。なお、ＩＶＣ径は、例えば、超音波検査によって測定される。また、内頸静脈圧は、例えば、医師の目視による頸静脈怒張の上端と右胸骨角との間の距離に「５ｃｍ」を加算することで計測（概算）される。つまり、健康状態情報は、対象者Ｘの心不全の程度に関する情報を含む。

また、第１の実施形態では、心不全の程度を機械学習により判定するために、心不全の指標を用いて学習済みモデルを構築する場合を説明するが、本発明はこれに限定されるものではない。例えば、脳卒中、心筋梗塞、及び不整脈などの他の心血管疾患を機械学習による判定するために、他の心血管疾患に関する指標が健康状態情報として用いられてもよい。

以下、第１の実施形態に係る医用情報処理装置１００の各処理機能について説明する。以下では先ず、学習済みモデルを生成する学習時の処理について説明し、次に、学習済みモデルを用いて判定結果を出力する運用時の処理について説明する。

なお、以下の実施形態において、対象者Ｓ－１～Ｓ－Ｎ、及び対象者Ｘは、典型的には心不全の患者であるが、これに限定されるものではない。例えば、対象者Ｓ－１～Ｓ－Ｎ、及び対象者Ｘは、心不全が疑われる者（健常者）や、心不全の検査を希望する者（健常者）を含んでいてもよい。

また、以下の実施形態では、学習時における対象者Ｓ－１～Ｓ－Ｎと、運用時における対象者Ｘとを書き分けて説明する。対象者Ｘは、基本的には対象者Ｓ－１～Ｓ－Ｎとは別の人物であるが、対象者Ｓ－１～Ｓ－Ｎのうちいずれかと同一人物であってもよい。なお、対象者Ｘは、第１対象者とも記載する。対象者Ｓ－１～Ｓ－Ｎは、第２対象者とも記載する。

図３を用いて、第１の実施形態に係る医用情報処理装置１００における学習時の処理手順を説明する。図３は、第１の実施形態に係る医用情報処理装置１００における学習時の処理手順を示すフローチャートである。図３に示す処理は、例えば、機械学習を開始する旨の指示をユーザから受け付けた場合に開始される。

図３に示すように、医用情報処理装置１００において、処理部１１０は、処理タイミングか否かを判定する（ステップＳ１０１）。例えば、処理部１１０は、機械学習を開始する旨の指示をユーザから受け付けた場合に、処理タイミングであると判定する（ステップＳ１０１，Ｙｅｓ）。なお、機械学習を開始する旨の指示をユーザから受け付けるまでは、処理タイミングでないと判定し（ステップＳ１０１，Ｎｏ）、処理部１１０は、ステップＳ１０２以降の処理を実行せず、待機状態である。

処理タイミングであると判定した場合（ステップＳ１０１，Ｙｅｓ）、取得部１１１は、対象者Ｓ－１～Ｓ－Ｎそれぞれの動画像情報及び健康状態情報を記憶部１０４から読み出す（ステップＳ１０２）。具体的には、取得部１１１は、対象者Ｓ－１～Ｓ－Ｎそれぞれについて、動画像情報と、健康状態情報とを記憶部１０４から読み出す。なお、取得部１１１によって読み出される各種の情報（動画像情報及び健康状態情報）は、予め記憶部１０４に記憶されている。

続いて、学習部１１２は、動画像情報及び健康状態情報を学習用データとした機械学習によって学習済みモデルを生成する（ステップＳ１０３）。具体的には、学習部１１２は、対象者Ｓ－１～Ｓ－Ｎそれぞれの動画像情報と、健康状態情報とを用いて機械学習を行い、学習済みモデルを生成する。

図４及び図５を用いて、第１の実施形態に係る学習部１１２の処理を説明する。図４及び図５は、第１の実施形態に係る学習部１１２の処理を説明するための図である。

図４に示すように、動画像情報は、各対象者の頸部の右側が撮影された所定期間の動画データである。具体的には、図４の破線領域に示すように、動画像情報は、各対象者の右頸部を含む領域のうち、右胸骨角と右下顎角との間の領域を含む。ここで、所定期間は、少なくとも１心拍を含む期間（撮影時間）であるのが好適である。具体的には、所定期間は、１秒以上３秒未満であるのが好適であり、１．５秒以上２．５秒未満であるのが更に好適である。

また、各対象者の動画像情報の撮影時間、フレームレート、及び画素数（解像度）等の情報は、互いに異なっていてもよい。また、各対象者の動画像情報の撮影が開始された心時相（撮影開始時相）も、互いに異なっていてもよい。つまり、各対象者の動画像情報の撮影開始時相は、拡張期や収縮期など、様々な心時相であってよい。

そして、学習部１１２は、各対象者の動画像情報に対して、健康状態情報に基づくラベリングを行う。例えば、学習部１１２は、対象者Ｓ－１の右房圧が８［ｃｍＨ_２Ｏ］以上であった場合には、対象者Ｓ－１の動画像情報に対して「１」をラベリングする。また、学習部１１２は、対象者Ｓ－２の右房圧が８［ｃｍＨ_２Ｏ］未満であった場合には、対象者Ｓ－２の動画像情報に対して「０」をラベリングする。なお、一般的に、右房圧が８［ｃｍＨ_２Ｏ］以上である場合には、頸静脈怒張が認められると診断される。

このように、学習部１１２は、それぞれの対象者Ｓ－１～Ｓ－Ｎについて、動画像情報に対して、健康状態情報に基づくラベリングを行う。そして、学習部１１２は、ラベリングされた動画像情報を用いて機械学習を行って、学習済みモデルを生成する。なお、対象者Ｓ－１～Ｓ－Ｎには、様々な体格の患者が含まれるのが好適である。

例えば、学習部１１２は、図５に示す学習モデルを用いて機械学習を行う。図５において、「３Ｄ－ＣＮＮ」は、３次元の情報を解析する学習モデルであり、３次元畳み込みニューラルネットワークに対応する。３次元畳み込みニューラルネットワークは、動画像情報を、画像平面における「縦方向」及び「横方向」に加え、撮影時間に沿った「時間方向」を含む３次元の情報として扱うことにより、動画像情報から特徴を抽出する。「Ｐｏｏｌｉｎｇ」は、３Ｄ－ＣＮＮによって抽出された特徴を整理するプーリング処理に対応する。「Ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ」は、全結合層に対応する。つまり、学習部１１２は、機械学習として、３次元畳み込みニューラルネットワークを用いた学習を行うことで、学習済みモデルを生成する。

このように、学習部１１２は、対象者Ｓ－１～Ｓ－Ｎの動画像情報と、対象者Ｓ－１～Ｓ－Ｎの健康状態情報とを用いた機械学習によって、学習済みモデルを生成する。この結果、動画像情報に描出される頸静脈怒張の画像的な特徴と、右房圧の値に基づく頸静脈怒張の有無とが対応づけられる。

なお、図４及び図５に示した内容はあくまで一例であり、図示の内容に限定されるものではない。例えば、図５に示した学習モデルの種類、数、及び順序については、任意に変更可能である。また、３Ｄ－ＣＮＮにおけるカーネルサイズは、任意に変更可能である。また、学習用データとして利用される健康状態情報は、右房圧に基づくラベリングに限定されるものではない。例えば、健康状態情報は、ＩＶＣ径や内頸静脈圧等、他の心不全の指標に基づくラベリングであってもよい。また、「０」及び「１」以外の値を含む複数段階のラベリングや、右房圧の値そのものを学習用データとして利用することも可能である。

図３の説明に戻る。学習部１１２は、学習済みモデルを記憶部１０４に格納する（ステップＳ１０４）。記憶部１０４に格納された学習済みモデルは、任意のタイミングで読み出され、利用可能である。また、学習済みモデルは、医用情報処理装置１００とは別体で設けられた任意の医用情報処理装置に転送・格納することで、転送先の医用情報処理装置においても利用可能である。

図６を用いて、第１の実施形態に係る医用情報処理装置１００における運用時の処理手順を説明する。図６は、第１の実施形態に係る医用情報処理装置１００における運用時の処理手順を示すフローチャートである。図６に示す処理は、例えば、支援情報を表示する旨の指示をユーザから受け付けた場合に開始される。

図６に示すように、医用情報処理装置１００において、処理部１１０は、処理タイミングか否かを判定する（ステップＳ２０１）。例えば、処理部１１０は、支援情報を表示する旨の指示をユーザから受け付けた場合に、処理タイミングであると判定する（ステップＳ２０１，Ｙｅｓ）。なお、支援情報を表示する旨の指示をユーザから受け付けるまでは、処理タイミングでないと判定し（ステップＳ２０１，Ｎｏ）、処理部１１０は、ステップＳ２０２以降の処理を実行せず、待機状態である。

処理タイミングであると判定した場合（ステップＳ２０１，Ｙｅｓ）、取得部１１１は、対象者Ｘの頸部が撮像された動画像情報を記憶部１０４から読み出す（ステップＳ２０２）。例えば、取得部１１１は、対象者Ｘの動画像情報を記憶部１０４から読み出すことで取得する。

なお、対象者Ｘの動画像情報は、リアルタイムで計測された情報であってもよいし、予め撮像された動画像情報であってもよい。また、ここで読み出される動画像情報の各種条件（撮影時間、撮影開始時相、フレームレート、及び画素数など）は、学習用データで用いた動画像情報の各種条件と必ずしも同一条件でなくてもよい。

続いて、判定部１１３は、対象者Ｘの動画像情報を学習済みモデルに入力することで、対象者Ｘの健康状態情報を判定する（ステップＳ２０３）。例えば、判定部１１３は、記憶部１０４から学習済みモデルを読み出す。そして、判定部１１３は、読み出した学習済みモデルに対して、取得部１１１によって取得された対象者Ｘの動画像情報を入力することで、対象者Ｘの健康状態情報についての判定結果を学習済みモデルに出力させる。具体的には、学習済みモデルは、入力された対象者Ｘの動画像情報が、「０」がラベリングされた動画像情報に類似するか、「１」がラベリングされた動画像情報に類似するかを判定し、判定結果として「０」又は「１」を出力する。その後、判定部１１３は、学習済みモデルから出力された判定結果を出力制御部１１４へ送る。

ここで、判定結果「１」は、対象者Ｘの動画像情報が、右房圧が８［ｃｍＨ_２Ｏ］以上であった対象者の動画像情報に類似することを示す。また、判定結果「０」は、対象者Ｘの動画像情報が、右房圧が８［ｃｍＨ_２Ｏ］未満であった対象者の動画像情報に類似することを示す。言い換えると、判定部１１３は、対象者Ｘの右房圧が８［ｃｍＨ_２Ｏ］以上であるか否かを判定する。

なお、判定結果は、必ずしも対象者Ｘの右房圧が８［ｃｍＨ_２Ｏ］以上であるか否かのみを示すものでなくてもよい。例えば、複数段階のラベリングや右房圧の値そのものが学習用データとして利用されていた場合には、複数段階のラベリングや右房圧の値そのものを判定結果として出力することができる。また、これを利用して、例えば、心不全の状態を「０」から「１００」のスコア（評価値）で表した「心不全状態スコア」を判定結果として出力することも可能である。つまり、判定部１１３は、判定結果として、対象者Ｘの心不全の状態をスコアで表した心不全状態スコアを生成する。

そして、出力制御部１１４は、対象者Ｘの健康状態情報（判定結果）に基づいて、支援情報を生成する（ステップＳ２０４）。例えば、出力制御部１１４は、対象者Ｘの判定結果に応じたメッセージを示す情報を生成する。

図７を用いて、第１の実施形態に係る出力制御部１１４の処理を説明する。図７は、第１の実施形態に係る出力制御部１１４の処理を説明するための図である。図７には、心不全状態スコアに応じた支援情報が記憶されたテーブルＴ１０を例示する。なお、テーブルＴ１０は、例えば、記憶部１０４に予め記憶されている。

図７に示すように、テーブルＴ１０は、心不全状態スコアと、支援情報とが対応付けられた情報である。心不全状態スコアとしては、例えば、「０～３０」、「３０～７０」、及び「７０～１００」というスコアの範囲が格納される。支援情報としては、例えば、「現状を維持しましょう。」、「適度な運動を心がけましょう。」、及び「水分、塩分の摂取量に注意しましょう。」などのメッセージを示す情報が格納される。

例えば、心不全状態スコアが「１５」である場合には、出力制御部１１４は、テーブルＴ１０を参照し、心不全状態スコア「１５」に対応する支援情報「現状を維持しましょう。」を読み出す。また、例えば、心不全状態スコアが「４５」である場合には、出力制御部１１４は、テーブルＴ１０を参照し、心不全状態スコア「４５」に対応する支援情報「適度な運動を心がけましょう。」を読み出す。また、例えば、心不全状態スコアが「８０」である場合には、出力制御部１１４は、テーブルＴ１０を参照し、心不全状態スコア「８０」に対応する支援情報「水分、塩分の摂取量に注意しましょう。」を読み出す。

このように、出力制御部１１４は、テーブルＴ１０から対象者Ｘの健康状態情報（判定結果）に対応する支援情報を読み出すことで、支援情報を生成する。

なお、図７に示した内容はあくまで一例であり、図示の内容に限定されるものではない。例えば、図７に示したメッセージ内容は支援情報の一例であるが、これに限定されるものではない。支援情報としては、判定結果に応じて治療（食事、水分摂取など）を行うための情報、判定結果に応じて生活を指導するための情報、判定結果に応じて運動（運動量や運動時間）を指導するための情報、判定結果に応じて薬剤の調整を行うための情報、及び、判定結果に応じて精神状態を確認するための情報のうち少なくとも一つを任意に設定し、テーブルＴ１０に予め登録しておくことができる。

また、判定結果をそのまま支援情報として出力することも可能である。例えば、出力制御部１１４は、支援情報として、対象者Ｘの右房圧が８［ｃｍＨ_２Ｏ］以上であるか否かを示す２段階のラベリングや、複数段階のラベリング、右房圧の値（推定値）、及び心不全状態スコアのうち少なくとも一つを判定結果として出力することができる。

そして、出力制御部１１４は、支援情報を表示する（ステップＳ２０５）。例えば、出力制御部１１４は、図７のテーブルＴ１０から読み出した支援情報を出力部１０２に表示させる。

例えば、出力制御部１１４は、図８に示すように、「適度な運動を心がけましょう。」というメッセージＭ１０を、出力部１０２に表示させる。なお、図８は、第１の実施形態に係る出力制御部１１４の処理を説明するための図である。

なお、出力制御部１１４によって出力される支援情報は、図８のメッセージＭ１０に限定されるものではない。例えば、出力制御部１１４は、ステップＳ２０４にて生成可能な支援情報を任意に表示することができる。

また、支援情報の出力先は、出力部１０２に限定されるものではない。例えば、撮影装置１０３ａがスマートフォンなど、ディスプレイ（出力装置）を備えている場合には、出力制御部１１４は、支援情報を撮影装置１０３ａへ送信し、撮影装置１０３ａにて支援情報を表示させてもよい。また、出力制御部１１４は、患者と医師など、複数の利用者に対して支援情報を提供するために、各利用者が閲覧可能な端末に支援情報を出力させることができる。また、支援情報の出力先は、ディスプレイに限らず、スピーカなどの他の出力形態の装置に出力させることも可能である。

上述してきたように、第１の実施形態に係る医用情報処理装置１００において、取得部１１１は、第１対象者の頸部が撮像された第１画像情報を取得する。判定部１１３は、複数の第２対象者の頸部が撮像された第２画像情報と、複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、第１画像情報を入力することで、第１対象者の健康状態に関する判定結果を生成する。出力制御部１１４は、判定結果に基づいて、第１対象者の心不全の程度の判断を支援する支援情報を出力する。これによれば、第１の実施形態に係る医用情報処理装置１００は、心不全の程度を安定的に判断することを可能にする。

例えば、医用情報処理装置１００は、対象者の動画像情報を学習済みモデルに入力することで、対象者の心不全の程度に関する判定結果を生成し、ユーザに提示する。このため、ユーザは、心不全の程度に関する判定結果を参照した上で、心不全の程度を判断することができる。したがって、ユーザは、患者の体格に依らず、患者の現在の心不全の程度を安定的に判断することができる。また、ユーザが未熟な医師や患者本人、介助者であっても、患者の現在の心不全の程度を安定的に判断することができる。

図９を用いて、第１の実施形態に係る医用情報処理装置１００による効果を説明する。図９は、第１の実施形態に係る医用情報処理装置１００による効果を説明するための図である。

図９には、テストコホートにおける学習モデルを用いたＲＯＣ（Receiver Operating Characteristic）曲線を示す。テストコホートでは、心不全入院患者１４００人を対象に、第三者が固定カメラで動画撮影を行い、５秒間の動画を入力情報とし、健康状態情報に循環器内科専門医２名による評価（視診＋超音波検査）を用いて学習モデルを作成した。動画情報は、時間軸を加えた三次元として畳み込みニューラルネットワークに使用した。図９において、実線は、本実施形態に係る医用情報処理装置１００（学習済みモデル）による判定結果と、実際の医師による判定結果とを踏まえて描出したＲＯＣ曲線である。なお、図９の判定結果は、右房圧が８［ｃｍＨ_２Ｏ］以上であるか否かで判定されたものである。

図９において、実線のＲＯＣ曲線のＡＵＣ（Area Under the Curve）は、「０．８６」であった。この結果から、本実施形態に係る医用情報処理装置１００は、右房圧が８［ｃｍＨ_２Ｏ］以上であるか否かを高確率で判定したと言える。

なお、本実施形態に記載した「医用」とは、対象者が患者に限定されることを意図したものではない。本実施形態に係る医用情報処理装置１００の処理機能は、対象者の循環器疾患の発症予防や健康維持などに広く適用可能である。このため、本実施形態に係る医用情報処理装置１００の処理機能は、対象者が健常者である場合にも適用可能である。

（第１の実施形態の変形例）
第１の実施形態では、患者の現在の心不全の程度を示す判定結果を生成する場合を説明したが、実施形態はこれに限定されるものではない。例えば、判定部１１３は、対象者Ｘの判定結果の経時的な変化に基づいて、対象者Ｘの将来の健康状態に関する将来状態情報を判定（推定）することができる。

図１０は、第１の実施形態の変形例に係る判定部１１３の処理を説明するための図である。図１０には、心不全状態スコアを経過日数に応じてプロットしたグラフを例示する。図１０において、縦軸は、心不全状態スコアに対応し、横軸は、経過日数に対応する。なお、過去の心不全状態スコアは、任意の記憶装置（例えば記憶部１０４）に記憶されている。

例えば、判定部１１３は、記憶部１０４から過去の心不全状態スコアを読み出して、図１０に示すようにグラフにプロットする。そして、判定部１１３は、心不全状態スコアの経時的な変化に基づいて、将来状態情報を判定する。例えば、判定部１１３は、重回帰分析、Ｃｏｘ回帰分析、及びロジスティック回帰分析など、任意の分析手法を用いて、心不全状態スコアの経時的な変化から将来の心不全状態スコアを算出（推定）する。そして、判定部１１３は、算出した将来の心不全状態スコアを将来状態情報として出力する。

そして、出力制御部１１４は、判定部１１３によって出力された将来状態情報に基づいて、支援情報を生成する。なお、将来状態情報に基づく支援情報の生成は、第１の実施形態にて説明した健康状態情報に基づく支援情報の生成と同様であるので、説明を省略する。つまり、出力制御部１１４は、将来状態情報を健康状態情報と同様に扱うことで、支援情報を生成する。例えば、出力制御部１１４は、図７に示したテーブルＴ１０を参照して支援情報を生成しても良いし、将来状態情報（将来の心不全状態スコア）をそのまま支援情報として出力してもよい。

このように、判定部１１３は、対象者Ｘの過去の心不全状態スコアの経時的な変化に基づいて、対象者Ｘの将来の心不全状態スコアを推定することができる。

（第２の実施形態）
上記の第１の実施形態では、処理対象が動画像情報である場合を説明したが、本発明はこれに限定されるものではない。例えば、処理対象となる画像情報は、静止画像に対応する静止画像情報であってもよい。そこで、第２の実施形態では、処理対象が静止画像情報である場合を説明する。

第２の実施形態に係る医用情報処理装置１００の構成は、第１の実施形態にて説明した医用情報処理装置１００の構成と同様であるので、説明を省略する。

次に、図１１を用いて、第２の実施形態に係る医用情報処理装置１００により行われる学習時及び運用時の処理を説明する。図１１は、第２の実施形態に係る医用情報処理装置１００により行われる学習時及び運用時の処理を示す図である。

図１１の上段に示すように、学習時には、学習部１１２は、例えば、対象者Ｓ－１～Ｓ－Ｎの静止画像情報、心時相情報、及び健康状態情報を学習用データ（訓練用データ）として用いて機械学習を行う。ここで、対象者Ｓ－１～Ｓ－Ｎの静止画像情報は、例えば、撮影装置１０３ａによって対象者の頸部が撮像されたものである。静止画像情報の撮像領域は、第１の実施形態にて説明した動画像情報の撮像領域と同様である。また、対象者Ｓ－１～Ｓ－Ｎの心時相情報は、静止画像情報の撮像時の心時相を表す情報であり、例えば、拡張期であるか、収縮期であるかを示す。また、対象者Ｓ－１～Ｓ－Ｎの健康状態情報は、例えば、右房圧である。

つまり、学習部１１２は、この機械学習により、対象者の静止画像情報及び心時相情報の入力により、健康状態情報（例えば、右房圧を示す情報）を判定結果として出力する学習済みモデルを構築する。この学習済みモデルは、記憶部１０４に格納される。

そして、図１１の下段に示すように、運用時には、判定部１１３は、対象者Ｘの静止画像情報及び心時相情報を、学習時に構築した学習済みモデルに対して入力することで、学習済みモデルに対象者Ｘの判定結果、つまり、対象者Ｘの健康状態情報を出力させる。なお、心時相情報は、利用者が手動で入力してもよいし、心電計などの心拍情報を取得する装置による計測データと、静止画像情報の撮像時刻とを対応づけることにより自動的に入力してもよい。

そして、出力制御部１１４は、対象者Ｘの健康状態情報（判定結果）に基づいて、支援情報を生成し、生成した支援情報を出力する。なお、出力制御部１１４の処理は、第１の実施形態にて説明した出力制御部１１４の処理と同様であるので、説明を省略する。

なお、図１１に示した内容はあくまで一例であり、図示の内容に限定されるものではない。例えば、上記の説明では、心時相情報が拡張期又は収縮期を示す情報である場合を説明したが、本発明はこれに限定されるものではない。例えば、心時相情報は、Ｒ波と次のＲ波との間における心時相の経過度合いを百分率などで示した情報であってもよい。

すなわち、第２の実施形態に係る医用情報処理装置１００において、取得部１１１は、第１対象者の頸部が撮像された第１静止画像情報及び第１心時相情報を取得する。判定部１１３は、複数の第２対象者の頸部が撮像された静止画像に対応する第２静止画像情報と、第２静止画像情報の撮影時の心時相を示す第２心時相情報と、複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、第１静止画像情報及び第１心時相情報を入力することで、第１対象者の健康状態に関する判定結果を生成する。出力制御部１１４は、判定結果に基づいて、第１対象者の心不全の程度の判断を支援する支援情報を出力する。これによれば、第２の実施形態に係る医用情報処理装置１００は、静止画像情報を用いた場合にも、心不全の程度を安定的に判断することを可能にする。

（第２の実施形態の変形例）
第２の実施形態では、心電計などを用いて検出した心時相情報を手動入力又は自動入力する場合を説明したが、これに限定されるものではない。例えば、心電計などを用いなくとも、機械学習により得られた学習済みモデルを用いることで、対象者Ｘの静止画像情報から対象者Ｘの心時相情報を取得することも可能である。

図１２を用いて、第２の実施形態の変形例に係る医用情報処理装置１００により行われる学習時及び運用時の処理を説明する。図１２は、第２の実施形態の変形例に係る医用情報処理装置１００により行われる学習時及び運用時の処理を示す図である。

図１２の上段に示すように、学習時には、学習部１１２は、例えば、対象者Ｓ－１～Ｓ－Ｎの静止画像情報、及び心時相情報を学習用データ（訓練用データ）として用いて機械学習を行う。つまり、この機械学習により、学習部１１２は、対象者の静止画像情報の入力により、心時相情報を判定結果として出力する学習済みモデルを構築する。この学習済みモデルは、記憶部１０４に格納される。

そして、図１２の下段に示すように、運用時には、判定部１１３は、対象者Ｘの静止画像情報を、学習時に構築した学習済みモデルに対して入力することで、学習済みモデルに対象者Ｘの判定結果、つまり、対象者Ｘの心時相情報を出力させる。

そして、図１２の学習済みモデルにより出力された対象者Ｘの心時相情報を、図１１の運用時に入力される心時相情報として利用することで、心電計などを用いなくとも、図１１の学習済みモデルを運用することができる。

なお、図１２の学習用データを提供する対象者Ｓ－１～Ｓ－Ｎは、必ずしも図１１の学習用データを提供する対象者Ｓ－１～Ｓ－Ｎと同一でなくてもよい。つまり、図１１及び図１２の学習用データは、同一の母集団から得られたデータであってもよいし、互いに異なる母集団から得られたデータであってもよいし、一部重複する母集団から得られたデータであってもよい。

すなわち、判定部１１３は、更に、複数の第３対象者の頸部が撮像された静止画像に対応する第３静止画像情報と、第３静止画像情報の撮影時の心時相を示す第３心時相情報とを用いて機械学習された学習済みモデルに対して、第１静止画像情報を入力することで、第１静止画像情報の撮影時の心時相を示す第１心時相情報を生成する。

（その他の実施形態）
上述した実施形態以外にも、種々の異なる形態にて実施されてもよい。

上述の実施形態は、以上の変形例と任意に組み合わせることができるし、以上の変形例同士を任意に組み合わせてもよい。

また、上述した実施形態の医用情報処理装置１００で実行されるプログラム（運動支援プログラム）は、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、例えばＲＯＭ等の不揮発性の記憶媒体に予め組み込んで提供するように構成してもよい。

１００ 医用情報処理装置
１０１ 入力部
１０２ 出力部
１０３ 通信部
１０４ 記憶部
１１０ 処理部
１１１ 取得部
１１２ 学習部
１１３ 判定部
１１４ 出力制御部

Claims (18)

1. 第１対象者の頸部が撮像された第１画像情報を取得する取得部と、
   複数の第２対象者の頸部が撮像された第２画像情報と、前記複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１画像情報を入力することで、前記第１対象者の健康状態に関する判定結果を生成する判定部と、
   前記判定結果に基づいて、前記第１対象者の心不全の程度の判断を支援する支援情報を出力する出力制御部と
   を備える、医用情報処理装置。
2. 前記取得部は、前記第１画像情報として、所定期間の動画像を含む第１動画像情報を取得する、
   請求項１に記載の医用情報処理装置。
3. 前記判定部は、
   複数の第２対象者それぞれの頸部が撮像された所定期間の動画像を含む第２動画像情報と、前記複数の第２対象者それぞれの前記健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１動画像情報を入力することで、前記第１対象者の前記判定結果を生成する、
   請求項２に記載の医用情報処理装置。
4. 前記所定期間は、少なくとも１心拍を含む期間である、
   請求項２又は３に記載の医用情報処理装置。
5. 前記所定期間は、１秒以上３秒未満である、
   請求項２又は３に記載の医用情報処理装置。
6. 前記所定期間は、１．５秒以上２．５秒未満である、
   請求項５に記載の医用情報処理装置。
7. 前記取得部は、前記第１画像情報として、静止画像に対応する第１静止画像情報を取得する、
   請求項１に記載の医用情報処理装置。
8. 前記判定部は、複数の第２対象者の頸部が撮像された静止画像に対応する第２静止画像情報と、前記第２静止画像情報の撮影時の心時相を示す第２心時相情報と、前記複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１静止画像情報及び前記第１静止画像情報の撮影時の心時相を示す第１心時相情報を入力することで、前記第１対象者の健康状態に関する判定結果を生成する、
   請求項７に記載の医用情報処理装置。
9. 前記判定部は、更に、複数の第３対象者の頸部が撮像された静止画像に対応する第３静止画像情報と、前記第３静止画像情報の撮影時の心時相を示す第３心時相情報とを用いて機械学習された学習済みモデルに対して、前記第１静止画像情報を入力することで、前記第１心時相情報を生成する、
   請求項８に記載の医用情報処理装置。
10. 前記判定部は、前記判定結果として、前記第１対象者の心不全の状態をスコアで表した心不全状態スコアを出力する、
    請求項１に記載の医用情報処理装置。
11. 出力制御部は、前記支援情報として、判定結果に応じて治療を行うための情報、判定結果に応じて生活を指導するための情報、判定結果に応じて運動を指導するための情報、判定結果に応じて薬剤の調整を行うための情報、及び、判定結果に応じて精神状態を確認するための情報のうち少なくとも一つを出力する、
    請求項１に記載の医用情報処理装置。
12. 出力制御部は、前記支援情報として、前記判定結果を出力する、
    請求項１に記載の医用情報処理装置。
13. 前記判定部は、前記第１対象者の前記判定結果の経時的な変化に基づいて、前記第１対象者の将来の健康状態に関する将来状態情報を判定する、
    請求項１に記載の医用情報処理装置。
14. 前記複数の第２対象者の前記第２画像情報と、前記複数の第２対象者の健康状態情報とを用いた機械学習によって、前記学習済みモデルを生成する学習部を更に備える、
    請求項１に記載の医用情報処理装置。
15. 前記学習部は、前記機械学習として、３次元畳み込みニューラルネットワークを用いた学習を行うことで、前記学習済みモデルを生成する、
    請求項１４に記載の医用情報処理装置。
16. 第１対象者の頸部が撮像された第１画像情報を取得し、
    複数の第２対象者の頸部が撮像された第２画像情報と、前記複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１画像情報を入力することで、前記第１対象者の健康状態に関する判定結果を生成し、
    前記判定結果に基づいて、前記第１対象者の心不全の程度の判断を支援する支援情報を出力する
    ことを含む、医用情報処理方法。
17. 第１対象者の頸部が撮像された第１画像情報を取得し、
    複数の第２対象者の頸部が撮像された第２画像情報と、前記複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１画像情報を入力することで、前記第１対象者の健康状態に関する判定結果を生成し、
    前記判定結果に基づいて、前記第１対象者の心不全の程度の判断を支援する支援情報を出力する
    各処理をコンピュータに実行させる、医用情報処理プログラム。
18. 第１対象者の頸部が撮像された第１画像情報を取得する取得部と、
    複数の第２対象者の頸部が撮像された第２画像情報と、前記複数の第２対象者の健康状態に関する健康状態情報とを用いて機械学習された学習済みモデルに対して、前記第１画像情報を入力することで、前記第１対象者の健康状態に関する判定結果を生成する判定部と、
    前記判定結果に基づいて、前記第１対象者の心不全の程度の判断を支援する支援情報を出力する出力制御部と
    を備える、医用情報処理システム。

Images