以下、図面を参照して、実施形態に係る装置、医用情報処理装置、及びプログラムを説明する。なお、以下に説明する実施形態は、以下の説明に限定されるものではない。以下に説明する実施形態は、処理内容に矛盾が生じない範囲で他の実施形態や従来技術との組み合わせが可能である。
(第1の実施形態)
第1の実施形態に係る超音波診断装置及び医用情報処理装置について説明する。ここで、第1の実施形態に係る超音波診断装置は、学習済みモデルを備え、学習済みモデルを用いて局所的な壁運動異常を高精度かつロバストに識別することができる。また、第1の実施形態に係る医用情報処理装置は、超音波診断装置が備える学習済みモデルを構築する。なお、第1の実施形態では、超音波診断装置が学習済みモデルを備える場合を説明するが、実施形態はこれに限定されるものではない。超音波診断装置以外の装置が学習済みモデルを備える場合の実施形態については、後述する。
図1及び図2を用いて、第1の実施形態に係る超音波診断装置及び医用情報処理装置の構成について説明する。図1は、第1の実施形態に係る超音波診断装置100の構成例を示すブロック図である。図2は、第1の実施形態に係る医用情報処理装置200の構成例を示すブロック図である。なお、第1の実施形態では、超音波診断装置100及び医用情報処理装置200がネットワークNWを介して通信可能に接続される場合を説明するが、これに限定されるものではない。例えば、超音波診断装置100及び医用情報処理装置200は、ネットワークNWを介さずとも、記憶媒体、又は、取り外し可能な外部記憶装置等を介して情報の受け渡しを行うことが可能である。
まず、図1に示す超音波診断装置100の構成について説明する。図1に示すように、第1の実施形態に係る超音波診断装置100は、超音波プローブ101、入力インタフェース102、ディスプレイ103、心電計104、及び装置本体105を有する。超音波プローブ101、入力インタフェース102、ディスプレイ103、及び心電計104は、装置本体105と通信可能に接続される。
超音波プローブ101は、複数の振動子を有し、これら複数の振動子は、装置本体105が有する送受信回路110から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ101は、被検体Xからの反射波を受信して電気信号に変換する。また、超音波プローブ101は、振動子に設けられる整合層と、振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ101は、装置本体105と着脱自在に接続される。
超音波プローブ101から被検体Xに超音波が送信されると、送信された超音波は、被検体Xの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ101が有する複数の振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
入力インタフェース102は、操作者から各種の指示及び情報の入力操作を受け付ける。具体的には、入力インタフェース102は、操作者から受け付けた入力操作を電気信号へ変換して装置本体105の処理回路170に出力する。例えば、入力インタフェース102は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、入力インタフェース102は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース102の例に含まれる。
ディスプレイ103は、各種の情報及び画像を表示する。具体的には、ディスプレイ103は、処理回路170から送られる情報及び画像のデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ103は、液晶モニタやCRT(Cathode Ray Tube)モニタ、タッチパネル等によって実現される。なお、超音波診断装置100が備える出力装置としては、ディスプレイ103に限らず、例えば、スピーカーを備えていても良い。例えば、スピーカーは、装置本体105の処理状況を操作者に通知するために、ビープ音などの所定の音声を出力する。
心電計104は、被検体Xの生体信号として、被検体Xの心電波形(Electrocardiogram:ECG)を取得する。心電計104は、取得した心電波形を装置本体105に送信する。なお、本実施形態では、被検体Xの心臓の心時相に関する情報を取得する手段の一つとして、心電計104を用いる場合を説明するが、実施形態はこれに限定されるものではない。例えば、超音波診断装置100は、心音図の第II音(第二音)の時間若しくはスペクトラムドプラによる心臓の駆出血流の計測により求まる大動脈弁閉鎖(Aortic Valve Close:AVC)時間を取得することで、被検体Xの心臓の心時相に関する情報を取得してもよい。
装置本体105は、超音波プローブ101が受信した反射波信号に基づいて超音波画像データを生成する装置である。図1に示す装置本体105は、超音波プローブ101が受信した2次元の反射波データに基づいて2次元の超音波画像データを生成可能な装置である。また、装置本体105は、超音波プローブ101が受信した3次元の反射波データに基づいて3次元の超音波画像データを生成可能な装置である。
装置本体105は、図1に示すように、送受信回路110、信号処理回路120、画像生成回路130、画像メモリ140、記憶回路150、ネットワーク(network:NW)インタフェース160、及び処理回路170を有する。送受信回路110、信号処理回路120、画像生成回路130、画像メモリ140、記憶回路150、NWインタフェース160、及び処理回路170は、互いに通信可能に接続される。
送受信回路110は、パルス発生器、送信遅延部、パルサ等を有し、超音波プローブ101に駆動信号を供給する。パルス発生器は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延部は、超音波プローブ101から発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ101に駆動信号(駆動パルス)を印加する。すなわち、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、振動子面から送信される超音波の送信方向を任意に調整する。
なお、送受信回路110は、処理回路170の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は、複数の電源ユニットを電気的に切り替える機構によって実現される。
また、送受信回路110は、プリアンプ、A/D(Analog/Digital)変換器、受信遅延部、加算器等を有し、超音波プローブ101が受信した反射波信号に対して各種処理を行って反射波データを生成する。プリアンプは、反射波信号をチャネル毎に増幅する。A/D変換器は、増幅された反射波信号をA/D変換する。受信遅延部は、受信指向性を決定するために必要な遅延時間を与える。加算器は、受信遅延部によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。
ここで、送受信回路110からの出力信号の形態は、RF(Radio Frequency)信号と呼ばれる位相情報が含まれる信号である場合や、包絡線検波処理後の振幅情報である場合等、種々の形態が選択可能である。
信号処理回路120は、送受信回路110から反射波データを受信し、対数増幅、包絡線検波処理等を行なって、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。また、信号処理回路120は、送受信回路110から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、速度、分散、パワー等の移動体情報を多点について抽出したデータ(ドプラデータ)を生成する。
なお、図1に例示する信号処理回路120は、2次元の反射波データ及び3次元の反射波データの両方について処理可能である。すなわち、信号処理回路120は、2次元の反射波データから2次元のBモードデータを生成し、3次元の反射波データから3次元のBモードデータを生成する。また、信号処理回路120は、2次元の反射波データから2次元のドプラデータを生成し、3次元の反射波データから3次元のドプラデータを生成する。
画像生成回路130は、信号処理回路120が生成したデータから超音波画像データを生成する。すなわち、画像生成回路130は、信号処理回路120が生成した2次元のBモードデータから反射波の強度を輝度で表した2次元のBモード画像データを生成する。また、画像生成回路130は、信号処理回路120が生成した2次元のドプラデータから移動体情報を表す2次元のドプラ画像データを生成する。2次元のドプラ画像データは、速度画像、分散画像、パワー画像、又は、これらを組み合わせた画像である。また、画像生成回路130は、信号処理回路120が生成した1走査線上のBモードデータの時系列データから、Mモード画像データを生成することも可能である。また、画像生成回路130は、信号処理回路120が生成したドプラデータから、血流や組織の速度情報を時系列に沿ってプロットしたドプラ波形を生成することも可能である。
ここで、画像生成回路130は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用の超音波画像データを生成する。具体的には、画像生成回路130は、超音波プローブ101による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成回路130は、スキャンコンバート以外に種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理(平滑化処理)や、画像内で微分フィルタを用いる画像処理(エッジ強調処理)等を行なう。また、画像生成回路130は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
更に、画像生成回路130は、ボリュームデータをディスプレイ103にて表示するための各種の2次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行う。画像生成回路130が行うレンダリング処理としては、断面再構成法(MPR:Multi Planer Reconstruction)を行ってボリュームデータからMPR画像データを生成する処理がある。また、画像生成回路130が行うレンダリング処理としては、ボリュームデータに対して「Curved MPR」を行う処理や、ボリュームデータに対して「Maximum Intensity Projection」を行う処理がある。また、画像生成回路130が行うレンダリング処理としては、ボリュームレンダリング(VR:Volume Rendering)処理やサーフェスレンダリング(SR:Surface Rendering)処理がある。
すなわち、Bモードデータ及びドプラデータは、スキャンコンバート処理前の超音波画像データであり、画像生成回路130が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Bモードデータ及びドプラデータは、生データ(Raw Data)とも呼ばれる。画像生成回路130は、スキャンコンバート処理前の2次元超音波画像データである「2次元のBモードデータや2次元のドプラデータ」から、表示用の2次元超音波画像データである「2次元のBモード画像データや2次元ドプラ画像データ」を生成する。
画像メモリ140は、画像生成回路130が生成した表示用の画像データを記憶するメモリである。また、画像メモリ140は、信号処理回路120が生成したデータを記憶することも可能である。画像メモリ140が記憶するBモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、画像生成回路130を経由して表示用の超音波画像データとなる。
なお、画像生成回路130は、超音波画像データと、当該超音波画像データを生成するために行なわれた超音波走査の時間とを、心電計104から送信された心電波形に対応付けて画像メモリ140に格納する。後述する処理回路170は、画像メモリ140に格納されたデータを参照することで、超音波画像データを生成するために行なわれた超音波走査時の心時相を取得することができる。
記憶回路150は、各種のデータを記憶する。例えば、記憶回路150は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報(例えば、患者ID、医師の所見等)や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、記憶回路150は、必要に応じて、画像メモリ140が記憶する画像データの保管等にも使用される。例えば、記憶回路150は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。また、記憶回路150が記憶するデータは、NWインタフェース160を経由して、外部装置へ転送することができる。
NWインタフェース160は、装置本体105と外部装置との間で行われる通信を制御する。具体的には、NWインタフェース160は、外部装置から各種の情報を受信し、受信した情報を処理回路170に出力する。例えば、NWインタフェース160は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
処理回路170は、超音波診断装置100の処理全体を制御する。具体的には、処理回路170は、入力インタフェース102を介して操作者から入力された各種設定要求や、記憶回路150から読み込んだ各種制御プログラム及び各種データに基づき、送受信回路110、信号処理回路120、及び画像生成回路130の処理を制御する。また、処理回路170は、画像メモリ140や記憶回路150が記憶する表示用の超音波画像データをディスプレイ103にて表示するように制御する。
また、処理回路170は、取得機能171、追跡機能172、判定機能173、及び出力制御機能174を実行する。ここで、取得機能171は、取得部の一例である。追跡機能172は、追跡部の一例である。判定機能173は、判定部の一例である。出力制御機能174は、出力制御部の一例である。なお、処理回路170が実行する取得機能171、追跡機能172、判定機能173、及び出力制御機能174の処理内容については、後述する。
ここで、例えば、図1に示す処理回路170の構成要素である取得機能171、追跡機能172、判定機能173、及び出力制御機能174が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路150に記録されている。処理回路170は、各プログラムを記憶回路150から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路170は、図1の処理回路170内に示された各機能を有することとなる。
なお、本実施形態においては、単一の処理回路170にて、以下に説明する各処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。
次に、図2に示す医用情報処理装置200の構成について説明する。図2に示すように、医用情報処理装置200は、入力インタフェース201、ディスプレイ202,NWインタフェース203、記憶回路204、及び処理回路210を有する。
入力インタフェース201は、操作者から各種の指示及び情報の入力操作を受け付ける。具体的には、入力インタフェース201は、操作者から受け付けた入力操作を電気信号へ変換して処理回路210に出力する。例えば、入力インタフェース201は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、入力インタフェース201は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース201の例に含まれる。
ディスプレイ202は、各種の情報及び画像を表示する。具体的には、ディスプレイ202は、処理回路210から送られる情報及び画像のデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ202は、液晶モニタやCRT(Cathode Ray Tube)モニタ、タッチパネル等によって実現される。なお、医用情報処理装置200が備える出力装置としては、ディスプレイ202に限らず、例えば、スピーカーを備えていても良い。例えば、スピーカーは、医用情報処理装置200の処理状況を操作者に通知するために、ビープ音などの所定の音声を出力する。
NWインタフェース203は、処理回路210に接続されており、医用情報処理装置200と外部装置との間で行われる通信を制御する。具体的には、NWインタフェース203は、外部装置から各種の情報を受信し、受信した情報を処理回路210に出力する。例えば、NWインタフェース203は、ネットワークカードやネットワークアダプタ、NIC等によって実現される。
記憶回路204は、処理回路210に接続されており、各種のデータを記憶する。例えば、記憶回路204は、RAM、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
処理回路210は、入力インタフェース201を介して操作者から受け付けた入力操作に応じて、医用情報処理装置200の動作を制御する。例えば、処理回路210は、プロセッサによって実現される。
また、処理回路210は、学習機能211を実行する。なお、処理回路210が実行する学習機能211の処理内容については、後述する。学習機能211は、学習部の一例である。
ここで、全領域的な壁運動異常を示す症例であれば、心臓の駆出率に反映されるため、医療従事者であれば誰でも容易に識別することができる。一方、死亡率が高い疾患の一つである虚血性心疾患に伴う局所的な壁運動異常を発見することは熟練者でも難しく、例えば、同一患者のストレインの波形情報を複数の熟練者が確認すれば意見が分かれることが多い。このため、虚血性心疾患に伴う局所的な壁運動異常の診断を正確に行うために、ストレインの波形情報から得られる特徴量を指標値として定義したり、その指標値をマッピングした指標画像を表示したりする技術が種々提案されている。
例えば、虚血状態に特有のサイン(虚血メモリ)であるPSS(Post-Systolic Shortening)や、収縮遅延(tardokinesis)、拡張遅延(postischemic diastolic stunning)に関する指標値として、PSI(Post-systolic Strain Index)やSI-DI(Strain Imaging Diastolic Index)が提案されている。また、壁運動異常を呈する部位は健常部位と比較してストレインが相対的に小さいことから、ピークストレインの利用が提案されている。また、虚血による収縮末期の壁運動遅延を捉えるために、ストレインがピーク値に到達した時間を画像化したDI(Dyssynchrony Imaging)の利用が提案されている。また、虚血による収縮早期に生じる収縮自体の遅延やプレストレッチに伴う収縮遅延を捉えるために、ストレインが所定の閾値に到達した時間を画像化したAI(Activation Imaging)の利用が提案されている。
ところが、実臨床の場面では、既存の虚血診断に関する各種指標が上手く機能しない場合がある。例えば、ストレインの絶対値は患者(被検体)ごと、或いは心臓の領域ごとに変わるため、活動中の心臓の壁運動が低下しているか否かをピーク値で識別するのはロバストではない。また、健常者にもPSS等の虚血メモリに類似のサインが認められる場合があるため、ストレインの波形情報のタイミング異常に着目したPSIやSI-DIも特異度が低い。また、虚血症例であっても必ずしも個々の指標に対して特徴的なサインが認められるとは限らないため、識別精度が低い。したがって、ストレインに基づく「ある指標」による分類では、局所的な壁運動異常を高精度かつロバストに識別することは難しい。
ここで、局所的な壁運動異常を識別することは熟練者でも難しいものの、熟練者の中でも極めて多くの経験を積んだ一部の熟練者(以下、「一部の熟練者」と略記)であれば、波形情報の目視により壁運動異常を識別可能である。この際、一部の熟練者(人)は、全体的な壁運動に対する局所的なストレインの波形情報の相対的な差異を捉えているものと考えられる。既存の指標値は、この差異を捉えるアプローチであると言える。しかしながら、上述したように、ストレインの波形情報から局所的な壁運動異常のサインを定義して識別するという既存のアプローチでは限界がある。なお、上記の説明では、壁運動パラメータの一例としてストレインを挙げて説明したが、変位が利用される場合にも同様である。
そこで、第1の実施形態に係る医用情報処理装置200は、複数の症例における壁運動パラメータの複数の波形情報(波形情報群)を入力データとし、一部の熟練者により壁運動異常である否かが識別された異常判定結果を正解データとする機械学習により学習済みモデルを構築する。そして、第1の実施形態に係る超音波診断装置100は、医用情報処理装置200により構築された学習済みモデルに対して診断対象者(被検体)の壁運動パラメータの波形情報群を入力することで、診断対象者の異常判定結果を出力する。
図3を用いて、第1の実施形態に係る超音波診断装置100及び医用情報処理装置200により行われる学習時及び運用時の処理を説明する。図3は、第1の実施形態に係る超音波診断装置100及び医用情報処理装置200により行われる学習時及び運用時の処理を示す図である。
図3の上段に示すように、学習時には、医用情報処理装置200は、例えば、被検体P1~PNの波形情報群及び異常判定結果を用いて機械学習を行う。ここで、被検体P1~PNの波形情報群は、複数の局所的領域及び全体的領域それぞれにおける壁運動パラメータの時系列変化を表す複数の波形情報を含む。また、被検体P1~PNの異常判定結果は、各局所的領域についての異常判定結果を含む。医用情報処理装置200は、この機械学習により、被検体の波形情報群の入力により、各局所的領域に着いての異常判定結果を出力する学習済みモデルを構築する。この学習済みモデルは、超音波診断装置100に受け渡され、記憶回路150に格納される。
そして、図3の下段に示すように、運用時には、超音波診断装置100は、診断対象者である被検体Xの波形情報群を、医用情報処理装置200により構築された学習済みモデルに対して入力することで、学習済みモデルに被検体Xの異常判定結果を出力させる。そして、超音波診断装置100は、学習済みモデルから出力された被検体Xの異常判定結果を操作者に提示する。
なお、本実施形態では、「局所的領域」を「局所領域」とも記載する。また、「全体的領域」を「全体領域」とも記載する。また、被検体Xを「第1被検体」とも記載する。また、第1被検体の局所領域を「第1局所領域」とも記載し、全体領域を「第1全体領域」とも記載する。また、被検体P1~PNを「第2被検体」とも記載する。また、第2被検体の局所領域を「第2局所領域」とも記載し、全体領域を「第2全体領域」とも記載する。
以下、第1の実施形態に係る超音波診断装置100及び医用情報処理装置200の各処理機能について説明する。以下では先ず、学習済みモデルを生成する医用情報処理装置200について説明し、次に、学習済みモデルを用いて局所的な壁運動異常の判定を行う超音波診断装置100について説明する。
医用情報処理装置200において、記憶回路204は、複数の被検体P1~PNの心臓について、複数の局所的領域及び全体的領域それぞれにおけるストレインの波形情報群と、複数の局所的領域についての異常判定結果とを記憶する。なお、ストレインの波形情報群は、壁運動パラメータの時系列変化を表す複数の医用情報の一例である。
図4を用いて、第1の実施形態に係る機械学習用の波形情報群について説明する。図4は、第1の実施形態に係る機械学習用の波形情報群について説明するための図である。
図4に示すように、波形情報群は、複数の波形情報を含む。例えば、波形情報群は、第1軸~第5軸の5つの軸において異なる種類の情報を含む。ここで、波形情報群は、全体的な壁運動に対する局所的なストレインの波形情報の相対的な差異を捉えるために、少なくとも領域の違いを含むのが好適である。また、波形情報群は、壁運動パラメータ、時相、壁厚方向における位置、及び心臓の運動方向のうち少なくとも一つにおいて異なる種類の情報を含む。
第1軸は、領域の違いを表す領域軸である。例えば、第1軸は、グローバル(全体的領域)と、複数のセグメント1,2,・・・N(局所的領域)とにより表される。グローバルとは、典型的にはスペックルトラッキングの解析対象の部位全体であり、例えば、3次元画像における左心室全体、又は、2次元断面画像における関心領域全体に対応する。また、セグメントとは、グローバルを所定の分割方式で分割されたものであり、例えば、ASE(American Society of Echocardiography)により推奨される16セグメント分割方式やAHA(American Heart Association)により推奨される17セグメント分割方式が知られている。なお、グローバルとは必ずしも左心室などある部位の全ての領域に限定されるものではなく、局所的領域よりも広ければよい。
また、全体的領域の波形情報として、心機能(左室のポンプ機能)を反映する内腔容積の時系列変化を表す波形情報を利用することもできる。内腔容積の波形情報は、スペックルトラッキングの内膜面情報に基づいて算出可能である。
第2軸は、負荷又は治療前後の時相の違いを表す時相軸である。例えば、ストレスエコー検査が行われる場合、第2軸は、負荷前と、回復期とにより表される。負荷前は、被検体の心臓に運動負荷又は薬剤負荷がかけられる前、つまり安静時の時相である。また、回復期は、負荷後、安静時の状態に戻るまでの間の任意の時相であり、例えば、負荷の5分後や10分後等である。
ここで、回復期は、虚血メモリが現れる時相であり、安静時は回復期と対比するための時相となるため、波形情報群は、この2つの時相をペアとして含むのが好適である。ただし、ストレスエコー検査が行われない場合には、波形情報群は、回復期を含まず、安静時のみの情報として機械学習に用いられる。なお、負荷中の時相には被検体の呼吸が荒くなり心拍数も増加するため、超音波画像の画質や追跡精度を維持するのが難しい。このため、負荷中の時相については、時相軸の情報として含まないのが好適である。また、第2軸は、負荷前後の時相に限らず、例えば、治療前後の時相であっても良い。つまり、第2軸は、薬物治療前の時相と薬物治療後(数日~数ヶ月後等)の時相との違い、又は、手術前の時相と手術後の時相との違いを表す場合であっても良い。
第3軸は、壁厚方向における位置の違いを表す壁厚方向軸である。例えば、第3軸は、内層、中層、及び外層により表される。内層は、例えば、内膜上の追跡点の情報であり、外層は、外膜上の追跡点の情報である。また、中層は、内膜上の追跡点と外膜上の追跡点の中間点の情報である。
なお、2次元スペックルトラッキング(2D Speckle Tracking:2DST)では超音波画像の空間分解能が十分であるため、波形情報群は、内層、中層、及び外層のそれぞれの情報を含むのが好適である。一方、3次元スペックルトラッキング(3D Speckle Tracking:3DST)では超音波画像の空間分解能が十分でないため、波形情報群は、内層、中層、及び外層のうち少なくとも一つを含んでいれば良い。ただし、虚血性心疾患では、外膜側の組織よりも内膜側の組織の方が壊死や心筋虚血が起こりやすいことで知られているため、波形情報群は、少なくとも内層の情報を含むのが好適である。
また、第3軸は、上記の例に限定されるものではない。例えば、波形情報群を壁厚変化率で表す場合、第3軸は、内側(inner half)、外側(outer half)、及び壁厚(total)を含むことができる。つまり、波形情報群は、壁厚方向における位置として、内層、中層、及び外層のうち少なくとも一つの情報、又は、内側、外側、及び壁厚のうち少なくとも一つの情報を含む。
第4軸は、壁運動パラメータの違いを表すパラメータ軸である。例えば、第4軸は、ストレイン及び変位(displacement)により表される。波形情報群は、第4軸としてストレイン及び変位のうち少なくとも一方の情報を含んでいれば良い。ただし、壁運動を高感度に捉えるため、2つの変位の差分値(長さ)に基づく変化率の指標であるストレインが第4軸として含まれるのが好適である。
また、変位は、心臓全体の動き(translation)や近傍の動き(tethering)の影響を受けやすいため感度が高くないものの、差分値でないためノイズに対してロバストである。RD(Radial Displacement)は、熟練者が内膜面の動きを視認する際の視認対象であるため、第4軸として含まれるのが好適である。また、LD(Longitudinal Displacement)は、非特許文献3において虚血性心疾患の検出への貢献の可能性が示唆されているため、第4軸として含まれるのが好適である。
第5軸は、心臓の運動方向の違いを表す運動方向軸である。例えば、3DSTでは、第5軸は、心臓(心筋)の長軸方向、円周方向、径方向(短軸方向)、及び心筋内膜面に平行な面の面積により表される。例えば、壁運動パラメータがストレインである場合、第5軸は、LS(Longitudinal Strain)、CS(Circumferential Strain)、及びRS(Radial Strain)により表される。また、心筋内膜面に平行な面の面積は、その変化率としてAC(Area Change ratio)に対応する。なお、ACは、長軸方向、円周方向、及び径方向のいずれにも分類できない成分(長軸方向、円周方向および斜め方向を同時に含む)の変化を表すものであるため、第5軸に分類することとする。
なお、壁運動パラメータが変位である場合、第5軸は、上述したLD及びRDにより表されるのが好適である。また、2DSTでは、第5軸は、長軸方向及び短軸方向により表されるのが好適である。
図5を用いて、第1の実施形態に係る波形情報群の一例について説明する。図5は、第1の実施形態に係る波形情報群の一例について説明するための図である。図5の左図は負荷前(安静時)の波形情報であり、右図は回復期(負荷から5分後)の波形情報である。図5において、縱軸はストレインに対応し、横軸は時間に対応する。図5の実線は前壁中隔に対応するセグメントのストレインであり、破線は下外側部に対応するセグメントのストレインである。
図5の左図に示すように、負荷前には、前壁中隔及び下外側部は、ほぼ同じタイミングで収縮と拡張を行っている。一方、図5の右図に示すように、回復期には、下外側部は、前壁中隔と比較して拡張が遅延していることがわかる。この下外側部の拡張遅延は、虚血メモリの一つである。つまり、図5では、下外側部において虚血性の壁運動異常が認められる。
ここで、波形情報群は、図5に図示した4つの波形情報を含む。なお、図5では、図示の都合上、4つの波形情報を例示したが、波形情報群はこれに限定されるものではなく、上述した第1軸~第5軸の違いを有する様々な波形情報を含むものである。
なお、上述した波形情報群はいずれも壁運動解析(スペックルトラッキング)により得られる情報である。また、波形情報群は、予め記憶回路204に記憶されている。記憶回路204に記憶される波形情報群は、超音波診断装置100により算出されても良いし、壁運動解析を実行する機能を搭載した医用情報処理装置200により算出されても良い。また、記憶回路204に記憶される波形情報群は、同一施設内の装置に限らず、他の施設に設置された装置により算出されても良い。
図6を用いて、第1の実施形態に係る機械学習用の異常判定結果について説明する。図6は、第1の実施形態に係る機械学習用の異常判定結果について説明するための図である。
図6に示すように、異常判定結果は、各セグメントが壁運動異常であるか正常であるかを示す情報である。この異常判定結果は、一部の熟練者により識別された情報であり、予め記憶回路204に記憶されている。
なお、図6では、異常判定結果が、壁運動異常であるか否かにより表される場合を説明したが、実施形態はこれに限定されるものではない。例えば、異常判定結果は、中間域を含む複数段階で表されても良い。この場合、異常判定結果は、例えば、正常を「0」とし、壁運動異常を「1~3(値が大きいほど重度の異常)」とした複数段階で表される。
このように、記憶回路204は、波形情報群及び異常判定結果を記憶する。なお、上述した波形情報群及び異常判定結果はあくまで一例であり、実施形態はこれに限定されるものではない。例えば、波形情報群は、公知の壁運動解析により得られる種類の情報であれば如何なる種類の情報であっても含むことができる。
医用情報処理装置200において、学習機能211は、複数の被検体P1~PNの心臓について、複数の局所的領域及び全体的領域それぞれにおける壁運動パラメータの波形情報群と、複数の局所的領域についての異常判定結果とを用いて機械学習を行うことで、学習済みモデルを構築する。構築された学習済みモデルは、記憶回路204に格納される。なお、波形情報群は、壁運動パラメータの時系列変化を表す複数の医用情報の一例である。
例えば、学習機能211は、複数の被検体P1~PNの波形情報群及び異常判定結果を記憶回路204から読み出す。そして、学習機能211は、各被検体の波形情報群に含まれる各波形情報の時間方向を規格化する。例えば、学習機能211は、各波形情報の時間方向を、1心周期区間(1RR区間)を100%として規格化する。この際、学習機能211は、1心周期区間を1~2%単位で区切るようにデータ(壁運動パラメータ)を生成(補間)する。この結果、学習機能211は、各波形情報を、1心周期区間の中に100個程度のデータを配置した1次元ベクトル空間として表現することができる。
なお、上記の説明では、1心周期区間を100%として各波形情報の時間方向を規格化する場合を説明したが、実施形態はこれに限定されるものではなく、心時相における任意の区間に基づいて時間方向の規格化を行うことができる。例えば、PSSやSI-DIで着目している収集末期以降の収縮や、拡張早期における異常な壁運動を認めるのが虚血性心疾患特有のサインであることから、R波から収縮末期までの区間を100%として規格化することも、虚血性心疾患を検出する観点で有効である。この拡張末期は、内腔容積が最小となる時間や大動脈弁閉鎖(Aortic Valve Closure:AVC)時間で与えることができる。ここで、拡張期間が十分に長い場合には、200%程度の区間で時間方向を打ち切るのが好適である。
そして、学習機能211は、公知の機械学習エンジンにより実現可能であるが、例えば、サポートベクターマシン(Support Vector Machine:SVM)が適用される。SVMの場合は、学習機能211は、入力データである波形情報群の第1軸~第5軸のそれぞれについて、波形情報同士の相関行列を構築する。そして、学習機能211は、相関行列を用いた主成分分析により、正常と異常の識別に対して寄与度が大きい上位k個の固有ベクトル空間内の境界平面(超平面)を決定することで、学習済みモデルを生成する。この学習済みモデルは、診断対象者の波形情報群を上記の固有ベクトル空間内の超平面に基づく識別器にかけて、正常であるか異常(壁運動異常)であるかの識別を行う。
なお、上記の機械学習は、別の公知の機械学習エンジンであるディープラーニング(ニューラルネットワーク)が適用可能である。ここで、SVMでは、各種の入力データに関して最大の識別マージンが得られる超平面を得る工夫がされており、機械学習用データ数が十分に大きくない場合でも識別が可能となる。更に、上述したように、正常と異常との判断基準として主成分(上位固有値)が用いられるので、比較的ヒトにとって理解し易い判断の過程が提供され得る。一方で、ディープラーニングの場合には、相関行列を構築する前処理が無くても、入力となる波形情報と正解となる異常判定結果の情報が与えられれば自動的に学習が行われる。その代わりに、ヒトにとっては正常と異常の結果に対する判断基準(自動的に行われた学習過程、つまり各層でのニューロンがどのような重み付け状態で設計されたのか)が理解し難いという欠点がある。
本実施形態に係る機械学習(教師付き学習)では、一部の熟練者により判定された異常判定結果を正解データとして利用するため、機械学習用データ数の増加には制約がある。このため、本実施形態に係る機械学習エンジンとしては、SVMが好適である。なお、機械学習用データ数が十分に大きい場合には、ディープラーニングにより高い識別性能が得られることが期待される。
ここで、実際の機械学習用データ数について、2DST及び3DSTをそれぞれ例示して説明する。なお、機械学習用データ数とは、1被検体の波形情報群に含まれる波形情報の数(種類数)である。以下において説明する機械学習用データ数はあくまで一例であり、撮像や壁運動解析の各種条件により変動するものである。
先ず、2DSTによる壁運動解析結果が利用される場合について説明する。この場合、ASEにより推奨される16セグメント分割方式が一般的であり、この分割方式では1断面あたり6セグメントとなる。この6セグメントに対してグローバルを加えるため、領域軸の数は最小で7部位である。そして、複数の2次元断面で左心室を広範にカバーする観点では、3つの長軸像(A4C、A2C、及びA3C)と1つの短軸像(Midレベル)の組み合わせが一般的であるため、7部位×4断面=28部位となる。なお、AHAにより推奨される17セグメント分割方式の場合には、1断面あたり7セグメントであるため、グローバルを加えて8部位×3+7=31部位となる。
3つの長軸像で用いる壁運動パラメータはLS及びRDの2パラメータであるため、7部位×3断面×2パラメータ=42個である。また、1つの短軸像で用いる壁運動パラメータの数はRS、CS、及びRDの3パラメータであるため、7部位×1断面×3パラメータ=21個である。また、各断面において、壁厚方向における位置の数は3箇所(内層、中層、及び外層)である。また、各断面において、時相の数は負荷前及び回復期の2時相である。このため、2DSTによる壁運動解析結果が利用される場合、機械学習用データ数は、(42+21)×3×2=378個(種類)である。
次に、3DSTによる壁運動解析結果が利用される場合について説明する。この場合、ASEにより推奨される16セグメント分割方式では、16セグメント+1グローバルの17部位となる。なお、AHAにより推奨される17セグメント分割方式では、17セグメント+1グローバルの18部位となる。
18部位として用いる壁運動パラメータは、LS、LD、RS、CS、RD、及びACの6パラメータと容積曲線の1種類である。また、壁厚方向における位置の数は内層の1箇所である。また、時相の数は、ストレスエコー検査でない場合を例示すると、安静時の1時相である。このため、3DSTによる壁運動解析結果が利用される場合、機械学習用データ数は、18×(6+1)×1×1=126個(種類)である。
なお、同一症例(被検体)に対して2DST及び3DSTの双方を適用することも可能であるため、機械学習用データ数は、上記の2例を合計すると、378+126=504個(種類)となる。
つまり、機械学習用データ数は、撮像や壁運動解析の各種条件に応じて、数百~最大千個程度である。また、各波形情報は、100個程度のデータを配置した1次元ベクトル空間として表現される。この結果、本実施形態に係る機械学習用データ数は、最大で1000×100程度のベクトル空間として構成される。
このように、学習機能211は、最大で1000×100程度のベクトル空間として構成されるデータ数の波形情報群と、一部の熟練者により判定された異常判定結果とに基づいて機械学習を行い、学習済みモデルを構築する。構築された学習済みモデルは超音波診断装置100に受け渡され、記憶回路150に格納される。
図1の説明に戻る。超音波診断装置100において、取得機能171は、被検体Xの心臓が時系列的に撮像された複数の医用画像データ(医用画像データ群)を取得する。例えば、超音波診断装置100は、被検体Xの心臓を含む領域(空間)に対して超音波走査を行って、反射波データを収集する。そして、超音波診断装置100は、収集した反射波データに基づいて、時系列に並ぶ複数の超音波画像データ(超音波画像データ群)を生成する。ここで、生成された複数の超音波画像データは、画像メモリ140に記憶されている。取得機能171は、被検体Xの心臓が撮像された複数の超音波画像データを、画像メモリ140から読み出す。
追跡機能172は、複数の医用画像データに対する追跡処理により、複数の局所的領域及び全体的領域それぞれにおける壁運動パラメータの時系列変化を表す複数の波形情報を生成する。例えば、追跡機能172は、被検体Xの複数の超音波画像データに対して壁運動解析を行って、壁運動情報を生成する。
例えば、追跡機能172は、初期時相の超音波画像データに対して、複数の構成点が設定された初期輪郭を設定する。そして、追跡機能172は、初期時相の超音波画像データと、次の時相の超音波画像データとを用いてパターンマッチングを含む追跡処理を行うことで、超音波画像データ群に含まれる複数の超音波画像データにおける複数の構成点の位置を追跡する。そして、追跡機能172は、各超音波画像データ群に含まれる複数の超音波画像データにおける複数の構成点の位置に基づいて、被検体Xの心臓壁の運動を表す壁運動情報を生成する。
ここで、追跡機能172により生成される被検体Xの壁運動情報は、医用情報処理装置200による学習済みモデルの構築に用いられた波形情報群と同一種類の情報を含む。つまり、追跡機能172は、第1軸~第5軸の5つの軸において異なる種類の情報を含む波形情報群を生成可能である。なお、壁運動解析技術としては、例えば、特許文献1~3に記載された技術など、公知の技術が適用可能である。
判定機能173は、学習済みモデルに対して、被検体Xの波形情報群を入力することで、被検体Xの各局所的領域についての異常判定結果を生成する。例えば、判定機能173は、記憶回路150に記憶されている学習済みモデルを読み出す。そして、判定機能173は、読み出した学習済みモデルに対して、追跡機能172により生成された波形情報群を入力することで、被検体Xの各局所的領域についての異常判定結果を学習済みモデルに出力させる。その後、判定機能173は、学習済みモデルから出力された異常判定結果を出力制御機能174へ送る。
なお、学習済みモデルから出力される異常判定結果は、学習済みモデルの構築に用いられた異常判定結果と同一種類の情報を含む。つまり、機械学習において用いられた異常判定結果が、壁運動異常であるか否かを示す2値的な情報であれば、学習済みモデルから出力される異常判定結果は2値的な情報となる。また、機械学習において用いられた異常判定結果が、複数段階で表される情報であれば、学習済みモデルから出力される異常判定結果は複数段階で表される情報となる。
出力制御機能174は、異常判定結果を出力させる。例えば、出力制御機能174は、異常判定結果を、超音波画像及びポーラーマップのうち少なくとも一方に重畳表示させる。
図7及び図8を用いて、第1の実施形態に係る出力制御機能174による出力例を説明する。図7及び図8は、第1の実施形態に係る出力制御機能174による出力例を説明するための図である。図7には、左心室の短軸像を例示する。図8には、図7の短軸像に対応するポーラーマップを例示する。図7及び図8では、壁運動異常であると判定された領域を黒塗りで示し、正常であると判定された領域を網掛けで示す。なお、図7及び図8において、「Ant-Sept」は、前壁中隔を示し、「Ant」は、前壁を示し、「Lat」は、側壁を示し、「Post」は、後壁を示し、「Inf」は、下壁を示し、「Sept」は、中隔を示す。また、図7では、背景となるBモード画像を簡略化して図示している。
図7に示すように、出力制御機能174は、超音波画像に異常判定結果を重畳表示させる。具体的には、出力制御機能174は、左心室の短軸像上の各セグメントに対応する位置に、異常判定結果に応じた輝度値を割り当てて表示する。図7の例では、前壁が壁運動異常であり、他のセグメントは正常である。
図8に示すように、出力制御機能174は、ポーラーマップに異常判定結果を重畳表示させる。具体的には、出力制御機能174は、ポーラーマップ上の各セグメントに対応する位置に、異常判定結果に応じた輝度値を割り当てて表示する。図8の例では、前壁が壁運動異常であり、他のセグメントは正常である。
このように、出力制御機能174は、異常判定結果をディスプレイ103に表示させる。なお、図7及び図8はあくまで一例であり、実施形態はこれに限定されるものではない。例えば、出力制御機能174は、各セグメントに対する異常判定結果を、表(図6参照)又は単純な文字列として出力することも可能である。
なお、出力制御機能174は、壁運動異常であるか否かを示す2値的な情報のみならず、中間領域を含む連続量を出力することも可能である。この連続量は、壁運動異常と正常との間において、どちらに近いかを表す値となるため、確率的な出力方式(例えば、「壁運動異常確率」と称する)と言える。例えば、識別器を用いる場合、入力データである波形情報群の第1軸~第5軸それぞれの識別結果を投票し、最終的に投票数の多いものを判定結果とするアルゴリズムがある。
そこで、異常判定結果に対して、各波形情報の総得票数で重み付けを行うことで、異常判定結果を連続量として表すことができる。また、ディープラーニングの場合には、セグメントごと、又は、壁厚方向における位置ごとに判定された「0(正常)/1(壁運動異常)」の判定結果を空間平均処理することで、空間的に滑らかな連続量を有する分布画像を出力することができる。また、異常判定結果が複数段階で表される場合にも、連続量的な出力が可能となる。
次に、図9を用いて、第1の実施形態に係る医用情報処理装置200の処理手順を説明する。図9は、第1の実施形態に係る医用情報処理装置200の処理手順を示すフローチャートである。図9に示す処理は、例えば、機械学習を開始する旨の指示を操作者から受け付けた場合に開始される。
図9に示すように、例えば、医用情報処理装置200において、処理回路210は、機械学習を開始する旨の指示を操作者から受け付けた場合に、処理を開始すると判定する(ステップS101,Yes)。なお、当該指示を受け付けるまで、処理回路210は、待機状態である(ステップS101,No)。
続いて、処理回路210は、被検体P1~PNそれぞれの波形情報群及び異常判定結果を記憶回路204から読み出す(ステップ102)。そして、処理回路210は、波形情報群及び異常判定結果を学習用データとした機械学習によって学習済みモデルを生成する(ステップS103)。そして、処理回路210は、生成した学習済みモデルを記憶回路204に格納し(ステップS104)、処理を終了する。
図10を用いて、第1の実施形態に係る超音波診断装置100の処理手順を説明する。図10は、第1の実施形態に係る超音波診断装置100の処理手順を示すフローチャートである。図10に示す処理は、例えば、局所的な壁運動異常の判定を開始する旨の指示を操作者から受け付けた場合に開始される。
図10に示すように、例えば、超音波診断装置100において、処理回路170は、局所的な壁運動異常の判定を開始する旨の指示を操作者から受け付けた場合に、処理を開始すると判定する(ステップS201,Yes)。なお、当該指示を受け付けるまで、処理回路170は、待機状態である(ステップS201,No)。
続いて、処理回路170は、被検体Xの医用画像データ群を画像メモリ140から読み出す(ステップS202)。そして、処理回路170は、医用画像データ群に対する追跡処理により、波形情報群を生成する(ステップS203)。処理回路170は、波形情報群を学習済みモデルに入力することで、異常判定結果を生成する(ステップS204)。処理回路170は、被検体Xの異常判定結果を表示させ(ステップS205)、処理を終了する。
上述してきたように、第1の実施形態に係る超音波診断装置100において、取得機能171は、第1被検体の心臓が時系列的に撮像された複数の医用画像データを取得する。追跡機能172は、複数の医用画像データに対する追跡処理により、複数の局所的領域及び全体的領域それぞれにおける壁運動パラメータを表す複数の第1医用情報を生成する。判定機能173は、複数の第2被検体の心臓について、複数の局所的領域及び全体的領域それぞれにおける壁運動パラメータを表す複数の第2医用情報と、複数の第2医用情報のうち各局所的領域についての異常判定結果とを用いて学習された学習済みモデルに対して複数の第1医用情報を入力することで、第1被検体の各局所的領域についての第1異常判定結果を生成する。出力制御機能174は、第1異常判定結果を出力させる。これによれば、超音波診断装置100は、局所的な壁運動異常を高精度かつロバストに識別することができる。
なお、第1の実施形態では、判定機能173が複数の局所領域それぞれの波形情報を用いて異常を判定する場合を説明したが、実施形態はこれに限定されるものではない。例えば、判定機能173は、複数の局所領域のうち、医師によって注目されている少なくとも1つの局所領域の波形情報と、全体領域の波形情報とを学習済みモデルに対して入力することで、その局所領域の異常を判定することも可能である。すなわち、判定機能は、複数の第2被検体の心臓について、第2局所領域及び第2全体領域それぞれにおける壁運動パラメータの時系列変化を表す複数の第2医用情報と、第2局所領域についての異常判定結果とを用いて学習された学習済みモデルに対して、第1被検体についての複数の第1医用情報を入力することで、第1被検体の第1局所領域についての異常を判定する。
また、取得機能171は、第1被検体の心臓について、第1局所領域および第1全体領域それぞれにおける壁運動パラメータを表す複数の第1医用情報を取得しても良い。この場合、超音波診断装置100は、必ずしも追跡機能172を備えていなくてもよい。例えば、取得機能171は、追跡機能172を備えた外部装置(超音波診断装置100とは異なる超音波診断装置、又は、医用情報処理装置)によって生成された複数の第1医用情報を、その外部装置から取得しても良い。
(第2の実施形態)
第2の実施形態では、学習済みモデルからの異常判定結果とともに、公知の指標値を操作者に提示する場合を説明する。これは、学習済みモデルを用いた手法では、何に基づいて判定が行われたのかが複雑であり、出力結果の根拠が操作者には理解し難いからである。このため、第2の実施形態に係る超音波診断装置100は、学習済みモデルからの異常判定結果のフィードバックとして操作者が理解し易い公知の指標値を与えることで、異常判定結果の参照情報として操作者に提示するものである。
図11を用いて、第2の実施形態に係る超音波診断装置100の構成について説明する。図11は、第2の実施形態に係る超音波診断装置100の構成例を示すブロック図である。第2の実施形態に係る超音波診断装置100は、図1に例示した超音波診断装置100と同様の構成を備え、処理回路170が算出機能175を更に実行する点が相違する。そこで、第2の実施形態では、第1の実施形態と相違する点を中心に説明することとし、第1の実施形態において説明した構成と同様の機能を有する点については、図1と同一の符号を付し、説明を省略する。
第2の実施形態に係る算出機能175は、局所的な壁運動異常に関する指標値を算出する。具体的には、算出機能175は、被検体Xの波形情報群に含まれる各波形情報について、複数種類の指標値を算出する。例えば、算出機能175は、指標値として、SI-DI及びPSIを算出する。
図12を用いて、第2の実施形態に係る算出機能175により算出される指標値について説明する。図12は、第2の実施形態に係る算出機能175により算出される指標値について説明するための図である。図12において、縱軸はストレインに対応し、横軸は時間に対応する。
図12に示すように、算出機能175は、波形情報から点A、点B、及び点Cを検出する。ここで、点Aは、AVC時間におけるストレインに対応する。点Bは、拡張期のうちAVC時間から1/3経過した時間におけるストレインに対応する。点Cは、ピークストレインに対応する。なお、Tεは、ピークストレインに到達した到達時間に対応する。
そして、算出機能175は、図12に示した点A、点B、及び点Cの値(ストレイン)に基づいて、SI-DI及びPSIを算出する。例えば、算出機能175は、下記の式(1)を用いてSI-DIを算出する。また、算出機能175は、下記の式(2)を用いてPSIを算出する。
例えば、算出機能175は、学習済みモデルによる異常判定結果に対する各種の指標値の検定処理を行う。例えば、算出機能175は、複数種類の指標値のうち、異常判定結果に対して有意であった指標値を多変量解析により特定する。或いは、算出機能175は、最大主成分となる指標値を主成分分析によって特定する。そして、算出機能175は、特定した指標値に関する情報を出力制御機能174へ送る。
そして、出力制御機能174は、異常判定結果に対して特定された指標値を、異常判定結果とともに出力する。例えば、出力制御機能174は、波形情報ごとに、異常判定結果に対して有意であった指標値を出力する。
図13を用いて、第1の実施形態に係る出力制御機能174による出力例を説明する。図13は、第1の実施形態に係る出力制御機能174による出力例を説明するための図である。なお、図13では、異常判定結果に対して有意な指標値としてSI-DIが特定された場合を例示する。
図13に示すように、出力制御機能174は、図6に示した異常判定結果に加えて、SI-DIを出力する。SI-DIは、セグメントごとに表示される。なお、出力制御機能174は、指標値に限らず、例えば、多変量解析における複数の指標値に関する回帰係数を表示することもできる。また、出力制御機能174は、有意では無かった指標値を表示しても良い。
なお、図13はあくまで一例であり、実施形態はこれに限定されるものではない。例えば、出力制御機能174は、SI-DI等の指標値に応じた輝度値を割り当てた指標画像を生成し、表示することができる。
このように、第2の実施形態に係る超音波診断装置100は、学習済みモデルからの異常判定結果とともに、異常判定結果に対して有意であった、若しくは主成分として得られた指標値を特定し、参考情報として操作者に提示する。これにより、超音波診断装置100は、学習済みモデルからの異常判定結果に対する操作者の解釈を支援することができる。
なお、上記の説明では、指標値としてSI-DI及びPSIを算出する場合を説明したが、実施形態はこれに限定されるものではない。例えば、算出機能175は、局所的な壁運動異常の指標値となり得るものであれば、任意の指標値を算出可能である。例えば、算出機能175は、ピークストレインやDSR(Diastolic Strain Ratio)を算出する。ここで、DSRとは、ストレインの演算点ごとに、式(1)のSI-DIと同様の比を算出し、その算出値をセグメント内に含まれる演算点間で平均した値である。
(その他の実施形態)
上述した実施形態以外にも、種々の異なる形態にて実施されてもよい。
(医用情報処理システムによる判定処理)
上述した学習済みモデルを用いた局所的な壁運動異常の判定処理は、医用情報処理システムにより実行されても良い。この場合、判定処理は、ネットワークNW上で実行される。
図14を用いて、その他の実施形態に係る医用情報処理システムの構成について説明する。図14は、その他の実施形態に係る医用情報処理システムの構成例を示すブロック図である。
図14に示すように、医用情報処理システムは、超音波診断装置100と、サーバ装置300とを備える。図14の超音波診断装置100は、処理回路170が送信機能176及び受信機能177を実行する点を除き、図1に例示した超音波診断装置100と基本的に同様の構成を備える。また、図14のサーバ装置300は、処理回路310が判定機能311を実行する点を除き、図2に例示した医用情報処理装置200と基本的に同様の構成を備える。なお、サーバ装置300は、医用情報処理装置の一例である。超音波診断装置100及びサーバ装置300は、ネットワークNWを介して通信可能に接続される。
超音波診断装置100において、取得機能171及び追跡機能172の処理は、図1に示した取得機能171及び追跡機能172の処理と基本的に同様であるので、説明を省略する。そして、送信機能176は、追跡機能172により生成された被検体Xの波形情報群をサーバ装置300に送信する。
サーバ装置300において、判定機能311は、送信機能176により送信された波形情報群を受信する。そして、判定機能311は、受信した波形情報群を学習済みモデルに対して入力することで、被検体Xの異常判定結果を生成する。なお、判定機能311の処理は、図1に示した判定機能173の処理と基本的に同様であるので、説明を省略する。そして、判定機能311は、生成した被検体Xの異常判定結果を、超音波診断装置100に送信する。
超音波診断装置100において、受信機能177は、判定機能311により送信された被検体Xの異常判定結果を受信する。そして、出力制御機能174は、受信機能177により受信された被検体Xの異常判定結果を出力させる。なお、出力制御機能174の処理は、図1に示した判定機能173の処理と基本的に同様であるので、説明を省略する。
すなわち、医用情報処理システムにおいて、取得機能171は、第1被検体の心臓について、複数の局所的領域及び全体的領域それぞれにおける壁運動パラメータの時系列変化を表す複数の第1医用情報を取得する。そして、判定機能311は、複数の第2被検体の心臓について、複数の局所的領域及び全体的領域それぞれにおける壁運動パラメータの時系列変化を表す複数の第2医用情報と、複数の第2医用情報のうち各局所的領域についての異常判定結果とを用いて学習された学習済みモデルに対して複数の第1医用情報を入力することで、第1被検体の各局所的領域についての第1異常判定結果を生成する。そして、出力制御機能174は、記第1異常判定結果を出力させる。これによれば、医用情報処理システムは、ネットワークNW上で学習済みモデルを用いた局所的な壁運動異常の判定処理を実行することができる。
(医用情報処理装置による判定処理)
また、上述した学習済みモデルを用いた局所的な壁運動異常の判定処理は、医用情報処理装置200により実行されても良い。例えば、医用情報処理装置200は、医師により操作される端末や、他の医用画像診断装置のコンソール装置等に対応する。なお、他の医用画像診断装置とは、MRI(Magnetic Resonance Imaging)装置やX線CT(Computed Tomography)装置等、超音波診断装置100以外の医用画像診断装置である。
この場合、医用情報処理装置200は、被検体Xの波形情報群を超音波診断装置100から取得するのが好適である。つまり、医用情報処理装置200において、処理回路210は、第1被検体の心臓について、複数の局所的領域及び全体的領域それぞれにおける壁運動パラメータの時系列変化を表す複数の第1医用情報を取得する。そして、処理回路210は、複数の第2被検体の心臓について、複数の局所的領域及び全体的領域それぞれにおける壁運動パラメータの時系列変化を表す複数の第2医用情報と、複数の第2医用情報のうち各局所的領域についての異常判定結果とを用いて学習された学習済みモデルに対して複数の第1医用情報を入力することで、第1被検体の各局所的領域についての第1異常判定結果を生成する。そして、処理回路210は、記第1異常判定結果を出力させる。
なお、医用情報処理装置200が追跡機能172と同様の機能を備える場合には、医用情報処理装置200が被検体Xの波形情報群を生成することもできる。
(超音波画像データ以外の医用画像データの利用)
また、上記の実施形態では、超音波画像データ群に対して適用される場合を説明したが、これに限定されるものではない。例えば、時系列に並ぶ複数の医用画像データであれば、磁気共鳴画像データやCT画像データ等、如何なる医用画像診断装置により撮像された画像データであっても適用可能である。つまり、時系列に並ぶ複数の医用画像データであれば、壁運動解析により波形情報群を生成可能である。このため、この波形情報群を用いて、機械学習及び学習済みモデルを用いた判定処理が実行可能となる。すなわち、上述した実施形態は、超音波診断装置に限らず、他の医用画像診断装置においても適用可能である。
(学習済みモデル以外の例)
また、上記の説明では、上述した実施形態が学習済みモデルによって実現される場合を説明したが、実施形態はこれに限定されるものではない。例えば、超音波診断装置100は、全体的な壁運動に対する局所的なストレインの波形情報の相対的な差異に基づいて、異常を判定することができる。
すなわち、超音波診断装置100において、取得機能171は、第1被検体の心臓について、第1局所領域および第1全体領域それぞれにおける壁運動パラメータの時系列変化を表す複数の第1医用情報を取得する。そして、判定機能173は、複数の第1医用情報に基づいて、第1局所領域における異常を判定する。
一例としては、判定機能173は、全体領域の波形情報と局所領域の波形情報とを比較して、相対的な差異を検出する。ここで、相対的な差異とは、例えば、波形情報から得られる積分値などの任意のパラメータ(数値)の差分値である。判定機能173は、検出した差異に基づいて、局所領域における異常を判定する。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路150に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路150にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。更に、各図における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記の実施形態において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、上記の実施形態で説明した医用画像処理方法は、予め用意された医用画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この医用画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この医用画像処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくともひとつの実施形態によれば、局所的な壁運動異常を高精度かつロバストに識別することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。