JP2020181510A - 医用画像処理装置及び医用画像処理プログラム - Google Patents

Abstract

【課題】関心点の配置位置と輪郭の境界位置との位置合わせを支援すること。【解決手段】実施形態に係る医用画像処理装置は、抽出部と、取得部とを備える。抽出部は、医用画像上の関心点の位置を基準とする部分画像を前記医用画像から抽出する。取得部は、前記部分画像に基づいて前記関心点が前記医用画像に表された構造物の輪郭上に配置される確度を得る学習済モデルに前記部分画像を入力することで、前記確度を取得する。【選択図】図１

Description

本発明の実施形態は、医用画像処理装置及び医用画像処理プログラムに関する。

従来、検査や機能評価等の目的のため、医用画像に表された構造物の輪郭を検出する処理が行われている。例えば、心機能の評価では、イジェクションフラクション、ストレイン／ストレインレート、内腔面積等を導出するため、心臓の輪郭の境界位置を目視等で設定することが行われている。心臓等の構造物の輪郭は、離散的又は連続的に配置された構成点（関心点）の集合として表現される。

米国特許出願公開第２０１７／０３３７７１３号明細書

本発明が解決しようとする課題は、関心点の配置位置と輪郭の境界位置との位置合わせを支援することである。

実施形態に係る医用画像処理装置は、抽出部と、取得部とを備える。抽出部は、医用画像上の関心点の位置を基準とする部分画像を前記医用画像から抽出する。取得部は、前記部分画像に基づいて前記関心点が前記医用画像に表された構造物の輪郭上に配置される確度を得る学習済モデルに前記部分画像を入力することで、前記確度を取得する。

図１は、実施形態に係る医用画像処理システムの構成の一例を示す図である。 図２は、実施形態の医用画像処理装置によって行われる学習時及び運用時の処理を示す図である。 図３は、実施形態に係る医用画像処理装置の学習時の処理の一例を説明するための図である。 図４は、実施形態に係る医用画像処理装置の運用時の処理の一例を説明するための図である。 図５は、実施形態の制御機能が表示する表示画像の一例を示す図である。 図６は、実施形態の制御機能が表示する表示画像の他の例を示す図である。 図７は、実施形態の医用画像処理装置が実行する学習時の処理の一例を示すフローチャートである。 図８は、実施形態の医用画像処理装置が実行する運用時の処理の一例を示すフローチャートである。 図９は、他の実施形態に係る部分画像の形状の一例を示す図である。 図１０は、他の実施形態に係る部分画像の形状の一例を示す図である。 図１１は、他の実施形態に係る関心点の配置位置周辺の状態と、部分画像の延在方向との関係を説明するための図である。 図１２は、他の実施形態に係る医用画像処理装置の運用時の処理の一例を説明するための図である。 図１３は、他の実施形態に係る医用画像処理装置の処理回路が有する処理機能の一例を示す図である。 図１４は、他の実施形態に係る医用画像処理装置の運用時の処理の一例を説明するための図である。 図１５は、他の実施形態の制御機能が表示する表示画像の一例を示す図である。 図１６は、他の実施形態の医用画像処理装置が実行する運用時の処理の一例を示すフローチャートである。

以下、図面を参照しながら、医用画像処理装置及び医用画像処理プログラムの実施形態について詳細に説明する。

図１は、本実施形態に係る医用画像処理システムの構成の一例を示す図である。図１に示すように、本実施形態に係る医用画像処理システムは、医用画像処理装置１００と、医用画像診断装置３００と、医用画像保管装置４００とを含む。医用画像処理装置１００は、ネットワーク２００を介して、医用画像診断装置３００及び医用画像保管装置４００と通信可能に接続される。

医用画像診断装置３００は、画像診断等に用いられる被検体の医用画像を取得する。具体的には、医用画像診断装置３００は、医用画像として、被検体の二次元画像データを生成する。例えば、医用画像診断装置３００は、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、Ｘ線診断装置、超音波診断装置等である。

医用画像保管装置４００は、ネットワーク２００を介して、医用画像診断装置３００から医用画像を取得し、取得した医用画像を装置内又は装置外に設けられた記憶回路に記憶させる。例えば、医用画像保管装置４００は、サーバ装置等のコンピュータ機器によって実現される。

医用画像処理装置１００は、ネットワーク２００を介して医用画像診断装置３００又は医用画像保管装置４００から医用画像を取得し、取得した医用画像に対して各種画像処理を行う。例えば、医用画像処理装置１００は、ワークステーション等のコンピュータ機器によって実現される。

具体的には、医用画像処理装置１００は、Ｉ／Ｆ（インターフェース）回路１１０と、記憶回路１２０と、入力回路１３０と、ディスプレイ１４０と、処理回路１５０とを有する。

Ｉ／Ｆ回路１１０は、処理回路１５０に接続され、医用画像診断装置３００及び医用画像保管装置４００との間で行われる各種データの伝送及び通信を制御する。例えば、Ｉ／Ｆ回路１１０は、医用画像診断装置３００又は医用画像保管装置４００から医用画像を受信し、受信した医用画像を処理回路１５０に出力する。例えば、Ｉ／Ｆ回路１１０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

記憶回路１２０は、記憶部の一例である。記憶回路１２０は、処理回路１５０に接続され、各種データを記憶する。例えば、記憶回路１２０は、医用画像診断装置３００又は医用画像保管装置４００から受信した医用画像を記憶する。例えば、記憶回路１２０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

入力回路１３０は、処理回路１５０に接続され、操作者から受け付けた入力操作を電気信号に変換して処理回路１５０に出力する。例えば、入力回路１３０は、トラックボール、スイッチボタン、マウス、キーボード、タッチパネル等によって実現される。

ディスプレイ１４０は、処理回路１５０に接続され、処理回路１５０から出力される各種情報及び各種医用画像を表示する。例えば、ディスプレイ１４０は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。

処理回路１５０は、入力回路１３０を介して操作者から受け付けた入力操作に応じて、医用画像処理装置１００の構成要素を制御する。例えば、処理回路１５０は、Ｉ／Ｆ回路１１０から出力される医用画像を記憶回路１２０に記憶させる。また、例えば、処理回路１５０は、記憶回路１２０から医用画像を読み出し、ディスプレイ１４０に表示する。例えば、処理回路１５０は、プロセッサによって実現される。

以上、本実施形態に係る医用画像処理装置１００の全体構成について説明した。このような構成のもと、例えば医用画像処理装置１００は、医用画像に表された構造物の輪郭を検出する場合に利用される。

例えば、心機能の評価では、イジェクションフラクション、ストレイン／ストレインレート、内腔面積等を導出するため、心臓の輪郭を検出するための処理が行われている。心臓の輪郭は、例えば、医師等の医療従事者（ユーザ）による目視や、Ｓｎａｋｅｓ法、拘束輪郭モデル、適応演算等の公知の技術を用いて行われる。具体的には、心臓等の構造物の輪郭は、輪郭の境界位置に離散的又は連続的に配置された構成点（関心点）の集合として表現される。

ところで、検出された心臓の輪郭に誤差が含まれると、指標値自体の値も不正確となるため、心機能を正しく評価できない可能性がある。また、医用画像上に配置された複数の関心点の中から誤差を含んだ関心点を探す作業は煩雑であり、効率的な処理の妨げとなる。

そこで、本実施形態の医用画像処理装置１００は、関心点の配置位置と輪郭の境界位置との位置合わせを支援するための構成を備える。具体的には、医用画像処理装置１００は、関心点の位置を基準とする部分画像に基づき、当該関心点が構造物の輪郭上に配置される確度を得る（推論する）ことが可能な学習済モデルを用いることで、医用画像上に配置された関心点が構造物の輪郭上にある確度を取得する。これにより、医用画像処理装置１００は、ユーザによって配置された関心点や既存の技術で配置された関心点の位置が、輪郭の境界上にあるか否かの判定結果を、取得した確度に基づきユーザに提供することができる。

以下、医用画像処理装置１００の詳細について説明する。図１に示すように、医用画像処理装置１００の処理回路１５０は、制御機能１５１、画像処理機能１５２、学習機能１５３と、判定機能１５４とを有する。ここで、制御機能１５１は、制御部の一例である。また、画像処理機能１５２は、抽出部（抽出機能）の一例である。また、学習機能１５３は、学習部の一例である。また、判定機能１５４は、取得部（取得機能）及び判定部の一例である。

制御機能１５１は、入力回路１３０を介して入力された各種要求に応じた処理を実行するように制御する。例えば、制御機能１５１は、Ｉ／Ｆ回路１１０を介した医用画像等の送受信、記憶回路１２０への情報の格納、ディスプレイ１４０への情報の表示（出力）等を制御する。

例えば、制御機能１５１は、医用画像保管装置４００等から医用画像を取得して、記憶回路１２０に格納する。また、例えば、制御機能１５１は、医用画像に対して処理を実行するためのＧＵＩや、各機能による処理結果をディスプレイ１４０に表示させるように制御する。

画像処理機能１５２は、医用画像に対して所定の画像処理を実行する。具体的には、画像処理機能１５２は、医用画像上に配置された関心点を検出し、当該関心点の位置を基準とする所定サイズの部分画像を抽出する。なお、医用画像に対する関心点の配置は、ユーザが手動で行ってもよいし、他の装置や画像処理機能１５２等が自動で配置してもよい。後者の場合、例えば、関心点の配置は上述したＳｎａｋｅｓ法等の公知の技術を用いて行われてもよい。

学習機能１５３は、画像処理機能１５２によって抽出された部分画像の特徴と、当該部分画像の中心位置（つまり関心点の位置）に対して判定された、輪郭の境界上にあるか否かを示す判定結果との関係を学習することで、関心点が境界上に配置されている確度を出力するように機能付けられた学習済モデルを生成する。

図２は、医用画像処理装置１００によって行われる学習時及び運用時の処理を示す図である。

例えば、図２の上側に示すように、学習時には、学習機能１５３が、画像処理機能１５２により抽出された部分画像と、抽出結果に対する判定結果（教師データ）とを入力し、この部分画像の特徴と教師データとの関係を学習することによって、学習済モデルを生成する。

具体的には、教師データは部分画像毎に入力され、部分画像と対応付けて学習データとして記憶回路１２０等に蓄積される。そして、学習機能１５３は、蓄積された学習データを機械学習エンジンに入力することによって機械学習を行う。

このような機械学習の結果として、学習機能１５３は、新たに入力される部分画像から、当該部分画像の中心位置、つまり関心点の位置が輪郭の境界上にある確度を出力することが可能な学習済モデルを生成する。そして、学習機能１５３は、生成した学習済モデルを記憶回路１２０に記憶させる。なお、学習済モデルの保存先は記憶回路１２０に限らず、処理回路１５０が学習済モデルを保持する構成としてもよい。

以下、図３を用いて、学習時の処理の一例について説明する。図３は、医用画像処理装置１００の学習時の処理の一例を説明するための図である。ここで、図３では、超音波診断装置によって取得された被検体の胸部（心臓）の医用画像を例に説明する。

図３（ａ）、（ｂ）の医用画像Ｇ１、Ｇ２は、被写体の胸部を撮像した医用画像の一部分を拡大した部分拡大図を示している。医用画像Ｇ１、Ｇ２において、構造物（心臓）の輪郭は輝度の濃淡によって表される。例えば、心筋や膜等の構造物の壁部は高輝度寄り（白っぽい色）の画素で表され、内腔等の腔部は低輝度寄り（黒っぽい色）の画素で表される。そして、壁部と腔部との境界では、高輝度寄りの画素と低輝度寄りの画素とが混合した状態となる。

医用画像上に関心点が配置（設定）されると、画像処理機能１５２は、その関心点の位置を基準に部分画像を抽出する。例えば、学習機能１５３は、図３（ａ）の医用画像Ｇ１上に関心点Ｐ１が設定されると、この関心点Ｐ１の位置を中心とする部分画像Ｇ１１を抽出する。また、学習機能１５３は、図３（ｂ）の医用画像Ｇ２上に関心点Ｐ２が設定されると、この関心点Ｐ２の配置位置を中心とする部分画像Ｇ２１を抽出する。

ここで、部分画像は、幅及び高さ方向の長さを有する二次元（長方形状）の画像領域であってもよいし、幅又は高さ方向の長さを有する一次元（線状）の画像領域であってもよい。例えば、図３では、部分画像Ｇ１１ａ、Ｇ２１ａは、部分画像を二次元の画像領域した場合の抽出結果を示しており、部分画像Ｇ１１ｂ、Ｇ２１ｂは、部分画像を一次元の画像領域とした場合の抽出結果を示している。なお、部分画像Ｇ１１及び部分画像Ｇ２１のサイズは同じであり、医用画像Ｇ１、Ｇ２の左右方向（幅方向）に延在させた形状としている。

また、抽出された部分画像の各々に対し、当該部分画像の中心位置、つまり関心点の位置が境界上にあるか否かを示す値が、教師データとして入力される。本実施形態では、部分画像の長手方向（延在方向）の中心位置が、壁部と内腔部との境界上にある場合、関心点が輪郭の境界上に配置されていることを意味する「１」が教師データとして入力される。また、部分画像の中心位置が、壁部と内腔部との境界からずれた位置にある場合、関心点が境界上に配置されていないことを意味する「０」が教師データとして入力される。

なお、教師データの入力は、ユーザが手動で行ってもよいし、学習機能１５３等が自動で行ってもよい。後者の場合、例えば、部分画像の特徴に基づき、関心点が輪郭の境界上にあるか否かの判定を自動で行ってもよい。ここで、部分画像の特徴は、部分画像の中心位置を基準に長手方向（延在方向）に２分割した各領域での壁部と内腔部とが占める割合、つまり高輝度寄りの画素群と低輝度寄りの画素群との割合を用いてもよい。なお、高輝度寄り又は低輝度寄りと判断する輝度（画素値）の範囲は、予め定められているものとする。

具体的は、部分画像の中心位置を基準に２分割した領域のうち、一方の領域に含まれる画素群の画素値と、他方の領域に含まれる画素群の画素値とを比較する。そして、一方の領域に含まれる高輝度寄りの画素群の割合と、他方の領域に含まれる低輝度寄りの画素群の割合と略同等であり、且つ各領域での平均の画素値（輝度）の差分が所定値以上となるか否かを判定する。

例えば、図３（ａ）の部分画像Ｇ１１ａ（又は部分画像Ｇ１１ｂ）のように、２分割された領域Ａ１１、Ａ１２が上記の条件を満たす場合、学習機能１５３は、関心点が輪郭の境界上に配置されていると判断し、「１（正）」を入力する。また、図３（ｂ）の部分画像Ｇ２１ａ（又は部分画像Ｇ２１ｂ）のように、２分割された領域Ａ２１、Ａ２２が上記の条件を満たさない場合、学習機能１５３は、関心点が輪郭の境界上に配置されていないと判断し、「０（否）」を入力する。

また、学習機能１５３は、入力された部分画像の特徴と、当該部分画像に対して入力された教師データとの関係を学習することで、学習済モデルを生成する。具体的には、学習機能１５３は、記憶回路１２０を参照して、部分画像及び当該部分画像に対して判定された教師データを学習用データとして機械学習エンジンに入力する。

機械学習エンジンは、入力された部分画像の特徴と教師データとの関係を機械学習することで、部分画像の特徴から、関心点が配置された位置と輪郭の境界位置との関連の度合い、つまり関心点が輪郭の境界上にある確度を出力可能な学習モデルと生成する。そして、学習機能１５３は、生成した学習済モデルを記憶回路１２０に記憶させる。

なお、機械学習の際に導出する部分画像の特徴は、部分画像の特徴を定量的に示す数値であれば特に問わず、種々の物理用を使用することが可能である。例えば、上述した部分画像を２分割した各領域から得られる輝度の割合を特徴として導出してもよいし、部分画像全体に表されたテクスチャの状態等を特徴として導出してもよい。また、機械学習エンジンは、ディープラーニング（Deep Learning）や、ニューラルネットワーク（Neural Network）、ロジスティック（Logistic）回帰分析、非線形判別分析、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、ナイーブベイズ（Naive Bayes）等の各種のアルゴリズムを用いることができる。

一方、例えば、図２の下側に示すように、運用時には、制御機能１５１が、医用画像保管装置４００等から医用画像を取得して、記憶回路１２０に格納する。画像処理機能１５２は、取得された医用画像から関心点を検出し、当該医用画像に対して画像処理を施すことで、検出した関心点毎に当該関心点の位置を基準とした部分画像を抽出する。

その後、判定機能１５４が、画像処理機能１５２によって抽出された部分画像を学習済モデルに入力することで、関心点が輪郭の境界上にある確度を出力させる。そして、判定機能１５４は、出力された確度に基づき、関心点が輪郭の境界上に配置されているか否かを判定する。

例えば、判定機能１５４は、出力された確度が所定の閾値以上の場合（又は閾値を上回る場合）、関心点が輪郭の境界上に配置されていると判定する。また、例えば、判定機能１５４は、出力された確度が閾値未満の場合（又は閾値以下の場合）、関心点が輪郭の境界上に配置されていないと判定する。

図４は、医用画像処理装置１００の運用時の処理の一例を説明するための図である。例えば、画像処理機能１５２は、図４の左端に示す医用画像Ｇ３に関心点Ｐ３１〜Ｐ３７が設定されているような場合、これら関心点Ｐ３１〜Ｐ３７の各々について部分画像Ｇ３１〜Ｇ３７を抽出する。なお、図４では、部分画像を二次元の画像領域とした例を示している。

次いで、判定機能１５４は、抽出された部分画像Ｇ３１〜Ｇ３７の各々を学習済モデルに入力することで、部分画像の中心、つまり関心点の位置が輪郭の境界上にある確度を取得する。ここで、確度は、例えば「０」と「１」との間の数値で表され、「１」に近いほど、関心点が輪郭の境界上に位置する確度が高いことを意味する。

図４では、部分画像Ｇ３１〜Ｇ３７の各々について、確度が取得された例を示している。図４では、部分画像Ｇ３１の確度が「０．９５」、部分画像Ｇ３２の確度が「０．２５」、部分画像Ｇ３３の確度が「０．３」、部分画像Ｇ３４の確度が「０．２」、部分画像Ｇ３５の確度が「０、８」、部分画像Ｇ３６の確度「０．８５」、部分画像Ｇ３７の確度が「０．９」となった例を示している。

判定機能１５４は、部分画像Ｇ３１〜Ｇ３７から得られた確度と閾値とを比較（閾値判定）し、その比較結果に基づいて、関心点が輪郭の境界上に配置されているか否かの判定を実行する。例えば、閾値が「０．８」の場合、判定機能１５４は、確度が０．８以上となる部分画像Ｇ３１、Ｇ３５〜Ｇ３７について、関心点が輪郭の境界上に配置されている判定（ＯＫ判定）する。また、判定機能１５４は、確度が０．８を下回る部分画像Ｇ３２〜Ｇ３４について、関心点が輪郭の境界上に配置されていないと判定（ＮＧ判定）する。

制御機能１５１は、判定機能１５４によって判定された結果を、医用画像に反映させた表示画像をディスプレイ１４０に表示させる。図５は、制御機能１５１が表示する表示画像の一例を示す図である。なお、図５は、図４に示した医用画像Ｇ３に判定機能１５４の判定結果を反映させた表示画像を示している。

ここで、図５は、判定機能１５４の判定結果に応じて、関心点Ｐ３１〜Ｐ３７の表示方法（出力方法）を相違させた例を示している。具体的には、ＯＫ判定された部分画像Ｇ３１、Ｇ３５〜Ｇ３７の関心点Ｐ３１、Ｐ３５〜Ｐ３７を白色で表し、ＮＧ判定された部分画像Ｇ３２〜Ｇ３４の関心点Ｐ３２〜Ｐ３４を他の色で表した例を示している。

なお、表示画像の表示形態は、図５の例に限らないものとする。例えば、図６に示すように、学習済モデルが出力した確度に応じて関心点の表示方法を相違させてもよい。ここで、図６は、制御機能１５１が表示する表示画像の他の例を示す図である。

図６の表示形態では、確度を３つの段階に区分けして段階毎に表示方法を相違させた例を示している。具体的には、指標値が閾値（０．８）を上回る部分画像Ｇ３１、Ｇ３６、Ｇ３７の関心点Ｐ３１、Ｐ３６及びＰ３７を白色で表している。また、指標値が閾値（０．８）以下で且つ第２閾値（例えば０．５）以上となった部分画像Ｇ３５の関心点Ｐ３５を、他の関心点とは異なる色で表している。また、指標値が第２閾値（例えば０．５）以下となった部分画像Ｇ３２〜Ｇ３４の関心点Ｐ３２〜Ｐ３４を、他の関心点とは異なる色で表している。

このように、医用画像処理装置１００では、判定機能１５４の判定結果や確度の値に応じて、関心点の表示方法を相違させる。これにより、ユーザは、医用画像Ｇ３上に配置された関心点の各々が、輪郭の境界とどの程度一致（或いは相違）して配置されているのかを容易に把握することができる。なお、図６では、３段階に区分する例を示したが、これ限らず、４段階以上に区分する形態としてもよい。

以上、医用画像処理装置１００の処理回路１５０が有する各処理機能について説明した。ここで、上述したように、処理回路１５０がプロセッサによって実現される場合には、処理回路１５０が有する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１２０に記憶されている。そして、処理回路１５０は、記憶回路１２０から各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１５０は、図１の処理回路１５０に示された各機能を有することとなる。なお、図１では、単一のプロセッサによって各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路１５０が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、図１に示す例では、単一の記憶回路１２０が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路が個別の記憶回路から対応するプログラムを読み出す構成としても構わない。

次に、医用画像処理装置１００による処理の手順を説明する。図７は、医用画像処理装置１００が実行する学習時の処理の一例を示すフローチャートである。なお、処理対象の医用画像には関心点が予め設定（配置）されているものとする。

まず、制御機能１５１は、医用画像に対する画像処理が開始されるまで待機する（ステップＳ１１；Ｎｏ）。ここで、画像処理が開始されると（ステップＳ１１、Ｙｅｓ）、画像処理機能１５２は、医用画像に設定された関心点毎に、当該関心点を基準とした部分画像を抽出する（ステップＳ１２）。

続いて、学習機能１５３は、ステップＳ１２で抽出された部分画像の各々に対し、教師データが入力されるまで待機する（ステップＳ１３；Ｎｏ）。ここで、部分画像の各々に対し教師データが入力されると（ステップＳ１３；Ｙｅｓ）、学習機能１５３は、部分画像及び教師データの組を学習データとして用いることで、部分画像から関心点が輪郭の境界上にある確度を出力することが可能な学習済モデルを生成する（ステップＳ１４）。そして、学習機能１５３は、生成した学習済モデルを記憶回路１２０に格納し（ステップＳ１５）、本処理を終了する。

図８は、医用画像処理装置１００が実行する運用時の処理の一例を示すフローチャートである。なお、処理対象の医用画像には関心点が予め設定（配置）されているものとする。

まず、制御機能１５１は、医用画像に対する画像処理が開始されるまで待機する（ステップＳ２１；Ｎｏ）。ここで、画像処理が開始されると（ステップＳ２１、Ｙｅｓ）、画像処理機能１５２は、医用画像に設定された関心点毎に、当該関心点を基準とした部分画像を抽出する（ステップＳ２２）。

続いて、判定機能１５４は、抽出された部分画像の各々を学習済モデルに入力することで（ステップＳ２３）、関心点が輪郭の境界上にある確度を部分画像毎に取得する（ステップＳ２４）。次いで、判定機能１５４は、取得した確度と閾値とを比較し（ステップＳ２５）、その比較結果に基づいて、関心点が輪郭の境界上に配置されているのか否かを判定する（ステップＳ２６）。

そして、制御機能１５１は、判定機能１５４の判定結果に応じた表示方法で関心点を表した表示画像をディスプレイ１４０に表示させ（ステップＳ２７）、本処理を終了する。

上述したように、本実施形態によれば、画像処理機能１５２は、医用画像上に配置された関心点を検出し、当該関心点の位置を基準とする部分画像を医用画像から抽出する。判定機能１５４は、関心点の位置を基準とする部分画像から、当該関心点が構造物の輪郭上に配置されている確度を得ることが可能な学習済モデルに、画像処理機能１５２で抽出された部分画像を入力することで、関心点が輪郭の境界上にある確度を取得する。また、判定機能１５４は、取得した確度に基づいて、関心点が輪郭の境界上に配置されているか否かを判定する。そして、制御機能１５１は、判定機能１５４が取得した確度又は判定機能１５４の判定結果に応じた表示方法で関心点を表示させる。これにより、医用画像処理装置１００は、医用画像上に配置された関心点の各々が、輪郭の境界上にあるか否かを提示することができるため、関心点の配置位置と輪郭の境界位置との位置合わせを支援することができる。

（他の実施形態）
なお、上述した実施形態は、医用画像処理装置１００が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する各実施形態は、個別に実施されてもよいし、適宜に組み合わせて実施されてもよい。

（他の実施形態−１）
上述した実施形態では、学習時及び運用時の処理において、医用画像から抽出する部分画像を左右方向（幅方向）に長い形状とした。しかしながら、部分画像の延在方向は、これに限らず、他の方向に延在させた部分画像を抽出する形態としてもよい。

例えば、部分画像の形状は、図９に示すように、上下方向（高さ方向）に延在させた形状であってもよい。ここで、図９は、部分画像の形状の一例を示す図である。この場合、画像処理機能１５２は、医用画像Ｇ４に関心点Ｐ４が設定されると、その関心点Ｐ４の位置を基準に、上下方向に延在した所定サイズの部分画像Ｇ４１を抽出する。ここで、部分画像Ｇ４１ａは、部分画像を二次元の画像領域した場合の抽出結果を示しており、部分画像Ｇ４１ｂは、部分画像を一次元の画像領域とした場合の抽出結果を示している。

また、例えば、部分画像の形状は、図１０に示すように、斜め方向に延在させた形状であってもよい。ここで、図１０は、部分画像の形状の一例を示す図である。この場合、画像処理機能１５２は、医用画像Ｇ５に関心点Ｐ５が設定されると、その関心点Ｐ５の位置を基準に、斜め方向に延在した所定サイズの部分画像Ｇ５１を抽出する。なお、部分画像Ｇ５１は、一次元の画像領域とすることも可能であるが、幅方向又は高さ方向で定義した一次元の画像領域と実質的に同様となるため、二次元の画像領域とすることが好ましい。

本実施形態では、例えば、画像処理機能１５２は、学習時又は運用時において、医用画像中に設定された関心点毎に、向きが異なる複数の部分画像を抽出する。また、例えば、関心点の配置位置周辺の状態を取得可能な構成の場合、画像処理機能１５２は、関心点の配置位置周辺の状態に応じて、抽出する部分画像の延在方向を選択的に切り替えてもよい。ここで、図１１を参照して、関心点の配置位置周辺の状態に応じて、部分画像の延在方向を切り替える場合の動作例について説明する。

図１１は、関心点の配置位置周辺の状態と、部分画像の延在方向との関係を説明するための図である。図１１に示すように、医用画像Ｇ６上に関心点Ｐ６１〜Ｐ６５が設定されると、画像処理機能１５２は、関心点Ｐ６１〜Ｐ６５の周辺の状態に基づき、抽出する部分画像の延在方向を関心点毎に設定する。

例えば、関心点Ｐ６１の配置位置周辺の状態に着目すると、当該配置位置周辺では壁部と腔部との境界線（輪郭線）が、医用画像Ｇ６の右下から左上にかけて存在する。この場合、画像処理機能１５２は、関心点Ｐ６１の位置を基準に、境界線に対して略直行する方向（左下から右上にかけての斜め方向）に延在させた部分画像Ｇ６１を抽出する。また、関心点Ｐ６２〜Ｐ６４の配置位置周辺の状態に着目すると、当該配置位置周辺では壁部と腔部との境界線が、医用画像Ｇ６の上下方向にかけて存在する。この場合、画像処理機能１５２は、関心点Ｐ６２〜６４の各々の位置を基準に、境界線に対して略直行する方向（左右方向）に延在させた部分画像Ｇ６２〜Ｇ６４をそれぞれ抽出する。また、関心点Ｐ６５の配置位置周辺の状態に着目すると、当該配置位置周辺では壁部と腔部との境界線が、医用画像Ｇ６の左右方向にかけて存在する。この場合、画像処理機能１５２は、関心点Ｐ６５の位置を基準に、境界線に対して略直行する方向（上下方向）に延在させた部分画像Ｇ６５を抽出する。

このように、画像処理機能１５２は、関心点の配置位置周辺の状態に基づき、関心点の位置を基準とする、境界線と略直交する方向に延在させた部分画像を医用画像から抽出する。これにより、壁部と腔部との境界部分の特徴を表した部分画像を効率的に抽出することができるため、判定機能１５４による境界位置の判定精度を向上させることができる。

なお、関心点の配置位置周辺の状態を取得する方法は特に問わないものとする。例えば、部分画像の抽出に先駆けて、関心点が配置された位置周辺のテクスチャを解析することで、関心点の位置周辺の状態を取得してもよい。また、例えば、医用画像に表される心臓等の輪郭上において、関心点が配置される位置が大凡定められているような場合、当該位置周辺の状態を予め取得しておく形態としてもよい。例えば、関心点Ｐ６１〜Ｐ６５が、図１１に示した各位置の辺りに順次配置されるよう予め設定されている場合には、関心点の配置順序と、関心点の位置周辺の状態に応じて定めた部分画像の延在方向とを対応付けて記憶しておくことで、関心点毎に抽出する部分画像の延在方向を選択的に切り替えることができる。

また、延在方向が相違する部分画像を学習用データとして入力する場合には、学習機能１５３は、延在方向が同一の部分画像毎に学習済モデルを生成してもよいし、全部分画像から単一の学習済モデルを生成してもよい。

例えば、延在方向毎に学習済モデルを生成する場合、判定機能１５４は、図１２に示すように、画像処理機能１５２が抽出した部分画像を学習済モデルの各々に入力し、学習済モデルの各々から出力される確度に基づいて閾値判定を行う。

ここで、図１２は、医用画像処理装置１００の運用時の処理の一例を説明するための図である。同図において、部分画像Ｇ７１、Ｇ７２は、画像処理機能１５２により抽出された部分画像を示している。また、図１２では、上下方向と左右方向との各々に延在した部分画像毎に学習済モデルが生成された例を示している。

運用時において、部分画像Ｇ７１及びＧ７２が抽出されると、判定機能１５４は、これらの部分画像を、延在方向毎に生成された学習済モデルの各々に入力する。ここで、例えば、上下方向について生成された学習済モデルに部分画像Ｇ７１を入力した結果、０に近い確度が出力され、左右方向について生成された学習済モデルに部分画像Ｇ７１を入力した結果、１に近い確度が出力されたとする。また、例えば、上下方向について生成された学習済モデルに部分画像Ｇ７２を入力した結果、０に近い確度が出力され、左右方向について生成された学習済モデルに部分画像Ｇ７２を入力した結果、０に近い確度が出力されたとする。

上記の場合、判定機能１５４は、学習済モデルの各々から出力された確度のうち、最も大きな確度を抽出し、抽出した確度を用いて閾値判定を行う。例えば、部分画像Ｇ６１については、１に近い確度を用いて閾値判定を行うことになるため、判定機能１５４は、関心点が輪郭の境界上に配置されていると判定（ＯＫ判定）する。一方、部分画像Ｇ６２については、確度の最大値を抽出しても０に近い値となるため、判定機能１５４は、関心点が輪郭の境界上に配置されていないと判定（ＮＧ判定）する。

このように、延在方向毎に学習済モデルが生成される場合には、学習済モデルの各々から出力される確度の最大値に基づき閾値判定を行うことで、様々な方向に向かう境界線に対応することができる。したがって、関心点が輪郭の境界上に位置するか否かの判定を効率的に行うことができる。

図１２および上述した例は、延在方向ごとの学習済みモデルを使用したが、これに限定しない。例えば、左右と上下、両者の方向を用いて生成した学習済みモデルを使用してもよい。その場合には、上述した実施形態と同様に、学習済モデルから出力される単一の確度に基づき閾値判定を行えばよい。

（他の実施形態−２）
上述した実施形態（他の実施形態−１）では、学習時において、延在方向が異なる複数の部分画像を抽出する形態を説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、学習時には、特定の延在方向（例えば、左右方向）で部分画像を抽出し、運用時には、関心点毎に複数の延在方向で部分画像を抽出する形態としてもよい。この場合、判定機能１５４は、抽出された各延在方向の部分画像を学習済データに入力することで得られた確度の中から最大の確度を抽出し、閾値判定を行うものとする。

これにより、上述した実施形態と同様に、様々な方向に向かう境界線に対応することができるため、関心点の配置位置が輪郭の境界に位置するか否かの判定を効率的に行うことができる。

（他の実施形態−３）
上述した実施形態では、関心点の配置位置が境界位置に該当しないと判定した場合、境界位置に該当する関心点の表示方法と相違させることで、境界位置に該当しない関心点を識別可能に提示する形態を説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、境界位置に該当しないと判定した関心点の配置位置を補正する構成としてもよい。以下、関心点の配置位置を補正する構成について説明する。

図１３は、本実施形態に係る医用画像処理装置１００の処理回路１５０が有する処理機能の一例を示す図である。図１に示した処理機能との相違点として、本実施形態の処理回路１５０は、補正機能１５５を更に有する。ここで、補正機能１５５は、補正部の一例である。

補正機能１５５は、判定機能１５４によって関心点の配置位置が輪郭の境界位置に該当しないと判定（ＮＧ判定）された場合に、その関心点の配置位置を補正することで、当該配置位置を輪郭の境界位置に移動させる。

ここで、図１４は、本実施形態に係る医用画像処理装置１００の運用時の処理の一例を説明するための図である。上述したように、画像処理機能１５２は、医用画像Ｇ８に設定された関心点Ｐ８１〜Ｐ８７の各々について部分画像Ｇ８１〜Ｇ８７を抽出する。なお、図１４では、部分画像を二次元の画像領域とした例を示している。

判定機能１５４は、抽出された部分画像Ｇ８１〜Ｇ８７の各々を学習済モデルに入力することで、関心点が輪郭の境界上にある確度を取得する。また、判定機能１５４は、部分画像Ｇ８１〜Ｇ８７から得られた確度と閾値との比較判定の結果、Ｇ８１、Ｇ８５〜Ｇ８７について、関心点が境界上に配置されていると判定（ＯＫ判定）し、部分画像Ｇ８２〜Ｇ８４について、関心点が境界上に配置されていないと判定（ＮＧ判定）したとする。

補正機能１５５は、判定機能１５４で部分画像Ｇ８２〜Ｇ８４がＮＧ判定されると、これらの部分画像に係る関心点Ｐ８２〜Ｐ８４の配置位置を補正する。例えば、補正機能１５５は、医用画像Ｇ８中の関心点Ｐ８２〜Ｐ８４を、破線で示した位置に補正する。なお、関心点を移動させる方向や移動量は、特に問わないものとするが、例えば、学習済モデルから出力された確度に基づいて設定してもよい。

補正機能１５５により配置位置が補正されると、画像処理機能１５２は、補正後の関心点Ｐ８２〜Ｐ８４の位置を基準に、部分画像Ｇ８２〜Ｇ８４を再び抽出する。そして、判定機能１５４は、抽出された部分画像Ｇ８２〜Ｇ８４を学習済モデルに入力することで確度を取得し、閾値との比較判定を再度実行する。そして、補正機能１５５は、全ての部分画像がＯＫ判定されるまで、関心点の配置位置の補正を繰り返し実行する。

なお、本実施形態の場合、制御機能１５１は、補正機能１５５によって配置位置が補正された関心点の表示法補を他の関心点の表示方法（出力方法）と異ならせることで、補正された関心点を識別可能な状態でディスプレイ１４０に表示させることが好ましい。

図１５は、本実施形態の制御機能１５１が表示する表示画像の一例を示す図である。なお、図１５は、図１４に示した医用画像Ｇ８に補正機能１５５の補正結果を反映させた表示画像を示している。

図１５に示すように、制御機能１５１は、補正機能１５５の補正結果に応じて、配置位置の補正が行われた関心点Ｐ８２〜Ｐ８４を、他の関心点Ｐ８１、Ｐ８５、Ｐ８６と異なる表示方法で強調表示する。このように、補正機能１５５の補正結果に応じて関心点の表示方法を異ならせることで、配置位置の補正が行われた関心点を容易に識別することができる。

図１６は、本実施形態の医用画像処理装置１００が実行する運用時の処理の一例を示すフローチャートである。なお、ステップＳ３１〜Ｓ３６の処理は、図８で説明したステップＳ１１〜Ｓ１６の処理と同様であるため説明を省略する。

補正機能１５５は、ステップＳ３６の判定結果に基づいて、ＮＧ判定された部分画像が存在するか否かを判定する（ステップＳ３７）。ここで、ＮＧ判定された部分画像が存在すると判定した場合（ステップＳ３７；Ｙｅｓ）、補正機能１５５は、該当する部分画像に係る関心点の配置位置を補正し（ステップＳ３８）、ステップＳ３２に処理を戻す。これにより、画像処理機能１５２は、配置位置が補正された関心点に基づき部分画像の抽出を行う。

一方、ステップＳ３７で、ＮＧ判定された部分画像が存在しないと判定した場合（ステップＳ３７；Ｎｏ）、制御機能１５１は、配置位置が補正された関心点を識別可能に表した表示画像をディスプレイ１４０に表示させ（ステップＳ３９）、本処理を終了する。

上述したように、本実施形態によれば、医用画像上に配置された関心点が、輪郭の境界位置から外れた位置にあっても、輪郭の境界位置に自動で補正することができる。したがって、本実施形態の医用画像処理装置１００は、関心点の配置位置と輪郭の境界位置との位置合わせを支援することができる。また、医用画像処理装置１００は、配置位置が補正された関心点を強調して表示させるため、ユーザの利便性を向上させることができる。

（他の実施形態−４）
上述した実施形態では、輪郭の境界位置に該当しないと判定した関心点を、識別可能な状態で表示させる形態を説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、制御機能１５１は、ＮＧ判定された部分画像（関心点）の個数が所定の閾値を上回るような場合には、その医用画像が被検体の検査（評価）に用いられないよう表示を制御してもよい。

例えば、医用画像が複数のフレームで構成される動画像である場合、制御機能１５１は、各フレームに設定された複数の関心点のうち、ＮＧ判定された関心点の個数が閾値を上回るフレームについては、表示（出力）が行われないようフレームを破棄する。これにより、例えば、輪郭の境界からずれた位置に関心点が多数配置されているような精度の悪い医用画像を、被検体の検査に使用されないよう抑制することができるため、検査精度の向上を図ることができる。

（他の実施形態−５）
上述した実施形態では、特定の延在方向について生成された学習済モデル又は延在方向毎に生成された学習済モデルを用いる形態を説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、医用画像診断装置３００の種別毎に学習済モデルを生成してもよい。また、例えば、撮像の対象となった構造物の種別や当該構造物での部位毎に学習済モデルを生成してもよい。また、例えば、心臓の拡張期や収縮期等、周期的に形状（輪郭）が変化する構造物については、周期毎に部分画像を抽出し、抽出した部分画像を用いることで形状変化の周期毎に学習済モデルを生成してもよい。さらに、左右方向で部分画像を抽出し、左右方向の画像として学習させるだけではなく、任意の方向に画像を回転させ、角度に応じた画像データとして使用して、学習データ数をあたかも増やすような方法を用いてもよい。

（他の実施形態−６）
上述した実施形態では、部分画像の延在方向に応じた学習済モデルを用意する形態を説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、図１０の部分画像Ｇ５１のように、斜め方向で部分画像を抽出し、延在方向が左右方向となるよう半時計周り（又は時計周り）に回転させた後、左右方向で学習した学習済モデルに適用する形態としてもよい。これにより、斜め方向の学習済モデルを使用しないでも確度の取得が可能となり、方向毎に学習済モデルを作成する必要がなくなるため、学習回数を大幅に減らすことができる。

（他の実施形態−７）
上述した実施形態では、部分画像の形状を線状又は長方形状とした。しかしながら、実施形態はこれに限定されるものではない。例えば、部分画像は、楕円等の曲面を有して構成されてもよい。また、上述した実施形態では、二次元画像データの医用画像から、二次元又は一次元の画像領域で表される部分画像を抽出する例を説明したが、実施形態はこれに限られない。例えば、医用画像が三次元画像データである場合には、当該医用画像から抽出する部分画像は三次元、二次元及び一次元の何れの画像領域であってもよい。なお、部分画像が三次元で表される場合、当該部分画像の形状は、直方体であってもよいし、楕円体等の曲面を有した形状であってもよい。

（他の実施形態−８）
上述した実施形態では、医用画像処理装置１００が、学習時の処理及び運用時の処理の両方を行う場合の例を説明したが、実施形態はこれに限られない。例えば、医用画像処理装置１００が有する機能のうち、学習済モデルを生成する機能（学習機能１５３）が、医用画像処理装置１００とは別の装置に実装されていてもよい。

（他の実施形態−９）
上述した各実施形態では、本明細書における抽出部、取得部、判定部、制御部及び補正部を、それぞれ、処理回路１５０の画像処理機能１５２、判定機能１５４、制御機能１５１及び補正機能１５５によって実現する場合の例を説明したが、実施形態はこれに限られない。例えば、本明細書における抽出部、取得部、判定部、制御部及び補正部は、実施形態で述べた画像処理機能１５２、判定機能１５４、制御機能１５１及び補正機能１５５によって実現する他にも、ハードウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであってもよい。

なお、上述した説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは、記憶回路１２０に保存されたプログラムを読み出して実行することで、機能を実現する。なお、記憶回路１２０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合は、プロセッサは回路内に組み込まれたプログラムを読み出して実行することで機能を実現する。また、本実施形態のプロセッサは、単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。

ここで、プロセッサによって実行されるプログラム（医用画像処理プログラム）は、ＲＯＭ（Read Only Memory）や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）−ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ−Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に保存され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、上述した各機能部を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。

以上説明した少なくとも１つの実施形態によれば、関心点の配置位置と輪郭の境界位置との位置合わせを支援することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００ 医用画像処理装置
１２０ 記憶回路
１５０ 処理回路
１５１ 制御機能
１５２ 画像処理機能
１５３ 学習機能
１５４ 判定機能
１５５ 補正機能

Claims (12)

1. 医用画像上の関心点の位置を基準とする部分画像を前記医用画像から抽出する抽出部と、
   前記部分画像に基づいて前記関心点が前記医用画像に表された構造物の輪郭上に配置される確度を得る学習済モデルに前記部分画像を入力することで、前記確度を取得する取得部と、
   を備える医用画像処理装置。
2. 前記学習済モデルは、前記部分画像の特性と、当該部分画像に含まれる前記関心点の位置が前記医用画像に表された構造物の輪郭上にあるか否かを示した教師データとの関係を学習済であり、前記部分画像が入力されると前記確度を出力するように機能付けられている請求項１に記載の医用画像処理装置。
3. 前記取得部が取得した前記確度に応じて、前記医用画像又は前記関心点の出力を制御する制御部を更に備える請求項１に記載の医用画像処理装置。
4. 前記取得部が取得した前記確度が閾値より大きいか否か又は閾値以上か否かを判定する判定部を更に備え、
   前記制御部は、前記判定部の判定結果に応じて、前記医用画像又は前記関心点の出力を制御する請求項３に記載の医用画像処理装置。
5. 前記制御部は、前記判定部の判定結果に応じて、前記関心点の出力方法を相違させる請求項４に記載の医用画像処理装置。
6. 前記制御部は、前記確度が前記閾値以下又は前記閾値より小さいと判定された前記関心点の個数に応じて、前記医用画像の出力を制御する請求項４又は５に記載の医用画像処理装置。
7. 前記確度が前記閾値以下又は前記閾値より小さいと判定された前記関心点について、前記医用画像上における当該関心点の位置を補正する補正部を更に備える、請求項４に記載の医用画像処理装置。
8. 前記制御部は、前記補正部によって位置が補正された前記関心点を強調して出力させる請求項７に記載の医用画像処理装置。
9. 前記取得部は、前記抽出部で抽出された前記部分画像を、延在方向が同一の部分画像毎に生成された前記学習済モデルの各々に入力し、当該学習済モデルの各々から出力された前記確度の中から最大の確度を取得する、請求項１又は２に記載の医用画像処理装置。
10. 前記抽出部は、前記関心点の位置を基準とする、向きが異なる複数の部分画像を前記医用画像から抽出し、
    前記制御部は、前記抽出部で抽出された前記複数の部分画像の各々を前記学習済モデルに入力することで得られた複数の確度に基づいて前記医用画像又は前記関心点の出力を制御する、請求項３に記載の医用画像処理装置。
11. 前記抽出部は、前記関心点の位置を中心とする、線状又は長方形状の部分画像を前記医用画像から抽出する、請求項１０に記載の医用画像処理装置。
12. 医用画像上の関心点の位置を基準とする部分画像を前記医用画像から抽出する抽出機能と、
    前記部分画像に基づいて前記関心点が前記医用画像に表された構造物の輪郭上に配置される確度を得る学習済モデルに前記部分画像を入力することで、前記確度を取得する取得機能と、
    をコンピュータに実現させるための医用画像処理プログラム。