JP7341679B2 - 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム - Google Patents

医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム Download PDF

Info

Publication number
JP7341679B2
JP7341679B2 JP2019040042A JP2019040042A JP7341679B2 JP 7341679 B2 JP7341679 B2 JP 7341679B2 JP 2019040042 A JP2019040042 A JP 2019040042A JP 2019040042 A JP2019040042 A JP 2019040042A JP 7341679 B2 JP7341679 B2 JP 7341679B2
Authority
JP
Japan
Prior art keywords
image data
function
candidate
ray image
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019040042A
Other languages
English (en)
Other versions
JP2020141815A (ja
Inventor
真吾 阿部
智生 藤戸
亮一 長江
翔 佐々木
久人 竹元
早紀 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2019040042A priority Critical patent/JP7341679B2/ja
Publication of JP2020141815A publication Critical patent/JP2020141815A/ja
Application granted granted Critical
Publication of JP7341679B2 publication Critical patent/JP7341679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明の実施形態は、医用画像処理装置、Ｘ線診断装置及び医用画像処理プログラムに関する。
被検体の体内に挿入された医療デバイスについて時系列の医用画像データを用いて観察を行なう際、被検体の心拍や呼吸等に応じて医療デバイスが動いてしまうことにより、医療デバイスを観察しにくくなる場合がある。これに対して、時系列の医用画像データを表示する際に医療デバイスの表示位置を固定する技術が知られている。例えば、医療デバイスに付されたマーカを医用画像データ上で特定し、特定したマーカの位置に応じて医用画像データの表示位置を補正することにより、医療デバイスの表示位置を固定することができる。しかしながら、医用画像データ上の誤った位置をマーカとして特定することにより、表示が乱れてしまう場合があった。
米国特許第７３４０１０８号明細書
本発明が解決しようとする課題は、医用画像データ上でのマーカ特定の精度を向上させることである。
実施形態の医用画像処理装置は、検出部と、抽出部と、解析部と、特定部とを備える。検出部は、医用画像データ上で少なくとも３つの候補点を検出する。抽出部は、前記少なくとも３つの候補点の中から複数の候補対を選択し、選択した前記複数の候補対それぞれに対応する複数の領域を前記医用画像データから抽出する。解析部は、前記複数の領域それぞれを解析する。特定部は、前記解析部による解析結果に基づいて、前記複数の候補対の中から一又は複数の対を特定する。
図１は、第１の実施形態に係る医用画像処理システムの構成の一例を示すブロック図である。 図２は、第１の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。 図３は、第１の実施形態に係る学習済みモデルの生成処理について説明するための図である。 図４は、第１の実施形態に係る学習データセットの例を示す図である。 図５Ａは、第１の実施形態に係るＸ線画像データの一例を示す図である。 図５Ｂは、第１の実施形態に係る抽出処理について説明するための図である。 図６Ａは、第１の実施形態に係る解析処理について説明するための図である。 図６Ｂは、第１の実施形態に係る解析処理について説明するための図である。 図７は、第１の実施形態に係る医用画像処理装置の処理の一連の流れを説明するためのフローチャートである。 図８Ａは、第２の実施形態に係る学習済みモデルの生成処理について説明するための図である。 図８Ｂは、第２の実施形態に係る学習済みモデルの生成処理について説明するための図である。 図９は、第２の実施形態に係る学習データセットの例を示す図である。 図１０は、第２の実施形態に係る抽出処理について説明するための図である。 図１１は、第２の実施形態に係る解析処理について説明するための図である。 図１２は、第３の実施形態に係る候補点の検出処理を説明するための図である。 図１３Ａは、第３の実施形態に係る候補点の検出処理を説明するための図である。 図１３Ｂは、第３の実施形態に係る候補点の検出処理を説明するための図である。 図１４Ａは、第３の実施形態に係る候補点の検出処理を説明するための図である。 図１４Ｂは、第３の実施形態に係る候補点の検出処理を説明するための図である。 図１５は、第３の実施形態に係る候補対の特定処理について説明するための図である。 図１６は、第４の実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。 図１７は、第４の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。
以下、図面を参照して、実施形態に係る医用画像処理装置、Ｘ線診断装置及び医用画像処理プログラムを説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。第１の実施形態では、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０を含んだ医用画像処理システム１について説明する。また、第１の実施形態では、医用画像データの例として、Ｘ線診断装置１０により収集されるＸ線画像データについて説明する。
図１は、第１の実施形態に係る医用画像処理システム１の構成の一例を示すブロック図である。図１に示すように、第１の実施形態に係る医用画像処理システム１は、Ｘ線診断装置１０と、画像保管装置２０と、医用画像処理装置３０とを備える。図１に示すように、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０は、ネットワークＮＷを介して相互に接続される。
Ｘ線診断装置１０は、被検体からＸ線画像データを収集する装置である。具体的には、Ｘ線診断装置１０は、被検体をＸ線撮像してＸ線画像データを収集し、収集したＸ線画像データを画像保管装置２０及び医用画像処理装置３０に対して出力する。なお、Ｘ線診断装置１０の構成については後述する。
画像保管装置２０は、医用画像処理システム１に含まれる装置により収集された各種の医用画像データを保管する装置である。例えば、画像保管装置２０は、Ｘ線診断装置１０により収集されたＸ線画像データや、医用画像処理装置３０による画像処理後のＸ線画像データを受け付けて、装置内又は装置外に設けられたメモリに記憶させる。例えば、画像保管装置２０は、サーバ装置等のコンピュータ機器によって実現される。
医用画像処理装置３０は、ネットワークＮＷを介して、Ｘ線診断装置１０により収集されたＸ線画像データを取得し、取得したＸ線画像データを用いた種々の処理を実行する。例えば、医用画像処理装置３０は、Ｘ線画像データ上で、医療デバイスに付されたマーカを特定する。また、例えば、医用画像処理装置３０は、特定したマーカに基づいて、Ｘ線画像データに対する画像処理を実行する。なお、医用画像処理装置３０が行なう処理については後述する。例えば、医用画像処理装置３０は、ワークステーション等のコンピュータ機器によって実現される。
なお、ネットワークＮＷを介して接続可能であれば、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０が設置される場所は任意である。例えば、医用画像処理装置３０は、Ｘ線診断装置１０と異なる病院に設置されてもよい。即ち、ネットワークＮＷは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。また、図１においてはＸ線診断装置１０を１つ示すが、医用画像処理システム１は複数のＸ線診断装置１０を含んでもよい。
図１に示すように、医用画像処理装置３０は、入力インターフェース３１と、ディスプレイ３２と、記憶回路３３と、モデル記憶回路３４と、処理回路３５とを有する。
入力インターフェース３１は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路３５に出力する。例えば、入力インターフェース３１は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース３１は、医用画像処理装置３０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース３１は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用画像処理装置３０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路３５へ出力する電気信号の処理回路も入力インターフェース３１の例に含まれる。
ディスプレイ３２は、各種の情報を表示する。例えば、ディスプレイ３２は、入力インターフェース３１を介して操作者から各種指示や各種設定等を受け付けるためのＧＵＩ（Graphical User Interface）を表示する。また、ディスプレイ３２は、被検体について収集された各種の画像データを表示する。例えば、ディスプレイ３２は、処理回路３５による画像処理後のＸ線画像データを表示させる。例えば、ディスプレイ３２は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイである。ディスプレイ３２は、デスクトップ型でもよいし、医用画像処理装置３０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
記憶回路３３は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路３３は、医用画像処理装置３０に含まれる回路がその機能を実現するためのプログラムを記憶する。なお、記憶回路３３は、医用画像処理装置３０とネットワークＮＷを介して接続されたサーバ群（クラウド）により実現されることとしてもよい。
モデル記憶回路３４は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、モデル記憶回路３４は、画像データの入力を受けて入力された画像データの解析結果を出力するように機能付けられた学習済みモデルＭ１を記憶する。なお、学習済みモデルＭ１については後述する。モデル記憶回路３４は、クラウドにより実現されることとしてもよい。
処理回路３５は、取得機能３５１、検出機能３５２、抽出機能３５３、解析機能３５４、特定機能３５５、モデル生成機能３５６、画像処理機能３５７及び制御機能３５８を実行することで、医用画像処理装置３０全体の動作を制御する。ここで、取得機能３５１は、取得部の一例である。また、検出機能３５２は、検出部の一例である。また、抽出機能３５３は、抽出部の一例である。また、解析機能３５４は、解析部の一例である。また、特定機能３５５は、特定部の一例である。また、モデル生成機能３５６は、モデル生成部の一例である。また、画像処理機能３５７は、画像処理部の一例である。また、処理回路３５は、処理部の一例である。
例えば、処理回路３５は、取得機能３５１に対応するプログラムを記憶回路３３から読み出して実行することにより、Ｘ線診断装置１０により収集されたＸ線画像データを取得する。例えば、取得機能３５１は、Ｘ線診断装置１０から、複数のマーカを有する医療デバイスを撮像した時系列の複数のＸ線画像データを取得する。また、例えば、処理回路３５は、検出機能３５２に対応するプログラムを記憶回路３３から読み出して実行することにより、Ｘ線画像データ上で、医療デバイスに付されたマーカの候補点を少なくとも３つ検出する。また、処理回路３５は、抽出機能３５３に対応するプログラムを記憶回路３３から読み出して実行することにより、Ｘ線画像データから検出された少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、処理回路３５は、解析機能３５４に対応するプログラムを記憶回路３３から読み出して実行することにより、学習済みモデルＭ１を用いて、Ｘ線画像データから抽出した複数の領域それぞれを解析する。また、処理回路３５は、特定機能３５５に対応するプログラムを記憶回路３３から読み出して実行することにより、解析結果に基づいて、複数の候補対の中から一又は複数の対を特定する。また、処理回路３５は、モデル生成機能３５６に対応するプログラムを記憶回路３３から読み出して実行することにより、学習済みモデルＭ１を生成する。また、処理回路３５は、画像処理機能３５７に対応するプログラムを記憶回路３３から読み出して実行することにより、特定機能３５５が特定した一又は複数の対に基づいて、Ｘ線画像データに対する画像処理を実行する。なお、取得機能３５１、検出機能３５２、抽出機能３５３、解析機能３５４、特定機能３５５、モデル生成機能３５６及び画像処理機能３５７による処理については後に詳述する。
また、例えば、処理回路３５は、制御機能３５８に対応するプログラムを記憶回路３３から読み出して実行することにより、画像処理機能３５７による画像処理後のＸ線画像データをディスプレイ３２に表示させる。また、制御機能３５８は、画像処理機能３５７による画像処理後のＸ線画像データを、Ｘ線診断装置１０及び画像保管装置２０に対して送信する。
図１に示す医用画像処理装置３０においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路３３へ記憶されている。処理回路３５は、記憶回路３３からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３５は、読み出したプログラムに対応する機能を有することとなる。
なお、図１においては単一の処理回路３５にて、取得機能３５１、検出機能３５２、抽出機能３５３、解析機能３５４、特定機能３５５、モデル生成機能３５６、画像処理機能３５７及び制御機能３５８が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３５を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路３５が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
次に、図２を用いて、Ｘ線診断装置１０について説明する。図２は、第１の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。図２に示すように、Ｘ線診断装置１０は、Ｘ線高電圧装置１０１と、Ｘ線管１０２と、Ｘ線絞り器１０３と、天板１０４と、Ｃアーム１０５と、Ｘ線検出器１０６と、記憶回路１０７と、ディスプレイ１０８と、入力インターフェース１０９と、処理回路１１０とを備える。
Ｘ線高電圧装置１０１は、処理回路１１０による制御の下、Ｘ線管１０２に高電圧を供給する。例えば、Ｘ線高電圧装置１０１は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管１０２に印加する高電圧を発生する高電圧発生装置と、Ｘ線管１０２が照射するＸ線に応じた出力電圧の制御を行うＸ線制御装置とを有する。なお、高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。
Ｘ線管１０２は、熱電子を発生する陰極（フィラメント）と、熱電子の衝突を受けてＸ線を発生する陽極（ターゲット）とを有する真空管である。Ｘ線管１０２は、Ｘ線高電圧装置１０１から供給される高電圧を用いて、陰極から陽極に向けて熱電子を照射することにより、Ｘ線を発生する。
Ｘ線絞り器１０３は、Ｘ線管１０２により発生されたＸ線の照射範囲を絞り込むコリメータと、Ｘ線管１０２から曝射されたＸ線を調節するフィルタとを有する。
Ｘ線絞り器１０３におけるコリメータは、例えば、スライド可能な４枚の絞り羽根を有する。コリメータは、絞り羽根をスライドさせることで、Ｘ線管１０２が発生したＸ線を絞り込んで被検体Ｐに照射させる。ここで、絞り羽根は、鉛などで構成された板状部材であり、Ｘ線の照射範囲を調整するためにＸ線管１０２のＸ線照射口付近に設けられる。
Ｘ線絞り器１０３におけるフィルタは、被検体Ｐに対する被曝線量の低減とＸ線画像データの画質向上を目的として、その材質や厚みによって透過するＸ線の線質を変化させ、被検体Ｐに吸収されやすい軟線成分を低減したり、Ｘ線画像データのコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタは、その材質や厚み、位置などによってＸ線の線量及び照射範囲を変化させ、Ｘ線管１０２から被検体Ｐへ照射されるＸ線が予め定められた分布になるようにＸ線を減衰させる。
例えば、Ｘ線絞り器１０３は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることによりＸ線の照射を制御する。例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、コリメータの絞り羽根の開度を調整して、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、例えば、Ｘ線絞り器１０３は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、フィルタの位置を調整することで、被検体Ｐに対して照射されるＸ線の線量の分布を制御する。
天板１０４は、被検体Ｐを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Ｐは、Ｘ線診断装置１０に含まれない。例えば、寝台は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、天板１０４の移動・傾斜を制御する。例えば、寝台は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板１０４を移動させたり、傾斜させたりする。
Ｃアーム１０５は、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを、被検体Ｐを挟んで対向するように保持する。例えば、Ｃアーム１０５は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１１０による制御の下、駆動機構を動作させることにより、回転したり移動したりする。例えば、Ｃアーム１０５は、処理回路１１０から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、Ｘ線管１０２及びＸ線絞り器１０３と、Ｘ線検出器１０６とを被検体Ｐに対して回転・移動させ、Ｘ線の照射位置や照射角度を制御する。なお、図２では、Ｘ線診断装置１０がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。
Ｘ線検出器１０６は、例えば、マトリクス状に配列された検出素子を有するＸ線平面検出器（Flat Panel Detector：ＦＰＤ）である。Ｘ線検出器１０６は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出して、検出したＸ線量に対応した検出信号を処理回路１１０へと出力する。なお、Ｘ線検出器１０６は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。
記憶回路１０７は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路１０７は、処理回路１１０によって収集されたＸ線画像データを受け付けて記憶する。また、記憶回路１０７は、処理回路１１０によって読み出されて実行される各種機能に対応するプログラムを記憶する。なお、記憶回路１０７は、クラウドにより実現されることとしてもよい。
ディスプレイ１０８は、各種の情報を表示する。例えば、ディスプレイ１０８は、処理回路１１０による制御の下、操作者の指示を受け付けるためのＧＵＩや、各種のＸ線画像を表示する。例えば、ディスプレイ１０８は、液晶ディスプレイやＣＲＴディスプレイである。なお、ディスプレイ１０８はデスクトップ型でもよいし、処理回路１１０と無線通信可能なタブレット端末等で構成されることにしても構わない。
入力インターフェース１０９は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１０に出力する。例えば、入力インターフェース１０９は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース１０９は、処理回路１１０と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース１０９は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、Ｘ線診断装置１０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１１０へ出力する電気信号の処理回路も入力インターフェース１０９の例に含まれる。
処理回路１１０は、収集機能１１０ａ、表示制御機能１１０ｂ及び送信機能１１０ｃを実行することで、Ｘ線診断装置１０全体の動作を制御する。
例えば、処理回路１１０は、記憶回路１０７から収集機能１１０ａに相当するプログラムを読み出して実行することにより、被検体ＰをＸ線撮像して、Ｘ線画像データを収集する。例えば、収集機能１１０ａは、Ｘ線高電圧装置１０１を制御し、Ｘ線管１０２に供給する電圧を調整することで、被検体Ｐに対して照射されるＸ線量やオン／オフを制御する。
また、例えば、収集機能１１０ａは、Ｘ線管１０２、Ｘ線絞り器１０３、天板１０４、Ｃアーム１０５及びＸ線検出器１０６の動作を制御することにより、Ｘ線の照射範囲やＸ線の線量の分布、Ｘ線の照射角度等を制御する。具体的には、収集機能１１０ａは、Ｘ線絞り器１０３の動作を制御し、コリメータが有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。また、収集機能１１０ａは、Ｘ線絞り器１０３の動作を制御し、フィルタの位置を調整することで、Ｘ線の線量の分布を制御する。また、収集機能１１０ａは、Ｃアーム１０５を回転させたり、移動させたりすることで、Ｘ線の照射範囲及び照射角度を制御する。また、収集機能１１０ａは、天板１０４を移動させたり、傾斜させたりすることで、Ｘ線の照射範囲及び照射角度を制御する。また、収集機能１１０ａは、Ｘ線検出器１０６から受信した検出信号に基づいてＸ線画像データを生成し、生成したＸ線画像データを記憶回路１０７に格納する。
また、処理回路１１０は、記憶回路１０７から表示制御機能１１０ｂに相当するプログラムを読み出して実行することにより、各種のＸ線画像データをディスプレイ１０８に表示させる。例えば、表示制御機能１１０ｂは、収集機能１１０ａが収集したＸ線画像データや、医用画像処理装置３０による画像処理後のＸ線画像データをディスプレイ１０８に表示させる。また、処理回路１１０は、記憶回路１０７から送信機能１１０ｃに相当するプログラムを読み出して実行することにより、収集機能１１０ａが収集したＸ線画像データを、医用画像処理装置３０に対して送信する。
図２に示すＸ線診断装置１０においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路１０７へ記憶されている。処理回路１１０は、記憶回路１０７からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路１１０は、読み出したプログラムに対応する機能を有することとなる。
なお、図２においては単一の処理回路１１０にて、収集機能１１０ａ、表示制御機能１１０ｂ及び送信機能１１０ｃが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１１０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路１１０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、あるいは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路３３又は記憶回路１０７に保存されたプログラムを読み出し実行することで機能を実現する。
なお、図１及び図２においては、単一の記憶回路３３又は記憶回路１０７が各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、複数の記憶回路３３を分散して配置し、処理回路３５は、個別の記憶回路３３から対応するプログラムを読み出す構成としても構わない。同様に、複数の記憶回路１０７を分散して配置し、処理回路１１０は、個別の記憶回路１０７から対応するプログラムを読み出す構成としても構わない。また、記憶回路３３及び記憶回路１０７にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
また、処理回路３５及び処理回路１１０は、ネットワークＮＷを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路３５は、記憶回路３３から各機能に対応するプログラムを読み出して実行するとともに、医用画像処理装置３０とネットワークＮＷを介して接続されたサーバ群（クラウド）を計算資源として利用することにより、図１に示す各機能を実現する。
以上、Ｘ線診断装置１０、画像保管装置２０及び医用画像処理装置３０を含んだ医用画像処理システム１について説明した。かかる構成のもと、医用画像処理システム１における医用画像処理装置３０は、処理回路３５による処理によって、Ｘ線画像データ上でのマーカ特定の精度を向上させる。
まず、Ｘ線診断装置１０における収集機能１１０ａは、複数のマーカを有する医療デバイスを撮像したＸ線画像データを収集する。ここで、マーカとは、例えば、医療デバイスに付されるＸ線不透過の金属であり、Ｘ線画像データ上に比較的明瞭に描出される。従って、Ｘ線画像データ上の医療デバイスが不明瞭な場合でも、マーカによりＸ線画像データ上の医療デバイスを特定することができる。なお、マーカが１つのみである場合、Ｘ線画像データ上で医療デバイスの位置は特定できるにしても、向きが特定できないため、通常は複数のマーカが医療デバイスに付される。以下では一例として、医療デバイスに２つのマーカが付されているものとして説明する。
また、医療デバイスとは、例えば、被検体Ｐの体内に挿入されるカテーテルやガイドワイヤ、ステント等である。なお、マーカが付される医療デバイスの種類は、治療対象部位や手技の目的に応じて変化する。即ち、マーカは、カテーテルに付される場合もあれば、ガイドワイヤに付される場合もあり、ステントに付される場合もある。一例を挙げると、バルーン付きカテーテルを用いたステント留置術では、バルーン付きカテーテルのバルーン部分にマーカが付される。別の例を挙げると、被検体Ｐの脳内血管に対するステント留置術では、ステント自体にマーカが付される。
次に、送信機能１１０ｃは、収集機能１１０ａが収集したＸ線画像データを医用画像処理装置３０に対して送信する。ここで、取得機能３５１は、Ｘ線診断装置１０から送信されたＸ線画像データを受信することにより、Ｘ線画像データを取得する。例えば、取得機能３５１は、Ｘ線診断装置１０によりＸ線画像データが収集されるごとに、収集されたＸ線画像データを順次取得する。即ち、取得機能３５１は、時系列の複数のＸ線画像データを取得する。
次に、検出機能３５２は、取得機能３５１が取得したＸ線画像データ上で、医療デバイスが有する２つのマーカの候補点を検出する。例えば、検出機能３５２は、パターンマッチングにより、２つのマーカの候補点を検出する。一例を挙げると、検出機能３５２は、マーカの形状を模したカーネルを用いて、Ｘ線画像データ上の各位置について類似度を算出し、類似度が閾値以上となる位置を候補点として検出する。
ここで、２つのマーカに対応する２つの候補点のみ検出されることが理想ではあるものの、種々の要因により、マーカの誤検出が生じる場合がある。例えば、検出機能３５２は、Ｘ線画像データに生じたノイズを候補点として検出してしまう場合がある。また、例えば、検出機能３５２は、Ｘ線画像データに現れた被検体Ｐの骨のエッジを候補点として検出してしまう場合がある。即ち、検出機能３５２は、２つのマーカに対して、３つ以上の候補点を検出してしまう場合がある。なお、パターンマッチングにおける類似度の閾値を高く設定することにより、検出する候補点の数を制限することが可能である。しかしながら、この場合、検出機能３５２は、マーカに対応する候補点を検出し損ねる場合がある。
そこで、抽出機能３５３、解析機能３５４及び特定機能３５５は、検出機能３５２が３つ以上の候補点を検出した場合、検出された３つ以上の候補点の中から、医療デバイスが有する２つのマーカに対応する２つの候補点を特定する。具体的には、抽出機能３５３は、検出された３つ以上の候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、解析機能３５４は、学習済みモデルＭ１に複数の領域を入力することによって、複数の領域それぞれを解析する。また、特定機能３５５は、解析結果に基づいて、複数の候補対の中から、医療デバイスが有する２つのマーカに対応する一の対を特定する。なお、検出機能３５２が２つの候補点を検出した場合、例えば、抽出機能３５３は、検出された２つの候補点から候補対を作成し、特定機能３５５は、作成された候補対を、医療デバイスが有する２つのマーカに対応する一の対として特定することができる。
以下、検出機能３５２が検出した少なくとも３つの候補点の中から２つの候補点を特定する処理について詳細に説明する。まず、学習済みモデルＭ１の生成処理について、図３を用いて説明する。図３は、第１の実施形態に係る学習済みモデルＭ１の生成処理について説明するための図である。モデル生成機能３５６は、被検体ＰからのＸ線画像データの収集が開始されるよりも前に学習済みモデルＭ１を生成し、生成した学習済みモデルＭ１をモデル記憶回路３４に記憶させる。
まず、モデル生成機能３５６は、学習済みモデルＭ１の学習に用いる学習データセットを生成する。例えば、モデル生成機能３５６は、過去の検査においてマーカの特定が行われた複数のＸ線画像データを取得する。ここで、モデル生成機能３５６が取得するＸ線画像データは、被検体ＰのＸ線画像データであってもよいし、他の被検体のＸ線画像データであってもよい。
図３においては一例として、モデル生成機能３５６が、Ｘ線画像データＩ１１及びＸ線画像データＩ１２を含む複数のＸ線画像データを取得した場合について説明する。Ｘ線画像データＩ１１及びＸ線画像データＩ１２は、マーカＤ１１及びマーカＤ１２を有するガイドワイヤＤ１４を撮像した画像データである。なお、マーカＤ１１とマーカＤ１２との間には、ステントＤ１３が配置される。ステントＤ１３は、血管内に留置するために拡張されている途中のものであってもよいし、拡張前のものであってもよい。
次に、モデル生成機能３５６は、過去の検査におけるマーカの特定結果に基づいて、各Ｘ線画像データから領域を抽出する。例えば、モデル生成機能３５６は、図３に示すように、Ｘ線画像データＩ１１上に点線で示す矩形領域を、画像データＩ１１１として抽出する。ここで、モデル生成機能３５６は、Ｘ線画像データＩ１１上で特定されたマーカ間の距離に応じて、画像データＩ１１１を抽出する。即ち、モデル生成機能３５６は、マーカ間の距離に応じてサイズを調整した矩形領域を、画像データＩ１１１として抽出する。また、モデル生成機能３５６は、Ｘ線画像データＩ１１上で特定されたマーカ対の向きに応じて、画像データＩ１１１を抽出する。即ち、モデル生成機能３５６は、マーカ対の向きに応じて回転させた矩形領域を、画像データＩ１１１として抽出する。
ここで、Ｘ線画像データＩ１１は、マーカが正しく特定された画像データの例である。この場合、Ｘ線画像データＩ１１から抽出される画像データＩ１１１においては、所定の位置にマーカＤ１１及びマーカＤ１２が配置されることとなる。例えば、図３に示す場合、画像データＩ１１１におけるマーカＤ１１及びマーカＤ１２は、いずれも画像のふち近傍に位置し、且つ、画像中央で縦に並ぶように配置される。
同様に、モデル生成機能３５６はＸ線画像データＩ１２上に点線で示す矩形領域を、画像データＩ１２１として抽出する。ここで、モデル生成機能３５６は、Ｘ線画像データＩ１１上で特定されたマーカ間の距離に応じて、画像データＩ１２１を抽出する。また、モデル生成機能３５６は、Ｘ線画像データＩ１１上で特定されたマーカ対の向きに応じて、画像データＩ１２１を抽出する。
ここで、Ｘ線画像データＩ１２は、マーカが正しく特定されなかった画像データの例である。具体的には、Ｘ線画像データＩ１２は、マーカＤ１２については正しく特定されたものの、マーカＤ１１と誤って骨のエッジ部分を特定してしまった場合を示す。この場合、Ｘ線画像データＩ１２から抽出される画像データＩ１２１において、マーカＤ１１は、所定の位置に配置されないこととなる。例えば、図３に示す場合、マーカＤ１１は画像データＩ１２１に含まれていない。
次に、モデル生成機能３５６は、複数のＸ線画像データから抽出した各画像データについて、画像サイズを調整する。具体的には、モデル生成機能３５６は、図３に示すように、画像データＩ１１１や画像データＩ１２１について画像サイズが一定となるようにリサイズを行なう。以下、画像サイズを調整した画像データＩ１１１を、画像データＩ１１１’と記載する。また、画像サイズを調整した画像データＩ１２１を、画像データＩ１２１’と記載する。
次に、モデル生成機能３５６は、画像サイズを調整した画像データについて、マーカが正しく特定されたか否かを示す情報を付加することにより、学習データを生成する。即ち、モデル生成機能３５６は、画像データＩ１１１’や画像データＩ１２１’等の画像データと、マーカが正しく特定されたか否かを示す情報とを組み合わせることにより、学習データを生成する。
例えば、Ｘ線画像データＩ１１においてはマーカが正しく特定されているため、モデル生成機能３５６は、Ｘ線画像データＩ１１に基づく画像データＩ１１１’に対して、マーカが正しく特定されたことを示す情報「○」を付加する。一方で、Ｘ線画像データＩ１２においてはマーカが正しく特定されていないため、モデル生成機能３５６は、Ｘ線画像データＩ１２に基づく画像データＩ１２１’に対して、マーカが正しく特定されていないことを示す情報「×」を付加する。
なお、各Ｘ線画像データについてマーカが正しく特定されたか否かの判定は、操作者が行ってもよいし、モデル生成機能３５６が自動で行ってもよい。一例を挙げると、モデル生成機能３５６は、Ｘ線画像データと、マーカの特定結果に基づく矩形領域との重畳画像を表示させる。そして、操作者は、矩形領域内の所定の位置にマーカが現れているか否かに応じてマーカが正しく特定されているか否かを判定し、入力インターフェース１０９を介して、判定の結果を入力する。
別の例を挙げると、モデル生成機能３５６は、時系列の複数のＸ線画像データを、マーカの特定結果に基づいて表示位置を補正しながら、連続的に表示させる。ここで、操作者は、表示に乱れが生じているか否かを判断する。即ち、時系列の複数のＸ線画像データにおいてマーカが正しく特定されている場合、表示位置は適切に補正され、マーカが付された医療デバイスの表示位置は固定される。一方で、時系列の複数のＸ線画像データの中にマーカが正しく特定されていないＸ線画像データがある場合、このＸ線画像データが表示される時のみ、医療デバイスが異なる位置及び向きで表示され、或いは医療デバイスが画像内に表示されなくなる。
例えば、表示に乱れが生じなかった場合、操作者は、表示された時系列の複数のＸ線画像データについてマーカが正しく特定されていると判定し、入力インターフェース１０９を介して判定の結果を入力する。一方で、表示に乱れが生じた場合、操作者は、乱れが生じた時に表示されていたＸ線画像データについてマーカが正しく特定されていないと判定するとともに、他のＸ線画像データについてはマーカが正しく特定されていると判定して、判定の結果を入力する。
別の例を挙げると、モデル生成機能３５６は、時系列の複数のＸ線画像データのそれぞれについて、マーカの特定結果に基づいて表示位置を補正した場合の表示領域を特定する。次に、モデル生成機能３５６は、各表示領域の中の平均画素値を算出する。ここで、時系列の複数のＸ線画像データについてマーカが正しく特定されている場合、表示領域内の平均画素値は、時間的に連続的な変化を示す。一方で、時系列の複数のＸ線画像データの中にマーカが正しく特定されていないＸ線画像データがある場合、このＸ線画像データの表示領域内の平均画素値は、前後のＸ線画像データの表示領域内の平均画素値と比較して大幅に変化する。
従って、モデル生成機能３５６は、表示領域内の平均画素値の変化に応じて、各Ｘ線画像データについてマーカが正しく特定されているか否かを判定することができる。例えば、モデル生成機能３５６は、表示領域内の平均画素値の変化量について閾値を設け、変化量が閾値を超えるＸ線画像データについてマーカが正しく特定されていないと判定する。なお、表示領域内の平均画素値を例に説明したが、モデル生成機能３５６は、表示領域内の画素値に関する他の統計量を用いてもよい。また、モデル生成機能３５６は、表示領域内の画素値についてヒストグラムを作成し、ヒストグラムの変化に応じて、各Ｘ線画像データについてマーカが正しく特定されているか否かを判定することとしてもよい。
上述したように、モデル生成機能３５６は、画像サイズを調整した画像データ（画像データＩ１１１’や画像データＩ１２１’等）と、マーカが正しく特定されたか否かを示す情報との組み合わせから成る学習データを生成する。モデル生成機能３５６は、このような学習データを複数生成することで、図４に示す学習データセットを生成する。なお、図４は、第１の実施形態に係る学習データセットの例を示す図である。次に、モデル生成機能３５６は、生成した学習データセットを用いて機械学習を実行することにより、学習済みモデルＭ１を生成する。
学習済みモデルＭ１は、例えば、ニューラルネットワーク（Neural Network）により構成することができる。ニューラルネットワークとは、層状に並べた隣接層間が結合した構造を有し、情報が入力層側から出力層側に伝播するネットワークである。例えば、モデル生成機能３５６は、図４に示した入力側データ（画像データＩ１１１’や画像データＩ１２１’等）をニューラルネットワークに入力する。ここで、ニューラルネットワークにおいては、入力層側から出力層側に向かって一方向に、隣接層間でのみ結合しながら情報が伝播する。
例えば、モデル生成機能３５６は、図４に示した学習データセットを用いて、多層のニューラルネットワークについて深層学習（ディープラーニング）を実行することで、学習済みモデルＭ１を生成する。なお、多層のニューラルネットワークは、例えば、入力層と、複数の中間層（隠れ層）と、出力層とにより構成される。このようなニューラルネットワークでは、パラメータを調整することにより、任意の関数を表現することができる。
例えば、ニューラルネットワークは、入力された画像データと、マーカが正しく特定されている確度との関係を示したロジスティック曲線を表現することができる。この場合、ニューラルネットワークは、例えば、確度に基づく分類結果を出力することができる。例えば、ニューラルネットワークは、画像データの入力を受けて、マーカが正しく特定されていることを示すクラス「○」と、マーカが正しく特定されていないことを示すクラス「×」とへの確度付き二値分類を行なうことができる。
そして、モデル生成機能３５６は、画像データＩ１１１’や画像データＩ１２１’等の入力側データを入力した際にニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。例えば、モデル生成機能３５６は、ニューラルネットワークからの出力と、図４に示した出力側データとの不整合を解消するように、ニューラルネットワークのパラメータを調整する。これにより、モデル生成機能３５６は、画像データの入力を受けて確度付き二値分類を実行するように機能付けられた学習済みモデルＭ１を生成することができる。換言すると、モデル生成機能３５６は、入力された画像データの解析結果を出力するように機能付けられた学習済みモデルＭ１を生成することができる。
なお、学習済みモデルＭ１がニューラルネットワークにより構成されるものとして説明したが、実施形態はこれに限定されるものではない。即ち、モデル生成機能３５６は、ニューラルネットワーク以外の機械学習手法により、学習済みモデルＭ１を生成してもよい。例えば、モデル生成機能３５６は、ＳＶＭ（サポートベクターマシン）等のデータの分類を行う機械学習手法によって、入力された画像データの解析結果を出力するように機能付けられた学習済みモデルＭ１を生成してもよい。
モデル生成機能３５６が学習済みモデルＭ１を生成してモデル記憶回路３４に記憶させた後、Ｘ線診断装置１０は被検体ＰからＸ線画像データを収集し、取得機能３５１は、Ｘ線診断装置１０からＸ線画像データを取得する。例えば、取得機能３５１は、Ｘ線診断装置１０から時系列の複数のＸ線画像データを取得する。以下、被検体Ｐから収集されたＸ線画像データの例として、図５Ａに示すＸ線画像データＩ２１について説明する。図５Ａは、第１の実施形態に係るＸ線画像データの一例を示す図である。図５に示すように、Ｘ線画像データＩ２１は、マーカＤ２１及びマーカＤ２２を有するガイドワイヤＤ２４を撮像した画像データである。なお、マーカＤ２１とマーカＤ２２との間には、ステントＤ２３が配置される。
検出機能３５２は、取得機能３５１が取得したＸ線画像データＩ２１上で、マーカＤ２１及びマーカＤ２２の候補点を検出する。例えば、検出機能３５２は、パターンマッチングにより、マーカＤ２１及びマーカＤ２２の候補点を検出する。一例を挙げると、検出機能３５２は、マーカＤ２１及びマーカＤ２２の形状を模したカーネルを用いて、Ｘ線画像データＩ２１上の各位置について類似度を算出し、類似度が閾値以上となる位置を、マーカＤ２１及びマーカＤ２２の候補点として検出する。
なお、検出機能３５２は、パターンマッチングに加え、種々の手法を用いてマーカＤ２１及びマーカＤ２２の候補点を検出することができる。例えば、検出機能３５２は、パターンマッチング及び固定物除去処理を実行することで、マーカＤ２１及びマーカＤ２２の候補点を検出する。ここで、固定物とは、時系列の複数のＸ線画像データにおいて、Ｘ線画像データ上の位置が時間方向に固定されている対象物である。
例えば、検出機能３５２は、パターンマッチングにより、骨のエッジ部分を検出してしまうことがある。ここで、通常、被検体Ｐの心拍や呼吸等に応じて動いてしまう医療デバイスとは異なり、骨の位置は固定されている。従って、検出機能３５２は、パターンマッチングにより検出したＸ線画像データ上の位置のうち固定物を除く位置を候補点として検出することで、候補点検出の精度を向上させることができる。なお、以下では一例として、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の４つの候補点が検出されたものとして説明する。
また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。例えば、検出機能３５２は、Ｘ線画像データＩ２１上に、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４のそれぞれを示すラベルを付加する。以下、候補点の検出結果を示す情報が付加されたＸ線画像データＩ２１を、Ｘ線画像データＩ２１ａと記載する。
次に、抽出機能３５３は、検出機能３５２が検出した４つの候補点の中から複数の候補対を選択する。換言すると、抽出機能３５３は、検出機能３５２が検出した４つの候補点の中から複数の候補対を作成する。例えば、抽出機能３５３は、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の中から、候補対（Ｃ１１，Ｃ１２）、候補対（Ｃ１１，Ｃ１３）、候補対（Ｃ１１，Ｃ１４）、候補対（Ｃ１２，Ｃ１３）、候補対（Ｃ１２，Ｃ１４）、及び、候補対（Ｃ１３，Ｃ１４）の６つの候補対を選択する。なお、抽出機能３５３は、検出機能３５２が検出した４つの候補点の中から全ての候補対を選択してもよいし、一部の候補対のみを選択してもよい。例えば、抽出機能３５３は、候補対における候補点間の距離について閾値を設け、閾値を満たす候補対のみを選択するようにしてもよい。
次に、抽出機能３５３は、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データＩ２１ａから抽出する。例えば、抽出機能３５３は、図５Ｂに示すように、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１３）に対応する領域Ｉ２１２を抽出する。ここで、抽出機能３５３は、候補対（Ｃ１１，Ｃ１３）における候補点間の距離に応じて、領域Ｉ２１２を抽出する。例えば、抽出機能３５３は、候補点間の距離に応じてサイズを調整した矩形領域を、領域Ｉ２１２として抽出する。また、抽出機能３５３は、候補対（Ｃ１１，Ｃ１３）の向きに応じて、領域Ｉ２１２を抽出する。例えば、抽出機能３５３は、候補対（Ｃ１１，Ｃ１３）の向きに応じて回転させた矩形領域を、領域Ｉ２１２として抽出する。なお、図５Ｂは、第１の実施形態に係る抽出処理について説明するための図である。
なお、図５Ｂはあくまで一例であり、Ｘ線画像データＩ２１ａからの領域抽出については種々の変形が可能である。例えば、図５Ｂに示す領域Ｉ２１２においては、候補点Ｃ１１及び候補点Ｃ１３がいずれも画像のふち近傍に位置し、且つ、画像中央で縦に並ぶように配置されている。しかしながら、抽出機能３５３は、例えば、候補点Ｃ１１及び候補点Ｃ１３が画像のふちの上に位置するように領域Ｉ２１２を抽出してもよいし、候補点Ｃ１１及び候補点Ｃ１３が画像外に位置するように領域Ｉ２１２を抽出してもよい。なお、後述する解析機能３５４による解析精度を向上させる上で、Ｘ線画像データＩ２１ａからの領域抽出は、学習済みモデルＭ１の生成に用いられた学習データ（図３の画像データＩ１１１’や画像データＩ１２１’等）と同様の条件で行われることが好ましい。
また、図５Ｂに示す領域Ｉ２１２は、略正方形の形状を有している。しかしながら、抽出機能３５３は、例えば、候補点Ｃ１１及び候補点Ｃ１３が並ぶ方向に長い長方形の領域を、領域Ｉ２１２として抽出してもよい。これにより、抽出した領域Ｉ２１２の中に他の対象物（例えば、ステントＤ２３とは別のステント等）が含まれる可能性を低減し、後述する解析機能３５４による解析精度を向上させることができる。
同様に、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１２，Ｃ１３）に対応する領域Ｉ２１４を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１２）に対応する領域Ｉ２１１（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１４）に対応する領域Ｉ２１３（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１２，Ｃ１４）に対応する領域Ｉ２１５（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１３，Ｃ１４）に対応する領域Ｉ２１６（図示せず）を抽出する。
次に、解析機能３５４は、抽出機能３５３が抽出した複数の領域それぞれについて、画像サイズを調整する。例えば、解析機能３５４は、図５Ｂに示すように、領域Ｉ２１２や領域Ｉ２１４について画像サイズが一定となるようにリサイズを行なう。ここで、解析機能３５４は、図３に示した画像データＩ１１１’や画像データＩ１２１’と画像サイズを揃えるようにリサイズを行なう。即ち、解析機能３５４は、抽出機能３５３が抽出した複数の領域それぞれについて、学習済みモデルＭ１における学習データと画像サイズを揃える。以下、画像サイズを調整した領域Ｉ２１１、領域Ｉ２１２、領域Ｉ２１３、領域Ｉ２１４、領域Ｉ２１５及び領域Ｉ２１６を、それぞれ、領域Ｉ２１１’、領域Ｉ２１２’、領域Ｉ２１３’、領域Ｉ２１４’、領域Ｉ２１５’及び領域Ｉ２１６’と記載する。
次に、解析機能３５４は、領域Ｉ２１１’～領域Ｉ２１６’それぞれを解析する。例えば、解析機能３５４は、モデル記憶回路３４から学習済みモデルＭ１を読み出し、読み出した学習済みモデルＭ１に領域Ｉ２１１’～領域Ｉ２１６’を入力することによって、領域Ｉ２１１’～領域Ｉ２１６’それぞれを解析する。
例えば、解析機能３５４は、図６Ａに示すように、学習済みモデルＭ１に領域Ｉ２１２’を入力する。ここで、学習済みモデルＭ１は、領域Ｉ２１２’の入力を受けて、領域Ｉ２１２’における候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応することを示すクラス「○」と、候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応しないことを示すクラス「×」とへの確度付き二値分類を行なう。なお、図６Ａは、第１の実施形態に係る解析処理について説明するための図である。
即ち、解析機能３５４は、学習済みモデルＭ１に領域Ｉ２１２’を入力することによって、領域Ｉ２１２’について確度付き二値分類を行ない、候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応する確度を算出する。一例を挙げると、学習済みモデルＭ１は、図６Ａに示すように、領域Ｉ２１２’の解析結果として、「○（９２％）」を出力する。解析結果「○（９２％）」は、「９２％」の確度で、候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応することを示す。
同様に、解析機能３５４は、学習済みモデルＭ１に領域Ｉ２１１’を入力することによって、領域Ｉ２１１’について確度付き二値分類を行ない、候補対（Ｃ１１，Ｃ１２）についてマーカＤ２１及びマーカＤ２２に対応する確度を算出する。一例を挙げると、学習済みモデルＭ１は、図６Ｂに示すように、領域Ｉ２１１’の解析結果として、「×（８３％）」を出力する。解析結果「×（８３％）」は、「８３％」の確度で、候補対（Ｃ１１，Ｃ１２）がマーカＤ２１及びマーカＤ２２に対応しないことを示す。同様に、学習済みモデルＭ１は、領域Ｉ２１３’の解析結果として「×（７８％）」を出力し、領域Ｉ２１４’の解析結果として「×（６６％）」を出力し、領域Ｉ２１５’の解析結果として「×（９７％）」を出力し、領域Ｉ２１６’の解析結果として「○（５５％）」を出力する。なお、図６Ｂは、第１の実施形態に係る解析処理について説明するための図である。
次に、特定機能３５５は、解析機能３５４による解析結果に基づいて、複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。例えば、特定機能３５５は、まず、解析機能３５４による解析結果に基づいて、領域Ｉ２１１’～領域Ｉ２１６’の中から、クラス「○」に分類され且つ確度が最も高い領域を特定する。例えば、図６Ｂに示す場合、特定機能３５５は、領域Ｉ２１１’～領域Ｉ２１６’の中から、領域Ｉ２１２’を特定する。そして、特定機能３５５は、領域Ｉ２１２’における候補対（Ｃ１１，Ｃ１３）を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。換言すると、特定機能３５５は、候補点Ｃ１１及び候補点Ｃ１３を、マーカＤ２１及びマーカＤ２２に対応する候補点として特定する。
次に、画像処理機能３５７は、特定機能３５５が特定した対に基づいて、Ｘ線画像データＩ２１に対する画像処理を実行する。例えば、画像処理機能３５７は、特定機能３５５が特定した候補対（Ｃ１１，Ｃ１３）に応じて、Ｘ線画像データＩ２１の表示位置を補正する処理を実行する。
例えば、画像処理機能３５７は、まず、候補対（Ｃ１１，Ｃ１３）に応じてＸ線画像データＩ２１の領域を抽出する。一例を挙げると、画像処理機能３５７は、所定のサイズを有する矩形領域であって、候補対（Ｃ１１，Ｃ１３）を所定の位置及び向きで含む領域を、Ｘ線画像データＩ２１から抽出する。次に、制御機能３５８は、画像処理機能３５７が抽出した領域をディスプレイ３２に表示させる。Ｘ線画像データＩ２１の後に収集された時系列の複数のＸ線画像データについても同様に、画像処理機能３５７は、特定機能３５５が特定した対に応じて領域を抽出し、制御機能３５８は、画像処理機能３５７が抽出した領域をディスプレイ３２に表示させる。これにより、マーカＤ２１及びマーカＤ２２について表示位置が固定される。即ち、画像処理機能３５７は、特定機能３５５が特定した対に基づく画像処理により、マーカＤ２１及びマーカＤ２２を有する医療デバイスの表示位置を固定することができる。
また、画像処理機能３５７は、特定機能３５５が特定した対に基づいて、時間方向のフィルタ処理を更に行なってもよい。例えば、Ｘ線画像データＩ２１の後に、Ｘ線画像データＩ２２、Ｘ線画像データＩ２３及びＸ線画像データＩ２４が順次収集された場合、画像処理機能３５７は、Ｘ線画像データＩ２１、Ｘ線画像データＩ２２、Ｘ線画像データＩ２３及びＸ線画像データＩ２４のそれぞれについて、特定機能３５５が特定した対に応じて領域を抽出する。次に、画像処理機能３５７は、時間方向に連続する複数のＸ線画像データから抽出した複数の領域を加算する。例えば、画像処理機能３５７は、Ｘ線画像データＩ２３から抽出した領域に対して、Ｘ線画像データＩ２１から抽出した領域、及び、Ｘ線画像データＩ２２から抽出した領域を加算する。また、例えば、画像処理機能３５７は、Ｘ線画像データＩ２４から抽出した領域に対して、Ｘ線画像データＩ２２から抽出した領域、及び、Ｘ線画像データＩ２３から抽出した領域を加算する。そして、制御機能３５８は、画像処理機能３５７による加算処理後の領域を、ディスプレイ３２に表示させる。
なお、時間方向に連続する複数の画像データを加算する処理については、リカーシブフィルタ処理とも記載する。即ち、画像処理機能３５７は、特定機能３５５が特定した対に基づいて、リカーシブフィルタ処理を行なう。これにより、画像処理機能３５７は、マーカＤ２１及びマーカＤ２２を有する医療デバイスの表示位置を固定するとともに、医療デバイスを明瞭に表示させることができる。
例えば、Ｘ線画像データにおいてステントを示す信号は比較的弱く、収集されたＸ線画像データをそのまま表示させる場合には、通常、操作者がステントの形状を認識することはできない。ここで、リカーシブフィルタ処理によって、複数のＸ線画像データにおけるステントの信号を加算して表示することにより、操作者がステントの形状を認識することが可能となる。
なお、特定機能３５５は、解析機能３５４による解析結果に応じて、マーカＤ２１及びマーカＤ２２に対応する対を特定するか否かを判定してもよい。一例を挙げると、特定機能３５５は、解析機能３５４が算出する確度について閾値を設ける。次に、特定機能３５５は、図６Ｂに示した領域Ｉ２１１’～領域Ｉ２１６’の中から、クラス「○」に分類され且つ確度が最も高い２つの領域を特定する。ここで、特定した２つの領域の確度が閾値に満たない場合、特定機能３５５は、Ｘ線画像データＩ２１についてはマーカＤ２１及びマーカＤ２２に対応する対を特定しないこととする。この場合、画像処理機能３５７は、対が特定されなかったＸ線画像データＩ２１をスキップする。例えば、画像処理機能３５７は、リカーシブフィルタ処理において、Ｘ線画像データＩ２１の使用を回避する。
また、学習済みモデルＭ１は、医療デバイスの種類ごとに生成されてもよい。例えば、モデル生成機能３５６は、医療デバイスの用途ごとに、複数の学習済みモデルＭ１を生成する。一例を挙げると、モデル生成機能３５６は、カテーテル用の学習済みモデルＭ１、ガイドワイヤ用の学習済みモデルＭ１、及び、ステント用の学習済みモデルＭ１をそれぞれ生成して、モデル記憶回路３４に記憶させる。或いは、モデル生成機能３５６は、医療デバイスの型番ごとに複数の学習済みモデルＭ１を生成することとしてもよい。
モデル記憶回路３４が医療デバイスの種類ごとに生成された複数の学習済みモデルＭ１を記憶する場合、解析機能３５４は、Ｘ線画像データＩ２１に現れた医療デバイスの種類に応じて、学習済みモデルＭ１をモデル記憶回路３４から読み出す。例えば、解析機能３５４は、操作者からの入力操作を受け付けることで、医療デバイスの種類を取得することができる。また、例えば、解析機能３５４は、ＨＩＳ（Hospital Information System）やＲＩＳ（Radiology Information System）等の情報システムから被検体Ｐに関する検査情報を取得し、取得した検査情報に基づいて医療デバイスの種類を自動取得することができる。そして、解析機能３５４は、医療デバイスの種類に応じて読み出した学習済みモデルＭ１に領域Ｉ２１１’～ 領域Ｉ２１６’を入力することによって、複数の領域それぞれを解析する。
また、画像処理機能３５７による画像処理後のＸ線画像データをディスプレイ３２に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、制御機能３５８は、画像処理後のＸ線画像データをＸ線診断装置１０に対して送信し、画像処理後のＸ線画像データをＸ線診断装置１０が表示することとしてもよい。
例えば、Ｘ線診断装置１０における収集機能１１０ａは、時系列の複数のＸ線画像データを収集し、収集したＸ線画像データを、医用画像処理装置３０に対して順次送信する。また、取得機能３５１は、Ｘ線診断装置１０から送信されたＸ線画像データを順次取得する。また、検出機能３５２は、取得機能３５１がＸ線画像データを取得するごとに、少なくとも３つの候補点を順次検出する。また、抽出機能３５３は、検出機能３５２が少なくとも３つの候補点を検出するごとに、複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域を順次抽出する。また、解析機能３５４は、抽出機能３５３が複数の領域を抽出するごとに、複数の領域それぞれを順次解析する。また、特定機能３５５は、解析機能３５４が複数の領域それぞれを解析するごとに、複数の候補対の中から一又は複数の対を順次特定する。また、画像処理機能３５７は、特定機能３５５が対を特定するごとに、Ｘ線画像データに対する画像処理を実行する。また、制御機能３５８は、画像処理機能３５７が画像処理を実行するごとに、画像処理後のＸ線画像データをＸ線診断装置１０に対して送信する。また、表示制御機能１１０ｂは、医用画像処理装置３０から送信された画像処理後のＸ線画像データを順次取得し、取得したＸ線画像データをディスプレイ１０８に順次表示させる。なお、収集と並行して表示されるＸ線画像データについては、透視像とも記載する。
また、特定機能３５５が特定した対に基づく画像処理を画像処理機能３５７が実行するものとして説明したが、実施形態はこれに限定されるものではない。例えば、制御機能３５８は、画像処理前のＸ線画像データと、特定機能３５５が特定した対を示す情報とをＸ線診断装置１０に対して送信し、特定機能３５５が特定した対に基づく画像処理をＸ線診断装置１０が実行することとしてもよい。
例えば、特定機能３５５は、対を特定した後、特定した対を示すラベルをＸ線画像データ上に付加する。次に、制御機能３５８は、ラベル付きのＸ線画像データをＸ線診断装置１０に対して送信し、Ｘ線診断装置１０は、ラベル付きのＸ線画像データを取得する。そして、Ｘ線診断装置１０は、特定機能３５５が特定した対に基づく画像処理を実行し、画像処理後のＸ線画像データを表示する。
次に、医用画像処理装置３０による処理の手順の一例を、図７を用いて説明する。図７は、第１の実施形態に係る医用画像処理装置３０の処理の一連の流れを説明するためのフローチャートである。なお、図７においては、特定機能３５５が特定した対に基づく画像処理、及び、画像処理後のＸ線画像データの表示を、医用画像処理装置３０が実行する場合について説明する。
ステップＳ１０１及びステップＳ１０２は、取得機能３５１に対応するステップである。ステップＳ１０３は、検出機能３５２に対応するステップである。ステップＳ１０４は、抽出機能３５３に対応するステップである。ステップＳ１０５は、解析機能３５４に対応するステップである。ステップＳ１０６は、特定機能３５５に対応するステップである。ステップＳ１０７及びステップＳ１０８は、画像処理機能３５７に対応するステップである。ステップＳ１０９は、制御機能３５８に対応するステップである。
まず、処理回路３５は、Ｘ線診断装置１０において撮像が開始されたか否かを判定し（ステップＳ１０１）、撮像が開始されていない場合には（ステップＳ１０１否定）、待機状態となる。一方で、撮像が開始された場合（ステップＳ１０１肯定）、処理回路３５は、Ｘ線診断装置１０からＸ線画像データを取得したか否かを判定する（ステップＳ１０２）。
Ｘ線診断装置１０からＸ線画像データを取得した場合（ステップＳ１０２肯定）、処理回路３５は、取得したＸ線画像データ上で少なくとも３つの候補点を検出する（ステップＳ１０３）。次に、処理回路３５は、少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する（ステップＳ１０４）。次に、処理回路３５は、Ｘ線画像データから抽出した複数の領域それぞれを解析する（ステップＳ１０５）。次に、処理回路３５は、解析結果に基づいて、複数の候補対の中から、医療デバイスに付されたマーカに対応する対を特定する（ステップＳ１０６）。
次に、処理回路３５は、特定した対に応じてＸ線画像データから領域を抽出し（ステップＳ１０７）、抽出した領域を加算処理する（ステップＳ１０８）。即ち、処理回路３５は、特定した対に基づいてＸ線画像データに対する画像処理を実行する。次に、処理回路３５は、画像処理後のＸ線画像データを表示させる（ステップＳ１０９）。次に、処理回路３５は、再度ステップＳ１０２に移行して、新たにＸ線画像データを取得したか否かを判定する。ここで、Ｘ線画像データを取得しない場合（ステップＳ１０２否定）、処理回路３５は、処理を終了する。
上述したように、第１の実施形態によれば、検出機能３５２は、Ｘ線画像データ上で少なくとも３つの候補点を検出する。また、抽出機能３５３は、少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、解析機能３５４は、Ｘ線画像データから抽出された複数の領域それぞれを解析する。また、特定機能３５５は、解析結果に基づいて、複数の候補対の中から、医療デバイスに付されたマーカに対応する対を特定する。従って、第１の実施形態に係る医用画像処理装置３０は、Ｘ線画像データ上でのマーカ特定の精度を向上させることができる。
また、上述したように、第１の実施形態によれば、抽出機能３５３は、検出機能３５２による検出結果に基づいて複数の領域をＸ線画像データから抽出し、解析機能３５４は、抽出された複数の領域を解析する。即ち、解析機能３５４は、検出機能３５２によって絞り込まれた対象について解析を行なう。例えば、解析機能３５４は、パターンマッチングや固定物除去処理等の演繹的手法によって絞り込まれた対象について解析を行なう。従って、第１の実施形態に係る医用画像処理装置３０は、単にＸ線画像データの全体を解析する場合と比較して解析に要する処理負荷を軽減し、Ｘ線画像データ上でマーカを容易に特定することができる。
また、上述したように、第１の実施形態によれば、モデル生成機能３５６は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対間の距離に応じて抽出された画像データであって、画像サイズが調整された画像データを入力側データとする機械学習を実行することにより、学習済みモデルＭ１を生成する。例えば、モデル生成機能３５６は、図３のＸ線画像データＩ１１からマーカ対間の距離に応じて抽出され、画像サイズが調整された画像データＩ１１１’を入力側データとする機械学習を実行することにより、学習済みモデルＭ１を生成する。また、抽出機能３５３は、検出機能３５２により検出された少なくとも３つの候補点の中から複数の候補対を選択し、各候補対における候補点間の距離に応じて、複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、解析機能３５４は、抽出機能３５３が抽出した複数の領域それぞれについて画像サイズを調整し、調整後の複数の領域を学習済みモデルＭ１に入力することによって、複数の領域それぞれを解析する。
即ち、モデル生成機能３５６は、画像内のマーカ対間の距離及び画像サイズを揃えた学習データを用いて、学習済みモデルＭ１を生成する。また、解析機能３５４は、画像内の候補対間の距離及び画像サイズを学習済みモデルＭ１の学習データと揃えた状態で、複数の候補対それぞれに対応する複数の領域を学習済みモデルＭ１に入力する。従って、医用画像処理装置３０は、学習済みモデルＭ１で解く問題を簡単にし、学習済みモデルＭ１を容易に生成するとともに、Ｘ線画像データ上でのマーカ特定の精度を更に向上させることができる。
また、上述したように、第１の実施形態によれば、モデル生成機能３５６は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対の向きに応じて抽出された画像データを入力側データとする機械学習を実行することにより、学習済みモデルＭ１を生成する。例えば、モデル生成機能３５６は、図３のＸ線画像データＩ１１からマーカ対間の向きに応じて抽出され、画像サイズが調整された画像データＩ１１１’を入力側データとする機械学習を実行することにより、学習済みモデルＭ１を生成する。また、抽出機能３５３は、検出機能３５２により検出された少なくとも３つの候補点の中から複数の候補対を選択し、各候補対の向きに応じて、複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、解析機能３５４は、抽出された複数の領域を学習済みモデルＭ１に入力することによって、複数の領域それぞれを解析する。
即ち、モデル生成機能３５６は、画像内のマーカ対の向きを揃えた学習データを用いて、学習済みモデルＭ１を生成する。また、解析機能３５４は、画像内の候補対の向きを学習済みモデルＭ１の学習データと揃えた状態で、複数の候補対それぞれに対応する複数の領域を学習済みモデルＭ１に入力する。従って、医用画像処理装置３０は、学習済みモデルＭ１で解く問題を簡単にし、学習済みモデルＭ１を容易に生成するとともに、Ｘ線画像データ上でのマーカ特定の精度を更に向上させることができる。
また、上述したように、第１の実施形態によれば、モデル記憶回路３４は、医療デバイスの種類ごとに生成された学習済みモデルＭ１を記憶する。また、解析機能３５４は、Ｘ線画像データに現れた医療デバイスの種類に応じて学習済みモデルＭ１をモデル記憶回路３４から読み出し、読み出した学習済みモデルＭ１に、Ｘ線画像データから抽出された複数の領域を入力することによって、複数の領域それぞれを解析する。従って、医用画像処理装置３０は、医療デバイスの種類ごとに生成された学習済みモデルＭ１を用いて適切に解析を行ない、Ｘ線画像データ上でのマーカ特定の精度を更に向上させることができる。
なお、上述した実施形態では、Ｘ線画像データ上で検出された複数の候補点の中に、医療デバイスに付されたマーカに対応する対が含まれるものとして説明した。即ち、上述した実施形態では、検出された複数の候補点の中に対象とする対が含まれるものとして説明した。しかしながら、検出された複数の候補点の中に対象とする対が含まれていない場合も想定される。そこで、医用画像処理装置３０は、解析結果に応じて、検出された複数の候補点の中に対象とする対が含まれているか否かを判定してもよい。
例えば、まず、例えば、検出機能３５２は、Ｘ線画像データ上で３つの候補点を検出する。次に、抽出機能３５３は、検出された３つの候補点の中から複数の候補対を作成し、作成した候補対に対応する複数の領域をＸ線画像データから抽出する。次に、解析機能３５４は、抽出された複数の領域それぞれを解析する。次に、特定機能３５５は、解析機能３５４による解析結果に基づき、作成された複数の候補対それぞれについて、対象とする対であるか否かを判定する。一例を挙げると、解析機能３５４は、学習済みモデルＭ１を用いて確度付き二値分類を行ない、複数の候補対それぞれについて、対象とする対であるか否かを示す確度を算出する。次に、特定機能３５５は、解析機能３５４による解析結果に基づき、複数の候補対それぞれについて算出された確度が閾値を超えているか否かを判定する。ここで、確度が閾値を超えている候補対が１つのみである場合、特定機能３５５は、当該候補対を、対象とする対として特定する。また、確度が閾値を超えている候補対が複数ある場合、特定機能３５５は、最も確度が高い候補対を、対象とする対として特定する。また、確度が閾値を超えている候補対がない場合、特定機能３５５は、検出機能３５２により検出された複数の候補点の中に対象とする対が含まれないと判定する。
別の例を挙げると、例えば、検出機能３５２は、Ｘ線画像データ上で２つの候補点を検出する。次に、抽出機能３５３は、検出された２つの候補点から候補対を作成し、作成した候補対に対応する領域をＸ線画像データから抽出する。次に、解析機能３５４は、抽出された領域を解析する。次に、特定機能３５５は、解析機能３５４による解析結果に基づいて、作成された候補対が対象とする対であるか否かを判定する。一例を挙げると、解析機能３５４は、学習済みモデルＭ１を用いて確度付き二値分類を行ない、作成された候補対について、対象とする対であるか否かを示す確度を算出する。次に、特定機能３５５は、解析機能３５４による解析結果に基づいて、算出された確度が閾値を超えているか否かを判定する。ここで、確度が閾値を超えている場合、特定機能３５５は、当該候補対を、対象とする対として特定する。一方で、確度が閾値を超えていない場合、特定機能３５５は、検出機能３５２により検出された複数の候補点の中に対象とする対が含まれないと判定する。
なお、検出された複数の候補点の中に対象とする対が含まれないと判定された場合、当該Ｘ線画像データについては使用しないこととしてもよい。例えば、検出された複数の候補点の中に対象とする対が含まれないと判定された場合、画像処理機能３５７は、当該Ｘ線画像データに対する画像処理を実行しないこととしてもよい。或いは、検出された複数の候補点の中に対象とする対が含まれないと判定された場合、検出機能３５２は、当該Ｘ線画像データから候補点を再度検出することとしてもよい。
（第２の実施形態）
上述した第１の実施形態では、学習済みモデルＭ１を用いて解析処理を実行する場合について説明した。これに対し、第２の実施形態では、解析処理に用いる学習済みモデルの変形例について説明する。
第２の実施形態に係る医用画像処理システム１は、図１～図２に示した第１の実施形態に係る医用画像処理システム１と同様の構成を有し、モデル生成機能３５６、抽出機能３５３及び解析機能３５４による処理の一部が相違する。第１の実施形態において説明した構成と同様の構成を有する点については、図１～図２と同一の符号を付し、説明を省略する。
以下、図８Ａ及び図８Ｂを用いて、学習済みモデルＭ２の生成処理について説明する。図８Ａ及び図８Ｂは、第２の実施形態に係る学習済みモデルＭ２の生成処理について説明するための図である。モデル生成機能３５６は、被検体ＰからのＸ線画像データの収集が開始されるよりも前に学習済みモデルＭ２を生成し、生成した学習済みモデルＭ２をモデル記憶回路３４に記憶させる。
まず、モデル生成機能３５６は、過去の検査においてマーカの特定が行われたＸ線画像データを取得する。例えば、モデル生成機能３５６は、図３と同様に、Ｘ線画像データＩ１１及びＸ線画像データＩ１２を含む複数のＸ線画像データを取得する。次に、モデル生成機能３５６は、過去の検査におけるマーカの特定結果に基づいて、各Ｘ線画像データから領域を抽出する。
例えば、モデル生成機能３５６は、図８Ａに示すように、Ｘ線画像データＩ１１上に点線で示す３つの矩形領域を、それぞれ、画像データＩ１１２、画像データＩ１１３及び画像データＩ１１４として抽出する。即ち、モデル生成機能３５６は、Ｘ線画像データＩ１１上のマーカ対について、複数の画像サイズで複数の画像データを抽出する。
次に、モデル生成機能３５６は、Ｘ線画像データＩ１１から複数の画像サイズで抽出した画像データについて、画像サイズを調整する。例えば、モデル生成機能３５６は、画像データＩ１１２、画像データＩ１１３及び画像データＩ１１４の画像サイズが一定となるようにリサイズを行なう。以下、画像サイズを調整した画像データＩ１１２を画像データＩ１１２’と記載する。また、画像サイズを調整した画像データＩ１１３を画像データＩ１１３’と記載する。また、画像サイズを調整した画像データＩ１１４を画像データＩ１１４’と記載する。
同様に、モデル生成機能３５６は、Ｘ線画像データＩ１２から、複数の画像サイズで画像データＩ１２２、画像データＩ１２３及び画像データＩ１２４を抽出する。また、モデル生成機能３５６は、抽出した画像データについて画像サイズを調整する。以下、画像サイズを調整した画像データＩ１２２を画像データＩ１２２’と記載する。また、画像サイズを調整した画像データＩ１２３を画像データＩ１２３’と記載する。また、画像サイズを調整した画像データＩ１２４を画像データＩ１２４’と記載する。Ｘ線画像データＩ１１及びＸ線画像データＩ１２以外の他のＸ線画像データについても同様に、モデル生成機能３５６は、各Ｘ線画像データから複数の画像サイズで複数の画像データを抽出し、抽出した画像データについて画像サイズを調整する。
また、例えば、モデル生成機能３５６は、図８Ｂに示すように、Ｘ線画像データＩ１１上に点線で示す３つの矩形領域を、それぞれ、画像データＩ１１５、画像データＩ１１６及び画像データＩ１１７として抽出する。即ち、モデル生成機能３５６は、Ｘ線画像データＩ１１上のマーカ対について、複数の向きで複数の画像データを抽出する。ここで、モデル生成機能３５６は、例えば、画像データＩ１１２’、画像データＩ１１３’及び画像データＩ１１４’と同じ画像サイズで、画像データＩ１１５、画像データＩ１１６及び画像データＩ１１７を抽出する。
同様に、モデル生成機能３５６は、Ｘ線画像データＩ１２から、複数の向きで画像データＩ１２５、画像データＩ１２６及び画像データＩ１２７を抽出する。Ｘ線画像データＩ１１及びＸ線画像データＩ１２以外の他のＸ線画像データについても同様に、モデル生成機能３５６は、各Ｘ線画像データから複数の向きで複数の画像データを抽出する。
次に、モデル生成機能３５６は、各Ｘ線画像データから抽出した画像データについて、マーカが正しく特定されたか否かを示す情報を付加することにより、学習データを生成する。即ち、モデル生成機能３５６は、各Ｘ線画像データから抽出した画像データと、マーカが正しく特定されたか否かを示す情報とを組み合わせることにより、学習データを生成する。
例えば、Ｘ線画像データＩ１１は、マーカが正しく特定された画像データの例である。この場合、モデル生成機能３５６は、Ｘ線画像データＩ１１から抽出された画像データＩ１１２’、画像データＩ１１３’、画像データＩ１１４’、画像データＩ１１５、画像データＩ１１６及び画像データＩ１１７のそれぞれに対して、マーカが正しく特定されたことを示す情報「○」を付加する。
また、例えば、図３に示したＸ線画像データＩ１２は、マーカが正しく特定されていない画像データの例である。この場合、モデル生成機能３５６は、Ｘ線画像データＩ１２から抽出された画像データＩ１２２’、画像データＩ１２３’、画像データＩ１２４’、画像データＩ１２５、画像データＩ１２６及び画像データＩ１２７のそれぞれに対して、マーカが正しく特定されていないことを示す情報「×」を付加する。
そして、モデル生成機能３５６は、Ｘ線画像データから抽出した画像データと、マーカが正しく特定されたか否かを示す情報との組み合わせから成る学習データを複数生成することにより、図９に示す学習データセットを生成する。なお、図９は、第２の実施形態に係る学習データセットの例を示す図である。次に、モデル生成機能３５６は、図９の学習データセットを用いて機械学習を実行することによって学習済みモデルＭ２を生成し、生成した学習済みモデルＭ２をモデル記憶回路３４に記憶させる。なお、モデル生成機能３５６は、医療デバイスの種類ごとに学習済みモデルＭ２を生成してもよい。
次に、Ｘ線診断装置１０は被検体ＰからＸ線画像データを収集し、取得機能３５１は、Ｘ線診断装置１０からＸ線画像データを取得する。例えば、取得機能３５１は、図５Ａに示したＸ線画像データＩ２１を含む時系列の複数のＸ線画像データを取得する。次に、検出機能３５２は、パターンマッチングにより、取得機能３５１が取得したＸ線画像データ上で候補点を検出する。例えば、検出機能３５２は、Ｘ線画像データＩ２１上で、マーカＤ２１及びマーカＤ２２の候補点として、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の４つの候補点を検出する。また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。なお、候補点の検出結果を示す情報が付加されたＸ線画像データＩ２１ａについては、Ｘ線画像データＩ２１ａと記載する。
次に、抽出機能３５３は、検出機能３５２が検出した４つの候補点の中から複数の候補対を選択する。次に、抽出機能３５３は、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データＩ２１ａから抽出する。例えば、抽出機能３５３は、図１０に示すように、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１３）に対応する領域Ｉ２２２を抽出する。なお、図１０は、第２の実施形態に係る抽出処理について説明するための図である。
同様に、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１２，Ｃ１３）に対応する領域Ｉ２２４を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１２）に対応する領域Ｉ２２１（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１１，Ｃ１４）に対応する領域Ｉ２２３（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１２，Ｃ１４）に対応する領域Ｉ２２５（図示せず）を抽出する。また、抽出機能３５３は、Ｘ線画像データＩ２１ａから、候補対（Ｃ１３，Ｃ１４）に対応する領域Ｉ２２６（図示せず）を抽出する。
ここで、抽出機能３５３は、領域Ｉ２２１～領域Ｉ２２６を所定の画像サイズで抽出する。例えば、図１０に示すように、領域Ｉ２２２及び領域Ｉ２２４の画像サイズは同じである。一例を挙げると、抽出機能３５３は、学習済みモデルＭ２の生成に用いられた画像データ（画像データＩ１１２’、画像データＩ１１３’、画像データＩ１１４’、画像データＩ１１５、画像データＩ１１６及び画像データＩ１１７等）と同じ画像サイズで、領域Ｉ２２１～領域Ｉ２２６を抽出する。
また、抽出機能３５３は、領域Ｉ２２１～領域Ｉ２２６を所定の向きで抽出する。例えば、図１０に示すように、Ｘ線画像データＩ２１ａに対する領域Ｉ２２２及び領域Ｉ２２４の向きは同じである。一例を挙げると、抽出機能３５３は、矩形のＸ線画像データＩ２１ａに対して各辺が平行となる矩形領域として、領域Ｉ２２１～領域Ｉ２２６を抽出する。
次に、解析機能３５４は、領域Ｉ２２１～領域Ｉ２２６それぞれを解析する。例えば、解析機能３５４は、モデル記憶回路３４から学習済みモデルＭ２を読み出し、読み出した学習済みモデルＭ２に領域Ｉ２２１～領域Ｉ２２６を入力することによって、領域Ｉ２２１～領域Ｉ２２６それぞれを解析する。
例えば、解析機能３５４は、図１１に示すように、学習済みモデルＭ２に領域Ｉ２２２を入力する。ここで、学習済みモデルＭ２は、領域Ｉ２２２の入力を受けて、領域Ｉ２２２における候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応することを示すクラス「○」と、候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応しないことを示すクラス「×」とへの確度付き二値分類を行なう。なお、図１１は、第２の実施形態に係る解析処理について説明するための図である。
即ち、解析機能３５４は、学習済みモデルＭ２に領域Ｉ２２２を入力することによって、領域Ｉ２２２について確度付き二値分類を行ない、候補対（Ｃ１１，Ｃ１３）がマーカＤ２１及びマーカＤ２２に対応する確度を算出する。一例を挙げると、学習済みモデルＭ２は、図１１に示すように、領域Ｉ２２２の解析結果として、「○（９２％）」を出力する。同様に、解析機能３５４は、領域Ｉ２２１、領域Ｉ２２３、領域Ｉ２２４、領域Ｉ２２５及び領域Ｉ２２６のそれぞれについて確度付き二値分類を行ない、候補対（Ｃ１１，Ｃ１２）、候補対（Ｃ１２，Ｃ１３）、候補対（Ｃ１１，Ｃ１４）、候補対（Ｃ１２，Ｃ１４）及び候補対（Ｃ１３，Ｃ１４）のそれぞれについて、マーカＤ２１及びマーカＤ２２に対応する確度を算出する。
次に、特定機能３５５は、解析機能３５４による解析結果に基づいて、複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。例えば、特定機能３５５は、まず、解析機能３５４による解析結果に基づいて、領域Ｉ２２１～領域Ｉ２２６の中から、クラス「○」に分類され且つ確度が最も高い領域を特定する。そして、特定機能３５５は、特定した領域における候補対を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。
次に、画像処理機能３５７は、特定機能３５５が特定した対に基づいてＸ線画像データＩ２１に対する画像処理を実行し、制御機能３５８は、画像処理後のＸ線画像データをディスプレイ３２に表示させる。或いは、制御機能３５８は、画像処理後のＸ線画像データをＸ線診断装置１０に対して送信し、Ｘ線診断装置１０は、画像処理後のＸ線画像データを表示させる。或いは、制御機能３５８は、画像処理前のＸ線画像データと、特定機能３５５が特定した対を示す情報とをＸ線診断装置１０に対して送信する。この場合、Ｘ線診断装置１０は、特定機能３５５が特定した対に基づく画像処理を実行し、画像処理後のＸ線画像データを表示する。
上述したように、第２の実施形態によれば、モデル生成機能３５６は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対ごとに複数の画像サイズで抽出された画像データであって、画像サイズが調整された画像データを入力側データとする機械学習を実行することにより、学習済みモデルＭ２を生成する。例えば、モデル生成機能３５６は、図８Ａに示したように、Ｘ線画像データＩ１１から異なる複数の画像サイズで画像データＩ１１２、画像データＩ１１３及び画像データＩ１１４を抽出し、抽出した各画像データの画像サイズを調整する。そして、モデル生成機能３５６は、画像サイズが調整された画像データＩ１１２’、画像データＩ１１３’及び画像データＩ１１４’を入力側データとする機械学習を実行することにより、学習済みモデルＭ２を生成する。また、抽出機能３５３は、検出機能３５２により検出された少なくとも３つの候補点の中から複数の候補対を選択し、所定の画像サイズで、複数の候補対それぞれに対応する複数の領域をＸ線画像データから抽出する。また、解析機能３５４は、抽出機能３５３が抽出した複数の領域を学習済みモデルＭ２に入力することによって、複数の領域それぞれを解析する。
即ち、モデル生成機能３５６は、画像内のマーカ対間の距離が異なる種々の学習データを用いて、学習済みモデルＭ２を生成する。これにより、学習済みモデルＭ２は、画像内の候補対間の距離が異なる複数の領域が入力された場合でも適切に解析を行なうことができるように機能付けられる。また、抽出機能３５３及び解析機能３５４は、学習済みモデルＭ２を用いて解析処理を実行する際、所定のサイズでＸ線画像データから複数の領域を抽出し、リサイズ等の処理を行うことなく、学習済みモデルＭ２に複数の領域を入力する。即ち、医用画像処理装置３０は、学習済みモデルＭ２に複数の領域を入力するまでの処理工程を削減し、迅速に解析結果を得ることができる。
また、上述したように、モデル生成機能３５６は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対ごとに複数の向きで抽出された画像データを入力側データとする機械学習を実行することにより、学習済みモデルＭ２を生成する。例えば、モデル生成機能３５６は、図８Ｂに示したように、異なる向きでＸ線画像データＩ１１から抽出した画像データＩ１１５、画像データＩ１１６及び画像データＩ１１７を入力側データとする機械学習を実行することにより、学習済みモデルＭ２を生成する。また、抽出機能３５３は、検出機能３５２により検出された少なくとも３つの候補点の中から複数の候補対を選択し、複数の候補対それぞれに対応する複数の領域を所定の向きで抽出する。また、解析機能３５４は、抽出された複数の領域を学習済みモデルＭ２に入力することによって、複数の領域それぞれを解析する。即ち、モデル生成機能３５６は、画像内のマーカ対の向きが異なる種々の学習データを用いて、学習済みモデルＭ２を生成する。これにより、学習済みモデルＭ２は、画像内の候補対の向きが異なる複数の領域が入力された場合でも適切に解析を行なうことができるように機能付けられる。
また、抽出機能３５３及び解析機能３５４は、学習済みモデルＭ２を用いて解析処理を実行する際、所定の向きでＸ線画像データから複数の領域を抽出し、学習済みモデルＭ２に複数の領域を入力する。これにより、医用画像処理装置３０は、Ｘ線画像データの端に候補点が位置する場合においても、適切に複数の領域を抽出することができる。例えば、矩形のＸ線画像データから矩形領域を抽出する際、Ｘ線画像データに対して矩形領域が傾いていると、Ｘ線画像データの端に位置する候補対について矩形領域を設定できない場合がある。これに対し、Ｘ線画像データと矩形領域との向きが揃っていれば、Ｘ線画像データの端に位置する候補対についても矩形領域を設定することが可能である。
また、上述したように、モデル生成機能３５６は、一の画像データから、学習済みモデルＭ２の生成に用いる複数の学習データを取得することができる。従って、医用画像処理装置３０は、より多くの学習データを用いて学習済みモデルＭ２を生成し、Ｘ線画像データ上でのマーカ特定の精度を向上させることができる。
（第３の実施形態）
上述した第１～第２の実施形態では、パターンマッチングを実行することによってＸ線画像データから候補点を検出し、検出結果に基づく複数の領域について学習済みモデルを用いて解析することで、マーカを特定する場合について説明した。これに対し、第３の実施形態では、パターンマッチングを実行することによってＸ線画像データから候補点を検出するとともに、学習済みモデルを用いてＸ線画像データから候補点を検出することで、マーカを特定する場合について説明する。
第３の実施形態に係る医用画像処理システム１は、図１～図２に示した第１の実施形態に係る医用画像処理システム１と同様の構成を有し、検出機能３５２、特定機能３５５及びモデル生成機能３５６による処理の一部が相違する。なお、本実施形態における検出機能３５２は、第１検出部及び第２検出部の一例である。以下、第１の実施形態において説明した構成と同様の構成を有する点については、図１～図２と同一の符号を付し、説明を省略する。
例えば、検出機能３５２は、Ｘ線画像データＩ２１についてパターンマッチングを実行することによって少なくとも３つの候補点を検出し、検出結果及びＸ線画像データＩ２１を学習済みモデルＭ３に入力することによって、パターンマッチングにより検出した少なくとも３つの候補点の中から２つの候補点を検出する。そして、特定機能３５５は、検出機能３５２による検出結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。
具体的には、まず、モデル生成機能３５６は、学習済みモデルＭ３を生成し、生成した学習済みモデルＭ３をモデル記憶回路３４に記憶させる。例えば、モデル生成機能３５６は、学習済みモデルＭ３の学習に用いる学習データセットを生成する。例えば、モデル生成機能３５６は、過去の検査において、パターンマッチングや固定物除去処理等の演繹的手法に基づいてマーカの検出が行われたＸ線画像データを取得する。ここで、モデル生成機能３５６が取得するＸ線画像データは、被検体ＰのＸ線画像データであってもよいし、他の被検体のＸ線画像データであってもよい。
一例を挙げると、モデル生成機能３５６は、２つのマーカを有する医療デバイスを撮像したＸ線画像データであって、３つ以上のマーカが検出されたＸ線画像データを取得する。以下、かかるＸ線画像データを、Ｘ線画像データＩ１３と記載する。即ち、モデル生成機能３５６は、マーカの誤検出が生じたＸ線画像データＩ１３を取得する。次に、モデル生成機能３５６は、Ｘ線画像データＩ１３上に、検出された３つ以上のマーカをそれぞれ示すラベルを付加する。以下、検出された３つ以上のマーカをそれぞれ示すラベルを付加したＸ線画像データＩ１３を、画像データＩ１３１と記載する。
次に、モデル生成機能３５６は、Ｘ線画像データＩ１３において検出された３つ以上のマーカのうち、医療デバイスに付された２つのマーカに対応する正解マーカを特定する。正解マーカの特定については、操作者が行ってもよいし、モデル生成機能３５６が自動で行ってもよい。例えば、モデル生成機能３５６は、検出された３つ以上のマーカのうちの任意の２つのマーカを選択し、選択したマーカに基づく画像処理を実行し、画像処理後のＸ線画像データＩ１３を評価することで、選択した２つのマーカが正解マーカであるか否かを判定することができる。次に、モデル生成機能３５６は、Ｘ線画像データＩ１３上に、特定した２つの正解マーカをそれぞれ示すラベルを付加する。以下、特定した２つの正解マーカをそれぞれ示すラベルを付加したＸ線画像データＩ１３を、画像データＩ１３２と記載する。
モデル生成機能３５６は、画像データＩ１３１及び画像データＩ１３２を、学習済みモデルＭ３の学習データとして生成する。また、モデル生成機能３５６は、複数のＸ線画像データに基づいて複数の学習データを同様に生成することにより、学習データセットを生成する。次に、モデル生成機能３５６は、生成した学習データセットを用いて機械学習を実行することにより、学習済みモデルＭ３を生成する。具体的には、モデル生成機能３５６は、画像データＩ１３１を含む複数の画像データを入力側データとし、画像データＩ１３２を含む複数の画像データを出力側データとする機械学習を実行することにより、学習済みモデルＭ３を生成する。
学習済みモデルＭ３は、例えば、ニューラルネットワークにより構成することができる。例えば、モデル生成機能３５６は、上述した学習データセットを用いて、多層のニューラルネットワークについて深層学習を実行することで、学習済みモデルＭ３を生成する。例えば、ニューラルネットワークは、入力された画像データ（画像データＩ１３１等）にラベル付された３つ以上のマーカそれぞれについて、正解マーカであることを示すクラス「○」と正解マーカでないことを示すクラス「×」とへの確度付き二値分類を行ない、確度に基づいて２つのマーカを検出する。そして、モデル生成機能３５６は、ニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。
これにより、モデル生成機能３５６は、画像データの入力を受けて、入力された画像データ上で２つの候補点を検出するように機能付けられた学習済みモデルＭ３を生成することができる。より具体的には、学習済みモデルＭ３は、パターンマッチング等の演繹的手法による検出結果及び画像データの入力を受けて、検出された３つ以上の候補点の中から２つの候補点を検出するように機能付けられる。なお、モデル生成機能３５６は、医療デバイスの種類ごとに学習済みモデルＭ３を生成してもよい。
次に、Ｘ線診断装置１０は被検体ＰからＸ線画像データを収集し、取得機能３５１は、Ｘ線診断装置１０からＸ線画像データを取得する。例えば、取得機能３５１は、図５Ａに示したＸ線画像データＩ２１を含む時系列の複数のＸ線画像データを取得する。次に、検出機能３５２は、パターンマッチングを実行することによって、取得機能３５１が取得したＸ線画像データ上で候補点を検出する。なお、検出機能３５２は、パターンマッチングに加えて、固定物除去処理を更に実行することで、候補点を検出してもよい。
例えば、検出機能３５２は、Ｘ線画像データＩ２１上で、マーカＤ２１及びマーカＤ２２の候補点として、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の４つの候補点を検出する。また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。なお、候補点の検出結果を示す情報が付加されたＸ線画像データＩ２１ａについては、Ｘ線画像データＩ２１ａと記載する。
次に、検出機能３５２は、図１２に示すように、Ｘ線画像データＩ２１ａを学習済みモデルＭ３に入力する。即ち、検出機能３５２は、パターンマッチング等の演繹的手法による検出結果、及び、Ｘ線画像データＩ２１を学習済みモデルＭ３に入力する。これにより、検出機能３５２は、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の４つの候補点の中から、２つの候補点を検出する。
例えば、検出機能３５２は、図１２に示すように、候補点Ｃ２１及び候補点Ｃ２２の２つの候補点を検出する。なお、候補点Ｃ２１は、Ｘ線画像データＩ２１ａ上にラベル付された候補点Ｃ１１に対応するものであり、候補点Ｃ２２は、Ｘ線画像データＩ２１ａ上にラベル付された候補点Ｃ１３に対応するものである。また、検出機能３５２は、Ｘ線画像データＩ２１上に、検出した２つの候補点をそれぞれ示すラベルを付加する。以下、候補点Ｃ２１及び候補点Ｃ２２をそれぞれ示すラベルを付加したＸ線画像データＩ２１を、Ｘ線画像データＩ２１ｂと記載する。なお、図１２は、第３の実施形態に係る候補点の検出処理を説明するための図である。
そして、特定機能３５５は、検出機能３５２による検出結果に基づいて、検出された４つの候補点に含まれる複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。即ち、特定機能３５５は、候補対（Ｃ１１，Ｃ１２）、候補対（Ｃ１１，Ｃ１３）、候補対（Ｃ１１，Ｃ１４）、候補対（Ｃ１２，Ｃ１３）、候補対（Ｃ１２，Ｃ１４）、及び、候補対（Ｃ１３，Ｃ１４）の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。
例えば、図１２に示す場合、検出機能３５２は、Ｘ線画像データＩ２１ａを学習済みモデルＭ３に入力することによって、４つの候補点（候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４）の中から、候補点Ｃ２１及び候補点Ｃ２２を検出する。この場合、特定機能３５５は、候補点Ｃ２１及び候補点Ｃ２２に対応する候補対（Ｃ１１，Ｃ１３）を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。即ち、特定機能３５５は、検出機能３５２による検出結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。換言すると、処理回路３５は、Ｘ線画像データに対して、パターンマッチングと学習済みモデルＭ３による抽出とを組み合わせて実行することにより、マーカＤ２１及びマーカＤ２２に対応する特徴点の対を特定する。
別の例を挙げると、検出機能３５２は、学習済みモデルＭ４にＸ線画像データＩ２１を入力することによって少なくとも３つの候補点を検出し、Ｘ線画像データＩ２１についてパターンマッチングを実行することによって、学習済みモデルＭ４を用いて検出した少なくとも３つの候補点の中から２つの候補点を検出する。そして、特定機能３５５は、検出機能３５２による検出結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。
具体的には、まず、モデル生成機能３５６は、学習済みモデルＭ４を生成し、生成した学習済みモデルＭ３をモデル記憶回路３４に記憶させる。例えば、モデル生成機能３５６は、学習済みモデルＭ４の学習に用いる学習データセットを生成する。例えば、モデル生成機能３５６は、過去の検査において２つのマーカを有する医療デバイスを撮像したＸ線画像データＩ１４を取得する。ここで、Ｘ線画像データＩ１４は、被検体ＰのＸ線画像データであってもよいし、他の被検体のＸ線画像データであってもよい。
次に、モデル生成機能３５６は、Ｘ線画像データＩ１４において、医療デバイスに付された２つのマーカに対応する正解マーカを特定する。正解マーカの特定については、操作者が行ってもよいし、モデル生成機能３５６が自動で行ってもよい。以下、特定した２つの正解マーカをそれぞれ示すラベルを付加したＸ線画像データＩ１４を、画像データＩ１４１と記載する。
モデル生成機能３５６は、Ｘ線画像データＩ１４及び画像データＩ１４１の組み合わせを、学習済みモデルＭ４の学習データとして特定する。また、モデル生成機能３５６は、複数のＸ線画像データのそれぞれについて同様にラベルを付加し、複数の学習データを特定することにより、学習データセットを生成する。次に、モデル生成機能３５６は、生成した学習データセットを用いて機械学習を実行することにより、学習済みモデルＭ４を生成する。具体的には、モデル生成機能３５６は、Ｘ線画像データＩ１４を含む複数の画像データを入力側データとし、画像データＩ１４１を含む複数の画像データを出力側データとする機械学習を実行することにより、学習済みモデルＭ４を生成する。
学習済みモデルＭ４は、例えば、ニューラルネットワークにより構成することができる。例えば、モデル生成機能３５６は、上述した学習データセットを用いて、多層のニューラルネットワークについて深層学習を実行することで、学習済みモデルＭ４を生成する。例えば、ニューラルネットワークは、入力された画像データ（Ｘ線画像データＩ１４等）の各位置について、正解マーカであることを示すクラス「○」と正解マーカでないことを示すクラス「×」とへの確度付き二値分類を行ない、確度に基づいて少なくとも３つのマーカを検出する。そして、モデル生成機能３５６は、ニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。一例を挙げると、モデル生成機能３５６は、Ｘ線画像データＩ１４の入力を受けてニューラルネットワークが検出した少なくとも３つのマーカの中に画像データＩ１４１にラベル付された２つの正解マーカが含まれるよう、ニューラルネットワークのパラメータを調整する。これにより、モデル生成機能３５６は、画像データの入力を受けて、入力された画像データ上で少なくとも３つの候補点を検出するように機能付けられた学習済みモデルＭ４を生成することができる。なお、モデル生成機能３５６は、医療デバイスの種類ごとに学習済みモデルＭ４を生成してもよい。
次に、Ｘ線診断装置１０は被検体ＰからＸ線画像データを収集し、取得機能３５１は、Ｘ線診断装置１０からＸ線画像データを取得する。例えば、取得機能３５１は、図５Ａに示したＸ線画像データＩ２１を含む時系列の複数のＸ線画像データを取得する。次に、検出機能３５２は、学習済みモデルＭ４にＸ線画像データを入力することによって、Ｘ線画像データ上で少なくとも３つの候補点を検出する。
例えば、検出機能３５２は、図１３Ａに示すように、Ｘ線画像データＩ２１を学習済みモデルＭ４に入力することによって、マーカＤ２１及びマーカＤ２２の候補点として、候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４の４つの候補点を検出する。なお、図１３Ａは、第３の実施形態に係る候補点の検出処理を説明するための図である。
また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。例えば、検出機能３５２は、Ｘ線画像データＩ２１上に、候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４のそれぞれを示すラベルを付加する。以下、学習済みモデルＭ４に基づく検出結果がラベル付けされたＸ線画像データＩ２１を、Ｘ線画像データＩ２１ｃと記載する。
次に、検出機能３５２は、図１３Ｂに示すように、Ｘ線画像データＩ２１ｃについてパターンマッチングを実行することによって、学習済みモデルＭ４を用いて検出した４つの候補点の中から、２つの候補点を検出する。例えば、検出機能３５２は、Ｘ線画像データＩ２１ｃのうち、候補点を示すラベルが付加された位置の近傍についてのみパターンマッチングを実行して類似度を算出し、類似度が最も高くなる２つの位置を候補点として検出する。なお、図１３Ｂは、第３の実施形態に係る候補点の検出処理を説明するための図である。
例えば、検出機能３５２は、図１３Ｂに示すように、候補点Ｃ４１及び候補点Ｃ４２の２つの候補点を検出する。なお、候補点Ｃ４１は、Ｘ線画像データＩ２１ｃ上にラベル付された候補点Ｃ３１に対応するものであり、候補点Ｃ４２は、Ｘ線画像データＩ２１ｃ上にラベル付された候補点Ｃ３２に対応するものである。また、検出機能３５２は、Ｘ線画像データＩ２１上に、検出した２つの候補点をそれぞれ示すラベルを付加する。以下、候補点Ｃ４１及び候補点Ｃ４２をそれぞれ示すラベルを付加したＸ線画像データＩ２１を、Ｘ線画像データＩ２１ｄと記載する。
そして、特定機能３５５は、検出機能３５２による検出結果に基づいて、検出された４つの候補点に含まれる複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。即ち、特定機能３５５は、候補対（Ｃ３１，Ｃ３２）、候補対（Ｃ３１，Ｃ３３）、候補対（Ｃ３１，Ｃ３４）、候補対（Ｃ３２，Ｃ３３）、候補対（Ｃ３２，Ｃ３４）、及び、候補対（Ｃ３３，Ｃ３４）の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。
例えば、図１３Ｂに示す場合、検出機能３５２は、Ｘ線画像データＩ２１ｃについてパターンマッチングを実行することによって、４つの候補点（候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４）の中から、候補点Ｃ４１及び候補点Ｃ４２を検出する。この場合、特定機能３５５は、候補点Ｃ４１及び候補点Ｃ４２に対応する候補対（Ｃ３１，Ｃ３３）を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。即ち、特定機能３５５は、検出機能３５２による検出結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。換言すると、処理回路３５は、Ｘ線画像データに対して、パターンマッチングと学習済みモデルＭ４による抽出とを組み合わせて実行することにより、マーカＤ２１及びマーカＤ２２に対応する特徴点の対を特定する。
なお、Ｘ線画像データＩ２１ｃについてパターンマッチングを実行する場合について説明したが、実施形態はこれに限定されるものではない。例えば、検出機能３５２は、Ｘ線画像データＩ２１ｃを二値化することによってＸ線画像データＩ２１ｃ’を生成し、Ｘ線画像データＩ２１ｃ’についてパターンマッチングを行なってもよい。Ｘ線画像データＩ２１ｃ’は、例えば、図１４Ａに示すように、各画素が「０」又は「１」のいずれか一方の情報を有するデータである。一例を挙げると、検出機能３５２は、図１４Ｂに示すカーネルＡ１を用いて、Ｘ線画像データＩ２１ｃ’上の各位置について類似度を算出し、類似度が最も高くなる２つの位置を候補点として検出する。なお、図１４Ａ及び図１４Ｂは、第３の実施形態に係る候補点の検出処理を説明するための図である。
別の例を挙げると、検出機能３５２は、学習済みモデルＭ４にＸ線画像データを入力することによってＸ線画像データ上で少なくとも３つの候補点を検出するとともに、検出した各候補点がマーカＤ２１及びマーカＤ２２に対応する確度を算出する。更に、検出機能３５２は、Ｘ線画像データについてパターンマッチングを実行することによってＸ線画像データ上で少なくとも３つの候補点を検出するとともに、検出した各候補点がマーカＤ２１及びマーカＤ２２に対応する確度を算出する。そして、特定機能３５５は、検出機能３５２による検出結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。
具体的には、まず、モデル生成機能３５６は、学習済みモデルＭ４を生成し、生成した学習済みモデルＭ３をモデル記憶回路３４に記憶させる。次に、Ｘ線診断装置１０は被検体ＰからＸ線画像データを収集し、取得機能３５１は、Ｘ線診断装置１０からＸ線画像データを取得する。例えば、取得機能３５１は、図５Ａに示したＸ線画像データＩ２１を含む時系列の複数のＸ線画像データを取得する。次に、検出機能３５２は、学習済みモデルＭ４にＸ線画像データを入力することによって、Ｘ線画像データ上で少なくとも３つの候補点を検出する。
例えば、検出機能３５２は、Ｘ線画像データＩ２１を学習済みモデルＭ４に入力することによって、Ｘ線画像データＩ２１の各位置について、マーカＤ２１及びマーカＤ２２に対応する確度を算出する。そして、検出機能３５２は、算出した確度が閾値以上となるＸ線画像データＩ２１上の位置を、マーカＤ２１及びマーカＤ２２の候補点として検出する。
一例を挙げると、検出機能３５２は、図１３Ａに示したように、マーカＤ２１及びマーカＤ２２の候補点として、候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４の４つの候補点を検出する。また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。なお、候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４を示す情報が付加されたＸ線画像データＩ２１については、Ｘ線画像データＩ２１ｃと記載する。
また、検出機能３５２は、Ｘ線画像データについてパターンマッチングを実行することによって、Ｘ線画像データ上で少なくとも３つの候補点を検出する。例えば、検出機能３５２は、マーカＤ２１及びマーカＤ２２の形状を模したカーネルを用いて、Ｘ線画像データＩ２１上の各位置について類似度を算出する。次に、検出機能３５２は、Ｘ線画像データＩ２１上の各位置について、算出した類似度を閾値と比較し、類似度が閾値以上となる位置をマーカＤ２１及びマーカＤ２２の候補点として検出する。
一例を挙げると、検出機能３５２は、図５Ｂに示したように、マーカＤ２１及びマーカＤ２２の候補点として、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の４つの候補点を検出する。なお、候補点Ｃ１１の位置について算出された類似度は、候補点Ｃ１１がマーカＤ２１及びマーカＤ２２に対応する確度を示す。同様に、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４の各位置について算出された類似度は、それぞれ、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４がマーカＤ２１及びマーカＤ２２に対応する確度を示す。また、検出機能３５２は、候補点の検出結果を示す情報をＸ線画像データＩ２１に対して付加する。なお、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４を示す情報が付加されたＸ線画像データＩ２１については、Ｘ線画像データＩ２１ａと記載する。
次に、特定機能３５５は、図１５に示すように、Ｘ線画像データＩ２１ａとＸ線画像データＩ２１ｃとに基づいて、検出機能３５２が検出した複数の候補点に含まれる複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する候補対を特定する。なお、図１５は、第３の実施形態に係る候補対の特定処理について説明するための図である。例えば、特定機能３５５は、Ｘ線画像データＩ２１ａにラベル付された複数の候補点それぞれについて算出された確度、及び、Ｘ線画像データＩ２１ｃにラベル付された複数の候補点それぞれについて算出された確度に基づいて、マーカＤ２１及びマーカＤ２２に対応する候補対を特定する。
例えば、検出機能３５２は、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４のそれぞれについて、パターンマッチングを実行することにより、類似度を算出している。即ち、検出機能３５２は、候補点Ｃ１１、候補点Ｃ１２、候補点Ｃ１３及び候補点Ｃ１４のそれぞれについて、マーカＤ２１及びマーカＤ２２に対応する確度を算出している。以下、候補点Ｃ１１について算出された確度を、確度Ｌ１１とする。また、候補点Ｃ１２について算出された確度を、確度Ｌ１２とする。また、候補点Ｃ１３について算出された確度を、確度Ｌ１３とする。また、候補点Ｃ１４について算出された確度を、確度Ｌ１４とする。
また、検出機能３５２は、候補点Ｃ３１、候補点Ｃ３２、候補点Ｃ３３及び候補点Ｃ３４のそれぞれについて、学習済みモデルＭ４を用いた確度付き二値分類により、マーカＤ２１及びマーカＤ２２に対応する確度を算出している。以下、候補点Ｃ３１について算出された確度を、確度Ｌ３１とする。また、候補点Ｃ３２について算出された確度を、確度Ｌ３２とする。また、候補点Ｃ３３について算出された確度を、確度Ｌ３３とする。また、候補点Ｃ３４について算出された確度を、確度Ｌ３４とする。
特定機能３５５は、検出機能３５２が検出した複数の候補点のうち、対応する候補点間で確度の和を算出する。例えば、Ｘ線画像データＩ２１ａにおける候補点Ｃ１１とＸ線画像データＩ２１ｃにおける候補点Ｃ３１とは位置が対応していることから、特定機能３５５は、候補点Ｃ１１について算出された確度Ｌ１１と候補点Ｃ３１について算出された確度Ｌ３１との和を算出する。以下、確度Ｌ１１と確度Ｌ３１との和を、確度Ｌｓ１とする。
同様に、特定機能３５５は、候補点Ｃ１３について算出された確度Ｌ１３と候補点Ｃ３２について算出された確度Ｌ３２との和を算出する。以下、確度Ｌ１３と確度Ｌ３２との和を確度Ｌｓ２とする。同様に、特定機能３５５は、候補点Ｃ１２について算出された確度Ｌ１２と候補点Ｃ３３について算出された確度Ｌ３３との和を算出する。以下、確度Ｌ１２と確度Ｌ３３との和を確度Ｌｓ３とする。なお、図１５は、候補点Ｃ１４に対応する候補点がＸ線画像データＩ２１ｃ上には無い場合を示す。また、図１５は、候補点Ｃ３４に対応する候補点がＸ線画像データＩ２１ａ上には無い場合を示す。
次に、特定機能３５５は、算出した確度の和、又は、各候補点について算出された確度のうち、最も値の大きい２つを特定する。即ち、特定機能３５５は、確度Ｌ１１と確度Ｌ３１との和である確度Ｌｓ１、確度Ｌ１３と確度Ｌ３２との和である確度Ｌｓ２、確度Ｌ１３と確度Ｌ３２との和である確度Ｌｓ３、候補点Ｃ１４について算出された確度Ｌ１４、及び、候補点Ｃ３４について算出された確度Ｌ３４のうち、最も値の大きい２つを特定する。また、特定機能３５５は、特定した確度に基づいて、マーカＤ２１及びマーカＤ２２に対応する２つの候補点を特定する。換言すると、処理回路３５は、Ｘ線画像データに対して、パターンマッチングと学習済みモデルＭ４による抽出とを組み合わせて実行することにより、マーカＤ２１及びマーカＤ２２に対応する特徴点の対を特定する。
これにより、特定機能３５５は、パターンマッチングによる候補点の検出結果と、学習済みモデルＭ４を用いた候補点の検出結果との双方を適切に考慮して、マーカＤ２１及びマーカＤ２２に対応する２つの候補点を精度良く特定することができる。例えば、通常、各候補点について算出された確度（確度Ｌ１４等）より、確度の和（確度Ｌｓ１等）の方が値は大きくなる。即ち、特定機能３５５は、パターンマッチングによる候補点検出と、学習済みモデルＭ４を用いた候補点検出との双方で検出された候補点を、優先的に特定することができる。
以下では、確度Ｌｓ１及び確度Ｌｓ２の値が最も大きかったものとして説明する。この場合、特定機能３５５は、例えば、Ｘ線画像データＩ２１ａにおける候補点Ｃ１１及び候補点Ｃ１３を、マーカＤ２１及びマーカＤ２２に対応する候補点として特定する。即ち、特定機能３５５は、候補対（Ｃ１１，Ｃ１３）を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。即ち、検出機能３５２が検出した複数の候補点には候補対（Ｃ１１，Ｃ１２）や候補対（Ｃ３１，Ｃ３２）等の複数の候補対が含まれるところ、特定機能３５５は、これら複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対として、候補対（Ｃ１１，Ｃ１３）を特定する。
或いは、特定機能３５５は、Ｘ線画像データＩ２１ｃにおける候補点Ｃ３１及び候補点Ｃ３２を、マーカＤ２１及びマーカＤ２２に対応する候補点として特定してもよい。即ち、特定機能３５５は、候補対（Ｃ３１，Ｃ３２）を、マーカＤ２１及びマーカＤ２２に対応する対として特定してもよい。
即ち、候補対（Ｃ１１，Ｃ１３）と候補対（Ｃ３１，Ｃ３２）とは、Ｘ線画像データＩ２１上の同じ位置を示すものであり、特定機能３５５は、マーカＤ２１及びマーカＤ２２に対応する対としていずれを特定してもよい。以下では、候補点Ｃ１１と候補点Ｃ３１とを総称して、候補点Ｃ５１と記載する。また、以下では、候補点Ｃ１３と候補点Ｃ３２とを総称して、候補点Ｃ５２と記載する。即ち、特定機能３５５は、検出機能３５２による検出結果に基づいて、候補対（Ｃ５１，Ｃ５２）を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。また、検出機能３５２は、Ｘ線画像データＩ２１上に、検出した２つの候補点をそれぞれ示すラベルを付加する。候補点Ｃ５１及び候補点Ｃ５２をそれぞれ示すラベルを付加したＸ線画像データＩ２１については、図１５に示すように、Ｘ線画像データＩ２１ｅと記載する。
次に、画像処理機能３５７は、特定機能３５５が特定した候補対（Ｃ５１，Ｃ５２）に基づいてＸ線画像データＩ２１に対する画像処理を実行し、制御機能３５８は、画像処理後のＸ線画像データをディスプレイ３２に表示させる。或いは、制御機能３５８は、画像処理後のＸ線画像データをＸ線診断装置１０に対して送信し、Ｘ線診断装置１０は、画像処理後のＸ線画像データを表示させる。或いは、制御機能３５８は、画像処理前のＸ線画像データと、特定機能３５５が特定した候補対（Ｃ５１，Ｃ５２）を示す情報とをＸ線診断装置１０に対して送信する。この場合、Ｘ線診断装置１０は、特定機能３５５が特定した対に基づく画像処理を実行し、画像処理後のＸ線画像データを表示する。
上述したように、第３の実施形態によれば、モデル記憶回路３４は、Ｘ線画像データの入力を受けて、入力されたＸ線画像データ上で複数の候補点を検出するように機能付けられた学習済みモデルＭ３又は学習済みモデルＭ４を記憶する。また、検出機能３５２は、学習済みモデルＭ３又は学習済みモデルＭ４にＸ線画像データを入力することによって、Ｘ線画像データ上で複数の候補点を検出する。また、検出機能３５２は、Ｘ線画像データについてパターンマッチングを実行することによって、Ｘ線画像データ上で複数の候補点を検出する。また、特定機能３５５は、検出機能３５２による検出結果に基づいて、検出機能３５２が検出した複数の候補点に含まれる複数の候補対の中から、マーカＤ２１及びマーカＤ２２に対応する対を特定する。そして、医用画像処理装置３０は、パターンマッチング及び機械学習の２つの手法を併せて用いることにより、Ｘ線画像データ上でのマーカ特定の精度を向上させることができる。
（第４の実施形態）
さて、これまで第１～第３の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した実施形態では、マーカＤ２１及びマーカＤ２２に対応する対を特定する場合について説明した。即ち、上述した実施形態では、一の対を特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。即ち、特定機能３５５は、複数の候補対の中から、複数のマーカ対に対応する複数の対を特定してもよい。
例えば、取得機能３５１は、まず、各々が複数のマーカを有する、複数の医療デバイスを撮像したＸ線画像データを取得する。複数の医療デバイスを撮像したＸ線画像データが収集される手技の例としては、例えば、ＫＢＴ（Kissing Balloon Technique）が挙げられる。ＫＢＴは、分岐する血管のそれぞれに対してバルーンを配置し、血管の分岐部分をまとめて拡張する手技である。かかる手技を実行する際、操作者は、被検体Ｐの血管内に２つのバルーンを挿入して血管の分岐部分まで進行させた後、バルーンを拡張する。なお、これら２つのバルーンは、それぞれが複数のマーカを有する。この場合、Ｘ線診断装置１０は、それぞれが複数のマーカを有する２つのバルーンを撮像したＸ線画像データを収集する。
また、複数の医療デバイスを撮像したＸ線画像データが収集される手技の他の例としては、例えば、ＹＳＴ（Y stenting Technique）が挙げられる。ＹＳＴは、血管の分岐部分に生じた動脈瘤に対するステント留置術であり、操作者は、２つのステントを分岐する血管のそれぞれに留置する。具体的には、操作者は、２つのガイドワイヤを用いて被検体Ｐの血管内に２つのステントを挿入し、動脈瘤の位置に留置する。なお、これら２つのガイドワイヤは、それぞれが複数のマーカを有する。この場合、Ｘ線診断装置１０は、それぞれが複数のマーカを有する２つのガイドワイヤを撮像したＸ線画像データを収集する。
例えば、取得機能３５１は、マーカＤ３１及びマーカＤ３２を有する医療デバイスと、マーカＤ３３及びマーカＤ３４を有する医療デバイスとを撮像したＸ線画像データＩ３１を取得する。次に、検出機能３５２は、Ｘ線画像データＩ３１についてパターンマッチングを実行することによって、Ｘ線画像データＩ３１上で複数の候補点を検出する。例えば、検出機能３５２は、Ｘ線画像データＩ３１上で５つ以上の候補点を検出する。次に、抽出機能３５３は、検出された複数の候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データＩ３１から抽出する。また、解析機能３５４は、Ｘ線画像データＩ３１から抽出された複数の領域それぞれを解析する。また、特定機能３５５は、解析結果に基づいて、複数の候補対の中から、医療デバイスに付されたマーカに対する２つの対を特定する。
或いは、検出機能３５２は、学習済みモデルＭ３又は学習済みモデルＭ４にＸ線画像データＩ３１を入力することによって、Ｘ線画像データＩ３１上で複数の候補点を検出する。また、検出機能３５２は、Ｘ線画像データＩ３１についてパターンマッチングを実行することによって、Ｘ線画像データＩ３１上で複数の候補点を検出する。また、特定機能３５５は、検出機能３５２による検出結果に基づいて、検出機能３５２が検出した複数の候補点に含まれる複数の候補対の中から、医療デバイスに付されたマーカに対する２つの対を特定する。
なお、特定機能３５５は、時系列の複数のＸ線画像データについて、フレーム間でのマーカ対の特定を更に行なうこととしてもよい。例えば、取得機能３５１は、マーカＤ３１及びマーカＤ３２を有する医療デバイスと、マーカＤ３３及びマーカＤ３４を有する医療デバイスとを撮像した時系列の複数のＸ線画像データであるＸ線画像データＩ３１及びＸ線画像データＩ３２を取得する。次に、特定機能３５５は、Ｘ線画像データＩ３１上で、マーカＤ３１～マーカＤ３４に対する２つの対として、候補対（Ｃ６１，Ｃ６２）と、候補対（Ｃ６３，Ｃ６４）とを特定する。また、特定機能３５５は、Ｘ線画像データＩ３２上で、マーカＤ３１～マーカＤ３４に対する２つの対として、候補対（Ｃ７１，Ｃ７２）と、候補対（Ｃ７３，Ｃ７４）とを特定する。
ここで、特定機能３５５は、Ｘ線画像データＩ３１とＸ線画像データＩ３２との間において、各Ｘ線画像データ上で特定した２つの対の対応関係を特定する。即ち、特定機能３５５は、候補対（Ｃ６１，Ｃ６２）及び候補対（Ｃ６３，Ｃ６４）と、候補対（Ｃ７１，Ｃ７２）及び候補対（Ｃ７３，Ｃ７４）との対応関係を特定する。
例えば、特定機能３５５は、Ｘ線画像データＩ３１とＸ線画像データＩ３２との間で、特定した２つの対（即ち、４つの候補点）の位置がほぼ一致するように、Ｘ線画像データＩ３１を変形させる。一例を挙げると、特定機能３５５は、Ｘ線画像データＩ３１における４つの候補点Ｃ６１～Ｃ６４に対するアフィン変換を実行し、写像後の４つの候補点Ｃ６１～Ｃ６４の位置が、Ｘ線画像データＩ３２における４つの候補点Ｃ７１～Ｃ７４の位置に略一致するように回転／平行移動させた写像を特定する。なお、特定機能３５５は、回転／平行移動に加え、拡大／縮小を行なってもよい。そして、特定機能３５５は、特定した写像に基づいて、候補対（Ｃ６１，Ｃ６２）及び候補対（Ｃ６３，Ｃ６４）と、候補対（Ｃ７１，Ｃ７２）及び候補対（Ｃ７３，Ｃ７４）との対応関係を特定する。
別の例を挙げると、特定機能３５５は、各候補対に関する特徴量を比較することで、各Ｘ線画像データ上で特定した２つの対の対応関係を特定してもよい。ここで、候補対に関する特徴量とは、例えば、候補点間の距離や、候補点間を繋いだ線分の傾き等である。例えば、特定機能３５５は、候補対（Ｃ６１，Ｃ６２）、候補対（Ｃ６３，Ｃ６４）、候補対（Ｃ７１，Ｃ７２）及び候補対（Ｃ７３，Ｃ７４）のそれぞれについて特徴量を算出する。そして、特定機能３５５は、算出した特徴量を比較することによって、候補対（Ｃ６１，Ｃ６２）及び候補対（Ｃ６３，Ｃ６４）と、候補対（Ｃ７１，Ｃ７２）及び候補対（Ｃ７３，Ｃ７４）との対応関係を特定する。
別の例を挙げると、特定機能３５５は、各候補対に対応する領域をＸ線画像データから抽出し、抽出した領域の類似度を算出することで、各Ｘ線画像データ上で特定した２つの対の対応関係を特定してもよい。例えば、特定機能３５５は、Ｘ線画像データＩ３１から、候補対（Ｃ６１，Ｃ６２）に対応する領域Ｉ３１１と、候補対（Ｃ６３，Ｃ６４）に対応する領域Ｉ３１２とを抽出する。また、特定機能３５５は、Ｘ線画像データＩ３２から、候補対（Ｃ７１，Ｃ７２）に対応する領域Ｉ３２１と、候補対（Ｃ７３，Ｃ７４）に対応する領域Ｉ３２２とを抽出する。次に、特定機能３５５は、領域Ｉ３１１と領域Ｉ３２１との類似度、領域Ｉ３１１と領域Ｉ３２２との類似度、領域Ｉ３１２と領域Ｉ３２１との類似度、及び、領域Ｉ３１２と領域Ｉ３２２との類似度をそれぞれ算出する。そして、特定機能３５５は、算出した類似度に基づいて、候補対（Ｃ６１，Ｃ６２）及び候補対（Ｃ６３，Ｃ６４）と、候補対（Ｃ７１，Ｃ７２）及び候補対（Ｃ７３，Ｃ７４）との対応関係を特定する。
また、上述した実施形態では、１つの医療デバイスが２つのマーカを有するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。即ち、３つ以上のマーカを有するデバイスについても適用が可能である。
例えば、取得機能３５１は、遠位側（先端側）からマーカＤ４１、マーカＤ４２及びマーカＤ４３が順に付されたガイドワイヤを撮像したＸ線画像データＩ４１を取得する。次に、検出機能３５２は、Ｘ線画像データＩ４１についてパターンマッチングを実行することで、Ｘ線画像データＩ４１上で、マーカＤ４１、マーカＤ４２及びマーカＤ４３の候補点を少なくとも３つ検出する。そして、特定機能３５５は、複数の候補対の中から、マーカＤ４１、マーカＤ４２及びマーカＤ４３のうち所定の２つのマーカに対応する対を特定する。
例えば、モデル生成機能３５６は、予め、医療デバイスの種類ごと且つ選択される２つのマーカごとに学習済みモデルＭ１を生成する。一例を挙げると、モデル生成機能３５６は、３つのマーカが付されたガイドワイヤ用の学習済みモデルＭ１であって、遠位側から２つのマーカの解析に用いられる学習済みモデルＭ１１、遠位側のマーカと近位側のマーカとの解析に用いられる学習済みモデルＭ１２、及び、近位側から２つのマーカの解析に用いられる学習済みモデルＭ１３をそれぞれ生成し、モデル記憶回路３４に記憶させる。
次に、取得機能３５１はＸ線画像データＩ４１を取得する。また、操作者は、ガイドワイヤに付された３つのマーカのうち、２つのマーカを選択する。なお、以下では一例として、ガイドワイヤに付された３つのマーカのうち、マーカＤ４１及びマーカＤ４２が選択されたものとして説明する。
次に、検出機能３５２は、Ｘ線画像データＩ４１上で少なくとも３つの候補点を検出する。次に、抽出機能３５３は、検出された少なくとも３つの候補点の中から複数の候補対を選択する。ここで、抽出機能３５３は、検出機能３５２が検出した少なくとも３つの候補点の中から全ての候補対を選択してもよいし、一部の候補対のみを選択してもよい。例えば、抽出機能３５３は、候補対における候補点間の距離について閾値を設け、閾値を満たす候補対のみを選択するようにしてもよい。ここで、抽出機能３５３は、選択された２つのマーカに応じて、候補点間の距離の閾値を変化させてもよい。例えば、マーカＤ４１及びマーカＤ４２が選択された場合、抽出機能３５３は、マーカＤ４１及びマーカＤ４３が選択された場合よりも小さい閾値を設け、閾値を下回る候補対のみを選択する。次に、抽出機能３５３は、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データＩ４１から抽出する。
次に、解析機能３５４は、医療デバイスの種類、及び、選択された２つのマーカに応じて学習済みモデルＭ１をモデル記憶回路３４から読み出す。例えば、医療デバイスの種類がガイドワイヤであり、遠位側に付された２つのマーカであるマーカＤ４１及びマーカＤ４２が選択された場合、解析機能３５４は、学習済みモデルＭ１１を読み出す。次に、解析機能３５４は、Ｘ線画像データＩ４１から抽出された複数の領域を学習済みモデルＭ１１に入力することによって複数の領域それぞれを解析する。
そして、特定機能３５５は、解析機能３５４による解析結果に基づいて、複数の候補対の中からマーカＤ４１及びマーカＤ４２に対応する対を特定する。また、画像処理機能３５７は、特定機能３５５が特定した対に基づいて、Ｘ線画像データＩ４１に対する画像処理を実行する。例えば、画像処理機能３５７は、特定機能３５５が特定した対に応じて、Ｘ線画像データＩ４１の表示位置を補正する処理を実行する。この場合、画像処理機能３５７は、Ｘ線画像データＩ４１に現れたガイドワイヤのうち、マーカＤ４１及びマーカＤ４２が付された部分の表示位置を固定することができる。即ち、画像処理機能３５７は、ガイドワイヤ先端の表示位置を固定することができる。
なお、学習済みモデルＭ１を用いるものとして説明したが、学習済みモデルＭ１に代えて学習済みモデルＭ２を用いる場合であってもよい。この場合、検出機能３５２は、Ｘ線画像データＩ４１上で少なくとも３つの候補点を検出し、抽出機能３５３は、検出された少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域を、所定の画像サイズで抽出する。ここで、検出機能３５２は、抽出する領域の画像サイズを、選択された２つのマーカに応じて変化させることができる。例えば、マーカＤ４１及びマーカＤ４２が選択された場合、検出機能３５２は、マーカＤ４１及びマーカＤ４３が選択された場合よりも小さい画像サイズで、複数の領域を抽出する。次に、解析機能３５４は、医療デバイスの種類、及び、選択された２つのマーカに応じて学習済みモデルＭ２をモデル記憶回路３４から読み出し、複数の領域を学習済みモデルＭ２に入力することによって複数の領域それぞれを解析する。そして、特定機能３５５は、複数の候補対の中から、選択された２つのマーカに対応する対を特定する。
また、上述した実施形態では、学習済みモデルＭ１又は学習済みモデルＭ２を用いて、抽出機能３５３が抽出した複数の領域それぞれを解析するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。
例えば、解析機能３５４は、機械学習以外の手法で、抽出機能３５３が抽出した複数の領域それぞれを解析してもよい。一例を挙げると、まず、取得機能３５１は、Ｘ線診断装置１０から、Ｘ線画像データＩ２１を取得する。次に、検出機能３５２は、Ｘ線画像データＩ２１上で少なくとも３つの候補点を検出する。次に、抽出機能３５３は、検出された少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域をＸ線画像データＩ２１から抽出する。例えば、抽出機能３５３は、候補対（Ｃ１１，Ｃ１２）に対応する領域Ｉ２１１、候補対（Ｃ１１，Ｃ１３）に対応する領域Ｉ２１２、候補対（Ｃ１１，Ｃ１４）に対応する領域Ｉ２１３、候補対（Ｃ１２，Ｃ１３）に対応する領域Ｉ２１４、候補対（Ｃ１２，Ｃ１４）に対応する領域Ｉ２１５及び候補対（Ｃ１３，Ｃ１４）に対応する領域Ｉ２１６の６つの領域を、Ｘ線画像データＩ２１から抽出する。
次に、解析機能３５４は、学習済みモデルＭ１及び学習済みモデルＭ２を用いずに、抽出された６つの領域それぞれを解析する。例えば、解析機能３５４は、領域Ｉ２１１～領域Ｉ２１６のそれぞれについて、候補点間の領域における信号を解析する。例えば、図５Ａに示したように、マーカＤ２１とマーカＤ２２との間は、ガイドワイヤＤ２４で接続されている。即ち、正解の候補対においては、候補点間の領域に、ガイドワイヤＤ２４に基づく信号が存在することとなる。そこで、解析機能３５４は、領域Ｉ２１１～領域Ｉ２１６のそれぞれについて候補点間の領域における信号を解析し、線状信号の強度や高周波成分の強度を算出する。そして、特定機能３５５は、解析機能３５４による解析結果に基づいて、マーカＤ２１及びマーカＤ２２に対応する対を特定する。例えば、特定機能３５５は、候補点間の領域において線状信号の強度や高周波成分の強度が最も大きかった候補対を、マーカＤ２１及びマーカＤ２２に対応する対として特定する。
また、上述した実施形態では、Ｘ線診断装置１０がＸ線画像データを収集するごとに取得機能３５１がＸ線画像データを順次取得し、取得機能３５１がＸ線画像データを取得するごとに特定機能３５５が対を順次特定するものとして説明した。即ち、上述した実施形態では、収集される時系列の複数のＸ線画像データをリアルタイムに処理するものとして説明した。しかしながら、実施形態はこれに限定されるものではなく、ポストプロセスで処理してもよい。
一例を挙げると、医用画像処理装置３０は、図１６に示すように、入力インターフェース３１、ディスプレイ３２、記憶回路３３、モデル記憶回路３４及び処理回路３５に加えて、画像記憶回路３６を更に備える。画像記憶回路３６は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。なお、画像記憶回路３６は、画像記憶部の一例である。また、図１６は、第４の実施形態に係る医用画像処理装置３０の構成の一例を示すブロック図である。
例えば、取得機能３５１は、Ｘ線診断装置１０によって取集された時系列の複数のＸ線画像データを取得し、画像記憶回路３６に記憶させる。次に、検出機能３５２は、画像記憶回路３６から複数のＸ線画像データを読み出す。例えば、検出機能３５２は、操作者による入力操作をトリガとして、画像記憶回路３６から複数のＸ線画像データを読み出す。
次に、検出機能３５２は、読み出した複数のＸ線画像データのそれぞれについて、少なくとも３つの候補点を検出する。また、抽出機能３５３は、複数のＸ線画像データのそれぞれについて、少なくとも３つの候補点の中から複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域を抽出する。また、解析機能３５４は、複数のＸ線画像データのそれぞれについて、抽出された複数の領域それぞれを解析する。また、特定機能３５５は、解析機能３５４による解析結果に基づいて、医療デバイスに付されたマーカに対応する対を複数のＸ線画像データのそれぞれについて特定する。
或いは、検出機能３５２は、学習済みモデルＭ３又は学習済みモデルＭ４にＸ線画像データを入力することによって、読み出した複数のＸ線画像データのそれぞれについて、複数の候補点を検出する。また、検出機能３５２は、パターンマッチングを実行することによって、読み出した複数のＸ線画像データのそれぞれについて、複数の候補点を検出する。また、特定機能３５５は、検出機能３５２による検出結果に基づいて、医療デバイスに付されたマーカに対応する対を複数のＸ線画像データのそれぞれについて特定する。
そして、画像処理機能３５７は、特定機能３５５が特定した一又は複数の対に基づいて、複数のＸ線画像データのそれぞれについて画像処理を実行する。また、制御機能３５８は、画像処理後の複数のＸ線画像データをディスプレイ３２に表示させる。例えば、制御機能３５８は、画像処理後の複数のＸ線画像データを動画像として表示させる。
また、上述した実施形態では、医用画像処理装置３０における処理回路３５が、Ｘ線画像データ上でマーカを特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、Ｘ線診断装置１０における処理回路１１０が、Ｘ線画像データ上でマーカを特定する場合であってもよい。
例えば、処理回路１１０は、図１７に示すように、収集機能１１０ａ、表示制御機能１１０ｂ及び送信機能１１０ｃに加えて、検出機能１１０ｄ、抽出機能１１０ｅ、解析機能１１０ｆ、特定機能１１０ｇ、モデル生成機能１１０ｈ及び画像処理機能１１０ｉを更に有する。ここで、検出機能１１０ｄは、検出機能３５２に対応した機能である。また、抽出機能１１０ｅは、抽出機能３５３に対応した機能である。また、解析機能１１０ｆは、解析機能３５４に対応した機能である。また、特定機能１１０ｇは、特定機能３５５に対応した機能である。また、モデル生成機能１１０ｈは、モデル生成機能３５６に対応した機能である。また、画像処理機能１１０ｉは、画像処理機能３５７に対応した機能である。また、Ｘ線診断装置１０は、図１７に示すように、モデル記憶回路１１１及び画像記憶回路１１２を更に備える。なお、図１７は、第４の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。
一例を挙げると、モデル生成機能１１０ｈは、学習済みモデルＭ１又は学習済みモデルＭ２を事前に生成してモデル記憶回路１１１に記憶させる。次に、収集機能１１０ａは、時系列の複数のＸ線画像データを収集する。また、検出機能１１０ｄは、収集機能１１０ａがＸ線画像データを収集するごとに、少なくとも３つの候補点を順次検出する。また、抽出機能１１０ｅは、検出機能１１０ｄが少なくとも３つの候補点を検出するごとに複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域を順次抽出する。また、解析機能１１０ｆは、抽出機能１１０ｅが複数の領域を抽出するごとに、学習済みモデルＭ１又は学習済みモデルＭ２に複数の領域を入力することによって、複数の領域それぞれを順次解析する。また、特定機能１１０ｇは、解析機能１１０ｆが複数の領域それぞれを解析するごとに、複数の候補対の中から一又は複数の対を順次特定する。また、画像処理機能１１０ｉは、特定機能１１０ｇが対を特定するごとに、Ｘ線画像データに対する画像処理を順次実行する。また、表示制御機能１１０ｂは、画像処理機能１１０ｉが画像処理を実行するごとに、画像処理後のＸ線画像データをディスプレイ１０８に順次表示させる。
或いは、収集機能１１０ａは、時系列の複数のＸ線画像データを収集し、収集した複数のＸ線画像データを画像記憶回路１１２に記憶させる。次に、検出機能１１０ｄは、画像記憶回路１１２から複数のＸ線画像データを読み出し、読み出した複数のＸ線画像データのそれぞれについて、少なくとも３つの候補点を検出する。また、抽出機能１１０ｅは、複数のＸ線画像データのそれぞれについて複数の候補対を選択し、選択した複数の候補対それぞれに対応する複数の領域を抽出する。また、解析機能１１０ｆは、複数のＸ線画像データのそれぞれについて、学習済みモデルＭ１又は学習済みモデルＭ２に複数の領域を入力することによって、複数の領域それぞれを解析する。また、特定機能１１０ｇは、複数のＸ線画像データのそれぞれについて、複数の候補対の中から一又は複数の対を特定する。また、画像処理機能１１０ｉは、複数のＸ線画像データのそれぞれについて画像処理を実行する。また、表示制御機能１１０ｂは、画像処理後の複数のＸ線画像データをディスプレイ１０８に表示させる。
別の例を挙げると、モデル生成機能１１０ｈは、学習済みモデルＭ３又は学習済みモデルＭ４を事前に生成してモデル記憶回路１１１に記憶させる。次に、収集機能１１０ａは、時系列の複数のＸ線画像データを収集する。また、検出機能１１０ｄは、収集機能１１０ａがＸ線画像データを収集するごとに、学習済みモデルＭ３又は学習済みモデルＭ４にＸ線画像データを入力することによって、複数の候補点を順次検出する。また、検出機能１１０ｄは、収集機能１１０ａがＸ線画像データを収集するごとに、Ｘ線画像データについてパターンマッチングを実行することによって、複数の候補点を順次検出する。また、特定機能１１０ｇは、検出機能１１０ｄが複数の候補点を検出するごとに、複数の候補対の中から一又は複数の対を順次特定する。また、画像処理機能１１０ｉは、特定機能１１０ｇが対を特定するごとに、Ｘ線画像データに対する画像処理を実行する。また、表示制御機能１１０ｂは、画像処理機能１１０ｉが画像処理を実行するごとに、画像処理後のＸ線画像データをディスプレイ１０８に順次表示させる。
或いは、収集機能１１０ａは、時系列の複数のＸ線画像データを収集し、収集した複数のＸ線画像データを画像記憶回路１１２に記憶させる。次に、検出機能１１０ｄは、画像記憶回路１１２から複数のＸ線画像データを読み出し、学習済みモデルＭ３又は学習済みモデルＭ４にＸ線画像データを入力することによって、読み出した複数のＸ線画像データのそれぞれについて複数の候補点を検出する。また、検出機能１１０ｄは、パターンマッチングを実行することによって、読み出した複数のＸ線画像データのそれぞれについて複数の候補点を検出する。また、特定機能１１０ｇは、検出機能１１０ｄによる検出結果に基づいて、複数のＸ線画像データのそれぞれについて複数の候補対の中から一又は複数の対を特定する。また、画像処理機能１１０ｉは、複数のＸ線画像データのそれぞれについて画像処理を実行する。また、表示制御機能１１０ｂは、画像処理後の複数のＸ線画像データをディスプレイ１０８に表示させる。
第１～第４の実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
また、第１～第４の実施形態で説明した医用画像処理方法は、予め用意された医用画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この医用画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この医用画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも一つの実施形態によれば、医用画像データ上でのマーカ特定の精度を向上させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１ 医用画像処理システム
１０ Ｘ線診断装置
１１０ 処理回路
１１０ａ 収集機能
１１０ｂ 表示制御機能
１１０ｃ 送信機能
１１０ｄ 検出機能
１１０ｅ 抽出機能
１１０ｆ 解析機能
１１０ｇ 特定機能
１１０ｈ モデル生成機能
１１０ｉ 画像処理機能
１１１ モデル記憶回路
１１２ 画像記憶回路
３０ 医用画像処理装置
３４ モデル記憶回路
３５ 処理回路
３５１ 取得機能
３５２ 検出機能
３５３ 抽出機能
３５４ 解析機能
３５５ 特定機能
３５６ モデル生成機能
３５７ 画像処理機能
３５８ 制御機能
３６ 画像記憶回路

Claims (15)

  1. 少なくとも３つのマーカを有する単一の医療デバイスを撮像した医用画像データ上で少なくとも３つの候補点を検出する検出部と、
    前記少なくとも３つの候補点の中から複数の候補対を選択し、選択した前記複数の候補対それぞれに対応する複数の領域を前記医用画像データから抽出する抽出部と、
    前記複数の領域それぞれを解析する解析部と、
    前記解析部による解析結果に基づいて、前記複数の候補対の中から、前記少なくとも３つのマーカのうち所定の２つのマーカに対応する対を特定する特定部と、
    画像データの入力を受けて当該画像データの解析結果を出力するように機能付けられた学習済みモデルであって、医療デバイスの種類ごと且つ選択される２つのマーカごとに生成された複数の学習済みモデルを記憶するモデル記憶部とを備え、
    前記解析部は、医療デバイスの種類及び選択された所定の２つのマーカに応じて、前記複数の学習済みモデルのうちいずれかの学習済みモデルを読み出し、読み出した学習済みモデルに前記複数の領域を入力することによって、前記複数の領域それぞれを解析する、医用画像処理装置。
  2. 前記解析部は、前記複数の領域それぞれについて確度付き二値分類を行なうことで、前記複数の候補対それぞれについて前記所定の２つのマーカに対応する確度を算出し、
    前記特定部は、前記確度に基づいて、前記複数の候補対の中から、前記所定の２つのマーカに対応する一又は複数の対を特定する、請求項１に記載の医用画像処理装置。
  3. 前記学習済みモデルを生成するモデル生成部を更に備える、請求項１又は２に記載の医用画像処理装置。
  4. 前記モデル生成部は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対間の距離に応じて抽出された画像データであって、画像サイズが調整された画像データを入力側データとする機械学習を実行することにより、前記学習済みモデルを生成し、
    前記抽出部は、各候補対における候補点間の距離に応じて前記複数の領域を抽出し、
    前記解析部は、前記複数の領域それぞれについて画像サイズを調整し、調整後の前記複数の領域を前記学習済みモデルに入力することによって、前記複数の領域それぞれを解析する、請求項３に記載の医用画像処理装置。
  5. 前記モデル生成部は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対ごとに複数の画像サイズで抽出された画像データであって、画像サイズが調整された画像データを入力側データとする機械学習を実行することにより、前記学習済みモデルを生成し、
    前記抽出部は、所定の画像サイズで前記複数の領域を抽出し、
    前記解析部は、前記学習済みモデルに前記複数の領域を入力することによって、前記複数の領域それぞれを解析する、請求項３に記載の医用画像処理装置。
  6. 前記モデル生成部は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対の向きに応じて抽出された画像データを入力側データとする機械学習を実行することにより、前記学習済みモデルを生成し、
    前記抽出部は、各候補対の向きに応じて前記複数の領域を抽出し、
    前記解析部は、前記学習済みモデルに前記複数の領域を入力することによって、前記複数の領域それぞれを解析する、請求項３～５のいずれか一項に記載の医用画像処理装置。
  7. 前記モデル生成部は、複数のマーカを有する医療デバイスを撮像した画像データからマーカ対ごとに複数の向きで抽出された画像データを入力側データとする機械学習を実行することにより、前記学習済みモデルを生成し、
    前記抽出部は、所定の向きで前記複数の領域を抽出し、
    前記解析部は、前記学習済みモデルに前記複数の領域を入力することによって、前記複数の領域それぞれを解析する、請求項３～５のいずれか一項に記載の医用画像処理装置。
  8. 前記モデル記憶部は、医療デバイスの種類ごとに生成された前記学習済みモデルを記憶し、
    前記解析部は、前記医用画像データに現れた医療デバイスの種類に応じて前記学習済みモデルを前記モデル記憶部から読み出し、読み出した前記学習済みモデルに前記複数の領域を入力することによって、前記複数の領域それぞれを解析する、請求項３～７のいずれか一項に記載の医用画像処理装置。
  9. 前記検出部は、前記医用画像データについてパターンマッチングを実行することで、前記少なくとも３つの候補点を検出する、請求項１～８のいずれか一項に記載の医用画像処理装置。
  10. 前記検出部は、更に、固定物除去処理を実行することで、前記少なくとも３つの候補点を検出する、請求項９に記載の医用画像処理装置。
  11. 時系列の複数の前記医用画像データを取得する取得部を更に備え、
    前記検出部は、前記取得部が前記医用画像データを取得するごとに、前記少なくとも３つの候補点を順次検出し、
    前記抽出部は、前記検出部が前記少なくとも３つの候補点を検出するごとに、前記複数の領域を順次抽出し、
    前記解析部は、前記抽出部が前記複数の領域を抽出するごとに、前記複数の領域それぞれを順次解析し、
    前記特定部は、前記解析部が前記複数の領域それぞれを解析するごとに、前記複数の候補対の中から一又は複数の対を順次特定する、請求項１～１０のいずれか一項に記載の医用画像処理装置。
  12. 時系列の複数の前記医用画像データを取得する取得部と、
    前記取得部が取得した複数の前記医用画像データを記憶する画像記憶部とを更に備え、
    前記検出部は、前記画像記憶部から読み出した複数の前記医用画像データのそれぞれについて、前記少なくとも３つの候補点を検出する、請求項１～１０のいずれか一項に記載の医用画像処理装置。
  13. 前記特定部が特定した一又は複数の対に基づいて、前記医用画像データに対する画像処理を実行する画像処理部を更に備える、請求項１～１２のいずれか一項に記載の医用画像処理装置。
  14. 少なくとも３つのマーカを有する単一の医療デバイスを撮像したＸ線画像データを収集する収集部と、
    前記Ｘ線画像データ上で少なくとも３つの候補点を検出する検出部と、
    前記少なくとも３つの候補点の中から複数の候補対を選択し、選択した前記複数の候補対それぞれに対応する複数の領域を前記Ｘ線画像データから抽出する抽出部と、
    前記複数の領域それぞれを解析する解析部と、
    前記解析部による解析結果に基づいて、前記複数の候補対の中から、前記少なくとも３つのマーカのうち所定の２つのマーカに対応する対を特定する特定部と、
    画像データの入力を受けて当該画像データの解析結果を出力するように機能付けられた学習済みモデルであって、医療デバイスの種類ごと且つ選択される２つのマーカごとに生成された複数の学習済みモデルを記憶するモデル記憶部とを備え、
    前記解析部は、医療デバイスの種類及び選択された所定の２つのマーカに応じて、前記複数の学習済みモデルのうちいずれかの学習済みモデルを読み出し、読み出した学習済みモデルに前記複数の領域を入力することによって、前記複数の領域それぞれを解析する、Ｘ線診断装置。
  15. 少なくとも３つのマーカを有する単一の医療デバイスを撮像した医用画像データ上で少なくとも３つの候補点を検出し、
    前記少なくとも３つの候補点の中から複数の候補対を選択し、選択した前記複数の候補対それぞれに対応する複数の領域を前記医用画像データから抽出し、
    前記複数の領域それぞれを解析し、
    解析結果に基づいて、前記複数の候補対の中から、前記少なくとも３つのマーカのうち所定の２つのマーカに対応する対を特定する
    各処理をコンピュータに実行させる医用画像処理プログラムであって、
    前記複数の領域それぞれを解析する処理は、画像データの入力を受けて当該画像データの解析結果を出力するように機能付けられた学習済みモデルであって、医療デバイスの種類ごと且つ選択される２つのマーカごとに生成された複数の学習済みモデルを記憶するモデル記憶部から、医療デバイスの種類及び選択された所定の２つのマーカに応じて、前記複数の学習済みモデルのうちいずれかの学習済みモデルを読み出し、読み出した学習済みモデルに前記複数の領域を入力することによって、前記複数の領域それぞれを解析することを含む、医用画像処理プログラム。
JP2019040042A 2019-03-05 2019-03-05 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム Active JP7341679B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019040042A JP7341679B2 (ja) 2019-03-05 2019-03-05 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019040042A JP7341679B2 (ja) 2019-03-05 2019-03-05 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2020141815A JP2020141815A (ja) 2020-09-10
JP7341679B2 true JP7341679B2 (ja) 2023-09-11

Family

ID=72354900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019040042A Active JP7341679B2 (ja) 2019-03-05 2019-03-05 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム

Country Status (1)

Country Link
JP (1) JP7341679B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005512372A (ja) 2001-12-07 2005-04-28 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ノイズの多い画像中で構造を空間的に強調する医用ビューイングシステム及び方法
US20110144480A1 (en) 2009-12-10 2011-06-16 Siemens Corporation Stent marker detection using a learning based classifier in medical imaging
US20140241599A1 (en) 2013-02-27 2014-08-28 Siemens Aktiengesellschaft Providing real-time marker detection for a stent in medical imaging
JP2016034351A (ja) 2014-08-01 2016-03-17 株式会社東芝 Ｘ線診断装置
JP2017185007A (ja) 2016-04-05 2017-10-12 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
JP2018171297A (ja) 2017-03-31 2018-11-08 キヤノンメディカルシステムズ株式会社 画像処理装置及びｘ線診断装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005512372A (ja) 2001-12-07 2005-04-28 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ノイズの多い画像中で構造を空間的に強調する医用ビューイングシステム及び方法
US20110144480A1 (en) 2009-12-10 2011-06-16 Siemens Corporation Stent marker detection using a learning based classifier in medical imaging
US20140241599A1 (en) 2013-02-27 2014-08-28 Siemens Aktiengesellschaft Providing real-time marker detection for a stent in medical imaging
JP2016034351A (ja) 2014-08-01 2016-03-17 株式会社東芝 Ｘ線診断装置
JP2017185007A (ja) 2016-04-05 2017-10-12 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
JP2018171297A (ja) 2017-03-31 2018-11-08 キヤノンメディカルシステムズ株式会社 画像処理装置及びｘ線診断装置

Also Published As

Publication number Publication date
JP2020141815A (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
USRE48583E1 (en) X-ray diagnosis apparatus and image processing apparatus
JP4149598B2 (ja) 画像収集中にｘ線イメージングシステムのコリメータを自動設定する方法、およびｘ線イメージングシステム
US10339655B2 (en) Automated image evaluation in x-ray imaging
US10268915B2 (en) Real-time collimation and ROI-filter positioning in X-ray imaging via automatic detection of the landmarks of interest
US10540764B2 (en) Medical image capturing apparatus and method
US11559273B2 (en) Mammography apparatus and program
EP3170144B1 (en) Device, system and method for segmenting an image of a subject
JP2007209758A (ja) 放射線医学的徴候の検出のためのトモシンセシス投影画像の処理方法
US10395386B2 (en) Image processing apparatus and X-ray diagnosis apparatus
JP7262933B2 (ja) 医用情報処理システム、医用情報処理装置、放射線診断装置、超音波診断装置、学習用データの生産方法及びプログラム
JP2016209335A (ja) 画像処理装置、及びその方法
JP6945322B2 (ja) 画像処理装置及びｘ線診断装置
JP7341679B2 (ja) 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム
US20230148985A1 (en) X-ray diagnosis apparatus and x-ray condition setting method
US20160086319A1 (en) Image processing apparatus, medical image diagnostic apparatus, and x-ray diagnostic apparatus
JP7225008B2 (ja) 医用画像処理装置
JP7334034B2 (ja) 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム
JP7199839B2 (ja) Ｘ線ｃｔ装置及び医用画像処理方法
JP2017196037A (ja) Ｘ線診断装置
US11801020B2 (en) X-ray diagnostic apparatus, marker detecting method, and computer-readable non-transitory recording medium
JP7292871B2 (ja) 医用情報処理装置及びｘ線診断装置
JP2020127600A (ja) 医用画像処理装置、ｘ線診断装置及び医用情報処理システム
US20230165552A1 (en) Medical image processing apparatus, x-ray diagnostic apparatus, and storage medium
JP2022028188A (ja) 医用画像処理装置、ｘ線診断装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230627

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230830

R150 Certificate of patent or registration of utility model

Ref document number: 7341679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150