以下、図面を参照して、実施形態に係る医用画像処理装置、X線診断装置及び医用情報処理システムを説明する。
(第1の実施形態)
まず、第1の実施形態について説明する。第1の実施形態では、X線診断装置10、画像保管装置20及び医用画像処理装置30を含んだ医用情報処理システム1について説明する。
図1は、第1の実施形態に係る医用情報処理システム1の構成の一例を示すブロック図である。図1に示すように、第1の実施形態に係る医用情報処理システム1は、X線診断装置10と、画像保管装置20と、医用画像処理装置30とを備える。図1に示すように、X線診断装置10、画像保管装置20及び医用画像処理装置30は、ネットワークNWを介して相互に接続される。
なお、第1の実施形態では、医用画像処理装置30においてX線診断装置10の撮影条件の設定を行なう場合について説明する。即ち、医用画像処理装置30は設定した撮影条件をX線診断装置10に対して送信し、X線診断装置10は、医用画像処理装置30から受け付けた撮影条件に基づいてX線画像データの収集を実行する。
X線診断装置10は、被検体からX線画像データを収集する装置である。例えば、X線診断装置10は、撮影条件の設定段階において被検体から2次元X線画像データを収集し、収集したX線画像データを医用画像処理装置30に対して送信する。また、例えば、X線診断装置10は、被検体から3次元X線画像データを収集し、収集した3次元X線画像データを画像保管装置20に対して送信する。また、例えば、X線診断装置10は、医用画像処理装置30から受け付けた撮影条件に基づいて、2次元X線画像データの収集を実行する。なお、X線診断装置10の構成については後述する。
画像保管装置20は、医用情報処理システム1に含まれる装置により収集された各種の医用画像データを保管する装置である。例えば、画像保管装置20は、X線診断装置10等の医用画像診断装置により収集された被検体の3次元画像データを受け付けて、装置内又は装置外に設けられたメモリに記憶させる。なお、被検体の3次元画像データについては後述する。例えば、画像保管装置20は、サーバ装置等のコンピュータ機器によって実現される。
医用画像処理装置30は、撮影条件の設定段階において、X線診断装置10から被検体の2次元X線画像データを取得し、取得した2次元X線画像データに基づいて撮影条件の設定を行なう。例えば、医用画像処理装置30は、2次元X線画像データにおける各位置について深度情報を付加した3次元データを生成する。また、医用画像処理装置30は、生成した3次元データを投影することにより、2次元X線画像データと異なる撮影角度で収集されるX線画像データを擬似的に示した擬似画像データを生成する。また、医用画像処理装置30は、生成した擬似画像データを表示し、擬似画像データを参照した操作者からの入力操作を受け付けることで撮影条件を設定する。なお、医用画像処理装置30が行なう処理については後述する。例えば、医用画像処理装置30は、ワークステーション等のコンピュータ機器によって実現される。
なお、ネットワークNWを介して接続可能であれば、X線診断装置10、画像保管装置20及び医用画像処理装置30が設置される場所は任意である。例えば、医用画像処理装置30は、X線診断装置10と異なる病院に設置されてもよい。即ち、ネットワークNWは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。また、図1においてはX線診断装置10を1つ示すが、医用情報処理システム1は複数のX線診断装置10を含んでもよい。
図1に示すように、医用画像処理装置30は、入力インターフェース31と、ディスプレイ32と、記憶回路33と、処理回路34とを有する。
入力インターフェース31は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路34に出力する。例えば、入力インターフェース31は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース31は、医用画像処理装置30本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース31は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用画像処理装置30とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路34へ出力する電気信号の処理回路も入力インターフェース31の例に含まれる。
ディスプレイ32は、各種の情報を表示する。例えば、ディスプレイ32は、入力インターフェース31を介して操作者から各種指示や各種設定等を受け付けるためのGUI(Graphical User Interface)を表示する。また、ディスプレイ32は、被検体について収集された各種の画像データを表示する。例えば、ディスプレイ32は、X線診断装置10によって収集された被検体の2次元X線画像データや、処理回路34によって生成された擬似画像データを表示する。例えば、ディスプレイ32は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。ディスプレイ32は、デスクトップ型でもよいし、医用画像処理装置30本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
記憶回路33は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路33は、X線診断装置10から取得した被検体の2次元X線画像データや、画像保管装置20から取得した被検体の3次元画像データを記憶する。また、例えば、記憶回路33は、医用画像処理装置30に含まれる回路がその機能を実現するためのプログラムを記憶する。なお、記憶回路33は、医用画像処理装置30とネットワークNWを介して接続されたサーバ群(クラウド)により実現されることとしてもよい。
処理回路34は、取得機能341、付加機能342、生成機能343、表示制御機能344及び制御機能345を実行することで、医用画像処理装置30全体の動作を制御する。ここで、取得機能341は、取得部の一例である。また、付加機能342は、付加部の一例である。また、生成機能343は、生成部の一例である。
例えば、処理回路34は、取得機能341に対応するプログラムを記憶回路33から読み出して実行することにより、X線診断装置10から2次元X線画像データを取得する。また、例えば、処理回路34は、付加機能342に対応するプログラムを記憶回路33から読み出して実行することにより、2次元X線画像データにおける各位置について深度情報を付加した3次元データを生成する。また、例えば、処理回路34は、生成機能343に対応するプログラムを記憶回路33から読み出して実行することにより、擬似画像データを生成する。また、例えば、処理回路34は、表示制御機能344に対応するプログラムを記憶回路33から読み出して実行することにより、擬似画像データをディスプレイ32に表示させる。また、例えば、処理回路34は、制御機能345に対応するプログラムを記憶回路33から読み出して実行することにより、操作者から受け付けた入力操作に応じて撮影位置や撮影角度等の撮影条件を設定し、設定した撮影条件をX線診断装置10に対して送信する。なお、取得機能341、付加機能342、生成機能343、表示制御機能344及び制御機能345による処理については後述する。
図1に示す医用画像処理装置30においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路33へ記憶されている。処理回路34は、記憶回路33からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路34は、読み出したプログラムに対応する機能を有することとなる。
なお、図1においては単一の処理回路34にて、取得機能341、付加機能342、生成機能343、表示制御機能344及び制御機能345が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路34を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路34が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
次に、図2を用いて、X線診断装置10について説明する。図2は、第1の実施形態に係るX線診断装置10の構成の一例を示すブロック図である。図2に示すように、X線診断装置10は、X線高電圧装置101と、X線管102と、X線絞り器103と、天板104と、Cアーム105と、X線検出器106と、記憶回路107と、ディスプレイ108と、入力インターフェース109と、処理回路110とを備える。
X線高電圧装置101は、処理回路110による制御の下、X線管102に高電圧を供給する。例えば、X線高電圧装置101は、変圧器(トランス)及び整流器等の電気回路を有し、X線管102に印加する高電圧を発生する高電圧発生装置と、X線管102が照射するX線に応じた出力電圧の制御を行うX線制御装置とを有する。なお、高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。
X線管102は、熱電子を発生する陰極(フィラメント)と、熱電子の衝突を受けてX線を発生する陽極(ターゲット)とを有する真空管である。X線管102は、X線高電圧装置101から供給される高電圧を用いて、陰極から陽極に向けて熱電子を照射することにより、X線を発生する。
X線絞り器103は、X線管102により発生されたX線の照射範囲を絞り込むコリメータと、X線管102から曝射されたX線を調節するフィルタとを有する。
X線絞り器103におけるコリメータは、例えば、スライド可能な4枚の絞り羽根を有する。コリメータは、絞り羽根をスライドさせることで、X線管102が発生したX線を絞り込んで被検体Pに照射させる。ここで、絞り羽根は、鉛などで構成された板状部材であり、X線の照射範囲を調整するためにX線管102のX線照射口付近に設けられる。
X線絞り器103におけるフィルタは、被検体Pに対する被曝線量の低減とX線画像データの画質向上を目的として、その材質や厚みによって透過するX線の線質を変化させ、被検体Pに吸収されやすい軟線成分を低減したり、X線画像データのコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタは、その材質や厚み、位置などによってX線の線量及び照射範囲を変化させ、X線管102から被検体Pへ照射されるX線が予め定められた分布になるようにX線を減衰させる。
例えば、X線絞り器103は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路110による制御の下、駆動機構を動作させることによりX線の照射を制御する。例えば、X線絞り器103は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、コリメータの絞り羽根の開度を調整して、被検体Pに対して照射されるX線の照射範囲を制御する。また、例えば、X線絞り器103は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、フィルタの位置を調整することで、被検体Pに対して照射されるX線の線量の分布を制御する。
天板104は、被検体Pを載せるベッドであり、図示しない寝台駆動装置の上に配置される。なお、被検体Pは、X線診断装置10に含まれない。例えば、寝台駆動装置は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路110による制御の下、駆動機構を動作させることにより、天板104の移動・傾斜を制御する。例えば、寝台駆動装置は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板104を移動させたり、傾斜させたりする。
なお、本実施形態では、図2に示すように、天板104の短手方向をX軸方向とする。また、X軸方向に直交し、天板104に対して水平な方向をY軸方向とする。Y軸方向は、天板104の長手方向に対応する。また、X軸方向及びY軸方向に直交する方向をZ軸方向とする。即ち、天板104に対して垂直な方向をZ軸方向とする。また、天板104を基準としたXYZ座標系については、基準座標系とも記載する。
Cアーム105は、X線管102及びX線絞り器103と、X線検出器106とを、被検体Pを挟んで対向するように保持する。例えば、Cアーム105は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路110による制御の下、駆動機構を動作させることにより、回転したり移動したりする。例えば、Cアーム105は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、X線管102及びX線絞り器103と、X線検出器106とを被検体Pに対して回転・移動させ、X線の照射位置や照射角度を制御する。なお、図2では、X線診断装置10がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。
X線検出器106は、例えば、マトリクス状に配列された検出素子を有するX線平面検出器(Flat Panel Detector:FPD)である。X線検出器106は、X線管102から照射されて被検体Pを透過したX線を検出して、検出したX線量に対応した検出信号を処理回路110へと出力する。なお、X線検出器106は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。
記憶回路107は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、記憶回路107は、処理回路110によって収集されたX線画像データを受け付けて記憶する。また、記憶回路107は、処理回路110によって読み出されて実行される各種機能に対応するプログラムを記憶する。なお、記憶回路107は、X線診断装置10とネットワークを介して接続されたサーバ群(クラウド)により実現されることとしてもよい。
ディスプレイ108は、各種の情報を表示する。例えば、ディスプレイ108は、処理回路110による制御の下、操作者の指示を受け付けるためのGUIや、各種のX線画像を表示する。例えば、ディスプレイ108は、液晶ディスプレイやCRTディスプレイである。なお、ディスプレイ108はデスクトップ型でもよいし、処理回路110と無線通信可能なタブレット端末等で構成されることにしても構わない。
入力インターフェース109は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路110に出力する。例えば、入力インターフェース109は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース109は、処理回路110と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース109は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、X線診断装置10とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路110へ出力する電気信号の処理回路も入力インターフェース109の例に含まれる。
処理回路110は、収集機能110a、表示制御機能110b及び送信機能110cを実行することで、X線診断装置10全体の動作を制御する。
例えば、処理回路110は、記憶回路107から収集機能110aに相当するプログラムを読み出して実行することにより、被検体PからX線画像データを収集する。例えば、収集機能110aは、X線高電圧装置101を制御し、X線管102に供給する電圧を調整することで、被検体Pに対して照射されるX線量やオン/オフを制御する。
また、例えば、収集機能110aは、X線管102、X線絞り器103、天板104、Cアーム105及びX線検出器106の動作を制御することにより、撮影位置や撮影角度、X線条件(管電流値や管電圧値等)等の撮影条件を制御する。以下では、X線診断装置10においてX線画像データの収集に用いられる機構(X線管102、X線絞り器103、天板104、Cアーム105及びX線検出器106)を、撮影系とも記載する。
具体的には、収集機能110aは、X線絞り器103の動作を制御し、コリメータが有する絞り羽根の開度を調整することで、被検体Pに対して照射されるX線の照射範囲を制御する。また、収集機能110aは、X線絞り器103の動作を制御し、フィルタの位置を調整することで、X線の線量の分布を制御する。また、収集機能110aは、Cアーム105を回転させたり、移動させたりすることで、X線の照射範囲及び照射角度を制御する。また、収集機能110aは、天板104を移動させたり、傾斜させたりすることで、X線の照射範囲及び照射角度を制御する。また、収集機能110aは、X線検出器106から受信した検出信号に基づいてX線画像データを生成し、生成したX線画像データを記憶回路107に格納する。
また、処理回路110は、記憶回路107から表示制御機能110bに相当するプログラムを読み出して実行することにより、GUIや各種のX線画像をディスプレイ108に表示させる。また、処理回路110は、記憶回路107から送信機能110cに相当するプログラムを読み出して実行することにより、収集機能110aによって収集されたX線画像データを、画像保管装置20又は医用画像処理装置30に対して送信する。
図2に示すX線診断装置10においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路107へ記憶されている。処理回路110は、記憶回路107からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路110は、読み出したプログラムに対応する機能を有することとなる。
なお、図2においては単一の処理回路110にて、収集機能110a、表示制御機能110b及び送信機能110cが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路110を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路110が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、あるいは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路33又は記憶回路107に保存されたプログラムを読み出し実行することで機能を実現する。
なお、図1及び図2においては、単一の記憶回路33又は記憶回路107が各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、複数の記憶回路33を分散して配置し、処理回路34は、個別の記憶回路33から対応するプログラムを読み出す構成としても構わない。同様に、複数の記憶回路107を分散して配置し、処理回路110は、個別の記憶回路107から対応するプログラムを読み出す構成としても構わない。また、記憶回路33及び記憶回路107にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
また、処理回路34及び処理回路110は、ネットワークNWを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路34は、記憶回路33から各機能に対応するプログラムを読み出して実行するとともに、医用画像処理装置30とネットワークNWを介して接続されたサーバ群(クラウド)を計算資源として利用することにより、図1に示す各機能を実現する。
以上、X線診断装置10、画像保管装置20及び医用画像処理装置30を含んだ医用情報処理システム1について説明した。かかる構成のもと、医用情報処理システム1における医用画像処理装置30は、処理回路34による処理によって、被ばく量を低減しつつ、X線診断装置10における撮影条件の設定を容易にする。
まず、図3及び図4を用いて、医用画像処理装置30における撮影条件の設定の例を説明する。例えば、医用画像処理装置30は、撮影条件の設定段階において、図3に示す2次元X線画像データI11をX線診断装置10から取得し、取得した2次元X線画像データI11に基づいて撮影条件の設定を行なう。なお、図3は、第1の実施形態に係る2次元X線画像データI11を示す図である。また、図4は、第1の実施形態に係る撮影条件の設定の一例を示す図である。
例えば、取得機能341は、図3に示す2次元X線画像データI11として、LIHを取得する。具体的には、X線診断装置10における収集機能110aは、時系列的に複数の2次元X線画像データを収集し、収集した2次元X線画像データを、医用画像処理装置30に対して順次送信する。また、取得機能341は、X線診断装置10から送信された2次元X線画像データを順次取得する。また、表示制御機能344は、取得機能341が取得した2次元X線画像データを、ディスプレイ32に順次表示させる。なお、2次元X線画像データの収集及び表示を並行して実行する処理については、X線透視とも記載する。また、収集と並行して表示される2次元X線画像データについては、透視像とも記載する。次に、操作者は、所望のタイミングで、X線透視を停止する旨の入力操作を行なう。例えば、操作者は、ディスプレイ32に表示される透視像を参照しつつ、撮影位置や撮影角度を適宜変更する。そして、操作者は、透視像上に検査対象部位が現れたタイミングで入力インターフェース31が備える停止ボタンを押下することにより、透視を停止する旨の入力操作を行なう。一例を挙げると、図3に示す部位A1が検査対象部位である場合において、操作者は、透視像上に部位A1が現れたタイミングで停止ボタンを押下する。ここで、表示制御機能344は、停止ボタンが押下された際に表示されていた2次元X線画像データを、ディスプレイ32に表示させたままとする。即ち、表示制御機能344は、LIHをディスプレイ32に表示させる。また、取得機能341は、LIHを、2次元X線画像データI11として特定する。
次に、表示制御機能344は、図4の左図に示すように、2次元X線画像データI11上に、撮影位置を示すROIを表示させる。ここで、操作者は、検査対象部位を観察しやすいように2次元X線画像データI11上のROIを調整することで、撮影位置の設定を行なうことができる。例えば、部位A1が検査対象部位である場合において、操作者は、ROIの中心に部位A1が位置するように2次元X線画像データI11上でROIを移動させることで、部位A1を観察しやすいように撮影位置の設定を行なうことができる。
図4に示したように、操作者は、2次元X線画像データI11上のROIを調整することで、直感的に撮影位置の設定を行なうことができる。また、操作者が2次元X線画像データI11上のROIを調整している間はX線透視の必要がないため、X線透視のみによって撮影位置を設定する場合と比較して、被ばく量を低減することができる。
ここで、撮影位置の設定に加えて、或いは撮影位置の設定に代えて、撮影角度の設定が行われる場合がある。即ち、2次元X線画像データI11を参照した操作者が撮影角度の変更を希望する場合がある。例えば、2次元X線画像データI11において検査対象部位に対して奥行き方向に骨などの背景成分が重なっている場合、操作者は、より検査対象部位を観察しやすくなるように、Cアーム105を被検体Pに対して回転させることを希望する場合がある。
しかしながら、2次元X線画像データI11を参照しても、変更後の撮影角度を直感的に理解することはできない。即ち、撮影角度に応じてX線画像データ上に現れる各部位(例えば、図3の部位A1や部位A2等)の配置は変化するため、撮影角度を変更した場合、2次元X線画像データI11とは各部位の配置が異なるX線画像データが収集されることとなる。そして、変更後の撮影角度のX線画像データについて操作者が想像するしかないとなれば、その撮影角度が適切であるか否かを直感的に判断することはできない。このため、操作者にとって、2次元X線画像データI11のみを参照して撮影角度を設定することは容易でない。また、X線透視を再開すれば、追加収集した透視像によって変更後の撮影角度を直感的に理解することはできるものの、被検体Pの被ばく量が増加する。
そこで、医用画像処理装置30は、透視像の追加収集によらず、変更後の撮影角度を直感的に理解することができる画像データを生成することで、被ばく量を低減しつつ、撮影角度の設定を容易にする。具体的には、医用画像処理装置30は、2次元X線画像データI11と異なる撮影角度で収集されるX線画像データを擬似的に示した画像データを生成することで、被ばく量を低減しつつ、撮影角度の設定を容易にする。なお、以下では、2次元X線画像データI11と異なる撮影角度で収集されるX線画像データを、回転画像データとも記載する。また、以下では、回転画像データを擬似的に示した画像データを、擬似画像データと記載する。
以下、擬似画像データの生成処理の一例について、図5A及び図5Bを用いて説明する。図5Aに示す軸y’は、図2等に示したY軸方向(天板104の長手方向)と平行であり、且つ、アイソセンター(Cアーム105の回転中心)を通る軸である。以下では一例として、軸y’を回転軸としてCアーム105を回転させることにより、撮影角度を変化させる場合について説明する。なお、図5Aは、第1の実施形態に係るアイソセンターを通る軸y’を示す図である。また、図5Bは、第1の実施形態に係る擬似画像データの生成処理の一例を示す図である。
例えば、生成機能343は、まず、アイソセンターと2次元X線画像データI11との位置関係を特定する。一例を挙げると、生成機能343は、天板104を基準とする基準座標系において、実空間におけるアイソセンターに対応する点を特定する。ここで、アイソセンターはCアーム105の配置に応じて決まるものであるため、生成機能343は、X線診断装置10からCアーム105の制御情報を取得することにより、アイソセンターに対応する点を特定することができる。また、生成機能343は、プリセットされた条件に基づいて、基準座標系における2次元X線画像データI11の位置を特定する。例えば、生成機能343は、天板104の上方(+Z方向)に「10cm」の位置を、2次元X線画像データI11の位置として特定する。
なお、生成機能343は、被検体Pの体格に基づいて、基準座標系における2次元X線画像データI11の位置を特定してもよい。例えば、生成機能343は、HIS(Hospital Information System)やRIS(Radiology Information System)等のシステムから、被検体Pの体格に関わるパラメータ(年齢や性別、体重、身長など)を取得する。そして、生成機能343は、取得したパラメータに基づいて、基準座標系における2次元X線画像データI11の位置を特定する。例えば、生成機能343は、取得したパラメータに対応付いた高さ「12cm」に基づき、天板104の上方「12cm」の位置を2次元X線画像データI11の位置として特定する。
基準座標系においてアイソセンターに対応する点及び2次元X線画像データI11の位置をそれぞれ特定することにより、生成機能343は、アイソセンターと2次元X線画像データI11との位置関係を特定することができる。また、軸y’は、Y軸方向と平行であり且つアイソセンターを通る軸である。従って、生成機能343は、アイソセンターと2次元X線画像データI11との位置関係を特定することにより、軸y’と2次元X線画像データI11との位置関係を特定することができる。
別の例を挙げると、生成機能343は、被検体Pの3次元画像データに基づいて、アイソセンターと2次元X線画像データI11との位置関係を特定する。ここで、3次元画像データとは、例えば、X線CT(Computed Tomography)装置により収集されるCT画像データや、MRI(Magnetic Resonance Imaging)装置により収集されるMR画像データ、X線診断装置10により収集される3次元X線画像データ等である。
以下では、3次元画像データの例として、X線診断装置10により収集される3次元X線画像データV11について説明する。例えば、X線診断装置10は、2次元X線画像データI11の収集に先立って、被検体Pに対する回転撮影を実行し、3次元X線画像データV11を収集する。具体的には、収集機能110aは、Cアーム105を回転させることにより、X線管102及びX線検出器106を被検体Pの周囲で回転移動させながら、所定のフレームレートでX線管102からX線を照射させる。ここで、X線検出器106は、検出したX線量に対応した検出信号を出力し、収集機能110aは、X線検出器106から受信した検出信号に基づいて複数の投影データを生成する。即ち、収集機能110aは、回転撮影を実行することによって、所定のフレームレートで複数の投影データを収集する。そして、収集機能110aは、収集した複数の投影データから3次元X線画像データV11を再構成する。なお、3次元X線画像データV11は、天板104の上に載置された被検体Pについて収集されたものであるため、天板104を基準とする基準座標系における3次元X線画像データV11の位置は既知である。また、送信機能110cは、再構成された3次元X線画像データV11を、画像保管装置20に対して送信する。
また、取得機能341は、2次元X線画像データI11を取得した後、ネットワークNWを介して、画像保管装置20から3次元X線画像データV11を取得する。次に、生成機能343は、3次元X線画像データV11と2次元X線画像データI11とを位置合わせすることで、3次元X線画像データV11に対する2次元X線画像データI11の位置を特定する。これにより、生成機能343は、基準座標系における2次元X線画像データI11の位置を特定する。また、生成機能343は、基準座標系において、実空間におけるアイソセンターに対応する点を特定する。そして、基準座標系においてアイソセンターに対応する点及び2次元X線画像データI11の位置をそれぞれ特定することにより、生成機能343は、アイソセンターと2次元X線画像データI11との位置関係を特定することができる。また、生成機能343は、アイソセンターと2次元X線画像データI11との位置関係に基づいて、軸y’と2次元X線画像データI11との位置関係を特定することができる。
なお、図5Bにおいては一例として、2次元X線画像データI11がY軸に対して平行であり、且つ、アイソセンターに対応する点が2次元X線画像データI11上に位置している場合について説明する。即ち、図5Bにおいては、軸y’と2次元X線画像データI11とが平行であり、且つ、軸y’が2次元X線画像データI11を通る場合について説明する。
例えば、2次元X線画像データI11を参照した操作者は、入力インターフェース31を介して、撮影角度の変更操作を入力する。なお、以下では、2次元X線画像データI11の撮影角度を、撮影角度W11と記載する。また、以下では、操作者による変更後の撮影角度を、撮影角度W12と記載する。また、以下では、撮影角度W12で収集されるX線画像データを、回転画像データI12と記載する。図5Bに示す場合、2次元X線画像データI11の撮影角度W11は、Z軸方向に一致する。また、図5Bに示す場合、変更後の撮影角度W12(即ち、回転画像データI12の撮影角度)は、撮影角度W11から角度「θ1」だけ変更された角度である。
生成機能343は、2次元X線画像データI11に基づいて、回転画像データI12を擬似的に示す擬似画像データを生成する。例えば、生成機能343は、図5Bに示すように、軸y’を回転軸として2次元X線画像データI11を角度「θ1」だけ回転させる。即ち、生成機能343は、アイソセンターに対応する点まわりに、2次元X線画像データI11を角度「θ1」だけ回転させる。次に、生成機能343は、回転後の2次元X線画像データI11をXY平面上に投影することで、擬似画像データI13aを生成する。即ち、生成機能343は、角度「θ1」に応じて2次元X線画像データI11を正射影することで、回転画像データI12を擬似した擬似画像データI13aを生成する。また、表示制御機能344は、生成機能343が生成した擬似画像データI13aをディスプレイ32に表示させる。
しかしながら、図5Bに示す擬似画像データI13aにおいては、2次元X線画像データI11に含まれる各部位(部位A1や部位A2等)の奥行き方向の位置が考慮されていない。即ち、擬似画像データI13aにおいては、2次元X線画像データI11における各位置の深度情報が考慮されていない。このため、擬似画像データI13aは、回転画像データI12と大きく異なる画像となってしまう場合がある。ひいては、擬似画像データI13aを参照した操作者が、変更後の撮影角度W12を直感的に理解することができない場合がある。
そこで、処理回路34は、2次元X線画像データI11における各位置の深度情報を考慮した擬似画像データを生成することにより、変更後の撮影角度W12を直感的に理解することを可能とする。具体的には、処理回路34は、図6に示すように、2次元X線画像データI11における各位置について深度情報を付加した3次元データD11を生成し、生成した3次元データD11を投影することにより、深度情報を考慮した擬似画像データI13bを生成する。なお、図6は、第1の実施形態に係る擬似画像データI13bの生成処理の一例を示す図である。
以下、処理回路34による擬似画像データI13bの生成処理について詳細に説明する。まず、付加機能342は、2次元X線画像データI11における各位置について深度情報を付加した3次元データD11を生成する。ここで、深度情報は、2次元X線画像データI11の奥行き方向の位置を示す情報である。例えば、図6に示す場合、深度情報は、Z軸方向の位置を示す情報である。一例を挙げると、深度情報は、Z座標である。
例えば、付加機能342は、2次元X線画像データI11と同じ被検体Pについて収集された3次元画像データに基づいて、2次元X線画像データI11における各位置について深度情報を推定し、推定した深度情報を2次元X線画像データI11の各位置に付加することで3次元データD11を生成する。以下、3次元画像データの例として、X線診断装置10により収集される3次元X線画像データV11について説明する。
例えば、X線診断装置10は、2次元X線画像データI11の収集に先立って、被検体Pから3次元X線画像データV11を収集し、収集した3次元X線画像データV11を画像保管装置20に対して送信する。また、取得機能341は、2次元X線画像データI11を取得した後、ネットワークNWを介して、画像保管装置20から3次元X線画像データV11を取得する。次に、付加機能342は、3次元X線画像データV11と2次元X線画像データI11とを位置合わせすることで、2次元X線画像データI11における各位置について深度情報を推定する。
例えば、付加機能342は、まず、2次元X線画像データI11のうち骨に対応する領域の輪郭データLcを抽出する。一例を挙げると、付加機能342は、2次元X線画像データI11についてエッジ抽出処理を行なうことにより、輪郭データLcを抽出する。輪郭データLcは、例えば、2次元座標値を持つ頂点の集合として表現される。また、付加機能342は、3次元X線画像データV11を平面に投影した投影画像データを複数生成する。ここで、付加機能342は、位置及び向きを変化させつつ3次元X線画像データV11を平面に透視することで、様々な投影画像データを生成する。次に、付加機能342は、複数の投影画像データそれぞれについて、投影画像データのうち骨に対応する領域の輪郭データLvを抽出する。輪郭データLvは、例えば、2次元座標値を持つ頂点の集合として表現される。次に、付加機能342は、複数の投影画像データそれぞれについて、輪郭データLc上の各頂点と、その頂点から最短距離にある輪郭データLvの頂点との間の距離値の総和を算出する。次に、付加機能342は、算出した距離値の総和が最小となる投影画像データを特定する。そして、付加機能342は、特定した投影画像データの生成時における3次元X線画像データV11の位置及び向きを、2次元X線画像データI11に対する3次元X線画像データV11の位置及び向きとして特定する。
即ち、付加機能342は、2次元X線画像データI11から抽出した輪郭データLcの頂点と、3次元X線画像データV11から抽出した輪郭データLvの頂点との間の距離値の総和を、3次元X線画像データV11の位置及び向きを変数とする評価関数として定義する。そして、付加機能342は、評価関数の最小化を図ることで、3次元X線画像データV11と2次元X線画像データI11とを位置合わせする。
なお、評価関数の変数は、3次元X線画像データV11の位置及び向きに限定されるものではない。例えば、付加機能342は、3次元X線画像データV11の位置及び向きと、3次元X線画像データV11の変形度とを変数として、評価関数を定義してもよい。即ち、付加機能342は、3次元X線画像データV11を剛体として2次元X線画像データI11と位置合わせしてもよいし、3次元X線画像データV11を変形させながら2次元X線画像データI11と位置合わせしてもよい。
また、付加機能342は、血管造影の有無に応じて、3次元X線画像データV11と2次元X線画像データI11との位置合わせを行なってもよい。例えば、2次元X線画像データI11が血管非造影画像であり、3次元X線画像データV11が血管造影画像である場合、付加機能342は、3次元X線画像データV11を、血管モデルと非血管モデルとに分離する。次に、付加機能342は、3次元X線画像データV11に基づく非血管モデルと、2次元X線画像データI11とを位置合わせる。これにより、付加機能342は、2次元X線画像データI11が血管非造影画像であり、3次元X線画像データV11が血管造影画像である場合においても、3次元X線画像データV11と2次元X線画像データI11とを精度良く位置合わせすることができる。
また、付加機能342は、他の医用画像データを介して、3次元X線画像データV11と2次元X線画像データI11とを位置合わせしてもよい。例えば、付加機能342は、被検体Pを撮像した3次元超音波画像データV12を用いて、3次元X線画像データV11と2次元X線画像データI11とを位置合わせする。一例を挙げると、付加機能342は、3次元X線画像データV11と3次元超音波画像データV12との位置合わせを実行し、3次元X線画像データV11に対する3次元超音波画像データV12の位置及び向きを特定する。また、付加機能342は、2次元X線画像データI11において、3次元超音波画像データV12の撮像に用いられる超音波プローブの位置及び向きを特定することにより、2次元X線画像データI11に対する3次元超音波画像データV12の位置及び向きを特定する。例えば、付加機能342は、超音波プローブの構造を示す3次元モデルを2次元X線画像データI11に対してマッチングすることにより、2次元X線画像データI11において超音波プローブの位置及び向きを特定する。そして、付加機能342は、3次元X線画像データV11に対する3次元超音波画像データV12の位置及び向きと、2次元X線画像データI11に対する3次元超音波画像データV12の位置及び向きとに基づいて、3次元X線画像データV11と2次元X線画像データI11とを位置合わせする。
また、付加機能342は、操作者からの入力操作に基づいて、3次元X線画像データV11と2次元X線画像データI11とを位置合わせしてもよい。一例を挙げると、操作者は、ディスプレイ32に表示された3次元X線画像データV11及び2次元X線画像データI11を参照しつつ、入力インターフェース31を介して、2次元X線画像データI11に対する3次元X線画像データV11の位置及び向きを変化させる。そして、操作者は、2次元X線画像データI11に対する3次元X線画像データV11の位置及び向き決定する操作を入力することにより、3次元X線画像データV11と2次元X線画像データI11とを位置合わせする。
3次元X線画像データV11と2次元X線画像データI11とを位置合わせした後、付加機能342は、2次元X線画像データI11における各位置について、深度情報を推定する。例えば、付加機能342は、3次元X線画像データV11において部位A1の位置を特定する。次に、付加機能342は、3次元X線画像データV11と2次元X線画像データI11との位置合わせの結果に基づいて、2次元X線画像データI11から、3次元X線画像データV11における部位A1までの距離を算出する。なお、2次元X線画像データI11から3次元X線画像データV11における部位A1までの距離は、例えば、2次元X線画像データI11の奥行き方向(即ち、図6に示すZ方向)の距離である。
即ち、付加機能342は、2次元X線画像データI11から3次元X線画像データV11における部位A1までの距離を、2次元X線画像データI11における部位A1の位置の深度情報として推定する。同様に、付加機能342は、2次元X線画像データI11における他の位置(部位A2の位置等)の深度情報を推定する。
次に、付加機能342は、推定した深度情報を2次元X線画像データI11における各位置に付加することで、図6に示す3次元データD11を生成する。例えば、2次元X線画像データI11における各画素は、それぞれがX座標及びY座標を有している。ここで、付加機能342は、2次元X線画像データI11における各画素に対して、推定した深度情報をZ座標として付加する。これにより、付加機能342は、3次元データD11として、2次元X線画像データI11における各画素を3次元空間に配置した3次元画像データを生成する。即ち、付加機能342は、深度情報に応じて2次元X線画像データI11を3次元に拡張することで、3次元データD11を生成する。なお、3次元データD11の生成は、操作者による撮影角度の変更操作がある前に行なってもよいし、撮影角度の変更操作があった後に行なってもよい。
次に、生成機能343は、図6に示すように、生成した3次元データD11を角度「θ1」だけ回転させる。例えば、生成機能343は、基準座標系における3次元データD11の位置に基づき、3次元データD11において、実空間におけるアイソセンターに対応する点を特定する。次に、生成機能343は、アイソセンターを通る軸y’を回転軸として、3次元データD11を角度「θ1」だけ回転させる。即ち、生成機能343は、アイソセンターに対応する点まわりに、3次元データD11を角度「θ1」だけ回転させる。
次に、生成機能343は、図6に示すように、回転後の3次元データD11をXY平面上に投影することで、擬似画像データI13bを生成する。また、表示制御機能344は、生成機能343が生成した擬似画像データI13bをディスプレイ32に表示させる。ここで、擬似画像データI13bは、上述したように、2次元X線画像データI11における各位置の深度情報を考慮して生成されたものである。このため、擬似画像データI13bは、回転画像データI12を十分に近似した画像となる。ひいては、擬似画像データI13bを参照した操作者は、変更後の撮影角度W12を直感的に理解することができる。
なお、変更後の撮影角度W12が適切でないと判断した場合、操作者は、再度、撮影角度の変更操作を行なう。例えば、擬似画像データI13bにおいて検査対象部位に背景成分が重なっている場合、操作者は、より検査対象部位を観察しやすくなるように、再度撮影角度の変更操作を行なう。この場合、生成機能343は、変更後の撮影角度に応じて3次元データD11を回転させ、回転後の3次元データD11を投影することにより、変更後の撮影角度で収集される回転画像データを擬似的に示した擬似画像データを生成する。また、表示制御機能344は、生成された擬似画像データをディスプレイ32に表示させる。
一方で、変更後の撮影角度W12が適切であると判断した場合、操作者は、撮影角度W12を撮影条件とする旨の入力操作を行なう。この場合、制御機能345は、撮影角度W12を撮影条件として設定し、設定した撮影条件をX線診断装置10に対して送信する。また、収集機能110aは、医用画像処理装置30から受け付けた撮影条件に基づいて、2次元X線画像データの収集を実行する。即ち、収集機能110aは、回転画像データI12の収集を実行する。
例えば、収集機能110aは、まず、医用画像処理装置30から受け付けた撮影条件に基づいて、Cアーム105等の撮影系を配置する。一例を挙げると、収集機能110aは、アイソセンターまわりにCアーム105を角度「θ1」だけ回転させる。次に、収集機能110aは、X線高電圧装置101を制御して、X線管102から被検体Pに対してX線を照射させる。そして、収集機能110aは、X線検出器106から受信した検出信号に基づいて回転画像データI12を生成する。
一例を挙げると、収集機能110aは、被検体Pに対する手技の間、医用画像処理装置30から受け付けた撮影角度をワーキングアングルとして、複数の回転画像データI12を順次収集する。また、表示制御機能110bは、収集された回転画像データI12を順次表示させる。即ち、収集機能110aは、回転画像データI12を透視像として収集する。
なお、図6に示した擬似画像データI13bにおいては、2次元X線画像データI11と比較して、部位A1が+X方向にずれるとともに、部位A2が-X方向にずれている。
このため、擬似画像データI13bのうち部位A1の-X方向側に近接する箇所の画素は、2次元X線画像データI11に基づく情報を有していない場合がある。以下、擬似画像データI13bの画素のうち、2次元X線画像データI11に基づく情報を有していない画素を、空白画素と記載する。即ち、擬似画像データI13bにおいては、部位A1の-X方向側に近接する箇所の画素が空白画素となっている場合がある。また、部位A2の+X方向側に近接する箇所の画素も同様に、空白画素となっている場合がある。
そこで、生成機能343は、擬似画像データI13bの空白画素の補完処理を行なうこととしてもよい。例えば、生成機能343は、空白画素の画素値を、擬似画像データI13bにおける背景画素の画素値の平均値により置換することで、空白画素の補完処理を行なう。なお、背景画素とは、例えば、擬似画像データI13bの画素のうち、部位A1の位置の画素、部位A2の位置の画素、及び、空白画素を除く画素である。別の例を挙げると、生成機能343は、空白画素の画素値をプリセット値により置換することで、空白画素の補完処理を行なう。
また、図6においては、アイソセンターに対応する点が2次元X線画像データI11上に位置している場合について説明した。即ち、図6においては、軸y’が2次元X線画像データI11を通る場合について説明した。しかしながら、実施形態はこれに限定されるものではない。以下、アイソセンターに対応する点が2次元X線画像データI11上に位置していない場合における擬似画像データの生成処理について説明する。
例えば、アイソセンターに対応する点は、2次元X線画像データI11に対してZ方向にずれている場合がある。この場合、Y軸方向と平行であり且つアイソセンターを通る軸y’は、図7Aに示すように、Z方向から見れば2次元X線画像データI11と重なって見えるものの、Z方向にずれているため、2次元X線画像データI11を通らない。なお、図7Aは、第1の実施形態に係るアイソセンターを通る軸y’を示す図である。
この場合、付加機能342は、まず、図7Bに示すように、2次元X線画像データI11における各位置について深度情報を付加した3次元データD11を生成する。例えば、付加機能342は、3次元X線画像データV11に基づいて2次元X線画像データI11における各位置について深度情報を推定し、推定した深度情報を2次元X線画像データI11の各位置に付加することで3次元データD11を生成する。なお、図7Bは、第1の実施形態に係る擬似画像データの生成処理の一例を示す図である。図7Bにおいては、アイソセンターに対応する点が3次元データD11の外部領域に位置しているものとして説明する。即ち、図7Bにおいては、軸y’が3次元データD11を通らないものとして説明する。
次に、生成機能343は、図7Bに示すように、生成した3次元データD11を角度「θ1」だけ回転させる。例えば、生成機能343は、基準座標系における3次元データD11の位置に基づき、3次元データD11において、実空間におけるアイソセンターに対応する点を特定する。次に、生成機能343は、アイソセンターを通る軸y’を回転軸として、3次元データD11を角度「θ1」だけ回転させる。即ち、生成機能343は、アイソセンターに対応する点まわりに、3次元データD11を角度「θ1」だけ回転させる。なお、アイソセンターに対応する点が3次元データD11の外部領域に位置している場合においては、アイソセンターに対応する点まわりに3次元データD11を回転させる際、3次元データD11は、アイソセンターに対応する点を中心とする円軌道に沿って移動することとなる。
次に、生成機能343は、図7Bに示すように、回転後の3次元データD11をXY平面上に投影することで、擬似画像データI13cを生成する。また、表示制御機能344は、生成機能343が生成した擬似画像データI13cをディスプレイ32に表示させる。ここで、擬似画像データI13cは、上述したように、2次元X線画像データI11における各位置の深度情報を考慮して生成されたものである。このため、擬似画像データI13cは、回転画像データI12を十分に近似した画像となる。ひいては、擬似画像データI13cを参照した操作者は、変更後の撮影角度W12を直感的に理解し、変更後の撮影角度W12が適切であるか否かを容易に判断することができる。例えば、変更後の撮影角度W12が適切でないと判断した場合、操作者は、再度、撮影角度の変更操作を行なう。また、変更後の撮影角度W12が適切であると判断した場合、操作者は、撮影角度W12を撮影条件とする旨の入力操作を行なう。
なお、図7Bに示したように、アイソセンターに対応する点まわりに3次元データD11を回転させる際、3次元データD11は、アイソセンターに対応する点を中心とする円軌道に沿って+X方向に移動する。このため、擬似画像データI13cにおいては、2次元X線画像データI11と比較して、部位A1や部位A2等の各部位が全体的に+X方向に移動している。ここで、擬似画像データI13cのうち-X方向側の端部の画素は、2次元X線画像データI11に基づく情報を有していない場合がある。即ち、擬似画像データI13cにおいては、-X方向側の端部の画素が空白画素となっている場合がある。そこで、生成機能343は、擬似画像データI13cの空白画素の補完処理を行なうこととしてもよい。例えば、生成機能343は、空白画素の画素値を、擬似画像データI13cにおける背景画素の画素値の平均値や、プリセット値により置換することで、空白画素の補完処理を行なう。
なお、図6及び図7Bにおいては、説明の便宜のため、3次元データD11を3次元画像データとして示したが、実施形態はこれに限定されるものではない。例えば、3次元データD11は、2次元X線画像データI11における各画素に深度情報を付帯させたデータであってもよい。即ち、3次元データD11は、2次元画像データであってもよい。この場合、生成機能343は、軸y’を回転軸として3次元データD11を角度「θ1」だけ回転させ、回転後の3次元データD11をXY平面上に投影する。この際、生成機能343は、付帯する深度情報に応じて投影方向を画素ごとにシフトさせる。これにより、生成機能343は、2次元X線画像データI11における各位置の深度情報を考慮した擬似画像データを生成することができる。
また、これまで、3次元X線画像データV11等の3次元画像データに基づいて、2次元X線画像データI11における各位置の深度情報を推定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、付加機能342は、2次元X線画像データI11における各位置について、画素値に基づいて深度情報を推定してもよい。
ここで、画素値に基づく深度情報の推定について、図8を用いて説明する。図8は、第1の実施形態に係る2次元X線画像データI11aを示す図である。図8に示す2次元X線画像データI11aは、被検体Pの右股関節における動脈を造影した血管画像であり、2次元X線画像データI11の一例である。
図8に示すように、2次元X線画像データI11aにおいては、造影された血管を示す画素は低い画素値を有し、血管以外の背景画素(骨など)は高い画素値を有する。即ち、2次元X線画像データI11aにおいては、血管を示す画素は黒に近い色を有し、背景画素は白に近い色を有する。例えば、付加機能342は、2次元X線画像データI11aにおける各画素の画素値が閾値を超えるか否かに応じて、各画素を、血管を示す画素と背景画素とに分離する。ここで、股関節における動脈(大腿動脈等)は、股関節を構成する骨に対して、被検体Pの前方に位置することが知られている。そこで、付加機能342は、2次元X線画像データI11において、血管を示す画素が背景画素よりも前方(即ち、+Z方向)に位置することを示すように、2次元X線画像データI11における各位置の深度情報を推定する。即ち、付加機能342は、2次元X線画像データI11における各位置について、画素値に基づいて血管を示す画素か背景画素かを判定し、判定の結果に応じて深度情報を推定する。
また、これまで、2次元X線画像データI11がLIHであるものとして説明したが、実施形態はこれに限定されるものではない。例えば、2次元X線画像データI11は、LIH以外の透視像であってもよいし、透視像以外の2次元X線画像データであってもよい。例えば、X線診断装置10は、撮影条件の設定段階において2次元X線画像データを1つだけ収集し、取得機能341は、収集された2次元X線画像データを、2次元X線画像データI11として取得してもよい。
次に、医用画像処理装置30による処理の手順の一例を、図9を用いて説明する。図9は、第1の実施形態に係る医用画像処理装置30の処理の一連の流れを説明するためのフローチャートである。ステップS101は、取得機能341に対応するステップである。ステップS107は、付加機能342に対応するステップである。ステップS109は、生成機能343に対応するステップである。ステップS103及びステップS110は、表示制御機能344に対応するステップである。ステップS102、ステップS104、ステップS105、ステップS106、ステップS108、ステップS111及びステップS112は、制御機能345に対応するステップである。
まず、処理回路34は、X線診断装置10から、2次元X線画像データI11を取得する(ステップS101)。次に、処理回路34は、操作者からの入力操作を受け付けることにより、撮影位置を変更するか否かを判定する(ステップS102)。即ち、処理回路34は、2次元X線画像データI11の撮影位置をそのまま撮影条件として用いるか否かを判定する。ここで、撮影位置を変更する場合(ステップS102肯定)、処理回路34は、2次元X線画像データI11、及び、撮影位置を示すROIをディスプレイ32に表示させる(ステップS103)。次に、処理回路34は、操作者から、2次元X線画像データI11上のROIを調整する操作を受け付ける(ステップS104)。
次に、処理回路34は、撮影位置の変更操作を終了するか否かを判定する(ステップS105)。ここで、撮影位置の変更操作を終了しない場合(ステップS105否定)、処理回路34は、再度ステップS103に移行する。一方で、撮影位置の変更操作を終了する場合(ステップS105肯定)、処理回路34は、調整後のROIに応じた撮影位置を撮影条件として設定する。なお、撮影位置を変更しない場合(ステップS102否定)、処理回路34は、2次元X線画像データI11の撮影位置をそのまま撮影条件として設定する。
次に、処理回路34は、操作者からの入力操作を受け付けることにより、撮影角度を変更するか否かを判定する(ステップS106)。即ち、処理回路34は、2次元X線画像データI11の撮影角度をそのまま撮影条件として用いるか否かを判定する。ここで、撮影角度を変更する場合(ステップS106肯定)、処理回路34は、2次元X線画像データI11における各位置について深度情報を付加した3次元データD11を生成し(ステップS107)、撮影角度の変更操作を受け付ける(ステップS108)。次に、処理回路34は、3次元データD11を投影することにより、変更後の撮影角度で収集される回転画像データを擬似的に示した擬似画像データを生成する(ステップS109)。次に、処理回路34は、生成した擬似画像データをディスプレイ32に表示させる(ステップS110)。
ここで、処理回路34は、撮影角度の変更操作を終了するか否かを判定する(ステップS111)。ここで、撮影角度の変更操作を終了しない場合(ステップS111否定)、処理回路34は、再度ステップS108に移行する。即ち、処理回路34は、操作者から撮影角度の変更操作を受け付けるごとに、入力された撮影角度に応じた擬似画像データを生成してディスプレイ32に表示させる。
一方で、撮影角度の変更操作を終了する場合(ステップS111肯定)、処理回路34は、変更後の撮影角度を撮影条件として設定する。なお、撮影角度を変更しない場合(ステップS106否定)、処理回路34は、2次元X線画像データI11の撮影角度をそのまま撮影条件として設定する。そして、処理回路34は、撮影条件として設定した撮影位置及び撮影角度をX線診断装置10に対して送信し(ステップS112)、処理を終了する。
なお、図9においては、撮影位置を設定した後に撮影角度を設定するものとして説明したが、実施形態はこれに限定されるものではない。例えば、処理回路34は、撮影角度を設定した後に撮影位置を設定してもよい。また、撮影位置の設定及び撮影角度の設定は、繰り返し行われてもよい。例えば、処理回路34は、2次元X線画像データI11及び撮影位置を示すROIに基づいて撮影位置の設定を行なった後、擬似画像データに基づいて撮影角度を設定し、更に、擬似画像データ及び撮影位置を示すROIに基づいて撮影位置の再設定を行なってもよい。また、3次元データD11の生成(ステップS107)と、撮影角度の変更操作の受け付け(ステップS108)とを行なう順序は任意であり、並行して行なってもよい。
上述したように、第1の実施形態によれば、取得機能341は、2次元X線画像データI11を取得する。また、付加機能342は、2次元X線画像データI11における各位置について深度情報を付加した3次元データD11を生成する。また、生成機能343は、3次元データD11を投影することにより、2次元X線画像データI11と異なる撮影角度で収集される回転画像データを擬似的に示した擬似画像データを生成する。従って、第1の実施形態に係る医用画像処理装置30は、被ばく量を低減しつつ、撮影条件の設定を容易にすることができる。即ち、医用画像処理装置30は、透視像の追加収集を行なわずとも、擬似画像データによって変更後の撮影角度を直感的に理解することを可能とし、撮影角度の設定を容易にすることができる。
また、上述したように、生成機能343は、3次元データD11を投影することにより、擬似画像データを生成する。このため、生成機能343は、擬似画像データにおいて、画像の歪みを抑制することができる。例えば、深度情報に応じて2次元X線画像データI11を変形させる場合、2次元X線画像データI11上の部位が変形してしまったり、部位の変形に引きずられて背景が歪んでしまったりする。これに対して、擬似画像データは投影によって生成されるものであるため、このような画像の歪みは生じない。即ち、生成機能343は、3次元データD11を投影することにより、擬似画像データにおいて画像の歪みを抑制することができる。
(第2の実施形態)
上述した第1の実施形態では、被検体Pについて収集された3次元画像データ又は画素値に基づいて、2次元X線画像データにおける各位置の深度情報を推定する場合について説明した。これに対し、第2の実施形態では、深度情報を推定するように機能付けられた学習済みモデルを用いて、2次元X線画像データにおける各位置の深度情報を推定する場合について説明する。
第2の実施形態に係る医用情報処理システム1は、図1~図2に示した第1の実施形態に係る医用情報処理システム1と比較して、医用画像処理装置30がモデル記憶回路35を更に有するとともに、処理回路34がモデル生成機能346を更に有する点で相違する。例えば、第2の実施形態に係る医用画像処理装置30は、図10に示すように、入力インターフェース31と、ディスプレイ32と、記憶回路33と、処理回路34と、モデル記憶回路35とを有する。また、第2の実施形態に係る処理回路34は、取得機能341、付加機能342、生成機能343、表示制御機能344及び制御機能345に加えて、モデル生成機能346を更に実行する。なお、図10は、第2の実施形態に係る医用画像処理装置30の構成の一例を示すブロック図である。以下、第1の実施形態において説明した構成と同様の構成を有する点については図1~図2と同一の符号を付し、説明を省略する。
まず、モデル生成機能346は、深度情報を推定するように機能付けられた学習済みモデルを生成して、モデル記憶回路35に記憶させる。例えば、モデル生成機能346は、図11に示すように、第1画像データと第2画像データとを用いて学習済みモデルM1を生成し、モデル記憶回路35に記憶させる。なお、図11は、第2の実施形態に係る学習済みモデルM1の生成処理について説明するための図である。
図11に示す第1画像データは、2次元で収集されたX線画像データである。第1画像データは、被検体Pから収集されたX線画像データであってもよいし、他の被検体から収集されたX線画像データであってもよい。また、第1画像データは、X線診断装置10によって収集されたX線画像データであってもよいし、他の装置によって収集されたX線画像データであってもよい。一例を挙げると、第1画像データは、図3に示した2次元X線画像データI11である。また、図11に示す第2画像データは、第1画像データにおける各位置について深度情報を付加したデータである。例えば、取得機能341は、まず、X線診断装置10によって収集された2次元X線画像データを第1画像データとして取得する。次に、付加機能342は、第1画像データにおける各位置について深度情報を付加することにより、第2画像データを生成する。
一例を挙げると、付加機能342は、操作者から、第1画像データの各位置に深度情報を付加する操作を受け付けることにより、第2画像データを生成する。例えば、まず、表示制御機能344は、第1画像データをディスプレイ32に表示させる。次に、付加機能342は、操作者から、第1画像データの各位置に深度情報を付加する操作を受け付ける。なお、付加機能342は、第1画像データの全画素について深度情報を付加する操作を受け付けてもよいし、一部の画素についてのみ深度情報を付加する操作を受け付けてもよい。一部の画素についてのみ深度情報が付加された場合、付加機能342は、例えば、深度情報が付加されなかった画素を背景画素とし、背景画素についてはプリセットされた深度情報を付加する。
別の例を挙げると、付加機能342は、付加機能342は、第1画像データと同じ被検体について収集された3次元画像データに基づいて、第1画像データにおける各位置について深度情報を推定し、推定した深度情報を第1画像データの各位置に付加することで第2画像データを生成する。例えば、取得機能341は、第1画像データを取得した後、ネットワークNWを介して、画像保管装置20から第1画像データと同じ被検体について収集された3次元画像データ(CT画像データ、MR画像データ、3次元X線画像データ等)を取得する。次に、付加機能342は、第1画像データと3次元画像データとを位置合わせすることで、第1画像データにおける各位置について深度情報を推定する。そして、付加機能342は、推定した深度情報を第1画像データの各位置に付加することで、第2画像データを生成する。
次に、モデル生成機能346は、第1画像データと第2画像データとを用いて、深度情報を推定する学習済みモデルM1を生成する。例えば、モデル生成機能346は、図11に示すように、第1画像データを入力側データとし、第2画像データを出力側データとする機械学習により、学習済みモデルM1を生成する。即ち、モデル生成機能346は、第2画像データの各位置に付加されている深度情報を正解出力とする教師付き学習により、深度情報を推定する学習済みモデルM1を生成する。
図11に示す学習済みモデルM1は、例えば、ニューラルネットワーク(Neural Network)により構成することができる。ニューラルネットワークとは、層状に並べた隣接層間が結合した構造を有し、情報が入力層側から出力層側に伝播するネットワークである。例えば、モデル生成機能346によって入力側データ(第1画像データ)が入力された場合、ニューラルネットワークにおいては、入力層側から出力層側に向かって一方向に、隣接層間でのみ結合しながら情報が伝播する。このようなニューラルネットワークは、パラメータに応じて変化する関数として表現することができる。
例えば、モデル生成機能346は、第1画像データ及び第2画像データを学習データとし、多層のニューラルネットワークについて深層学習(ディープラーニング)を実行することで、学習済みモデルM1を生成する。なお、多層のニューラルネットワークは、例えば、入力層と、複数の中間層と、出力層とにより構成される。
例えば、モデル生成機能346は、第1画像データを入力した際にニューラルネットワークが好ましい結果を出力することができるように、ニューラルネットワークのパラメータを調整する。例えば、モデル生成機能346は、第1画像データを入力した際のニューラルネットワークからの出力と、出力側データ(第2画像データ)との近さを表す関数(誤差関数)を用いて、ニューラルネットワークのパラメータを調整する。一例を挙げると、モデル生成機能346は、パラメータを変化させながら誤差関数を繰り返し算出して、誤差関数が極小となるようにパラメータを調整する。即ち、モデル生成機能346は、誤差関数が極小となるように、ニューラルネットワークを学習させる。これにより、モデル生成機能346は、深度情報を推定する学習済みモデルM1を生成することができる。
なお、図11においては、第1画像データを入力側データとし、第2画像データを出力側データとする場合について説明したが、実施形態はこれに限定されるものではない。例えば、モデル生成機能346は、入力側データとして、第1画像データに基づくデータを用いてもよい。一例を挙げると、モデル生成機能346は、第1画像データに対する前処理(例えば、入力側データの画素数を揃えるためのリサイズ処理、空間フィルタやコンボリューションフィルタを用いた画像処理等)を実行し、前処理後の画像データを入力側データとして、学習済みモデルM1の生成処理を実行する。また、例えば、モデル生成機能346は、出力側データとして、第2画像データに基づくデータを用いてもよい。一例を挙げると、モデル生成機能346は、第2画像データから深度情報を抽出し、抽出した深度情報を出力側データとして、学習済みモデルM1の生成処理を実行する。
また、学習済みモデルM1がニューラルネットワークにより構成されるものとして説明したが、実施形態はこれに限定されるものではない。即ち、モデル生成機能346は、ニューラルネットワーク以外の機械学習手法により、学習済みモデルM1を生成してもよい。例えば、モデル生成機能346は、SVM(サポートベクターマシン)等のデータの分類を行う機械学習手法によって、深度情報を推定する学習済みモデルM1を生成してもよい。一例を挙げると、モデル生成機能346は、第1画像データを入力側データとし、分類先のクラスを深度情報の数値範囲とする。そして、モデル生成機能346は、第2画像データが示す深度情報が分類先のクラスに含まれるよう学習させることで、学習済みモデルM1を生成する。
モデル生成機能346が学習済みモデルM1をモデル記憶回路35に記憶させた後、取得機能341は、X線診断装置10から被検体Pの2次元X線画像データを取得する。以下、取得機能341が取得した2次元X線画像データの例として、2次元X線画像データI21について説明する。2次元X線画像データI21は、例えば、LIHである。
次に、表示制御機能344は、2次元X線画像データI21をディスプレイ32に表示させる。ここで、2次元X線画像データI21を参照した操作者は、入力インターフェース31を介して、撮影角度の変更操作を入力することができる。なお、以下では、2次元X線画像データI21の撮影角度を、撮影角度W21と記載する。また、以下では、操作者による変更後の撮影角度を、撮影角度W22と記載する。例えば、変更後の撮影角度W22は、撮影角度W21から角度「θ2」だけ変更された角度である。また、以下では、撮影角度W22で収集されるX線画像データを、回転画像データI22と記載する。
また、付加機能342は、2次元X線画像データI21における各位置について深度情報を付加した3次元データD21を生成する。例えば、付加機能342は、図12に示すように、2次元X線画像データI21を学習済みモデルM1に入力することで2次元X線画像データI21における各位置について深度情報を推定させ、推定させた深度情報を2次元X線画像データI21の各位置に付加することで、3次元データD21を生成する。なお、図12は、第2の実施形態に係る学習済みモデルM1を用いた処理について説明するための図である。3次元データD21の生成は、操作者による撮影角度の変更操作がある前に行なってもよいし、撮影角度の変更操作があった後に行なってもよい。
次に、生成機能343は、3次元データD21を投影することにより、回転画像データI22を擬似的に示した擬似画像データI23を生成する。また、表示制御機能344は、生成された擬似画像データI23をディスプレイ32に表示させる。ここで、擬似画像データI23は、2次元X線画像データI21における各位置の深度情報を考慮して生成されたものであり、回転画像データI22を十分に近似した画像となる。従って、擬似画像データI23を参照した操作者は、変更後の撮影角度W22を直感的に理解し、変更後の撮影角度W22が適切であるか否かを容易に判断することができる。例えば、変更後の撮影角度W22が適切でないと判断した場合、操作者は、再度、撮影角度の変更操作を行なう。
一方で、変更後の撮影角度W22が適切であると判断した場合、操作者は、撮影角度W22を撮影条件とする旨の入力操作を行なう。この場合、制御機能345は、撮影角度W22を撮影条件として設定し、設定した撮影条件をX線診断装置10に対して送信する。また、X線診断装置10は、医用画像処理装置30から受け付けた撮影条件に基づいて、2次元X線画像データの収集を実行する。即ち、X線診断装置10は、回転画像データI22の収集を実行する。
ここで、モデル生成機能346は、X線診断装置10により収集された回転画像データI22に基づいて、再度、学習済みモデルM1を生成することができる。即ち、モデル生成機能346は、収集された回転画像データI22に基づいて、学習済みモデルM1を更新することができる。
例えば、X線診断装置10により回転画像データI22が収集された後、付加機能342は、図12に示すように、回転画像データI22に基づいて3次元データD21を補正する。一例を挙げると、付加機能342は、回転画像データI22を逆投影して生成した3次元データと3次元データD21との不整合を解消するように、3次元データD21を補正する。別の例を挙げると、付加機能342は、3次元データD21を投影して生成した2次元データ(擬似画像データI23等)と回転画像データI22との不整合を解消するように、3次元データD21を補正する。以下では、回転画像データI22に基づいて補正された3次元データD21を、3次元データD21’とも記載する。
なお、3次元データD21の補正とは、例えば、深度情報の補正である。即ち、付加機能342は、回転画像データI22に基づいて、2次元X線画像データI21における各位置について付加された深度情報を補正することで、補正後の3次元データD21’を生成する。別の例を挙げると、3次元データD21の補正とは、画像変形処理である。即ち、3次元データD21が3次元画像データである場合において、付加機能342は、回転画像データI22に基づいて3次元データD21を変形させることで、補正後の3次元データD21’を生成する。
次に、モデル生成機能346は、図13に示すように、2次元X線画像データI21と、補正後の3次元データD21’とを用いて、学習済みモデルM1を生成する。なお、図13は、第2の実施形態に係る学習済みモデルM1の生成処理について説明するための図である。即ち、モデル生成機能346は、2次元X線画像データI21を第1画像データとし、補正後の3次元データD21’を第2画像データとして用いて、学習済みモデルM1を生成する。これにより、モデル生成機能346は、学習済みモデルM1による深度情報推定の精度を向上させることができる。
次に、医用画像処理装置30による処理の手順の一例を、図14を用いて説明する。図14は、第2の実施形態に係る医用画像処理装置30の処理の一連の流れを説明するためのフローチャートである。ステップS201及びステップS214は、取得機能341に対応するステップである。ステップS207、ステップS208及びステップS215は、付加機能342に対応するステップである。ステップS210は、生成機能343に対応するステップである。ステップS203及びステップS211は、表示制御機能344に対応するステップである。ステップS202、ステップS204、ステップS205、ステップS206、ステップS209、ステップS212及びステップS213は、制御機能345に対応するステップである。ステップS216は、モデル生成機能346に対応するステップである。
まず、処理回路34は、X線診断装置10から、2次元X線画像データI21を取得する(ステップS201)。次に、処理回路34は、操作者からの入力操作を受け付けることにより、撮影位置を変更するか否かを判定する(ステップS202)。即ち、処理回路34は、2次元X線画像データI21の撮影位置をそのまま撮影条件として用いるか否かを判定する。ここで、撮影位置を変更する場合(ステップS202肯定)、処理回路34は、2次元X線画像データI21、及び、撮影位置を示すROIをディスプレイ32に表示させる(ステップS203)。次に、処理回路34は、操作者から、2次元X線画像データI21上のROIを調整する操作を受け付ける(ステップS204)。
次に、処理回路34は、撮影位置の変更操作を終了するか否かを判定する(ステップS205)。ここで、撮影位置の変更操作を終了しない場合(ステップS205否定)、処理回路34は、再度ステップS203に移行する。一方で、撮影位置の変更操作を終了する場合(ステップS205肯定)、処理回路34は、調整後のROIに応じた撮影位置を撮影条件として設定する。なお、撮影位置を変更しない場合(ステップS202否定)、処理回路34は、2次元X線画像データI21の撮影位置をそのまま撮影条件として設定する。
次に、処理回路34は、操作者からの入力操作を受け付けることにより、撮影角度を変更するか否かを判定する(ステップS206)。即ち、処理回路34は、2次元X線画像データI21の撮影角度をそのまま撮影条件として用いるか否かを判定する。ここで、撮影角度を変更する場合(ステップS206肯定)、処理回路34は、2次元X線画像データI21を学習済みモデルM1に入力し(ステップS207)、3次元データD21を生成する(ステップS208)。
次に、処理回路34は、撮影角度の変更操作を受け付ける(ステップS209)。次に、処理回路34は、3次元データD21を投影することにより、変更後の撮影角度で収集される回転画像データI22を擬似的に示した擬似画像データを生成する(ステップS210)。次に、処理回路34は、生成した擬似画像データをディスプレイ32に表示させる(ステップS211)。
ここで、処理回路34は、撮影角度の変更操作を終了するか否かを判定する(ステップS212)。ここで、撮影角度の変更操作を終了しない場合(ステップS212否定)、処理回路34は、再度ステップS209に移行する。一方で、撮影角度の変更操作を終了する場合(ステップS212肯定)、処理回路34は、変更後の撮影角度を撮影条件として設定する。なお、撮影角度を変更しない場合(ステップS206否定)、処理回路34は、2次元X線画像データI21の撮影角度をそのまま撮影条件として設定する。次に、処理回路34は、撮影条件として設定した撮影位置及び撮影角度をX線診断装置10に対して送信する(ステップS213)。
次に、処理回路34は、回転画像データI22を取得したか否かを判定する(ステップS214)。即ち、処理回路34は、ステップS213において送信した撮影条件に基づく撮影が実行されたか否かを判定する。ここで、回転画像データI22を取得した場合(ステップS214肯定)、処理回路34は、回転画像データI22に基づいて3次元データD21を補正する(ステップS215)。次に、処理回路34は、補正後の3次元データD21’に基づいて学習済みモデルM1を更新し(ステップS216)、処理を終了する。例えば、処理回路34は、2次元X線画像データI21を第1画像データとし、補正後の3次元データD21’を第2画像データとして用いて、学習済みモデルM1を更新する。また、ステップS213において送信した撮影条件と異なる撮影条件で撮影が実行された場合や、撮影が実行されなかった場合、処理回路34は、回転画像データI22を取得しなかったと判定して(ステップS214否定)、処理を終了する。
上述したように、第2の実施形態によれば、モデル記憶回路35は、深度情報を推定するように機能付けられた学習済みモデルM1を記憶する。また、付加機能342は、2次元X線画像データI21を学習済みモデルM1に入力することで、2次元X線画像データI21における各位置について深度情報を推定させ、推定させた深度情報を2次元X線画像データの各位置に付加することで、3次元データD21を生成する。また、生成機能343は、学習済みモデルM1に基づく3次元データD21を投影することにより、回転画像データI22を擬似的に示した擬似画像データを生成する。従って、第2の実施形態に係る医用画像処理装置30は、被ばく量を低減しつつ、撮影条件の設定を容易にすることができる。即ち、医用画像処理装置30は、透視像の追加収集を行なわずとも、擬似画像データによって変更後の撮影角度を直感的に理解することを可能とし、撮影角度の設定を容易にすることができる。
また、付加機能342は、X線診断装置10によって収集された回転画像データI22に基づいて、3次元データD21を補正する。また、モデル生成機能346は、2次元X線画像データI21を第1画像データとし、補正後の3次元データD21’を第2画像データとして用いて、学習済みモデルM1を生成する。従って、第2の実施形態に係る医用画像処理装置30は、3次元データD21の生成及び回転画像データI22の収集が行われる毎に、学習済みモデルM1の学習データを収集することができる。そして、医用画像処理装置30は、新たに収集した学習データに基づいて学習済みモデルM1を更新し、深度情報推定の精度を向上させることができる。即ち、医用画像処理装置30は、撮影条件の設定及び撮影が実行されるごとに学習済みモデルM1を更新し、深度情報推定の精度を次第に向上させることができる。
(第3の実施形態)
上述した第1~第2の実施形態では、擬似画像データによって撮影角度の設定を容易にすることについて説明した。これに対し、第3の実施形態では、撮影角度の設定に加えて、或いは撮影角度の設定に代えて、撮影位置の設定を容易にすることについて説明する。
第2の実施形態に係る医用情報処理システム1は、図1、図2及び図10に示した第1の実施形態に係る医用情報処理システム1と比較して、医用画像処理装置30がマップ記憶回路36を更に有するとともに、処理回路34がマップ生成機能347を更に有する点で相違する。例えば、第2の実施形態に係る医用画像処理装置30は、図15に示すように、入力インターフェース31と、ディスプレイ32と、記憶回路33と、処理回路34と、モデル記憶回路35と、マップ記憶回路36とを有する。また、第2の実施形態に係る処理回路34は、取得機能341、付加機能342、生成機能343、表示制御機能344、制御機能345及びモデル生成機能346に加えて、マップ生成機能347を更に実行する。なお、図15は、第3の実施形態に係る医用画像処理装置30の構成の一例を示すブロック図である。以下、第1~第2の実施形態において説明した構成と同様の構成を有する点については図1、図2及び図10と同一の符号を付し、説明を省略する。
まず、マップ生成機能347は、被検体Pについて収集されたX線画像データを3次元空間上に登録した被検体マップを生成して、マップ記憶回路36に記憶させる。以下、図16を用いて、被検体マップについて説明する。図16は、第3の実施形態に係る被検体マップの一例を示す図である。
図16に示す被検体モデルP’は、被検体Pを示す3次元のモデルデータである。例えば、マップ生成機能347は、事前に生成された複数のモデルデータの中から、被検体Pの体型に応じたモデルデータを被検体モデルP’として取得する。なお、複数のモデルデータは、例えば、体格に関わるパラメータ(年齢や性別、体重、身長など)の組み合わせごとに、標準的な体格を有する人体について実際に3次元画像データを収集することにより生成される。複数のモデルデータは、記憶回路33が記憶してもよいし、ネットワークNWを介して医用画像処理装置30と接続された他の装置が記憶してもよい。
マップ生成機能347は、X線画像データを被検体モデルP’上に登録することによって被検体マップを生成する。即ち、マップ生成機能347は、X線画像データを3次元空間上に登録することによって被検体マップを生成する。具体的には、マップ生成機能347は、X線画像データを撮影位置及び撮影角度に応じて被検体モデルP’上に登録することで、被検体マップを生成する。なお、図16に示すX線画像データI34a、X線画像データI34b、X線画像データI34c、X線画像データI34d、X線画像データI34e、X線画像データI34f、X線画像データI34g、X線画像データI34h、X線画像データI34i、X線画像データI34j、X線画像データI34k、X線画像データI34l、X線画像データI34m及びX線画像データI34nは、いずれも、被検体Pから収集されたX線画像データである。即ち、マップ生成機能347は、同じ被検体Pについて収集されたX線画像データを撮影位置及び撮影角度に応じて被検体モデルP’上に登録することで、被検体マップを生成する。
例えば、X線画像データI34a、X線画像データI34b、X線画像データI34c、X線画像データI34d、X線画像データI34g、X線画像データI34k及びX線画像データI34mは、撮影角度が「+Z方向」の2次元X線画像データである。また、X線画像データI34e及びX線画像データI34fは、撮影角度が「-X方向」の2次元X線画像データである。また、X線画像データI34h、X線画像データI34i、X線画像データI34j及びX線画像データI34lは、撮影角度が「+X方向」の2次元X線画像データである。マップ生成機能347は、これら複数の2次元X線画像データを、各2次元X線画像データの撮影位置及び撮影角度に応じて被検体モデルP’上に登録する。
また、X線画像データI34nは、被検体Pの頭部について収集された3次元X線画像データである。マップ生成機能347は、3次元X線画像データであるX線画像データI34nを、撮影位置及び撮影角度に応じて被検体モデルP’上に登録する。例えば、マップ生成機能347は、被検体モデルP’とX線画像データI34nとを3次元で位置合わせした状態において、X線画像データI34nを被検体モデルP’上に登録する。
また、マップ生成機能347は、図示しないX線画像データが新たに収集された場合、新たに収集されたX線画像データを撮影位置及び撮影角度に応じて被検体モデルP’上に登録することで、被検体マップを更新する。例えば、マップ生成機能347は、2次元X線画像データI11や2次元X線画像データI21等のX線画像データを、各X線画像データの撮影位置及び撮影角度に応じて被検体モデルP’上に登録することで、被検体マップを更新する。
なお、マップ生成機能347は、3次元X線画像データの生成に必要な2次元X線画像データが得られた場合、3次元X線画像データを生成してもよい。具体的には、マップ生成機能347は、撮影位置が同じであり且つ撮影角度が異なる複数の2次元X線画像データに基づいて、3次元X線画像データを生成してもよい。例えば、図16に示すX線画像データI34d、X線画像データI34e、X線画像データI34f、X線画像データI34g、X線画像データI34h、X線画像データI34i及びX線画像データI34jは、いずれも被検体Pの大腿の2次元X線画像データであり、且つ、撮影角度が異なっている。従って、マップ生成機能347は、これら複数の2次元X線画像データに基づいて、被検体Pの大腿の3次元X線画像データを生成することができる。例えば、マップ生成機能347は、撮影角度が異なる少なくとも2つの2次元X線画像データに現れた部位(骨や臓器、血管等)の3次元空間における位置をエピポーララインに基づいて特定することにより、3次元X線画像データを生成する。そして、マップ生成機能347は、生成した3次元X線画像データを被検体モデルP’上に登録することで、被検体マップを更新する。なお、マップ生成機能347は、生成した3次元X線画像データを追加的に被検体モデルP’上に登録してもよいし、複数の2次元X線画像データに代えて被検体モデルP’上に登録してもよい。
また、マップ生成機能347は、撮影位置が同じ複数の2次元X線画像データが得られた場合、差分画像データを生成してもよい。例えば、図16に示すX線画像データI34aとX線画像データI34bとは、いずれも被検体Pの胸部の2次元X線画像データであって重複しており、且つ、撮影角度も同じである。従って、マップ生成機能347は、これら複数の2次元X線画像データの重複部分について、差分画像データを生成することができる。例えば、X線画像データI34aに医療デバイスが現れており、且つ、X線画像データI34bに医療デバイスが現れていない場合、マップ生成機能347は、これら複数の2次元X線画像データを差分することにより、医療デバイスを除去した差分画像データを生成することができる。なお、医療デバイスとは、例えば、カテーテルやガイドワイヤ等の体内で操作されるデバイスであってもよいし、ステントやペースメーカー等の体内に留置されるデバイスであってもよい。そして、マップ生成機能347は、生成した差分画像データを被検体モデルP’上に登録することで、被検体マップを更新する。なお、マップ生成機能347は、生成した差分画像データを追加的に被検体モデルP’上に登録してもよいし、複数の2次元X線画像データに代えて被検体モデルP’上に登録してもよい。
また、マップ生成機能347は、複数のX線画像データが重なる部分が滑らかに繋がるように、被検体マップを更新してもよい。例えば、X線画像データI34bが被検体モデルP’上に既に登録されており、X線画像データI34cを新たに登録する場合において、マップ生成機能347は、X線画像データI34bとX線画像データI34cとが滑らかに繋がるように、被検体マップを更新する。例えば、マップ生成機能347は、平均の画素値やコントラストがX線画像データI34bと一致するように、X線画像データI34cに対して画像処理を行なう。また、例えば、マップ生成機能347は、X線画像データI34cを登録した後、X線画像データI34bとX線画像データI34cとが重なる部分に生じる境界線(即ち、X線画像データI34b又はX線画像データI34cの輪郭線)を暈すように画素処理を施す。一例を挙げると、マップ生成機能347は、X線画像データI34bとX線画像データI34cとが重なる部分について、ガウシアンフィルタを用いた画像処理を実行する。
以上、第3の実施形態に係る被検体マップについて説明した。第3の実施形態に係る医用画像処理装置30は、かかる被検体マップを用いて、被ばく量を低減しつつ、撮影条件の設定をより容易にする。
まず、被検体マップを用いた撮影位置の設定について、図17を用いて説明する。図17は、第3の実施形態に係る撮影条件の設定の一例を示す図である。まず、取得機能341は、X線診断装置10から、被検体Pの2次元X線画像データを取得する。以下、被検体Pの2次元X線画像データの例として、図17に示す2次元X線画像データI31について説明する。2次元X線画像データI31は、例えば、LIHである。
次に、表示制御機能344は、2次元X線画像データI31をディスプレイ32に表示させる。ここで、制御機能345は、操作者からの入力操作に基づいて、撮影位置を変更するか否かを判定する。即ち、制御機能345は、2次元X線画像データI31の撮影位置をそのまま撮影条件として用いるか否かを判定する。ここで、撮影位置を変更する場合、表示制御機能344は、図16に示すように、被検体マップに基づいて2次元X線画像データI31を拡張した拡張画像データI31’をディスプレイ32に表示させる。
例えば、2次元X線画像データI31の撮影角度が「+Z方向」であり且つ撮影位置が被検体Pの大腿である場合、表示制御機能344は、図16に示したX線画像データI34d及びX線画像データI34gに基づいて、2次元X線画像データI31を拡張することができる。一例を挙げると、表示制御機能344は、X線画像データI34d及びX線画像データI34gから、2次元X線画像データI31の周辺領域に対応する領域を切り出し、切り出した領域を2次元X線画像データI31の周辺領域に配置することで、2次元X線画像データI31を拡張する。別の例を挙げると、表示制御機能344は、2次元X線画像データI31に対してX線画像データI34d及びX線画像データI34gを合成することで、2次元X線画像データI31を拡張する。そして、表示制御機能344は、拡張画像データI31’をディスプレイ32に表示させる。また、表示制御機能344は、拡張画像データI31’上に、撮影位置を示すROIを表示させる。
次に、操作者は、検査対象部位を観察しやすいように拡張画像データI31’上のROIを調整することで、撮影位置の設定を行なう。ここで、拡張画像データI31’は2次元X線画像データI31より広い範囲を示すものである。例えば、図17に示すように、拡張画像データI31’上には、部位A1及び部位A2に加えて、2次元X線画像データI31上には現れていなかった部位A3が現れている。従って、拡張画像データI31’上で撮影位置の設定を行なう場合、操作者は、2次元X線画像データI31上で撮影位置の設定を行なう場合と比較して、より高い自由度で撮影位置の設定を行なうことができる。例えば、部位A3が検査対象部位である場合、操作者は、ROIに部位A3が含まれるように拡張画像データI31’上でROIを移動させることで、部位A3を観察しやすいように撮影位置の設定を行なうことができる。そして、制御機能345は、操作者による調整後のROIが示す撮影位置を撮影条件として設定し、設定した撮影条件をX線診断装置10に対して送信する。
図17に示したように、第3の実施形態に係る医用画像処理装置30は、被検体マップに基づいて2次元X線画像データI31を拡張することにより、2次元X線画像データI31に含まれない位置を含む拡張画像データI31’を生成する。そして、操作者は、拡張画像データI31’上のROIを調整することで、直感的に撮影位置の設定を行なうことができる。また、操作者が拡張画像データI31’上のROIを調整している間はX線透視の必要がないため、X線透視のみによって撮影位置を設定する場合と比較して、被ばく量を低減することができる。
次に、被検体マップを用いた撮影角度の設定について説明する。例えば、制御機能345は、2次元X線画像データI31又は拡張画像データI31’を参照した操作者からの入力操作に基づいて、撮影角度を変更するか否かを判定する。即ち、制御機能345は、2次元X線画像データI31の撮影角度をそのまま撮影条件として用いるか否かを判定する。ここで、撮影角度を変更する場合、付加機能342は、2次元X線画像データI31における各位置について深度情報を付加した3次元データD31を生成する。
例えば、付加機能342は、2次元X線画像データI31と同じ被検体Pについて収集された3次元画像データに基づいて、2次元X線画像データI31における各位置について深度情報を推定し、推定した深度情報を2次元X線画像データI31の各位置に付加することで3次元データD31を生成する。別の例を挙げると、付加機能342は、2次元X線画像データI31における各位置について、画素値に基づいて深度情報を推定し、推定した深度情報を2次元X線画像データI31の各位置に付加することで3次元データD31を生成する。別の例を挙げると、付加機能342は、モデル記憶回路35から学習済みモデルM1を読み出し、2次元X線画像データI31を学習済みモデルM1に入力することで2次元X線画像データI31における各位置について深度情報を推定させ、推定させた深度情報を2次元X線画像データI31の各位置に付加することで3次元データD31を生成する。
或いは、付加機能342は、マップ記憶回路36から被検体マップを読み出し、被検体マップに基づいて2次元X線画像データI31における各位置について深度情報を推定し、推定した深度情報を2次元X線画像データI31の各位置に付加することで3次元データD31を生成する。例えば、付加機能342は、2次元X線画像データI31と、被検体マップに登録された3次元X線画像データとを位置合わせすることで、2次元X線画像データI31における各位置について深度情報を推定する。一例を挙げると、2次元X線画像データI31の撮影位置が被検体Pの頭部である場合、付加機能342は、2次元X線画像データI31と、図16に示したX線画像データI34nとを位置合わせすることで、2次元X線画像データI31における各位置について深度情報を推定する。
別の例を挙げると、付加機能342は、2次元X線画像データI31と、被検体マップに登録された2次元X線画像データとを比較することで、2次元X線画像データI31における各位置について深度情報を推定する。例えば、付加機能342は、まず、被検体マップに登録された2次元X線画像データのうち、2次元X線画像データI31と撮影位置が同じであり且つ撮影角度が異なる2次元X線画像データを特定する。そして、付加機能342は、特定した2次元X線画像データと、2次元X線画像データI31とのそれぞれに現れた部位の3次元空間における位置をエピポーララインに基づいて特定することにより、2次元X線画像データI31における各位置について深度情報を推定する。
また、制御機能345は、操作者から撮影角度の変更操作を受け付ける。なお、3次元データD31の生成は、操作者による撮影角度の変更操作がある前に行なってもよいし、撮影角度の変更操作があった後に行なってもよい。以下では、2次元X線画像データI31の撮影角度を、撮影角度W31と記載する。また、以下では、操作者による変更後の撮影角度を、撮影角度W32と記載する。例えば、変更後の撮影角度W32は、撮影角度W31から角度「θ3」だけ変更された角度である。また、以下では、撮影角度W32で収集されるX線画像データを、回転画像データI32と記載する。
次に、付加機能342は、被検体マップに基づいて3次元データD31を拡張し、生成機能343は、拡張後の3次元データD31を投影することにより、回転画像データI32を擬似的に示した擬似画像データI33aを生成する。以下、擬似画像データI33aの生成処理について、図18を用いて説明する。図18は、第3の実施形態に係る擬似画像データI33aの生成処理の一例を示す図である。なお、図18においては、アイソセンターに対応する点が3次元データD31の外部領域に位置しているものとして説明する。即ち、図18においては軸y’が3次元データD31を通らないものとして説明する。
図18に示すように、付加機能342は、被検体マップに基づいて3次元データD11を拡張することで、拡張3次元データD31’を生成する。例えば、付加機能342は、まず、被検体マップに基づいて2次元X線画像データI31を拡張する。そして、付加機能342は、2次元X線画像データI31における各位置に加え、拡張した領域の各位置について深度情報を付加することで、3次元データD11を拡張する。即ち、付加機能342は、被検体マップに基づいて、2次元X線画像データI31を拡張した拡張画像データI31’を生成し、拡張画像データI31’における各位置について深度情報を付加することで、拡張3次元データD31’を生成する。
次に、付加機能342は、図18に示すように、拡張3次元データD31’を角度「θ3」だけ回転させる。例えば、生成機能343は、基準座標系における拡張3次元データD31’の位置に基づき、拡張3次元データD31’において、実空間におけるアイソセンターに対応する点を特定する。次に、生成機能343は、アイソセンターを通る軸y’を回転軸として、拡張3次元データD31’を角度「θ3」だけ回転させる。即ち、生成機能343は、アイソセンターに対応する点まわりに、拡張3次元データD31’を角度「θ3」だけ回転させる。なお、図18においては、アイソセンターに対応する点が拡張3次元データD31’の外部領域に位置しているため、アイソセンターに対応する点まわりに拡張3次元データD31’を回転させる際、拡張3次元データD31’は、アイソセンターに対応する点を中心とする円軌道に沿って移動する。
次に、生成機能343は、回転後の拡張3次元データD31’をXY平面上に投影することで、擬似画像データI33aを生成する。また、表示制御機能344は、生成機能343が生成した擬似画像データI33aをディスプレイ32に表示させる。これにより、操作者は、変更後の撮影角度W32を直感的に理解し、変更後の撮影角度W32が適切であるか否かを容易に判断することができる。例えば、変更後の撮影角度W32が適切でないと判断した場合、操作者は、再度、撮影角度の変更操作を行なう。一方で、変更後の撮影角度W32が適切であると判断した場合、操作者は、撮影角度W32を撮影条件とする旨の入力操作を行なう。この場合、制御機能345は、撮影角度W32を撮影条件として設定し、設定した撮影条件をX線診断装置10に対して送信する。
なお、図18に示したように、アイソセンターに対応する点まわりに拡張3次元データD31’を回転させる際、拡張3次元データD31’は、アイソセンターに対応する点を中心とする円軌道に沿って+X方向に移動する。このため、擬似画像データI33aにおいては、2次元X線画像データI31と比較して部位A1や部位A2等の各部位が全体的に+X方向に移動している。しかしながら、擬似画像データI33aは、被検体マップに基づいて拡張された拡張3次元データD31’に基づいて生成されたものであるため、このような+X方向への移動を補完することができる。
例えば、被検体マップに基づく拡張を行なっていない状態の3次元データD31を投影することによって擬似画像データI33bを生成した場合、擬似画像データI33bが示す範囲は、擬似画像データI33aよりも狭いものとなる。例えば、擬似画像データI33bが示す範囲は、図18に示す領域RIに対応する範囲のみとなる。そして、擬似画像データI33bにおいては、図18に示すように、部位A2の一部が画像の範囲外に出てしまう場合がある。即ち、擬似画像データI33bにおいては、2次元X線画像データI31と比較して部位A2が+X方向に移動したことにより、部位A2の一部を表わすことができなくなる場合がある。これに対し、擬似画像データI33aは、部位A2の+X方向への移動を許容して、部位A2の全体を表わすことができる。
なお、撮影位置を変更しない場合、撮影角度W32で収集される回転画像データI32が示す範囲は、図18に示す領域RIに対応する範囲となる。表示制御機能344は、擬似画像データI33a上に領域RIを表示することで、収集される回転画像データI32において部位A2の一部が画像の範囲外に出てしまうことを操作者に示すことができる。ここで、制御機能345は、擬似画像データI33a及び領域RIを参照した操作者から、撮影位置の変更操作を受け付けてもよい。例えば、表示制御機能344は、擬似画像データI33a上の領域RIを、撮影位置を示すROIとして表示させる。次に、操作者は、検査対象部位を観察しやすいように擬似画像データI33a上のROIを調整する。例えば、操作者は、部位A1及び部位A2の全体を含むように擬似画像データI33a上のROIを調整する。そして、制御機能345は、調整後のROIが示す撮影位置を撮影条件として設定し、設定した撮影条件をX線診断装置10に対して送信する。
上述したように、第3の実施形態によれば、マップ記憶回路36は、同じ被検体について収集されたX線画像データを撮影位置及び撮影角度に応じて3次元空間上に登録した被検体マップを記憶する。また、マップ生成部は、新たに収集されたX線画像データを撮影位置及び撮影角度に応じて3次元空間上に登録することで、マップ記憶回路36が記憶する被検体マップを更新する。従って、第3の実施形態に係る医用画像処理装置30は、被ばく量を低減しつつ、撮影位置の設定を容易にすることができる。例えば、医用画像処理装置30は、2次元X線画像データI31を表示する際、被検体マップに基づいて2次元X線画像データI31に含まれない位置をも表示することができる。即ち、医用画像処理装置30は、過去に撮影された位置については新たに撮影を行なわずとも被検体マップに基づいて表示を行なうことができるため、被ばく量を低減しつつ撮影位置の設定を容易にすることができる。
また、上述したように、第3の実施形態によれば、付加機能342は、被検体マップに基づいて3次元データD31を拡張する。また、生成機能343は、拡張後の拡張3次元データD31’を投影することにより、回転画像データI32を擬似的に示した擬似画像データI33aを生成する。従って、第3の実施形態に係る医用画像処理装置30は、被ばく量を低減しつつ、撮影角度の設定をより容易にすることができる。即ち、アイソセンターの位置によっては、アイソセンターに対応する点を中心とする円軌道に沿って3次元データD31が移動してしまう。これは、アイソセンターの位置によっては、Cアーム105の回転によって撮影位置がずれることに対応する。これに対して、第3の実施形態に係る医用画像処理装置30は、予め3次元データD31を拡張しておくことによって、撮影位置のずれを許容できる広範囲の擬似画像データを生成し、撮影角度の設定を容易にすることができる。
(第4の実施形態)
さて、これまで第1~第3の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した実施形態では、生成機能343が生成した擬似画像データを、医用画像処理装置30におけるディスプレイ32に表示させる場合について説明した。しかしながら実施形態はこれに限定されるものではない。例えば、生成機能343が生成した擬似画像データについて、医用画像処理装置30と異なる他の装置が表示を行なう場合であってもよい。例えば、生成機能343は、生成した擬似画像データを、ネットワークNWを介して、X線診断装置10に送信してもよい。この場合、X線診断装置10における表示制御機能110bは、医用画像処理装置30から送信された擬似画像データを、ディスプレイ108に表示させることができる。
また、上述した実施形態では、医用画像処理装置30における処理回路34が、擬似画像データの生成処理を行なうものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、X線診断装置10における処理回路110が、擬似画像データの生成処理を行なう場合であってもよい。
一例を挙げると、処理回路110は、図19に示すように、収集機能110a、表示制御機能110b及び送信機能110cに加えて、付加機能110d、生成機能110e、制御機能110f、モデル生成機能110g、及び、マップ生成機能110hを実行する。また、X線診断装置10は、更に、モデル記憶回路111及びマップ記憶回路112を備える。なお、図19は、第4の実施形態に係るX線診断装置10の構成の一例を示すブロック図である。
図19に示す場合、収集機能110aは、まず、被検体Pから2次元X線画像データを収集する。なお、以下では2次元X線画像データの例として、2次元X線画像データI41について説明する。次に、表示制御機能110bは、マップ記憶回路112が記憶する被検体マップに基づいて、2次元X線画像データI41を拡張した拡張画像データI41’を生成し、生成した拡張画像データI41’をディスプレイ32に表示させる。また、表示制御機能110bは、拡張画像データI41’上に、撮影位置を示すROIを表示させる。ここで、操作者は、検査対象部位を観察しやすいように拡張画像データI41’上のROIを調整する。そして、制御機能110fは、操作者による調整後のROIが示す撮影位置を撮影条件として設定する。
次に、付加機能110dは、2次元X線画像データI41における各位置について深度情報を付加した3次元データD41を生成する。例えば、付加機能110dは、2次元X線画像データI41と同じ被検体Pについて収集された3次元画像データに基づいて、2次元X線画像データI41における各位置について深度情報を推定し、推定した深度情報を2次元X線画像データI41の各位置に付加することで3次元データD41を生成する。別の例を挙げると、付加機能110dは、2次元X線画像データI41における各位置について、画素値に基づいて深度情報を推定し、推定した深度情報を2次元X線画像データI41の各位置に付加することで3次元データD41を生成する。別の例を挙げると、付加機能110dは、モデル記憶回路111から学習済みモデルM1を読み出し、2次元X線画像データI41を学習済みモデルM1に入力することで2次元X線画像データI41における各位置について深度情報を推定させ、推定させた深度情報を2次元X線画像データI41の各位置に付加することで3次元データD41を生成する。別の例を挙げると、付加機能110dは、マップ記憶回路112から被検体マップを読み出し、被検体マップに基づいて2次元X線画像データI41における各位置について深度情報を推定し、推定した深度情報を2次元X線画像データI41の各位置に付加することで3次元データD41を生成する。
また、制御機能110fは、操作者から撮影角度の変更操作を受け付ける。なお、3次元データD41の生成は、操作者による撮影角度の変更操作がある前に行なってもよいし、撮影角度の変更操作があった後に行なってもよい。以下では、2次元X線画像データI41の撮影角度を、撮影角度W41と記載する。また、以下では、操作者による変更後の撮影角度を、撮影角度W42と記載する。例えば、変更後の撮影角度W42は、撮影角度W41から角度「θ4」だけ変更された角度である。また、以下では、撮影角度W42で収集されるX線画像データを、回転画像データI42と記載する。
次に、生成機能110eは、3次元データD41を投影することにより、回転画像データI42を擬似的に示した擬似画像データI43を生成する。例えば、生成機能110eは、3次元データD41において実空間におけるアイソセンターに対応する点を特定し、特定した対応する点まわりに3次元データD41を回転させ、回転後の3次元データD41を投影することによって擬似画像データI43を生成する。なお、付加機能110dは、被検体マップに基づいて3次元データD41を拡張してもよい。この場合、生成機能110eは、拡張後の3次元データD41を投影することによって擬似画像データI43を生成する。
次に、表示制御機能110bは、生成機能110eが生成した擬似画像データI43をディスプレイ32に表示させる。これにより、操作者は、変更後の撮影角度W42を直感的に理解し、変更後の撮影角度W42が適切であるか否かを容易に判断することができる。例えば、変更後の撮影角度W42が適切でないと判断した場合、操作者は、再度、撮影角度の変更操作を行なう。一方で、変更後の撮影角度W42が適切であると判断した場合、操作者は、撮影角度W42を撮影条件とする旨の入力操作を行なう。この場合、制御機能110fは、撮影角度W42を撮影条件として設定する。また、収集機能110aは、設定された撮影条件に従って、X線画像データの収集を実行する。例えば、収集機能110aは、回転画像データI42の収集を実行する。
ここで、モデル生成機能110gは、収集された回転画像データI42に基づいて、
モデル記憶回路111が記憶する学習済みモデルM1を更新してもよい。例えば、まず、付加機能110dは、回転画像データI42に基づいて3次元データD41を補正する。そして、モデル生成機能110gは、2次元X線画像データI41を第1画像データとし、回転画像データI42を第2画像データとして用いて、学習済みモデルM1を更新する。また、マップ生成機能110hは、2次元X線画像データI41に基づいて、マップ記憶回路112が記憶する被検体マップを更新してもよい。例えば、マップ生成機能110hは、2次元X線画像データI41を撮影位置及び撮影角度に基づいて3次元空間上に登録することで、被検体マップを更新する。
また、上述した実施形態では、3次元データの生成及び擬似画像データの生成を、医用画像処理装置30又はX線診断装置10のいずれか一方の装置が行なうものとして説明した。しかしながら、実施形態はこれに限定されるものではない。即ち、3次元データの生成及び擬似画像データの生成は、複数の装置に分散されて実行されてもよい。
例えば、収集機能110aは、まず、被検体Pから2次元X線画像データI41を収集する。次に、付加機能110dは、2次元X線画像データI41における各位置について深度情報を付加した3次元データD41を生成する。次に、送信機能110cは、付加機能110dが生成した3次元データD41を医用画像処理装置30に送信する。次に、生成機能343は、3次元データD41を投影することにより、回転画像データI42を擬似的に示した擬似画像データI43を生成し、生成した擬似画像データI43をX線診断装置10に送信する。そして、表示制御機能110bは、受信した擬似画像データI43を、ディスプレイ108に表示させる。
別の例を挙げると、送信機能110cは、被検体Pから収集された2次元X線画像データI41を、医用画像処理装置30に送信する。次に、付加機能342は、2次元X線画像データI41における各位置について深度情報を付加した3次元データD41を生成し、生成した3次元データD41をX線診断装置10に送信する。次に、生成機能110eは、受信した3次元データD41を投影することにより、回転画像データI42を擬似的に示した擬似画像データI43を生成する。そして、表示制御機能110bは、生成機能110eにより生成された擬似画像データI43を、ディスプレイ108に表示させる。
別の例を挙げると、送信機能110cは、被検体Pから収集された2次元X線画像データI41を、医用画像処理装置30に送信する。次に、付加機能342は、2次元X線画像データI41における各位置について深度情報を推定し、推定結果と2次元X線画像データI41とをX線診断装置10に送信する。次に、付加機能110dは、医用画像処理装置30から受信した推定結果と2次元X線画像データI41とに基づいて、2次元X線画像データI41における各位置について深度情報を付加した3次元データD41を生成する。次に、生成機能110eは、受信した3次元データD41を投影することにより、回転画像データI42を擬似的に示した擬似画像データI43を生成する。そして、表示制御機能110bは、生成機能110eにより生成された擬似画像データI43を、ディスプレイ108に表示させる。
また、上述した実施形態では、3次元データの生成処理において、3次元画像データに基づいて深度情報を推定する場合、画素値に基づいて深度情報を推定する場合、学習済みモデルM1を用いて深度情報を推定する場合、及び、被検体マップを用いて深度情報を推定する場合について説明した。しかしながら実施形態はこれに限定されるものではない。
例えば、付加機能342又は付加機能110dは、2次元X線画像データI41における各位置について複数の手法により深度情報を推定し、推定した複数の深度情報を合成し、合成した深度情報を2次元X線画像データI41の各位置に付加することで、3次元データD41を生成してもよい。
一例を挙げると、収集機能110aは、被検体Pから2次元X線画像データI41を収集し、送信機能110cは、収集された2次元X線画像データI41を医用画像処理装置30に送信する。次に、付加機能342は、2次元X線画像データI41における各位置について複数の手法により深度情報を推定する。例えば、付加機能342は、2次元X線画像データI41と同じ被検体Pについて収集された3次元画像データに基づいて、2次元X線画像データI41における各位置について深度情報を推定する。以下、3次元画像データに基づく深度情報を、深度情報B1とする。また、例えば、付加機能342は、2次元X線画像データI41における各位置について、画素値に基づいて深度情報を推定する。以下、画素値に基づく深度情報を、深度情報B2とする。また、例えば、付加機能342は、モデル記憶回路35から学習済みモデルM1を読み出し、2次元X線画像データI41を学習済みモデルM1に入力することで2次元X線画像データI41における各位置について深度情報を推定させる。以下、学習済みモデルM1に基づく深度情報を、深度情報B3とする。また、例えば、付加機能342は、マップ記憶回路36から被検体マップを読み出し、被検体マップに基づいて2次元X線画像データI41における各位置について深度情報を推定する。以下、学習済みモデルM1に基づく深度情報を、深度情報B4とする。次に、付加機能342は、複数の深度情報を合成する。例えば、付加機能342は、上述した深度情報B1、深度情報B2、深度情報B3及び深度情報B4のうち少なくとも2つを合成する。
一例を挙げると、付加機能342は、深度情報B1及び深度情報B2をそれぞれ推定する。ここで、深度情報がZ座標で表される場合、付加機能342は、深度情報B1及び深度情報B2の平均値(2つのZ座標の中点)を算出する。そして、付加機能342は、算出した平均値を2次元X線画像データI41の各位置に付加することで、3次元データD41を生成する。
第1~第4の実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
また、第1~第4の実施形態で説明した医用画像処理方法は、予め用意された医用画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この医用画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この医用画像処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも一つの実施形態によれば、被ばく量を低減しつつ、撮影条件の設定を容易にすることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。