JP4991181B2 - ３次元画像処理装置、３次元画像処理方法及び３次元画像処理装置で使用される制御プログラム - Google Patents

Description

この発明は、被検体を診断することにより得られる種々の３次元画像データを処理して表示する３次元画像処理装置、３次元画像処理方法及び３次元画像処理装置で使用される制御プログラムに関する。

従来より、被検体に関し各種診断方式により得られる画像を合成することで、被検体に対する高精度な診断を行なう技術が知られている。特に、ＣＴ(Computed Tomography)から得られる骨や臓器などの構造と、ＭＲＩ（Magnetic Resonance Imaging）から得られる機能情報とを合成することで、例えば外科手術支援のための有用性が高くなることが知られている。この場合、これら２つの画像を対応付けたり、２つの画像収集時につけたマーカーを対応付けることで、２つの３次元画像の位置ずれを補正して、目的の合成情報を得るようにしている（例えば、特許文献１）。
特開平５−１３７７１１号公報。

ところが、上記手法では、２つの画像の収集を行なう場合、画像生成の原理から被検体が様々な方向で投影されることに関して、ＭＲＩやＣＴにより得られる２つの画像の対応付けや、マーカーを付けるための画像処理を施しているが、その画像処理は手作業を介するため、オペレータへの負荷がネックとなり、より正確な診断を短い時間で実現することは困難であった。

そこで、この発明の目的は、画像合成処理においてオペレータへの負荷を低減しつつ、より正確な診断を短い時間でかつ容易に安定して行なうことのできる３次元画像処理装置、３次元画像処理方法及び３次元画像処理装置で使用される制御プログラムを提供することにある。

この発明の３次元画像処理装置は、被検体に関し互いに診断モードが異なる複数の３次元画像のうちの１つである第１の３次元画像データとこの第１の３次元画像データとは異なる第２の３次元画像データとの位置ずれ情報を取得する第１の取得手段と、前記第２の３次元画像データと前記第１及び第２の３次元画像データとは異なる第３の３次元画像データとの位置ずれ情報を取得する第２の取得手段と、これら第１及び第２の取得手段で得られた位置ずれ情報に基づいて、前記第１の３次元画像データと前記第３の３次元画像データとの位置ずれ情報を求める演算手段とを備えるようにした。

また、この発明の３次元画像処理方法は、被検体に関し互いに診断モードが異なる複数の３次元画像のうちの１つである第１の３次元画像データとこの第１の３次元画像データとは異なる第２の３次元画像データとの位置ずれに対応する第１の位置ずれ情報を取得し、前記第２の３次元画像データと前記第１及び第２の３次元画像データとは異なる第３の３次元画像データとの位置ずれに対応する第２の位置ずれ情報を取得し、これら第１及び第２の位置ずれ情報に基づいて、前記第１の３次元画像データと前記第３の３次元画像データとの位置ずれに対応する第３の位置ずれ情報を求めるようにした。

さらに、この発明の３次元画像処理装置で使用される制御プログラムは、被検体に関し互いに診断モードが異なる複数の３次元画像のうちの１つである第１の３次元画像データとこの第１の３次元画像データとは異なる第２の３次元画像データとの第１の位置ずれ情報を取得する第１のステップと、前記第２の３次元画像データと前記第１及び第２の３次元画像データとは異なる第３の３次元画像データとの第２の位置ずれ情報を取得する第２のステップと、これら第１及び第２の位置ずれ情報に基づいて、前記第１の３次元画像データと前記第３の３次元画像データとの位置ずれ情報を求める第３のステップとを備えるようにした。

以上詳述したようにこの発明によれば、画像合成処理においてオペレータへの負荷を低減しつつ、より正確な診断を短い時間でかつ容易に安定して行なうことのできる３次元画像処理装置、３次元画像処理方法及び３次元画像処理装置で使用される制御プログラムを提供することができる。

以下、この発明の実施形態について図面を参照して詳細に説明する。
（第１の実施形態）
図１は、この発明の３次元画像処理装置の第１の実施形態を示すブロック図であり、図中符号１は３次元画像処理装置で、ＣＴ装置２とＭＲＩ装置３とＸ線アンギオ装置４とを接続している。

３次元画像処理装置１は、マイクロコンピュータからなる制御部１１と、記憶部１２と、ネットワークカード１３と、キーボードやマウスからなる入力デバイス１４と、アフィン変換部１５と、Ｄ／Ａ（デジタル／アナログ）変換部１６と、表示部１７と、位置ずれ算出部１８と、画像合成部１９とを備えている。このうち、ネットワークカード１３はＣＴ装置２、ＭＲＩ装置３及びＸ線アンギオ装置４に接続される。Ｄ／Ａ変換部１６には表示部１７が接続される。

記憶部１２は、制御部１１の指示に従い、ネットワークカード１３を介して入力された画像データ、合成画像データ等の各種データを記憶する。アフィン変換部１５は、画像データに対して拡大処理、移動処理を行う。

位置ずれ算出部１８は、記憶部１２に記憶されたＣＴ装置２のＣＴ画像データ、ＭＲＩ装置３のＭＲＩデータ、Ｘ線アンギオ装置４のマスク３Ｄ画像データ及び３Ｄ−ＤＳＡ画像データを読み出し、ＣＴ画像データとマスク３Ｄ画像データとの位置ずれ、マスク３Ｄ画像データと３Ｄ−ＤＳＡ画像データとの位置ずれ、３Ｄ−ＤＳＡ（Digital Subtraction Angiography）画像データとＭＲＩデータとの位置ずれをそれぞれ検出し、これら検出した位置ずれ情報に基づいて、ＣＴ画像データとＭＲＩデータとの位置ずれを求める。

画像合成部１９は、上記位置ずれ算出部１８により求められた位置ずれ情報に基づいて、２種類またはそれを超える３次元画像を合成する。

次に、以上のように構成された３次元画像処理装置１による処理動作について説明する。
図２は、ＣＴ画像データとＭＲＩデータとの合成を行なう際の各画像間の処理の様子を示す図であり、図３はＣＴ画像データとＭＲＩデータとの合成を行なう際の３次元画像処理装置１の制御手順を示すフローチャートである。

ＣＴ装置２は、被検体の任意の部位の３次元ＣＴ画像を収集・再構成する。この再構成された３次元ＣＴ画像データは３次元画像処理装置１に送信され、記憶１２に記憶される。

ＭＲＩ装置３は、被検体の任意の部位の３次元ＭＲＩを、造影剤を静脈から投与しつつ、収集・再構成する。この再構成された３次元ＭＲＩデータは３次元画像処理装置１に送信され、記憶１２に記憶される。

Ｘ線アンギオ装置４は、同一患者、同一部位の画像を造影剤注入前と後で回転収集し、造影前の回転画像からマスク３Ｄ画像を再構成する。次に造影後の回転画像から造影前の回転画像を、それぞれ対応する角度ごとにＳｕｂｔｒａｃｔｉｏｎ処理を行い、回転ＤＳＡ画像を作成する。そして、回転ＤＳＡ画像を元に３Ｄ−ＤＳＡ画像を再構成する。これら２つの３Ｄ画像データは、３次元画像処理装置１に送信され、記憶１２に記憶される。

３次元画像処理装置１は、図３に示す制御処理を開始し、ステップＳＴ３ａにおいて記憶部１２に記憶されている３次元のＣＴ画像（画像Ａ１）、マスク３Ｄ画像（画像Ｂ１）、３Ｄ−ＤＳＡ画像（画像Ｃ１）、ＭＲＩ（画像Ｄ１）を表示部１７に表示する。そして、この状態でユーザ（オペレータ）が入力デバイス１４により［間接Ｆｕｓｉｏｎ］ボタンを選択し、Ｆｕｓｉｏｎ対象画像であるＡ１、Ｄ１を選択し、さらにＢ１とＡ１のＲｅｇｉｓｔｒａｔｉｏｎ、Ｂ１とＣ１のＲｅｇｉｓｔｒａｔｉｏｎ、Ｃ１とＤ１のＲｅｇｉｓｔｒａｔｉｏｎの設定を行なう（ＧＵＩ上で関係を線で引く）。すると、３次元画像処理装置１はステップＳＴ３ｂからステップＳＴ３ｃに移行して、位置ずれを算出する。具体的には、Ｂ１とＡ１から閾値処理で骨だけを抽出し、骨画像Ｂ２と骨画像Ａ２とで相互相関演算を行ってその値が最小となる位置ずれベクトルを求める。ここでは例えばＢ２をＡ２の位置に合わせるために（ｘ１，ｙ１，ｚ１）のシフトと（△θｘ１，△θｙ１，△θｚ１）の回転が必要であったとする。すると、３次元画像処理装置１はステップＳＴ３ｄからステップＳＴ３ｅに移行して、ここで上記位置ずれ情報を記憶部１２に記憶する。なお、△θｘ１，△θｙ１，△θｚ１は、ｘ軸，ｙ軸，ｚ軸周りの回転である。

次に、３次元画像処理装置１は次の対象となる画像があるか否かの判断を行う（ステップＳＴ３ｆ）。ここでは、Ｃ１があるので上記ステップＳＴ３ｃに移行してＢ１とＣ１の位置ずれを算出する。この場合Ｂ１とＣ１は同じ回転ＤＳＡ画像から再構成されており、位置ずれはないので自動的に上記ステップＳＴ３ｄ及び上記ステップＳＴ３ｅの処理をスキップする（撮影した装置、撮影時間などの情報が全く一致している）。

続いて、３次元画像処理装置１はステップＳＴ３ｆからステップＳＴ３ｃに移行して、画像Ｃ１と画像Ｄ１との位置ずれを算出する。具体的には、画像Ｄ１と画像Ｄ１から閾値処理で血管だけを抽出し、血管画像Ｃ２と血管画像Ｄ２とで相互相関演算を行ってその値が最小となる位置ずれベクトルを求める。ここでは、例えば画像Ｄ２を画像Ｃ２の位置に合わせるために（ｘ２，ｙ２，ｚ２）のシフトと（△θｘ２，△θｙ２，△θｚ２）の回転が必要であったとする。すると、３次元画像処理装置１はステップＳＴ３ｄからステップＳＴ３ｅに移行して、ここで上記位置ずれ情報を記憶部１２に記憶する。なお、△θｘ２，△θｙ２，△θｚ２は、ｘ軸，ｙ軸，ｚ軸周りの回転である。

そして、３次元画像処理装置１はステップＳＴ３ｆからステップＳＴ３ｇに移行して、アフィン変換部１５で位置ずれ補正を行なう。具体的には、画像Ｃ１，Ｄ１間に対応する位置ずれ情報を記憶部１２から入手する。そして、画像Ｄ１に対してまず（ｘ２，ｙ２，ｚ２）のシフトと（△θｘ２，△θｙ２，△θｚ２）の回転処理を施して画像Ｄ２’を得る。

次に、３次元画像処理装置１は画像Ｃ１、画像Ｂ１との位置ずれ補正を行う。具体的には画像Ｃ１，Ｂ１間に対する位置ずれ情報を記憶部１２から入手する。ここでは記憶部１２には対応する位置ずれ情報はないため、位置ずれなしとして処理をスキップする。

さらに、３次元画像処理装置１は画像Ｂ１，画像Ａ１との位置ずれ補正を行う。具体的には、画像Ｂ１，Ａ１間に対応する位置ずれ情報を記憶部１２から入手する。そして画像Ｄ２’に対してまず(ｘ１,ｙ１,ｚ１)のシフトと、(△θｘ１,△θｙ１,△θｚ１)の回転処理を施して画像Ｄ３を得る。

以後、３次元画像処理装置１は、画像Ａ１と画像Ｄ３を３次元空間上で合成し、図４に示すような合成画像を表示部１７に表示させる（ステップＳＴ３ｈ）。この表示部１７に表示される合成画像は、例えば人間の頭骸骨を示す画像Ａ１に、血管を示す画像Ｄ３を重ね合わせた画像となる。

これにより、ＣＴの骨、臓器、腫瘍のような陰影情報と、ＭＲＩの機能情報を合成して表示することができる。例えば外科手術の際に手術計画を立てることに有用である。

以上のように上記第１の実施形態では、３次元画像処理装置１において、３次元のＣＴ画像データとＭＲＩデータとの合成処理の実行に先立ち、マスク３Ｄ画像データ及び３Ｄ−ＤＳＡ画像データを利用して、３次元のＣＴ画像データとＭＲＩデータとの位置ずれを求め、この位置ずれ情報に基づいて３次元空間上の合成処理を行うようにしている。

従って、求められた位置ずれ情報に基づいて、３次元のＣＴ画像データとＭＲＩデータとの合成処理を、人手を要することなく自動的に行なうことができ、これにより正確な診断を短い時間でかつ容易に安定して行なうことができる。

また、被検体に関する３次元合成画像を表示部１７に表示させるようにしているので、ユーザはその合成画像から種々の診断結果を把握することが可能となり、例えば外科手術の際に手術計画を立てることに有用となる。

（第２の実施形態）
図５は、この発明の３次元画像処理装置の第２の実施形態を示すブロック図であり、３次元画像処理装置１にＣＴ装置２とＸ線アンギオ装置４とを接続している。なお、図５において、上記図１と同一部分には同一符号を付して詳細な説明を省略する。

すなわち、３次元画像処理装置１は、記憶部１２に記憶されている３次元のＣＴ画像（Ａ１）、マスク３Ｄ画像（Ｂ１）、３Ｄ−ＤＳＡ画像（Ｃ１）を表示部１７に表示する。そして、この状態でユーザ（オペレータ）が入力デバイス１４により［間接Ｆｕｓｉｏｎ］ボタンを選択し、Ｆｕｓｉｏｎ対象画像である画像Ａ１、画像Ｃ１を選択し、さらに画像Ｂ１と画像Ａ１のＲｅｇｉｓｔｒａｔｉｏｎ、画像Ｂ１と画像Ｃ１のＲｅｇｉｓｔｒａｔｉｏｎの設定を行なう（ＧＵＩ上で関係を線で引く）。すると、３次元画像処理装置１は、まず画像Ｂ１と画像Ａ１との位置ずれを算出する。具体的には、画像Ｂ１と画像Ａ１から閾値処理で骨だけを抽出し、骨画像Ａ２と骨画像Ｂ２とで相互相関演算を行ってその値が最小となる位置ずれベクトルを求める。ここでは例えばＢ２をＡ２の位置に合わせるために（ｘ１，ｙ１，ｚ１）のシフトと（△θｘ１，△θｙ１，△θｚ１）の回転が必要であったとする。すると、３次元画像処理装置１は上記位置ずれ情報を記憶部１２に記憶する。

次に、３次元画像処理装置１は画像Ｂ１と画像Ｃ１の位置ずれを算出する。この場合画像Ｂ１と画像Ｃ１は同じ回転ＤＳＡ画像から再構成されており、位置ずれはないので自動的に処理をスキップする（撮影した装置、撮影時間などの情報が全く一致している）。

続いて、３次元画像処理装置１は画像Ｃ１,画像Ｂ１との位置ずれ補正を行う。具体的には画像Ｃ１,Ｂ１間に対する位置ずれ情報を記憶部１２から入手する。ここでは記憶部１２には対応する位置ずれ情報はないため、位置ずれなしとして処理をスキップする。

さらに、３次元画像処理装置１は画像Ｂ１，画像Ａ１との位置ずれ補正を行う。具体的には、画像Ｂ１,Ａ１間に対応する位置ずれ情報を記憶部１２から入手する。そして画像Ｃ１に対してまず(ｘ１,ｙ１,ｚ１)のシフトと、(△θｘ１,△θｙ１,△θｚ１)の回転処理を施して画像Ｃ２を得る。

以後、３次元画像処理装置１は、画像Ａ１と画像Ｃ２を３次元空間上で合成し、表示部１７に表示させる。

このように上記第２の実施形態にあっても、ＣＴの骨、臓器、腫瘍のような陰影情報と、アンギオ３Ｄの精細な血管情報を合成して表示することができる。これにより、例えば骨、臓器、腫瘍に対する血管の関係の把握に有用となる。

また、上記第２の実施形態の変形例として、閾値処理で骨部分、血管部分を抽出し、骨部分は画像Ｂ１、軟組織は画像Ａ１、血管は画像Ｃ１からそれぞれ抽出して合成することもできる。

（第３の実施形態）
この発明の第３の実施形態は、上記ＣＴ装置２を用いて、静脈注入で造影剤を注入する術式であるＣＴＡ(Computed Tomography Angiography)を適用するようにしたものである。この第３の実施形態について、上記図５を参照して説明する。

ＣＴ装置２は、血管の動脈、静脈に関する被検体の任意の部位の３次元ＣＴＡ画像を収集・再構成する。この再構成された３次元ＣＴＡ画像データは３次元画像処理装置１に送信され、記憶１２に記憶される。

すなわち、３次元画像処理装置１は、記憶部１２に記憶されている３次元のＣＴＡ画像（Ａ１）、マスク３Ｄ画像（Ｂ１）、３Ｄ−ＤＳＡ画像（Ｃ１）を表示部１７に表示する。そして、この状態でユーザ（オペレータ）が入力デバイス１４により［間接Ｆｕｓｉｏｎ］ボタンを選択し、Ｆｕｓｉｏｎ対象画像である画像Ａ１、画像Ｃ１を選択し、さらに画像Ｂ１と画像Ａ１のＲｅｇｉｓｔｒａｔｉｏｎ、画像Ｂ１と画像Ｃ１のＲｅｇｉｓｔｒａｔｉｏｎの設定を行なう（ＧＵＩ上で関係を線で引く）。すると、３次元画像処理装置１は、まず画像Ｂ１と画像Ａ１との位置ずれを算出する。具体的には、画像Ｂ１と画像Ａ１とに対して閾値処理を施して骨だけを抽出し、閾値処理により得られる骨画像Ｂ２と骨画像Ａ２とで相互相関演算を行ってその値が最小となる位置ずれベクトルを求める。ここでは例えば画像Ｂ２を画像Ａ２の位置に合わせるために（ｘ１，ｙ１，ｚ１）のシフトと（△θｘ１，△θｙ１，△θｚ１）の回転が必要であったとする。すると、３次元画像処理装置１は上記位置ずれ情報を記憶部１２に記憶する。

次に、３次元画像処理装置１は画像Ｂ１と画像Ｃ１の位置ずれを算出する。この場合、画像Ｂ１と画像Ｃ１は同じ回転ＤＳＡ画像から再構成されており、位置ずれはないので自動的に処理をスキップする（撮影した装置、撮影時間などの情報が全く一致している）。

続いて、３次元画像処理装置１は、画像Ｃ１，画像Ｂ１との位置ずれ補正を行う。具体的には画像Ｃ１，Ｂ１間に対する位置ずれ情報を記憶部１２から入手する。ここでは記憶部１２には対応する位置ずれ情報はないため、位置ずれなしとして処理をスキップする。

さらに、３次元画像処理装置１は画像Ｂ１，画像Ａ１との位置ずれ補正を行う。具体的には、画像Ｂ１，Ａ１間に対応する位置ずれ情報を記憶部１２から入手する。そして画像Ｃ１に対してまず(ｘ１,ｙ１,ｚ１)のシフトと、(△θｘ１,△θｙ１,△θｚ１)の回転処理を施して画像Ｃ２を得る。

以後、３次元画像処理装置１は、画像Ａ１と画像Ｃ２を３次元空間上で合成し、表示部１７に表示させる。このとき、ＣＴＡの血管と３Ｄ−ＤＳＡは重なった部分と重なっていない部分が生じる。ＣＴＡでは動脈、静脈の全ての血管が描出されているが、３Ｄ−ＤＳＡでは動脈しか描出されない。従って、重なっている動脈部分と重なっていない静脈部分を色で区分して表示する。

このように上記第３の実施形態にあっては、動脈と静脈の位置関係が明瞭に描出できる。

（第４の実施形態）
図６は、この発明の３次元画像処理装置の第４の実施形態を示すブロック図であり、３次元画像処理装置１にＣＴ装置２とＭＲＩ装置３とを接続している。なお、図６において、上記図１と同一部分には同一符号を付して詳細な説明を省略する。

ＣＴ装置２は、被検体の任意の部位の３次元ＣＴ画像を収集・再構成する。この再構成された３次元ＣＴ画像データは３次元画像処理装置１に送信され、記憶１２に記憶される。

ＭＲＩ装置３は、被検体の任意の部位の２種類の３次元ＭＲＩ画像を収集、再構成する。一つ目の再構成画像は、解剖学的な情報を把握し易い画像（例えばＴ１強調画像）であり、もう一つの再構成画像は機能的な診断情報を有する画像（例えば病変部などを把握し易い画像Ｔ２強調画像、機能的な診断情報を提供するDWI、functional MRI、Perfusion MRIなど）である。これらの再構成された３次元ＭＲＩ画像データは同様に３次元画像処理装置１に送信され、記憶１２に記憶される。

３次元画像処理装置１は、図３に示す制御処理を開始し、ステップＳＴ３ａにおいて記憶部１２に記憶されている３次元のＣＴ画像（画像Ａ１）、解剖学的な情報を有するＭＲＩ画像（画像Ｂ１）、機能的な情報を有するＭＲＩ画像（画像Ｃ１）を表示部１７に表示する。そしてこの状態でユーザ（オペレータ）が入力デバイス１４により[間接Fusion]ボタンを選択し、Fusionの対象画像であるＡ１、Ｃ１を選択し、さらにＢ１とＡ１のRegistration、Ｂ１とＣ１のRegistrationの設定を行う（ＧＵＩ上で関係を線で引く）。すると、３次元画像処理装置１はステップＳＴ３ｂからステップＳＴ３ｃに移行して、Ｂ１とＡ１との位置ずれを算出する。具体的にはＢ１とＡ１から脳実質を抽出し、脳実質画像Ｂ２とＡ２とで相互相関演算を行ってその値が最小となる位置ずれベクトルを求める。ここでは例えばＢ２をＡ２の位置に合わせるために、(ｘ１,ｙ１,ｚ１)のシフトと、(△θｘ１,△θｙ１,△θｚ１)の回転が必要であったとする。すると、３次元画像処理装置１はステップＳＴ３ｄからＳＴ３ｅに移行して、ここで上記位置ずれ情報を記憶部１２に記憶する。なお△θｘ１,△θｙ１,△θｚ１は、X軸、Y軸、Z軸周りの回転である。

但し、脳実質を抽出する方法は骨を抽出する方法よりも難易度が高い。以下にその処理について簡単に説明する。画像Ａ１から脳実質を抽出するための処理では、第１に骨外し処理を行う。骨外しは、ＣＴでは公知の技術である。具体的には骨の位置をＣＴ値で同定し、骨とその外側に位置する軟組織を除去する。第２にマニュアルで頭蓋底部より下部を切り取ることにより脳実質部のみを抽出する。画像Ｂ１から脳実質を抽出するための処理では、第１にマニュアルで頭蓋底部より下部を切り取る。そして第２に脳実質を指定してリージョングローイング法で脳実質部（含む硬膜）だけを抽出する。このようにして抽出された３次元画像それぞれに対し、高周波強調フィルターをかけた結果と、さらにボクセル値によって決まる確率関数をかけることにより、Ｂ２とＡ２とを作成する。Ａ２の場合は以下のように算出される。

ここでAe(x,y,z)は脳実質部をマニュアルでラフに抽出したデータ、H(x,y,z)は高周波強調フィルター、*はコンボリューション演算子を示す。またＰ()は確率関数を示し、任意のＣＴ値に対する脳実質である確率を表す。例えばＣＴ値が-1000や1000であれば確率関数は０と、ＣＴ値が10〜20くらいであれば脳実質レベルなので確率関数は１、その周辺のＣＴ値であれば脳実質に近いので確率関数は１に近い値をとり、その周辺から離れるに従って急激に確率関数は０に近づく。

次に、３次元画像処理装置１は次の対象となる画像があるか否かの判断を行う（ステップＳＴ３ｆ）。ここでは、Ｃ１とＢ１があるので上記ステップＳＴ３ｃに移行して、Ｃ１とＢ１との位置ずれを算出する。この場合、画像Ｃ１と画像Ｂ１は同じＭＲＩ装置３で収集・再構成されており、位置ずれはないので自動的に処理をスキップする（撮影した装置、検査ＩＤなどの情報が全く一致している）。

続いて、３次元画像処理装置１は画像Ｃ１、Ｂ１間の位置ずれ補正を行う。具体的には画像Ｃ１、Ｂ１間に対する位置ずれ情報を記憶部１２から入手する。ここでは記憶部１２には対応する位置ずれ情報はないため、位置ずれなしとして処理をスキップする。

次に、３次元画像処理装置１は画像Ｂ１、画像Ａ１との位置ずれ補正を行う。具体的には画像Ｂ１、Ａ１間に対する位置ずれ情報を記憶部１２から入手する。そして画像Ｃ１に対しまず(ｘ１,ｙ１,ｚ１)のシフトと、(△θｘ１,△θｙ１,△θｚ１)の回転処理を施して画像Ｃ２を得る。

以後、３次元画像処理装置１は、画像Ａ１と画像Ｃ２を３次元空間上で合成し、表示部１７に表示させる。なお合成表示の方法はＣＴ画像をグレースケールで、ＭＲＩ画像をカラーで表示し、それを直接合成した３次元画像もしくは断面画像を作成しても良いし、直接合成しなくても隣り合って表示し、片方の断面を移動させるともう一方も移動し、さらに片方の断面で任意の位置をポインティングするともう一方の画像で対応する位置にもポインターが表示されると言うようにしても良い。これにより、ＣＴの骨、臓器、腫瘍のような構造的な情報と、ＭＲＩの機能情報とを関連付けて診断することができるようになり、例えば外科手術の際に手術計画を立てることに有用である。

（第５の実施形態）
この第５の実施形態について、上記図６を参照して説明する。

ＣＴ装置２は、造影剤を静脈から注入しつつ被検体の任意の部位の３次元ＣＴＡ画像を収集・再構成する。この再構成された３次元ＣＴＡ画像データは３次元画像処理装置１に送信され、記憶１２に記憶される。

ＭＲＩ装置３は、被検体の任意の部位の２種類の３次元ＭＲＩ画像を収集、再構成する。一つ目の再構成画像は、血管を強調した画像であるＭＲＡ画像であり、もう一つの再構成画像は機能的な診断情報を有する画像（例えば病変部などを把握し易いＭＲＩ Ｔ２強調画像（MRI T2 weighted imaging data）、機能的な診断情報を提供するDWI、functional MRI、Perfusion MRIなど）である。これらの再構成された３次元ＭＲＩ画像データは同様に３次元画像処理装置１に送信され、記憶１２に記憶される。

３次元画像処理装置１は、図３に示す制御処理を開始し、ステップＳＴ３ａにおいて記憶部１２に記憶されている３次元のＣＴＡ画像（画像Ａ１）、血管情報を有するＭＲＡ画像（画像Ｂ１）、機能的な情報を有するＭＲＩ画像（画像Ｃ１）を表示部１７に表示する。そしてこの状態でユーザ（オペレータ）が入力デバイス１４により[間接Fusion]ボタンを選択し、Fusionの対象画像であるＡ１、Ｃ１を選択し、さらにＢ１とＡ１のRegistration、Ｂ１とＣ１のRegistrationの設定を行う（ＧＵＩ上で関係を線で引く）。すると、３次元画像処理装置１はステップＳＴ３ｂからステップＳＴ３ｃに移行して、Ｂ１とＡ１との位置ずれを算出する。具体的にはＢ１とＡ１から血管部を抽出し、血管画像Ｂ２とＡ２とで相互相関演算を行ってその値が最小となる位置ずれベクトルを求める。ここでは例えばＢ２をＡ２の位置に合わせるために、(ｘ１,ｙ１,ｚ１)のシフトと、(△θｘ１,△θｙ１,△θｚ１)の回転が必要であったとする。すると、３次元画像処理装置１はステップＳＴ３ｄからＳＴ３ｅに移行して、ここで上記位置ずれ情報を記憶部１２に記憶する。なお、△θｘ１,△θｙ１,△θｚ１は、X軸、Y軸、Z軸周りの回転である。

次に、３次元画像処理装置１は次の対象となる画像があるか否かの判断を行う（ステップＳＴ３ｆ）。ここでは、Ｃ１とＢ１があるので上記ステップＳＴ３ｃに移行して、Ｃ１とＢ１との位置ずれを算出する。この場合、画像Ｃ１と画像Ｂ１は同じＭＲＩ装置３で収集・再構成されており、位置ずれはないので自動的に処理をスキップする（撮影した装置、検査IDなどの情報が全く一致している）。

続いて、３次元画像処理装置１は画像Ｃ１、Ｂ１間の位置ずれ補正を行う。具体的には画像Ｃ１、Ｂ１間に対する位置ずれ情報を記憶部１２から入手する。ここでは記憶部１２には対応する位置ずれ情報はないため、位置ずれなしとして処理をスキップする。

次に、３次元画像処理装置１は画像Ｂ１、画像Ａ１との位置ずれ補正を行う。具体的には画像Ｂ１、Ａ１間に対する位置ずれ情報を記憶部１２から入手する。そして画像Ｃ１に対しまず(ｘ１,ｙ１,ｚ１)のシフトと、(△θｘ１,△θｙ１,△θｚ１)の回転処理を施して画像Ｃ２を得る。

以後、３次元画像処理装置１は、画像Ａ１と画像Ｃ２を３次元空間上で合成し、表示部１７に表示させる。なお、合成表示の方法はＣＴ画像をグレースケールで、ＭＲＩ画像をカラーで表示し、それを直接合成した３次元画像もしくは断面画像を作成しても良いし、直接合成しなくても隣り合って表示し、片方の断面を移動させるともう一方も移動し、さらに片方の断面で任意の位置をポインティングするともう一方の画像で対応する位置にもポインターが表示されると言うようにしても良い。これにより、ＣＴの骨、臓器、血管、腫瘍のような構造的な情報と、ＭＲＩの機能情報とを関連付けて診断することができるようになり、例えば外科手術の際に手術計画を立てることに有用である。

（第６の実施形態）
図７は、この発明の３次元画像処理装置の第６の実施形態を示すブロック図であり、３次元画像処理装置１にＭＲＩ装置３とＰＥＴ(Positron Emission Tomography)−ＣＴ装置５とを接続している。なお、図７において、上記図１と同一部分には同一符号を付して詳細な説明を省略する。

ＰＥＴ−ＣＴ装置５は、悪性腫瘍の診断等を行うＰＥＴ検査で得られた機能画像情報と形態情報を重ね合わせるものである。このＰＥＴ−ＣＴ装置５で得られた３次元のＰＥＴ画像と静脈から造影剤を注入しながら撮影・再構成したＣＴＡ画像データは３次元画像処理装置１に送信され、記憶１２に記憶される。

さらに、ＭＲＩ装置３は、血管の動脈、静脈に関する被検体の任意の部位の３次元ＭＲＡ（Magnetic Resonance Angiography）画像と機能的な情報を有する画像を収集・再構成する。この再構成された３次元ＭＲＡ画像データ(MR Angiography data)及び３次元ＭＲＩデータは３次元画像処理装置１に送信され、記憶１２に記憶される。

すなわち、３次元画像処理装置１は、図８に示すように、記憶部１２に記憶されている３次元のＰＥＴ画像（Ａ１）、３次元のＣＴＡ画像（Ｂ１）、３次元のＭＲＡ画像（Ｃ１）、機能画像（例えば血流（Perfusion）ＭＲＩ画像）（Ｄ１）を表示部１７に表示する。そして、この状態でユーザ（オペレータ）が入力デバイス１４により［間接Ｆｕｓｉｏｎ］ボタンを選択し、Ｆｕｓｉｏｎ対象画像である画像Ａ１、画像Ｄ１を選択し、さらに画像Ａ１と画像Ｂ１のＲｅｇｉｓｔｒａｔｉｏｎ、画像Ｂ１と画像Ｃ１のＲｅｇｉｓｔｒａｔｉｏｎ、画像Ｃ１と画像Ｄ１のＲｅｇｉｓｔｒａｔｉｏｎの設定を行なう（ＧＵＩ上で関係を線で引く）。すると、３次元画像処理装置１は画像Ａ１と画像Ｂ１との位置ずれを算出する。この場合、画像Ａ１と画像Ｂ１とは同じＰＥＴ−ＣＴ装置５で収集・再構成されており、位置ずれはないので、自動的に処理をスキップする（撮影した装置、検査ＩＤなどの情報が一致している）。

次に、３次元画像処理装置１は、画像Ｂ１と画像Ｃ１との位置ずれを算出する。具体的には、画像Ｂ１と画像Ｃ１からそれぞれ血管部分を抽出した上で、相互相関演算を行ってその値が最小となる位置ずれベクトルを求める。そして、３次元画像処理装置１は、上記位置ずれ情報を記憶部１２に記憶保持する。

続いて、３次元画像処理装置１は、画像Ｃ１と画像Ｄ１との位置ずれを算出する。この場合、画像Ｃ１と画像Ｄ１は同じＭＲＩ装置２で収集・再構成されており、位置ずれはないので自動的に処理をスキップする（撮影した装置、検査ＩＤなどの情報が全く一致している）。

続いて、３次元画像処理装置１は画像Ｄ１、Ｃ１間の位置ずれ補正を行う。具体的には画像Ｄ１、Ｃ１間に対する位置ずれ情報を記憶部１２から入手する。ここでは記憶部１２には対応する位置ずれ情報はないため、位置ずれなしとして処理をスキップする。

次に、３次元画像処理装置１は画像Ｃ１、画像Ｂ１との位置ずれ補正を行う。具体的には画像Ｃ１、画像Ｂ１間に対する位置ずれ情報を記憶部１２から入手する。そしてその位置ずれデータを用いて画像Ｄ１に対し位置ずれ補正を行い、Ｄ２を得る。

さらに、３次元画像処理装置１は画像Ｂ１、画像Ａ１との位置ずれ補正を行う。具体的には画像Ｂ１、Ａ１間に対する位置ずれ情報を記憶部１２から入手する。ここでは記憶部１２には対応する位置ずれ情報はないため、位置ずれなしとして処理をスキップする。

以後、３次元画像処理装置１は、上記記憶部１２に記憶された合計の位置ずれ情報に基づいて画像Ａ１と画像Ｄ２また必要によってはさらに画像Ｂ１を３次元空間上で合成し、表示部１７に表示させる。

このように上記第６の実施形態にあっては、３次元画像処理装置１において、３次元のＰＥＴ−ＣＴ画像データと機能データ（例えば病変部などを把握し易いMRI T2強調画像（MRI T2 weighted imaging data）、機能的な診断情報を提供するDWI(Diffusion Weighted Imaging data)、functional MRI data、Perfusion MRI dataなど）との合成処理の実行に先立ち、３次元のＣＴＡ画像データ及び３次元のＭＲＡ画像データを利用して、３次元のＰＥＴ−ＣＴ画像データと機能データとの位置ずれを求め、この位置ずれ情報に基づいて３次元空間上の合成処理を行うようにしている。

従って、ＰＥＴ−ＣＴ装置５により得られる悪性腫瘍等の診断情報と、ＭＲＩによる血流情報を合成して表示することができ、例えば外科手術の際に手術計画を立てることに有用となる。

なお、本実施形態では画像Ｂ１として３次元ＣＴＡ画像、画像Ｃ１として３次元ＭＲＡ画像を用いているが、画像Ｂ１として３次元ＣＴ画像、画像Ｃ１として解剖的な情報を把握し易い画像（例えばMRI T1強調画像（MRI T1 weighted imaging data））を用いても良い。

（第７の実施形態）
この発明の第７の実施形態は、上記ＣＴ装置２を用いて、血流ＣＴ画像データと血流ＭＲＩデータとを合成処理するようにしたものである。

すなわち、３次元画像処理装置１は、図９に示すように、記憶部１２に記憶されている３次元の血流ＣＴ画像（Ａ１）、３次元のＣＴＡ画像（Ｂ１）、３次元のＭＲＡ画像（Ｃ１）、機能データ（Ｄ１）を表示部１７に表示する。

そして、この状態でユーザ（オペレータ）が入力デバイス１４により［間接Ｆｕｓｉｏｎ］ボタンを選択し、Ｆｕｓｉｏｎ対象画像である画像Ａ１、画像Ｄ１を選択し、さらに画像Ａ１と画像Ｂ１のＲｅｇｉｓｔｒａｔｉｏｎ、画像Ｂ１と画像Ｃ１のＲｅｇｉｓｔｒａｔｉｏｎ、画像Ｃ１と画像Ｄ１のＲｅｇｉｓｔｒａｔｉｏｎの設定を行なう（ＧＵＩ上で関係を線で引く）。すると、３次元画像処理装置１は、画像Ａ１と画像Ｂ１との位置ずれを算出する。この場合、画像Ａ１と画像Ｂ１とは同じＣＴ装置２で収集・再構成されており、位置ずれはないので、自動的に処理をスキップする（撮影した装置、検査ＩＤなどの情報が全く一致している）。

次に、３次元画像処理装置１は、画像Ｂ１と画像Ｃ１との位置ずれを算出する。具体的には、画像Ｂ１と画像Ｃ１から血管部分を抽出した上で、相互相関演算を行ってその値が最小となる位置ずれベクトルを求める。そして、３次元画像処理装置１は上記位置ずれ情報を記憶部１２に記憶保持する。

続いて、３次元画像処理装置１は、画像Ｃ１と画像Ｄ１との位置ずれを算出する。この場合、画像Ｃ１と画像Ｄ１は同じＭＲＩ装置２で収集・再構成されており、位置ずれはないので自動的に処理をスキップする（撮影した装置、検査ＩＤなどの情報が全く一致している）。

続いて、３次元画像処理装置１は画像Ｄ１、Ｃ１間の位置ずれ補正を行う。具体的には画像Ｄ１、Ｃ１間に対する位置ずれ情報を記憶部１２から入手する。ここでは記憶部１２には対応する位置ずれ情報はないため、位置ずれなしとして処理をスキップする。

次に、３次元画像処理装置１は、画像Ｃ１、画像Ｂ１との位置ずれ補正を行う。具体的には画像Ｃ１、画像Ｂ１間に対する位置ずれ情報を記憶部１２から入手する。そして、その位置ずれデータを用いて画像Ｄ１に対し位置ずれ補正を行い、Ｄ２を得る。

さらに、３次元画像処理装置１は、画像Ｂ１、画像Ａ１との位置ずれ補正を行う。具体的には画像Ｂ１、Ａ１間に対する位置ずれ情報を記憶部１２から入手する。ここでは記憶部１２には対応する位置ずれ情報はないため、位置ずれなしとして処理をスキップする。

以後、３次元画像処理装置１は、上記記憶部１２に記憶された合計の位置ずれ情報に基づいて画像Ａ１と画像Ｄ２また必要によってはさらに画像Ｂ１を３次元空間上で合成し、表示部１７に表示させる。

このように上記第７の実施形態にあっては、３次元画像処理装置１において、３次元の血流ＣＴ画像データと機能データとの合成処理の実行に先立ち、３次元のＣＴＡ画像データ及び３次元のＭＲＡ画像データを利用して、３次元の血流ＣＴ画像データと血流ＭＲＩデータとの位置ずれを求め、この位置ずれ情報に基づいて３次元空間上の合成処理を行うようにしている。

なお、本実施形態では画像Ｂ１として３次元ＣＴＡ画像、画像Ｃ１として３次元ＭＲＡ画像を用いているが、画像Ｂ１として３次元ＣＴ画像、画像Ｃ１として解剖的な情報を把握し易い画像（例えばＭＲＩ Ｔ１強調画像）を用いても良い。

従って、ＣＴによる血流情報と、ＭＲＩによる機能情報を合成して表示することができ、例えば外科手術の際に手術計画を立てることに有用となる。

（その他の実施形態）
以上、本発明を実施形態に基づき説明したが、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

この発明の３次元画像処理装置の第１の実施形態を示すブロック図。 同第１の実施形態におけるＣＴ画像データとＭＲＩデータとの合成を行なう際の各画像間の処理の様子を説明するために示す図。 同第１の実施形態において、ＣＴ画像データとＭＲＩデータとの合成を行なう際の３次元画像処理装置の制御手順を示すフローチャート。 同第１の実施形態における合成画像を示す図。 この発明の３次元画像処理装置の第２の実施形態を示すブロック図。 この発明の３次元画像処理装置の第４の実施形態を示すブロック図。 この発明の３次元画像処理装置の第６の実施形態を示すブロック図。 同第６の実施形態におけるＰＥＴ画像データと機能データとの合成を行なう際の各画像間の処理の様子を説明するために示す図。 この発明の第７の実施形態におけるPerfusion ＣＴ画像データと機能データとの合成を行なう際の各画像間の処理の様子を説明するために示す図。

符号の説明

１…３次元画像処理装置、２…ＣＴ装置、３…ＭＲＩ装置、４…Ｘ線アンギオ装置、５…ＰＥＴ−ＣＴ装置、１１…制御部、１２…記憶部、１３…Ａ／Ｄ（アナログ／デジタル）変換部、１４…入力デバイス、１５…アフィン変換部、１６…Ｄ／Ａ（デジタル／アナログ）変換部、１７…表示部、１８…位置ずれ算出部、１９…画像合成部。

Claims (6)

1. 被検体に関し互いに診断モードが異なり、放射線を検出することにより生成された３次元画像データと、この３次元画像データとは収集・再構成する装置が異なるＭＲＩ（Magnetic Resonance Imaging）形態画像データとから、共通となる前記被検体の部位を抽出し、これら共通の部位を表す部位画像データ間で相互相関演算を行って最小の位置ずれを求める第１の位置ずれ演算手段と、
   被検体に関し互いに診断モードが異なり、当該被検体に関する３次元画像を収集・再構成する装置が同一となる前記ＭＲＩ形態画像データとＭＲＩ機能画像データとの位置ずれを求める第２の位置ずれ演算手段と、
   これら第１及び第２の位置ずれ演算手段で求められた位置ずれ情報に基づいて、前記３次元画像データと前記ＭＲＩ機能画像データとの位置ずれを求める第３の位置ずれ演算手段とを具備したことを特徴とする３次元画像処理装置。
2. さらに、前記第３の位置ずれ演算手段により求められた位置ずれ情報に基づいて、前記３次元画像データと前記ＭＲＩ機能画像データとを合成して表示する表示手段を備えたことを特徴とする請求項１記載の３次元画像処理装置。
3. 前記３次元画像データは、ＣＴ(Computed Tomography)画像データ、３次元ＣＴＡ画像データ、マスク３Ｄ画像データ、３Ｄ−ＤＳＡ画像データ、ＰＥＴ(Positron Emission Tomography)−ＣＴ画像データの少なくとも１つを表すことを特徴とする請求項１記載の３次元画像処理装置。
4. 前記３次元画像データと、前記ＭＲＩ機能画像データとは、異なるモダリティで撮影、再構成された画像であることを特徴とする請求項１記載の３次元画像処理装置。
5. 被検体に関し互いに診断モードが異なり、放射線を検出することにより生成された３次元画像データと、この３次元画像データとは収集・再構成する装置が異なるＭＲＩ（Magnetic Resonance Imaging）形態画像データとから、共通となる前記被検体の部位を抽出し、これら共通の部位を表す部位画像データ間で相互相関演算を行って最小の位置ずれを求め、
   被検体に関し互いに診断モードが異なり、当該被検体に関する３次元画像を収集・再構成する装置が同一となる前記ＭＲＩ形態画像データとＭＲＩ機能画像データとの位置ずれを求め、
   これら位置ずれ情報に基づいて、前記３次元画像データと前記ＭＲＩ機能画像データとの位置ずれを求めることを特徴とする３次元画像処理方法。
6. ３次元画像データの画像処理を行う３次元画像処理装置のメモリに記録される制御プログラムであって、
   被検体に関し互いに診断モードが異なり、放射線を検出することにより生成された３次元画像データと、この３次元画像データとは収集・再構成する装置が異なるＭＲＩ（Magnetic Resonance Imaging）形態画像データとから、共通となる前記被検体の部位を抽出し、これら共通の部位を表す部位画像データ間で相互相関演算を行って最小の位置ずれを求める第１のステップと、
   被検体に関し互いに診断モードが異なり、当該被検体に関する３次元画像を収集・再構成する装置が同一となる前記ＭＲＩ形態画像データとＭＲＩ機能画像データとの位置ずれを求める第２のステップと、
   これら第１及び第２のステップで求められた位置ずれ情報に基づいて、前記３次元画像データと前記ＭＲＩ機能画像データとの位置ずれを求める第３のステップとを具備したことを特徴とする制御プログラム。

Images