JP3878456B2

JP3878456B2 - Diagnostic imaging support system

Info

Publication number: JP3878456B2
Application number: JP2001348507A
Authority: JP
Inventors: 鉄二塚元; 浩橋本
Original assignee: GE Medical Systems Global Technology Co LLC
Current assignee: GE Medical Systems Global Technology Co LLC
Priority date: 2001-11-14
Filing date: 2001-11-14
Publication date: 2007-02-07
Anticipated expiration: 2021-11-14
Also published as: JP2003144412A

Description

【０００１】
【発明の属する技術分野】
本発明は、磁気共鳴撮像（ＭＲＩ：Magnetic Resonance Imaging）装置による画像（以下、ＭＲ画像という）、および超音波撮像装置による画像（以下、ＵＳ画像という）を合成して、医師の診断を支援する画像診断支援システムおよびその合成のための画像処理方法に関するものである。
【０００２】
【従来の技術】
ＭＲＩ装置では、静磁場空間に被検体を収容し、磁気共鳴を利用して被検体の被検部位を撮像する。
具体的には、励起パルスで被検体内のスピン（ｓｐｉｎ）を励起し、それによって生じる磁気共鳴信号を、たとえばスピンエコー（ｓｐｉｎｅｃｈｏ）またはグラディエントエコー（ｇｒａｄｉｅｎｔｅｃｈｏ）として２次元フーリエ空間に収集する。
磁気共鳴信号には、いわゆるビュー（ｖｉｅｗ）毎に異なる位相エンコードを付与し、２次元フーリエ空間において位相軸上の位置が異なる複数のビューのエコーデータをそれぞれ収集する。
そして、収集した全ビューのエコーデータを２次元逆フーリエ変換することにより、画像を再構成し、再構成画像を表示装置に表示する。
【０００３】
また、超音波撮像装置では、超音波プローブを被検体の被検部位に当接させて被検体に超音波を送波し、たとえば被検体内での非線形効果による高調波エコーに基づいて画像を生成し、表示装置に表示する。
【０００４】
これらのＭＲＩ装置および超音波撮像装置は、同じ電磁波シールド内で使用可能であるが、それぞれに装置が独立に画像を収集して表示するような形態で利用され、それぞれの画像は個別に医師等の検査時や手術中の診断の判定に用いられていた。
【０００５】
【発明が解決しようとする課題】
ところで、このような利用形態では、検査中や手術中に個別に装置を使い分ける必要があり、操作が煩雑であることから、ＭＲＩ装置の撮影断層像に応じた超音波撮影断面を容易に収集し、両画像を合成表示して診断に有用な画像を得ることが可能な超音波およびＭＲＩ複合診断装置が提案されている（たとえば、特開平９−２４０３４号公報、特開平９−２４０３５号公報参照）。
【０００６】
この超音波およびＭＲＩ複合診断装置は、ＭＲ画像とＵＳ画像を合成表示するのであるが、ＭＲ画像とＵＳ画像には、以下に示すような長所と短所を有することから、両画像を単に合成するだけでは、両者の画像情報の矛盾等から真に有用な画像をリアルタイムに得ることは困難である。
【０００７】
すなわち、ＭＲＩ装置は、一般に軟部組織のコントラスト分解能に優れており、高空間分解能画像を得ることができるが、撮像時間が超音波診断装置に比べて長いという欠点がある。
超音波診断装置は、リアルタイムイメージングが可能であるが、ＭＲ画像に比べて画像が粗いとい欠点がある。
【０００８】
また、上記提案された超音波およびＭＲＩ複合診断装置において、たとえばＭＲＩ装置で形態的な情報を取得し、超音波撮像装置のドップラモードの画像を重ね合わせる場合を想定すると、生体を撮像対象とすることから、呼吸や突発的な運動により相互の位置ずれが起きる可能性が容易に推察できる。
【０００９】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、ＭＲＩ装置と超音波撮像装置の画像情報から真に有用な合成画像をリアルタイムに得ることは可能な画像診断支援システムおよび画像処理方法を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点は、異なる撮像装置で撮像された被検体の被検部位の複数の画像データを整合処理する画像診断支援システムであって、静磁場空間に被検体を収容し、磁気共鳴信号を得るパルスシーケンスでデータを収集し、収集したデータに基づいて画像を生成する磁気共鳴撮像装置と、被検体に超音波を送波し画像を生成する超音波撮像装置と、上記超音波撮像装置による被検部位の超音波画像データを用いて、上記超音波画像の特徴を抽出し、当該特徴情報と整合させるように、上記磁気共鳴撮像装置で事前に取得された磁気共鳴画像を変形させて、磁気共鳴画像を補正する画像整合装置とを有する。
【００１１】
第１の観点では、上記画像整合装置により補正された磁気共鳴画像を表示する表示装置を有する。
【００１２】
また、第１の観点では、上記画像整合装置は、上記磁気共鳴撮像装置で事前に取得された磁気共鳴画像データを記憶する記憶装置を有し、上記画像整合装置は、上記記憶装置から読み出した磁気共鳴画像に対して上記補正処理を行う。
【００１３】
また、第１の観点では、上記画像整合装置は、上記磁気共鳴撮像装置で事前に取得された磁気共鳴画像データを記憶する記憶装置と、上記超音波撮像装置による被検部位の超音波画像データから超音波画像の特徴を抽出する特徴抽出部と、事前に取得され上記記憶装置に保持された磁気共鳴画像を読み出し、上記特徴抽出部で抽出された超音波画像の特徴情報と整合させるように、読み出した磁気共鳴画像を変形させて、超音波画像との矛盾をなくした補正磁気共鳴画像を生成する磁気共鳴画像補正部とを有する。
【００１４】
また、第１の観点では、上記磁気共鳴撮像装置は、励起パルスで被検体内のスピンを励起することよって生じる磁気共鳴信号を、エコーデータとして２次元フーリエ空間に収集し、収集したエコーデータを２次元逆フーリエ変換することにより、画像を再構成して上記画像整合装置に出力する。
【００１５】
また、第１の観点では、上記超音波撮像装置は、超音波プローブを通して得られたエコー受信信号に基づいてＢモード画像データをリアルタイムに生成して上記画像整合装置に出力する。
【００１６】
本発明の第２の観点は、異なる撮像装置で撮像された被検体の被検部位の複数の画像データを整合処理する画像処理方法であって、磁気共鳴撮像装置における静磁場空間に被検体を収容し、磁気共鳴信号を得るパルスシーケンスでデータを収集し、収集したデータに基づいて画像を生成することにより磁気共鳴画像データを事前に取得しておき、超音波撮像装置により、被検体に超音波を送波して超音波画像データをリアルタイムに生成し、生成された超音波画像の特徴を抽出し、上記抽出した特徴情報と整合させるように、上記事前に取得された磁気共鳴画像を変形させて、磁気共鳴画像を補正する。
【００１７】
第２の観点では、上記補正された磁気共鳴画像を表示する。
【００１８】
また、第２の観点では、上記磁気共鳴画像データは、励起パルスで被検体内のスピンを励起することよって生じる磁気共鳴信号を、エコーデータとして２次元フーリエ空間に収集し、収集したエコーデータを２次元逆フーリエ変換することにより、画像を再構成して生成する。
【００１９】
また、第２の観点では、上記超音波画像データは、超音波プローブを通して得られたエコー受信信号に基づいてＢモード画像データをリアルタイムに形成して生成する。
【００２０】
本発明によれば、まず、磁気共鳴撮像装置において、静磁場空間に被検体が収容され、励起パルスで被検体内のスピンを励起することよって生じる磁気共鳴信号が、エコーデータとして２次元フーリエ空間に収集される。そして、収集したエコーデータが２次元逆フーリエ変換され、これにより、画像が再構成されて画像整合装置に出力される。
画像整合装置では、磁気共鳴撮像装置による高分解能、高コントラスト分解能の磁気共鳴画像データがたとえば記憶装置に一端記憶される。
次に、超音波撮像装置の超音波プローブを通して得られたエコー受信信号に基づいてＢモード画像データがリアルタイムに形成され、生成された超音波画像データが画像整合装置に出力される。
画像整合装置では、超音波撮像装置によりリアルタイムに得られる超音波画像データを受けて、特徴抽出部により超音波画像から、たとえば被検部位の臓器の境界などの特徴点（線）が抽出され、磁気共鳴画像補正部に出力される。
磁気共鳴画像補正部では、超音波画像の特徴から、その情報と整合させるように記憶装置に格納されている事前に取得された磁気共鳴画像が変形されて、超音波画像と矛盾をなくした補正磁気共鳴画像が生成される。
この補正され、リアルタイムに生成された超音波画像と整合され、両画像間に矛盾がなく、しかも高分解能、高コントラスト分解能の磁気共鳴画像が表示装置に表示される。
【００２１】
【発明の実施の形態】
以下、本発明の実施形態に係る画像診断支援システムについて図面に関連付けて説明する。
【００２２】
図１は、本発明に係る画像診断支援システムの一実施形態を示す構成図である。
本画像診断支援システム１は、図１に示すように、ＭＲＩ装置２、超音波撮像装置３、画像整合装置４、および表示装置５を有している。
なお、本実施形態では、超音波撮像装置３は、被検体内での非線形効果による高調波エコーに基づいて画像を生成する装置を例に説明するが、本発明は他の超音波撮像装置にも適用することができる。
【００２３】
ＭＲＩ装置２は、静磁場空間に被検体を収容し、磁気共鳴を利用して被検体の被検部位に、励起パルスで被検体内のスピン（ｓｐｉｎ）を励起し、それによって生じる磁気共鳴信号を、たとえばスピンエコー（ｓｐｉｎｅｃｈｏ）またはグラディエントエコー（ｇｒａｄｉｅｎｔｅｃｈｏ）として２次元フーリエ空間に収集し、収集した全ビューのエコーデータを２次元逆フーリエ変換することにより、画像を再構成し、再構成画像データを信号Ｓ２として画像整合装置４に供給するとともに、表示部に表示する。
【００２４】
図２は、本実施形態に係るＭＲＩ装置２の構成例を示す図である。
【００２５】
本実施形態に係るＭＲＩ装置２は、図２に示すように、マグネットからの放射電磁波の洩漏や外乱電磁波の進入を防止する閉空間を形成した図示しないスキャンルームに配設される本体装置２Ａ、およびたとえばスキャンルームに隣接して設けられた操作ルーム内のオペレータＯＰが操作等するオペレータコンソール２Ｂを主構成要素として有している。
【００２６】
本体装置２Ａは、図２に示すように、マグネットシステム２１、ＲＦ駆動部２２、勾配駆動部２３、データ収集部２４、制御部２５、およびクレードル２６を有している。
【００２７】
マグネットシステム２１は、図２に示すように、上下の磁石に挟まれた内部空間（ギャップ：ｇａｐ）２１１を有し、ギャップ２１１内には、クッションを介して被検体６を載せたクレードル２６が図示しない搬送部によって搬入される。
【００２８】
マグネットシステム２１内には、図２に示すように、ギャップ２１１内のマグネットセンタ（走査する中心位置）の周囲に、主磁場マグネット部２１２ａ，２１２ｂ、勾配コイル部２１３ａ，２１３ｂ、およびＲＦコイル部２１４ａ，２１４ｂが配置されている。
【００２９】
主磁場マグネット部２１２ａ，２１２ｂ、勾配コイル部２１３ａ，２１３ｂ、およびＲＦコイル部２１４ａ，２１４ｂのそれぞれは、検査時に被検体６が位置するギャップ２１１内の空間を挟んで対向する１対のコイルからなる。
【００３０】
主磁場マグネット部２１２ａ，２１２ｂは、ギャップ２１１内に静磁場を形成する。静磁場の方向は、たとえば概ね被検体６の体軸方向と直交する方向である。すなわち、垂直磁場を形成する。主磁場マグネット部２１２ａ，２１２ｂを構成する一対の主磁場マグネットは、たとえば永久磁石などを用いて構成される。
【００３１】
勾配コイル部２１３ａ，２１３ｂは、ＲＦコイル部２１４ａ，２１４ｂが受信する磁気共鳴信号に３次元の位置情報を持たせるために、主磁場マグネット部２１２ａ，２１２ｂが形成した静磁場の強度に勾配を付加する勾配磁場を発生する。勾配コイル部２１３ａ，２１３ｂが発生する勾配磁場は、スライス（ｓｌｉｃｅ）勾配磁場、リードアウト（ｒｅａｄｏｕｔ）勾配磁場およびフェーズエンコード（ｐｈａｓｅｅｎｃｏｄｅ）勾配磁場の３種類であり、これら３種類の勾配磁場に対応して勾配コイル部２１３は３系統の勾配コイルを有する。
【００３２】
ＲＦコイル部２１４ａ，２１４ｂは、主磁場マグネット部２１２が形成した静磁場空間内で被検体６の体内にスピンを励起するための高周波磁場を形成する。ここで、高周波磁場を形成することをＲＦ励起信号の送信という。ＲＦコイル部２１４は、被検体６の体内に励起されたスピンが生じる電磁波を磁気共鳴信号として受信する。
ＲＦコイル部２１４は、図示しない送信用コイルおよび受信用コイルを有する。送信用コイルおよび受信用コイルは、同じコイルを兼用するかあるいはそれぞれ専用のコイルを用いる。
【００３３】
なお、本実施形態に場合、ＲＦコイル部２１４ａ，２１４ｂは、ＲＦ駆動部２２によるプロトコル対応の駆動信号ＤＲ１を受けて高周波磁場を形成する。
磁気共鳴撮影処理においては、１繰り返し時間（ＴＲ；ｒｅｐｅｔｉｔｉｏｎｔｉｍｅ）毎に用いるパルスシーケンス（スキャンシーケンス）の数は、被検部位毎に対応して設定されたプロトコルによって異なる。
たとえば頭部等の被検部位に応じたプロトコル毎に、それぞれ異なる回数、たとえば６４回〜５１２回繰り返されて、６４ビューから５１２ビューのビューデータが得られる。
【００３４】
ＲＦ駆動部２２は、制御部２５の指示に基づいたプロトコル対応の駆動信号ＤＲ１をＲＦコイル部２１４ａ，２１４ｂに与えてＲＦ励起信号を発生させて、被検体６の体内のスピンを励起する。
【００３５】
勾配駆動部２３は、制御部２５の指示に基づいたプロトコル対応の駆動信号ＤＲ２を勾配コイル部２１３ａ，２１３ｂに与えて勾配磁場を発生させる。
勾配駆動部２３は、勾配コイル部２１３の３系統の勾配コイルに対応して、図示しない３系統の駆動回路を有する。
【００３６】
データ収集部２４は、ＲＦコイル部２１４ａ，２１４ｂが受信した受信信号を取り込み、それをビューデータ（ｖｉｅｗｄａｔａ）として収集して、オペレータコンソール２Ｂのデータ処理部２７に出力する。
【００３７】
制御部２５は、オペレータコンソール２Ｂのデータ処理部２７から送られてくる被検体６の被検部位に対応した実行すべきプロトコルに即して、あらかじめ決められた繰り返し時間ＴＲ内において所定のパルスシーケンスが所定回数繰り返される駆動信号ＤＲ１をＲＦコイル部２１４に印加するようにＲＦ駆動部２２を制御する。
同様に、制御部２５は、実行すべきプロトコルに即して、１ＴＲ内に、所定のパターンのパルス信号を勾配コイル２１３ａ，２１３ｂに印加するように勾配駆動部２３を制御する。
また、制御部２５は、ＲＦコイル部２１４ａ，２１４ｂが受信した受信信号を取り込み、それをビューデータ（ｖｉｅｗｄａｔａ）として収集して、オペレータコンソール２Ｂのデータ処理部２７に出力するように、データ収集部２４を制御する。
【００３８】
この磁気共鳴撮像用パルスシーケンスは、いわゆるスピンエコー（ＳＥ：ＳｐｉｎＥｃｈｏ）法、グラディエントエコー（ＧＲＥ：ＧＲａｄｉｅｎｔＥｃｈｏ）法、ファーストスピンエコー（ＦＳＥ：ＦａｓｔＳｐｉｎＥｃｈｏ）法、ファーストリカバリＳＥ（ＦａｓｔＲｅｃｏｖｅｒｙＳｐｉｎＥｃｈｏ）法、エコープラナー・イメージング（ＥＰＩ：ＥｃｈｏＰｌａｎａｒＩｍａｇｉｎｇ）法等、各撮像方法によって異なる。
【００３９】
ここで、各撮像方法のパルスシーケンスのうち、ＳＥ法のパルスシーケンスについて、図３に関連付けて説明する。
図３（ａ）はＳＥ法におけるＲＦ励起用の９０°パルスおよび１８０°パルスのシーケンスであり、ＲＦ駆動部２２がＲＦコイル部２１４に印加する駆動信号ＤＲ１に相当する。
図３（ｂ）、（ｃ）、（ｄ）、および（ｅ）は、それぞれスライス勾配Ｇｓ、リードアウト勾配Ｇｒ、フェーズエンコード勾配Ｇｐ、およびスピンエコーＭＲのシーケンスであり、スライス勾配Ｇｓ、リードアウト勾配Ｇｒ、およびフェーズエンコード勾配Ｇｐのパルスは、勾配駆動部２３が勾配コイル部２１３に印加する駆動信号ＤＲ２に相当する。
【００４０】
図３（ａ）に示すように、ＲＦ駆動部２２によりＲＦコイル部２１４ａ，２１４ｂに対して９０°パルスが印加され、スピンの９０°励起が行われる。このとき、図３（ｂ）に示すように、勾配駆動部２３により勾配コイル部２１３ａ，２１３ｂに対してスライス勾配パルスＧｓが印加され、所定のスライスについて選択励起が行われる。
図３（ａ）に示すように、９０°励起から所定の時間後に、ＲＦ駆動部２２によりＲＦコイル部２１４ａ，２１４ｂに対して１８０°パルスが印加され、１８０°励起、すなわちスピン反転が行われる。このときも、図３（ｂ）に示すように、勾配駆動部２３により勾配コイル部２１３ａ，２１３ｂに対してスライス勾配パルスＧｓが印加され、同じスライスについて選択的な反転が行われる。
【００４１】
図３（ｃ）および（ｄ）に示すように、９０°励起とスピン反転の間の期間に、勾配駆動部２３により勾配コイル部２１３ａ，２１３ｂに対してリードアウト勾配パルスＧｒ、およびフェーズエンコード勾配パルスＧｐが印加される。
そして、リードアウト勾配パルスＧｒによりスピンのディフェーズが行われ、フェーズエンコード勾配パルスＧｐによりスピンのフェーズエンコードが行われる。
【００４２】
スピン反転後、図３（ｃ）に示すように、勾配駆動部２３により勾配コイル部２１３ａ，２１３ｂに対してリードアウト勾配パルスＧｒが印加されて、リフェーズされて、図３（ｅ）に示すように、スピンエコーＭＲが発生される。
このスピンエコーＭＲは、データ収集部２４によりビューデータとして収集される。
【００４３】
制御部２５は、このようなパルスシーケンスで、実行プロトコルに応じて、周期ＴＲでたとえば６４〜５１２回繰り返すように、ＲＦ駆動部２２、勾配駆動部２３、およびデータ収集部２４を制御する。
また、制御部２５は、繰り返しのたびに、フェーズエンコード勾配パルスＧｐを変更し、毎回異なるフェーズエンコードを行うように、制御を行う。
【００４４】
オペレータコンソール２Ｂは、図２に示すように、データ処理部２７、操作部２８、および表示部２９を有している。
【００４５】
データ処理部２７は、データ収集部２４から取り込んだデータをメモリに記憶する。メモリ内にはデータ空間が形成される。メモリに形成されるデータ空間は、２次元フーリエ空間を構成する。データ処理部２７は、これら２次元フーリエ空間のデータを２次元逆フーリエ変換、すなわちフーリエ周波数空間から実空間への変換を行って、被検体６の画像を生成（再構成）する。そして、データ処理部２７は、再構成画像を信号Ｓ２として画像整合装置４に供給する。なお、２次元フーリエ空間をｋスペースともいう。
【００４６】
データ処理部２７には、制御部２５が接続されており、制御部２５の上位にあってそれを統括する。
データ処理２７には、また、操作部２８、および表示部２９が接続されている。
【００４７】
操作部２８は、ポインティングデバイスを備えたキーボードやマウス等により構成され、オペレータＯＰの操作に応じた操作信号をデータ処理部２７に出力する。また、操作部２８からは、たとえば上述した実行すべきプロトコルの入力が行われる。データ処理部２７は、操作部２８から入力されたプロトコルに関する情報（プロトコル番号等）を制御部２５に供給する。
【００４８】
表示部２９は、グラフィックディスプレイ等により構成され、操作部２８からの操作信号に応じて、本体装置２Ａの動作状態に応じた所定の情報を表示する。
【００４９】
超音波撮像装置３は、超音波プローブを被検体の被検部位に当接させて被検体に超音波を送波し、被検体内での非線形効果による高調波エコーに基づいて画像を生成し、生成した画像データを信号Ｓ３として画像整合装置４に供給するとともに、表示部に表示する。
【００５０】
図４は、本実施形態に係る超音波撮像装置３の構成例を示す図である。
【００５１】
超音波撮像装置３は、図４に示すように、超音波プローブ３１、送受信部３２、Ｂモード処理部３３、画像処理部３４、表示部３５、制御部３６、および操作部３７を有している。
【００５２】
超音波プローブ３１は、被検体６に当接されて超音波の送受波に使用される。超音波プローブ３１は、図示しない超音波トランスデューサアレイ(transducerarray)を有する。超音波トランスデューサアレイは、複数の超音波トランスデューサをアレイ状に配列して構成される。個々の超音波トランスデューサは、たとえばＰＺＴ（チタン(Ti)酸ジルコン(Zr)酸鉛）セラミックス(ceramics)等の圧電材料で構成される。
超音波プローブ３１は、ケーブル３８により送受信部３２に接続されている。
【００５３】
送受信部３２は、超音波ブローブ３１に駆動信号を与えて、超音波を送波させ、また、超音波プローブ３１が受波したエコーを受信する。
【００５４】
図５は、図４の送受信部３２の構成例を示す図である。
送受信部３２は、図５に示すように、送波タイミング発生回路３２１、送波ビームフォーマ３２２、送受切換回路３２３、および受信ビームフォーマ３２４を有している。
【００５５】
送波タイミング発生回路３２１は、送波タイミング信号Ｓ３２１を周期的に発生して送波ビームフォーマ３２２に供給する。
送波ビームフォーマ３２２は、送波タイミング信号Ｓ３２１に基づいて、送波ビームフォーミング信号、すなわち、超音波トランスデューサアレイ中の送波アパーチャ(aperture)を構成する複数の超音波トランスデューサを時間差をもって駆動する複数の駆動信号Ｓ３２２を発生し、送受切換回路３２３に出力する。
【００５６】
送受切換回路３２３は、複数の駆動信号Ｓ３２２を超音波プローブ３１の超音波トランスデューサアレイにケーブル３８を介して送信する。アレイ中の送波アパーチャを構成する複数の超音波トランスデューサは、複数の駆動信号の時間差に対応した位相差を持つ複数の超音波をぞれぞれ発生する。それら超音波の波面合成により超音波ビームが形成される。
超音波ビームの送波は、送波タイミング発生回路３２１が発生する送波タイミング信号Ｓ３２１により、所定の時間間隔で繰り返し行われる。
そして、超音波ビームの方位は送波ビームフォーマ３２２によって順次変更される。
それにより、被検体６の内部が、超音波ビームが形成する音線によって走査される。すなわち被検体６の内部が音線順次で走査される。
【００５７】
また、送受切換回路３２３は、超音波トランスデューサアレイ中の受波アパーチャが受波した複数のエコー信号を受波ビームフォーマ３２４に入力する。
受波ビームフォーマ３２４は、複数の受波エコーに時間差を付与して位相を調整し次いでそれら加算して、音線に沿ったエコー受信信号の形成、すなわち、受波のビームフォーミングを行う。受波ビームフォーマ３２４により、受波の音線も送波に合わせて走査される。
受波ビームフォーマ３２４は、各音線毎のエコー受信信号をＢモード処理部３３に出力する。
【００５８】
以上の、送波タイミング発生回路３２１、送波ビームフォーマ３２２、送受切換回路３２３、および受信ビームフォーマ３２４は、制御部３６の制御信号ＣＴＬによって制御される。
【００５９】
Ｂモード処理部３３は、送受信部３２の受波ビームフォーマ３２４による各音線毎のエコー受信信号を受けて、Ｂモード画像データを形成する。
【００６０】
図６は、図４のＢモード処理部３３の構成例を示す図である。
Ｂモード処理部３３は、図６に示すように、基本波処理部３３１および高調波処理部３３２を有している。基本波処理部３３１および高調波処理部３３２には、受波ビームフォーマ３２４の出力信号が共通に入力される。
【００６１】
基本波処理部３３１は、基本波エコー、すなわち送波超音波の中心周波数と同じ周波数を持つエコー受信信号を通過させる図示しないフィルタを有する。
高調波処理部３３２は、高調波エコー、すなわち送波超音波の中心周波数のたとえば２次の高調波（第２高調波）と同じ周波数を持つエコー受信信号を通過させる図示しないフィルタを有する。なお、このフィルタは、必要に応じて３次またはそれ以上の高次の高調波に対応するものとしても良いのは勿論である。
【００６２】
基本波処理部３３１は、入力信号につき、基本波エコーを対数増幅および包路線検波することにより、音線上の個々の反射点でのエコーの強度を表す信号、すなわちＡスコープ信号を得て、このＡスコープ信号の各瞬時の振幅をそれぞれ輝度値として、Ｂモード画像データを形成する。すなわち基本波処理部３３１は基本波エコーに基づくＢモード画像データを生成し、画像処理部３４に出力する。
【００６３】
高調波処理部３３２は、入力信号につき、第２高調波エコーを対数増幅および包絡線検波することにより、音線上の個々の反射点でのエコーの強度を表す信号すなわちＡスコープ信号を得て、このＡスコープ信の各瞬時の振幅をそれぞれ輝度値として、Ｂモード画像データを形成する。すなわち高調波処理部３３２は、第２高調波エコーに基づくＢモード画像データをそれぞれ生成し、画像処理部３４に出力する。
【００６４】
画像処理部３４は、Ｂモード処理部３３から入力される複数系統のＢモード画像データに基づいて複数のＢモード画像をそれぞれ生成し、生成したＢモード画像データを信号Ｓ３として画像処理装置４に出力する。
【００６５】
図７は、図４の画像処理部３４の構成例を示す図である。
画像処理部３４は、図７に示すように、バス３４１によって接続された音線データメモリ３４２、ディジタル・スキャンコンバータ３４３、画像メモリ３４４、および画像処理プロセッサ３４５を有している。
【００６６】
Ｂモード処理部３３から音線毎に入力された基本波エコーおよび第２高調波エコーによるＢモード画像データは、音線データメモリ３４２にそれぞれ記憶される。音線データメモリ３４２内にはそれぞれの音線デー夕空間が形成される。
【００６７】
ディジタル・スキャンコンバータ３４３は、走査変換により音線データ空間のデータを物理空間のデータに変換する。
ディジタル・スキャンコンバータ３４３によって変換された画像データは、画像メモリ３４４に記憶される。すなわち、画像メモリ３４４は、物理空間の画像データを記憶する。
画像処理プロセッサ３４５は、音線データメモリ３４２および画像メモリ３４４のデータについてそれぞれ所定のデータ処理を施す。
【００６８】
また、画像処理部３４には、表示部３５が接続されている。
表示部３５は、画像処理部３４から画像信号が与えられ、それに基づいて画像を表示する。表示部３５は、たとえばカラー画像が表示可能なグラフィックディスプレイ等によって構成される。
【００６９】
制御部３６は、送受信部３２、Ｂモード処理部３３、画像処理部３４、および表示部３５の各部に制御信号ＣＴＬを与えてその動作を制御する。
また、制御部３６には、被制御の各部から各種の報知信号が入力される。
そして、制御部３６による制御の下で、超音波撮像が遂行される。
さらに、制御部３６には操作部３７が接続されている。
操作部３７は操作者によって操作され、制御部３６に所望の指令や情報を入力する。操作部３７は、たとえばキーボードやその他の操作具を備えた操作パネルで構成される。
【００７０】
画像整合装置４は、たとえばワークステーション等により構成され、ＭＲＩ装置２により事前に取得された、たとえば図８（ａ）に示すような、血管▲１▼、腫瘍▲２▼、体表▲３▼、並びに検査のために被検体内に挿入された生検針体▲４▼を含むの臓器に関する高分解能、高コントラスト分解能のＭＲ画像信号Ｓ２を受けて一旦記憶装置等に蓄積しておき、超音波撮像装置３によりリアルタイムに得られるＵＳ画像信号Ｓ３を受けて、図８（ｂ）に示し詳細は後述するように、ＵＳ画像から臓器の境界などの特徴点（線）を抽出し、ＵＳ画像の特徴から、その情報と整合させるように（つじつまがあうように）、事前に取得されメモリに保持したＭＲ画像を、図８（ｃ）に示すように変形させて、ＭＲ画像とＵＳ画像の画像情報間に矛盾をなくした補正ＭＲ画像を生成し、表示装置５に表示させる。
すなわち、本実施形態のように、同一対象を時間をおいて撮像した場合、それらの複数枚の画像を相互に比較するためには、正確に重ね合せをする必要がある。すなわち、画像整合装置４は、位置合わせという操作を行う。
位置合わせに際しては、ＭＲ画像とＵＳ画像のでの対応関係を明らかにしておく必要がある。
たとえばいくつかの基準点が共通に求められる場合には、これらの座標を用いて後述する座標変換方法に従って座標変換を行い、一方の画像を他方の画像に重ね合わせることができる。
【００７１】
図９は、画像整合装置４の構成例を示す図である。
画像整合装置４は、図９に示すように、事前に取得した高分解能、高コントラスト分解能のＭＲ画像信号Ｓ２を記憶するハードディスク装置等からなる記憶装置４１、超音波撮像装置３によるＵＳ画像信号Ｓ３からＵＳ画像の特徴を抽出する特徴抽出部４２、および特徴抽出部４２で抽出されたＵＳ画像の特徴から、その情報と整合させるように、記憶装置４１に保持したＭＲ画像を変形させて、ＭＲ画像とＵＳ画像の画像情報間に矛盾をなくした補正ＭＲ画像を生成するＭＲ画像補正部４３を有する。
【００７２】
なお、臓器の特徴点（線）は、図８（ａ）に示すような、血管▲１▼、腫瘍▲２▼、体表▲３▼等に基づいて検出する。
特徴抽出部４２は、たとえば位置情報および輝度データに基づいて、抽出体対象領域の形状や位置等の特徴を検出する。
なお、腫瘍▲２▼の特徴パラメータは、形状、形態、位置、エコー、およびテクスチャの５つに大別できる。
たとえば腫瘤の形状や形態の特徴パラメータをもとめるためには、輪郭抽出処理を行う。
エコーに関する特徴は、たとえば腫瘤内部、外側、後部、後部外側陰影、および同じ深さの濃度平均値と分散を求め、それらの差や比を一つの特徴パラメータとする。
また、テクスチャは、腫瘤の種類により内部組成が異なることから違いがある。テクスチャの特徴パラメータとしては、一様性、コントラスト、エントロピー、濃度相関が用いられる。テクスチャを定量化するには、たとえばフーリエ変換法、同時共起行列法、フラクタル法などが用いられる。
また、特徴パラメータである位置パラメータは、たとえば皮膚から臓器の体表▲３▼までの距離等が用いられる。
【００７３】
ＭＲ画像補正部４３がＭＲ画像を矛盾がないようにＵＳ画像に整合させる変形処理においては、以下に示すような位置合わせが行われる。
【００７４】
すなわち、上述したように本実施形態のように、同一対象を時間をおいて撮像したり、あるいは異なる撮像系や波長を用いて撮像した場合、それらの複数枚の画像を相互に比較するためには、正確に重ね合せをする必要がある。
このような操作を位置合わせという。
位置合わせに際しては、画像間での対応関係を明らかにしておく必要がある。いくつかの基準点が共通に求められる場合には、これらの座標を用いて後述する座標変換方法に従って座標変換を行い、一方の画像を他方の画像に重ね合わせることができる。
基準点が明確でない場合には、一方の画像の小領域が他方の画像内のどの領域に最も似ているかを検出することによって２枚の画像間での対応付けを行う。
基本的には、２枚の画像が平行移動で重なる関係にある場合に有効である。若干のひずみがあっても適用可能であるが、たとえば大きさが異なるなどの場合には上述したように、画像の特徴を抽出して特徴記述間のマッチングを行う。
領域域間での類似度を判定して対応点（領域）の検出を行う方法は、テンプレートマッチングと呼ばれる。
テンプレートマッチング法では基準とする画像内の小領域をテンプレートとし、他方の画像内でこのテンプレートと最も類似した領域を探し出す（マッチング）ことが行われる。
【００７５】
座標変換
幾何学的変換（変形）は、ｘ−ｙ座標系で表現された画像ｆ（ｘ，ｙ）を、別の座標系であるｕ−ｖ座標系を用いた画像ｇ（ｕ，ｖ）に変換する座標変換の問題として扱うことができる。
すなわち、図１０（ａ），（ｂ）に示すように、画像２中の座標（ｕ，ｖ）にある画素P ’が、画像１中の座標（ｘ，ｙ）にある画素P に対応するとする。このとき、座標変換を表現する関数ｐ（ｘ，ｙ）、ｑ（ｘ，ｙ）を用いて、次のように表現できる。
【００７６】
【数１】
ｕ＝ｐ（ｘ，ｙ）
ｖ＝ｑ（ｘ，ｙ） …（１）
【００７７】
関数ｐ，ｑとしては、次の与え方がある。
(1) 平行移動、回転拡大・縮小などあらかじめ変換式が与えられている場合、
(2) 基準となる画像( たとえば正方格子状のパターン) を撮像し、撮像系におけるひずみ特性を解析的に求める場合、
(3) 互いに位置を合わせようとする画像相互で対応する点を指定し、これらの対応関係から変換式を推定する場合、
である。
【００７８】
(3) の場合、変換式としてはたとえば次式で表現される多項式表現が用いられる。
【００７９】
【数２】

【００８０】
画像１と２とで対応する点の組（ｘ_k ，ｙ_k ），（ｕ_k ，ｖ_k ）を複数求め、式（２）に代入してａ_ij、ｂ_ijに関する連立方程式をたてる。これを最小２乗法を用いて解くことにより係数ａ_ij、ｂ_ijの値が求まり変換式が確定する。
【００８１】
次に、上記構成による動作を説明する。
【００８２】
先ず、クッションを介してクレードル２６上に載せられた被検体６が、図示しない搬送部によって、本体装置２０のマグネットシステム２１のギャップ２１１内に搬入される。
【００８３】
次に、被検体６の被検部位、たとえば腹部をギャップ２１１内のマグネットセンタに位置させる。このとき、マグネットセンタを含むギャップ２１１内の所定の領域には、主磁場マグネット部２１２による静磁場が形成されている。
【００８４】
そして、オペレータＯＰにより、被検部位に対応したプロトコル情報が操作部２８から入力される。
操作部２８から入力されたプロトコルに関する情報（プロトコル番号等）がデータ処理部３１により制御部２５に供給される。
【００８５】
制御部２５では、オペレータコンソール２Ｂのデータ処理部２７により実行すべきプロトコルの指定があると、オペレータコンソール２Ｂのデータ処理部２７から送られてくる被検体６の被検部位に対応した実行すべきプロトコルに即して、あらかじめ決められた繰り返し時間ＴＲ内において所定のパルスシーケンスが所定回数繰り返される駆動信号ＤＲ１をＲＦコイル部２１４に印加するようにＲＦ駆動部２２が制御され、実行すべきプロトコルに即して、１ＴＲ内に、所定のパターンのパルス信号を勾配コイル２１３に印加するように勾配駆動部２３が制御される。
【００８６】
ＲＦ駆動部２２では、制御部２５の指示に基づいたプロトコル対応の駆動信号ＤＲ１がＲＦコイル部２１４に印加され、勾配駆動部２３では、制御部２５の指示に基づいたプロトコル対応の駆動信号ＤＲ２が勾配コイル部２１３に印加される。
【００８７】
そして、ＲＦコイル部２１４より発生された高周波磁場に基づき、被検部位のスピンが励起され、励起信号の送信を打ち切った後に外部に放射される電磁波が受信コイルで受信される。
【００８８】
これにより、被検体６の被検部位で励起されたスピンが生じる電磁波が磁気共鳴信号として取り出され、これがデータ収集部２４で収集され、検査結果のデータとしてオペレータコンソール２Ｂのデータ処理部２７に出力される。
すなわち、被検部位の撮像が行われる。
【００８９】
データ処理部２７では、データ収集部２４から入力したデータがメモリに記憶され、メモリ内にデータ空間が形成される。データ処理部２７では、これら２次元フーリエ空間のデータを２次元逆フーリエ変換して被検体６の被検部位の画像が生成（再構成）される。
そして、データ処理部２７から再構成画像が信号Ｓ２として画像整合装置４に供給される。
【００９０】
画像整合装置４では、信号Ｓ２として入力したＭＲ画像が記憶装置４１に一旦格納される。
【００９１】
次に、超音波撮像装置３により、ＭＲＩ装置２で撮像した被検体の同一被検部位が撮像される。
【００９２】
すなわち、超音波プローブ３１が被検体６の所望の個所に当接され、操作部３７を操作して撮像が行われる。
撮像は、制御部３６による制御の下で遂行される。
具体的には、たとえばセクタスキャンにより、各音線ごとに超音波ビームが送波され、そのエコーが送受信部３２で受信され、各音線のエコー受信信号に基づき、Ｂモード処理部３３でＢモード画像データが形成される。Ｂモード画像データは、基本波エコーに基づくものと第２高調波エコーに基づくものとがそれぞれ形成され、画像処理部３４の音線データメモリ３４２に記憶される。
画像処理部３４では、画像処理プロセッサ３４５により音線データメモリ３４２の複数系統のＢモード画像データが、デイジタル・スキャンコンバータ３４３で走査変換されて、それぞれ画像メモリ３４４に書き込まれる。
ここで、操作部３７を操作して、これらのＢモード画像を表示部３５に表示させる。そして、表示された基本波エコー像と第２高調波エコー像とを観察し、両画像の比較対照等により診断（検査）が行われる。第２高調波エコー像は、被検体の体表から始まる画像を含むので、基本波エコー像との比較対照を行うのに都合が良い。
また、画像処理部３４からは、生成したＢモード画像データが信号Ｓ３として画像処理装置４に出力される。
【００９３】
画像整合装置４では、上述したように、ＭＲＩ装置２により事前に取得された所定の臓器に関する高分解能、高コントラスト分解能のＭＲ画像データが記憶装置４１に格納されている。
そして、画像整合装置４では、超音波撮像装置３によりリアルタイムに得られるＵＳ画像信号Ｓ３を受けて、特徴抽出部４２によりＵＳ画像から臓器の境界などの特徴点（線）が抽出され、ＭＲ画像補正部４３に出力される。
ＭＲ画像補正部４３では、ＵＳ画像の特徴から、その情報と整合させるように記憶装置４１に格納されている事前に取得されたＭＲ画像が変形されて、ＭＲ画像とＵＳ画像の画像情報間に矛盾をなくした補正ＭＲ画像が生成される。
この補正され、リアルタイムに生成された超音波画像と整合され、両画像間に矛盾がなく、しかも高分解能、高コントラスト分解能のＭＲ画像が表示装置５に表示される。
【００９４】
そして、被検体６の被検部位のデータ収集が完了すると、図示しない搬送部によって、クレードル２６と共に被検体６がギャップ２１１の外に搬出される。
【００９５】
以上説明したように、本実施形態によれば、超音波撮像装置３によりリアルタイムに得られるＵＳ画像信号Ｓ３を受けて、特徴抽出部４２によりＵＳ画像から臓器の境界などの特徴点（線）を抽出し、ＵＳ画像の特徴から、その情報と整合させるように記憶装置４１に格納されている事前に取得されたＭＲ画像を変形させて、ＭＲ画像とＵＳ画像の画像情報間に矛盾をなくした補正ＭＲ画像を生成し、補正ＭＲ画像が表示装置５に表示する画像整合装置４を設けたので、ＭＲＩ装置と超音波撮像装置の画像情報から真に有用な高分解能、高コントラスト分解能のＭＲ画像をリアルタイムに得ることができる利点がある。
【００９６】
【発明の効果】
以上説明したように、本発明によれば、ＭＲＩ装置と超音波撮像装置の画像情報から真に有用な合成画像をリアルタイムに得ることができる利点がある。
【図面の簡単な説明】
【図１】本発明に係る画像診断支援システムの一実施形態を示す構成図である。
【図２】本実施形態に係るＭＲＩ装置の構成例を示す図である。
【図３】スピンエコー法のパルスシーケンスについて説明するためのタイミングチャートである。
【図４】本実施形態に係る超音波撮像装置の構成例を示す図である。
【図５】図４の送受信部の構成例を示す図である。
【図６】図４のＢモード処理部の構成例を示す図である。
【図７】図４の画像処理部の構成例を示す図である。
【図８】本発明に係るＭＲＩ装置によるＭＲ画像、超音波撮像装置によるＵＳ画像、および補正後のＭＲ画像を示す図である。
【図９】本発明に係る画像整合装置の構成例を示す図である。
【図１０】座標変換を説明するための図である。
【符号の説明】
１…画像診断支援システム、２…ＭＲＩ装置、２Ａ…本体装置、２１…マグネットシステム、２１１…ギャップ、２１２…主磁場マグネット部、２１３…勾配コイル部、２１４…ＲＦコイル部、２２…ＲＦ駆動部、２３…勾配駆動部、２４…データ収集部、２５…制御部、２６…クレードル、２Ｂ…オペレータコンソール、２７…データ処理部、２８…操作部、２９…表示部、３…超音波撮像装置、３１…超音波プローブ、３２…送受信部、３２１…送波タイミング発生回路、３２２…送波ビームフォーマ、３２３…送受切換回路、３２４…受波ビームフォーマ、３３…Ｂモード処理部、３３１…基本波処理部、３３２…高調波処理部、３４…画像処理部、３４１…バス、３４２…音線データメモリ、３４３…ディジタル・スキャンコンバータ、３４４…画像メモリ、３４５…画像プロセッサ、３５…表示部、３６…制御部、３７…操作部、４…画像整合装置、４１…記憶装置、４２…特徴抽出部、４３…ＭＲ画像補正部、５…表示装置、６…被検体。[0001]
BACKGROUND OF THE INVENTION
The present invention synthesizes an image (hereinafter referred to as an MR image) obtained by a magnetic resonance imaging (MRI) apparatus and an image obtained by an ultrasonic imaging apparatus (hereinafter referred to as a US image) to support a doctor's diagnosis. The present invention relates to an image diagnosis support system and an image processing method for synthesis thereof.
[0002]
[Prior art]
In an MRI apparatus, a subject is accommodated in a static magnetic field space, and a region to be examined of the subject is imaged using magnetic resonance.
Specifically, a spin in a subject is excited with an excitation pulse, and a magnetic resonance signal generated thereby is collected in a two-dimensional Fourier space, for example, as a spin echo or a gradient echo.
The magnetic resonance signal is given different phase encoding for each so-called view, and echo data of a plurality of views having different positions on the phase axis in the two-dimensional Fourier space are collected.
Then, two-dimensional inverse Fourier transform is performed on the collected echo data of all views to reconstruct the image, and the reconstructed image is displayed on the display device.
[0003]
Further, in an ultrasonic imaging apparatus, an ultrasonic probe is brought into contact with a test site of a subject and ultrasonic waves are transmitted to the subject, and an image is obtained based on, for example, a harmonic echo due to a nonlinear effect in the subject. Generate and display on the display device.
[0004]
These MRI apparatuses and ultrasonic imaging apparatuses can be used in the same electromagnetic wave shield, but are used in such a manner that each apparatus independently collects and displays images, and each image is individually used by a doctor or the like. It was used to determine the diagnosis at the time of examination and during surgery.
[0005]
[Problems to be solved by the invention]
By the way, in such a usage form, it is necessary to use the apparatus separately during examination and surgery, and the operation is complicated. Therefore, an ultrasonic imaging section corresponding to the tomographic image of the MRI apparatus can be easily collected. In addition, there has been proposed an ultrasonic and MRI combined diagnostic apparatus capable of obtaining an image useful for diagnosis by combining and displaying both images (see, for example, Japanese Patent Laid-Open Nos. 9-24034 and 9-24035). ).
[0006]
This ultrasonic and MRI combined diagnostic apparatus combines and displays MR images and US images, but MR images and US images have the advantages and disadvantages shown below, so they are simply combined. Alone, it is difficult to obtain a truly useful image in real time due to the contradiction between the image information of both.
[0007]
That is, the MRI apparatus is generally superior in contrast resolution of soft tissue and can obtain a high spatial resolution image, but has a drawback that the imaging time is longer than that of the ultrasonic diagnostic apparatus.
The ultrasonic diagnostic apparatus can perform real-time imaging, but has a drawback that the image is coarser than the MR image.
[0008]
Further, in the proposed ultrasonic and MRI combined diagnosis apparatus, assuming that, for example, morphological information is acquired by the MRI apparatus and images in the Doppler mode of the ultrasonic imaging apparatus are superimposed, a living body is set as an imaging target. Therefore, it is possible to easily infer the possibility that mutual displacement occurs due to breathing or sudden movement.
[0009]
The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image diagnosis support system and an image that can obtain a truly useful composite image in real time from image information of an MRI apparatus and an ultrasonic imaging apparatus. It is to provide a processing method.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, a first aspect of the present invention is an image diagnosis support system for performing alignment processing on a plurality of image data of a test site of a subject imaged by different imaging devices, and in a static magnetic field space A magnetic resonance imaging apparatus that collects data in a pulse sequence that contains a subject and obtains a magnetic resonance signal, generates an image based on the collected data, and an ultrasonic wave that transmits an ultrasonic wave to the subject to generate an image Using the imaging device and the ultrasound image data of the region to be examined by the ultrasound imaging device, the features of the ultrasound image are extracted and acquired in advance by the magnetic resonance imaging device so as to match the feature information. And an image matching device for correcting the magnetic resonance image by deforming the magnetic resonance image.
[0011]
In a first aspect, a display device that displays a magnetic resonance image corrected by the image matching device is provided.
[0012]
In the first aspect, the image alignment apparatus includes a storage device that stores magnetic resonance image data acquired in advance by the magnetic resonance imaging apparatus, and the image alignment apparatus reads from the storage device. The above correction processing is performed on the magnetic resonance image.
[0013]
In the first aspect, the image matching device includes a storage device that stores magnetic resonance image data acquired in advance by the magnetic resonance imaging device, and ultrasonic image data of a region to be examined by the ultrasonic imaging device. A feature extraction unit for extracting features of an ultrasonic image from the image, and a magnetic resonance image acquired in advance and stored in the storage device, and matched with feature information of the ultrasonic image extracted by the feature extraction unit And a magnetic resonance image correction unit that deforms the read magnetic resonance image to generate a corrected magnetic resonance image in which a contradiction with the ultrasonic image is eliminated.
[0014]
In the first aspect, the magnetic resonance imaging apparatus collects magnetic resonance signals generated by exciting a spin in a subject with an excitation pulse in a two-dimensional Fourier space as echo data, and the collected echo data is collected. By two-dimensional inverse Fourier transform, the image is reconstructed and output to the image matching apparatus.
[0015]
In the first aspect, the ultrasonic imaging apparatus generates B-mode image data in real time based on an echo reception signal obtained through the ultrasonic probe and outputs the B-mode image data to the image matching apparatus.
[0016]
According to a second aspect of the present invention, there is provided an image processing method for performing alignment processing on a plurality of image data of a region to be examined captured by different imaging devices, the subject being placed in a static magnetic field space in a magnetic resonance imaging device. Acquire data in a pulse sequence that is stored and obtain a magnetic resonance signal, generate an image based on the collected data, acquire magnetic resonance image data in advance, Transmit ultrasonic waves to generate ultrasonic image data in real time, extract the features of the generated ultrasonic image, and transform the previously acquired magnetic resonance image to match the extracted feature information To correct the magnetic resonance image.
[0017]
In the second aspect, the corrected magnetic resonance image is displayed.
[0018]
In the second aspect, the magnetic resonance image data is obtained by collecting magnetic resonance signals generated by exciting a spin in a subject with an excitation pulse in a two-dimensional Fourier space as echo data. An image is reconstructed and generated by performing a two-dimensional inverse Fourier transform.
[0019]
In the second aspect, the ultrasonic image data is generated by forming B-mode image data in real time based on an echo reception signal obtained through an ultrasonic probe.
[0020]
According to the present invention, first, in a magnetic resonance imaging apparatus, a subject is accommodated in a static magnetic field space, and a magnetic resonance signal generated by exciting a spin in the subject with an excitation pulse is converted into two-dimensional Fourier space as echo data. To be collected. The collected echo data is subjected to a two-dimensional inverse Fourier transform, whereby an image is reconstructed and output to the image matching apparatus.
In the image matching apparatus, high-resolution and high-contrast resolution magnetic resonance image data from the magnetic resonance imaging apparatus is temporarily stored in, for example, a storage device.
Next, B-mode image data is formed in real time based on the echo reception signal obtained through the ultrasonic probe of the ultrasonic imaging apparatus, and the generated ultrasonic image data is output to the image matching apparatus.
In the image matching device, receiving ultrasonic image data obtained in real time by the ultrasonic imaging device, the feature extraction unit extracts feature points (lines) such as the boundary of the organ of the test site from the ultrasonic image, It is output to the magnetic resonance image correction unit.
The magnetic resonance image correction unit corrects the characteristic of the ultrasonic image by deforming the previously acquired magnetic resonance image stored in the storage device so that it matches the information, and eliminating the contradiction with the ultrasonic image. A magnetic resonance image is generated.
This corrected and aligned with the ultrasonic image generated in real time, there is no contradiction between both images, and a magnetic resonance image with high resolution and high contrast resolution is displayed on the display device.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image diagnosis support system according to an embodiment of the present invention will be described with reference to the drawings.
[0022]
FIG. 1 is a configuration diagram showing an embodiment of an image diagnosis support system according to the present invention.
The image diagnosis support system 1 includes an MRI apparatus 2, an ultrasonic imaging apparatus 3, an image matching apparatus 4, and a display apparatus 5 as shown in FIG.
In the present embodiment, the ultrasonic imaging apparatus 3 is described as an example of an apparatus that generates an image based on a harmonic echo caused by a nonlinear effect in a subject, but the present invention is applied to other ultrasonic imaging apparatuses. Can also be applied.
[0023]
The MRI apparatus 2 accommodates a subject in a static magnetic field space, uses a magnetic resonance to excite a spin in the subject with an excitation pulse at a subject site of the subject, and a magnetic resonance signal generated thereby Are collected in a two-dimensional Fourier space as, for example, a spin echo or a gradient echo, and an image is reconstructed by performing a two-dimensional inverse Fourier transform on the collected echo data of all views, and reconstructed image data Is supplied to the image matching apparatus 4 as a signal S2 and displayed on the display unit.
[0024]
FIG. 2 is a diagram illustrating a configuration example of the MRI apparatus 2 according to the present embodiment.
[0025]
As shown in FIG. 2, the MRI apparatus 2 according to the present embodiment includes a main body apparatus 2A disposed in a scan room (not shown) that forms a closed space that prevents leakage of electromagnetic waves radiated from a magnet and entry of disturbance electromagnetic waves, For example, an operator console 2B operated by an operator OP in an operation room provided adjacent to the scan room is included as a main component.
[0026]
As shown in FIG. 2, the main device 2 A includes a magnet system 21, an RF drive unit 22, a gradient drive unit 23, a data collection unit 24, a control unit 25, and a cradle 26.
[0027]
As shown in FIG. 2, the magnet system 21 has an internal space (gap) 211 sandwiched between upper and lower magnets, and a cradle 26 on which the subject 6 is placed via a cushion is placed in the gap 211. It is carried in by a transport unit (not shown).
[0028]
In the magnet system 21, as shown in FIG. 2, the main magnetic

field magnet portions

212a and 212b, the gradient coil portions 213a and 213b, and the RF coil portion 214a are disposed around the magnet center (scanning center position) in the gap 211. , 214b are arranged.
[0029]
Each of the main magnetic

field magnet sections

212a and 212b, the gradient coil sections 213a and 213b, and the RF coil sections 214a and 214b is composed of a pair of coils facing each other across a space in the gap 211 where the subject 6 is located at the time of examination. .
[0030]
The main magnetic

field magnet units

212 a and 212 b form a static magnetic field in the gap 211. The direction of the static magnetic field is, for example, a direction that is substantially orthogonal to the body axis direction of the subject 6. That is, a vertical magnetic field is formed. The pair of main magnetic field magnets constituting the main magnetic

field magnet units

212a and 212b are configured using, for example, permanent magnets.
[0031]
The gradient coil sections 213a and 213b add a gradient to the strength of the static magnetic field formed by the main magnetic

field magnet sections

212a and 212b so that the magnetic resonance signals received by the RF coil sections 214a and 214b have three-dimensional position information. To generate a gradient magnetic field. There are three types of gradient magnetic fields generated by the gradient coil units 213a and 213b: a slice gradient magnetic field, a read out gradient magnetic field, and a phase encode gradient magnetic field. Correspondingly, the gradient coil unit 213 has three gradient coils.
[0032]
The RF coil units 214a and 214b form a high-frequency magnetic field for exciting spins in the body of the subject 6 within the static magnetic field space formed by the main magnetic field magnet unit 212. Here, the formation of a high-frequency magnetic field is called transmission of an RF excitation signal. The RF coil unit 214 receives electromagnetic waves generated by spins excited in the body of the subject 6 as magnetic resonance signals.
The RF coil unit 214 includes a transmission coil and a reception coil (not shown). As the transmission coil and the reception coil, either the same coil or a dedicated coil is used.
[0033]
In the present embodiment, the RF coil units 214a and 214b receive a protocol-compliant drive signal DR1 from the RF drive unit 22 and form a high-frequency magnetic field.
In the magnetic resonance imaging process, the number of pulse sequences (scan sequences) used for each repetition time (TR; repetition time) varies depending on the protocol set corresponding to each test site.
For example, the view data of 64 views is obtained from 64 views by repeating different times, for example, 64 times to 512 times, for each protocol according to the test site such as the head.
[0034]
The RF drive unit 22 applies a protocol-compliant drive signal DR1 based on an instruction from the control unit 25 to the RF coil units 214a and 214b to generate an RF excitation signal, thereby exciting the spin in the body of the subject 6.
[0035]
The gradient drive unit 23 generates a gradient magnetic field by applying a protocol-compliant drive signal DR2 based on an instruction from the control unit 25 to the gradient coil units 213a and 213b.
The gradient drive unit 23 has three drive circuits (not shown) corresponding to the three gradient coils of the gradient coil unit 213.
[0036]
The data collection unit 24 captures the reception signals received by the RF coil units 214a and 214b, collects the received signals as view data, and outputs the collected view data to the data processing unit 27 of the operator console 2B.
[0037]
The control unit 25 performs a predetermined pulse sequence within a predetermined repetition time TR in accordance with a protocol to be executed corresponding to the test site of the subject 6 sent from the data processing unit 27 of the operator console 2B. The RF drive unit 22 is controlled so as to apply the drive signal DR 1 that is repeated a predetermined number of times to the RF coil unit 214.
Similarly, the control unit 25 controls the gradient driving unit 23 so that a pulse signal having a predetermined pattern is applied to the gradient coils 213a and 213b within 1TR in accordance with the protocol to be executed.
The control unit 25 collects the received signals received by the RF coil units 214a and 214b, collects the received signals as view data, and outputs them to the data processing unit 27 of the operator console 2B. The unit 24 is controlled.
[0038]
This pulse sequence for magnetic resonance imaging includes a so-called spin echo (SE) method, a gradient echo (GRE) method, a fast spin echo (FSE) method, a fast recovery spin echo (SE) method. ) Method and Echo Planar Imaging (EPI) method.
[0039]
Here, among the pulse sequences of the respective imaging methods, the pulse sequence of the SE method will be described with reference to FIG.
FIG. 3A shows a sequence of 90 ° pulses and 180 ° pulses for RF excitation in the SE method, and corresponds to the drive signal DR 1 that the RF drive unit 22 applies to the RF coil unit 214.
FIGS. 3B, 3C, 3D, and 3E are sequences of a slice gradient Gs, a readout gradient Gr, a phase encoding gradient Gp, and a spin echo MR, respectively. The pulses of the gradient Gr and the phase encode gradient Gp correspond to the drive signal DR2 that the gradient drive unit 23 applies to the gradient coil unit 213.
[0040]
As shown in FIG. 3A, a 90 ° pulse is applied to the RF coil units 214a and 214b by the RF driving unit 22, and 90 ° excitation of spin is performed. At this time, as shown in FIG. 3B, a slice gradient pulse Gs is applied to the gradient coil units 213a and 213b by the gradient driving unit 23, and selective excitation is performed for a predetermined slice.
As shown in FIG. 3A, after a predetermined time from 90 ° excitation, a 180 ° pulse is applied to the RF coil units 214a and 214b by the RF driving unit 22, and 180 ° excitation, that is, spin inversion is performed. . Also at this time, as shown in FIG. 3B, the slice gradient pulse Gs is applied to the gradient coil units 213a and 213b by the gradient driving unit 23, and selective inversion is performed for the same slice.
[0041]
As shown in FIGS. 3C and 3D, during the period between 90 ° excitation and spin inversion, the gradient driving unit 23 causes the readout gradient pulse Gr and the phase encoding gradient to the gradient coil units 213a and 213b. A pulse Gp is applied.
Then, the spin is dephased by the read-out gradient pulse Gr, and the spin is phase-encoded by the phase encode gradient pulse Gp.
[0042]
After the spin inversion, as shown in FIG. 3C, the gradient driving unit 23 applies the read-out gradient pulse Gr to the gradient coil units 213a and 213b and rephases it, as shown in FIG. In addition, a spin echo MR is generated.
The spin echo MR is collected as view data by the data collection unit 24.
[0043]
The control unit 25 controls the RF drive unit 22, the gradient drive unit 23, and the data collection unit 24 in such a pulse sequence so as to repeat, for example, 64 to 512 times with a cycle TR according to the execution protocol.
In addition, the control unit 25 performs control so as to change the phase encoding gradient pulse Gp every time it is repeated and to perform different phase encoding each time.
[0044]
As shown in FIG. 2, the operator console 2 B includes a data processing unit 27, an operation unit 28, and a display unit 29.
[0045]
The data processing unit 27 stores the data fetched from the data collecting unit 24 in a memory. A data space is formed in the memory. The data space formed in the memory constitutes a two-dimensional Fourier space. The data processing unit 27 generates (reconstructs) an image of the subject 6 by performing two-dimensional inverse Fourier transform on the data in the two-dimensional Fourier space, that is, conversion from the Fourier frequency space to the real space. Then, the data processing unit 27 supplies the reconstructed image to the image matching device 4 as the signal S2. The two-dimensional Fourier space is also referred to as k space.
[0046]
A control unit 25 is connected to the data processing unit 27 and is superordinate to the control unit 25.
An operation unit 28 and a display unit 29 are also connected to the data processing 27.
[0047]
The operation unit 28 includes a keyboard, a mouse, and the like equipped with a pointing device, and outputs an operation signal corresponding to the operation of the operator OP to the data processing unit 27. Further, for example, the above-described protocol to be executed is input from the operation unit 28. The data processing unit 27 supplies information (protocol number or the like) related to the protocol input from the operation unit 28 to the control unit 25.
[0048]
The display unit 29 is configured by a graphic display or the like, and displays predetermined information according to the operation state of the main device 2A in accordance with an operation signal from the operation unit 28.
[0049]
The ultrasonic imaging apparatus 3 sends an ultrasonic wave to the subject by bringing the ultrasonic probe into contact with the test portion of the subject, and generates an image based on the harmonic echo due to the nonlinear effect in the subject. The generated image data is supplied to the image matching device 4 as a signal S3 and displayed on the display unit.
[0050]
FIG. 4 is a diagram illustrating a configuration example of the ultrasonic imaging apparatus 3 according to the present embodiment.
[0051]
As shown in FIG. 4, the ultrasonic imaging apparatus 3 includes an ultrasonic probe 31, a transmission / reception unit 32, a B-mode processing unit 33, an image processing unit 34, a display unit 35, a control unit 36, and an operation unit 37. Yes.
[0052]
The ultrasonic probe 31 is in contact with the subject 6 and is used for transmitting and receiving ultrasonic waves. The ultrasonic probe 31 has an ultrasonic transducer array (not shown). The ultrasonic transducer array is configured by arranging a plurality of ultrasonic transducers in an array. Each ultrasonic transducer is made of a piezoelectric material such as PZT (titanium (Ti) zirconate (Zr) acid) ceramics.
The ultrasonic probe 31 is connected to the transmission / reception unit 32 by a cable 38.
[0053]
The transmission / reception unit 32 gives a drive signal to the ultrasonic probe 31 to transmit an ultrasonic wave, and receives an echo received by the ultrasonic probe 31.
[0054]
FIG. 5 is a diagram illustrating a configuration example of the transmission / reception unit 32 of FIG.
As shown in FIG. 5, the transmission / reception unit 32 includes a transmission timing generation circuit 321, a transmission beamformer 322, a transmission / reception switching circuit 323, and a reception beamformer 324.
[0055]
The transmission timing generation circuit 321 periodically generates a transmission timing signal S321 and supplies it to the transmission beamformer 322.
The transmission beamformer 322 drives a plurality of ultrasonic transducers constituting a transmission beam forming signal, that is, a transmission aperture in the ultrasonic transducer array, with a time difference based on the transmission timing signal S321. Drive signal S322 is generated and output to the transmission / reception switching circuit 323.
[0056]
The transmission / reception switching circuit 323 transmits a plurality of drive signals S322 to the ultrasonic transducer array of the ultrasonic probe 31 via the cable 38. The plurality of ultrasonic transducers constituting the transmission aperture in the array respectively generate a plurality of ultrasonic waves having a phase difference corresponding to the time difference between the plurality of drive signals. An ultrasonic beam is formed by wavefront synthesis of these ultrasonic waves.
The ultrasonic beam is repeatedly transmitted at a predetermined time interval by a transmission timing signal S321 generated by the transmission timing generation circuit 321.
The direction of the ultrasonic beam is sequentially changed by the transmission beam former 322.
As a result, the inside of the subject 6 is scanned by sound rays formed by the ultrasonic beam. That is, the inside of the subject 6 is scanned in a sound ray sequence.
[0057]
The transmission / reception switching circuit 323 inputs a plurality of echo signals received by the reception apertures in the ultrasonic transducer array to the reception beam former 324.
The reception beamformer 324 adjusts the phase by giving a time difference to a plurality of reception echoes, and then adds them to form an echo reception signal along the sound ray, that is, perform beamforming of reception waves. The received beamformer 324 scans the received sound ray in accordance with the transmission.
The receiving beam former 324 outputs an echo reception signal for each sound ray to the B-mode processing unit 33.
[0058]
The transmission timing generation circuit 321, the transmission beamformer 322, the transmission / reception switching circuit 323, and the reception beamformer 324 described above are controlled by the control signal CTL of the control unit 36.
[0059]
The B mode processing unit 33 receives an echo reception signal for each sound ray by the reception beam former 324 of the transmission / reception unit 32 and forms B mode image data.
[0060]
FIG. 6 is a diagram illustrating a configuration example of the B-mode processing unit 33 in FIG.
As shown in FIG. 6, the B mode processing unit 33 includes a fundamental wave processing unit 331 and a harmonic processing unit 332. The fundamental wave processing unit 331 and the harmonic processing unit 332 receive the output signal of the receiving beam former 324 in common.
[0061]
The fundamental wave processing unit 331 includes a filter (not shown) that passes a fundamental wave echo, that is, an echo reception signal having the same frequency as the center frequency of the transmitted ultrasonic wave.
The harmonic processing unit 332 includes a filter (not shown) that passes a harmonic echo, that is, an echo reception signal having the same frequency as, for example, the second harmonic (second harmonic) of the center frequency of the transmitted ultrasonic wave. Needless to say, this filter may correspond to third-order or higher-order harmonics as necessary.
[0062]
The fundamental wave processing unit 331 obtains a signal representing the intensity of the echo at each reflection point on the sound ray, that is, an A scope signal, by logarithmic amplification and envelope detection of the fundamental wave echo for the input signal. B-mode image data is formed using the instantaneous amplitude of the A scope signal as a luminance value. That is, the fundamental wave processing unit 331 generates B-mode image data based on the fundamental wave echo and outputs the B-mode image data to the image processing unit 34.
[0063]
The harmonic processing unit 332 obtains a signal representing the intensity of the echo at each reflection point on the sound ray, that is, an A scope signal by logarithmic amplification and envelope detection of the second harmonic echo for the input signal, B-mode image data is formed using the instantaneous amplitude of the A scope signal as a luminance value. That is, the harmonic processing unit 332 generates B-mode image data based on the second harmonic echo, and outputs the B-mode image data to the image processing unit 34.
[0064]
The image processing unit 34 generates a plurality of B-mode images based on a plurality of systems of B-mode image data input from the B-mode processing unit 33, and uses the generated B-mode image data as a signal S3 to the image processing apparatus 4. Output.
[0065]
FIG. 7 is a diagram illustrating a configuration example of the image processing unit 34 of FIG.
As shown in FIG. 7, the image processing unit 34 includes a sound ray data memory 342, a digital scan converter 343, an image memory 344, and an image processing processor 345 connected by a bus 341.
[0066]
The B-mode image data by the fundamental wave echo and the second harmonic echo input for each sound ray from the B-mode processing unit 33 is stored in the sound ray data memory 342, respectively. Each sound ray data evening space is formed in the sound ray data memory 342.
[0067]
The digital scan converter 343 converts sound ray data space data into physical space data by scan conversion.
The image data converted by the digital scan converter 343 is stored in the image memory 344. That is, the image memory 344 stores image data in the physical space.
The image processor 345 performs predetermined data processing on the data in the sound ray data memory 342 and the image memory 344, respectively.
[0068]
A display unit 35 is connected to the image processing unit 34.
The display unit 35 receives an image signal from the image processing unit 34 and displays an image based on the image signal. The display unit 35 is configured by, for example, a graphic display that can display a color image.
[0069]
The control unit 36 gives control signals CTL to the transmission / reception unit 32, the B-mode processing unit 33, the image processing unit 34, and the display unit 35 to control their operations.
In addition, various notification signals are input to the control unit 36 from each part to be controlled.
Then, under the control of the control unit 36, ultrasonic imaging is performed.
Further, an operation unit 37 is connected to the control unit 36.
The operation unit 37 is operated by an operator, and inputs desired commands and information to the control unit 36. The operation unit 37 is configured by an operation panel including a keyboard and other operation tools, for example.
[0070]
The image aligning device 4 is constituted by, for example, a workstation, and is obtained in advance by the MRI device 2 as shown in FIG. 8A, for example, blood vessel (1), tumor (2), body surface (3). In addition, a high-resolution, high-contrast-resolution MR image signal S2 related to an organ including a biopsy needle (4) inserted into a subject for examination is received and temporarily stored in a storage device or the like, Upon receipt of the US image signal S3 obtained in real time by the imaging device 3, a feature point (line) such as an organ boundary is extracted from the US image as shown in FIG. From the features, the MR image obtained in advance and held in the memory is transformed as shown in FIG. 8C so as to be matched with the information (consistently), and the MR image and the US image are obtained. Conflict between information Generating a corrected MR image lost on the display device 5.
That is, as in the present embodiment, when the same object is imaged at a time, in order to compare the plurality of images with each other, it is necessary to accurately superimpose them. That is, the image alignment apparatus 4 performs an operation called alignment.
At the time of alignment, it is necessary to clarify the correspondence between the MR image and the US image.
For example, when several reference points are obtained in common, coordinate conversion can be performed using these coordinates according to a coordinate conversion method described later, and one image can be superimposed on the other image.
[0071]
FIG. 9 is a diagram illustrating a configuration example of the image matching apparatus 4.
As shown in FIG. 9, the image matching device 4 includes a storage device 41 including a hard disk device that stores the MR image signal S 2 having high resolution and high contrast resolution acquired in advance, and the US image signal S 3 by the ultrasonic imaging device 3. The feature extraction unit 42 that extracts the features of the US image from the image and the features of the US image extracted by the feature extraction unit 42 deform the MR image held in the storage device 41 so as to match the information, An MR image correction unit 43 is provided that generates a corrected MR image in which there is no contradiction between the image information of the image and the US image.
[0072]
The feature points (lines) of the organ are detected based on the blood vessel (1), the tumor (2), the body surface (3), etc. as shown in FIG.
The feature extraction unit 42 detects features such as the shape and position of the extraction target region based on, for example, position information and luminance data.
The characteristic parameters of the tumor (2) can be broadly classified into five: shape, form, position, echo, and texture.
For example, in order to determine the feature parameters of the shape and form of the tumor, contour extraction processing is performed.
For the features related to echoes, for example, the average value and variance of the inside, outside, back, and back outside shadows of the mass and the same depth are obtained, and the difference or ratio is used as one feature parameter.
The texture is different because the internal composition differs depending on the type of tumor. Uniformity, contrast, entropy, and density correlation are used as texture feature parameters. In order to quantify the texture, for example, a Fourier transform method, a co-occurrence matrix method, a fractal method, or the like is used.
For example, the distance from the skin to the body surface (3) of the organ is used as the position parameter that is a characteristic parameter.
[0073]
In the deformation process in which the MR image correcting unit 43 aligns the MR image with the US image so as to have no contradiction, the following alignment is performed.
[0074]
In other words, as described above, when the same object is imaged at a time interval or is imaged using different imaging systems or wavelengths as in the present embodiment, in order to compare those multiple images with each other It is necessary to superimpose accurately.
Such an operation is called alignment.
When aligning, it is necessary to clarify the correspondence between images. When several reference points are obtained in common, coordinate conversion can be performed according to a coordinate conversion method described later using these coordinates, and one image can be superimposed on the other image.
If the reference point is not clear, the association between the two images is performed by detecting which region in one image is most similar to the other region in the other image.
Basically, it is effective when two images are overlapped by translation. Although it can be applied even if there is a slight distortion, for example, when the sizes are different, as described above, image features are extracted and matching between feature descriptions is performed.
A method of determining the degree of similarity between regions and detecting corresponding points (regions) is called template matching.
In the template matching method, a small area in a reference image is used as a template, and an area most similar to this template is searched for (matching) in the other image.
[0075]
Coordinate transformation
In geometric transformation (deformation), an image f (x, y) expressed in an xy coordinate system is converted into an image g (u, v) using a uv coordinate system which is another coordinate system. Can be treated as a coordinate transformation problem.
That is, as shown in FIGS. 10A and 10B, when the pixel P ′ at the coordinates (u, v) in the image 2 corresponds to the pixel P at the coordinates (x, y) in the image 1. To do. At this time, it can be expressed as follows using functions p (x, y) and q (x, y) representing coordinate transformation.
[0076]
[Expression 1]
u = p (x, y)
v = q (x, y) (1)
[0077]
The functions p and q are given as follows.
(1) When conversion formulas such as translation, rotation enlargement / reduction are given in advance,
(2) When taking a reference image (for example, a square lattice pattern) and analytically determining the distortion characteristics in the imaging system,
(3) When specifying the corresponding points in the images to be aligned with each other and estimating the conversion formula from these correspondences,
It is.
[0078]
In the case of (3), for example, a polynomial expression expressed by the following expression is used as the conversion expression.
[0079]
[Expression 2]

[0080]
A set of points corresponding to images 1 and 2 (x_k , Y_k ), (U_k , V_k ) And substituting it into equation (2)_ij, B_ijBuild simultaneous equations for. By solving this using the method of least squares, the coefficient a_ij, B_ijThe value of is obtained and the conversion formula is determined.
[0081]
Next, the operation according to the above configuration will be described.
[0082]
First, the subject 6 placed on the cradle 26 via the cushion is carried into the gap 211 of the magnet system 21 of the main body device 20 by a transport unit (not shown).
[0083]
Next, the test site of the subject 6, for example, the abdomen, is positioned at the magnet center in the gap 211. At this time, a static magnetic field is formed by the main magnetic field magnet unit 212 in a predetermined region within the gap 211 including the magnet center.
[0084]
Then, the operator OP inputs protocol information corresponding to the test site from the operation unit 28.
Information related to the protocol (protocol number and the like) input from the operation unit 28 is supplied to the control unit 25 by the data processing unit 31.
[0085]
In the control unit 25, when a protocol to be executed is specified by the data processing unit 27 of the operator console 2B, it should be executed corresponding to the test site of the subject 6 sent from the data processing unit 27 of the operator console 2B. In accordance with the protocol, the RF drive unit 22 is controlled to apply a drive signal DR1 in which a predetermined pulse sequence is repeated a predetermined number of times within a predetermined repetition time TR to the RF coil unit 214, and a protocol to be executed is set. Accordingly, the gradient driving unit 23 is controlled so that a pulse signal having a predetermined pattern is applied to the gradient coil 213 within 1TR.
[0086]
In the RF drive unit 22, a protocol-compliant drive signal DR1 based on an instruction from the control unit 25 is applied to the RF coil unit 214, and in the gradient drive unit 23, a protocol-compliant drive signal DR2 based on an instruction from the control unit 25 is received. Applied to the gradient coil section 213.
[0087]
Then, based on the high-frequency magnetic field generated from the RF coil unit 214, the spin at the test site is excited, and the electromagnetic wave radiated to the outside after the transmission of the excitation signal is stopped is received by the receiving coil.
[0088]
As a result, electromagnetic waves generated by spins excited at the test site of the subject 6 are extracted as magnetic resonance signals, collected by the data collection unit 24, and output to the data processing unit 27 of the operator console 2B as test result data. Is done.
That is, imaging of the test site is performed.
[0089]
In the data processing unit 27, the data input from the data collection unit 24 is stored in the memory, and a data space is formed in the memory. In the data processing unit 27, two-dimensional inverse Fourier transform is performed on the data in the two-dimensional Fourier space to generate (reconstruct) an image of the test site of the subject 6.
Then, the reconstructed image is supplied from the data processing unit 27 to the image matching apparatus 4 as the signal S2.
[0090]
In the image matching device 4, the MR image input as the signal S 2 is temporarily stored in the storage device 41.
[0091]
Next, the same part of the subject imaged by the MRI apparatus 2 is imaged by the ultrasonic imaging apparatus 3.
[0092]
That is, the ultrasonic probe 31 is brought into contact with a desired portion of the subject 6 and the operation unit 37 is operated to perform imaging.
Imaging is performed under the control of the control unit 36.
Specifically, for example, by sector scanning, an ultrasonic beam is transmitted for each sound ray, the echo is received by the transmission / reception unit 32, and the B mode processing unit 33 performs B based on the echo reception signal of each sound ray. Mode image data is formed. The B-mode image data is formed based on the fundamental wave echo and based on the second harmonic echo, and is stored in the sound ray data memory 342 of the image processing unit 34.
In the image processing unit 34, a plurality of systems of B-mode image data in the sound ray data memory 342 are scanned and converted by the digital scan converter 343 by the image processing processor 345, and each is written in the image memory 344.
Here, the operation unit 37 is operated to display these B-mode images on the display unit 35. Then, the displayed fundamental wave echo image and second harmonic echo image are observed, and diagnosis (inspection) is performed by comparing and contrasting both images. Since the second harmonic echo image includes an image starting from the body surface of the subject, it is convenient for comparison with the fundamental echo image.
Further, the generated B-mode image data is output from the image processing unit 34 to the image processing apparatus 4 as a signal S3.
[0093]
In the image matching apparatus 4, as described above, MR image data with high resolution and high contrast resolution related to a predetermined organ acquired in advance by the MRI apparatus 2 is stored in the storage device 41.
The image matching device 4 receives the US image signal S3 obtained in real time by the ultrasonic imaging device 3, and the feature extraction unit 42 extracts feature points (lines) such as organ boundaries from the US image, and MR images. It is output to the correction unit 43.
In the MR image correction unit 43, the previously acquired MR image stored in the storage device 41 is deformed so as to be matched with the information based on the characteristics of the US image, and the image information between the MR image and the US image is changed. A corrected MR image free from contradiction is generated.
This corrected and aligned with the ultrasonic image generated in real time, there is no contradiction between both images, and an MR image with high resolution and high contrast resolution is displayed on the display device 5.
[0094]
When the data collection of the test site of the subject 6 is completed, the subject 6 is carried out of the gap 211 together with the cradle 26 by a transport unit (not shown).
[0095]
As described above, according to the present embodiment, the US image signal S3 obtained in real time by the ultrasonic imaging apparatus 3 is received, and the feature extraction unit 42 extracts feature points (lines) such as organ boundaries from the US image. Extracting and transforming the MR image acquired in advance from the features of the US image and storing it in the storage device 41 so as to be consistent with the information, and eliminating the contradiction between the image information of the MR image and the US image Since the image matching device 4 for generating the corrected MR image and displaying the corrected MR image on the display device 5 is provided, the MR image of the MRI apparatus and the ultrasonic imaging apparatus that are truly useful high resolution and high contrast resolution MR images. There is an advantage that can be obtained in real time.
[0096]
【The invention's effect】
As described above, according to the present invention, there is an advantage that a truly useful composite image can be obtained in real time from the image information of the MRI apparatus and the ultrasonic imaging apparatus.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an embodiment of an image diagnosis support system according to the present invention.
FIG. 2 is a diagram illustrating a configuration example of an MRI apparatus according to the present embodiment.
FIG. 3 is a timing chart for explaining a pulse sequence of a spin echo method.
FIG. 4 is a diagram illustrating a configuration example of an ultrasonic imaging apparatus according to the present embodiment.
FIG. 5 is a diagram illustrating a configuration example of a transmission / reception unit in FIG. 4;
6 is a diagram illustrating a configuration example of a B-mode processing unit in FIG. 4;
7 is a diagram illustrating a configuration example of an image processing unit in FIG. 4;
FIG. 8 is a diagram showing an MR image by an MRI apparatus according to the present invention, a US image by an ultrasonic imaging apparatus, and an MR image after correction.
FIG. 9 is a diagram illustrating a configuration example of an image matching apparatus according to the present invention.
FIG. 10 is a diagram for explaining coordinate conversion;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Imaging diagnosis support system, 2 ... MRI apparatus, 2A ... Main body apparatus, 21 ... Magnet system, 211 ... Gap, 212 ... Main magnetic field magnet part, 213 ... Gradient coil part, 214 ... RF coil part, 22 ... RF drive part , 23: Gradient drive unit, 24 ... Data collection unit, 25 ... Control unit, 26 ... Cradle, 2B ... Operator console, 27 ... Data processing unit, 28 ... Operation unit, 29 ... Display unit, 3 ... Ultrasonic imaging device, DESCRIPTION OF SYMBOLS 31 ... Ultrasonic probe, 32 ... Transmission / reception part, 321 ... Transmission timing generation circuit, 322 ... Transmission beam former, 323 ... Transmission / reception switching circuit, 324 ... Reception beam former, 33 ... B mode processing part, 331 ... Fundamental wave Processing unit, 332 ... harmonic processing unit, 34 ... image processing unit, 341 ... bus, 342 ... sound ray data memory, 343 ... digital scan converter 344 ... Image memory, 345 ... Image processor, 35 ... Display unit, 36 ... Control unit, 37 ... Operation unit, 4 ... Image alignment device, 41 ... Storage device, 42 ... Feature extraction unit, 43 ... MR image correction unit, 5 ... display device, 6 ... subject.

Claims

異なる撮像装置で撮像された被検体の被検部位の複数の画像データを整合処理する画像診断支援システムであって、
静磁場空間に被検体を収容し、磁気共鳴信号を得るパルスシーケンスでデータを収集し、収集したデータに基づいて断層画像を生成する磁気共鳴撮像装置と、
被検体に超音波を送波し超音波断層画像を生成する超音波撮像装置と、
前記超音波撮像装置による被検部位の超音波断層画像データを用いて、前記超音波断層画像における臓器の境界などの特徴点又は特徴線を抽出し、断層画像上で該特徴情報と整合させるように、前記磁気共鳴撮像装置で事前に取得された磁気共鳴断層画像における血管、腫瘍、体表及び生検針体のうちの少なくとも１つを参照しながら該磁気共鳴断層画像を変形させて、磁気共鳴断層画像を補正する画像整合装置とを有する画像診断支援システム。An image diagnosis support system for performing alignment processing of a plurality of image data of a test site of a subject imaged by different imaging devices,
A magnetic resonance imaging apparatus for accommodating a subject in a static magnetic field space, collecting data in a pulse sequence for obtaining a magnetic resonance signal, and generating a tomographic image based on the collected data;
An ultrasonic imaging device that transmits ultrasonic waves to a subject to generate an ultrasonic tomographic image; and
A feature point or feature line such as an organ boundary in the ultrasonic tomographic image is extracted using the ultrasonic tomographic image data of the region to be examined by the ultrasonic imaging apparatus, and is matched with the feature information on the tomographic image. Further, the magnetic resonance tomographic image is deformed while referring to at least one of the blood vessel, tumor, body surface, and biopsy needle in the magnetic resonance tomographic image acquired in advance by the magnetic resonance imaging apparatus. An image diagnosis support system having an image matching device for correcting a tomographic image.

前記画像整合装置により補正された磁気共鳴断層画像を表示する表示装置を有する請求項１に記載の画像診断支援システム。 The image diagnosis support system according to claim 1, further comprising a display device that displays a magnetic resonance tomographic image corrected by the image matching device.

前記画像整合装置は、前記磁気共鳴撮像装置で事前に取得された磁気共鳴断層画像データを記憶する記憶装置を有し、該記憶装置から読み出した磁気共鳴断層画像に対して前記補正処理を行う請求項１又は請求項２に記載の画像診断支援システム。 The image alignment apparatus includes a storage device that stores magnetic resonance tomographic image data acquired in advance by the magnetic resonance imaging apparatus, and performs the correction processing on the magnetic resonance tomographic image read from the storage device. The diagnostic imaging support system according to claim 1 or 2.

前記画像整合装置は、前記磁気共鳴撮像装置で事前に取得された磁気共鳴断層画像データを記憶する記憶装置と、前記超音波撮像装置による被検部位の超音波断層画像データから超音波断層画像における臓器の境界などの特徴点又は特徴線を抽出する特徴抽出部と、事前に取得され前記記憶装置に保持された磁気共鳴断層画像を読み出し、断層画像上で前記特徴抽出部で抽出された超音波断層画像の特徴情報と整合させるように、読み出した磁気共鳴断層画像における血管、腫瘍、体表及び生検針体のうちの少なくとも１つを参照しながら該磁気共鳴断層画像を変形させて、超音波断層画像との矛盾をなくした補正磁気共鳴断層画像を生成する磁気共鳴画像補正部とを有する請求項１又は請求項２に記載の画像診断支援システム。 The image matching device includes a storage device that stores magnetic resonance tomographic image data acquired in advance by the magnetic resonance imaging device, and an ultrasonic tomographic image based on ultrasonic tomographic image data of a region to be examined by the ultrasonic imaging device. A feature extraction unit that extracts a feature point or feature line such as an organ boundary, and a magnetic resonance tomographic image acquired in advance and stored in the storage device, and an ultrasonic wave extracted by the feature extraction unit on the tomographic image The magnetic resonance tomographic image is deformed while referring to at least one of the blood vessel, tumor, body surface, and biopsy needle in the read magnetic resonance tomographic image so as to be matched with the feature information of the tomographic image. The image diagnosis support system according to claim 1, further comprising: a magnetic resonance image correction unit configured to generate a corrected magnetic resonance tomographic image in which a contradiction with the tomographic image is eliminated.

前記磁気共鳴撮像装置は、励起パルスで被検体内のスピンを励起することによって生じる磁気共鳴信号を、エコーデータとして２次元フーリエ空間に収集し、収集したエコーデータを２次元逆フーリエ変換することにより、断層画像を再構成して前記画像整合装置に出力する請求項１から請求項４のいずれかに記載の画像診断支援システム。 The magnetic resonance imaging apparatus collects a magnetic resonance signal generated by exciting a spin in a subject with an excitation pulse in a two-dimensional Fourier space as echo data, and performs two-dimensional inverse Fourier transform on the collected echo data. The image diagnosis support system according to claim 1, wherein a tomographic image is reconstructed and output to the image alignment apparatus.

前記超音波撮像装置は、超音波プローブを通して得られたエコー受信信号に基づいてＢモード断層画像データをリアルタイムに生成して前記画像整合装置に出力する請求項１から請求項５のいずれかに記載の画像診断支援システム。 6. The ultrasonic imaging apparatus according to claim 1, wherein the ultrasonic imaging apparatus generates B-mode tomographic image data in real time based on an echo reception signal obtained through an ultrasonic probe and outputs the B-mode tomographic image data to the image matching apparatus. Image diagnosis support system.