JP2015173899A - 超音波診断装置、画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】撮影部位の様々な情報が得られる画像を簡易に得ることができる超音波診断装置を提供する。
【解決手段】超音波診断装置は、抽出部１７１と、同定部１７２と、合成部１７３と、制御部１８とを備える。抽出部は、画像データ間の空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた超音波画像データ及び他種医用画像データの一方の画像データである第１画像データの特定領域を、画像処理により抽出する。同定部は、他方の画像データである第２画像データにおける特定領域に対応する対応領域の位置を、位置合わせ情報を用いて求める。合成部は、第２画像データの対応領域を、特定領域における第１画像データに基づいて変更した合成画像データを生成する。制御部は、合成画像データを表示部に表示させる。
【選択図】図１

Description

本発明の実施形態は、超音波診断装置、画像処理装置及び画像処理プログラムに関する。

従来、画像診断の支援を目的として、位置合わせを行なった複数の医用画像を合成した合成画像を表示することが行われている。例えば、かかる合成画像は、各医用画像を、所定の重みにより重み付け加算することで生成される。或いは、例えば、かかる合成画像は、ベースとなる医用画像に、他の医用画像で操作者が指定した領域を重畳合成することで生成される。かかる合成画像を参照することで、例えば、医師は、被検体の撮影部位における様々な情報を１つの画像から得ることができる。

しかし、重み付け加算で生成された合成画像では、例えば、ある医用画像で医師が参照したい情報が描出されている領域が、他の医用画像の同一領域と融合されるので、当該領域の視認性が悪くなる場合がある。かかる場合、例えば、医師は、各医用画像に対する重みを変更する必要がある。また、操作者が指定した領域を用いて合成画像を生成する方法では、例えば、医師は、各医用画像で領域指定を行なう必要がある。

特開２００６−５３１０２号公報 特開２００８−２８４２８７号公報

本発明が解決しようとする課題は、撮影部位の様々な情報が得られる画像を簡易に得ることができる超音波診断装置、画像処理装置及び画像処理プログラムを提供することである。

実施形態の超音波診断装置は、抽出部と、同定部と、合成部と、制御部とを備える。前記抽出部は、画像データ間の空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた超音波画像データ及び他種医用画像データの一方の画像データである第１画像データの特定領域を、画像処理により抽出する。前記同定部は、他方の画像データである第２画像データにおける前記特定領域に対応する対応領域の位置を、前記位置合わせ情報を用いて求める。前記合成部は、前記第２画像データの前記対応領域を、前記特定領域における前記第１画像データに基づいて変更した合成画像データを生成する。前記制御部は、前記合成画像データを表示部に表示させる。

図１は、本実施形態に係る超音波診断装置の構成例を示すブロック図である。 図２は、本実施形態に係る位置合わせ処理の一例を示す図である。 図３は、本実施形態に係る画像処理部が行なう画像処理の概要を示す図である。 図４は、本実施形態に係る画像処理の具体例を示す図（１）である。 図５は、本実施形態に係る画像処理の具体例を示す図（２）である。 図６は、本実施形態に係る画像処理の具体例を示す図（３）である。 図７は、本実施形態に係る画像処理の具体例を示す図（４）である。 図８は、本実施形態に係る制御部による表示形態の一例を説明するための図（１）である。 図９は、本実施形態に係る制御部による表示形態の一例を説明するための図（２）である。 図１０は、本実施形態に係る超音波診断装置が行なう画像処理を説明するためのフローチャートである。 図１１は、本実施形態に係る変形例を説明するための図である。

以下、添付図面を参照して、超音波診断装置の実施形態を詳細に説明する。

（実施形態）
まず、本実施形態に係る超音波診断装置の構成について説明する。図１は、本実施形態に係る超音波診断装置の構成例を示すブロック図である。図１に例示するように、本実施形態に係る超音波診断装置は、超音波プローブ１と、モニタ２と、入力装置３と、位置センサ４と、トランスミッター５と、装置本体１０とを有する。また、装置本体１０は、ネットワーク１００を介して外部装置６と接続される。

超音波プローブ１は、複数の振動子を有し、これら複数の振動子は、後述する装置本体１０が有する送受信部１１から供給される駆動信号に基づき超音波を発生する。超音波プローブ１が有する振動子は、例えば、圧電振動子である。超音波プローブ１は、被検体Ｐからの反射波信号を受信して電気信号に変換する。また、超音波プローブ１は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ１は、装置本体１０と着脱自在に接続される。

超音波プローブ１から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ１が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。

例えば、本実施形態では、被検体Ｐの２次元走査用に、複数の圧電振動子が一列で配置された１Ｄアレイプローブが超音波プローブ１として装置本体１０と接続される。例えば、超音波プローブ１としての１Ｄアレイプローブは、セクタ走査を行なうセクタプローブや、オフセットセクタ走査を行なうコンベックスプローブ、リニア走査を行なうリニアプローブ等である。

或いは、例えば、本実施形態では、被検体Ｐの３次元走査用に、メカニカル４Ｄプローブや２Ｄアレイプローブが超音波プローブ１として装置本体１０と接続されても良い。メカニカル４Ｄプローブは、１Ｄアレイプローブのように一列で配列された複数の圧電振動子を用いて２次元走査が可能であるとともに、複数の圧電振動子を所定の角度（揺動角度）で揺動させることで３次元走査が可能である。また、２Ｄアレイプローブは、マトリックス状に配置された複数の圧電振動子により３次元走査が可能であるとともに、超音波を集束して送信することで２次元走査が可能である。

位置センサ４及びトランスミッター５は、超音波プローブ１の位置情報を取得するための装置である。例えば、位置センサ４は、超音波プローブ１に取り付けられる磁気センサである。また、例えば、トランスミッター５は、任意の位置に配置され、自装置を中心として外側に向かって磁場を形成する装置である。

位置センサ４は、トランスミッター５によって形成された３次元の磁場を検出する。そして、位置センサ４は、検出した磁場の情報に基づいて、トランスミッター５を原点とする空間における自装置の位置（座標及び角度）を算出し、算出した位置を装置本体１０に送信する。ここで、位置センサ４は、自装置が位置する３次元の座標及び角度を、超音波プローブ１の３次元位置情報として、装置本体１０に送信する。

なお、本実施形態は、位置センサ４及びトランスミッター５を用いた位置検出システム以外のシステムにより、超音波プローブ１の位置情報を取得する場合であっても適用可能である。例えば、本実施形態は、ジャイロセンサや加速度センサ等を用いて、超音波プローブ１の位置情報を取得する場合であっても良い。

入力装置３は、後述するインターフェース部１９を介して装置本体１０と接続される。入力装置３は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール等を有する。かかる入力装置３は、超音波診断装置の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を装置本体１０に転送する。

モニタ２は、超音波診断装置の操作者が入力装置３を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、装置本体１０において生成された超音波画像データ等を表示したりする。

外部装置６は、後述するインターフェース部１９を介して装置本体１０と接続される装置である。例えば、外部装置６は、各種の医用画像のデータを管理するシステムであるＰＡＣＳ（Picture Archiving and Communication System）のデータベースや、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベース等である。或いは、外部装置６は、例えば、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置等、図１に示す超音波診断装置以外の各種医用画像診断装置である。

例えば、図１に示す装置本体１０は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）に則った画像フォーマットに統一された各種医用画像のデータを、インターフェース部１９を介して外部装置６から取得することができる。例えば、装置本体１０は、後述するインターフェース部１９を介して、自装置で生成した超音波画像データとの合成対象となる各種医用画像データ（例えば、２次元や３次元のＸ線ＣＴ画像データ、２次元や３次元のＭＲＩ画像データ等）を、外部装置６から取得する。

装置本体１０は、超音波プローブ１が受信した反射波信号に基づいて超音波画像データを生成する装置である。図１に示す装置本体１０は、２次元の反射波信号に基づいて２次元の超音波画像データを生成可能であり、３次元の反射波信号に基づいて３次元の超音波画像データを生成可能な装置である。ただし、本実施形態は、装置本体１０が、２次元データ専用の装置である場合であっても適用可能である。

装置本体１０は、図１に示すように、送受信部１１と、Ｂモード処理部１２と、ドプラ処理部１３と、画像生成部１４と、画像メモリ１５と、内部記憶部１６と、画像処理部１７と、制御部１８と、インターフェース部１９とを有する。

送受信部１１は、後述する制御部１８の指示に基づいて、超音波プローブ１が行なう超音波送受信を制御する。送受信部１１は、パルス発生器、送信遅延部、パルサ等を有し、超音波プローブ１に駆動信号を供給する。パルス発生器は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延部は、超音波プローブ１から発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ１に駆動信号（駆動パルス）を印加する。送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波の送信方向を任意に調整する。

なお、送受信部１１は、後述する制御部１８の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は、複数の電源ユニットを電気的に切り替える機構によって実現される。

また、送受信部１１は、プリアンプ、Ａ／Ｄ（Analog／Digital）変換器、受信遅延部、加算器等を有し、超音波プローブ１が受信した反射波信号に対して各種処理を行なって反射波データを生成する。プリアンプは、反射波信号をチャネル毎に増幅する。Ａ／Ｄ変換器は、増幅された反射波信号をＡ／Ｄ変換する。受信遅延部は、受信指向性を決定するために必要な遅延時間を与える。加算器は、受信遅延部によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。

送受信部１１は、被検体Ｐを２次元走査する場合、超音波プローブ１から２次元の超音波ビームを送信させる。そして、送受信部１１は、超音波プローブ１が受信した２次元の反射波信号から２次元の反射波データを生成する。また、送受信部１１は、被検体Ｐを３次元走査する場合、超音波プローブ１から３次元の超音波ビームを送信させる。そして、送受信部１１は、超音波プローブ１が受信した３次元の反射波信号から３次元の反射波データを生成する。

なお、送受信部１１からの出力信号の形態は、ＲＦ（Radio Frequency）信号と呼ばれる位相情報が含まれる信号である場合や、包絡線検波処理後の振幅情報である場合等、種々の形態が選択可能である。

Ｂモード処理部１２及びドプラ処理部１３は、送受信部１１が反射波信号から生成した反射波データに対して、各種の信号処理を行なう信号処理部である。Ｂモード処理部１２は、送受信部１１から反射波データを受信し、対数増幅、包絡線検波処理等を行なって、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。また、ドプラ処理部１３は、送受信部１１から受信した反射波データから速度情報を周波数解析し、ドプラ効果による速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。移動体として血流を対象とする場合、移動体情報は、血流が存在する領域の各サンプル点における速度、分散、パワー等の情報を示す血流情報となる。

なお、図１に例示するＢモード処理部１２及びドプラ処理部１３は、２次元の反射波データ及び３次元の反射波データの両方について処理可能である。すなわち、Ｂモード処理部１２は、２次元の反射波データから２次元のＢモードデータを生成し、３次元の反射波データから３次元のＢモードデータを生成する。また、ドプラ処理部１３は、２次元の反射波データから２次元のドプラデータを生成し、３次元の反射波データから３次元のドプラデータを生成する。

画像生成部１４は、Ｂモード処理部１２及びドプラ処理部１３が生成したデータから超音波画像データを生成する。すなわち、画像生成部１４は、Ｂモード処理部１２が生成した２次元のＢモードデータから反射波の強度を輝度で表した２次元Ｂモード画像データを生成する。また、画像生成部１４は、ドプラ処理部１３が生成した２次元のドプラデータから移動体情報を表す２次元ドプラ画像データを生成する。２次元ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。

ここで、画像生成部１４は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像データを生成する。具体的には、画像生成部１４は、超音波プローブ１による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成部１４は、スキャンコンバート以外に種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行なう。また、画像生成部１４は、超音波画像データに、付帯情報（種々のパラメータの文字情報、目盛り、ボディマーク等）を合成する。

すなわち、Ｂモードデータ及びドプラデータは、スキャンコンバート処理前の超音波画像データであり、画像生成部１４が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Ｂモードデータ及びドプラデータは、生データ（Raw Data）とも呼ばれる。画像生成部１４は、スキャンコンバート処理前の２次元超音波画像データである「２次元Ｂモードデータや２次元ドプラデータ」から、表示用の２次元超音波画像データである「２次元のＢモード画像データや２次元ドプラ画像データ」を生成する。

更に、画像生成部１４は、Ｂモード処理部１２が生成した３次元のＢモードデータに対して座標変換を行なうことで、３次元Ｂモード画像データを生成する。また、画像生成部１４は、ドプラ処理部１３が生成した３次元のドプラデータに対して座標変換を行なうことで、３次元ドプラ画像データを生成する。画像生成部１４は、「３次元のＢモード画像データや３次元ドプラ画像データ」を「３次元超音波画像データ（超音波ボリュームデータ）」として生成する。

更に、画像生成部１４は、ボリュームデータをモニタ２にて表示するための各種２次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行なう。画像生成部１４が行なうレンダリング処理としては、例えば、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行なってボリュームデータからＭＰＲ画像データを生成する処理がある。また、画像生成部１４が行なうレンダリング処理としては、例えば、３次元の情報を反映した２次元画像データを生成するボリュームレンダリング（ＶＲ：Volume Rendering）処理がある。

更に、画像生成部１４は、他の医用画像診断装置が撮像したボリュームデータに対して、上記のレンダリング処理を行なうことができる。かかるボリュームデータは、Ｘ線ＣＴ装置により撮像された３次元のＸ線ＣＴ画像データ（以下、Ｘ線ＣＴボリュームデータ）や、ＭＲＩ装置により撮像された３次元のＭＲＩ画像データ（以下、ＭＲＩボリュームデータ）である。

なお、本実施形態に係る超音波診断装置は、上述したＢモード及びドプラモード以外にも、様々なモードで、様々な情報を提供可能な超音波画像データを生成表示することができる。例えば、本実施形態に係る超音波診断装置は、エラストグラフィーイメージングを行なう。エラストモードでは、画像生成部１４は、ドプラ処理部１３が信号処理を行なった反射波データ（反射波信号）から、組織の硬さを示す指標（弾性率）を画像化した画像データ（弾性画像データ）を生成する。例えば、エラストモードでは、操作者は、超音波送受信を行なっている超音波プローブ１の振動子面で生体組織を圧迫して開放する。これにより、組織が変形し、組織に動きが発生する。組織の動きに関する情報は、反射波信号（反射波データ）の位相のずれとして現われる。

エラストモードでは、例えば、ドプラ処理部１３は、反射波データの位相のずれから、速度情報を算出し、速度情報の時間積分である変位を計測する。そして、ドプラ処理部１３は、変位を空間的に微分することで、歪み（ストレイン）を算出する。なお、変位を計測する方法としては、「自己相関法」や、「相互相関法」、「複合自己相関法」、「ゼロ位相法」等がある。硬い生体組織ほど変形しにくいので、硬い生体組織のストレイン値は小さくなり、軟らかい生体組織のストレイン値は大きくなる。すなわち、ストレインの値は、組織の硬さ（弾性率）を示す指標値となる。画像生成部１４は、ドプラ処理部１３が算出した多点のストレインの値の大きさに応じて、色調を変化させた弾性画像データを生成する。なお、画像生成部１４は、ストレインの値の大きさに応じて、色調を変化させた画素を、Ｂモード画像データに重畳した画像データを、弾性画像データとして生成しても良い。

なお、エラストモードでは、超音波プローブ１による圧迫及び開放で組織を変形させる方法の他に、超音波プローブ１から送信した高音圧の「Push Pulse」により組織を変形させ、組織を伝搬する横波であるせん断波（Shear Wave）を形成し、更に、せん断波の伝搬速度等に基づいて、組織弾性を評価する方法もある。また、エラストモードでは、せん断波を形成する方法や、用手的に組織を圧迫解放する方法の他に、例えば、拍動や横隔膜の移動によって引き起こされる組織変形を検出して弾性率を算出する方法もある。また、弾性画像データは、Ｂモード処理部１２が信号処理を行なった反射波データ（反射波信号）から生成される場合もある。例えば、弾性画像データは、時系列に沿って生成された複数のＢモード画像データ（又は、Ｂモードデータ）を用いたスペックルトラッキング処理により、複数の追跡点を追跡した結果から多点の変位及び歪みを算出することで、生成することもできる。

また、例えば、本実施形態に係る超音波診断装置は、コントラストハーモニックイメージング（ＣＨＩ：Contrast Harmonic Imaging）や、ティッシュハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）等のハーモニックイメージングを行なう。例えば、図１に示すＢモード処理部１２は、フィルタ処理により、検波周波数を変化させることで、映像化する周波数帯域を変えることができる。Ｂモード処理部１２は、造影剤が注入された被検体Ｐの反射波データから、造影剤（微小気泡、バブル）を反射源とするハーモニック成分の反射波データ（高調波データ）と、被検体Ｐ内の組織を反射源とする基本波成分の反射波データ（基本波データ）とを分離することができる。ＣＨＩモードでは、Ｂモード処理部１２は、ハーモニック成分の反射波データから、造影超音波画像データを生成するためのＢモードデータを生成することができる。また、このＢモード処理部１２のフィルタ処理機能を用いることにより、ＴＨＩモードにおいて、被検体Ｐの反射波データから、ハーモニック成分の反射波データである高調波データを分離することができる。そして、Ｂモード処理部１２は、ハーモニック成分の反射波データから、サイドローブ成分等のノイズ成分を除去した超音波画像データを生成するためのＢモードデータを生成することができる。

また、ＣＨＩモードやＴＨＩモードを行なう際、Ｂモード処理部１２は、上述したフィルタ処理を用いた方法とは異なる方法により、ハーモニック成分を抽出することができる。ハーモニックイメージングでは、振幅変調（ＡＭ：Amplitude Modulation）法や位相変調（ＰＭ：Phase Modulation）法、ＡＭ法及びＰＭ法を組み合わせたＡＭＰＭ法と呼ばれる映像法が行なわれる。ＡＭ法、ＰＭ法及びＡＭＰＭ法では、同一の走査線に対して振幅や位相が異なる超音波送信を複数回行なう。これにより、送受信部１１は、各走査線で複数の反射波データを生成し出力する。そして、Ｂモード処理部１２は、各走査線の複数の反射波データを、変調法に応じた加減算処理することで、ハーモニック成分を抽出する。そして、Ｂモード処理部１２は、ハーモニック成分の反射波データに対して包絡線検波処理等を行なって、Ｂモードデータを生成する。

例えば、ＰＭ法が行なわれる場合、送受信部１１は、制御部１８が設定したスキャンシーケンスにより、例えば（−１，１）のように、位相極性を反転させた同一振幅の超音波を、各走査線で２回送信させる。そして、送受信部１１は、「−１」の送信による受信信号と、「１」の送信による受信信号とを生成し、Ｂモード処理部１２は、これら２つの受信信号を加算する。これにより、基本波成分が除去され、２次高調波成分が主に残存した信号が生成される。そして、Ｂモード処理部１２は、この信号に対して包絡線検波処理等を行なって、ＴＨＩのＢモードデータやＣＨＩのＢモードデータを生成する。上述した様々なＣＨＩモードで生成されたＢモードデータは、画像生成部１４の処理により、被検体Ｐの撮影部位で流動する造影剤（すなわち、血流）が存在する領域を映像化した超音波造影画像データとなる。

なお、上述した各種モードはあくまでも一例であり、本実施形態に係る超音波診断装置は、その他、公知の様々なモードでの２次元イメージング、又は、３次元イメージング処を、実行可能である。

画像メモリ１５は、画像生成部１４が生成した表示用の画像データを記憶するメモリである。また、画像メモリ１５は、Ｂモード処理部１２やドプラ処理部１３が生成したデータを記憶することも可能である。画像メモリ１５が記憶するＢモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、画像生成部１４を経由して表示用の超音波画像データとなる。なお、画像メモリ１５は、後述する画像処理部１７が生成した画像データも記憶する。

内部記憶部１６は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディマーク等の各種データを記憶する。また、内部記憶部１６は、必要に応じて、画像メモリ１５が記憶する画像データの保管等にも使用される。また、内部記憶部１６が記憶するデータは、後述するインターフェース部１９を経由して、外部装置６へ転送することができる。

画像処理部１７は、画像診断支援のために設置される。本実施形態に係る画像処理部１７は、図１に示すように、抽出部１７１、同定部１７２及び合成部１７３を有し、画像生成部１４が生成した超音波画像データと、外部装置６から取得した他種医用画像データとを用いた画像処理を行なう。具体的には、本実施形態に係る画像処理部１７は、画像データ間の空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた超音波画像データ及び他種医用画像データを用いた画像合成処理を行なう。なお、画像処理部１７が実行する処理については、後に詳述する。

制御部１８は、超音波診断装置の処理全体を制御する。具体的には、制御部１８は、入力装置３を介して操作者から入力された各種設定情報や、内部記憶部１６から読込んだ各種制御プログラム及び各種データに基づき、送受信部１１、Ｂモード処理部１２、ドプラ処理部１３、画像生成部１４及び画像処理部１７の処理を制御する。また、制御部１８は、画像メモリ１５や内部記憶部１６が記憶する表示用の画像データをモニタ２にて表示するように制御する。また、制御部１８は、操作者から入力装置３を介して受け付けた医用画像データが外部装置６からネットワーク１００及びインターフェース部１９を介して内部記憶部１６や画像メモリ１５、或いは、画像処理部１７に転送されるように制御する。

インターフェース部１９は、入力装置３、ネットワーク１００及び外部装置６に対するインターフェースである。入力装置３が受け付けた操作者からの各種設定情報及び各種指示は、インターフェース部１９により、制御部１８に転送される。例えば、入力装置３が操作者から受け付けた画像データの転送要求は、インターフェース部１９により、ネットワーク１００を介して外部装置６に通知される。また、外部装置６が転送した画像データは、インターフェース部１９により、内部記憶部１６や画像メモリ１５、或いは、画像処理部１７に格納される。

以上、本実施形態に係る超音波診断装置の全体構成について説明した。かかる構成において、本実施形態に係る超音波診断装置は、以下に説明する画像処理部１７により、撮影部位の様々な情報が得られる画像を簡易に得るための処理を行なう。

ここで、上述したように、本実施形態に係る画像処理部１７は、画像データ間の空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた超音波画像データ及び他種医用画像データを用いた画像合成処理を行なう。以下、画像データ間の空間的な位置を対応付ける位置合わせ処理の一例を、図２を用いて説明した後に、画像処理部１７が行なう処理について説明する。図２は、本実施形態に係る位置合わせ処理の一例を示す図である。本実施形態では、一例として、図１及び図２に示す位置センサ４及びトランスミッター５で構成される位置検出システムを用いた制御部１８の処理により、画像データ間の空間的な位置を対応付ける位置合わせが行われる。

例えば、操作者は、超音波プローブ１を用いて被検体Ｐの超音波検査を行なう前に、被検体Ｐの撮影部位（検査部位）を撮影したＸ線ＣＴボリュームデータ１０１（図２を参照）の転送要求を行なう。図２に示すＸ線ＣＴボリュームデータ１０１は、例えば、被検体Ｐの撮像部位を含む３次元領域を撮影したデータであり、例えば、５００枚のアキシャル面のＸ線ＣＴ画像データで構成される。制御部１８の制御により、モニタ２は、これら複数のアキシャル面のＸ線ＣＴ画像データの１つを表示する。そして、操作者は、被検体Ｐの撮影部位におけるアキシャル面を走査するように、超音波プローブ１を被検体Ｐの体表に垂直方向に当接し、入力装置３が有するセットボタンを押下する。制御部１８は、ボタンが押下された時点で位置センサ４から取得した超音波プローブ１の３次元位置情報を初期位置情報として、取得する。また、モニタ２は、図２に示すように、セットボタンが押下された時点で、画像生成部１４が生成した超音波画像データ２００を表示する。

そして、操作者は、超音波画像データ２００と略同一断面のＸ線ＣＴ画像データがモニタ２に表示されるように、例えば、入力装置３のマウス等を操作する。そして、操作者は、超音波画像データ２００と、略同一断面（同一アキシャル面）のＸ線ＣＴ画像データ１０２が表示された時点で、再度、セットボタンを押下する。これにより、制御部１８は、Ｘ線ＣＴボリュームデータ１０１において、初期位置情報で示される超音波プローブ１の走査断面と略同一断面の位置を取得する。この段階で、超音波プローブ１の位置が操作者により移動された場合でも、位置センサ４から取得した超音波プローブ１の３次元位置情報から、制御部１８は、超音波プローブ１の走査断面と同一断面をＸ線ＣＴボリュームデータ１０１において特定することが可能になる。

更に、操作者は、Ｘ線ＣＴ画像データ１０２及び超音波画像データ２００それぞれで対応する特徴点を、少なくとも１組指定する。制御部１８は、Ｘ線ＣＴ画像データ１０２で指定された特徴点の位置と、超音波画像データ２００で指定された特徴点の位置とを用いて、超音波画像データ２００の各点の座標を、Ｘ線ＣＴ画像データ１０２（Ｘ線ＣＴボリュームデータ１０１）で対応する各点の座標に変換するための変換行列を算出する。これにより、制御部１８は、超音波プローブ１の位置が操作者により移動された場合でも、位置センサ４から取得した超音波プローブ１の３次元位置情報から、超音波プローブ１の走査断面と同一断面をＸ線ＣＴボリュームデータ１０１で特定し、更に、特定した断面内で、超音波プローブ１の走査により生成された超音波画像データの各座標に対応する座標を、変換行列を用いて算出することができる。

制御部１８は、変換行列を用いて取得した位置合わせ情報を画像生成部１４に通知する。画像生成部１４は、かかる位置合わせ情報を用いて、現時点で走査され生成された超音波画像データと位置合わせされたＸ線ＣＴ画像データ（ＭＰＲ画像データ）を、Ｘ線ＣＴボリュームデータ１０１から生成する。なお、上記の位置合わせ処理は、超音波プローブ１により３次元走査が行われる場合でも適用可能である、かかる場合、制御部１８は、現時点で走査され生成された超音波ボリュームデータとほぼ一致する３次元領域をＸ線ＣＴボリュームデータ１０１から特定し、特定した３次元領域内の各位置が、超音波ボリュームデータでどの位置に対応するかを示す位置合わせ情報を取得する。また、上記の位置合わせ処理は、他種医用画像データが、ＭＲＩ画像データ（ＭＲＩボリュームデータ）であっても適用可能である。

ただし、本実施形態は、異なるモダリティにより生成された医用画像データ間の空間的な位置を対応付ける位置合わせ情報に基づく位置合わせ処理が、相互相関や自己相関、相互情報量、標準化相互情報量、相関比等を用いた公知の技術により行われる場合であっても良い。

上記の処理により空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた超音波画像データ及び他種医用画像データは、画像処理部１７に転送され、画像処理部１７が有する各部は、以下の処理を行なう。以下、図３を用いて、本実施形態に係る画像処理部１７が行なう画像処理の概要について説明する。図３は、本実施形態に係る画像処理部が行なう画像処理の概要を示す図である。

抽出部１７１は、図３の左上図に示すように、画像データ間の空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた超音波画像データ及び他種医用画像データの一方の画像データである第１画像データの特定領域を、画像処理により抽出する。具体的には、抽出部１７１は、他方の画像データである第２画像データから得られない情報が得られる領域を特定領域として、第１画像データから抽出する。より具体的には、抽出部１７１は、操作者が設定した情報に基づく画像処理により、第１画像データから特定領域を抽出する。例えば、抽出部１７１は、操作者が設定した被検体部位の情報に基づくセグメンテーション処理により、第１画像データから特定領域を抽出する。

そして、同定部１７２は、図３の左下図に示すように、第２画像データにて特定領域に対応する対応領域を、位置合わせ情報（変換行列）を用いて同定する。すなわち、同定部１７２は、第２画像データにおける特定領域に対応する対応領域の位置を、位置合わせ情報（変換行列）を用いて求める。第１画像データの特定領域は、第２画像データの対応領域からは得られない情報が得られる領域、又は、第２画像データの対応領域から得られる情報を補う情報が得られる領域である。

そして、合成部１７３は、第２画像データの対応領域を、特定領域における第１画像データに基づいて変更した合成画像データを生成する。例えば、合成部１７３は、図３の右図に示すように、第２画像データの対応領域を、特定領域に入れ替えた合成画像データを生成する。合成画像データは、図３の右図に示すように、第２画像データをベースとし、対応領域が特定領域に入れ替わった画像データとなる。なお、合成部１７３は、位置合わせ情報（変換行列）に基づいて、特定領域を全体的に拡大、或いは、縮小して、対応領域のサイズにして、合成処理を行なう。或いは、合成部１７３は、位置合わせ情報（変換行列）に基づいて、特定領域を部分的に拡大、或いは、縮小して、対応領域のサイズにして、合成処理を行なう。

そして、制御部１８は、合成画像データをモニタ２に表示させる。医師等の操作者は、１枚の合成画像データを参照することで、第２画像データの対応領域以外の領域の情報とともに、対応領域では得られない情報を、位置合わせされた特定領域から得ることができる。

上記の概要で示した画像処理の様々な具体例について、図４〜図７等を用いて説明する。図４〜図７は、本実施形態に係る画像処理の具体例を示す図である。なお、以下では、超音波画像データとの空間的な位置を対応付けて位置合わせされた他種医用画像データが、Ｘ線ＣＴ画像データである場合について説明する。ただし、以下で説明する具体例は、他種医用画像データが、例えば、超音波画像データと位置合わせされたＭＲＩ画像データである場合であっても適用可能である。以下で説明する具体例は、抽出部１７１が特定領域を抽出する画像処理として、操作者が設定した被検体部位の情報に基づくセグメンテーション処理を行なうものである。

図４に示す一例（以下、第１パターン）では、抽出部１７１は、超音波を伝搬しない物質により超音波画像データで映像化されていない領域に該当する領域を特定領域として、他種医用画像データから抽出する。ここで、超音波を伝搬しない物質とは、生体内の骨や、腸内ガス等の空気である。通常の撮影条件で送信される超音波は、骨や空気により略全反射されるため、骨や空気より深い位置には伝搬しない。その結果、超音波画像データ（Ｂモード画像データ）では、図４の右上図に示すように、例えば、骨より深い位置の領域は、超音波ビームの送信方向に応じた形状で暗くなる。一方、例えば、被検体Ｐの全周囲でＸ線を照射することで、複数ビューの投影データを収集して再構成されたＸ線ＣＴ画像データには、骨及び骨の周囲の組織が明瞭に描出されている（図４の左上図を参照）。

操作者は、位置合わせされた超音波画像データ（Ｂモード画像データ）及びＸ線ＣＴ画像データを参照して、「超音波画像データ：骨」といった設定情報を入力する。そして、操作者が、合成処理開始を指示すると、制御部１８は、図４に示すように、第１画像データがＸ線ＣＴ画像データであると決定し、合成のベースとなる第２画像データが超音波画像データであると決定する。そして、抽出部１７１は、制御部１８の指示により、骨のＣＴ値に相当する骨領域の抽出を、例えば、領域拡張法によるセグメンテーション処理により行なう。そして、抽出部１７１は、骨領域で、画像の最上部に位置する線（曲線）を特定する。そして、抽出部１７１特定した曲線と、超音波の送信方向から、図４の左上図に示すように、白い線で囲まれた特定領域を、第１画像データであるＸ線ＣＴ画像データから抽出する。すなわち、抽出部１７１は、骨領域から深い位置にある領域を特定領域として、他種医用画像データとしてのＸ線ＣＴ画像データから抽出する。

そして、同定部１７２は、抽出部１７１が抽出した特定領域の位置から位置合わせ情報（変換行列）を用いて、第２画像データである超音波画像データにおける対応領域の位置を求めることで、図４の右上図に示すように、対応領域を同定する。そして、合成部１７３は、図４の下図に示すように、超音波画像データをベースとし、対応領域をＸ線ＣＴ画像データの特定領域に入れ替えた合成画像データを生成する。かかる合成画像データを参照することで、医師は、超音波画像データで描出されていない領域を、特定領域により視認することができる。なお、「超音波画像データ：空気」が設定された場合、抽出部１７１は、空気領域から深い位置にある領域を特定領域として、他種医用画像データとしてのＸ線ＣＴ画像データから抽出する。

次に、図５に示す一例（以下、第２パターン）では、超音波画像データは、ドプラ画像データ、すなわち、ドプラ効果に基づく血流情報が描出された超音波画像データである。また、図５に示すように、第２パターンでは、他種医用画像データとしてのＸ線ＣＴ画像データは、非造影撮影で得られた非造影Ｘ線ＣＴ画像データである。第２パターンでは、抽出部１７１は、血流情報が存在する領域の中で他種医用画像データの管腔領域に該当する領域を特定領域として、超音波画像データ（ドプラ画像データ）から抽出する。すなわち、非造影Ｘ線ＣＴ画像データでは、組織構造が明瞭に描出されているが、血流が存在する血管内（管腔領域）は、図５の右図に示すように、暗く描出されている。操作者は、かかる暗い領域が、血流が存在する領域であるのか否かを、簡単に判断することが困難である。一方、ドプラ画像データには、図５の左図に示すように、ドプラ周波数偏移が生じる血流が存在する範囲に、上述した血流情報が付与されている。かかる血流情報は、血流が存在していることを示すだけでなく、血流の速度、分散、パワー等の情報を含んでいる。

操作者は、位置合わせされた超音波画像データ（ドプラ画像データ）及び非造影Ｘ線ＣＴ画像データを参照して、「非造影Ｘ線ＣＴ画像データ：管腔」といった設定情報を入力する。そして、操作者が、合成処理開始を指示すると、制御部１８は、図５に示すように、第１画像データがドプラ画像データであると決定し、合成のベースとなる第２画像データが非造影Ｘ線ＣＴ画像データであると決定する。そして、抽出部１７１は、制御部１８の指示により、ドプラ画像データで血流情報が得られている全画素を特定する。そして、抽出部１７１は、例えば、特定した全画素が占める領域の中で、管状の領域となる領域を２値化処理により求め、求めた領域を特定領域として抽出する（図５の左図を参照）。

そして、同定部１７２は、抽出部１７１が抽出した特定領域の位置から位置合わせ情報（変換行列）を用いて、第２画像データである非造影Ｘ線ＣＴ画像データから、図５の右図に示すように、対応領域を同定する。これにより、合成部１７３は、非造影Ｘ線ＣＴ画像データをベースとし、対応領域をドプラ画像データの特定領域に入れ替えた合成画像データを生成する。

なお、第２パターンでは、抽出部１７１が、血流情報が存在する領域（例えば、血流情報が得られている全画素が占める領域を、孤立点除去等で平滑化処理した領域）を特定領域とする場合であっても良い。かかる合成画像データを参照することで、医師は、非造影Ｘ線ＣＴ画像データで描出されていない血流情報を、特定領域により視認することができる。また、上記の一例では、医師は、ドプラモードの超音波検査を行なうだけで、Ｘ線ＣＴ検査において造影検査を行なうことなく、血流情報を得ることができる。なお、上記の一例では、抽出部１７１が非造影Ｘ線ＣＴ画像データの管腔領域（対応領域）を抽出し、同定部１７２が位置合わせ情報を用いてドプラ画像データの特定領域を同定しても良い。

次に、図６に示す一例では、３種類のパターンを示している。すなわち、図６に示す一例では、「第１画像データ：超音波画像データ（造影）、第２画像データ：Ｘ線ＣＴ画像データ（非造影）」である第３パターンと、「第１画像データ：Ｘ線ＣＴ画像データ（造影）、第２画像データ：超音波画像データ（非造影）」である第４パターンと、「第１画像データ：超音波画像データ（エラストグラフィ）、第２画像データ：Ｘ線ＣＴ画像データ」である第５パターンを示している。

図６に示す第３パターンは、造影検査回数を減らすことが可能となるパターンである。すなわち、第３パターンでは、超音波画像データが造影撮影で得られた造影超音波画像データであり、他種医用画像データ（Ｘ線ＣＴ画像データ）が非造影撮影で得られた医用画像データ（非造影Ｘ線ＣＴ画像データ）である。かかる場合、例えば、操作者は、「非造影Ｘ線ＣＴ画像データ：管腔」、又は、「非造影Ｘ線ＣＴ画像データ：血流」といった設定情報を入力する。そして、操作者が、合成処理開始を指示すると、制御部１８は、第１画像データが造影超音波画像データであると決定し、合成のベースとなる第２画像データが非造影Ｘ線ＣＴ画像データであると決定する。そして、抽出部１７１は、造影剤が存在する領域、又は、造影剤が存在する領域の中で他種医用画像データ（非造影Ｘ線ＣＴ画像データ）の管腔領域に該当する領域を特定領域として、造影超音波画像データから抽出する。

「非造影Ｘ線ＣＴ画像データ：管腔」が設定情報の場合、例えば、抽出部１７１は、造影超音波画像データで、所定の閾値以上の輝度の全画素を特定する。そして、抽出部１７１は、例えば、特定した全画素が占める領域の中で、管状の領域となる領域を２値化処理により求め、求めた領域を特定領域として抽出する。或いは、「非造影Ｘ線ＣＴ画像データ：血流」が設定情報の場合、例えば、抽出部１７１は、造影超音波画像データで、所定の閾値以上の輝度の全画素が占める領域を平滑化処理した領域を、特定領域として抽出する。

図６に示す第４パターンも、造影検査回数を減らすことが可能となるパターンである。ただし、第４パターンでは、超音波画像データが非造影撮影で得られた超音波画像データ（通常のＢモード画像データ）であり、他種医用画像データ（Ｘ線ＣＴ画像データ）が造影撮影で得られた医用画像データ（造影Ｘ線ＣＴ画像データ）である。かかる場合、例えば、操作者は、「非造影Ｂモード画像データ：管腔」、又は、「非造影Ｂモード画像データ：血流」といった設定情報を入力する。そして、操作者が、合成処理開始を指示すると、制御部１８は、第１画像データが造影Ｘ線ＣＴ画像データであると決定し、合成のベースとなる第２画像データが非造影Ｂモード画像データであると決定する。そして、抽出部１７１は、造影剤が存在する領域、又は、造影剤が存在する領域の中で超音波画像データ（非造影Ｂモード画像データ）の管腔領域に該当する領域を特定領域として、他種医用画像データ（造影Ｘ線ＣＴ画像データ）から抽出する。

「非造影Ｂモード画像データ：管腔」が設定情報の場合、例えば、抽出部１７１は、造影Ｘ線ＣＴ画像データで、所定の閾値以上の輝度の全画素を特定する。そして、抽出部１７１は、例えば、特定した全画素が占める領域の中で、管状の領域となる領域を２値化処理により求め、求めた領域を特定領域として抽出する。或いは、「非造影Ｂモード画像データ：血流」が設定情報の場合、例えば、抽出部１７１は、造影Ｘ線ＣＴ画像データで、所定の閾値以上の輝度の全画素が占める領域を平滑化処理した領域を特定領域として抽出する。なお、上記の第２パターン〜第４パターンにおいて、血管内を流動する血液だけでなく、組織内を灌流する血液の情報を得たい場合、操作者は、孤立点除去等の平滑化処理を実行しないように、指定することができる。

図６に示す第５パターンでは、超音波画像データは、撮影部位の硬さを示す指標（弾性率）を、エラストグラフィによりマッピングした超音波画像データ、すなわち、弾性画像データである。なお、第５パターンでは、他種医用画像データとしてのＸ線ＣＴ画像データは、造影撮影で得られた画像データであっても、非造影撮影で得られた画像データであっても良い。エラストグラフィで得られる客観的な指標に基づく硬さ情報は、Ｘ線ＣＴ画像データから得ることができない。第５パターンは、組織の空間分解能が高いＸ線ＣＴ画像データで、医師が着目する領域をエラストグラフィで得られる情報に入れ替えた合成画像データを目的とする場合に、選択される。

第５パターンの一例では、抽出部１７１は、指標（弾性率）が所定の範囲にある領域を特定領域として、超音波画像データ（弾性画像データ）から抽出する。例えば、エラストモードの撮影後や、エラストモードの超音波画像データを指定した後、操作者は、「Ｘ線ＣＴ画像データ：弾性率：腫瘍相当」を設定情報として入力する。かかる場合、例えば、抽出部１７１は、弾性画像データで、一般的な腫瘍組織で認められている硬さ以上の弾性率を有する画素が占める全領域を平滑化処理した領域を、特定領域として抽出する。或いは、「Ｘ線ＣＴ画像データ：弾性率：正常相当」と設定情報が入力された場合、抽出部１７１は、弾性画像データで、一般的な正常組織で認められている柔らかさを示す弾性率を有する画素が占める全領域を平滑化処理した領域を、特定領域として抽出する。或いは、「Ｘ線ＣＴ画像データ：弾性率：腫瘍相当及び正常相当」と設定情報が入力された場合、抽出部１７１は、上述した双方の弾性率を有する画素が占める全領域を平滑化処理した領域を、特定領域として抽出する。

第５パターンの別の一例では、抽出部１７１は、他種医用画像データ（Ｘ線ＣＴ画像データ）で撮影部位内の所定部位を含む領域を特定領域として、超音波画像データ（弾性画像データ）から抽出する。ここで、上記の所定部位とは、例えば、Ｘ線ＣＴ画像データで認められた腫瘍部位であり、上記の所定部位を含む領域とは、例えば、腫瘍部位及び腫瘍組織の周辺部位を合わせた領域である。例えば、Ｘ線ＣＴ画像データを参照した操作者が、入力装置３を用いて腫瘍部位にＲＯＩ（Region-Of-Interest）を指定すると、抽出部１７１は、ＲＯＩに対応する弾性画像データの領域を、変換行列を用いて特定し、特定した領域を、予め設定されたマージン情報（例えば、「全方位：３０ｍｍ」）を用いて拡げ、この拡げた領域を、特定領域として抽出する。この一例では、操作者は、ＲＯＩ指定を行なった後、例えば、「Ｘ線ＣＴ画像データ：腫瘍＋マージン」といった設定情報を入力する。

第５パターンでは、操作者が、上記の設定情報が入力した後に、合成処理開始を指示すると、制御部１８は、第１画像データが弾性画像データであると決定し、合成のベースとなる第２画像データがＸ線ＣＴ画像データであると決定する。そして、抽出部１７１は、上述した方法で、弾性画像データから特定領域を抽出し、同定部１７２は、Ｘ線ＣＴ画像データの対応部位を同定する。そして、合成部１７３は、Ｘ線ＣＴ画像データベースとし、Ｘ線ＣＴ画像データベースの対応部位が、医師が着目する部位に弾性率の情報が描出された特定領域に置き換わった合成画像データを生成する。

次に、第６パターンについて、図７を用いて説明する。第６パターンは、本実施形態に係る画像処理を、ラジオ波焼灼術（ＲＦＡ：Radio Frequency Ablation）に適用する場合の一例を示している。ＲＦＡ治療は、体表からＲＦＡ針（電極針）を病変部（腫瘍部）に向かって挿入し、ラジオ波により発生する高温により病変部を凝固死させる治療法である。ＲＦＡは、通常、超音波ガイド下で行なわれる。そして、ＲＦＡ治療を行なう領域（治療計画領域、焼灼領域）は、再発防止のために、腫瘍境界に対して全方位的に、例えば、５ｍｍ程度のマージンをとって設定される。

図７の（Ａ）の左図は、穿刺針による焼灼治療前のＢモード画像データ（又は、超音波造影画像データ）を示している。また、図７の（Ａ）の左図では、Ｂモード画像データ（又は、超音波造影画像データ）に描出された腫瘍領域を「Ｔ」で示し、腫瘍領域Ｔの境界に対して全方位的に設定された５ｍｍ程度のマージンにより定まる焼灼領域を「Ｍ」で示している。また、図７の（Ａ）の左図では、例えば、超音波プローブ１に装着された穿刺ガイドから挿入されたＲＦＡ治療用の穿刺針を、線分で示している。

ここで、焼灼治療中では、腫瘍領域Ｔの中心まで先端が挿入された穿刺針から発生したラジオ波により、ガスが発生する。かかる場合、図７の（Ａ）の右図に示すように、焼灼中の超音波画像データを参照しても、ガスにより、焼灼領域Ｍの視認性が低下する。そこで、第６パターンでは、超音波画像データがラジオ波による焼灼中の被検体Ｐの超音波画像データとされ、他種医用画像データが焼灼前の被検体Ｐの医用画像データとされる。例えば、第６パターンでは、図７の（Ｂ）に示すように、他種医用画像データが焼灼前の被検体ＰのＸ線ＣＴ画像データとなる。

そして、第６パターンでは、抽出部１７１は、治療対象部位（腫瘍部位）を含む焼灼領域を特定領域として、他種医用画像データ（焼灼前のＸ線ＣＴ画像データ）から抽出する。例えば、焼灼治療前の超音波画像データを参照して腫瘍領域ＴをＲＯＩ指定した後、操作者は、「超音波画像データ（焼灼開始後）：腫瘍＋マージン」を設定情報として入力する。かかる場合、抽出部１７１は、焼灼前のＸ線ＣＴ画像データにおいて、ＲＯＩとして指定された腫瘍領域Ｔに該当する領域を、変換行列を用いて特定する（図７の（Ｂ）に示す領域Ｔ’を参照）する。そして、抽出部１７１は、領域Ｔ’を予め設定されたマージン情報（例えば、「全方位：５ｍｍ」）を用いて拡げ、この拡げた領域Ｍ’を、特定領域として抽出する。

そして、同定部１７２は、焼灼中に、時系列に沿って生成されるＢモード画像データそれぞれで、領域Ｍ’に対応する対応領域（すなわち、領域Ｍ）を同定する。これにより、合成部１７３は、合成画像データを時系列に沿って生成する。その結果、モニタ２は、焼灼治療中でも、ガスで視認性が低下する領域Ｍが、ガスがない領域Ｍ’に置き換わった合成画像データの動画表示を行なう。医師は、かかる動画を参照して、例えば、腫瘍部位を視認しつつ、ガスが領域Ｍ’の外部に均等に発生していることを確認して、ＲＦＡ治療を容易に行なうことができる。

なお、第６パターンは、変形例として、第１画像データが、例えば、図７の（Ａ）の左図に示す焼灼前の超音波画像データであっても良い。かかる場合の位置合わせ処理は、位置センサ４及びトランスミッター５で構成される位置検出システム、超音波送受信条件及び画像生成条件を用いて実行可能である。この第６パターンの変形例では、画像処理部１７が行なう処理は、以下となる。

すなわち、抽出部１７１は、ラジオ波による焼灼中の被検体Ｐの超音波画像データと空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた被検体Ｐの焼灼前の超音波画像データにおいて、治療対象部位を含む焼灼領域を特定領域として、画像処理により抽出する。そして、同定部１７２は、焼灼中の超音波画像データにおける特定領域に対応する対応領域の位置を、位置合わせ情報を用いて求める。そして、合成部１７３は、焼灼中の超音波画像データの対応領域を、特定領域における焼灼前の超音波画像データに基づいて変更した合成画像データを生成する。具体的には、合成部１７３は、焼灼中の超音波画像データの対応領域を、特定領域に入れ替えた合成画像データを生成する。かかる合成画像データの動画表示をすることでも、ＲＦＡ治療の支援を行なうことができる。

なお、上述した第１パターン〜第６パターンの画像処理は、超音波画像データ及び他種医用画像データがボリュームデータである場合でも、適用可能である。

次に、制御部１８が実行させる合成画像データの表示形態について、図８及び図９等を用いて説明する。図８及び図９は、本実施形態に係る制御部による表示形態の一例を説明するための図である。

制御部１８は、合成画像データとともに第１画像データ及び第２画像データの少なくとも一方を表示させる第１表示形態を、モニタ２に行わせる。例えば、制御部１８は、合成画像データと、ベースとした第２画像データとを並列表示させる。或いは、制御部１８は、合成画像データと、第１画像データと、第２画像データとを並列表示させる。

或いは、制御部１８は、図８に示すように、合成画像データ及び第２画像データを切り替え表示させる第２表示形態を、モニタ２に行わせる。例えば、図８に示す第２表示形態は、操作者が、入力装置３が有する切り替えボタンを押下することで、実行される。

或いは、制御部１８は、合成画像データで変更された領域を明示させる第３表示形態を、モニタ２に行わせる。上記の合成画像データを表示用画像データとする場合、制御部１８は、合成画像データで入れ替えられた領域を明示させる第３表示形態を、モニタ２に行わせる。例えば、合成部１７３は、制御部１８の指示により、特定領域に着色したり、特定領域の境界に点線を描画したりした合成画像データを生成し、モニタ２に出力する。或いは、制御部１８は、合成画像データ及び第２画像データの間の差分値を合成画像データに表示させる第４表示形態を、モニタ２に行わせる。例えば、合成部１７３は、合成画像データ及び第２画像データの間の差分値を全画素で算出し、算出した値に応じた色調を合成画像データに重畳し、モニタ２は、合成部１７３が出力した画像データを表示する。また、制御部１８は、操作者の指定により、上記の第１表示形態、第２表示形態、第３表示形態及び第４表示形態の１つ、２つ、又は、全ての表示形態を行なうことが可能である。

更に、制御部１８は、以下に説明する第５表示形態で、上述した「対応領域を特定領域に入れ替えた合成画像データ」とは異なる合成画像データの生成表示を行なわせることも可能である。例えば、第５表示形態では、合成部１７３は、対応領域を特定領域に入れ替えた上記の合成画像データとともに、混合率を変更して特定領域及び対応領域を重畳合成した合成画像データを表示用画像データとして生成する。すなわち、合成部１７３は、第２画像データの対応領域を、特定領域における第１画像データに基づいて変更した合成画像データとして、対応領域を特定領域に入れ替えた合成画像データ、及び、混合率を変更して特定領域及び対応領域を重畳合成した合成画像データの少なくとも一方を、表示用画像データとして生成することが可能である。

例えば、操作者は、図９に示すスライドバーを操作して、混合率を調整する。ベースである第２画像データそのものを、合成画像データとともに参照したい場合、操作者は、「特定領域：０％」の位置まで、スライドバーを移動する。或いは、「特定領域：８０％、対応領域：２０％」の混合率で第２画像データを参照したい場合、操作者は、「特定領域：８０％」の位置まで、スライドバーを移動する。これにより、合成部１７３は、「特定領域：８０％、対応領域：２０％」の混合率で重畳合成した画像データを生成し、モニタ２は、かかる画像データを表示する。なお、第５表示形態は、入れ替え型の合成画像データと混合型の合成画像データとは、一方のみ生成表示される場合でも、双方生成表示される場合であっても良い。また、混合型の合成画像データの第５表示形態を行なう場合でも、上記の第１表示形態〜第４表示形態の少なくとも１つを併用することができる。

上記の第１表示形態〜第５表示形態を行なうことで、医師等の操作者は、合成画像データの合成元の画像データを参照したり、特定領域及び対応領域が様々な混合率で重畳合成された画像データを合成画像データとともに参照したりすることができる。これにより、例えば、医師は、合成画像データで行った診断結果が、原画像データからも同様に得られるかを判断することができ、画像診断の精度を保証することができる。

次に、図１０を用いて、本実施形態に係る超音波診断装置が処理の一例について説明する。図１０は、本実施形態に係る超音波診断装置が行なう画像処理を説明するためのフローチャートである。なお、図１０に示す一例では、制御部１８が位置合わせ情報を取得した後の処理について説明する。また、図１０に示す一例では、合成画像データとして、入れ替え型の合成画像データが設定された場合の処理について説明する。

図１０に例示するように、本実施形態に係る超音波診断装置の制御部１８は、操作者から、合成処理の関する設定情報を受け付けたか否かを判定する（ステップＳ１０１）。ここで、設定情報を受け付けない場合（ステップＳ１０１否定）、制御部１８は、設定情報を受け付けるまで待機する。

一方、設定情報を受け付けた場合（ステップＳ１０１肯定）、制御部１８は、設定情報を抽出部１７１に通知し、更に、操作者から、合成処理開始要求を受け付けたか否かを判定する（ステップＳ１０２）。ここで、合成処理開始要求を受け付けない場合（ステップＳ１０２否定）、制御部１８は、合成処理開始要求を受け付けるまで待機する。

一方、合成処理開始要求を受け付けた場合（ステップＳ１０２肯定）、制御部１８の指示により、画像処理部１７の処理が開始する。まず、抽出部１７１は、設定情報に基づいて、第１画像データ及び第２画像データを決定する（ステップＳ１０３）。すなわち、抽出部１７１は、設定情報に基づいて、情報が不足している領域（対応領域）がある第１画像データが、超音波画像データ及び他種医用画像データのどちらであるかを判定する。

そして、抽出部１７１は、第１画像データから特定領域を抽出し（ステップＳ１０４）、同定部１７２は、第２画像データから対応領域を同定する（ステップＳ１０５）。すなわち、同定部１７２は、第２画像データにおいて、位置合わせ情報を用いて、対応領域の位置を求める。そして、合成部１７３は、第２画像データの対応領域を特定領域に入れ替えて、合成画像データを生成する（ステップＳ１０６）。

そして、モニタ２は、制御部１８の制御により、合成画像データを表示し（ステップＳ１０７）、処理を終了する。なお、ステップＳ１０７において、又は、ステップＳ１０７の後、操作者の指示により、上述した第１表示形態〜第５表示形態の少なくとも１つが行われても良い。

上述したように、本実施形態では、第２画像データで情報が不足している領域では得られない情報を特定領域から得ることができる１枚の合成画像データを生成表示する。本実施形態では、操作者は、第１パターン〜第６パターンで説明したように、簡単な情報を設定するたけで、上記の合成画像データを生成表示させることができる。従って、本実施形態では、撮影部位の様々な情報が得られる画像を簡易に得ることができる。また、本実施形態では、上記の合成画像データを画像診断用の画像として提供することで、画像診断の効率（検査効率）を向上させることができる。また、本実施形態では、上述した第１表示形態〜第５表示形態を行なうことで、画像診断の精度を向上させることができる。

なお、本実施形態では、以下に説明する変形例が行われても良い。位置合わせ情報で同定される対応領域は、例えば、位置センサ４の検出精度や、画像中のノイズ等によっては、特定領域に対応する領域と一致しない場合がある。そこで、本変形例に係る画像処理部１７は、図１１に例示する調整処理を行なう。図１１は、本実施形態に係る変形例を説明するための図である。

本変形例では、同定部１７２による対応領域の同定処理とともに、抽出部１７１は、画像処理により、第２画像データから特定領域に対応する第２対応領域を抽出する。図１１では、上述した第１パターンで本変形例が行われる場合を例示している。同定部１７２は、図１１の左上図に示すように、位置合わせ情報から、第２画像データである超音波画像データの対応領域を同定する。更に、抽出部１７１は、例えば、エッジ検出処理等の画像処理により、超音波画像データに描出された骨の境界を抽出し、抽出した骨の境界と超音波の送信方向とを用いて、図１１の左下図に示すように、第２対応領域を抽出する。

そして、同定部１７２は、対応領域の位置を、第２対応領域により調整する。図１１の左図に示す一例では、対応領域と第２対応領域との位置は一致していないことから、同定部１７２は、図１１の右図に示すように、第２対応領域により対応領域の位置を調整した「調整済み対応領域」を同定する。そして、本変形例では、合成部１７３は、第２画像データの調整済み対応領域を、特定領域に入れ替えたり、特定領域と調整済み対応領域とを任意の混合率で混合したりすることで、合成画像データを生成する。本変形例では、位置合わせ精度が低い場合でも、調整済み対応領域を用いることで、画像診断を確実に支援することができる合成画像データを生成表示することができる。

なお、上述した実施形態及び変形例で説明した画像処理方法は、超音波診断装置以外の医用画像診断装置で行われても良い。また、上述した実施形態及び変形例で説明した画像処理方法は、医用画像診断装置とは独立に設置され、上述した画像処理部１７の機能が搭載された画像処理装置で行われても良い。

また、かかる画像処理装置が上述した画像処理を行なう第１画像データ及び第２画像データには、超音波画像データが含まれる場合であっても、超音波画像データが含まれない場合であっても良い。すなわち、画像処理装置は、画像データ間の空間的な位置を対応付けて位置合わせされた種類の異なる２つの医用画像データを、各種医用画像診断装置、又は、医用画像のデータベースから取得する。そして、画像処理装置は、これら２つの医用画像データの一方の画像データである第１画像データの特定領域を、画像処理により抽出し、他方の画像データである第２画像データにおける特定領域に対応する対応領域域の位置を、位置合わせ情報を用いて求める。そして、画像処理装置は、第２画像データの前記対応領域を、前記特定領域における第１画像データに基づいて変更した合成画像データを生成する。これにより、画像処理装置は、合成画像データの表示を行なうことができる。

また、本実施形態及び変形例で説明した画像処理方法は、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＵＳＢメモリ及びＳＤカードメモリ等のＦｌａｓｈメモリ等のコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって非一時的な記録媒体から読み出されることによって実行することもできる。

以上、説明したとおり、本実施形態及び変形例によれば、撮影部位の様々な情報が得られる画像を簡易に得ることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１７ 画像処理部
１７１ 抽出部
１７２ 同定部
１７３ 合成部
１８ 制御部

Claims (17)

1. 画像データ間の空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた超音波画像データ及び他種医用画像データの一方の画像データである第１画像データの特定領域を、画像処理により抽出する抽出部と、
   他方の画像データである第２画像データにおける前記特定領域に対応する対応領域の位置を、前記位置合わせ情報を用いて求める同定部と、
   前記第２画像データの前記対応領域を、前記特定領域における前記第１画像データに基づいて変更した合成画像データを生成する合成部と、
   前記合成画像データを表示部に表示させる制御部と、
   を備えたことを特徴とする超音波診断装置。
2. 前記抽出部は、前記第２画像データから得られない情報が得られる領域を前記特定領域として、前記第１画像データから抽出することを特徴とする請求項１に記載の超音波診断装置。
3. 前記抽出部は、操作者が設定した情報に基づく画像処理により、前記第１画像データから前記特定領域を抽出することを特徴とする請求項１又は２に記載の超音波診断装置。
4. 前記抽出部は、前記操作者が設定した被検体部位の情報に基づくセグメンテーション処理により、前記第１画像データから前記特定領域を抽出することを特徴とする請求項３に記載の超音波診断装置。
5. 前記抽出部は、前記画像処理により、前記第２画像データから前記特定領域に対応する第２対応領域を抽出し、
   前記同定部は、前記対応領域の位置を、前記第２対応領域により調整することを特徴とする請求項１〜４のいずれか１つに記載の超音波診断装置。
6. 前記制御部は、前記合成画像データとともに前記第１画像データ及び前記第２画像データの少なくとも一方を表示させる表示形態、前記合成画像データ及び前記第２画像データを切り替え表示させる表示形態、前記合成画像データで変更された領域を明示させる表示形態、及び、前記合成画像データ及び前記第２画像データの間の差分値を前記合成画像データに表示させる表示形態の少なくとも１つの表示形態を、前記表示部に行わせることを特徴とする請求項１〜５のいずれか１つに記載の超音波診断装置。
7. 前記合成部は、前記合成画像データとして、前記対応領域を前記特定領域に入れ替えた合成画像データ、及び、混合率を変更して前記特定領域及び前記対応領域を重畳合成した合成画像データの少なくとも一方を、表示用画像データとして生成することを特徴とする請求項１〜６のいずれか１つに記載の超音波診断装置。
8. 前記抽出部は、超音波を伝搬しない物質により前記超音波画像データで映像化されていない領域に該当する領域を前記特定領域として、前記他種医用画像データから抽出することを特徴とする請求項１〜７のいずれか１つに記載の超音波診断装置。
9. 前記抽出部は、骨領域から深い位置にある領域を前記特定領域として、前記他種医用画像データから抽出することを特徴とする請求項８に記載の超音波診断装置。
10. 前記超音波画像データがドプラ効果に基づく血流情報が描出された超音波画像データであって、
    前記抽出部は、前記血流情報が存在する領域、又は、当該領域の中で前記他種医用画像データの管腔領域に該当する領域を前記特定領域として、前記超音波画像データから抽出することを特徴とする請求項１〜７のいずれか１つに記載の超音波診断装置。
11. 前記超音波画像データが造影撮影で得られた超音波画像データであり、前記他種医用画像データが非造影撮影で得られた医用画像データであって、
    前記抽出部は、造影剤が存在する領域、又は、当該領域の中で前記他種医用画像データの管腔領域に該当する領域を前記特定領域として、前記超音波画像データから抽出することを特徴とする請求項１〜７のいずれか１つに記載の超音波診断装置。
12. 前記超音波画像データが非造影撮影で得られた超音波画像データであり、前記他種医用画像データが造影撮影で得られた医用画像データであって、
    前記抽出部は、造影剤が存在する領域、又は、当該領域の中で前記超音波画像データの管腔領域に該当する領域を前記特定領域として、前記他種医用画像データから抽出することを特徴とする請求項１〜７のいずれか１つに記載の超音波診断装置。
13. 前記超音波画像データが撮影部位の硬さを示す指標をマッピングした超音波画像データであって、
    前記抽出部は、前記指標が所定の範囲にある領域、又は、前記他種医用画像データで前記撮影部位内の所定部位を含む領域を前記特定領域として、前記超音波画像データから抽出することを特徴とする請求項１〜７のいずれか１つに記載の超音波診断装置。
14. 前記超音波画像データがラジオ波による焼灼中の被検体の超音波画像データであり、前記他種医用画像データが焼灼前の前記被検体の医用画像データであって、
    前記抽出部は、治療対象部位を含む焼灼領域を特定領域として、前記他種医用画像データから抽出することを特徴とする請求項１〜７のいずれか１つに記載の超音波診断装置。
15. ラジオ波による焼灼中の被検体の超音波画像データと空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた当該被検体の焼灼前の超音波画像データにおいて、治療対象部位を含む焼灼領域を特定領域として、画像処理により抽出する抽出部と、
    前記焼灼中の超音波画像データにおける前記特定領域に対応する対応領域の位置を、前記位置合わせ情報を用いて求める同定部と、
    前記焼灼中の超音波画像データの前記対応領域を、前記特定領域における前記焼灼前の超音波画像データに基づいて変更した合成画像データを生成する合成部と、
    前記合成画像データを表示部に表示させる制御部と、
    を備えたことを特徴とする超音波診断装置。
16. 画像データ間の空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた種類の異なる２つの医用画像データの一方の画像データである第１画像データの特定領域を、画像処理により抽出する抽出部と、
    他方の画像データである第２画像データにおける前記特定領域に対応する対応領域の位置を、前記位置合わせ情報を用いて求める同定部と、
    前記第２画像データの前記対応領域を、前記特定領域における前記第１画像データに基づいて変更した合成画像データを生成する合成部と、
    前記合成画像データを表示部に表示させる制御部と、
    を備えたことを特徴とする画像処理装置。
17. 画像データ間の空間的な位置を対応付ける位置合わせ情報に基づいて位置合わせされた種類の異なる２つの医用画像データの一方の画像データである第１画像データの特定領域を、画像処理により抽出する抽出手順と、
    他方の画像データである第２画像データにおける前記特定領域に対応する対応領域の位置を、前記位置合わせ情報を用いて求める同定手順と、
    前記第２画像データの前記対応領域を、前記特定領域における前記第１画像データに基づいて変更した合成画像データを生成する合成手順と、
    前記合成画像データを表示部に表示させる制御手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。