JP6833533B2 - 超音波診断装置および超音波診断支援プログラム - Google Patents

Description

本発明の実施形態は、超音波診断装置および超音波診断支援プログラムに関する。

近年、医用画像診断において、様々な医用画像診断装置（Ｘ線コンピュータ断層撮像装置、磁気共鳴イメージング装置、超音波診断装置、Ｘ線診断装置、核医学診断装置等）を用いて取得された３次元（３Ｄ）画像データ間の画像位置合わせが、種々の手法を用いて行われている。
例えば、超音波３Ｄ画像データと、過去に医用画像診断装置を用いて取得した超音波画像、ＣＴ（Computed Tomography）画像、またはＭＲ（magnetic resonance）画像などの医用３Ｄ画像データとの画像位置合わせは、位置センサが装着された超音波プローブを用いて位置情報が付された３Ｄ画像データを取得し、当該位置情報と他の医用３Ｄ画像データに付された位置情報とを用いて行われる。

特許４４６８４３２号明細書 特開２０１４−２３６９９８号公報

渡部浩司，"マルチモダリティの画像位置合わせと重ね合わせ"，日本放射線技術学会雑誌，２００３年１月，第５９巻 第１号，ｐｐ．６０−６５

しかし、従来の手法による超音波３Ｄ画像データを用いた画像位置合わせには、以下の問題がある。

従来技術では、超音波画像、ＣＴ画像またはＭＲ画像の輝度情報を利用し、相互情報量や相関係数、輝度差分などを用いた画像位置合わせがあり、位置合わせをする画像内の領域として、画像の全領域間または主要領域（例えば、ＲＯＩ：Region of Interest）間で行うことが多い。しかし、超音波画像にはスペックルノイズ、音響シャドー、多重アーティファクト、深さに依存した輝度減衰、側方の輝度低下、ＳＴＣ（Sensitivity Time Control）調整後の輝度むらなどの位置合わせの高精度化に対しての阻害要因が存在する。特に、スペックルノイズが構造情報を不明瞭にすることも、位置合わせの阻害要因となる。
また、超音波３Ｄ画像データは、任意方向から取得されるため、位置合わせするボリュームデータ間の初期の位置関係の自由度が大きく、位置合わせが困難となりえる。

以上の点から、従前よりＣＴ画像間などで行われている画像位置合わせを、超音波画像を含む画像位置合わせにそのまま適用しても精度が低い。また、従来の手法による超音波３Ｄ画像データと超音波３Ｄ画像データとの画像位置合わせ、および超音波３Ｄ画像データと医用３Ｄ画像データとの画像位置合わせは、その成功率が低く実用的でないと言える。

本開示は、上述の課題を解決するためになされたものであり、超音波３Ｄ画像データと超音波３Ｄ画像データを含む他の医用３Ｄ画像データとの画像位置合わせを高い成功率で容易に正確に行うことができる超音波診断装置および超音波診断支援プログラムを提供することを目的とする。

本実施形態に係る超音波診断装置は、抽出部と、生成部と、画像位置合わせ部とを含む。抽出部は、医用画像データについて小領域を設定し、各小領域の画素値分布の特徴量を抽出する。生成部は、前記特徴量を用いて特徴量画像を生成する。画像位置合わせ部は、特徴量画像を利用した医用画像データ間の類似度に基づいて画像位置合わせを行う。

また、本実施形態に係る超音波診断装置は、位置情報取得部と、超音波データ取得部と、センサ位置合わせ部と、抽出部と、生成部と、画像位置合わせ部とを含む。位置情報取得部は、超音波プローブおよび超音波画像に関する位置情報を取得する。超音波データ取得部は、前記位置情報を取得した位置における前記超音波プローブからの超音波の送受信により得られる超音波データを、前記位置情報と対応付けて取得する。センサ位置合わせ部は、前記位置情報に関する第１座標系と医用画像データに関する第２座標系との対応付けを行う。抽出部は、医用画像データについて小領域を設定し、各小領域の画素値分布の特徴量を抽出する。生成部は、前記特徴量を用いて特徴量画像を生成する。画像位置合わせ部は、前記特徴量画像を利用して医用画像データ間の画像位置合わせを行う。

第１の実施形態に係る超音波診断装置の構成を示すブロック図。 第１の実施形態に係る超音波データ間の画像位置合わせ処理を示すフローチャート。 超音波画像データ間で位置ずれが大きい場合の例を示す図。 ＭＲ画像データと超音波画像データとの間で位置ずれが大きい場合の例を示す図。 特徴量抽出処理の具体例を示す図。 小領域の設定方法の一例を示す図。 特徴量画像の一例を示す図。 マスク領域の一例を示す図。 第２の実施形態に係る超音波診断装置の構成を示すブロック図。 第２の実施形態に係る超音波データ間の位置合わせ処理を示すフローチャート。 位置ずれが生じた場合の位置合わせ処理を示すフローチャート。 センサ位置合わせが完了した後で超音波データ間での位置合わせ前の超音波画像表示の一例を示す図。 超音波データ間での位置合わせ後の超音波画像表示の一例を示す図。 第３の実施形態に係る超音波データと医用画像データとの位置合わせ処理を示すフローチャート。 超音波データと医用画像データとのセンサ位置合わせの概念図。 超音波データと医用画像データとのセンサ位置合わせの概念図。 超音波データと医用画像データとのセンサ位置合わせの概念図。 超音波データと医用画像データとの対応付けの例を示す図。 超音波データと医用画像データとの対応付けの例を示す図。 超音波データと医用画像データとの位置ずれの補正について説明する図。 位置ずれの補正が完了した状態での超音波データの収集例を示す図。 超音波データと医用画像データとの位置合わせ後の超音波画像表示の一例を示す図。 超音波画像と医用画像との同期表示の一例を示す図。 超音波画像と医用画像との同期表示の別例を示す図。 位置センサシステムとして赤外線を利用する場合の超音波診断装置を示すブロック図。 位置センサシステムとしてロボットアームを利用する場合の超音波診断装置を示すブロック図。 位置センサシステムとしてジャイロセンサを利用する場合の超音波診断装置のブロック図。 位置センサシステムとしてカメラを利用する場合の超音波診断装置のブロック図。

以下、図面を参照しながら本実施形態に係わる超音波診断装置および超音波診断支援プログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

図１は、本実施形態に係る超音波診断装置１の構成例を示すブロック図である。図１に示されるように、超音波診断装置１は、本体装置１０および超音波プローブ３０を含む。本体装置１０は、ネットワーク１００を介して外部装置４０と接続される。また、本体装置１０は、表示機器５０および入力装置６０と接続される。

超音波プローブ３０は、複数の圧電振動子、圧電振動子に設けられる整合層、及び圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。超音波プローブ３０は、本体装置１０と着脱自在に接続される。複数の圧電振動子は、本体装置１０が有する超音波送信回路１１から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ３０には、オフセット処理や、超音波画像のフリーズなどの際に押下されるボタンが配置されてもよい。

超音波プローブ３０から生体Ｐに超音波が送信されると、送信された超音波は、生体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ３０が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁などの表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。超音波プローブ３０は、生体Ｐからの反射波信号を受信して電気信号に変換する。

本実施形態に係る超音波プローブ３０は、生体Ｐを２次元で走査する複数の超音波振動子を有する１次元アレイプローブである。なお、超音波プローブ３０は、あるエンクロージャ内に１次元アレイプローブとプローブ揺動用モータを備え、超音波振動子を所定の角度（揺動角度）で揺動させることで煽り走査や回転走査を機械的に行い、生体Ｐを３次元で走査するメカニカル４次元プローブ（機械揺動方式の３次元プローブ）でもよい。さらに、複数の超音波振動子がマトリックス状に配置される２次元アレイプローブ、又は１次元に配列された複数の振動子が複数に分割される１．５次元アレイプローブであってもよい。

図１に示される本体装置１０は、超音波プローブ３０が受信した反射波信号に基づいて超音波画像を生成する装置である。本体装置１０は、図１に示すように、超音波送信回路１１、超音波受信回路１２、Ｂモード処理回路１３、ドプラ処理回路１４、３次元処理回路１５、表示処理回路１６、内部記憶回路１７、画像メモリ１８（シネメモリ）、画像データベース１９、入力インタフェース回路２０、通信インタフェース回路２１および制御回路２２を含む。

超音波送信回路１１は、超音波プローブ３０に駆動信号を供給するプロセッサである。超音波送信回路１１は、例えば、トリガ発生回路、遅延回路、及びパルサ回路等により実現される。トリガ発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、超音波プローブ３０から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子毎の遅延時間を、トリガ発生回路が発生する各レートパルスに対し与える。パルサ回路は、レートパルスに基づくタイミングで、超音波プローブ３０に駆動信号（駆動パルス）を印加する。遅延回路により各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向が任意に調整可能となる。

超音波受信回路１２は、超音波プローブ３０が受信した反射波信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信回路１２は、例えば、アンプ回路、Ａ／Ｄ変換器、受信遅延回路、及び加算器等により実現される。アンプ回路は、超音波プローブ３０が受信した反射波信号をチャンネル毎に増幅してゲイン補正処理を行なう。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をデジタル信号に変換する。受信遅延回路は、デジタル信号に受信指向性を決定するのに必要な遅延時間を与える。加算器は、遅延時間が与えられた複数のデジタル信号を加算する。加算器の加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が発生する。

Ｂモード処理回路１３は、超音波受信回路１２から受け取った受信信号に基づき、Ｂモードデータを生成するプロセッサである。Ｂモード処理回路１３は、超音波受信回路１２から受け取った受信信号に対して包絡線検波処理、及び対数増幅処理等を施し、信号強度が輝度の明るさで表現されるデータ（以下、Ｂモードデータ）を生成する。生成されたＢモードデータは、超音波走査線上のＢモードＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。なお、ＢモードＲＡＷデータは、後述の内部記憶回路１７に記憶されてもよい。

ドプラ処理回路１４は、超音波受信回路１２から受け取った受信信号に基づき、ドプラ波形、及びドプラデータを生成するプロセッサである。ドプラ処理回路１４は、受信信号から血流信号を抽出し、抽出した血流信号からドプラ波形を生成すると共に、血流信号から平均速度、分散、及びパワー等の情報を多点について抽出したデータ（以下、ドプラデータ）を生成する。

３次元処理回路１５は、Ｂモード処理回路１３、及びドプラ処理回路１４により生成されたデータに基づき、２次元の画像データまたは３次元の画像データ（以下、ボリュームデータともいう）を生成可能なプロセッサである。３次元処理回路１５は、ＲＡＷ−ピクセル変換を実行することで、ピクセルから構成される２次元画像データを生成する。

また、３次元処理回路１５は、ＲＡＷデータメモリに記憶されたＢモードＲＡＷデータに対し、空間的な位置情報を加味した補間処理を含むＲＡＷ−ボクセル変換を実行することで、所望の範囲のボクセルから構成されるボリュームデータを生成する。３次元処理回路１５は、発生したボリュームデータに対してレンダリング処理を施し、レンダリング画像データを生成する。以下、ＢモードＲＡＷデータ、２次元画像データ、ボリュームデータおよびレンダリング画像データを総称して超音波データとも呼ぶ。

表示処理回路１６は、３次元処理回路１５において発生された各種画像データに対し、ダイナミックレンジ、輝度（ブライトネス）、コントラスト、γカーブ補正、及びＲＧＢ変換等の各種処理を実行することで、画像データをビデオ信号に変換する。表示処理回路１６は、ビデオ信号を表示機器５０に表示させる。なお、表示処理回路１６は、操作者が入力インタフェース回路２０により各種指示を入力するためのユーザインタフェース（ＧＵＩ：Graphical User Interface）を生成し、ＧＵＩを表示機器５０に表示させてもよい。表示機器５０としては、例えば、ＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。

内部記憶回路１７は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。内部記憶回路１７は、超音波送受信を実現するための制御プログラム、画像処理を行うための制御プログラム、及び表示処理を行なうための制御プログラム等を記憶している。また、内部記憶回路１７は、診断情報（例えば、患者ＩＤ、医師の所見等）、診断プロトコル、ボディマーク生成プログラム、及び映像化に用いるカラーデータの範囲を診断部位毎に予め設定する変換テーブル等のデータ群を記憶している。また、内部記憶回路１７は、生体内の臓器の構造に関する解剖学図譜、例えば、アトラスを記憶してもよい。

また、内部記憶回路１７は、入力インタフェース回路２０を介して入力される記憶操作に従い、３次元処理回路１５で発生された２次元画像データ、ボリュームデータ、レンダリング画像データを記憶する。なお、内部記憶回路１７は、入力インタフェース回路２０を介して入力される記憶操作に従い、３次元処理回路１５で発生された２次元画像データ、ボリュームデータ、レンダリング画像データを、操作順番及び操作時間を含めて記憶してもよい。内部記憶回路１７は、記憶しているデータを、通信インタフェース回路２１を介して外部装置へ転送することも可能である。

画像メモリ１８は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。画像メモリ１８は、入力インタフェース回路２０を介して入力されるフリーズ操作直前の複数フレームに対応する画像データを保存する。画像メモリ１８に記憶されている画像データは、例えば、連続表示（シネ表示）される。

画像データベース１９は、外部装置４０から転送される画像データを記憶する。例えば、画像データベース１９は、外部装置４０に保存される過去の診察において取得された同一患者に関する過去の医用画像データを受け取って記憶する。過去の医用画像データには、超音波画像データ、ＣＴ（Computed Tomography）画像データ、ＭＲ画像データ、ＰＥＴ（Positron Emission Tomography）−ＣＴ画像データ、ＰＥＴ−ＭＲ画像データおよびＸ線画像データが含まれる。
なお、画像データベース１９は、ＭＯ、ＣＤ−Ｒ、ＤＶＤなどの記憶媒体（メディア）に記録された画像データを読み込むことで、所望の画像データを格納してもよい。

入力インタフェース回路２０は、入力装置６０を介して、ユーザからの各種指示を受け付ける。入力装置６０は、例えば、マウス、キーボード、パネルスイッチ、スライダースイッチ、トラックボール、ロータリーエンコーダ、操作パネルおよびタッチコマンドスクリーン（ＴＣＳ）である。入力インタフェース回路２０は、例えばバスを介して制御回路２２に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を制御回路２２へ出力する。なお、本明細書において入力インタフェース回路２０は、マウス及びキーボード等の物理的な操作部品と接続するものだけに限られない。例えば、超音波診断装置１とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を無線信号として受け取り、この電気信号を制御回路２２へ出力する電気信号の処理回路も入力インタフェース回路２０の例に含まれる。例えば、操作者のジェスチャによる指示に対応する操作指示を無線信号として送信できるような外部の入力機器でもよい。

通信インタフェース回路２１は、ネットワーク１００等を介して外部装置４０と接続され、外部装置４０との間でデータ通信を行う。外部装置４０は、例えば、各種の医用画像のデータを管理するシステムであるＰＡＣＳ（Picture Archiving and Communication System）のデータベース、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベース等である。また、外部装置４０は、例えば、Ｘ線ＣＴ装置、及びＭＲＩ（Magnetic Resonance Imaging）装置、核医学診断装置、及びＸ線診断装置等、本実施形態に係る超音波診断装置１以外の各種医用画像診断装置である。なお、外部装置４０との通信の規格は、如何なる規格であっても良いが、例えば、ＤＩＣＯＭ（digital imaging and communication in medicine）が挙げられる。

制御回路２２は、例えば、超音波診断装置１の中枢として機能するプロセッサである。制御回路２２は、内部記憶回路に記憶されている制御プログラムを実行することで、当該プログラムに対応する機能を実現する。具体的には、制御回路２２は、超音波データ取得機能１０１、特徴量抽出機能１０２、特徴量画像生成機能１０３、領域指定機能１０４および画像位置合わせ機能１０５を実行する。

超音波データ取得機能１０１を実行することで、制御回路２２は、３次元処理回路１５から超音波データを取得する。なお、超音波データとしてＢモードＲＡＷデータを取得する場合、制御回路２２は、Ｂモード処理回路１３からＢモードＲＡＷデータを取得してもよい。

特徴量抽出機能１０２を実行することで、制御回路２２は、医用画像データより、画像データに小領域を設定し、各小領域の画素値分布の特徴量を抽出する。小領域の画素値分布の特徴量の例としては、小領域の画素値バラツキに関係する特徴量がある。小領域の画素値の分散や標準偏差が一例である。あるいは、小領域の画素値分布の特徴量の別な例として、小領域の画素値の一次微分に関係する特徴量がある。勾配ベクトルや勾配値が一例である。あるいは、小領域の画素値分布の特徴量の別な例として、小領域の画素値の二次微分に関係する特徴量がある。

特徴量画像生成機能１０３を実行することで、制御回路２２は、医用画像データや超音波画像データより抽出した特徴量を用いて特徴量画像を生成する。

領域指定機能１０４を実行することで、制御回路２２は、例えば、ユーザからの入力装置６０への入力を入力インタフェース回路２０を介して受け取り、当該入力に基づいて、医用画像データ間の位置合わせを行う初期の位置関係を指定する。

画像位置合わせ機能１０５を実行することで、制御回路２２は、医用画像データ間の類似度に基づく画像位置合わせを行う。また、制御回路２２は、医用画像データ間の位置合わせを行う初期の位置関係が指定されている場合、指定された初期位置関係を利用して画像位置合わせを行ってもよい。

特徴量抽出機能１０２、特徴量画像生成機能１０３、領域指定機能１０４および画像位置合わせ機能１０５は、制御プログラムとして組み込まれていてもよいし、制御回路２２自体または本体装置１０に、各機能を実行可能な専用のハードウェア回路が組み込まれていてもよい。

制御回路２２は、これら専用のハードウェア回路を組み込んだ特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（Field Programmable Logic Device：ＦＰＧＡ）、他の複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、又は単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）により実現されてもよい。

次に、第１の実施形態に係る超音波診断装置１の画像位置合わせについて図２のフローチャートを参照して説明する。なお、以降の第１の実施形態では、現在の検査において撮像されている超音波画像データと、画像位置合わせの対象となる医用画像データである同一部位を撮像した過去の超音波画像データとの間の画像位置合わせを行う場合を想定する。また、超音波データはボリュームデータである場合を想定する。

ステップＳ２０１では、特徴量抽出機能１０２を実行する制御回路２２が、現在の超音波データの第１ボリュームデータおよび過去の医用画像データの第２ボリュームデータに対し、前処理として輝度のばらつきに関する特徴量を抽出する。本実施形態では、特徴量として輝度値の勾配値（一次微分）に関する値を用いる。特徴量の抽出方法については図３を参照して後述する。

ステップＳ２０２では、特徴量画像生成機能１０３を実行する制御回路２２が、第１ボリュームデータの特徴量に基づく第１特徴量画像（第１勾配値画像ともいう）および第２ボリュームデータの特徴量に基づく第２特徴量画像（第２勾配値画像ともいう）を生成する。

ステップＳ２０３では、領域指定機能１０４を実行する制御回路２２が、第１特徴量画像と第２特徴量画像とについて、処理対象となるマスク領域を設定する。さらに、制御回路２２が、位置合わせを行う初期の位置関係を指定する。
ここで、位置合わせを行う初期の位置関係の指定方法について図３及び図４を参照して説明する。図３は、超音波画像データ間で位置ずれが大きい場合の例を示し、図４は、ＭＲ画像データと超音波画像データとで位置ずれが大きい場合の例を示している。位置合わせを行う初期の位置関係を指定する方法として、図３及び図４に示すように、ユーザが画像上で対応点３０１をクリックすることが考えられる。各画像データの対応点３０１を表示するために、各画像データを独立に検索できるユーザインタフェースを設置する。例えば、ロータリーエンコーダを用いて、画像をめくったり、回転させることができる。
ステップＳ２０４では、画像位置合わせ機能１０５を実行する制御回路２２が、第２特徴量画像に関して、座標を変換する。まず、ステップ２０３で指定された初期の位置関係になるように、第２特徴量画像に関して、座標変換する。次に、例えば、対象となる画像データに対して最低、Ｘ方向、Ｙ方向、Ｚ方向の回転と平行移動の６つのパラメータ、必要であれば３つのせん断方向も含めた９つのパラメータで座標変換すればよい。

ステップＳ２０５では、画像位置合わせ機能１０５を実行する制御回路２２が、座標変換された領域をチェックする。具体的には、例えば、ボリュームデータ領域外となる特徴量画像の領域を除外する。領域内を１、領域外をゼロで表した配列を同時に生成してもよい。
ステップＳ２０６では、画像位置合わせ機能１０５を実行する制御回路２２が、第１特徴量画像と第２特徴量画像との類似度を計算する指標として、位置ずれに関する評価関数を計算する。評価関数としては、本実施形態では相関係数を用いる場合を想定するが、例えば、相互情報量、輝度差分などを用いてもよく、画像位置合わせに関する一般的な評価手法を用いればよい。

ステップＳ２０７では、画像位置合わせ機能１０５を実行する制御回路２２が、評価関数が最適値基準を満たすかどうかを判定する。最適値基準を満たす場合、ステップＳ２０９に進み、最適値基準を満たさない場合、ステップＳ２０８に進む。最適な位置関係を探索する方法は、downhill simplex法やpowell法などが知られている。

ステップＳ２０８では、例えば、downhill simplex法により、変換パラメータの変更を実施する。
ステップＳ２０９では、位置ずれ量を決定し、位置ずれ量の分だけ補正する。以上で画像位置合わせ処理を終了する。
なお、図２に示すステップＳ２０３やステップＳ２０５は、必要に応じて処理を省略してもよい。

次に、ステップＳ２０１に係る特徴量抽出処理の具体例について図５を参照して説明する。
図５は、超音波画像５００に対して、位置合わせ計算の対象となるＲＯＩ５０１が設定された図である。同図では、超音波画像は白黒反転表示で図示する。ＲＯＩ５０１内において、特徴量を抽出するための小領域、言い換えれば輝度値の勾配値を算出するための小領域５０２が設定される。なお、本実施形態では、超音波画像５００は、ボリュームデータに基づく画像を想定しているため、ＲＯＩ５０２は、実際には球体である。

小領域５０２は、超音波画像５００を形成する画素を複数個含む。制御回路２２は、小領域５０２に含まれる画素を利用して小領域の中心での3次元的な輝度値の勾配ベクトルを算出し、特徴量とする。
座標点（ｘ，ｙ，ｚ）における輝度値Ｉ（ｘ，ｙ，ｚ）の一次微分はベクトル量である。勾配ベクトル

は、ｘ方向・ｙ方向・ｚ方向の微分を用いることにより記述される。

勾配ベクトル

は、輝度値の変化率が一番大きくなる方向に沿う一次微分である。勾配ベクトルの大きさや方向を特徴量としてもよい。
勾配ベクトルの大きさは、

で表せる。また、特徴量としては、輝度値の２次微分を利用することも可能である。2次微分としては、ラプラシアンが知られている。

特徴量は、上記の定義に所望の係数等での変形、小領域内で統計値の利用、複数値の線形加算等であってもよい。

特徴量は、輝度値の小領域内のバラツキであってもよい。バラツキの指標として、小領域内の輝度値の分散や標準偏差、相対標準偏差がある。小領域に中心点をｒ、小領域内に座標点ｉにおいて、小領域の輝度値の確率分布をｐ（ｉ），平均値をμ，分散をσ^２とすると，標準偏差(Standard Deviation: SD)，相対標準偏差(Relative Standard Deviation: RSD)は、

なお、特徴量は、上記の定義に所望の係数等での変形があり得る。
さらに、特徴量として、小領域の輝度値の平均値を輝度値から減算した値、小領域の輝度値の平均値で輝度値を除算した値、または小領域の輝度の平均値で輝度値を補正した値を用いてもよい。

また、小領域５０２は、隣接する小領域５０２が重複しないように（共通する画素を含まないように）設定してもよいが、隣接する小領域５０２同士が重複するように（共通する画素を含むように）小領域５０２を設定するのが望ましい。なお、図５の例では小領域５０２は円（球）の場合を想定するが、矩形（立方体、直方体）でもよく、小領域５０２の一部を隣接する小領域５０２と適切に重複させることができればどのような形状であってもよい。

具体的に、小領域の設定方法の一例について図６に示す。
図６に示すように、小領域６０１、６０２および６０３がそれぞれ矩形であり、４つの画素６０４を３×３画素の形状で含む場合を想定する。小領域６０１の右方向に隣接する小領域６０２は、小領域６０１の右列の３画素を含むように設定される。同様に、小領域６０１の下方向に隣接する小領域６０３は、小領域６０１の下半分の３画素を含むように設定される。各小領域においては、小領域内の特徴量を算出し、特徴量を当該小領域の中心にある画素に対応づければよい。このようにすることで、処理前の超音波画像の画素数とほぼ同数の画素数を有する特徴量画像、すなわち勾配値画像を生成することができる。

なお、上述の例では、２次元の超音波画像における処理を示したが、ボリュームデータを構成するボクセルに対しても、同様に処理することで特徴量に基づくボリュームデータ、すなわち分散ボリュームデータを生成することができる。

次に、特徴量画像生成機能１０３により生成される特徴量画像の一例について図７を参照して説明する。
図７の左側の画像は、特徴量画像の基となるボリュームデータに基づく超音波画像７０１を示し、右側の画像は、超音波画像７０１から生成された特徴量画像７０２を示す。

超音波画像７０１と特徴量画像７０２とを比較すると、超音波画像７０１で構造として視認しうる部分が、特徴量画像７０２において、画像中央の白い領域７０３で表示される。これは、分散を用いた特徴量を用いた画像であるので、画像内の輝度分布のバラツキの差異が明確に表現されるからである。なお、超音波画像７０１と特徴量画像７０２との両図において矢印で示される部分は、超音波画像７０１を目視しただけでは構造であるか否かが判別しにくい。しかし、特徴量画像７０２を生成することで、精度良く構造として捉えやすくなり、画像位置合わせの精度を向上させることができる。

次に、領域指定機能１０４により指定されるマスク領域の一例について、図８を参照して説明する。
図８の左上の図は、過去の超音波画像（参照超音波画像８０１）であり、右上の図は、現在の超音波画像８０２である。

参照超音波画像８０１に対して特徴量抽出処理を行った画像が参照特徴量画像８０３であり、現在の超音波画像８０２に対して特徴量抽出処理を行った画像が特徴量画像８０４である。
領域指定機能１０４を実行する制御回路２２は、参照特徴量画像８０３に対して、画像位置合わせを行う範囲（すなわち評価関数を計算する範囲）としてマスク領域８０５を設定する。領域指定機能１０４の実行する制御回路２２は、特徴量画像８０４に対しても画像位置合わせを行う範囲としてマスク領域８０６を設定する。

画像位置合わせ機能が、ステップＳ２０７に示すマスク領域８０５およびマスク領域８０６に対してそれぞれ評価関数を計算することで、不要な領域に対する評価関数の計算を省略でき、画像位置合わせにおける演算量を削減し、精度を向上させることができる。なお、必要に応じてマスク領域を設定せずに、得られた画像の全領域に対して画像位置合わせを行ってもよい。
なお、上述の例は、ボリュームデータから得られるある断面像から特徴量を算出しているが、ボリュームデータに変換される前のＢモードＲＡＷデータから特徴量を算出してもよい。ボクセルへの補間処理がないＢモードＲＡＷデータから直接特徴量を算出することで、特徴量抽出処理のデータの演算量を低減することができる。

以上に示した第１の実施形態によれば、医用画像データから輝度の勾配ベクトルや輝度ばらつきに関する特徴量を算出し、特徴量に基づく特徴量画像を生成し、特徴量画像を用いて超音波画像と参照となる医用画像との画像位置合わせを行う。このように、特徴量の画像を用いて画像位置合わせを行うことにより、構造物などを好適に抽出して判定できるため、従来に比して精度良く、安定した画像位置合わせを行うことができる。
第１の実施例において、超音波データの第１ボリュームデータおよび過去の医用画像データの第２ボリュームデータの位置合わせを例示した。超音波データの画素値が輝度値の場合を例示したが、画素値が超音波エコー信号、ドプラモードの血流信号や組織信号、ストレインモードの組織信号、ＳｈｅａｒＷａｖｅモードの組織信号、または画像の輝度信号のいずれでも、小領域の画素値分布の特徴量を利用して位置合わせを行うことができる。

また、位置合わせを行う画像データは、超音波データ間でも良い。超音波画像データには特有のスペックルノイズがあり、小領域の輝度ばらつきを利用して構造物を抽出できる。両者の超音波データを特徴量画像に変換して、位置合わせを行うことが好適である。位置合わせを行う類似度評価関数は、相互相関や相互情報量などを利用する。小領域の大きさや輝度バラツキを抽出するパラメータは、超音波画像データ毎に共通でも良いし、独立でも良い。
超音波データとＣＴデータやＭＲデータとの間での画像位置合わせでは、画像の種類により特徴量を独立に定義することができる。例えば、超音波画像データは、小領域の標準偏差を特徴量とし、ＣＴ画像データでは勾配ベクトルの大きさを特徴量とすることができる。画像の性質より構造抽出に優れた特徴量やパラメータを適宜設定することができる。
医用画像間で勾配ベクトルを特徴量とする場合、勾配ベクトルの大きさで正規化し、勾配ベクトルの向きを特徴量とすることもできる。勾配ベクトルの向きのずれを類似度の評価関数とすることができる。
医用画像の特徴量を抽出する場合、より構造を明瞭にするために、前処理や後処理を行なってもよい。例えば制御回路２２が、前処理として、医用画像の画素値データにフィルター処理を行なった後に、小領域の画素値分布に関する特徴量を計算することができる。あるいは、制御回路２２が、後処理として、小領域の画素値分布に関する特徴量を計算して特徴量画像を生成した後に、フィルター処理を適用して、より構造を明瞭にできる。上述のフィルターは、様々な種類のフィルターがあり、例えば、平滑化フィルター、異方性拡散フィルター、バイラテラルフィルターが挙げられる。また、後処理では、２値化処理などの適用も考えられる。

（第２の実施形態）
第２の実施形態では、位置センサシステムにより位置情報が付加された超音波プローブ３０を走査して得られる超音波データを用いて、センサ座標系において位置合わせ（以下、センサ位置合わせという）を行った後、第１の実施形態に示す画像位置合わせを行う点が第１の実施形態と異なる。これにより、第１の実施形態よりも高速かつ安定した画像位置合わせを行うことができる。

第２の実施形態に係る超音波診断装置１の構成例を図９のブロック図を参照して説明する。
図９に示されるように、第１の実施形態に係る超音波診断装置１に含まれる本体装置１０、超音波プローブ３０に加え、位置センサシステム９０を含む。

位置センサシステム９０は、超音波プローブ３０および超音波画像の３次元の位置情報を取得するためのシステムである。位置センサシステム９０は、位置センサ９１と位置検出装置９２とを含む。

位置センサシステム９０は、例えば、磁気センサ、赤外線センサまたは赤外線カメラ用のターゲット等を位置センサ９１として超音波プローブ３０に装着させることで、超音波プローブ３０の３次元の位置情報を取得することができる。なお、超音波プローブ３０にジャイロセンサ（角速度センサ）を内蔵させ、このジャイロセンサにより超音波プローブ３０の３次元の位置情報を取得してもよい。また、位置センサシステム９０は、超音波プローブ３０をカメラで撮影し、撮影した画像を画像認識処理することにより超音波プローブ３０の３次元の位置情報を取得してもよい。また、位置センサシステム９０は、超音波プローブ３０をロボットアームで保持し、ロボットアームの３次元空間の位置を超音波プローブ３０の位置情報として取得してもよい。

なお、以下では、位置センサシステム９０が磁気センサを用いて超音波プローブ３０の位置情報を取得する場合を例に説明する。具体的には、位置センサシステム９０は、例えば磁気発生コイルなどを有する磁気発生器（図示せず）をさらに含む。磁気発生器は、磁気発生器自身を中心として、外側に向かって磁場を形成する。形成された磁場には、位置精度が保証される磁場空間が定義される。よって、磁気発生器の配置は、超音波検査の対象となる生体が、位置精度が保証される磁場空間内に包含されるように配置されればよい。超音波プローブ３０に装着される位置センサ９１は、磁気発生器によって形成される３次元の磁場の強度および傾きを検出する。これにより、超音波プローブ３０の位置と向きとを取得することができる。位置センサ９１は、検出した磁場の強度および傾きを位置検出装置９２へ出力する。

位置検出装置９２は、位置センサ９１で検出された磁場の強度および傾きに基づき、例えば、所定の位置を原点とした３次元空間における超音波プローブ３０の位置（スキャン面の位置（ｘ、ｙ、ｚ）及び回転角度（θｘ、θｙ、θｚ））を算出する。このとき、所定の位置は、例えば、磁気発生器が配置される位置とする。位置検出装置９２は、算出した位置（ｘ、ｙ、ｚ、θｘ、θｙ、θｚ）に関する位置情報を本体装置１０へ送信する。

通信インタフェース回路２１は、第１の実施形態に係る処理に加え、位置センサシステム９０と接続し、位置検出装置９２から送信される位置情報を受信する。
なお、例えば３次元処理回路１５が、上述のように取得した位置情報と超音波プローブ３０から送受信された超音波に基づく超音波データとを時刻同期などで対応付けることにより、超音波データに位置情報を付与することができる。

位置センサ９１が装着されている超音波プローブ３０が１次元アレイプローブ、又は１．５次元アレイプローブである場合、３次元処理回路１５は、ＲＡＷデータメモリに記憶されたＢモードＲＡＷデータに対し、位置検出装置９２で算出された超音波プローブ３０の位置情報を付加する。また、３次元処理回路１５は、生成した２次元画像データに対し、位置検出装置９２で算出された超音波プローブ３０の位置情報を付加してもよい。

３次元処理回路１５は、ボリュームデータには、位置検出装置９２で算出された超音波プローブ３０の位置情報を付加してもよい。位置センサ９１が装着されている超音波プローブ３０がメカニカル４次元プローブ（機械揺動方式の３次元プローブ）、又は２次元アレイプローブの場合も同様に、３次元画像データに位置情報が付加される。

また、制御回路２２は、第１の実施形態に係る各機能に加え、位置情報取得機能９０１、センサ位置合わせ機能９０２および同期制御機能９０３を含む。

位置情報取得機能９０１を実行することで、制御回路２２は、位置センサシステム９０から通信インタフェース回路２１を介して超音波プローブ３０に関する位置情報を取得する。

センサ位置合わせ機能９０２を実行することで、位置センサの座標系と超音波データの座標系が関連付けられる。超音波データは、位置センサ座標系で位置情報が定義されたのち、位置情報付き超音波データ同士が位置合わせされる。超音波３Ｄ画像間では、自由な向きと位置とのデータであることから、画像位置合わせの検索範囲を広くする必要があるが、位置センサの座標系で位置合わせを行うことで、超音波画像データ間の位置合わせの粗調整を行うことができる。つまり、超音波画像データ間の位置や回転の差異を小さくした状態で、次のステップである画像位置合わせを実施することができる。言い換えると、センサ位置合わせは、超音波画像間の位置や回転の差異を、画像位置合わせアルゴリズムのキャプチャーレンジ内に抑える役割がある。

同期制御機能９０３を実行することで、制御回路２２は、画像位置合わせが完了したことにより決定される第１座標系と第２座標系との対応関係に基づいて、超音波プローブ３０によって新たに取得される超音波データに基づく画像であるリアルタイム超音波画像と、リアルタイム超音波画像に対応する医用画像データに基づく医用画像とを同期させ、連動して表示させる。

以下では、第２の実施形態に係る超音波診断装置の位置合わせ処理について、図１０のフローチャートを参照して説明する。第２の実施形態では、例えば、ある処置対象となる生体部位（対象部位）に対して、治療前に対象部位周辺の超音波データを取得し、治療後に再度、治療された対象部位の超音波データを取得し、治療前後の画像を比較して治療効果を判定するような場合を想定する。

ステップＳ１００１では、本実施形態に係る超音波診断装置の超音波プローブ３０が操作されることにより、超音波データ取得機能１０１を実行する制御回路２２が、対象部位の超音波データを取得する。位置情報取得機能９０１を実行する制御回路２２はまた、位置センサシステム９０から超音波データの取得時における超音波プローブ３０の位置情報を取得し、位置情報付き超音波データを生成する。

ステップＳ１００２では、制御回路２２または３次元処理回路１５が、超音波データおよび超音波プローブ３０の位置情報を用いて、超音波データの３次元再構成を行い、位置情報付き超音波データのボリュームデータ（第１ボリュームデータともいう）を生成する。なお、治療前の位置情報付き超音波データであるため、過去の超音波データとして画像データベース１９に格納される。
その後、治療が進んで手術が終了し、治療効果の判定が行われる段階を想定する。

ステップＳ１００３では、位置情報取得機能９０１および超音波データ取得機能１０１を実行する制御回路２２が、ステップＳ１００１と同様に、超音波プローブ３０および超音波データの位置情報を取得する。治療前と同様に、治療後の対象部位に対して超音波プローブ３０が操作され、制御回路２２が、対象部位の超音波データを取得し、位置センサシステムから超音波プローブ３０の位置情報を取得し、位置情報付き超音波データを生成する。

ステップＳ１００４では、制御回路２２または３次元処理回路１５が、ステップＳ１００２と同様に、取得した超音波データおよび位置情報を用いて、位置情報付き超音波データのボリュームデータ（第２ボリュームデータともいう）を生成する。

ステップＳ１００５では、センサ位置合わせ機能９０２を実行する制御回路２２が、取得した超音波プローブ３０および超音波データの位置情報に基づいて、第１ボリュームデータの座標系（第１座標系ともいう）と第２ボリュームデータの座標系（第２座標系ともいう）とを、対象部位の位置が大略合うようにセンサ位置合わせを行う。第１ボリュームデータの位置も第２ボリュームデータの位置も、共通して位置センサ座標系の記述されている。従って、ボリュームデータに付帯する位置情報で直接位置合わせすることができる。

ステップＳ１００６では、第１ボリュームデータの取得から第２ボリュームデータの取得までの間に、生体が動かなければ、センサ位置合わせのみで良好な位置合わせ状態となる。その場合は、ステップＳ１００８の超音波画像の並列表示を行う。体動などにより、センサ座標系内で位置ずれが発生している場合、ステップＳ１００７として、第１の実施形態に係る画像位置合わせを行う。位置合わせ結果が良好であれば、ステップＳ１００８の超音波画像の並列表示を行う。

ステップＳ１００８では、制御回路２２が、例えば表示処理回路１６に指示することにより、治療前である第１ボリュームデータに基づく超音波画像と、治療後である第２ボリュームデータに基づく超音波画像を並列表示する。以上で超音波データ間の位置合わせ処理を終了する。

なお、ステップＳ１００６において、ボリュームデータ間に位置ずれが発生していない場合でも、ステップＳ１００７の画像位置合わせを行ってもよい。

（体動や呼吸時相による位置ずれの補正）
治療中において体動により、超音波データ間で位置センサ座標系において大きな位置ずれが発生し、画像位置合わせでの補正可能な範囲を超えることがある。磁場強度の維持の観点で、磁場の送信機を患部に近い場所に移動させることもある。そのようなケースでは、センサ位置合わせ機能９０２により、センサの座標系を対応付けた後も、超音波データ間に大きな位置ずれが残存する場合も想定される。

位置ずれの補正処理について図１１のフローチャートを参照して説明する。
ユーザは、ステップＳ１００６でセンサ位置合わせ後も大きな位置ずれありと判断し、ステップＳ１１０１のプロセスを行う。

ユーザが、第１ボリュームデータに基づく超音波画像と第２ボリュームデータに基づく超音波画像との間で対応する生体部位を示す対応点を、それぞれの超音波画像において指定する。対応点の指定方法は、例えば、表示処理回路１６が生成したユーザインタフェースにより、ユーザが操作パネルを用いて画面に表示されるカーソルを動かし、対応点を指定してもよいし、タッチスクリーンであれば、直接画面上で対応点をタッチしてもよい。図１２の例では、ユーザによって、第１ボリュームデータに基づく超音波画像上の対応点１２０１が指定され、第２ボリュームデータに基づく超音波画像上で、対応点１２０１に対応する対応点１２０２が指定される。制御回路２２は、指定された対応点１２０１及び対応点１２０２を、例えば「＋」のマークで表示させる。これによって、ユーザは対応点を容易に把握することができ、ユーザに対して対応点の入力を支援することができる。領域指定機能１０４を実行する制御回路２２は、それぞれ指定された対応点１２０１と対応点１２０２との間の位置ずれを計算し、位置ずれを補正する。位置ずれの補正は、例えば、対応点１２０１と対応点１２０２との相対距離をずれ量として計算し、ずれ量の分、第２ボリュームデータに基づく超音波画像を移動および回転させればよい。

なお、対応する生体部位における所定範囲の領域を対応領域として指定してもよく、対応領域が指定される場合でも対応点の場合と同様に処理すればよい。
さらに、体動や呼吸時相による位置ずれを補正する例を示したが、ユーザが画像位置合わせにおける関心領域（ＲＯＩ）を指定するために、対応点または対応領域を指定してもよい。

図１１のステップＳ１１０２により超音波画像間の位置ずれが補正された後、ユーザは画像位置合わせの指示を、例えば操作パネルによりまたは超音波プローブ３０に取り付けられるボタンを押下することにより指示する。図１１のステップＳ１１０３において、画像位置合わせ機能１０５を実行する制御回路２２は、位置ずれが補正された超音波データ間で、第１の実施形態に係る画像位置合わせを行えばよい。

画像位置合わせの指示があった後、表示処理回路１６は、ステップＳ１００８にて位置合わせした超音波画像を並列表示させる。これにより、ユーザは超音波診断装置の操作パネルなどで画像の位置や向きを自由に変更して観察することができる、超音波３Ｄデータは、第１ボリュームデータと第２ボリュームデータとの位置関係が連結され、ＭＰＲ断面が同期して移動・回転することができる。必要により、同期を解除して独立に観察することもできる。超音波診断装置の操作パネルに代えて、超音波プローブ３０をＭＰＲ断面の移動や回転のユーザインタフェースにすることもできる。超音波プローブ３０には磁気センサが設置されており、超音波システムは超音波プローブ３０の動き量・回転量・向きを検出できる。超音波プローブ３０の動きで、第１ボリュームデータと第２ボリュームデータとの位置を同期させて移動・回転させることができる。

超音波データ間の画像位置合わせ前の表示例を、図１２に示す。
図１２の左側の画像が治療前の第１ボリュームデータに基づく超音波画像であり、図１２の右側の画像が治療後の第２ボリュームデータに基づく超音波画像である。図１２に示すように、超音波データを取得する時期が異なれば、同一の対象部位に対して超音波プローブ３０を走査した場合でも、体動などが原因で位置ずれが生じうる。

次に、第２の実施形態に示すセンサ位置合わせおよび画像位置合わせ後の超音波画像表示の一例について図１３を参照して説明する。

図１３の左側の画像が治療前の第１ボリュームデータに基づく超音波画像１３０１であり、図１３の右側の画像が治療後の第２ボリュームデータに基づく超音波画像１３０２である。図１３に示すように、治療前後に係る超音波データが位置合わせされ、第１ボリュームデータに基づく超音波画像が第２ボリュームデータに基づく超音波画像の位置に合わせて回転して並列表示される。図１３のように、超音波画像間で位置合わせが完了しているので、ユーザはパネル操作などで、所望の断面を位置合わせした状態で検索して表示でき、対象部位の評価（治療部位の治療状態）を容易に把握することができる。

第２の実施形態によれば、位置センサ付きの超音波プローブの操作により得られる、位置情報が付加された超音波データに基づいて、取得時期、取得場所が異なる超音波データの座標系とのセンサ位置合わせを行い、その後画像位置合わせを行うことで、第１の実施形態よりもさらに画像位置合わせの成功率が高まる。これにより、簡便で正確な位置合わせが行われた超音波画像同士の比較をユーザに提供することができる。

（第３の実施形態）
上述の実施形態では、超音波データ同士の画像位置合わせについて説明したが、超音波データと超音波データ以外の医用画像データとの間の画像位置合わせでも同様に処理することができる。

以下では、ＣＴ画像データ、ＭＲ画像データ、Ｘ線画像データ、ＰＥＴ画像データなどの他のモダリティにより得られた医用画像データに基づく医用画像と、超音波プローブ３０を用いて現在取得される超音波データとの間の位置合わせを行う場合について説明する。なお、以下では医用画像データとしてＭＲＩ画像データを用いる場合を想定する。

超音波データと医用画像データとの位置合わせ処理について、図１４のフローチャートを参照して説明する。なお、医用画像データとして３Ｄ画像データを想定するが、必要に応じて、２次元画像データでも４次元画像データでもよい。

ステップＳ１４０１では、制御回路２２が、画像データベース１９から医用画像データを読み出す。
ステップＳ１４０２では、位置センサシステム９０のセンサ座標系と医用画像データの座標系との対応付けを行う。
ステップＳ１４０３では、位置情報取得機能９０１および超音波データ取得機能１０１を実行する制御回路２２が、超音波プローブ３０で取得される位置情報と超音波データとを対応付けて位置情報付き超音波データとして取得する。

ステップＳ１４０４では、位置情報付き超音波データに対して３次元再構成を行い、ボリュームデータを生成する。
ステップＳ１４０５では、第１の実施形態に係る図２のフローチャートに示すように、画像位置合わせ機能１０５を実行する制御回路２２が、ボリュームデータと医用３Ｄ画像データとの間で画像位置合わせを行う。なお、特徴量画像の生成は、少なくとも超音波データ（ボリュームデータ）に対して行えばよく、医用３Ｄ画像の特徴量を用いた特徴量画像は、必要に応じて生成すればよい。
ステップＳ１４０６では、表示処理回路１６が、画像位置合わせ後のボリュームデータに基づく超音波画像と医用３Ｄ画像データに基づく医用画像とを並列表示する。

次に、ステップＳ１４０２に示すセンサ座標系と医用３Ｄ画像データの座標系との対応付けについて、図１５Ａから図１５Ｃを参照して説明する。図１０のフローチャートのステップＳ１００６に相当するセンサ位置合わせのプロセスである。

図１５Ａは初期状態を表しており、図１５Ａに示すように、超音波データに付加される位置情報を生成するための位置センサシステムの位置センサ座標系１５０１と、医用画像データの医用画像座標系１５０２とが、独立して定義される。
図１５Ｂは、それぞれの座標系の軸合わせのプロセスを示している。位置センサ座標系１５０１の座標軸と医用画像座標系１５０２の座標軸とが同一の方向となるように揃える。すなわち、座標系の座標軸の向きを揃える。
図１５Ｃは、目印合わせのプロセスである。位置センサ座標系１５０１と医用画像座標系１５０２との座標を所定の基準点に従って合わせた場合を示し、座標系間で軸の向きだけでなく、座標の位置も一致させることができる。

センサ座標系と医用３Ｄ画像データの座標系との対応付けの実際の装置上で実現するプロセスについて、図１６Ａおよび図１６Ｂを参照して説明する。

図１６Ａは、医師が肝臓の検査を行う場合の例の模式図を示している。医師は、超音波プローブ３０を患者の腹部に水平方向に設置する。ＣＴやＭＲのアキシャル（Ａｘｉａｌ）画像と同じ向きの超音波断層像が得られるように、超音波プローブ３０は体軸に垂直で、かつ超音波断層像がお腹側から背中に向かって鉛直になるように設置される。これにより、図１６Ｂのような画像が得られる。本実施形態では、ステップＳ１４０１で画像データベース１９より３次元ＭＲ画像データを読み込み、モニタの左側に表示される３次元ＭＲ画像である。超音波プローブのアイコン１６０１の位置で得られるアキシャル断面のＭＲ画像が、図１６Ｂに示すＭＲ画像１６０２であり、モニタの左側に表示される。さらに、モニタの右側には、ＭＲ画像１６０２に並列して、そのときのリアルタイムに更新されるリアルタイム超音波画像１６０３が表示される。図１６Ａのように超音波プローブ３０を腹部に設置することにより、ＭＲのＡｘｉａｌ面と同じ向きの超音波断層像が得られる。

ユーザは、超音波プローブ３０をアキシャル断面の方向で生体の体表に当接する。超音波プローブ３０がアキシャル断面の方向となっているかどうかは、ユーザが、目視により確認する。ユーザがアキシャル断面の方向に超音波プローブ３０を生体に当接した場合に、操作パネルによるクリックや、ボタンを押下するなどの登録処理を行うことで、制御回路２２は、この状態の超音波プローブ３０のセンサの位置情報のセンサ座標とＭＲデータのＭＰＲ面の位置のＭＲデータ座標とを取得して関連づける。生体のＭＲ画像データにおけるアキシャル断面を位置センサ座標に変換して認識することができる。これによって、図１６Ｂで示した軸合わせ（座標系の座標軸の向きの一致）が完了する。システムは、軸合わせの状態で、ＭＲのＭＰＲ像とリアルタイムの超音波断層像をセンサ座標で関連付けて、連動させて表示することができる。このとき、両座標系の軸は合っているので画像の向きは合うが、体軸方向の位置にずれが残っている。ユーザは、体軸方向の位置にずれがある状態で、超音波プローブ３０を動かすことで、ＭＲのＭＰＲ面とリアルタイムの超音波画像を連動して観察することができる。

次に、図１５Ｃで示した目印合わせのプロセスの装置での実現の方法を、図１７を参照して説明する。
図１７は、モニタに表示される、図１６Ｂに示すＭＲ画像１６０２およびリアルタイム超音波画像１６０３の並列表示画面である。

軸合わせが完了したのち、ユーザは、体軸方向の位置にずれがある状態で、超音波プローブ３０を動かすことで、ＭＲのＭＰＲ面とリアルタイムの超音波画像とを連動して観察することができる。
ユーザは、モニタに表示されるリアルタイム超音波画像１６０３を見ながら、超音波プローブ３０を走査することにより位置合わせをする領域の中心または構造物などの対象部位（またはＲＯＩ）をモニタに表示させる。その後、ユーザは、操作パネルなどにより対象部位を対応点１７０１として指定する。図１７の例では、指定された対応点を、「＋」で示す。この時、システムは対応点１７０１のセンサ座標系の位置情報を取得して記録する。

次に、ユーザは、超音波プローブ３０を動かすことでＭＲのＭＰＲ断面を動かし、ユーザにより指定された超音波画像の対応点１７０１を含む断面に対応するＭＲ画像の断面像を表示する。対応点１７０１を含む断面に対応するＭＲ画像の断面像が表示された場合、ユーザは、ＭＲ画像の断面像において指定された位置合わせをする領域の中心または構造物などの対象部位（またはＲＯＩ）を、操作パネルなどにより対応点１７０２として指定する。この時、システムは対応点１７０１のＭＲデータの座標系の位置情報を取得して記録する。

領域指定機能１０４を実行する制御回路２２は、指定された対応点のセンサ座標系での位置とＭＲデータの座標系での位置に基づいて、ＭＲ画像データの座標系とセンサ座標系との位置ずれを補正する。具体的には、例えば、対応点１７０１と対応点１７０２との差分に基づいて、ＭＲ画像データの座標系とセンサ座標系のずれを補正して、座標系の位置合わせを行う。これにより、図１５Ｃの目印合わせのプロセスが完了し、図１４のフローチャートのステップＳ１４０２のステップが完了する。

次に、図１４のフローチャートのＳ１４０３のステップである、ＭＲデータの座標系とセンサ座標系の位置合わせがされた状態での超音波データの収集例について図１８の模式図にて説明する。
ユーザは、位置補正が完了したのち、３次元ＭＲ画像データを参照しながら、対象部位を含む領域について超音波プローブ３０を用手的に操作して、位置情報付き超音波データを収集する。次に、ユーザは、画像位置合わせのスイッチを押下して、画像位置合わせを行う。これまでのプロセスで、ＭＲデータと超音波データの位置は概ね一致しており、両者に共通する対象を含んでいるので、画像位置合わせが良好に動作する。

画像位置合わせ後の超音波画像表示の一例について図１９を参照して説明する。図１４のステップＳ１４０６のとおり、ＭＲ画像と位置合わせされた超音波画像は、並列に表示される。

図１９に示すように、画像位置合わせに応じて、超音波データの超音波画像１９０１が、ＭＲ３Ｄ画像データのＭＲ３Ｄ画像１９０２に対応するように観点して表示される。よって、超音波画像とＭＲ３Ｄ画像との位置関係が把握しやすくなる。超音波診断装置の操作パネルなどで画像の位置や向きを自由に変更して観察することができる、ＭＲ３Ｄデータと超音波３Ｄデータは、位置関係が連結され、ＭＰＲ断面が同期して移動・回転することができる。必要により、同期を解除して独立に観察することもできる。超音波診断装置の操作パネルに変えて、超音波プローブ３０をＭＰＲ断面の移動や回転のユーザインタフェースにすることもできる。超音波プローブ３０には磁気センサが設置されており、超音波システムは超音波プローブ３０の動き量・回転量・向きを検出できる。超音波プローブ３０の動きで、ＭＲ３Ｄデータと超音波３Ｄデータとの位置を同期させて移動・回転させることができる。

第３の実施形態において、ＭＲ３Ｄデータを例に説明を行ったが、ＣＴ・Ｘ線・超音波・ＰＥＴ等の医用３Ｄ画像データに同様に適用できる。医用３Ｄデータの座標系と位置センサの座標系の関連付けは、図１５Ａ〜図１５Ｃに示した軸合わせと目印合わせとのステップにて説明したが、座標間の位置合わせは、様々な手法で可能である。両座標で３点以上を指定して、位置を合わせるなど、他の方法を持ちうることも可能である。さらに、位置ずれの補正が完了した後に位置情報付き超音波データを収集する代わりに、位置ずれの補正前に位置情報付き超音波データを取得してボリュームデータを生成し、超音波データのボリュームデータに基づく超音波画像と医用３Ｄ画像データに基づく医用画像との間で対応点を指定し、位置ずれの補正をしてもよい。

（超音波画像と医用画像との同期表示）
上述したセンサ位置合わせおよび画像位置合わせが完了すると、医用画像の座標系（ここではＭＲ座標系）と位置センサ座標系との対応関係が決定される。表示処理回路１６は、位置合わせ処理が完了した後にユーザが自由に超音波プローブ３０を動かして得られるリアルタイム（ライブ）の超音波画像の位置情報を参照して、対応するＭＲのＭＰＲ断面を表示することができる。高精度に位置合わせが行われたＭＲ画像とリアルタイムの超音波画像との対応断面を連動させて表示（同期表示ともいう）させることができる。

超音波３Ｄ画像間でも同様の手法で同期表示することができる。すなわち、過去に取得した超音波３Ｄ画像とリアルタイムの超音波３Ｄ画像とについて同期表示させることができる。図１０と図１１のステップＳ１００８、および図１４のステップＳ１４０６にて、医用３Ｄ画像と位置合わせされた超音波３Ｄ画像の並列の同期表示を例示してきたが、センサ座標を利用して、リアルタイムの超音波断層像を切り替えて表示することが可能である。

超音波画像と医用画像との同期表示の一例を図２０に示す。例えば、超音波プローブ３０を走査すると、リアルタイムの超音波画像２００１と、対応するＭＲ３Ｄ画像２００２と、位置合わせに用いた位置合わせ用超音波画像２００３とが表示される。なお、図２１に示すように、位置合わせ用超音波画像２００３を表示させず、リアルタイムの超音波画像２００１とＭＲ３Ｄ画像２００２とを並列表示してもよい。

なお、第３の実施形態では、超音波データと医用画像データとの間でセンサ位置合わせを行うことを前提としたが、センサ位置合わせを行わずに画像位置合わせだけを行うようにしてもよい。画像位置合わせを行う際、少なくとも超音波データに対しては、特徴量を抽出し、特徴量画像を生成することが望ましい。一方、医用画像データに対しては、生体の構造が超音波画像よりも弁別可能であることから、特徴量画像を生成してもよいし、特徴量画像を生成しなくともよい。

以上に示した第３の実施形態によれば、オリジナルのボリュームデータではない、特徴量に基づく特徴量画像のマスク領域内の値を用いて画像位置合わせを行うことで、超音波画像と超音波画像以外の医用画像データに基づく医用画像との間の画像位置合わせについても、精度良く画像位置合わせを行うことができる。

よって、簡便で正確な位置合わせが行われた超音波画像と医用画像とをユーザに提示することができる。また、画像位置合わせが完了したセンサ座標系と医用画像の座標系とを間に同期が取れているため、超音波プローブ３０の走査に連動して医用３Ｄ画像のＭＰＲ断面とリアルタイムの超音波断層像を同期して表示することができる。医用画像と超音波画像との正確な比較が実現され、超音波診断の客観性を向上させることができる。

これまで記述した本実施例では、位置センサシステムとして磁気センサを利用した位置センサシステムを例示した。
図２２には、位置センサシステムとして、赤外線を利用した場合の実施例を示す。赤外線発生器２２０２より赤外線が少なくとも２方向より送信される。超音波プローブ３０に設置されたマーカー２２０１により赤外線が反射される。反射した赤外線を赤外線発生器２２０２が受信して、データが位置センサシステム９０に送信される。位置センサシステム９０は、複数方向から観察された赤外線情報よりマーカーの位置と向きを検出して、超音波診断装置に位置情報を送信する。

図２３には、位置センサシステムとして、ロボットアームを利用した場合の実施例を示す。ロボットアーム２３０１が、超音波プローブ３０を動かす。あるいは、超音波プローブ３０にロボットアーム２３０１が装着された状態で医師が超音波プローブ３０を動かす。ロボットアーム２３０１には位置センサが取り付けられており、ロボットアーム制御部２３０２にロボットアーム各所の位置情報が逐次送信される。ロボットアーム制御部２３０２は、超音波プローブ３０の位置情報に変換して、超音波診断装置に送信する。

図２４には、位置センサシステムとして、ジャイロセンサを利用した場合の実施例を示す。ジャイロセンサ２４０１が、超音波プローブ３０に内蔵されるか、超音波プローブ３０表面に設置される。ジャイロセンサ２４０１よりケーブルにより位置情報が、位置センサシステム９０に送信される。ケーブルは、超音波プローブ３０用のケーブルの一部を使用するか、専用のケーブルを使うことがある。位置センサシステム９０も、専用のユニットの場合と、超音波装置内のソフトウエアで実現する場合もある。ジャイロセンサでは、所定の初期位置に対して、加速度や回転情報を積分して、位置と向きの変化を検出することができる。ＧＰＳ情報により、位置を補正することも考えられる。あるいは、ユーザの入力により、初期位置設定や補正を行うことができる。位置センサシステム９０により、ジャイロセンサの情報が積分処理などにより位置情報に変換され、超音波診断装置に送信される。

図２５には、位置センサシステムとして、カメラを利用した場合の実施例を示す。カメラ２５０１より超音波プローブ３０周辺が複数方向より撮影される。撮影された画像は画像記録解析部２５０３に送られ、超音波プローブ３０を自動認識して位置を計算する。撮像制御部２５０２は、計算された位置を超音波プローブ３０の位置情報として、超音波診断装置に送信する。

なお、上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（central processing unit）、ＧＰＵ(Graphics Processing Unit)、或いは、ＡＳＩＣ、プログラマブル論理デバイス（例えば、ＳＰＬＤ、ＣＰＬＤ）、及びＦＰＧＡ等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサ毎に単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。また、本実施形態において上述した各プロセッサを含む画像診断装置として、動作することもできる。

上述の説明では、位置合わせを行う超音波データおよび医用画像データは、２つのデータ間の場合を想定していたが、これに限らず、３つ以上のデータ間、例えば、現在超音波プローブを走査することにより得られる超音波データと、過去に撮影した２つ以上の超音波データとの位置合わせを行い、それぞれ並列表示してもよい。または、現在走査する超音波データと、過去に撮影した１つ以上の超音波データおよび１つ以上の３次元ＣＴ画像データとの位置合わせを行い、それぞれ並列表示するようにしてもよい。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１・・・超音波診断装置、１０・・・本体装置、１１・・・超音波送信回路、１２・・・超音波受信回路、１３・・・Ｂモード処理回路、１４・・・ドプラ処理回路、１５・・・３次元処理回路、１６・・・表示処理回路、１７・・・内部記憶回路、１８・・・画像メモリ、１９・・・画像データベース、２０・・・入力インタフェース回路、２１・・・通信インタフェース回路、２３・・・制御回路、３０・・・超音波プローブ、４０・・・外部装置、５０・・・表示機器、６０・・・入力装置、９０・・・位置センサシステム、９１・・・位置センサ、９２・・・位置検出装置、１００・・・ネットワーク、１０１・・・超音波データ取得機能、１０２・・・特徴量抽出機能、１０３・・・特徴量画像生成機能、１０４・・・領域指定機能、１０５・・・画像位置合わせ機能、５００，７０１，８０２，１３０１，１３０２，１９０１，２００１・・・超音波画像、３０１・・・対応点、５０１・・・ＲＯＩ、５０２，６０１，６０２，６０３・・・小領域、６０４・・・画素、７０２，８０４・・・特徴量画像、７０３・・・領域、８０１・・・参照超音波画像、８０３・・・参照特徴量画像、８０５，８０６・・・マスク領域、９０１・・・位置情報取得機能、９０２・・・センサ位置合わせ機能、９０３・・・同期制御機能、１２０１，１２０２，１７０１，１７０２・・・対応点、１５０１・・・位置センサ座標系、１５０２・・・医用画像座標系、１６０１・・・アイコン、１６０２・・・ＭＲ画像、１６０３・・・リアルタイム超音波画像、１９０２，２００２・・・ＭＲ３Ｄ画像、２００３・・・位置合わせ用超音波画像、２２０１・・・マーカー、２２０２・・・赤外線発生器、２３０１・・・ロボットアーム、２３０２・・・ロボットアーム制御部、２４０１・・・ジャイロセンサ、２５０１・・・カメラ、２５０２・・・撮像制御部、２５０３・・・画像記録解析部。

Claims (23)

1. 医用画像データ間の位置合わせを行う機能を有する超音波診断装置において、少なくとも一方の医用画像データにおいて所定間隔で複数個の小領域を設定し、各小領域の画素値分布の特徴量を抽出する抽出部と、
   前記特徴量を用いて医用画像の特徴量画像を生成する生成部と、
   前記特徴量画像を利用した医用画像データ間の画像位置合わせを行う画像位置合わせ部と、
   を具備する超音波診断装置。
2. 前記特徴量が、前記小領域の画素値ばらつきに関係する値である請求項１に記載の超音波診断装置。
3. 前記特徴量が、標準偏差または分散である請求項２に記載の超音波診断装置。
4. 前記特徴量が、前記小領域の各画素の画素値から当該小領域の平均輝度を差分した値である請求項２に記載の超音波診断装置。
5. 前記特徴量が、前記小領域の画素値の一次微分に関係する値である請求項１に記載の超音波診断装置。
6. 前記特徴量が、勾配ベクトルまたは勾配値である請求項５に記載の超音波診断装置。
7. 前記特徴量が、前記小領域の画素値の二次微分に関係する特徴量である請求項１に記載の超音波診断装置。
8. 前記特徴量が、画素値のラプラシアンである請求項７に記載の超音波診断装置。
9. 前記少なくとも一方の医用画像データは超音波画像データであり、画素値が、超音波エコー信号、ドプラモードの血流信号、ドプラモードの組織信号、ストレインモードの組織信号、ＳｈｅａｒＷａｖｅモードの組織信号、および画像の輝度信号のいずれか１つから得られる値である請求項１から請求項８のいずれか１項に記載の超音波診断装置。
10. 前記少なくとも一方の医用画像データが、超音波、ＣＴ、ＭＲ、Ｘ線、およびＰＥＴのいずれか１つを用いた３次元データである請求項１から請求項９のいずれか１項に記載の超音波診断装置。
11. 前記医用画像データは、前記特徴量が抽出される前に、平滑化フィルター処理、バイラテラルフィルター処理、または異方性拡散フィルター処理が行われる請求項１から請求項１０のいずれか１項に記載の超音波診断装置。
12. 前記特徴量画像は、当該特徴量画像が生成された後に、特徴量画像に平滑化フィルター処理、バイラテラルフィルター処理、異方性拡散フィルター処理、または２値化処理が行われる請求項１から請求項１０のいずれか１項に記載の超音波診断装置。
13. 前記画像位置合わせ部は、画像の類似度評価に相互相関または相互情報量を利用する請求項１から請求項１２のいずれか１項に記載の超音波診断装置。
14. 前記勾配ベクトルは、大きさで正規化される請求項６に記載の超音波診断装置。
15. 前記画像位置合わせ部は、画像の類似度評価に勾配ベクトルの向きのずれを利用する請求項１から請求項１２のいずれか１項に記載の超音波診断装置。
16. 前記画像位置合わせを行う各医用画像データは、各小領域の画素値分布の特徴量、または付随するパラメータを独立に設定可能である請求項１から請求項１５のいずれか１項に記載の超音波診断装置。
17. 前記画像位置合わせ部は、医用画像データ間の位置合わせを行う初期の位置関係を指定する領域指定部をさらに具備する請求項１から請求項１６のいずれか１項に記載の超音波診断装置。
18. 超音波プローブおよび超音波画像に関する位置情報を取得する位置情報取得部と、
    前記位置情報を取得した位置における前記超音波プローブからの超音波の送受信により得られる超音波データを、前記位置情報と対応付けて取得する超音波データ取得部と、
    前記位置情報に関する超音波データの第１座標系と医用画像データの第２座標系との対応付けを行うセンサ位置合わせ部と、
    前記対応付けが行われた前記超音波データおよび医用画像データの少なくとも一方において所定間隔で複数個の小領域を設定し、各小領域の画素値分布の特徴量を抽出する抽出部と、
    前記特徴量を用いて特徴量画像を生成する生成部と、
    前記特徴量画像を利用して画像データ間の画像位置合わせを行う画像位置合わせ部と、を具備する超音波診断装置。
19. 超音波プローブおよび超音波画像に関する位置情報を取得する位置情報取得部と、
    前記位置情報を取得した位置における前記超音波プローブからの超音波の送受信により得られる超音波データを、前記位置情報と対応付けて取得する超音波データ取得部と、
    前記位置情報に関する第１の超音波データの第１座標系と第２の超音波データの第２座標系との対応付けを行うセンサ位置合わせ部と、
    前記対応付けが行われた前記第１の超音波データおよび前記第２の超音波データにおいて所定間隔で複数個の小領域を設定し、各小領域の画素値分布の特徴量を抽出する抽出部と、
    前記特徴量を用いて特徴量画像を生成する生成部と、
    前記特徴量画像を利用した超音波画像データ間の画像位置合わせを行う画像位置合わせ部と、
    を具備する超音波診断装置。
20. 医用画像データ間の位置合わせを行う機能を有する医用画像診断支援プログラムであって、
    コンピュータに、
    少なくとも一方の医用画像データにおいて所定間隔で複数個の小領域を設定し、各小領域の画素値分布の特徴量を抽出する抽出機能と、
    前記特徴量を用いて特徴量画像を生成する生成機能と、
    前記特徴量画像を利用した医用画像データ間の画像位置合わせを行う画像位置合わせ機能と、
    を実現させるための医用画像診断支援プログラム。
21. 医用画像データ間の位置合わせを行う機能を有する医用画像診断支援プログラムであって、
    コンピュータに、
    少なくとも一方の医用画像データにおいて所定間隔で複数個の小領域を設定し、各小領域の画素値分布の特徴量を抽出する抽出機能と、
    前記特徴量を用いて特徴量画像を生成する生成機能と、
    医用画像データ間の位置合わせを行う初期の位置関係を指定する領域指定機能と、
    前記特徴量画像を利用した医用画像データ間の画像位置合わせを行う画像位置合わせ機能と、
    を実現させるための医用画像診断支援プログラム。
22. 医用画像データ間の位置合わせを行う機能を有する医用画像診断支援プログラムにおいて、
    超音波プローブおよび超音波画像に関する位置情報を取得する位置情報取得機能と、
    前記位置情報を取得した位置における前記超音波プローブからの超音波の送受信により得られる超音波データを、前記位置情報と対応付けて取得する超音波データ取得機能と、
    前記位置情報に関する超音波データの第１座標系と医用画像データの第２座標系との対応付けを行うセンサ位置合わせ機能と、
    前記対応付けが行われた前記超音波データおよび医用画像データの少なくとも一方において所定間隔で複数個の小領域を設定し、各小領域の画素値分布の特徴量を抽出する抽出機能と、
    前記特徴量を用いて特徴量画像を生成する生成機能と、
    前記特徴量画像を利用して画像データ間の画像位置合わせを行う画像位置合わせ機能と、
    を実現させるための医用画像診断支援プログラム。
23. 医用画像データ間の位置合わせを行う機能を有する医用画像診断支援プログラムにおいて、
    コンピュータを、
    医用画像データに関して保管された位置情報を取得する位置情報取得機能と、
    前記保管された位置情報に関する超音波データの第１座標系と医用画像データの第２座標系との対応付けを行う保管された位置情報を利用した位置合わせ機能と、
    前記対応付けが行われた前記超音波データおよび医用画像データの少なくとも一方において所定間隔で複数個の小領域を設定し、各小領域の画素値分布の特徴量を抽出する抽出機能と、
    前記特徴量を用いて特徴量画像を生成する生成機能と、
    前記特徴量画像を利用して画像データ間の画像位置合わせを行う画像位置合わせ機能と、
    を実現させるための医用画像診断支援プログラム。