JP2016083021A - 超音波診断装置、及び超音波診断方法 - Google Patents

Abstract

【課題】観察したい部位をより容易に判別できるようにする。
【解決手段】超音波診断装置は、第１の超音波プローブからの第１の受信信号に基づいて、前記第１の超音波プローブの超音波送出方向に対応する第１の超音波画像を生成する第１の画像処理部と、前記第１の超音波画像を表示する第１の表示部と、第２の超音波プローブからの第２の受信信号に基づいて、前記第２の超音波プローブの超音波送出方向とは異なる方向に対応する第２の超音波画像を生成する第２の画像処理部と、ユーザーに視認可能に前記ユーザーに装着される、前記第２の超音波画像を表示する第２の表示部とを備える。
【選択図】図１

Description

本発明は、超音波診断装置、及び超音波診断方法に関する。

特許文献１には、超音波プローブからのエコー信号に基づいて第１の超音波画像を生成し、スキャン領域の位置に基づいて第１の超音波画像から第２の超音波画像を生成し、第２の超音波画像をゴーグル型のディスプレイに表示する、超音波診断装置が記載されている。

特開２０１２−１７０７４７号公報

上記の特許文献１の技術によれば、超音波プローブの位置に応じた超音波画像を観察することができる。しかし、実際の診断においては、観察したい部位を判別するためには、ユーザーは、超音波プローブを様々な位置に移動させたり様々な方向に向かせたりする作業を繰り返す必要がある。このような作業は、手間と時間が掛かる。特にユーザーにとって高度なレベルの診断を行う場合には、さらに手間と時間が掛かる。従って、観察したい部位を、より容易に判別できるようにすることが求められる。

本発明は、観察したい部位をより容易に判別できるようにすることを目的とする。

上記の課題を解決する本発明の一態様は、超音波診断装置であって、第１の超音波プローブからの第１の受信信号に基づいて、前記第１の超音波プローブの超音波送出方向に対応する第１の超音波画像を生成する第１の画像処理部と、前記第１の超音波画像を表示する第１の表示部と、第２の超音波プローブからの第２の受信信号に基づいて、前記第２の超音波プローブの超音波送出方向とは異なる方向に対応する第２の超音波画像を生成する第２の画像処理部と、ユーザーに視認可能に前記ユーザーに装着される、前記第２の超音波画像を表示する第２の表示部とを備える。このようにすれば、２つの超音波プローブによりそれぞれ異なる方向の画像が表示されるため、ユーザーは観察したい部位（例えば、異常が推測される部位など）をより容易に判別できる。

前記第２の画像処理部は、前記第２の受信信号に基づいて生成した３次元画像から、前記ユーザーの視線方向と所定角度で交差する断面の断層画像を、前記第２の超音波画像として生成してもよい。このようにすれば、このようにすれば、ユーザーは、視線方向に応じた断面を観察することができる。

前記第２の画像処理部は、前記第２の受信信号に基づいて生成した３次元画像から、前記第２の超音波プローブの向きと所定角度で交差する断面の断層画像を、前記第２の超音波画像として生成してもよい。このようにすれば、超音波プローブの向きは静的であるため、視線方向の変化に係わらず、ユーザーは安定した断層画像を観察することができる。

前記第２の画像処理部は、前記所定角度で交差する複数の前記断面から、時間の経過とともに異なる断面を選択して前記断層画像を生成してもよい。このようにすれば、ユーザーは、操作を行わなくても超音波送出方向と交差する断面を複数観察することができる。

前記超音波診断装置は、前記ユーザーに装着されるカメラと、前記第２画像処理部の動作を切り替え制御し、前記カメラからの撮像画像に前記第２の超音波プローブが含まれる場合に、前記第２の画像処理部を動作させ、前記カメラからの撮像画像に前記第２の超音波プローブが含まれない場合に、前記第２の画像処理部の動作を停止させる切替部とを備えてもよい。このようにすれば、ユーザーが観察対象を見ている場合に第２の超音波画像が表示され、ユーザーが観察対象を見ていない場合には、第２の超音波画像が表示されないため、簡単に切り替えを行える。

前記切替部は、前記第１画像処理部の動作を切り替え制御するものであり、前記第１の超音波プローブが観察対象に接触している場合に、前記第１の画像処理部を動作させ、前記第２の画像処理部の動作を停止させてもよい。このようにすれば、第１の超音波プローブから送出される超音波と第２の超音波プローブから送出される超音波の干渉を防ぎ、超音波画像の質の低下を防ぐことができる。また、両方のモードが動作することによる処理負荷の増加を防ぎ、超音波画像の生成のフレームレート等を向上することができる。

前記超音波診断装置は、前記ユーザーに装着されるカメラと、前記カメラからの撮像画像から、前記第１の超音波プローブの位置及び向きを検出する第１の検出部と、前記撮像画像から、前記第２の超音波プローブの位置及び向きを検出する第２の検出部と、前記第１の超音波画像上の第１の関心位置を受け付け、前記第１の超音波プローブの位置及び向きと、前記第２の超音波プローブの位置及び向きとに基づいて、前記第１の関心位置に対応する前記第２の超音波画像上の第２の関心位置を設定する関心位置設定部とを備え、前記第２の画像処理部は、前記第２の関心位置を合成した前記第２の超音波画像を生成してもよい。このようにすれば、第１の超音波画像上において設定した関心位置を、第２の超音波画像上において確認できるため、観察作業の利便性が高くなる。

前記超音波診断装置は、前記ユーザーに装着されるカメラと、前記カメラからの撮像画像から、前記第１の超音波プローブの位置及び向きを検出する第１の検出部と、前記撮像画像から、前記第２の超音波プローブの位置及び向きを検出する第２の検出部と、前記第２の超音波画像上の第１の関心位置を受け付け、前記第１の超音波プローブの位置及び向きと、前記第２の超音波プローブの位置及び向きとに基づいて、前記第１の関心位置に対応する前記第１の超音波画像上の第２の関心位置を設定する関心位置設定部とを備え、前記第１の画像処理部は、前記第２の関心位置を合成した前記第１の超音波画像を生成してもよい。このようにすれば、第２の超音波画像上において設定した関心位置を、第１の超音波画像上において確認できるため、観察作業の利便性が高くなる。

前記第２の画像処理部は、前記第２の受信信号に基づいて３次元画像を生成し、前記超音波診断装置は、前記３次元画像から特徴を抽出した３次元モデルを生成するモデル生成部を備え、前記第２の画像処理部は、前記３次元モデルを前記ユーザーの視線方向から見た画像を、前記第２の超音波画像として生成してもよい。このようにすれば、断層画像が表示される場合と比べて、立体的な広い範囲を一目で観察することができる。

前記超音波診断装置は、前記ユーザーにより移動可能な前記第１の超音波プローブと、観察対象に固定される前記第２の超音波プローブとを備えてもよい。このようにすれば、観察対象の様々な部位について、２つ異なる方向の超音波画像を観察することができる。

上記の課題を解決する本発明の他の態様は、超音波診断装置における超音波診断方法であって、第１の超音波プローブからの第１の受信信号に基づいて、前記第１の超音波プローブの超音波送出方向に対応する第１の超音波画像を生成する工程と、前記第１の超音波画像を第１の表示部に表示する工程と、第２の超音波プローブからの第２の受信信号に基づいて、前記第２の超音波プローブの超音波送出方向とは異なる方向に対応する第２の超音波画像を生成する工程と、ユーザーに視認可能に前記ユーザーに装着される第２の表示部に前記第２の超音波画像を表示する工程とを含む。このようにすれば、２つの超音波プローブによりそれぞれ異なる方向の画像が表示されるため、ユーザーは観察したい部位（例えば、異常が推測される部位など）をより容易に判別できる。

本発明の第一実施形態に係る超音波診断装置の外観の一例を示す図である。 超音波診断装置の構成例を示すブロック図である。 断層画像の生成処理の一例を説明する図である。 断層画像の生成処理の他の例を説明する図である。 動作モードの切り替えを説明する図である。 動作モード決定処理の一例を示すフローチャートである。 画像表示処理（固定プローブモード）の一例を示すフローチャートである。 本発明の第二実施形態に係る超音波診断装置の構成例を示すブロック図である。 関心位置の設定を説明する図である。 関心位置設定処理（観察プローブモード）の一例を示すフローチャートである。 画像表示処理（固定プローブモード）の一例を示すフローチャートである。 本発明の第三実施形態に係る関心位置設定処理（固定プローブモード）の一例を示すフローチャートである。 画像表示処理（観察プローブモード）の一例を示すフローチャートである。 本発明の第四実施形態に係る超音波診断装置の構成例を示すブロック図である。 画像表示処理（固定プローブモード）の一例を示すフローチャートである。

以下、本発明の複数の実施形態について、図面を参照して説明する。

＜第一実施形態＞
図１は、本発明の第一実施形態に係る超音波診断装置の外観の一例を示す図である。

超音波診断装置１は、据え置型の装置である。超音波診断装置１は、観察プローブ２（本発明の第１の超音波プローブに相当する）と、固定プローブ３（本発明の第２の超音波プローブに相当する）と、ヘッド・マウント・ディスプレイ（Head Mount Display、以下では単に「ＨＭＤ」という）４とに、有線又は無線により接続される。

観察プローブ２は、観察対象に対して超音波を送出し、観察対象内で生じた反射波（以下「エコー信号」ともいう）を受信する、超音波プローブである。また、観察プローブ２は、ユーザーが手に持って移動させたり向きを変えたりすることで、観察対象の様々な部位をスキャンすることができる。

固定プローブ３は、観察対象に対して超音波を送出し、観察対象内で生じた反射波を受信する、超音波プローブである。また、固定プローブ３は、観察対象に対して固定されて、その固定場所で観察対象のスキャンを行う。なお、「固定」とは、簡単に動かないように治具などで設置するだけでなく、スキャンの際に観察プローブのようなユーザーの手による移動がないという場合も含む。固定プローブ３には、画像処理により固定プローブ３を検出するために使用されるマーカー３Ｍが設けられている。

本実施形態では、観察プローブ２には、例えば、リニア型、コンベックス型、セクタ型などの、超音波送出方向に沿った２次元平面をスキャンする超音波プローブを使用する。一方で、固定プローブ３には、例えば、２Ｄアレイ型（マトリクスアレイ型）プローブ、機械式３次元プローブなどの、３次元空間をスキャンする超音波プローブを使用する。これにより、超音波診断装置１は、観察対象を異なる方向から観察した超音波画像を表示して、観察したい部位の特定を容易にすることができる。

ＨＭＤ４は、ユーザーの頭部に装着され、画像の表示や外界の撮像を行う装置である。ＨＭＤ４は、例えば、透過型ゴーグルであり、ユーザーの視界を覆う部分に表示部（後述する第２の表示部４１）が設けられ、ユーザーの視界に対応する方向を撮像するカメラ（後述するカメラ４０）が設けられる。表示部は、例えば、透明なＬＣＤ（Liquid Crystal Display）であり、印加される電圧に応じて透過度が制御される。また、表示部は、例えば、超音波診断装置１から送られる超音波画像等を表示する。これにより、表示部は、外界の像を透過させつつ、画像を表示することができる。

もちろん、超音波診断装置１の構成態様は上述したものに限定されない。例えば、超音波診断装置１は、タブレットＰＣ（Personal Computer）のような携行型であってもよい。また、例えば、ＨＭＤ４は、透過型ゴーグルに限られず、不透明の表示部を備え、カメラにより撮像した外界の画像を表示部に表示させる、不透過型ゴーグルであってもよい。また、例えば、ＨＭＤ４は、ゴーグル型に限らず、眼鏡型、ヘルメット型などであってもよい。

図２は、超音波診断装置の構成の一例を示すブロック図である。

超音波診断装置１は、制御部１０と、第１の送受信部１１と、第２の送受信部１２と、記憶部１３と、操作部１４と、第１の表示部１５とを有する。また、ＨＭＤ４は、カメラ４０と、第２の表示部４１とを有する。

第１の送受信部１１は、観察プローブ２について超音波の送信処理及び超音波エコーの受信処理を行う。具体的には、第１の送受信部１１は、観察プローブ２に対して駆動信号を出力する。観察プローブ２は、例えば、線形状に配列された超音波トランスデューサー素子を含む超音波トランスデューサーデバイス（図示せず）を備えており、この超音波トランスデューサーデバイスが駆動信号を超音波に変換して、送出する。

また、観察プローブ２が備える超音波トランスデューサーデバイスは、観察対象からの超音波エコーを超音波診断装置１に対して送出する。第１の送受信部１１は、観察プローブ２からの超音波エコーを電気信号に変換する。また、第１の送受信部１１は、当該電気信号（アナログ信号）に対して、増幅、検波、Ａ／Ｄ（アナログ／デジタル）変換、位相合わせなどの処理を行い、処理後の電気信号である受信信号（デジタルデータ）を、制御部１０に対して出力する。

上述のとおり、観察プローブ２は、超音波送出方向に沿った２次元平面をスキャンする超音波プローブである。従って、第１の送受信部１１は、例えば、スキャンライン毎に超音波の送信処理及び超音波エコーの受信処理を行うことで、超音波送出方向に沿った２次元平面を構成する各スキャンラインのデジタルデータを得ることができる。

第２の送受信部１２は、固定プローブ３について超音波の送信処理及び超音波エコーの受信処理を行う。具体的には、第２の送受信部１２は、固定プローブ３に対して駆動信号を出力する。固定プローブ３は、例えば、２次元アレイ状に配列された超音波トランスデューサー素子を含む超音波トランスデューサーデバイス（図示せず）を備えており、この超音波トランスデューサーデバイスが駆動信号を超音波に変換して、送出する。

また、固定プローブ３が備える超音波トランスデューサーデバイスは、観察対象からの超音波エコーを超音波診断装置１に対して送出する。第２の送受信部１２は、固定プローブ３からの超音波エコーを電気信号に変換する。また、第２の送受信部１２は、当該電気信号（アナログ信号）に対して、増幅、検波、Ａ／Ｄ変換、位相合わせなどの処理を行い、処理後の電気信号である受信信号（デジタルデータ）を、制御部１０に対して出力する。

上述のとおり、固定プローブ３は、３次元空間をスキャンする超音波プローブである。従って、第２の送受信部１２は、例えば、スライス方向（図３（Ａ）のＳＬ）の各スライス位置で、スキャン方向（スライス方向と直交する方向、（図３（Ａ）のＳＣ）に、スキャンライン毎に超音波の送信処理及び超音波エコーの受信処理を行うことで、スライス位置毎に超音波送出方向に沿った２次元平面を構成する各スキャンラインのデジタルデータを得ることができる。すなわち、３次元のデジタルデータを得ることができる。

記憶部１３は、制御部１０が処理に使用するデータなどを記憶する。記憶部１３は、例えばフラッシュＲＯＭ（Read Only Memory）などの不揮発性の記憶装置で実現することができる。

操作部１４は、ユーザーの操作入力を受け付け、操作に応じた操作信号を制御部１０に出力する。操作部１４は、例えば、キーボード、ダイヤル、スライダー、ポインティングデバイス、タッチセンサー、タッチパネルなどの入力装置で実現することができる。

第１の表示部１５は、制御部１０から出力される各種画像（超音波画像、メニュー、アイコンなど）を表示する。第１の表示部１５は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどで実現することができる。

カメラ４０は、外界の像を撮像し、撮像した画像を超音波診断装置１（制御部１０）出力する。上述したように、カメラ４０は、ユーザーの視界に対応する方向を撮像する。カメラ４０は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサー、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーなどを含む。

第２の表示部４１は、超音波診断装置１（制御部１０）から出力される各種画像（超音波画像、メニュー、アイコンなど）を表示する。第２の表示部４１は、上述したように、例えば、透過型ＬＣＤなどで実現することができる。

制御部１０は、超音波診断装置１を統合的に制御する。また、制御部１０は、第１の画像処理部１０１と、第２の画像処理部１０２と、動作モード決定部１０３（本発明の切替部に相当する）と、観察プローブ検出部１０４（本発明の第１の検出部に相当する）と、固定プローブ検出部１０５（本発明の第２の検出部に相当する）と、視線方向検出部１０６と、撮像画像取得部１０７とを有する。

第１の画像処理部１０１は、第１の送受信部１１から出力される２次元平面を構成する各スキャンラインのデジタルデータに基づいて、超音波送出方向に対応した２次元平面の超音波画像を生成する。また、第１の画像処理部１０１は、生成した超音波画像を、第１の表示部１５に出力して表示させる。

第１の画像処理部１０１における超音波画像の生成方法は特に限定されないが、例えば次のように超音波画像を生成すればよい。例えば、第１の画像処理部１０１は、デジタルデータのエコー信号の振幅強度に応じたＢモード信号を生成し、Ｂモード信号から算出した画素値を超音波送出方向に対応した２次元平面にマッピングする。また、例えば、第１の画像処理部１０１は、デジタルデータのエコー信号の周波数遷移を検出して、観察対象の組織や血流などの移動速度を抽出したドプラ信号を生成し、ドプラ信号から算出した速度値を色情報に変換した画素値を超音波送出方向に対応した２次元平面にマッピングする。

第２の画像処理部１０２は、第２の送受信部１２から出力される３次元空間のデジタルデータに基づいて、超音波送出方向に交差する（超音送出方向とは異なる方向に対応する）２次元断層面の超音波画像を生成する。また、第２の画像処理部１０２は、生成した超音波画像を、ＨＭＤ４に出力して第２の表示部４１に表示させる。

第２の画像処理部１０２における超音波画像の生成方法は特に限定されないが、例えば次のように超音波画像を生成すればよい。図３は、断層画像の生成処理の一例を説明する図である。例えば、第２の画像処理部１０２は、３次元空間のデジタルデータからＢモード信号やドプラ信号を生成し、Ｂモード信号やドプラ信号から算出した画素値を３次元空間にマッピングしたボリュームデータＶを生成する（図３（Ａ）、（Ｂ））。

それから、第２の画像処理部１０２は、視線方向検出部１０６からユーザーの視線方向Ｅを取得し、当該視線方向Ｅと所定角度で交差するボリュームデータＶの断面Ｗを特定し、当該断面Ｗの画素値を２次元平面にマッピングした断層画像を生成する（図３（Ｃ））。この所定角度は、特に限定されないが、例えば、視線方向Ｅ対して直角とすることができる。所定角度の設定は、操作部１４を介して、又は、ＨＭＤ４に接続された若しくは備えられる操作部（図示せず）を介して、第２の画像処理部１０２がユーザーから受け付けるようにしてもよい。

ここで、視線方向Ｅと所定角度で交差する断面Ｗは複数存在するが、第２の画像処理部１０２は、所定規則に従って、複数の断面Ｗのうち１つを選択して断層画像を生成する。この所定規則は、特に限定されないが、例えば、複数の断面のうち最も面積が広い断面を選択したり、所定値以上の面積を有する断面のうち視点に最も近い断面を選択したりすることができる。また、例えば、図４（断層画像の生成処理の他の例を説明する図）に示すように、時間の経過とともに異なる断面を選択するようにしてもよい（例えば、１秒間隔で、所定距離間隔の断面を、断面Ｗ１、断面Ｗ２、断面Ｗ３・・・の順に選択する）。このとき、視点に近い方から順に断面を選択してもよいし、視点に遠い方から順に断面を選択してもよい。また、断面の選択は、操作部１４を介して、又は、ＨＭＤ４に接続された若しくは備えられる操作部（図示せず）を介して、第２の画像処理部１０２がユーザーから受け付けるようにしてもよい。

図２の説明に戻って、動作モード決定部１０３は、超音波診断装置１の動作モードを決定し、決定した動作モードに応じて、観察プローブ２又は固定プローブ３を用いたスキャン処理を切り替え制御する。本実施形態には、動作モードとして、待機モード、観察プローブモード、及び固定プローブモードがある。待機モードは、観察プローブ２を用いたスキャン処理と固定プローブ３を用いたスキャン処理の両方を停止するモードである。観察プローブモードは、観察プローブ２を用いた２次元平面のスキャン処理を実行し、固定プローブ３を用いた３次元空間のスキャン処理を停止するモードである。固定プローブモードは、観察プローブ２を用いた２次元平面のスキャン処理を停止し、固定プローブ３を用いた３次元空間のスキャン処理を実行するモードである。３次元空間は２次元平面よりも広いスキャン範囲を含むため、観察プローブモードを通常モードと呼び、固定プローブモードを広範囲モードと呼ぶこともできる。

具体的には、動作モード決定部１０３は、観察プローブ検出部１０４から出力される、観察プローブ２の観察対象に対する接触の検出の有無と、固定プローブ検出部１０５から出力される、カメラ４０の撮像画像内の固定プローブ３の検出の有無とに基づいて、動作モードを決定する。図５は、動作モードの切り替えを説明する図である。

固定プローブ３が撮像画像内に検出され、かつ、観察プローブ２が観察対象に接触していない場合、動作モード決定部１０３は、固定プローブモードを選択し、第１の送受信部１１及び第１の画像処理部１０１の動作を停止させ、第２の送受信部１２及び第２の画像処理部１０２の動作を実行させる。図５（Ａ）の例では、固定プローブ３がＨＭＤ４の撮像範囲に入っており、観察プローブ２が観察対象Ｈに接触していないため、固定プローブモードが選択される。この場合、第２の表示部４１には、断層画像である超音波画像ＩＭ２が表示され、第１の表示部１５には、超音波画像が表示されない（表示が抑止される）。

固定プローブ３が撮像画像内に検出され又は検出されない、かつ、観察プローブ２が観察対象に接触している場合、動作モード決定部１０３は、観察プローブモードを選択し、第１の送受信部１１及び第１の画像処理部１０１の動作を実行させ、第２の送受信部１２及び第２の画像処理部１０２の動作を停止させる。図５（Ｂ）の例では、固定プローブ３がＨＭＤ４の撮像範囲に入っているが、観察プローブ２が観察対象Ｈに接触しているため、観察プローブモードが選択される。この場合、第２の表示部４１には、超音波画像が表示されず、第１の表示部１５には、超音波送出方向に対応した超音波画像ＩＭ１が表示される。図５（Ｃ）の例では、固定プローブ３がＨＭＤ４の撮像範囲に入っておらず、観察プローブ２が観察対象Ｈに接触しているため、観察プローブモードが選択される。この場合、第２の表示部４１には、超音波画像が表示されず、第１の表示部１５には、超音波送出方向に対応した超音波画像ＩＭ１が表示される。

固定プローブ３が撮像画像内に検出されず、かつ、観察プローブ２が観察対象に接触していない場合、動作モード決定部１０３は、待機モードを選択し、第１の送受信部１１及び第１の画像処理部１０１の動作と、第２の送受信部１２及び第２の画像処理部１０２の動作との、両方を停止させる。

図２の説明に戻って、観察プローブ検出部１０４は、観察プローブ２が観察対象に接触しているか否かを検出する。すなわち、観察プローブ２によるスキャンが行われているか否かを検出する。本実施形態では、観察プローブ２は、観察プローブ２の超音波が送出される面が、観察対象に接触しているか否かを検出する接触センサー（図示せず）を備える。観察プローブ検出部１０４は、第１の送受信部１１を介して接触センサーから信号を受信し、接触の有無を検出する。

なお、観察プローブ２によるスキャンが行われているか否かの検出は、観察対象に対する接触センサーを用いた方法に限られない。例えば、観察プローブ検出部１０４は、観察プローブ２からの超音波エコーの受信状態に基づいて、観察プローブ２によるスキャンが行われているか否かを判定すればよい。また、例えば、観察プローブ２にユーザーの手の接触を検出する接触センサーを設け、観察プローブ検出部１０４は、この接触センサーから信号を受信し、接触の有無を検出すればよい。

固定プローブ検出部１０５は、撮像画像取得部１０７から出力される撮像画像から固定プローブ３を検出する。例えば、固定プローブ検出部１０５は、撮像画像内のマーカー３Ｍの有無を検出することにより、固定プローブ３の有無を検出する。また、例えば、固定プローブ検出部１０５は、撮像画像内のマーカー３Ｍの位置、大きさ、形状などに基づいて、カメラ４０と固定プローブ３の相対的な位置関係を検出する。すなわち、固定プローブ検出部１０５は、カメラ４０の位置及び撮像方向に対する、固定プローブ３の位置及び向きを検出する。本実施形態では、例えば、検出された固定プローブ３の位置及び向きを、固定プローブ３によりスキャンされる３次元空間の原点あるいは基準点として利用する。マーカーが設けられた被写体とカメラの相対的な位置関係を求めるのには、既存の技術を用いることができるため、詳細な説明を省略する。

視線方向検出部１０６は、固定プローブ検出部１０５により固定プローブ３が検出された場合に、固定プローブ３の位置及び向きに対する、カメラ４０の位置及び撮像方向を検出する。本実施形態では、例えば、検出したカメラ４０の位置及び撮像方向を、固定プローブ３によりスキャンされる３次元空間に対する視点位置及び視線方向として利用する。

撮像画像取得部１０７は、カメラ４０からカメラ４０が撮像した撮像画像を取得し、固定プローブ検出部１０５等の各部に出力する。

制御部１０は、例えば、演算装置であるＣＰＵ（Central Processing Unit）、揮発性の記憶装置であるＲＡＭ（Random Access Memory）、不揮発性の記憶装置であるＲＯＭ、制御部１０と他のユニットを接続するインターフェイス（Ｉ／Ｆ）回路、外部の装置と通信を行う通信装置、これらを互いに接続するバス、などを備えるコンピューターにより実現することができる。コンピューターは、画像処理回路など各種の専用回路を備えていてもよい。また、制御部１０は、ＡＳＩＣ（Application Specific Integrated Circuit）などにより実現されてもよい。

上記の制御部１０の機能の少なくとも一部は、例えば、ＣＰＵがＲＯＭに格納された所定のプログラムをＲＡＭに読み出して実行することにより実現することができる。制御部１０の機能の少なくとも一部は、例えば、専用回路により実現してもよい。

図６は、動作モード決定処理の一例を示すフローチャートである。

まず、固定プローブ検出部１０５は、撮像画像取得部１０７を介してカメラ４０の撮像画像を取得し、撮像画像内のマーカー３Ｍの有無を検出することにより、固定プローブ３の有無を検出する（ステップＳ１０）。

また、観察プローブ検出部１０４は、観察プローブ２の接触センサーからの信号に基づいて、観察プローブ２が観察対象に接触しているか否かを検出する（ステップＳ２０）。

それから、動作モード決定部１０３は、ステップＳ１０の検出結果に基づいて、固定プローブ３が撮像画像内に検出されたか否かを判定する（ステップＳ３０）。

固定プローブ３が撮像画像内に検出されていないと判定した場合（ステップＳ３０でＮ）、動作モード決定部１０３は、ステップＳ２０の検出結果に基づいて、観察プローブ２が観察対象に接触しているか否かを判定する（ステップＳ４０）。

観察プローブ２が観察対象に接触していないと判定した場合（ステップＳ４０でＮ）、動作モード決定部１０３は、待機モードを選択し、第１の送受信部１１及び第１の画像処理部１０１の動作と、第２の送受信部１２及び第２の画像処理部１０２の動作との、両方を停止させる（ステップＳ５０）。ステップＳ５０の後、固定プローブ検出部１０５は、再びステップＳ１０の処理を実行する。

固定プローブ３が撮像画像内に検出されたと判定した場合（ステップＳ３０でＹ）、動作モード決定部１０３は、ステップＳ２０の検出結果に基づいて、観察プローブ２が観察対象に接触しているか否かを判定する（ステップＳ６０）。

観察プローブ２が観察対象に接触していると判定した場合（ステップＳ４０でＹ、又は、ステップＳ６０でＹ）、動作モード決定部１０３は、観察プローブモードを選択し、第１の送受信部１１及び第１の画像処理部１０１の動作を実行させ、第２の送受信部１２及び第２の画像処理部１０２の動作を停止させる（ステップＳ７０）。ステップＳ７０の後、固定プローブ検出部１０５は、再びステップＳ１０の処理を実行する。

なお、観察プローブモードでは、第１の送受信部１１は、観察プローブ２について超音波の送信処理及び超音波エコーの受信処理を行って、受信信号を第１の画像処理部１０１に対して出力する。第１の画像処理部１０１は、第１の送受信部１１から出力される２次元平面を構成する各スキャンラインのデジタルデータに基づいて、超音波送出方向に対応した２次元平面の超音波画像を生成する。また、第１の画像処理部１０１は、生成した超音波画像を、第１の表示部１５に出力して表示させる。

観察プローブ２が観察対象に接触していないと判定した場合（ステップＳ６０でＮ）、動作モード決定部１０３は、固定プローブモードを選択し、第１の送受信部１１及び第１の画像処理部１０１の動作を停止させ、第２の送受信部１２及び第２の画像処理部１０２の動作を実行させる（ステップＳ８０）。ステップＳ８０の後、固定プローブ検出部１０５は、再びステップＳ１０の処理を実行する。

なお、固定プローブモードでは、第２の送受信部１２は、固定プローブ３について超音波の送信処理及び超音波エコーの受信処理を行って、受信信号（３次元のデジタルデータ）を第２の画像処理部１０２に対して出力する。第２の画像処理部１０２は、第２の送受信部１２から出力される３次元のデジタルデータから、ボリュームデータを生成し、例えば記憶部１３等の記憶装置に格納する。

図７は、画像表示処理（固定プローブモード）の一例を示すフローチャートである。本フローチャートは、上述の固定プローブモードにおいて生成されたボリュームデータに基づいて実行される。

まず、固定プローブ検出部１０５は、撮像画像取得部１０７を介してカメラ４０の撮像画像を取得し、撮像画像内のマーカー３Ｍの位置、大きさ、形状などに基づいて、カメラ４０の位置及び撮像方向に対する、固定プローブ３の位置及び向きを検出する（ステップＳ１１０）。

また、視線方向検出部１０６は、ステップＳ１１０の検出結果に基づいて、固定プローブ３の位置及び向きに対する、カメラ４０の位置及び撮像方向（視点位置及び視線方向）を検出する（ステップＳ１２０）。

それから、第２の画像処理部１０２は、ステップＳ１２０で検出された視線方向と、記憶部１３等の記憶装置に格納されているボリュームデータとに基づいて、当該視線方向と所定角度で交差するボリュームデータの断面を特定する（ステップＳ１３０）。

それから、第２の画像処理部１０２は、ボリュームデータに基づいて、ステップＳ１３０で特定した断面の画素値を２次元平面にマッピングした断層画像を生成する（ステップＳ１４０）。

それから、第２の画像処理部１０２は、ステップＳ１４０で生成した断層画像（超音波画像）を、ＨＭＤ４に出力して第２の表示部４１に表示させる（ステップＳ１５０）。ステップＳ１５０の後、固定プローブ検出部１０５は、再びステップＳ１１０の処理を実行する。

以上、本発明の第一実施形態について説明した。第一実施形態によれば、例えば、観察プローブによる第１の超音波画像が第１の表示部に表示され、固定プローブによる第１の超音波画像とは方向が異なる第２の超音波画像が第２の表示部に表示される。これにより、ユーザーは、固定プローブと観察プローブによりそれぞれ異なる方向の画像を観察することができるので、観察したい部位（例えば、異常が推測される部位など）をより容易に判別できる。

また、第一実施形態によれば、例えば、第１の超音波画像は、超音波送出方向と対応する画像であり、第２の超音波画像は、超音波送出方向と交差する断層画像である。これにより、ユーザーは、超音波送出方向に対してそれぞれ異なる方向の画像を観察することができるので、観察したい部位をより容易に判別できる。

また、第一実施形態によれば、例えば、第２の超音波画像は、ユーザーの視線方向と所定角度で交差する断層画像である。これにより、ユーザーは、視線方向に応じた断面を観察することができるので、観察したい部位をより容易に判別できる。

また、第一実施形態によれば、例えば、第２の超音波画像は、視線方向と所定角度で交差する断面から、時間の経過とともに異なる断面が選択される。これにより、ユーザーは、操作を行わなくても超音波送出方向と交差する断面を複数観察することができるため、観察したい部位をより容易に判別できる。

また、第一実施形態によれば、例えば、観察プローブが観察対象に接触しているか否か、及び、固定プローブが撮像画像に含まれているか否かに応じて、観察プローブモードと固定プローブモードの一方が動作するように切り替えられる。これにより、観察プローブから送出される超音波と固定プローブから送出される超音波の干渉を防ぎ、超音波画像の質の低下を防ぐことができる。また、両方のモードが動作することによる処理負荷の増加を防ぎ、超音波画像の生成のフレームレート等を向上することができる。

より具体的には、例えば、患者の体などの観察対象を観察する場合、固定プローブは患者の体の上に置かれる。また、観察プローブは、患者の体を観察する場合には、患者の体の上に置かれ、観察しない場合には、患者の体から外される。観察プローブが患者の体から外された状態で、ユーザーが患者の体と固定プローブを見ると、固定プローブモードにより広範囲の超音波画像が患者の体と重なってＨＭＤ４に表示されるため、ユーザーは、患者の体内の概観を観察することができる。そして、ユーザーが観察プローブを患者の体の上に置き、患者の体と固定プローブから視線を外して第１の表示部１５を見ると、固定プローブモードが停止し、観察プローブモードにより詳細な超音波画像が第１の表示部１５に表示されるため、ユーザーは、患者の体内の詳細を観察することができる。このように、ユーザーは広範囲モードと通常モードをそれぞれ適した状況に応じて容易に切り替えて、広範囲モード画像と通常モード画像を比較検討することができるため、観察したい部位（例えば異常箇所など）の判別がより容易になる。

＜第二実施形態＞
第二実施形態は、観察プローブ２の超音波画像上にユーザーの関心位置を示すマーカーを設定し、固定プローブ３の超音波画像上に対応するマーカーを表示する。以下、第一実施形態と同様の構成については説明を省略し、異なる構成を中心に説明する。

図８は、本発明の第二実施形態に係る超音波診断装置の構成例を示すブロック図である。

本実施形態では、固定プローブ３だけでなく、観察プローブ２にも、画像処理により観察プローブ２を検出するために使用されるマーカー２Ｍが設けられている。また、制御部１０は、第一実施形態で説明した各部に加え、関心位置設定部１０８を有する。

ここで、関心位置を設定する際には、ユーザーは、観察プローブモードで超音波診断装置１を動作させ、観察プローブ２のスキャン範囲の少なくとも一部が、固定プローブ３のスキャン範囲内に含まれるように（目測で構わない）、観察プローブ２の位置及び向きを固定するものとする。

観察プローブ検出部１０４は、観察プローブ２の観察対象に対する接触の検出の有無に加え、撮像画像取得部１０７から出力される撮像画像から観察プローブ２を検出する。例えば、観察プローブ検出部１０４は、撮像画像内のマーカー２Ｍの有無を検出することにより、観察プローブ２の有無を検出する。また、例えば、観察プローブ検出部１０４は、撮像画像内のマーカー２Ｍの位置、大きさ、形状などに基づいて、カメラ４０と観察プローブ２の相対的な位置関係を検出する。本実施形態では、例えば、検出された観察プローブ２の位置及び向きを、観察プローブ２によりスキャンされる２次元平面の原点あるいは基準点として利用する。

関心位置設定部１０８は、第１の表示部１５に表示された超音波送出方向に対応した超音波画像上に、操作部１４を介してユーザーから関心位置の設定を受け付ける。図９は、関心位置の設定を説明する図である。図９（Ａ）の例では、超音波診断装置１は観察プローブモードで動作しており、第１の表示部１５に表示された超音波画像ＩＭ１上に、関心位置Ｍ１が設定されている。関心位置設定部１０８は、超音波画像ＩＭ１上の関心位置Ｍ１と、観察プローブ検出部１０４により検出された観察プローブ２の位置及び向きに基づいて、観察プローブ２のスキャン範囲（超音波送出方向に対応した２次元平面）上の関心位置の座標（第１の関心位置座標）を特定する。

また、関心位置設定部１０８は、観察プローブ検出部１０４により検出された観察プローブ２の位置及び向きと、固定プローブ検出部１０５により検出された固定プローブ３の位置及び向きとに基づいて、観察プローブ２及び固定プローブ３の相対位置関係を特定する。また、関心位置設定部１０８は、特定した第１の関心位置座標と、特定した相対位置関係とに基づいて、固定プローブ３のスキャン範囲（３次元空間のボリュームデータ）上の関心位置の座標（第２の関心位置座標）を特定する。第１及び第２の関心位置座標は、例えば記憶部１３等の記憶装置に格納する。

第２の画像処理部１０２は、表示対象として特定した断面の座標範囲に、記憶部１３等の記憶装置に格納されている第２の関心位置座標が含まれるか否かを判定する。また、第２の画像処理部１０２は、断面の座標範囲に第２の関心位置座標が含まれる場合には、当該断面の断層画像に、第２の関心位置座標に関心位置を示す画像を合成した超音波画像を生成し、ＨＭＤ４に出力して第２の表示部４１に表示させる。図９（Ｂ）の例では、超音波診断装置１は固定プローブモードで動作しており、第２の表示部４１に表示された超音波画像ＩＭ２上に、関心位置Ｍ２が表示されている。

図１０は、関心位置設定処理（観察プローブモード）の一例を示すフローチャートである。なお、ユーザーは、観察プローブモードで超音波診断装置１を動作させ、観察プローブ２のスキャン範囲の少なくとも一部が、固定プローブ３のスキャン範囲内に含まれるように（目測で構わない）、観察プローブ２の位置及び向きを固定している。

まず、関心位置設定部１０８は、関心位置設定操作を受け付けたか否かを判定する（ステップＳ２１０）。具体的には、関心位置設定部１０８は、第１の表示部１５に表示された超音波送出方向に対応した超音波画像上に、操作部１４を介してユーザーから関心位置の設定を受け付けたか否かを判定する。関心位置の設定を受け付けていないと判定した場合（ステップＳ２１０でＮ）、関心位置設定部１０８は、再びステップＳ２１０の処理を実行する。

関心位置の設定を受け付けたと判定された場合（ステップＳ２１０でＹ）、固定プローブ及び観察プローブが検出される（ステップＳ２２０）。具体的には、固定プローブ検出部１０５は、撮像画像取得部１０７を介してカメラ４０の撮像画像を取得し、撮像画像内のマーカー３Ｍの位置、大きさ、形状などに基づいて、カメラ４０の位置及び撮像方向に対する、固定プローブ３の位置及び向きを検出する。また、観察プローブ検出部１０４は、撮像画像取得部１０７を介してカメラ４０の撮像画像を取得し、撮像画像内のマーカー２Ｍの位置、大きさ、形状などに基づいて、カメラ４０の位置及び撮像方向に対する、観察プローブ２の位置及び向きを検出する。

それから、関心位置設定部１０８は、観察プローブ画像上の関心位置座標を特定する（ステップＳ２３０）。具体的には、関心位置設定部１０８は、ステップＳ２１０で受け付けた超音波画像上の関心位置と、ステップＳ２２０で検出された観察プローブ２の位置及び向きに基づいて、観察プローブ２のスキャン範囲（超音波送出方向に対応した２次元平面）上の第１の関心位置の座標を特定する。

それから、関心位置設定部１０８は、固定プローブ画像上の関心位置座標を特定する（ステップＳ２４０）。具体的には、関心位置設定部１０８は、ステップＳ２２０で検出された観察プローブ２の位置及び向きと、ステップＳ２２０で検出された固定プローブ３の位置及び向きとに基づいて、観察プローブ２及び固定プローブ３の相対位置関係を特定する。そして、関心位置設定部１０８は、ステップＳ２３０で特定した観察プローブ２のスキャン範囲上の第１の関心位置座標と、特定した観察プローブ２及び固定プローブ３の相対位置関係とに基づいて、固定プローブ３のスキャン範囲（３次元空間のボリュームデータ）上の第２の関心位置座標を特定する。

それから、関心位置設定部１０８は、ステップＳ２５０で特定した固定プローブ３のスキャン範囲（３次元空間のボリュームデータ）上の第２の関心位置の座標を、記憶部１３等の記憶装置に格納する（ステップＳ２５０）。ステップＳ２５０の後、関心位置設定部１０８は、再びステップＳ２１０の処理を実行する。

図１１は、画像表示処理（固定プローブモード）の一例を示すフローチャートである。なお、記憶部１３等の記憶装置には、１つ以上の第２の関心位置座標が格納されているものとする。

ステップＳ３１０、Ｓ３２０、及びステップＳ３３０は、ステップＳ１１０、ステップＳ１２０、及びステップＳ１３０（図７）と同様であるので、説明を省略する。

ステップＳ３３０の後、第２の画像処理部１０２は、記憶部１３等の記憶装置に格納されている１つ以上の第２の関心位置座標のうち、ステップＳ３３０で特定した断面の座標範囲に含まれるものがあるか否かを判定する（ステップＳ３４０）。

断面の座標範囲に含まれる関心位置がないと判定した場合（ステップＳ３４０でＮ）、第２の画像処理部１０２は、ボリュームデータに基づいて、ステップＳ３３０で特定した断面の画素値を２次元平面にマッピングした断層画像を生成する（ステップＳ３５０）。

断面の座標範囲に含まれる関心位置があると判定した場合（ステップＳ３４０でＹ）、第２の画像処理部１０２は、ボリュームデータに基づいて、ステップＳ３３０で特定した断面の画素値を２次元平面にマッピングした断層画像を生成するとともに、断層画像に、第２の関心位置座標に当該関心位置を示す画像を合成する（ステップＳ３６０）。

それから、第２の画像処理部１０２は、ステップＳ３５０で生成した断層画像（関心位置が合成されていない超音波画像）、又は、ステップＳ３６０で生成した断層画像（関心位置が合成された超音波画像）を、ＨＭＤ４に出力して第２の表示部４１に表示させる（ステップＳ３７０）。ステップＳ３７０の後、固定プローブ検出部１０５は、再びステップＳ３１０の処理を実行する。

以上、本発明の第二実施形態について説明した。第二実施形態によれば、例えば、観察プローブによる第１の超音波画像上で設定された関心位置と対応する関心位置が、固定プローブによる第２の超音波画像上に表示される。これにより、第１の超音波画像上において設定した関心位置を、第２の超音波画像上において確認できるため、観察作業の利便性が高くなる。

＜第三実施形態＞
第三実施形態は、固定プローブ３の超音波画像上にユーザーの関心位置を示すマーカーを設定し、観察プローブ２の超音波画像上に、対応するマーカーを表示する。以下、第一実施形態と同様の構成については説明を省略し、異なる構成を中心に説明する。

本実施形態では、第二実施形態と同様に、固定プローブ３だけでなく、観察プローブ２にも、画像処理により観察プローブ２を検出するために使用されるマーカー２Ｍが設けられている。また、制御部１０は、第二実施形態と同様に、関心位置設定部１０８を有する。

ここで、関心位置を設定する際には、ユーザーは、固定プローブモードで超音波診断装置１を動作させる。観察プローブ検出部１０４は、第二実施形態と同様である。

関心位置設定部１０８は、第２の表示部４１に表示された超音波送出方向に交差する２次元断層面の超音波画像上に、例えば、操作部１４を介して、又は、ＨＭＤ４に接続された若しくは備えられる操作部（図示せず）を介して、ユーザーから関心位置の設定を受け付ける。また、関心位置設定部１０８は、超音波画像ＩＭ２上の関心位置Ｍ２と、固定プローブ検出部１０５により検出された固定プローブ３の位置及び向きに基づいて、固定プローブ３のスキャン範囲（３次元空間のボリュームデータ）上の関心位置の座標（第１の関心位置座標）を特定する。第１の関心位置座標は、例えば記憶部１３等の記憶装置に格納する。

また、関心位置設定部１０８は、観察プローブモード中に、観察プローブ検出部１０４により検出された観察プローブ２の位置及び向きと、固定プローブ検出部１０５により検出された固定プローブ３の位置及び向きとに基づいて、観察プローブ２及び固定プローブ３の相対位置関係を特定する。また、関心位置設定部１０８は、特定した第１の関心位置座標と、特定した相対位置関係とに基づいて、観察プローブ２のスキャン範囲（超音波送出方向に対応した２次元平面）上の関心位置の座標（第２の関心位置座標）を特定する。

第１の画像処理部１０１は、観察プローブ２のスキャンした２次元平面の座標範囲に、関心位置設定部１０８により特定された第２の関心位置座標が含まれるか否かを判定する。また、第１の画像処理部１０１は、観察プローブ２のスキャンした２次元平面の座標範囲に第２の関心位置座標が含まれる場合には、当該２次元平面の超音波画像に、第２の関心位置座標に関心位置を示す画像を合成した超音波画像を生成し、第１の表示部１５に出力して表示させる。

図１２は、関心位置設定処理（固定プローブモード）の一例を示すフローチャートである。

まず、関心位置設定部１０８は、関心位置設定操作を受け付けたか否かを判定する（ステップＳ４１０）。具体的には、関心位置設定部１０８は、第２の表示部４１に表示された超音波送出方向に交差する２次元断層面の超音波画像上に、操作部１４を介して、又は、ＨＭＤ４に接続された若しくは備えられる操作部（図示せず）を介して、ユーザーから関心位置の設定を受け付けたか否かを判定する。関心位置の設定を受け付けていないと判定した場合（ステップＳ４１０でＮ）、関心位置設定部１０８は、再びステップＳ４１０の処理を実行する。

関心位置の設定を受け付けたと判定された場合（ステップＳ４１０でＹ）、固定プローブが検出される（ステップＳ４２０）。具体的には、固定プローブ検出部１０５は、撮像画像取得部１０７を介してカメラ４０の撮像画像を取得し、撮像画像内のマーカー３Ｍの位置、大きさ、形状などに基づいて、カメラ４０の位置及び撮像方向に対する、固定プローブ３の位置及び向きを検出する。

それから、関心位置設定部１０８は、固定プローブ画像上の関心位置座標を特定する（ステップＳ４３０）。具体的には、関心位置設定部１０８は、ステップＳ４１０で受け付けた超音波画像ＩＭ２上の関心位置Ｍ２と、ステップＳ４２０で検出された固定プローブ検出部１０５により検出された固定プローブ３の位置及び向きに基づいて、固定プローブ３のスキャン範囲（３次元空間のボリュームデータ）上の第１の関心位置座標を特定する。

それから、関心位置設定部１０８は、ステップＳ４３０で特定した固定プローブ３のスキャン範囲（３次元空間のボリュームデータ）上の第１の関心位置座標を、記憶部１３等の記憶装置に格納する（ステップＳ４４０）。ステップＳ４４０の後、関心位置設定部１０８は、再びステップＳ４１０の処理を実行する。

図１３は、画像表示処理（観察プローブモード）の一例を示すフローチャートである。なお、記憶部１３等の記憶装置には、１つ以上の第１の関心位置座標が格納されているものとする。

まず、固定プローブ及び観察プローブが検出される（ステップＳ５１０）。ステップＳ５１０は、ステップＳ２２０（図１０）と同様なので説明を省略する。なお、関心位置設定部１０８は、検出された観察プローブ２の位置及び向きと、検出された固定プローブ３の位置及び向きとに基づいて、観察プローブ２及び固定プローブ３の相対位置関係を特定する。また、関心位置設定部１０８は、記憶部１３等の記憶装置に格納されている第１の関心位置座標と、特定した相対位置関係とに基づいて、観察プローブ２のスキャン範囲（超音波送出方向に対応した２次元平面）上の第２の関心位置座標を特定する。

それから、第１の画像処理部１０１は、観察プローブ画像上に関心位置があるか否かを判定する（ステップＳ５２０）。具体的には、第１の画像処理部１０１は、ステップＳ５２０で特定された１つ以上の第２の関心位置座標のうち、ステップＳ５１０で特定された２次元平面の座標範囲に含まれるものがあるか否かを判定する（ステップＳ５２０）。

観察プローブ２のスキャンした２次元平面の座標範囲に含まれる関心位置がないと判定した場合（ステップＳ５２０でＮ）、第１の画像処理部１０１は、各スキャンラインのデジタルデータに基づいて、超音波送出方向に対応した２次元平面の超音波画像を生成する（ステップＳ５３０）。

観察プローブ２のスキャンした２次元平面の座標範囲に含まれる関心位置があると判定した場合（ステップＳ５２０でＹ）、第１の画像処理部１０１は、各スキャンラインのデジタルデータに基づいて、超音波送出方向に対応した２次元平面の超音波画像を生成するとともに、当該超音波画像に、第２の関心位置座標に関心位置を示す画像を合成する（ステップＳ５４０）。

それから、第１の画像処理部１０１は、ステップＳ５３０で生成した超音波画像（関心位置が合成されていない超音波画像）、又は、ステップＳ５４０で生成した超音波画像（関心位置が合成された超音波画像）を、第１の表示部１５に出力して表示させる（ステップＳ５５０）。ステップＳ５５０の後、再びステップＳ５１０の処理が実行される。

以上、本発明の第三実施形態について説明した。第三実施形態によれば、例えば、固定プローブによる第２の超音波画像上で設定された関心位置と対応する関心位置が、観察プローブによる第１の超音波画像上に表示される。これにより、第２の超音波画像上において設定した関心位置を、第１の超音波画像上において確認できるため、観察作業の利便性が高くなる。

＜第四実施形態＞
第四実施形態は、断層画像の替わりに、ボリュームデータに基づいて生成した３Ｄモデル画像を表示するものである。以下、第一実施形態と同様の構成については説明を省略し、異なる構成を中心に説明する。

図１４は、本発明の第四実施形態に係る超音波診断装置の構成例を示すブロック図である。

本実施形態では、制御部１０は、第一実施形態で説明した各部に加え、モデル生成部１０９を有する。観察プローブ検出部１０４は、第二実施形態と同様である。

第２の画像処理部１０２は、ボリュームデータの生成は行うが、断層画像の生成は行わない。第２の画像処理部１０２は、モデル生成部１０９により生成された３Ｄモデルを２次元平面にマッピングした超音波画像を生成し、ＨＭＤ４に出力して第２の表示部４１に表示させる。

モデル生成部１０９は、第２の画像処理部１０２により生成されたボリュームデータから特徴を抽出し、当該抽出した特徴を含む３Ｄモデルを生成し、記憶部１３等の記憶装置に格納する。特徴部分の抽出方法は特に限定されないが、例えば、Ｂモード画像が示す各画素のうち、輝度値が所定の閾値を超える画素を抽出すればよい。

図１５は、画像表示処理（固定プローブモード）の一例を示すフローチャートである。なお、３Ｄモデルは、第２の画像処理部１０２によりボリュームデータが更新される度に、モデル生成部１０９により更新されて、記憶装置に格納されている。

ステップＳ６１０、及びステップＳ６２０は、ステップＳ１１０、及びステップＳ１２０（図７）と同様であるので、説明を省略する。

ステップＳ６２０の後、第２の画像処理部１０２は、ステップＳ６２０で検出された視線方向と、記憶装置に格納されている３Ｄモデルとに基づいて、当該視線方向から見た３Ｄモデルを２次元平面にマッピングした３Ｄモデル画像を生成する（ステップＳ６３０）。

それから、第２の画像処理部１０２は、ステップＳ６３０で生成した３Ｄモデル画像（超音波画像）を、ＨＭＤ４に出力して第２の表示部４１に表示させる（ステップＳ６４０）。ステップＳ６４０の後、固定プローブ検出部１０５は、再びステップＳ６１０の処理を実行する。

以上、本発明の第四実施形態について説明した。第四施形態によれば、例えば、固定プローブのスキャン範囲内の３Ｄモデルが、ＨＭＤに表示される。これにより、ユーザーは、断層画像を表示する場合と比べて、立体的な広い範囲を一目で観察することができるため、観察したい部位（例えば、異常が推測される部位など）をより容易に判別できる。

＜その他変形例＞
本発明は、上述の各実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。例えば、上述の各実施形態は、一つ以上を組み合わせてもよい。また、上記の各実施形態には、例えば下記のような変形を加えてもよい。

上記の各実施形態では、ボリュームデータの断面は、視線方向を基準として決定しているが、例えば、固定プローブ３の超音波送出方向を基準として決定してもよい。具体的には、第２の画像処理部１０２は、固定プローブ検出部１０５から、カメラ４０の位置及び撮像方向に対する、固定プローブ３の位置及び向きを検出する。そして、第２の画像処理部１０２は、固定プローブ３の向きを超音波送出方向として取得し、当該超音波送出方向と所定角度で交差するボリュームデータＶの断面Ｗを特定する。所定角度の決定方法や断面の選択方法は、視線方向を用いた場合と同様である。このようにすれば、固定プローブ３の向きは静的であるため、視線方向の変化に係わらず、安定した断層画像を表示することができる。

上記の第二及び第三実施形態において、設定及び表示される関心位置は、点に限らず、例えば、線、面などの各種の図形、すなわち点の集合であってもよい。また、例えば、第１の画像処理部１０１及び第２の画像処理部１０２は、関心位置を示す画像を、超音波画像の変化（超音波画像内の特徴の変化）に追従して表示するようにしてもよい。

上記の各実施形態において、第１の画像処理部１０１は、例えば、第１の送受信部１１から出力される２次元平面を構成する各スキャンラインのデジタルデータに基づいて、所定のアルゴリズムにより特徴部分（例えば、病変部分）を抽出し、超音波画像に合成するようにしてもよい。また、例えば、第２の画像処理部１０２は、第２の送受信部１２から出力される３次元空間のデジタルデータに基づいて、所定のアルゴリズムにより特徴部分（例えば、病変部分）を抽出し、超音波画像に合成するようにしてもよい。このようにすれば、観察したい部位をより容易に判別できる。

上記の各実施形態では、固定プローブ３は、１台設けられているが、複数台設けられていてもよい。この場合、第２の送受信部１２は、複数の固定プローブ３それぞれの３次元のスキャン範囲が重複しないように、超音波の送信処理及び超音波エコーの受信処理を制御する。第２の画像処理部１０２は、第２の送受信部１２から出力される複数の固定プローブ３それぞれの３次元空間のデジタルデータに基づいて、１つのボリュームデータを生成する。このようにすれば、より広範囲な３次元画像から断層画像を生成することができる。

なお、図２、図８、及び図１４で示した超音波診断装置１の構成は、超音波診断装置１の構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。超音波診断装置１の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理又は機能の分担は、本発明の目的を達成できるのであれば、上述したものに限られない。

また、図６等で示したフローチャートの処理単位は、超音波診断装置１の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。超音波診断装置１の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。さらに、上記のフローチャートの処理順序も、図示した例に限られるものではない。

なお、上記の実施形態では、超音波診断装置１には、観察プローブ２、固定プローブ３、及びＨＭＤ４は含まれていない。しかし、例えば、観察プローブ２、固定プローブ３、及びＨＭＤ４のいずれか１つ以上を超音波診断装置１に含めたものを、超音波診断装置と呼んでもよい。

１：超音波診断装置、２：観察プローブ、２Ｍ：マーカー、３：固定プローブ、３Ｍ：マーカー、１０：制御部、１１：第１の送受信部、１２：第２の送受信部、１３：記憶部、１４：操作部、１５：第１の表示部、４０：カメラ、４１：第２の表示部、１０１：第１の画像処理部、１０２：第２の画像処理部、１０３：動作モード決定部、１０４：観察プローブ検出部、１０５：固定プローブ検出部、１０６：視線方向検出部、１０７：撮像画像取得部、１０８：関心位置設定部、１０９：モデル生成部、ＩＭ１：超音波画像、ＩＭ２：超音波画像、Ｍ１：関心位置、Ｍ２：関心位置、Ｖ：ボリュームデータ、Ｗ：断面

Claims (11)

1. 第１の超音波プローブからの第１の受信信号に基づいて、前記第１の超音波プローブの超音波送出方向に対応する第１の超音波画像を生成する第１の画像処理部と、
   前記第１の超音波画像を表示する第１の表示部と、
   第２の超音波プローブからの第２の受信信号に基づいて、前記第２の超音波プローブの超音波送出方向とは異なる方向に対応する第２の超音波画像を生成する第２の画像処理部と、
   ユーザーに視認可能に前記ユーザーに装着される、前記第２の超音波画像を表示する第２の表示部と
   を備える超音波診断装置。
2. 請求項１に記載の超音波診断装置であって、
   前記第２の画像処理部は、前記第２の受信信号に基づいて生成した３次元画像から、前記ユーザーの視線方向と所定角度で交差する断面の断層画像を、前記第２の超音波画像として生成する
   超音波診断装置。
3. 請求項１に記載の超音波診断装置であって、
   前記第２の画像処理部は、前記第２の受信信号に基づいて生成した３次元画像から、前記第２の超音波プローブの向きと所定角度で交差する断面の断層画像を、前記第２の超音波画像として生成する
   超音波診断装置。
4. 請求項２又は３に記載の超音波診断装置であって、
   前記第２の画像処理部は、前記所定角度で交差する複数の前記断面から、時間の経過とともに異なる断面を選択して前記断層画像を生成する
   超音波診断装置。
5. 請求項１に記載の超音波診断装置であって、
   前記ユーザーに装着されるカメラと、
   前記第２画像処理部の動作を切り替え制御し、前記カメラからの撮像画像に前記第２の超音波プローブが含まれる場合に、前記第２の画像処理部を動作させ、前記カメラからの撮像画像に前記第２の超音波プローブが含まれない場合に、前記第２の画像処理部の動作を停止させる切替部と
   を備える超音波診断装置。
6. 請求項５に記載の超音波診断装置であって、
   前記切替部は、前記第１画像処理部の動作を切り替え制御するものであり、前記第１の超音波プローブが観察対象に接触している場合に、前記第１の画像処理部を動作させ、前記第２の画像処理部の動作を停止させる
   超音波診断装置。
7. 請求項１に記載の超音波診断装置であって、
   前記ユーザーに装着されるカメラと、
   前記カメラからの撮像画像から、前記第１の超音波プローブの位置及び向きを検出する第１の検出部と、
   前記撮像画像から、前記第２の超音波プローブの位置及び向きを検出する第２の検出部と、
   前記第１の超音波画像上の第１の関心位置を受け付け、前記第１の超音波プローブの位置及び向きと、前記第２の超音波プローブの位置及び向きとに基づいて、前記第１の関心位置に対応する前記第２の超音波画像上の第２の関心位置を設定する関心位置設定部と
   を備え、
   前記第２の画像処理部は、前記第２の関心位置を合成した前記第２の超音波画像を生成する
   超音波診断装置。
8. 請求項１に記載の超音波診断装置であって、
   前記ユーザーに装着されるカメラと、
   前記カメラからの撮像画像から、前記第１の超音波プローブの位置及び向きを検出する第１の検出部と、
   前記撮像画像から、前記第２の超音波プローブの位置及び向きを検出する第２の検出部と、
   前記第２の超音波画像上の第１の関心位置を受け付け、前記第１の超音波プローブの位置及び向きと、前記第２の超音波プローブの位置及び向きとに基づいて、前記第１の関心位置に対応する前記第１の超音波画像上の第２の関心位置を設定する関心位置設定部と
   を備え、
   前記第１の画像処理部は、前記第２の関心位置を合成した前記第１の超音波画像を生成する
   超音波診断装置。
9. 請求項１に記載の超音波診断装置であって、
   前記第２の画像処理部は、前記第２の受信信号に基づいて３次元画像を生成し、
   前記超音波診断装置は、
   前記３次元画像から特徴を抽出した３次元モデルを生成するモデル生成部を備え、
   前記第２の画像処理部は、前記３次元モデルを前記ユーザーの視線方向から見た画像を、前記第２の超音波画像として生成する
   超音波診断装置。
10. 請求項１に超音波診断装置であって、
    前記ユーザーにより移動可能な前記第１の超音波プローブと、
    観察対象に固定される前記第２の超音波プローブと
    を備える超音波診断装置。
11. 超音波診断装置における超音波診断方法であって、
    第１の超音波プローブからの第１の受信信号に基づいて、前記第１の超音波プローブの超音波送出方向に対応する第１の超音波画像を生成する工程と、
    前記第１の超音波画像を第１の表示部に表示する工程と、
    第２の超音波プローブからの第２の受信信号に基づいて、前記第２の超音波プローブの超音波送出方向とは異なる方向に対応する第２の超音波画像を生成する工程と、
    ユーザーに視認可能に前記ユーザーに装着される第２の表示部に前記第２の超音波画像を表示する工程と
    を含む超音波診断方法。

Images