以下、図面を参照しながら本実施形態に係る超音波診断装置を説明する。以下の説明では、一点鎖線内の医用画像診断装置が超音波診断装置に備えられている場合を例に挙げて述べる。しかしながら当該例に拘泥されず、例えば他の医用画像診断装置においても図1の一点鎖線内の構成と実質的に同じ構成を備えることで、超音波診断装置と同様の機能を実現することができる。なお以下の説明において、略同一の機能及び構成を有する構成要素については同一符号を付し、重複説明は必要な場合にのみ行う。
図1は、本実施形態に係る超音波診断装置の構成を示す図である。この超音波診断装置1は、超音波プローブ3、及び装置本体5を有している。装置本体5は、送信部11、受信部13、送受信制御部15、Bモード処理部17、ドプラモード処理部19、画像生成部21、組織性状情報計測部23、関連付け部25、算出部27、ディスプレイ29、入力インターフェース(Interface:以下、I/Fと呼ぶ)回路31、記憶回路33、及びシステム制御回路35を有している。
超音波プローブ3は、患者(被検体)の病巣部を含む領域に対して超音波を送受信する。具体的には例えば、超音波プローブ3は、2次元状に配列された複数の振動子を有している。振動子は、送信部11からの駆動信号に応じて超音波を発生し、被検体からの反射波を電気信号(エコー信号)に変換する。複数の振動子の前方側には、振動子と被検体との間の音響インピーダンス差を整合するための整合層が取り付けられている。複数の振動子の後方側には、超音波の伝播を防止するバッキング材が取り付けられている。超音波プローブ3から被検体に超音波が送信されると、超音波は、体内組織の音響インピーダンスの不連続面で次々と反射される。反射された超音波は、超音波プローブ3によりエコー信号として受信される。このエコー信号の振幅は、超音波が反射された不連続面における音響インピーダンスの差に依存する。また、超音波が血流や心臓壁等の表面で反射された場合は、エコー信号は、ドプラ効果により移動体の超音波送信方向の速度成分に依存した周波数偏移を受ける。
穿刺針100は、被検体の内部に刺入される針である。典型的には、超音波プローブ3には、穿刺針100のためのアダプタが取り付けられている。アダプタは、穿刺針100のガイドとして機能する。穿刺針100は、ユーザによりアダプタを介して被検体内に刺入される。なお、超音波プローブ3は穿刺プローブであっても通常のプローブであってもどちらでも良い。超音波プローブ3が穿刺プローブの場合、超音波プローブ3はアダプタを嵌め込み可能な構造を有している。超音波プローブ3が通常のプローブの場合、アダプタは超音波プローブ3の側面に装着される。以下、本実施形態に係る超音波プローブ3は通常のプローブであるとする。
穿刺針100には位置センサ200が設けられている。位置センサ200は、実空間上における穿刺針100の先端の位置を検出し、検出された位置に関するデータを生成する。位置センサとしては例えば、磁気センサや加速度センサが用いられる。穿刺針100の先端の位置に関するデータは、関連付け部25および算出部27に供給される。
送信部11は、図示しないトリガ発生回路、遅延回路およびパルサ回路等を有している。パルサ回路は、所定のレート周波数fr[Hz](周期;1/fr秒)で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、送信方向及び送信フォーカス位置に応じた遅延時間をチャンネル毎に各レートパルスに印加する。トリガ発生回路は、このレートパルスに基づくタイミングで、超音波プローブ3に駆動信号を印加する。駆動信号の印加により、遅延時間に応じた送信方向及び送信フォーカス位置に関する超音波送信ビームが超音波プローブ3から送信される。
なお送信部11は、送受信制御部15の指示に従って、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に送信駆動電圧の変更については、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は複数の電源ユニットを電気的に切り替える機構によって実現される。
受信部13は、図示していないアンプ回路、A/D変換器、ビームフォーマ等を有している。アンプ回路は、超音波プローブ3からのエコー信号をチャンネル毎に増幅する。A/D変換器は、増幅されたエコー信号にA/D変換を施す。ビームフォーマは、デジタルのエコー信号に、超音波受信ビームのビーム方向を決定するのに必要な遅延時間を受信焦点位置毎に印加し、遅延時間が与えられたエコー信号を加算する。この遅延加算により、超音波受信ビームに対応する受信信号が生成される。
送受信制御部15は、送信部11と受信部13とを制御し、走査領域を対象として超音波走査を実行する。本実施形態に係る映像モードとして、Bモード、ドプラモード及びエラストグラフィモードが適用可能である。
Bモード処理部17は、受信部13からの受信信号に対数増幅や包絡線検波処理などを施し、信号強度が輝度の明るさで表現されるBモードデータを生成する。Bモード処理部17は、超音波走査の映像モードがBモードの場合に作動される。Bモードデータは、記憶回路33に供給される。
ドプラモード処理部19は、受信部13からの受信信号に周波数解析を施し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の血流情報をカラーで表現するドプラデータを生成する。ドプラモード処理部19は、超音波走査の映像モードがドプラモードの場合に作動する。ドプラデータは、記憶回路33に供給される。
映像モードがエラストグラフィモードの場合、ドプラモード処理部19は、受信部13からの受信信号に自己相関演算等のカラードプラ処理を施し、変位に由来する生体組織の移動速度を計算する。移動速度は、走査領域を構成する画素毎に計算される。そして、組織性状情報計測部23は、この移動速度に基づいて、生体組織の硬さに応じて変化する指標(以下、硬さ指標と呼ぶことにする。)を計算する。硬さ指標としては、移動速度の時間積分である変位、移動速度の空間微分である歪み(ストレイン)等が知られている。本実施形態に係る硬さ指標としては、変位及び歪みを含む、硬さに応じた如何なる指標も適用可能である。以下、エラストグラフィモードにおける硬さ指標に関するデータを、エラストグラフィデータと呼ぶ。エラストグラフィデータは、記憶回路33に供給される。
画像生成部21は、超音波プローブ3の出力に基づき、3次元画像データであるボリュームデータを生成する。具体的には画像生成部21は、記憶回路33に記憶されたBモードデータに基づいて被検体に関するBモード画像のデータ(以下、Bモード画像データと呼ぶ)を生成する。また、画像生成部21は、記憶回路33に記憶されたドプラデータに基づいて被検体に関するドプラ画像のデータ(以下、ドプラ画像データと呼ぶ)を生成する。また、画像生成部21は、記憶回路33に記憶されたエラストグラフィデータに基づいて被検体に関するエラストグラフィ画像のデータ(以下、エラストグラフィ画像データと呼ぶ)を生成する。Bモード画像データ、ドプラ画像データ及びエラストグラフィ画像データは、2次元画像でも良いし3次元画像すなわちボリュームデータであっても良い。画像生成部21は、生成したBモード画像データ、ドプラ画像データ及びエラストグラフィ画像データを、記憶回路33、関連付け部25に送出する。
組織性状情報計測部23は、受信信号、Bモードデータ、Bモード画像データ、ドプラデータ、ドプラ画像データ、エラストグラフィデータ、あるいはエラストグラフィ画像データに基づいて、走査領域における被検体内の生体組織の性状に関する情報(以下、組織性状情報と呼ぶ)を計測する。組織性状情報は、生体組織の硬さの情報及び生体組織の血流情報等である。組織性状情報計測部23は、記憶回路33から読み出したエラストグラフィ画像データ及びエラストグラフィデータに基づき、患者の病巣部を含む領域に関する硬さ情報を計測(取得)し、この硬さ情報を関連付け部25及び算出部27に送出する。ここで、組織性状情報計測部23は、複数視差における硬さ情報を取得してもよい。
これに加え、組織性状情報計測部23は、記憶回路33から読み出したドプラ画像データ及びドプラデータに基づき、患者の病巣部を含む領域に関する血流情報を計測(取得)し、この血流情報を関連付け部25及び算出部27に送出する。ここで、組織性状情報計測部23は、複数視差における血流情報を取得してもよい。
このようなドプラモード処理部19、記憶回路33及び組織性状情報計測部23は、患者の病巣部を含む領域に対して超音波を送受信する超音波プローブ3の出力に基づき、エラストグラフィを用いて、患者の病巣部を含む領域に関する硬さ情報を計測する硬さ情報取得部(図示せず)を構成している。同様に、ドプラモード処理部19、記憶回路33及び組織性状情報計測部23は、超音波プローブ3の出力に基づき、超音波カラードプラ法を用いて、患者の病巣部を含む領域に関する血流情報を取得する血流情報取得部(図示せず)を構成している。
関連付け部25は、組織性状情報計測部23により計測された硬さ情報及び血流情報を共通の座標系に関連付ける。ここで、「共通の座標系に関連付ける」旨は、「互いに重畳する」旨に読み替えてもよい。共通の座標系としては、例えば、共通の2次元座標系、又は共通の3次元座標系のいずれを用いてもよい。関連付け部25は、複数視差における硬さ情報と血流情報とをそれぞれ関連付ける。いずれにしても関連付けられた結果は、記憶回路33に記憶される。以下、硬さ情報と血流情報との関連付けられた結果(重畳した結果)を関連付け情報と呼ぶことにする。これに加え、関連付け部25は、後述する位置センサ200からのデータに関する処理を実行する。
算出部27は、組織性状情報計測部23により計測された硬さ情報及び血流情報に基づいて、患者の病巣部を含む領域に関する穿刺経路を算出する。具体的には算出部27は、記憶回路33に記憶された関連付け情報に基づいて、例えば患者の病巣部を含む2次元領域に関する穿刺経路を算出する。算出部27は、記憶回路33に記憶された関連付け情報に基づいて、患者の病巣部を含む3次元領域に関する穿刺経路を算出しても良い。なお、算出部27は、硬さ情報に基づいて、穿刺経路の算出に用いられ、穿刺の必要度合を示す穿刺必要度を計算する計算部(図示せず)をさらに備えても良い。また、算出部27は、血流情報に基づいて、穿刺経路の算出に用いられ、穿刺の回避必要度合を示す穿刺回避必要度を計算する計算部(図示せず)をさらに備えても良い。これに加え、算出部27は、後述する穿刺経路の算出及び位置センサ200からのデータに関する処理を実行しても良い。
裸眼3Dデータ生成部28は、Bモード画像データ、ドプラ画像データ及びエラストグラフィ画像データ等の各種ボリュームデータに基づいて、複数視差における医用画像(立体画像)を生成する。ここで、複数視差における医用画像(立体画像)は、「視差画像群」と呼んでもよい。「視差画像群」とは、ボリュームデータに対してボリュームレンダリング処理を行うことで生成された立体視用の画像群のことである。また、「視差画像」とは、「視差画像群」を構成する個々の画像のことである。すなわち、「視差画像群」は、視点位置が異なる複数の「視差画像」から構成される。補足すると、裸眼3Dデータ生成部28は、ボリュームデータに対して種々のレンダリング処理を行い、視差画像群を生成する。具体的には例えば、裸眼3Dデータ生成部28は、記憶回路33からボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行う。次に、裸眼3Dデータ生成部28は、前処理後のボリュームデータに対してボリュームレンダリング処理を行い、視差画像群を生成する。ボリュームレンダリング処理とは、レンダリング処理の内、3次元の情報を反映した2次元画像を生成する処理のことである。レンダリング処理とは、ボリュームデータに対して行う画像処理全体のことである。これにより、例えば、裸眼3Dデータ生成部28によって、ボリュームデータに対して異なる9つの視点位置からレンダリング処理が行われ、生成された9つの視差画像が裸眼3Dディスプレイによって表示される。ボリュームデータは、ボクセルの集合であり、各ボクセルには、所定の画素値や、3次元仮想空間上の座標や、被検体の実寸に対応するボクセルサイズ(例えば、1ボクセル=1mm角)等が割り当てられる。すなわち、ボリュームデータに含まれる各ボクセルを3次元仮想空間にマッピングすることで、被検体像を3次元的に復元することができる。
ディスプレイ29は、種々の情報を表示する。ディスプレイ29は、例えば、記憶回路33に記憶された画像データ、組織性状情報計測部23の出力及び関連付け部25により関連付けられた結果に基づいて医用画像を表示すると共に、さらに算出部27により算出された穿刺経路を示すマークと医用画像とを位置整合して表示する。ディスプレイ29としては、例えば、裸眼3Dディスプレイ、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ及びプラズマディスプレイ等が適宜、使用可能となっている。以下の説明は、ディスプレイ29が裸眼3Dディスプレイである場合を例に挙げて述べる。裸眼3Dディスプレイは、裸眼3Dデータ生成部28において生成された複数視差における医用画像に基づいて、裸眼で3D表示可能な構成を有する。具体的には例えば、裸眼3Dディスプレイは、GRIN(Gradient_Index:屈折率分布型)レンズ等の光線制御子を用いることで、例えば、9視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる裸眼3Dディスプレイは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。具体的には例えば、裸眼3Dディスプレイには、液晶パネル等の平面状の表示面の前面に、GRINレンズ等の光線制御子が配置される。なお、GRINレンズは、レンズ効果があるときに形成される凸部が前面となるように貼り付けられるが、当該凸部が表示面に対向するように貼り付けられる場合であってもよい。表示面には、例えば、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素がマトリクス状に配置される。この例の裸眼3Dディスプレイは、9つの画像により構成される9視差画像を、所定フォーマット(例えば格子状)に配置した中間画像に変換したうえで、表示面に出力する。すなわち、この例の裸眼3Dディスプレイは、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素に割り振って出力させる。9列の画素は、視点位置の異なる9つの画像を同時に表示する単位画素群となる。このような表示面において単位画素群として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、GRINレンズにより、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、9つの位置それぞれにおいて、撮影対象を立体的に視認できる。なお、ここで述べた3Dディスプレイは、あくまでも一例である。9視差画像を表示する裸眼3Dディスプレイは、「RRR・・・、GGG・・・、BBB・・・」の横ストライプ液晶である場合であってもよいし、「RGBRGB・・・」の縦ストライプ液晶である場合であってもよい。
GRINレンズとしては、例えば、レンズ効果をオン/オフ可能な液晶GRINレンズを用いることが、立体画像と2次元画像とを切り替えて表示できる観点から好ましい。液晶GRINレンズとしては、1枚の液晶セルの部分領域毎にレンズ効果をオン/オフ可能な部分2D/3D切替方式を用いることが、立体画像と2次元画像とを同時に表示できる観点から好ましい。ここで、部分2D/3D切替方式は、GRINレンズの部分領域毎に、立体画像と2次元画像とを切り替えて表示できる方式であり、必ずしも立体画像と2次元画像とを同時に表示する必要はない。また、液晶GRINレンズとしては、画面の回転を実現するため、縦横3D切替方式を用いてもよい。本実施形態では、裸眼3Dディスプレイが部分的に3D表示/2D表示を区別可能な構成を有する場合を例に挙げて述べる。記憶回路33及びディスプレイ29は、超音波プローブ3の出力及び関連付けられた結果に基づいて医用画像を表示すると共に、さらに穿刺経路を示すマークを位置整合して医用画像に表示する表示部を構成している。なお当該表示部は、裸眼3Dディスプレイを用いることにより、閲覧者の閲覧角度に応じて複数視差における関連付けの結果に基づいて、立体視可能な立体画像を表示してもよい。また、当該表示部は、GRINレンズにより、複数視差に基づく立体画像と2次元画像とを切り替えて表示してもよい。また当該表示部は、その一部分において複数視差に基づく医用画像を表示しても良い。また当該表示部は、GRINレンズにより閲覧者の閲覧角度に応じた当該複数視差における関連付け情報を表示しても良い。
入力I/F回路31は、ユーザからの各種指示を装置本体5に取り込むための入力機器である。入力I/F回路31は例えば、トラックボール、各種スイッチ、ボタン、マウス、キーボード等が適用可能である。具体的には、入力I/F回路31は、ユーザからの指示に従って穿刺針の刺入角度が入力される。さらに入力I/F回路31は、ユーザからの指示に従って仕様情報が入力されてもよい。
記憶回路33は、入力I/F回路31から供給される医師等の指示や、種々のデータを記憶するメモリ等である。記憶回路33は例えば、受信信号、Bモードデータ、Bモード画像データ、ドプラデータ、ドプラ画像データ、エラストグラフィデータ、及びエラストグラフィ画像データを記憶する。また記憶回路33は、本実施形態に係る超音波検査のための制御プログラムを記憶している。
システム制御回路35は、例えばメモリと、専用又は汎用のプロセッサとによって実現される。システム制御回路35は、情報処理装置(計算機)としての機能を持ち、超音波診断装置1の動作を制御する。システム制御回路35は、記憶回路33から本実施形態に係る超音波検査のための制御プログラムを読み出して自身が有するメモリに展開し、制御プログラムに従って超音波診断装置1内の各部を制御する。
次に、本実施形態に係る超音波診断装置1の詳細について説明する。
始めに、超音波プローブ3と穿刺針100との位置関係について図2を用いて説明する。図2に示すように、超音波プローブ3により超音波ビームが走査面SPに向けて照射される。超音波ビームの位置を変更しながら超音波ビームを繰り返し送受信することにより、走査面SPが超音波ビームで走査される。超音波プローブ3には、アダプタ300が嵌め込まれている。アダプタ300は、穿刺針100を刺し入れ可能な構造を有している。穿刺針100は、略一定の刺入角度A1で抜き差し可能にアダプタ300に固定される。例えば、刺入角度A1は、振動子の超音波放射面USと穿刺針100とがなす角度に規定される。ユーザは、ディスプレイ29に表示された超音波画像を観察しながら、被検体内の検査部位に向けて穿刺針100を刺し入れる。
本実施形態に係る穿刺針100としては、生検に利用される生検針やRFAに利用される電極針等の被検体内に刺入されるあらゆる針が適用可能である。例えば穿刺針100として、乳腺のマンモトーム(登録商標)生検に利用される生検針、肝臓のRFA治療で利用されるRITA社製の電極針(RITA針)が挙げられる。
次に、以上のように構成された超音波診断装置1の動作例について図3乃至図9を用いて説明する。図3は、図1のシステム制御回路35の制御により行われる超音波検査の典型的な流れを時系列で示す図である。
図4は、図1の超音波プローブ3の、前立腺への直腸側アプローチおよび会陰側アプローチについて説明するための図である。説明を具体的にするために、超音波プローブ3は直腸側アプローチで前立腺に到達されるとする。まず医師等は、超音波プローブ3を肛門から直腸内に挿入する。超音波プローブ3の穿刺針100を直腸側アプローチ可能範囲RNに到達させた後、医師等は各種画像の取得命令を入力I/F回路31に入力する。以下の説明を具体的にするため、ディスプレイ29は裸眼3Dディスプレイであり、表示される画像は裸眼3D画像であるとする。裸眼3D画像は3次元情報を有する画像で、裸眼3Dディスプレイにより実現される。すなわち、超音波プローブ3により得られる画像は、2次元画像の多層画像或いはボリュームデータである。
穿刺針100が直腸側アプローチ可能範囲RNに到達され、各種画像の取得命令が入力I/F回路31に入力された後、システム制御回路35は、ユーザにより入力I/F回路31を介して入力されたドプラ画像及びエラストグラフィ画像の撮影指示に応じて、ドプラモード処理部19に、ドプラデータ及びエラストグラフィデータを生成させる(時刻t0)。時刻t0においてドプラモード処理部19は、受信部13からの受信信号に周波数解析を施し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の血流情報をカラーで表現するドプラデータを生成する。ドプラデータは、記憶回路33に供給される。
時刻t0において、ドプラモード処理部19は、受信部13からの受信信号に自己相関演算等のカラードプラ処理を施し、変位に由来する生体組織の移動速度を計算する。移動速度は、走査領域を構成する画素毎に計算される。そして、組織性状情報計測部23は、移動速度に基づいてエラストグラフィデータを計算する。エラストグラフィデータは、記憶回路33に供給される。なお、ドプラデータ及びエラストグラフィデータの生成は時刻t0に行われるとしたが、厳密に同一の時刻である必要はなく略時刻t0として良い。すなわち、ドプラデータ及びエラストグラフィデータの生成処理は、互いに並列に実行されている。
時刻t0の後、システム制御回路35は画像生成部21に、ドプラデータ及びエラストグラフィデータに基づいてドプラ画像データ及びエラストグラフィ画像データを生成させる(時刻t1)。時刻t1において画像生成部21は、時刻t0で生成されたドプラデータに基づいて、ドプラ画像データ(2次元画像の多層画像)を生成する。なお、画像生成部21は、2次元画像の多層画像に代えて、3次元画像すなわちボリュームデータをドプラ画像データとして生成しても良い。
時刻t1において画像生成部21は、時刻t0で生成されたエラストグラフィデータに基づいて、エラストグラフィ画像データ(2次元画像の多層画像)を生成する。同様に画像生成部21は、2次元画像の多層画像に代えて3次元画像すなわちボリュームデータをエラストグラフィ画像データとして生成しても良い。なお、ドプラ画像データ及びエラストグラフィ画像データの生成は時刻t1に行われるとしたが、厳密に同一の時刻である必要はなく略時刻t1として良い。すなわち、ドプラ画像データ及びエラストグラフィ画像データの生成処理は、互いに並列に実行されている。
時刻t1の後、システム制御回路35は組織性状情報計測部23に、エラストグラフィ画像データに基づいて走査領域における生体組織の硬さから癌の検査候補点群を計測させる(時刻t2)。時刻t2において組織性状情報計測部23は、エラストグラフィ画像データに基づき、患者の病巣部を含む領域に関する硬さ情報を計測(取得)する。図5は、予め準備されている会陰・直腸を含む前立腺周辺の人体解剖図(標準モデル)にエラストグラフィ画像を重畳表示した画像を示している。図5において、具体的には、人体解剖図の破線部分DSがエラストグラフィ画像の表示位置に対応する。図5左側は、重畳表示されたエラストグラフィ画像を拡大して示している。ディスプレイ26(裸眼3Dディスプレイ)は、重畳画像を表示する。なお、経直腸超音波画像または経腹3D超音波画像などにより計測された患者本人の会陰−前立腺間の距離・位置関係および肛門・直腸と前立腺の位置関係に基づいて、人体解剖図(標準モデル)を患者本人の身体に適合するよう修正しても良い。人体解剖図の修正手段として、例えば数値を入力することで標準モデルを微調整するアプリケーションなどが考えられる。図5中、ハッチング密度は、組織の硬さに対応している。すなわち図5において、ハッチング密度の高いピクセルは組織の硬いピクセルすなわち癌の検査候補点群のピクセルを示す。組織性状情報計測部23は、計測された硬さ情報および癌の検査候補点群を、関連付け部25及び算出部27に送出する。
時刻t2の後、システム制御回路35は組織性状情報計測部23に、ドプラ画像データに基づいて患者の病巣部を含む領域に関する血流情報を計測させる(時刻t3)。時刻t3において組織性状情報計測部23は、ドプラ画像データに基づき、患者の病巣部を含む領域に関する血流情報を計測(取得)する。図6は、予め準備されている会陰・直腸を含む前立腺周辺の人体解剖図(標準モデル)にドプラ画像を重畳表示した画像を示している。図6において、具体的には、人体解剖図の破線部分DPがドプラ画像の表示位置に対応する。図6左側は、重畳表示されたドプラ画像を拡大して示している。ディスプレイ26(裸眼3Dディスプレイ)は、重畳画像を表示する。なお、経直腸超音波画像または経腹3D超音波画像などにより計測された患者本人の会陰−前立腺間の距離・位置関係および肛門・直腸と前立腺の位置関係に基づいて、人体解剖図(標準モデル)を患者本人の身体に適合するよう修正する。人体解剖図の修正手段として、例えば数値を入力することで標準モデルを微調整するアプリケーションなどが考えられる。図6中、ハッチング密度は、血流量に対応している。すなわち図6において、ハッチング密度の高いピクセルは血流量の多いピクセルである。組織性状情報計測部23は、計測された血流情報を、関連付け部25及び算出部27に送出する。
なおディスプレイ29(裸眼3Dディスプレイ)は、修正された人体解剖図に(1)前立腺内部の詳細な3D超音波画像、(2)前立腺全体の形状や体積情報、(3)前立腺組織の硬さ分布情報、(4)主要な血管位置情報を、共通の3次元座標系を用いて重畳表示しても良い。このとき例えば、上記(1)は腫瘍が疑われる輝度値が予め設定された任意の閾値以上に低いピクセルを画像処理で抽出した画像、上記(2)は前立腺の輪郭部分を抽出した画像、上記(3)は硬さ情報のうち予め決められた任意の閾値以上の値を持つピクセルを抽出した画像(閾値未満のピクセルを透過するものでも良い)、上記(4)は血流情報のうちの予め決められた任意の閾値以上の値を持つピクセルを抽出した画像とする。
時刻t3の後、システム制御回路35は関連付け部25に、組織性状情報計測部23により計測された硬さ情報(癌の検査候補点群を含む)及び血流情報を共通の座標系に関連付けさせる(時刻t4)。時刻t4において関連付け部25は、硬さ情報と血流情報とを共通の2次元座標系に関連付ける。関連付け部25は、共通の2次元座標系に代えて硬さ情報と血流情報とを共通の3次元座標系に関連付けても良い。その場合、ピクセルはボクセルと読み替える。
関連付け部25は、例えば、図5に示す硬さ情報と図6に示す血流情報とを共通の2次元座標系に関連付けることにより図7に示す関連付け情報を発生する。図7は、エラストグラフィ画像とドプラ画像との関連付け情報を示している。
図7中、斜め網ハッチングの密度は、組織の硬い部分すなわち穿刺必要度の高さに対応している。図7に示す例では、硬さ情報から算出される各ピクセルの穿刺必要度を斜め網ハッチングの密度によって2段階に設定している。すなわち図7において、斜め網ハッチングの密度の高いピクセルは組織の硬いピクセルすなわち穿刺必要度の高いピクセルを示す。ここで穿刺必要度とは、穿刺をする必要性の高さを示す度合いである。穿刺必要度の高い画素は、癌があると考えられる画素である。
算出部27は、エラストグラフィで計測された硬さ情報の分布のうち、組織の硬さを示す値の任意の閾値から最大値までの硬さ情報の分布を悪性腫瘍(癌等)の疑いのある組織と仮定する。算出部27は、例えば2mmピクセルで再構成したときに各ピクセルの硬さ情報(例えばピクセルに含まれる硬さ情報のうちの最大値または平均値)が閾値以上か閾値未満かを判断し、各ピクセルの穿刺必要度を決定する。ここにおいて算出部27は、閾値から最大値までをさらに複数段階に分けた穿刺必要度を設定しても良い。
図7中、ドットハッチングの密度は、太い血管部分すなわち穿刺回避必要度の高い部分に対応している。図7に示す例では、血流情報から算出される各ピクセルの穿刺回避必要度をドットハッチングの密度によって2段階に設定している。ここで穿刺回避必要度とは、穿刺を回避する必要性の高さを示す度合いである。すなわち図7において、ドットハッチングの密度の高いピクセルは血管の太いピクセルすなわち穿刺回避必要度の高いピクセルである。経直腸アプローチ可能範囲RNは、関連付けられた座標系のうち直腸側から前立腺をターゲットとして穿刺針100を刺入することが可能な範囲である。
算出部27は、ドプラモードで計測された血流情報の分布のうち、任意の閾値から最大値までの血流情報の分布を主要血管のある部位と仮定する。算出部27は、例えば2mmピクセルで再構成したときに各ピクセルの血流情報(例えばピクセルに含まれる血流情報のうちの最大値または平均値)が閾値以上か閾値未満かを判断し、各ピクセルの穿刺回避必要度を決定する。ここにおいて算出部27は、閾値から最大値までをさらに複数段階に分けた穿刺回避必要度を設定しても良い。
算出部27は図7の関連付け情報に基づいて、患者の病巣部を含む領域に関する穿刺経路RTを算出する。なお算出部27は、取得された硬さ情報、血流情報及び経直腸アプローチ可能範囲RNから、穿刺必要度、穿刺回避必要度及び穿刺経路RTを自動的に算出しても良い。具体的には算出部27は、経直腸アプローチ可能範囲RNから刺入し、穿刺回避必要度の高い画素(太い血管に対応する画素)を避け、穿刺必要度の高い画素(硬い組織に対応する画素)に到達する穿刺経路RTを算出する。例えば算出部27は、それぞれのピクセルにおいてプラス・マイナス等で穿刺必要度及び穿刺回避必要度の重み付けを行い、穿刺経路RTとなり得るピクセルの座標を結ぶ直線としての穿刺経路RTを算出する。ここで、穿刺針100の先端が前立腺の輪郭を示すピクセルを超えて通過しない経路となることも重要である。また算出部27は、穿刺必要度分布と穿刺回避必要度分布とを等高線で示し、経直腸または会陰等のアプローチ可能範囲RN内のピクセルと、穿刺必要度の高いピクセルとを結ぶ複数の最適な穿刺経路RTを算出しても良い。複数の穿刺経路RTは、エラストグラフィによる硬さ情報には偽陽性・偽陰性の可能性が含まれることから、前立腺診断ガイドライン等に準じて可能な限り広範囲に穿刺する場合に算出される。但し、穿刺経路RTは、少なくとも1つが算出されればよい。例えば、直腸診及びその他の手段と硬さ情報とがかなり一致して、悪性腫瘍が強く疑われる部分がある等の場合によっては、1つの穿刺経路RTのみを算出してもよい。
時刻t4の後、システム制御回路35は裸眼3Dデータ生成部28に、多層画像またはボリュームデータに基づいて、屈折率分布型レンズにより閲覧者の閲覧角度に応じた複数視差の画像を生成させる。ここで、生成した複数視差の画像は、例えば、裸眼3D表示の全体3D画像であるとする。しかる後、システム制御回路35は、裸眼3Dデータ生成部28により、例えば、全体3D画像、超音波画像(対象2D画像)、エラストグラフィ画像及びドプラ画像を合成して画面データを作成する(時刻t5)。
時刻t5の後、システム制御回路35はディスプレイ29に、画像を表示させる(時刻t6)。図8は、図1の超音波プローブ3の、前立腺への直腸側アプローチによる超音波画像データである。図9は、図1のディスプレイ29の表示例のひとつを示す図である。図9の表示例においてディスプレイ29は、ディスプレイの表示部分を4分割し、ディスプレイ左上部分に体表側(経腹部)からの全体3D画像を表示する。全体3D画像は、前立腺全体の形状、体積の他に、前立腺と直腸やその他の臓器との位置関係等の情報を示す。ここでディスプレイ左上の破線部分TGは撮影対象部分を示し、ディスプレイの他の部分(ディスプレイ左上、右上、右下)の画像とリンクする。ディスプレイ29は、ディスプレイ右上部分に対象の超音波画像(対象2D画像)を表示する。ディスプレイ29は、ディスプレイ右下部分に対象のエラストグラフィ画像を表示する。ディスプレイ29は、ディスプレイ左下部分に対象のドプラ画像を表示する。ディスプレイ右上部分、右下部分および左下部分は、例えば同倍率及び共通の座標系で表示され、穿刺針100および癌の検査候補点群CNが画面上の同一の部分に描出される。ドプラ画像においては、さらに、血管BLが表示される。ディスプレイ左上部分は、他の画像とは異なる座標系による裸眼3D表示になっており、閲覧者の閲覧角度に応じた複数視差の画像を表示する。なお、対象2D画像、エラストグラフィ画像及びドプラ画像は、超音波プローブ3を動かしながら積層する2D画像データを取得することにより、それぞれ3D画像としてもよい。
また、実際の穿刺時に必要な技術として、上記の方法で算出した穿刺経路と実際の穿刺状況を比較する手段が必要である。通常の手段としては、穿刺針の映る2次元的な超音波の断面画像をリアルタイムにモニタリングしている画面に穿刺経路を重畳表示させる方法がある。この場合、裸眼3Dディスプレイ上にGRINレンズを用いて、裸眼3D画像と2次元超音波画像とを表示することで、術者は1つのディスプレイに集中できる。GRINレンズを用いてディスプレイ上に、裸眼3D画像と、各超音波画像の生データの任意の2次元断面とを表示して、算出された穿刺経路の修正の参考とすることもできる。修正の検討時に、複数種類の超音波画像のうちの任意の画像をディスプレイ29から消去又は再表示してもよい。これに加え、直腸診から得たアナログ情報を、マウス等により色情報として入力して表示してもよい。
なお、本実施形態ではエラストグラフィ画像とドプラ画像から最適な穿刺経路を算出した。しかしながら、本実施形態は当該例に拘泥されない。例えば、MRI等の他の画像情報を共通座標で表示し、癌の検査候補点群CNや血管BLとなりそうな位置の情報を自動または手動で入力して穿刺経路の算出に用いることも考えられる。また、圧力センサや触覚センサ等を用いて直腸診情報を数値化した場合には、当該数値化情報を硬さ情報として穿刺経路の算出に用いることができる。
上述したように本実施形態によれば、超音波プローブ3の出力に基づいて、エラストグラフィを用いて、当該領域に関する硬さ情報を取得し、超音波プローブの出力に基づいて、超音波カラードップラ法を用いて、当該領域に関する血流情報を取得する。関連付け部25は、硬さ情報及び血流情報を共通の座標系に関連付ける。算出部27は、硬さ情報及び血流情報に基づいて、当該領域に関する穿刺経路を算出する。ディスプレイ29は、超音波プローブの出力及び関連付けられた結果に基づいて医用画像を表示すると共に、さらに穿刺経路を示すマークを位置整合して医用画像に表示する。
従って、血流を避けつつ、硬い病巣部に向かう穿刺経路の表示をユーザが視認することにより、穿刺針を利用した超音波検査の効率を向上させることができる。
また、本実施形態によれば、複数視差における硬さ情報と血流情報とをそれぞれ関連付け、閲覧者の閲覧角度に応じて複数視差における関連付けの結果に基づいて、立体視可能な立体画像を表示する場合には、2次元画像に比べ、超音波画像による穿刺ガイドの精度を向上させることができる。
さらに、本実施形態によれば、屈折率分布型レンズにより、複数視差に基づく立体画像と2次元画像とを切り替えて表示することもできる。
また、本実施形態によれば、屈折率分布型レンズの部分領域毎に、複数視差に基づく立体画像と2次元画像とを切り替えて表示する場合には、立体画像と2次元画像とを同時に表示することにより、術者が1つのディスプレイに集中できる効果がある。これに加え、立体画像と同一画面上に各超音波画像の生データの任意の2次元断面を表示することにより、算出された穿刺経路を修正するときの参考とすることができる。
また、本実施形態によれば、ボリュームデータに基づいて、立体画像を生成することもできる。この場合、各ボクセルに各種の情報を関連付けることができる。
さらに、本実施形態によれば、硬さ情報に基づいて、穿刺の必要度合を示す穿刺必要度を計算することができる。また、血流情報に基づいて、穿刺の回避必要度合を示す穿刺回避必要度を計算することができる。
この場合、計算された穿刺必要度と穿刺回避必要度とを、裸眼3Dディスプレイに表示することができる。従って術者は、穿刺必要度(穿刺の有効性)と穿刺回避必要度(穿刺の危険性)とを表示した裸眼3Dディスプレイを見ながら手技を進めることができる。これに加え、穿刺必要度(穿刺の有効性)と穿刺回避必要度(副作用の可能性)とを定量的に把握し、穿刺の有効性と副作用の可能性とのバランスが最適になるような穿刺を実現させることができる。
また、本実施形態によれば、屈折率分布型レンズにより閲覧者の閲覧角度に応じた複数視差における関連付けの結果を表示することもできる。この場合、関連付けた硬さ情報と血流情報とを立体的に表示することから、穿刺の精度の向上を図ることができる。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(central processing unit)、GPU (Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。