JP2008036447A - 体腔内プローブ装置 - Google Patents
体腔内プローブ装置 Download PDFInfo
- Publication number
- JP2008036447A JP2008036447A JP2007238333A JP2007238333A JP2008036447A JP 2008036447 A JP2008036447 A JP 2008036447A JP 2007238333 A JP2007238333 A JP 2007238333A JP 2007238333 A JP2007238333 A JP 2007238333A JP 2008036447 A JP2008036447 A JP 2008036447A
- Authority
- JP
- Japan
- Prior art keywords
- image
- orientation
- subject
- data
- body cavity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Endoscopes (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】体腔内に挿入される体腔内プローブとしての超音波内視鏡2の先端には超音波のエコー信号を取得する超音波振動子アレイ29が設けられている。エコー信号からリアルタイム画像としての超音波断層像が生成される。ガイド画像作成回路は、人体の3次元データから画像位置配向検出用コイル31の検出値を基に、ガイド画像を作成する際、体腔内検出用素子の位置の検出値によりガイド画像に対して補正処理を施す。
【選択図】図1
Description
そして、これら体腔内プローブは、撮像素子や超音波振動子から得られた信号から光学像や超音波断層像を作成するプロセッサと一体となった体腔内プローブ装置として用いられることが通例である。
さらに、近年、これら体腔内プローブを目的部位まで容易に到達するよう補助するためにナビゲーション機能を備えた体腔内プローブ装置が公知である。
この体腔内プローブ装置では、超音波画像がリアルタイム画像として表示される。
一方、第2の従来例としての特開2002−306403号公報で開示されている体腔内プローブ装置は、内視鏡の挿入形状を検出し、挿入形状を描出する映像信号を得る内視鏡装置であり、予め被検体のCTスキャンにて3次元領域の連続するスライス断層像から被検体の3次元画像を生成する画像生成手段と、挿入形状と挿入形の周囲の被検体の3次元画像とを合成して表示する表示手段と、を設けている。
また、この体腔内プローブ装置では、実際の挿入形状検出には、内視鏡の可撓管に充填されたγ線を放射する放射性物質と、γ線吸収により発光するシンチレータと受光素子とを組み合わせた底部検出部と垂直検出部と、が用いられている。
本発明は、上述した点に鑑みてなされたもので、ガイド画像としてリアルタイム画像を一層正確にガイドすることができる体腔内プローブ装置を提供することを目的とする。
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
人体の3次元データから前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段に対して位置が固定された画像位置配向検出用素子と、
前記被検体体腔内に接触可能な体腔内検出用素子を含む被検体検出用素子と、
前記画像位置配向検出用素子の位置及び配向と、前記体腔内検出用素子の位置と、を検出し、検出値として出力する検出手段と、
前記ガイド画像作成手段が、前記検出手段が出力した前記画像位置配向検出用素子の位置及び配向の検出値を基に前記ガイド画像を作成する際、前記体腔内検出用素子の位置の検出値により前記ガイド画像に補正処理を施す補正手段と、
を具備することを特徴とする。
図6は、ボクセル空間を示し、図7は位置・配向データを表すために送信アンテナ上に原点を設定した直交基底を示し、図8は被検体側の超音波断層像の中心をボクセル空間へ写像する説明図を示し、図9は被検体側の体腔内特徴点をボクセル空間へ写像する説明図を示し、図10は画像指標作成回路により画像指標データが作成される様子を示す。
図16は表示装置に表示される3次元ガイド画像及び超音波断層像を示し、図17は本実施例の全体的な処理内容をフローチャートで示し、図18は図17における参照画像上での体表特徴点、体腔内特徴点指定処理の具体的な処理内容をフローチャートで示し、図19は図17における補正値算出処理の具体的な処理内容をフローチャートで示し、図20は図19における処理の説明図を示し、図21は図17における超音波断層像・3次元ガイド画像作成/表示処理の具体的な処理内容をフローチャートで示す。
図1に示すように実施例1の体腔内プローブ装置1は、体腔内プローブとしての電子ラジアル走査型の超音波内視鏡2と、光学観察装置3と、超音波観測装置4と、位置配向算出装置5と、送信アンテナ6と、体表検出用コイル7と、体腔内接触プローブ8と、A/Dユニット部9と、画像処理装置11と、マウス12と、キーボード13と、表示装置14とからなり、これらは信号線で接続されている。
体腔内プローブ装置1の外部にはX線3次元ヘリカルCT装置(X-ray 3 dimentional computer tomography system)15、3次元MRI装置(3 dimentional magnetic resonance imaging system)16と、それらを接続した光通信やADSL等の高速のネットワーク17がある。X線3次元ヘリカルCT装置15、3次元MRI装置16とは、ネットワーク17経由で本体腔内プローブ装置1の画像処理装置11と接続している。
硬性部21には、以下のように光学的に撮像して画像信号を取得する画像信号取得手段が、硬性部21に固定して設けてある。
硬性部21には、カバーガラスで形成された光学観察窓24が設けてあり、この光学観察窓24の内側に光学像を結ぶ対物レンズ25と、その結像位置に配置された撮像素子として、例えばCCD(charge coupled device)カメラ26とが設けてある。また、この光学観察窓24に隣接して、体腔内に照明光を照射する図示しない照明光照射窓(照明窓)が設けられている。
また、この硬性部21には音響的に撮像して画像信号としてエコー信号を取得する画像信号取得手段も、硬性部21に固定して設けてある。
硬性部21における例えば円柱状の先端部分は、短冊状に細かく切断され、挿入軸の周囲に環状でアレイ状に配列させた超音波振動子群が設けてあり、この超音波振動子群で超音波振動子アレイ29が形成されている。
超音波振動子アレイ29を構成する各超音波振動子29aはそれぞれ信号線30を介して操作部23経由で超音波によるリアルタイム画像を生成する画像作成手段としての超音波観測装置4と接続されている。超音波振動子アレイ29の環の中心は、後述するラジアル走査による超音波ビームの旋回中心である。
つまり、Vは硬性部21の長手方向(挿入軸方向)と平行で、後述するように、このVは超音波断層像の法線方向ベクトルとなる。このベクトルVに直交するV3は、3時方向ベクトル、そしてV12は、12時方向ベクトルである。
硬性部21内には、超音波振動子アレイ29に対する画像位置配向検出用素子としての画像位置配向検出用コイル31が超音波振動子アレイ29の環の中心のごく近傍に固定して設けてある。画像位置配向検出用コイル31は、ベクトルV及びV3の2つの方向(軸)を指向するように、2軸方向に巻かれたコイルが一体に形成され、ベクトルV及びV3の両方向を検出できるように設定されている。
図1に示すように、挿入形状検出用コイル32は、1軸方向に巻かれたコイルで、その巻線軸方向が可撓部22の挿入軸方向と一致するよう可撓部22内部に固定されている。なお、硬性部21は、上記画像位置配向検出用コイル31の位置から検出できる。
従って、挿入形状検出用素子は、より正確には硬性部21内に設けた画像位置配向検出用コイル31と可撓部22内に設けられた挿入形状検出用コイル32とから構成される。 なお、挿入形状を検出するための挿入形状検出用素子としての複数の挿入形状検出用コイル32は、例えば可撓部22の先端側部分のみに設け、超音波内視鏡2の挿入部の先端側部分の挿入形状を検出するようにしても良い。
可撓部22の先端付近には、湾曲自在の湾曲部が設けられることが多く、この湾曲部付近のみに複数の挿入形状検出用コイル32を設けるようにしても良い。
画像位置配向検出用コイル31の位置及び配向等を検出する検出手段を構成する位置配向算出装置5は、送信アンテナ6と、A/Dユニット部9を構成する複数のA/Dユニット9a、9b、9cと、挿入形状作成手段、3次元画像作成手段、合成手段、画像指標作成手段等を内蔵した画像処理装置11と信号線で接続されている。
このうち、位置配向算出装置5と画像処理装置11とは、例えばRS-232C規格のケーブル33で接続されている。
送信アンテナ6は、巻線軸の配向の異なる複数の図示しない送信コイルにより構成され、これらの送信コイルは例えば直方体の筐体の中に一体に収納されている。複数の送信コイルは、それぞれ位置配向算出装置5に接続されている。
A/Dユニット9aは、画像位置配向検出用コイル31と、複数の挿入形状検出用コイル32の各々と、個別に信号線34で接続されている。
A/Dユニット9bは、長尺の体腔内接触プローブ8と信号線35で接続されている。 A/Dユニット9cは、複数の体表検出用コイル7の各々と個別に信号線36で接続されている。
なお、図1及び後述する図4の各矢印線は以下の通りの信号、データの流れを示す。
(b)第2:破線は超音波断層像に関わる信号・データの流れ、
(c)第3:実線は位置に関わる信号・データやそれを加工して作成されたデータの流れ、
(d)第4:一点鎖線は参照画像データやそれを加工して作成されたデータの流れ、
(e)第5:太線は超音波断層像データ(後述)と、3次元ガイド画像データ(後述)とを合成した最終的な表示画面に関わる信号・データの流れ、
(f)第6:流曲線はそれ以外の制御に関わる信号・データの流れ。
図2は被検体検出用素子を形成する体表検出用コイル7を示す。
通常の上部内視鏡検査では、被検体37は左側を下にしてベッド38上で横になるいわゆる左側臥位の姿勢をとって、内視鏡を口から挿入されるので、図2もその姿勢で描いている。
本実施例では体表特徴点を、骨格上の特徴のある箇所「剣状突起」(xiphoid process)、骨盤(pelvis)の左側の「左上前腸骨棘」(left anterior superior iliac spine)、骨盤の右側の「右上前腸骨棘」(right anterior superior iliac spine)、左右の上前腸骨棘の中間で脊椎上の「腰椎椎体棘突起」(spinous process of vertebral body)の4点にとって説明する。
図3は体腔内接触プローブ8を示す。体腔内接触プローブ8は、可撓性のある材料で構成された外筒41を有する。この外筒41内におけるその先端には体腔内検出用コイル42が固定して設けられ、この外筒41の後端にはコネクタ43が設けてある。
図3に示すように、体腔内検出用コイル42は、1軸方向に巻かれたコイルで、体腔内接触プローブ8の先端に固定されている。体腔内検出用コイル42は、その巻線軸方向が体腔内接触プローブ8の挿入軸方向と一致するよう固定されている。そして、この体腔内検出用コイル42は、体腔内接触プローブ8の先端が接触された体腔内の関心部位等の位置検出に利用される。
この処置具チャンネル46は、体腔内接触プローブ8を鉗子口44から挿通し、突出口45から突出できるよう構成されている。突出口45の開口方向は、体腔内接触プローブ8が突出口45から突出したときに、体腔内接触プローブ8が光学観察窓24の光学視野範囲の内に入るよう向けられている。
図4は挿入形状作成手段、3次元画像作成手段、合成手段、画像指標作成手段等を内蔵した画像処理装置11を示す。
マッチング回路51には、挿入形状検出用素子等の位置及び配向を検出する検出手段を構成する位置配向算出装置5から出力される位置・配向データが入力される。
そして、このマッチング回路51は、後述するように直交座標軸O-xyzにおいて算出された位置・配向データを、所定の変換式に従って写像し、直交座標軸O'-x'y'z'における新たな位置・配向データを算出する。
通信回路54は、大容量で高速の通信モデムを内部に設けており、人体の3次元データを生成するX線3次元ヘリカルCT装置15と、3次元MRI装置16とネットワーク17経由で接続されている。
参照画像記憶部55は、大容量のデータを保存できるハードディスクドライブ等からなる。参照画像記憶部55は、解剖学的な画像情報として、複数の参照画像データを記憶している。
被検体37の断層像を得る場合、X線3次元ヘリカルCT装置15よりも3次元MRI装置16を多用することにより、被検体37が受けるX線の被爆を低減ないしは解消できる。
図5の参照画像記憶部55内の参照画像データには説明の都合上、1番からN番までの番号が付されている。
ここで、図5のように、複数の参照画像データに対して固定した直交座標軸O’-x’y’z’とその正規直交基底(各軸方向の単位ベクトル)i’、j’、k’を、原点O’を1番の参照画像データの最も左下に定義して、参照画像データ上に定義する。
ボリュームメモリVMは、大容量のデータを格納することができるよう構成されている。ボリュームメモリVMの一部の記憶領域にはボクセル空間が割り当てられている。図6に示すように、ボクセル空間は、直交座標軸O’-x’y’z’に対応したアドレスを持つメモリセル(以下、ボクセル)からなっている。
図4に示す3次元人体画像を作成する3次元人体画像作成回路57と回転変換を行う回転変換回路59は、輝度によるボクセルや画素の抽出、回転変換、相似変換、平行移動等の画像処理を高速に行う図示しない高速プロセッサを内蔵している。
制御回路63は、画像処理装置11内の各部、各回路に指令が出力できるよう、各部、各回路とは図示しない信号線で接続されている。制御回路63は、超音波観測装置4、マウス12、キーボード13と制御線で直接接続されている。
図1に示すように、キーボード13は、体腔内特徴点指定キー65と、走査制御キー66と、表示切換キー13αと、表示切換キー13βと、表示切換キー13γとが設けてある。
上述した(a)第1:から(f)第6:までの信号、データに関して、順次説明する。(a)点線で示す第1の光学像に関わる信号・データの流れに沿って、本実施例の作用を説明する。
硬性部21の図示しない照明光照射窓は、光学視野範囲側に照明光を照射する。CCDカメラ26は、光学視野範囲の物体を撮像し、光電変換してCCD信号を光学観察装置3に出力する。
(b)第2の超音波断層像に関わる信号・データの流れに沿って、本実施例の作用を説明する。
術者が走査制御キー66を押すと、制御回路63は後述するラジアル走査のON/OFF制御を指令するための走査制御信号を超音波観測装置4へ出力する。
超音波観測装置4は、超音波振動子アレイ29を構成する超音波振動子29aのうち、一部かつ複数の超音波振動子29aを選択して、パルス電圧状の励起信号を送信する。 この一部かつ複数の超音波振動子29aは、励起信号を受け取って媒体の疎密波である超音波に変換する。
超音波ビームは、超音波内視鏡2外部へと照射され、被検体37内からの反射波が超音波ビームとは逆の経路を辿って各超音波振動子29aへ戻る。
各超音波振動子29aは反射波を電気的なエコー信号に変換して励起信号とは逆の経路で超音波観測装置4へ伝達する。
超音波観測装置4は、超音波ビームが、超音波振動子アレイ29の環の中心を含み、硬性部21および可撓部22に垂直な平面(以下、ラジアル走査面)内で旋回するよう、超音波ビームの形成に関与する複数の超音波振動子29aを選択し直し、再び励起信号を送信する。このようにして超音波ビームの送信角度が変わっていく。これを反復的に繰り返すことにより、いわゆるラジアル走査が実現する。
このように本実施例においては、超音波観測装置4が超音波ビームの形成に関与する複数の超音波振動子29aを選択し直し、再び励起信号を送信するため、正方形の超音波断層像の例えば12時方向は、超音波観測装置4が12時方向としてどの超音波振動子29aを選択して励起信号を送信するかで決定される。
こうして、超音波断層像の法線方向ベクトルV、3時方向ベクトルV3、12時方向ベクトルV12が定義される。さらに、超音波観測装置4は、超音波断層像データを、法線方向ベクトルVの反対方向−Vから観察した方向で作成する。
(c)次に、第3の位置に関わる信号・データやそれを加工して作成されたデータの流れに沿って、本実施例の作用を説明する。
位置配向算出装置5は、送信アンテナ6の図示しない送信コイルを励磁する。送信アンテナ6は、空間に交番磁場を張る。超音波による画像信号取得手段の位置及び配向(方向)を検出する画像位置配向検出用コイル31を構成するベクトルVとV3との方向に巻かれた巻線軸が互いに直交する2個のコイル及び可撓部22の挿入形状を検出する複数個の挿入形状検出用コイル32と、被検体検出用素子としての体腔内検出用コイル42及び体表検出用コイル7とは、それぞれ交番磁場を検出し、交番磁場を各々の位置電気信号に変換してA/Dユニット9a、9b、9cへ出力する。
次に、位置配向算出装置5は、A/Dユニット9aからのデジタルデータを基にして、画像位置配向検出用コイル31の位置とその直交する巻線軸の方向、つまりベクトルVとV3とを算出する。次に、位置配向算出装置5は、直交する巻線軸の方向のベクトルVとV3の外積V×V3を算出することで、残りの直交方向である12時方向のベクトルV12を算出する。このようにして、位置配向算出装置5は直交する3方向、つまりベクトルV、V3、V12を算出する。
次に、位置配向算出装置5は、A/Dユニット9a〜9cからのデジタルデータを基にして、複数個の挿入形状検出用コイル32の各々の位置と、体表検出用コイル7の各々の位置と、体腔内検出用コイル42の位置とを算出する。
次に位置・配向データの詳細を以下に述べる。
本実施例では図7のように原点Oを送信アンテナ6上に定義して、術者が被検体37を検査する実際の空間上に直交座標軸O-xyzとその正規直交基底(各軸方向の単位ベクトル)i、j、kを定義する。
画像位置配向検出用コイル31の位置をO"とする。画像位置配向検出用コイル31は超音波振動子アレイ29の環の中心のごく近傍に固定されているので位置O"は、ラジアル走査の中心かつ超音波断層像の中心に一致する。
直交座標軸O-xyzにおける画像位置配向検出用コイル31の位置O"の位置ベクトルOO"の各方向成分:
(x0,y0,z0)
直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向を示すオイラー角(後述)の各角度成分:
(ψ,θ,φ)
直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分:
(xi,yi,zi) (iは1から挿入形状検出用コイル32の総数までの自然数)
直交座標軸O-xyzにおける4個の体表検出用コイル7の各々の位置ベクトルの各方向成分:
(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
直交座標軸O-xyzにおける体腔内検出用コイル42の位置ベクトルの各方向成分:
(xp,yp,zp)
ここで、オイラー角とは、図7の直交座標軸O-xyzに、z軸の周りの回転、y軸の周りの回転、再びz軸の周りの回転をこの順で加えて、以下の通りに各軸の方向が一致するような角度である。
ψは、最初のz軸の周りの回転角度、θはy軸の周りの回転角度、φは再びのz軸の周りの回転角度である。
図7のHは、位置O"からxy平面へ下ろした垂線と、xy平面との交点である。このオイラー角の各角度成分(ψ,θ,φ)が画像位置配向検出用コイル31の配向、すなわち超音波断層像データの配向に相当する。
マッチング回路51は、以下の第1と第2と第3と第4とのデータ群から、直交座標軸O-xyz上で表現された位置・配向を、直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向へ写像する変換式を算出する。
この算出の方法は後述する。また、下記第1と第2で説明する位置・配向データは、被検体37の体動によって変化が生じる。変換式も被検体37の体動の変化とともに新たに作成される。この変換式の新たな作成も後述する。
図8は、これらに取り付けられた体表検出用コイル7を示す。
第2のデータ群は、位置・配向データのうち、直交座標軸O-xyzにおける体腔内検出用コイル42の位置ベクトルの各方向成分(xp,yp,zp)。
図9において体腔内検出用コイル42を先端に固定して内蔵した体腔内接触プローブ8を太い点線で示す。
第3のデータ群は、1〜N番までの参照画像データのいずれかの上の、剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起の各々について、これら各々から最も体表に近い画素の直交座標軸O'-x'y'z'における座標(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')。
図9は、これらの画素を黒丸●と白丸○とで示す。(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')は、図4に示すように体表特徴点座標として、参照画像記憶部55からマッチング回路51へ読み出される。
第4のデータ群は、1〜N番までの参照画像データのいずれかの上の、十二指腸乳頭に相当する画素の直交座標軸O'-x'y'z'における座標(xp",yp",zp")。
これらの画素は、予め術者が1〜N番までの参照画像データのいずれかの上で指定する。
次に、マッチング回路51は、直交座標軸O-xyzにおいて算出された位置・配向データを、上記変換式に従って写像し、直交座標軸O'-x'y'z'における新たな位置・配向データを算出する。
次に、マッチング回路51は、この新たな位置・配向データを、位置・配向写像データとして、画像指標作成回路52と挿入形状作成回路53とへ出力する。
画像指標作成回路52は、直交座標軸O-xyzにおける画像位置配向検出用コイル31の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向を示すオイラー角の各角度成分(ψ,θ,φ)との計6自由度の位置・配向写像データから画像指標データを作成し、合成回路58へ出力する。
この画像指標データは、平行四辺形の超音波断層像マーカMuに、例えば青色の先端方向マーカMd(図10中で青と表記)と黄緑色の矢印状の6時方向マーカMt(図10中に黄緑と表記)とを合成した直交座標軸O'-x'y'z'上における画像データである。
挿入形状作成回路53は、画像位置配向検出用コイル31の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分(xi,yi,zi) との位置・配向写像データから、(補間及びマーカ作成処理により)挿入形状データを作成し、合成回路58へ出力する。
この様子を図11に示す。挿入形状データは、画像位置配向検出用コイル31と複数個の挿入形状検出用コイル32の各々の位置を順につないで補間したひも状の挿入形状マーカMsと、各コイル位置を示すコイル位置マーカMcとを合成した直交座標軸O'-x'y'z'上における画像データである。
術者は事前に被検体37にX線3次元ヘリカルCT装置15や3次元MRI装置16で、被検体37の腹部全体にわたる参照画像データを取得する。
術者は、キーボード13の所定のキーを押すか、画面上のメニューをマウス12で選択して、参照画像データの取得を指示する。このとき同時に術者は、入手先も指示する。この指示により、制御回路63は、通信回路54に対して参照画像データの取り込みとその入手先を指令する。
例えば、入手先がX線3次元ヘリカルCT装置15であった場合には、通信回路54は、参照画像データとしてネットワーク17から複数枚の2次元CT画像を取り込み、参照画像記憶部55へ記憶させる。
また、例えば、入手先が3次元MRI装置16であった場合には、通信回路54は、参照画像データとしてネットワーク17から複数枚の2次元MRI画像を取り込み、参照画像記憶部55へ記憶させる。
3次元MRI装置16で撮像する際には撮像前に核磁気共鳴の感度の高いMRI用造影剤を被検体37の血管から注入し、大動脈、上腸間膜静脈等の血管や、血管を多く含む器官が2次元MRI画像上、高輝度や中輝度で表示されるようにし、周囲の組織とは輝度差がつきやすくしておく。
図5は参照画像記憶部55へ記憶された参照画像データの例を示す。X線造影剤の作用により、大動脈、上腸間膜静脈等の血管は高輝度に、膵臓(pancreas)等の末梢血管を多く含む器官は中輝度に、十二指腸(duodenum)等は低輝度に造影されている。
補間回路56は、参照画像記憶部55より1番からN番までの全ての参照画像データを読み出す。次に補間回路56は、読み出した参照画像データを補間メモリ56aのボクセル空間へ埋めていく。
次に、3次元人体画像作成回路57は、抽出したボクセルを3次元人体画像データとして合成回路58の合成メモリ58aのボクセル空間へ埋めていく。このとき、3次元人体画像作成回路57は、抽出したボクセルの補間メモリ56a内のボクセル空間のアドレスと、合成メモリ58a内のボクセル空間のアドレスとが同じになるように埋めていく。
3次元人体画像作成回路57は、臓器や血管等を抽出する抽出手段の機能も持つ。なお、この抽出手段を3次元ガイド画像作成回路A、B側に設けるようにしても良い。そして、3次元ガイド画像作成回路A、B側においても3次元ガイド画像を作成する際、臓器や血管を選択できるようにしても良い。
図13においては説明の都合上、ボクセル空間に存在する3次元人体画像データを省略している(3次元人体画像データを省略しない場合は図14等で示す)。このようにして、合成回路58は、同じボクセル空間内に3次元人体画像データと、画像指標データと、挿入形状データとを同じ合成メモリ内に埋めていくことで、これらを一組のデータ(以下、合成3次元データ)として合成する。
3次元ガイド画像作成回路Aは、合成3次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な画像データ(以下、3次元ガイド画像データ)を作成する。
3次元ガイド画像データのデフォルトの向きは、人体の腹側からの向きとする。従って、3次元ガイド画像作成回路Aは、被検体37の腹側からの方向で観察した3次元ガイド画像データを作成する。なお、3次元ガイド画像データのデフォルトの向きとしては、人体の腹側からの向きとしているが、背側からの向きの3次元ガイド画像データを作成するようにしても良い。また、その他の方向からの3次元ガイド画像データを作成するようにしても良い。
この3次元ガイド画像作成回路Aは、被検体腹側から観察した3次元ガイド画像データを混合回路61へ出力する。この3次元ガイド画像データを図14に示す。図14の右側が被検体頭側、左側が被検体足側である。
その他の臓器に対しては超音波断層像マーカMuを不透明にして超音波断層像マーカMuの裏側の部分は見えないようにしている。図14では、超音波断層像マーカMuの裏側にあり、かつ超音波断層像マーカMuと重なる各マーカは破線で示してある。
3次元ガイド画像作成回路Bは、回転処理を加えられた合成3次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な3次元ガイド画像データを作成する。
従って、3次元ガイド画像作成回路Bは被検体足側からの方向で観察した3次元ガイド画像データを作成する。
3次元ガイド画像作成回路Bは、被検体足側から観察した3次元ガイド画像データを混合回路61へ出力する。この3次元ガイド画像データを図15に示す。図15の右側が被検体右側、左側が被検体左側である。
図15の3次元ガイド画像データでは、画像指標データのうちの超音波断層像マーカMuを半透明にして、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが透けて見えるようにしている。
なお、図15における超音波断層像マーカMuの表示は、超音波断層像マーカMuの法線が観察視線すなわち表示装置14の画面法線と一致するように正対させる場合でない、つまり非正対の表示である。
(e)次に第5の超音波断層像データと、3次元ガイド画像データとを合成した最終的な表示画面に関わる信号・データの流れに沿って、本実施例の作用を説明する。
図4の混合回路61は、超音波観測装置4からの超音波断層像データと、3次元ガイド画像作成回路Aからの被検体37を腹側から観察した3次元ガイド画像データと、3次元ガイド画像作成回路Bからの被検体37を足側から観察した3次元ガイド画像データとを並べて表示用の混合データを作成する。
表示装置14は、このアナログビデオ信号を基に超音波断層像と被検体37を足側から観察した3次元ガイド画像と腹側から観察した3次元ガイド画像とを並べて対比可能に表示する。
図16に示すように、表示装置14は、3次元ガイド画像上で表現される各器官を、もともと参照画像データ上の輝度値に応じた色で器官別に色分けして表示する。
図16の表示例では、膵臓は緑、大動脈、上腸間膜静脈は赤で表示されている。図16では、超音波断層像マーカMuの裏側にあり、かつ超音波断層像マーカMuと重なる各マーカは破線で示してある。
また、図16で白抜きの矢印で示すように2つの3次元ガイド画像は、ラジアル走査面の移動に連動して移動する。
図4の画像処理装置11内のマッチング回路51と、画像指標作成回路52と、挿入形状作成回路53と、通信回路54と、参照画像記憶部55と、補間回路56と、3次元人体画像作成回路57と、合成回路58と、回転変換回路59と、3次元ガイド画像作成回路Aと、3次元ガイド画像作成回路Bと、混合回路61と、表示回路62とは、制御回路63からの指令により制御される。
制御の詳細は後述する。
以下、術者の使用形態に沿って、本実施例の画像処理装置11、キーボード13、マウス12、表示装置14の作用の全体を説明する。図17はその全体のフローチャートであり、ステップS1〜S4の各処理はこの順序で実行される。
次のステップS2において術者は、被検体37に体表検出用コイル7を固定する。術者は、被検体37をその左側を臥せた***、所謂、左側臥位にする。術者は、被検体37を触診し、4つの体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起に最も近い体表上の位置に体表検出用コイル7を固定する。
次のステップS3は補正値算出処理である。
このステップS3において画像処理装置11は、体腔内特徴点の位置・配向データを取得し、直交座標軸O-xyz上で表現された位置・配向データを直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向写像データへ写像する変換式を算出し、さらに体腔内特徴点の位置・配向データから変換式の補正値を算出する処理を行う。
次に図17のステップS1の処理、つまり参照画像データ上での体表特徴点、体腔内特徴点指定処理を具体的に説明する。
図18は、図17のステップS1の参照画像データ上で、体表特徴点と体腔内特徴点とを指定する処理の詳細を示す。
最初のステップS1-1において、術者は表示切換キー13αを押す。制御回路63は表示回路62に指令を出す。表示回路62のスイッチ62aは指令により入力端子αに切り換わる。
次のステップS1-2において、術者は、マウス12、キーボード13を用い、1〜N番までのいずれかの参照画像データを指定する。
表示回路62は、参照画像記憶部55からの参照画像データをアナログビデオ信号に変換し、参照画像データを表示装置14に出力する。表示装置14は参照画像データを表示する。
次のステップS1-4において、術者は、マウス12、キーボード13を用い、参照画像データ上で体表特徴点を指定する。具体的には以下の通りである。
術者は表示された参照画像データに被検体37の4つの体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起のいずれかが写っているようにする。いずれも写っていなければステップS1-2へ戻り、術者は他の参照画像データを指定し直し、ステップS1-3で写っている参照画像データを表示させるまで、異なる参照画像データの表示を繰り返す。
指定した点を図8と図9の黒丸●と白丸○とで示す。本実施例では説明の都合上、剣状突起○がn1番(1≦n1≦N)の参照画像データ上に写っており、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起●がn2番(1≦n2≦N)の参照画像データ上に写っているものとして説明する。
図8と図9では説明の都合上、n2番の参照画像データ上の剣状突起に相当する位置に○で剣状突起を示している。
術者は、マウス12、キーボード13を用い、1〜N番までのいずれかの参照画像データを指定する。
制御回路63は、表示回路62に図示しない信号線を経由して参照画像記憶部55に記憶された1〜N番までのいずれかの参照画像データのうち、指定された参照画像データを読み出させる。
表示回路62は、読み出した参照画像データを表示装置14へ出力する。表示装置14はこの参照画像データを表示する。術者は表示された参照画像データに被検体37の体腔内特徴点である十二指腸乳頭が写っていなければ、他の参照画像データを指定し直し、写っている参照画像データを表示させるまで、異なる参照画像データの表示を繰り返す。
指定した点を図9のP"で示す。本実施例では説明の都合上、十二指腸乳頭P"がn2番(1≦n2≦N)の参照画像データ上に写っているものとして説明する。
次のステップS1-6において、制御回路63は、ステップS1-4で指定された各体表特徴点に相当する各画素とステップS1-5で指定された体腔内特徴点P"に相当する画素とについて、参照画像データ上でのアドレスからボクセル空間に張られた直交座標軸O’-x’y’z’での座標を算出し、マッチング回路51へ出力する。
ステップS1-5で指定された体腔内特徴点に相当する画素直交座標軸O’-x’y’z’での各座標の算出値を(xp",yp",zp")とする。
マッチング回路51はこの座標を記憶する。このステップS1-6の終了後、図17のステップS2に進む。そして、このステップS2の処理の後、図17のステップS3の補正値算出処理に進む。
図19は、ステップS3の補正値算出処理の詳細を示す。上述したようにこのステップS3は、体腔内特徴点の位置・配向データを取得し、直交座標軸O-xyz上で表現された位置・配向データを直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向写像データへ写像する変換式を算出し、さらに体腔内特徴点の位置・配向データから変換式の補正値を算出する処理である。
次にステップS3-2において、表示回路62は、光学観察装置3からの光学像データをアナログビデオ信号に変換し、光学像を表示装置14に出力する。表示装置14は、光学像を表示する。
次のステップS3-3において、術者は、被検体37に超音波内視鏡2の硬性部21と可撓部22とを体腔内へ挿入する。
次のステップS3-4において、術者は、光学像を観察しながら硬性部21を動かして体腔内特徴点を探す。術者は、体腔内特徴点が見つかった後、硬性部21を体腔内特徴点近傍へ移動する。
この様子を図20に示す。図20では表示画面に光学像が表示されている。光学像には体腔内特徴点の例として十二指腸乳頭Pと体腔内接触プローブ8とが表示されている。
次のステップS3-6において、術者は、体腔内特徴点指定キー65を押す。
次のステップS3-7において、制御回路63は、マッチング回路51に指令を出す。マッチング回路51は、指令により位置配向算出装置5から位置・配向データを取り込み、記憶する。この位置・配向データには、前述の通り以下の2種類のデータが含まれている。
直交座標軸O-xyzにおける体腔内検出用コイル42の位置ベクトルの各方向成分、すなわち、この場合は体腔内特徴点の直交座標軸O-xyzでの座標:(xp,yp,zp)。
次のステップS3-8において、マッチング回路51は体表特徴点の座標から第1の写像を表現する第1変換式を作成する。具体的には以下の通りである。
まず、マッチング回路51は、以下の内容を記憶している。
(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')
第2にステップS1)で指定された体腔内特徴点に相当する画素のボクセル空間内の直交座標軸O’-x’y’z’での座標:
(xp",yp",zp")
第3にステップS3-7で取り込まれた体表特徴点の直交座標軸O-xyzでの各座標:
(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
第4にステップS3-7で取り込まれた体腔内特徴点の直交座標軸O-xyzでの座標:
(xp,yp,zp)
マッチング回路51は、このうち、第3の各座標(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)と第1の各座標(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')とから、直交座標軸O-xyz上の任意の点をボクセル空間内の直交座標軸O’-x’y’z’の点への第1の写像を表現する第1変換式を作成する。この第1の写像と第1変換式とは以下の通り定義される。
第1の写像とは、「直交座標軸O-xyzにおける任意点の、被検体37上の斜交座標系で表現される座標」と、「直交座標軸O'-x'y'z'におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系で表現される座標」とが同じになるような、被検体37からボクセル空間への写像である。
また、第1変換式とは「任意点の直交座標軸O-xyzにおける座標」を「ボクセル空間内の第1の写像後の点の直交座標軸O'-x'y'z'における座標」へ変換する式である。
点Q'の直交座標軸O'-x'y'z'における座標を(x0',y0',z0')とする。第1変換式を用いると、点O"の直交座標軸O-xyzにおける座標(x0,y0,z0)は、点Q'の直交座標軸O'-x'y'z'における座標(x0',y0',z0')へ変換される。
次のステップS3-9において、マッチング回路51は、図9に示すように、第1変換式により、体腔内特徴点Pをボクセル空間内の点P'へ写像する。体腔内特徴点Pの直交座標軸O-xyzでの座標は(xp,yp,zp)である。第1の写像後の点P'の直交座標軸O’-x’y’z’での座標を(xp',yp',zp')と定義する。
次のステップS3-10において、マッチング回路51は、点P'のボクセル空間内の直交座標軸O’-x’y’z’での座標を(xp',yp',zp')と、ステップS1で指定された体腔内特徴点に相当する点P"のボクセル空間内の直交座標軸O’-x’y’z’での座標(xp",yp",zp")とから、以下のようにベクトルP'P"を算出する。
次のステップS3-11において、マッチング回路51は、ベクトルP'P"を記憶する。 ベクトルP'P"は後述する処理で第1変換式を補正して第2の変換式を作成するための補正値として作用する。このステップS3-11の終了後、次のステップS4に進む。
次にこのステップS4の超音波断層像・3次元ガイド画像作成/表示処理を説明する。 図21は、ステップS4の被検体37の実際の超音波断層像・3次元ガイド画像を作成し、表示する処理の詳細を示す。
ステップS4の処理が開始すると、最初のステップS4-1において、術者は表示切換キー13γを押す。制御回路63は表示回路62に指令を出す。表示回路62のスイッチ62aは、この指令により入力端子γに切り換わる。
次のステップS4-2において、術者は走査制御キー66を押す。
次のステップS4-4において、制御回路63は混合回路61に指令を出す。混合回路61は、この指令により超音波観測装置4からのラジアル走査に応じて入力される超音波断層像データを逐次、取り込む。
次のステップS4-5において、制御回路63はマッチング回路51に指令を出す。マッチング回路51は、指令により位置配向算出装置5から位置・配向データを取り込み、記憶する。この取り込みは、瞬時に行われる。そのため、マッチング回路51は、ステップS4-4で混合回路61が超音波断層像データを取り込んだ瞬間の、以下のデータを含む、位置・配向データを取り込むことになる。
(x0,y0,z0)
直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向、すなわち超音波断層像の配向を示すオイラー角の各角度成分:
(ψ,θ,φ)
直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分:
(xi,yi,zi) (iは1から挿入形状検出用コイル32の総数までの自然数)
直交座標軸O-xyzにおける4個の体表検出用コイル7の各々の位置ベクトルの各方向成分:
(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
次のステップS4-6において、マッチング回路51は、ステップS4-5で取り込んだ位置・配向データのうち、直交座標軸O-xyzにおける4個の体表検出用コイル7の各々の位置ベクトルの各方向成分(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)を用い、ステップS3)で記憶した第1変換式を更新する。
第2の写像=第1の写像+ベクトルP'P"による平行移動
ベクトルP'P"による平行移動には以下に示す補正効果がある。ベクトルP'P"は補正値として作用する。
第1の写像を「直交座標軸O-xyzにおける任意点の、被検体37上の斜交座標系で表現される座標」と、「直交座標軸O'-x'y'z'におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系で表現される座標」とが同じになるような、被検体37からボクセル空間への写像とした。
この理由は、「直交座標軸O-xyzにおける任意点と、被検体37上の斜交座標系との空間的な位置関係」と「任意点に解剖学的に相当する直交座標軸O'-x'y'z'における点と、ボクセル空間内の斜交座標系との空間的な位置関係」とが種々の要因で完全に一致しないことにある。
本実施例で説明すると、第1の写像と第1変換式とを骨格上の特徴のある体表特徴点の各座標から求めたが、体腔内特徴点である十二指腸乳頭Pは骨格上の体表特徴点と常に同じ位置関係にあるとは限らないためである。
そのため、第1の写像に補正値としてのベクトルP'P"による平行移動を合わせて第2の写像とすることにより、体腔内特徴点Pの写像点はボクセル空間内で体腔内特徴点に相当する点P"に一致する。さらに、被検体37の他の点、例えば超音波断層像の中心O"も第2の写像により解剖学的に一層正確な一致をするのである。
次のステップS4-7において、マッチング回路51は、ステップS4-5で取り込んだ位置・配向データのうち、直交座標軸O-xyzにおける超音波断層像の中心O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向を示すオイラー角の各角度成分(ψ,θ,φ)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分(xi,yi,zi) (iは1から挿入形状検出用コイル32の総数までの自然数)とを新たに作成した第2変換式を用いて、位置・配向写像データへ変換する。
Q'Q" =P'P"
次のステップS4-8において、画像指標作成回路52は、画像指標データを作成する。挿入形状作成回路53は、挿入形状データを作成する。
合成回路58は、3次元人体画像データと、画像指標データと、挿入形状データを合成し、合成3次元データを作成する。
回転変換回路59は合成3次元データに回転処理を施す。
上記それぞれの処理は前述の通りである。
次のステップS4-9において、混合回路61は、超音波断層像データと3次元ガイド画像データとを並べて表示用の混合データを作成する。
表示回路62はこの混合データをアナログビデオ信号に変換する。
表示装置14は、このアナログビデオ信号を基に超音波断層像と被検体37を腹側から観察した3次元ガイド画像と足側から観察した3次元ガイド画像とを並べて図16のように表示する。
上記それぞれの処理は前述の通りである。
次のステップS4-10において、制御回路63は、ステップS4-4からステップS4-9の間、術者が再び走査制御キー66を押すか否かを確認している。
術者が再び走査制御キー66を押していなかった場合には、処理はステップS4-4へジャンプする。
このようにして、ステップS4-4からステップS4-9で述べた処理を繰り返すことで、超音波振動子アレイ29が1回のラジアル走査をして超音波観測装置4が超音波断層像データを作成し、超音波断層像データが超音波観測装置4から混合回路61に入力するたびに、2つの新たな3次元ガイド画像が作成され、新たな超音波断層像とともに表示装置14の表示画面にリアルタイムに更新されつつ表示される。
本実施例は以下の効果を有する。
本実施例は、超音波内視鏡2が、体腔内への挿入側に被検体37内の超音波断層像を作成するための信号を取得する超音波振動子アレイ29を固定して設けた硬性部21と、硬性部21より手前側に可撓部22とを設け、超音波振動子29aが取得したエコー信号から被検体37内の超音波断層像を作成する超音波観測装置4を設け、画像位置配向検出用コイル31を硬性部21に対して空間的に位置を固定して設け、挿入形状検出用コイル32を可撓部22に沿って複数個設け、被検体37に接触可能な体表検出用コイル7を複数個設け、画像位置配向検出用コイル31の位置及び配向との6自由度と、複数個の挿入形状検出用コイル32の各位置と、体表検出用コイル7の位置もしくは配向とを検出し、位置・配向データとして出力する送信アンテナ6と位置配向算出装置5とを設け、超音波観測装置4が作成した被検体37内の超音波断層像の位置と配向とを示す超音波断層像マーカMuを作成する画像指標作成回路52を設け、合成回路58が、位置配向算出装置5が出力した位置・配向データを基に、可撓部22の先端側の挿入形状と超音波断層像マーカMuと3次元人体画像データとを合成し、被検体37に対する可撓部22と超音波断層像の位置および配向をガイドする3次元ガイド画像作成回路A,Bを設けた。
また、本実施例においては、画像指標作成回路52が、超音波断層像マーカMuに青色の先端方向マーカMdと黄緑色の矢印状の6時方向マーカMtとを合成した画像指標データを作成し、合成回路58が、同じボクセル空間内に3次元人体画像データと、画像指標データと、挿入形状データとを合成し、混合回路61が超音波観測装置4からの超音波断層像データと、3次元ガイド画像データとを並べて表示するための表示用の混合データを作成し、表示回路62はこの混合データをアナログビデオ信号に変換し、表示装置14はこのアナログビデオ信号を基に超音波断層像と3次元ガイド画像とを並べて表示するような構成及び作用をする。
従って、術者はこれらの関係を視覚的に把握でき、関心領域に対する診断、処置等を容易に行うことが可能となる。
また、本実施例においては、マッチング回路51がステップS4-4からステップS4-9で述べた処理を繰り返し、混合回路61が超音波断層像データを取り込んだ瞬間の、位置・配向データを取り込み、第1変換式とベクトルP'P"による平行移動とを合わせて第2の写像を表現する第2変換式を新たに作成し、直交座標軸O-xyzにおける超音波断層像の中心O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向を示すオイラー角の各角度成分(ψ,θ,φ)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分(xi,yi,zi) (iは1から挿入形状検出用コイル32の総数までの自然数)とを、位置・配向写像データへ変換する処理を繰り返すような構成及び作用する。
また、X線3次元ヘリカルCT装置15と3次元MRI装置16とは、通常仰臥位で撮像され、左側臥位での超音波内視鏡検査の時とは***が異なるが、本実施例は、マッチング回路51が、第1の写像に補正値としてのベクトルP'P"による平行移動を合わせて第2の写像を表現する第2変換式を作成するような構成及び作用する。
従って、本実施例は、被検体37内の諸器官がX線3次元ヘリカルCT装置15と3次元MRI装置16に比して左側臥位での超音波内視鏡検査の時に重力に従って変位しても、被検体37の点、例えば超音波断層像の中心O"に第2の写像により解剖学的に一層正確な一致をする。そのため、3次元ガイド画像が超音波断層像を一層正確にガイドすることができる。
本実施例では、処置具チャンネル46を備えた超音波内視鏡2と、処置具チャンネル46に挿通する体腔内接触プローブ8を設けて構成したが、構成はこれに限定されるものでない。
体腔内特徴点に対して光学観察窓24を経由して対物レンズ25の焦点が合い、体腔内接触プローブ8を用いずに硬性部21自体を体腔内特徴点に正確に接触できれば、硬性部21に固定して設けた画像位置配向検出用コイル31を体腔内接触プローブ8の体腔内検出用コイル42の代用にしても良い。
このとき、画像位置配向検出用コイル31は画像位置配向検出用素子としてだけでなく体腔内検出用素子としても作用する。
また、本実施例では、超音波プローブとして電子ラジアル走査型超音波内視鏡2を用いたが、従来技術の特開2004−113629号公報で開示されている体腔内プローブ装置のように、機械走査型超音波内視鏡でも、挿入軸の一方に超音波振動子群を扇状に設けた電子コンベックス走査型超音波内視鏡でも、カプセル型の超音波ゾンデでも良く、超音波の走査方式には限定されない。また光学観察窓24の無い超音波プローブでも良い。
また、本実施例では位置検出手段として送信アンテナ6と受信コイルとを用い、磁場で位置と配向とを検出するよう構成、作用させたが、送受は逆でも良い。磁場を利用して位置及び配向を検出することにより、簡単な構成で位置(配向)検出手段を形成できると共に、低コスト化、小型化することができる。
しかし、位置(配向)検出手段は、磁場を利用したものに限定されるものでなく、加速度や他の手段で位置と配向とを検出するような構成及び作用をさせても良い。
また、本実施例では、原点Oを送信アンテナ6上の特定の位置に設定するよう構成したが、送信アンテナ6と位置関係の変わらない他の場所に設定するよう構成しても良い。
また、本実施例では、3次元ガイド画像データ上の各器官を、器官別に色分けして表示されるよう構成したが、色分け(表示色の変更)の態様に限らず、輝度、明度、彩度等、他の態様を採用しても良い。例えば、器官別に輝度の値を変化させる等しても良い。
また、本実施例では、参照画像データとして、X線3次元ヘリカルCT装置15、3次元MRI装置16で撮像された複数枚の2次元CT画像や2次元MRI画像を用いるよう構成、作用させたが、PET(Positoron Emission Tomography)のような他のモダリティーを用いて事前に取得した3次元画像データを用いても良い。また、体外から超音波を照射する方式の所謂、体外式の体腔内プローブ装置で事前に取得した3次元画像データを用いても良い。
また、本実施例では、参照画像データとして、被検体37からX線3次元ヘリカルCT装置15等により撮像した画像データを用いるよう構成・作用したが、あらかじめ体格の似た性別の同じ他人の画像データを用いても良い。
また、本実施例では、位置配向算出手段が、位置・配向データとして、体表検出用コイル7に関してはその位置を算出したが、位置の代わりに巻線軸の方向を算出してもよい。また、位置と巻線軸の方向との両方を算出しても良い。1個の体表検出用コイル7に関して位置配向算出装置5が算出する自由度が増えることで、体表検出用コイル7の個数を減らすことができ、被検体37に体表検出用コイル7を固定する際や超音波内視鏡検査中の術者や被検体37の負担を減らすことができる。
また、本実施例では、術者のマウス12、キーボード13からの入力により、制御回路63からの回転指示信号が3次元ガイド画像データを90度回転させ、足側から観察する指示内容になっており、3次元ガイド画像作成回路Bは被検体足側からの方向で観察した3次元ガイド画像データを作成したが、この例に限らず、術者によるマウス12、キーボード13からの入力により、任意の軸、任意の角度で入力に対し3次元ガイド画像をリアルタイムに回転できるようにしても良い。
次に本実施例の作用を説明する。
上述のように本実施例は、実施例1と3次元ガイド画像作成回路Bの作用のみが異なる。
実施例1では、図15に示すように、3次元ガイド画像作成回路Bは被検体足側からの方向で観察した3次元ガイド画像データを作成し、混合回路61へ出力した。
そして、術者による可撓部22、硬性部21の用手的な操作に伴うラジアル走査面の移動とともに、画像指標データ上の超音波断層像マーカMuと先端方向マーカMdと6時方向マーカMtと、挿入形状データ上の挿入形状マーカMsとコイル位置マーカMcとが3次元人体画像データ上を移動もしくは変形していった。
図22の3次元ガイド画像データは、術者の可撓部22、硬性部21の用手的な操作に伴うラジアル走査面の移動とともに、画像指標データ上の超音波断層像マーカMuと先端方向マーカMdと6時方向マーカMtと、挿入形状データ上の挿入形状マーカMsとコイル位置マーカMcとは表示装置14の画面上で固定され、3次元人体画像データが表示装置14の画面上を移動していく。
図22の3次元ガイド画像データでは、画像指標データのうちの超音波断層像マーカMuを半透明にして、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが透けて見えるようにしている。
その他の作用は実施例1と同じである。
本実施例は以下の効果を有する。
本実施例によれば、3次元ガイド画像作成回路Bが、位置・配向写像データを基にして、超音波断層像マーカMuの法線を観察視線すなわち表示装置14の画面法線と一致するよう画面に正対させ、かつ6時方向マーカMtが表示装置14の画面の下方向に向くように設定された3次元ガイド画像を作成するよう構成、作用させたため、この3次元ガイド画像と表示装置14の画面に並べてリアルタイムに表示される超音波断層像との方向が一致する。そのため術者は両者を対比しやすく、超音波断層像の解剖学的な解釈をしやすい。
その他の効果は実施例1と同じである。
(変形例)
本実施例の変形例として、実施例1で説明した変形例を適用できる。
本実施例の構成は実施例2と同じである。本実施例は、実施例2とは3次元ガイド画像作成回路Bの作用のみが異なる。
次に本実施例の作用を説明する。
実施例2では、図22に示すように、3次元ガイド画像作成回路Bは、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが透けて見えるようにし、その他の臓器に対しては超音波断層像マーカMuを不透明にして超音波断層像マーカMuの裏側の部分は見えないようにした3次元ガイド画像データを作成し、混合回路61へ出力した。
膵臓であれば、超音波断層像マーカMuより表側(手前側)にある部分は濃緑、裏側にある部分は薄緑で作成する。血管であれば、超音波断層像マーカMuより表側(手前側)にある部分は濃赤、裏側にある部分は薄赤で作成する。
図23では、超音波断層像マーカMuの裏側にあり、かつ超音波断層像マーカMuと重なる各マーカと各器官とは破線で示してある。
その他の作用は実施例2と同じである。
本実施例によれば、3次元ガイド画像作成回路Bが、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカMuの表側と裏側にある部分の輝度を変化させて3次元ガイド画像データを作成するような構成及び作用する。
そのため、術者には、可撓部22と硬性部21とをさらにどう動かしたら、患部等の関心領域を超音波断層像上に表示できるかわかりやすく、術者には、超音波内視鏡2の可撓部22と硬性部21との操作をしやすい。
その他の効果は実施例2と同じである。
(変形例)
本実施例では、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるように構成及び作用させたが、その変形例として術者は、透明度をマウス12やキーボード13からの選択入力で自由に変更させることができるようにしても良い。
その他の変形例として、実施例2の変形例を適用できる。
次に本実施例の作用を説明する。
上述のように本実施例の作用は、実施例3とは3次元ガイド画像作成回路Bの作用のみが異なる。
実施例3では、図23に示すように、3次元ガイド画像作成回路Bは、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカMuの表側と裏側にある部分の輝度を変化させて3次元ガイド画像データを作成し、混合回路61へ出力した。
本実施例では、図24に示すように、3次元ガイド画像作成回路Bは、画像指標データのうちの超音波断層像マーカMuによって分けられる2つの領域のうち、可撓部22の先端側すなわち表示装置14の画面手前側を非表示にし、超音波断層像マーカMu上の部分と、裏側の部分の輝度を変化させた3次元ガイド画像データを作成して、混合回路61へ出力する。
膵臓であれば、超音波断層像マーカMu上にある部分は濃緑、裏側にある部分は薄緑で作成する。血管であれば、超音波断層像マーカMu上にある部分は濃赤、裏側にある部分は薄赤で作成する。
本実施例は以下の効果を有する。
本実施例においては、3次元ガイド画像作成回路Bが、画像指標データのうちの超音波断層像マーカMuによって分けられる2つの領域のうち、可撓部22の先端側すなわち表示装置14の画面手前側を非表示にし、超音波断層像マーカMu上の部分と、裏側の部分の輝度を変化させた3次元ガイド画像データを作成するよう構成、作用させた。
そのため、本実施例によれば、手前側の臓器が術者の3次元ガイド画像の観察の邪魔になることなく、この3次元ガイド画像と表示装置14の画面に並べてリアルタイムに表示される超音波断層像との対比を一層しやすく、超音波断層像の解剖学的な解釈をしやすい。
その他の効果は、実施例3と同じである。
(変形例)
本実施例の変形例は、実施例3の変形例を適用できる。
次に本実施例の作用を説明する。
本実施例の作用は、上述したように実施例1とは3次元ガイド画像作成回路Bの作用のみが異なる。
実施例1では、図15に示すように、3次元ガイド画像作成回路Bは、画像指標データのうちの超音波断層像マーカMuを半透明にして、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが透けて見えるようにし、その他の臓器に対しては超音波断層像マーカMuを不透明にして超音波断層像マーカMuの裏側の部分は見えないようにした3次元ガイド画像データを作成し、混合回路61へ出力した。
膵臓であれば、超音波断層像マーカMuより先端方向マーカMd側にある部分は濃緑、反対側にある部分は薄緑で作成する。血管であれば、超音波断層像マーカMuより先端方向マーカMd側にある部分は濃赤、反対側にある部分は薄赤で作成する。
その他の作用は実施例1と同じである。
本実施例は以下の効果を有する。
そのため、術者には、可撓部22と硬性部21とをさらにどう動かしたら、患部等の関心領域を超音波断層像上に表示できるかわかりやすく、超音波内視鏡2の操作をしやすい。
特に、胆嚢のように被検体37内部で柔らかく動きやすい臓器は超音波断層像マーカMu上には写っていながら、超音波断層像上には写らない可能性がある。本実施例の3次元ガイド画像は、術者がもう少し硬性部21と可撓部22とを動かせば胆嚢の超音波断層像上での描出ができる目印になるため、術者には、超音波内視鏡2の操作をしやすい。
その他の効果は実施例1と同じである。
本実施例では、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるように構成、作用させたが、その変形例として術者は、透明度をマウス12やキーボード13で自由に変更させることができるようにしても良い。
その他の変形例として実施例1の変形例を適用できる。
実施例1の画像処理装置11では、硬性部21は、画像位置配向検出用コイル31を超音波振動子アレイ29の環の中心のごく近傍に固定して設けていた。
本実施例においては、硬性部21には、画像位置配向検出用コイル31がCCDカメラ26のごく近傍に固定して設けている。
画像位置配向検出用コイル31の固定されている向きは、実施例1と同じである。CCDカメラ26の光軸は、図1のVとV12とを含む平面内で、Vに対し既知の角度に向いている。
図26は本実施例の画像処理装置11を示す。実施例1の画像処理装置11では、混合回路61は超音波観測装置4と接続されていた。本実施例では、混合回路61は、超音波観測装置4の代わりに、光学観察装置3と接続されている。
次に本実施例の作用を説明する。
実施例1の画像処理装置11では、術者が入手先としてX線3次元ヘリカルCT装置15を選択し、通信回路54が参照画像データとして複数枚の2次元CT画像を取り込み、図5に示すような参照画像データが参照画像記憶部55へ記憶された場合についての作用を説明した。例としてX線造影剤の作用により、大動脈、上腸間膜静脈等の血管は高輝度に、膵臓(pancreas)等の末梢血管を多く含む器官は中輝度に、十二指腸(duodenum)等は低輝度に造影されていた。
本実施例では、X線3次元ヘリカルCT装置15で胸部、特に気管、気管支、気管分枝を非造影で撮像した例で、気管支が2本の気管分枝、気管分枝aと気管分枝bとに分岐する箇所で超音波内視鏡2を気管分枝aへ挿入する例を説明する。
3次元人体画像作成回路57は、補間回路56から高輝度値のボクセル(主に気管、気管支、気管分枝の壁)、を抽出して着色する。次に、3次元人体画像作成回路57は、抽出したボクセルを3次元人体画像データとして合成回路58の合成メモリ58aのボクセル空間へ埋めていく。
このとき、3次元人体画像作成回路57は、抽出したボクセルの補間メモリ56a内のボクセル空間のアドレスと、合成メモリ内のボクセル空間のアドレスとが同じになるように埋めていく。3次元人体画像データは、高輝度の気管壁と気管支壁と気管分枝壁とが抽出され、各壁は肌色で着色され、被検体頭側を右側に足側を左側にして腹側から観察した3次元データである。
画像指標データは、光軸の方向を示すオレンジ色の光学像視野方向マーカと、光学像の12時方向を示す黄緑色の光学像up方向マーカとを合成した直交座標軸O'-x'y'z'上における画像データである。
挿入形状作成回路53は、実施例1と同様に、画像位置配向検出用コイル31の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分(xi,yi,zi) との位置・配向写像データから、挿入形状データを作成し、合成回路58へ出力する。
合成回路58は、画像指標データと、挿入形状データとを合成メモリ58a内のボクセル空間に埋めていく。このようにして、合成回路58は、同じボクセル空間内に3次元人体画像データと、画像指標データと、挿入形状データとを同じ合成メモリ58a内に埋めていくことで、これらを一組の合成3次元データとして合成する。
回転変換回路59は、合成3次元データを読み出し、制御回路63からの回転指示信号に従って、合成3次元データに回転処理を施す。
従って、3次元ガイド画像作成回路Aは、被検体37の腹側からの方向で観察した3次元ガイド画像データを作成する。3次元ガイド画像作成回路Aは、被検体腹側から観察した3次元ガイド画像データを混合回路61へ出力する。この3次元ガイド画像データを図27に示す。図27の右側が被検体頭側、左側が被検体足側である。
図27の3次元ガイド画像データでは、気管支の壁と、その先の気管分枝aと気管分枝bとの壁とを半透明にして、画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが見えるようにしている。
本実施例では1例として、術者によるマウス12、キーボード13からの入力により、制御回路63からの回転指示信号が3次元ガイド画像データを90度回転させ、足側から観察する指示内容になっていたものとする。
従って、3次元ガイド画像作成回路Bは、被検体足側からの方向で観察した3次元ガイド画像データを作成する。3次元ガイド画像作成回路Bは被検体足側から観察した3次元ガイド画像データを混合回路61へ出力する。この3次元ガイド画像データを図28に示す。図28の右側が被検体右側、左側が被検体左側である。
混合回路61は、光学観察装置3からの光学像データと、3次元ガイド画像作成回路Aからの被検体37を腹側から観察した3次元ガイド画像データと、3次元ガイド画像作成回路Bからの被検体37を足側から観察した3次元ガイド画像データとを並べて表示用の混合データを作成する。
表示回路62はこの混合データをアナログビデオ信号に変換する。
表示装置14は、このアナログビデオ信号を基に光学像と被検体37を足側から観察した3次元ガイド画像と腹側から観察した3次元ガイド画像とを並べて表示する。
本実施例では、光学像がリアルタイム画像として処理される。
実施例1と同様、本実施例では、2つの新たな3次元ガイド画像が作成され、新たな光学像とともに表示装置14の表示画面にリアルタイムに更新されつつ表示される。すなわち、図29に示すように術者の可撓部22、硬性部21の用手的な操作に伴う光軸の移動に連動して、画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが3次元人体画像データ上を移動もしくは変形していく。
その他の作用は実施例1と同じである。
本実施例は以下の効果を有する。
そのため、本実施例は、超音波内視鏡2(或いは以下の変形例で説明するように内視鏡)を気管分枝aへ挿入する際に誤って気管分枝bへ挿入することを防ぐことができる。
その他の効果は実施例1と同じである。
本実施例によれば、実施例1と同じく体腔内プローブとして光学観察系(光学観察窓24と、対物レンズ25と、CCDカメラ26と、図示しない照明光照射窓)を設けた電子ラジアル走査型の超音波内視鏡2を用いたが、体腔内プローブとして、超音波内視鏡2ではなく単に光学観察系を設けた内視鏡を用いても良い。
その他の変形例は実施例1における変形例を適用することができる。
なお、上述した各実施例等を部分的に組み合わせる等して構成される実施例等も本発明に属する。また、図4等において示した画像処理装置11のブロック構成を変更しても良い。
1.被検体の体腔内へ挿入される体腔内プローブと、
前記体腔内プローブの挿入形状を作成する挿入形状作成手段と、
人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、
前記挿入形状と、前記3次元画像とを合成する合成手段と、
を備えた体腔内プローブ装置において、
前記体腔内プローブは、前記体腔内への挿入側に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を固定して設けた硬性部と、前記硬性部より手前側の可撓部とを具備し、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記硬性部に対して位置が固定された画像位置配向検出用素子と、
前記可撓部に沿って複数個設けられた挿入形状検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向との6自由度と、前記複数個の挿入形状検出用素子の各位置と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記合成手段が、前記検出手段が出力した検出値を基に、前記挿入形状と前記画像指標と前記3次元画像とを合成し、前記被検体に対する前記可撓部と前記リアルタイム画像の位置および配向をガイドする3次元ガイド画像を作成することを特徴とする体腔内プローブ装置。
体腔内プローブの挿入形状とリアルタイム画像の方向とを侵襲を少なく検出でき、両者を含んだガイド画像を作成することができる。
また、リアルタイム画像と膵臓などの関心領域との位置関係をガイドすることができるとともに、消化管や気管等の体腔壁に対して、リアルタイム画像と体腔内プローブと可撓部22と硬性部21とがどのような配向や形状になっているのかをガイドすることができる。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の***に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
(付記8の効果)
補正X線3次元ヘリカルCT装置と3次元MRI装置とは、通常仰臥位で撮像するように設定され、左側臥位での内視鏡検査の時とは***が異なる。ガイド画像に体表検出用素子の位置もしくは配向の検出値を基にガイド画像を作成する際、体腔内検出用素子の位置の検出値によりガイド画像に補正処理を施したため、被検体内の諸器官がX線3次元ヘリカルCT装置と3次元MRI装置に比して左側臥位での内視鏡検査の時に重力に従って変位しても、被検体内の点の写像も解剖学的に一層正確な一致をする。そのため、ガイド画像は、リアルタイム画像を一層正確にガイドすることができる。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の***に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
10.前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置及び配向を示す画像指標を作成する画像指標作成手段を有し、
前記ガイド画像作成手段は、前記検出手段が出力した前記画像位置配向検出用素子の位置及び配向と、前記体表検出用素子の位置もしくは配向の検出値を基に、前記画像指標を合成したガイド画像を作成し、
前記補正手段による前記補正処理が、前記体腔内検出用素子の位置の検出値により前記画像指標を前記3次元データ内もしくは前記ガイド画像内で平行移動した位置で合成することで前記ガイド画像を作成する処理であることを特徴とする付記8に記載の体腔内プローブ装置。
前記体腔内検出用素子を固定して内蔵した接触手段を有し、
前記接触手段は、前記チャンネルに挿通して前記被検体の前記体腔内の所定の位置に接触することを特徴とする付記8に記載の体腔内プローブ装置。
前記補正手段は、前記画像位置配向検出用素子の位置もしくは配向の検出値により前記ガイド画像に補正処理を施すことを特徴とする付記8に記載の体腔内プローブ装置。
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする付記8に記載の体腔内プローブ装置。
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記8に記載の体腔内プローブ装置。
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記8に記載の体腔内プローブ装置。
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記8に記載の体腔内プローブ装置。
人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、
前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記ガイド画像とを、対比可能に表示する表示手段と、
を具備し、
前記表示手段は、前記人体の前記3次元画像の頭側が右に、足側が左に、腹側が前記表示手段の画面手前の法線方向になるよう、前記ガイド画像を表示することを特徴とする体腔内プローブ装置。
被検体は内視鏡検査では通常左側臥位での***で検査される。ガイド画像も左側臥位で表示されるので、被検体とガイド画像とを対比しやすく、術者はガイド画像がわかりやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の***に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする付記17に記載の体腔内プローブ装置。
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記17に記載の体腔内プローブ装置。
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記17に記載の体腔内プローブ装置。
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記17に記載の体腔内プローブ装置。
人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、
前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に、前記3次元画像と前記画像指標とを合成し、少なくとも2つの互いに異なる方向に視線を設定したガイド画像を作成することを特徴とする体腔内プローブ装置。
2つの互いに異なる方向に視線を設定したガイド画像を作成したため、リアルタイム画像と膵臓などの関心領域との位置関係を複数の方向から、ガイドすることができるとともに、消化管等の体腔壁に対して、リアルタイム画像と体腔内プローブの可撓部と硬性部とがどのような配向や形状になっているのかを複数の方向からガイドすることができ、術者にはわかりやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の***に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
かつ、少なくとも前記2つのガイド画像のうち1つの視線を被検体の腹側もしくは背側からの方向に設定し、
かつ、少なくとも前記2つのガイド画像のうち1つの視線を被検体の頭側もしくは足側からの方向に設定することを特徴とする付記22に記載の体腔内プローブ装置。
かつ、少なくとも2つの前記ガイド画像のうち、少なくとも1つのガイド画像の視線方向を変更するガイド画像回転手段を設けたことを特徴とする付記22に記載の体腔内プローブ装置。
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする付記22ないし付記24のいずれか1つの付記に記載の体腔内プローブ装置。
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記22ないし24のいずれか1つの付記に記載の体腔内プローブ装置。
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記22ないし24のいずれか1つの付記に記載の体腔内プローブ装置。
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記22ないし24のいずれか1つの付記に記載の体腔内プローブ装置。
人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、
前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記3次元画像と前記画像指標とを合成し、視線を前記画像指標の法線と一致する方向になるよう設定された第1のガイド画像を作成することを特徴とする体腔内プローブ装置。
(付記29の効果)
第1のガイド画像とリアルタイム画像との方向が一致するため、術者は両者を対比しやすく、リアルタイム画像の解剖学的な解釈をしやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の***に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
被検体の頭側もしくは足側からの方向に設定された第2のガイド画像を作成することを特徴とする付記29に記載の体腔内プローブ装置。
前記表示手段は、画面の法線と前記第1のガイド画像に合成された前記画像指標の法線とを一致させ、前記第1のガイド画像と前記被検体内の前記リアルタイム画像とを対比可能に表示することを特徴とする付記29に記載の体腔内プローブ装置。
前記表示手段は、前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記第1のガイド画像の向きを一致させて対比可能に表示することを特徴とする付記31に記載の体腔内プローブ装置。
被検体の頭側もしくは足側からの方向に設定された第2のガイド画像を作成し、
前記表示手段は、前記第1のガイド画像と前記第2のガイド画像とを同時もしくは順次もしくは切り替えて表示することを特徴とする付記31又は32に記載の体腔内プローブ装置。
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成したことを特徴とする付記29ないし35のいずれか1つの付記に記載の体腔内プローブ装置。
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記29ないし35のいずれか1つの付記に記載の体腔内プローブ装置。
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記29ないし35のいずれか1つの付記に記載の体腔内プローブ装置。
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記29ないし35のいずれか1つの付記に記載の体腔内プローブ装置。
人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、
前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記3次元画像と前記画像指標とを合成し、前記3次元画像が前記画像指標によって分けられる2つの領域を、互いに表示態様を変化させて前記ガイド画像を作成することを特徴とする体腔内プローブ装置。
表示態様を変化させてガイド画像を作成するため、術者は、可撓部と硬性部とをさらにどう動かしたら、患部等の関心領域をリアルタイム画像上に表示できるかわかりやすく、体腔内プローブの可撓部と硬性部との操作をしやすい。
特に、胆嚢のように被検体内部で柔らかく動きやすい臓器は画像指標上には写っていながら、リアルタイム画像上には写らない可能性があるが、本構成によってガイド画像は、術者がもう少し硬性部と可撓部とを動かせば胆嚢のリアルタイム画像上での描出ができるという目印になるため、術者には、体腔内プローブの硬性部と可撓部との操作がしやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の***に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
42.前記ガイド画像作成手段は、前記3次元画像が前記画像指標によって分けられる前記2つの領域を、互いに輝度もしくは明度もしくは彩度もしくは表示色を変化させて前記ガイド画像を作成することを特徴とする付記40又は41に記載の体腔内プローブ装置。43.前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする付記40ないし42のいずれか1つの付記に記載の体腔内プローブ装置。
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記40ないし42のいずれか1つの付記に記載の体腔内プローブ装置。
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記40ないし42のいずれか1つの付記に記載の体腔内プローブ装置。
前記検出手段は磁場を用いて前記検出を行うことを特徴とする付記40ないし42のいずれか1つの付記に記載の体腔内プローブ装置。
人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、
前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記3次元画像と前記画像指標とを合成し、前記3次元画像が前記画像指標によって分けられる2つの領域のうち、一方を非表示にして前記ガイド画像を作成することを特徴とする体腔内プローブ装置。
(付記47の効果)
画像指標によって分けられる2つの領域のうち、一方を非表示にしてガイド画像を作成したため、臓器が術者のガイド画像の観察の邪魔になることなく、このガイド画像とリアルタイム画像との対比を一層しやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の***に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
49.前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする付記47に記載の体腔内プローブ装置。
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記47に記載の体腔内プローブ装置。
51.前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記47に記載の体腔内プローブ装置。
前記検出手段は磁場を用いて前記検出を行うことを特徴とする付記47に記載の体腔内プローブ装置。
2…超音波内視鏡
3…光学観察装置
4…超音波観測装置
5…位置配向算出装置
6…送信アンテナ
7…体表検出用コイル
8…体腔内接触プローブ
9…A/D変換ユニット部
11…画像処理装置
14…表示装置
15…X線3次元ヘリカルCT装置
21…硬性部
22…可撓部
26…CCDカメラ
29…超音波振動子アレイ
31…画像位置配向検出用コイル
32…挿入形状検出用コイル
42…体腔内検出用コイル
51…マッチング回路
52…画像指標作成回路
53…挿入形状作成回路
55…参照画像記憶部
56…補間回路
57…3次元人体画像作成回路
58…合成回路
59…回転変換回路
60…3次元ガイド画像作成回路A,B
61…混合回路
62…表示回路
65…体腔内特徴点指定キー
66…走査制御キー
Claims (10)
- 被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
人体の3次元データから前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段に対して位置が固定された画像位置配向検出用素子と、
前記被検体体腔内に接触可能な体腔内検出用素子を含む被検体検出用素子と、
前記画像位置配向検出用素子の位置及び配向と、前記体腔内検出用素子の位置と、を検出し、検出値として出力する検出手段と、
前記ガイド画像作成手段が、前記検出手段が出力した前記画像位置配向検出用素子の位置及び配向の検出値を基に前記ガイド画像を作成する際、前記体腔内検出用素子の位置の検出値により前記ガイド画像に補正処理を施す補正手段と、
を具備することを特徴とする体腔内プローブ装置。 - 前記被検体検出用素子が、前記被検体体表に接触可能な体表検出用素子をさらに含み、
前記検出手段が、前記画像位置配向検出用素子の位置及び配向と、前記体表検出用素子の位置もしくは配向と、前記体腔内検出用素子の位置と、を検出し、検出値として出力し、
前記ガイド画像作成手段が、前記検出手段が出力した前記画像位置配向検出用素子の位置と配向と、前記体表検出用素子の位置もしくは配向の検出値を基に前記ガイド画像を作成すること、
特徴とする請求項1に記載の体腔内プローブ装置。 - 前記補正手段による前記補正処理は、前記3次元データ内での平行移動処理であることを特徴とする請求項1に記載の体腔内プローブ装置。
- 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置及び配向を示す画像指標を作成する画像指標作成手段を有し、
前記ガイド画像作成手段は、前記検出手段が出力した前記画像位置配向検出用素子の位置及び配向と、前記体表検出用素子の位置もしくは配向の検出値を基に、前記画像指標を合成したガイド画像を作成し、
前記補正手段による前記補正処理は、前記体腔内検出用素子の位置の検出値により前記画像指標を前記3次元データ内もしくは前記ガイド画像内で平行移動した位置で合成することで前記ガイド画像を作成する処理であることを特徴とする請求項1に記載の体腔内プローブ装置。 - 前記体腔内プローブは管状のチャンネルを有し、
前記体腔内検出用素子を固定して内蔵した接触手段を有し、
前記接触手段は、前記チャンネルに挿通して前記被検体の前記体腔内の所定の位置に接触することを特徴とする請求項1に記載の体腔内プローブ装置。 - 前記画像位置配向検出用素子は、前記体腔内検出用素子を兼ね、
前記補正手段は、前記画像位置配向検出用素子の位置もしくは配向の検出値により前記ガイド画像に補正処理を施すことを特徴とする請求項1に記載の体腔内プローブ装置。 - 前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする請求項1に記載の体腔内プローブ装置。 - 前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする請求項1に記載の体腔内プローブ装置。 - 前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする請求項1に記載の体腔内プローブ装置。 - 前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする請求項1に記載の体腔内プローブ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007238333A JP4869189B2 (ja) | 2007-09-13 | 2007-09-13 | 医用ガイドシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007238333A JP4869189B2 (ja) | 2007-09-13 | 2007-09-13 | 医用ガイドシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006180435A Division JP4868959B2 (ja) | 2006-06-29 | 2006-06-29 | 体腔内プローブ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008036447A true JP2008036447A (ja) | 2008-02-21 |
JP4869189B2 JP4869189B2 (ja) | 2012-02-08 |
Family
ID=39172077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007238333A Active JP4869189B2 (ja) | 2007-09-13 | 2007-09-13 | 医用ガイドシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4869189B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010069018A (ja) * | 2008-09-18 | 2010-04-02 | Olympus Medical Systems Corp | 医用ガイドシステム |
JP2011212244A (ja) * | 2010-03-31 | 2011-10-27 | Fujifilm Corp | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
WO2015141635A1 (ja) * | 2014-03-20 | 2015-09-24 | オリンパス株式会社 | 挿入形状検出装置 |
JP2017227864A (ja) * | 2016-06-17 | 2017-12-28 | キヤノン株式会社 | 表示装置及び表示制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003305044A (ja) * | 2002-04-17 | 2003-10-28 | Olympus Optical Co Ltd | 超音波診断装置 |
JP2005312770A (ja) * | 2004-04-30 | 2005-11-10 | Olympus Corp | 超音波診断装置 |
JP2006116024A (ja) * | 2004-10-20 | 2006-05-11 | Olympus Corp | 超音波診断装置 |
WO2006057296A1 (ja) * | 2004-11-25 | 2006-06-01 | Olympus Corporation | 超音波診断装置 |
-
2007
- 2007-09-13 JP JP2007238333A patent/JP4869189B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003305044A (ja) * | 2002-04-17 | 2003-10-28 | Olympus Optical Co Ltd | 超音波診断装置 |
JP2005312770A (ja) * | 2004-04-30 | 2005-11-10 | Olympus Corp | 超音波診断装置 |
JP2006116024A (ja) * | 2004-10-20 | 2006-05-11 | Olympus Corp | 超音波診断装置 |
WO2006057296A1 (ja) * | 2004-11-25 | 2006-06-01 | Olympus Corporation | 超音波診断装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010069018A (ja) * | 2008-09-18 | 2010-04-02 | Olympus Medical Systems Corp | 医用ガイドシステム |
JP2011212244A (ja) * | 2010-03-31 | 2011-10-27 | Fujifilm Corp | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
WO2015141635A1 (ja) * | 2014-03-20 | 2015-09-24 | オリンパス株式会社 | 挿入形状検出装置 |
JP2015181495A (ja) * | 2014-03-20 | 2015-10-22 | オリンパス株式会社 | 挿入形状検出装置 |
JP2017227864A (ja) * | 2016-06-17 | 2017-12-28 | キヤノン株式会社 | 表示装置及び表示制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4869189B2 (ja) | 2012-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4868959B2 (ja) | 体腔内プローブ装置 | |
JP5208495B2 (ja) | 医療用システム | |
US8204576B2 (en) | Medical guiding system | |
EP2036494A2 (en) | Medical guiding system | |
JP5394622B2 (ja) | 医用ガイドシステム | |
JP4537756B2 (ja) | 超音波診断装置 | |
EP2042102B1 (en) | Ultrasonic diagnostic apparatus | |
JP4681857B2 (ja) | 超音波診断装置 | |
EP2430979B1 (en) | Biopsy support system | |
JP4869197B2 (ja) | 医用ガイド装置 | |
JP2007125179A (ja) | 超音波診断装置 | |
JP2010069018A (ja) | 医用ガイドシステム | |
JP4869189B2 (ja) | 医用ガイドシステム | |
JP5226244B2 (ja) | 医用ガイドシステム | |
JP2004121488A (ja) | 超音波診断装置 | |
JP4700434B2 (ja) | 超音波診断装置 | |
JP5307357B2 (ja) | 超音波診断装置 | |
JP2006087599A (ja) | 超音波診断装置 | |
JP4700405B2 (ja) | 超音波診断装置 | |
JP2008301969A (ja) | 超音波診断装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111115 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4869189 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |