JP4159396B2 - 内視鏡形状検出装置 - Google Patents
内視鏡形状検出装置 Download PDFInfo
- Publication number
- JP4159396B2 JP4159396B2 JP2003108016A JP2003108016A JP4159396B2 JP 4159396 B2 JP4159396 B2 JP 4159396B2 JP 2003108016 A JP2003108016 A JP 2003108016A JP 2003108016 A JP2003108016 A JP 2003108016A JP 4159396 B2 JP4159396 B2 JP 4159396B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- image
- display
- marker
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
【産業上の利用分野】
本発明は、磁界を用いて内視鏡の挿入形状を検出して表示するようにした内視鏡形状検出装置に関する。
【0002】
【従来の技術】
近年、内視鏡は医療用分野及び工業用分野で広く用いられるようになった。この内視鏡は特に挿入部が軟性のものは、屈曲した体腔内に挿入することにより、切開することなく体腔内深部の臓器を診断したり、必要に応じてチャンネル内に処置具を挿通してポリープ等を切除するなどの治療処置を行うことができる。
【0003】
この場合、例えば肛門側から下部消化管内を検査する場合のように、屈曲した体腔内に挿入部を円滑に挿入するためにはある程度の熟練を必要とする場合がある。
【0004】
つまり、挿入作業を行っている場合、管路の屈曲に応じて挿入部に設けた湾曲部を湾曲させる等の作業が円滑な挿入を行うのに必要になり、そのためには挿入部の先端位置等が、体腔内のどの位置にあるかとか、現在の挿入部の屈曲状態等を知ることができると便利である。
【0005】
このため、例えば特開平3ー295530号公報には挿入部に設けた受信用空中線(コイル)に対し、挿入部の外部に設けた送信用空中線(アンテナコイル)を走査して挿入部の挿入状態を検出するものがある。
【0006】
この従来例では内視鏡形状を検出することが可能であるが、1つのコイルの位置の検出のためにアンテナコイルを走査してコイルに誘起される電圧の最大となる状態と最小になる状態とに設定しなければならない。このために、1つのコイルの位置検出にさえ、アンテナコイルを広範囲に走査することが必要となり、その走査のために位置検出に時間がかかる。形状を検出するには複数のコイルの位置を検出することが必要になるので、形状を検出するにはさらに長い時間が必要になってしまう。
【0007】
また、USパテント4,176,662では内視鏡の先端のトランスジューサからバースト波を出し、周囲の複数のアンテナ又はトランスジューサで検出して先端部の位置をCRTにプロット等するものが開示されている。
また、USパテント4,821,731では体外の直交コイルを回転し、体内のカテーテルに設けたセンサの出力からカテーテルの先端位置を検出するものを開示している。
【0008】
これら2つは先端位置を検出するもので、形状を検出することを目的とするものでない。
【0009】
また、PCT出願GB91/01431号公開公報では内視鏡が挿入される対象物の周囲にX−Y方向にダイポールアンテナを格子状に多数並べてAC駆動し、一方、内視鏡側に内蔵したコイルで得られる信号より、内視鏡の位置を導出する従来例を開示している。
【0010】
この従来例では検出範囲よりも広い範囲にダイポールアンテナを格子状に多数並べなければ内視鏡形状を精度良く検出することが困難であり、大きなスペースが必要になってしまう。
【0011】
さらにPCT出願WO94/0438号公開公報に開示された従来例では3軸直交の複数のソースコイルからの磁界を内視鏡に設けたセンスコイルで検出し、検出した内視鏡形状をグレー表示するようにしている。
【0012】
【発明が解決しようとする問題点】
上記したように表示装置に表示される描像が内視鏡挿入形状のイメージのみであると、そのイメージと体腔内の臓器との位置関係がわからないため、視点位置を回転させてしまうと、どの方向から内視鏡形状を眺めているのか、頭の方向がどの向きを向いているのか等に関する情報は、例えばテキスト表示される角度の数値表示だけであり、感覚的な判断には不向きであった。要するに、上記PCT出願WO94/0438号公開公報に開示されたような従来例では内視鏡の挿入形状が検出できても、表示された内視鏡形状の画像には基準位置等が表示されないので、患者等の被検体内に挿入された内視鏡の形状を方向性を含めて把握することが困難であった。
【0013】
本発明は上述した問題点に鑑みてなされたもので、基準面位置や基準面からの内視鏡形状の離れ具合、患者の頭の方向が視覚的に判断でき、患者等の被検体内部に挿入された内視鏡の形状の把握が容易な内視鏡形状検出装置を提供することを目的とする。
【0014】
【課題を解決するための手段】
本発明の一態様による内視鏡形状検出装置は、内視鏡挿入部に複数位置させたソースコイルと、内視鏡検査用ベッドの予め定められた複数の位置に配置した3軸センスコイルと、を備え、磁界を用いて前記3軸センスコイルの位置から前記内視鏡挿入部内のソースコイルの各位置を求めて該内視鏡挿入部の形状を検出する内視鏡挿入部形状検出手段と、
前記内視鏡挿入部形状検出手段において検出した内視鏡挿入部の形状を表示手段に表示するための挿入部形状画像を生成する画像生成手段と、
前記3軸センスコイルの位置から既知であって前記挿入部形状画像の位置・方向を視覚的に判断する基準となるベッド面を、前記内視鏡挿入部の挿入部形状画像と一緒に前記表示手段に表示するよう制御する画像表示制御手段と、を具備している。
【0015】
【実施例】
以下、図面を参照して本発明の実施例を具体的に説明する。図1ないし図13は本発明の第1実施例に係り、図1は本発明の第1実施例を有する内視鏡システムの概略の構成を示し、図2は第1実施例の内視鏡形状検出装置の構成を示すブロック図で示し、図3は内視鏡形状検出装置の全体構成を示し、図4は3軸センスコイル及びプローブの構成を示し、図5はプローブ内のソースコイルの位置を複数のセンスコイルを用いて検出する様子を示し、図6はマーカプローブの構成を断面図で示し、図7は内視鏡形状検出装置の処理内容をフローで示し、図8は2画面モード及び1画面モードで内視鏡形状を表示するスコープモデル描画の処理をフローで示し、図9はスコープイメージ描写処理をフローで示し、図10はn角柱モデルでのスコープイメージ描写処理をフローで示し、図11はモニタ画面に1画面モードで表示される内視鏡形状の出力画像を示し、図12はモニタ画面に2画面モードで表示される内視鏡形状の出力画像を示し、図13はベッドに固定された世界座標系を示す。
図1に示すように内視鏡システム1は内視鏡6を用いて検査等を行う内視鏡装置2と、この内視鏡装置2と共に使用され、内視鏡6の挿入部7内の各位置を検出することにより、検出された各位置から挿入部7の形状を推定し、さらに推定された形状に対応するモデル化された(内視鏡)挿入部形状の画像を表示する内視鏡形状検出装置3とから構成される。
【0016】
(内視鏡検査用)ベッド4には、被検体としての患者5が載置され、この患者5の体腔内に、内視鏡6の挿入部7が挿入される。
この内視鏡6は細長で可撓性を有する挿入部7とその後端に形成された太幅の操作部8と、この操作部8の側部から延出されたユニバーサルケーブル9とを有し、このユニバーサルケーブル9の末端のコネクタ9Aはビデオプロセッサ11に着脱自在で接続できる。
【0017】
挿入部7には図示しないライトガイドが挿通され、このライトガイドはさらに操作部8から延出されたユニバーサルケーブル9内を挿通され、末端のコネクタ9Aに至る。そして、このコネクタ9Aの端面には、ビデオプロセッサ11に内蔵された図示しない光源部のランプから照明光が供給され、このライトガイドのよって伝送され、挿入部7の先端部の(照明光出射手段を形成する)照明窓に取り付けられた先端面から伝送した照明光を前方に出射する。
【0018】
この照明窓から出射された照明光により照明された体腔内の内壁或は患部等の被写体は先端部の照明窓に隣接して形成された観察窓に取り付けた図示しない対物レンズによってその焦点面に配置された固体撮像素子としてのCCDに像を結ぶ。
【0019】
このCCDはビデオプロセッサ11に内蔵された図示しない信号処理部内のCCDドライブ回路から出力されるCCDドライブ信号が印加されることにより、(CCDで)光電変換された画像信号が読み出され、挿入部7内等を挿通された信号線を経て信号処理部で信号処理されて標準的な映像信号に変換され、カラーモニタ12に出力され、対物レンズでCCDの光電変換面に結像した内視鏡像をカラー表示する。
【0020】
また、操作部8には湾曲操作ノブが設けてあり、このノブを回動する操作を行うことにより挿入部7の先端付近に形成した湾曲自在の湾曲部を湾曲できるようにして屈曲した体腔内経路にもその屈曲に沿うように先端側を湾曲させることによりスムーズに挿入できるようにしている。
【0021】
また、この内視鏡6には挿入部7内に中空のチャンネル13が形成されており、このチャンネル13の基端の挿入口13aから鉗子等の処置具を挿通することにより、処置具の先端側を挿入部7の先端面のチャンネル出口から突出させて患部等に対して生検とか治療処置等を行うことができる。
【0022】
また、このチャンネル13に(体腔内に挿入された挿入部7の)位置及び形状検出のためのプローブ15を挿入し、このプローブ15の先端側をチャンネル13内の所定の位置に設定することができる。
【0023】
図4に示すようにこのプローブ15には磁界を発生する磁界発生素子としての複数のソースコイル16a,16b,…(符号16iで代表する)が、絶縁性で可撓性を有する円形断面のチューブ19内に例えば一定間隔dとなる状態で、可撓牲の支持部材20とチューブ19内壁に絶縁性の接着剤で固定されている。
【0024】
各ソースコイル16iは例えば絶縁性で硬質の円柱状のコア10に絶縁被覆された導線が巻回されたソレノイド状コイルで構成され、各ソースコイル16iの一端に接続されたリード線は共通にされて支持部材20内を挿通され、他端のリード線17はチューブ19内を手元側まで挿通されている。また、チューブ19内には絶縁性の充填部材が充填され、チューブ19が屈曲されてもチューブ19がつぶれないようにしている。また、チューブ19が屈曲されて変形した場合でも、各ソースコイル16iは、硬質のコア10に導線が巻回して、接着剤で固定されているので、ソースコイル16i自身はその形状が変形しない構造にしてあり、磁界発生の機能はチューブ19が変形した場合でも不変となるようにしている。
【0025】
各ソースコイル16iの位置は内視鏡6の挿入部7内の既知の位置に設定されており、各ソースコイル16iの位置を検出することにより、内視鏡6の挿入部7の離散的な位置(より厳密には各ソースコイル16iの位置)が検出できるようにしている。
【0026】
これらの離散的な位置を検出することにより、それらの間の位置もほぼ推定でき、従って離散的な位置の検出により、体腔内に挿入された内視鏡6の挿入部7の概略の形状を求めることが可能になる。
【0027】
各ソースコイル16iに接続されたリード線17はプローブ15の後端に設けた、或はプローブ15の後端から延出されたケーブルの後端に設けたコネクタ18に接続され、このコネクタ18は(内視鏡)形状検出装置本体21のコネクタ受けに接続される。そして、後述するように各ソースコイル16iには駆動信号が印加され、位置検出に利用される磁界を発生する。
【0028】
また、図1に示すようにベッド4の既知の位置、例えば3つの隅にはそれぞれ磁界を検出する磁界検出素子としての3軸センスコイル22a,22b,22c(22jで代表する)が取り付けてあり、これらの3軸センスコイル22jはベッド4から延出されたケーブル29を介して形状検出装置本体21に接続される。
【0029】
3軸センスコイル22jは図4に示すようにそれぞれのコイル面が直交するように3方向にそれぞれ巻回され、各コイルはそのコイル面に直交する軸方向成分の磁界の強度に比例した信号を検出する。
【0030】
上記形状検出装置本体21は、3軸センスコイル22jの出力に基づいて各ソースコイル16iの位置を検出して、患者5内に挿入された内視鏡6の挿入部7の形状を推定し、推定した形状に対応したコンピュータグラフィック画像をモニタ23に表示する。
【0031】
内視鏡形状検出装置3は磁気を利用しているので、磁気に対して透明でない金属が存在すると鉄損などにより、影響を受けてしまい、磁界発生用のソースコイル16iと検出用の3軸センスコイル22jの間の相互インダクタンスに影響を与える。一般に、相互インダクタンスをR+jXで表すと、(磁気に対して透明でない金属は)このR,X両者に影響を及ぼすことになる。
【0032】
この場合、微少磁界の検出で一般に用いられている直交検波で測定される信号の、振幅、位相が変化することになる。そのため、精度よく信号を検出するためには、発生する磁界に影響を与えない環境を設定することが望ましい。
【0033】
これを実現するためには、磁気的に透明な材料(換言すると磁界に影響を及ぼさない材料)でベッド4を作ればよい。
この磁気的に透明な材料としては例えば、デルリン等の樹脂、木材、非磁性材金属であればよい。
【0034】
実際にはソースコイル16iの位置検出には交流磁界を用いるため、駆動信号の周波数において磁気的に影響のない材料で形成しても良い。
そこで、本内視鏡形状検出装置3とともに使用する図1に示す内視鏡検査用ベッド4は、少なくとも、発生する磁界の周波数において磁気的に透明な非磁性材で構成されている。
【0035】
図2の内視鏡形状検出装置3のブロック図において、内視鏡6のチャンネル13内に設定されたプローブ15内のソースコイル16iにソースコイル駆動部24からの駆動信号が供給され、この駆動信号が印加されたソースコイル16i周辺に磁界が発生する。
【0036】
このソースコイル駆動部24は、(磁界発生用)発振部25から供給される交流信号を増幅して、必要な磁界を発生するための駆動信号を出力する。
発振部25の交流信号は、ベッド4に設けられた3軸センスコイル22jで検出される微少な磁界を検出するための(相互インダクタンス)検出部26に参照信号として送出される。
【0037】
3軸センスコイル22jで検出される微少な磁界検出信号は(センスコイル)出力増幅器27で増幅された後、検出部26に入力される。
検出部26では、参照信号を基準として、増幅、直交検波(同期検波)を行い、コイル間の相互インダクタンスに関連した信号を得る。
【0038】
複数のソースコイル16iが存在するので、各ソースコイル16iに接続されたリード線へ駆動信号を順次供給するように切り換える切り換え手段となる(ソースコイル駆動電流)分配器28がソースコイル駆動部24とソースコイル16iの間に存在する。
【0039】
上記検出部26で得られた信号は、形状算出部30を構成する(ソースコイル)位置検出部(又は位置推定部)31に入力され、入力されたアナログ信号をデジタル信号に変換して位置検出の計算或は位置推定の演算を行い、各ソースコイル16iに対して推定された位置情報を得る。
この位置情報は形状画像生成部32に送られ、得られた離散的な各位置情報から間を補間する補間処理等のグラフィック処理して内視鏡6(の挿入部7)の形状を推定し、推定された形状に対応する画像を生成し、モニタ信号生成部33に送る。
【0040】
モニタ信号生成部33は形状に対応する画像を表すRGB或はNTSC或はPAL方式等の映像信号を生成し、モニタ23に出力し、モニタ23の表示面に内視鏡6の挿入部形状に対応する画像を表示する。
【0041】
なお、位置検出部31は1つの位置検出の計算を終了した後に、分配器28に切り換えの信号を送り、次のソースコイル16iに駆動電流を供給してその位置検出の計算を行う(各位置検出の計算を終了する前に、分配器28に切り換えの信号を送り、センスコイル22jで検出した信号をメモリに順次記憶させるようにしても良い)。
【0042】
また、システム制御部34はCPU等で構成され、位置検出部31、形状画像生成部32、モニタ信号生成部33の動作等を制御する。また、このシステム制御部34には操作部35が接続される。図3に示すようにこの操作部35はキーボード35a及びマウスス35b等で構成され、これらを操作することにより、内視鏡形状の描画モデルの選択とか、モニタ23に表示される内視鏡形状を選択された視野方向に対する画像で表示させる指示を行うこともできる。
【0043】
特に、この実施例では操作部35(より詳しくは図3のキーボード35aの)特定のキー入力の操作を行い、システム制御部34に2画面表示の指示信号を入力することによって、形状画像生成部32は1つの視点方向に対応する画像を生成すると共に、この視点方向と90゜異なる視点方向からの画像を生成し、モニタ信号生成部33を経てモニタ23に同時に2つの画像を表示する。
【0044】
つまり、形状画像生成部32は互いに直交する視点方向からの2つの形状画像と、1つの視点方向からの形状画像とを生成する2/1形状画像モードの機能を有し、指示(選択)に応じてモニタ23に2又は1形状画像を生成し、モニタ23には指示により生成された2又は1形状画像を表示する。図3のモニタ23では2形状画像モードでの2つの形状画像が表示された様子を示している。
【0045】
この実施例では、このように互いに90゜異なる視点方向からの内視鏡形状を2画面で同時に表示する検出画像表示手段(形状画像生成部32と、モニタ信号生成部33と、モニタ23とで構成される)を有することが大きな特徴となっている。
【0046】
なお、図2の点線で示す形状算出部30はソフトウェアを含む。また、モニタ23に表示される内視鏡形状の表示を理解し易くするために表示画面上での基準位置等を表示させるための補助手段としてのマーカプローブ36a,36b(単にマーカと略記)を接続できるように構成され、マーカ36a,36bを使用して術者によって任意に設定された基準位置等を内視鏡形状と共にモニタ23の表示画面に同時に表示し、内視鏡形状の把握を容易にできるようにしている。
【0047】
マーカ36a,36bは電流分配器28に接続され、プローブ15内のソースコイル16iと同様に電流分配器28を介してマーカ36a,36b内のソースコイルに駆動信号が印加されるようにしている。なお、第1実施例ではマーカ36a,36bは画面上で基準位置を表示することにより、内視鏡形状の把握を容易にするのに使用される。第2実施例では、その使用態様も選択できるようにしている(後述)。
【0048】
内視鏡検査の場合には、患者5はベッド4の上にいるため、内視鏡6の位置は必ずベッド4の上になる。
つまり、ベッド4の4隅にセンサとなる3軸センスコイル22jを設ければ、このセンサ群に囲まれた領域の中に内視鏡6(内のソースコイル16i)が存在することになるので、設置した3軸センスコイル22jごとにソースコイル16iの存在する象現が限定される。
【0049】
ソースコイル16iを駆動したときの1つの3軸センスコイル22の出力をXi,Yi,Ziとすると、Xi^2+Yi^2+Zi^2で関連づけられる磁界強度となる3軸センスコイル22からの距離にソースコイル16iが存在することになる。
【0050】
しかし、1軸コイルは一般にダイポールとして表現され、その等磁界面は球にならないで楕円状になる。
そのため、どの方向を向いているかが未知のソースコイル16iの位置を一つの3軸センスコイル22による等磁界面Xi^2+Yi^2+Zi^2のみからは同定できない。
【0051】
そのため、ベッド4に複数設けた3軸センスコイル22jそれぞれに関して測定されるXj^2+Yj^2+Zj^2で関連づけられる距離を用いる。この場合、各3軸センスコイル22jの設置位置は既知であるので、例えばベッド4に固定した1つの座標系で表すことができる。この場合には位置検出及び形状検出の基準面はベッド4となる。
ソースコイル16iで発生する等磁界面が一般的にXs^2+Ys^2+Zs^2と表される磁界強度をセンスコイル22jで検出してその間の距離を推定することを考える。
【0052】
すると、センスコイル22jで検出された磁界強度からその磁界強度を含むような等磁界面を想定すると、中心のソースコイル16iに対してその等磁界面上にセンスコイル22jが存在することになり、中心から等磁界面までの距離の最大値及び最小値をそれぞれRmaxj、Rminjと、それらの間の距離にセンスコイル22j及びソースコイル16iが存在することになる。
【0053】
つまり既知の位置のセンスコイル22jを基準にすると、図5に示すように最大距離Rmaxjの距離の内側、最小距離Rminjの外側にソースコイル16iが存在することになる。
【0054】
各3軸センスコイル22jで測定され、各3軸センスコイル22jごとに異なるXj、Yj、Zjに対応するRmaxj、Rminjで表される球殻の重なり(volume)の中にソースコイル16iが存在することになるのでその領域の重心をコイル位置として検出することができる。
これで、位置が求められるが、Rmax、Rminの差が大きい場合には誤差が生じる可能性がある。
【0055】
そこでXj、Yj、Zjに含まれる位相情報にソースコイル16iの傾きが表されていることを利用して先に求めたvolumeのなかでの傾きを求める。
これにより、さらに正確な位置となるよう、先の位置を補正する。
また、ソースコイル16iの相互の間隔は既知であるので、さらにこの値で補正してもよい。
【0056】
この様にして検出された複数の位置情報により推定された内視鏡6の挿入部7の形状を後述するようにモデル化した画像100で、モニタ23の表示面に例えば図11のように左側のグラフィックス出力領域に表示される。右側の領域はユーザがキーボード35bからのキー入力等により、視点(位置と原点との距離)、回転角、視点位置とZ軸とのなす仰角等を設定するユーザインタフェース領域である。
【0057】
図6はチューブ形状のマーカ36aの構造の具体例を示す。マーカ本体部41はグリップカバー42で覆われ、内部にソースコイル43が収納され、その周囲には絶縁樹脂44が充填されている。ソースコイル43は磁性体材料のコア部材45に導線46を巻回して形成され、巻回された2つの導線46の端部はそれぞれ絶縁部材40で被覆されたシールド線47で覆われている。このシールド線47はさらにシリコンチューブ48で被覆されている。このシールド線47の後端はコネクタ49aに至る。このコネクタ49aはコネクタ受け部材に固定されている。
【0058】
グリップカバー42とシリコンチューブ48との接続部分と、シリコンチューブ48とコネクタ受け49bとの接続部分はそれぞれ折れ止め部材50で折れないようにしている。
【0059】
図7はスコープ内のソースコイル16iの作る磁界を外部の3軸センスコイル22jによって検出し、磁界強度と2点間の距離との関係からソースコイル16iの位置を得、複数のソースコイル16iの各位置検出に基づいて挿入状態にある挿入部形状(簡単にスコープ形状とも記す)をモニタ(CRTとも記す)上に表示するフローを示す。
このフローの全体構成は、その処理内容別に、以下のB1〜B4の4ブロックに大別することが出来る。
【0060】
B1:初期化ブロック
このブロックで、本プログラムの全機能に関する初期化作業が完了する。具体的には、スコープ形状をCRT上に出力する手法に基づく初期パラメータの設定、ハードウェアが検出する磁界強度から得られた位相情報と振幅情報とから、ソースコイル16iの存在位置を算出する際に使用する基本データのメモリ読み込み、ハードウェアを制御するための各種ボードの初期化等が実施される。
【0061】
B2:ハードウェア制御ブコック
本システムでは、内視鏡6の挿入部7内に配置固定されたソースコイル16iの位置座標をソースコイル16iの発生する磁界強度から算出し、これを基に挿入状態にある内視鏡6の挿入部7の形状を推定する。
このブロックでは、ソースコイル16iの駆動を切換えて磁界を発生させ、その発生磁界強度をセンスコイル22jで検出し、この検出出力をソースコイル位置座標が計算できる形に変換して出力するまでを担う。
【0062】
ソースコイル16iの駆動切換えは、内視鏡6のどこに位置するソースコイルかが分かるようになっており、ソースコイル16iの磁界強度を検出するセンスコイル22jは、図4に示したように直交する3つ軸にそれぞれのコイルの面が平行となるように製作され、1個のセンスコイル22jにつき直交する3軸方向の磁界強度成分が検出できるように構成されている。検出された磁界強度のデータは、ソースコイル位置を計算する際に必要となる振幅データと位相データとに分離されて出力される。
【0063】
B3:ソース位置算出ブロック
前ブロックでの磁界検出によって得られた振幅データと位相データを基に、磁界強度と2点間の距離との関係を利用して、ソースコイル16iの位置座標を算出するまでを担う。まず、振幅データと位相データに対して、センスコイル22jの各軸方向の径の大ききの違いやソースコイル16iとセンスコイル22jとの位置の関係の捕正を施して、各センスコイル22jの設置位置で検出されると考えられる磁界強度を算出する。
【0064】
こうして算出された磁界強度から、ソースコイル16iとセンスコイル22j間の距離を求める。但し、挿入状態にあるソースコイル16iの姿勢(ソレノイド状コイルの方位)が分からないため、ソースコイル16iの存在位置はある球殻の範囲内までの限定しかできない。そこで、センスコイル22jを3個以上用意し、ソースコイル16iの存在可能な領域の重なりを求め、その領域の重心位置をソースコイル16iの位置座標として出力する。
【0065】
B4:画像表示ブロック
ソースコイル位置座標として得られたデータを基にスコープ形状を構築して、その描像をCRT上に出力するまでを担う。ソースコイル位置座標として得られた1個以上の座標をデータを基に、全体として滑らかな連続座標を構築する。この連続座標によりスコープ形状らしく見せるためのモデリング処理を行う(多角形柱、色階調、彩度、輝度の利用、陰線処理、パースペクティブ等)。
【0066】
更に、CRT表示されたスコープイメージモデルは、任意の方向に回転、拡大縮小が可能であり、現表示の視点位置や患者の頭方向が一目で分かるボディーマーカ等も表示できる。終了時の視点位置は自動的に保存され、次回の初期視点位置となる。術者が見易いと考える視点方向を記憶するホットキーも存在する(第1実施例の第2の変形例として後述する)。
次に各ブロックごとのより詳しい内容を説明する。
【0067】
B1:初期化ブロック
最初のステップS11ではグラフィック頁の初期化(VRAMの初期化)を行う。また、CRT表示したスコープイメージ像を更新する際、新しい像を上書きすると、観察者に対し、書き換えがちらつく画像の印象を与え、スムーズな画像で無くなってしまう。そこで、複数のグラフィック頁を絶えず切換えてイメージを表示することで、動画像的な滑らかさを実現している。
また、使用する色、階調の設定を行う。使用できる色数はハードウェアごとに制限がある。そこで、図11に示すように挿入部7をモデル化して表示した画像100に割り当てる色数を多くし、また階調表示を行うようにすれば、立体的のある画像表示が可能になる。なお、図11において、2つの円は基準位置を示すマーカを示し、四角のフレームはベッドを示す。
【0068】
視点に近いほど明るく、遠いほど暗く表示する階調表示を行うことにより、挿入部7を2次元で表示した画像100に立体感や奥行きを持たせて表現することが可能になる。もちろん、階調数を増減することは任意である。また、階調以外に採用している色もR,G,Bの構成より作られており、微妙な彩度や輝度を表現することも可能である。
【0069】
次のステップS12で初期視点位置の自動読み込み等のイメージパラメータの初期化を行う。
スコープ像をどのように見ることが見易いと感じるかは、術者の好みによるところが大きい。もし、初期視点位置を固定してしまうと、術者はスコープ像が見やすいと感じる視点位置にわざわざ再設定しなければならず、使い勝手が低下する。
【0070】
そこで、希望とする視点位置をファイル(パラメータファイル)の形で保存しておき、プログラム起動時にそのファイルを読み込むことで、プログラム開始直後から術者の見やすい視点位置からスコープ像を見ることが出来る手段を設けた。
【0071】
また、この実施例では図11に示すようにスコープ像の出力領域とテキスト画面の出力領域とを分割表示する。
スコープ像とテキスト画面を分割したことにより、スコープ像の回転や拡大縮小の程度を視覚的、数値的の両面から確認できるようにした。尤も、図12に示す2画面表示モードでは左右にスコープ像を同時に表示することになる。
次のステップS13でソースコイル位置導出のための原理を格納した原理元データをロードする。このデータは次の関係の基準データ或は基準情報である。
【0072】
測定原理は、1軸のソースコイル16iの出力を直交3軸で製作されたセンスコイル22jで検出し、その磁界強度よりソースコイル16iとセンスコイル22jの間隔を得ることである。両コイルの間隔を得るにあたり、1軸ソースコイル16iの作り出す磁界分布を示す超函数から直接解くのではなく、ソースコイル16iの姿勢(軸方向の方位)の違いによる最大となる磁界強度出力と最小となる磁界強度出力とを利用する新しい距離算出法を採用している。
【0073】
つまり、1軸ソースコイル16iと3軸センスコイル22jとの距離を様々な値に設定したときに、各距離値でソースコイル16iの軸方向を変えた場合に3軸センスコイル22jの位置で検出される最も大きい磁界強度の値(最大磁界強度値)と、最も小さい磁界強度の値(最小磁界強度値)を測定したものを、それぞれプロットしてグラフ化にした最大磁界強度曲線、最小磁界強度曲線のデータを距離算出の基準データとして準備している。
【0074】
この基準データを用いることにより、3軸センスコイル22jで検出された磁界強度から1軸ソースコイル16iの距離算出を以下のように行うことが可能になる。
【0075】
ある磁界強度Hが検出された場合、その値Hを最大磁界強度値とした場合の半径、つまり距離が最小となる最小半径r_minと、その値Hを最大磁界強度値とした場合の半径、つまり距離が最大となる最大半径r_maxとに挟まれる球殻内にしかソースコイル16iは存在し得ないとの限定を加えることが可能になる。この限定を各センスコイル22jの位置で行うことにより、図5に示すようにソースコイル16iの存在領域を限定できる。
【0076】
これら最大磁界強度曲線、最小磁界強度曲線に対応するデータはハードディスク等のデータ格納手段に格納されており、内視鏡形状表示の動作が開始すると、位置検出部31は必要に応じて参照する。
【0077】
なお、3軸センスコイル22jで検出される磁界強度に比例した実際の測定値は、この3軸センスコイル22jを構成する3つのコイルでそれぞれ検出された信号22X,22Y,22Zをそれぞれ2乗して総和した値、22X・22X+22Y・22Y+22Z・22Zの平方根を求めた値であり、この求めた値を標準の磁界測定装置(例えばガウスメータ)でキャリブレイションすることにより、正確な磁界強度の測定値を得ることができる。
上記最大磁界強度及び最小磁界強度のデータを記録したファイル(max_minデータファイル)をロードすると共に、補正用データファイルから補正用データもロードし、センスコイル22jの径の補正等も行い、精度の高い位置検出を行うことができるようにしている。
【0078】
上述のデータのロードの後、次のステップS14でハードウェアの初期化を行う。このステップS14では図2の分配器28の設定内容をリセットして初期状態にする。また、形状算出部30を構成する図示しないA/Dコンバータの設定内容をリセットし、使用環境(例えばそのチャンネル数をソースコイルの数及び使用するマーカ数に設定)に対応した設定状態にする。こうしてハードウェアを形状算出の使用可能な状態に設定し、次のブロックB2を動作させる。
【0079】
B2:ハードウェア制御ブロック
まず、ステップS21では図2を参照して説明したように分配器28に切換信号を印加してソースコイル16iを選択し、そのソースコイル16iをドライブする。そのソースコイル16iで発生した磁界はセンスコイル22jで検出される。
【0080】
従って、ステップS22に示すようにセンスコイル22jで検出された検出信号を検出部26を構成する図示しない位相敏感検出器(PSD)を経てA/Dコンバータでサンプリングする。サンプリングされたデータは一旦、形状算出部30内のメモリに書き込まれる。
ステップS23に示すように形状算出部30を構成する例えばCPUは全てのソースコイル16iに対する駆動が終了したか否かを判断し、終了していない場合には次のソースコイル16iを駆動するように制御する。
【0081】
そして、全てのソースコイル16iを駆動した場合には、メモリのデータ(PSDを経たPSDデータ)から振幅データ、位相データを算出する(図7のステップS24のPSD算出、ステップS25の振幅データ、位相データ参照)。なお、マーカを使用した場合にはさらに接続したマーカに内蔵された各ソースコイルに対して、プローブ15に内蔵されたソースコイル16iと同様に駆動信号を印加してマーカのソースコイルに対しても振幅データ、位相データを算出することになる。
【0082】
上記振幅データ、位相データから次のブロックB3の処理に移る。まず、ステップS31の磁界強度算出を、補正係数を用いて行う。
次に図7のステップS32の(ソースコイル16iとセンスコイル22j間の)最大距離と最小距離の算出を最大及び最小距離データを用いて行う。
【0083】
このステップS32は前のステップS31で得られた磁界強度を用いて、センスコイル22jとソースコイル16iとの最大の距離と最小の距離とを算出するまでの処理を行う。
【0084】
2点間の距離と磁界強度とに比例関係が存在することは、ごく一般に広く知られた物理現象である。しかし、ある空間上の一点にl軸のソースコイル16iが作り出す磁界強度は一般に超函数で表されるため、たとえソースコイル16iの向きが分かり、磁界強度が測定されても、ソースコイル16iの存在する方向や距離を算出するのは容易ではない。
【0085】
そこで、ある磁界強度が検出できた場合、その出力が最も強く取れる方向にソースコイル16iが向いていると仮定した場合の距離をR_max、最も弱く取れる方向にソースコイル16iが向いていると仮定した場合の距離をR_minとすれば、真のソースコイル16iとセンスコイル22j間の距離R_trueは、R_min≦R_true≦R_maxという範囲内に限定することが出来る。
【0086】
ここで採用した距離の算出手段或は方法は、距離R_trueの値が確実には求まらないものの、複雑な超函数を解くということを要求されない極めて簡便な手段或は方法である上、1軸のソースコイル16iの向きが分からない場合でも、ソースコイル16iの存在範囲を限定できる応用範囲の広い手段或は方法となる。
【0087】
次にステップS33のソースコイル16iの位置座標算出を行う。このステップS33ではセンスコイル22jとソースコイル16iとの距離から、ソースコイル16iの座標を算出するまでの処理を行う。
あるセンスコイル22jから見たときのソースコイル16iの存在しうる範囲は、前のステプS32で得られたR_maxとR_minとによって囲まれる球殻内である。
このようなソースコイル16iの存在しうる範囲をより微小な空間に限定するため、複数個のセンスコイル22jから見いだされたソースコイル16iの存在可能領域の重ね合わせを利用する。各々のセンスコイル22jに対し、同一のソースコイル16iから得られたソースコイル16iの存在領域は、ソースコイル16iの位置が動いていない限り、すべてが重なり合う領域が必ず存在する。
【0088】
このような領域の境界は、各々のセンスコイル22j位置を中心とする半径R_max,R_minの球の交点に他ならない。球の交点であることから、少なくともセンスコイル22jが3個あれば、ソースコイル16iは各センスコイル22jのR_max,R_minを半径とする球の8交点によって囲まれる微小領域にその存在が限定できる。
【0089】
このソースコイル位置限定方法は、3個の球の交点を算出するという単純な算術計算であるので、その処理時間がかからない上、ソースコイル16iの存在領域をごく微小な領域内に限定することを可能にした極めて優れた方法である。
【0090】
このようにして各ソースコイル16iの位置座標の算出を行い、ステップS34のソースコイル16iの位置座標データを得る。マーカを使用した場合にはマーカのソースコイルに対しても同様に位置座標の算出を行う。
これらのデータを用いて次のブロックB4の処理に移る。
【0091】
B4:画像表示ブロック
このブロックB4は、ソースコイル16iの位置座標データを基に、挿入状態にあるスコープ形状イメージをCRT上に描写するまでの処理を担う。
ソースコイル16iの位置座標は、挿入されたスコープの通過した軌跡である。そこで、これを基に挿入状態にあるスコープ形状を推定する。スコープの挿入形状が推定できたら、結果をCRT上に描写する。そのとき3次元のスコープ形状を2次元のCRT画面で表示しなければならないため、その描像がより3次元的に表されるような工夫が必要となる。
【0092】
又、スコープイメージが任意の方向に回転させられたり、今どのような方向からスコープイメージを眺めているのかが瞬時に判断できるようであれば、その使い勝手はさらに向上する。
このようなことを鑑み、この装置3においては以下のように機能別に分類し、それぞれのモジュールごとの特徴を加え合わせた表示方法を実現した。
【0093】
S41キーボード入力処理
S42スコープモデル描写
(S43基準面表示処理)
(S44マーカ表示処理)
スコープイメージの描写には、これらすべてが必要なわけではないので、必要に応じて機能を取捨選択できる。図7ではS41のキーボード入力処理及びS42のスコープモデル描写の処理のみを示している。このブロックB4の処理の後、ステップS45の表示画面ビデオページ設定の処理が行われ、VRAMにモデル化された画像データがセットされ、その後その画像データがCRTに出力されてステップS46のスコープイメージ表示の処理が行われる。そして、プログラム終了か否かの判断の処理(ステップS47)により、終了が選択された場合には終了し、そうでない場合にはブロックB2に戻り、同様の動作を繰り返す。
そこで各モジュール毎の特徴を以下で説明する。
【0094】
S41:キーボード入力処理
ここでは、与えられたユーザコマンドに対応するキー入力がなされた場合、その内容に応じて設定パラメータ等を変更するまでを担う。
【0095】
ユーザからの要求が高いと考えられる付加機能が装備されていることは、その装置の使い勝手を左右する。又、機能選択は平易な作業であり、ユーザが望む際には常に操作が可能で、ユーザの要求内容が速やかに実現される必要がある。
【0096】
このステップS41はキーボードからの入力取得を行い、そのキー入力に対応したコマンドなどの処理を行う。
【0097】
キー入力に対応したコマンドとしては、X,Y,Zの各軸回りのイメージ像の回転、イメージ像の拡大&縮小、初期視点位置からのイメージ像表示、ユーザ登録視点位置からのイメージ像表示、視点位置のユーザ登録、イメージ出力の画面の複数分割、コメント入力の画面表示、背景色の変更、マーカ表示のON/OFF、ソースコイル座標の数値表示ON/OFF、プログラム終了がある。
【0098】
次にこの第1実施例の大きな特徴となるスコープモデル描写の説明を行う。 ステップS41のキーボード入力処理の次に図7に示すステップS42のスコープモデル描写を行う。
【0099】
このスコープモデル描写の処理フローではユーザの選択に応じて、スコープ形状を1画面モードで図11のように表示したり、図12に示す2画面モードで表示できるようにしている。
このスコープモデル描写の処理フローの具体例を図8に示す。
【0100】
まず、ステップS51で描画に必要なパラメータファイルをロードする処理を行い、ハードディスク等のパラメータファイルの記録装置から、X,Y,Z軸の回りの回転角(ピッチ、ヘッド、バンク)、視点(ビューポイント)、プロジェクトスクリーン、マーカモードのNo.等のデータをロードし、形状算出部30を構成するメモリに一時書き込み、CPUは必要な時にそれらを参照して描画の処理を行えるようにする。
【0101】
次に、ステップS52で各変数初期化を行う。ロードしたデータ等を参照して描画に使用する変数を初期値にセットする。次にステップS53で検査終了のキー入力に設定されたファンクションキーとしてのf・10が押されたか否か(図8ではf・10_key ON?と表記)の判断が行われ、押された場合にはスコープイメージ表示の処理を終了し、押されていない場合には、1画面モードか否かの判断を行う(ステップS54)。
【0102】
このステップS54では、画面モード切換のキーに設定されたホットキーとなるHELPキーが押されたか否かによって1画面モードか否かの判断を行い、例えば押されていない場合には1画面モードであると判断して、さらにHELPキーが押されたか否か(図8ではHELP_key ON?と表記)の判断を行い(ステップS55)、2画面モードへの切換を行うことができるようにしている。
【0103】
具体的には例えば2ビットの2画面表示フラグを用意し、初期設定ではこのフラグを0にセットし、HELPキーが押される毎に1を加算する。そして、画面モードの判断はこのフラグの値を調べ、フラグの値が0の場合には、1画面モードであると判断し、フラグの値が1、つまりONされている場合には、2画面モードであると判断する。
【0104】
また、ステップS54で2画面モードと判断された場合にも、さらにHELPキーが押されたか否かの判断を行い(ステップS56)、1画面モードへの切換を行うことができるようにしている。
ステップS55でHELPキーが押されたと判断した場合には(1画面モードにおいて、2画面モードへの切換のキー入力が行われた場合には)、次のステップS57で2画面モードをONした後、さらにステップS58で2画面モードの初期設定を行う。
【0105】
まず、1画面表示モードに設定されているグラフィックモードの設定を解除し、2画面表示モード用に設定する。また、2画面表示モード用に表示枠を設定すると共に、2画面表示フラグをONにする。
【0106】
また、次のステップS59でヘッド角(Y軸の回りの回転角)が0より大きいか否かの判断を行い、否の場合にはヘッド角を0にセットし(ステップS60)、次ぎのステップS61の左画面ビューポート設定の処理に移る。一方、0より大きいと判断した場合にはそのヘッド角で、次ぎのステップS61の左画面ビューポート設定の処理に移る。
【0107】
左表示画面に垂直イメージ内視鏡形状(真上から見た形状)を表示するため、画面中心から左に表示用の領域を設定する。また、この設定した領域をクリアする。さらに検査領域表示枠を表示の場合には、検査領域の枠を描画する(後述する変形例では検査領域表示枠の表示及び非表示を選択できるようにしている)。
その後にステップS62のスコープイメージ描画を行う。
【0108】
ここでは、磁界検出から得られたソースコイル位置座標から、スコープ形状を作成し、そのイメージ像を3次元的にCRTに表示するまでを担う。得られるソースコイルの位置座標は、スコープに挿入されたソースコイルの数の飛び飛びのデータである。そこで、これらのデータを基に、挿入状態にあるスコープ形状を推定しなければならない。さらに、このようにして得られたスコープ形状データを、3次元的な形状としてモデル化した画像でCRT上に出力する。このモデル化したイメージ描画の基本的な処理内容を図9に示す。
【0109】
S62_a:算出されたソースコイル間の3次元補間
ステップS62_aの算出ソースコイル間の3次元補間の処理では、磁界強度検出に基づいて算出されたソースコイル位置座標は離散的であるため、この算出データのみをつないでも軌跡が角張ってしまい、連続的に位置が変化するスコープ形状に対応しない。滑らかな全体のスコープ形状を作成するために、ソースコイル位置座標データに対して3次元補間を実施する。
【0110】
S62_b:3次元モデルの構築
現実のスコープは太さを持っているため、いくら滑らかなデータ点が得られているとしても、太さを持たない直線等で結び合わせたのでは現実のスコープを描写したとは言えない。そこで、ステップS62_bの3次元モデルの構築の処理では捕間データ間の連結を円柱またはn角柱モデル等で行い、太さの点においても実際のスコープ形状に対応して表示できるようにする。
【0111】
S62_c:アフィン変換
スコープ形状は、指定された視点位置から見た像として出力する。そこで、ステップS62_cのアフィン変換の処理では、ソースコイル位置導出の基準座標系としての世界座標系で得られているスコープ形状モデルデータを、画面表示用の視点座標系に変換する。なお視点位置は、ユーザが変更することが可能である。変更された内容は、ここで参照される。
【0112】
S62_d:3D→2D投影
本来スコープ形状は3次元であるが、その像をCRT画面上に出力するためには2次元に変換しなければならない。そこで、ステップS62_dの3次元像から2次元像への投影変換を行う。このとき、パースペクティブなどで、遠近を強調しても良い。
【0113】
S62_e:レンダリング
これまでの処理によって得られたスコープ形状イメージをCRT上に描写する。描写を行うにあたり、ステップS62_eのレンダリングの処理では、n角形の側面処理、スコープのループの前後を表現するための陰線処理を行う。遠近によるシェーディング処理での階調表示、スコープの曲率等によりスコープモデル側面の輝度や彩度の調整を行う等の処理を実施して、立体間をより強調しても良い。
【0114】
なお、上で述べたいくつかの項目は、必ずしも実施することが必要ではない。もちろん、実施すればその改良項目が持つ効果を含めた形でCRT上に描像が再現できる。また、図9に示す順序で行うことが必要というものでなく、挿入部形状を表示するモデルに応じてその順序を変更することにより、より短時間で同等の処理を行うことができる場合がある。
【0115】
これらの処理を通じて、数個のソースコイルの位置座標のみから、挿入状態にある3次元スコープ形状をCRT上に再現することが出来る。
また、この実施例では、スコープの表示として以下のようにn角形柱モデルと、n角形連結モデルとを選択できるようにしている。
【0116】
ステップS62で左画面のスコープイメージ描画の処理を行った後、図8のステップS63で右画面ビューポート設定を行い、右画面のモデル描画の処理を行う(ステップS64)。
【0117】
この右画面のスコープイメージ描画の処理では左画面の描画の処理に用いたヘッド角に90度をプラスした角度で描画を行う。従って、左画面の視点方向と90度異なる視点方向からのスコープ形状をモデル化して描画する処理を行う。ステップS60でヘッド角が0に設定された場合(左画面が真上から見た場合の描画)には、右画面は真横から見た場合の描画とまる。
【0118】
その後、描画処理された画像データを用いて表示画面ビデオページの設定(ステップS45)が行われた後、CRTに出力され、スコープイメージ表示が行われる(ステップS46)。この場合には2画面モードでのスコープイメージ表示であり、CRTには図12のように直交する視点方向からの2つのスコープ形状が同時に表示されることになる。
【0119】
一方、ステップS55の判断において、HELP_keyが押されていない場合(1画面モードの場合)には、ステップS65の通常モードスコープイメージ描画の処理、つまり1画面モードでのスコープイメージ描画の処理を行う。この処理はステップS62或いはステップS64と同様である。この処理の後、ステップS45の表示画面ビデオページ設定の処理を経てCRTに画像データを出力し、図11に示すように1画面モードでスコープをモデル化したイメージの表示を行う。
【0120】
また、ステップS56の判断において、HELP_keyがONされないと判断した場合(2画面モードの場合)には、ステップS59の処理に移る。また、このステップS56の判断において、HELP_keyがONされた場合(2画面モードにおいて1画面モードの切換のコマンドが入力された場合)には、ステップS66で2画面モードをOFFにし、さらに通常スコープイメージ画面設定を行った(ステップS67)後、ステップS65の処理に移り、1画面モードでスコープ形状の表示を行う。
【0121】
この図8のフローではユーザにより選択されたキー入力に応じて、スコープ形状をCRTに2画面モードで表示したり、1画面モードで表示する。特に、2画面モードでは互いに垂直な視点方向からのスコープ形状を、図12に示すように同時に並べて表示するので、一方の視点方向からの画像における奥行き量も直交する視点方向からの画像から正確に把握することができる。
【0122】
上述のように、2画面表示の場合には通常は左側に視点方向が垂直方向の画像、右側に水平方向の画像を表示する。視点方向等が変更された場合には、変更に応じて異なる方向からの画像になる。
【0123】
次にスコープ形状をモデル化して3次元的に表示するための3次元モデル構築のモデルについて説明する。
n角形モデルが選択された場合には、例えば図11に示すように挿入部の横断面を正n角形にモデル化してn角形柱として表示する(図11ではn=5としている)。このnの数を大きくすると殆ど円となり、その場合には挿入部形状は円柱として表示されることになる。
【0124】
このモデルでの表示の具体的処理内容のフローは図10となる。
図10(a)で、ステップS62_1の補間&3次元モデルの構築の処理は、図10(b)に示す処理を行う。
【0125】
ここでは、まずステップS62_1の3次元のBスプライン補間を実施している。この補間は、内挿点を必ず通るタイプの補間ではなく、その内挿点の近傍を通りながら滑らかな曲線を作成するものであり、内挿点を必ず通過する自然スプラインに比ベ、その計算処理が平易である。もちろん、自然スプラインを用いても、他の補間法を用いても、近似函数による補間でも良い。
【0126】
計算処理が比較的平易なBスプラインは、3次元捕間を実施しても処理速度が早いという点で優れている。
次にステップS62_12の3次元モデル構築としてn角柱モデル構築を行う。
【0127】
ここでは、ソースコイル位置座標の捕間データから、n角柱モデル(以降、円柱も含んでいる、とする)によって、立体的なスコープイメージを構築する。 次に図10(b)のステップS62_13のアフィン変換を行う。このアフィン変換はコンピュータグラフィックスで図形の座標変換を行う時に用いられる方法の1つで、座標変換を扱う場合に一般的に行われる。平行移動、回転、拡大、縮小等の単純な1次の座標変換は全てアフィン変換に含まれる。なお、X軸の回りの回転角はピッチ角、Y軸の回りの回転角はヘッド角、Z軸の回りの回転角はバンク角と呼ばれる。
【0128】
この処理では、ベッド4に固定された世界座標系(図13参照)で表されるスコープモデルデータを、ある視点位置から見たモデルデータに変換する。
視点位置は、任意の方向に設定できるようにしている。そのため、視点位置がどの方向に移動したかを追跡し、その方向に追従する形でモデルデータを移動させることは、きわめて難解な処理を必要とする。そこで、視点は固定しているものと仮定し、本来動くことはないはずの世界座標系を便宜的に回転させる。これにより視点を移動させた像を得ることと同様の結果を与える。
この方法は、視点がどの方向に移動した場合でも、世界座標系を便宜的に回すことで対応できるため、視点の移動に対するタイムラグをきわめて小さくできるという点で優れた手段である。
【0129】
次に図10(b)のステップS62_14の3次元−2次元投影(3D→2D投影)の処理を行う。
3次元像から2次元像への投影変換を行うこの3D→2D投影の処理では、以下に示す投影法を行うことで、目的に応じて遠近法的等で表示が実現できる。
【0130】
a)パースペクティブをつける場合、
3次元形状は、視点に近いものほど大きく、遠いものほど小さく見える。これは、3次元モデルデータを2次元データに変換する処理で実現できる。
【0131】
3次元座標を2次元平面に投影するために、仮想的にスクリーンを視点に対して垂直に、かつ3次元画像(S62_13までで得られた3D像)の反対側に配置し、このような状態で視点から見た物体の投影面を視点に近い側の投影像が、遠い側の投影像より大きくなるように投影して遠近法的などで表示する。この方法は、2次元投影描像に対し、3次元的な奥行きを容易に付けることが出来ると共に、その強調の度合いを変化させることも容易であるという点で優れている。勿論、パースペクティブをつけないで表示しても良い。
【0132】
次にステップS62_15のレンダリングの処理を行う。この実施例では図10(b)に示すようにペーストモデル表示PMとワイヤフレームモデル表示WMとの処理から選択できる。
【0133】
これらのモデルでの表示は図13に示すベッド4に固定された世界座標系を用い、処理内容に応じて他の座標系を採用する場合がある。
【0134】
例えば、ソースコイル座標は世界座標系であり、ソースコイル座標に対し、回転処理を行って、「視点」から見たソースコイル座標(つまり視野座標系)を求めた後、離散的なソースコイル座標に対し、データ補間を行ってデータ補間済みの「視点」から見たソースコイル座標を求める。
【0135】
次に3次元モデル構築処理で、ワイヤフレーム等によるスコープモデルを生成した後、2次元画面に表示するために、3次元ー2次元変換(透視投影変換)処理を行って、2次元データ、3次元データを生成し、擬似の立体画像をレンダリング処理して表示する。
【0136】
次に図10(b)のペーストモデル表示PMを説明する。このモデルはn角柱の各面を塗り潰すのでペーストモデルと呼ぶ。
スコープ形状イメージをCRT上に描写する際の、n角形の側面処理、スコープがループ状になった場合におけるそのループの前後を表現するために陰線或は隠れ面処理を施す。n角柱で表示する場合、n個の側面を持つことになる。そのうち、実際に見えるものは、視点方向側の側面のみであり、従って視点方向側の側面のみ見えるように表示し、見えない側面或は辺等を隠すように表示する処理、つまり陰線或は隠れ面処理を行う。この場合には視点位置にどれだけ近いかを表すパラメータ(zバッファと記す。)をソートし、zバッファが小さい(つまり、視点から遠い)側面より、上書きで書くことにより実現できる。
【0137】
次にワイヤフレームモデル表示WMの処理について説明する。
n角柱モデルの辺を除いた部分をバックグランドカラーで塗りつぶした場合と同じ結果となるが、これは、n角柱モデルの面を張る(ペイント)ための処理時間短縮のため、選択使用できるようにしている。
【0138】
なお、このモデルでは、zバッファの小さい順に書くと、スコープモデル奥側のワイヤが見えてしまう。そこで、それを取り除く陰線処理を適宜実施するか、zバッファの大きい順に(n/2)番目のモデルデータまでワイヤフレームを描くことで、陰線処理したモデルが構築できる。
【0139】
次には図10(a)では基準面表示のステップS62_2と、マーカ表示のステップS62_3を行う。これらのステップS62_2、S62_3の処理は付加的な処理である。
基準面表示の処理は、ベット面等の基準面を表示することで、スコープ形状の3次元表示を視覚的に分かり易くする補助的な役目を担う。
【0140】
CRTに表示される描像がスコープ形状のイメージのみであると、そのイメージと体内の臓器との位置関係は分からない。すると、視点位置を回転させてしまうと、どの方向からスコープ形状を眺めているのか、頭の方向がどの向きを向いているのか等に関する情報は、テキスト表示される角度の数値情報だけである。これは、感覚的な判断には不向きである。そこで、このような判断を感覚的に行えるような補助手段を設けた。
【0141】
ここでは、図10(c)に示すようにして実現される。
まずステップS62_21のアフィン変換を行う。この処理では世界座標系の基準表示シンボルを視点座標系に変換する。
次にステップS62_22の3D→−2D投影を行う。
視点座標系に移された基準表示シンボルをCRT表示出来るように、2次元に投影する変換処理を行う。
【0142】
次にステップS62_23の基準面となるベッド等のシンボル表示を行う。
スコープイメージの3次元描像を補助するようなシンボルを表示する。シンボルの具体例として例えばベッド面表示等がり、以下で触れる。
【0143】
このようにすることにより、基準面位置や基準面からのスコープ形状の離れ具合、患者の頭方向が視覚的に判断でき、スコープ形状の位置等の判断基準を提供したという点で優れている。
次に、基準表示シンボルの具体例として例えばベッド面表示について説明する。
【0144】
世界座標系のX−Y平面に平行で、Z軸に垂直な基準面を表示する。Z座標はベット面(Z=0)でも、その基準となり得るような位置であれば、どの位置でも良い。この面は、視点座標と共に移動しない。つまり視点位置が、X軸方向Y方向に回転すると、ベット面は線で表示される。頭方向が分かるように、枕のような長方形や、右肩、左肩或いは両方の方向にマーカを付けても良い。
これは、単純な一枚板で表されるため、スコープ描像の邪魔にならず、視点の回転も認識できるという点で優れている。なお、この他に基準マーカ表示とか、ベッド表示にZ方向のフレームを加えた直方体表示などを行うようにしても良い。
【0145】
次に図10(a)のステップS62_3のマーカ表示の処理を行う。
【0146】
このマーカ表示の処理では、スコープに挿入されているソースコイル16iとは別に、単独のソースコイル位置を算出し、表示するまでを担う。スコープ内に挿入された位置がどのような位置にあるのかを確認する手段として、スコープ内のソースコイル16iとは別個に動きうるマーカ1個以上を表示する手段を設けた。
【0147】
実際の装置上では、位置算出手段はスコープに挿入されているソースコイル16iに用いるものと全く同じであり、表示手段もこれまで同様で、図10(d)に示すようにステップS62_31のアフィン変換→ステップS62_32の3D→2D投影→ステップS62_33のマーカ表示という処理になる。
従って、ここでは、マーカ形状出力の具体例としてn角形(円も含む)による表示を説明する。マーカの表示をこのような形で表示すると、色が多数使えず、スコープ形状と同色を使わざるを得ない装置構成の場合、スコープ形状と重なりあっても区別することが出来る。
【0148】
このマーカ表示は、視点の回転に応じて形が変化させることで、どの方向から見ているかを認識できる。また、視点に対して常に正面となるように対応付けしていても良い。このときは、マーカからは視点方向が認識できないが、常に一定の大きさのマーカが出力されるという点で、優れている。
【0149】
これは、また、マーカが球形であるとした場合と同様な表現となる。尚、もしマーカが球形である場合は、グラデーションや、彩度輝度等の情報を与えることによって、視点の方向や奥行きを表示することも可能である。
【0150】
このような手段を用い、体外でマーカを移動させることで、挿入状態のスコープ形状の位置をマーカと関連させて確認する等が可能になり、スコープ挿入位置を実際の患者の位置と関連付けて知る捕助手段を提供できる。
【0151】
以上述べたように第1実施例によれば、互いに90°異なる視点方向から見た場合のスコープ形状をモデル化して立体的に2画面で同時に表示する手段を設けているので、術者等は一方の視点方向からみた場合のスコープ形状の画像における奥行き形状が正確に分かりにくい場合でも、(同時に表示されている)直交する視点方向からのスコープ形状の画像から視覚的に正確に把握できる。
【0152】
従って、例えば患者内に挿入された挿入部の先端側を目的とする部位に導入する操作を行っている場合には、挿入部の立体的な形状を正確に把握できることから、目的とする部位へ導入する作業或いは操作を容易かつ円滑に行うことが可能となり、内視鏡を用いた内視鏡検査に対する操作性を向上できる。
【0153】
また、マーカ等の表示手段も設けてあるので、スコープ形状の画像上におけるマーカの表示位置からスコープ形状の方向性を含めた立体形状の把握がより容易になる。
【0154】
また、この第1実施例の第1の変形例のように検査範囲基準枠の表示ON/OFFを行う機能を設けても良い。この第1の変形例の構成は第1実施例と殆ど同じで、つまり図2或いは図3の構成において、システム制御部34は操作部35からの指示(選択)に応じて検査範囲基準枠の表示をON或いはOFFにする処理を担う。
特に2画面表示においては、2方向からの情報が表示されるので、初期状態ではどちらの方向から内視鏡を描画しているかは明白である。
【0155】
そのため、どちらの方向から見ているかを識別し易くする検査範囲表示枠の表示そのものが煩雑に感じられる場合も想定される。そこで、この検査範囲表示枠を表示しなくするようにも設定できるようにしている。この処理のフローを図14に示す。
【0156】
ステップS53までは図8と同じである。このステップS53で終了が選択されない場合には次にステップS71で、検査範囲基準枠表示フラグON/OFFの判断を行う。この判断は検査範囲基準枠表示の切換のホットキーに設定された例えばHOME_CLRキーが押されたか否かにより検査範囲基準枠表示の切換を行う。
【0157】
このHOME_CLRキーが押されていない場合には検査範囲基準枠表示フラグはOFFであり、さらに次のステップS72でHOME_CLRキーが押されたか否か(図14ではHOME_CLR ON?と略記)を判断する。この判断のステップS72はフラグをOFFからONに切り換えられるようにするためののもである。この判断でフラグがOFFの場合には、図8に示すステップS42と同様のステップS42′(このステップS42′はより正確には図8のステップS42全体におけるステップS54〜S67に相当する)でスコープモデル描画の処理を行う。この場合には検査範囲基準枠を表示しないモードで図15(a)のようにスコープイメージの表示を行う。図15(a)は1画面モードの場合で示している。
【0158】
上記ステップS71で検査範囲基準枠表示フラグがONされた場合にはさらにステップS73でHOME_CLRキーが押されたか否かの判断を行う。このHOME_CLRキーが押されない場合にはステップS74で、検査範囲内キューブ描画の処理を行った後、ステップS42′のスコープモデル描画の処理を行う。この場合には図15(b)に示すように検査範囲基準枠となるキューブと共に、スコープイメージの表示を行う。図15(b)も1画面モードの場合で示している。
【0159】
ステップS73の判断でHOME_CLRキーが押された場合にはステップS75でフラグをOFFにセットし、ステップS42′のスコープモデル描画の処理を行う。
【0160】
また、ステップS72でHOME_CLRキーが押された場合にもステップS76で検査範囲基準枠表示フラグをONしてステップS74の検査範囲内キューブ描画の処理を経てステップS42′のスコープモデル描画の処理に移ることになる。
【0161】
この第1実施例の第1の変形例によれば、ユーザの選択に応じて検査範囲基準枠を表示してスコープ形状を表示したり、検査範囲基準枠を表示しないでスコープ形状を表示することが自由にでき、ユーザの選択範囲を広げることができ、ユーザに対する使い勝手を向上できる。その他は第1実施例と同様の効果を有する。
【0162】
次に第1実施例の第2の変形例を説明する。この変形例は内視鏡形状ユーザ設定ビュー状態記憶と、ユーザ設定ビュー状態にセットする処理の機能を備えたものであり、具体的には内視鏡形状ユーザ設定ビュー状態記憶のON/OFFを行うホットキーとしてのTAB_keyの入力により、内視鏡形状ユーザ設定ビュー状態記憶を行い、また記憶したビュー状態に内視鏡形状を変換するホットキーとしての/_keyの入力により、そのビュー状態に内視鏡形状を変換する処理を行う。この第2の変形例のハードウウェアの構成は第1実施例と同様であり、その処理内容が一部異なる。
【0163】
この第2の変形例の処理内容のフローを図16に示す。ステップS53までは図14と同じである。このステップS53の次に、ステップS15でさらにkey入力ありか否かの判断を行う。つまり、ステップS53の後でキーボード入力を行うことができるので、そのキー入力ありか否かの判断を行う。
【0164】
キー入力がない場合にはステップS16の内視鏡形状表示ルーチンに戻り、次にステップS17のスコープモデル表示の処理によりCRTにスコープモデルを表示する処理を行い、ステップS53に戻る。なお、ステップS16の内視鏡形状表示ルーチン及びステップS17のスコープモデル表示の処理は図14のステップS42′、S45,S46と同じ処理を簡略的に示している。
【0165】
一方、ステップS15でキー入力あり、と判断した場合には、ステップS18a,S18bでそれぞれTAB_key或いは/_keyであるかの判断を行う。
【0166】
ステップS18a,S18bのTAB_key或いは/_keyでないと判断した場合にはステップS16の処理に移る。
【0167】
また、TAB_keyであると判断した場合には次のステップS19aで現ユーザ設定ビュー記憶の処理により、TAB_keyが押された時のそのユーザが設定して使用している現内視鏡形状表示のビューパラメータの状態をファイル等に書き込み、記憶(或いは記録)し、その後ステップS16の処理に移る。
【0168】
一方、/_keyであると判断した場合には次のステップS19bで記憶ユーザ設定ビューパラメータセットの処理により、TAB_keyの操作で記憶された内視鏡形状表示の際の視点設定のビューパラメータをファイル等から読み出し、内視鏡形状表示の際の各パラメータにセットし、その後ステップS16の内視鏡形状表示ルーチンの処理に移る。この場合、ファイルから読み出した各パラメータにより、内視鏡形状の表示を行う。
【0169】
この第2の変形例によれば、ユーザは内視鏡形状を表示する際に自分の好み等に適したビュー状態がある場合には、そのビュー状態を記憶するホットキーとしてのTAB_keyを押せば、そのビューパラメータを記憶することができ、表示を望む場合にそのビューパラメータに設定するホットキーとしての/_keyを押せば、そのビューパラメータに設定でき、その後の内視鏡形状表示ルーチンの処理によりそのパラメータで内視鏡形状を表示できる。
【0170】
従って、この第2の変形例によれば、内視鏡形状を表示させる毎にその表示の各パラメータの設定を行う煩わしい作業を行うことなく、使用するユーザの好み等に適したビューパラメータで内視鏡形状を表示でき、内視鏡形状表示に対する使い勝手の良い環境を提供できる。
【0171】
次に第1実施例の第3の変形例を説明する。この変形例はホットキーの入力により、内視鏡形状を水平方向に±90゜回転して表示できるようにしたものであり、具体的にはROLLUPのキー入力を行った場合には内視鏡形状を水平方向に+90゜回転して表示し、ROLLDOWNのキー入力を行った場合には内視鏡形状を水平方向にー90゜回転して表示する。
【0172】
この第3の変形例のハードウウェアの構成は第1実施例と同様であり、その処理内容が一部異なる。この第3の変形例の処理内容のフローを図17に示す。ステップS15,S16,S17は図16と同様である。ステップS15でキー入力ありと判断した場合にはROLLUPのキー入力かROLLDOWNのキー入力かを判断し、ROLLUPのキー入力の場合にはステップS20aで内視鏡形状表示の水平方向の回転パラメータとしてのヘッド角を+90゜にセット(つまりY軸の回りで正の方向に90゜回転した値にセット)し、ROLLDOWNのキー入力の場合にはステップS20bでヘッド角をー90゜にセット(つまり負の方向に90゜回転した値にセット)した後、ステップS16の内視鏡形状表示ルーチンに移る。
【0173】
形状表示用の他のパラメータはそのまま(変えないで)使用する。この第3の変形例によれば、1画面モードの場合でも、ROLLUP或いはROLLDOWNのキー入力を行うことにより、このキー入力を行う前の形状表示における視点方向に垂直な方向からの内視鏡形状の表示が可能となり、形状把握をより容易にする等のメリットがある。
【0174】
つまり、2画面モードでは設定された視点方向からの画像と、これに直交する視点方向からの画像も同時に表示しているが、1画面モードにおいても上記ホットキーを押すことにより、その視点方向に直交する視点方向からの画像に切り替えて表示できる。2画面モードでは通常、画面右側のユーザインタフェース領域をグラフィックス出力領域として使用し、互いに直交する2画面を左右に並べて表示するので、画像の設定状態を数値的に把握できなくなるが、1画面モードでホットキーの入力操作により直交する視点方向からの表示に切り替える場合には、設定状態が数値で右側に常時表示される状態であるので数値的な把握も行うことができる。
また、画像を写真撮影とか静止画で記録する等行う場合、その設定状態の情報が同時に記録できるので、どうような状態で記録された画像であるかが容易に把握できて便利である。
【0175】
この第3の変形例ではホットキーによりヘッド角を+90゜或いはー90゜回転した状態の画像を表示できるようにしているが、X軸の回転角であるピッチ角、或いはZ軸の回転角であるバンク角に対しても同様に+90゜或いはー90゜回転した状態の画像を表示できるようにしても良い。例えばピッチ角を変更して表示するホットキーを使用できるようにした場合には、2画面モードで表示される2つの直交する視点方向にさらに直交する視点方向からの画像を表示できるので、より形状把握がし易くなる。なお、2画面モードにおける一方或いは2つの画像に対してもピッチ角を変えて表示することができるようにしても良い。
【0176】
次に本発明の第2実施例を説明する。
この第2実施例はマーカの使用形態を選択設定できるようにした手段或いは機能を有するものであり、この手段或いは機能を以下に説明する。
【0177】
この実施例の構成は第1実施例と殆ど同じである。つまり、図2或いは図3と同様な構成であり、この実施例ではさらにシステム制御部34は操作部35(より具体的にはキーボード35a)からの指示(選択)により接続されたマーカの使用形態を選択設定し、かつその選択に応じてマーカをモニタ23に表示させる処理を行う。この場合の処理の内容を図18のフローに示す。
【0178】
ステップS53までは図8と同じである。ステップS53で終了が選択されない場合には、ステップS80のマーカモードの変更等を行うことのできるプリセット画面のキー入力に対応するファンクションキーとしてのf・9_keyが押されたか否かの判断を行う。
【0179】
このf・9_keyが押された場合には、ステップS81のマーカモードの設定を行う。プリセット画面では日付け、時間の変更とマーカモードの変更が可能であり、変更の項目を矢印キーで選択し、マーカモードの変更の位置にカーソル等を設定し、リターンキーを押してマーカモードの設定にする。
マーカモードの設定にすると、ステップS82のマーカモードの判断(選択)処理に移る。
【0180】
このマーカモードの選択処理においては、例えばマーカモード番号により、識別に用いるマーカの種類及び表示形態(ベースモデル)を選択する。例えば、
マーカモード番号が0か否かで判断し0ならば、マーカを表示しないモードとする。0以外の場合には、ステップS83の表示モード設定処理でマーカモード番号に応じた表示モードに設定する。つまり、
ステップS83aに示すようにマーカモード番号が1ならば、ハンドマーカ1個表示モードとし、マーカを円形で表示するモードとする。
【0181】
ステップS83bに示すようにマーカモード番号が2ならば、ボディマーカ1個表示モードとし、マーカを四角で表示するモードとする。
【0182】
ステップS83cに示すようにマーカモード番号が3ならば、ハンドマーカ2個表示モードとし、マーカを四角と円形で表示するモードとする。
【0183】
ステップS83dに示すようにマーカモード番号が4ならば、ボディマーカ1個+ハンドマーカ1個表示モードとし、ボディマーカを四角で表示するモードとし、ハンドマーカを円形で表示するモードとする。
【0184】
ここで、ボディマーカとはマーカを描画の基準位置とする事を示す。例えば、肛門の位置にマーカコイルが設置されたとしてこの位置から体内側の内視鏡形状を描画する。この場合にはマーカコイルが設置されたY座標の値より大きなY座標の内視鏡形状を描画する(図13に示したように頭部側をY座標の正の方向に設定している)。
【0185】
或いはプローブ側のソースコイルの内、マーカコイルより検出領域の内側にあるソースコイルを、マーカコイルの位置を描画範囲の境界位置として、このマーカコイルの描画と共に描画する。この場合、このマーカコイルよりも検出領域の外側の範囲となるプローブ内のソースコイルは描画しない。
【0186】
また、検出領域を設定した場合には、検出領域よりも外側にマーカコイルが設定された場合には、検出領域内のプローブ内のソースコイルのみで描画する。
一方、ハンドマーカモードとは単に検出したマーカコイルの位置を表示する描画モードである。
【0187】
次のステップS84でボディマーカ表示モードか否かの判断をする。このモードでないと判断した場合には、ハンドマーカ表示モードとなるので、次のステップS85でハンドマーカ描画の処理を行う。この処理は以下のa〜eを行う(ステップS90のマーカ描画の処理にも適用できるような記載で示す)。
【0188】
a.検出されたマーカデータを設定されている視点に合わせて変換する。
b.2画面モードならば、さらに90°回転させる変換処理を追加する。
c.検出マーカデータとベースモデルデータにより空間上のマーカデータを構築する。
d.マーカデータを透視投影変換により2次元座標に変換する。
e.変換されたデータを元にマーカデータを実際のモニタの表示座標に変換し、各マーカデータを表示する。
【0189】
このステップS85でハンドマーカ描画の処理を行ったら、次のステップS86でスコープモデル描画の処理を行い、CRTにハンドマーカの位置を表示すると共に、スコープのモデル化した画像を表示する。なお、上記ステップS82の判断でマーカモードの番号が0の場合にはステップS86に移り、マーカ描画を行うことなく、スコープをモデル化した画像で表示する。
【0190】
一方、ステップS84でボディマーカ表示モードと判断した場合には次のステップS87で、Y座標での比較、つまりボディマーカ座標値<スコープ座標値の比較を行う。この比較によりボディマーカより検出領域内側となる条件を満たすソースコイルを抽出する。そして、この条件を満たすスコープデータ数≧3か否か(つまりこの条件を満たすソースコイル数≧3か否か)の判断を次のステップS88で判断する。
【0191】
この判断が満たされる場合には次のステップS89でスコープモデル描画を行い、さらに次のステップS90でマーカ描画を行う。このマーカ描画の処理も上記a〜eを行う。
【0192】
一方、ステップS89の判断でスコープデータ数≧3の条件を満たさない場合にはスコープモデル描画を行うことなく、ステップS90でマーカ描画のみ行う。こればスコープデータ数が少ないと、精度の高い形状推定などが行えないため、スコープモデル描画を行わないようにしている。
【0193】
なおステップS86及びS89のスコープモデル描画の処理は図14におけるステップS42′でマーカ描画の処理を除いたもの(この第2実施例ではマーカ描画の処理をスコープモデル描画の処理とは別で記載しているため)と同様の処理を行う。
【0194】
第1実施例で例えば図11に示すように2つのハンドマーカを表示しているのに対し、この第2実施例により一方をボディマーカに設定してこのボディマーカを四角で表示するものとした場合のスコープ形状の画像100は例えば図41のようになり、四角で示すボディマーカmのY座標位置より大きいY座標位置(図41で上の方)のスコープ形状部分が表示されることになる。なお、画像100におけるスコープ先端部の表示については後述。
【0195】
この第2実施例によれば、所望のマーカモードでマーカを表示する表示手段も設けてあるので、スコープ形状の画像上におけるマーカの基準表示位置からスコープ形状の方向性を含めた立体形状の把握がより容易になる。その他は第1実施例と同様の効果を有する。
【0196】
次に第2実施例の変形例を説明する。この変形例は第2実施例の機能の他にさらに肛門等の基準マーカポジションを記憶するマーカポジション記憶モードを設けたものであり、その記憶モードにおいて、ホットキーの入力操作によりその時のマーカポジションを記憶し、内視鏡形状表示の際にその記憶したマーカポジションに(例えばハンドマーカなどとは異なり、識別し易いマークで)マーカ表示を行うようにしたものである。
【0197】
具体的にはマーカモード番号が5及び6の場合にその機能を付加している。マーカモード番号が5は、マーカコイルが1個接続されている場合に選択可能であり、マーカモード番号が6は、マーカコイルを2個使用している場合に選択可能である。この変形例の構成は第2実施例と同じであり、さらに機能を付加した処理を行うようにしたものである。この変形例における処理内容のフローを図19に示す。
【0198】
図19に示す処理は図18におけるステップS83の表示モード設定処理が、図20に示すステップS83′のような内容に変えられ、且つ図18におけるステップS88とS90との間にポジション記憶モードか否かの判断処理のステップS111と、この判断結果がONの場合に行われる記憶されたマーカポジションに(ボディマーカ的な基準マーカとして使用されるような)肛門マーカ表示を行うステップS112とを介装した処理を行うようにしている。
【0199】
つまり、ステップS82までは図18と同じであり、このステップS82のマーカモードの選択処理においてマーカモード番号が0以外の場合には、図20に示すステップS83′の表示モード設定処理を行う。この処理ではマーカモード番号が1〜4の場合には図18と同様にそれぞれステップS83a〜S83dの表示モードに設定する。
さらにマーカモード番号が5或いは6の場合にはマーカが1個或いは2個のポジション記憶モードとなり、それぞれステップS83eに示すポジション記憶モード(マーカ1個)或いはS83fに示すポジション記憶モード(マーカ2個)の表示モードにセットする。
【0200】
このようにしてマーカモード番号1〜6により対応する表示モードの設定の処理を行った後、ステップS83gに示すポジション記憶モードのON及び更新を行うホットキーとしてのINS_keyがONされたか否かの判断を行う処理が行われる。
【0201】
マーカモード番号が5又は6が選択されている場合で、且つINS_keyが押された場合には、ステップS83hに示すように、現マーカポジション記憶の処理を行い、INS_keyが押された時のマーカコイル位置(座標値)をメモリの別のエリア等に記憶する。その後、ステップS83iに示すように、マーカモードセットの処理によりマーカモードとして番号1にセットする処理(2つのマーカの場合には3にセットする処理)を行い、ハンドマーカとして使用できる状態にした後、次のステップS84に移る。
【0202】
つまり、マーカモード番号が5又は6が選択された場合には、ポジション記憶モードのONを行うホットキーが押された時、その時のマーカポジションの記憶を行い、この記憶動作以降は1つ或いは2つのハンドマーカとして使用できるようにしている(マーカモード番号が5又は6が選択された場合に、ホットキーが押される時以外はハンドマーカとして使用できるようにしても良い、つまりホットキーが押される時以前、及び以後はハンドマーカとして使用できるようにしても良い)。
【0203】
ステップS84ではボディマーカ表示モードか否かの判断が行われ、選択された番号が1〜4の場合には図18と同様であるが、番号が5或いは6の場合には記憶されたマーカポジションに対してボディマーカと同様な処理が行われる(なお、番号が5或いは6の選択に使用されたマーカは、上述のステップS83iのマーカモードセットで説明したように、ハンドマーカとして処理される)。
【0204】
つまり、選択された番号が1、3の場合(この場合は番号5、6の選択に使用され、マーカモードセットでハンドマーカにされたものも含む)にはステップS85の処理に移り、選択された番号が2、4、5、6の場合にはステップS87の処理に移る。
【0205】
ステップS87では、番号が2、4の場合には図18と同様であり、番号が5、6の場合にも記憶されたマーカポジションに対して番号が2、4のボディマーカと見なした場合と同様にY座標比較の処理が行われる。そして、次のステップS88でスコープデータ数が3以上か否かの判断を行い、3以上の場合にはステップS89でスコープ描画の処理を行い、3未満の場合にはスコープ描画の処理を行わないで、次のステップS111に移る。
【0206】
このステップS111のポジション記憶モードか否かの判断により、ポジション記憶モードであると判断した場合には、ホットキーの入力操作により(基準座標位置として)記憶したマーカポジションの位置にステップS112に示す基準マーカとしての肛門マーカを表示し(番号が6の場合には肛門マーカの他にもう1つの記憶したマーカポジションの位置にその基準座標位置を表す(識別し易い)マークでマーカ表示を行う)、次のステップS90に移る。
【0207】
このステップS90のマーカ描画の処理ではボディマーカを描画し、番号が5、6が選択されている場合にはスルーして次のステップS45に移る。
【0208】
なお、システム起動後に番号が5、6の記憶モードで動作している間は、別の画面に切り替えら、メイン表示に再び戻ってもホットキーにより記憶された基準座標位置は保持される。つまり、その記憶された基準座標位置は有効である。
【0209】
そして、次にホットキーが押されると、それまで記憶されていたマーカポジションの記憶内容が更新され、新しいマーカポジションが記憶される。つまり次にホットキーで再設定されるまで、変化しない。
【0210】
この変形例によれば、ポジション記憶モードを選択して、肛門等の基準位置として望む位置でホットキーを押せば、その基準位置が記憶され、その基準位置に常時マーカを表示でき、その後はその基準位置の記憶設定に使用したマーカをハンドマーカとして他の位置の表示等に使用できる。
【0211】
このため、1つのマーカでボディマーカとしての機能とハンドマーカの機能を兼用したような機能を持たせることが可能になり、基準位置等の表示に有効に利用できる。また、ボディマーカとして使用する場合のように基準位置にマーカを固定することを行わないでも、単に基準位置にマーカを設定した状態でホットキーを押せば、その基準位置が移動することなく表示できるメリットもある。
【0212】
なお、マーカポジション記憶モードとして1つのマーカで複数の基準位置を記憶できるようにしても良い。この場合、記憶する基準位置の数を選択設定できるようにしても良い。また、記憶されて表示される基準位置に対して、その表示解除を任意に行えるようにしても良い。この場合、表示されている基準位置にマーカを設定してホットキーの入力操作により、記憶された基準位置と新しい基準位置との比較により一致していると判断した場合には、その内容を消去して表示されないようにしても良い。
【0213】
なお、上記説明ではマーカの数が2までの場合で説明したが、勿論これに限定されるものでなく、マーカの数が3以上でも基本的な処理は同じで、殆ど同じような処理数が増えるのみで同様に対応できる。つまり、マーカを使用する使用個数を設定できるし、その内訳(ハンドマーカとして使用する個数、ボディマーカとして使用する個数)も設定できる。
【0214】
また、設定使用できるマーカの数は、実際に接続されているマーカコイルの数に関係なくできるようにしても良いが、コイルを順次走査して電圧を印加し、実際に電流が流れるか否かにより、接続されているマーカコイルを自動的に検知し、それに応じて設定できるマーカのモードを限定するようにもできる。
【0215】
次に本発明の第3実施例を説明する。この実施例はフリーズして形状表示する機能を有するものである。患者は常に微妙に動いている場合が殆どであり、この場合には検出される内視鏡画像も微妙に動くことになり、形状把握しにくくなる場合がある。そこで、この実施例では連続的に表示された形状画像をフリーズすることで、内視鏡形状を理解し易くするようにしている。
【0216】
図21はこの実施例におけるフリーズして形状表示する動作の処理のフローを示す。ステップS53までは図8と同じである。f・10_keyが押されていないと、次のステップS91でフリーズモードON/OFFの判断を行う。また、図14のステップS71或いは図18のステップS80の処理に移ることもできる。
【0217】
上記フリーズモードON/OFFの判断はフリーズフラグにより判断する。このフリーズフラグはOFFの状態で、例えばファンクションキーの1つとなるvf・2_keyが押されると、フリーズモードONとなり、フリーズフラグがONにされる。さらにvf・2_keyが押されると、フリーズモードは解除され、フリーズフラグがOFFにされる。
【0218】
上記ステップS91でフリーズモードOFFと判断した場合、つまり動画モードの場合にはステップS92でスコープ内に取り付けたソースコイル12点データ取得の処理を行う。スコープ内に取り付けた全てのソースコイルに対するデータ取得の処理を行った後、次のステップS93でvf・2_keyが押されたか否かの判断を行う。
【0219】
このvf・2_keyが押されていないと、さらに次のステップS94でスコープイメージの回転・ズームの指示キーとしてのCTRL+矢印key、又はCTRL++(又はー)keyが押されたか否かの判断を行う。これらのキーが押されていると、その押されたキーに対応して、入力パラメータが変化され(ステップS95)、回転或いはズームされる。そして、ステップS101のスコープモデル表示の処理に移り、CRTにはスコープ形状が表示される。このスコープモデル表示の処理は例えば図14のステップS42′以降の処理を簡略的に表す。
【0220】
上記ステップS93において、vf・2_keyが押された場合にはフリーズモードONにセットする処理を行う(ステップS96)。フリーズフラグをONしフリーズモードにする。このフリーズモードにセットされた場合には、スコープ形状表示のために新たに12点のデータの取り込みを行わないで、フリーズ時以前に取得した形状表示のためのデータを用いてCRTにスコープ形状表示を行う。
【0221】
一方、ステップS91でフリーズモードONと判断した場合には、さらに次のステップS97でvf・2_keyが押されたか否かの判断を行う。このvf・2_keyが押されていない場合には、次のステップS98でスコープイメージの回転・ズームの指示キーとしてのCTRL+矢印key、又はCTRL+プラス(又はマイナス)keyが押されたか否かの判断を行う。
【0222】
押された場合にはその押されたキーに対応して、入力パラメータが変化され(ステップS99)、回転或いはズームされる。そして、CRTにはスコープのモデルが表示される。ステップS98でキーが押されていない場合には回転或いはズームされることなく、CRTでスコープモデルが表示される。
【0223】
また、ステップS97の判断において、vf・2_keyが押された場合には、次のステップS100でフリーズモードOFFにし、動画モードでCRTにスコープモデルが表示される。
【0224】
この第3実施例によればフリーズしたモードでのスコープ形状の表示と動画モードでのスコープ形状の表示とを自由に選択できる。従って、動画モードでの表示を選択すれば、リアルタイムに近い状態でスコープ形状の表示を行うことができる。
【0225】
一方、フリーズモードでの表示を選択した場合には、静止画の状態でスコープ形状を表示できる。例えば、心臓に近い部位等で形状表示を行うように、患者の動きが気になる場合等においては、フリーズモードを選択することにより、静止画の状態でスコープ形状を表示できるので、患者の動きに影響されることなく、スコープ形状の把握が容易にできる。また、フリーズモードの場合にはフリーズモードを選択した場合に直前の形状データを使用し、選択後に刻々変化する形状データの取得とか形状算出の処理を行わないで済むので、動画モードの場合に比べてスコープ形状の表示を短時間に行うことができる。その他は第1実施例の第1の変形例及び第2実施例と同様の効果を有する。
【0226】
なお、フリーズモードを選択した場合においても、ユーザ側でフリーズモードでスコープ形状を表示する場合のスコープ形状のデータの更新の時間間隔を設定できるようにしても良い。つまり、フリーズモードに設定した場合、フリーズモードを解除するまで、1つの形状データで静止画でスコープ形状を表示し続けるモードの他に設定された時間毎に新しい形状データで静止画でスコープ形状を順次表示し続けることができるようにしても良い。
【0227】
この第3実施例は図14及び図19のフローの機能をも備えており、フローで示したもの及び示していないものを含めてその特徴及び代表的な機能を以下に説明する。まず、以下のような特徴を有する。
(1)患者体内に挿入された内視鏡6の処置具用チャンネル13に、専用の(ソース)プローブ15を挿入するか、専用内視鏡(チャンネル13に設置可能なプローブ15を用いることなく、ソースコイルを内視鏡の挿入部内に設けたもの)を使用することにより、内視鏡の挿入形状を3次元的に検出して、連続画像で表示することができる。
【0228】
(2)専用のマーカ(図6に示したもの或いは図6とは異なる構造のマーカでも良い)を取り付けることにより、画面上で、内視鏡形状との配置関係を知ることができる。
(3)指定された範囲内で、表示された内視鏡の形状画像を回転及びズームができる。
【0229】
(4)回転及びズームで移動した形状画像を、初期状態に戻すことができる。
(5)連続的に表示された形状画像をフリーズすることができる。
(6)表示された形状画像に、コメントを上書きすることができる。
(7)画面上に、次の項目が表示できる。
【0230】
・日付および時刻
・患者データ(患者ID,名前,性別,年齢および生年月日)
・コメント
(8)画面上で、次の項目が入力・変更できる。
【0231】
・患者データ(患者ID,名前,性別,年齢および生年月日)
・コメント
(9)患者データを予め入力でき、内容を一覧できる。
【0232】
(10)日付・時刻の設定ができる。
(11)マーカを使用するモードが設定できる。
(12)全画面に文字を入力・表示できる。
(13)画面上に表示された文字を、全て消去できる。
(14)画面上で、ストップウォッチが使える。
【0233】
(15)マルチビデオプロセッサとの組み合わせにより、次の機能が使用できる。
・カラーモニタ上で、内視鏡の形状画像の表示・非表示が選択できる。
・カラーモニタ上で、表示される形状画像をフリーズすることができる。
次に代表的な機能の使用例とその場合の具体的な表示画面を示す。
【0234】
図22は図11のより具体的な表示例を示す。つまり、図22はカラーモニタ23の表示面に形状画像が表示される通常表示画面を示し、グラフィックス出力領域(スコープイメージ表示枠ともいう)Gには形状画像が表示され、このグラフィックス出力領域Gの上の日時&患者データ出力領域D&Pには日付および時刻及び、患者データ(患者ID,名前,性別,年齢および生年月日)が表示され、このグラフィックス出力領域Gの右側のユーザインタフェース領域(コメント表示枠ともいう)Kには主なホットキー及び対応する設定された情報とコメントが表示される。また、図22では例えば基準位置を示す2つのハンドマーカが表示されている。図23以降の図面上では簡単化のため、上記出力領域G,D&P,Kの表記を省略する。
【0235】
図22において、例えばマウス或いはキーボードの操作により日時&患者データ出力領域D&Pのデータ入力を選択することにより、図23に示すように例えば患者データの氏名を入力することができる。勿論、他のデータの入力、データ変更もできる。
次にファンクションキーにより設定された機能を説明する。
【0236】
[f・1]…ストップウォッチ
1.ファンクションキー[f・1]を1回押すと、ストップウォッチが始動する。このとき、時間は、画面右のコメント表示枠Kの上部に表示される。図24はストップウォッチが始動中の表示画面を示す。
【0237】
2.もう1回ファンクションキー[f・1]を押すと、ストップウォッチが停止する。図25はストップウォッチが停止した時の表示画面を示す。
3.さらに、もう1回ファンクションキー[f・1]を押すと、ストップウォッチの表示が消去される。
【0238】
[f・2]…全文字消去
1.ファンクションキー[f・2]を1回押すと、画面上の全ての文字が消去される。図26は画面上の全ての文字が消去された状態での表示画面を示す。
2.もう1回ファンクションキー[f・2]を押すと、初期状態の表示に戻る。
なお、この機能を使用する前に画面上で入力した患者データやコメントなどは、この機能の使用により、無効になり初期状態の表示に戻しても表示されなくなる。
【0239】
[f・3]…拡張コメント入力
1.ファンクションキー[f・3]を1回押すと、スコープイメージ表示枠内に、コメントが入力できるようになる。
【0240】
この状態で、[SHIFT]+矢印キー([→],[←],[↑],[↓])を押すことにより、スコープイメージ表示枠内に、それぞれ[→],[←],[↑],[↓]を入力することができる。
2.もう1回ファンクションキー[f・3]を押すと、入力した文字は残したまま、通常の表示状態に戻る。図27は挿入部の先端を示すためにtipのコメントと[→]を入力した状態での表示画面を示す。
【0241】
なお、[SHIFT]キーを押さずに、矢印キー([→],[←],[↑],[↓])を押した場合は、カーソルが押されたキーの向きに移動する。この機能を使用して、スコープイメージ表示枠G内に、コメント入力しているときには、『[SHIFT]+矢印キー([→],[←],[↑],[↓],[+],[−])…スコープイメージの回転・ズーム』はできないので、予め設定してから、拡張コメント入力を行うようにする。
【0242】
[f・4]…タイトルスクリーン表示
1.ファンクションキー[f・4]を1回押すと、タイトルスクリーンの入力画面に切り換わり、テキストが入力できるようになる。図28はこのタイトルスクリーン画面を示す。
2.もう1回ファンクションキー[f・4]を押すと、タイトルスクリーン入力画面は消え、通常の表示状態に戻る。このとき入力したテキストはバックアップされるので、次回呼び出しのときも同じテキストが表示される。
なお、矢印キー([→],[←],[↑],[↓])は、カーソルの移動に使用する。
【0243】
[f・5]…患者データの事前入力
1.ファンクションキー[f・5]を1回押すと、患者データ一覧画面に切り換わる。図29はこの患者データ一覧画面を示す。
2.もう1回ファンクションキー[f・5]を押すと、患者データ一覧画面は消え、通常の表示状態に戻る。
【0244】
3.患者データ一覧の画面上で、“Seq.No.”に登録したい番号を1〜20までの数字で入力し、リターンキーを押すと、各患者毎のデータ入力を事前に行う患者データ事前入力画面が呼び出され、データの登録ができるようになる。図30はこの患者データ事前入力画面を示す。
【0245】
また、“Seq.No.”の入力待ちのときに、全データ消去用キーとしての[HOME CLR]キーを押すと、1〜20までの患者データ全てを消去できる。
4.各患者毎のデータ入力画面上では、
〈項目〉 〈形式〉
患者ID → 英数字15文字まで
氏 名 → 英数字20文字まで
性 別 → 英数字3文字まで
年 齢 → 英数字3文字まで
生年月日 → DD/MM/YY(D:日,M:月,Y:年)
が入力できる。
項目の選択は、上下の矢印キー([↑],[↓])またはリターンキーを押して行う。
【0246】
なお、左右の矢印キー([→],[←])は、カーソルの移動に使用する。
5.入力が終わったらファンクションキー[f・6]を押し、患者データに登録する。登録されると画面は、次の“Seq.No.”の患者データ入力画面になるので、“Seq.No.”が20になるまでファンクションキー[f・6]を繰り返し押すか、またはファンクションキー[f・9]を押すかして、事前入力機能を終了する。なお、登録されている患者データはバックアップされるので、次回一覧のときも同じ患者データが表示される。
【0247】
[f・7]…患者データの選択
1.ファンクションキー[f・7]を1回押すと、患者データ一覧画面に切り換わる。
2.もう1回ファンクションキー[f・7]を押すと、患者データ一覧画面は消え、通常の表示状態に戻る。
【0248】
3.患者データ一覧の画面上で“Seq.No.”に選択したい番号を、1〜20までの数字で入力し、リターンキーを押すと、各患者毎のデータが通常画面の上部に呼び出され、患者データの表示ができる。つまり、患者データの選択を行うことができる。図31は図30の患者データ事前入力画面で入力した患者データを選択して表示した患者データ一覧画面を示す。
“Seq.No.”の選択時に[HOME CLR]キーを押すと、1〜20までの患者データ全てを消去できる。
【0249】
[f・8]…カーソルの表示切り換え
1.通常表示画面、またはコメント拡張表示画面で、ファンクションキー[f・8]を1回押すと、カーソルが表示される。このカーソルがブリンクしている部分が入力可能な位置となる。図32はこのカーソルの表示画面を示す。
2.もう1回ファンクションキー[f・8]を押すと、カーソルは消える。
【0250】
[f・9]…初期設定の変更
1.ファンクションキー[f・9]を1回押すと、初期設定の変更を行うためのプリセット画面に切り換わる。プリセット画面上では、使用される場所(国)とか、サマータイムなどにも対応できるように日付と時間の変更、およびマーカーモードの変更が行える。
図19、図20で説明したようにマーカモードとしては、マーカを使用しないモードの他に、1個のハンドマーカ、1個のボディマーカ、2個のハンドマーカ、ハンドマーカ+ボディマーカ、さらにマーカポジションを記憶するメモリマーカポジション(1マーカモード)及び、メモリマーカポジション(2マーカモード)から選択できる。
【0251】
項目の選択は、上下の矢印キー([↑],[↓])またはリターンキーを押して行う。図33はこのプリセット画面を示す。 なお、左右の矢印キー([→],[←])はカーソルの移動に使用する。
2.もう1回ファンクションキー[f・9]を押すと、プリセット画面は消え、通常の表示状態に戻り、変更した設定になる。また、どの項目も変更しなかった場合、以前の設定のままで、通常の表示状態に戻る。
【0252】
[CTRL]+[→]
[CTRL]+[←]
[CTRL]+[↑]
[CTRL]+[↓]…スコープイメージの回転・ズーム
[CTRL]+[+]
[CTRL]+[−]
[vf・1]
1.[CTRL]+左右の矢印キー([→],[←])を押すと、スコープイメージがY軸を中心に回転する。図34は例えば図31をY軸の回りに50゜回転した場合の形状画像を示す。コメント枠には回転量が表示される。
【0253】
2.[CTRL]+上下の矢印キー([↑],[↓])を押すと、スコープイメージがX軸を中心に回転する。図35は例えば図31をX軸の回りにー75゜回転した場合の形状画像を示す。コメント枠には回転量が表示される。
3.[CTRL]+[+]を押すと、スコープイメージが遠ざかり、また[CTRL]+[−]を押すと、スコープイメージが近づきる。図36は[CTRL]+[+]を押してズームアウト(縮小)した場合の形状画像を示し、図37は[CTRL]+[−]を押してズームイン(拡大)した場合の形状画像を示す。
【0254】
図36では距離を示すview pointが増加し、図37ではview pointが減少している。
4.ファンクションキー[vf・1]を押すと、上記1〜3の操作で変更された視点が初期設定に戻る。
【0255】
[vf・2]…スコープイメージのフリーズ
1.ファンクションキー[vf・2]を1回押すと、スコープイメージがフリーズされる。
2.もう1回ファンクションキー[vf・2]を押すと、フリーズが解除される。
【0256】
[vf・3]…スコープイメージの表示切り換え
1.ファンクションキー[vf・3]を1回押すと、ワイヤーフレームで表示されていたスコープイメージが塗りつぶされて表示される。図22以降(図37まで)に示した形状画像はワイヤーフレーム(図37の一部を拡大した円内にワイヤーフレーム表示の1例を示す)で表示されていたものが、[vf・3]が押されることにより図38に示すようにスコープイメージが塗りつぶされて表示される。
2.もう1回ファンクションキー[vf・3]を押すと、塗りつぶしが解除され、ワイヤーフレームで表示される。
【0257】
(5)その他の機能
・マルチビデオプロセッサでの映像出力操作
[vf・4]…ビデオ映像のフリーズ
・ファンクションキー[vf・4]を1回押すと、ビデオモニタ上に表示されたスコープイメージがフリーズされる。もう1回押すと、フリーズが解除される。
[vf・5]…ビデオ映像のスーパーインポーズ
・ファンクションキー[vf・5]を1回押すと、ビデオモニタ上に表示されたスコープイメージにビデオ映像(内視鏡映像)がスーパーインポーズされる。もう1回押すと、スーパーインポーズが解除される。
なお、これらの機能は、マルチビデオプロセッサとの接続がビデオ信号出力ができるようになっていなければ使用できない。
【0258】
内視鏡検査の場合には、当然実際の内視鏡画面を術者が観察しており、病変部の有無に注目している。そのため、複数のモニタに写し出される画像を観察することになり、術者の負担が大きくなることも予想されるので、これを改善するために内視鏡画像の表示画面中にスーパインポーズしてスコープ形状を表示できるようにしている。
【0259】
この場合、内視鏡形状検出装置の出力は一般のビデオ信号と異なる信号である場合には、信号を通常のビデオ信号に変換して出力する。この変換にはスキャンコンバータと呼ばれる装置が使用される。内視鏡形状検出装置とは別の装置であるスキャンコンバータの動作も、形状検出装置本体内のパソコンからRS−232Cなどを経由して制御することにより、そのスキャンコンバータの動作を操作可能である場合がある。
【0260】
上記スキャンコンバータを介して内視鏡形状検出装置をマルチビデオプロセッサに接続して(内視鏡形状も)ビデオモニタに表示する構成とするにより、上記のようにビデオ映像のフリーズなどを制御できる。
また、ビデオ映像のスーパーインポーズの制御もできる。内視鏡形状検出装置の出力が一般のビデオ信号と同じ規格の信号である場合にはスキャンコンバータを介することなく内視鏡形状検出装置をマルチビデオプロセッサに接続して同様の機能を実現できる。
【0261】
なお、最近では通常のビデオ信号を取り込んでパソコンやワークステーションの画面に表示するハードウェア(具体的には高速のA/D変換ができる装置)も存在するため、そのような装置を用いて逆に形状検出装置のモニタに内視鏡観察画像を表示するようにしても良い。
【0262】
[HELP]…スコープイメージ2画面表示
1.[HELP]キーを1回押すと、スコープイメージが水平と垂直の2方向同時に表示される。図39はスコープイメージ2画面表示の画面を示し、視点方向を変更しない状態では、通常は左側に垂直方向(Z軸方向から)のスコープ形状、右側に水平方向(X軸方向から)のスコープ形状を表示する。
スコープイメージ2画面表示モードにおいては、通常の1画面表示モードと同様に[vf・1]〜[vf・5]の機能及び[f・10]の検査終了機能が機能する。
【0263】
2.また、スコープイメージの回転・ズーム機能が2画面同時に機能する。
なお、この機能を使用する前に画面上で入力したコメントは、この機能の使用により無効になり、表示されない。
【0264】
[HOME_CLR]…検査範囲基準面表示ON/OFF
1.[HOME_CLR]キーを1回押すと、検査範囲基準枠を示すキューブの表示を行わない。図40はこの検査範囲基準枠を表示しないで、つまり検査範囲基準枠を消去して、スコープイメージの表示を行った状態の画面を示す。
2.HOME_CLR]キーをもう1回押すと、検査範囲基準枠を表示する状態に切り換えられる。
【0265】
なお、上述の説明では2画面モードでは視点方向が互いに90°異なる方向からのスコープ形状を表示できると説明したが、視点方向が互いに90°とは異なる2方向からのスコープ形状を表示できるものも含む。また、2画面モードにおいて、日時&患者データ等を同時に表示できるようにしたり、データの表示/非表示を選択できるようにしても良い。
【0266】
2画面モードで視点方向が互いに90°異なる方向からのスコープ形状を表示している状態で、視点方向を同時に変更することもできる。また、一方のスコープ形状の画像のみの視点方向を変更したりすることもできる。この場合には、2つの画像は視点方向が90°とは異なる状態となる。
【0267】
なお、1画面モードにおいては図22に示すようにスコープ形状は日時&患者データ出力領域D&Pの下のグラフィックス出力域Gに表示しているが、日時&患者データ出力領域D&Pを含めた領域にスコープ形状を表示できるようにしても良い。これらを選択して表示できるようにしても良い。また、グラフィックス出力域Gとユーザインタフェース領域Kも含めた領域にスコープ形状を表示できるようにしても良いし、3つの領域D&P,G,Kを含めた最大表示領域(或いは最大表示画面サイズ)でスコープ形状を表示できるようにしても良い。
このように第3実施例では表示方法などに関して様々な機能を備えているので、表示された内視鏡形状から患者の体内での形状把握が非常に理解し易くできる。
【0268】
なお、上述の実施例などではマーカの表示などによりスコープ形状の方向などを把握し易いようにしているが、図41に示すように表示される内視鏡形状の例えば先端側を他の部分とは異なる表示方法(例えば最先端のみを他の部分と異なる色で表示する、つまり表示色を変更する。この他最先端を示す矢印を表示したり、最先端部分を点滅させて表示したり、他の部分がワイヤフレームで表示されている場合には先端部を塗りつぶすペーストモデルで表示する等描画モデルを変更したりする)で表示することにより、表示された画像からその先端側を容易に把握或いは判別できるようにして、スコープ形状の把握が容易にできるようにしも良い。
【0269】
なお、3軸のセンスコイル22jの配置する数を増やすとさらに精度良くソースコイル16iの位置検出を行うことができるし、内視鏡形状も精度良く推定できる。
なお、上述した実施例などを部分的に組み合わせて異なる実施例を構成することもでき、それらも本発明に属する。
【0270】
また、本発明者による先の出願(特願平6ー137468号明細書)の内容と組み合わせて異なる実施例を構成することもでき(例えば挿入部に配置されるプローブ15側のソースコイル16iとベッド4等の被検体周囲の既知の位置に配置される3軸センスコイル22jとを入れ替えたものでも良いし(先の出願の図60参照)、3軸センスコイル22jの代わりに直交する3面に磁気抵抗素子を取り付けたものを用いても良いし(先の出願の図53ないし図56参照)、ソースコイル16iを無線で駆動するようにしても良いし、またマーカを無線で駆動するようにしても良いし(先の出願の図75ないし図78参照)、ソースコイル16iをそれぞれ異なる周波数で同時に駆動するようにしても良いし(先の出願の図49ないし図51参照)、ソースコイル16iを過渡応答の影響が少なくなるような位相角で駆動するようにしても良いし(先の出願の図44及び図45参照)、スコープ形状の画像に背景の画像等の周辺画像を重畳して表示するようにしても良いし(先の出願の図73及び図74参照)、スコープ形状の画像をワイヤフレームなどのコンピュータグラフィック画像で表示する代わりに内視鏡の実画像を記憶させたメモリから対応するテクスチャ画像を呼び出して表示させるようにしても良いし(先の出願の図69及び図70参照)、その他の実施例等を用いても良い)、それらも本発明に属する。
【0271】
[付記]
(1)さらに形状検出手段を有する請求項1記載の内視鏡形状検出装置。
(2)前記形状検出手段は形状検出の基準面をベッドとした付記1記載の内視鏡形状検出装置。
(3)画面上で内視鏡との位置関係を関連付けるマーカの表示手段を有する請求項1記載の内視鏡形状検出装置。
(4)回転及びズームで移動した形状画像を、初期状態に戻す初期状態設定手段を有する。
(5)前記マーカを使用する形態の設定手段を有する付記3記載の内視鏡形状検出装置。
(6)画面上に表示された文字を全て消去する消去手段を有する請求項1記載の内視鏡形状検出装置。
【0272】
【発明の効果】
以上説明したように本発明によれば、体腔内に挿入される内視鏡の挿入形状を磁界を用いて検出し、検出した内視鏡形状を表示する内視鏡形状検出装置において、基準面位置や基準面からの内視鏡形状の離れ具合、患者の頭の方向が視覚的に判断でき、患者等の被検体内部に挿入された内視鏡の形状の把握が容易となるという効果を有する。
【図面の簡単な説明】
【図1】本発明の第1実施例を有する内視鏡システムの概略の構成図。
【図2】第1実施例の内視鏡形状検出装置の構成を示すブロック図。
【図3】内視鏡形状検出装置の全体構成図。
【図4】3軸センスコイル及びプローブの構成図。
【図5】プローブ内のソースコイルの位置を複数のセンスコイルを用いて検出する様子を示す説明図。
【図6】マーカプローブの構成を示す断面図。
【図7】内視鏡形状検出装置の処理内容を示すフロー図。
【図8】2画面モード及び1画面モードで内視鏡形状を表示するスコープモデル描画の処理のフロー図。
【図9】スコープイメージ描写処理のフロー図。
【図10】n角柱モデルでのスコープイメージ描写処理のフロー図。
【図11】モニタ画面に1画面モードで表示される内視鏡形状の出力画像を示す説明図。
【図12】モニタ画面に2画面モードで表示される内視鏡形状の出力画像を示す説明図。
【図13】ベッドに固定された座標系を示す説明図。
【図14】第1実施例の第1の変形例における検査範囲の表示枠の表示/非表示を行うフロー図。
【図15】検査範囲の表示及び非表示で内視鏡形状の出力画像を示す説明図。
【図16】第1実施例の第2の変形例における内視鏡形状表示のビューパラメータの記憶及び設定を行うフロー図。
【図17】第1実施例の第3の変形例における内視鏡形状を水平方向に90゜回転して表示を行うフロー図。
【図18】本発明の第2実施例における選択されたマーカモードでマーカを表示する処理のフロー図。
【図19】第2実施例の変形例におけるポジション記憶モードの機能を有するマーカ表示の処理を示すフロー図。
【図20】図19における表示モード設定処理の内容を示すフロー図。
【図21】本発明の第3実施例におけるフリーズして形状表示する動作の処理のフロー図。
【図22】通常表示画面の具体例を示す図。
【図23】通常画面での氏名の欄のデータ入力の状態の具体例を示す図。
【図24】ストップウォッチを動作中の具体例を示す図。
【図25】図24でストップウォッチを停止させた状態の図。
【図26】全文字を消去した状態の具体例を示す図。
【図27】拡張コメントを入力した状態の具体例を示す図。
【図28】タイトルスクリーン表示の具体例を示す図。
【図29】患者データ一覧の具体例を示す図。
【図30】患者データの事前入力画面の具体例を示す図。
【図31】図30の患者データを選択した場合の表示の具体例を示す図。
【図32】コメント枠にカーソルを表示した状態の具体例を示す図。
【図33】初期設定の変更を行うプリセット画面の具体例を示す図。
【図34】スコープイメージをY軸の回りに回転した場合の表示の具体例を示す図。
【図35】スコープイメージをX軸の回りに回転した場合の表示の具体例を示す図。
【図36】スコープイメージをズームアウトした場合の表示の具体例を示す図。
【図37】スコープイメージをズームインした場合の表示の具体例を示す図。
【図38】塗りつぶしのスコープイメージで表示した場合の表示切換の具体例を示す図。
【図39】スコープイメージの2画面表示した場合の表示の具体例を示す図。
【図40】表示範囲枠を消去した場合の表示の具体例を示す図。
【図41】最先端側の部分を他のモデル描画と異なる表示モードで表示した場合の表示例を示す図。
【符号の説明】
1…内視鏡システム
2…内視鏡装置
3…内視鏡形状検出装置
4…ベッド
5…患者
6…内視鏡
7…挿入部
11…ビデオプロセッサ
12…カラーモニタ
13…チャンネル
15…プローブ
16i…ソースコイル
19…チューブ
21…形状検出装置本体
22j…3軸センスコイル
23…モニタ
24…ソースコイル駆動部
26…検出部
30…形状算出部
31…位置検出部
32…形状画像生成部
33…モニタ信号生成部
34…システム制御部
35…操作部
35a…キーボード
36a,36b…マーカ
Claims (2)
- 内視鏡挿入部に複数位置させたソースコイルと、内視鏡検査用ベッドの予め定められた複数の位置に配置した3軸センスコイルと、を備え、磁界を用いて前記3軸センスコイルの位置から前記内視鏡挿入部内のソースコイルの各位置を求めて該内視鏡挿入部の形状を検出する内視鏡挿入部形状検出手段と、
前記内視鏡挿入部形状検出手段において検出した内視鏡挿入部の形状を表示手段に表示するための挿入部形状画像を生成する画像生成手段と、
前記3軸センスコイルの位置から既知であって前記挿入部形状画像の位置・方向を視覚的に判断する基準となるベッド面を、前記内視鏡挿入部の挿入部形状画像と一緒に前記表示手段に表示するよう制御する画像表示制御手段と、
を具備したことを特徴とする内視鏡形状検出装置。 - 内視鏡挿入部のチャンネル内に挿通されるプローブに前記複数のソースコイルを配置し、前記プローブを前記チャンネル内に挿通することによって当該複数のソースコイルを内視鏡挿入部に位置させるものであって、
前記内視鏡挿入部形状検出手段としてのソースコイルとは別の単独のソースコイルを備え、このソースコイルの位置を検出して前記画像生成手段により所定形状のマーカ画像を生成して前記表示手段に所定形状のマーカを表示し、前記内視鏡挿入部のチャンネル内に挿通されたプローブの挿入位置を確認可能としたことを特徴とする請求項1に記載の内視鏡形状検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003108016A JP4159396B2 (ja) | 1994-08-18 | 2003-04-11 | 内視鏡形状検出装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19431294 | 1994-08-18 | ||
JP2003108016A JP4159396B2 (ja) | 1994-08-18 | 2003-04-11 | 内視鏡形状検出装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6237955A Division JPH08107875A (ja) | 1993-10-18 | 1994-09-30 | 内視鏡形状検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004000551A JP2004000551A (ja) | 2004-01-08 |
JP4159396B2 true JP4159396B2 (ja) | 2008-10-01 |
Family
ID=30445432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003108016A Expired - Fee Related JP4159396B2 (ja) | 1994-08-18 | 2003-04-11 | 内視鏡形状検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4159396B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4005463A4 (en) * | 2019-07-22 | 2022-08-24 | FUJIFILM Corporation | ENDOSCOPE FORM INDICATOR CONTROL DEVICE, OPERATING METHOD FOR ENDOSCOPE FORM INDICATOR CONTROL DEVICE, AND OPERATING PROGRAM FOR ENDOSCOPE FORM INDICATOR CONTROL DEVICE |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2351509A4 (en) * | 2008-10-28 | 2018-01-17 | Olympus Corporation | Medical device |
JP5918548B2 (ja) | 2012-01-24 | 2016-05-18 | 富士フイルム株式会社 | 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム |
JP5815156B2 (ja) | 2013-07-02 | 2015-11-17 | オリンパス株式会社 | 医療機器 |
WO2018122946A1 (ja) | 2016-12-27 | 2018-07-05 | オリンパス株式会社 | 医療用マニピュレータの形状取得方法および制御方法 |
DE102017008148A1 (de) * | 2017-08-29 | 2019-02-28 | Joimax Gmbh | Sensoreinheit, intraoperatives Navigationssystem und Verfahren zur Detektion eines chirurgischen Instruments |
WO2021020067A1 (ja) | 2019-07-31 | 2021-02-04 | 富士フイルム株式会社 | 内視鏡形状表示制御装置、内視鏡形状表示制御装置の作動方法、および内視鏡形状表示制御装置の作動プログラム |
JP7346367B2 (ja) * | 2020-08-14 | 2023-09-19 | 富士フイルム株式会社 | ハンドマーカ |
-
2003
- 2003-04-11 JP JP2003108016A patent/JP4159396B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4005463A4 (en) * | 2019-07-22 | 2022-08-24 | FUJIFILM Corporation | ENDOSCOPE FORM INDICATOR CONTROL DEVICE, OPERATING METHOD FOR ENDOSCOPE FORM INDICATOR CONTROL DEVICE, AND OPERATING PROGRAM FOR ENDOSCOPE FORM INDICATOR CONTROL DEVICE |
Also Published As
Publication number | Publication date |
---|---|
JP2004000551A (ja) | 2004-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH08107875A (ja) | 内視鏡形状検出装置 | |
JP3506770B2 (ja) | 内視鏡位置検出装置 | |
KR100439756B1 (ko) | 3차원 가상내시경 화면 표시장치 및 그 방법 | |
US6466815B1 (en) | Navigation apparatus and surgical operation image acquisition/display apparatus using the same | |
US9615772B2 (en) | Global endoscopic viewing indicator | |
US6612980B2 (en) | Anatomical visualization system | |
US7195587B2 (en) | Apparatus and method using it for detecting and displaying form of insertion part of endoscope inserted into body cavity | |
JP3772151B2 (ja) | 挿入部位置検出装置 | |
US7945310B2 (en) | Surgical instrument path computation and display for endoluminal surgery | |
US8248414B2 (en) | Multi-dimensional navigation of endoscopic video | |
US5840024A (en) | Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope | |
US8248413B2 (en) | Visual navigation system for endoscopic surgery | |
US6049622A (en) | Graphic navigational guides for accurate image orientation and navigation | |
US5638819A (en) | Method and apparatus for guiding an instrument to a target | |
US7824328B2 (en) | Method and apparatus for tracking a surgical instrument during surgery | |
JP4676021B2 (ja) | 診断支援装置、診断支援プログラムおよび診断支援方法 | |
US20060036163A1 (en) | Method of, and apparatus for, controlling medical navigation systems | |
US20060293557A1 (en) | Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray") | |
US20080071141A1 (en) | Method and apparatus for measuring attributes of an anatomical feature during a medical procedure | |
WO1997003601A9 (en) | Anatomical visualization system | |
CN105555221A (zh) | 医疗针头路径显示 | |
JP6112689B1 (ja) | 重畳画像表示システム | |
JP2000279425A (ja) | ナビゲーション装置 | |
US20230309954A1 (en) | System for visualization and control of surgical devices utilizing a graphical user interface | |
JP4159396B2 (ja) | 内視鏡形状検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051025 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060822 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061023 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061205 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20061228 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080613 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080715 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |