JP3769316B2 - 実時間三次元指示装置及び被検体内の三次元位置を確認する際に操作者を支援する方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、コンピュータ・グラフィックスに関し、更に詳しくは、三次元の指示装置に関する。
【０００２】
【従来の技術】
二次元（２Ｄ）の点の指示及び位置決めの目的で計算装置と共に使用されている多くの公知の装置がある。例えば、コンピュータ・マウス、描画タブレット及びライトペンである。これらの装置では、二次元位置を確認するために光学的又は機械的な手段が用いられている。
【０００３】
三次元（３Ｄ）の位置決め装置もある。これらの装置は、電磁、音響又は赤外線の原理を用いて三次元の点を位置決めする。
赤外線位置決め装置及び光学的位置決め装置は、発生源と受信器との間の可視照準線を必要とする。音響位置決め装置では、音を障害なしに受けなければならない。そうでないと、計算された三次元の位置に誤差が生じる。
【０００４】
これらの装置は主として、被検体外部の点を追跡するために用いられている。それらの性質のため、それらは固体被検体の内側の点を位置決めするように容易に改造することができない。
固体被検体の内部点を位置決めするようにこれらを変形することができれば、選択すべき内部位置を示す操作者への（フィードバック）帰還はない。更に操作者は、被検体の内部構造を可視化することができない。
【０００５】
現在、固体被検体内の位置を非侵入的に選択する際に操作者を支援する装置が必要とされている。
【０００６】
【発明の目的】
本発明の１つの目的は、たとえ患者が姿勢を変えても、又は操作者がその視角を変えても、外部構造の上に内部構造の画像を同時に重ねることにより手術を支援するシステムを提供することにある。
本発明のもう１つの目的は、外部構造の上に所望の内部構造を正しく合わせて表示する対話システムを提供することにある。
【０００７】
本発明のもう１つの目的は、被検体の外部構造の上に重ねられた内部構造の画像のヘッドアップ表示装置を操作者に提供することにある。
本発明のもう１つの目的は、被検体の対応する外部構造の上に重ねられるべき内部構造及び表面の選択を可能にする対話システムを提供することにある。
本発明のもう１つの目的は、被検体内に物理的物体を配置することなく、操作者が被検体内の選択された位置を指示できるようにする指示システムを提供することにある。
【０００８】
【発明の概要】
被検体内の三次元（３Ｄ）の位置を対話的に指示する実時間装置は、半透明スクリーン上に被検体の内部構造及び外部構造の正しく重ねられた画像を表示する。これにより操作者は、被検体内の三次元位置を対話形式で見て確認することができる。
【０００９】
被検体の内部構造の表現がワークステーションに与えられる。この表現は、イメージング手段又はＣＡＤ／ＣＡＭシステムのような手段によって発生されて、事前に記憶されるようにしてもよい。操作者は、半透明スクリーンを通して被検体の外部構造が操作者に見えるように、可動アームによって保持された半透明スクリーンを操作者と被検体との間に配置する。被検体、半透明スクリーン及び操作者の三次元の位置及び方向は、実時間で追跡装置によって監視され、ワークステーションに与えられる。ワークステーションは追跡装置から位置及び方向を受け取り、操作者の視角に対応する内部構造の画像を作成する。内部構造と外部構造とが正しく合わさるように、この画像は被検体の外部構造のビュー（ｖｉｅｗ）の上に重ねられる。
【００１０】
一実施例では、半透明スクリーンは、スクリーン上に十字線のような確認手段を有していてもよく、スクリーンから所定の画像深さで初期化される。この初期化により、三次元の点である「目標点」が十字線の中心から照準線に沿った画像深さとなるように定められる。この「目標点」は、操作者が操作者自身、被検体又はスクリーンを物理的に動かすことにより選択される。ビューも変化して、操作者が被検体を「覗く」ことにより目標点を確認することができる。これらの目標点は、三次元座標として他の出力装置に対話的に供給することができる。十字線及び画像深さにより、選択された点として確認された現在の「目標点」を、作動したときに確認する入力装置を用いることもできる。
【００１１】
代替の実施例では、三次元の目標点を画定するために、スクリーンの位置及び方向と共に二次元（２Ｄ）指示装置が用いられている。このような二次元入力装置の１つは、スクリーン上のタッチセンサを用いて、操作者によってタッチされた（触れられた）二次元位置を確認する。スクリーンの位置及び方向と共にこの二次元位置から三次元位置が得られる。
【００１２】
上述の各実施例は、深さ認識を与える立体形でも用いることができる。
新規であると考えられる本発明の特徴は、特許請求の範囲に明確に記述されている。しかしながら、本発明自体の構成及び動作、並びに本発明の上述した以外の目的及び利点は、図面と共に以下の説明を参照することにより最も良く理解することができる。
【００１３】
【実施例】
図１において、被検体１の内部構造の表現がモデル・ワークステーション１００に与えられる。この表現は、計算機支援設計（ＣＡＤ）／計算機支援製造（ＣＡＭ）システムによって作成されたコンピュータ・モデルであってもよく、又は被検体の内部構造から三次元データのような多次元体積測定データを作成することが可能な磁気共鳴（ＭＲ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ））イメージング装置、コンピュータ軸方向断層撮影（ＣＡＴ（ｃｏｍｐｕｔｅｄ ａｘｉａｌ ｔｏｍｏｇｒａｐｈｙ））装置、ポジトロン放射形断層撮影（ＰＥＴ（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ））、若しくは類似のイメージング装置のようなイメージング（作像）装置１０で被検体１を走査することによって取得してもよい。イメージング後に、装置１０は体積測定データをモデル・ワークステーション１００に供給する。いったん体積測定データがモデル・ワークステーション１００に供給されれば、イメージング装置１０はもはや必要とされない。このことは重要である。ＭＲイメージングの場合に圧迫的になり得るイメージング装置の範囲内に位置している被検体に対して、いくつかの手順を行う必要がないからである。代替の実施例では、その手順の間にイメージング装置１０を対話形式で用いてもよい。モデル・ワークステーション１００は体積測定データを記憶すると共に、スケーリング、回転及び他の操作を加えることが可能なデータからコンピュータ生成モデルを作成し、イメージング装置１０はもはや必要でない。
【００１４】
半透明スクリーン２５０は、操作者３５０が被検体１と操作者３５０との間に半透明スクリーン２５０を対話形式で配置することができるように、可動アーム７によって保持されている。半透明スクリーンは、書いたり消したりすることのできる表面材料で構成されていてもよい。
追跡（トラッキング）装置５０は、操作者３５０、半透明スクリーン２５０及び被検体１の位置及び方向を監視する。
【００１５】
操作者３５０は、半透明スクリーン２５０を動かしながら半透明スクリーン２５０を通して被検体１の外部構造を見る。追跡装置５０は、位置及び方向をモデル・ワークステーション１００に供給する。モデル・ワークステーション１００は、操作者の外部構造のビューに対応する内部構造の画像を作成する。内部構造と外部構造とが「合わせ」られる。外部構造と正しく合わされた内部構造を表現するように幾何学的配列とスケーリングとが行われれば、コンピュータ・モデルの表現及び表示の従来の方法を用いてもよい。スクリーン深さ距離が予め選択され、スクリーン上の位置も予め選択されていれば、三次元の「目標点（ターゲット・ポイント）」は、半透明スクリーン２５０からスクリーン深さだけ離れて投影されたスクリーン位置であることを確認することができる。スクリーン位置は、スクリーン上の十字線等によって確認することができる。半透明スクリーン２５０を傾けて動かすことにより、操作者３５０は被検体１内の任意の位置に「目標点」を位置決めすることができる。操作者が半透明スクリーンを被検体に近付けるにつれて、イメージング平面は被検体内に深く入る。操作者３５０が半透明スクリーンを操作者に近付けるにつれて、イメージング平面は操作者に近付く。操作者３５０が見るモデル・ワークステーション１００によって作成された内部構造のビューは、スクリーンの位置／方向及びスクリーン深さに関連している。従って、操作者は被検体を覗いて、三次元の点を選択することができる。モデル・ワークステーション１００は、幾何学的配列を計算して「目標点」を三次元の位置に変換するのに必要な情報のすべてを有している。次に、これらの三次元位置は出力装置１０１に供給される。出力装置１０１はこれらの三次元位置を用いる。出力装置１０１は、固体対象物内で定められた三次元位置を必要とする任意の装置であってもよい。
【００１６】
モデル・ワークステーション１００からの信号は、半透明スクリーン２５０の必要とする表示フォーマットに応じて、スキャン変換器１９２（点線で示してある）を通すことによりＲＧＢコンピュータ・モニタ信号のようなコンピュータ・モニタ信号からビデオ・フォーマットに変換することができる。
本発明は更に、入力装置２５３を含んでいてもよい。入力装置２５３によって、操作者３５０は現在の「目標点」を選択された点として選択することができるか、又は入力装置が作動して三次元飛翔経路を通して「目標点」を「引っ張る」ときにスクリーンを動かすことにより、操作者３５０は多数の三次元の点を選択することができる。多数の端点を従来知られているやり方で選択及び連結することにより、線、曲線、形状及び体積を画定することができる。
【００１７】
システムの有用性に付加されるもう１つの要素は、記号発生器５を用いることである。記号発生器５は追跡装置に接続されることにより、配置又は位置情報を受け取って、「目標点」の位置を確認する。次に記号発生器５は、被検体１の内部構造及び外部構造の両方に対する「目標点」の位置を示す記号を半透明スクリーン２５０上に表示する。「目標点」の情報は、この位置を知っている他の素子から受け取ってもよい。
【００１８】
図２には、本発明の第２の実施例の概略ブロック図が示されている。前の実施例と同じ名称及び参照番号を有しているブロックは、同じように動作する。
この実施例では、スクリーンの位置が選択可能である。第１の実施例では、スクリーン上に印を付けた固定スクリーン位置が用いられている。第２の実施例では、入力装置２５１を用いることにより、操作者３５０はスクリーン位置を対話形式で選択することができる。スクリーン位置がスクリーン深さと組み合わされたときに、「目標点」が決定される。操作者３５０がタッチしたスクリーン位置を入力装置２５１が確認するために、タッチセンサであることが好ましい。
【００１９】
スクリーン深さは、第１の実施例のように固定されていてもよいし、又は入力装置２５１のような入力装置を介して初期設定されていてもよい。スクリーン深さを入力装置２５１を介してシステムに供給してもよい。
前と同様に操作者は、スクリーンにタッチして、スクリーンを動かしながら指をスクリーンに接触させ続けることにより、三次元位置を選択し、飛翔経路を通して「引っ張る」ことができる。
【００２０】
前の実施例で説明したように、前と同様に動作する記号発生器５及び入力装置２５３を選択的に付加してもよい。
これにより、三次元のインタフェースが効果的に得られる。この三次元のインタフェースは、関心のある区域全体にわたってイメージング平面を動かすことにより、操作者が被検体の体積を通して探索することを可能にする非常に論理的な方法である。
【００２１】
内部画像から外部画像への透明度、又は他の種々の特殊効果は、適当な入力装置によって再び選択することができる。
被検体、操作者及び半透明スクリーンが追跡されていると共に、作成された画像は、追跡された位置及び方向に基づいているので、たとえ被検体１が動いても、操作者３５０は被検体１内の点を対話形式で選択することができる。
【００２２】
図３は本発明のもう１つの実施例を示す。この実施例では、操作者３５０は被検体１の内部構造及び外部構造の立体的なビューを受け取る。操作者３５０の各々の目は被検体に対して向きが異なるので、各々の目に異なるビューが与えられる。追跡装置５０は操作者３５０の第１の目と被検体１との間の相対位置（ｘ1 ，ｙ1 ，ｚ1 ）及び方向（α1 ，φ1 ，θ1 ）を追跡する。追跡装置５０は又、操作者３５０の第２の目と被検体１との間の第２の位置（ｘ2 ，ｙ2 ，ｚ2 ）及び方向（α2 ，φ2 ，θ2 ）を追跡する。第２の位置及び方向は、追跡装置５０によって独立に測定することができろ。又は、第１の目の位置及び方向を用いて第２の目の位置及び方向を計算することができる。位置及び方向は第１のモデル・ワークステーション１００ａ及び第２のモデル・ワークステーション１００ｂに供給される。第１のモデル・ワークステーション１００ａ及び第２のモデル・ワークステーション１００ｂは、操作者３５０の各々の目のビューにそれぞれ対応している位置（ｘ1 ，ｙ1 ，ｚ1 ）及び方向（α1 ，φ1 ，θ1 ）、並びに位置（ｘ2 ，ｙ2 ，ｚ2 ）及び方向（α2 ，φ2 ，θ2 ）における右及び左のコンピュータ・グラフィック画像をそれぞれ作成する。
【００２３】
スキャン変換器１９２ａ及び１９２ｂ（点線で示されている）が必要とする場合には、左及び右のビューにそれぞれ関する左及び右のコンピュータ生成画像がビデオ・フォーマットに変換される。スキャン変換器１９２ａ及び１９２ｂは、変換されたコンピュータ生成信号をシーケンサ１９８に送る。シーケンサ１９８は従来のビデオ・シーケンサであってもよい。シーケンサ１９８は左のコンピュータ生成画像を半透明スクリーン２５０に送る。次に、シーケンサ１９８は右のコンピュータ生成画像を半透明スクリーン２５０に送る。シーケンサ１９８は毎秒何回も同期して右のビューと左のビュー目との間を切り替わる。
【００２４】
半透明スクリーン２５０上に表示される画像は、時間多重化されることにより、操作者の左目と右目とに対する画像を交互に作成する。立体観察器２５２がシーケンサ１９８に同期して、操作者の左目又は右目の視野を阻止するように動作する。これにより、反対側の目は半透明スクリーン２５０上の画像を瞬間の間、見ることができ、このことが反対の右目又は左目についても同様に行われる。これにより操作者３５０は、右目が何も見ていない間に左目で左の画像を見ることができ、左目が何も見ていない間に右目で右の画像を見ることができ、これを素早く連続して行うことができる。これにより立体的な幻影が作成され、半透明スクリーン２５０に表示された画像を見る際に深さを認識するための次元が付加される。このときに操作者は、パララックスを用いて被検体１内の三次元の点を対話的に選択することができる。
【００２５】
本発明のすべての実施例について、モデル・ワークステーションによって作成された画像は、操作者３５０が見る外部構造と合わせ（一致させ）なければならない。初期設定を行うために、操作者からの手動入力によりコンピュータ生成画像の回転、並進及びスケーリングを行って、コンピュータ生成画像が半透明スクリーンを通して見た光景と一致するようにしてもよい。又は、追跡装置５０を用いて初期パラメータを設定してもよい。いったん三次元モデルと被検体１の可視画像とが揃えば、追跡装置５０はそれらを合ったままにする。
【００２６】
本発明のこれらの実施例では、操作者３５０と被検体１との間に挿入されている半透明スクリーン２５０は、液晶ディスプレイで構成されており、又は、ビデオモニタからの画像を反射する鏡であって、一部が銀から成る鏡で構成することができる。入力／出力スクリーン２５０は、被検体１の関心のある領域の寸法にほぼ等しい比較的大きな寸法を有している。
【００２７】
新規な可視化システムの現在好ましいいくつかの実施例について詳細に説明してきたが、当業者には多くの改変及び変更が明らかとなるはずである。従って、特許請求の範囲は、本発明の要旨に合致するこのようなすべての改変及び変更を包含するように記述されていることが理解されるはずである。
【図面の簡単な説明】
【図１】本発明による対話形三次元指示装置の第１の実施例の概略ブロック図である。
【図２】本発明による対話形三次元指示装置の第２の実施例の概略ブロック図である。
【図３】本発明による対話形三次元指示装置の第３の実施例の概略ブロック図である。
【符号の説明】
１ 被検体
５ 記号発生器
７ 可動アーム
１０ イメージング装置
５０ 追跡装置
１００ モデル・ワークステーション
２５０ 半透明スクリーン
２５２ 立体観察器
２５３ 入力装置
３５０ 操作者

Claims (9)

1. 被検体内の三次元位置を確認するための実時間三次元指示装置であって、
   （ａ） 前記被検体と操作者との間に配置されている半透明スクリーンであって、供給された画像を表示して、該スクリーンを通して見た前記被検体の外部構造に重ね合わせる半透明スクリーンと、
   （ｂ）前記操作者が前記半透明スクリーンを通して前記被検体を見るように、前記操作者と前記被検体との間で前記操作者により選択された位置及び方向に前記半透明スクリーンを保持する可動な機械的アームと、
   （ｃ）前記操作者により選択された前記半透明スクリーンの二次元位置を指示すると共に、該位置をスクリーン位置として確認するタッチセンサと、
   （ｄ） 前記操作者、前記被検体及び前記半透明スクリーンの位置及び方向を繰り返し測定する追跡装置と、
   （ｅ）前記追跡装置に接続されている記号発生ユニットであって、前記被検体からのスクリーン距離に基づいて深さを決定し、前記内部構造及び外部構造に対して適当な関係で前記半透明スクリーン上に、スクリーン位置と深さによって定義される目標位置を表す記号を表示する記号発生ユニットと、
   （ｆ） 該追跡装置に接続されており、前記被検体、操作者及び前記半透明スクリーンの位置及び方向を受け取り、前記操作者、前記被検体及び前記半透明スクリーンの該位置及び該方向に一致した前記半透明スクリーン上の一組のイメージングデータから前記被検体の内部構造の画像を作成する、ワークステーションとを備えた実時間三次元指示装置。
2. 前記半透明スクリーンは、前記内部構造及び外部構造の画像の相対透明度を調整することが可能なスクリーンである請求項１に記載の実時間三次元指示装置。
3. 前記被検体の内部構造の一組の三次元イメージングデータを獲得すると共に、該一組の三次元イメージングデータを前記ワークステーションに供給するイメージング装置を更に含んでいる請求項１に記載の実時間三次元指示装置。
4. 前記ワークステーションは、内部構造の画像の立体対を作成しており、前記半透明スクリーンに同期している立体表示手段であって、操作者の各々の目に画像の各々の前記立体対を供給することにより、前記被検体の外部構造に重ね合わされた内部構造及び前記被検体の外部構造の三次元画像を模擬する立体表示手段を更に含んでいる請求項１に記載の実時間三次元指示装置。
5. 前記半透明スクリーンは、その上に書かれたり消されたりすることの可能な材料で構成されている表面を含んでいる請求項１に記載の実時間三次元指示装置。
6. 被検体内の三次元位置を確認する際に操作者を支援する方法であって、（ａ） 前記被検体の内部構造を画定している多次元イメージングデータを取得する工程と、
   （ｂ） 操作者と前記被検体との間に選択された位置及び方向で半透明スクリーンを配置し、前記操作者が前記半透明スクリーンを通して前記被検体の外部構造を見ることができるようにする工程と、
   （ｃ） 前記被検体、前記操作者及び前記半透明スクリーンの位置及び方向を測定する工程と、
   （ｄ） 前記半透明スクリーンから選択された距離のイメージング平面での前記イメージングデータから測定された位置及び方向に一致した前記半透明スクリーンに前記内部構造のコンピュータ生成画像を重ね合わせる工程と、
   （ｅ） 前記操作者によりタッチされた半透明スクリーンの位置を決定する工程と、
   （ｆ） 該位置を前記選択されたスクリーン位置として確認する工程と、
   （ｇ） 前記スクリーンと前記被験体の距離の関数である、前記被験体内の深さを計算する工程と、
   （ｈ） 前記選択されたスクリーン位置からの深さである、目標位置を表す記号を前記スクリーン上に生成する工程と、
   を備えた被検体内の三次元位置を確認する際に操作者を支援する方法。
7. 前記コンピュータ生成画像を重ね合わせる工程の後に、現在の目標位置を選択された点として確認するために入力装置を動作させる工程を更に含んでいる請求項６に記載の三次元位置を確認する際に操作者を支援する方法。
8. 前記工程（ｂ）から工程（ｅ）は、前記被検体内の三次元の点を確認しながら前記操作者が内部構造及び外部構造を対話形式で見ることができるように繰り返される請求項６に記載の三次元位置を確認する際に操作者を支援する方法。
9. 被検体内の構造の格納したコンピュータ・グラフィック・モデルの選択された三次元位置を操作者が対話的に選択するための実時間三次元指示装置であって、
   （ａ） 前記操作者が前記半透明スクリーンを通して前記被検体の外部構造を見ることができ、該外部構造に重ね合わせた内部構造の画像を表示する半透明スクリーンと、
   （ｂ）前記スクリーンと接続され、前記操作者と前記被検体との間における操作者が決定した位置で前記半透明スクリーンを調整可能に保持するために第２の端が固定された機械的アームと、
   （ｃ）前記操作者が触れた二次元位置を対話的に決定するタッチセンサと、
   （ｄ） 前記半透明スクリーン、前記操作者及び、前記被検体の位置及び方向を繰り返し測定する追跡装置と、
   （ｅ） 前記半透明スクリーン、前記タッチセンサ及び、前記追跡装置に接続されているワークステーションであって、前記被検体、操作者及び前記半透明スクリーンの位置及び方向を受け取り、前記操作者、の該位置及び該方向における前記被験体の外部構造とともに格納された、前記被検体の内部構造のコンピュータ・グラフィック・モデルを作成する、ワークステーションと、
   （ｆ）前記追跡装置に接続されている記号発生ユニットであって、前記スクリーンと前記被検体の距離を特定し、該距離の関数である前記被験体内の前記スクリーンに垂直な深さを特定し、前記スクリーンを通して前記操作者の位置及び角度で見た、選択された二次元スクリーン位置と深さによって定義される三次元位置を表す記号を前記スクリーン上に表示する記号発生ユニットと、
   を備えた実時間三次元指示装置。

Images